aivykkk 新手上路 发表于 2018-6-21 02:26:07 | 显示全部楼层
maomao 发表于 2018-6-20 22:42
从后台看,你每次采集都有数据的。我建议你这样做检查:
1,下载数据的时候是不是用了下载工具,比如,迅 ...

好的谢谢!我试一试!
非常感谢!

举报 使用道具
ayleewang 新手上路 发表于 2018-7-8 22:18:51 | 显示全部楼层
jjjj
举报 使用道具
spyqwqqwq 新手上路 发表于 2018-7-10 15:10:08 | 显示全部楼层
微博关键词搜索,只能爬取一页的数据是为什么?
举报 使用道具
bowieD 金牌会员 发表于 2018-7-10 15:22:39 | 显示全部楼层
spyqwqqwq 发表于 2018-7-10 15:10
微博关键词搜索,只能爬取一页的数据是为什么?

采集前先要在gs浏览器上登录微博账号
举报 使用道具
spyqwqqwq 新手上路 发表于 2018-7-10 15:33:07 | 显示全部楼层
bowieD 发表于 2018-7-10 15:22
采集前先要在gs浏览器上登录微博账号

登录了啊,可是还是就返回几条数据
举报 使用道具
Fuller 管理员 发表于 2018-7-10 17:21:32 | 显示全部楼层
spyqwqqwq 发表于 2018-7-10 15:33
登录了啊,可是还是就返回几条数据

是要在集搜客浏览器中登录微博的。然后在爬虫运行过程中,观察一些加载的网页,有没有自动滚动屏幕,如果只抓一页,那么滚动到底以后,就变成白屏了,上面显示做了什么动作。

爬虫运行的时候,不能把DS打数机窗口最小化。微博这种网页,显示的内容多少跟窗口大小对应的。你可以把其他窗口叠在上面,但是不能最小化
举报 使用道具
spyqwqqwq 新手上路 发表于 2018-7-10 17:28:55 | 显示全部楼层
Fuller 发表于 2018-7-10 17:21
是要在集搜客浏览器中登录微博的。然后在爬虫运行过程中,观察一些加载的网页,有没有自动滚动屏幕,如果 ...

是这样的,登录后滚动到底了,没有自动翻页,点击翻页之后大概翻个三次左右,就会自动跳转到微博搜索的页面,之后就白屏了,最多一次抓取了80条数据
举报 使用道具
Fuller 管理员 发表于 2018-7-10 18:37:52 | 显示全部楼层
spyqwqqwq 发表于 2018-7-10 17:28
是这样的,登录后滚动到底了,没有自动翻页,点击翻页之后大概翻个三次左右,就会自动跳转到微博搜索的页 ...

能否把关键词告诉我?我试试。或者在qq群里面问,那里回答及时。

已经能翻三页,应该是其他问题。
举报 使用道具
spyqwqqwq 新手上路 发表于 2018-7-11 15:19:32 | 显示全部楼层
Fuller 发表于 2018-7-10 18:37
能否把关键词告诉我?我试试。或者在qq群里面问,那里回答及时。

已经能翻三页,应该是其他问题。

关键词是 武汉机场 ,麻烦您了
举报 使用道具
yangwenge 金牌会员 发表于 2018-7-11 18:47:43 | 显示全部楼层
本帖最后由 yangwenge 于 2018-7-11 18:49 编辑
spyqwqqwq 发表于 2018-7-11 15:19
关键词是 武汉机场 ,麻烦您了

X76{3H_KV970GO[8]54ZJPQ.png
这边测试能 正常采集,没有出现你说的跳转到搜索页面,而且是能自动翻页的,你是自己制作的规则还是用的快捷采集?

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 09:32