快捷导航
Fuller 管理员 发表于 2016-4-20 23:38:40 | 显示全部楼层
cattysue 发表于 2016-4-20 18:54
微博关键词搜索,然后现在还有个问题,爬微博启动了一段时间,大概二三十页吧,然后就停了,状态还是显示在 ...

停下来的截图发一个就好了,我们根据截图就能准确判断原因。

DS爬虫群窗口运行了几个?可以同时运行两个,一个抓数据,一个做入库,你不用关心哪个具体是做采集还做入库,他们会自己安排。

同时运行两个的话,就会随时把抓取结果入到数据库中。很快就有数据可供打包。

如果只运行一个DS窗口,我建议把DS窗口重新运行一下,等一分钟,看看是否还在“采集中”状态

举报 使用道具
linjian1 新手上路 发表于 2016-4-22 10:16:48 | 显示全部楼层
微博评论 只能自己爬一页吗?爬一会儿就白屏 然后一直显示采集中怎么回事啊? 弄了好多次了 ...求助!
举报 使用道具
Fuller 管理员 发表于 2016-4-22 10:49:40 | 显示全部楼层
linjian1 发表于 2016-4-22 10:16
微博评论 只能自己爬一页吗?爬一会儿就白屏 然后一直显示采集中怎么回事啊? 弄了好多次了 ...求助! ...

滚屏打开了吗?

加入qq群,在线讨论一下吧,帮你把问题诊断一下:GooSeeker网页抓取工具 242144153
举报 使用道具
xandy 论坛元老 发表于 2016-4-22 11:09:12 | 显示全部楼层
linjian1 发表于 2016-4-22 10:16
微博评论 只能自己爬一页吗?爬一会儿就白屏 然后一直显示采集中怎么回事啊? 弄了好多次了 ...求助! ...

微博转发&评论采集工具,输入的应该是独立微博的网址,比如说http://weibo.com/5233485928/Dnhe ... t#_rnd1461294535086,而不是博主主页的网址。
举报 使用道具
tttr2_ 初级会员 发表于 2016-4-22 13:12:04 | 显示全部楼层
请问如果想再采集下这些转发人的地理位置信息该怎么做呢
举报 使用道具
xandy 论坛元老 发表于 2016-4-22 14:18:17 | 显示全部楼层
tttr2_ 发表于 2016-4-22 13:12
请问如果想再采集下这些转发人的地理位置信息该怎么做呢

你可以使用博主主页详细资料采集工具,在该工具输入博主的独立主页网址,可以采集该博主的所在地信息。
举报 使用道具
ydmydm1 新手上路 发表于 2016-4-25 14:06:09 | 显示全部楼层
转发任务采集的竟然是评论内容/(ㄒoㄒ)/~~
举报 使用道具
xandy 论坛元老 发表于 2016-4-25 14:37:35 | 显示全部楼层
ydmydm1 发表于 2016-4-25 14:06
转发任务采集的竟然是评论内容/(ㄒoㄒ)/~~

每个工具都是经过反复测试之后才上线的,转发和评论采集类型是需要选择的,如果采集类型选择的是评论,抓取的自然是评论内容。

图1是测试微博的最新转发内容
1.jpg

图2是用工具抓到的最新转发内容
2.jpg

经过再次测试,工具是没有问题的。
举报 使用道具
Fuller 管理员 发表于 2016-4-25 17:43:27 | 显示全部楼层
ydmydm1 发表于 2016-4-25 14:06
转发任务采集的竟然是评论内容/(ㄒoㄒ)/~~

在界面上录入抓取目标的时候,要同时选择 评论 or 转发
举报 使用道具
ccpower 初级会员 发表于 2016-4-25 19:58:29 | 显示全部楼层
Fuller 发表于 2016-4-20 11:56
停止的现象是什么?比如
1,DS的内置浏览器空白了
2,DS中间一条是控制面板,有两串字符,停止闪动了,停 ...

谢谢

内置浏览器空白,请问这个是什么问题导致的啊?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 采集图片网址并下载图片(二)——下载途牛
  • 采集图片网址并下载图片(一)—— 单图下
  • 定位映射采集列表数据——以B站视频列表为
  • 网络爬虫抓包功能
  • 内容映射

热门用户

GMT+8, 2021-1-20 20:09