快捷导航
Fuller 管理员 发表于 2015-11-30 19:19:51 | 显示全部楼层
要抓取的网址可以成批加入,有两个方案
1,在DS打数机上,选中这个抓取规则,点击鼠标右键,看到弹出菜单,选择 管理线索里面的添加,一行一个网址,可以加成百上千网址
2,如果还想添加更多网址,就到会员中心去添加,本网站登录以后,右上角有用户名,点击此处,就能进入会员中心,有爬虫管理 版块,进入 规则管理,选择那个抓取规则,对应有线索添加功能
举报 使用道具
debora 新手上路 发表于 2016-3-24 13:14:40 | 显示全部楼层
先收藏,暂时积分不够。自己之前也尝试过采集评论,但是不知道为什么不太稳定,有时候卡住出不来。还是等等这个专业的吧
举报 使用道具
xandy 论坛元老 发表于 2016-3-24 14:41:02 | 显示全部楼层
debora 发表于 2016-3-24 13:14
先收藏,暂时积分不够。自己之前也尝试过采集评论,但是不知道为什么不太稳定,有时候卡住出不来。还是等等 ...

在个人中心右侧可以看到送积分的两个活动,然后自己再充值一点就够了。
举报 使用道具
debora 新手上路 发表于 2016-3-24 15:37:47 | 显示全部楼层
我的积分足够了,现在下载了,运行时出现了一个问题,按照说明输入网址后,运行打数机,它一直停留在微博评论第一页底部,没有翻页,请问这个如何处理?
举报 使用道具
debora 新手上路 发表于 2016-3-24 16:27:30 | 显示全部楼层
xandy 发表于 2016-3-24 14:41
在个人中心右侧可以看到送积分的两个活动,然后自己再充值一点就够了。 ...

谢谢提醒!现在积分足够啦
举报 使用道具
bmmmbm 新手上路 发表于 2016-3-26 14:27:45 | 显示全部楼层
是不能爬取转发的信息么?比如转发用户的信息?
举报 使用道具
Fuller 管理员 发表于 2016-3-26 15:35:24 | 显示全部楼层
bmmmbm 发表于 2016-3-26 14:27
是不能爬取转发的信息么?比如转发用户的信息?

这个是抓评论内容的,转发用户是谁也抓,但是不会进入到这个转发者首页中抓进一步博主信息,比如跟另外的规则配合使用才能深入抓取。

一套微博采集工具箱发布了,可以不用单独下载规则:http://www.gooseeker.com/land/weibo.html
举报 使用道具
bmmmbm 新手上路 发表于 2016-3-27 10:01:08 | 显示全部楼层
Fuller 发表于 2016-3-26 15:35
这个是抓评论内容的,转发用户是谁也抓,但是不会进入到这个转发者首页中抓进一步博主信息,比如跟另外的 ...

样本页中的原博本身也是一条转发微博,我爬下来的转发信息全部对应的是最初那条微博的信息,而不是又经原博转发的用户信息,而且有很多特征木有爬到

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
Fuller 管理员 发表于 2016-3-27 12:02:07 | 显示全部楼层

这个规则用于抓取一个微博下的所有评论,如上图,很多评论,而微博原文和转发的微博是放在结果文件最下面,到导入excel后,微博原文和转发的微博每行都有,是重复的,评论不重复

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
ym 版主 发表于 2016-3-30 11:05:24 | 显示全部楼层
新浪微博评论的博文部分,网页结构发生改变,原有规则就会采集失败,现已更新了规则,大家可以重新下载继续使用
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 爬网址做层级采集——以京东商品爬虫为例
  • 网络爬虫软件翻页采集列表数据
  • 定义爬虫规则采集网页数据
  • 网络爬虫采集列表数据
  • 集搜客网络爬虫的核心名词

热门用户

GMT+8, 2020-11-28 18:38