做了一个常规抓取商户列表的规则,做规则的网址可以翻页,其余同类型的线索网址输入进去;运行了第一页之后,不翻页了,也无报错,重建规则之后,还是不行。

规则主题名:区级菜系_商户列表

翻页成功线索网址:http://www.dianping.com/search/category/1/10/g116r3o10

其余异常线索样例:

www.dianping.com/search/category/1/10/g101r8846o10
www.dianping.com/search/category/1/10/g101r5939o10
www.dianping.com/search/category/1/10/g102r12o10
www.dianping.com/search/category/1/10/g117r8o10
www.dianping.com/search/category/1/10/g118r2o10
www.dianping.com/search/category/1/10/g102r5937o10
www.dianping.com/search/category/1/10/g118r7o10
www.dianping.com/search/category/1/10/g117r8846o10


新年快乐,烦请方便的时候帮忙查看下,谢谢。
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2017-1-2 14:51

沙发
Fuller 管理员 发表于 2017-1-1 22:25:46 | 只看该作者
刚才我试了第一个,也能翻页。把DS打数机的滚屏功能打开,另外,选择菜单 配置-〉定时器触发
举报 使用道具
板凳
meicairen 高级会员 发表于 2017-1-1 22:39:37 | 只看该作者
Fuller 发表于 2017-1-1 22:25
刚才我试了第一个,也能翻页。把DS打数机的滚屏功能打开,另外,选择菜单 配置-〉定时器触发 ...

是异常线索里面的第一个吗?滚屏参数没动,是正常的,定时器触发我也调整了,还是没用。
举报 使用道具
地板
meicairen 高级会员 发表于 2017-1-1 22:40:22 | 只看该作者
Fuller 发表于 2017-1-1 22:25
刚才我试了第一个,也能翻页。把DS打数机的滚屏功能打开,另外,选择菜单 配置-〉定时器触发 ...

我用浏览器上的DS打数机运行,也是不能翻页
举报 使用道具
5#
Fuller 管理员 发表于 2017-1-2 14:51:45 | 只看该作者
meicairen 发表于 2017-1-1 22:40
我用浏览器上的DS打数机运行,也是不能翻页

我找到问题原因了,是爬虫软件的一个bug



如果添加网址的时候,前面不带http://,就会出错。当前版本,你使用的时候要把http://补上

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-2 18:51