不知道什么时候能够抓完,心里也没有底?
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2016-10-28 17:40

沙发
xandy 论坛元老 发表于 2016-10-28 12:05:51 | 只看该作者
如果页码很多,DS打数机会一直翻到底,所以全部都翻完了,DS打数机就会结束。
举报 使用道具
板凳
Fuller 管理员 发表于 2016-10-28 17:40:38 | 只看该作者
如果特别想中断他,可以先判断一下能否从断点接上抓取。不同情况如下

1)如果每个分页都有不同的独立网址,比如,page=5这样类似的参数存在于url网址中,这样的网址可以单独加载,那么中断了没有关系,比如,在150页中断了,那么构造一个新网址含有参数page=150,添加进去,爬虫就能从这里开始运行

2)如果单独加载某个分页的网址加载不了,尤其是翻页的时候网址总是不变,那种就不能从断点接上采集,就不能中断,断了只有从头开始
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-19 05:57