设置用翻页向下展开之后又重新抓数据，我要抓360000但是翻一页只有十个，这样重复抓取数量会特别大，这个要怎么解决。

zhongwuhuizhi

规则名idg项目

shengchengx · 发表于 2017-7-25 09:40:18

可以用多台电脑登录同一个账号爬取，每个电脑多开几个爬虫群窗口

zhongwuhuizhi · 发表于 2017-7-25 10:08:27

shengchengx 发表于 2017-7-25 09:40
可以用多台电脑登录同一个账号爬取，每个电脑多开几个爬虫群窗口

但是只有一个线索，这样的话，爬虫会如何分配呢

zhongwuhuizhi · 发表于 2017-7-25 10:34:21

shengchengx 发表于 2017-7-25 09:40
可以用多台电脑登录同一个账号爬取，每个电脑多开几个爬虫群窗口

或者可不可以，先点击向下展开到不能点击的时候再开始抓取数据

shengchengx · 发表于 2017-7-25 10:35:17

zhongwuhuizhi 发表于 2017-7-25 10:08
但是只有一个线索，这样的话，爬虫会如何分配呢

这个得多台电脑同时采集呢

zhongwuhuizhi · 发表于 2017-7-25 10:43:16

shengchengx 发表于 2017-7-25 10:35
这个得多台电脑同时采集呢

这个不会重复之后用重复采集么，不是相当于又重复了两倍吗

zhongwuhuizhi · 发表于 2017-7-25 10:46:12

shengchengx 发表于 2017-7-25 10:35
这个得多台电脑同时采集呢

您看一下这个规则，idg列表，我昨天爬了一天，只有9900多条有效的，其他几十万条都是重复的，就是因为翻页之后在同一个网址下的重复抓取，后面还有几十万条的数据要抓，这个怎么办呀。

shengchengx · 发表于 2017-7-25 11:29:04

zhongwuhuizhi 发表于 2017-7-25 10:46
您看一下这个规则，idg列表，我昨天爬了一天，只有9900多条有效的，其他几十万条都是重复的，就是因为翻 ...

zhongwuhuizhi · 发表于 2017-7-25 11:36:26

shengchengx 发表于 2017-7-25 11:29
应用场景描述：连续滚屏抓取瀑布流网页
看下这个帖子

好，谢谢您

共 8 个关于本帖的回复最后回复于 2017-7-25 11:36

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页