在爬取看准网员工点评的时候100条之后抓取的数据就重复了。

加为好友

这几天在抓看准网员工点评数据的时候，抓了大约100条以后老是抓取重复数据，大家有知道怎么回事的么？

Fuller · 发表于 2016-9-6 09:05:12

我估计你在做翻页抓取，有些网页即使翻页到底了，还能继续点击“下一页”，遇到这种情况，需要选择DS打数机的菜单高级 -》终点标志 -》重复内容，遇到重复内容就中断

1378099730 · 发表于 2016-9-6 09:20:15

Fuller 发表于 2016-9-6 09:05
我估计你在做翻页抓取，有些网页即使翻页到底了，还能继续点击“下一页”，遇到这种情况，需要选择DS打数机 ...

我选过了啊。还是这样的

ym · 发表于 2016-9-6 09:44:03

本帖最后由 ym 于 2016-9-6 09:45 编辑

1378099730 发表于 2016-9-6 09:22
[/img]

如果你是用DS打数机的‘单搜/集搜’来爬数据，就要设置‘高级菜单->终点标志->重复内容’；
如果你是用爬虫群采集的话，应该是在规则的调度设置的‘重复内容中断’选择‘是’。
详细说明参见http://www.gooseeker.com/doc/thread-1992-1-1.html

1378099730 · 发表于 2016-9-6 09:46:36

ym 发表于 2016-9-6 09:44
如果你是用DS打数机的‘单搜/集搜’来爬数据，就要设置‘高级菜单->终点标志->重复内容’；
如果你是用爬 ...

我用的是打印机中的单搜功能，在开始爬数据的时候就已经设置了终点标志。但是结果还是有问题。

1378099730 · 发表于 2016-9-6 09:49:32

ym 发表于 2016-9-6 09:44
如果你是用DS打数机的‘单搜/集搜’来爬数据，就要设置‘高级菜单->终点标志->重复内容’；
如果你是用爬 ...

截图

ym · 发表于 2016-9-6 09:50:08

1378099730 发表于 2016-9-6 09:47
这是截图

把规则名发出来看看

1378099730 · 发表于 2016-9-6 09:56:06

ym 发表于 2016-9-6 09:50
把规则名发出来看看

第一级

1378099730 · 发表于 2016-9-6 09:56:37

ym 发表于 2016-9-6 09:50
把规则名发出来看看

第二级

ym · 发表于 2016-9-6 11:12:37

把规则名发出来，不用发链接，链接都是错误的

共 16 个关于本帖的回复最后回复于 2016-9-6 16:26

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页