爬取过程只爬取网页一部分

这个问题要如何解决

主题名是什么？我看看是不是规则有问题

Fuller 发表于 2017-7-19 08:55
主题名是什么？我看看是不是规则有问题

东方财富爬取

joanne 发表于 2017-7-19 09:03
东方财富爬取

规则没有问题，而且这个列表也不是特别长。你观察到的只抓取一部分，是后面部分还是穿插在中间的漏数据？

东方财富网有时候速度会很慢。你采集的时候一台电脑同时运行了多少个DS打数机窗口？

Fuller 发表于 2017-7-19 09:12
规则没有问题，而且这个列表也不是特别长。你观察到的只抓取一部分，是后面部分还是穿插在中间的漏数据？ ...

后面部分 一开始只有一部分 后来大部分都只能爬取一半甚至更少 然后再后面又可能恢复正常一点 然后再漏数据
我一共开了9个打数机

把滚屏功能打开, 滚屏次数可以设置成2, 延迟抓取设置成5, 我测试你的规则抓取数据是全的

同一台电脑开9个打数机爬同一个网站不合适, 很容易造成被封锁, 需要减少窗口数量, 比如只开2到4个窗口, 具体要根据你抓取的情况来调整

定期清cookie和换ip是必需的, 因为很多网站会统计同一个ip访问的累计量, 据此限制访问

shenzhenwan10 发表于 2017-7-19 10:51
把滚屏功能打开, 滚屏次数可以设置成2, 延迟抓取设置成5, 我测试你的规则抓取数据是全的

同一台电脑开9个 ...

只开两个爬虫群 延迟10秒 滚屏次数8 滚屏速度2
照样抓不全 很崩溃