我要抓取的内容,是需要登录才能显示的。因此我先在Firefox浏览器中,先做了手工登录。
以前用爬虫群功能,20个窗口共同爬数据,但是不一会儿,就显示需要再次登录了。这次我用DS打数机,爬了大概500条数据了吧,并没有显示要登录。
单窗口爬有些慢,因为一共有大概7000个网页的数据。但是我怕采用爬虫群的话,需要登录,导致抓取到的内容不全。
所以问下大神,使用爬虫群爬取数据,跟单窗口爬,登录规律不同吗?
|
-
3.png
(18.19 KB, 下载次数: 475)
-
2.png
(20.67 KB, 下载次数: 471)
-
1.png
(2.29 KB, 下载次数: 472)
|
|
|
|
共 2 个关于本帖的回复 最后回复于 2016-9-26 14:32