网站需要登录才能看到内容，这种怎么采集

洪城县令

如题

quyixuan · 发表于 2017-3-13 10:53:11

先在浏览器上登录再做采集，如果用的火狐插件版爬虫做采集就在火狐浏览器上先登录，如果用的GS浏览器做采集就在GS浏览器上登录

洪城县令 · 发表于 2017-3-13 10:55:15

quyixuan 发表于 2017-3-13 10:53
先在浏览器上登录再做采集，如果用的火狐插件版爬虫做采集就在火狐浏览器上先登录，如果用的GS浏览器做采集 ...

登录以后还需要翻页才能到想采集的页面，这个又要怎么做

quyixuan · 发表于 2017-3-13 10:56:46

洪城县令发表于 2017-3-13 10:55
登录以后还需要翻页才能到想采集的页面，这个又要怎么做

翻页如果网址没变就做翻页规则，翻页如果网址有变化就直接拿这个网址做规则采集就行了

共 4 个关于本帖的回复最后回复于 2017-3-13 10:56

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页