网络爬虫软件使用交流,网页数据采集技术讨论

新窗 | 最新 | 热门 | 精华

新窗更多 \| 显示置顶	作者	回复/查看	最后发表

	8844 百度地图里我想搜索某点附近1000米内商家，标注不固定，我用采集列表和翻页的方式做不了，这种该怎么处理？ 1 oliver7629837 于 2017-8-16 发表最后回复 2017-8-16 18:04
	8249 调度的滚屏这样设置对吗？ 1 umsung 于 2017-8-16 发表最后回复 2017-8-16 17:25
	8694 对于定时爬取数据，比如每天一次，有没有方法对历史爬过的线索不再爬去，只爬取新增的线索？ 1 bowieD 于 2017-8-16 发表最后回复 2017-8-16 17:18
	9623 设置class偏好后，报错Cannot find theParent，这个要怎么处理呢 2 umsung 于 2017-8-16 发表最后回复 2017-8-16 17:16
	10471 怎么拆分嵌套整理箱 5 Shuquan 于 2017-8-16 发表最后回复 2017-8-16 17:12
	10276 翻页设置不成功，DS不滚动 2 collar 于 2017-8-16 发表最后回复 2017-8-16 16:16
	8958 翻页数据抓取不到 5 李小姐于 2017-8-16 发表最后回复 2017-8-16 15:31
	9128 求助抓取内容偏移和列表不统一，如何样式复例 3 wql963cs 于 2017-8-15 发表最后回复 2017-8-15 23:30
	7905 同一页面需要点选的标签信息采集 2 yoyo_zyxx 于 2017-8-15 发表最后回复 2017-8-15 22:53
	9027 我遇到一个嵌套结构的列表网页，这样网页需要怎么采集？无法用样例复制实现爬取。 1 umsung 于 2017-8-15 发表最后回复 2017-8-15 17:58
	11825 数据重复怎么解决？ 3 w228258549 于 2017-8-15 发表最后回复 2017-8-15 17:50
	9282 微博可以爬多少粉丝？ 1 bowieD 于 2017-8-15 发表最后回复 2017-8-15 17:42
	13333 瀑布流抓取中断 3 DAYUE888 于 2017-8-15 发表最后回复 2017-8-15 17:16
	11441 一个规则测试没问题，一爬出来就有个字段为空 9 shujukeji 于 2017-8-15 发表最后回复 2017-8-15 16:26
	8791 自定义xpath做样例复制重复/失败，怎么试都不行，急求！ 2 kkkingwing 于 2017-8-15 发表最后回复 2017-8-15 15:34
	20285 crunchbase的样例复制 11 zhongwuhuizhi 于 2017-8-15 发表最后回复 2017-8-15 15:29
	8147 最后一页采集好了，怎么还没结束? 2 w228258549 于 2017-8-15 发表最后回复 2017-8-15 14:29
	8013 点击测试显示电话的数据，但用打数机抓取完数据后却没有电话的数据 1 umsung 于 2017-8-15 发表最后回复 2017-8-15 10:22
	7522 没有真实网址，可以做二级线索吗？如图 1 umsung 于 2017-8-15 发表最后回复 2017-8-15 10:07
	9177 爱回收的页面，怎么才能将所有机型所有维修项的回收价格给抓取出来呢？ 1 bowieD 于 2017-8-15 发表最后回复 2017-8-15 10:03