schen30 新手上路 发表于 2019-1-4 17:29:18 | 显示全部楼层
这个好用吗,还没有试过呢
举报 使用道具
Monday 初级会员 发表于 2019-1-4 18:02:21 | 显示全部楼层
schen30 发表于 2019-1-4 17:29
这个好用吗,还没有试过呢

挺好用的。就是在使用前,要先下载集搜客爬虫,用爬虫浏览器打开上面的快捷采集页面
举报 使用道具
xiaoyuanali 新手上路 发表于 2019-1-8 21:28:35 | 显示全部楼层
京东商品评论只能爬取前100页的,请问有办法获得更多评论数据吗??
举报 使用道具
Fuller 管理员 发表于 2019-1-8 22:36:05 | 显示全部楼层
xiaoyuanali 发表于 2019-1-8 21:28
京东商品评论只能爬取前100页的,请问有办法获得更多评论数据吗??

这是京东网站本身的限制
举报 使用道具
longyazi 新手上路 发表于 2019-4-2 15:02:41 | 显示全部楼层
还是不错的爬虫技术,但是用着有时会有点卡。
举报 使用道具
东皇田馥 初级会员 发表于 2019-4-10 16:50:56 | 显示全部楼层
我打开示例页面,然后输入想查询的字段,把新页面网址黏贴到地址栏里,启动爬虫后显示匹配失败。这是怎么回事呢?
https://www.amazon.cn/s?k=%E4%B8%80%E5%B8%A6%E4%B8%80%E8%B7%AF&i=stripbooks&__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&ref=nb_sb_noss
举报 使用道具
Fuller 管理员 发表于 2019-4-10 17:37:46 | 显示全部楼层
东皇田馥 发表于 2019-4-10 16:50
我打开示例页面,然后输入想查询的字段,把新页面网址黏贴到地址栏里,启动爬虫后显示匹配失败。这是怎么回 ...

这个快捷工具需要维护一下,改好了,通知你
举报 使用道具
Fuller 管理员 发表于 2019-4-10 18:11:16 | 显示全部楼层
东皇田馥 发表于 2019-4-10 16:50
我打开示例页面,然后输入想查询的字段,把新页面网址黏贴到地址栏里,启动爬虫后显示匹配失败。这是怎么回 ...

亚马逊中国商品列表的快捷工具已经维护好了,可以使用了
举报 使用道具
东皇田馥 初级会员 发表于 2019-4-11 16:44:01 | 显示全部楼层
Fuller 发表于 2019-4-10 18:11
亚马逊中国商品列表的快捷工具已经维护好了,可以使用了

好的 谢谢回复
再请问下,我想采的页面中,需要滚屏到下面一点再采瀑布流的数据,请问这个如何实现?
举报 使用道具
Fuller 管理员 发表于 2019-4-11 17:06:59 | 显示全部楼层
东皇田馥 发表于 2019-4-11 16:44
好的 谢谢回复
再请问下,我想采的页面中,需要滚屏到下面一点再采瀑布流的数据,请问这个如何实现?
...

这个有点麻烦,要具体看网页情况,要组合使用各种动作。
因为爬虫不知道要下去多大程度。有个技巧可以试试。增加一个点击动作,你想滚动到那一屏的中间位置找个元素,点击它,这个点击动作勾上模拟点击,模拟点击这个动作会先做滚屏定位,一般会把被点击的内容尽量滚动到中间位置。这样就实现了往下滚一些的目的
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 06:52