怎样使用快捷采集（以采集京东评论为例）

15869103528 · 发表于 2023-3-20 20:41:10

怎么爬取22年发布的所有带有地理信息的博文？用“微博完整博文和地理信息”只能爬取出一条

Fuller · 发表于 2023-3-21 09:42:28

15869103528 发表于 2023-3-20 20:41
怎么爬取22年发布的所有带有地理信息的博文？用“微博完整博文和地理信息”只能爬取出一条 ...

一般来说，先要通过微博关键词搜索工具，采集到博文独立链接，然后再把这些链接批量拷贝到微博完整博文和地理信息，批量采集到完整博文和地理信息。
你说的某年带有地理信息的博文，微博网站没有这样的搜索入口，爬不了。

Fuller · 发表于 2023-3-21 10:03:29

15191091881 发表于 2023-3-19 15:16
是用的您说的这个，但是试了好几次都显示已停止

网页改版了，我们维护一下这个工具

Fuller · 发表于 2023-3-21 17:14:02

15191091881 发表于 2023-3-19 15:16
是用的您说的这个，但是试了好几次都显示已停止

我们已经维护了天猫国际商品评论采集快捷工具。你再试试

15191091881 · 发表于 2023-3-22 09:02:55

Fuller 发表于 2023-3-21 17:14
我们已经维护了天猫国际商品评论采集快捷工具。你再试试

可以了！感谢，但是只能60条信息

Fuller · 发表于 2023-3-22 09:59:01

15191091881 发表于 2023-3-22 09:02
可以了！感谢，但是只能60条信息

网页上有多少条，采集多少条

15869103528 · 发表于 2023-3-23 15:31:05

Fuller 发表于 2023-3-21 09:42
一般来说，先要通过微博关键词搜索工具，采集到博文独立链接，然后再把这些链接批量拷贝到微博完整博文和 ...

链接批量拷贝最多支持多少条？10w+可以吗

Fuller · 发表于 2023-3-23 16:57:13

15869103528 发表于 2023-3-23 15:31
链接批量拷贝最多支持多少条？10w+可以吗

每批最多加入1万条，可以一批一批加入。

采集1万条要花很长时间，如果只有一台爬虫电脑，可能要爬一天，所以，没有必要一开始先把所有网址导入进去，看运行效果后再导入下一批

15869103528 · 发表于 2023-3-24 15:57:07

Fuller 发表于 2023-3-23 16:57
每批最多加入1万条，可以一批一批加入。

采集1万条要花很长时间，如果只有一台爬虫电脑，可能要爬一天， ...

了解了，感谢！

hoopoe · 发表于 2023-4-9 10:11:48

微博关键词搜索爬下的文本都是没有展开全文的，怎么能把完整的爬下来

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页