GooSeeker产品资源教程视频教程使用交流资讯
开启辅助访问 切换风格

集搜客GooSeeker网络爬虫

集搜客GooSeeker网络爬虫 › 官方文档 › 查看评论

如何使用快捷采集-以抖音短视频搜索数据采集为例

评论 (49)|发表评论

评论 Janehahaha 2022-4-12 13:39
为什么同样的关键词，视频搜索页面能够采集成功，但是用户搜索页面却总是采集失败呢，已经尝试很多遍了┭┮﹏┭┮
评论 小鱼干snow 2022-3-25 21:15
Fuller: 我核对了一下，实际上内容没有漏。实际上有很多重复内容，因为这个网页是瀑布流网页，每一次滚动，就会加载新的内容，那么下一次采集的时候会重复采集老内容。中 ...
原来是这样的，明白了，感谢解答～确实能够设置直接过滤更加方便，期待功能改进！
评论 Fuller 2022-3-25 09:33
我核对了一下，实际上内容没有漏。实际上有很多重复内容，因为这个网页是瀑布流网页，每一次滚动，就会加载新的内容，那么下一次采集的时候会重复采集老内容。中间有空的原因是网络太慢，内容还没有加载出来。导出结果以后，要做一次筛选，把重复的和空的数据过滤掉。

我问问开发的同事，是否可以修改一下入库规则，自动做过滤。
小鱼干snow: 主页链接：<a href="https://www.douyin.com/user/MS4wLjABAAAA8U_l6rBzmy7bcy6xOJel4v0RzoR_wfAubGPeJimN__4" target="_blank">https://www.douyin.com/user/MS4wLjABAAAA8U_l6rBzmy7bcy6xOJel4v0RzoR_wfAubGPeJimN__4</a> 爬取之前登陆抖音了
评论 小鱼干snow 2022-3-24 21:55
Fuller: 采集之前要在爬虫浏览器中登录抖音，登录了吗？我测试了一个主页，能采集到链接和点赞数。把你采集失败的主页网址发给我试试 ...
主页链接：https://www.douyin.com/user/MS4wLjABAAAA8U_l6rBzmy7bcy6xOJel4v0RzoR_wfAubGPeJimN__4
爬取之前登陆抖音了
评论 Fuller 2022-3-24 18:23
采集之前要在爬虫浏览器中登录抖音，登录了吗？我测试了一个主页，能采集到链接和点赞数。把你采集失败的主页网址发给我试试
小鱼干snow: 感谢回复，我再问一下，为什么我采集某个抖音号主页作品的时候只采集了很少一部分，而且这些采集结果里作品链接和点赞数这两项是空的。 ...
评论 小鱼干snow 2022-3-24 18:02
Fuller: 网站上没有搜索筛选功能的话，就筛选不了，要全部采集下来以后再筛选
感谢回复，我再问一下，为什么我采集某个抖音号主页作品的时候只采集了很少一部分，而且这些采集结果里作品链接和点赞数这两项是空的。
评论 Fuller 2022-3-24 10:12
网站上没有搜索筛选功能的话，就筛选不了，要全部采集下来以后再筛选
小鱼干snow: 你好，请问我要想分时间段采集某个抖音账号的作品该如何操作？ 采集完各个时间段的作品之后如何进一步在这些作品中通过限定关键词精选出相应的视频呢？ ...
评论 小鱼干snow 2022-3-23 19:46
你好，请问我要想分时间段采集某个抖音账号的作品该如何操作？
采集完各个时间段的作品之后如何进一步在这些作品中通过限定关键词精选出相应的视频呢？
评论 Fuller 2022-3-13 19:49
参看这个帖子的回答：https://www.gooseeker.com/doc/thread-19353-1-1.html
姥爷的绿松石: 采集网址如下：<a href="https://www.douyin.com/search/%E4%BB%8A%E5%A4%A9%E4%BD%A0%E4%BD%8E%E7%A2%B3%E4%BA%86%E5%90%97?aid=bb6c6471-ac95-4d29-b774-d29e89dc8e41&p" target="_blank">https://www.douyin.com/search/%E4%BB%8A%E5%A4%A9%E4%BD%A0%E4%BD%8E%E7%A2%B3%E4%BA%86%E5%90%97?aid=bb6c6471-ac95-4d29-b774-d29e89dc8e41&p</a> ...
评论 姥爷的绿松石 2022-3-13 19:09
姥爷的绿松石: 搜索关键词爬取相关视频，打包下载的表格里面只有一条数据还是无效信息，这是怎么回事啊
采集网址如下：https://www.douyin.com/search/%E4%BB%8A%E5%A4%A9%E4%BD%A0%E4%BD%8E%E7%A2%B3%E4%BA%86%E5%90%97?aid=bb6c6471-ac95-4d29-b774-d29e89dc8e41&publish_time=0&sort_type=0&source=normal_search&type=general
评论 姥爷的绿松石 2022-3-13 19:06
搜索关键词爬取相关视频，打包下载的表格里面只有一条数据还是无效信息，这是怎么回事啊
评论 Fuller 2022-3-7 09:05
MF19870504: 为什么抖音评论收集总是失败
你要采集的网址是什么？发给我测试一下。抖音网站总是改变，爬虫规则需要不断修改
评论 MF19870504 2022-3-6 23:15
为什么抖音评论收集总是失败
评论 wangyong 2022-2-23 12:17
因为抖音改版导致的，现在采集规则也同步更新了，现在可以继续采集了
jojo0108: 抓取视频详细信息的时候一直是抓取失败是怎么回事？即使是用实例网站也是失败
评论 jojo0108 2022-2-23 11:52
抓取视频详细信息的时候一直是抓取失败是怎么回事？即使是用实例网站也是失败
评论 Fuller 2022-2-16 09:43
这个快捷采集工具已经修改好了，可以用了。
嘎右移奋战: 地址也对，抖音账号也登录了，为什么一直采集失败，显示已停止。快救救孩子吧
评论 wangyong 2022-2-16 09:15
添加的网址发出来看看
嘎右移奋战: 地址也对，抖音账号也登录了，为什么一直采集失败，显示已停止。快救救孩子吧
评论 嘎右移奋战 2022-2-15 17:43
地址也对，抖音账号也登录了，为什么一直采集失败，显示已停止。快救救孩子吧
评论 wangyong 2022-2-11 15:36
https://www.douyin.com/search/%E6%96%B0%E5%9B%9B%E5%86%9B%E7%BA%AA%E5%BF%B5%E9%A6%86?publish_time=0&sort_type=0&source=switch_tab&type=video
要用选择搜索视频，参考这个网址
lllljj: 你好，请问为什么我每次收集出来的页面一条视频数据也没有，网址比如<a  target="_blank"><a href="https://www.douyin.com/search/%E6%96%B0%E5%9B%9B%E5%86%9B%E7%BA%AA" target="_blank">https://www.douyin.com/search/%E6%96%B0%E5%9B%9B%E5%86%9B%E7%BA%AA</a> ...
评论 lllljj 2022-2-11 13:58
你好，请问为什么我每次收集出来的页面一条视频数据也没有，网址比如https://www.douyin.com/search/%E6%96%B0%E5%9B%9B%E5%86%9B%E7%BA%AA%E5%BF%B5%E9%A6%86?aid=62ce2703-11a4-4790-a90b-72192e0e7a85&publish_time=0&sort_type=0&source=normal_search&type=general
这个是要升级交费吗
评论 Fuller 2022-1-30 18:20
Lauren_lean: 请问抖音关键词采集失败（超时）怎么解决呢？
每一个快捷采集工具都要求用于特定的网页，可以观察这个快捷采集工具的样本页面，要结构类似的才能用。你要采集的网址是什么？发出来我测试一下
评论 Lauren_lean 2022-1-30 13:11
请问抖音关键词采集失败（超时）怎么解决呢？
评论 Fuller 2021-7-21 09:35
Yolobeauty: 请问按照关键词采集用户信息只能采集到54条应如何解决？
采集的网址是哪个？发出来我测试一下
评论 Yolobeauty 2021-7-21 09:25
请问按照关键词采集用户信息只能采集到54条应如何解决？
12

旧版
网站
社区
支持
常见问题
视频教程
速查手册
指导书
关于
公司简介
联系方式
友情链接
关注
新浪微博

GMT+8, 2024-4-30 18:07