JeromeL 初级会员 发表于 2023-2-10 11:05:54 | 显示全部楼层
maomao 发表于 2023-2-10 11:03
twitter是瀑布流网页,而且访问比较困难。建议分批输入链接,每批少量,爬完了,检查完数据,再输入下一 ...

明白了,每次100个,好像不太好用
举报 使用道具
Lj001129 初级会员 发表于 2023-2-14 19:28:03 | 显示全部楼层
gz51837844 发表于 2023-2-8 11:48
我们测试一下,如果可以,就上线一个新的快捷采集用来采集这种相同music的搜索结果
...

您好 请问这个采集规则会上线吗~因为尝试了自己做规则总是无法定位到视频时长和点赞数的节点,特别需要这个数据,谢谢谢谢
举报 使用道具
gz51837844 管理员 发表于 2023-2-15 08:53:08 | 显示全部楼层
Lj001129 发表于 2023-2-14 19:28
您好 请问这个采集规则会上线吗~因为尝试了自己做规则总是无法定位到视频时长和点赞数的节点,特别需要这 ...

这个页面我们测试了,目前只能采集加载后的初始页面,不能滚屏采集更多内容。所以暂时没有上线
举报 使用道具
student13 新手上路 发表于 2023-3-1 19:09:34 | 显示全部楼层
快捷采集微博展开正文几条就卡住了怎么办?
举报 使用道具
gz51837844 管理员 发表于 2023-3-1 19:24:35 | 显示全部楼层
student13 发表于 2023-3-1 19:09
快捷采集微博展开正文几条就卡住了怎么办?

你是使用的这个快捷采集: 微博博文展开全文采集
可以发几条卡住的网址我们测试下
举报 使用道具
student13 新手上路 发表于 2023-3-1 19:52:32 | 显示全部楼层
gz51837844 发表于 2023-3-1 19:24
你是使用的这个快捷采集: 微博博文展开全文采集 ?
可以发几条卡住的网址我们测试下
...

https://weibo.com/2902311661/M637L1lMa?refer_flag=1001030103_https://weibo.com/6399245004/M4N1DEUmE?refer_flag=1001030103_
您试试,一般停止采集之后重启才能继续



举报 使用道具
wangyong 版主 发表于 2023-3-2 14:43:48 | 显示全部楼层
student13 发表于 2023-3-1 19:52
https://weibo.com/2902311661/M637L1lMa?refer_flag=1001030103_https://weibo.com/6399245004/M4N1DEUm ...

我们测试正常,你采集的时候有没有开360卫士之类的电脑管家?这个会有影响采集的时候要关掉,再就是采集的时候网络要通畅。
可以再采集试试,如果还不行的话可以录个屏发给我们看看
举报 使用道具
student13 新手上路 发表于 2023-3-2 20:13:51 | 显示全部楼层
wangyong 发表于 2023-3-2 14:43
我们测试正常,你采集的时候有没有开360卫士之类的电脑管家?这个会有影响采集的时候要关掉,再就是采集 ...

哦,可能是校园网不通畅
举报 使用道具
FALLLL 新手上路 发表于 2023-3-14 22:15:30 | 显示全部楼层
想问下使用cn端采集微博评论,为什么即使有几千页,也最多只能加载出50页,后面的页数全都不显示了,采集到50页就直接中断了,我试了不一样的帖子都有这个问题
举报 使用道具
Fuller 管理员 发表于 2023-3-14 22:44:06 | 显示全部楼层
FALLLL 发表于 2023-3-14 22:15
想问下使用cn端采集微博评论,为什么即使有几千页,也最多只能加载出50页,后面的页数全都不显示了,采集到 ...

确实是这样,看来是微博网站的cn端限制了评论的翻页。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 08:02