快捷导航
80 28309

新浪微博_博主主页

ym 于 2015-8-13 15:22 发表 [复制链接]
caisinong 新手上路 发表于 2016-4-25 01:45:57 | 显示全部楼层
为什么不能全部下载一个账号的所有微博呢……总是下着下着就停了,试了好几次
举报 使用道具
Fuller 管理员 发表于 2016-4-25 09:56:14 | 显示全部楼层
caisinong 发表于 2016-4-25 01:45
为什么不能全部下载一个账号的所有微博呢……总是下着下着就停了,试了好几次 ...

一定要有好的网络环境,微博下载很容易中断。评论和转发的下载中断后只能从头开始,但是消息搜索和博主都可以从断的地方接上
举报 使用道具
ym 版主 发表于 2016-4-25 10:01:39 | 显示全部楼层
caisinong 发表于 2016-4-25 01:45
为什么不能全部下载一个账号的所有微博呢……总是下着下着就停了,试了好几次 ...

新浪微博是有严格的反爬虫机制,最多能采集一个博主30多页微博就会翻页断掉。
但是,你可以点击博主右侧各个年月,把每个月份的发博网址导入到规则里,这样每个网址都能翻页到最后,从而把博主的所有博文都采集全,导入线索的方法参见http://www.gooseeker.com/doc/article-129-1.html

也可以把博主某个月份的微博网址拷贝到excel里,单击格子的右下角往下拖动,这样月份就会递增,从而构造出各个月份的网址,然后批量导入到规则里


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
caisinong 新手上路 发表于 2016-4-25 11:17:19 | 显示全部楼层
ym 发表于 2016-4-25 10:01
新浪微博是有严格的反爬虫机制,最多能采集一个博主30多页微博就会翻页断掉。
但是,你可以点击博主右侧 ...

明白了,谢谢!我去试试
举报 使用道具
caisinong 新手上路 发表于 2016-4-25 13:34:30 | 显示全部楼层
请问规则调度里那些设置的说明在哪里可以看到呀?
举报 使用道具
ym 版主 发表于 2016-4-25 14:34:42 | 显示全部楼层
caisinong 发表于 2016-4-25 13:34
请问规则调度里那些设置的说明在哪里可以看到呀?

看这里http://www.gooseeker.com/doc/article-112-1.html
举报 使用道具
Fuller 管理员 发表于 2016-4-25 17:42:04 | 显示全部楼层
会员中心里面的调度参数跟crontab文档中的一一对应,只是名称不同,可以参照楼上那个文档。
举报 使用道具
huzhuqing 新手上路 发表于 2016-4-27 15:39:23 | 显示全部楼层
积分不够啊
举报 使用道具
huzhuqing 新手上路 发表于 2016-4-27 15:40:27 | 显示全部楼层
积分能不能少点啊
举报 使用道具
kakaven 新手上路 发表于 2016-5-27 16:19:07 | 显示全部楼层
感觉这个比较实用啊
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 爬网址做层级采集——以京东商品爬虫为例
  • 网络爬虫软件翻页采集列表数据
  • 定义爬虫规则采集网页数据
  • 网络爬虫采集列表数据
  • 集搜客网络爬虫的核心名词

热门用户

GMT+8, 2020-11-28 22:28