集搜客GooSeeker网络爬虫

标题: 【腾讯新闻_国内新闻详情】#GooSeeker数据DIY# [打印本页]

作者: wangyong 时间: 2016-12-13 16:09
标题: 【腾讯新闻_国内新闻详情】#GooSeeker数据DIY#
本帖最后由 ym 于 2017-2-21 09:49 编辑

标题：【腾讯新闻_国内新闻详情】#GooSeeker数据DIY#
类别：新闻
网站：腾讯
采集字段：标题、版块、版块链接、来源、来源链接、发布时间、评论、评论链接、内容
DIY体验入口：http://www.gooseeker.com/res/dat ... B%E8%AF%A6%E6%83%85
样本网址：http://news.qq.com/a/20160504/044328.htm

【启动采集前的配置】

预先登陆网站：否
配置打码平台：否

【运行方法】— 详见数据DIY图文教程

用GS爬虫浏览器或者是安装了爬虫软件的火狐浏览器访问腾讯新闻_国内新闻详情；
输入关键词，若输入多个关键词，请用分号;隔开，例如：耳机;手机，然后点击“获取数据”；
点击“启动采集”按钮，采集完成后点击“打包”按钮，就可以下载数据了。

【常见问题】— 欢迎跟帖留言

作者: Ransonchan 时间: 2018-4-25 18:37
点击不了打包

作者: Fuller 时间: 2018-4-25 18:51

Ransonchan 发表于 2018-4-25 18:37
点击不了打包

我看到你使用了腾讯新闻_国内新闻列表那个数据DIY工具，那么应该到那个数据DIY任务中导出，在那个任务中导出不了？

刚才我试了，导出没有问题，爬虫运行也正常，你遇到打包不了，是打包按钮灰色的吗？如果是这种情况，应该是没有采集到数据。运行爬虫群的时候会同时启动两个爬虫窗口，一个采集数据，一个打包数据，在采集数据窗口中有没有看到网页显示出来？

我估计你给这个数据DIY工具填的网址不对，腾讯新闻_国内新闻列表只接受腾讯新闻首页网址，也就是数据DIY这个页面上的样本网址，这个规则很特殊，只有这一个入口，不能填别的网址。如果你想在腾讯上做关键词搜索，应该用腾讯新闻搜索列表那个DIY工具

腾讯新闻有3个DIY工具组成一个系列，具体使用方法参看《腾讯新闻数据采集攻略》

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)