我要采集一个网址中的数据,但是参数必须是在地址栏中输入。且参数的值为任意。有没有办法自动实现?
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2016-12-19 22:14

沙发
quyixuan 金牌会员 发表于 2016-12-19 17:56:22 | 只看该作者
这个没办法实现,爬虫操作都是在网页中的,无法直接操作地址栏,你可以自己手动拼接网址,然后批量导入到规则里面
举报 使用道具
板凳
TonyJiang 高级会员 发表于 2016-12-19 17:57:48 | 只看该作者
quyixuan 发表于 2016-12-19 17:56
这个没办法实现,爬虫操作都是在网页中的,无法直接操作地址栏,你可以自己手动拼接网址,然后批量导入到规 ...

要输入的词太多,没办法自己一个一个弄,就想有什么程序能够自动给我修改那个参数,任意值都行
举报 使用道具
地板
quyixuan 金牌会员 发表于 2016-12-19 17:58:58 | 只看该作者
TonyJiang 发表于 2016-12-19 17:57
要输入的词太多,没办法自己一个一个弄,就想有什么程序能够自动给我修改那个参数,任意值都行
...

爬虫是没办法给你改地址栏的,还是只能手动做这个工作

举报 使用道具
5#
Fuller 管理员 发表于 2016-12-19 22:14:14 | 只看该作者
这个是个问题吗?本来就不存在这个问题。让我想起昨晚有个朋友非要让我做个软件构造网址,有现成的excel不用,那要花多少钱才能做的像excel一样强大。

在地址栏修改参数的目的是什么?肯定是为了访问这个网址,其实就是
1)构造一个网址,
2)把这个网址输入到地址栏,加载这个网址

构造网址没有必要在地址栏中做,地址栏中做操作的能力多弱啊,在excel中构造网址,那么多excel函数,想怎么构造都行。

用excel可以超大批量构造网址,完成以后,通过集搜客的会员中心中的规则管理界面把网址导入进去,集搜客网络爬虫就能逐个抓取。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-3 22:42