我要采集一个网址中的数据,但是参数必须是在地址栏中输入。且参数的值为任意。有没有办法自动实现?
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2016-12-19 22:14

沙发
quyixuan 金牌会员 发表于 2016-12-19 17:56:22 | 只看该作者
这个没办法实现,爬虫操作都是在网页中的,无法直接操作地址栏,你可以自己手动拼接网址,然后批量导入到规则里面
举报 使用道具
板凳
TonyJiang 高级会员 发表于 2016-12-19 17:57:48 | 只看该作者
quyixuan 发表于 2016-12-19 17:56
这个没办法实现,爬虫操作都是在网页中的,无法直接操作地址栏,你可以自己手动拼接网址,然后批量导入到规 ...

要输入的词太多,没办法自己一个一个弄,就想有什么程序能够自动给我修改那个参数,任意值都行
举报 使用道具
地板
quyixuan 金牌会员 发表于 2016-12-19 17:58:58 | 只看该作者
TonyJiang 发表于 2016-12-19 17:57
要输入的词太多,没办法自己一个一个弄,就想有什么程序能够自动给我修改那个参数,任意值都行
...

爬虫是没办法给你改地址栏的,还是只能手动做这个工作

举报 使用道具
5#
Fuller 管理员 发表于 2016-12-19 22:14:14 | 只看该作者
这个是个问题吗?本来就不存在这个问题。让我想起昨晚有个朋友非要让我做个软件构造网址,有现成的excel不用,那要花多少钱才能做的像excel一样强大。

在地址栏修改参数的目的是什么?肯定是为了访问这个网址,其实就是
1)构造一个网址,
2)把这个网址输入到地址栏,加载这个网址

构造网址没有必要在地址栏中做,地址栏中做操作的能力多弱啊,在excel中构造网址,那么多excel函数,想怎么构造都行。

用excel可以超大批量构造网址,完成以后,通过集搜客的会员中心中的规则管理界面把网址导入进去,集搜客网络爬虫就能逐个抓取。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-2 06:21