如下图所示,我要抓的这个网页我想设置时间段后,抓取搜索出来的结果,如果直接做规则的话,我只能抓到没有经过时间筛选的要实现时间段搜索结果的抓取要怎么做?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-11-16 11:43

沙发
xandy 论坛元老 发表于 2016-11-16 11:43:28 | 只看该作者
按你的描述,选择时间段后搜索结果还是在当前页面,这里分两种情况。
1、搜索后当前页面的url发生了变化
那就你可以直接对搜索后的样本页面定义采集规则,入门教程参看:《从入门到精通
2、搜索后网址没有发生变化
这种情况,是要定义连续动作的,连续动作完全模拟人的操作,假设我们做两个规则,第一个规则定义动作(比如:先点击将时间框弹出来->再点击起始时间->再点击结束时间->最后点击搜索),第二级规则对搜索结果做采集规则
连续动作的相关教程参看:《连续动作让爬虫持续采集
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?
  • UMAP的n_neighbors参数有什么作用?

热门用户

GMT+8, 2026-7-10 09:04