一般1级列表的原始线索网址在采集结果的哪里体现?(不显示翻页的,只是原始导入的那些线索)
在这写字段里应该是哪个?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2020-3-13 15:29

沙发
lan_1985 金牌会员 发表于 2020-3-13 15:19:00 | 只看该作者
fullpath字段就是原始线索网址,realpath是跳转后的网址
举报 使用道具
板凳
思秋忆 中级会员 发表于 2020-3-13 15:21:44 | 只看该作者
这里的clueid和fullpath两个字段是不是对应的,因为翻页关系,原始导入的线索是12条,但是fullpath字段中,由于翻页会导致第一页和之后的页网址不同,所以fullpath字段出现了400多个原始线索网址,而_clueid正好是12个编号
举报 使用道具
地板
lan_1985 金牌会员 发表于 2020-3-13 15:26:01 | 只看该作者
clueid是与fullpath对应的,翻页导致网址变化的话,看clueid可以对应起来
举报 使用道具
5#
思秋忆 中级会员 发表于 2020-3-13 15:29:15 | 只看该作者
好的,谢谢。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为BERTopic安装需要的预训练SBERT模型
  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?

热门用户

GMT+8, 2026-11-3 11:57