往规则导入一批网址，但得到的线索数量不对

ym 于 2016-7-7 22:16 发表 [复制链接] [只看楼主] [打印] [上一主题] [下一主题]

情景：用excel复制一大堆网址进规则线索，得到的线索数不齐，复制一万条才有几千条线索

解答：
1、重复网址会被过滤
2、手工导入的网址有长度限制，超过255个字符的话，就导入不了，这种情况，去百度找把长网址转换为短网址的工具，然后把短网址导入
3、如果网页上有这些网址，可以做层级规则抓取，把抓到的网址自动导入到下级规则中

转播

支持

反对

举报使用道具

| 回复

共 0 个关于本帖的回复最后回复于 2016-7-7 22:16

返回列表

精彩推荐

为BERTopic安装需要的预训练SBERT模型
在什么情况下使用弹窗模式和回退功能？
爬网址做层级采集——以当当商品爬虫为例
网络爬虫采集列表数据
UMAP的min_dist参数有什么作用？

往规则导入一批网址，但得到的线索数量不对

共 0 个关于本帖的回复最后回复于 2016-7-7 22:16

推荐板块

精彩推荐

热门话题

热门用户

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页

往规则导入一批网址，但得到的线索数量不对

共 0 个关于本帖的回复 最后回复于 2016-7-7 22:16

推荐板块

精彩推荐

热门话题

热门用户

共 0 个关于本帖的回复最后回复于 2016-7-7 22:16