11#
18443172656 中级会员 发表于 2021-4-16 12:38:30 | 只看该作者
Fuller 发表于 2021-4-16 10:55
我执行完第三级,下载也完成了。会不会是你下载太多,这个网站有限制?

可以清理一下缓存试试。最好也换 ...

还是把输入动作跳过了,是我电脑的问题吗
举报 使用道具
12#
Fuller 管理员 发表于 2021-4-16 15:38:17 | 只看该作者
18443172656 发表于 2021-4-16 12:38
还是把输入动作跳过了,是我电脑的问题吗



勾上输入联想试试。

也可能有个原因,就是网页的输入框位置有可能不一样,找不到输入框,也不会输入。你这个xpath是绝对定位的:/html/body/div[position()=1]/div[position()=5]/table/tbody/tr[position()=2]/td[position()=2]/input 。很容易受网页结构的影响。

用这个相对于class定位的xpath试试://*[@class='REGISTRATION_INPUT']
举报 使用道具
13#
18443172656 中级会员 发表于 2021-4-16 19:28:19 | 只看该作者
Fuller 发表于 2021-4-16 15:38
勾上输入联想试试。

也可能有个原因,就是网页的输入框位置有可能不一样,找不到输入框,也不会输入。 ...

应该不是xpath的原因,我用采集失败的网址进行分析页面后仍然是成功的,而且您后面那个xpath定位到10个位置,不能用
举报 使用道具
14#
18443172656 中级会员 发表于 2021-4-16 19:31:07 | 只看该作者
Fuller 发表于 2021-4-16 15:38
勾上输入联想试试。

也可能有个原因,就是网页的输入框位置有可能不一样,找不到输入框,也不会输入。 ...

而且我前面采集的都没有问题,只是最近需要飞掠模式购买了旗舰版。才出现这种状况,不只是这一个规则,其他规则也有问题
举报 使用道具
15#
18443172656 中级会员 发表于 2021-4-16 21:18:59 | 只看该作者
本帖最后由 18443172656 于 2021-4-16 21:22 编辑
Fuller 发表于 2021-4-16 15:38
勾上输入联想试试。

也可能有个原因,就是网页的输入框位置有可能不一样,找不到输入框,也不会输入。 ...

现在的情况是:开始采集的第一条线索是正常采集成功的,但是从第二条线索开始,就把输入动作以及延迟给忽略掉了,直接执行点击,导致登录错误,网页结构变化,就验证规则失败。而且我换了一台电脑,也是同样的情况

举报 使用道具
16#
内容分析应用 金牌会员 发表于 2021-4-16 21:36:49 | 只看该作者
18443172656 发表于 2021-4-16 21:18
现在的情况是:开始采集的第一条线索是正常采集成功的,但是从第二条线索开始,就把输入动作以及延迟给忽 ...

大概一个月前, 我记得你曾经发过一个帖子, 也是这个网站采集的问题。当时我帮你修改了xpath后,后面就正常了。

你试试把那个定位email输入框的xpath改成://*[@class='CADMOMAINTABLE']//tr[contains(.//*,'Returning users: login')]/following-sibling::*[position()<5]//*[@class='REGISTRATION_INPUT']
把点击Login的xpath改成://*[@class='CADMOMAINTABLE']//tr[contains(.//*,'Returning users: login')]/following-sibling::*[position()<5]//*[@class='CADMOBUTTON']
测试下看看有没有改善
举报 使用道具
17#
18443172656 中级会员 发表于 2021-4-16 22:00:56 | 只看该作者
内容分析应用 发表于 2021-4-16 21:36
大概一个月前, 我记得你曾经发过一个帖子, 也是这个网站采集的问题。当时我帮你修改了xpath后,后面就 ...

对的,感谢您帮我修改,以前是可以的,只是最近突然出问题了。您这个xpath可以定位到,但是情况还是没改变, 只有第一条线索采集成功,第二条开始就跳过输入动作,我感觉应该不是xpath的问题,会不会是旗舰版有bug,我这些问题都是在使用旗舰版之后才出现的

举报 使用道具
18#
Fuller 管理员 发表于 2021-4-16 22:15:19 | 只看该作者
18443172656 发表于 2021-4-16 22:00
对的,感谢您帮我修改,以前是可以的,只是最近突然出问题了。您这个xpath可以定位到,但是情况还是没改 ...

把失败的网址发出来几个,测试一下
举报 使用道具
19#
18443172656 中级会员 发表于 2021-4-16 22:23:44 | 只看该作者
举报 使用道具
20#
Fuller 管理员 发表于 2021-4-17 08:45:27 | 只看该作者

咨询了开发人员。这个问题是在设计考虑范围之内的。要这样使用:
1,如果是免费版,那么输入词是从规则中拿的,所以,不存在问题
2,如果是旗舰版,那么输入词是从会员中心的导入词中拿的。但是,如果是要给非第一级规则导入输入词,那么要把这些词只能导入给第一级,因为第二级、第三级...没有爬虫线索
2.1,如果要把输入词都导入给第一级,就要求定义动作的时候,给每个动作都起一个名字,而且名字不能重

简单的说:
把第二级要输入的词导入到每个第一级的线索。如下图,是导入词的菜单。

但是,这个功能很少使用,是否稳定可靠,需要验证一下,我们也在验证。另外,我已经通知开发,在定义规则界面上增加一个选项,强制使用规则中的输入词,新版本在周一推出,因为是加急版本,还没有到发布时间,只能在qq群里跟管理员要。


举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-5 05:26