数据映射是怎么回事啊?具体在呢么操作呢?在节点处右击有内容影射,freeformat映射的,可是没找见数据映射啊,求详解,我是初学者,谢谢了
数据映射是怎么回事啊?具体在呢么操作呢?在节点处右击有内容影射,freeformat映射的,可是没找见数据映射啊,求详解,我是初学者,谢谢了
在对于和讯和其他网站抓取时,由于定义规则的时候用到延长模式,在抓取时会出现,线索抓不全的现象。比如本来一个线索有1000页,最后只抓了40页就直接跳到下个线索了,而且也不报错,不知道这个问题该怎么解决。(配置文件中已经写了关于延长模式的语句!)请求指教!
在抓取英文阿里的时候,没抓几分钟就在scraper的线程窗口中出现需要验证码,但是由于线索跳转的很快(类似于timeout很快,直接跳到下一个线索抓),指导剩余线索为0。中间跳转的时候都来不及手动的填写验证码,就直接报错了。具体日志窗口显示错误如下"suitable data schema cannot be found for clueid 48615823 in 0st nthread cycle"。先配置文件中,timeout时间设置比较长似乎也没什么用,不知道有什么解决方法。求指教啊~
首先非常感谢fuller给网友的耐心回答,真的好感激!
在抓取天涯论坛中,我遇到了一下几个问题,请求fuller给予指点:
管理员你好,
我想利用metaseeker中提取出的商品名(文本内容,而不是url)在另外一个网站中进行搜索,可以利用在线版软件做到吗?谢谢!
HLSEUC
为什么我只能抓一页半的内容 就自动结束了??不能继续翻页呢?
结束时的2个标志为 FLINE 和FIN