集搜客GooSeeker网络爬虫

标题: 推特层级爬取询问 [打印本页]

作者: CassieMouse 时间: 2018-12-24 12:46
标题: 推特层级爬取询问
大家好，我想请问一下，如果我想爬取某个推特用户主页的下级网页的标题内容，但这些下级网页来自于不同的网站，如，下图这位推特用户，她的第一条置顶推特就包含了一个下级网页：[attach]10457[/attach]打开后的下级网页里的内容是这样，我指需要提取标题内容。这位推特用户分享的网页来自于不同的网站，请问该如何提取这些下级网页的标题内容呢？[attach]10458[/attach]

作者: wangyong 时间: 2018-12-24 14:55
[attach]10459[/attach]不同网页的结构，网页上显示的标题位置都不同

只能抓取HTML下的TITlE标签下的内容

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)