集搜客GooSeeker网络爬虫

标题: 使用scrapy爬取时，没有获取到相关数据 [打印本页]

作者: fengsj_2015 时间: 2021-11-1 17:19
标题: 使用scrapy爬取时，没有获取到相关数据
import scrapy

class QiubaiSpider(scrapy.Spider):
name = 'qiubai'
#allowed_domains = ['www.xxx.com']
start_urls = ['https://www.qiushibaike.com/text/']

def parse(self, response):
      # 作者的名称与内容，个人觉得是不是这里有问题？爬虫运行后没有获取到任何数据
      div_list = response.xpath('//div[@id="col1 old-style-col1"]/div')
      all_data = []
      for div in div_list:          author = div.xpath('./div/a[1]/h2/text()')[0].extract()
               content = div.xpath('./div/span//text()').extract()
         content = ''.join(content)
         dic = {
            'author':author,
            'content':content
         }
         all_data.append(dic)
      return all_data

作者: Fuller 时间: 2021-11-1 17:43
用scrapy的简单的request/response估计采集不到你想要的内容，做下面的测试就可以看到，在这个网页上并没有你要的那个div，第二个命令是作为对照，可以看到，这个命令能搜到网页上含有的内容。

[attach]15167[/attach]

作者: fengsj_2015 时间: 2021-11-2 15:26
@Fuller 谢谢你的回复。确实是没有取到我要的div，我后面做了调整就好了。

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)