采集微博关键词搜索数据怎样能采到地理位置信息

使用集搜客的微博关键词搜索结果采集工具采集微博数据，怎样能采到地理位置信息

在微博关键词搜索工具输入采集关键词时，可以设置细分地区



在高级设置中的细分地区勾选上所有省份和所有城市后，集搜客可会将每个地级市都生成一条独立的微博网址

例如：https://s.weibo.com/weibo/%2523%25E7%25A7%2591%25E6%258A%2580%25E9%2583%25A8%25E6%2598%258E%25E7%25A1%25AE%25E8%25AE%25BA%25E6%2596%2587%25E6%2595%25B0%25E9%2587%258F%25E4%25B8%258D%25E5%258F%25AF%25E4%25B8%258E%25E5%25A5%2596%25E5%258A%25B1%25E6%258C%2582%25E9%2592%25A9%2523?q=%23%E7%A7%91%E6%8A%80%E9%83%A8%E6%98%8E%E7%A1%AE%E8%AE%BA%E6%96%87%E6%95%B0%E9%87%8F%E4%B8%8D%E5%8F%AF%E4%B8%8E%E5%A5%96%E5%8A%B1%E6%8C%82%E9%92%A9%23®ion=custom:44:3&typeall=1&suball=1&Refer=g

按照以上设置后采集结果的搜索条件中就会包含地区，要注意的是按照地区细分后会生成大量的独立链接。
如果关键词数据量少的情况下，需要控制好细分时间的颗粒度，避免造成一个搜索条件下一条数据也没有的情况，这样采集耗费的时间更长。

通常在设置高级条件之前，需要在微博上时间搜索一下查看数据量

关于这个地点，我一直没有明白是发微博的地点，还是用户注册时的地点

Fuller 发表于 2020-7-30 14:54
关于这个地点，我一直没有明白是发微博的地点，还是用户注册时的地点

您好，我尝试勾选全部地区后，爬取了一万多条数据，但很大一部分都是重复的；没勾选，就少了非常多的量，想问下这个对结果影响是不是很大

乐享创者 发表于 2021-1-6 20:51
您好，我尝试勾选全部地区后，爬取了一万多条数据，但很大一部分都是重复的；没勾选，就少了非常多的量， ...

条件不能分的很细，很细的情况下就会有些重复的出现

Fuller 发表于 2020-7-30 14:54
关于这个地点，我一直没有明白是发微博的地点，还是用户注册时的地点

这个是用户发博的地点

scraper 发表于 2021-1-7 09:18
条件不能分的很细，很细的情况下就会有些重复的出现

嗯呐好嘞，谢谢您！那集搜客可以通过设置，在爬取的时候自动剔除重复数据吗？

乐享创者 发表于 2021-1-9 16:59
嗯呐好嘞，谢谢您！那集搜客可以通过设置，在爬取的时候自动剔除重复数据吗？
...

采集的结果中不剔除重复数据，要在导出以后，自己在excel根据剔除规则剔除

Fuller 发表于 2021-1-10 07:58
采集的结果中不剔除重复数据，要在导出以后，自己在excel根据剔除规则剔除
...

害，因为有几万条数据，量太大了，所以想着如果能自动剔除就好了！谢谢您的回答

Fuller 发表于 2021-1-10 07:58
采集的结果中不剔除重复数据，要在导出以后，自己在excel根据剔除规则剔除
...