帖子的长度和包含图片的个数,帖子上木有显示,可以通过软件统计出来吗?
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2016-12-17 13:02

沙发
xandy 论坛元老 发表于 2016-11-29 15:33:49 | 只看该作者
这些简单的统计功能交给excel就能实现了
1、帖子的长度,excel用lenth函数可以统计
2、包含图片的个数,做规则的时候给图片做个标记,比方说帖子里头有img表示有图片存在(这里是举个例子),然后excel数据里头就可以根据这种标识来进行统计
举报 使用道具
板凳
A2467800302 初级会员 发表于 2016-11-29 16:50:02 | 只看该作者
恩恩 ,好哒,
举报 使用道具
地板
A2467800302 初级会员 发表于 2016-12-17 09:57:27 | 只看该作者
还是不太明白图片那个事,是把单个帖子中所有的img都映射一遍吗,这样爬虫会自动把其他帖子中所有图片都映射出来吗?
举报 使用道具
5#
Fuller 管理员 发表于 2016-12-17 10:21:42 | 只看该作者
A2467800302 发表于 2016-12-17 09:57
还是不太明白图片那个事,是把单个帖子中所有的img都映射一遍吗,这样爬虫会自动把其他帖子中所有图片都映 ...

不用挨个映射,包含你想要的所有图片的区域找出来,在网页上应该是一个DIV或者其他节点,下图是UL,用这个区域作内容映射,然后设置高级参数,勾选“下载图片”,可以勾选“图片网址”或者整个网页片段。

举报 使用道具
6#
A2467800302 初级会员 发表于 2016-12-17 11:22:26 | 只看该作者
再叨扰一下,

“小米12.17图片测试2“

是我的主题,我想把帖子的内容抓下来,以便统计字数和图片个数,
规则是把帖子DIV下的text映射到帖子内容,DIV整体映射到图片,同时设置了高级设置和下载图片
可是结果却是这样,问题出在哪里?

举报 使用道具
7#
Fuller 管理员 发表于 2016-12-17 12:20:18 | 只看该作者
A2467800302 发表于 2016-12-17 11:22
再叨扰一下,

“小米12.17图片测试2“

小米这个网页好慢,要设置几个参数
1)在定义规则的时候,要给抓取内容设置关键内容
2)DS打数机菜单 配置-〉滚屏参数,滚屏次数设置多一些,比如,10
3)DS打数机菜单 配置-〉延迟抓取,要设置长一些,我刚才试了30秒,估计15秒也可以。

第三项最重要,否则都看不到滚屏就结束了,因为这个网页速度太慢了
举报 使用道具
8#
A2467800302 初级会员 发表于 2016-12-17 13:02:34 | 只看该作者
恩恩,好哒,可以了,辛苦您啦
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-9 08:46