本文介绍使用八爪鱼7.0采集今日头条数据的方法

?

采集网站:

https://www.toutiao.com/ch/news_hot/

?

使用功能点:

l?Ajax滚动加载设置

l?列表内容提取

?

今日头条:今日头条是?#26412;?#23383;节跳动科技有限公司开发的一款基于数据挖掘的推荐引擎产品,为用户推荐信息,提供连接人与信息的服务的产品。由张一鸣于2012年3月创建,2012年8月发布第一个版本。今日头条通过算法解读微博、QQ等社交账号登陆的使用者的兴趣,进行精准的阅读内容推荐。

?

今日头条热点内容采集数据说明:本文进行了今日头条-热点内容信息的采集。本文仅以“今日头条-热点内容信息采集”为例,大?#20197;?#23454;操过程?#26657;?#21487;根据自身需求,更换今日头条的其他内容进行数据采集。

?

今日头条采集字段详细说明:内容标题,内容来源,内容评论数量,内容发布时间。

?

步骤1:创建采集任务

1)进入主界面,选择“自定义模式”

八爪鱼首页

?

2)要采集的网址URL制?#31243;?#21040;网址输入框?#26657;?#28857;击“保存网址

今日头条数据采集图2

?

3)保存网址后,页面将在八爪鱼采集器?#20889;?#24320;,红色方框中的信息是这次演示要采集的内容

今日头条数据采集图3

步骤2:设置ajax页面加载时间

l?设置打开网页步骤的ajax滚动加载时间

l??#19994;?#32763;页按钮,设置翻页循环

l?设置翻页步骤ajax下拉加载时间

1)网页打开后,需要进行以下设置:打开流程图,点击“打开网页”步骤,在右侧的高级选项框?#26657;?#21246;选页面加载完成向下滚动设置滚动次数,?#30475;?#28378;动间隔时间,一般设置2秒这个页面的滚动方式选择直接滚动到底部;最后点击确定

今日头条数据采集图4

?

注意:今日头条的网站属于瀑布流网站,没有翻页按钮,这里的滚动次数设?#23186;?#24433;响采集的数据量

今日头条数据采集图5

?

?

步骤3:采集新闻内容

1)如图,移动鼠标选中评论列表的方框,右键点击,方框底色会变成绿色,然后点击“选中子元素”

今日头条数据采集图6

注意:点击右上角的流程按钮即可展现出可视化流程图。

?

2)然后点击“选中全部?#20445;?/span>将页面?#34892;?#35201;需要采集的信息添加到列表中

今日头条数据采集图7

?

注意:?在提示框中的字段上会出现一个X标识,点击即可删除该字段。

今日头条数据采集图8

?

?

3)点击“采集以下数据”

今日头条数据采集图9

?

4)修改采集字段名称,点击下方红色方框中的“保存并开始采集

今日头条数据采集图10

?

步骤4:数据采集及导出

1)根据采集的情况选择合适的采集方式,这里选择启动本地采集

今日头条数据采集图11

说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个?#24179;?#28857;分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。

?

2)采集完成后选择合适的导出方式,将采集好的数据导出

今日头条数据采集图12