本文介绍使用八爪鱼7.0采集大众点评商家团购评价数据的方法

采集网站:

http://t.dianping.com/deal/20408602

?

使用功能点:

Ajax点击和翻页

Ajax滚动加载设置

分页列表内容提取

?

大众点评:大众点评网于2003年4月成立于上海。大众点评是中国领先的本地生活信息及交易?#25945;ǎ?#20063;是全球最早建立的独立第三方消费点评网站。大众点评不仅为用户提供商户信息、消费点评及消费优惠等信息服务,同时亦提供团购、餐厅预订、外卖及电子会员卡等O2O(Online To Offline)交易服务。

大众点评采集数据说明:本文进行了深圳大众点评-美?#36710;?#38138;团购的会员评价信息采集。本文仅以“深圳大众点评-美?#36710;?#38138;团购的会员评价信息采集”为例。大家在实操过程?#26657;?#21487;根据自身需求,更换大众点评的其他内容进行数据采集。

大众点评字段详细说明:评价会员名、评价发布时间、评价内容。

?

步骤1:创建采集任务

进入主界面选择,选择自定义模式

1?

?

上面网址的网址复制?#31243;?#21040;网站输入框?#26657;?#28857;击保存网址

2?

保存网址后,页面将在八爪鱼采集器?#20889;?#24320;,红色方框中的信息是这次演示要采集的内容

3

?

步骤2:设置ajax页面加载时间

l?设置打开网页步骤的ajax滚动加载时间

l??#19994;?#32763;页按钮,设置翻页循环

l?设置翻页步骤ajax延时时间?

在页面打开后,当下拉页面时,会发现页面?#34892;?#30340;数据在进行加载

所以需要进行以下设置:打开流程图,点击“打开网页”步骤,在?#20063;?#30340;高级选项框?#26657;?#21246;选页面加载完成向下滚动设置滚动次数,?#30475;?#28378;动间隔时间,一般设置2秒这个页面的滚动方式选择“直接滚动到底部”;最后点击确定

4?

注意:这里的滚动次数及间隔需要针对网站进行设置,测试方法可以参考八爪鱼7.0教程——AJAX滚动教程

?

将页面下拉到底部,?#19994;?#19979;一页按钮,鼠标点击,在?#20063;?#25805;作提示框?#26657;?/span>选择循环点击下一页

5

由于页面使用了ajax加载技术,需要对翻页步骤设置ajax延时加载(ajax判断方法:打开流程图,?#19994;?#32763;页循环框,手动执行翻页,看网站有没有进行加载)在?#20063;?#30340;高级选项?#26657;?#21246;选Ajax加载数据,选择合适的超时时间,一般设置2秒;最后点击确定

6

?

步骤3:评价信息采集

l?选?#34892;?#35201;采集的字段信息,创建采集列表

l?编辑采集字段名称

如图,移动鼠标选中列表中评价的名称,右键点击,需采集的内容会变成绿色

7

?

移动鼠标选中红色方框?#25105;?/span>文本字段后,列表中所有适配内容会变成绿色,在?#20063;?#25805;作提示框?#26657;?#26597;看提取的字段,可以将不需要的字段删除,然后点击“选中全部”

8

注意:?鼠标放在提示框中的字段上会出现一个删除标识,点击即可删除该字段。

8.1

?

?

点击“采集以下数据”

9

修改采集字段名,并点击下方提示中的“保存并开始采集

?

步骤4:数据采集及导出

根据采集的情况选择合适的采集方式,这里选择启动本地采集

11

说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个?#24179;?#28857;分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。

?

采集完成后,会跳出提示,选择导出数据

13

采集完成后选择合适的导出方式,将采集好的数据导出

14

?