
软件介绍
八爪鱼采集器是一款专门用来采集网页数据的网络软件,以自主研发的分布式云计算平台为核心,能够在短时间内从不同网站和网页上抓取大量规范化的数据内容,帮助用户轻松实现数据自动化采集,编辑,规范化,大大提高用户的效率。
功能介绍
简易采集
简易采集模式内置上百种主流网站数据源,如京东、天猫、大众点评等热门采集网站,只需参照模板简单设置参数,就可以快速获取网站公开数据。
智能采集
八爪鱼采集可根据不同网站,提供多种网页采集策略与配套资源,可自定义配置,组合运用,自动化处理。从而帮助整个采集过程实现数据的完整性与稳定性。
云采集
由5000多台云服务器支撑的云采集,7*24小时不间断运行,可实现定时采集,无需人员值守,灵活契合业务场景,帮你提升采集效率,保障数据时效性。
API接口
通过八爪鱼API,可以轻松获取八爪鱼任务信息和采集到的数据,灵活调度任务,比如远程控制任务启动与停止,高效实现数据采集与归档。基于强大的API体系,还可以无缝对接公司内部各类管理平台,实现各类业务自动化。
自定义采集
针对不同用户的采集需求,八爪鱼可提供自动生成爬虫的自定义模式,可准确批量识别各种网页元素,还有翻页、下拉、ajax、页面滚动、条件判断等多种功能,支持不同网页结构的复杂网站采集,满足多种采集应用场景。
便捷定时功能
简单几步点击设置,即可实现采集任务的定时控制,不论是单次采集的定时设置,还是预设某一天或是每周每月的定时采集,都可以同时对多个任务自由进行设置,根据需要对选择时间进行多重组合,灵活调配自己的采集任务。
全自动数据格式化
八爪鱼内置了强大的数据格式化引擎,支持字符串替换、正则表达式替换或匹配、去除空格、添加前缀或后缀、日期时间格式化、HTML转码等多项功能,采集过程中全自动处理,无需人工干预,即可得到所需格式数据。
多层级采集
很多主流新闻、电商类的网站,里面包含一级商品列表页,也包含二级商品详情页,还有三级评论详情页面;不论网站有多少层级,八爪鱼都可以不限制层级的采集数据,满足各类业务采集需求。
支持网站登录后采集
八爪鱼内置了采集登录模块,只需配置目标网站的账号密码,即可用该模块采集到登录后的数据;同时八爪鱼还具备采集Cookie自定义功能,首次登录以后,可以自动记住cookie,免去多次输入密码的繁琐,支持更多网站的采集。
使用方法
先我们新建一个任务-->进入流程设计页面-->添加一个循环步骤到流程中-->选中循环步骤-->勾选上软件右方的URL 列表勾选框-->打开URL列表文本框-->将准备好的URL列表填写到文本框中。

接下来往循环中拖入一个打开网页的步骤-->选中打开网页步骤-->勾选上使用当前循环里的URL作为导航地址-->点击保存。系统会在界面下方的浏览器中打开循环中选中的URL对应的网页。

到这里,循环打开网页的流程就配置完成了,运行流程的时候,系统会逐个的打开循环中设置的URL。最后我们不需要配置一个采集数据的步骤,这里就不在多讲,大家可以参考从入门到精通系列1:采集单个网页 这篇文章。下图就是最终和流程。

下面是流程最终的运行结果。

更新日志
迭代功能
优化数据预览刷新机制
优化全部字段面板
Bug修复
修复复制粘贴步骤的问题
修复数据预览二级面板点选按钮异常问题
修复自动识别后登录显示异常问题
修复修改循环步骤方式页面异常跳转问题
修复字段预览显示排序不正确问题
软件综述
八爪鱼采集器是一款功能强大的数据采集软件,自2014年推出以来,已广泛应用于各大行业和领域,深受广大用户的喜爱和信赖。
八爪鱼采集器的主要优点包括:
-
操作简单:八爪鱼采集器具有简单易懂的操作界面,即使是初学者也可以快速上手使用。软件提供了详细的帮助文档和视频教程,帮助用户轻松掌握各项功能。
-
采集效率高:八爪鱼采集器采用多线程采集模式,可以同时采集多个网站的数据,大大提高了采集效率。此外,软件还支持断点续采,即使在网络中断或软件意外退出时,也能继续进行采集。
-
数据格式灵活:八爪鱼采集器支持多种数据格式,包括文本、HTML、XML、JSON、CSV 等,用户可以根据自己的需要选择合适的数据格式。软件还提供了数据清洗和格式转换功能,帮助用户轻松处理采集到的数据。
-
支持多种来源:八爪鱼采集器支持采集来自各种来源的数据,包括网站、数据库、API、文件等。这使得软件具有广泛的应用范围,可以满足不同用户的不同需求。
-
功能丰富:八爪鱼采集器提供了丰富的功能,包括数据采集、数据清洗、数据格式转换、数据分析、数据导出等。软件还支持自定义脚本,允许用户开发出更高级的功能。
-
性价比高:八爪鱼采集器是一款性价比非常高的软件。软件的定价合理,且提供了多种购买方案,满足不同用户的需求。此外,软件还提供免费试用版,允许用户在购买前体验软件的功能。
总体而言,八爪鱼采集器是一款非常出色的大数据采集软件,具有操作简单、采集效率高、数据格式灵活、支持多种来源、功能丰富、性价比高等优点。软件广泛应用于各大行业和领域,为用户提供了非常便捷高效的数据采集解决方案。