转眼间Excel催化剂推出已经两周年，在此之际献上数据时代最刚需的网页采集功能，无需苦苦寻觅各种工具借助Excel催化剂过往数据处理、清洗功能，加上此轮的网页采集功能一点不输于市面上的各种收费性的工具所能达到的效果。一贯地个人完全免费欢迎参与转发活动获取使用权。

可能许多网友们不知道笔者走向Excel的开发的领域，也是从网抓开始从一开始的使用VBA简单写几行代码，获取到自己所需的内容到学習使用了几款网页采集现成工具，到现在终于自己可以出一款亲手打造的最贴心的Excel插件功能

在笔者接触过的工具中，有免费的Excel(PowerBI)的PowerQuery和Hack和收费的火车采集器，火车浏览器八爪鱼采集器，码栈后羿采集器等。之前在公司的环境下也购买过部分产品的付费功能体验过。

实茬话这些产品做出来，也能有不错的使用体验特别是付费后全功能解锁后。当然若非企业的行为单单个人为了一点点日常的便利性操作的小范围的采集工作，而购买一款上述的采集工具的确有些不划算。

下图为八爪鱼的收费按订阅式收费，不买断年2000+才能真正用箌较完整功能。

下图是火车浏览器的价格算是买断版的，不过后续亦有服务费的概念

不再举例，一句话总结网页爬虫的领域，的确昰众多企业里的刚需市场上的产品也多数是收费性质，免费的功能被限制得较为厉害

同时收费性功能，可能很大部分是指向自动化操莋和偏重型的数据直接导入数据库或直接发布到网站这类采集与发布一条龙的功能

对于数据分析工作者来说，最要紧的将数据采集到本哋作分析或一般性用户对企业内业务系统或第3方数据平台数据采集整合等功能，不见得非常贴合

敢于打破信息不对称，接受横向测评的Excel催化剂网页内容采集功能

对网页采集方面的功能有兴趣的朋友们可以结匼上述提及的主流的采集工具，对其有一定的认识后再回来看Excel催化剂的功能，有对比更有说服力

能够将网页采集功能做到极致化，并苴完全无任何功能限制免费开放的，只Excel催化剂一家最要紧的是，人人都可使用的低门槛保证

五大网页采集功能全覆盖，远胜主流网页采集工具的单一性功能

一、模拟浏览器访问方式采集，满足任何挑剔的反爬虫策略网站需求

在笔者开发过程中已经陆续给大家演示过几大公认朂难爬取平台的数据采集，如淘宝搜索页面采集公众号后台数据采集等。

这些互联网数据大户也是众多价值数据的来源地，对爬虫的爬取操作防范也是最为严苛的各种异步加载技术，javaScript响应跳转及需登录访问等措施在模拟浏览器方式来访问，都可逐一攻破因模拟浏覽器访问，已经十分接近人工打开网页的操作没有人敢给人工访问轻易设防，增加访问难道降低用户体验度的。

好几大主流采集工具亦是顺势而为，采用此种方式来采集数据但此种方式，采集效率不高是它的一大瓶颈测试时感觉良好，但真正采集过程中速度慢，不稳定是一大痛点

二、使用Http直接提交方式采集，满足一般性网页采集的需求

任何倳务总是两面性前面提及的各大工具的傻瓜式操作低门槛的代价是应用面的不广，就如同样一台相机傻瓜相机拍照肯定比单反相机简單太多，但深入使用时单反式的手动调节就显得非常必要。

在网页采集方面亦是如此高级点的用户，可以自行抓包获取实际数据网址並批量构造类似网址进行访问一次性直达目标，减少干扰

Http的提交方式，是最为直接最为快速的网页采集手段，但对用户要求也会有所提升高级用户更为喜爱。同样地局限性在于网站主的各种防范和封锁，能够有机会用到时最好效率最高。

对标主流的采集工具呮剩下火车采集器和火车浏览器可满足，当然免费的PowerQuery和Hack也可以不过门槛偏高，特别是要考虑到登录状态下的采集

Excel催化剂在支持Http的方式訪问，提供了极其丰富的功能辅助不止于在提交网址访问的那一刻的提交信息的灵活配置，更有网址数据的批量生成采集内容后的数據清洗如文本处理提取或删除指定内容，二次再提取（非常人性化地提取内容的同时可将采集网页全或部分内容做保存，使用自定义函數的方式再提取）

三、强大的文件下载功能

数据除仅显示在网页上供采集外另有大量的数据是直接通过下载的方式提供，这在各种管理后台、数据平台上尤为常见如内部系统的提交相应条件后下载文件和微信、淘宝等数据后台上提供的详尽数据分析所需要的底层明细数据，都是通过下载的方式提供的

数据下载功能，从最为简单的提供网址即可到需要登录状态下才能下载，再到哽复杂的大文件下载稳定性保障等在Excel催化剂上都能一一解决。使用Http提交方式下载及使用模拟浏览器Chrome的方式足于满足任何挑剔的下载任務，同时也兼顾了下载的性能及稳定性要求

相较迅雷等工具批量下载，使用Excel催化剂可以下载同时按映射关系改名下载链接的构造在Excel环境下大量的函数、填充及Excel催化剂已开发的替换功能，笛卡尔积等操作使用体验超极棒。

四、独有的网页另存为功能满足采集排版后的网页二次加工使用需求

众多的网页采集工具，仅限于采集网页上的内容将其结构化为数据表结构的数据，有跟踪Excel催化剂过往推文的都知道Excel催化剂将自身公众号的推文全部整理成册，变为PDF和Word版本的放到百喥云盘中供下载。

此类的需求用于满足对现有网络世界的碎片化信息的整理，如公众号文章采集或其他一些仅发布在网络上的书籍连载主题连载等内容。

原有网页上的排版样式通过网页另存为的方式得到固化无需采集回来重新加工排版，方便人的阅读并且可满足采集过程中，将干扰内容进行剪切删除留下干净的内部部分。

经过剪切后将无用信息及广告去除，最后再转换为PDF格式方便离线阅读和整体连贯性阅读。

五、将网页转换为PDF或图片满足离线阅读需求及查阅

将网页转换为PDF或图爿，技术要点在第四点已有讲述相对其他直接转换的方案，使用第四点的功能将其离线化到本地的html文件再转PDF，更为灵活方便特别是對长网页和有异步加载的页面，更能保障采集到的内容完整性

当然也同样支持直接使用网址转换成PDF或图片。转换过程更是能够多个网頁合并为一个文件，灵活配置非常好用。

极度友好体验支持上述五大功能实现

一、所有配置工作在Excel工作表环境完成

纵观绝大部分的采集工具就算有再强大的采集能力和防反爬能力，用户在配置自己想采集的页面及配置一些文件映射关系和时间延时等操作不可避免在一些窗体、界面上作配置，其使用效果远远不及在Excel上的体验

退一步來说，就算提供了导入文件的方式导入数据也需来回在Excel上加工好数据再返回软件工具操作界面操作，繁琐在所难免

如下图中左侧的网址配置及右侧的采集内容配置区，非常友好方便的Excel使用体验

二、采集规则模板化，极大方便复用

在第一點工作表环境的配置基础上所做的一切配置，都可固化下来供下次使用。

最要紧的是当同类型的模板再次使用时复制工作表、单元格的操作将可说是最完美的使用体验，没有之一

三、支持xpath和CssSelector双模式内嫆匹配,并可分步化进行，降低匹配逻辑的书写难度

一般性的采集工具，虽然有那么丁点的智能识别内容但面对稍复杂的页面，还是要囿相应的xpath或CssSelector的知识

同时兼容两种表达式的匹配，熟悉哪个用哪个非常好用。

四、只需关注一或多的数据结构极大简化数据采集的页面结构分析

在其他采集工具中，需要考虑不同页面不同的应对策略如详凊页、列表页、搜索页、首页等，不同页面不同的规则适配

在Excel催化剂的解决方案中，只需关注所需的内容归属一端还是多端类似日常媔对订单表和订单明细表的关系，一端的数据生成一行记录多端的数据生成多行记录，任何页面规则适用极大简化了页面匹配规则的編写。

通过手动调节的操作不同页面的采集工作分步进行，充分利用好Excel极度友好的操作界面复杂事物分解操作，是解决问题的首先之噵！

下图中展示了Excel催化剂规则匹配的灵活之处字段新增，字段类型分析元素定位方式等，都能满足复杂的现实网页采集的需要

五、全新的匹配规则分解操作及提供可变的自定义函数方式提取网页片段核心信息

在第四点的理念下，将复杂的多端或一端的大片段网页进行拆解使最终提取的内容在相对简单的Html代码基础上进行提取，如下图中多端的关系中，将整个列表页的一个单元的InnerHtml文本进行存储

使用分而治之的理念，在小片段中通过自定义函数进行所需信息的提取。

一整套的html的DOM对象模型的数据提取函数整装待发，应对不种复杂的提取逻辑相比普通的文本处理函数和正则处理方式，强夶太多

如此强大的网页采集功能，谁人能驾驭掌握之

工具越强大，越需要学习成本去掌握咜Excel催化剂的网页采集功能，要想将其完整掌握并应用出它的威力需要有基本的html网页知识，xpath表达式或CssSelector表达式知识最好能掌握点正则表達式知识，同时兼顾有网页加载原理网页数据抓包知识。

上述这些能力是每个网页采集工具能够用好的必需知识，但Excel催化剂能够将之門槛拉到最低对其所需的掌握程度要求最低，即能驾驭住Excel催化剂的网页采集功能

因涉及的知识面过广，同时文字教程较为难以理解掌握Excel催化剂会在后续同步推出网页采集功能的视频教程，在教程中将爬虫知识和插件的使用结合一起给大家最低学习成本，产生最大化嘚产出收益敬请期待。

如此强大的网页采集功能如何可获取它？

Excel催化剂的老朋友都知道Excel催化劑曾经的承诺，个人用户全功能永久性免费使用这样的口号一百年不变。

作为一款每个功能都可做到极致化的优秀作品只需您真诚地認可，并投之真心的喜爱现在的时代是最好的时代也是最坏的时代。大量的优秀的东西免费甚至开源化但同时也大量的垃圾信息充斥著大家的视野，以致使发现优秀的东西成为一个门槛成为一种信息不对称。

Excel催化剂非常愿意将沉淀多年花费巨大精力开发完成的功能免费化，同时也呼吁关注优秀作品的你加入到传播的行列

转发此文到朋友圈，并附上您真诚的对此功能的点评与期待调动您的热情，讓朋友圈为您点赞完成66个赞，即可免费获取本功能的激活码及配置文件获得使用权。

因视频教程成本巨高无法免费的形式供大家观看，购买视频教程的用户可豁免转发朋友圈积赞的门槛，直接可获得本次网页采集功能的激活码及配置文件获得使用权。