大数据时代网络爬虫技术在商业银行中的应用

　　人类社会已经进入 大数据时代 ，传统的信息存储和传播媒介已逐渐为计算机所替代，并呈现出指数增长的趋势，成为21世纪最为重要的经济资源之一。作为掌握大量真实交易数据的商业银行，面对浩如烟海的信息时，如何实现银行内部与外部信息、结构性与非结构性数据的紧密结合，更加准确地识别信息，有效地对信息进行挖掘，将数据价值转化为经济价值，已经成为当前商业银行提升核心竞争力的重要途径之一。网络爬虫技术的快速发展为商业银行提升信息精准获取和有效整合应用能力提供了全新的策略。

　　 网络爬虫技术概述

网络爬虫是Spider（或Robots、Crawler）等词的意译，是一种高效的信息抓取工具，它集成了搜索引擎技术，并通过技术手段进行优化，用以从互联网搜索、抓取并保存任何通过HTML（超文本标记语言）进行标准化的网页信息。其作用机理是：发送请求给互联网特定站点，在建立连接后与该站点交互，获取HTML格式的信息，随后转移到下一个站点，并重复以上流程。通过这种自动化的工作机制，将目标数据保存在本地数据中，以供使用。网络爬虫在访问一个超文本链接时，可以从HTML标签中自动获取指向其他网页的地址信息，因而可以自动实现高效、标准化的信息获取。

随着互联网在人类经济社会中的应用日益广泛，其所涵盖的信息规模呈指数增长，信息的形式和分布具有多样化、全球化特征，传统搜索引擎技术已经无法满足日益精细化、专业化的信息获取和加工需求，正面临着巨大的挑战。网络爬虫自诞生以来，就发展迅猛，并成为信息技术领域的主要研究热点。当前，主流的网络爬虫搜索策略有如下几种。

　　 深度优先搜索策略

早期的爬虫开发采用较多的搜索策略是以深度优先的，即在一个HTML文件中，挑选其中一个超链接标签进行深度搜索，直至遍历这条超链接到最底层时，由逻辑运算判断本层搜索结束，随后退出本层循环，返回上层循环并开始搜索其他的超链接标签，直至初始文件内的超链接被遍历。深度优先搜索策略的优点是可以将一个Web站点的所有信息全部搜索，对嵌套较深的文档集尤其适用；而缺点是在数据结构日益复杂的情况下，站点的纵向层级会无限增加且不同层级之间会出现交叉引用，会发生无限循环的情况，只有强行关闭程序才能退出遍历，而得到的信息由于大量的重复和冗余，质量很难保证。

　　 宽度优先搜索策略

与深度优先搜索策略相对应的是宽度优先搜索策略，其作用机理是从顶层向底层开始循环，先就一级页面中的所有超链接进行搜索，完成一级页面遍历后再开始二级页面的搜索循环，直到底层为止。当某一层中的所有超链接都被选择过，才会基于该层信息检索过程中所获得的下一级超链接（并将其作为种子）开始新的一轮检索，优先处理浅层的链接。这种模式的一个优点是：无论搜索对象的纵向结构层级有多么复杂，都会极大程度上避免死循环；另一个优势则在于，它拥有特定的算法，可以找到两个HTML文件间最短的路径。一般来讲，我们期望爬虫所具有的大多数功能目前均可以采用宽度优先搜索策略较容易的实现，所以它被认为是最优的。但其缺点是：由于大量时间被耗费，宽度优先搜索策略则不太适用于要遍历特定站点和HTML文件深层嵌套的情况。

　　 聚焦搜索策略

与深度优先和宽度优先不同，聚焦搜索策略是根据“匹配优先原则”对数据源进行访问，基于特定的匹配算法，主动选择与需求主题相关的数据文档，并限定优先级，据以指导后续的数据抓取。这类聚焦爬虫针对所访问任何页面中的超链接都会判定一个优先级评分，根据评分情况将该链接插入循环队列，此策略能够帮助爬虫优先跟踪潜在匹配程度更高的页面，直至获取足够数量和质量的目标信息。不难看出，聚焦爬虫搜索策略主要在于优先级评分模型的设计，亦即如何区分链接的价值，不同的评分模型针对同一链接会给出不同的评分，也就直接影响到信息搜集的效率和质量。同样机制下，针对超链接标签的评分模型自然可以扩展到针对HTML页面的评价中，因为每一个网页都是由大量超链接标签所构成的，一般看来，链接价值越高，其所在页面的价值也越高，这就为搜索引擎的搜索专业化和应用广泛化提供了理论和技术支撑。当前，常见的聚焦搜索策略包括基于“巩固学习”和“语境图”两种。

从应用程度来看，当前国内主流搜索平台主要采用的是宽度优先搜索策略，主要是考虑到国内网络系统中信息的纵向价值密度较低，而横向价值密度较高。但是这样会明显地遗漏到一些引用率较小的网络文档，并且宽度优先搜索策略的横向价值富集效应，会导致这些链接量少的信息源被无限制的忽略下去；而在此基础上补充采用线性搜索策略则会缓解这种状况，不断引入更新的数据信息到已有的数据仓库中，通过多轮的价值判断去决定是否继续保存该信息，而不是“简单粗暴”地遗漏下去，将新的信息阻滞在密闭循环之外。

　　 网络爬虫技术发展趋势

近年来，随着网络爬虫技术的持续发展，搜索策略也在不断进行优化。从目前来看，未来网络爬虫的发展主要呈现以下趋势。

　　 网页数据动态化

传统的网络爬虫技术主要局限于对静态页面信息的抓取，模式相对单一，而近年来，随着Web2.0/AJAX等技术成为主流，动态页面由于具有强大的交互能力，成为网络信息传播的主流，并已取代了静态页面成为了主流。AJAX采用了JavaScript驱动的异步（非同步）请求和响应机制，在不经过网页整体刷新的情况下持续进行数据更新，而传统爬虫技术缺乏对JavaScript语义的接口和交互能力，难以触发动态无刷新页面的异步调用机制并解析返回的数据内容，无法保存所需信息。

此外，诸如JQuery等封装了JavaScript的各类前端框架会对DOM结构进行大量调整，甚至网页上的主要动态内容均不必在首次建立请求时就以静态标签的形式从服务器端发送到客户端，而是不断对用户的操作进行回应并通过异步调用的机制动态绘制出来。这种模式一方面极大地优化了用户体验，另一方面很大程度上减轻了服务器的交互负担，但却对习惯了DOM结构（相对不变的静态页面）的爬虫程序提出了巨大挑战。传统爬虫程序主要基于“协议驱动”，而在互联网2.0时代，基于AJAX的动态交互技术环境下，爬虫引擎必须依赖“事件驱动”才有可能获得数据服务器源源不断的数据反馈。而要实现事件驱动，爬虫程序必须解决三项技术问题：第一，JavaScript的交互分析和解释；第二，DOM事件的处理和解释分发；第三，动态DOM内容语义的抽取。

　　 数据采集分布化

分布式爬虫系统是在计算机集群之上运转的爬虫系统，集群每一个节点上运行的爬虫程序与集中式爬虫系统的工作原理相同，所不同的是分布式需要协调不同计算机之间的任务分工、资源分配、信息整合。分布式爬虫系统的某一台计算机终端中植入了一个主节点，并通过它来调用本地的集中式爬虫进行工作，在此基础上，不同节点之间的信息交互就显得十分重要，所以决定分布式爬虫系统成功与否的关键在于能否设计和实现任务的协同，此外，底层的硬件通信网络也十分重要。由于可以采用多节点抓取网页，并能够实现动态的资源分配，因此就搜索效率而言，分布式爬虫系统远高于集中式爬虫系统。

经过不断的演化，各类分布式爬虫系统在系统构成上各具特色，工作机制与存储结构不断推陈出新，但主流的分布式爬虫系统普遍运用了“主从结合”的内部构成，也就是由一个主节点通过任务分工、资源分配、信息整合来掌控其他从节点进行信息抓取；在工作方式上，基于云平台的廉价和高效特点，分布式爬虫系统广泛采用云计算方式来降低成本，大规模降低软硬件平台构建所需要的成本投入；在存储方式方面，当前比较流行的是分布式信息存储，即将文件存储在分布式的网络系统上，这样管理多个节点上的数据更加方便。通常情况下使用的分布式文件系统为基于Hadoop的HDFS系统。

　　 网络爬虫技术在商业银行的应用

对商业银行而言，网络爬虫技术的应用将助力商业银行实现四个“最了解”，即“最了解自身的银行”、“最了解客户的银行”、“最了解竞争对手的银行”和“最了解经营环境的银行”，具体应用场景如下。

　　 网络 舆情 监测

网络舆情是当前社会主流舆论的表现方式之一，它主要搜集和展示经互联网传播后大众对部分社会焦点和热点问题的观点和言论。对于商业银行而言，对网络舆情进行监测，是对自身品牌管理和危机公关的重要技术手段，从而以网络作为一面“镜子”，构建“最了解自身的银行”。

网络舆情作为当前社会的主流信息媒介之一，具有传播快、影响大的特点，对于商业银行而言，创建自动化的网络舆情监控系统十分必要，一方面可以使商业银行获得更加精准的社会需求信息，另一方面可以使商业银行在新的舆论平台上传播自身的服务理念和服务特色，提升自身的业务拓展水平。由于网络爬虫在网络舆情监控中有着不可替代的作用，其工作质量将会很大程度上影响网络舆情采集的广度和深度。依据采集目标的类型，网络爬虫可以归纳为“通用型网络爬虫”和“主题型网络爬虫”两种。通用型网络爬虫侧重于采集更大的数据规模和更宽的数据范围，并不考虑网页采集的顺序和目标网页的主题匹配情况。在当前网络信息规模呈现指数增长的背景下，通用型网络爬虫的使用受到信息采集速度、信息价值密度、信息专业程度的限制。为缓解这种状况，主题型网络爬虫诞生了。不同于通用型网络爬虫，主题型网络爬虫更专注采集目标与网页信息的匹配程度，避免无关的冗余信息，这一筛选过程是动态的，贯穿于主题型网络爬虫技术的整个工作流程。

通过运用爬虫技术对网络舆情进行监测，可以更加全面深入地了解客户对银行的态度与评价，洞察银行自身经营的优势与不足，同时可以起到防御声誉风险、增强品牌效应的作用。

　　　 客户全景画像

随着商业银行竞争日趋激烈，利润空间进一步压缩，对客户营销和风险控制的要求也日趋提升。在当前的银行经营体系中，营销流程管理和风险流程管理，尤其是对潜在客户和贷后风险的识别与管理，往往需要耗费大量的人力、物力和时间成本。通过引入网络爬虫技术，可以有效构建面向客户的全景画像，打造“最了解客户的银行”，这是对传统“客户关系管理”以及“非现场风控”技术的有益补充，将会极大促进银行客户营销和对风险的管理。

网络爬虫程序可以用来构建银行客户的全维度信息视图，即以简单的个人客户身份信息或对公客户网络地址为输入，经过爬虫程序的加工，将符合预设规则的客户信息按特定的格式进行输出。以特定的基础数据作为原料，银行数据人员将关键词输入爬虫系统，并结合与客户信息相关的网络地址信息，封装成爬虫种子传递给爬虫程序，随后，爬虫程序启动相应的业务流程，爬取客户相关信息的网页并保存下来。此外，从网络舆情监测层面进一步入手，将监测对象从自身延伸至银行客户，则能够通过网络在第一时间了解银行客户的客户对银行客户的评价，及时掌握客户的舆情动态，指导银行经营决策。

通过采用上述网络爬虫系统对客户相关信息进行实时采集、监测、更新，不仅可以更全面地了解客户实时情况，而且可以对客户的潜在营销商机和信用风险进行预判，有效提升客户营销和贷后风险管理效率，提升商业银行综合效益，形成银行与客户共赢的局面。

　　 竞争对手分析

　　当前，随着利率市场化的到来和 互联网金融 的冲击，商业银行间竞争日趋激烈，新的市场参与主体与新的产品层出不穷，业务竞争加剧。在此背景下，充分了解竞争对手动态，打造“最了解竞争对手的银行”，并以此对自身进行调整，及时抢占先机，这对各家商业银行而言都具有愈发重要的意义。

通过构建基于网络爬虫技术的全网络信息分析和展示平台，可以有效对全网络实时数据进行抓取，及时获取其他银行的产品信息与新闻动态，第一时间获取其他竞争者的状况，方便整合并用以分析本地行内数据。网络爬虫通过实时采集数据构建起动态数据平台，抓取网络数据并进行本地存储，便于未来进行深入的数据挖掘分析应用。网络爬虫技术不仅使得商业银行决策层更方便地制定准确的政策，用以支撑公司的运营，而且可以将网络舆情信息的监测对象从自身、客户延伸至竞争对手，便于实时掌握竞争对手的市场竞争状况及其优劣势，实现“知己知彼”，真正达到信息对称。

　　 行业垂直搜索

垂直搜索是指将搜索范围细分至某一专业领域，针对初次获取到的网页信息进行更深层次的整合，最终形成“纯度”更高的专业领域信息。银行数据人员采用该种方式，可以极大提高有效信息的获取效率。通过对金融主题进行抓取分析，商业银行可以更加全面地了解监管政策发展动态，了解区域经济、行业经济的发展形势，以及掌握金融行业自身经营环境动态，及时校验并调整自身策略，紧跟市场趋势，打造成为“最了解经营环境的银行”。

对金融领域垂直搜索的应用，可以提高金融主体的信息处理能力。垂直搜索技术上的最大亮点就是能够对形式多样、规模巨大的数据进行有目标地专业化的细分操作，减少垃圾信息、聚集有效信息，提高搜索效率，在某些条件下甚至可以提供实时的数据，最大限度地整合现有大量复杂的网页数据，使用户获得更便捷、更完整、更高效的信息检索服务。

　　 结语

随着互联网技术的发展和数据爆炸，网络爬虫技术为商业银行数据采集和信息整合应用提供了全新的技术路径。站在商业银行应用实践的角度，网络爬虫在银行日常经营管理中的发展潜力巨大。网络爬虫技术的应用可以助力银行转型成为最了解自身、最了解客户、最了解竞争对手、最了解经营环境的“智慧银行”。可以预见，网络爬虫技术将成为商业银行提升精细化管理能力、提高决策智能化水平的重要技术手段。

（作者/王彦博 樊营 高潜 作者单位：中国民生银行公司业务战略规划部, 北京网智天元科技股份有限公司, 中国社会科学院金融研究所）

责任编辑：陈近梅