干货丨大规模自动化知识图谱构建的七大基本原则

知识图谱 （Knowledge Graph, KG）本质上是一种大规模语义网络，包含实体、概念及其之间的各类语义关系， 目前已经成为认知智能的基石 ，是发展 人工智能 的核心技术，它让机器语言认知、可解释人工智能成为可能，能够显著增强机器学习的能力，将成为与数据驱动相并列的一种非常重要的解决问题的方式。

最近几年，以知识图谱为代表的智能化技术正在触及越来越多领域，许多企业都已将人工智能升格为企业的核心战略。目前在 金融 领域，知识图谱等人工智能技术也正在赋能越来越多的业务，推动金融更加智能化。

金融KG的挑战与机遇

在金融知识图谱构建的早期探索中，有人认为只有股票、期货、上市公司与金融密切相关。但是在实际应用中，几乎万事万物在某种意义下都与金融相关，比如某地区突发一场龙卷风，可能影响农作物产量，进而影响农业机械的出货量，最终影响某家生产农用发动机的上市公司股价。

类似这样的关联分析，正是我们期望智能金融实现的，而这样的深度关联分析，显然十分容易超出任何专家系统的预先设定的知识边界。 因此，某种意义上，知识是普遍关联的，金融领域知识库的构建，也要面临与通用知识库相同的挑战。

此外，需求多样、规模巨大、要支撑的业务系统很庞杂、企业能够投入的资源有限等问题，在金融知识图谱的构建中也带来了一定的挑战，尤其在数据方面，一旦具体到某个特定金融场景，数据可能很稀疏，并且分布不均匀，质量低下。

不过，在金融领域数据不足的场景，往往专家知识丰富，结构化数据不多的场景，往往文本数据丰富，这些都是金融知识图谱的机遇。再加上目前深度模型丰富，各种方法并存，互联网上已经存在一些高质量图谱可以充分利用，都为图谱的构建提供了有利条件。

金融KG的构建需要大规模自动化吗？

知识图谱源于传统知识工程，在上世纪七十年代，传统知识工程主要依赖专家去描述某个领域的本体，通过人工的方式来完成知识的表达和获取。很显然，现今金融场景的数据规模非常大，需要发展数据驱动的、自下而上的自动化方法，来高效地实现图谱构建。

知识图谱的构建有三大关键要素： 人——整个知识图谱构建的发起者、是数据的标注者，并且支持最终的验证；模型——现在大量采用的知识图谱构建方法，主要是机器学习的模型；数据——模型使用的是有标注数据或者无标注数据。

大规模自动化知识图谱的构建同样需要考虑到上述三要素，控制人力成本、实现大规模知识获取，同时保证知识图谱的质量，构建足够普适、轻量、廉价的知识图谱。根据目前学界的经验，可以参考以下一些基本原则。

端到端模型优于流水线方案

所谓“端到端”，就是从原始数据输入到任务结果输出，整个训练和预测过程，都是在模型里完成的。 流水线（pipeline）技术是指在程序执行时多条指令重叠进行操作的一种准并行处理实现技术，相对来说容易导致错误的传播和积累，导致最后的准确率不佳。在准确率差不多的情况下，可以优先考虑采用端到端的方案，降低特征工程的人工代价，避免错误传播。

有海量数据时，无监督方法更合适

无监督方法和有监督方法的选择是有条件的，在有海量数据的情况下，无监督方法是比较合适的。近年来行业中发展了大量的无监督词汇挖掘方法，尤其在实体识别方面，目前已有不错的效果。融合多种统计特征是取得较好效果的关键，同时需要注意，特征比模型重要。

任何一个领域的智能化，往往都是从这个领域的词汇知识挖掘开始的，金融领域也应如此。这跟人的学习类似，人去了解一个新的领域，也是先学习这个领域的基本词汇，了解词汇的概念、上下位词、同意词、简称等。让机器获取词汇知识，往往需要无监督的方法，因为很多场景缺少标准数据，但是往往有充足的文本， 只要文本量足够大 ，通过使用无监督的办法可以高效、准确地挖掘出该领域的词汇。

充分利用行为数据

知识图谱的构建，除了从文本里挖，或者从已有的关系表格里转换，还可以通过深挖用户的行为数据来构建。诸如电商、搜索等场景，有丰富的用户行为数据，这些搜索日志可以很好地帮助我们构建词汇之间的一些关系，比如搜索“Fintech”的人总是会点开 金融科技 相关的文档，那么“Fintech”很有可能就是“金融科技”的同义词。

很多企业内部也有搜索平台，对于知识图谱的构建同样具有价值。通过充分挖掘搜索日志等用户行为数据，挖掘词汇之间的关系，有助于知识图谱的构建。

统计模型需与符号知识结合

相比于单一的统计模型，统计模型与符号知识相结合会更加有效。金融领域有丰富的符号知识，例如专家规则等，这些知识可以帮助提升统计模型的效果。例如在给实体打标签的时候，可以初步构造出一些约束，举个简单的例子，如果xx是个人，他肯定不会是一本书；如果他是一名企业家，他肯定是个人物。这些约束的本质是符号化的知识，充分利用先验知识构造各种约束，是有效提升模型效果的关键思路。

符号知识还可以用来构造注意力机制。现在注意力对于深度学习模型来说很重要，简单地说就是 打权重 。比如在“她已经用苹果十年了”这句话中，当我们给“苹果”这个词打标签，“移动电话”的标签要比“水果”的标签合适。利用符号知识去构造深度模型里面的注意力机制，有助于做到真正的知识引导，使得效果更好。

间接知识引导优于直接数据驱动

深度学习模型本质上是直接数据驱动，但在一些情况下，需要先从数据中去挖掘一些pattern，再把pattern融合到深度模型中，会取得更好的效果。有的人在做关系抽取的时候，会将其建模成关系分类，但是事实上可以从语料中挖掘主题词增强输出描述，使用主题模型挖掘关系标签的相关主题词，利用主题词增强关系标签描述，从而显著提升关系抽取的准确率。

用图模型增强可解释性

图模型很普适，有非常强的表达能力，并且可解释、可控，便于调整。可解释性决定了人工智能系统的决策结果能否被人类采信。比如在金融领域的智能投资决策，即便人工智能决策的准确超过90%，但是如果系统不能给出作出决策的理由，投资经理或者用户恐怕也是十分犹豫的。

专家知识库可作为种子样本

在数据样本标注方面，如果既有专家构建的知识体系，也有自动构建的知识体系，利用专家构建的小规模知识体系作为数据驱动的种子样本，是有效降低人工标注的重要思路之一，可以降低模型构建的代价。

此外，对于实际落地来说，复合架构非常重要，比如 统计+规则可以有效解决样本分布不均匀给单一模型带来的挑战；众包化验证不可或缺，因为总有一些知识正确与否的验证是要交给人类自身的；在知识图谱的更新方面，可以利用互联网热点来驱动图谱更新 ，因为只有互联网上的热点实体，其事实才有可能改变，冷门实体（例如秦始皇这种历史词条）一般不会发生变化。

大数据 时代的到来，使得自动化知识获取成为可能。目前在学界，知识图谱的大规模自动化构建实际上已经基本可行，传统知识工程中的知识获取瓶颈正在逐步被解决。随着未来大规模自动化知识图谱在金融领域逐渐落地，也必将进一步推动金融领域的智能化进程。

本文已标注来源和出处，版权归原作者所有，如有侵权，请联系我们。