知识图谱的应用场景与技术挑战
知识图谱的应用场景与技术挑战
王诗强
· 刚刚
已经被大规模应用,但是很多人却不知道知识图谱为何物?知识图谱的核心价值在于知识沉淀。
知识图谱的应用场景与技术挑战
图片来源@视觉中国
文丨王诗强
互联网信息的爆炸式增长,具有大规模、多元化、组织结构松散等特点,如何有效获取信息和知识面临巨大挑战。
近年来兴起的“知识图谱”,渐渐成为一种新颖的管理海量信息的方式,受到各大互联网公司青睐,并在不知不觉中被广泛应用于搜索、电商、社交等各个领域。
除此之外,该技术还被各大金融机构以及人工智能公司关注,开始在金融反欺诈、安防等新的领域进行尝试应用。但是,知识图谱技术依然不够成熟,从第三方获取技术服务费等商业化依然处于探索阶段。
一、知识图谱基本概念
关于知识图谱定义,复旦大学教授肖仰华在其著作《知识图谱》中这么解释:“作为一种知识表示形式,知识图谱是一种大规模语义网络,包括实体、概念及其之间的各种语义关系。”如下图,柏拉图就是一个实体,他是一个哲学家(概念)。
冰鉴科技知识图谱业务负责人认为:“知识图谱核心价值在于如何沉淀知识。图谱开始建立的时候,都是关系图谱,通过大量的模型,借助于图谱模型的高度解释性的优势,构建和形成很多隐性关系和实体标签,最后建设成为知识图谱。在关系图谱到知识图谱的建设过程中,业务专家高度参与,利用知识图谱的探索式数据分析能力,自助构建高度解释性的业务知识模型,形成知识沉淀的迭代和高度分享。”
知识图谱是典型的大数据时代产物,具有规模巨大、质量精良、结构友好等优点。
2017年,我国科学目录调整时,首次出现了知识图谱学科,教育部对知识图谱这一学科的定位是“大规模知识工程”。
二、知识图谱发展与应用
知识图谱早期主要用于搜索结果优化,随着电商、互联网金融等兴起,应用领域不断增加,包括智能推荐、智能客服、金融风控、安全与安防等都在积极探索。
1、搜索优化
知识图谱的诞生最早可以追溯到2010年前后,主要是为了解决搜索引擎用户体验问题。
搜索领域主要面临两方面问题:一方面,搜索需求和搜索结果往往难以匹配,经常有“搜”非所问的情况;另一方面,搜索结果编排无序,显示杂乱。
2010年,微软开始构建MicrosoftSatori知识图谱来增强Bing搜索能力;2012年5月,Google公司为了支撑其语义搜索推出KnowledgeGraph,目前已成为全球最大的知识图谱。2012年11月22日,搜狗知立方上线,成为国内首个搜索引擎“中文知识图谱”。差不多同一时间,百度知识图谱被立项。2013 年,Facebook发布OpenGraph应用于社交网络智能搜索。
早期各大搜索平台主要依赖“关键字搜索”技术,返回给用户包含关键字的网页列表,用户需要进一步浏览这些网页并且过滤掉大量无用信息才能找到真正想要的结果,用户更希望能够“直接得到答案”。利用知识图谱技术可以直接给出用户想要的搜索结果,而不再是各类链接。如下图,搜索“上海有多少人?”360搜索直接展示出国家统计局的数据,用户直接将鼠标移动到相应年份,可以快速查看各年数据。
随后,知识图谱引入到电商搜索领域。2015年,阿里巴巴开始构建电商领域知识图谱——认知图谱;2016年Amazon也紧随其后开始构建知识图谱。2018年5月,美团点评NLP中心开始构建大规模的餐饮娱乐知识图谱——美团大脑。
在搜索领域,知识图谱能够将用户所提交的查询词理解成实体或者概念,通过实体或者概念匹配为用户返回其可能关心的全部网页内容。搜索引擎中知识图谱的搜索过程如下:
知识图谱用文本和知识融合的阅读理解模型,使搜索结果更理解客户需求。
对于电商平台来说,交易量和客户活跃度也是其核心竞争力,而客户一般都是通过搜索获得想要的商品,越精准的搜索结果,客户使用越多。
因此,百度、搜狗、阿里巴巴、美团、腾讯等不断摸索,纷纷尝试构建自己的知识图谱平台。
2、智能推荐
除了优化搜索结果,知识图谱还可以帮助电商以及社交平台解决一些智能推荐问题。例如,当前一些中小平台在智能推荐方面最大的问题是“买了啥,推荐啥”或者“推荐的商品与客户无关联”。推荐商品缺乏新颖性,导致转化效果一般。
知识图谱可以帮助电商平台跳出这种简单的推荐逻辑,使得推荐结果更加智能化,促进用户购买。
备注:左图展示了实体链接如何应用于智能问答问题推荐,问题通过SLU处理之后会得到其意图和主实体,然后借助实体推荐得到相关的实体,相关实体被用来构建相关的问题,比如说”武汉大学周边好吃的?“,识别到其主实体为”武汉大学“、核心意图为”美食“,以此推荐实体相关的问题,比如说”华中科技大学周边有什么好吃的?“,”清华大学周边有什么好吃的?“,”武汉科技大学周边有什么好吃的?“。同时实现了推荐意图相关的问题,比如说”武汉大学周边有什么好玩的?“,”武汉大学周边有什么景点?“,”武汉大学周边有什么酒店?“等等。
备注:左图展示了实体链接如何应用于智能问答问题推荐,问题通过SLU处理之后会得到其意图和主实体,然后借助实体推荐得到相关的实体,相关实体被用来构建相关的问题,比如说”武汉大学周边好吃的?“,识别到其主实体为”武汉大学“、核心意图为”美食“,以此推荐实体相关的问题,比如说”华中科技大学周边有什么好吃的?“,”清华大学周边有什么好吃的?“,”武汉科技大学周边有什么好吃的?“。同时实现了推荐意图相关的问题,比如说”武汉大学周边有什么好玩的?“,”武汉大学周边有什么景点?“,”武汉大学周边有什么酒店?“等等。右图展示了实体推荐在图谱自动化构建平台上的应用,当用户搜索一个实体的时候,平台会为其推荐相关的实体。
3、金融风控
近些年,消费金融和小微企业贷兴起后,银行以及其他持牌金融公司、助贷机构、人工智能公司等开始将知识图谱应用于风险控制,特别是识别团伙欺诈。
知识图谱的推理能力和可解释性,在金融场景中具有天然的优势。
艾瑞咨询年初发布的《2020年中国面向人工智能“新基建”的知识图谱行业研究报告》指出,随着近些年金融数据的爆发式增长,传统风控系统逐渐力有不逮,而应用机器学习算法和知识图谱的智能风控系统在风险识别能力和大规模运算方面具有突出优势,逐渐成为金融领域风控反欺诈的主要手段。
在金融领域,知识图谱可以应用于小微企业信贷、消费信贷、信用卡申请等反欺诈业务,还可以用来识别会计造假。
基本原理简单理解是:“物以类聚,人以群分。”
”如“同一个WiFi下多个企业借款客户”,或者“同一个设备注册多个企业账号申请借款”,均有可能与欺诈相关 。
因此,信贷欺诈的识别问题可以转化为客户知识图谱挖掘或社交网络分析问题。即把企业工商信息、新闻动态、股东关系、股权变更、司法诉讼等等整合到反欺诈知识图谱里,经过分析和预测,挖掘识别欺诈案件,如利用壳公司贷款等。
据冰鉴科技知识图谱负责人介绍,目前冰鉴正在与银行合作,构建不同条件下,不同场景的知识图谱模型,给知识图谱的实体关系打上标签或者挖掘新的关系,以便更好的应用于金融风控。
图7:图特征整体框架设计
资料来源:冰鉴科技研究院
再从常见的担保业务来看,担保网络可简化为规模较小、相对独立的担保群。担保群间担保关联稀疏;担保群内部联系紧密,担保圈风险一般只发生在群内部,找到风险最大的担保群,然后就可以找到风险最大的担保企业。
在金融领域,除了冰鉴科技外,建设银行、招商银行、光大银行、南京银行等商业银行,360数科、万象智联等均在积极尝试利用该技术进行风险控制。
4、智慧城市
公安机关在侦查案件时,经常看到办案民警用图谱梳理案件及人物关系。在电视剧《人民的名义》中,警方利用知识图谱分析,可以很快看清“山水集团”背后的利益链条。
除此之外,知识图谱从大数据中深度挖掘关联关系,可准实时分析多至千亿级海量关系数据,转化为关系图谱数据,支撑公安机关展开情报研判分析、犯罪团伙跟踪以及重大事情预警等。
5、其他领域
除了以上应用领域外,智慧医疗、智能客服(智能问答)等领域也在积极利用知识图谱技术,使结果更加准确,使机器人客服更加智能。
三、知识图谱的技术与应用挑战
2018年10月,知识图谱首次进入国际知名咨询公司Gartener的技术成熟度曲线,目前正处于技术成熟曲线的上升阶段,特别是学习和推理技术亟待突破,预计进入成熟期还需要5-10年。
知识融合和知识推理是知识图谱的关键技术,但目前都面临很多挑战,主要包括:
1、当知识图谱不能准确将具有同义异名的实体对齐或将同名异义的实体消歧就会导致知识图谱中出现知识冗余或缺失;
2、如何模仿人脑机制实现小样本或零样本学习知识推理;
3、知识图谱中知识的有效性往往受到时间空间等动态因素约束,如何合理利用知识的动态约束信息完成动态推理也是知识推理的一大挑战;
4、在自然语言处理仍然不能有效完成抽取任务的现实下,能否充分利用各类资源,能否有效利用已经积累的业务知识,能否充分利用人力因素进行验证或者标注,均对知识图谱落地的效果产生显著影响。
比如搜索“苹果”,淘宝出现的全是苹果手机,而京东既有苹果手机,也有苹果(水果)。这说明两家公司对同一客户需求判断出现了语义分歧,前者认为客户只需要苹果手机,后者认为客户还可能想吃苹果。但是,出现这样的结果却很难判断谁好谁坏,不同用户体验是不一样的。
此外,电商、金融、安防等等领域都可以搭建知识图谱平台,但是如何更好的与这些应用场景结合,在不同公司不同行业之间低成本迁移、商业化落地,面临重大挑战。
四、知识图谱商业化探索
目前来看,电商领域(淘宝、美团等)、通用搜索平台(百度、搜狗搜索)都是自建知识图谱平台,且已经有效提高了客户体验,增加了用户粘性。但知识图谱在第三方的商业化依然处于探索阶段。
据冰鉴科技研究院了解,智能客服已经在很多行业开始商业化应用,而其核心技术就是知识图谱,极大地减少企业的客服成本。
在电商领域,未来很可能会将相关知识图谱技术对外输出,特别是一些垂直领域的电商平台。
在金融领域,第三方人工智能公司为银行等金融机构搭建知识图谱平台获取技术服务费是其主要的商业化的方法之一。如建设银行,在2019年6月对外发布人工智能运维知识图谱产品供应商征集公告。
从短期来看,在大多数细分领域,知识图谱平台商业化还比较困难,一方面缺少有效付费用户,另一方面公开数据有限、相关知识抽取困难,知识图谱平台难以搭建;从长期来看,据艾瑞咨询推算,知识图谱核心产品的市场规模预计2024年将突破200亿元,年复合增长率达到20.4%。
16篇资讯
18关注
王诗强
专注商业模式、行业研究!
最近资讯
- 知识图谱的应用场景与技术挑战
- 汽车金融风控两难:踩油门还是急刹车?
- “AI+医疗”如何质变:人工智能企业抱团突围?
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里。
敬原创,有钛度,得赞赏
-
钛粉02992 赞赏了
什么才是真正安全的“辅助自动驾驶”?
2021-08-23 11:26 -
宗旭 赞赏了
与华为分手、且长期亏损,AI芯片撑不起寒武纪千亿市...
2021-08-20 11:55 -
subey 赞赏了
抑郁症患者:深渊之中的自救
2021-08-13 23:55 -
hriyWn 赞赏了
5G时代系列谈:(四)应用之囿
2021-08-09 21:01 -
subey 赞赏了
互联网精神,不止崩于酒局
2021-08-09 08:42 -
钛粉49477 赞赏了
“中国需要什么样的资本”——一位投资人的反思
2021-08-06 09:50 -
hB9jMz 赞赏了
一个SaaS和物联网的新物种实践(下)
2021-08-03 10:51 -
钛粉54886 赞赏了
转型内容平台,迷你创想如何激励用户内容创作?
2021-08-01 12:50 -
钛粉07496 赞赏了
艺术家尹朝阳:NFT是一种新的交流方式,它可能代表...
2021-07-30 21:35 -
钛粉47967 赞赏了
安防厂商竞争加剧:华为份额不断提升,海康威视地位将...
2021-07-25 18:58 -
钛粉11165 赞赏了
教育「双减」政策正解,都在教育部「答记者问」里了
2021-07-25 12:43 -
钛粉26647 赞赏了
拿什么来拯救低迷的暑期档?
2021-07-22 20:43 -
钛粉55081 赞赏了
柴米油盐之上的柯文思 | 钛度专访
2021-07-22 17:09 -
钛a61422 赞赏了
云计算的牌局上,出局的巨头们不愿退场
2021-07-18 19:32 -
钛粉82019 赞赏了
致命的宠物托运
2021-07-16 10:56 -
钛粉30083 赞赏了
夫妻店,做汽车配件批发,能不能上云?
2021-07-13 09:58 -
钛粉13874 赞赏了
“深喉”发声,复盘社区团购死亡之路
2021-07-09 16:50 -
钛粉91954 赞赏了
“深喉”发声,复盘社区团购死亡之路
2021-07-09 16:46 -
hYrSeb 赞赏了
谁说电脑已死?
2021-07-01 18:18 -
subey 赞赏了
90后女程序员:身在大厂,心系创业
2021-06-11 13:24 -
钛粉27544 赞赏了
鸿蒙成败,在于生态
2021-06-08 17:41 -
钛粉22420 赞赏了
涿州楼盘停工下,被“不交房”拖住的生活 | 钛媒体...
2021-05-11 21:08 -
钛粉71674 赞赏了
台积电南京扩产惹争议:28纳米芯片制造“黄金线”之...
2021-05-11 16:16 -
钛粉25859 赞赏了
360被曝入局造车,周鸿祎看重了智能汽车哪块蛋糕?
2021-04-28 13:32 -
钛粉15018 赞赏了
新消费品牌如何“爆款中国”?
2021-04-26 12:08 -
钛粉46336 赞赏了
万字深扒“极端女拳”组织,谁在互联网上“引战”?
2021-04-26 01:00 -
钛粉65387 赞赏了
马云投资和自产的媒体,究竟在阿里生态中扮演着何种角...
2021-04-23 20:57 -
钛粉46198 赞赏了
万字深扒“极端女拳”组织,谁在互联网上“引战”?
2021-04-22 17:36 -
钛粉46653 赞赏了
万字深扒“极端女拳”组织,谁在互联网上“引战”?
2021-04-22 09:16 -
乔邦主 赞赏了
“异常流量”是互联网广告行业顽疾?秒针认为智能技术...
2021-04-16 21:10 -
钛粉54090 赞赏了
涨价拯救腾讯视频?
2021-04-11 20:53 -
钛粉38514 赞赏了
k12公司学霸君被传“倒闭”,创始人回应:在继续努...
2021-04-03 15:51 -
钛粉80481 赞赏了
女仆桌游馆:兼职半年,她陪伴过300多个孤独的人 ...
2021-04-03 07:49 -
钛粉38730 赞赏了
教育创业还有什么机会?
2021-03-29 14:21 -
钛粉38440 赞赏了
“超级App工厂”:教育赛道探索,进度如何?
2021-03-29 14:19 -
钛粉38714 赞赏了
k12公司学霸君被传“倒闭”,创始人回应:在继续努...
2021-03-29 14:17 -
hSmXxU 赞赏了
如果格局决定了人生,那到底什么决定了格局?
2021-03-26 12:02 -
钛粉03456 赞赏了
荣耀何时可以铸就属于自己的荣耀?
2021-03-26 10:25 -
钛粉92228 赞赏了
房产行业巨变后走向何方?居理买房网认为“深度导购”...
2021-03-18 16:58 -
钛粉36095 赞赏了
日均工作20小时、放弃未婚夫,那些逆流创业的女人们
2021-03-08 11:58 -
钛粉74059 赞赏了
孤独陈睿,放弃仪式抵抗
2021-02-25 00:16 -
钛粉35141 赞赏了
马云和他的三个“赌王”朋友
2021-02-22 13:09 -
钛粉12618 赞赏了
中国认知智能行业报告
2021-02-19 14:10 -
钛粉05059 赞赏了
陆奇万字演讲:中国经济形态与东南亚相似,创业创新易...
2021-02-09 11:08 -
钛粉69389 赞赏了
视频号是微信小游戏弯道超车的大好机会
2021-02-07 13:58 -
钛粉67426 赞赏了
我在抖音生产主播,投入一个亿,只挣两百万
2021-02-07 03:18 -
钛粉45533 赞赏了
在虚拟影院边看电影边社交是种怎样的体验?
2021-02-04 12:44 -
钛粉80055 赞赏了
能睡眠遮噪还能听音乐,1MORE ComfoBud...
2021-01-30 02:56 -
钛aB1IyM 赞赏了
“俗”人李子柒
2021-01-27 22:21 -
钛粉65171 赞赏了
敬“墨茶”一篮草莓,希望他在远方没有病痛和穷苦
2021-01-24 10:14 - 查看精彩文章,打开钛媒体客户端
挺钛度,加点码!
- ¥ 5
- ¥ 10
- ¥ 20
- ¥ 50
- ¥ 100
支付方式
支付
支付金额:¥6
赞赏金额:¥ 6
赞赏时间:2020.02.11 17:32
账户【未登录】提示!
个人中心将无法记录并同步您的赞赏记录,
是否进行登录
分享文章
Oh! no
您是否确认要删除该条评论吗?
猜你喜欢
分享文章