IBM在自然语言处理方面的创新帮助企业更好地理解业务语言

在 IBM,我们专注于开发和扩展企业自然语言处理 (Natural Language Processing,NLP) 功能,旨在帮助企业深入洞察、回答问题并做出更明智的决策,即使他们只有很小的数据集或者缺乏专业知识。

虽然人类语言对孩子来说很容易掌握,但即使是最先进的机器,这也极其复杂,教人工智能理解人类意图最具挑战性的工作是它需要大量的数据、大量的时间和专业知识。

当您问问题时,您到底想说什么?您想达到什么目标?您到底想得到什么信息?人类的语言充满了细微的差别,导致有很多方式来表达特定的意图。对于聊天机器人等大部分人工智能而言,这的确是个问题,当遇到复杂的语法时,它们会出错,因为它们只关注具体的单词,而不会联系更广泛的上下文语境。

了解Watson Assistant新的增强功能,看看我们自然语言理解新模型是怎样脱颖而出的。

为了帮助企业应对这一挑战,IBM在IBM Watson Assistant中推出了改进后的自然语言理解(Natural Language Understanding,NLU)新模型,用于意图分类。在基准测试中,与 商业 方案相比,新的意图检测算法更为准确。(1)

IBM 研究院不断改进自然语言处理功能,并融入到 IBM Watson 中。

此外,我们还在 IBM Watson Assistant 和 Watson Discovery 中引入了新的自然语言处理增强功能,目前已经提供 beta 版。这些新功能是在 IBM 研究院(IBM Research)的带领下开发的,目的是提高人工智能的自动化程度,以及自然语言处理的精度。

阅读理解能力(Reading Comprehension)这一功能,它返回包含在较长段落中的具体事实或者简短答案。目前,Watson Discovery 能够确定与查询相对应的最佳“段落”。阅读理解从企业文档集中检索大量候选段落,搜索当前问题的答案并返回相应的答案。阅读理解应用上下文情景理解功能来理解查询,利用大量的语言模型从当前的文档中提取出具体的答案,然后用户会收到一个信心分数,该分数表示系统对每个答案的置信度。

这种功能非常适合 金融 行业的组织。例如,如果您正要做出放贷决定,可能需要从复杂的文档中找出准确的事实,这些文档通常是由人工进行阅读和审查的。之前,Watson Discovery 会返回建议的段落。而采用阅读理解,用户将得到准确的答案(例如,“当前贷款的利率是多少?”“2.9%”),这节省了他们手动搜索大量文档的时间。此功能现已在 beta 版中开放给部分 Watson Discovery 用户。

FAQ 提取(FAQ Extraction)目前提供 beta 版,是一种新颖的答案检索技术,它在网页上爬行以检测常见问题和问答,使用这些内容通过 Watson Assistant 提供简洁、最新的答案。

FAQ 提取旨在与 Watson Assistant 的 Search Skill 协同工作,在文档中寻找最终用户问题的答案。这种功能使得最终用户在与人工智能虚拟坐席交互时更容易找到他们需要的答案。

例如,企业可能很难跟上不断变化的公共指导,即允许重返工作场所或者实体店重开的规定。如果没有 FAQ 提取这样的机制,将需要大量的资源才能使人工智能客服解决方案保持最新状态。相反,Watson Assistant 只需知道官方 FAQ 内容的 URL 就能跟上最新信息。

探索Watson Discovery和Assistant中的自然语言处理新功能。

最后,Watson NLP 解决方案现在还支持 10种其他语言。IBM Watson Discovery 现在支持波斯尼亚语 (Bosnian)、克罗地亚语 (Croatian)、丹麦语 (Danish)、芬兰语 (Finnish)、希伯来语 (Hebrew)、印地语 (Hindi)、挪威语 (Bokmål)、挪威语 (Nynorsk)、塞尔维亚语 (Serbian) 和瑞典语 (Swedish)。而 Watson 自然语言理解 (NLU) 现在支持丹麦语 (Danish)、挪威语 (Bokmål)、挪威语 (Nynorsk)、芬兰语 (Finnish)、捷克语 (Czech)、希伯来语 (Hebrew)、波兰语 (Polish) 和斯洛伐克语 (Slovak) (关键字)。

这些进步基于 IBM 研究院的自然语言处理创新渠道。今年年初,我们宣布将采用一些为 IBM 研究院 Project Debater 提供支持的核心自然语言处理技术,包括高级情绪分析(习惯用语理解)、总结、主题聚类和关键点分析等,并在 Watson Discovery 等 IBM 的自然语言处理产品中实现了商业化。

这些创新可以帮助企业进一步理解并从其业务数据中获取真正的价值,从而能够做出更明智的决策,并为客户和员工提供更高效的深度见解。

有关IBM未来方向和意图的声明仅为了说明目标和目的,如有更改或者撤回,恕不另行通知。

参考资料:(1) 2020年 11月,对话型人工智能软件公司 Jio Haptik 科技 发表了一篇技术论文,将其产品的性能与谷歌、微软和RASA的同类产品进行了比较。除了 IBM Watson Assistant 之外,其他商业解决方案的性能取自 Arora 等公司进行的 2020 基准测试研究。IBM 在 IBM Watson Assistant 上运行了与 Arora 等公司报告的相同的性能测试,目的是用于本分析。