快看漫画AI智能问答和IP角色互动两大场景获实质性进展,目前内测中
7月11日,在由全球领先的向量数据库公司Zilliz举办的【User Tech】直播中,快看漫画搜索研发团队资深算法工程师田贵成就《Milvus x RAG助力快看多业务场景应用》做主题分享,围绕向量检索在快看基础业务中的应用、Milvus如何与RAG技术结合以及快看基于RAG技术的应用场景和探索这三个方面的内容,快看向外界展示了向量数据库(Milvus)和检索增强生成技术(RAG)在漫画行业的更多可能性。
此次直播分享中,快看漫画首先就表示,在大语言模型及RAG出现之后,已经迅速切入到以大语言模型为代表的技术领域,并在AI智能问答、IP角色互动、内部知识问答、多模态RAG等应用场景进行了探索。凭借着已经积累了非常多的领域知识,快看漫画目前也在尝试基于开源大模型进行微调,训练快看在二次元领域的垂直大模型。
去年以来,以ChatGPT为代表的大型语言模型(LLM)在自然语言理解和生成任务上,展现了前所未有的能力,但是大语言模型在特定领域任务中,也会出现信息延迟和幻觉现象,而通过对Milvus和RAG的巧妙运用,则可以有效缓解这些问题,这不仅是LLM在工业领域应用的关键技术,也是AIGC时代的重要技术风向标。
快看漫画方面还进一步表示,其内部有非常丰富的RAG应用场景,目前在AI智能问答和IP角色互动两个场景,已经取得了实质性进展,相关AI产品也正在内测,用户未来也将很快能体验到新产品的功能。
比如在AI智能问答方面,快看基于大语言模型的AI智能问答系统,能够显著提高作品的搜索转化率,也为快看搜索带来新的活力。目前快看采取了“微调大模型+RAG增强”双轮驱动的方式,构建了内部PGC专题知识库、UGC帖子知识库、以及问答知识库,通过意图识别的方式来确定Query路由到哪些知识库,以及要不要触发检索,如果不需要检索则让大模型直接进行生成,减少整个链路的生成时间,提高回答响应速度。在召回和重排阶段,快看也应用了在业务数据上微调过的Embedding模型和Rerank重排模型,经过效果评测,在召回率和排序指标上均有不同程度的提升。
作为国内最大的漫画平台,快看拥有超过1.3万部漫画作品,聚集了国内80%的头部优质IP,这种IP优势是独一无二的。在IP角色互动应用方面,快看漫画的资深算法工程师也表示,“希望通过这些IP衍生出IP角色互动类的应用,用户可以跟IP中的角色进行沉浸式聊天,而不是纯虚拟角色的聊天,这是快看IP角色互动和市场上常见的虚拟角色扮演类应用不同的地方”。
快看漫画方面还透露,IP角色互动背后的实现方案就是角色扮演大模型+知识库RAG,而知识库又分为原创剧情知识库和用户个性化记忆知识库,其中原创剧情知识库也是快看最大的优势。根据评测结果显示,快看漫画自建的原创剧情知识库,在各个指标上均超过了头部厂商的知识库方案。
自创立以来,快看漫画就始终关注AI领域的技术发展,通过持续的研究和探索,推动新技术的应用落地,赋能漫画行业的创新发展。
早在2014年,快看就坚持推动漫画行业创新,先后推动条漫成为主流,以及大规模推出漫剧加速漫画视频化。2019年,快看首次公布“神笔马良”,与高校合作探索AI在漫画创作和阅读中的应用。2023年4月,快看漫画正式成立AIGC事业部,并在7月宣布开启了打造以多模态生成大模型为基座的AIGC能力平台的新技术阶段,推出了AI数字化创作工作台,帮助创作者寻找灵感和创意、辅助编剧、自动上色、角色换装、为角色创造个性化声音及让角色形象“活”起来的面部动效、头部/身体旋转、呼吸细节等,这极大提升了用户体验并扩充了内容产能。
当前,随着生成式AI技术的发展和迭代,人工智能对内容创作也带来了极大的变革,不仅能大大提高内容产出的效率、降低成本,同时还可以根据用户的需求和偏好,自动生成个性化的内容,促进创新应用的不断拓展。而在快看漫画看来,AIGC的落地将大幅提升漫画本身的竞争力,用户体验、扩充产能都能通过新技术得到实现,也会为行业创造新的 商业 价值。