大模型学会写万字长文，AI 企业「波形智能」完成千万元 Pre

近日杭州波形智能 科技 有限公司（以下简称 " 波形智能 "）已完成千万元级 Pre-A 轮融资。该轮由蓝驰创投领投，西湖科创投、蚂蚁金服董事长井贤栋、知名天使人费革胜、老股东藕舫天使跟投。

波形智能团队成员多有科班出身的 NLP 研究和海外背景，在长文本生成、Agent 框架能力、大模型微调与压缩等领域上具有一定技术积淀以及全球化的视野：

创始人兼 CEO 姜昱辰本科毕业于浙大竺可桢学院，博士就读于苏黎世理工大学，师从国际著名学者 Ryan Cotterell，曾在微软亚研院从事大语言模型的训练与推理。CTO 周王春澍，博士同样就读于苏黎世联邦理工大学，从事人工智能方向研究。CPO 万磊，腾讯出身，过亿月活 社交 APP 高级产品经理，多款 AI 产品创始人。联合创始人兼 COO 余腾，曾任美国上市公司掌门教育（ZME）联合创始人兼 营销 高级副总裁。

2023 年下半年以来，行业已经涌现了一批成功提升 " 记忆力 " 的大模型，模型上下文窗口从 32K，扩展到了一次能理解 40 万字左右文本的 200K。

让大模型读懂超长文本，逐渐不是难题；但让大模型像人一样写万字小说，并不简单。

由于内容规划（如何从输入的数据中选择重要信息）和表层实现（用自然语言形式正确地描述重要信息）仍是难以攻克的难题，生成连续、连贯的长文本尚难以实现。

与此同时，理解和生成长文本对算力和内存提出了更高的要求。波形智能 CEO 姜昱辰告诉 36 氪，大语言模型主流采用的是 Transformers 架构，但缺点在于，其在处理长序列时会面临计算和存储的需求挑战，文本越长，循环次数越多，算力和内存成本会平方级上涨。

对此，波形智能主攻内容创作垂域的长文本生成，于 2024 年 1 月 29 日的技术开放日上发布了一款能生成长文本的大模型： 内容创作垂域 SOTA 大模型 "Weaver" 。

为了在控制成本的情况下做到无限长文本生成，波形智能曾在 2023 年 5 月发表了名为 RecurrentGPT 的训练范式。姜昱辰介绍，在实际测评中，RecurrentGPT 在比 GPT-4 的文本生成速度快三倍的情况下，书写的效果还要更出色。

通过适配 RecurrentGPT 框架， Weaver 具备更强的长文本生成能力，在长文本和结构化文本生成的上下文一致性上提高了 40%。相较于 2 倍量级参数规模的模型，Weaver 系列模型的生成速度更快且效果更好。

基于《繁花》风格，Weaver（右）与 GPT-4（中）生成效果的对比。图源：波形智能

应对模型 " 一本正经胡说 " 的幻觉问题，Weaver 也有了新的解法。2023 年 9 月，波形智能还设计了基于 SOP（标准操作流程）的 Agent 架构：AIWaves Agents。通过对创作文本的过程进行模拟，Agent 会根据撰写的题材自主判断什么时候进入剧情设定、角色设定、文风设定等不同阶段，以及不同阶段需要调取什么样的知识库。

与 AIWaves Agents 框架适配后，Weaver 还支持函数调用，拥有超过 1000 个 API 上的综合训练经验，能够实现根据用户意图自动理解、规划复杂指令，执行文件处理、数据分析、图表绘制等复杂任务。

更重要的是，要让模型在内容创作领域落地，就必须要让机器写作更有 " 人味 "。

为此，针对模型预训练阶段，波形智能自研了一套自动标注系统 "Instruction Back Translation（指令回译）"，确保输出结果是由专业写手产出的内容。

针对对齐阶段，波形智能自研的对齐技术 "Constitutional DPO（根据法则的直接偏好优化）"，能够以专业写作方法论为度量标准，指导对齐数据的自动生成。

此外，相较于通用大模型，Weaver 还支持个性化知识库的调用。通过利用自研向量数据库生成原生（native）个性化模型，Weaver 将召回内容的利用率（指的是召回内容能被输出内容有效利用的比例）提高 50%。通过 RAG（检索增强生成技术）+ 仿写的技术方案，Weaver 将 " 越写越懂你 "，逐步实现个性化的内容生成。

相较于通用大模型，Weaver 能够在更深更广的创作垂直领域落地。目前，Weaver 支持写大纲、续写、润色、风格迁移等 10 类写作任务，覆盖爽文 / 小说、工作总结、营销写作等 30 多个领域。

在技术开放日上，波形智能还推出了由 Weaver 驱动的 AI 辅助创作工具 " 蛙蛙写作 1.0"。

这款面向专业作者、 自媒体 / 文案创作者的 To C 生产力工具，为用户提供了模块化的功能。用户可以根据创作需求，一次性输出文本，或者按照大纲 - 章节的顺序分步写作。同时，蛙蛙写作的写作速度能够达到 10 分钟 1 万字 。

蛙蛙写作可生成情节和文本。图源：波形智能

目前，蛙蛙写作的 商业 模式主要为按月订阅，价格为 29 元 / 月。与此同时，蛙蛙写作也为企业提供定制化解决方案，并面向开发者开放了 API。

姜昱辰对 36 氪表示，融资款将用于 Weaver 大模型和 Agents 平台的研发及其商业化。她透露，2024 年第一季度，波形智能将发布 70B 的模型 Weaver Ultra-Max，以及新一代 Agent 平台 Agents2.0。针对剧本创作、私人客服、智能推荐等场景，Agents2.0 平台将支持对 Weaver 大模型的自动微调优化。

欢迎交流！

来源：36氪