科大讯飞发布星火大模型V3.0,智能汽车座舱、音效、智驾三大方向产品全线升级
10月24日,科大讯飞发布星火大模型V3.0,七大能力持续提升,整体超越ChatGPT,医疗领域超越GPT-4。星火3.0升级启发式对话、AI人设功能,能够打造更个性化的AI助手。
同期,以“释放想象力·智能新出行”为主题的2023科大讯飞智能 汽车 新品发布会在合肥举行,会上,科大讯飞发布了基于讯飞星火V3.0的座舱、音效、智驾三大方向的产品升级。
一、讯飞星火+座舱:赋能人车交互体验跃升
10月24日最新发布的讯飞星火V3.0将赋能智能座舱全面升级,面向多样化的汽车使用场景,科大讯飞推出星火座舱OS、星火汽车APP和星火座舱域控,支持实时检索,可以实现插件化调度,并集成了多模态生成的能力,为合作伙伴提供自主可控、组件化、更开放的座舱解决方案。
星火座舱OS包括星火汽车助理和星火场景应用两大部分,将语音与视觉模态深度融合,让识别更精准,语音合成MOS>4.6,大模型业务贯穿支持十轮以上的上下文语义继承,新增的实时检索能力打破大模型认知边界,时新信息即时查询,为用户带来更自由、更智能、更自然的人车交互体验。借力大模型赋能,星火座舱OS打造了多个沉浸式的使用场景,并支持自定义,一句话生成复杂场景,触达200+车控动作。星火汽车APP围绕用车场景打造的多样化大模型车端应用,如用车顾问、儿童故事、口语陪练、心灵SPA、旅行伙伴等等,将大模型能力托身于众多实用小场景,为用户带来可感知的、能用好用的AI超能力。
星火座舱域控是智能化AI新底座,拥有丰富成熟的接口能力,面向行业输出兼容核心AI算法的“核心板”,基于全栈的座舱AI算法和结合芯片的异构算法优势实现芯算融合,SOC算力消耗降低10%,并与国内厂商深度合作,大幅度提升国产平台的渲染效果。星火座舱域控旨在以更少的资源、更短的开发周期实现差异化产品创新。
二、讯飞星火+iFlySound Plus24ch:智享动听
作为驾驶场景下最安全和高效的交互方式,听觉感官在车内备受关注,用户对汽车场景下的听感品质要求逐渐提高,对高级别车载音响系统的需求也在持续增长。
本次发布会现场,科大讯飞发布了最新的iFlySound Plus24ch功放硬件平台,将基于应用场景的交互、听感、内容、显示与车控深度融合,让车载音效体验从单维向多维、从单场景向多场景演进,重新构建汽车声音链条,形成整车智能化声音交互闭环,用智能化升维汽车座舱声音体验。
在硬件层面,iFlySound Plus24ch功放硬件平台使用高性能浮点DPS,拥有最高2GHZ*2的高速音频处理加速器和128通道数字音频处理能力,可以获得高达 24bit 96kHz 的HD Audio支持,并且兼容未来E-E架构,拥有超强的硬件扩展能力和音频推动能力,性能超越当前市面上大部分主流硬件设施。同时,科大讯飞还在保证性能的前提下有效降低了硬件的尺寸和重量,实现“小型化轻量化”。
在软件算法层面,科大讯飞核心技术自主研发,当前已具备3D环绕、声场分区、ICC、响度补偿、主动降噪、虚拟音效、多音区交互、高拟真主动声浪、车内交流偿、低品质音源修复、场景增益控制、声场分区、车载K歌和大模型音效等多个全自研的高阶音效算法,并推出基于持续丰富的声音库、声浪库、音效库、功能库的订阅模式。
在调音层面,基于大模型声学理论体系实现人机耦合,端云协同AI调音,与车企共同打造AI之音,基于iFlyDSP GUI工具,无需代码更改,可以快速完成定制需求,全自研MCU基础软件架构使得跨平台代码复用度超70%,灵活的软硬一体平台配置可以积极适配不同定位和级别的车型。
当前,科大讯飞车载音效产品已获得国内13家主流车企平台化项目定点,合作车型超过30款。
三、讯飞星火+智驾:让辅助驾驶更安心
大模型的理解、推理、表达和多模态知识学习等能力给自动驾驶带来了更多新的技术思路,基于讯飞星火认知大模型,科大讯飞带来了两款高性价比的行泊一体智驾解决方案——智驾STD和智驾PRO,配备增强型高速NOA(HNOA)、记忆行车和记忆泊车等功能,让汽车驾驶更安全,更智能,更有乐趣。
科大讯飞行泊一体智驾解决方案通过强大的AI算法研发能力、高效完整的数据闭环云平台、深厚的工程技术能力,打造车云一体的智驾研发体系。大模型利用海量数据以及驾驶领域知识的强化,可以用于自动驾驶场景数据以及驾驶策略的生成,并支持以交互的方式增强对基础驾驶模型的理解。科大讯飞自研了从深度学习训练到模型调优量化、模型推理部署的全栈工具链,并打造了智驾应用开发框架和中间件,确保系统稳定,支撑跨平台算法快速移植。自研4D重建与自动标注系统有效提升了标注的效率和质量。
星火大模型将从技术架构层面赋能BEV+transformer智驾感知大模型的研发,解决智能驾驶当前存在的感知不精准、决策不智能、长尾不收敛三大技术难题。通过统一的BEV+Transformer网络,可以实现多模态、多任务、长时序4D感知。基于机器学习的超声波感知算法应用,有效提升感知准确性和泛化性。结合星火座舱强大的人车交互能力,将舱驾信息进行深度融合,加强人车交互性能、提升用户体验,同时用户可以自由下达车控和智驾相关指令,行泊流程自如可控,让辅助驾驶更智能、更安心。
同时,科大讯飞讯飞在生态方面也保持着的巨大优势,除了基于讯飞自研的儿童教育、K12教育、音娱资源、听见会议以及讯飞翻译五大自建生态资源外,讯飞星火大模型赋能的智能座舱已经与支付宝、咪咕、腾讯音乐、喜马拉雅、高德、火山引擎、雷石、能链、喜泊客等九家企业开展了深度生态合作,积极建立车主全旅程运营服务链条,满足车主多元化需求,提供高效、便捷的车载场景体验,此外,科大讯飞智能座舱还与百余家企业生态积极合作,力求以丰富全面的软件生态赋能智能座舱,助力中国汽车产业智能化的发展。
进入智能化的下半场,大模型“上车”正在重新定义人机交互与相关服务生态,继5月6日正式发布以来,讯飞星火已在汽车领域取得了丰富的成果,当前,讯飞星火已与包括奇瑞、广汽、长城、长安在内的几十家车企和合作伙伴强强联手,构建汽车AI星火生态。后续,科大讯飞将继续落实大模型在汽车领域的深度运用,与广大合作伙伴共同推动中国汽车产业智能化的颠覆式革新。