近期，在人工智能框架生态峰会2023上，中国科学院自动化研究所所长徐波正式发布了“紫东.太初”全模态大模型，实时展示了大模型在音乐理解与生成、三维场景导航、信号理解、多模态对话等多项强大功能。

据了解，“紫东.太初”全模态大模型是在千亿参数多模态大模型“紫东.太初”1.0基础上升级打造的2.0版本。其在语音、图像和文本三模态的基础上，加入了视频、信号、3D点云等模态数据，突破了认知增强的多模态关联等关键技术，具备全模态理解能力、生成能力和关联能力。

从多模态走向全模态 认知能力是关键

2019年开始，中科院自动化所在语音、文本、图像等单模态大模型研究和应用基础上，瞄准多模态大模型领域开始联合攻关。2021年正式发布了千亿参数多模态大模型“紫东.太初”1.0，助推人工智能从“一专一能”迈向“多专多能”。

徐波表示，人类的学习跟交互都是利用多模态进行的，要实现更高水平的智能，必须具备多模态能力。因此，“紫东.太初”大模型一开始就是沿着多模态的技术路线在进行。

“‘紫东.太初’1.0大模型不断加强应用的过程中，我们发现了很多新的需求。比如从工业智能角度来看，有很多像温度、湿度、压力、液位测量等参数需要处理。从医疗场景看，有很多体检结构数据还有异构医疗影像数据等。通过分析这些结构化和非结构化的数据，我们认识到，只有对这些数据从简单的采集、统计、分析上升到对这些数据的认知，才能真正把我们带向智能化社会，也才能在更宽、更高的维度上认知世界、改变世界。”徐波提到。

因此，抓住“认知能力”这个牛鼻子，“紫东.太初”2.0全模态大模型实现了全方位升级。从技术架构上实现了结构化和非结构化数据的全模态开放式接入，突破了多模态分组认知编解码技术、认知增强多模态关联技术等，多模态认知能力大幅提高。

整合多方资源 探索通用人工智能产业化路径

会上，徐波展示了“紫东.太初”全模态认知大模型透过《月光曲》畅谈贝多芬的故事，以及在三维场景里实现精准定位，通过图像与声音的结合完成场景分析。

相较“紫东.太初”1.0大模型，2.0着力提升了决策与判断能力，实现了从感知、认知到决策的跨越。这意味着在实际应用场景中，它将能够为行业创造更大价值。

提及“紫东.太初”全模态大模型当前在行业中的应用，他提到，在神经外科手术导航、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域已开启了一系列引领性、示范性应用。

特别是在医疗场景中，“紫东.太初”大模型部署于神经外科机器人MicroNeuro，可实现在医疗手术中实时融合视觉、触觉等多模态信息，协助医生对手术场景进行实时推理判断。此外，通过与北京协和医院合作，利用“紫东.太初”较强的逻辑推理能力，正在尝试解决人类罕见病诊疗这个挑战性医学领域。

值得一提的是，“紫东.太初”大模型以中科院自动化所自研算法为核心，以昇腾AI硬件及昇思MindSporeAI框架为基础，由武汉人工智能计算中心提供算力支持。

徐波表示：“我们在大模型的技术研究基础上进行开放服务平台开发，希望整合产学研资源打造多模态人工智能行业应用，探索通用人工智能产业化的路径。”

下一步，中科院自动化所以“紫东.太初”全模态大模型为基础，将持续探索与类脑智能、博弈智能等技术路径的相互融合，最终实现可自主进化的通用人工智能，并将探索在更多领域发挥赋能价值，为促进我国数字经济快速发展贡献力量。

（瞭新社）