中国科学院自动化研究所所长徐波在2023年人工智能框架生态峰会上正式了了“紫东太初”全模态大模型。

该大模型是在千亿参数多模态大模型“紫东太初”1.0的基础上，升级开发的2.0版本，拥有语音、图像、文本、视频、信号、3D点云等多种模态数据的全模态理解能力、生成能力和关联能力。

该模型的发布标志着中国科学院自动化研究所从多模态向全模态的持续探索，为实现通用人工智能迈出了坚实的一步。

徐波在会上向观众展示了大模型在音乐理解与生成、三维场景导航、信号理解、多模态对话等方面的全新功能，并与大模型进行了即时互动。现场观众对其表现给予了热烈的反响。

基于此，“紫东太初”大模型正在不断深入探索多模态，以此为基础。随着数字经济时代的到来，数据范围不断扩大，从人类自身产生的语音、图像、文字等数据，到机器产生的大量结构化和非结构化数据。

为满足新需求和新趋势，“紫东太初”2.0加入了更多模态，如视频、信号、3D点云等，实现了全模态开放式接入。

同时，多模态分组认知编解码技术和认知增强多模态关联技术等也得到了突破，大幅提升了大模型多模态认知能力。

“紫东太初”2.0可以理解数字物联时代的重要信息，如三维场景、信号等，并能完成跨模态对齐。它可以处理音乐视频分析、三维导航等多模态关联应用需求，并且能够理解和生成多模态内容。从1.0到2.0，“紫东太初”大模型消除了感知、认知和决策之间的交互障碍，进一步推动了人工智能的发展。

为了打造全栈国产化通用人工智能底座，“紫东太初”2.0以自动化所自研算法为核心，以国产化基础软硬件平台昇腾AI为基础，依托武汉人工智能计算中心算力支持，努力构建全栈国产化通用人工智能底座。

长期以来，算力支撑一直是我国人工智能发展的瓶颈之一。通过“紫东太初”大模型的创新实践，将有助于推动基基基础软硬件与大模型技术的适配，协同构建我国通用人工智能自主可控发展生态。

全模态赋能，产业应用前景广阔：“紫东太初”大模型已经展示了广泛的产业应用前景。它在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域开展了一系列引领性、示范性应用。

在医疗领域，该模型已经部署于神经外科机器人MicroNeuro，可以实现在手术中实时融合视觉、触觉等多模态信息，帮助医生进行实时推理判断。

与北京协和医院合作，利用“紫东太初”具备的强大逻辑推理能力，试图在人类罕见病诊疗等挑战性医学领域有所突破。

徐波表示，以“紫东太初”大模型为基础，自动化所持续探索与类脑智能、博弈智能等技术路径的相互融合，最终实现可自主进化的通用人工智能。

同时，他们将探索在更多领域发挥赋能价值，为促进我国数字经济快速发展做出贡献。