收起左侧
发新帖

多模态大模型多元路径中,智源提出一种收敛可能

时间:2024-10-22 10:25 0 183 | 复制链接 |

马上注册,结交更多好友

您需要 登录 才可以下载或查看,没有账号?立即注册

x
DSC0000.jpg

2024年中下旬,大模型赛道逐渐冷静,零星动态更新也主要聚焦于多模态领域。相较于大语言模型逐渐收敛的技术趋势,多模态领域技术路线暂时呈现多元化态势,如OpenAI Sora 基于Diffusion Transformer架构,生数科技的核心是使用一个统一的底层架构U-ViT来处理图像、3D、视频等多类复杂生成任务。
10月21日,智源研究院提出一种新训练范式,发布原生多模态世界模型Emu3,可实现视频、图像、文本三种模态的统一理解与生成。原理上,Emu3基于自回归技术路线(Autoregressive Model),只基于下一个token(输入数据的基本单位)预测,无需扩散模型或组合式方法,将图像、文本和视频编码为一个离散空间,在多模态混合序列上从头开始联合训练一个Transformer。
自回归技术路线属于多模态大模型领域的一种方法,核心思想是利用序列数据中的时间依赖性来预测未来的数据点。该类型模型中,不同模态数据共享同一套参数,可实现跨模态的关联和生成,无需人工设计的特征工程。同时因自回归技术路线的特点,在生成数据时模型必须按顺序进行,限制了并行计算的能力,导致生成速度较慢。也会遇到长期依赖问题,即模型难以捕捉序列中较远距离的依赖关系。
此前,谷歌与麻省理工学院(MIT)何恺明团队联合推进了一个新研究项目,推出名为Fluid的视觉自回归模型,采用连续token生成方式和随机顺序生成机制。国内市场中,智源研究院作为非营利性研究组织,率先推出自回归路线多模态模型,初衷为攻克大模型领域原始创新,目标在资源允许的情况下,在国际开源社区中展现中国技术实力与训练成果。目前智源研究院已开源了Emu3生成和理解一体的预训练模型以及相应的SFT训练代码,以方便后续研究和社区构建与集成。
Emu3之前,多模态生成任务主要由以Stable Diffusion为代表的扩散模型所主导,多模态理解任务由CLIP视觉编码器与LLM结合的组合式方法所主导。采访中,智源研究院院长王仲远对记者表示,Emu3证明了下一个token预测可以在多模态任务中有高性能的表现,有机会将基础设施建设收敛到一条技术路线上,为大规模的多模态训练和推理提供基础。
此前一位国内头部大模型企业人员对记者表示,大语言模型是多模态模型的“智商”基础,不论文生图还是图生视频模型,都需要大语言模型作为底座,再通过其他路径将不同模型连接,实现最终的多模态。王仲远对记者表示,Emu3有别于这类组合方法,采用的是原生统一的多模态技术范式。虽然多模态大模型训练所需资源并不比大语言模型要少,但可以极大程度上复用现有基础设施,包括技术范式与GPU集群等。
另外针对目前行业从训练端转向推理端的趋势变化,王仲远对记者表示,在技术路线收敛的趋势下,厂商会更积极地探索模型的落地场景。从乐观的角度来看,说明基础大模型已经达到一定的能力水平。另从谨慎的角度来说,训练转推理说明仅靠市场驱动,会令厂商陷入“追随者”的境地,不利于原始技术创新。
当下,王仲远称,研发多模态技术路线是比大语言模型更重要的时间节点,因为后者主要跟随已被验证的ChatGPT技术路线,而如今的多模态领域还处于非常早期。
至于Emu3模型的具体落地场景方向,王仲远表示,机器人大脑、自动驾驶、多模态对话和推理等都是潜在的应用方向。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

扫码添加微信客服
快速回复 返回列表 返回顶部