DoNews12月3日消息,商湯科技正式發(fā)布并開源了與南洋理工大學 S-Lab合作研發(fā)的全新多模態(tài)模型架構 —— NEO,為日日新 SenseNova 多模態(tài)模型奠定了新一代架構的基石。

據(jù)悉,NEO 架構從底層原理出發(fā),以“專為多模態(tài)而生”的創(chuàng)新設計,通過核心架構層面的多模態(tài)深層融合,實現(xiàn)了性能、效率和通用性的整體突破。
此次,商湯徹底摒棄了傳統(tǒng)的模塊化結構,從底層原理出發(fā),推出了從零設計的 NEO 原生架構。NEO 架構通過在注意力機制、位置編碼和語義映射三個關鍵維度的底層創(chuàng)新,讓模型具備了統(tǒng)一處理視覺與語言的能力。
據(jù)了解,配合創(chuàng)新的 Pre-Buffer & Post-LLM 雙階段融合訓練策略,NEO 能夠在吸收原始 LLM 完整語言推理能力的同時,從零構建強大的視覺感知能力,徹底解決傳統(tǒng)跨模態(tài)訓練中語言能力受損的難題。
目前,商湯已正式開源基于 NEO 架構的 2B 與 9B 兩種規(guī)格模型,以推動開源社區(qū)在原生多模態(tài)架構上的創(chuàng)新與應用。