(全球 TMT2025 年 6 月 30 日訊)6 月 30 日,百度文心大模型 4.5 系列模型正式開源,并在國內開源平臺 GitCode 首發(fā)上線?,F在,全球開發(fā)者、企業(yè)、研究機構等均可免費在 GitCode 平臺直接訪問并下載體驗文心大模型 4.5 開源系列,支持部署、微調等各種不同場景的使用需求。
文心 4.5 系列開源模型共 10 款,涵蓋了激活參數規(guī)模分別為 47B 和 3B 的混合專家(MoE)模型(最大的模型總參數量為 424B),以及 0.3B 的稠密參數模型。針對 MoE 架構,百度提出了一種創(chuàng)新性的多模態(tài)異構模型結構,適用于從大語言模型向多模態(tài)模型的持續(xù)預訓練范式,在保持甚至提升文本任務性能的基礎上,顯著增強多模態(tài)理解能力。文心 4.5 系列模型均使用飛槳深度學習框架進行高效訓練、推理和部署。在大語言模型的預訓練中,模型 FLOPs 利用率(MFU)達到 47%。模型權重按照 Apache 2.0 協(xié)議開源,支持開展學術研究和產業(yè)應用。此外,基于飛槳提供開源的產業(yè)級開發(fā)套件,廣泛兼容多種芯片,降低后訓練和部署門檻。