百度文心大模型4.5系列正式開源
30/6/2025 15:18
百度(09888)今日正式開源文心大模型4.5系列模型,涵蓋47B、3B激活參數的混合專家(MoE)模型,以及0.3B參數的稠密型模型等10款模型,實現預訓練權重和推理代碼的完全開源。
目前文心大模型4.5開源系列已可在飛槳星河社區、HuggingFace等平台下載部署使用,同時開源模型API服務亦可在百度智能雲千帆大模型平台使用。
百度在2月已預告推出文心大模型4.5系列,並明確將於6月30日起正式開源。
文心大模型4.5開源系列,在保持甚至提升文本任務性能的基礎上,顯著增強多模態理解能力,優越性能主要得益於多模態混合專家模型預訓練、高效訓練推理框架和針對模態的後訓練等關鍵技術點,另外,文心4.5開源系列均使用飛槳深度學習框架進行高效訓練、推理和部署。
實驗結果顯示,文心4.5系列模型在多個文本和多模態基準測試中達到SOTA水平,尤其在指令遵循、世界知識記憶、視覺理解和多模態推理任務上效果突出。
文心大模型4.5開源系列權重按照Apache 2.0協議開源,支持開展學術研究和產業應用,此外基於飛槳提供開源的產業級開發套件,廣泛兼容多種芯片,降低模型的後訓練和部署門檻。
|