Maxwell 開源350億參數AI模型 程式開發表現超越同級Qwen - - 自由時報電子報
〔AI頻道/綜合報導〕一個名為Maxwell的AI開發團隊近日公開新模型Maxwell-V1.0-Flash,採用Apache 2.0開源授權,讓開發者可以免費下載權重、自行部署與微調。這款模型擁有350億總參數(35B),但每次處理文字時僅啟用約30億參數(3B),支援最高256K token上下文。與許多直接使用Qwen等既有模型權重進行微調的產品不同,Maxwell團隊公布了從預訓練到後訓練的完整技術設計,宣稱使用約26兆token的多語言資料建立模型。Maxwell-V1.0-Flash採用混合專家(MoE)架構,讓模型每次只啟用部分參數,減少不必要的運算。模型共有45層Transformer,其中42層採用MoE設計,每層配置256個可選擇的專家,處理文字時會選用12個,另外搭配2個固定啟用的共享專家。團隊也自行設計區塊稀疏注意力技術,讓模型在閱讀長篇文件時,不必每次都重新計算所有文字之間的關係。官方宣稱,在256K長上下文的特定測試中,這項技術的運算速度可比傳統密集注意力提高6.7倍。