Registrieren

Registierung erfolgt in Kürze...
Fleebs-Logo
Details werden geladen...

Maxwell 開源350億參數AI模型 程式開發表現超越同級Qwen - - 自由時報電子報

〔AI頻道/綜合報導〕一個名為Maxwell的AI開發團隊近日公開新模型Maxwell-V1.0-Flash,採用Apache 2.0開源授權,讓開發者可以免費下載權重、自行部署與微調。這款模型擁有350億總參數(35B),但每次處理文字時僅啟用約30億參數(3B),支援最高256K token上下文。與許多直接使用Qwen等既有模型權重進行微調的產品不同,Maxwell團隊公布了從預訓練到後訓練的完整技術設計,宣稱使用約26兆token的多語言資料建立模型。Maxwell-V1.0-Flash採用混合專家(MoE)架構,讓模型每次只啟用部分參數,減少不必要的運算。模型共有45層Transformer,其中42層採用MoE設計,每層配置256個可選擇的專家,處理文字時會選用12個,另外搭配2個固定啟用的共享專家。團隊也自行設計區塊稀疏注意力技術,讓模型在閱讀長篇文件時,不必每次都重新計算所有文字之間的關係。官方宣稱,在256K長上下文的特定測試中,這項技術的運算速度可比傳統密集注意力提高6.7倍。

Ähnliche Seiten

https://news.ltn.com.tw/news/aichannel/breakingnews/5640263

非中國開源模型另一選擇: Thinking Machines Inkling 2 Small 594B 支援百萬 Token - - 自由時報電子報

https://news.ltn.com.tw/news/aichannel/breakingnews/5640263
https://news.ltn.com.tw/news/aichannel/breakingnews/5608876

Meta 開放 8160 億參數 Muse Spark Open,MoE 架構讓 Mac Studio 也可本機運行 - - 自由時報電子報

https://news.ltn.com.tw/news/aichannel/breakingnews/5608876
https://news.ltn.com.tw/news/aichannel/breakingnews/5608953

NVIDIA 推 Nemotron 3.5 Super VL,1200億參數可在 DGX Spark 本機執行 - - 自由時報電子報

https://news.ltn.com.tw/news/aichannel/breakingnews/5608953
https://news.ltn.com.tw/news/life/paper/1774715

洋流、程風飄帶發送 竹市店家現人龍 - 生活 - 自由時報電子報

https://news.ltn.com.tw/news/life/paper/1774715
https://news.ltn.com.tw/news/aichannel/breakingnews/5622718

Anthropic AI 模型發現 Chrome 等五大系統漏洞,Safari 也難倖免 - - 自由時報電子報

https://news.ltn.com.tw/news/aichannel/breakingnews/5622718
https://news.ltn.com.tw/news/life/paper/1776376

行動電源回收 送超商商品卡 - 生活 - 自由時報電子報

https://news.ltn.com.tw/news/life/paper/1776376