DoNews1月21日消息,The Information 月初爆料稱,DeepSeek 將在今年 2 月中旬農(nóng)歷新年期間推出新一代旗艦 AI 模型 ——DeepSeek V4,將具備更強的寫代碼能力。
1 月 20 日,正值 DeepSeek-R1 發(fā)布一周年之際,有開發(fā)者發(fā)現(xiàn) DeepSeek 在 GitHub 中更新了一系列 FlashMLA 代碼,橫跨 114 個文件中有 28 處都提到了未知的“MODEL1”大模型標識符。
該標識符與已知的現(xiàn)有模型“V32”(即 DeepSeek-V3.2)被并列或區(qū)別提及。根據(jù)代碼上下文分析,“MODEL1”很可能代表一個不同于現(xiàn)有架構的新模型。
開發(fā)者分析認為,“MODEL1”與“V32”在關鍵技術上存在區(qū)別,主要體現(xiàn)在鍵值(KV)緩存的布局、稀疏性處理方式以及對 FP8 數(shù)據(jù)格式的解碼支持等方面。這些差異表明新架構可能在內(nèi)存優(yōu)化和計算效率上進行了針對性設計。
此前,DeepSeek 研究團隊前幾天還陸續(xù)發(fā)布了兩篇技術論文,分別介紹了名為“優(yōu)化殘差連接(mHC)”的新訓練方法,以及一種受生物學啟發(fā)的“AI 記憶模塊(Engram)”。技術社區(qū)推測,正在開發(fā)中的新模型有可能會整合這些最新的研究成果。