DoNews1月27日消息，DeepSeek 今日公布了其最新一代文檔識別模型 DeepSeek-OCR 2。很顯然，該模型是在 DeepSeek-OCR 的基礎(chǔ)上升級而來，核心變化集中在視覺編碼器設(shè)計上。
研究團(tuán)隊提出了一種名為 DeepEncoder V2 的新型編碼器結(jié)構(gòu)，它能夠根據(jù)圖像語義動態(tài)調(diào)整視覺信息的處理順序，使模型在進(jìn)行文字識別前先對視覺內(nèi)容進(jìn)行智能排序。這項技術(shù)突破源于對傳統(tǒng)視覺語言模型處理方式的重新思考，旨在讓機(jī)器更貼近人類的視覺閱讀邏輯。
在傳統(tǒng)的視覺語言模型中，圖像通常會被切分為若干視覺 token，并按照從左上到右下的固定柵格順序送入模型處理。這種方式雖然實現(xiàn)簡單，但與人類在閱讀文檔、表格或公式時基于語義和邏輯關(guān)系進(jìn)行跳躍式瀏覽的方式并不一致。
DeepSeek 論文指出，尤其在版式復(fù)雜的文檔場景中，視覺元素之間往往存在明確的邏輯先后關(guān)系，僅依賴空間順序可能限制模型對內(nèi)容結(jié)構(gòu)的理解能力。
DeepSeek-OCR 2 的改進(jìn)重點在于引入“視覺因果流”的概念。在 DeepEncoder V2 中，研究團(tuán)隊用一種類語言模型結(jié)構(gòu)替代了原先基于 CLIP 的視覺編碼模塊，并在編碼器內(nèi)部引入可學(xué)習(xí)的“因果流查詢 token”。
其編碼器同時包含雙向注意力與因果注意力兩種處理模式，原始視覺信息通過雙向注意力進(jìn)行全局感知，而新增的查詢標(biāo)記則通過因果注意力逐步建立語義順序，從而在編碼階段對視覺 token 的順序進(jìn)行動態(tài)重排。最終，只有經(jīng)過因果重排后的查詢 token 會被送入后續(xù)的解碼器，用于生成識別結(jié)果。
在整體架構(gòu)上，DeepSeek-OCR 2 仍沿用了前代模型的編解碼框架。編碼器將圖像轉(zhuǎn)換為視覺標(biāo)記并進(jìn)行壓縮，被壓縮為較少數(shù)量的視覺 token，再由 DeepEncoder V2 進(jìn)行語義建模和順序重組，最后交由一個基于混合專家架構(gòu)（MoE）的語言模型解碼。
DeepSeek 論文指出，該設(shè)計在不顯著增加解碼負(fù)擔(dān)的前提下，將單頁文檔所使用的視覺 token 數(shù)量控制在 256 到 1120 之間，與前代模型及同類系統(tǒng)的資源開銷保持在相近水平。
為驗證模型性能，研究團(tuán)隊在 OmniDocBench v1.5 基準(zhǔn)上進(jìn)行了全面評估。該基準(zhǔn)涵蓋多種類型的中英文文檔，包括學(xué)術(shù)論文、雜志、報告等，重點考察文本識別、公式解析、表格結(jié)構(gòu)還原以及閱讀順序等指標(biāo)。
測試結(jié)果顯示，在視覺 token 上限更低的情況下，DeepSeek-OCR 2 的整體得分達(dá)到 91.09%，相較 DeepSeek-OCR 提升了 3.73%。特別是在閱讀順序準(zhǔn)確度方面，編輯距離從 0.085 降至 0.057，表明新模型能夠更合理地理解文檔內(nèi)容結(jié)構(gòu)。
DeepSeek-OCR 2 在生產(chǎn)環(huán)境中也表現(xiàn)出更好的穩(wěn)定性。在線用戶日志圖像的重復(fù)率從 6.25% 降至 4.17%，批處理 PDF 數(shù)據(jù)的重復(fù)率從 3.69% 降至 2.88%。這些改進(jìn)使得模型在保持高壓縮率的同時，提升了實際應(yīng)用場景中的可靠性。
