久久久九九九一级大片a|一级黄片黄片一级一级|三级无码视频免费操人视频|成人精品A片亚州一区二区|亚洲日韩欧美在线一二区|91丝袜一区二区|国摸私拍电影一区二区爱|免费久久久久久久久久久久|免费国产黄色av发布网址|国产精品人妻人伦a 6 2v久动漫

Hugging Face、英偉達和約翰霍普金斯大學的研究人員近日宣布推出ModernBERT，這是對2018年發(fā)布的BERT模型的重大升級。ModernBERT不僅保留了BERT的高效性，還新增了處理長達8192個Token上下文的能力，顯著提升了模型的適用范圍和性能。

盡管BERT模型自發(fā)布以來一直是Hugging Face平臺上最受歡迎的模型之一，每月下載量超過6800萬次，但隨著技術的進步，原版BERT已顯得有些落后。ModernBERT的開發(fā)團隊借鑒了近年來大型語言模型（LLM）的進展，對BERT的架構和訓練過程進行了全面改進。

據(jù)悉，ModernBERT使用了2萬億個Token進行訓練，使其在多種分類測試和向量檢索測試中均達到了業(yè)界領先水平。目前，開發(fā)團隊已發(fā)布了兩個版本的ModernBERT，分別是1.39億參數(shù)和3.95億參數(shù)版本，供開發(fā)者和研究人員使用。