国产一区高清|日韩精品一区人妻|曰夲AV一区二区|美日韩一区二区三区|国产喷水在线观看|狼友网站成人大全|欧美日韩制服中文视频在线|久草加勒比手机在线|婷婷色综合无码专区|japanese 精品视频在线观看

Hugging Face、英偉達(dá)和約翰霍普金斯大學(xué)的研究人員近日宣布推出ModernBERT，這是對(duì)2018年發(fā)布的BERT模型的重大升級(jí)。ModernBERT不僅保留了BERT的高效性，還新增了處理長(zhǎng)達(dá)8192個(gè)Token上下文的能力，顯著提升了模型的適用范圍和性能。

盡管BERT模型自發(fā)布以來(lái)一直是Hugging Face平臺(tái)上最受歡迎的模型之一，每月下載量超過(guò)6800萬(wàn)次，但隨著技術(shù)的進(jìn)步，原版BERT已顯得有些落后。ModernBERT的開(kāi)發(fā)團(tuán)隊(duì)借鑒了近年來(lái)大型語(yǔ)言模型（LLM）的進(jìn)展，對(duì)BERT的架構(gòu)和訓(xùn)練過(guò)程進(jìn)行了全面改進(jìn)。

據(jù)悉，ModernBERT使用了2萬(wàn)億個(gè)Token進(jìn)行訓(xùn)練，使其在多種分類(lèi)測(cè)試和向量檢索測(cè)試中均達(dá)到了業(yè)界領(lǐng)先水平。目前，開(kāi)發(fā)團(tuán)隊(duì)已發(fā)布了兩個(gè)版本的ModernBERT，分別是1.39億參數(shù)和3.95億參數(shù)版本，供開(kāi)發(fā)者和研究人員使用。