商業(yè)
英偉達向英特爾投資 50 億美元，雙方將聯(lián)合開發(fā)芯片
英偉達投資50億美元與英特爾合作，整合AI與x86生態(tài)，聯(lián)合開發(fā)PC和數(shù)據(jù)中心芯片，推動下一代計算發(fā)展。
楊亮
7小時前
中文通用大模型基準(zhǔn)測試SuperCLUE發(fā)布，訊飛星火認(rèn)知大模型國內(nèi)第一
2023-05-10 10:50:09
282227
5月9日，中文通用大模型綜合性評測基準(zhǔn)SuperCLUE正式發(fā)布。該基準(zhǔn)測試主要關(guān)注以下問題：中文大模型在不同任務(wù)上的表現(xiàn)如何？與國際代表性模型相比，中文大模型的表現(xiàn)達到了何種程度？中文大模型與人類表現(xiàn)相比如何？
該模型可通過多個層面，考研市面上主流的中文GPT大模型的能力：
基礎(chǔ)能力:包括了常見的有代表性的模型能力，如語義理解、對話、邏輯推理、角色模擬、代碼、生成與創(chuàng)作等10項能力。
專業(yè)能力:包括了中學(xué)、大學(xué)與專業(yè)考試，涵蓋了從數(shù)學(xué)、物理、地理到社會科學(xué)等50多項能力。
中文特性能力:針對有中文特點的任務(wù)，包括了中文成語、詩歌、文學(xué)、字形等10項多種能力。
該機構(gòu)利用SuperCLUE測試基準(zhǔn)，對市面上主流的支持中文的通用大模型進行了評測與排名。從排名中我們可以看出，GPT-4一騎絕塵，已經(jīng)非常接近人類的能力。國產(chǎn)大模型中科大訊飛研發(fā)的星火認(rèn)知大模型總排名第三，國內(nèi)排名第一。
以下為該機構(gòu)公布的各個子項目的具體得分。排行榜會定期更新，并于以下網(wǎng)站進行公示。www.CLUEbenchmarks.com/superclue.html
總榜單
基礎(chǔ)能力榜單
中文特性榜單
網(wǎng)站信息
