DoNews11月7日消息,據(jù)品玩引述 HuggingFace 頁(yè)面報(bào)道,微軟研究院聯(lián)手北京大學(xué),共同發(fā)布了一款名為 PPTC 的大模型測(cè)試基準(zhǔn),可以用于測(cè)試大模型在PPT 生成方面的能力。
研究團(tuán)隊(duì)表示,PPTC包含 279 個(gè)涵蓋不同主題的多回合會(huì)話和數(shù)百條涉及多模式操作的說(shuō)明。研究團(tuán)隊(duì)還提出了PPTX-Match評(píng)估系統(tǒng),該系統(tǒng)根據(jù)預(yù)測(cè)文件而不是標(biāo)簽API序列來(lái)評(píng)估大語(yǔ)言模型是否完成指令,因此它支持各種LLM生成的API序列。
研究團(tuán)隊(duì)表示,當(dāng)前大語(yǔ)言模型在生成PPT 內(nèi)容方面主要存在三個(gè)方面的不足,包括多輪會(huì)話中的錯(cuò)誤累積、長(zhǎng)PPT模板處理和多模態(tài)感知問(wèn)題。