DoNews10月23日消息，據(jù)“晚點(diǎn) Auto”昨晚報(bào)道，微軟亞洲研究院前首席研究經(jīng)理譚旭于 8 月加入大模型創(chuàng)業(yè)公司月之暗面，主要負(fù)責(zé)研發(fā)端到端語(yǔ)音模型。
報(bào)道稱，月之暗面的整個(gè)多模態(tài)研究早在去年 10 月就已開(kāi)始。接近該公司人士稱，目前正有 10 人左右的團(tuán)隊(duì)在研發(fā)視頻模型，為確保產(chǎn)品更具差異性，對(duì)外發(fā)布計(jì)劃仍在推遲。
資料顯示，譚旭在離開(kāi)微軟研究院前擔(dān)任首席研究經(jīng)理，方向是生成式 AI、語(yǔ)音 / 音頻 / 視頻內(nèi)容生成，論文引用量達(dá)上萬(wàn)次，他也曾擔(dān)任 NeurIPS 等學(xué)術(shù)會(huì)議期刊的審稿人；其多項(xiàng)語(yǔ)言、語(yǔ)音、音樂(lè)、視頻生成成果已應(yīng)用在 Azure、Bing 等微軟的產(chǎn)品與服務(wù)中。
譚旭加入月之暗面后的主要目標(biāo)之一，可能即是幫助月之暗面打造“類似 GPT-4o”的語(yǔ)音體驗(yàn)。
此前，主流的語(yǔ)音方案是 ASR（自動(dòng)語(yǔ)音識(shí)別）+LLM（大語(yǔ)言模型）+TTS（語(yǔ)音合成）：輸入端識(shí)別語(yǔ)音、轉(zhuǎn)化成文本；大模型處理內(nèi)容生成新文本；文本合成為語(yǔ)音、最終輸出。
但上述方案的不足在于機(jī)器響應(yīng)時(shí)間較長(zhǎng)、人類無(wú)法隨時(shí)打斷，與人類的自然聊天狀態(tài)存在差距。相比之下，端到端省去了“語(yǔ)音轉(zhuǎn)文字再轉(zhuǎn)語(yǔ)音”的中間過(guò)程，可以壓縮機(jī)器響應(yīng)時(shí)間，人類也可隨時(shí)打斷機(jī)器。同時(shí)，端到端還可幫助改善“幻覺(jué)”：用戶可立即打斷輸出并給出新的提示詞。
