人形機器人在學(xué)習(xí)真實的嘴唇動作。圖片來源：美國哥倫比亞大學(xué)

科技日報北京1月19日電 （記者張夢然）美國哥倫比亞大學(xué)科學(xué)家設(shè)計出一種新型框架，使人形機器人面部能夠根據(jù)音頻生成逼真的唇部動作，實現(xiàn)與人類語音的同步。該技術(shù)還展示了較強的泛化能力，可推廣至包括法語、漢語和阿拉伯語在內(nèi)的多種語言，即使這些語言并未出現(xiàn)在訓(xùn)練數(shù)據(jù)中。研究團隊在發(fā)表于最新一期《科學(xué)·機器人學(xué)》上的論文中指出，這一進展是朝著構(gòu)建不僅能執(zhí)行功能，還能進行人性化交流的機器人邁出的重要一步。

在對話中，如果機器人的唇部動作與聲音不匹配，會顯得呆板且不自然。然而，現(xiàn)有機器人普遍缺乏執(zhí)行精細口部動作的靈活性，能實時將語音轉(zhuǎn)化為自然唇部運動指令的技術(shù)也寥寥無幾。

研究團隊在2024年曾發(fā)表研究，描述了一種人形機器人面部可以預(yù)測人類的微笑并同時再現(xiàn)該表情。在此基礎(chǔ)上，為更加精細化唇部與聲音的匹配，團隊設(shè)計了一套學(xué)習(xí)流程：首先采集機器人唇部運動的視覺數(shù)據(jù)，用于訓(xùn)練模型并生成運動參考點；隨后通過一個名為“面部動作轉(zhuǎn)換器”的模塊產(chǎn)生運動指令，使機器人的唇部能夠流暢配合不同詞語。他們還專門研制了一種人形機器人面部結(jié)構(gòu)，采用柔軟硅膠皮膚，配合磁性連接器，具備10個自由度，可驅(qū)動復(fù)雜的唇部運動。其唇部結(jié)構(gòu)能形成覆蓋24個輔音和16個元音的各種口型。

在驗證過程中，團隊借助ChatGPT生成測試語句，并合成了具有理想唇部動作的視頻作為對比基準。結(jié)果表明，該方法在5種比較方案中表現(xiàn)最優(yōu)，其生成的唇部動作與理想視頻差異最小。此外，該框架還能為11種不同語音結(jié)構(gòu)的非英語語言生成自然的唇部同步效果。

研究團隊推測，這類人形機器人在教育、老年護理等領(lǐng)域具有應(yīng)用潛力。但他們也強調(diào)，未來的設(shè)計工作需格外謹慎，以防止技術(shù)被濫用。

【總編輯圈點】

現(xiàn)在，AI讓虛擬人物動嘴說話已經(jīng)“不在話下”，然而讓機器人做到這點還相當困難。大多數(shù)機器人“說話”時并不動嘴，即使動嘴，也只是象征性一張一合。這次，科研人員試圖讓機器人擁有人類一般細膩、精準的唇部動作，教它們通過合成視頻以“照鏡子”的方式學(xué)習(xí)；還開發(fā)了硅膠皮膚，設(shè)計了面部機械系統(tǒng)。結(jié)果表明，機器人可以“學(xué)會”多種語言的唇部動作。不過，研究也不禁讓人思考，當機器人真的開口說話，“恐怖谷效應(yīng)”是會加重還是減輕？

【責(zé)任編輯:冉曉寧】