【資料圖】

Meta 提交的一項(xiàng)新專利展示了可以為視頻游戲和VR 應(yīng)用程序帶來更逼真的口型同步和面部動(dòng)畫的技術(shù)。通過這些更逼真的面部動(dòng)作創(chuàng)建NPC 和為玩家化身提供更逼真和身臨其境的體驗(yàn)，包括在VR 游戲中。

該專利詳細(xì)介紹了將用戶語音轉(zhuǎn)換為逼真的口型同步和面部動(dòng)畫的多種方法，使開發(fā)人員可以靈活地選擇使用該系統(tǒng)的方式。專利中概述的一種方法涉及使用多人在閱讀50 個(gè)不同的語音平衡句子時(shí)的音頻和視頻記錄數(shù)據(jù)集，系統(tǒng)在他們閱讀每個(gè)句子時(shí)跟蹤他們的面部表情。通過跟蹤個(gè)人在閱讀每個(gè)句子時(shí)的面部和嘴巴如何移動(dòng)，系統(tǒng)可以從這些動(dòng)作中提取并將它們混合在一起用來讓角色的動(dòng)畫更加逼真，甚至包括眨眼和眉毛抬起等細(xì)微動(dòng)作。

除了能夠基于現(xiàn)有數(shù)據(jù)集生成面部動(dòng)畫和口型同步之外，該專利還描述了該系統(tǒng)如何使用集成到VR 耳機(jī)中的攝像頭來做同樣的事情。此功能可以讓VR 用戶擁有能夠準(zhǔn)確模仿自己面部表情的頭像，從而在多人游戲和《VRchat》等社交 VR 體驗(yàn)中獲得更加逼真和沉浸的體驗(yàn)。

關(guān)鍵詞： Meta申請(qǐng)新專利 將優(yōu)化虛擬現(xiàn)實(shí)中的口型同步