Connect 2021大會上，小扎將Facebook改名為Meta，全力奔向元宇宙。而在許多人看來，這只是元宇宙的PPT。其實，Meta一直在開展Codec Avatars項目，目前已能創(chuàng)建出逼真的虛擬角色，連頭發(fā)絲都根根分明。

扎克伯格也來挑戰(zhàn)「光劍變裝」了。

你以為是這樣的?NoNoNo!

小扎沒有唐藝昕那樣的炫酷，倒是多了幾分滑稽。

右手背后藏劍，左手亮劍：一瓶BBQ蘸汁。

這是小扎在「元宇宙」中虛擬化身(Avatar)，這一亮劍視頻讓許多人紛紛轉(zhuǎn)發(fā)。

自從Facebook更名為Meta，正式進軍元宇宙之后，「元宇宙」這個詞的熱度就一直未減。

而與「元宇宙」一起被頻繁提及的，就是「化身」(Avatar)這個詞。

「化身」，通俗意義上講，就是人們在虛擬世界里的形象。

12月10號，「元宇宙」先鋒Meta開放了自家的虛擬世界平臺Horizon Worlds。

當(dāng)用戶進入Horizon Worlds后，就需要創(chuàng)建一個3D虛擬化身。

有了化身，用戶就可以在這個自定義的世界中暢快玩耍。

不過，略顯尷尬的是，這些avatar的表情都非常僵硬。

所以，雖然目前的3D虛擬化身也勉強能用，但離著科幻電影，比如「頭部玩家」里那種逼真的化身形象，還有十萬八千里。

而Codec Avatars項目便代表了Meta在虛擬化身領(lǐng)域所做的努力。

「元宇宙」不是PPT，Meta真在做

小扎改名Facebook的決心也不是鬧著玩兒的。

若想在元宇宙中實現(xiàn)真正的交互，虛擬化身可是打開元宇宙這道門的任督二脈。

Codec Avatars這一項目旨在實現(xiàn)一個能夠捕獲和表示用于XR的逼真頭像的系統(tǒng)。

基于3D捕捉和AI技術(shù)，Codec Avatars可以讓人們快速能夠輕松地構(gòu)建屬于自己的虛擬化身，并使虛擬空間中的交互像在現(xiàn)實世界一樣自然。

最初這個項目是以高質(zhì)量的頭像演示開始，后來逐漸實現(xiàn)構(gòu)建全身的虛擬化身。

除了簡單地掃描一個人的身體之外，一個主要的挑戰(zhàn)是讓它以現(xiàn)實的方式移動——更不用說讓整個系統(tǒng)能夠?qū)崟r運行，以便化身可以在交互式環(huán)境中使用。

在Connect 2021大會上，研究人員Yaser Sheikh展示了該團隊最新的成果——全身視頻編解碼器(Full-body Codec Avatars)。

他表示現(xiàn)在Codec Avatars支持更復(fù)雜的眼部運動、面部表情、手部和身體姿勢。

此外，Meta還展示了虛擬化身在對不同的光照條件和環(huán)境下實現(xiàn)頭發(fā)和皮膚的真實渲染。

那么，衣服也可以在元宇宙中實現(xiàn)真實模擬。

扯一扯彈性不錯，抖動一下也會有褶皺。

身體細節(jié)、衣服都能做到現(xiàn)實還原，還有高保真的虛擬空間。

Meta就建造了一個虛擬公寓，公寓中所有物品都是現(xiàn)實世界的映射。

這樣用戶在虛擬空間中移動物體或者交互都能與物理空間實現(xiàn)同步。

目前，這似乎是為公司構(gòu)建一個映射的真實世界環(huán)境的「最佳案例」場景來進行實驗。

進入元宇宙后，手動跟蹤也同樣重要。如果在物理世界中大甩手臂實現(xiàn)交互，不僅累，而且也不雅觀。

為此，Meta一直在研究一種更加微妙自然的方法，即通過EMG腕帶進行XR輸入。

前段時間，Meta還推出了一款觸覺啟動手套，都是為了實現(xiàn)在元宇宙中的新交互所做的努力。

如何構(gòu)建Codex Avatars?

Meta開始制作Codex Avatars的契機要追溯到7年前。

2014年，卡內(nèi)基梅隆大學(xué)機器人研究所旗下的一家3D捕捉實驗室Panoptic Studio的負責(zé)人Yaser Sheikh遇到了Oculus首席科學(xué)家Michael Abrash，兩人聊得非常投機。

Michael Abrash

2015年，Yaser Sheikh加入了Facebook(現(xiàn)Meta)，從那以后便一直領(lǐng)導(dǎo)著Codex Avatars研究團隊。

Yaser Sheikh

「要想打造一個逼真的化身，基礎(chǔ)在于測量」，Codex Avatars研究科學(xué)家托馬斯·西蒙說。

「化身要以假亂真靠的是精確的數(shù)據(jù)，這需要良好的測量。因此，構(gòu)建真實化身的關(guān)鍵是找到一種方法來測量人類表情中的物理細節(jié)，比如一個人瞇起眼睛或皺起鼻子的方式?！?/p>

在匹茲堡實驗室的Codec Avatars團隊，使用了兩個主要的模塊來測量人類的表情：編碼器和解碼器。

首先，編碼器使用攝像頭來捕捉受試者正在做什么，然后將捕獲的信息組裝成一個唯一的編碼，用來表示一個人的身體和環(huán)境狀態(tài)，這個編碼可以隨時發(fā)送到任何需要的地方。

然后，解碼器再將該編碼轉(zhuǎn)換為視頻信號。

普通的智能手機攝像頭也能拍攝生動的視頻。不過，Codec Avatars可是海量物理數(shù)據(jù)和復(fù)雜軟件的結(jié)合，比想象中要復(fù)雜得多。

Codec Avatars項目在捕捉人臉細節(jié)時，使用了數(shù)百個高分辨率相機，而每個相機又會以每秒1 GB的速度捕獲數(shù)據(jù)。

這是什么概念呢?

打個比方，這些相機三秒鐘的記錄的數(shù)據(jù)就足以裝滿一個512GB的磁盤。

而Codec Avatars團隊持續(xù)記錄大約15分鐘，這已經(jīng)到達了他們現(xiàn)有硬件條件的極限，但盡可能多的數(shù)據(jù)也為創(chuàng)建最逼真的虛擬頭像打下了基礎(chǔ)。

Codec Avatars團隊正在使用這些數(shù)據(jù)來訓(xùn)練AI系統(tǒng)，從而讓AI可以從視頻中快速構(gòu)建虛擬頭像。

Sheikh說：「我們目前已經(jīng)可以還原發(fā)型夸張的人的3D頭像，甚至還原戴著腦電采集帽的人的頭像也不在話下?！?/p>

「這是世界上最先進的能夠自動生成人類的真實數(shù)字肖像的方法之一。它提供了一種虛擬的面對面交流的新方式，將來可以廣泛推廣?！?/p>

而隨著Codec Avatars的出現(xiàn)，人們對「元宇宙」社交的接受度會不會越來越高呢?

關(guān)鍵詞： 扎克伯格 光劍變裝 Meta 元宇宙