今年三支新iPhone及iPad Pro，都搭載了TrueDepth測（原深感測）相機，看來未來這會變成iPhone的標準配備。這TureDepth相機看來很有技術成分，但多數人應該只拿它來臉部解鎖跟認證吧，好玩一點的會拿它錄Amimoji或Memoji，此外好像就沒了。
但是玩過Animoji的，一定對它捕捉臉部表情的生動程度感到驚訝，其實這樣的技術，對製作動畫來說是很方便的工具，台灣的甲尚科技，就用iPhone的TureDepth相機，開發了「LIVE Face」這套App，搭配他們的「CrazyTalk Animator 3」這套2D動畫軟體（以下簡稱CTA 3），就可以靠iPhone捕捉臉部動作，很快做出一段表情很靈活的動畫。在場分享的其中一位遊戲實況主安傑貓說，以往完成一段臉部有動作的動畫可能需要一到兩個小時，但使用這一套工具後，縮短到只要10分鐘。
■ CrazyTalk Animator 3：在PC及Mac上運作，依照版本不同1690元起，試用期15天，素材包另購。
■ LIVE Face：支援iPhone X以後機種，免費，但須搭配CrazyTalk Animator 3才有作用，不是獨立使用的App。
▌10分鐘就學會怎麼用iPhone做出表情動畫
「CrazyTalk Animator 3」本來就是一套給一般人使用的2D動畫軟體，特色是運用彈性運動系統，套用範本後就可以將圖像、標誌等轉變成卡通動畫，也支援匯入PSD檔製作，素材庫裡也有骨架編輯器、臉部操偶跟自動對嘴的功能，用戶也能即見即所得的製作影片。而搭配有原深感測相機的iPhone，就可以為角色進行即時的臉部動態捕捉。
比方畫面上是一個內建的範本，對著安裝好LIVE Face的iPhone原深感測相機做表情，漫畫人像的眼睛、嘴巴及眉毛、擺頭...等，都可以跟著動作。
[embedded content]
回來以內建的模組小試用一下。
在iPhone X、Xs系列、XR上安裝好LIVE Face App，點一下螢幕你的臉上就會佈滿網格，並把手機和電腦連接同一個WiFi，畫面上方會出現一行IP位址。
接著在電腦的CTA 3匯入示範模組，點選左邊工具列裡的「臉部表情捕捉」這功能，它會要求你輸入連接的IP，將App上方那行打進去就好了..
操作介面上方會顯示連接了沒，綠燈就表示連好了，這時候點下預覽，把臉對準iPhone的原深感測相機，就可以看到畫面上的熊表情跟著你在動作，點擊錄影，就可以錄下帶表情變化的動畫，你的口白是什麼，就講什麼，配點五官動作就很生動了。
錄好之後就選擇輸出視訊，這裡以綠底為背景，是因為要拿去疊在其他影片上。
比方我將動畫存成mp4檔，再拿到我慣用的Filmora這套剪輯軟體裡，摳掉綠幕放進我的影片裡，錄製表情動畫的過程真的相當簡單，但以我毫無基礎的人來說，難的是怎麼生出這些素材，以及怎麼把素材變成可以套用表情的模組，這還是得看教學的啊～
▌為何要搭配iPhone的原深感測相機
甲尚科技的產品經理李孟翰跟我們提到，將臉部辨識套用到製作動畫的軟體很多，但為何要搭配iPhone，是因為原深感測相機為臉部建模中的三個技術，提供很好的解決方案。
三個技術分別是Tracking、Blend Shape及Mapping。
Tracking的是製作表情動畫時，會利用相機掃描臉部的五官、深度、輪廓...等，就是收集臉部資訊，而這些資訊必須要準確、穩定且即時才能作業。市面上很多臉部辨識軟體多半是用RGB Cam一幀一幀（by frame）的方式來收集臉部資訊，但這樣的問題是它不準確，而且製作時需要校正。
第二是Blend Shape， 大多數同學應該不太清楚這是什麼，簡單說就是將物件上一個個的網格變形，表現出想要的形狀組合，想像臉上佈滿了很多細小的網格，要表現微笑的形狀，嘴角那裡的網格們就要做呈現出上揚的變形，而眼角邊的網格們同時也要有下垂的變形...等。這需要透過演算法轉換出表情，
第三Mapping，
有了臉部資訊，也變形出表情了，但要套用上每個角色的特色、才是你想要的創作，尤其2D動畫有的角色需要誇張的，有趣的動作跟表情，這些也需要Mapping的技術來完成，
這三個技術，前兩個部分蘋果已經為開發者做好了，李孟翰提到，iPhone上的TureDepth相機為臉部資訊定位的精準跟穩定度都很高，也不需要校正，對軟體要做Tracking來說非常方便。
另外原深感測相機收集到的資訊/ 文件也很完整，以及ARKit裡有個AR face anchor的模組，這模組裡提供了57條Blend Shape，可以定義很多很多表情，CTA就取用這57條Blend Shape表情，用Mapping的技術，套用到角色上，這讓使用者可以為創作的角色客製表情，CTA裡加上讓使用者調整表情強度的功能，組合起來就可以讓角色的表情很生動豐富。
FaceWare是目前業界製作臉部動畫時，很常用的一套捕捉軟體，但相對iPhone的原深感測相機有隨手可用、設備成本就是手機的費用...等優點。
CTA 3也可以拿一般的照片來做出動畫，跟帶有原深感測相機的裝置結合，可以把CTA 3裡的這三項技術發揮到極致。
▌製作出表情動畫可以做什麼用?
除了單純的製作動畫影片外，甲尚也提到這可以提供給直播主或YouTuber們使用，CTA 3 支援搭配Xsplit、OBS和 FFSplit等直播軟體，比方在CTA 3上製作一個以綠幕為背景的人物，套用在直播軟體上，再搭配iPhone+LIVE Face，就可以在直播影片裡放進一個即時直播中的人偶，就像個虛擬直播主一樣。不過這軟體目前只支援連接一台iPhone，控制一張臉，來無法做到兩個虛擬主播對談。
另開視窗看影片
比方由插畫家跨去變成直播主的大陰盜百貨，某次雞姐對嘴直播的紀錄，就是以這三套工具來完成，不好意思露臉的就可以自創虛擬主播了。
[embedded content]
另外CTA 3也可以將做好的動畫，匯出成一般格式的影片，再拿去其他剪輯軟體裡使用。
比方NiNi謝昊霓老師是視覺行銷達人，會透過CrazyTalk創作LINE的動態貼圖，明年預計會推出一本以視覺行銷為主題的書籍，並透過CTA+iPhone的技術來製作教學頻道，動畫中的卡通人物動畫，就是使用CTA+iPhone原深感測相機製作出來的。
[embedded content]
YouTube上的UP主安傑貓，頻道裡主要分享很多⟪戰甲神兵Warframe⟫的影片跟遊戲實況，或是直播。透過CTA 3及iPhone，幫助他在短時間內可以為安傑貓這個虛擬人物做出很生動的表情，大幅縮短製作動畫的時間。
[embedded content]
又比方Bounce，很多人知道他是知名的街頭塗鴉師，但他也在嘗試將自己創作的人物做成動畫。
[embedded content]
▌省時快速容易上手
四位創作者不約而同的感想都是這套工具大大加快製作動畫的速度，而且簡單很容易上手。
（左起：Bounce、大陰盜百貨、安傑貓、NiNi老師）
比方大陰盜百貨就提到，之前要做一則動畫，都要逐格畫圖，非常麻煩（比方一分多鐘的影片要畫一百多張圖），但使用這套工具後，發現只要把模組建好，在軟體裡拉出動作就好了，而且用iPhone的原深感測相機做表情，也很自然，不用畫那麼多臉部表情，速度就會很快。
安傑貓也有類似的感想，他之前是用切換圖片的方式來做動畫，臉部表情也要一格一格做，花費很多時間，搭配iPhone及LIVE Face後，本來要花一兩個小時來做的表情動畫，因為可以套用自己的表情來塑造，搭配錄音，變成不到10分鐘就可以完成，如果要做長一點的談話性影片也方便很多，也因為方便，而且也變得更願意在影片裡多放動畫豐富影片內容。
Bounce提到他的作品大多是靜態的，雖然以前也曾經想過要做動畫，但自己完全沒有做動畫的經驗跟背景，也發現做動畫並不是一件容易的事情，後來接觸CTA 3 之後，從學習到完成上面那個簡單的動畫，只花了一個晚上。動作完成後，還可以用iPhone搭配自己的表情去創作動畫的表情，非常方便。以後可能也可以讓自己的作品動起來做直播互動，作品就可以用更多形式跟大家分享。
現場也請NiNi老師操作一下所謂的方便是怎樣的方便，若要做身體的動作，在軟體裡直接拉動就可以了，若要做表情，搭配iPhone也很快，在做表情時，就可以同步錄成影片，再拿去其他剪輯軟體裡套用。
[embedded content]
搭配iPhone原深感測相機後，對有在做動畫的，或是YouTuber們會是一個很棒的工具，事實上也有⟪Walking Dead: Our World⟫的遊戲開發商也利用原深感測相機來打造遊戲角色，也是看中它方便，以及對表情強大而準確的捕捉能力。
其實App Store裡也陸續有一些可搭配原深感測相機來用的App，
比方蘋果自己的⟪Clips⟫的情境功能，就利用原深感測相機抓出前後距離，再利用AR技術套上背景。
⟪SmileFun⟫則是一個偵測表情來玩的遊戲，你要做出跟螢幕上一樣的表情才會過關，玩了一陣子之後覺得臉拉筋拉得很鬆...
⟪Rainbrow⟫是用眉毛來控制笑臉上下，吃星星的遊戲，有點好笑但臉有抽筋的風險。
⟪Anidoodle⟫則是畫上各種眼睛嘴巴的樣子，用原深感測相機偵測真臉表情後，塗鴉臉也會跟著變化，這一樣可以錄影錄音後拿去分享，或放進剪輯影片裡。。
原深感測相機偵測臉部的功能很強大，但應用出現的速度好像不如想像中蓬勃快速，不知道是技術有難度，還是還沒找到可應用的情境。
不過像CTA 3這種動畫軟體搭配原深感測相機後，把本來專業工作室裡才能做到的技術，也移到平民老百姓手上，讓一般人容易取得，也容易學習，也是一個很大的貢獻吧。
期待更多應用可以出現～
from Mobile01 本站新聞 https://ift.tt/2BnTayr
沒有留言:
張貼留言