什么?你的臉可以在游戲里生成?

????????如今,各種AI滿天飛。前有,無中生有的stable diffusion,可以以詞生成二次元老婆,還可以以圖像作為遷移目標(biāo)進行生成;后有,火出天際的ChatGPT,可以聊天、寫代碼、甚至生成論文。
????????可見,AI的能力如此之強。那么,我們能否利用AI,以人物圖像作為輸入生成游戲(如:honey select2)里的人臉數(shù)據(jù)呢?答案是,可以的?。。?/strong>
????????那么,怎么做到呢?理論上,游戲里人物的面部數(shù)據(jù)可以表示成一個多維向量。因此,我們可以使用深度學(xué)習(xí)的方法,以人物圖像作為輸入,讓模型去學(xué)出這個向量,再將這個向量轉(zhuǎn)換成面部數(shù)據(jù)導(dǎo)入到游戲中。這樣一來,在游戲中就完成了對輸入圖像的人臉的“拷貝”。
????????為了驗證這個想法,我使用Resnet50作為特征提取器,將最后的1000維全連接層,縮減到了適合表示游戲面部數(shù)據(jù)的維度數(shù)(75維),其他層保持不變。并且使用均方差損失函數(shù)(MSE Loss)調(diào)整參數(shù),使用余弦相似度(cosine similarity)作為評價指標(biāo)。在該項目使用了6200多張游戲人物卡(沒有使用真人圖片)進行訓(xùn)練和測試,其中有5000+用于訓(xùn)練,其余用于測試。詳情請查看該項目?https://github.com/ChasonJiang/Extract-Face-Data.git
? ? ? ? 使用上述方法訓(xùn)練一輪(epoch)之后就模型快收斂了,最終模型在1200多張人物卡的測試集中的進行測試的余弦相似度為:93.74%
????????下圖右邊就是使用上述方法生成的面部數(shù)據(jù)在游戲中的結(jié)果:


以上左圖均來自于網(wǎng)絡(luò),侵刪。