🤔 何がやりたいのか

2D の顔写真とそれをもとに生成された 3D 頭部モデルをスムーズにモーフィングさせたい。

しかも単一の写真ではなく大量の不特定多数のものが処理したい。

（MediaPipe Face Mesh の再配置にミスってるな…？）

（MediaPipe Face Mesh の再配置にミスってるな…？）

♟️ 戦略

📝 前提

3D 頭部モデルは事前に Character Creator の Headshot プラグインを使用して生成されている。

写真や画像から3Dモデル生成 | Headshot 2

https://youtu.be/Omczstt_Ivk?si=ERLoqck7a29Xc3wN

生成されるメッシュは入力写真が代わっても形状が異なるだけで、メッシュの頂点数や頂点インデックスは変わらない。

https://www.youtube.com/watch?v=u6sBN5o3jxU

💡 顔写真を MediaPipe で処理して Face Mesh 取り出せば 3D 同士のモーフィング処理になるのでは

MediaPipe で生成されたメッシュ

Google の MediaPipe に含まれる Face Mesh モジュールを使うと 2D 写真から奥行き推定して 3D のメッシュが生成できる。

https://www.youtube.com/watch?v=vDoujksgylM

パラメータを正しく設定すれば 3D 化しつつも特定の視点からは 2D 画像と全く同じに見える。

<aside> 💭

すっごい過去のプロジェクトがフラッシュバック😅 https://vimeo.com/143523772

</aside>