人とか機械とか

デジタルガジェットやコンピュータについてのブログです。

iOS14 の ARKit 4 でフェイストラッキングできる機種が拡大した件

developer.apple.com

従来のARKitはiPhone Xなどに搭載のTrue Depthセンサーを使ってフェイストラッキングを実現していましたが、それを使っていたVTuberツールmocapeの検証によると、iPhoneSE2 + iOS14でもmocapeが動いたそうです。実際に来た。

これはmocape以外の他のARKitのフェイストラッキングに依存しているソフトでも同じなのかどうかが気になる。ハードの差をどこまでミドルウェア側(ARKit)で吸収できているのだろうか。

A12 Bionic以降を搭載しているがTrue Depthセンサーのない機種は、

ただTrue Depthセンサーと比較して精度は下がり、CPU使用率は高くなる(=バッテリー消費が多い)と予想されるが要検証か。

逆に言うと「True Depthを備えている機種だがTrue Depth(赤外線ドットプロジェクション)を使わずにフェーストラッキングできる」はず、技術的には。その辺のモード切替も可能だったりするのでしょうか。

A13 & iOS13.2 からサポートされたDeep Fusion, A13のNural Engineで写真の画質を改善する機能らしいので、その辺が応用されてA13以降だとフェーストラッキング精度上がってるかも知れない。

iPhone SE2は安いのに世代が新しいA13でたくさん売れているので、これがフェイストラッキングのセンサーに使えるとなるとVTuber人口増加・VTuber品質底上げに寄与すると思う。期待。