NOA - 頭部トラッキングを用いた裸眼3Dディスプレイ

ユーザーの顔の位置に合わせて適切な映像を出力することで、裸眼でも奥行きを感じることのできるディスプレイをプロトタイプしたものです。

iPhoneX以降に搭載されるようになったDepthカメラによる顔認識技術を用いて、ユーザーの顔の位置を取得。それにUnityシーン上の仮想カメラを位置合わせすることで、[2Dでも3Dのように見える「だまし絵」のようなレンダリングを実現しました。位置情報のリアルタイムな同期にはOSCを利用しています。

頭部の2次元（より正確には3次元）位置さえ認識できればディスプレは一般の液晶パネルでよく、またここではiPhoneを用いていますが、tobiiやRealsenseなど赤外線カメラを用いれば、より広角でロバストな体験が実現可能になるはずです。

このディスプレイを用いて、友人のデザイナーが制作したオブジェクトの展示を行いました。

• Unity
• Swift, iOS App (Face Tracking via iPhoneX’s True Depth)
• OSC (through wired ethernet)

Member

• Engineer: Takafumi Oyama
• Designer: Takumi Maezawa