【準備】Webカメラの改造
|
Webカメラやスマートフォンに実装されているカメラのCMOSデバイスは通常の可視光帯域以外に近赤外線帯域にも感度があります。従って可視光成分をカットするフィルタをレンズの前に取り付けてやれば赤外線カメラに改造することができます。但し、建物内には赤外線光源が存在しないので、フィルタの周囲に波長850ｎｍの赤外線ＬＥＤを複数個配置して赤外線照明を構成します。このＬＥＤは単に照明が目的ですので点滅させる必要はなく、点灯状態で十分です。また、電源容量もLED１個50mA程度で十分なのでUSB電源の容量で間に合います。以上の10分程度の改造でアクティブ照明型の赤外線カメラを作る事ができます。
|
|
|
|
【性能】手や顔のトラッキングが行える！
|
動画に登場するように、Hand Tracking（手のトラッキング）や顔のトラッキングが行えるようになります。右のように予めデプスイメージで処理されたセグメンテーションに基づいて骨格トラッキングや顔の表情をトラッキングすることができるのです。でも一体どうしてそんな事が可能なのか？
ヒントは次のクリップに登場しました。
|
|
|
|
【Inverse Squareの歪み原因とその補正方法】
|
右画像の下段に、左からToF(Time of Flight)カメラ画像、Inverse Square法、InfraredDepth(Microsoft方式)、ToF方式とInfraredDepth方式の誤差が示されています。
ToFカメラについては、KinectV2やSenz3Dで採用されている光の飛行時間をパルスの位相差に基づいて計測する方法です。現状、デバイスノイズや多重反射ノイズ等の問題があります。
ではInverseSquare法とは何か。これは点光源からの距離ｒの２乗に反比例して明るさIが減衰するという法則から、画素の輝度Iから距離を逆算する方法です。しかしながら、この方式は凄く歪んだ画像になってしまいます。それはどうしてでしょう？
物体には反射光に関して周囲から斑なく均質に照明される環境光で反射する環境光反射以外に、拡散反射と鏡面反射という性質があります。
|
|
|
拡散反射とは点光源の方向と物体の法線方向のなす角度によって反射量が変化する性質です。
また、鏡面反射（人体の皮膚表面は特にこの性質が激しい）とは、カメラの位置と光線の位置、及び物体の法線方向によって定まる光線の入射角と反射角が近いほど反射が激しくハレーションを起こし易い性質です。
先程のInverseSquare方式はこれを無視していたので拡散反射と鏡面反射の大きな場所が近距離に変換されてしまったのです。結果として顔全体も小さくなり、ひどい変形も起こっていますね。
これに加えて、人体の赤外線吸光度は皮膚、眼球、髪の毛、唇で大きく異なります。この吸光度も考慮して実際の距離依存性反射強度を補正する必要があるのです。
また、この補正に必要な物体の法線情報は各画素のｘ方向及びｙ方向に隣接する４画素のデプス値から求めることができます。
従って、観測した赤外線画像の輝度値との誤差の２乗値が最小となるように、デプスを未知数として推定することで実現すると考えられます。
このデプス推定処理中で重要な人体各部の吸収率等の多くのパラメータの多くはKinectV2のToF画像とアクティブ赤外線画像から演算して取得することができます。
|
|
|
|
【まとめ】
|
動画を見る限り、汎用的なデプスカメラとして最も安いコストでそれなりの精度が達成されているように思えます。
モーションキャプチャセンサとしては十分な性能であるように思えます。
この方式は逆問題と呼ばれる物理量推定処理であり、現時点で数通りのアルゴリズムが存在しているので、そのうち試作してみたいと思います。
なお、推定中のデプスから推定演算に必要な法線ベクトルを演算する方法については下記のNTL方式DepthFusionのソース中にありますので、ご参考まで。
Kinect V1かV2をお持ちであれば確認することができます。
【Kinect for Windows V1用DepthFusion】
【Kinect for Windows V2用DepthFusion】
ソースをご覧になればわかりますが、これはデプス値に基づいてカメラから見た赤外線画像を推定するのと同じ処理で順方向問題と呼ばれる部分です。但し、ソースでは光源は平行光源で取り扱っていますが、この問題では点光源の扱いに変更しなければなりません。従って、Microsoft社の方式にするには、それに加えてこの演算された画像（輝度値）と実測赤外線画像が一致するように（最小二乗誤差となるように）デプス値を推定する逆問題に書き換えれば良いわけです。
|
|
【雑感】
それにしても３Ｄカメラの世界に３Ｄ－ＣＧと逆問題の知識が強く関係するようになるとは10年前には予想さえできませんでした。いよいよ面白くなってきたというところでしょうか。
|
|
