超高臨場感通信技術「Kirari!」の研究開発が進展 ～中継先の擬似3D表示における奥行き知覚手法を開発～

1．研究開発成果について

超高臨場感通信技術「Kirari!」は、人や空間を、離れた場所に超高臨場かつリアルタイムで再現する通信技術です。これまでに、中継元で撮影した映像から選手などの注目する被写体を抽出して伝送、中継先において擬似3D^※2で表示することで、被写体がまるでそこにいるかのような体験が可能であることを実証してきました。
　今回、中継元の被写体の映像と3次元位置情報を処理・伝送すると共に、中継先の擬似3D表示において被写体の奥行き方向の動きを知覚させる手法を開発しました。これにより、中継先において被写体が3次元的に動いているような視聴体験を実現しました。

2．技術のポイント

<1>3次元実空間映像定位技術の開発

擬似3D表示では被写体の2次元映像を空間に立体的に浮かび上がったように表示できますが、奥行き方向の表示位置は固定であり、被写体を奥行き方向に動かして表示することができません。そこで、絵画の遠近法を参考に、中継先の擬似3D表示において、被写体映像の表示位置と大きさを中継元の被写体の3次元位置情報を用いリアルタイムに調整することで、被写体が任意の3次元の位置に定位するように知覚させる手法を開発しました。
　中継元の被写体の3次元位置情報をレーザー光を用いた奥行センサにより取得し、さらに被写体を撮影するカメラの位置と傾きをもとに3次元位置情報をリアルタイムで補正（キャリブレーション）し中継先に伝送、複数の視点で被写体が3次元の位置に定位して知覚できるようになりました。

<2>リアルタイム被写体抽出技術の向上

擬似3D表示により被写体が空間に立体的に浮かび上がって見えるように表示するためには、映像中の被写体を背景と分離して抽出する必要があります。従来のリアルタイム被写体抽出技術^※3では、背景の一部に被写体と同じ色の部分があった場合に、被写体を背景であると誤認識し抽出できないことがありました。そこで、機械学習により、色とは異なる情報として被写体の形状を学習させることで、背景の一部に被写体と同じ色がある場合にも抽出できるようにしました（図2）。