裸眼では2D映像がクリアに見える3D映像生成技術を開発

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：鵜浦博夫、以下　NTT）は、3Dメガネをかけない視聴者には2D映像がクリアに見え、メガネをかけた視聴者には3D映像が見えるというステレオ映像の生成技術を開発しました。

この技術は、人間の知覚の仕組みを利用して、2D画像内に3D画像情報を隠して埋め込みます。これまでの3D表示ではメガネ無しで見ると画質が低下するという本質的な問題がありました。本技術は、既存の3D表示装置をそのまま用いつつ、メガネ無しで見ても画質が低下しないという、世界初の技術です。この技術により、一つの表示コンテンツに対して、その場にいる視聴者1人1人が楽しみ方を自由に選択できるという「人にやさしい3D表示」が実現できます。

研究の背景

一般的なステレオ画像では、少しだけ離れた視点から撮影した2つの画像を左右の眼に別々に提示します。2つの視点から見たときの画像間の差異（視差）に基づいて、視聴者は画像内の奥行き（3D情報）を知覚します。こうしたステレオ画像は、2D表示との互換性がありません。専用の3Dメガネをかけずに見ると左目用と右目用の画像同士が重なり合ってぼけてしまうため、画質が大きく低下します。そのため、視聴者は2D映像を楽しむか3D映像を楽しむかによって、表示方法を選択する必要があります。もし、複数の視聴者の中に一人でも3Dを楽しめない人が含まれていれば、3D表示の選択は避けるべきです。また、3D映像視聴の途中で疲れてしまっても、自分だけ2Dに切り替えることはできません。

研究の成果

NTTコミュニケーション科学基礎研究所では、この度、人間が奥行きを知覚する際に働く視覚メカニズムの科学的知見を応用して、2次元表示との完全互換性をもったステレオ画像生成技術を開発しました。

提案技術では、両眼のちょうど中間の視点から見た時の2D画像に対し、人間に奥行き情報を与える働きをする視差誘導パターンを加算／減算することで左目用／右目用画像を生成します（図1）。左右画像同士を足し算すると視差誘導パターンが打ち消されて完全に元の画像に戻るため、3Dメガネをかけない視聴者はクリアな2D画像を見ることができます（図2）。一方、メガネをかけた視聴者には、視差誘導パターンの効果でその画像に奥行きがついているように見えます。

この方法で生成されるステレオ画像は、既存の3D提示装置を使って表示できます。左右の眼に表示する二枚の画像は、厳密にはそれぞれの眼から見た画像とは異なりますが、再現できる視差の制限内であれば、従来法とほとんど区別できない3D画像として人間には知覚されます。

2次元表示との互換性をもった3D表示技術は過去にもいくつか例がありますが、メガネをかけず見た場合に画像劣化がなく、一般的な3Dメガネ以外の特別な装置を用いずに提示することができる手法は世界で初めてです。

図1　提案技術によるステレオ画像生成の流れ

図2　3Dメガネをかけずに見た時の画質比較

技術のポイント

ステレオ視は、左目と右目の視点の違いが生み出す網膜像の微妙なずれ（視差）を、人間の脳が奥行きとして解釈した結果です。提案技術では、この視差を持つ左右像を、一枚の映像に視差誘導パターンを足したり引いたりすることで近似的に作り出します。ここでは、位相の異なる2つの正弦波を足し合わせると、その中間の位相の正弦波になるという単振動合成の性質を応用しています。

具体的には、元画像の明暗の空間的な変化を1/4周期分ずらしたパターン（90度位相シフトパターン）を加算することで位置をずらし、左目用画像を生成します（図3）。同様に、反対方向に1/4周期分ずらしたパターン（－90度位相シフトパターン）を加算することで右目用画像を生成します。こうしてできた左右画像間の位置ずれの差が、両眼立体視に必要な視差に対応します。さらに、足し合わせるパターンの重みを操作することで位置ずれ量を変えることができるため、所望の視差を再現することもできます。左右画像を足し合わせて合成すると、位相シフトパターンのみが相殺されるため、元画像に戻ります。実画像に適用したり、既存のステレオ画像を変換したりする際は、入力画像を複数の空間周波数帯に分解した上で同様の処理を行います。これは、シフトさせる位相量を空間周波数によって変える必要があるためです。

このように位相をずらすことで生み出された左右画像は、実際に視点を左右にずらしたときの左右画像と必ずしも一致しません。しかし、人の視覚系は左右画像間の位相差を両眼視差として検出するメカニズムを備えているため、提案技術により生成されたステレオ画像を見ても、物理的に正しい本当のステレオ画像と区別することはできず、自然な奥行きを知覚します。

図3　提案手法で視差を生み出す仕組み

従来手法との比較

3Dメガネをかけた視聴者とかけない視聴者が同時に映像を楽しめるような従来技術としては、イメージキャンセレーションによる方法と視差圧縮による方法が提案されてきました。イメージキャンセレーション法では、左右画像のうち一方の画像をコントラスト反転した画像で打ち消すことで、メガネをかけない視聴者に他方の画像だけを見せることができます。しかし、画像を完全に打ち消すために、元画像のコントラストを大きく圧縮する必要があるほか、特殊な3Dメガネや提示装置を使うため、現在普及している3DTVなどと互換性がありません。一方、視差圧縮法は左右画像間の視差を可能な限り小さく圧縮することで、メガネをかけずにみたときの画像のボケを最小限に抑えます。この手法ではこれまでの3DTVと互換性はありますが、画像劣化を完全になくすことはできません。

これに対し提案技術は、現在普及している3DTVがそのまま利用できる上、メガネ無しで見る2D画像の劣化をほぼ完全に無くすことができます。また、一方の画像全体を打ち消すのではなく、視差誘導パターンのみが打ち消せればよいため、元画像のコントラストの圧縮は必須ではありません。

表1　従来手法との比較

今後の展開

提案技術を使うと、映画館などで大勢の人が同時に2Dと3Dの映像を楽しむことができます。既存の3Dコンテンツを本技術の方式に変換することも可能です。しかし、本技術の実用化に向けてうまく対処する必要のある問題も残されています。提案技術は従来のステレオ画像に比べて、3Dメガネで見たときに再現できる奥行き量（視差）に制限があり、大きな奥行きを再現しようとすると、正しく再現できないだけで無く、画質の低下（ぎらつき）が生じます。画像変換アルゴリズムのハードウェア化や、画像圧縮技術への応用なども今後の検討課題です。

また、提案技術は、いままでの3D表示とは少し違った使い方ができます。たとえば、パソコン画面や操作モニターなどに利用すると、普段はメガネなしで2D映像として作業し、2Dだけでは見分けにくい部分を見るときに、老眼鏡を使う感覚で3Dメガネを使う、といった使い方が考えられます。このような使い方では、奥行きの限界はそれほど問題になりません。また、3Dプロジェクタで視差誘導パターンだけを投影すれば、メガネをかけないときにはまったく気づかれず、メガネをかけたときだけ奥行きがつくような提示ができます。美術館などで、オリジナルの2D作品と、奥行きをつけた改変版を同時に展示するようなことも可能です。

対外発表予定

T. Fukiage, T. Kawabe, S. Nishida, "Hiding of phase-based stereo disparity for ghost-free viewing without glasses," To appear in: ACM Transactions on Graphics 36(4) (Proc. SIGGRAPH 2017, Los Angeles, USA).

この研究はJSPS科学研究費補助金新学術領域研究「多様な質感認識の科学的解明と革新的質感技術の創出（15H05914、研究代表者：西田眞也）」の計画研究「信号変調に基づく視聴触覚の質感認識機構（15H05915、研究代表者：西田眞也）」 の支援を受けて行われました。