世界で初めて、写真や絵に動きを与える不思議な照明『変幻灯』を開発

研究の背景

「壁に掛かった風景画が風にそよぎ、肖像画が喋り出す。そんなはずは・・・。」
　我々研究者は、そのような非現実的な状況を作り出すことはできないか、考えてまいりました。

身近な事物に新しい印象を与える手法としては、プロジェクタを使って対象に映像を投影する、いわゆる「プロジェクションマッピング」が有効です。プロジェクションマッピングでは、対象の表面をキャンバスとして美しい映像を映し出すことでさまざまな視覚効果を生み出すことができますが、従来技術では止まった対象自体が動いているという印象を与えることはできませんでした。というのは、対象が本来持っている風合いや色合いを打ち消してその上に動画を表示する技術だからです。また、従来法は物理的に正しい映像を表示することをめざしたものであり、止まった対象に動きだけを与えることは理論的に困難でした。

今回、NTTコミュニケーション科学基礎研究所では、長年取り組んできた人間の感覚情報処理の研究にもとづき、人間が自然な動きを知覚する際に働く視覚メカニズムの科学的知見を応用して、印刷物などの止まった対象に様々な動きの印象を与えることのできる技術「変幻灯」を開発しました。

「変幻灯」では、人間の錯覚を利用して、静止画に動画のような動き印象を与えることができます。炎のゆらめきや、風の印象、人物が生きているような動きなどを絵画や写真に加えることができます。また、視点の制限はあるものの、3次元物体に対して動き印象を与えることにも成功しました。

今後の展開

静止対象へ変幻灯を適用することで、情報表現の幅が広がるとともに、静止対象の注目度が向上します。
　このように変幻灯は新しい情報表現のかたちを提供し、多くの分野で活用できると考えています。

（1）広告への応用

光投影によって紙媒体に動き印象を加えることで、広告が伝えたいメッセージを強調することができます。

（2）インテリアへの応用

床、壁などのインテリアの模様を変幻灯で錯覚的に変形させることによって、そこに液体が流れているように見せたり、熱気を演出したりすることができます。

（3）芸術・エンターテインメント分野への応用

例えば、キャラクタのイラストに変幻灯を適用することで、キャラクタに動きを与え、愛らしさや驚きを付け加えることができます。さらには、止まった対象に動きを与えることには長けている変幻灯と、対象の色や肌理の見え方を変えることを得意とする従来のプロジェクションマッピング技術との融合を融合させることで、より豊かな映像表現が可能になります。

変幻灯によって実現できる世界

変幻灯は、写真、絵画、壁紙などの静止対象にリアルな動きを与えることができます。その視覚体験は、これまで人間が経験したことのない新奇なものです。止まっていると思っていた絵画や写真が、変幻灯に照らされることで突然ゆれたり、しゃべったりします。

以下のURLにて、本技術を撮影した動画をご覧頂けます。※リンク先は外部サイトとなります。
【動画】　https://www.youtube.com/watch?v=wIHzWJm5398

具体的な事例

<1>印刷した炎が揺らめく。風景画が風に揺れる。写真の人物の表情を変える、しゃべる。

コンピュータの中で静止対象が動く映像を作成し、そこからモノクロの動き情報を取り出したものを投影します（図1）。

→（関連動画）写真や絵画を揺らす（炎）（風）（水）
→（関連動画）動く肖像画・動くポートレイト写真（1）（2）

図1　錯覚で静止画を揺らす変幻灯の仕組み

<2>立体を揺らす。

3次元対象を揺らす場合には、透過型ディスプレイを用いるのが効果的です。透過型ディスプレイにモノクロの動きパタンを表示し、3次元対象と動きパタンとが重なる点から見ると、対象がゆれているように見えます（図2）。

→（関連動画）立体を揺らす

図2　透過型ディスプレイを用いて3次元対象を揺らす変幻灯の仕組み

技術のポイント

変幻灯は、投影によってモノクロの動きのパタンだけを静止画に加えます。静止画に含まれている色や形はそのまま見えています。画像としては正しく動画になっていませんが、それを見た人間の脳は、まるで正しい動画であるように知覚します。

理由

普通の映像を見るとき、脳は映像中の色、形、動きを個別に処理し、後でそれらを巧く統合して一つの世界を見ています。変幻灯を体験するとき、ユーザは色や形は止まった対象から取得し、動きは投影されたモノクロの映像から取得します。色や形は止まっているので、動きと空間的に「ずれ」が生じます。しかし、辻褄の合ったようにものを見ようとする脳は動き、色、形を統合する際に、その「ずれ」を補正します。そのため、変幻灯を体験する際には、ユーザは動き、形、色のずれに気づかずに、あたかも止まった対象の色や形が動いているように感じます。これらは、NTTコミュニケーション科学基礎研究所が長年研究を進めてきた人間の動きや質感の知覚特性を踏まえた成果です。

図3　変幻灯が効果を生み出す仕組み。変幻灯では、静止対象に動き情報を投影します。脳は、投影された動き情報と静止対象の色・形情報を統合し、静止対象自体が動いているように錯覚します。

従来のプロジェクションマッピングとの比較

従来の代表的なプロジェクションマッピング技術（シェーダーランプとして知られています）では、対象面に新たな映像を映し出すので、多くの場合対象面の模様は見えなくなりますが、変幻灯では、対象の模様を活かし、その模様を動かす工夫をしています。また、一般的にプロジェクションマッピングは暗い場所で行うことが多いですが、変幻灯はむしろ明るい場所で、投影対象が自然に見える状況で実行することを想定した技術です。また、投影される映像に関しても、3次元対象にうまく投影することを目的にしたプロジェクションマッピングにおいてはCGを駆使して入念に製作する必要がありますが、脳の特性をうまく利用して二次元対象で大きな効果を持つ変幻灯においては、簡単な画像処理で投影映像を製作することができます。このように、変幻灯は従来のプロジェクションマッピングとは異なる新たな視覚体験を、簡便な方法で生み出すことができる技術なのです。（表1）

（表1）プロジェクションマッピングとの比較

（参考）
変幻灯は、2015年2月19日～20日に開催するNTT R&Dフォーラム2015においても、ご体感いただけます。
「NTT R&Dフォーラム2015」サイトhttp://labevent.ecl.ntt.co.jp/forum2015/info/