人のジャンプ動作と物体の跳ね返りにおいて、脳で感じる「自然な見え方」が異なることを発見
～メタバース空間や映像表現におけるキャラクタの動きのリアリティ向上に期待～

発表のポイント：

本研究成果の概要

1. 背景

NTTコミュニケーション科学基礎研究所では、より迫真的に感じられるメディアコンテンツのデザイン原理の確立に向けて、メディアコンテンツに対して様々な体験印象を感じる脳のメカニズムを深く理解するための研究を推進しています。特に映画やゲームのために作成された人物の全身動作や、演技やダンスにおける全身動作は、場合によってとても不自然に見えたり、逆に人並外れた動作でも自然に見えたりすることがあります。我々人間がこのような人物の身体動作を脳内でどのように処理しているかを明らかにすることはメディアコンテンツにおける視覚体験向上のための重要な課題です。
　例えば、作品中の人物の過度に浮遊感を伴うジャンプや低いジャンプなどは、不自然なジャンプ動作だと知覚する傾向があります。ジャンプ動作は、人間にとっての基本動作の一つであると同時に、陸棲動物にとって重要な物理法則である重力に大きく影響を受ける動作でもあり、身体動作の自然さを判断する脳のメカニズムを調べるために格好の題材です。従来の知覚心理研究における、人間が重力下における物体の運動を認識するためのメカニズムとして有力な説は、近似的な物理モデルを用いて物体運動を推定するというものでした。このモデルは近似的であるために物理法則と異なる状況下での物体運動を自然であると判断してしまう場合がある（※1）ことが知られています。実際、ボールが地球よりも弱い重力下で跳ね返って見えるときに、自然な跳ね返りの印象が生じることが知られていました。人間のジャンプ動作においても同じように近似的な物理モデルが用いられているならば、弱い重力下でジャンプしているように見える動作ほどより自然に感じられると予想されます。しかし、この文脈の研究ではボールのような単純な物体の運動しか扱っておらず、人間のジャンプ動作のように複数の身体部位が協調的に動くリッチな運動（※2）については手付かずのままでした。

2. 研究の成果

本研究では、実際の人間によるジャンプ動作を様々に変調した動画を作成してその自然さを実験参加者に回答させる心理物理実験（※3）と、脳内での重力の法則を用いた計算モデルによる解析を行いました。その結果、人間は地球上の重力の法則から予想されるジャンプ軌道であれば実際と異なるように変調されたジャンプ動画であっても自然に見えると評価する傾向があることがわかりました（図2）。また、脳内での重力の法則を用いた予測を仮定した計算モデルは実験参加者の見え方の印象の結果をよく説明できることが明らかになりました。すなわち、この結果は身体動作の印象判断においても脳に内在する重力モデルが用いられていることを示唆します。

① 様々な変調ジャンプに対する人間の見え方の印象に関する実験

実際の人間のジャンプデータを利用し、そのジャンプの到達点の高さと、ジャンプしている時間長をそれぞれ独立に0.5倍から2倍まで変調した新しいジャンプ動画を作成しました（図1）。例えば高さと時間長をともに0.5倍にすると実際より低いジャンプを高速で行う動画になり、高さと時間長をともに2倍にすると実際より高いジャンプをゆっくり行う動画になります。オンライン実験において、実験参加者にこれらのジャンプ動画を観察してもらい、各動画内でのジャンプに関する「自然な見え方」を評価してもらいました。

図1　実験で用いた、高さと時間長を独立に変調したジャンプ動画の例

その結果、得られた実験参加者の見え方の印象が図2のグラフになります。興味深いことに、元のジャンプ動画（高さと時間長がともに1倍）だけでなく、高さと時間長を実際と異なるように変調されたジャンプ動画であっても自然に見えると評価されることがあることがわかりました。これらの変調されたジャンプ動画は、ジャンプ軌道が地球上の重力の法則から予測される軌道に従っています（図2の青線）。すなわち、ジャンプの高さや時間長がその人間のサイズなどからは起こりにくいものであったとしても、そのジャンプ軌道が正確な地球上の重力の法則に従っている限り自然と評価される傾向があることがわかります。一方で、単純な物体の跳ね返りにおいて自然に見えると報告された重力の法則下でジャンプする動画は、自然さが低く評価される傾向がありました（図2の黄線）。

図2　実験参加者によるジャンプ動画の自然な見え方の印象評価結果。一つのマス目が一つの動画に対応しており、そのマス目の色が白くなるほど、その動画がより自然に見えたことを表す。本結果は地球上の重力の法則に従ったジャンプ動作（青線付近のジャンプ動作）ほど自然に見えることを示している。

② 地球上の重力の法則に従ったジャンプ軌道かどうかを判断する計算モデル

人間による自然な見え方の印象評価の結果を説明するために、ジャンプ軌道が地球上の重力の法則に従っているかどうかを計算するモデル（※4）を考案しました。このモデルは、観察者の脳内処理に3つの仮定を置いています。（1）まず観察者はジャンプ動画から、ジャンプの初速度を計算します。（2）次にそのジャンプの初速度によって地球上で生じうる重力の法則に従ったジャンプの速度の変化の仕方を予測します。（3）最後に、予測されたジャンプの速度の変化の仕方と、実際の動画内のジャンプの速度の変化の仕方を比較して、それらの間の誤差がどれくらい小さいかを判断します。誤差が小さければ小さいほど自然なジャンプと判断されます。
　この計算モデルを用いて各ジャンプ動画における速度変化の誤差を計算した結果と、実際の実験参加者による自然な見え方の印象評価の結果（図2）の関係は、図3左のようになりました。図で示すように、計算モデルによる誤差量が少ないジャンプ動画ほど自然な見え方になる傾向を示し、両者の相関係数は-0.89と強い相関を示しており、このことは計算モデルの計算結果と実験参加者が感じる見え方の自然さの間に強い関係性があることを意味します。また計算モデルで用いる重力加速度の値を、地球上の重力加速度ではなく、より小さい値からより大きい値まで様々な重力加速度の値を用いながら相関係数を計算したところ、地球上の重力加速度とほぼ一致する値の重力加速度を用いたときに最も相関が強くなりました（図3右）。これらの結果は、単純な物体の運動の認識とそれを説明するための近似的モデルとは異なり、人間の身体動作の認識においては、正確な地球上の重力の法則のモデルを用いて、その見た目の自然さを判断していることを示唆します。

図3　（左）計算モデルによる地球上の重力の法則から予測されるジャンプとの誤差と、実験参加者による自然な見え方の印象評価の間には高い相関がある。（右）計算モデルにおいて地球上の重力加速度値を用いたときに、実験参加者による自然さ評価との相関が最も高くなる。

3. 今後の展開

本研究の成果は、人間が外界物体の動きの自然さを判断するために、それぞれの物体に応じた自然さのモデルを持っていることを示唆します。今後は動物など、単純な物体と人間の間に位置づけられる外界物体の動作に対する印象を調べることで、外界物体に応じたモデルが存在するメカニズムを明らかにしていきます。この知見は、人間の身体動作の印象判断のメカニズム解明を飛躍的に前進させるだけでなく、メタバース空間や映像表現におけるキャラクタの動きのリアリティ向上に必要な要素を解明することにもつながります。

【論文情報】

雑誌名：Proceedings of the Royal Society B: Biological Sciences
題名：Computational account for the naturalness perception of others' jumping motion based on a vertical projectile motion model
著者：Takumi Yokosaka, Yusuke Ujitoko and Takahiro Kawabe
DOI：https://doi.org/10.1098/rspb.2024.1490
URL：https://royalsocietypublishing.org/doi/10.1098/rspb.2024.1490

【用語解説】

^※1このモデルは近似的であるために物体運動を誤って推定する場合がある
ここでの近似的なモデルは、実世界における物理運動法則が過度に一般化されて表現されたモデル［Vicovaro, 2023］と言える。このモデルは、日常生活で遭遇する物理現象の多くを説明でき、かつ人間の脳にとって計算負荷が小さいなどの長所がある一方で、単純化しているがゆえに物体運動をうまく説明できない場面も存在するという欠点がある。

^※2複数の身体部位が協調的に動くリッチな運動
図1のような身体の主要関節位置のモーションキャプチャデータ。本研究ではカーネギーメロン大学のモーションキャプチャデータベース（http://mocap.cs.cmu.edu/）のデータを利用している。

^※3心理物理実験
物理量が統制された刺激（本研究では、ジャンプの高さとジャンプにかかる時間長がコントロールされた動画群）を提示した時に実験参加者の応答（本研究では、実験参加者によるジャンプの自然さ印象の評定）がどのように変化するかを測定することで、それらの間に存在する人間の情報処理の仕組みを調べることを目的とした実験。

^※4ジャンプ軌道が地球上の重力の法則に従っているかどうかを計算するモデル
このモデルは次の式で表現できる。

ここで、vは観察した実際のジャンプの速度軌道、v_predictが地球上での重力法則から予測されたジャンプの速度軌道であり、全時間（すなわちN個の時点）にわたってvとv_predictの間の誤差が小さいほどRMS_vel（速度軌道の二乗平均平方根）が小さくなる。この誤差RMS_velが小さいほど、観察したジャンプの速度軌道は地球上の重力法則に従っていると言える。