分身ロボット「OriHime-D」を活用したナチュラルな遠隔操作を実現する通信制御技術の実証
～体が不自由な方や外出困難な方の雇用と活躍の場を拡大へ～

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：澤田　純、以下「NTT」）は、株式会社オリィ研究所（以下、オリィ研究所）がオープンした「分身ロボットカフェDAWN ver.β^*1」常設実験店で活用されている分身ロボット「OriHime-D^*2」において、ロボットの状況や特性に応じて映像通信の送信タイミングを動的に制御することにより、IOWNのネットワークリソースを効率的に利用しながら複数の映像通信を待ち合わせなく光伝送することを可能にする通信制御技術を用いて、操作者がタイムラグを感じない低遅延な遠隔ロボット操作を実現しました。実証実験では、NTTクラルティ株式会社（以下、NTTクラルティ）の協力のもと、障がいのある方がロボットを操作するパイロットとなって分身ロボットカフェのサービススタッフ業務を行い、従来は困難であった狭隘な通路のスムーズな移動とストレスフリーな操作が可能であることを確認しました。本実証実験結果により、OriHime-Dをはじめとするアバターロボットの適用領域を拡大できるようになり、障がいや病気などの理由で外出困難な人々の雇用と活躍の場のさらなる促進が期待されます。

1. 背景

NTTは、IOWN構想の実現に向けて、オリィ研究所が2021年6月21日にオープンした、難病や重度の障がいで外出困難な方が分身ロボットを操作して接客を行う分身ロボットカフェDAWN ver.β常設実験店に協賛し、共同実証実験を行っています。^*3
　分身ロボットカフェDAWN ver.βでは、遠隔地にいる操作者（パイロット）が移動・動作する分身ロボットOriHime-Dを介してドリンク等の提供を行うサービススタッフとして働いており、障がいや病気などの理由で外出困難な人々の新しい働き方の形が具現化されています。このような営みを拡大し、誰もが社会参加できる未来を実現するためには、人々の社会参加を妨げている課題をテクノロジーによって克服し、OriHime-Dをはじめとするアバターロボットが活躍できる場面や環境をさらに広げていくことが重要です。

2. 取り組み概要

2.1 ナチュラルな遠隔操作を実現する通信制御技術

OriHime-Dをはじめとした人間が操作するアバターロボットでは、会話や接客のようなコミュニケーションから、人や障害物を避けながらの移動のような柔軟かつ精密な動作まで、場所や状況に応じて様々な活動を臨機応変かつ自由に行えることが期待されています。しかしながら、従来のアバターロボットでは、搭載されたカメラが周りの状況を撮影して伝送し、パイロットが視聴するモニタに表示されるまでの映像遅延（Event-to-Eye）が大きいために、障害物を避けながらロボットを移動させるといった細かな操作が困難であること、うまくロボットを操作できないことによりパイロットがストレスを感じる等の課題がありました。
　映像遅延が大きくなる原因として、ネットワークの品質変動を吸収するための機構が挙げられます。一般的に、映像伝送におけるネットワーク構成として、アバターロボットから発生する映像通信を多重し、網内で輻輳が発生しうるベストエフォート型ネットワークを利用して遠隔地に伝送する構成が採られています。本構成の場合、通信経路上でパケットロスや遅延揺らぎが発生する可能性があることから、エンコード/デコード処理やジッタバッファ等の輻輳の影響を吸収する機構をロボットと操作アプリケーションに具備する必要があります。これらの機構で発生する処理遅延が主な原因となって、通信品質が良い場合であっても映像遅延は数100ミリ秒程度となる場合があります。（図1）

図1：映像遅延が増大する原因

本課題を解決するために、それぞれのアバターロボットの状況や特性に応じて動的に送信タイミングを制御することにより、複数の映像通信を待ち合わせなく光伝送することが可能となる通信制御技術を実現しました。（図2）
　IOWN時代では、End-Endでの低遅延伝送を光技術で構成された専用ネットワークにより実現することを検討していますが、ロボット毎に専用ネットワークを占有するのではなく、波長などの有限なネットワークリソースを効率的に使用していくことも併せて検討する必要があります。例えば、同一地点に複数のアバターロボットが存在する場合、専用ネットワークを共用するケースが考えられますが、映像通信が多重される際に待ち合わせが発生するため、その影響を低減するよう通信制御を行うことが重要です。
　そこで、操作を必要とするアバターロボットの映像通信に対しては最大待ち時間が短くなるように送信タイミングを制御し、操作が不要なアバターロボットの映像通信に対しては待ち時間の制約を緩めて送信タイミングを制御してから専用ネットワーク上に多重し、光伝送する構成を実現しました。本技術により、各映像通信に対して最適な通信品質を提供することが可能になるため、低遅延な操作が必要なアバターロボットにおいて、映像遅延の主要因であるエンコード/デコード処理の軽量化やジッタバッファの短縮が可能となります。本技術を適用したシステム構成において、アバターロボットに搭載されたカメラが周りの状況を撮影して伝送し、パイロットが視聴するモニタに表示されるまでの映像遅延（Event-to-Eye）を約20ミリ秒程度まで短縮できました。

図2：ナチュラルな遠隔操作を実現する通信制御技術の構成例

2.2 分身ロボットカフェDAWN ver.βにおけるOriHime-Dを用いた実証実験

提案技術による実際の業務に与える効果を確認するために、武蔵野研究開発センタと分身ロボットカフェDAWN ver.βの間に実証実験用のネットワークを構築するとともに、NTTクラルティの協力のもと、障がいのある方が分身ロボットOriHime-Dの操作を行い、カフェのサービススタッフ業務に従事する実験を行いました。（図3）今回の環境において、インターネットを用いて映像伝送を行うOriHime-Dと実証実験ネットワークを用いて映像伝送を行うOriHime-Dの映像遅延を比較すると、約400ミリ秒短縮できる（20分の1程度）ことを確認しました。

図3：実証実験の概要

最初に、映像遅延の短縮による分身ロボットの操作性向上効果の測定を行いました。（図4）本測定では、お客様が着席しているテーブルの間を移動するシーンを想定し、決められたルートを走行する実験を行いました。インターネット経由相当の映像遅延を模擬したOriHime-D（インターネット利用OriHime-D）では、映像遅延が大きいことにより、実際には少し前のロボットからの映像を見ながら操作することになるため、動作を連続させることが難しく、たびたび停止して状態を確認する必要があります。さらに、方向転換の際にロボットの前面を所望の方角に合わせることが難しいため、走行にも時間がかかりました。一方で、実証実験ネットワークを用いたOriHime-D（実証実験OriHime-D）では、リアルタイムにロボットの状態を把握しながら操作することが可能になることから、前進や方向転換の動作を連続して行えるため、非常にスムーズな移動が可能となりました。これにより、同じルートを半分の時間で走行できることを確認しました。

図4：映像遅延の大小による移動動作の違い

次に、インターネット利用OriHime-Dと実証実験OriHime-Dの操作感の違いについて、パイロットの方にインタビューを行いました。インタビューの結果、インターネット利用OriHime-Dでは意図した場所で止まることができず何度も操作し直さなければならないため、焦りや疲労を感じてしまうが、実証実験OriHime-Dでは思った通りに操作ができるので、操作自体にもすぐ慣れることができ使いやすかった、といった意見が得られました。
　以上より、提案技術により映像遅延を短縮することで、分身ロボットの操作性が向上し、机の間のような狭隘な通路でもスムーズな移動が可能となること、および、パイロットが操作時に感じるストレスを低減できる効果について確認しました。本結果により、今後、現在のカフェのサービススタッフ業務に加えて、人との傍で複雑な経路を共に移動しながらコミュニケーションを行うような利用シーン（例：博物館での案内やアパレルショップでの接客）等への適用が期待されます。

3．今後の展開

本実験によって、様々な場面や環境でアバターロボットが活躍できるようになる新たな可能性を見出すことができました。今後は、実証実験結果の評価をもとに、新たなユースケースでの適用性評価や研究開発を進めてまいります。

なお、本技術については2021年11月16日～19日に開催予定の「NTT R&Dフォーラム ― Road to IOWN 2021」^*4にて紹介します。

^*1*2：分身ロボットカフェDAWN ver.β、OriHime-Dについて
株式会社オリィ研究所が主宰・運営する、ALSなどの難病や重度障害で外出困難な人々が、分身ロボット「OriHime」「OriHime-D」を遠隔操作しサービススタッフとして働く実験カフェ。「OriHime-D」は、全長約120cmの分身ロボットで、遠隔操作して、接客やものを運ぶなど、身体労働を伴う業務が可能。「分身ロボットカフェ」「OriHime」は株式会社オリィ研究所の登録商標です。

^*3：共同実証実験について
分身ロボットカフェDAWN ver.βへの協賛について
～同カフェでIOWN構想実現に向けた遠隔ロボット操作の実証実験を実施～
https://group.ntt/jp/newsrelease/2021/06/17/210617a.html

^*4：NTT R&Dフォーラム ― Road to IOWN 2021
URL：http://www.rd.ntt/forum/