次世代メディア処理AI「MediaGnosis^®」によるマルチモーダルWebアプリケーションを一般公開開始

https://www.rd.ntt/mediagnosis/demo/

NTT コンピュータ＆データサイエンス研究所 （NTT CD研） では、2022年 11月 16日より、次世代メディア処理AI「MediaGnosis^®」のWebサイト（https://www.rd.ntt/mediagnosis/）、およびMediaGnosis^®によるマルチモーダルWebアプリケーション（https://www.rd.ntt/mediagnosis/demo/）を一般公開いたします。

MediaGnosis^®は、音声音響処理・画像映像処理・自然言語処理などの様々な機能を、人間のようにオールインワンで統合的に扱うことができるAIであり、マルチメディア間の相互の特徴を活用した様々なアプリケーションを、1つのAIにより実現することが可能です。

今回一般公開するマルチモーダルWebアプリケーションでは、Webブラウザ経由でカメラとマイクを使い、音声と顔映像の入力から様々な情報を同時にセンシングします（※1）。このセンシング機能は、2021年にNTTが実証実験を行った「MOTESSENSE^™」で一部使われていたもので、一般公開するのは今回が初となります。複数の情報を同時に捉えるMediaGnosis^®の機能をご体感ください。

（※1） マルチモーダルWebアプリケーションの画面

【参考】

次世代メディア処理AI「MediaGnosis^®」に関するニュースリリース（2021年11月1日）
https://group.ntt/jp/newsrelease/2021/11/01/211101b.html

「魅力的な個性」の発見を助けるアプリケーション「MOTESSENSE^™」に関するニュースリリース（2021年11月15日）
https://group.ntt/jp/newsrelease/2021/11/15/211115a.html