アイシンは３月２日、Ｈａｒｍｏｎｉｚｅｄ Ｉｎｔｅｒａｃｔｉｏｎｓ、ＧａｒａｔｅａＣｉｒｃｕｓ、Ｉｄｅｉｎ、豊橋技術科学大学等と協業し、マルチモーダルエージェントを開発したと発表した。
今回開発したシステムは、将来的に普及が見込まれる自動運転バス車内を想定しており、カメラ画像認識技術（ドライバーモニターシステム、車室内監視システム）を活用して乗客の顔や体の動きを検知することに加え、ＡＩを用いて検知した画像・音声、蓄積されたデータなどを統合的（マルチモーダル）に解析し、乗客の状況や意図を判断する。
この判断を、乗客の転倒防止や忘れ物警告といった”車室内の見守り”機能に活用するだけでなく、３ＤＣＧアーティスト「ＴＥＬＹＵＫＡ（テルユカ）」が制作するＣＧキャラクター「Ｓａｙａ」と融合して、リアルタイムに乗客の状況や意図に応じた対話を行う。
今後は自動運転バス車内のみならず、街や社会全体をさらに住みやすく、快適にするための様々な分野への展開をめざすという。
アイシンは、マルチモーダルエージェントは、ＭａａＳなど新たな”移動”のかたちが求められる社会の中で、「人々の一歩先の期待」や「新しい価値観」に着目し、これまで培ってきた技術の応用と、産学およびパートナーとの連携によって多角的な視点から開発を行うことで実現したイノベーションだとしている。
– 参考映像