自動運転車の開発に取り組むTuring
（ チューリング ）は6月13日、ML（ 機械学習 ／ Machine Learning ）実験管理プラットフォームを提供するWeights & Biases Japan（ W&B Japan ／ ウェイツ・アンド・バイアスィズ・ジャパン ）が同日公開したVision-Languageモデル（ VLM ／ 視覚と自然言語の融合研究モデル ）評価のためのリーダーボード「Heron VLMリーダーボード」に技術提供を行った。
同日の公開時点では、15を超えるVLMでHeron-Bench（ 日本語VLMのベンチマーク ）を含む日本語VLM評価による比較が可能になっているとした。
Turingが公開している日本語Vision & Languageの評価ベンチマーク、「Heron-Bench」がWeights & Biasesの公開リーダーボードに採用されました！
GPT-4を含めて15以上のV&Lモデルの日本語性能がひと目でわかり、自分のモデルを公開/非公開で評価することも可能ですhttps://t.co/7CvXfNpyef pic.twitter.com/YQNcpcDvXY
— Yu Yamaguchi | Turing Inc. (@ymg_aq) June 13, 2024
「Heron VLMリーダーボード」概要は以下の通り
当該リーダーボードは、完全自動運転の実現に向けたマルチモーダル生成AI「Heron」を開発するチューリングと国内最大級のLLMリーダーボード「Nejumi LLMリーダーボード」を運営するW&B Japanの知見を組み合わせて開発された。
チューリング独自開発の日本語VLM性能評価ベンチマーク「Heron Bench 」及びVLMの評価のために世界で広く使われている「LLaVA Bench (In-the-Wild) 」を組み合わせた総合評価により、現実世界に即した複雑な画像を用いた評価だけでなく、日本の文化的文脈に根差した評価を可能にしているという。
インタラクティブにモデル評価結果を分析
Heron VLMリーダーボードは、Weights & Biases プラットフォームの実験管理機能を活用することで評価の再現性とトレーサビリティを担保している他、よりインタラクティブに評価結果を表示し、その場で分析することが可能としている。
それは平均スコアをランキング表示するだけでなく、それぞれのモデルがどのような特徴を有しているのかを捉えることができるよう設計されており、各評価軸に於ける性能を複数のモデル間で比較するレーダーチャートや、一つひとつの評価タスクに於ける入出力を可視化するテーブルなどが含まれていると結んでいる。
「Heron Bench」とは
チューリングが独自開発した日本語VLMの性能を評価するための汎用的なベンチマーク。Conversation、Detail、Complexの3つのカテゴリーを設定した日本特有の画像と質問のペアデータセットで構成されており、日本語VLMの性能を詳細に分析することが可能となっている。
URL：https://huggingface.co/datasets/turing-motors/Japanese-Heron-Bench
上記のようにチューリングは、大規模言語モデル（LLM）に視覚を持たせたマルチモーダルモデルを構築中で、例えば画像と質問を入力すると、AIが画像の状況を判断して回答する。
Turingで開発している生成AIのheron。道路の走行データ収集だけでは絶対に取れないような、豚さんが高速道路に沢山いる状況でもその状態を正しく理解しています。嬉しい。将来的にheronで完全自動運転を実現するぞ！！
私「現在の状況からどのように運転するべきでしょうか？」… pic.twitter.com/lpiP4nnNz6
— 山本一成🌤️チューリングのCEO (@issei_y) March 8, 2024
完全自動運転を目指すための日本語VLMでは、上記事例のようにロングテールのあらゆるエッジケースに対して適切に判断できることが求められる。従って、これを実現するために、運転の知識に加えて一般常識と言われるような知識を上手く組み込むことで対応できる可能性について語られるようになっているようだ。
チューリングとは
完全自動運転車両の開発に取り組むスタートアップ。カメラから取得したデータのみでステアリング、ブレーキ、アクセルなど、運転に必要なすべての判断をAIが行うE2E (End-to-End) の自動運転AIを開発している。
高度な自動運転を実現する「生成AI」、AIを車載で動かす「半導体」、車両とAIを一体化させる「自動運転システム」の3軸の開発を同時に進めることで、2030年までに完全自動運転を実現することを目指すとしている。
会社概要
会社名：Turing株式会社
所在地：東京都品川区大崎1丁目11−2 ゲートシティ大崎 イーストタワー4階
代表者：代表取締役 山本一成
設立：2021年8月
事業内容：完全自動運転EVの開発・製造
URL：https://tur.ing/