チューリング、「Heron VLMリーダーボード」に技術提供。Vision & Languageモデル評価に貢献

「Heron VLMリーダーボード」は、チューリングが独自開発した日本語VLM性能評価ベンチマーク「Heron Bench」と、VLM評価のために世界で使用されている「LLaVA Bench（In-the-Wild）」を組み合わせた日本語評価リーダーボード。

Weights & Biases プラットフォームの実験管理機能を活用することで評価の再現性とトレーサビリティを担保しているほか、その場で分析することもできる。平均スコアのランキング表示や、各モデルがどのような特徴を有しているのかを捉えられるよう設計されており、各評価軸における性能を複数のモデル間で比較するレーダーチャートや、一つひとつの評価タスクにおける入出力を可視化するテーブルなどが含まれる。

公開時点では、15を超えるVLMでHeron-Benchを含む日本語VLM評価による比較が可能。同社は、高度な自動運転を実現する「生成AI」、AIを車載で動かす「半導体」、車両とAIを一体化させる「自動運転システム」の3軸の開発を同時に進めることで、2030年までに完全自動運転実現を目指す。