チューリング、日本語対応のマルチモーダル学習ライブラリ「Heron（ヘロン）」公開。高度な自動運転実現に向け
同社は、完全自動運転車両の開発・販売に取り組んでおり、「完全自動運転の実現には人間と同等以上にこの世界を理解した自動運転AIが必要」という考えから、大規模言語モデル（LLM）を含むマルチモーダルモデルの開発を進めている。
LLMは、大量のテキストデータから学習し、人間のような自然な文章を生成したり、質問に答えたりすることができるAIモデルで、大量のテキストデータを学習に用いることで、広範な知識の獲得や人間のような応答が可能になる。一方で、一般的にその入力と出力はテキストに限定されるため、画像など視覚情報を用いたタスクには直接適用できないという課題がある。
この課題に対応するために、画像と言語など複数の形態を入力情報として扱える「マルチモーダル」のモデルが必要になる。
今回公開したマルチモーダルモデルは、画像認識用に事前学習された「画像エンコーダ」部分と「大規模言語モデル」部分、およびその間をつなぐ「アダプタ」部分から構成される。アダプタ部分を学習した後、画像エンコーダおよび大規模言語モデルも追加学習することで、全体として画像に何が写っているかを正確に把握しつつ、豊富な言語モデルの知識を利用して回答できる。
画像認識モデルと大規模言語モデルを接続し、各モジュールを追加学習するための学習コード、日本語を含むデータセット、および学習済みのモデル群から構成。
対話を含むデータセットを用いることにより、自然かつ適切な対話ができるのが最大の特長。これまでのマルチモーダルモデルでは単純な回答しかできなかった複合的な画像-言語タスクにおいて、より詳細で自然な文章生成が可能となり、前の質問を含む文脈を理解して応答できる。
学習用ライブラリは、学習する大規模言語モデルを自由に変換可能。既存の言語モデルの性能を生かしつつ、今後開発・公開される新たな大規模言語モデルに対しても容易に対応できる。
本格的にマルチモーダルモデルを学習するために系統的に学習できるように工夫されており、ソースコード部分については研究・商用利用が可能なApache License 2.0で公開した。
注釈テキストやQ&Aからなる約15万枚の画像/テキストの英文データセットに対し、独自に日本語に翻訳した大規模な日本語の画像/テキスト情報のデータセットを作成し、公開した。対話形式のマルチモーダル学習向けの大規模な日本語データセットの公開は、世界で初めてとなるとしている。
同社は、今回公開したマルチモーダルモデルの学習技術と知見を生かし、完全自動運転に向けた開発を進めていく。
