ELYZAがコード生成・補完に特化した日本語LLM「ELYZA-japanese-CodeLlama-7b」を一般公開

東京大学のAI(人工知能)研究者、松尾豊教授の研究室発のAIスタートアップ、ELYZA(イライザ)は、コード生成・補完に特化した70億パラメータの日本語LLM(大規模言語モデル)「ELYZA-japanese-CodeLlama-7b」を開発し、一般公開した、と11月15日発表した。研究、商業目的で利用できるモデルとなる。

米国Metaが開発・公開しているコード生成専用LLM「Code Llama」に対して日本語で追加事前学習を行った。ELYZAはMetaのLLM「Llama 2」がベースの70億パラメータの日本語LLM「ELYZA-japanese-Llama-2-7b」を8月に公開。今回、日本語の追加事前学習法が汎用(はんよう)的に適用できるか実験した。

ELYZA-japanese-Llama-2-7bの開発で使った日本語の追加学習メソッドが適用でき、元々のモデルが持つ能力を保持したまま日本語の能力が獲得可能なことをELYZA-japanese-CodeLlama-7bで示した。MetaのCode Llamaは、Llama 2を基にコード生成・補完に関する能力を持つように追加訓練されたモデル。