ELYZAがコード生成・補完に特化した日本語LLM「ELYZA-japanese-CodeLlama-7b」を一般公開

商業目的で利用可能、Metaのコード生成専用LLM「Code Llama」に対し日本語で追加事前学習

東京大学のAI(人工知能)研究者、松尾豊教授の研究室発のAIスタートアップ、ELYZA(イライザ)は、コード生成・補完に特化した70億パラメータの日本語LLM(大規模言語モデル)「ELYZA-japanese-CodeLlama-7b」を開発し、一般公開した、と11月15日発表した。研究、商業目的で利用できるモデルとなる。

米国Metaが開発・公開しているコード生成専用LLM「Code Llama」に対して日本語で追加事前学習を行った。ELYZAはMetaのLLM「Llama 2」がベースの70億パラメータの日本語LLM「ELYZA-japanese-Llama-2-7b」を8月に公開。今回、日本語の追加事前学習法が汎用(はんよう)的に適用できるか実験した。

ELYZA-japanese-Llama-2-7bの開発で使った日本語の追加学習メソッドが適用でき、元々のモデルが持つ能力を保持したまま日本語の能力が獲得可能なことをELYZA-japanese-CodeLlama-7bで示した。MetaのCode Llamaは、Llama 2を基にコード生成・補完に関する能力を持つように追加訓練されたモデル。

この記事が役に立ったらシェア!
メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

今日の用語

キャッシュ
一度利用したデータなどを、その後また使う場合に高速にアクセスできるような形で保存 ...→用語集へ

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]