グーグルのクラウドを支えるテクノロジー > 第54回 ハイパーパラメーターチューニングの新手法(パート2)

※この記事は読者によって投稿されたユーザー投稿のため、編集部の見解や意向と異なる場合があります。また、編集部はこの内容について正確性を保証できません。

CTC教育サービスはコラム「グーグルのクラウドを支えるテクノロジー > 第54回 ハイパーパラメーターチューニングの新手法(パート2)」を公開しました。

###

はじめに
 前回に引き続き、2018年に公開された論文「Population Based Training as a Service」、および、それに関連する2017年の論文「Population Based Training of Neural Networks」を紹介します。今回は、2つ目の論文で提案された、新しいハイパーパラメーターチューニングの手法である「Population Based Training」の基本的な手続きを説明します。
既存のハイパーパラメーターチューニングの課題
 新しい手法を説明する前に、まずは、既存の手法の課題を整理しておきます。まず1つは、前回も触れたように、チューニングに長い時間を要するという問題です。ハイパーパラメーターに値を設定して学習処理を実施した後に、その評価結果を見て、次に試すべき値を推定するという作業を繰り返すので、学習処理を何度も繰り返す必要があります。
 もう1つの課題は、学習処理中のハイパーパラメーターの動的な変更です。たとえば、学習率の値は、学習処理の進行にあわせて変化させることで、パラメーター(モデルに含まれるウェイトの値)が効率的に最適化できることが知られています。同じことは、学習率以外のハイパーパラメーターにもあてはまります。しかしながら、学習中の変化まで含めると、ハイパーパラメーターの値の組み合わせは膨大なものとなり、学習を繰り返しながら最適値を探していくという手法そのものが困難になります。

この続きは以下をご覧ください
https://www.school.ctc-g.co.jp/columns/nakai2/nakai254.html

この記事が役に立ったらシェア!
みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやデジタルマーケの最新情報をゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く
みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやデジタルマーケの最新情報をゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く

Web業界の転職情報

もっと見る
Sponsored by

今日の用語

SEO
検索エンジンからサイトに訪れる人を増やすことで、Webサイトの成果を向上させる施 ...→用語集へ

連載/特集コーナーから探す

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]