事前学習とは？じぜんがくしゅう

背景

ディープラーニングは層を深くするほど大量のデータと計算資源を要求するが、個々の現場が集められるデータはたいてい少ない。一方で、画像の輪郭や言葉のつながり方といった基礎的な特徴は、用途が変わっても共通している。そこで共通する部分だけを大規模なデータで一度学ばせて使い回し、各現場は差分だけを学ばせればよいように工程を二段に分けた。

具体例

大規模言語モデルは、まずWeb上の膨大な文章で次に来る語を当てる事前学習を行い、その後に対話向けの調整を加えて公開される。画像処理でも、ImageNetで事前学習したモデルを土台にして、自社の検査画像で仕上げる作り方が一般的である。

試験での引っ掛け

転移学習との混同が起きやすい。事前学習は汎用の土台を作る前段を指し、転移学習はその土台を別の課題に使い回すことを指す。また事前学習に使ったデータに偏りがあると、その偏りは仕上げの段階を経ても残る点に注意する。

関連用語

• 転移学習
• 基盤モデル
• 大規模言語モデル（LLM）
• ディープラーニング

出た過去問

• 出典：令和7年度 公開問題 基本情報技術者試験 科目A 問1（IPA）

  大規模言語モデルを用いた自然言語処理において，事前学習済みのモデルに対して行う，ファインチューニングに関する記述として，最も適切なものはどれか。

  正解：特定のデータを用いて追加で学習を行い，目的とするタスクに適用できるようにする。

  要点：ファインチューニングは少量データでタスクに適応させる

  ファインチューニングは、大量の汎用データで作られた事前学習済みモデルに対し、目的とする用途に合わせた比較的少量のデータで追加学習を行う手法である。ゼロから学習し直すより少ない計算資源で、特定タスクの精度を高められる点が利点になる。事前学習そのものや強化学習とは段階も目的も異なる。

  この問題の解説ページを見る →