過学習とは？ 10分でわかりやすく解説

UnsplashのRuthson Zimmermanが撮影した写真      

機械学習モデルを開発する際に、最も注意すべき問題の1つが「過学習」です。過学習とは、モデルが学習データの特徴を過剰に学習してしまい、未知のデータに対する予測精度が低下してしまう現象を指します。本記事では、過学習の基本的な概念から、その検知方法、防止するための手法、そして適切な学習を実現するためのポイントまで、体系的に解説します。

過学習とは何か

過学習の定義

過学習は、  モデルが学習データに過剰に適合し、未知のデータに対する予測精度が低下する現象 と定義されます。つまり、モデルが学習データの特徴だけでなくノイズまで拾ってしまい、新しいデータに対して適切な予測ができなくなってしまう状態を指します。

過学習が起こるメカニズム

過学習が起こるメカニズムは、概ね次のように整理できます。

1. モデルが学習データに対して、必要以上に複雑な関数を学習してしまう
2. 本質的なパターンだけでなく、学習データ固有のノイズや偶然の揺らぎまで学習してしまう
3. その結果、未知のデータに対する予測精度が低下し、汎化性能が損なわれる

モデルの表現力が高いこと自体は悪いことではありませんが、適切な制約やデータ量が伴わないと、学習データに「合わせすぎる」ことによって過学習が発生します。

過学習の具体例

過学習の具体例としては、以下のようなケースが挙げられます。

過学習が与える悪影響

過学習が与える悪影響としては、以下のようなものがあります。

• 未知のデータに対する予測精度が低下する
• モデルの汎化性能が低下し、実運用での再現性が悪くなる
• モデルの信頼性が低下し、結果の解釈が難しくなる
• ビジネス上の意思決定を誤る可能性が高まる

 過学習が起こると、学習時の評価指標が高くても、本番環境では期待した性能が出ず、ビジネス上の意思決定を誤ってしまうリスクがあります。 そのため、過学習を防ぐためには、適切なモデル選択やハイパーパラメータの調整、正則化の適用などが重要になります。

過学習を防ぐための手法

過学習を防ぐためには、いくつかの代表的な手法があります。ここでは、特に重要な4つのアプローチについて解説します。

学習データの拡充

過学習が起こる原因の1つに、学習データの不足が挙げられます。  学習データが少ないと、モデルが限られたデータの特徴を過剰に捉えてしまい、未知のデータに対する予測精度が低下しやすくなります。 そのため、学習データを拡充することは、最も基本的で強力な過学習対策の1つです。

学習データの拡充には、以下のような方法があります。

• 新たなデータの収集とラベリング（アノテーション）
• データの水増し（Data Augmentation）
• 転移学習（Transfer Learning）の活用

データの水増しでは、既存の学習データに対して回転・反転・拡大縮小・ノイズ付加などの変換を加えることで、疑似的に学習データを増やします。画像や音声などの分野で特に有効です。転移学習では、大規模データで事前学習されたモデルを土台として利用することで、手元の学習データが少ない場合でも、過学習を抑えつつ高い精度を狙えます。

正則化の導入

正則化とは、モデルの複雑さにペナルティを与えることで、過学習を防ぐ手法です。正則化を導入することで、モデルが学習データに過剰に適合することを防ぎ、汎化性能を高めることができます。

代表的な正則化手法には、以下のようなものがあります。

これらの正則化手法を組み合わせることで、モデルの表現力を保ちながら、不要な複雑さだけを抑え込むことができます。

ハイパーパラメータの調整

ハイパーパラメータとは、モデルの構造や学習アルゴリズムの振る舞いを決める外部パラメータのことです。木の深さ、学習率、正則化係数、層の数などが代表例です。ハイパーパラメータの値によってモデルの性能は大きく変化するため、適切な設定が重要です。

ハイパーパラメータの調整には、以下のような方法があります。

• グリッドサーチ（あらかじめ決めた範囲を網羅的に探索する）
• ランダムサーチ（範囲内からランダムに値をサンプリングして探索する）
• ベイズ最適化（過去の探索結果をもとに、効率的に有望な領域を探索する）

 ハイパーパラメータの調整では、モデルの複雑さを適切にコントロールすることが重要です。 モデルが複雑すぎると過学習が起こりやすくなり、逆に単純すぎると未学習（アンダーフィッティング）が起きます。そのため、バリデーションデータや交差検証を用いて、汎化性能が最大となる設定を探すことが求められます。

アンサンブル学習の活用

アンサンブル学習とは、複数のモデルを組み合わせることで、予測精度や安定性を向上させる手法です。モデルごとの「クセ」が打ち消し合うことで、個々のモデルの過学習を緩和し、全体としての汎化性能を高める効果が期待できます。

代表的なアンサンブル学習手法には、以下のようなものがあります。

アンサンブル学習を活用することで、  個々のモデルの過学習傾向を打ち消し合い、全体としてより安定した予測性能を得ることが可能になります。 ただし、計算コストや実装の複雑さが増すため、利用目的やインフラを踏まえた設計が重要です。

過学習の検知方法

過学習を防ぐためには、「今まさに過学習が起きているかどうか」を適切に検知することが重要です。ここでは、代表的な4つの検知方法を紹介します。

ホールドアウト検証

ホールドアウト検証は、データセットを学習データと検証データ（バリデーションデータ）に分割し、学習データでモデルを学習させた後、検証データで性能を評価する方法です。  学習データでの性能と検証データでの性能に大きな差がある場合、過学習が疑われます。 

実装が簡単である一方、どのようにデータを分割するかによって結果が変わりやすいという特徴もあるため、ランダムな分割を複数回試すなどの工夫が有効です。

交差検証

交差検証（クロスバリデーション）は、データセットを複数の部分集合（フォールド）に分割し、フォールドを入れ替えながら学習と評価を繰り返す方法です。代表的な手法としては、k-分割交差検証があります。

 交差検証を行うことで、データの分割に依存しない、より安定した汎化性能の推定が可能になります。 一方で、学習を繰り返し行う必要があるため、計算コストは増大します。

学習曲線の可視化

学習曲線とは、学習データに対する性能と検証データに対する性能を、学習の進行（エポック数やデータサイズ）に応じてプロットしたグラフです。学習曲線を可視化することで、モデルの学習状況を直感的に把握できます。

例えば、次のような場合は過学習が疑われます。

• 学習データでの損失は小さく精度も高いのに、検証データでの損失が大きく精度が伸びない
• 学習を続けるにつれて、学習データでの性能は向上するが、検証データでの性能はむしろ悪化していく

学習曲線を眺めることで、学習データの量が足りているか、正則化が十分か、学習を打ち切るタイミングは適切か、といった判断材料を得ることができます。

モデルの複雑度の評価

モデルの複雑度を評価することも、過学習の検知に役立ちます。複雑度を示す指標としては、次のようなものがあります。

 モデルの複雑度が高すぎる場合、データ量や正則化の設定によっては過学習が起こりやすくなります。 一方で、複雑度が低すぎると未学習のリスクが高まります。複雑度の評価指標と、実際の検証データでの性能の両方を見ながら、バランスの取れたモデルを選択することが重要です。

適切な学習とは

機械学習モデルを構築するうえで、目指すべきゴールは「学習データだけでなく、未知のデータに対しても安定して高い予測精度を発揮できるモデル」を作ることです。つまり、  モデルが十分な汎化性能を獲得している状態 が「適切な学習」が達成された状態だといえます。

ここでは、そのために押さえておきたい重要な概念や手法を整理します。

バイアス・バリアンストレードオフ

バイアス・バリアンストレードオフとは、モデルの予測誤差を「バイアス（系統的なずれ）」と「バリアンス（予測値のばらつき）」に分解したときの、両者の関係を表す概念です。

• バイアスが高いモデル：モデルが単純すぎて、学習データにも十分フィットせず、全体的に精度が低くなる傾向（未学習・アンダーフィッティング寄り）。
• バリアンスが高いモデル：モデルが複雑すぎて、学習データにはよくフィットするものの、データのちょっとした違いで予測が大きく変わりやすい傾向（過学習寄り）。

適切な学習を実現するには、  バイアスとバリアンスのバランスを取ること が重要です。モデルの複雑さを調整したり、正則化を導入したり、データ量を増やしたりすることで、このバランスをコントロールしていきます。

汎化性能の追求

汎化性能とは、モデルが未知のデータに対してどれだけ高い予測精度を示せるか、という能力を指します。汎化性能の高いモデルは、過学習を起こしにくく、実運用に耐えうるモデルだといえます。

汎化性能を高めるためには、次のような取り組みが有効です。

• 十分な量と質を備えた学習データを確保する
• 適切な正則化手法（L1/L2、ドロップアウト、Early Stopping など）を導入する
• ハイパーパラメータの最適化を行う（交差検証を併用する）
• ホールドアウト検証や交差検証を通じて、汎化性能を継続的に評価する

これらを組み合わせることで、単に「学習データでのスコアが良いモデル」ではなく、「本番環境でも安定して使えるモデル」に近づけることができます。

ドメイン知識の活用

機械学習モデルの構築において、ドメイン知識（対象業務や業界に関する専門知識）を活用することは非常に重要です。ドメイン知識を取り入れることで、次のようなメリットが得られます。

• 意味のある特徴量の選択や設計（特徴量エンジニアリング）がしやすくなる
• 適切な前処理・外れ値処理・ラベリング方針を決めやすくなる
• モデルの結果をビジネスの文脈で解釈しやすくなる
• モデルを適用してよい範囲・してはいけない範囲を見極めやすくなる

そのためには、  機械学習のエキスパートとドメインのエキスパートが密に連携すること が大切です。両者が協力することで、過学習を避けつつ、実務で意味のあるアウトプットを出せるモデルを設計しやすくなります。

継続的なモデル改善

一度モデルを構築して終わりではなく、継続的にモデルを改善していくことも、適切な学習には欠かせません。ビジネス環境やユーザー行動が変化すれば、データの分布や重要な特徴も変化していきます。

継続的なモデル改善を行うためには、次のようなプロセスを定期的に回すことが有効です。

1. 本番環境でのモデルの性能をモニタリングする
2. 性能低下やバイアスなどの課題を特定する
3. 改善施策（特徴量の見直し、アルゴリズム変更、データ追加など）を立案する
4. 改善施策を実装し、再学習・再評価を行う
5. 改善効果を検証し、必要に応じてさらなる改善を行う

このようなサイクルを回すことで、モデルをビジネスや環境の変化に合わせて「育てていく」ことができます。もちろん、改善にはコストもかかるため、ビジネスインパクトとのバランスを取りつつ進めることが重要です。

以上が、適切な学習を実現するための重要な概念や手法になります。  これらを総合的に組み合わせ、ビジネス課題の解決に資する機械学習モデルを構築していくことが、データサイエンティストやAIエンジニアに求められる重要なスキル だといえるでしょう。

まとめ

過学習とは、機械学習モデルが学習データの特徴を過剰に捉えてしまい、未知のデータに対する予測精度が低下してしまう現象です。過学習が起こると、学習時の評価指標が高くても、実際のビジネスの場では期待通りに機能しないモデルになってしまう可能性があります。

過学習を防ぐためには、学習データの拡充、正則化の導入、ハイパーパラメータの調整、アンサンブル学習の活用などの手法が有効です。また、ホールドアウト検証や交差検証、学習曲線の可視化、モデルの複雑度の評価などを通じて、過学習が発生していないかを継続的にチェックすることも重要です。

さらに、適切な学習を実現するためには、バイアス・バリアンストレードオフを意識しながら汎化性能を追求し、ドメイン知識を活用しつつ、継続的にモデルを改善していく姿勢が求められます。これらを実践することで、ビジネス課題の解決に直結する、信頼性の高い機械学習モデルを構築できるでしょう。

よくある質問（FAQ）