次の方法で共有

モデルの微調整の概念

  • [アーティクル]

微調整は、事前トレーニング済みのモデルを取得し、データに合わせて調整するプロセスです。 このプロセスは、データを最大限に活用し、モデルのパフォーマンスを向上させるのに役立ちます。 この記事では、微調整の基本的な概念と、AI モデルの微調整が適切な場合について説明します。

はじめに

微調整は、データからより多くの価値を引き出すのに役立つ強力なテクニックです。 微調整を理解するには、転移学習の概念を理解することが重要です。 転移学習は、あるタスクでトレーニングされたモデルを、関連する別のタスクで再利用する機械学習手法です。 これは、事前トレーニング済みのモデルを取得し、新しいデータにより適合するように調整することで行います。 微調整は、新しいデータに合わせて事前トレーニング済みのモデルを調整する転移学習の一種です。

モデルの微調整には、いくつかの手順が必要です。 まず、タスクに適した事前トレーニング済みのモデルを選択します。 次に、サンプル データを準備し、このデータを使用してモデルを微調整します。 最後に、モデルのパフォーマンスを向上させるために、繰り返し改良します。

微調整するタイミング

微調整は、少量のデータがあり、モデルのパフォーマンスを向上させたい場合に適しています。 事前トレーニング済みのモデルから始めることで、モデルが既に学習した知識を活かし、貴社のデータに適した形に調整できます。 これにより、モデルのパフォーマンスを向上させ、トレーニングに必要なデータの量を減らすことができます。

通常、大量のデータがある場合は、モデルを微調整する必要はありません。 この場合、モデルをゼロからトレーニングしても、微調整を行わずに優れたパフォーマンスを実現できます。 ただし、モデルのパフォーマンスのさらなる向上を目指すなら、この場合でも微調整を活用できます。 また、事前トレーニング済みモデルを、もともと訓練されたタスクとは異なる特定のタスクに対応させたい場合は、モデルを微調整するとよいでしょう。

プロンプト エンジニアリングまたはプロンプト チェーンを使えば、コストのかかるモデルの微調整を避けられることがあります。 これらの手法を活用すれば、微調整なしでも高品質なテキストを生成できます。

事前トレーニング済みのモデルを選択する

タスクの要件に適した事前トレーニング済みモデルを選択します。 さまざまなタスクで訓練された事前トレーニング済みモデルが多数用意されています。 作業しているタスクと類似したタスクでトレーニングされたモデルを選択してください。 これにより、モデルは既に学習した知識を活用した上で、貴社のデータにより適合させることができます。

HuggingFace モデルは、事前トレーニング済みのモデルを探すときに開始するのに適した場所です。 HuggingFace モデルは、トレーニングされたタスクに基づいてカテゴリにグループ化されているため、タスクに適したモデルを簡単に見つけることができます。

以下のようなカテゴリがあります。

  • マルチモーダル
  • Computer Vision
  • 自然言語処理
  • オーディオ
  • 表形式
  • 強化学習

ご使用の環境およびツールとモデルの互換性を確認してください。 たとえば、Visual Studio Codeを使用している場合は、Azure Machine Learning拡張機能 (Visual Studio Code用) を使用してモデルを微調整できます。

モデルの状態とライセンスを確認します。 オープンソース ライセンスで利用できる事前トレーニング済みモデルもありますが、商用ライセンスまたは個人ライセンスが必要なものもあります。 HuggingFace上のすべてのモデルには、ライセンス情報が含まれています。 微調整を行う前に、モデルの使用に必要なアクセス許可があることを確認してください。

サンプル データを準備する

サンプル データの準備では、データのクリーニングと前処理によって、トレーニングに適したデータにします。 また、モデルのパフォーマンスを評価するために、データをトレーニング用と検証用に分割する必要があります。 データの形式は、使用している事前トレーニング済みモデルで想定される形式と一致させます。 この情報は、モデル カードの Instruction 形式 セクションの HuggingFace のモデルで確認できます。 ほとんどのモデル カードには、モデルのプロンプトを作成するためのテンプレートと、開始に役立つ擬似コードが含まれています。

モデルを繰り返し改良する

モデルを微調整したら、検証用セットでそのパフォーマンスを評価する必要があります。 正解率、適合率、再現率、F1 スコアなどの指標を使用して、モデルのパフォーマンスを評価できます。 モデルのパフォーマンスが不十分な場合は、ハイパーパラメーターの調整やアーキテクチャの変更、より多くのデータを使った微調整などを行い、モデルを改善し続けることができます。 また、データの品質と多様性を調べて、対処する必要がある問題の有無を確認することもできます。 一般に、大量の低品質データよりも、少量の高品質データの方が価値があります。

関連項目

AI モデルの微調整の詳細については、以下のリソースをご覧ください:

AI 機能を利用する場合は、「Windowsでの責任ある生成 AI アプリケーションと機能の開発」を確認することをお勧めします。