小規模言語モデル (SLM) とは?

小規模言語モデルは、LLM で見られるような人工ニューラル ネットワークの簡略化されたバージョンを使用して構築されます。言語モデルには、データから学習し、予測を行うために使用する一連のパラメーター (つまり調整可能な設定) があります。 SLM には、LLM よりもはるかに少ないパラメーターが含まれているため、大規模なモデルよりも高速かつ効率的です。GPT-4 のような LLM には 1 兆個を超えるパラメーターが含まれていることがある一方、SLM に含まれているのは数億個のみです。小さいアーキテクチャにより、SLM は、顧客サービスのチャット ボットや仮想アシスタントなど、ドメイン固有のアプリケーションで自然言語処理タスクを、LLM よりもはるかに少ない計算能力で実行できます。

言語モデルは、テキストを単語埋め込み (単語の意味を捉える数値表現) に分割します。これらはエンコーダーを使用してトランスフォーマーによって処理されます。その後、デコーダーが、テキストに対する一意の応答を生成します。

言語モデルのトレーニングには、テキスト コーパスと呼ばれる大規模なデータセットへの公開が含まれます。SLM は、比較的小さい LLM で使用されるデータセットよりも小さく、より特殊なデータセットでトレーニングされます。通常、SLM のトレーニングで使用されるデータセットは、その機能に特化したものです。モデルをトレーニングした後は、微調整を通じてさまざまな特定のタスクに適合させることができます。