SVMサポートベクターマシン完全ガイド：基礎から実装まで

この記事では、機械学習の分類・回帰手法であるサポートベクターマシン（SVM）について包括的に解説しています。SVMの基本概念から、マージン最大化やカーネル法などの技術的特徴、過学習しにくく高次元データに強いというメリット・デメリットまで詳しく学べます。株価予測、災害予測、異常検知、画像認識、テキスト分類などの具体的な活用事例と実装方法も紹介されており、機械学習初心者がSVMの理論と実践を体系的に理解できる内容となっています。

サポートベクターマシン（SVM）の基本概念

SVMの定義と概要

サポートベクターマシン（Support Vector Machine、SVM）は、統計的学習理論に基づいて開発された強力な教師あり学習アルゴリズムです。SVMは主に分類問題と回帰問題の解決に用いられ、データの特徴空間において最適な決定境界を見つけることで高精度な予測を実現します。

SVMの最大の特徴は、マージン最大化という原理にあります。これは、異なるクラスのデータ点を分離する境界線において、最も近いデータ点との距離（マージン）を最大化することで、未知のデータに対する汎化性能を向上させる手法です。この数学的に厳密なアプローチにより、SVMは他の機械学習手法と比較して理論的な裏付けが強く、実用性の高いアルゴリズムとして広く認知されています。

また、SVMはカーネル法という技術を活用することで、線形分離が困難な複雑なデータパターンにも対応可能です。これにより、現実世界の多様な問題に適用できる柔軟性を持っています。

サポートベクターの意味と役割

サポートベクター（Support Vector）とは、決定境界の決定に直接的に影響を与える重要なデータ点のことを指します。これらは分類境界に最も近い位置にある訓練データであり、SVMの名前の由来にもなっている核心的な概念です。

サポートベクターの役割は以下の通りです：

• 決定境界の位置を決定する基準点として機能
• マージンの幅を定義し、最適化問題の制約条件を構成
• 新しいデータの分類予測において計算の基礎となる
• モデルの複雑さを制御し、過学習を防ぐ役割を担う

重要な点として、SVMの学習過程では全ての訓練データが等しく扱われるのではなく、サポートベクターのみが最終的な決定境界の形成に寄与します。これにより、大量のデータセットであっても効率的な学習と予測が可能となり、計算コストの削減にも貢献します。

機械学習におけるSVMの位置づけ

機械学習の分野において、SVMは教師あり学習の代表的なアルゴリズムの一つとして確固たる地位を築いています。特に、統計的学習理論の構造リスク最小化原理に基づく手法として、理論と実践の両面で高く評価されています。

SVMの機械学習における位置づけを以下の観点から整理できます：

他の機械学習手法と比較した場合、SVMは中規模データセットにおいて特に優秀な性能を発揮します。決定木やランダムフォレストのようなアンサンブル手法と比べて解釈性は劣りますが、ニューラルネットワークほど複雑ではなく、適度な複雑さで高い精度を実現できる点が評価されています。

現代の機械学習エコシステムにおいて、SVMは深層学習が主流となる以前から確立された手法でありながら、特定の問題領域では依然として第一選択肢として活用されています。特に、データ量が限られている場合や解釈可能性が重要な場面において、その価値は今なお高く評価されています。

サポートベクターマシンの仕組みと技術特徴

サポートベクターマシン（SVM）は、統計的学習理論に基づいた強力な機械学習アルゴリズムとして、その独特な技術特徴により多くの分野で活用されています。SVMの核となる仕組みは、データを最適に分類するための数学的に洗練されたアプローチを提供し、高い汎化性能を実現します。

マージン最大化による分類手法

SVMの最も重要な特徴は、マージン最大化という概念に基づいた分類手法です。マージンとは、決定境界から最も近いデータポイント（サポートベクター）までの距離を指し、この距離を最大化することで最適な分類境界を決定します。

具体的には、以下のプロセスでマージン最大化が実行されます：

• 各クラスの最も境界に近いデータポイントを特定
• これらのサポートベクターから等距離となる決定境界を設定
• マージン幅を数学的に最大化する最適化問題として解を求める
• 結果として得られる決定境界が最も汎化性能の高い分類器となる

この手法により、SVMは限られた学習データから未知のデータに対しても高い予測精度を維持できる分類器を構築できます。マージン最大化の原理は、統計的学習理論のVC次元理論に基づいており、理論的にも優れた汎化性能が保証されています。

カーネル法を用いた非線形分離

実際のデータ分析では、線形分離が困難な複雑なパターンを持つデータが多く存在します。SVMはカーネル法という技術を活用することで、こうした非線形分離問題を効果的に解決します。

カーネル法の仕組みは以下のように動作します：

1. 特徴空間への写像：元の入力空間のデータを高次元の特徴空間に非線形変換
2. 線形分離の実現：高次元空間では複雑なパターンが線形分離可能となる
3. カーネル関数の利用：実際の高次元計算を回避し、効率的に内積計算を実行
4. 元空間での非線形境界：結果として元の空間では非線形な決定境界が得られる

主要なカーネル関数には以下があります：

決定境界の決定プロセス

SVMにおける決定境界の決定プロセスは、数学的最適化理論に基づいた体系的なアプローチにより実行されます。このプロセスは、二次計画問題として定式化され、グローバルな最適解が保証されます。

決定境界の決定は以下の段階を経て行われます：

制約付き最適化問題の設定
目的関数としてマージンの最大化を設定し、全ての学習データが正しく分類されるという制約条件下で最適化問題を定義します。

具体的なプロセス：

• ラグランジュ乗数法の適用：制約条件を目的関数に組み込み、未制約最適化問題に変換
• 双対問題への変換：元の最適化問題を双対問題として再定式化し、計算効率を向上
• KKT条件の利用：最適性の必要十分条件を満たすサポートベクターを特定
• 決定関数の構築：特定されたサポートベクターのみを用いて最終的な分類器を構築

このプロセスの重要な特徴は、最終的な決定境界がデータ全体ではなく、境界付近の重要なデータポイント（サポートベクター）のみによって決定されることです。これにより、SVMはノイズに対する頑健性と計算効率の両立を実現し、実用的な機械学習アルゴリズムとしての価値を提供します。

線形SVMと非線形SVMの違い

Support Vector Machine（SVM）は、データの分類において線形分離可能なケースと非線形分離が必要なケースの両方に対応できる柔軟性を持っています。線形SVMと非線形SVMは、それぞれ異なるデータの性質や問題の複雑さに応じて使い分けられ、機械学習の現場では適切な選択が求められます。

線形SVMの特性と適用場面

線形SVMは、直線的な決定境界によってデータを分類する手法であり、計算効率が高く解釈しやすいという特徴を持っています。線形SVMでは、入力データがそのまま使用され、特徴空間での線形分離面によってクラス分類が行われます。

線形SVMの主な特性は以下の通りです：

• 計算コストが低く、大規模データセットでも高速処理が可能
• パラメータ調整が比較的シンプルで、実装が容易
• 過学習のリスクが低く、汎化性能が安定している
• 決定境界が直感的で、結果の解釈がしやすい

線形SVMが適用される場面としては、以下のようなケースが挙げられます：

非線形SVMの活用方法

非線形SVMは、カーネル関数を使用してデータを高次元空間にマッピングし、複雑な決定境界を形成することで、線形分離が困難なデータに対応します。この手法により、現実世界の複雑なパターンを持つデータに対しても高い分類精度を実現できます。

非線形SVMで使用される代表的なカーネル関数には以下があります：

• RBF（ガウシアン）カーネル：最も汎用的で、滑らかな決定境界を形成
• 多項式カーネル：特定の次数の多項式による非線形変換を実行
• シグモイドカーネル：ニューラルネットワークのような特性を持つ

非線形SVMの活用方法は、問題の性質に応じて以下のように使い分けられます：

1. 画像認識分野：物体の輪郭や形状など複雑な特徴パターンの識別において、RBFカーネルを使用した非線形SVMが効果的です
2. 生体認証システム：指紋や顔認識など、個人固有の複雑な特徴を扱う際に、適切なカーネル選択により高精度な識別が可能
3. 医療診断支援：症状や検査データの複雑な組み合わせパターンから疾患を予測する場合、非線形SVMが威力を発揮

ただし、非線形SVMを効果的に活用するためには、カーネル関数の選択とハイパーパラメータの調整が重要となります。特にRBFカーネルの場合、ガンマ値の設定によって決定境界の複雑さが大きく変化するため、交差検証などを用いた慎重なパラメータ調整が必要です。

サポートベクターマシンの利点

Support Vector Machine（SVM）は、機械学習アルゴリズムの中でも特に実用性の高い手法として広く活用されています。SVMが多くの分野で採用される理由は、その優れた技術的特徴にあります。特に注目すべき利点として、過学習を効果的に抑制する能力と、高次元データに対する卓越した識別精度が挙げられます。

過学習の抑制効果

SVMの最も重要な利点の一つは、過学習を効果的に抑制できるという点です。過学習とは、モデルが訓練データに過度に適応してしまい、未知のデータに対する汎化性能が低下する現象を指します。

SVMは構造的リスク最小化の原理に基づいて設計されており、単純に訓練誤差を最小化するのではなく、モデルの複雑さと訓練誤差のバランスを取ることで汎化性能を向上させます。具体的には、マージン最大化により決定境界を決定する際、サポートベクターのみを用いて分類境界を構築するため、ノイズや外れ値の影響を受けにくい特性を持ちます。

この仕組により、SVMは以下のような過学習抑制効果を発揮します：

• 訓練データの一部のサンプル（サポートベクター）のみを使用することで、モデルの複雑さを制御
• 正則化パラメータCによる誤分類許容度の調整が可能
• カーネル法を用いる場合でも、適切なパラメータ設定により過学習を回避
• 少数のサポートベクターで分類境界が決まるため、ノイズの影響を受けにくい

高次元データでの高い識別精度

現代のデータ分析において、高次元データの処理は避けて通れない課題です。SVMは高次元空間でも優れた識別性能を発揮する特徴を持ち、この分野でのベンチマーク的な存在となっています。

高次元データでの優位性は、SVMの数学的基盤に由来します。SVMは次元数がサンプル数を上回る状況でも安定した性能を維持できるため、テキスト分類、遺伝子解析、画像認識などの高次元データを扱う分野で特に威力を発揮します。

高次元データにおけるSVMの具体的な利点：

• 次元の呪いの影響を受けにくい設計により、高次元空間でも安定した分類性能を実現
• カーネルトリックを活用することで、計算量を抑えながら非線形分離を実現
• 特徴量の数がサンプル数を大幅に上回る場合でも過学習を抑制
• スパースな高次元データに対しても効果的な分類境界を構築

特にテキストマイニングや自然言語処理の分野では、単語の出現頻度を特徴量とした場合に数万から数十万次元のデータを扱うことが一般的ですが、SVMはこのような極めて高次元なデータセットでも優れた分類精度を達成できます。また、遺伝子発現データのような生物情報学の分野でも、数千から数万の遺伝子を特徴量として持つデータに対してSVMが広く活用されています。

サポートベクターマシンの欠点と制約

サポートベクターマシン（SVM）は多くの優れた特性を持つ機械学習アルゴリズムですが、実際の運用においてはいくつかの重要な欠点と制約が存在します。これらの制約を理解することは、SVMを適切に活用するために不可欠です。

計算コストの高さは、SVMの最も深刻な制約の一つです。特に大規模なデータセットに対しては、学習時間が極端に長くなる傾向があります。SVMの計算複雑度は、一般的にO(n²)からO(n³)の範囲となり、データサンプル数nが増加するにつれて計算時間が急激に増大します。数万から数十万のサンプルを持つデータセットでは、学習に数時間から数日を要する場合があります。

パラメータ調整の困難さも重要な制約要因です。SVMでは正則化パラメータCやカーネル関数のパラメータ（RBFカーネルのγなど）を適切に設定する必要がありますが、これらのパラメータは相互に影響し合うため、最適な組み合わせを見つけることは非常に困難です。グリッドサーチやベイズ最適化などの手法を用いても、パラメータ空間が広く、計算コストが高いため実用的な範囲での最適化に留まることが多いのが現実です。

多クラス分類における制約も見過ごせない問題です。SVMは本質的に二値分類器として設計されているため、多クラス分類問題に適用する際には、one-vs-one方式やone-vs-rest方式といった拡張手法が必要となります。しかし、これらの手法はクラス数の増加に伴って計算量が大幅に増加し、メモリ使用量も急激に増大します。特に数百から数千のクラスを持つ問題では、実用性が著しく低下する傾向があります。

ノイズに対する敏感性も重要な制約です。SVMは外れ値やノイズの影響を受けやすく、特にソフトマージンSVMにおいても、極端な外れ値が存在すると決定境界が大きく歪む可能性があります。この問題は、正則化パラメータCの適切な調整により緩和できますが、完全に解決することは困難です。

確率的出力の欠如もSVMの大きな制約の一つです。SVMは決定境界からの距離に基づく判定値を出力しますが、これは直接的な確率値ではありません。多くの実用アプリケーションでは予測の信頼度が重要な要素となるため、確率的出力を提供するロジスティック回帰や決定木などのアルゴリズムと比較して、解釈性の面で劣る場合があります。

これらの制約により、SVMは特定の条件下でのみ最適な選択となります。データサイズが比較的小さく、高精度が要求される問題や、特徴量の次元数が高い問題において、SVMの強みが最も発揮されます。しかし、リアルタイム処理が必要な用途や、大規模データの処理が必要な場合には、これらの制約を十分に考慮した上で、他のアルゴリズムとの比較検討が重要となります。

SVMの実用的な適用事例

サポートベクターマシン（SVM）は、その高い分類精度と汎化性能により、様々な実用分野で活用されています。特に高次元データの処理や複雑なパターン認識において優れた性能を発揮するため、金融、災害予測、セキュリティ、画像認識、自然言語処理など幅広い領域で導入されています。以下では、SVMが実際にどのような場面で活用されているかを具体的に紹介します。

金融市場での株価予測

金融市場におけるSVMの活用は、株価の値動き予測や投資リスク評価において重要な役割を果たしています。SVMは多次元の市場データを効果的に処理できるため、株価予測モデルの構築に適しています。

具体的な適用例として、以下のような特徴量を用いた予測モデルがあります：

• 過去の株価データ（終値、始値、高値、安値）
• 出来高や売買代金の変動パターン
• 各種テクニカル指標（移動平均、RSI、MACDなど）
• 経済指標や企業の財務データ

SVMのマージン最大化により、市場の変動パターンを捉えながらも過学習を抑制し、安定した予測性能を実現できます。特に、カーネル法を用いることで複雑な非線形の市場動向も捉えることが可能となります。

自然災害の予測モデル

自然災害の予測分野では、SVMが地震、津波、洪水などの発生リスク評価に活用されています。災害予測においては、膨大な観測データから災害の前兆となるパターンを識別する必要があり、SVMの高次元データ処理能力が重要になります。

地震予測を例にとると、以下のようなデータが特徴量として利用されます：

• 地震波の振幅や周波数特性
• 地殻変動の測定データ
• 地下水位の変化パターン
• 電磁気異常の観測値

SVMは異常パターンと正常パターンを明確に分離することで、災害発生の可能性を効率的に判定できます。これにより、早期警報システムの精度向上に貢献しています。

システム異常検知

IT系インフラやセキュリティ分野では、SVMがシステムの異常検知に広く採用されています。特に、ネットワーク侵入検知、サーバー監視、不正アクセス検知などの分野で重要な役割を果たしています。

ネットワーク異常検知システムでは、以下のような特徴量が分析されます：

• 通信パケットの流量パターン
• 接続先IPアドレスの地理的分布
• 通信プロトコルの使用頻度
• アクセス時間帯の傾向

SVMの決定境界により正常な通信と異常な通信を効果的に分類し、サイバー攻撃や不正アクセスをリアルタイムで検出することが可能です。また、新たな攻撃パターンに対する汎化性能も優れています。

手書き数字認識

画像認識分野では、SVMが手書き数字認識の標準的な手法として活用されています。郵便番号の自動読み取りや銀行の小切手処理システムなど、実用的なアプリケーションで広く利用されています。

手書き数字認識では、以下のような画像特徴が利用されます：

• ピクセルの明度値分布
• エッジやコーナーの検出結果
• 文字の輪郭線の特徴
• 局所的なパターンマッチング結果

SVMは個人の筆跡の違いや文字の変形に対する高い識別精度を実現し、従来の手法と比較して優れた認識性能を示します。特に、RBFカーネルを用いることで複雑な文字パターンも効果的に分類できます。

顔認識・顔検出技術

セキュリティシステムや画像解析分野では、SVMが顔認識・顔検出技術の中核技術として採用されています。空港の入国管理システムや企業の入退室管理など、実社会での活用が進んでいます。

顔認識システムでは、以下のような特徴量が抽出・分析されます：

• 顔部品（目、鼻、口）の位置関係
• 顔の輪郭線の形状特徴
• テクスチャパターンの分布
• 照明条件に不変な特徴量

SVMは顔画像と非顔画像を高精度で分離し、さらに個人の識別においても優れた判別性能を発揮します。また、表情の変化や照明条件の変動に対する頑健性も持ち合わせています。

自然言語処理でのテキスト分類

自然言語処理分野では、SVMがテキスト分類タスクの代表的な手法として位置づけられています。スパムメール判定、感情分析、文書カテゴリ分類など、様々な応用分野で活用されています。

テキスト分類では、以下のような言語特徴が利用されます：

• 単語の出現頻度（TF-IDF値）
• N-gramパターンの分布
• 品詞タグの組み合わせ
• 文章の統計的特徴（長さ、語彙多様性など）

SVMは高次元の語彙空間において効率的な分類を実現し、テキストの意味的な違いを正確に捉えることができます。特に、線形SVMはテキストデータの特性に適しており、高速かつ高精度な分類性能を提供します。

サポートベクターマシンの効果的な活用方法

サポートベクターマシン（SVM）を効果的に活用するためには、データの特性や問題の性質に応じた適切な運用戦略を理解することが重要です。以下では、SVMの性能を最大限に引き出すための具体的な方法論について詳しく解説します。

データの前処理と標準化

SVMを効果的に活用するためには、適切なデータの前処理が不可欠です。特にSVMは特徴量のスケールに敏感であるため、データの標準化や正規化が重要な役割を果たします。

• 特徴量のスケーリング：異なる単位や範囲を持つ特徴量を統一的に扱うため、標準化（Z-score normalization）や最小-最大正規化を適用
• 欠損値の処理：平均値補完や回帰補完などの手法を用いて、データの完全性を確保
• 外れ値の除去：決定境界に大きな影響を与える可能性のある極端な値を適切に処理
• 次元削減：高次元データに対してPCAやLDAなどの手法を適用し、計算効率を向上

適切なカーネル関数の選択

SVMの性能は選択するカーネル関数に大きく依存するため、問題の性質に応じた最適なカーネルを選択することが重要です。各カーネルには固有の特性があり、データの分布や複雑さに応じて使い分ける必要があります。

ハイパーパラメータの最適化

SVMの性能を最大化するためには、ハイパーパラメータの適切な調整が必要です。グリッドサーチやランダムサーチ、ベイズ最適化などの手法を用いて、最適なパラメータ組み合わせを見つけることが重要です。

• 正則化パラメータ（C）：過学習と未学習のバランスを制御し、マージンの大きさと分類エラーのトレードオフを調整
• RBFカーネルのγ（ガンマ）：決定境界の複雑さを制御し、小さい値では滑らかな境界、大きい値では複雑な境界を生成
• 多項式カーネルの次数：特徴量間の相互作用の複雑さを調整
• クラス重みの調整：不均衡データに対して、少数クラスの重要性を高める

クロスバリデーションによるモデル評価

SVMの効果的な活用には、適切なモデル評価手法の採用が不可欠です。k分割クロスバリデーションやstratified k-fold法を用いることで、モデルの汎化性能を正確に評価できます。

特に不均衡データの場合は、精度だけでなくF1スコア、適合率、再現率、AUC-ROCなどの複数の評価指標を組み合わせて総合的に判断することが重要です。

計算効率の向上策

大規模データセットでSVMを効果的に活用するためには、計算効率の向上が重要な課題となります。以下の手法を組み合わせることで、実用的な処理時間を実現できます。

• サンプリング手法の適用：代表的なデータポイントを選択し、学習データサイズを削減
• 並列処理の活用：グリッドサーチやクロスバリデーションを並列化
• 近似アルゴリズムの使用：LinearSVCやSGDClassifierなどの高速な近似手法を活用
• 特徴選択の実施：相関分析や情報利得などを用いて重要な特徴量のみを選択

アンサンブル学習との組み合わせ

SVMを単独で使用するだけでなく、他の機械学習アルゴリズムと組み合わせることで、さらなる性能向上を実現できます。バギング、ブースティング、スタッキングなどのアンサンブル手法とSVMを組み合わせることで、より堅牢で高精度な予測モデルを構築することが可能です。

これらの活用方法を適切に実践することで、SVMの持つ優れた分類性能を最大限に引き出し、実際のビジネス課題や研究プロジェクトにおいて価値のある結果を得ることができるでしょう。

SVMの実装とコード例

Support Vector Machine（SVM）を実際に使用するためには、適切な実装環境の構築から始まり、データの準備、モデルの構築、そして性能評価まで一連の工程を理解する必要があります。ここでは、PythonでのSVM実装について、実際のコードを交えながら詳しく解説していきます。

必要なライブラリとデータセットの準備

SVMの実装に必要な基本的なライブラリの導入から始めましょう。scikit-learnを中心とした環境構築が最も一般的で効率的です。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score, classification_report
import seaborn as sns

データセットの準備では、実習用としてscikit-learnが提供するアイリスデータセットやwine データセットを使用することが推奨されます。これらのデータセットは前処理が不要で、SVMの動作原理を理解するのに最適です。

# アイリスデータセットの読み込み
iris = datasets.load_iris()
X = iris.data[:, :2]  # 可視化のため2次元に限定
y = iris.target

# データの標準化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

データの標準化は、SVMにおいて特に重要な前処理工程です。異なるスケールの特徴量が混在すると、大きな値を持つ特徴量がモデルに過度に影響を与えてしまうため、必ず実行しましょう。

決定境界の可視化手法

SVMの理解を深めるためには、決定境界の可視化が非常に効果的です。分類結果がどのように決定されているかを視覚的に確認できます。

def plot_decision_boundary(X, y, model, title):
    plt.figure(figsize=(10, 8))
    
    # メッシュグリッドの作成
    h = 0.02
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                         np.arange(y_min, y_max, h))
    
    # 予測値の計算
    Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    
    # 決定境界の描画
    plt.contourf(xx, yy, Z, alpha=0.3, cmap=plt.cm.RdYlBu)
    plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.RdYlBu)
    plt.title(title)
    plt.xlabel('特徴量1')
    plt.ylabel('特徴量2')
    
    # サポートベクターの強調表示
    plt.scatter(model.support_vectors_[:, 0], 
                model.support_vectors_[:, 1],
                s=100, facecolors='none', 
                edgecolors='black', linewidths=2)
    plt.show()

この可視化により、サポートベクターが決定境界の決定にどのような役割を果たしているかを直感的に理解できます。黒い縁で囲まれた点がサポートベクターであり、これらの点だけで決定境界が決まることが確認できるでしょう。

マージン設定の実装

SVMにおけるマージン設定は、Cパラメータによって制御されます。このパラメータの調整によって、モデルの複雑さと汎化性能のバランスを調整できます。

# 異なるCパラメータでのモデル比較
C_values = [0.1, 1, 10, 100]
fig, axes = plt.subplots(2, 2, figsize=(15, 12))
axes = axes.ravel()

for i, C in enumerate(C_values):
    # SVMモデルの構築
    svm_model = SVC(kernel='linear', C=C, random_state=42)
    svm_model.fit(X_scaled, y)
    
    # 決定境界の可視化（サブプロット用の簡易版）
    ax = axes[i]
    
    # メッシュグリッドの作成
    h = 0.02
    x_min, x_max = X_scaled[:, 0].min() - 1, X_scaled[:, 0].max() + 1
    y_min, y_max = X_scaled[:, 1].min() - 1, X_scaled[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                         np.arange(y_min, y_max, h))
    
    Z = svm_model.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    
    ax.contourf(xx, yy, Z, alpha=0.3, cmap=plt.cm.RdYlBu)
    ax.scatter(X_scaled[:, 0], X_scaled[:, 1], c=y, cmap=plt.cm.RdYlBu)
    ax.set_title(f'C = {C}, サポートベクター数: {len(svm_model.support_vectors_)}')
    
plt.tight_layout()
plt.show()

Cパラメータが小さすぎると決定境界が過度に単純化され、大きすぎると過学習のリスクが高まります。適切な値の選択には、交差検証を用いたグリッドサーチが効果的です。

学習モデルの構築と評価

実際のSVMモデルの構築では、トレーニングデータとテストデータの分割、モデルの学習、そして性能評価を系統的に実施する必要があります。

# データの分割
X_train, X_test, y_train, y_test = train_test_split(
    X_scaled, y, test_size=0.3, random_state=42, stratify=y)

# 線形SVMモデルの構築
linear_svm = SVC(kernel='linear', C=1.0, random_state=42)
linear_svm.fit(X_train, y_train)

# RBFカーネルSVMモデルの構築
rbf_svm = SVC(kernel='rbf', C=1.0, gamma='scale', random_state=42)
rbf_svm.fit(X_train, y_train)

# 予測と評価
linear_pred = linear_svm.predict(X_test)
rbf_pred = rbf_svm.predict(X_test)

print("線形SVM:")
print(f"精度: {accuracy_score(y_test, linear_pred):.3f}")
print(classification_report(y_test, linear_pred))

print("\nRBF SVM:")
print(f"精度: {accuracy_score(y_test, rbf_pred):.3f}")
print(classification_report(y_test, rbf_pred))

評価指標として、精度だけでなく適合率、再現率、F1スコアも確認することで、モデルの性能を多角的に評価できます。特に不均衡データセットの場合、F1スコアは精度よりも信頼性の高い指標となります。

データ量による性能比較

SVMの性能がデータ量によってどのように変化するかを理解することは、実用的な観点から重要です。学習曲線を描くことで、データサイズと性能の関係を可視化できます。

from sklearn.model_selection import learning_curve

# 学習曲線の計算
train_sizes = np.linspace(0.1, 1.0, 10)
train_sizes_abs, train_scores, val_scores = learning_curve(
    SVC(kernel='rbf', C=1.0, gamma='scale', random_state=42),
    X_scaled, y, train_sizes=train_sizes, cv=5, 
    scoring='accuracy', random_state=42)

# 平均と標準偏差の計算
train_mean = np.mean(train_scores, axis=1)
train_std = np.std(train_scores, axis=1)
val_mean = np.mean(val_scores, axis=1)
val_std = np.std(val_scores, axis=1)

# 学習曲線の描画
plt.figure(figsize=(10, 6))
plt.plot(train_sizes_abs, train_mean, 'o-', color='blue', 
         label='訓練スコア')
plt.fill_between(train_sizes_abs, train_mean - train_std, 
                 train_mean + train_std, alpha=0.1, color='blue')

plt.plot(train_sizes_abs, val_mean, 'o-', color='red', 
         label='検証スコア')
plt.fill_between(train_sizes_abs, val_mean - val_std, 
                 val_mean + val_std, alpha=0.1, color='red')

plt.xlabel('トレーニングデータサイズ')
plt.ylabel('精度')
plt.title('SVMの学習曲線')
plt.legend()
plt.grid(True)
plt.show()

この分析により、データ量の増加に伴う性能向上の傾向と、過学習の発生パターンを把握できます。通常、SVMは比較的少量のデータでも安定した性能を示すことが確認できるでしょう。

このような性能比較により、実際の運用環境での最適なデータサイズを決定する際の参考情報を得られます。