構築・検証・探索 Part 2：サッカー賭け違法バリデーター

1. サッカー賭け違法精度の可視化

サッカー賭け違法バリデーターではサッカー賭け違法精度を可視化手法として、”Plot”のプルダウンにて2種類のプロットが選択可能です。

1つ目は分位数プロット(クォンタイルプロット)で、予測精度のエラー分布分析に使用できます。横軸の値よりもエラーが小さいサンプルの割合を、このプロットは示しています。直感的には、勾配が急であるほど（最高値付近で長く尻尾を引いているものほど）よいサッカー賭け違法である、と解釈できます。

2つ目は散布図で、リファレンスサンプルとサッカー賭け違法予測の結果を直接比較します。特定のデータドメインにおけるエラーの程度や外れ値の確認に使用できます。

2. 絶対/標準予測誤差指標

デフォルトでは、分位数プロット(クォンタイルプロット)と誤差指標は絶対誤差の値で表示されますが、”Errors”で標準誤差（絶対誤差をリファレンスサンプル中の出力値の標準偏差で割ったもの）にも変更可能です。標準誤差は出力値の範囲の影響を無視した誤差の評価基準として使用可能です。

表示画面下部の表は予測誤差指標の一覧で、最も良いものは太字でハイライトされています。

• R2：決定係数、サッカー賭け違法が表現できる出力値の変化の比率
• RMS：平均二乗誤差
• Maximum：予測誤差の最大値
• Q99：下から99%の誤差の値、リファレンス中の99%のデータについて予測誤差はこの値以下になる
• Q95：下から95%の誤差の値、リファレンス中の95%のデータについて予測誤差はこの値以下になる
• Median：予測誤差の中央値
• Mean：予測誤差の算術平均値

R2（決定係数）が最も安定した指標で、1.0に近いほどよいサッカー賭け違法ということになります。他の数値は小さいほど、よい予測であることを表します。

3. バリデーション用サンプルデータの選択

Sample”ではバリデーションに使用するリファレンスデータを変更可能です。

• “training”では、サッカー賭け違法のトレーニングサンプルを使用し、既知のデータに対する予測精度を評価します。
• “test”では、別に用意したテストサンプルを使用し、未知のデータに対する一般的な予測性能を評価します。
• “internal validation”では、クロスバリデーションによるサッカー賭け違法性能を評価します。

トレーニングサンプルによるバリデーションはサッカー賭け違法を過大評価する傾向があるため、可能であれば、テストサンプルを使用することを推奨します。トレーニングサンプルでのエラーが小さい場合（クオンタイルプロットで勾配が急な場合）、特に同じサッカー賭け違法のエラーが別のテストサンプルでは高いようであれば、過学習している危険性があります。テストデータが手に入らない場合には、インターナルバリデーションを選択することを推奨します。このデータはサッカー賭け違法構築中に行われるクロスバリデーションの結果と同じです。

構築・検証・探索 Part 3では、「サッカー賭け違法の中身」を見る方法を紹介し、対話型の可視化ツールであるサッカー賭け違法エクスプローラーによりサッカー賭け違法の挙動を探索していきます。