正規化・標準化計算ツール|Min-Max・z

データを入力すると、Min-Max 正規化(0〜1に変換)と標準化(平均0・標準偏差1に変換)の結果を表で一覧にします。標準化に使う標準偏差は、母標準偏差(scikit-learn と同じ)と不偏標準偏差から選べます。機械学習の前処理の確認に便利です。

正規化・標準化 計算ツール(Min-Max・z-score)

数値の列を Min-Max 正規化(0〜1)と標準化(z-score)に変換し、結果を表で一覧にします。機械学習の前処理の確認に。

使い方

  1. 「データ」欄に、変換したい特徴量の値を入力します。
  2. 「標準化に使う標準偏差」で、母標準偏差(n で割る)か不偏標準偏差(n−1 で割る)を選びます。
  3. 表で、元の値・Min-Max 正規化の値・標準化の値を確認します。表の値はコピーして使えます。

計算式

Min-Max正規化:x' = (x − 最小値) ÷ (最大値 − 最小値)
標準化(z-score):z = (x − 平均) ÷ 標準偏差

Min-Max 正規化は、最小値を0、最大値を1にそろえる変換です。標準化は、平均を0、標準偏差を1にそろえる変換です。標準偏差を n で割って求める(母標準偏差)か、n−1 で割って求める(不偏標準偏差)かで、z の値がわずかに変わります。scikit-learn の StandardScaler は母標準偏差を、pandas の std() は不偏標準偏差を使います。

計算例

サンプルの「50, 60, 70, 80, 100」を、母標準偏差で計算します。

  • 最小値は50、最大値は100なので、Min-Max 正規化は (x − 50) ÷ 50 です。結果は 0, 0.2, 0.4, 0.6, 1 になります。
  • 平均は72、母標準偏差は17.2047です。
  • 標準化は (x − 72) ÷ 17.2047 で、結果は −1.2787, −0.6975, −0.1162, 0.465, 1.6275 になります。

正規化した値は0〜1に収まり、標準化した値は合計がほぼ0になっていることが確認できます。

結果の見方

方法 結果の範囲 向いている場面
Min-Max 正規化 0〜1 画像の画素値、範囲が決まっているデータ、ニューラルネットの入力
標準化 平均0・標準偏差1(範囲の制限なし) 線形回帰・ロジスティック回帰・SVM・k平均法など

標準化した値は z値と同じで、「平均から標準偏差何個分離れているか」を表します。|z| が3を超える値は外れ値の候補です。Min-Max 正規化は外れ値に弱く、極端に大きい値が1つあると、ほかの値が0付近に押し込められてしまいます。外れ値があるデータでは、標準化や、中央値と四分位範囲を使う方法が向いています。

決定木やランダムフォレストのように、値の大小の順番だけを使う手法では、正規化や標準化をしなくても結果はほとんど変わりません。

注意点

  • 機械学習では、最小値・最大値・平均・標準偏差は学習データだけから求め、その値でテストデータも変換します。テストデータも含めて計算すると、テストデータの情報が学習に漏れる「データリーケージ」になります。
  • テストデータを学習データの最小値・最大値で正規化すると、0〜1の外の値になることがあります。これは正常です。
  • すべて同じ値のデータは変換できません(分母が0になるため)。
  • 「正規化」という言葉は、分野によっては標準化やベクトルの長さを1にする処理を指すこともあります。どの処理のことかを確認しましょう。

正規化・標準化のよくある質問

Q. 正規化と標準化はどちらを使えばよいですか?

A. 値の範囲を0〜1にそろえたいときは正規化、外れ値があるときや平均・分散をそろえたいときは標準化が向いています。迷ったら、多くの手法で使いやすい標準化から試すのが一般的です。

Q. scikit-learnの結果と一致しますか?

A. MinMaxScaler は Min-Max 正規化と、StandardScaler は「母標準偏差」を選んだときの標準化と同じ値になります。

Q. テストデータはどう変換すればよいですか?

A. 学習データで求めた最小値・最大値(または平均・標準偏差)を使って変換します。テストデータで計算し直すと、学習とテストで基準がずれてしまいます。