自己教師あり学習とは？ラベル不要でAIが学ぶ最新の学習パラダイムを解説

numpyで自己教師あり学習の概念を実装する：マスク再構成によるpretext task

自己教師あり学習（Self-Supervised Learning）は、ラベルなしデータから入力の一部をマスクして再構成するpretext taskを通じ、データの内在構造を学習する手法です。以下ではnumpyを使い、入力ベクトルの一部をランダムにマスクし、残りの情報から復元するオートエンコーダ型のpretext taskを概念的に実装します。

import numpy as np
import matplotlib.pyplot as plt

np.random.seed(42)

# --- データ生成：特徴量間に相関を持つデータ ---
n_samples = 1000
n_features = 8

# 潜在因子3次元から8次元に線形変換（特徴量間の相関構造）
latent_dim = 3
W_true = np.random.randn(latent_dim, n_features)
Z = np.random.randn(n_samples, latent_dim)
X = Z @ W_true + np.random.randn(n_samples, n_features) * 0.1

print(f"データ形状: {X.shape}")
print(f"特徴量間の相関行列の非対角要素の平均: "
      f"{np.abs(np.corrcoef(X.T)[np.triu_indices(n_features, k=1)]).mean():.3f}")

# --- マスク関数：入力の一部をランダムに0にする ---
def create_masked_input(X, mask_ratio=0.3):
    mask = np.random.binomial(1, 1 - mask_ratio, size=X.shape)
    X_masked = X * mask
    return X_masked, mask

# --- 単純なオートエンコーダ（1隠れ層） ---
class SimpleAutoEncoder:
    def __init__(self, input_dim, hidden_dim, lr=0.01):
        # Xavier初期化
        scale_enc = np.sqrt(2.0 / (input_dim + hidden_dim))
        scale_dec = np.sqrt(2.0 / (hidden_dim + input_dim))
        self.W_enc = np.random.randn(input_dim, hidden_dim) * scale_enc
        self.b_enc = np.zeros(hidden_dim)
        self.W_dec = np.random.randn(hidden_dim, input_dim) * scale_dec
        self.b_dec = np.zeros(input_dim)
        self.lr = lr

    def relu(self, x):
        return np.maximum(0, x)

    def relu_grad(self, x):
        return (x > 0).astype(float)

    def forward(self, X_masked):
        self.input = X_masked
        self.hidden_pre = X_masked @ self.W_enc + self.b_enc
        self.hidden = self.relu(self.hidden_pre)
        self.output = self.hidden @ self.W_dec + self.b_dec
        return self.output

    def train_step(self, X_masked, X_original, mask):
        batch_size = X_masked.shape[0]
        pred = self.forward(X_masked)

        # 損失: マスクされた位置のみで再構成誤差を計算
        masked_positions = (1 - mask)
        error = (pred - X_original) * masked_positions
        loss = np.mean(error ** 2)

        # 逆伝播
        d_output = 2 * error / (masked_positions.sum() + 1e-8)
        d_W_dec = self.hidden.T @ d_output / batch_size
        d_b_dec = d_output.mean(axis=0)

        d_hidden = d_output @ self.W_dec.T
        d_hidden_pre = d_hidden * self.relu_grad(self.hidden_pre)
        d_W_enc = self.input.T @ d_hidden_pre / batch_size
        d_b_enc = d_hidden_pre.mean(axis=0)

        # パラメータ更新
        self.W_dec -= self.lr * d_W_dec
        self.b_dec -= self.lr * d_b_dec
        self.W_enc -= self.lr * d_W_enc
        self.b_enc -= self.lr * d_b_enc

        return loss

# --- 学習ループ ---
model = SimpleAutoEncoder(input_dim=n_features, hidden_dim=4, lr=0.05)
losses = []

for epoch in range(200):
    X_masked, mask = create_masked_input(X, mask_ratio=0.3)
    loss = model.train_step(X_masked, X, mask)
    losses.append(loss)
    if (epoch + 1) % 50 == 0:
        print(f"Epoch {epoch+1}: Reconstruction Loss = {loss:.6f}")

# --- 評価：マスク位置の再構成精度 ---
X_masked_test, mask_test = create_masked_input(X[:100], mask_ratio=0.3)
pred_test = model.forward(X_masked_test)

masked_pos = (1 - mask_test).astype(bool)
mae = np.mean(np.abs(pred_test[masked_pos] - X[:100][masked_pos]))
print(f"\nマスク位置のMAE: {mae:.4f}")
print(f"元データの標準偏差: {X[:100].std():.4f}")

# 可視化
fig, axes = plt.subplots(1, 2, figsize=(14, 5))
axes[0].plot(losses)
axes[0].set_xlabel("Epoch")
axes[0].set_ylabel("Reconstruction Loss (masked positions)")
axes[0].set_title("Self-Supervised Pretext Task: Learning Curve")
axes[0].grid(True, alpha=0.3)

# 再構成の比較（最初の5サンプル、最初の特徴量）
sample_idx = range(5)
axes[1].scatter(X[:5].flatten(), pred_test[:5].flatten(), alpha=0.6)
axes[1].plot([-3, 3], [-3, 3], "r--", label="Perfect Reconstruction")
axes[1].set_xlabel("Original Value")
axes[1].set_ylabel("Reconstructed Value")
axes[1].set_title("Original vs Reconstructed")
axes[1].legend()
axes[1].grid(True, alpha=0.3)

plt.tight_layout()
plt.savefig("self_supervised_pretext.png", dpi=150)
plt.show()

この概念コードから理解すべき核心は3つあります。第一に、自己教師あり学習ではラベルが一切不要で、入力データ自体が教師信号になります。マスクされた位置の元の値を復元するタスクを解くことで、モデルは特徴量間の相関構造を自律的に学習します。第二に、損失計算をマスク位置のみに限定することが重要です。観測可能な位置での再構成を評価しても意味がなく、「見えない部分を推測できるか」が学習の本質です。これはBERTのMasked Language ModelやMAE（Masked Autoencoders）と同じ原理です。第三に、pretext taskで獲得した表現（隠れ層の出力）は、下流タスク（分類や回帰）のファインチューニング時に初期値として利用でき、ラベル付きデータが少ない状況で大きな効果を発揮します。