ControlNetとは？画像生成AIの構図・ポーズ制御テクニック

Hugging Faceのdiffusersライブラリを使って、Canny Edge（輪郭線）で構図を制御するControlNetパイプラインの構築手順を解説します。

import torch
from PIL import Image
import numpy as np
from diffusers import (
    StableDiffusionControlNetPipeline,
    ControlNetModel,
    UniPCMultistepScheduler,
)
from diffusers.utils import load_image

# 1. 制御画像の準備（Canny Edge検出）
import cv2

source_image = load_image("https://example.com/input.png")
image_array = np.array(source_image)

# Cannyエッジ検出で輪郭線を抽出
low_threshold = 100
high_threshold = 200
canny_image = cv2.Canny(image_array, low_threshold, high_threshold)

# diffusersはPIL形式を期待するので変換
canny_image = Image.fromarray(canny_image).convert("RGB")

# 2. ControlNetモデルとパイプラインの構築
controlnet = ControlNetModel.from_pretrained(
    "lllyasviel/sd-controlnet-canny",
    torch_dtype=torch.float16,
)

pipe = StableDiffusionControlNetPipeline.from_pretrained(
    "stable-diffusion-v1-5/stable-diffusion-v1-5",
    controlnet=controlnet,
    torch_dtype=torch.float16,
)

# 高速スケジューラに差し替え（生成速度が約2倍に向上）
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config)

# GPUメモリ節約（8GB VRAM環境向け）
pipe.enable_model_cpu_offload()

# 3. 画像生成
prompt = "a futuristic cityscape, highly detailed, 4k"
negative_prompt = "blurry, low quality, distorted"

result = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    image=canny_image,              # 制御画像
    num_inference_steps=30,         # 推論ステップ数
    controlnet_conditioning_scale=0.8,  # ControlNetの影響度(0.0-1.0)
    guidance_scale=7.5,             # プロンプトへの忠実度
    generator=torch.manual_seed(42),
).images[0]

result.save("controlnet_output.png")
print("生成完了: controlnet_output.png")

このコードの構造は3段階です。(1)入力画像からCannyエッジで輪郭線を抽出、(2)ControlNetモデルとStable Diffusionパイプラインを結合、(3)プロンプトと制御画像を渡して生成。controlnet_conditioning_scaleを0.8程度にすると構図を維持しつつ自然な画像になり、1.0に近づけると輪郭線に厳密に従うようになります。Canny以外にもOpenPoseやDepthなど多様な制御方式のControlNetモデルが公開されています。