LightGBMとは？XGBoostとの違いと実践的な使い方

LightGBMもXGBoostと同じく勾配ブースティングベースのアルゴリズムですが、Microsoftが開発した後発の手法で、学習速度が大幅に速いのが最大の特徴です。大規模データセットでもメモリ効率よく高速に学習できるよう設計されています。

主に2つの技術のおかげです。GOSS（Gradient-based One-Side Sampling）で勾配が小さいサンプルを間引いてデータ量を削減。EFB（Exclusive Feature Bundling）で相互排他的な特徴量をまとめて次元を削減。この2つにより計算量を大幅に減らしています。

最大の違いは木の成長方式です。XGBoostは「Level-wise（層ごと）」に成長させ、同じ深さの全ノードを分割します。LightGBMは「Leaf-wise（葉ごと）」で、最も損失を減らせる葉だけを分割します。Leaf-wiseの方が効率的に精度を上げられます。

一概には言えませんが、多くのベンチマークで同等かLightGBMがやや上です。ただし差は小さく、データセットやチューニングによって逆転することもあります。速度の差は明確で、LightGBMの方が数倍〜十数倍速いです。

最も重要なのはnum_leaves（葉の最大数）です。Leaf-wise成長なので、max_depthよりnum_leavesで複雑さを制御します。一般的にnum_leaves = 2^max_depth – 1以下に設定します。例えばmax_depth=7なら127以下が目安です。

XGBoostではカテゴリ特徴量をOne-Hot Encodingなどで数値に変換する必要がありますが、LightGBMはカテゴリ特徴量をそのまま入力できます。内部で最適な分割を自動的に見つけてくれるので、前処理が楽になり、精度も向上することが多いです。

基本的にはまずLightGBMを試すのがおすすめです。速いのでパラメータチューニングの試行回数を稼げます。ただしデータが少ない場合（1万行以下）はXGBoostの方が安定した結果が出やすいです。Kaggleの上位者は両方試してアンサンブルすることも多いです。

CatBoostはYandexが開発した勾配ブースティングで、カテゴリ特徴量の処理に特化しています。Ordered Target Statisticsという独自の手法でリーク無くカテゴリをエンコードします。カテゴリ特徴量が多いデータセットでは非常に強力です。3つとも試してベストを選ぶのが理想的です。