ml/ library Learn by doing
ALGORITHM 90 · PYTHON / JAVASCRIPT

LightGBM

แบ่งค่าลง histogram และขยายใบที่ลด loss ได้มากที่สุด

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · Gradient Boosting, histogram และ leaf-wise growth
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — LightGBM ใช้ histogram-based splits และเติบโตแบบ leaf-wise ทำให้ฝึกเร็วบนข้อมูลใหญ่ พร้อมรองรับ categorical features และการสุ่มข้อมูล

ลองนึกภาพว่า — เหมือนจัดคะแนนลงกล่องช่วงแทนอ่านทุกค่า แล้วทุ่มแรงขยายกิ่งที่ยังผิดมากที่สุด

ตัวอย่างการนำไปใช้ — ข้อมูลตารางขนาดใหญ่ ranking และระบบที่ต้องฝึก boosting เร็ว

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

LightGBM เริ่มจากคำถามง่าย ๆ ว่า แบ่งค่าลง histogram และขยายใบที่ลด loss ได้มากที่สุด วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนจัดคะแนนลงกล่องช่วงแทนอ่านทุกค่า แล้วทุ่มแรงขยายกิ่งที่ยังผิดมากที่สุด ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

LightGBM ใช้ histogram-based splits และเติบโตแบบ leaf-wise ทำให้ฝึกเร็วบนข้อมูลใหญ่ พร้อมรองรับ categorical features และการสุ่มข้อมูล พารามิเตอร์หลักใน Playground คือ จำนวนใบสูงสุด เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ตาราง feature ขนาดใหญ่ รวม categorical features ที่เข้ารหัสเหมาะสม · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ข้อมูลตารางขนาดใหญ่ ranking และระบบที่ต้องฝึก boosting เร็ว ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: ค่าทำนายและ ensemble แบบ histogram trees · Playground แสดงผลเมื่อปรับ จำนวนใบสูงสุด พร้อมจำข้อจำกัดสำคัญว่า leaf-wise tree overfit ได้เมื่อข้อมูลน้อย จึงต้องคุม num_leaves, min_data_in_leaf และ depth

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    ตาราง feature ขนาดใหญ่ รวม categorical features ที่เข้ารหัสเหมาะสม ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ num_leaves เพื่อควบคุมความจุของต้นไม้แบบ leaf-wise และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    bin ค่าต่อเนื่องเป็น histogram จากนั้น ประเมิน gain ของ split จากผลรวม gradient ใน bin Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ขยายใบที่ gain สูงสุดและเพิ่มต้นไม้ ผลที่ได้คือ ค่าทำนายและ ensemble แบบ histogram trees ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ num_leaves ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า leaf-wise tree overfit ได้เมื่อข้อมูลน้อย จึงต้องคุม num_leaves, min_data_in_leaf และ depth

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetตาราง feature ขนาดใหญ่ รวม categorical features ที่เข้ารหัสเหมาะสม · ตัวอย่าง 60–150 แถว
CALCULATELightGBM
num_leavesrandom_statevalidation
RESULT0.800.150.05class / probabilityค่าทำนายและ ensemble แบบ histogram trees · Playground แสดงผลเมื่อปรับ จำนวนใบสูงสุด
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

ตาราง feature ขนาดใหญ่ รวม categorical features ที่เข้ารหัสเหมาะสม

ตาราง feature ขนาดใหญ่ รวม categorical features ที่เข้ารหัสเหมาะสม · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

num_leaves
ควบคุมความจุของต้นไม้แบบ leaf-wise
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

ค่าทำนายและ ensemble แบบ histogram trees

ค่าทำนายและ ensemble แบบ histogram trees · Playground แสดงผลเมื่อปรับ จำนวนใบสูงสุด
CALCULATION

คำนวณทีละขั้น

  1. 01

    bin ค่าต่อเนื่องเป็น histogram

  2. 02

    ประเมิน gain ของ split จากผลรวม gradient ใน bin

  3. 03

    ขยายใบที่ gain สูงสุดและเพิ่มต้นไม้

ควรรู้อีกนิด — leaf-wise tree overfit ได้เมื่อข้อมูลน้อย จึงต้องคุม num_leaves, min_data_in_leaf และ depth

04Make it yours

Python · LightGBM
# ติดตั้ง: pip install numpy scikit-learn lightgbm# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("lightgbm-sample.csv", delimiter=",", skip_header=1)from lightgbm import LGBMClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scoreX, y = data[:, :2], data[:, 2].astype(int)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.25, stratify=y, random_state=42)model = LGBMClassifier(num_leaves=24, n_estimators=80, learning_rate=.08, random_state=42, verbose=-1); model.fit(X_train, y_train)print("Accuracy:", accuracy_score(y_test, model.predict(X_test)))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

จำนวนใบของ tree แบบ leaf-wise ควรหยุดตรงไหน?

LightGBM / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
ควบคุมความจุของต้นไม้แบบ leaf-wise
ดูภาพอย่างไร

กิ่งที่มี gain สูงสุดถูกขยายก่อน ไม่ได้โตทุกระดับพร้อมกัน

เมื่อเพิ่มค่า

โมเดลแบ่งพื้นที่ละเอียดขึ้น โดยเฉพาะบริเวณที่ผิดมาก

ลองเปรียบเทียบ

ดูใบที่มีข้อมูลน้อย เพราะเป็นสัญญาณของ overfit

Σ trees × learning rateensemble prediction แก้ residual ทีละรอบ4 weak learners ในภาพแนวคิด
Test accuracy63.3%
จำนวนใบ24
พารามิเตอร์ที่ลอง24

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ LightGBM จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง