ml/ library Learn by doing
ALGORITHM 55 · PYTHON / JAVASCRIPT

Gradient Boosting

เพิ่มต้นไม้ทีละต้นเพื่อแก้ทิศทางความผิดพลาดของชุดปัจจุบัน

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · Decision Tree Regression Tree และ residual
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Gradient Boosting สร้าง additive model แบบลำดับ โดยต้นไม้ใหม่ประมาณ negative gradient ของ loss แล้วเพิ่มเข้าคำทำนายเดิมด้วย learning rate

ลองนึกภาพว่า — เหมือนร่างภาพทีละชั้น ชั้นแรกวางรูปใหญ่ ส่วนชั้นต่อ ๆ มาเติมรายละเอียดเฉพาะจุดที่ภาพรวมยังคลาดเคลื่อน

ตัวอย่างการนำไปใช้ — จำแนกและพยากรณ์ข้อมูลตารางที่มีความสัมพันธ์ไม่เป็นเส้นตรงและ interaction

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Gradient Boosting เริ่มจากคำถามง่าย ๆ ว่า เพิ่มต้นไม้ทีละต้นเพื่อแก้ทิศทางความผิดพลาดของชุดปัจจุบัน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนร่างภาพทีละชั้น ชั้นแรกวางรูปใหญ่ ส่วนชั้นต่อ ๆ มาเติมรายละเอียดเฉพาะจุดที่ภาพรวมยังคลาดเคลื่อน ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Gradient Boosting สร้าง additive model แบบลำดับ โดยต้นไม้ใหม่ประมาณ negative gradient ของ loss แล้วเพิ่มเข้าคำทำนายเดิมด้วย learning rate พารามิเตอร์หลักใน Playground คือ Learning rate เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ข้อมูล 3 คลาส · 80 shallow trees เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น จำแนกและพยากรณ์ข้อมูลตารางที่มีความสัมพันธ์ไม่เป็นเส้นตรงและ interaction ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: learning rate เล็กมักต้องใช้ต้นไม้มากขึ้น พร้อมจำข้อจำกัดสำคัญว่า learning rate จำนวนต้นไม้ และความลึกสัมพันธ์กันมาก หากไม่ใช้ validation หรือ early stopping โมเดลอาจ overfit

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    X กับ target และ loss ที่อนุพันธ์ได้ตามโจทย์ ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ learning_rate เพื่อควบคุม contribution ของต้นไม้ใหม่ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    เริ่มจากค่าคงที่ที่ลด loss ได้ดี จากนั้น ฝึกต้นไม้กับ negative gradient ของ loss Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    เพิ่มคำทำนายใหม่เข้าชุดเดิมตาม learning rate ผลที่ได้คือ คลาสหรือค่าทำนายและ staged predictions ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ learning_rate ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า learning rate จำนวนต้นไม้ และความลึกสัมพันธ์กันมาก หากไม่ใช้ validation หรือ early stopping โมเดลอาจ overfit

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetข้อมูล 3 คลาส · 80 shallow trees
CALCULATEGradient Boosting
learning_raten_estimatorsmax_depth
RESULT0.800.150.05class / probabilitylearning rate เล็กมักต้องใช้ต้นไม้มากขึ้น
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

X กับ target และ loss ที่อนุพันธ์ได้ตามโจทย์

ข้อมูล 3 คลาส · 80 shallow trees
PARAMETERS

พารามิเตอร์ที่ใช้

learning_rate
ควบคุม contribution ของต้นไม้ใหม่
n_estimators
กำหนดจำนวน boosting stages
max_depth
ควบคุม interaction ที่ต้นไม้แต่ละต้นเรียนได้
OUTPUT

ผลลัพธ์ที่ได้

คลาสหรือค่าทำนายและ staged predictions

learning rate เล็กมักต้องใช้ต้นไม้มากขึ้น
CALCULATION

คำนวณทีละขั้น

  1. 01

    เริ่มจากค่าคงที่ที่ลด loss ได้ดี

  2. 02

    ฝึกต้นไม้กับ negative gradient ของ loss

  3. 03

    เพิ่มคำทำนายใหม่เข้าชุดเดิมตาม learning rate

ควรรู้อีกนิด — learning rate จำนวนต้นไม้ และความลึกสัมพันธ์กันมาก หากไม่ใช้ validation หรือ early stopping โมเดลอาจ overfit

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("gradient-boosting-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] y = data[:, 2].astype(int)from sklearn.ensemble import AdaBoostClassifier, GradientBoostingClassifier, VotingClassifier, StackingClassifier, BaggingClassifierfrom sklearn.linear_model import LogisticRegressionfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.2, stratify=y, random_state=42)model = GradientBoostingClassifier(n_estimators=80, learning_rate=0.1, max_depth=2, random_state=42)model.fit(X_train, y_train)pred = model.predict(X_test)print("Test accuracy:", accuracy_score(y_test, pred))print("Predictions:", pred[:10])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ Learning rate แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample dataset / Three classes● คำนวณใหม่เมื่อปรับค่า
ขนาดก้าวของต้นไม้แต่ละต้น
พื้นที่สีคือคำทำนาย จุดคือคำตอบจริงFeature x → · Feature y ↑ · ขอบเข้ม = ชุดทดสอบ
Test accuracy100.0%
สมาชิกจำลอง3 learners
พารามิเตอร์ที่ลอง0.10

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง