ml/ library Learn by doing
ALGORITHM 89 · PYTHON / JAVASCRIPT

XGBoost

ต่อยอดต้นไม้ด้วย gradient ลำดับสองและค่าปรับความซับซ้อน

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · Gradient Boosting, regularization และ tree split
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — XGBoost เพิ่มต้นไม้ทีละต้นจาก gradient และ Hessian ของ loss พร้อม regularization, shrinkage และ subsampling จึงเป็น boosting ที่เร็วและคุม overfitting ได้ละเอียด

ลองนึกภาพว่า — เหมือนทีมแก้ข้อสอบที่สมาชิกใหม่เน้นแก้จุดผิดเดิม แต่ต้องเสียค่าปรับถ้าสร้างกฎซับซ้อนเกินไป

ตัวอย่างการนำไปใช้ — ข้อมูลตาราง การแข่งขัน ML การจัดอันดับ และงานจำแนกหรือ regression

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

XGBoost เริ่มจากคำถามง่าย ๆ ว่า ต่อยอดต้นไม้ด้วย gradient ลำดับสองและค่าปรับความซับซ้อน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนทีมแก้ข้อสอบที่สมาชิกใหม่เน้นแก้จุดผิดเดิม แต่ต้องเสียค่าปรับถ้าสร้างกฎซับซ้อนเกินไป ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

XGBoost เพิ่มต้นไม้ทีละต้นจาก gradient และ Hessian ของ loss พร้อม regularization, shrinkage และ subsampling จึงเป็น boosting ที่เร็วและคุม overfitting ได้ละเอียด พารามิเตอร์หลักใน Playground คือ ความลึกต้นไม้ เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix และ target พร้อมค่า missing ที่ระบุชัด · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ข้อมูลตาราง การแข่งขัน ML การจัดอันดับ และงานจำแนกหรือ regression ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: ค่าทำนาย importance และ ensemble ของต้นไม้ · Playground แสดงผลเมื่อปรับ ความลึกต้นไม้ พร้อมจำข้อจำกัดสำคัญว่า ค่าปรับสัมพันธ์กันหลายตัวและความสำคัญของ feature ไม่ใช่เหตุผลเชิงสาเหตุ

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    feature matrix และ target พร้อมค่า missing ที่ระบุชัด ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ max_depth เพื่อคุมความซับซ้อนของ weak learner แต่ละต้น และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    คำนวณ gradient และ Hessian ของ loss จากนั้น เลือก split จาก gain หลังหัก regularization Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    เพิ่มต้นไม้ด้วย learning rate แล้วทำซ้ำ ผลที่ได้คือ ค่าทำนาย importance และ ensemble ของต้นไม้ ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ max_depth ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ค่าปรับสัมพันธ์กันหลายตัวและความสำคัญของ feature ไม่ใช่เหตุผลเชิงสาเหตุ

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetfeature matrix และ target พร้อมค่า missing ที่ระบุชัด · ตัวอย่าง 60–150 แถว
CALCULATEXGBoost
max_depthrandom_statevalidation
RESULT0.800.150.05class / probabilityค่าทำนาย importance และ ensemble ของต้นไม้ · Playground แสดงผลเมื่อปรับ ความลึกต้นไม้
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

feature matrix และ target พร้อมค่า missing ที่ระบุชัด

feature matrix และ target พร้อมค่า missing ที่ระบุชัด · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

max_depth
คุมความซับซ้อนของ weak learner แต่ละต้น
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

ค่าทำนาย importance และ ensemble ของต้นไม้

ค่าทำนาย importance และ ensemble ของต้นไม้ · Playground แสดงผลเมื่อปรับ ความลึกต้นไม้
CALCULATION

คำนวณทีละขั้น

  1. 01

    คำนวณ gradient และ Hessian ของ loss

  2. 02

    เลือก split จาก gain หลังหัก regularization

  3. 03

    เพิ่มต้นไม้ด้วย learning rate แล้วทำซ้ำ

ควรรู้อีกนิด — ค่าปรับสัมพันธ์กันหลายตัวและความสำคัญของ feature ไม่ใช่เหตุผลเชิงสาเหตุ

04Make it yours

Python · XGBoost
# ติดตั้ง: pip install numpy scikit-learn xgboost# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("xgboost-sample.csv", delimiter=",", skip_header=1)from xgboost import XGBClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scoreX, y = data[:, :2], data[:, 2].astype(int)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.25, stratify=y, random_state=42)model = XGBClassifier(max_depth=4, n_estimators=80, learning_rate=.08, random_state=42); model.fit(X_train, y_train)print("Accuracy:", accuracy_score(y_test, model.predict(X_test)))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ความลึกของต้นไม้แต่ละต้นเพิ่ม interaction และ overfit อย่างไร?

XGBoost / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
คุมความซับซ้อนของ weak learner แต่ละต้น
ดูภาพอย่างไร

ต้นไม้แต่ละต้นแก้ residual ของ ensemble ก่อนหน้าแล้วถูกรวมด้วย learning rate

เมื่อเพิ่มค่า

กฎในแต่ละต้นซับซ้อนขึ้นและแก้ training error ได้เร็วขึ้น

ลองเปรียบเทียบ

ดูว่าความแม่นเพิ่มจริงหรือเพียงจำนวนใบและความซับซ้อนเพิ่ม

Σ trees × learning rateensemble prediction แก้ residual ทีละรอบ4 weak learners ในภาพแนวคิด
Test accuracy70.0%
ความลึกต้นไม้4
พารามิเตอร์ที่ลอง4

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ XGBoost จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง