01Overall Concept
ไอเดียหลัก — XGBoost เพิ่มต้นไม้ทีละต้นจาก gradient และ Hessian ของ loss พร้อม regularization, shrinkage และ subsampling จึงเป็น boosting ที่เร็วและคุม overfitting ได้ละเอียด
ลองนึกภาพว่า — เหมือนทีมแก้ข้อสอบที่สมาชิกใหม่เน้นแก้จุดผิดเดิม แต่ต้องเสียค่าปรับถ้าสร้างกฎซับซ้อนเกินไป
ตัวอย่างการนำไปใช้ — ข้อมูลตาราง การแข่งขัน ML การจัดอันดับ และงานจำแนกหรือ regression
02อธิบายภาษาคนเข้าใจง่ายๆ
XGBoost เริ่มจากคำถามง่าย ๆ ว่า ต่อยอดต้นไม้ด้วย gradient ลำดับสองและค่าปรับความซับซ้อน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนทีมแก้ข้อสอบที่สมาชิกใหม่เน้นแก้จุดผิดเดิม แต่ต้องเสียค่าปรับถ้าสร้างกฎซับซ้อนเกินไป ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
XGBoost เพิ่มต้นไม้ทีละต้นจาก gradient และ Hessian ของ loss พร้อม regularization, shrinkage และ subsampling จึงเป็น boosting ที่เร็วและคุม overfitting ได้ละเอียด พารามิเตอร์หลักใน Playground คือ ความลึกต้นไม้ เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix และ target พร้อมค่า missing ที่ระบุชัด · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น ข้อมูลตาราง การแข่งขัน ML การจัดอันดับ และงานจำแนกหรือ regression ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: ค่าทำนาย importance และ ensemble ของต้นไม้ · Playground แสดงผลเมื่อปรับ ความลึกต้นไม้ พร้อมจำข้อจำกัดสำคัญว่า ค่าปรับสัมพันธ์กันหลายตัวและความสำคัญของ feature ไม่ใช่เหตุผลเชิงสาเหตุ
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
feature matrix และ target พร้อมค่า missing ที่ระบุชัด ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ max_depth เพื่อคุมความซับซ้อนของ weak learner แต่ละต้น และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
คำนวณ gradient และ Hessian ของ loss จากนั้น เลือก split จาก gain หลังหัก regularization Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
เพิ่มต้นไม้ด้วย learning rate แล้วทำซ้ำ ผลที่ได้คือ ค่าทำนาย importance และ ensemble ของต้นไม้ ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ max_depth ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ค่าปรับสัมพันธ์กันหลายตัวและความสำคัญของ feature ไม่ใช่เหตุผลเชิงสาเหตุ
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
max_depthrandom_statevalidationข้อมูลที่รับเข้ามา
feature matrix และ target พร้อมค่า missing ที่ระบุชัด
feature matrix และ target พร้อมค่า missing ที่ระบุชัด · ตัวอย่าง 60–150 แถวพารามิเตอร์ที่ใช้
- max_depth
- คุมความซับซ้อนของ weak learner แต่ละต้น
- random_state
- ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
- validation
- เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
ผลลัพธ์ที่ได้
ค่าทำนาย importance และ ensemble ของต้นไม้
ค่าทำนาย importance และ ensemble ของต้นไม้ · Playground แสดงผลเมื่อปรับ ความลึกต้นไม้คำนวณทีละขั้น
- 01
คำนวณ gradient และ Hessian ของ loss
- 02
เลือก split จาก gain หลังหัก regularization
- 03
เพิ่มต้นไม้ด้วย learning rate แล้วทำซ้ำ
ควรรู้อีกนิด — ค่าปรับสัมพันธ์กันหลายตัวและความสำคัญของ feature ไม่ใช่เหตุผลเชิงสาเหตุ
04Make it yours
# ติดตั้ง: pip install numpy scikit-learn xgboost# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("xgboost-sample.csv", delimiter=",", skip_header=1)from xgboost import XGBClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scoreX, y = data[:, :2], data[:, 2].astype(int)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.25, stratify=y, random_state=42)model = XGBClassifier(max_depth=4, n_estimators=80, learning_rate=.08, random_state=42); model.fit(X_train, y_train)print("Accuracy:", accuracy_score(y_test, model.predict(X_test)))โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ความลึกของต้นไม้แต่ละต้นเพิ่ม interaction และ overfit อย่างไร?
ต้นไม้แต่ละต้นแก้ residual ของ ensemble ก่อนหน้าแล้วถูกรวมด้วย learning rate
กฎในแต่ละต้นซับซ้อนขึ้นและแก้ training error ได้เร็วขึ้น
ดูว่าความแม่นเพิ่มจริงหรือเพียงจำนวนใบและความซับซ้อนเพิ่ม
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ XGBoost จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง