01Overall Concept
ไอเดียหลัก — Gradient Boosting สร้าง additive model แบบลำดับ โดยต้นไม้ใหม่ประมาณ negative gradient ของ loss แล้วเพิ่มเข้าคำทำนายเดิมด้วย learning rate
ลองนึกภาพว่า — เหมือนร่างภาพทีละชั้น ชั้นแรกวางรูปใหญ่ ส่วนชั้นต่อ ๆ มาเติมรายละเอียดเฉพาะจุดที่ภาพรวมยังคลาดเคลื่อน
ตัวอย่างการนำไปใช้ — จำแนกและพยากรณ์ข้อมูลตารางที่มีความสัมพันธ์ไม่เป็นเส้นตรงและ interaction
02อธิบายภาษาคนเข้าใจง่ายๆ
Gradient Boosting เริ่มจากคำถามง่าย ๆ ว่า เพิ่มต้นไม้ทีละต้นเพื่อแก้ทิศทางความผิดพลาดของชุดปัจจุบัน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนร่างภาพทีละชั้น ชั้นแรกวางรูปใหญ่ ส่วนชั้นต่อ ๆ มาเติมรายละเอียดเฉพาะจุดที่ภาพรวมยังคลาดเคลื่อน ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Gradient Boosting สร้าง additive model แบบลำดับ โดยต้นไม้ใหม่ประมาณ negative gradient ของ loss แล้วเพิ่มเข้าคำทำนายเดิมด้วย learning rate พารามิเตอร์หลักใน Playground คือ Learning rate เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ข้อมูล 3 คลาส · 80 shallow trees เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น จำแนกและพยากรณ์ข้อมูลตารางที่มีความสัมพันธ์ไม่เป็นเส้นตรงและ interaction ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: learning rate เล็กมักต้องใช้ต้นไม้มากขึ้น พร้อมจำข้อจำกัดสำคัญว่า learning rate จำนวนต้นไม้ และความลึกสัมพันธ์กันมาก หากไม่ใช้ validation หรือ early stopping โมเดลอาจ overfit
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
X กับ target และ loss ที่อนุพันธ์ได้ตามโจทย์ ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ learning_rate เพื่อควบคุม contribution ของต้นไม้ใหม่ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
เริ่มจากค่าคงที่ที่ลด loss ได้ดี จากนั้น ฝึกต้นไม้กับ negative gradient ของ loss Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
เพิ่มคำทำนายใหม่เข้าชุดเดิมตาม learning rate ผลที่ได้คือ คลาสหรือค่าทำนายและ staged predictions ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ learning_rate ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า learning rate จำนวนต้นไม้ และความลึกสัมพันธ์กันมาก หากไม่ใช้ validation หรือ early stopping โมเดลอาจ overfit
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
learning_raten_estimatorsmax_depthข้อมูลที่รับเข้ามา
X กับ target และ loss ที่อนุพันธ์ได้ตามโจทย์
ข้อมูล 3 คลาส · 80 shallow treesพารามิเตอร์ที่ใช้
- learning_rate
- ควบคุม contribution ของต้นไม้ใหม่
- n_estimators
- กำหนดจำนวน boosting stages
- max_depth
- ควบคุม interaction ที่ต้นไม้แต่ละต้นเรียนได้
ผลลัพธ์ที่ได้
คลาสหรือค่าทำนายและ staged predictions
learning rate เล็กมักต้องใช้ต้นไม้มากขึ้นคำนวณทีละขั้น
- 01
เริ่มจากค่าคงที่ที่ลด loss ได้ดี
- 02
ฝึกต้นไม้กับ negative gradient ของ loss
- 03
เพิ่มคำทำนายใหม่เข้าชุดเดิมตาม learning rate
ควรรู้อีกนิด — learning rate จำนวนต้นไม้ และความลึกสัมพันธ์กันมาก หากไม่ใช้ validation หรือ early stopping โมเดลอาจ overfit
04Make it yours
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("gradient-boosting-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] y = data[:, 2].astype(int)from sklearn.ensemble import AdaBoostClassifier, GradientBoostingClassifier, VotingClassifier, StackingClassifier, BaggingClassifierfrom sklearn.linear_model import LogisticRegressionfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.2, stratify=y, random_state=42)model = GradientBoostingClassifier(n_estimators=80, learning_rate=0.1, max_depth=2, random_state=42)model.fit(X_train, y_train)pred = model.predict(X_test)print("Test accuracy:", accuracy_score(y_test, pred))print("Predictions:", pred[:10])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ปรับ Learning rate แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง