ml/ library Learn by doing
ALGORITHM 54 · PYTHON / JAVASCRIPT

AdaBoost

ให้โมเดลตัวถัดไปสนใจตัวอย่างที่ชุดก่อนทายผิดมากขึ้น

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · Decision Tree weighted error และ iterative learning
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — AdaBoost ฝึก weak learners ต่อกัน โดยเพิ่มน้ำหนักให้ตัวอย่างที่จำแนกผิดและรวมคำตอบของผู้เรียนแต่ละตัวตามความน่าเชื่อถือ

ลองนึกภาพว่า — เหมือนติวข้อสอบหลายรอบ แต่ละรอบวงข้อที่ยังผิดให้เด่นขึ้น ครูรอบต่อไปจึงเน้นจุดอ่อนเดิมมากกว่าเนื้อหาที่ทำได้แล้ว

ตัวอย่างการนำไปใช้ — จำแนกข้อมูลตารางเมื่อ decision stump หลายตัวช่วยกันสร้างขอบเขตที่ซับซ้อนขึ้น

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

AdaBoost เริ่มจากคำถามง่าย ๆ ว่า ให้โมเดลตัวถัดไปสนใจตัวอย่างที่ชุดก่อนทายผิดมากขึ้น วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนติวข้อสอบหลายรอบ แต่ละรอบวงข้อที่ยังผิดให้เด่นขึ้น ครูรอบต่อไปจึงเน้นจุดอ่อนเดิมมากกว่าเนื้อหาที่ทำได้แล้ว ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

AdaBoost ฝึก weak learners ต่อกัน โดยเพิ่มน้ำหนักให้ตัวอย่างที่จำแนกผิดและรวมคำตอบของผู้เรียนแต่ละตัวตามความน่าเชื่อถือ พารามิเตอร์หลักใน Playground คือ จำนวน weak learners เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ข้อมูล 3 คลาส · decision stumps หลายตัว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น จำแนกข้อมูลตารางเมื่อ decision stump หลายตัวช่วยกันสร้างขอบเขตที่ซับซ้อนขึ้น ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: ตัวอย่างยากมีอิทธิพลต่อ learner รอบถัดไปมากขึ้น พร้อมจำข้อจำกัดสำคัญว่า ไวต่อ label noise และ outlier เพราะตัวอย่างที่ผิดซ้ำจะมีน้ำหนักสูง จำนวนรอบมากไม่ได้รับประกันว่าผลบนข้อมูลใหม่จะดีขึ้น

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    X และ label พร้อม sample weight ที่เปลี่ยนทุก boosting round ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ n_estimators เพื่อกำหนดจำนวน boosting rounds และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    ฝึก weak learner ด้วยน้ำหนักตัวอย่างปัจจุบัน จากนั้น เพิ่มน้ำหนักของตัวอย่างที่ทายผิด Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    รวมผู้เรียนด้วย weighted vote ผลที่ได้คือ คลาส ความน่าจะเป็น และน้ำหนักของ estimators ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ n_estimators ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ไวต่อ label noise และ outlier เพราะตัวอย่างที่ผิดซ้ำจะมีน้ำหนักสูง จำนวนรอบมากไม่ได้รับประกันว่าผลบนข้อมูลใหม่จะดีขึ้น

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetข้อมูล 3 คลาส · decision stumps หลายตัว
CALCULATEAdaBoost
n_estimatorslearning_rateestimator
RESULT0.800.150.05class / probabilityตัวอย่างยากมีอิทธิพลต่อ learner รอบถัดไปมากขึ้น
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

X และ label พร้อม sample weight ที่เปลี่ยนทุก boosting round

ข้อมูล 3 คลาส · decision stumps หลายตัว
PARAMETERS

พารามิเตอร์ที่ใช้

n_estimators
กำหนดจำนวน boosting rounds
learning_rate
ลดหรือเพิ่มน้ำหนัก contribution ของแต่ละ learner
estimator
เลือก weak learner พื้นฐาน
OUTPUT

ผลลัพธ์ที่ได้

คลาส ความน่าจะเป็น และน้ำหนักของ estimators

ตัวอย่างยากมีอิทธิพลต่อ learner รอบถัดไปมากขึ้น
CALCULATION

คำนวณทีละขั้น

  1. 01

    ฝึก weak learner ด้วยน้ำหนักตัวอย่างปัจจุบัน

  2. 02

    เพิ่มน้ำหนักของตัวอย่างที่ทายผิด

  3. 03

    รวมผู้เรียนด้วย weighted vote

ควรรู้อีกนิด — ไวต่อ label noise และ outlier เพราะตัวอย่างที่ผิดซ้ำจะมีน้ำหนักสูง จำนวนรอบมากไม่ได้รับประกันว่าผลบนข้อมูลใหม่จะดีขึ้น

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("adaboost-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] y = data[:, 2].astype(int)from sklearn.ensemble import AdaBoostClassifier, GradientBoostingClassifier, VotingClassifier, StackingClassifier, BaggingClassifierfrom sklearn.linear_model import LogisticRegressionfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.2, stratify=y, random_state=42)model = AdaBoostClassifier(n_estimators=40, learning_rate=.6, random_state=42)model.fit(X_train, y_train)pred = model.predict(X_test)print("Test accuracy:", accuracy_score(y_test, pred))print("Predictions:", pred[:10])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ จำนวน weak learners แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample dataset / Three classes● คำนวณใหม่เมื่อปรับค่า
จำนวนรอบที่เพิ่มผู้เรียนใหม่เข้าชุด
พื้นที่สีคือคำทำนาย จุดคือคำตอบจริงFeature x → · Feature y ↑ · ขอบเข้ม = ชุดทดสอบ
Test accuracy100.0%
สมาชิกจำลอง40 learners
พารามิเตอร์ที่ลอง40

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง