01Overall Concept
ไอเดียหลัก — AdaBoost ฝึก weak learners ต่อกัน โดยเพิ่มน้ำหนักให้ตัวอย่างที่จำแนกผิดและรวมคำตอบของผู้เรียนแต่ละตัวตามความน่าเชื่อถือ
ลองนึกภาพว่า — เหมือนติวข้อสอบหลายรอบ แต่ละรอบวงข้อที่ยังผิดให้เด่นขึ้น ครูรอบต่อไปจึงเน้นจุดอ่อนเดิมมากกว่าเนื้อหาที่ทำได้แล้ว
ตัวอย่างการนำไปใช้ — จำแนกข้อมูลตารางเมื่อ decision stump หลายตัวช่วยกันสร้างขอบเขตที่ซับซ้อนขึ้น
02อธิบายภาษาคนเข้าใจง่ายๆ
AdaBoost เริ่มจากคำถามง่าย ๆ ว่า ให้โมเดลตัวถัดไปสนใจตัวอย่างที่ชุดก่อนทายผิดมากขึ้น วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนติวข้อสอบหลายรอบ แต่ละรอบวงข้อที่ยังผิดให้เด่นขึ้น ครูรอบต่อไปจึงเน้นจุดอ่อนเดิมมากกว่าเนื้อหาที่ทำได้แล้ว ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
AdaBoost ฝึก weak learners ต่อกัน โดยเพิ่มน้ำหนักให้ตัวอย่างที่จำแนกผิดและรวมคำตอบของผู้เรียนแต่ละตัวตามความน่าเชื่อถือ พารามิเตอร์หลักใน Playground คือ จำนวน weak learners เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ข้อมูล 3 คลาส · decision stumps หลายตัว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น จำแนกข้อมูลตารางเมื่อ decision stump หลายตัวช่วยกันสร้างขอบเขตที่ซับซ้อนขึ้น ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: ตัวอย่างยากมีอิทธิพลต่อ learner รอบถัดไปมากขึ้น พร้อมจำข้อจำกัดสำคัญว่า ไวต่อ label noise และ outlier เพราะตัวอย่างที่ผิดซ้ำจะมีน้ำหนักสูง จำนวนรอบมากไม่ได้รับประกันว่าผลบนข้อมูลใหม่จะดีขึ้น
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
X และ label พร้อม sample weight ที่เปลี่ยนทุก boosting round ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ n_estimators เพื่อกำหนดจำนวน boosting rounds และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
ฝึก weak learner ด้วยน้ำหนักตัวอย่างปัจจุบัน จากนั้น เพิ่มน้ำหนักของตัวอย่างที่ทายผิด Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
รวมผู้เรียนด้วย weighted vote ผลที่ได้คือ คลาส ความน่าจะเป็น และน้ำหนักของ estimators ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ n_estimators ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ไวต่อ label noise และ outlier เพราะตัวอย่างที่ผิดซ้ำจะมีน้ำหนักสูง จำนวนรอบมากไม่ได้รับประกันว่าผลบนข้อมูลใหม่จะดีขึ้น
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
n_estimatorslearning_rateestimatorข้อมูลที่รับเข้ามา
X และ label พร้อม sample weight ที่เปลี่ยนทุก boosting round
ข้อมูล 3 คลาส · decision stumps หลายตัวพารามิเตอร์ที่ใช้
- n_estimators
- กำหนดจำนวน boosting rounds
- learning_rate
- ลดหรือเพิ่มน้ำหนัก contribution ของแต่ละ learner
- estimator
- เลือก weak learner พื้นฐาน
ผลลัพธ์ที่ได้
คลาส ความน่าจะเป็น และน้ำหนักของ estimators
ตัวอย่างยากมีอิทธิพลต่อ learner รอบถัดไปมากขึ้นคำนวณทีละขั้น
- 01
ฝึก weak learner ด้วยน้ำหนักตัวอย่างปัจจุบัน
- 02
เพิ่มน้ำหนักของตัวอย่างที่ทายผิด
- 03
รวมผู้เรียนด้วย weighted vote
ควรรู้อีกนิด — ไวต่อ label noise และ outlier เพราะตัวอย่างที่ผิดซ้ำจะมีน้ำหนักสูง จำนวนรอบมากไม่ได้รับประกันว่าผลบนข้อมูลใหม่จะดีขึ้น
04Make it yours
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("adaboost-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] y = data[:, 2].astype(int)from sklearn.ensemble import AdaBoostClassifier, GradientBoostingClassifier, VotingClassifier, StackingClassifier, BaggingClassifierfrom sklearn.linear_model import LogisticRegressionfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.2, stratify=y, random_state=42)model = AdaBoostClassifier(n_estimators=40, learning_rate=.6, random_state=42)model.fit(X_train, y_train)pred = model.predict(X_test)print("Test accuracy:", accuracy_score(y_test, pred))print("Predictions:", pred[:10])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ปรับ จำนวน weak learners แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง