ml/ library Learn by doing
ALGORITHM 56 · PYTHON / JAVASCRIPT

Voting Ensemble

รวมคำตอบจากโมเดลหลายชนิดด้วยเสียงข้างมากหรือค่าเฉลี่ยความน่าจะเป็น

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · โมเดล Classification อย่างน้อยสองแบบ
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Voting Ensemble ฝึกโมเดลฐานหลายแบบแบบขนาน แล้วใช้ hard vote จาก label หรือ soft vote จาก probability เพื่อลดความเสี่ยงจากจุดอ่อนของโมเดลใดโมเดลหนึ่ง

ลองนึกภาพว่า — เหมือนให้ผู้เชี่ยวชาญต่างสาขาโหวตคำตอบ แล้วเลือกเสียงส่วนใหญ่แทนการเชื่อคนเดียวทุกกรณี

ตัวอย่างการนำไปใช้ — รวม linear model ต้นไม้ และ nearest neighbors เมื่อแต่ละวิธีทำได้ดีใกล้เคียงกัน

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Voting Ensemble เริ่มจากคำถามง่าย ๆ ว่า รวมคำตอบจากโมเดลหลายชนิดด้วยเสียงข้างมากหรือค่าเฉลี่ยความน่าจะเป็น วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนให้ผู้เชี่ยวชาญต่างสาขาโหวตคำตอบ แล้วเลือกเสียงส่วนใหญ่แทนการเชื่อคนเดียวทุกกรณี ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Voting Ensemble ฝึกโมเดลฐานหลายแบบแบบขนาน แล้วใช้ hard vote จาก label หรือ soft vote จาก probability เพื่อลดความเสี่ยงจากจุดอ่อนของโมเดลใดโมเดลหนึ่ง พารามิเตอร์หลักใน Playground คือ น้ำหนักโมเดลต้นไม้ เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ Logistic Regression + KNN + Decision Tree เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น รวม linear model ต้นไม้ และ nearest neighbors เมื่อแต่ละวิธีทำได้ดีใกล้เคียงกัน ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: soft vote = ค่าเฉลี่ย probability แบบถ่วงน้ำหนัก พร้อมจำข้อจำกัดสำคัญว่า สมาชิกที่พลาดคล้ายกันไม่ได้สร้างความหลากหลาย และ soft voting ต้องใช้ probability ที่ calibration เหมาะสม

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    X และ label ชุดเดียวกันสำหรับโมเดลฐานทุกตัว ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ tree_weight เพื่อกำหนดอิทธิพลของสมาชิกต้นไม้ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    ฝึกโมเดลฐานแต่ละตัวบนข้อมูลเดียวกัน จากนั้น รวบรวม label หรือ probability ของสมาชิก Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    รวมคะแนนตามน้ำหนักแล้วเลือกคลาสสูงสุด ผลที่ได้คือ ผลโหวต คลาสสุดท้าย และ probability เฉลี่ย ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ tree_weight ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า สมาชิกที่พลาดคล้ายกันไม่ได้สร้างความหลากหลาย และ soft voting ต้องใช้ probability ที่ calibration เหมาะสม

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetLogistic Regression + KNN + Decision Tree
CALCULATEVoting Ensemble
tree_weightvotingweights
RESULT0.800.150.05class / probabilitysoft vote = ค่าเฉลี่ย probability แบบถ่วงน้ำหนัก
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

X และ label ชุดเดียวกันสำหรับโมเดลฐานทุกตัว

Logistic Regression + KNN + Decision Tree
PARAMETERS

พารามิเตอร์ที่ใช้

tree_weight
กำหนดอิทธิพลของสมาชิกต้นไม้
voting
เลือก hard label หรือ soft probability
weights
กำหนดความสำคัญสัมพัทธ์ของสมาชิก
OUTPUT

ผลลัพธ์ที่ได้

ผลโหวต คลาสสุดท้าย และ probability เฉลี่ย

soft vote = ค่าเฉลี่ย probability แบบถ่วงน้ำหนัก
CALCULATION

คำนวณทีละขั้น

  1. 01

    ฝึกโมเดลฐานแต่ละตัวบนข้อมูลเดียวกัน

  2. 02

    รวบรวม label หรือ probability ของสมาชิก

  3. 03

    รวมคะแนนตามน้ำหนักแล้วเลือกคลาสสูงสุด

ควรรู้อีกนิด — สมาชิกที่พลาดคล้ายกันไม่ได้สร้างความหลากหลาย และ soft voting ต้องใช้ probability ที่ calibration เหมาะสม

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("voting-ensemble-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] y = data[:, 2].astype(int)from sklearn.ensemble import AdaBoostClassifier, GradientBoostingClassifier, VotingClassifier, StackingClassifier, BaggingClassifierfrom sklearn.linear_model import LogisticRegressionfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.2, stratify=y, random_state=42)model = VotingClassifier(estimators=[("lr", LogisticRegression(max_iter=1000)), ("knn", KNeighborsClassifier(7)), ("tree", DecisionTreeClassifier(max_depth=4, random_state=42))], voting="soft", weights=[1, 1, 1])model.fit(X_train, y_train)pred = model.predict(X_test)print("Test accuracy:", accuracy_score(y_test, pred))print("Predictions:", pred[:10])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ น้ำหนักโมเดลต้นไม้ แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample dataset / Three classes● คำนวณใหม่เมื่อปรับค่า
เพิ่มหรือลดเสียงของโมเดลต้นไม้ใน soft vote
พื้นที่สีคือคำทำนาย จุดคือคำตอบจริงFeature x → · Feature y ↑ · ขอบเข้ม = ชุดทดสอบ
Test accuracy100.0%
สมาชิกจำลองKNN + centroid + linear
พารามิเตอร์ที่ลอง1.0

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง