01Overall Concept
ไอเดียหลัก — ECOC กำหนด codeword ให้แต่ละคลาส ฝึก binary classifier หนึ่งตัวต่อคอลัมน์ของ code matrix แล้วเลือกคลาสที่รหัสทำนายใกล้ที่สุด
ลองนึกภาพว่า — เหมือนส่งชื่อคลาสเป็นรหัสที่มีบิตสำรอง แม้บิตบางตำแหน่งผิดก็ยังถอดชื่อเดิมได้
ตัวอย่างการนำไปใช้ — จำแนกหลายคลาสด้วยตัวจำแนกฐานแบบ binary และเพิ่มความทนต่อข้อผิดพลาด
02อธิบายภาษาคนเข้าใจง่ายๆ
Error-Correcting Output Codes เริ่มจากคำถามง่าย ๆ ว่า แทนแต่ละคลาสด้วยรหัสหลายบิตเพื่อทนต่อ classifier ที่พลาดบางตัว วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนส่งชื่อคลาสเป็นรหัสที่มีบิตสำรอง แม้บิตบางตำแหน่งผิดก็ยังถอดชื่อเดิมได้ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
ECOC กำหนด codeword ให้แต่ละคลาส ฝึก binary classifier หนึ่งตัวต่อคอลัมน์ของ code matrix แล้วเลือกคลาสที่รหัสทำนายใกล้ที่สุด พารามิเตอร์หลักใน Playground คือ ขนาดรหัสต่อคลาส เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix และ label หลายคลาส · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น จำแนกหลายคลาสด้วยตัวจำแนกฐานแบบ binary และเพิ่มความทนต่อข้อผิดพลาด ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: binary scores, codeword และคลาสทำนาย · Playground แสดงผลเมื่อปรับ ขนาดรหัสต่อคลาส พร้อมจำข้อจำกัดสำคัญว่า รหัสยาวเพิ่มต้นทุนและการสุ่ม code matrix อาจสร้างปัญหา binary ที่ไม่สมดุลหรือยากเกินไป
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
feature matrix และ label หลายคลาส ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ code_size เพื่อกำหนดจำนวน binary problems เทียบกับจำนวนคลาส และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
สุ่ม codeword ที่แตกต่างให้แต่ละคลาส จากนั้น ฝึก binary classifier ต่อบิต Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
เทียบรหัสผลทำนายกับ codeword ทุกคลาส ผลที่ได้คือ binary scores, codeword และคลาสทำนาย ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ code_size ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า รหัสยาวเพิ่มต้นทุนและการสุ่ม code matrix อาจสร้างปัญหา binary ที่ไม่สมดุลหรือยากเกินไป
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
code_sizerandom_statevalidationข้อมูลที่รับเข้ามา
feature matrix และ label หลายคลาส
feature matrix และ label หลายคลาส · ตัวอย่าง 60–150 แถวพารามิเตอร์ที่ใช้
- code_size
- กำหนดจำนวน binary problems เทียบกับจำนวนคลาส
- random_state
- ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
- validation
- เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
ผลลัพธ์ที่ได้
binary scores, codeword และคลาสทำนาย
binary scores, codeword และคลาสทำนาย · Playground แสดงผลเมื่อปรับ ขนาดรหัสต่อคลาสคำนวณทีละขั้น
- 01
สุ่ม codeword ที่แตกต่างให้แต่ละคลาส
- 02
ฝึก binary classifier ต่อบิต
- 03
เทียบรหัสผลทำนายกับ codeword ทุกคลาส
ควรรู้อีกนิด — รหัสยาวเพิ่มต้นทุนและการสุ่ม code matrix อาจสร้างปัญหา binary ที่ไม่สมดุลหรือยากเกินไป
04Make it yours
# ติดตั้ง: pip install numpy scikit-learn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("error-correcting-output-codes-sample.csv", delimiter=",", skip_header=1)from sklearn.multiclass import OutputCodeClassifierfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.pipeline import make_pipelinefrom sklearn.metrics import accuracy_scoreX = data[:, :2]y = data[:, 2].astype(int)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.25, random_state=42, stratify=y)model = make_pipeline(StandardScaler(), OutputCodeClassifier(LogisticRegression(max_iter=1000), code_size=2, random_state=42))model.fit(X_train, y_train); pred = model.predict(X_test)print("Accuracy:", accuracy_score(y_test, pred))print("Predictions:", pred[:10])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
รหัสต่อคลาสยาวขึ้นช่วยแก้ binary mistakes ได้เพียงใด?
แต่ละคอลัมน์คือ binary classifier และแต่ละแถวคือ codeword ของคลาส
มีบิตสำรองมากขึ้น แต่ต้องฝึก classifier เพิ่ม
ลองพลิกบิตหนึ่งตำแหน่งแล้วดูว่ายังถอดคลาสเดิมได้หรือไม่
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง