01Overall Concept
ไอเดียหลัก — Kernel SVM แทน inner product ด้วย kernel จึงหา maximum-margin hyperplane ใน feature space มิติสูงโดยไม่สร้าง feature ทั้งหมดตรง ๆ
ลองนึกภาพว่า — เหมือนยกกระดาษที่จุดทับกันให้โค้งขึ้น แล้วใช้แผ่นตรงคั่นก่อนฉายกลับมาเป็นเส้นโค้ง
ตัวอย่างการนำไปใช้ — จำแนกข้อมูลตารางขนาดกลาง ชีวสารสนเทศ และรูปแบบไม่เชิงเส้น
02อธิบายภาษาคนเข้าใจง่ายๆ
Kernel Support Vector Machine เริ่มจากคำถามง่าย ๆ ว่า สร้างขอบเขตโค้งโดยคำนวณความคล้ายในพื้นที่แฝง วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนยกกระดาษที่จุดทับกันให้โค้งขึ้น แล้วใช้แผ่นตรงคั่นก่อนฉายกลับมาเป็นเส้นโค้ง ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Kernel SVM แทน inner product ด้วย kernel จึงหา maximum-margin hyperplane ใน feature space มิติสูงโดยไม่สร้าง feature ทั้งหมดตรง ๆ พารามิเตอร์หลักใน Playground คือ ค่า C เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix ที่ปรับสเกลและ label คลาส · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น จำแนกข้อมูลตารางขนาดกลาง ชีวสารสนเทศ และรูปแบบไม่เชิงเส้น ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: decision score, support vectors และคลาสทำนาย · Playground แสดงผลเมื่อปรับ ค่า C พร้อมจำข้อจำกัดสำคัญว่า การฝึกโตเร็วตามจำนวนแถวและผลไวต่อ C, gamma และการปรับสเกล
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
feature matrix ที่ปรับสเกลและ label คลาส ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ C เพื่อควบคุมการยอมผิดพลาดเทียบกับ margin และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
คำนวณ kernel similarity ระหว่างคู่ตัวอย่าง จากนั้น แก้ปัญหา margin โดยใช้เฉพาะ support vectors Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
ประเมิน kernel กับข้อมูลใหม่เพื่อหาด้านของขอบเขต ผลที่ได้คือ decision score, support vectors และคลาสทำนาย ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ C ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า การฝึกโตเร็วตามจำนวนแถวและผลไวต่อ C, gamma และการปรับสเกล
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
Crandom_statevalidationข้อมูลที่รับเข้ามา
feature matrix ที่ปรับสเกลและ label คลาส
feature matrix ที่ปรับสเกลและ label คลาส · ตัวอย่าง 60–150 แถวพารามิเตอร์ที่ใช้
- C
- ควบคุมการยอมผิดพลาดเทียบกับ margin
- random_state
- ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
- validation
- เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
ผลลัพธ์ที่ได้
decision score, support vectors และคลาสทำนาย
decision score, support vectors และคลาสทำนาย · Playground แสดงผลเมื่อปรับ ค่า Cคำนวณทีละขั้น
- 01
คำนวณ kernel similarity ระหว่างคู่ตัวอย่าง
- 02
แก้ปัญหา margin โดยใช้เฉพาะ support vectors
- 03
ประเมิน kernel กับข้อมูลใหม่เพื่อหาด้านของขอบเขต
ควรรู้อีกนิด — การฝึกโตเร็วตามจำนวนแถวและผลไวต่อ C, gamma และการปรับสเกล
04Make it yours
# ติดตั้ง: pip install numpy scikit-learn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("kernel-svm-sample.csv", delimiter=",", skip_header=1)from sklearn.svm import SVCfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.pipeline import make_pipelinefrom sklearn.metrics import accuracy_scoreX = data[:, :2]y = data[:, 2].astype(int)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.25, random_state=42, stratify=y)model = make_pipeline(StandardScaler(), SVC(C=1, kernel="rbf", gamma="scale"))model.fit(X_train, y_train); pred = model.predict(X_test)print("Accuracy:", accuracy_score(y_test, pred))print("Predictions:", pred[:10])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ค่า C ทำให้ margin กว้างหรือยอมตามจุดฝึกมากขึ้นอย่างไร?
เส้นกลางคือ decision boundary เส้นข้างคือ margin และวงแหวนคือ support vectors
ลงโทษจุดผิดมากขึ้น ขอบเขตจึงตามข้อมูลและ margin แคบลง
เทียบจำนวน support vectors กับความผิดพลาดบนจุดทดสอบ
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง