ml/ library Learn by doing
ALGORITHM 85 · PYTHON / JAVASCRIPT

Kernel Support Vector Machine

สร้างขอบเขตโค้งโดยคำนวณความคล้ายในพื้นที่แฝง

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · Linear SVM และ kernel trick
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Kernel SVM แทน inner product ด้วย kernel จึงหา maximum-margin hyperplane ใน feature space มิติสูงโดยไม่สร้าง feature ทั้งหมดตรง ๆ

ลองนึกภาพว่า — เหมือนยกกระดาษที่จุดทับกันให้โค้งขึ้น แล้วใช้แผ่นตรงคั่นก่อนฉายกลับมาเป็นเส้นโค้ง

ตัวอย่างการนำไปใช้ — จำแนกข้อมูลตารางขนาดกลาง ชีวสารสนเทศ และรูปแบบไม่เชิงเส้น

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Kernel Support Vector Machine เริ่มจากคำถามง่าย ๆ ว่า สร้างขอบเขตโค้งโดยคำนวณความคล้ายในพื้นที่แฝง วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนยกกระดาษที่จุดทับกันให้โค้งขึ้น แล้วใช้แผ่นตรงคั่นก่อนฉายกลับมาเป็นเส้นโค้ง ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Kernel SVM แทน inner product ด้วย kernel จึงหา maximum-margin hyperplane ใน feature space มิติสูงโดยไม่สร้าง feature ทั้งหมดตรง ๆ พารามิเตอร์หลักใน Playground คือ ค่า C เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix ที่ปรับสเกลและ label คลาส · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น จำแนกข้อมูลตารางขนาดกลาง ชีวสารสนเทศ และรูปแบบไม่เชิงเส้น ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: decision score, support vectors และคลาสทำนาย · Playground แสดงผลเมื่อปรับ ค่า C พร้อมจำข้อจำกัดสำคัญว่า การฝึกโตเร็วตามจำนวนแถวและผลไวต่อ C, gamma และการปรับสเกล

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    feature matrix ที่ปรับสเกลและ label คลาส ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ C เพื่อควบคุมการยอมผิดพลาดเทียบกับ margin และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    คำนวณ kernel similarity ระหว่างคู่ตัวอย่าง จากนั้น แก้ปัญหา margin โดยใช้เฉพาะ support vectors Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ประเมิน kernel กับข้อมูลใหม่เพื่อหาด้านของขอบเขต ผลที่ได้คือ decision score, support vectors และคลาสทำนาย ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ C ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า การฝึกโตเร็วตามจำนวนแถวและผลไวต่อ C, gamma และการปรับสเกล

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetfeature matrix ที่ปรับสเกลและ label คลาส · ตัวอย่าง 60–150 แถว
CALCULATEKernel Support Vector Machine
Crandom_statevalidation
RESULT0.800.150.05class / probabilitydecision score, support vectors และคลาสทำนาย · Playground แสดงผลเมื่อปรับ ค่า C
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

feature matrix ที่ปรับสเกลและ label คลาส

feature matrix ที่ปรับสเกลและ label คลาส · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

C
ควบคุมการยอมผิดพลาดเทียบกับ margin
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

decision score, support vectors และคลาสทำนาย

decision score, support vectors และคลาสทำนาย · Playground แสดงผลเมื่อปรับ ค่า C
CALCULATION

คำนวณทีละขั้น

  1. 01

    คำนวณ kernel similarity ระหว่างคู่ตัวอย่าง

  2. 02

    แก้ปัญหา margin โดยใช้เฉพาะ support vectors

  3. 03

    ประเมิน kernel กับข้อมูลใหม่เพื่อหาด้านของขอบเขต

ควรรู้อีกนิด — การฝึกโตเร็วตามจำนวนแถวและผลไวต่อ C, gamma และการปรับสเกล

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("kernel-svm-sample.csv", delimiter=",", skip_header=1)from sklearn.svm import SVCfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.pipeline import make_pipelinefrom sklearn.metrics import accuracy_scoreX = data[:, :2]y = data[:, 2].astype(int)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.25, random_state=42, stratify=y)model = make_pipeline(StandardScaler(), SVC(C=1, kernel="rbf", gamma="scale"))model.fit(X_train, y_train); pred = model.predict(X_test)print("Accuracy:", accuracy_score(y_test, pred))print("Predictions:", pred[:10])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ค่า C ทำให้ margin กว้างหรือยอมตามจุดฝึกมากขึ้นอย่างไร?

Kernel Support Vector Machine / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
ควบคุมการยอมผิดพลาดเทียบกับ margin
ดูภาพอย่างไร

เส้นกลางคือ decision boundary เส้นข้างคือ margin และวงแหวนคือ support vectors

เมื่อเพิ่มค่า

ลงโทษจุดผิดมากขึ้น ขอบเขตจึงตามข้อมูลและ margin แคบลง

ลองเปรียบเทียบ

เทียบจำนวน support vectors กับความผิดพลาดบนจุดทดสอบ

ขอบเขต kernel · วงแหวนคือ support vectors
Test accuracy70.0%
ค่า C1
พารามิเตอร์ที่ลอง1.0

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง