ml/ library Learn by doing
ALGORITHM 99 · PYTHON / JAVASCRIPT

One-Class Support Vector Machine

เรียนขอบเขตของข้อมูลปกติโดยไม่ต้องมีตัวอย่างผิดปกติครบถ้วน

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · Linear SVM, kernel และ density boundary
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — One-Class SVM ใช้ kernel แยกตัวอย่างส่วนใหญ่จากจุดกำเนิดใน feature space แล้วถือจุดที่อยู่นอกขอบเขตเป็น novelty หรือ outlier

ลองนึกภาพว่า — เหมือนขึงรั้วรอบฝูงแกะปกติ โดยยอมให้บางตัวอยู่นอกรั้วเพื่อไม่ให้รั้วคดเกินไป

ตัวอย่างการนำไปใช้ — ตรวจสภาวะเครื่องจักรผิดปกติ การบุกรุก และ novelty detection

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

One-Class Support Vector Machine เริ่มจากคำถามง่าย ๆ ว่า เรียนขอบเขตของข้อมูลปกติโดยไม่ต้องมีตัวอย่างผิดปกติครบถ้วน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนขึงรั้วรอบฝูงแกะปกติ โดยยอมให้บางตัวอยู่นอกรั้วเพื่อไม่ให้รั้วคดเกินไป ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

One-Class SVM ใช้ kernel แยกตัวอย่างส่วนใหญ่จากจุดกำเนิดใน feature space แล้วถือจุดที่อยู่นอกขอบเขตเป็น novelty หรือ outlier พารามิเตอร์หลักใน Playground คือ ค่า ν เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix ของสภาวะปกติเป็นหลักและปรับสเกลแล้ว · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ตรวจสภาวะเครื่องจักรผิดปกติ การบุกรุก และ novelty detection ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: decision score และ label inlier/outlier · Playground แสดงผลเมื่อปรับ ค่า ν พร้อมจำข้อจำกัดสำคัญว่า ไวต่อ nu, gamma และสเกลมาก อีกทั้งการปน anomaly ในชุดฝึกบิดขอบเขตได้

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    feature matrix ของสภาวะปกติเป็นหลักและปรับสเกลแล้ว ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ nu เพื่อขอบบนโดยประมาณของสัดส่วน training errors และขอบล่างของ support vectors และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    คำนวณ kernel ของตัวอย่างฝึก จากนั้น หา hyperplane ที่แยกข้อมูลส่วนใหญ่จากจุดกำเนิด Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ใช้ sign ของ decision function ตัดสินข้อมูลใหม่ ผลที่ได้คือ decision score และ label inlier/outlier ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ nu ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ไวต่อ nu, gamma และสเกลมาก อีกทั้งการปน anomaly ในชุดฝึกบิดขอบเขตได้

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetfeature matrix ของสภาวะปกติเป็นหลักและปรับสเกลแล้ว · ตัวอย่าง 60–150 แถว
CALCULATEOne-Class Support Vector Machine
nurandom_statevalidation
RESULT0.800.150.05class / probabilitydecision score และ label inlier/outlier · Playground แสดงผลเมื่อปรับ ค่า ν
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

feature matrix ของสภาวะปกติเป็นหลักและปรับสเกลแล้ว

feature matrix ของสภาวะปกติเป็นหลักและปรับสเกลแล้ว · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

nu
ขอบบนโดยประมาณของสัดส่วน training errors และขอบล่างของ support vectors
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

decision score และ label inlier/outlier

decision score และ label inlier/outlier · Playground แสดงผลเมื่อปรับ ค่า ν
CALCULATION

คำนวณทีละขั้น

  1. 01

    คำนวณ kernel ของตัวอย่างฝึก

  2. 02

    หา hyperplane ที่แยกข้อมูลส่วนใหญ่จากจุดกำเนิด

  3. 03

    ใช้ sign ของ decision function ตัดสินข้อมูลใหม่

ควรรู้อีกนิด — ไวต่อ nu, gamma และสเกลมาก อีกทั้งการปน anomaly ในชุดฝึกบิดขอบเขตได้

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("one-class-svm-sample.csv", delimiter=",", skip_header=1)from sklearn.preprocessing import StandardScalerfrom sklearn.svm import OneClassSVMX = StandardScaler().fit_transform(data[:, :2])model = OneClassSVM(nu=0.08, gamma="scale")labels = model.fit_predict(X)print("Inliers / outliers:", np.unique(labels, return_counts=True))print("Scores:", model.negative_outlier_factor_[:8] if hasattr(model, "negative_outlier_factor_") else model.decision_function(X[:8]))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ค่า nu ยอมให้ข้อมูลฝึกอยู่นอกขอบเขตเท่าใด?

One-Class Support Vector Machine / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
ขอบบนโดยประมาณของสัดส่วน training errors และขอบล่างของ support vectors
ดูภาพอย่างไร

เส้นปิดคือขอบเขต kernel รอบข้อมูลปกติและวงแหวนคือ support vectors

เมื่อเพิ่มค่า

ยอม training errors มากขึ้นและขอบเขตมักหด

ลองเปรียบเทียบ

ดูจุดปกติที่หลุดออกควบคู่กับ anomaly ที่จับได้

เขียว = inlier · แดง = จุดที่ threshold แจ้งเตือน
Inlier coverage73.3%
ค่า nu0.08
พารามิเตอร์ที่ลอง0.08

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง