ml/ library Learn by doing
ALGORITHM 86 · PYTHON / JAVASCRIPT

Support Vector Regression

สร้างท่อรอบเส้นทำนายและไม่ลงโทษจุดที่อยู่ในท่อ

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · Linear Regression และ SVM
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — SVR ใช้ epsilon-insensitive loss หาเส้นที่แบนและยอมรับ residual ภายในท่อ epsilon โดยมีเฉพาะจุดนอกหรือบนขอบท่อเป็น support vectors

ลองนึกภาพว่า — เหมือนวางท่อยืดหยุ่นผ่านกลุ่มจุด จุดที่อยู่ในท่อถือว่าใกล้พอ ส่วนจุดนอกท่อดึงเส้นกลับ

ตัวอย่างการนำไปใช้ — พยากรณ์ค่าต่อเนื่องบนข้อมูลขนาดกลางที่มีความสัมพันธ์โค้ง

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Support Vector Regression เริ่มจากคำถามง่าย ๆ ว่า สร้างท่อรอบเส้นทำนายและไม่ลงโทษจุดที่อยู่ในท่อ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนวางท่อยืดหยุ่นผ่านกลุ่มจุด จุดที่อยู่ในท่อถือว่าใกล้พอ ส่วนจุดนอกท่อดึงเส้นกลับ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

SVR ใช้ epsilon-insensitive loss หาเส้นที่แบนและยอมรับ residual ภายในท่อ epsilon โดยมีเฉพาะจุดนอกหรือบนขอบท่อเป็น support vectors พารามิเตอร์หลักใน Playground คือ ความกว้างท่อ ε เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix ที่ปรับสเกลและ target ต่อเนื่อง · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น พยากรณ์ค่าต่อเนื่องบนข้อมูลขนาดกลางที่มีความสัมพันธ์โค้ง ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: ค่าทำนายและ support vectors · Playground แสดงผลเมื่อปรับ ความกว้างท่อ ε พร้อมจำข้อจำกัดสำคัญว่า ใช้หน่วยความจำสูงเมื่อข้อมูลใหญ่และต้องเลือกระดับ epsilon, C, gamma ให้สัมพันธ์กับสเกล target

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    feature matrix ที่ปรับสเกลและ target ต่อเนื่อง ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ epsilon เพื่อกำหนด residual ที่ไม่คิดเป็น loss และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    สร้าง epsilon tube รอบฟังก์ชันทำนาย จากนั้น ลงโทษเฉพาะ residual ที่เกินท่อ Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ใช้ kernel รวมอิทธิพลจาก support vectors ผลที่ได้คือ ค่าทำนายและ support vectors ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ epsilon ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ใช้หน่วยความจำสูงเมื่อข้อมูลใหญ่และต้องเลือกระดับ epsilon, C, gamma ให้สัมพันธ์กับสเกล target

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetfeature matrix ที่ปรับสเกลและ target ต่อเนื่อง · ตัวอย่าง 60–150 แถว
CALCULATESupport Vector Regression
epsilonrandom_statevalidation
RESULTnumeric predictionค่าทำนายและ support vectors · Playground แสดงผลเมื่อปรับ ความกว้างท่อ ε
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

feature matrix ที่ปรับสเกลและ target ต่อเนื่อง

feature matrix ที่ปรับสเกลและ target ต่อเนื่อง · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

epsilon
กำหนด residual ที่ไม่คิดเป็น loss
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

ค่าทำนายและ support vectors

ค่าทำนายและ support vectors · Playground แสดงผลเมื่อปรับ ความกว้างท่อ ε
CALCULATION

คำนวณทีละขั้น

  1. 01

    สร้าง epsilon tube รอบฟังก์ชันทำนาย

  2. 02

    ลงโทษเฉพาะ residual ที่เกินท่อ

  3. 03

    ใช้ kernel รวมอิทธิพลจาก support vectors

ควรรู้อีกนิด — ใช้หน่วยความจำสูงเมื่อข้อมูลใหญ่และต้องเลือกระดับ epsilon, C, gamma ให้สัมพันธ์กับสเกล target

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("support-vector-regression-sample.csv", delimiter=",", skip_header=1)from sklearn.svm import SVRfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.pipeline import make_pipelinefrom sklearn.metrics import root_mean_squared_errorX = data[:, :2]y = data[:, 1]X = data[:, :1]X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.25, random_state=42)model = make_pipeline(StandardScaler(), SVR(epsilon=0.1, C=10, kernel="rbf"))model.fit(X_train, y_train); pred = model.predict(X_test)print("RMSE:", root_mean_squared_error(y_test, pred))print("Predictions:", pred[:10])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ท่อ epsilon ควรกว้างแค่ไหนจึงไม่ตาม noise?

Support Vector Regression / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนด residual ที่ไม่คิดเป็น loss
ดูภาพอย่างไร

พื้นที่สีคือ epsilon tube จุดนอกท่อเท่านั้นที่สร้าง loss

เมื่อเพิ่มค่า

เมื่อ epsilon เพิ่ม ท่อกว้างและ support vectors ลดลง

ลองเปรียบเทียบ

มองจำนวนจุดนอกท่อควบคู่กับความเรียบของเส้น

เส้นกลางและ epsilon tube
ε-tube violations0.438
ค่า epsilon0.10
พารามิเตอร์ที่ลอง0.10

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง