01Overall Concept
ไอเดียหลัก — SVR ใช้ epsilon-insensitive loss หาเส้นที่แบนและยอมรับ residual ภายในท่อ epsilon โดยมีเฉพาะจุดนอกหรือบนขอบท่อเป็น support vectors
ลองนึกภาพว่า — เหมือนวางท่อยืดหยุ่นผ่านกลุ่มจุด จุดที่อยู่ในท่อถือว่าใกล้พอ ส่วนจุดนอกท่อดึงเส้นกลับ
ตัวอย่างการนำไปใช้ — พยากรณ์ค่าต่อเนื่องบนข้อมูลขนาดกลางที่มีความสัมพันธ์โค้ง
02อธิบายภาษาคนเข้าใจง่ายๆ
Support Vector Regression เริ่มจากคำถามง่าย ๆ ว่า สร้างท่อรอบเส้นทำนายและไม่ลงโทษจุดที่อยู่ในท่อ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนวางท่อยืดหยุ่นผ่านกลุ่มจุด จุดที่อยู่ในท่อถือว่าใกล้พอ ส่วนจุดนอกท่อดึงเส้นกลับ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
SVR ใช้ epsilon-insensitive loss หาเส้นที่แบนและยอมรับ residual ภายในท่อ epsilon โดยมีเฉพาะจุดนอกหรือบนขอบท่อเป็น support vectors พารามิเตอร์หลักใน Playground คือ ความกว้างท่อ ε เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix ที่ปรับสเกลและ target ต่อเนื่อง · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น พยากรณ์ค่าต่อเนื่องบนข้อมูลขนาดกลางที่มีความสัมพันธ์โค้ง ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: ค่าทำนายและ support vectors · Playground แสดงผลเมื่อปรับ ความกว้างท่อ ε พร้อมจำข้อจำกัดสำคัญว่า ใช้หน่วยความจำสูงเมื่อข้อมูลใหญ่และต้องเลือกระดับ epsilon, C, gamma ให้สัมพันธ์กับสเกล target
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
feature matrix ที่ปรับสเกลและ target ต่อเนื่อง ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ epsilon เพื่อกำหนด residual ที่ไม่คิดเป็น loss และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
สร้าง epsilon tube รอบฟังก์ชันทำนาย จากนั้น ลงโทษเฉพาะ residual ที่เกินท่อ Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
ใช้ kernel รวมอิทธิพลจาก support vectors ผลที่ได้คือ ค่าทำนายและ support vectors ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ epsilon ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ใช้หน่วยความจำสูงเมื่อข้อมูลใหญ่และต้องเลือกระดับ epsilon, C, gamma ให้สัมพันธ์กับสเกล target
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
epsilonrandom_statevalidationข้อมูลที่รับเข้ามา
feature matrix ที่ปรับสเกลและ target ต่อเนื่อง
feature matrix ที่ปรับสเกลและ target ต่อเนื่อง · ตัวอย่าง 60–150 แถวพารามิเตอร์ที่ใช้
- epsilon
- กำหนด residual ที่ไม่คิดเป็น loss
- random_state
- ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
- validation
- เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
ผลลัพธ์ที่ได้
ค่าทำนายและ support vectors
ค่าทำนายและ support vectors · Playground แสดงผลเมื่อปรับ ความกว้างท่อ εคำนวณทีละขั้น
- 01
สร้าง epsilon tube รอบฟังก์ชันทำนาย
- 02
ลงโทษเฉพาะ residual ที่เกินท่อ
- 03
ใช้ kernel รวมอิทธิพลจาก support vectors
ควรรู้อีกนิด — ใช้หน่วยความจำสูงเมื่อข้อมูลใหญ่และต้องเลือกระดับ epsilon, C, gamma ให้สัมพันธ์กับสเกล target
04Make it yours
# ติดตั้ง: pip install numpy scikit-learn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("support-vector-regression-sample.csv", delimiter=",", skip_header=1)from sklearn.svm import SVRfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.pipeline import make_pipelinefrom sklearn.metrics import root_mean_squared_errorX = data[:, :2]y = data[:, 1]X = data[:, :1]X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.25, random_state=42)model = make_pipeline(StandardScaler(), SVR(epsilon=0.1, C=10, kernel="rbf"))model.fit(X_train, y_train); pred = model.predict(X_test)print("RMSE:", root_mean_squared_error(y_test, pred))print("Predictions:", pred[:10])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ท่อ epsilon ควรกว้างแค่ไหนจึงไม่ตาม noise?
พื้นที่สีคือ epsilon tube จุดนอกท่อเท่านั้นที่สร้าง loss
เมื่อ epsilon เพิ่ม ท่อกว้างและ support vectors ลดลง
มองจำนวนจุดนอกท่อควบคู่กับความเรียบของเส้น
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง