ml/ library Learn by doing
ALGORITHM 62 · PYTHON / JAVASCRIPT

RANSAC Regression

สุ่มกลุ่มเล็กมาสร้างเส้นแล้วนับว่ามีจุดใดเห็นด้วยกับเส้นนั้น

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · Linear Regression และ random sampling
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — RANSAC สุ่ม minimal subset เพื่อ fit โมเดลซ้ำหลายครั้ง แล้วเลือกโมเดลที่มี inliers สอดคล้องมากที่สุด ก่อน refit จากกลุ่ม consensus

ลองนึกภาพว่า — เหมือนหาคำให้การที่ตรงกันจากพยานส่วนใหญ่ โดยลองสร้างเรื่องจากกลุ่มเล็กหลายชุดและไม่ให้คำให้การหลุดโลกครองผล

ตัวอย่างการนำไปใช้ — fit เส้นหรือ geometry เมื่อข้อมูลมี gross outliers จำนวนหนึ่ง เช่น computer vision และเซนเซอร์

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

RANSAC Regression เริ่มจากคำถามง่าย ๆ ว่า สุ่มกลุ่มเล็กมาสร้างเส้นแล้วนับว่ามีจุดใดเห็นด้วยกับเส้นนั้น วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนหาคำให้การที่ตรงกันจากพยานส่วนใหญ่ โดยลองสร้างเรื่องจากกลุ่มเล็กหลายชุดและไม่ให้คำให้การหลุดโลกครองผล ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

RANSAC สุ่ม minimal subset เพื่อ fit โมเดลซ้ำหลายครั้ง แล้วเลือกโมเดลที่มี inliers สอดคล้องมากที่สุด ก่อน refit จากกลุ่ม consensus พารามิเตอร์หลักใน Playground คือ เกณฑ์ inlier เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ 60 จุดตามเส้น + outlier 6 จุด เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น fit เส้นหรือ geometry เมื่อข้อมูลมี gross outliers จำนวนหนึ่ง เช่น computer vision และเซนเซอร์ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: threshold เล็กคัดเข้ม แต่เสี่ยงทิ้งจุดดีที่มี noise พร้อมจำข้อจำกัดสำคัญว่า ผลมีความสุ่มและเสื่อมเร็วเมื่อ outlier มีสัดส่วนสูง เกณฑ์ residual ที่ผิดอาจเลือก consensus ผิดชุด

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    X และ y ที่คาดว่ามี inlier ตามโมเดลหนึ่งกับ outlier บางส่วน ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ residual_threshold เพื่อแบ่ง inlier กับ outlier และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    สุ่มตัวอย่างขั้นต่ำและ fit candidate model จากนั้น วัด residual แล้วสร้าง consensus set Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    เก็บ candidate ที่ดีที่สุดและ refit ด้วย inliers ผลที่ได้คือ โมเดลสุดท้าย inlier mask และ outlier mask ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ residual_threshold ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ผลมีความสุ่มและเสื่อมเร็วเมื่อ outlier มีสัดส่วนสูง เกณฑ์ residual ที่ผิดอาจเลือก consensus ผิดชุด

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · target60 จุดตามเส้น + outlier 6 จุด
CALCULATERANSAC Regression
residual_thresholdmin_samplesmax_trials
RESULTnumeric predictionthreshold เล็กคัดเข้ม แต่เสี่ยงทิ้งจุดดีที่มี noise
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

X และ y ที่คาดว่ามี inlier ตามโมเดลหนึ่งกับ outlier บางส่วน

60 จุดตามเส้น + outlier 6 จุด
PARAMETERS

พารามิเตอร์ที่ใช้

residual_threshold
แบ่ง inlier กับ outlier
min_samples
กำหนดขนาด subset ขั้นต่ำ
max_trials
จำกัดจำนวนการสุ่ม candidate models
OUTPUT

ผลลัพธ์ที่ได้

โมเดลสุดท้าย inlier mask และ outlier mask

threshold เล็กคัดเข้ม แต่เสี่ยงทิ้งจุดดีที่มี noise
CALCULATION

คำนวณทีละขั้น

  1. 01

    สุ่มตัวอย่างขั้นต่ำและ fit candidate model

  2. 02

    วัด residual แล้วสร้าง consensus set

  3. 03

    เก็บ candidate ที่ดีที่สุดและ refit ด้วย inliers

ควรรู้อีกนิด — ผลมีความสุ่มและเสื่อมเร็วเมื่อ outlier มีสัดส่วนสูง เกณฑ์ residual ที่ผิดอาจเลือก consensus ผิดชุด

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("ransac-regression-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] y, X = data[:, 1], data[:, :1]from sklearn.linear_model import RANSACRegressorfrom sklearn.metrics import mean_squared_error model = RANSACRegressor(residual_threshold=0.25, random_state=42)model.fit(X, y)pred = model.predict(X)print("RMSE:", mean_squared_error(y, pred) ** .5)print("Predictions:", pred[:8])print("Inliers:", model.inlier_mask_.sum())

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ เกณฑ์ inlier แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample dataset / Curved signal● คำนวณใหม่เมื่อปรับค่า
ระยะ residual สูงสุดที่ยังนับว่าเห็นด้วยกับโมเดล
ข้อมูลฝึกและผลการทำนายFeature xค่าจริง • / ค่าทำนาย —
RMSE0.593
Slope0.540
พารามิเตอร์ที่ลอง0.25

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง