ml/ library Learn by doing
ALGORITHM 61 · PYTHON / JAVASCRIPT

Huber Regression

ใช้ squared loss กับจุดใกล้เส้นและลดอิทธิพลของ residual ที่ใหญ่มาก

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · Linear Regression และ robust loss
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Huber Regression ผสม quadratic loss สำหรับ residual เล็กกับ linear loss สำหรับ residual ใหญ่ จึงรักษาความเรียบของ least squares พร้อมทน outlier มากขึ้น

ลองนึกภาพว่า — เหมือนคิดค่าปรับเต็มสำหรับความผิดพลาดทั่วไป แต่ตั้งเพดานอัตราเพิ่มเพื่อไม่ให้เหตุการณ์สุดโต่งครั้งเดียวครองการตัดสินทั้งหมด

ตัวอย่างการนำไปใช้ — ทำนายค่าต่อเนื่องเมื่อมีจุดผิดปกติจากการวัดหรือเหตุการณ์เฉพาะบางส่วน

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Huber Regression เริ่มจากคำถามง่าย ๆ ว่า ใช้ squared loss กับจุดใกล้เส้นและลดอิทธิพลของ residual ที่ใหญ่มาก วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนคิดค่าปรับเต็มสำหรับความผิดพลาดทั่วไป แต่ตั้งเพดานอัตราเพิ่มเพื่อไม่ให้เหตุการณ์สุดโต่งครั้งเดียวครองการตัดสินทั้งหมด ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Huber Regression ผสม quadratic loss สำหรับ residual เล็กกับ linear loss สำหรับ residual ใหญ่ จึงรักษาความเรียบของ least squares พร้อมทน outlier มากขึ้น พารามิเตอร์หลักใน Playground คือ ขอบเขต Huber ε เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ เส้นแนวโน้ม 60 จุด · เติม outlier 6 จุด เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ทำนายค่าต่อเนื่องเมื่อมีจุดผิดปกติจากการวัดหรือเหตุการณ์เฉพาะบางส่วน ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: จุดไกลยังมีผล แต่ไม่โตเป็นกำลังสองต่อไป พร้อมจำข้อจำกัดสำคัญว่า epsilon ต้องเหมาะกับสัดส่วน outlier และ robust regression ไม่แก้ leverage point ที่ผิดปกติใน X ได้ทุกกรณี

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    X และ y ต่อเนื่องที่อาจมี residual ขนาดใหญ่บางจุด ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ epsilon เพื่อกำหนดจุดเปลี่ยนของ loss และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    fit เส้นและประมาณ scale ของ residual จากนั้น ใช้ quadratic loss ภายในขอบเขต epsilon Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ใช้ linear loss กับ residual ใหญ่แล้ว optimize ซ้ำ ผลที่ได้คือ coefficients scale และ mask ของ outliers ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ epsilon ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า epsilon ต้องเหมาะกับสัดส่วน outlier และ robust regression ไม่แก้ leverage point ที่ผิดปกติใน X ได้ทุกกรณี

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetเส้นแนวโน้ม 60 จุด · เติม outlier 6 จุด
CALCULATEHuber Regression
epsilonalphamax_iter
RESULTnumeric predictionจุดไกลยังมีผล แต่ไม่โตเป็นกำลังสองต่อไป
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

X และ y ต่อเนื่องที่อาจมี residual ขนาดใหญ่บางจุด

เส้นแนวโน้ม 60 จุด · เติม outlier 6 จุด
PARAMETERS

พารามิเตอร์ที่ใช้

epsilon
กำหนดจุดเปลี่ยนของ loss
alpha
เพิ่ม L2 regularization ให้ coefficients
max_iter
จำกัดรอบ optimization
OUTPUT

ผลลัพธ์ที่ได้

coefficients scale และ mask ของ outliers

จุดไกลยังมีผล แต่ไม่โตเป็นกำลังสองต่อไป
CALCULATION

คำนวณทีละขั้น

  1. 01

    fit เส้นและประมาณ scale ของ residual

  2. 02

    ใช้ quadratic loss ภายในขอบเขต epsilon

  3. 03

    ใช้ linear loss กับ residual ใหญ่แล้ว optimize ซ้ำ

ควรรู้อีกนิด — epsilon ต้องเหมาะกับสัดส่วน outlier และ robust regression ไม่แก้ leverage point ที่ผิดปกติใน X ได้ทุกกรณี

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("huber-regression-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] y, X = data[:, 1], data[:, :1]from sklearn.linear_model import HuberRegressorfrom sklearn.metrics import mean_squared_error model = HuberRegressor(epsilon=1.35, alpha=.001)model.fit(X, y)pred = model.predict(X)print("RMSE:", mean_squared_error(y, pred) ** .5)print("Predictions:", pred[:8])print("Outliers:", model.outliers_.sum())

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ ขอบเขต Huber ε แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample dataset / Curved signal● คำนวณใหม่เมื่อปรับค่า
ค่าสูงทำให้จุดต้องไกลขึ้นก่อนถูกมองเป็น outlier
ข้อมูลฝึกและผลการทำนายFeature xค่าจริง • / ค่าทำนาย —
RMSE0.583
Slope0.580
พารามิเตอร์ที่ลอง1.35

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง