01Overall Concept
ไอเดียหลัก — Huber Regression ผสม quadratic loss สำหรับ residual เล็กกับ linear loss สำหรับ residual ใหญ่ จึงรักษาความเรียบของ least squares พร้อมทน outlier มากขึ้น
ลองนึกภาพว่า — เหมือนคิดค่าปรับเต็มสำหรับความผิดพลาดทั่วไป แต่ตั้งเพดานอัตราเพิ่มเพื่อไม่ให้เหตุการณ์สุดโต่งครั้งเดียวครองการตัดสินทั้งหมด
ตัวอย่างการนำไปใช้ — ทำนายค่าต่อเนื่องเมื่อมีจุดผิดปกติจากการวัดหรือเหตุการณ์เฉพาะบางส่วน
02อธิบายภาษาคนเข้าใจง่ายๆ
Huber Regression เริ่มจากคำถามง่าย ๆ ว่า ใช้ squared loss กับจุดใกล้เส้นและลดอิทธิพลของ residual ที่ใหญ่มาก วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนคิดค่าปรับเต็มสำหรับความผิดพลาดทั่วไป แต่ตั้งเพดานอัตราเพิ่มเพื่อไม่ให้เหตุการณ์สุดโต่งครั้งเดียวครองการตัดสินทั้งหมด ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Huber Regression ผสม quadratic loss สำหรับ residual เล็กกับ linear loss สำหรับ residual ใหญ่ จึงรักษาความเรียบของ least squares พร้อมทน outlier มากขึ้น พารามิเตอร์หลักใน Playground คือ ขอบเขต Huber ε เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ เส้นแนวโน้ม 60 จุด · เติม outlier 6 จุด เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น ทำนายค่าต่อเนื่องเมื่อมีจุดผิดปกติจากการวัดหรือเหตุการณ์เฉพาะบางส่วน ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: จุดไกลยังมีผล แต่ไม่โตเป็นกำลังสองต่อไป พร้อมจำข้อจำกัดสำคัญว่า epsilon ต้องเหมาะกับสัดส่วน outlier และ robust regression ไม่แก้ leverage point ที่ผิดปกติใน X ได้ทุกกรณี
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
X และ y ต่อเนื่องที่อาจมี residual ขนาดใหญ่บางจุด ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ epsilon เพื่อกำหนดจุดเปลี่ยนของ loss และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
fit เส้นและประมาณ scale ของ residual จากนั้น ใช้ quadratic loss ภายในขอบเขต epsilon Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
ใช้ linear loss กับ residual ใหญ่แล้ว optimize ซ้ำ ผลที่ได้คือ coefficients scale และ mask ของ outliers ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ epsilon ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า epsilon ต้องเหมาะกับสัดส่วน outlier และ robust regression ไม่แก้ leverage point ที่ผิดปกติใน X ได้ทุกกรณี
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
epsilonalphamax_iterข้อมูลที่รับเข้ามา
X และ y ต่อเนื่องที่อาจมี residual ขนาดใหญ่บางจุด
เส้นแนวโน้ม 60 จุด · เติม outlier 6 จุดพารามิเตอร์ที่ใช้
- epsilon
- กำหนดจุดเปลี่ยนของ loss
- alpha
- เพิ่ม L2 regularization ให้ coefficients
- max_iter
- จำกัดรอบ optimization
ผลลัพธ์ที่ได้
coefficients scale และ mask ของ outliers
จุดไกลยังมีผล แต่ไม่โตเป็นกำลังสองต่อไปคำนวณทีละขั้น
- 01
fit เส้นและประมาณ scale ของ residual
- 02
ใช้ quadratic loss ภายในขอบเขต epsilon
- 03
ใช้ linear loss กับ residual ใหญ่แล้ว optimize ซ้ำ
ควรรู้อีกนิด — epsilon ต้องเหมาะกับสัดส่วน outlier และ robust regression ไม่แก้ leverage point ที่ผิดปกติใน X ได้ทุกกรณี
04Make it yours
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("huber-regression-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] y, X = data[:, 1], data[:, :1]from sklearn.linear_model import HuberRegressorfrom sklearn.metrics import mean_squared_error model = HuberRegressor(epsilon=1.35, alpha=.001)model.fit(X, y)pred = model.predict(X)print("RMSE:", mean_squared_error(y, pred) ** .5)print("Predictions:", pred[:8])print("Outliers:", model.outliers_.sum())โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ปรับ ขอบเขต Huber ε แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง