ml/ library Learn by doing
ALGORITHM 63 · PYTHON / JAVASCRIPT

Theil Sen Regression

ใช้ค่ากลางของความชันจากหลายคู่แทนการให้จุดสุดโต่งดึงเส้น

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · Linear Regression median และ pairwise slope
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Theil Sen ประมาณความชันอย่าง robust จาก median ของ slopes ระหว่างคู่จุด และขยายแนวคิดด้วย subsamples เมื่อมีหลาย feature

ลองนึกภาพว่า — เหมือนถามคนหลายคู่ให้ประเมินทิศทาง แล้วเลือกคำตอบตรงกลาง จึงไม่ถูกความเห็นสุดโต่งเพียงไม่กี่คู่ลากไปไกล

ตัวอย่างการนำไปใช้ — แนวโน้ม robust ของข้อมูลขนาดเล็กถึงกลางที่มี outlier แต่ยังต้องการเส้นอธิบายง่าย

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Theil Sen Regression เริ่มจากคำถามง่าย ๆ ว่า ใช้ค่ากลางของความชันจากหลายคู่แทนการให้จุดสุดโต่งดึงเส้น วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนถามคนหลายคู่ให้ประเมินทิศทาง แล้วเลือกคำตอบตรงกลาง จึงไม่ถูกความเห็นสุดโต่งเพียงไม่กี่คู่ลากไปไกล ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Theil Sen ประมาณความชันอย่าง robust จาก median ของ slopes ระหว่างคู่จุด และขยายแนวคิดด้วย subsamples เมื่อมีหลาย feature พารามิเตอร์หลักใน Playground คือ ขนาด subsample เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ 60 จุดหนึ่ง feature · ใช้ subsamples หลายชุด เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น แนวโน้ม robust ของข้อมูลขนาดเล็กถึงกลางที่มี outlier แต่ยังต้องการเส้นอธิบายง่าย ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: ค่ากลางของ candidate slopes ลดผลของคู่ที่มี outlier พร้อมจำข้อจำกัดสำคัญว่า ต้นทุนคำนวณสูงเมื่อข้อมูลหรือมิติมาก และ robustness ลดลงเมื่อเพิ่ม n_subsamples ใกล้จำนวนข้อมูล

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    X และ y ต่อเนื่องที่มี outlier บางส่วน ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ n_subsamples เพื่อกำหนด tradeoff ระหว่าง robustness กับ efficiency และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    สร้าง candidate coefficients จากหลาย subsamples จากนั้น รวบรวมคำตอบของ candidate models Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    หา spatial median เป็น coefficients สุดท้าย ผลที่ได้คือ robust coefficients และค่าทำนาย ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ n_subsamples ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ต้นทุนคำนวณสูงเมื่อข้อมูลหรือมิติมาก และ robustness ลดลงเมื่อเพิ่ม n_subsamples ใกล้จำนวนข้อมูล

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · target60 จุดหนึ่ง feature · ใช้ subsamples หลายชุด
CALCULATETheil Sen Regression
n_subsamplesmax_subpopulationtol
RESULTnumeric predictionค่ากลางของ candidate slopes ลดผลของคู่ที่มี outlier
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

X และ y ต่อเนื่องที่มี outlier บางส่วน

60 จุดหนึ่ง feature · ใช้ subsamples หลายชุด
PARAMETERS

พารามิเตอร์ที่ใช้

n_subsamples
กำหนด tradeoff ระหว่าง robustness กับ efficiency
max_subpopulation
จำกัดจำนวน candidate subsets
tol
กำหนดเกณฑ์หยุด spatial median
OUTPUT

ผลลัพธ์ที่ได้

robust coefficients และค่าทำนาย

ค่ากลางของ candidate slopes ลดผลของคู่ที่มี outlier
CALCULATION

คำนวณทีละขั้น

  1. 01

    สร้าง candidate coefficients จากหลาย subsamples

  2. 02

    รวบรวมคำตอบของ candidate models

  3. 03

    หา spatial median เป็น coefficients สุดท้าย

ควรรู้อีกนิด — ต้นทุนคำนวณสูงเมื่อข้อมูลหรือมิติมาก และ robustness ลดลงเมื่อเพิ่ม n_subsamples ใกล้จำนวนข้อมูล

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("theil-sen-regression-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] y, X = data[:, 1], data[:, :1]from sklearn.linear_model import TheilSenRegressorfrom sklearn.metrics import mean_squared_error model = TheilSenRegressor(n_subsamples=6, random_state=42)model.fit(X, y)pred = model.predict(X)print("RMSE:", mean_squared_error(y, pred) ** .5)print("Predictions:", pred[:8])print("Breakdown approximation:", model.breakdown_)

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ ขนาด subsample แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample dataset / Curved signal● คำนวณใหม่เมื่อปรับค่า
จำนวนตัวอย่างต่อ candidate solution
ข้อมูลฝึกและผลการทำนายFeature xค่าจริง • / ค่าทำนาย —
RMSE0.591
Slope0.548
พารามิเตอร์ที่ลอง6

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง