ml/ library Learn by doing
ALGORITHM 40 · PYTHON / JAVASCRIPT

Generalized Linear Model

เชื่อมผลรวมเชิงเส้นกับ distribution ที่เหมาะกับชนิดคำตอบ

LEARNING LEVEL2
ต่อยอดโดยตรงควรรู้มาก่อน · Linear Regression probability distribution และ link function
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Generalized Linear Model ขยาย linear regression ด้วย exponential-family distribution และ link function จึงรองรับคำตอบแบบจำนวนครั้ง สัดส่วน หรือค่าบวก พร้อมคงโครงสร้างน้ำหนักที่อธิบายได้

ลองนึกภาพว่า — เหมือนใช้เครื่องยนต์เส้นตรงตัวเดิม แต่เปลี่ยนชุดเกียร์ให้แปลงกำลังไปยังคำตอบแต่ละชนิดอย่างเหมาะสม

ตัวอย่างการนำไปใช้ — Poisson regression สำหรับ count, logistic regression สำหรับ binary และ Gamma regression สำหรับค่าบวกเบ้

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Generalized Linear Model เริ่มจากคำถามง่าย ๆ ว่า เชื่อมผลรวมเชิงเส้นกับ distribution ที่เหมาะกับชนิดคำตอบ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนใช้เครื่องยนต์เส้นตรงตัวเดิม แต่เปลี่ยนชุดเกียร์ให้แปลงกำลังไปยังคำตอบแต่ละชนิดอย่างเหมาะสม ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Generalized Linear Model ขยาย linear regression ด้วย exponential-family distribution และ link function จึงรองรับคำตอบแบบจำนวนครั้ง สัดส่วน หรือค่าบวก พร้อมคงโครงสร้างน้ำหนักที่อธิบายได้ พารามิเตอร์หลักใน Playground คือ ค่าสัมประสิทธิ์ β₁ เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ จำนวนเหตุการณ์ y≥0 · Poisson family · log link เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น Poisson regression สำหรับ count, logistic regression สำหรับ binary และ Gamma regression สำหรับค่าบวกเบ้ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: Poisson log link: เพิ่ม x หนึ่งหน่วย คูณ mean ด้วย exp(β₁) พร้อมจำข้อจำกัดสำคัญว่า ต้องเลือก family/link ให้ตรงข้อมูล ความแปรปรวนเกิน Poisson ทำให้ standard errors ผิด และสัมประสิทธิ์ยังไม่พิสูจน์เหตุและผล

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    X เป็น design matrix และ y มี distribution ตรงกับ family ที่เลือก ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ family เพื่อdistribution เช่น Poisson Binomial Gamma และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    สร้าง η=Xβ จากนั้น แปลง mean ด้วย inverse link เช่น μ=exp(η) Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    หา β ที่เพิ่ม likelihood ผ่าน iterative reweighted least squares ผลที่ได้คือ coefficients, fitted mean และสถิติ inference ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ coefficient ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ต้องเลือก family/link ให้ตรงข้อมูล ความแปรปรวนเกิน Poisson ทำให้ standard errors ผิด และสัมประสิทธิ์ยังไม่พิสูจน์เหตุและผล

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetจำนวนเหตุการณ์ y≥0 · Poisson family · log link
CALCULATEGeneralized Linear Model
familylinkexposure
RESULTnumeric predictionPoisson log link: เพิ่ม x หนึ่งหน่วย คูณ mean ด้วย exp(β₁)
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

X เป็น design matrix และ y มี distribution ตรงกับ family ที่เลือก

จำนวนเหตุการณ์ y≥0 · Poisson family · log link
PARAMETERS

พารามิเตอร์ที่ใช้

family
distribution เช่น Poisson Binomial Gamma
link
ฟังก์ชันเชื่อม mean กับ linear predictor
exposure
เวลาหรือขนาดฐานสำหรับ count rate
OUTPUT

ผลลัพธ์ที่ได้

coefficients, fitted mean และสถิติ inference

Poisson log link: เพิ่ม x หนึ่งหน่วย คูณ mean ด้วย exp(β₁)
CALCULATION

คำนวณทีละขั้น

  1. 01

    สร้าง η=Xβ

  2. 02

    แปลง mean ด้วย inverse link เช่น μ=exp(η)

  3. 03

    หา β ที่เพิ่ม likelihood ผ่าน iterative reweighted least squares

ควรรู้อีกนิด — ต้องเลือก family/link ให้ตรงข้อมูล ความแปรปรวนเกิน Poisson ทำให้ standard errors ผิด และสัมประสิทธิ์ยังไม่พิสูจน์เหตุและผล

04Make it yours

Python · statsmodels
# ติดตั้ง: pip install numpy statsmodelsimport numpy as np data = np.genfromtxt("generalized-linear-model-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] import statsmodels.api as sm x = data[:, 0]y = np.maximum(0, np.rint(3 * np.exp(0.8 * x))).astype(int)X_design = sm.add_constant(x)model = sm.GLM(y, X_design, family=sm.families.Poisson()).fit()print(model.summary())print("Predicted mean:", model.predict(X_design)[:5])print("exp(beta_1):", np.exp(model.params[1]))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ ค่าสัมประสิทธิ์ β₁ แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample counts / Poisson mean● คำนวณใหม่เมื่อปรับค่า
ปรับผลของ x ภายใต้ log link ของ Poisson mean
ข้อมูลฝึกและผลการทำนายFeature xค่าจริง • / ค่าทำนาย —
exp(β₁)2.226
Family / linkPoisson / log
พารามิเตอร์ที่ลอง0.8

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ statsmodels จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง