ml/ library Learn by doing
ALGORITHM 13 · PYTHON / JAVASCRIPT

Maximum Likelihood Estimation

เลือกพารามิเตอร์ที่ทำให้ข้อมูลที่เห็นมีโอกาสเกิดสูงที่สุด

LEARNING LEVEL1
พื้นฐานควรรู้มาก่อน · ความน่าจะเป็น likelihood และ optimization
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Maximum Likelihood Estimation กำหนดแบบจำลองความน่าจะเป็น แล้วหาพารามิเตอร์ที่ทำให้ likelihood ของข้อมูลสูงที่สุด มักรวม log-likelihood แทนการคูณความน่าจะเป็นเล็ก ๆ จำนวนมาก

ลองนึกภาพว่า — เหมือนลองเครื่องปั่นเหรียญหลายแบบ แล้วเลือกแบบที่อธิบายผลหัวก้อยที่เห็นได้สมเหตุสมผลที่สุด

ตัวอย่างการนำไปใช้ — ประมาณค่าเฉลี่ยและความแปรปรวน ฝึก logistic regression และแบบจำลองเชิงสถิติจำนวนมาก

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Maximum Likelihood Estimation เริ่มจากคำถามง่าย ๆ ว่า เลือกพารามิเตอร์ที่ทำให้ข้อมูลที่เห็นมีโอกาสเกิดสูงที่สุด วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนลองเครื่องปั่นเหรียญหลายแบบ แล้วเลือกแบบที่อธิบายผลหัวก้อยที่เห็นได้สมเหตุสมผลที่สุด ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Maximum Likelihood Estimation กำหนดแบบจำลองความน่าจะเป็น แล้วหาพารามิเตอร์ที่ทำให้ likelihood ของข้อมูลสูงที่สุด มักรวม log-likelihood แทนการคูณความน่าจะเป็นเล็ก ๆ จำนวนมาก พารามิเตอร์หลักใน Playground คือ ส่วนเบี่ยงเบนมาตรฐาน σ เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ x=[−0.4,0.1,0.3,…] · Gaussian(μ,σ) เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ประมาณค่าเฉลี่ยและความแปรปรวน ฝึก logistic regression และแบบจำลองเชิงสถิติจำนวนมาก ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: Gaussian MLE: μ=ค่าเฉลี่ยข้อมูล พร้อมจำข้อจำกัดสำคัญว่า MLE ขึ้นกับ distribution ที่สมมติ ไวต่อ outlier ในบางแบบจำลอง และค่าที่ดีที่สุดบนข้อมูลฝึกอาจ overfit

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    ข้อมูลสังเกตและรูป distribution ที่สมมติ เช่น Gaussian ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ loc เพื่อค่าเฉลี่ย μ ของ Gaussian และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    เขียน likelihood p(x|θ) ของทุกจุด จากนั้น รวม log p(xᵢ|θ) และเปลี่ยนเครื่องหมายเพื่อ minimize Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ค้นหา θ ที่ให้ negative log-likelihood ต่ำที่สุด ผลที่ได้คือ ค่าประมาณพารามิเตอร์และ log-likelihood ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ sigma ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า MLE ขึ้นกับ distribution ที่สมมติ ไวต่อ outlier ในบางแบบจำลอง และค่าที่ดีที่สุดบนข้อมูลฝึกอาจ overfit

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetx=[−0.4,0.1,0.3,…] · Gaussian(μ,σ)
CALCULATEMaximum Likelihood Estimation
locscalemethod
RESULTnumeric predictionGaussian MLE: μ=ค่าเฉลี่ยข้อมูล
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

ข้อมูลสังเกตและรูป distribution ที่สมมติ เช่น Gaussian

x=[−0.4,0.1,0.3,…] · Gaussian(μ,σ)
PARAMETERS

พารามิเตอร์ที่ใช้

loc
ค่าเฉลี่ย μ ของ Gaussian
scale
ส่วนเบี่ยงเบนมาตรฐาน σ ที่ต้องเป็นบวก
method
วิธี optimization ของ negative log-likelihood
OUTPUT

ผลลัพธ์ที่ได้

ค่าประมาณพารามิเตอร์และ log-likelihood

Gaussian MLE: μ=ค่าเฉลี่ยข้อมูล
CALCULATION

คำนวณทีละขั้น

  1. 01

    เขียน likelihood p(x|θ) ของทุกจุด

  2. 02

    รวม log p(xᵢ|θ) และเปลี่ยนเครื่องหมายเพื่อ minimize

  3. 03

    ค้นหา θ ที่ให้ negative log-likelihood ต่ำที่สุด

ควรรู้อีกนิด — MLE ขึ้นกับ distribution ที่สมมติ ไวต่อ outlier ในบางแบบจำลอง และค่าที่ดีที่สุดบนข้อมูลฝึกอาจ overfit

04Make it yours

Python · SciPy
# ติดตั้ง: pip install numpy scipyimport numpy as np data = np.genfromtxt("maximum-likelihood-estimation-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] from scipy.stats import norm x = data[:, 0]mu = x.mean()sigma = 0.8log_likelihood = norm.logpdf(x, loc=mu, scale=sigma).sum()mu_mle, sigma_mle = norm.fit(x)print("Selected μ, σ, log-likelihood:", mu, sigma, log_likelihood)print("MLE μ, σ:", mu_mle, sigma_mle)

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ ส่วนเบี่ยงเบนมาตรฐาน σ แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample observations / Gaussian likelihood● คำนวณใหม่เมื่อปรับค่า
ปรับความกว้างของ Gaussian แล้วดู log-likelihood
ข้อมูลฝึกและผลการทำนายFeature xค่าจริง • / ค่าทำนาย —
Negative log-likelihood-0.524
MLE μ0.017
พารามิเตอร์ที่ลอง0.80

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ SciPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง