01Overall Concept
ไอเดียหลัก — Maximum Likelihood Estimation กำหนดแบบจำลองความน่าจะเป็น แล้วหาพารามิเตอร์ที่ทำให้ likelihood ของข้อมูลสูงที่สุด มักรวม log-likelihood แทนการคูณความน่าจะเป็นเล็ก ๆ จำนวนมาก
ลองนึกภาพว่า — เหมือนลองเครื่องปั่นเหรียญหลายแบบ แล้วเลือกแบบที่อธิบายผลหัวก้อยที่เห็นได้สมเหตุสมผลที่สุด
ตัวอย่างการนำไปใช้ — ประมาณค่าเฉลี่ยและความแปรปรวน ฝึก logistic regression และแบบจำลองเชิงสถิติจำนวนมาก
02อธิบายภาษาคนเข้าใจง่ายๆ
Maximum Likelihood Estimation เริ่มจากคำถามง่าย ๆ ว่า เลือกพารามิเตอร์ที่ทำให้ข้อมูลที่เห็นมีโอกาสเกิดสูงที่สุด วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนลองเครื่องปั่นเหรียญหลายแบบ แล้วเลือกแบบที่อธิบายผลหัวก้อยที่เห็นได้สมเหตุสมผลที่สุด ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Maximum Likelihood Estimation กำหนดแบบจำลองความน่าจะเป็น แล้วหาพารามิเตอร์ที่ทำให้ likelihood ของข้อมูลสูงที่สุด มักรวม log-likelihood แทนการคูณความน่าจะเป็นเล็ก ๆ จำนวนมาก พารามิเตอร์หลักใน Playground คือ ส่วนเบี่ยงเบนมาตรฐาน σ เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ x=[−0.4,0.1,0.3,…] · Gaussian(μ,σ) เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น ประมาณค่าเฉลี่ยและความแปรปรวน ฝึก logistic regression และแบบจำลองเชิงสถิติจำนวนมาก ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: Gaussian MLE: μ=ค่าเฉลี่ยข้อมูล พร้อมจำข้อจำกัดสำคัญว่า MLE ขึ้นกับ distribution ที่สมมติ ไวต่อ outlier ในบางแบบจำลอง และค่าที่ดีที่สุดบนข้อมูลฝึกอาจ overfit
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
ข้อมูลสังเกตและรูป distribution ที่สมมติ เช่น Gaussian ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ loc เพื่อค่าเฉลี่ย μ ของ Gaussian และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
เขียน likelihood p(x|θ) ของทุกจุด จากนั้น รวม log p(xᵢ|θ) และเปลี่ยนเครื่องหมายเพื่อ minimize Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
ค้นหา θ ที่ให้ negative log-likelihood ต่ำที่สุด ผลที่ได้คือ ค่าประมาณพารามิเตอร์และ log-likelihood ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ sigma ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า MLE ขึ้นกับ distribution ที่สมมติ ไวต่อ outlier ในบางแบบจำลอง และค่าที่ดีที่สุดบนข้อมูลฝึกอาจ overfit
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
locscalemethodข้อมูลที่รับเข้ามา
ข้อมูลสังเกตและรูป distribution ที่สมมติ เช่น Gaussian
x=[−0.4,0.1,0.3,…] · Gaussian(μ,σ)พารามิเตอร์ที่ใช้
- loc
- ค่าเฉลี่ย μ ของ Gaussian
- scale
- ส่วนเบี่ยงเบนมาตรฐาน σ ที่ต้องเป็นบวก
- method
- วิธี optimization ของ negative log-likelihood
ผลลัพธ์ที่ได้
ค่าประมาณพารามิเตอร์และ log-likelihood
Gaussian MLE: μ=ค่าเฉลี่ยข้อมูลคำนวณทีละขั้น
- 01
เขียน likelihood p(x|θ) ของทุกจุด
- 02
รวม log p(xᵢ|θ) และเปลี่ยนเครื่องหมายเพื่อ minimize
- 03
ค้นหา θ ที่ให้ negative log-likelihood ต่ำที่สุด
ควรรู้อีกนิด — MLE ขึ้นกับ distribution ที่สมมติ ไวต่อ outlier ในบางแบบจำลอง และค่าที่ดีที่สุดบนข้อมูลฝึกอาจ overfit
04Make it yours
# ติดตั้ง: pip install numpy scipyimport numpy as np data = np.genfromtxt("maximum-likelihood-estimation-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] from scipy.stats import norm x = data[:, 0]mu = x.mean()sigma = 0.8log_likelihood = norm.logpdf(x, loc=mu, scale=sigma).sum()mu_mle, sigma_mle = norm.fit(x)print("Selected μ, σ, log-likelihood:", mu, sigma, log_likelihood)print("MLE μ, σ:", mu_mle, sigma_mle)โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ปรับ ส่วนเบี่ยงเบนมาตรฐาน σ แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ SciPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง