01Overall Concept
ไอเดียหลัก — HMM สมมติว่าสถานะซ่อนเปลี่ยนตาม Markov chain และแต่ละสถานะสร้าง observation ตาม emission distribution จึงคำนวณ likelihood ถอดสถานะ และเรียนพารามิเตอร์ได้
ลองนึกภาพว่า — เหมือนเดอสภาพอากาศจากคนที่เดินเข้ามาพร้อมร่ม แม้เราไม่ได้เห็นท้องฟ้าโดยตรง
ตัวอย่างการนำไปใช้ — แบ่งช่วงสัญญาณ ถอดสถานะเครื่องจักร และติดป้ายลำดับ
02อธิบายภาษาคนเข้าใจง่ายๆ
Hidden Markov Model เริ่มจากคำถามง่าย ๆ ว่า อนุมานสถานะที่มองไม่เห็นจากลำดับสิ่งที่สังเกตได้ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนเดอสภาพอากาศจากคนที่เดินเข้ามาพร้อมร่ม แม้เราไม่ได้เห็นท้องฟ้าโดยตรง ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
HMM สมมติว่าสถานะซ่อนเปลี่ยนตาม Markov chain และแต่ละสถานะสร้าง observation ตาม emission distribution จึงคำนวณ likelihood ถอดสถานะ และเรียนพารามิเตอร์ได้ พารามิเตอร์หลักใน Playground คือ จำนวนสถานะซ่อน เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ลำดับ observation และความยาวของแต่ละ sequence · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น แบ่งช่วงสัญญาณ ถอดสถานะเครื่องจักร และติดป้ายลำดับ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: transition, emission, likelihood และลำดับสถานะ · Playground แสดงผลเมื่อปรับ จำนวนสถานะซ่อน พร้อมจำข้อจำกัดสำคัญว่า สมมติฐาน Markov และ independence ของ emission อาจง่ายเกินไป และจำนวนสถานะต้องตรวจด้วยข้อมูลนอกชุดฝึก
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
ลำดับ observation และความยาวของแต่ละ sequence ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ n_components เพื่อกำหนดจำนวนระบอบที่โมเดลใช้แทนลำดับ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
กำหนดสถานะเริ่มต้น transition และ emission จากนั้น ใช้ forward-backward รวมเส้นทางที่เป็นไปได้ Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
ใช้ Viterbi หาเส้นทางสถานะที่น่าจะเป็นที่สุด ผลที่ได้คือ transition, emission, likelihood และลำดับสถานะ ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ n_components ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า สมมติฐาน Markov และ independence ของ emission อาจง่ายเกินไป และจำนวนสถานะต้องตรวจด้วยข้อมูลนอกชุดฝึก
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
n_componentsrandom_statevalidationข้อมูลที่รับเข้ามา
ลำดับ observation และความยาวของแต่ละ sequence
ลำดับ observation และความยาวของแต่ละ sequence · ตัวอย่าง 60–150 แถวพารามิเตอร์ที่ใช้
- n_components
- กำหนดจำนวนระบอบที่โมเดลใช้แทนลำดับ
- random_state
- ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
- validation
- เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
ผลลัพธ์ที่ได้
transition, emission, likelihood และลำดับสถานะ
transition, emission, likelihood และลำดับสถานะ · Playground แสดงผลเมื่อปรับ จำนวนสถานะซ่อนคำนวณทีละขั้น
- 01
กำหนดสถานะเริ่มต้น transition และ emission
- 02
ใช้ forward-backward รวมเส้นทางที่เป็นไปได้
- 03
ใช้ Viterbi หาเส้นทางสถานะที่น่าจะเป็นที่สุด
ควรรู้อีกนิด — สมมติฐาน Markov และ independence ของ emission อาจง่ายเกินไป และจำนวนสถานะต้องตรวจด้วยข้อมูลนอกชุดฝึก
04Make it yours
# ติดตั้ง: pip install numpy hmmlearn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("hidden-markov-model-sample.csv", delimiter=",", skip_header=1)from hmmlearn.hmm import GaussianHMMX = data[:, 1:2]model = GaussianHMM(n_components=3, covariance_type="diag", n_iter=200, random_state=42)states = model.fit_predict(X)print("Log likelihood:", model.score(X))print("Transition matrix:\n", model.transmat_)print("Hidden states:", states[:20])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
จำนวนสถานะซ่อนเท่าใดอธิบายช่วงของลำดับได้พอดี?
แถวบนคือ observation แถวล่างคือ state ที่ Viterbi ถอดได้
แบ่งลำดับเป็นระบอบย่อยมากขึ้น แต่ state บางตัวอาจซ้ำความหมาย
ลองดูว่าจุดเปลี่ยน state ตรงกับการเปลี่ยนรูปแบบของ observation หรือไม่
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ hmmlearn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง