ml/ library Learn by doing
ALGORITHM 76 · PYTHON / JAVASCRIPT

Hidden Markov Model

อนุมานสถานะที่มองไม่เห็นจากลำดับสิ่งที่สังเกตได้

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · Markov Chain, MLE และ Naive Bayes
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — HMM สมมติว่าสถานะซ่อนเปลี่ยนตาม Markov chain และแต่ละสถานะสร้าง observation ตาม emission distribution จึงคำนวณ likelihood ถอดสถานะ และเรียนพารามิเตอร์ได้

ลองนึกภาพว่า — เหมือนเดอสภาพอากาศจากคนที่เดินเข้ามาพร้อมร่ม แม้เราไม่ได้เห็นท้องฟ้าโดยตรง

ตัวอย่างการนำไปใช้ — แบ่งช่วงสัญญาณ ถอดสถานะเครื่องจักร และติดป้ายลำดับ

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Hidden Markov Model เริ่มจากคำถามง่าย ๆ ว่า อนุมานสถานะที่มองไม่เห็นจากลำดับสิ่งที่สังเกตได้ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนเดอสภาพอากาศจากคนที่เดินเข้ามาพร้อมร่ม แม้เราไม่ได้เห็นท้องฟ้าโดยตรง ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

HMM สมมติว่าสถานะซ่อนเปลี่ยนตาม Markov chain และแต่ละสถานะสร้าง observation ตาม emission distribution จึงคำนวณ likelihood ถอดสถานะ และเรียนพารามิเตอร์ได้ พารามิเตอร์หลักใน Playground คือ จำนวนสถานะซ่อน เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ลำดับ observation และความยาวของแต่ละ sequence · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น แบ่งช่วงสัญญาณ ถอดสถานะเครื่องจักร และติดป้ายลำดับ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: transition, emission, likelihood และลำดับสถานะ · Playground แสดงผลเมื่อปรับ จำนวนสถานะซ่อน พร้อมจำข้อจำกัดสำคัญว่า สมมติฐาน Markov และ independence ของ emission อาจง่ายเกินไป และจำนวนสถานะต้องตรวจด้วยข้อมูลนอกชุดฝึก

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    ลำดับ observation และความยาวของแต่ละ sequence ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ n_components เพื่อกำหนดจำนวนระบอบที่โมเดลใช้แทนลำดับ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    กำหนดสถานะเริ่มต้น transition และ emission จากนั้น ใช้ forward-backward รวมเส้นทางที่เป็นไปได้ Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ใช้ Viterbi หาเส้นทางสถานะที่น่าจะเป็นที่สุด ผลที่ได้คือ transition, emission, likelihood และลำดับสถานะ ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ n_components ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า สมมติฐาน Markov และ independence ของ emission อาจง่ายเกินไป และจำนวนสถานะต้องตรวจด้วยข้อมูลนอกชุดฝึก

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetลำดับ observation และความยาวของแต่ละ sequence · ตัวอย่าง 60–150 แถว
CALCULATEHidden Markov Model
n_componentsrandom_statevalidation
RESULT0.800.150.05class / probabilitytransition, emission, likelihood และลำดับสถานะ · Playground แสดงผลเมื่อปรับ จำนวนสถานะซ่อน
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

ลำดับ observation และความยาวของแต่ละ sequence

ลำดับ observation และความยาวของแต่ละ sequence · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

n_components
กำหนดจำนวนระบอบที่โมเดลใช้แทนลำดับ
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

transition, emission, likelihood และลำดับสถานะ

transition, emission, likelihood และลำดับสถานะ · Playground แสดงผลเมื่อปรับ จำนวนสถานะซ่อน
CALCULATION

คำนวณทีละขั้น

  1. 01

    กำหนดสถานะเริ่มต้น transition และ emission

  2. 02

    ใช้ forward-backward รวมเส้นทางที่เป็นไปได้

  3. 03

    ใช้ Viterbi หาเส้นทางสถานะที่น่าจะเป็นที่สุด

ควรรู้อีกนิด — สมมติฐาน Markov และ independence ของ emission อาจง่ายเกินไป และจำนวนสถานะต้องตรวจด้วยข้อมูลนอกชุดฝึก

04Make it yours

Python · hmmlearn
# ติดตั้ง: pip install numpy hmmlearn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("hidden-markov-model-sample.csv", delimiter=",", skip_header=1)from hmmlearn.hmm import GaussianHMMX = data[:, 1:2]model = GaussianHMM(n_components=3, covariance_type="diag", n_iter=200, random_state=42)states = model.fit_predict(X)print("Log likelihood:", model.score(X))print("Transition matrix:\n", model.transmat_)print("Hidden states:", states[:20])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

จำนวนสถานะซ่อนเท่าใดอธิบายช่วงของลำดับได้พอดี?

Hidden Markov Model / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดจำนวนระบอบที่โมเดลใช้แทนลำดับ
ดูภาพอย่างไร

แถวบนคือ observation แถวล่างคือ state ที่ Viterbi ถอดได้

เมื่อเพิ่มค่า

แบ่งลำดับเป็นระบอบย่อยมากขึ้น แต่ state บางตัวอาจซ้ำความหมาย

ลองเปรียบเทียบ

ลองดูว่าจุดเปลี่ยน state ตรงกับการเปลี่ยนรูปแบบของ observation หรือไม่

x1state 0x2state 1x3state 2x4state 0x5state 1x6state 2forgetข้อมูลไหลตามเวลาและส่งสถานะต่อ
Sequence agreement83.0%
จำนวน hidden states3
พารามิเตอร์ที่ลอง3

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ hmmlearn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง