ml/ library Learn by doing
ALGORITHM 103 · PYTHON / JAVASCRIPT

State Space Model

อธิบายสัญญาณด้วยสถานะซ่อนที่เคลื่อนตามสมการระบบ

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · Kalman Filter, ARMA และ latent state
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — State Space Model แยก transition equation ของ latent state ออกจาก observation equation ของค่าที่วัด แล้วใช้ Kalman filtering และ smoothing อัปเดตการกระจายของ state ตามเวลา

ลองนึกภาพว่า — เหมือนติดตามตำแหน่งรถจริงที่มองไม่เห็นจาก GPS ซึ่งมี noise และแบบจำลองการเคลื่อนที่

ตัวอย่างการนำไปใช้ — ติดตามเซนเซอร์ แยก trend/seasonality และพยากรณ์ระบบพลวัต

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

State Space Model เริ่มจากคำถามง่าย ๆ ว่า อธิบายสัญญาณด้วยสถานะซ่อนที่เคลื่อนตามสมการระบบ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนติดตามตำแหน่งรถจริงที่มองไม่เห็นจาก GPS ซึ่งมี noise และแบบจำลองการเคลื่อนที่ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

State Space Model แยก transition equation ของ latent state ออกจาก observation equation ของค่าที่วัด แล้วใช้ Kalman filtering และ smoothing อัปเดตการกระจายของ state ตามเวลา พารามิเตอร์หลักใน Playground คือ สัดส่วน noise ของสัญญาณ เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ลำดับ observation พร้อมเวลาและตัวแปรภายนอกถ้ามี · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ติดตามเซนเซอร์ แยก trend/seasonality และพยากรณ์ระบบพลวัต ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: filtered/smoothed states, likelihood และ forecast · Playground อัปเดตเมื่อปรับ สัดส่วน noise ของสัญญาณ พร้อมจำข้อจำกัดสำคัญว่า โครงสร้าง state ที่กำหนดผิดทำให้ส่วนประกอบตีความผิด และโมเดลเชิงเส้น Gaussian ไม่ครอบคลุมทุกระบบ

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    ลำดับ observation พร้อมเวลาและตัวแปรภายนอกถ้ามี ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ signal_noise เพื่อกำหนดว่าสถานะซ่อนเปลี่ยนได้เร็วเพียงใดเทียบกับ measurement noise และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    ทำนาย state และ covariance จาก transition จากนั้น เทียบ observation กับค่าคาดเป็น innovation Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ใช้ Kalman gain แก้ state และทำ smoothing ย้อนหลัง ผลที่ได้คือ filtered/smoothed states, likelihood และ forecast ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ signal_noise ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า โครงสร้าง state ที่กำหนดผิดทำให้ส่วนประกอบตีความผิด และโมเดลเชิงเส้น Gaussian ไม่ครอบคลุมทุกระบบ

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetลำดับ observation พร้อมเวลาและตัวแปรภายนอกถ้ามี · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATEState Space Model
signal_noiselearning_ratevalidation
RESULTnumeric predictionfiltered/smoothed states, likelihood และ forecast · Playground อัปเดตเมื่อปรับ สัดส่วน noise ของสัญญาณ
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

ลำดับ observation พร้อมเวลาและตัวแปรภายนอกถ้ามี

ลำดับ observation พร้อมเวลาและตัวแปรภายนอกถ้ามี · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

signal_noise
กำหนดว่าสถานะซ่อนเปลี่ยนได้เร็วเพียงใดเทียบกับ measurement noise
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

filtered/smoothed states, likelihood และ forecast

filtered/smoothed states, likelihood และ forecast · Playground อัปเดตเมื่อปรับ สัดส่วน noise ของสัญญาณ
CALCULATION

คำนวณทีละขั้น

  1. 01

    ทำนาย state และ covariance จาก transition

  2. 02

    เทียบ observation กับค่าคาดเป็น innovation

  3. 03

    ใช้ Kalman gain แก้ state และทำ smoothing ย้อนหลัง

ควรรู้อีกนิด — โครงสร้าง state ที่กำหนดผิดทำให้ส่วนประกอบตีความผิด และโมเดลเชิงเส้น Gaussian ไม่ครอบคลุมทุกระบบ

04Make it yours

Python · statsmodels
# ติดตั้ง: pip install numpy statsmodels# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("state-space-model-sample.csv", delimiter=",", skip_header=1)from statsmodels.tsa.statespace.structural import UnobservedComponentsy = data[:, 1]model = UnobservedComponents(y, level="local linear trend", irregular=True).fit(disp=False)print("Smoothed states:\n", model.smoothed_state[:, -5:])print("Forecast:", model.forecast(10))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

สัดส่วน process noise ทำให้ state ตามข้อมูลเร็วแค่ไหน?

State Space Model / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดว่าสถานะซ่อนเปลี่ยนได้เร็วเพียงใดเทียบกับ measurement noise
ดูภาพอย่างไร

เส้นจางคือ observation เส้นเข้มคือ filtered latent state และแถบคือ uncertainty

เมื่อเพิ่มค่า

state เคลื่อนไหวตาม observation เร็วขึ้นและเรียบน้อยลง

ลองเปรียบเทียบ

มองความล่าช้าของ state เทียบกับความกว้าง uncertainty

ข้อมูลอดีตและค่าที่โมเดลอธิบายforecast →จุดเริ่มอนาคต
Filter RMSE proxy0.150
Process noise0.40
พารามิเตอร์ที่ลอง0.40

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ statsmodels จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง