ml/ library Learn by doing
ALGORITHM 44 · PYTHON / JAVASCRIPT

Kalman Filter

รวมค่าคาดจากระบบกับค่าที่เซนเซอร์วัดตามระดับความไม่แน่นอน

LEARNING LEVEL2
ต่อยอดโดยตรงควรรู้มาก่อน · Linear Regression Gaussian distribution และ Markov Chain
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Kalman Filter ติดตาม state ที่มองไม่เห็นด้วยสองขั้นตอน คือ predict จากสมการการเคลื่อนที่และ update จาก observation โดยให้น้ำหนักตาม covariance ของความไม่แน่นอน

ลองนึกภาพว่า — เหมือนติดตามรถด้วยทั้งแบบจำลองความเร็วและ GPS ถ้า GPS แกว่งมากจะเชื่อแบบจำลองมากขึ้น แต่ถ้า GPS แม่นก็แก้ตำแหน่งตามการวัด

ตัวอย่างการนำไปใช้ — ติดตามตำแหน่ง กรองสัญญาณเซนเซอร์ และประมาณค่าระบบแบบออนไลน์

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Kalman Filter เริ่มจากคำถามง่าย ๆ ว่า รวมค่าคาดจากระบบกับค่าที่เซนเซอร์วัดตามระดับความไม่แน่นอน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนติดตามรถด้วยทั้งแบบจำลองความเร็วและ GPS ถ้า GPS แกว่งมากจะเชื่อแบบจำลองมากขึ้น แต่ถ้า GPS แม่นก็แก้ตำแหน่งตามการวัด ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Kalman Filter ติดตาม state ที่มองไม่เห็นด้วยสองขั้นตอน คือ predict จากสมการการเคลื่อนที่และ update จาก observation โดยให้น้ำหนักตาม covariance ของความไม่แน่นอน พารามิเตอร์หลักใน Playground คือ ความแปรปรวนการวัด R เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ตำแหน่งจริงแฝง · การวัด 60 จุดที่มี noise เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ติดตามตำแหน่ง กรองสัญญาณเซนเซอร์ และประมาณค่าระบบแบบออนไลน์ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: R สูง → เส้นกรองเรียบและตอบสนองต่อ observation ช้าลง พร้อมจำข้อจำกัดสำคัญว่า ตัวกรองมาตรฐานสมมติระบบเชิงเส้นและ noise แบบ Gaussian หาก Q หรือ R ผิด ผลอาจมั่นใจเกินจริง

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    observation ตามเวลา พร้อม transition และ covariance ของ process กับ measurement ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ measurement_noise เพื่อระบุความไม่แน่นอนของการวัด R และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    ทำนาย state และ covariance ไปข้างหน้า จากนั้น คำนวณ Kalman gain จากความไม่แน่นอนสองแหล่ง Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    แก้ state ด้วย innovation ระหว่างค่าจริงกับค่าคาด ผลที่ได้คือ filtered state covariance และ innovation ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ measurement_noise ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ตัวกรองมาตรฐานสมมติระบบเชิงเส้นและ noise แบบ Gaussian หาก Q หรือ R ผิด ผลอาจมั่นใจเกินจริง

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetตำแหน่งจริงแฝง · การวัด 60 จุดที่มี noise
CALCULATEKalman Filter
measurement_noiseprocess_noisetransition
RESULTnumeric predictionR สูง → เส้นกรองเรียบและตอบสนองต่อ observation ช้าลง
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

observation ตามเวลา พร้อม transition และ covariance ของ process กับ measurement

ตำแหน่งจริงแฝง · การวัด 60 จุดที่มี noise
PARAMETERS

พารามิเตอร์ที่ใช้

measurement_noise
ระบุความไม่แน่นอนของการวัด R
process_noise
ระบุความไม่แน่นอนของการเปลี่ยน state Q
transition
กำหนดว่า state เคลื่อนไปช่วงถัดไปอย่างไร
OUTPUT

ผลลัพธ์ที่ได้

filtered state covariance และ innovation

R สูง → เส้นกรองเรียบและตอบสนองต่อ observation ช้าลง
CALCULATION

คำนวณทีละขั้น

  1. 01

    ทำนาย state และ covariance ไปข้างหน้า

  2. 02

    คำนวณ Kalman gain จากความไม่แน่นอนสองแหล่ง

  3. 03

    แก้ state ด้วย innovation ระหว่างค่าจริงกับค่าคาด

ควรรู้อีกนิด — ตัวกรองมาตรฐานสมมติระบบเชิงเส้นและ noise แบบ Gaussian หาก Q หรือ R ผิด ผลอาจมั่นใจเกินจริง

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpyimport numpy as np data = np.genfromtxt("kalman-filter-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] y = data[:, 1]process_noise, measurement_noise = .08, 0.45state, variance, filtered = y[0], 1.0, []for measurement in y:    variance += process_noise    gain = variance / (variance + measurement_noise)    state += gain * (measurement - state)    variance *= 1 - gain    filtered.append(state)print("Filtered values:", np.array(filtered)[:8])print("Final state / variance:", state, variance)

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ ความแปรปรวนการวัด R แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample time series / Fitted signal● คำนวณใหม่เมื่อปรับค่า
ค่าสูงทำให้ตัวกรองเชื่อค่าคาดจากระบบมากกว่าการวัด
ข้อมูลฝึกและผลการทำนายFeature xค่าจริง • / ค่าทำนาย —
In-sample RMSE1.136
ค่าล่าสุดที่กรองได้38.56
พารามิเตอร์ที่ลอง0.45

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง