01Overall Concept
ไอเดียหลัก — Q-Learning เป็นวิธี reinforcement learning แบบ off-policy ที่อัปเดตค่า Q(s,a) ด้วย reward และค่าดีที่สุดของ state ถัดไป เพื่อค่อย ๆ สร้างนโยบายเลือกการกระทำ
ลองนึกภาพว่า — เหมือนลองเดินในเขาวงกตและจดคะแนนของแต่ละทางแยก ทุกครั้งที่ถึงเป้าหมายหรือชนทางตัน คะแนนจะไหลย้อนกลับไปยังทางที่เลือกก่อนหน้า
ตัวอย่างการนำไปใช้ — เรียนเส้นทางใน grid world จัดตารางงาน และควบคุมระบบที่จำลองเป็น state กับ action ได้
02อธิบายภาษาคนเข้าใจง่ายๆ
Q-Learning เริ่มจากคำถามง่าย ๆ ว่า เรียนค่าของแต่ละการกระทำจากรางวัลจริงโดยไม่ต้องรู้สมการของโลก วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนลองเดินในเขาวงกตและจดคะแนนของแต่ละทางแยก ทุกครั้งที่ถึงเป้าหมายหรือชนทางตัน คะแนนจะไหลย้อนกลับไปยังทางที่เลือกก่อนหน้า ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Q-Learning เป็นวิธี reinforcement learning แบบ off-policy ที่อัปเดตค่า Q(s,a) ด้วย reward และค่าดีที่สุดของ state ถัดไป เพื่อค่อย ๆ สร้างนโยบายเลือกการกระทำ พารามิเตอร์หลักใน Playground คือ อัตราเรียนรู้ α เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ grid 4×4 · 4 actions · goal reward +1 เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น เรียนเส้นทางใน grid world จัดตารางงาน และควบคุมระบบที่จำลองเป็น state กับ action ได้ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: Q←Q+α[r+γ max Q(next)−Q] พร้อมจำข้อจำกัดสำคัญว่า state-action table โตเร็วเมื่อปัญหาใหญ่ การสำรวจไม่พออาจติดคำตอบแย่ และ reward ที่ออกแบบผิดนำไปสู่พฤติกรรมไม่ต้องการ
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
state action reward next state และเงื่อนไขจบ episode ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ alpha เพื่อกำหนดอัตราการอัปเดต Q และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
เลือก action แบบสำรวจหรือใช้ค่าที่ดีที่สุด จากนั้น สังเกต reward และ state ถัดไป Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
อัปเดต Q ด้วย temporal-difference target ผลที่ได้คือ ตาราง Q และ policy ที่เลือก action ค่าสูงสุด ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ alpha ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า state-action table โตเร็วเมื่อปัญหาใหญ่ การสำรวจไม่พออาจติดคำตอบแย่ และ reward ที่ออกแบบผิดนำไปสู่พฤติกรรมไม่ต้องการ
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
alphagammaepsilonข้อมูลที่รับเข้ามา
state action reward next state และเงื่อนไขจบ episode
grid 4×4 · 4 actions · goal reward +1พารามิเตอร์ที่ใช้
- alpha
- กำหนดอัตราการอัปเดต Q
- gamma
- ลดน้ำหนักรางวัลอนาคต
- epsilon
- กำหนดโอกาสทดลอง action ใหม่
ผลลัพธ์ที่ได้
ตาราง Q และ policy ที่เลือก action ค่าสูงสุด
Q←Q+α[r+γ max Q(next)−Q]คำนวณทีละขั้น
- 01
เลือก action แบบสำรวจหรือใช้ค่าที่ดีที่สุด
- 02
สังเกต reward และ state ถัดไป
- 03
อัปเดต Q ด้วย temporal-difference target
ควรรู้อีกนิด — state-action table โตเร็วเมื่อปัญหาใหญ่ การสำรวจไม่พออาจติดคำตอบแย่ และ reward ที่ออกแบบผิดนำไปสู่พฤติกรรมไม่ต้องการ
04Make it yours
# ติดตั้ง: pip install numpyimport numpy as np rng = np.random.default_rng(42)n_states, n_actions, goal = 16, 4, 15Q = np.zeros((n_states, n_actions))alpha, gamma, epsilon = 0.35, .9, .2def step(state, action): row, col = divmod(state, 4) row = min(3, max(0, row + (-1 if action == 0 else 1 if action == 2 else 0))) col = min(3, max(0, col + (1 if action == 1 else -1 if action == 3 else 0))) nxt = row * 4 + col return nxt, (1.0 if nxt == goal else -.02)for _ in range(800): state = 0 for _ in range(60): action = rng.integers(n_actions) if rng.random() < epsilon else int(Q[state].argmax()) nxt, reward = step(state, action) Q[state, action] += alpha * (reward + gamma * Q[nxt].max() - Q[state, action]) state = nxt if state == goal: breakprint("Policy:\n", Q.argmax(axis=1).reshape(4, 4))print("Start-state values:", Q[0])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ปรับ อัตราเรียนรู้ α แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง