ml/ library Learn by doing
ALGORITHM 45 · PYTHON / JAVASCRIPT

Q-Learning

เรียนค่าของแต่ละการกระทำจากรางวัลจริงโดยไม่ต้องรู้สมการของโลก

LEARNING LEVEL2
ต่อยอดโดยตรงควรรู้มาก่อน · Markov Chain reward และ value function
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Q-Learning เป็นวิธี reinforcement learning แบบ off-policy ที่อัปเดตค่า Q(s,a) ด้วย reward และค่าดีที่สุดของ state ถัดไป เพื่อค่อย ๆ สร้างนโยบายเลือกการกระทำ

ลองนึกภาพว่า — เหมือนลองเดินในเขาวงกตและจดคะแนนของแต่ละทางแยก ทุกครั้งที่ถึงเป้าหมายหรือชนทางตัน คะแนนจะไหลย้อนกลับไปยังทางที่เลือกก่อนหน้า

ตัวอย่างการนำไปใช้ — เรียนเส้นทางใน grid world จัดตารางงาน และควบคุมระบบที่จำลองเป็น state กับ action ได้

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Q-Learning เริ่มจากคำถามง่าย ๆ ว่า เรียนค่าของแต่ละการกระทำจากรางวัลจริงโดยไม่ต้องรู้สมการของโลก วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนลองเดินในเขาวงกตและจดคะแนนของแต่ละทางแยก ทุกครั้งที่ถึงเป้าหมายหรือชนทางตัน คะแนนจะไหลย้อนกลับไปยังทางที่เลือกก่อนหน้า ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Q-Learning เป็นวิธี reinforcement learning แบบ off-policy ที่อัปเดตค่า Q(s,a) ด้วย reward และค่าดีที่สุดของ state ถัดไป เพื่อค่อย ๆ สร้างนโยบายเลือกการกระทำ พารามิเตอร์หลักใน Playground คือ อัตราเรียนรู้ α เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ grid 4×4 · 4 actions · goal reward +1 เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น เรียนเส้นทางใน grid world จัดตารางงาน และควบคุมระบบที่จำลองเป็น state กับ action ได้ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: Q←Q+α[r+γ max Q(next)−Q] พร้อมจำข้อจำกัดสำคัญว่า state-action table โตเร็วเมื่อปัญหาใหญ่ การสำรวจไม่พออาจติดคำตอบแย่ และ reward ที่ออกแบบผิดนำไปสู่พฤติกรรมไม่ต้องการ

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    state action reward next state และเงื่อนไขจบ episode ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ alpha เพื่อกำหนดอัตราการอัปเดต Q และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    เลือก action แบบสำรวจหรือใช้ค่าที่ดีที่สุด จากนั้น สังเกต reward และ state ถัดไป Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    อัปเดต Q ด้วย temporal-difference target ผลที่ได้คือ ตาราง Q และ policy ที่เลือก action ค่าสูงสุด ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ alpha ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า state-action table โตเร็วเมื่อปัญหาใหญ่ การสำรวจไม่พออาจติดคำตอบแย่ และ reward ที่ออกแบบผิดนำไปสู่พฤติกรรมไม่ต้องการ

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetgrid 4×4 · 4 actions · goal reward +1
CALCULATEQ-Learning
alphagammaepsilon
RESULTnumeric predictionQ←Q+α[r+γ max Q(next)−Q]
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

state action reward next state และเงื่อนไขจบ episode

grid 4×4 · 4 actions · goal reward +1
PARAMETERS

พารามิเตอร์ที่ใช้

alpha
กำหนดอัตราการอัปเดต Q
gamma
ลดน้ำหนักรางวัลอนาคต
epsilon
กำหนดโอกาสทดลอง action ใหม่
OUTPUT

ผลลัพธ์ที่ได้

ตาราง Q และ policy ที่เลือก action ค่าสูงสุด

Q←Q+α[r+γ max Q(next)−Q]
CALCULATION

คำนวณทีละขั้น

  1. 01

    เลือก action แบบสำรวจหรือใช้ค่าที่ดีที่สุด

  2. 02

    สังเกต reward และ state ถัดไป

  3. 03

    อัปเดต Q ด้วย temporal-difference target

ควรรู้อีกนิด — state-action table โตเร็วเมื่อปัญหาใหญ่ การสำรวจไม่พออาจติดคำตอบแย่ และ reward ที่ออกแบบผิดนำไปสู่พฤติกรรมไม่ต้องการ

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpyimport numpy as np rng = np.random.default_rng(42)n_states, n_actions, goal = 16, 4, 15Q = np.zeros((n_states, n_actions))alpha, gamma, epsilon = 0.35, .9, .2def step(state, action):    row, col = divmod(state, 4)    row = min(3, max(0, row + (-1 if action == 0 else 1 if action == 2 else 0)))    col = min(3, max(0, col + (1 if action == 1 else -1 if action == 3 else 0)))    nxt = row * 4 + col    return nxt, (1.0 if nxt == goal else -.02)for _ in range(800):    state = 0    for _ in range(60):        action = rng.integers(n_actions) if rng.random() < epsilon else int(Q[state].argmax())        nxt, reward = step(state, action)        Q[state, action] += alpha * (reward + gamma * Q[nxt].max() - Q[state, action])        state = nxt        if state == goal: breakprint("Policy:\n", Q.argmax(axis=1).reshape(4, 4))print("Start-state values:", Q[0])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ อัตราเรียนรู้ α แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Grid world / Learned action values● คำนวณใหม่เมื่อปรับค่า
ค่าสูงแทนค่าความรู้เดิมด้วยประสบการณ์ล่าสุดเร็วขึ้น
ข้อมูลฝึกและผลการทำนายFeature xค่าจริง • / ค่าทำนาย —
Q(start, best action)2.232
Episodes60
พารามิเตอร์ที่ลอง0.35

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง