ml/ library Learn by doing
ALGORITHM 119 · PYTHON / JAVASCRIPT

Deep Q-Network

ใช้ neural network ประมาณ Q-value ของทุก action จาก state

LEARNING LEVEL5
เฉพาะทางควรรู้มาก่อน · Q-Learning และ MLP
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — DQN แทน Q-table ด้วย neural network และทำให้การฝึกเสถียรขึ้นด้วย replay buffer, target network และ epsilon-greedy exploration

ลองนึกภาพว่า — เหมือนเก็บประสบการณ์เล่นเกมไว้ทบทวนแบบสุ่ม และมีสำเนาคู่มือที่อัปเดตช้ากว่าเป็นคำตอบอ้างอิง

ตัวอย่างการนำไปใช้ — เกมและการตัดสินใจที่ state ใหญ่แต่ action ไม่ต่อเนื่อง

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Deep Q-Network เริ่มจากคำถามง่าย ๆ ว่า ใช้ neural network ประมาณ Q-value ของทุก action จาก state วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนเก็บประสบการณ์เล่นเกมไว้ทบทวนแบบสุ่ม และมีสำเนาคู่มือที่อัปเดตช้ากว่าเป็นคำตอบอ้างอิง ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

DQN แทน Q-table ด้วย neural network และทำให้การฝึกเสถียรขึ้นด้วย replay buffer, target network และ epsilon-greedy exploration พารามิเตอร์หลักใน Playground คือ รอบอัปเดต target network เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ transitions จาก environment ใน replay buffer · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น เกมและการตัดสินใจที่ state ใหญ่แต่ action ไม่ต่อเนื่อง ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: Q-values, greedy action และ episodic return · Playground อัปเดตเมื่อปรับ รอบอัปเดต target network พร้อมจำข้อจำกัดสำคัญว่า เหมาะกับ discrete actions และอาจประเมิน Q สูงเกินจริงหรือไม่เสถียรถ้า reward กับ exploration ไม่เหมาะ

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    transitions จาก environment ใน replay buffer ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ target_update เพื่อกำหนดระยะเวลาที่ตรึง TD target ก่อนคัดลอก weights และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    เก็บ transitions แล้วสุ่ม minibatch จาก replay จากนั้น สร้าง TD target ด้วย target network Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ลด Huber loss และอัปเดต target networkตามรอบ ผลที่ได้คือ Q-values, greedy action และ episodic return ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ target_update ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า เหมาะกับ discrete actions และอาจประเมิน Q สูงเกินจริงหรือไม่เสถียรถ้า reward กับ exploration ไม่เหมาะ

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targettransitions จาก environment ใน replay buffer · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATEDeep Q-Network
target_updatelearning_ratevalidation
RESULTnumeric predictionQ-values, greedy action และ episodic return · Playground อัปเดตเมื่อปรับ รอบอัปเดต target network
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

transitions จาก environment ใน replay buffer

transitions จาก environment ใน replay buffer · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

target_update
กำหนดระยะเวลาที่ตรึง TD target ก่อนคัดลอก weights
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

Q-values, greedy action และ episodic return

Q-values, greedy action และ episodic return · Playground อัปเดตเมื่อปรับ รอบอัปเดต target network
CALCULATION

คำนวณทีละขั้น

  1. 01

    เก็บ transitions แล้วสุ่ม minibatch จาก replay

  2. 02

    สร้าง TD target ด้วย target network

  3. 03

    ลด Huber loss และอัปเดต target networkตามรอบ

ควรรู้อีกนิด — เหมาะกับ discrete actions และอาจประเมิน Q สูงเกินจริงหรือไม่เสถียรถ้า reward กับ exploration ไม่เหมาะ

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("deep-q-network-sample.csv", delimiter=",", skip_header=1)rng=np.random.default_rng(42); update_every=10states=data[:,:2]; states=(states-states.mean(0))/(states.std(0)+1e-9)actions=data[:,0].astype(int)%2; rewards=data[:,2]W=rng.normal(0,.1,(2,2)); target=W.copy(); gamma=.95for step in range(120):    i=step%len(states); q=states[i]@W; next_q=states[(i+1)%len(states)]@target    td=rewards[i]+gamma*next_q.max()-q[actions[i]]    W[:,actions[i]]+=.0005*np.clip(td,-5,5)*states[i]    if (step+1)%update_every==0: target=W.copy()print("Q-values:\n", states[:5]@W)print("Greedy actions:", (states[:10]@W).argmax(1))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ควรอัปเดต target network บ่อยแค่ไหนให้ TD target นิ่ง?

Deep Q-Network / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดระยะเวลาที่ตรึง TD target ก่อนคัดลอก weights
ดูภาพอย่างไร

network หลักเรียน Q-values ส่วน target network สร้างคำตอบอ้างอิงที่อัปเดตช้ากว่า

เมื่อเพิ่มค่า

ค่าเป้าหมายสดขึ้นแต่มีโอกาสไล่ตามตัวเองจนแกว่ง

ลองเปรียบเทียบ

ดูความนิ่งของ Q-value และ episodic return พร้อมกัน

policy / actortarget Qadvantage / TD targetagent เลือก action → รับ reward → อัปเดต policy หรือ value
TD error0.231
Target update interval10
พารามิเตอร์ที่ลอง10

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง