01Overall Concept
ไอเดียหลัก — DQN แทน Q-table ด้วย neural network และทำให้การฝึกเสถียรขึ้นด้วย replay buffer, target network และ epsilon-greedy exploration
ลองนึกภาพว่า — เหมือนเก็บประสบการณ์เล่นเกมไว้ทบทวนแบบสุ่ม และมีสำเนาคู่มือที่อัปเดตช้ากว่าเป็นคำตอบอ้างอิง
ตัวอย่างการนำไปใช้ — เกมและการตัดสินใจที่ state ใหญ่แต่ action ไม่ต่อเนื่อง
02อธิบายภาษาคนเข้าใจง่ายๆ
Deep Q-Network เริ่มจากคำถามง่าย ๆ ว่า ใช้ neural network ประมาณ Q-value ของทุก action จาก state วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนเก็บประสบการณ์เล่นเกมไว้ทบทวนแบบสุ่ม และมีสำเนาคู่มือที่อัปเดตช้ากว่าเป็นคำตอบอ้างอิง ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
DQN แทน Q-table ด้วย neural network และทำให้การฝึกเสถียรขึ้นด้วย replay buffer, target network และ epsilon-greedy exploration พารามิเตอร์หลักใน Playground คือ รอบอัปเดต target network เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ transitions จาก environment ใน replay buffer · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น เกมและการตัดสินใจที่ state ใหญ่แต่ action ไม่ต่อเนื่อง ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: Q-values, greedy action และ episodic return · Playground อัปเดตเมื่อปรับ รอบอัปเดต target network พร้อมจำข้อจำกัดสำคัญว่า เหมาะกับ discrete actions และอาจประเมิน Q สูงเกินจริงหรือไม่เสถียรถ้า reward กับ exploration ไม่เหมาะ
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
transitions จาก environment ใน replay buffer ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ target_update เพื่อกำหนดระยะเวลาที่ตรึง TD target ก่อนคัดลอก weights และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
เก็บ transitions แล้วสุ่ม minibatch จาก replay จากนั้น สร้าง TD target ด้วย target network Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
ลด Huber loss และอัปเดต target networkตามรอบ ผลที่ได้คือ Q-values, greedy action และ episodic return ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ target_update ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า เหมาะกับ discrete actions และอาจประเมิน Q สูงเกินจริงหรือไม่เสถียรถ้า reward กับ exploration ไม่เหมาะ
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
target_updatelearning_ratevalidationข้อมูลที่รับเข้ามา
transitions จาก environment ใน replay buffer
transitions จาก environment ใน replay buffer · ตัวอย่างขนาดเล็กที่ทำซ้ำได้พารามิเตอร์ที่ใช้
- target_update
- กำหนดระยะเวลาที่ตรึง TD target ก่อนคัดลอก weights
- learning_rate
- ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
- validation
- กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
ผลลัพธ์ที่ได้
Q-values, greedy action และ episodic return
Q-values, greedy action และ episodic return · Playground อัปเดตเมื่อปรับ รอบอัปเดต target networkคำนวณทีละขั้น
- 01
เก็บ transitions แล้วสุ่ม minibatch จาก replay
- 02
สร้าง TD target ด้วย target network
- 03
ลด Huber loss และอัปเดต target networkตามรอบ
ควรรู้อีกนิด — เหมาะกับ discrete actions และอาจประเมิน Q สูงเกินจริงหรือไม่เสถียรถ้า reward กับ exploration ไม่เหมาะ
04Make it yours
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("deep-q-network-sample.csv", delimiter=",", skip_header=1)rng=np.random.default_rng(42); update_every=10states=data[:,:2]; states=(states-states.mean(0))/(states.std(0)+1e-9)actions=data[:,0].astype(int)%2; rewards=data[:,2]W=rng.normal(0,.1,(2,2)); target=W.copy(); gamma=.95for step in range(120): i=step%len(states); q=states[i]@W; next_q=states[(i+1)%len(states)]@target td=rewards[i]+gamma*next_q.max()-q[actions[i]] W[:,actions[i]]+=.0005*np.clip(td,-5,5)*states[i] if (step+1)%update_every==0: target=W.copy()print("Q-values:\n", states[:5]@W)print("Greedy actions:", (states[:10]@W).argmax(1))โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ควรอัปเดต target network บ่อยแค่ไหนให้ TD target นิ่ง?
network หลักเรียน Q-values ส่วน target network สร้างคำตอบอ้างอิงที่อัปเดตช้ากว่า
ค่าเป้าหมายสดขึ้นแต่มีโอกาสไล่ตามตัวเองจนแกว่ง
ดูความนิ่งของ Q-value และ episodic return พร้อมกัน
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง