01Overall Concept
ไอเดียหลัก — Actor-Critic เรียน policy และ value function พร้อมกัน โดย critic สร้าง TD error หรือ advantage เพื่อลด variance ของ policy gradient ที่ใช้ปรับ actor
ลองนึกภาพว่า — เหมือนนักแสดงทดลองการตัดสินใจ ขณะที่โค้ชประเมินทันทีว่าผลดีกว่ามาตรฐานเพียงใด
ตัวอย่างการนำไปใช้ — ควบคุมหุ่นยนต์ เกม และการตัดสินใจต่อเนื่อง
02อธิบายภาษาคนเข้าใจง่ายๆ
Actor-Critic เริ่มจากคำถามง่าย ๆ ว่า ให้ actor เลือกการกระทำและ critic ประเมินว่าดีกว่าที่คาดหรือไม่ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนนักแสดงทดลองการตัดสินใจ ขณะที่โค้ชประเมินทันทีว่าผลดีกว่ามาตรฐานเพียงใด ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Actor-Critic เรียน policy และ value function พร้อมกัน โดย critic สร้าง TD error หรือ advantage เพื่อลด variance ของ policy gradient ที่ใช้ปรับ actor พารามิเตอร์หลักใน Playground คือ Discount factor γ เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ transition ของ state, action, reward, next_state และ done · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น ควบคุมหุ่นยนต์ เกม และการตัดสินใจต่อเนื่อง ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: policy probabilities, state values และ episodic return · Playground อัปเดตเมื่อปรับ Discount factor γ พร้อมจำข้อจำกัดสำคัญว่า ข้อมูลจาก policy เปลี่ยนตลอดและการฝึกไวต่อ reward scale, entropy และ learning rates สองส่วน
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
transition ของ state, action, reward, next_state และ done ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ gamma เพื่อกำหนดน้ำหนักของรางวัลในอนาคต และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
actor สุ่ม action จาก policy จากนั้น critic คำนวณ TD target และ advantage Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
ปรับ critic จาก value loss และ actor จาก log-probability คูณ advantage ผลที่ได้คือ policy probabilities, state values และ episodic return ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ gamma ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ข้อมูลจาก policy เปลี่ยนตลอดและการฝึกไวต่อ reward scale, entropy และ learning rates สองส่วน
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
gammalearning_ratevalidationข้อมูลที่รับเข้ามา
transition ของ state, action, reward, next_state และ done
transition ของ state, action, reward, next_state และ done · ตัวอย่างขนาดเล็กที่ทำซ้ำได้พารามิเตอร์ที่ใช้
- gamma
- กำหนดน้ำหนักของรางวัลในอนาคต
- learning_rate
- ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
- validation
- กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
ผลลัพธ์ที่ได้
policy probabilities, state values และ episodic return
policy probabilities, state values และ episodic return · Playground อัปเดตเมื่อปรับ Discount factor γคำนวณทีละขั้น
- 01
actor สุ่ม action จาก policy
- 02
critic คำนวณ TD target และ advantage
- 03
ปรับ critic จาก value loss และ actor จาก log-probability คูณ advantage
ควรรู้อีกนิด — ข้อมูลจาก policy เปลี่ยนตลอดและการฝึกไวต่อ reward scale, entropy และ learning rates สองส่วน
04Make it yours
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("actor-critic-sample.csv", delimiter=",", skip_header=1)gamma=0.95; rewards=data[:20,2]; values=data[:21,1]td_target=rewards + gamma*values[1:]advantage=td_target-values[:-1]policy_logits=np.c_[values[:-1], -values[:-1]]policy=np.exp(policy_logits-policy_logits.max(1,keepdims=True)); policy/=policy.sum(1,keepdims=True)actions=data[:20,0].astype(int)%2actor_loss=-np.mean(np.log(policy[np.arange(20),actions]+1e-9)*advantage)critic_loss=np.mean(advantage**2)print("Actor / critic loss:", actor_loss, critic_loss)print("Advantages:", advantage[:8])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
discount factor ทำให้ agent สนใจรางวัลระยะไกลเพียงใด?
actor ส่ง policy ไปเลือก action ส่วน critic ส่ง advantage กลับมาสอน actor
รางวัลอนาคตมีน้ำหนักมากขึ้นและ value กระจายย้อนกลับไกลขึ้น
ดูทั้ง return และความผันผวนของ advantage
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง