ml/ library Learn by doing
ALGORITHM 106 · PYTHON / JAVASCRIPT

Actor-Critic

ให้ actor เลือกการกระทำและ critic ประเมินว่าดีกว่าที่คาดหรือไม่

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · Q-Learning, policy gradient และ MLP
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Actor-Critic เรียน policy และ value function พร้อมกัน โดย critic สร้าง TD error หรือ advantage เพื่อลด variance ของ policy gradient ที่ใช้ปรับ actor

ลองนึกภาพว่า — เหมือนนักแสดงทดลองการตัดสินใจ ขณะที่โค้ชประเมินทันทีว่าผลดีกว่ามาตรฐานเพียงใด

ตัวอย่างการนำไปใช้ — ควบคุมหุ่นยนต์ เกม และการตัดสินใจต่อเนื่อง

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Actor-Critic เริ่มจากคำถามง่าย ๆ ว่า ให้ actor เลือกการกระทำและ critic ประเมินว่าดีกว่าที่คาดหรือไม่ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนนักแสดงทดลองการตัดสินใจ ขณะที่โค้ชประเมินทันทีว่าผลดีกว่ามาตรฐานเพียงใด ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Actor-Critic เรียน policy และ value function พร้อมกัน โดย critic สร้าง TD error หรือ advantage เพื่อลด variance ของ policy gradient ที่ใช้ปรับ actor พารามิเตอร์หลักใน Playground คือ Discount factor γ เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ transition ของ state, action, reward, next_state และ done · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ควบคุมหุ่นยนต์ เกม และการตัดสินใจต่อเนื่อง ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: policy probabilities, state values และ episodic return · Playground อัปเดตเมื่อปรับ Discount factor γ พร้อมจำข้อจำกัดสำคัญว่า ข้อมูลจาก policy เปลี่ยนตลอดและการฝึกไวต่อ reward scale, entropy และ learning rates สองส่วน

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    transition ของ state, action, reward, next_state และ done ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ gamma เพื่อกำหนดน้ำหนักของรางวัลในอนาคต และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    actor สุ่ม action จาก policy จากนั้น critic คำนวณ TD target และ advantage Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ปรับ critic จาก value loss และ actor จาก log-probability คูณ advantage ผลที่ได้คือ policy probabilities, state values และ episodic return ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ gamma ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ข้อมูลจาก policy เปลี่ยนตลอดและการฝึกไวต่อ reward scale, entropy และ learning rates สองส่วน

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targettransition ของ state, action, reward, next_state และ done · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATEActor-Critic
gammalearning_ratevalidation
RESULTnumeric predictionpolicy probabilities, state values และ episodic return · Playground อัปเดตเมื่อปรับ Discount factor γ
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

transition ของ state, action, reward, next_state และ done

transition ของ state, action, reward, next_state และ done · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

gamma
กำหนดน้ำหนักของรางวัลในอนาคต
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

policy probabilities, state values และ episodic return

policy probabilities, state values และ episodic return · Playground อัปเดตเมื่อปรับ Discount factor γ
CALCULATION

คำนวณทีละขั้น

  1. 01

    actor สุ่ม action จาก policy

  2. 02

    critic คำนวณ TD target และ advantage

  3. 03

    ปรับ critic จาก value loss และ actor จาก log-probability คูณ advantage

ควรรู้อีกนิด — ข้อมูลจาก policy เปลี่ยนตลอดและการฝึกไวต่อ reward scale, entropy และ learning rates สองส่วน

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("actor-critic-sample.csv", delimiter=",", skip_header=1)gamma=0.95; rewards=data[:20,2]; values=data[:21,1]td_target=rewards + gamma*values[1:]advantage=td_target-values[:-1]policy_logits=np.c_[values[:-1], -values[:-1]]policy=np.exp(policy_logits-policy_logits.max(1,keepdims=True)); policy/=policy.sum(1,keepdims=True)actions=data[:20,0].astype(int)%2actor_loss=-np.mean(np.log(policy[np.arange(20),actions]+1e-9)*advantage)critic_loss=np.mean(advantage**2)print("Actor / critic loss:", actor_loss, critic_loss)print("Advantages:", advantage[:8])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

discount factor ทำให้ agent สนใจรางวัลระยะไกลเพียงใด?

Actor-Critic / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดน้ำหนักของรางวัลในอนาคต
ดูภาพอย่างไร

actor ส่ง policy ไปเลือก action ส่วน critic ส่ง advantage กลับมาสอน actor

เมื่อเพิ่มค่า

รางวัลอนาคตมีน้ำหนักมากขึ้นและ value กระจายย้อนกลับไกลขึ้น

ลองเปรียบเทียบ

ดูทั้ง return และความผันผวนของ advantage

policy / actorcritic / valueadvantage / TD targetagent เลือก action → รับ reward → อัปเดต policy หรือ value
Advantage variance0.080
Discount factor0.95
พารามิเตอร์ที่ลอง0.95

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง