ml/ library Learn by doing
ALGORITHM 120 · PYTHON / JAVASCRIPT

Proximal Policy Optimization

ปรับ policy หลายรอบจาก rollout เดิมแต่จำกัดไม่ให้เปลี่ยนไกลเกินไป

LEARNING LEVEL5
เฉพาะทางควรรู้มาก่อน · Actor-Critic และ policy optimization
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — PPO ใช้ probability ratio ระหว่าง policy ใหม่กับ policy ที่เก็บ rollout และ clipped surrogate objective จำกัดการอัปเดต พร้อม value loss และ entropy bonus ใน actor-critic training

ลองนึกภาพว่า — เหมือนปรับแผนการเล่นทีละน้อยจากเกมล่าสุด โดยมีกันชนไม่ให้เปลี่ยนกลยุทธ์รวดเดียวจนพัง

ตัวอย่างการนำไปใช้ — ควบคุมต่อเนื่อง เกม หุ่นยนต์ และ fine-tuning policy

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Proximal Policy Optimization เริ่มจากคำถามง่าย ๆ ว่า ปรับ policy หลายรอบจาก rollout เดิมแต่จำกัดไม่ให้เปลี่ยนไกลเกินไป วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนปรับแผนการเล่นทีละน้อยจากเกมล่าสุด โดยมีกันชนไม่ให้เปลี่ยนกลยุทธ์รวดเดียวจนพัง ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

PPO ใช้ probability ratio ระหว่าง policy ใหม่กับ policy ที่เก็บ rollout และ clipped surrogate objective จำกัดการอัปเดต พร้อม value loss และ entropy bonus ใน actor-critic training พารามิเตอร์หลักใน Playground คือ Clip ε เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ on-policy rollouts พร้อม observations, actions, rewards และ old log-probabilities · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ควบคุมต่อเนื่อง เกม หุ่นยนต์ และ fine-tuning policy ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: policy, value estimates, advantages และ returns · Playground อัปเดตเมื่อปรับ Clip ε พร้อมจำข้อจำกัดสำคัญว่า ต้องเก็บข้อมูล on-policy ใหม่เป็นระยะและผลไวต่อ advantage normalization, rollout length และ reward design

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    on-policy rollouts พร้อม observations, actions, rewards และ old log-probabilities ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ clip_epsilon เพื่อกำหนดช่วง probability ratio ที่ objective ยอมรับ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    เก็บ rollout ด้วย policy ปัจจุบัน จากนั้น คำนวณ returns และ generalized advantages Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    อัปเดตหลาย epochs ด้วย clipped policy/value/entropy losses ผลที่ได้คือ policy, value estimates, advantages และ returns ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ clip_epsilon ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ต้องเก็บข้อมูล on-policy ใหม่เป็นระยะและผลไวต่อ advantage normalization, rollout length และ reward design

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targeton-policy rollouts พร้อม observations, actions, rewards และ old log-probabilities · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATEProximal Policy Optimization
clip_epsilonlearning_ratevalidation
RESULTnumeric predictionpolicy, value estimates, advantages และ returns · Playground อัปเดตเมื่อปรับ Clip ε
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

on-policy rollouts พร้อม observations, actions, rewards และ old log-probabilities

on-policy rollouts พร้อม observations, actions, rewards และ old log-probabilities · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

clip_epsilon
กำหนดช่วง probability ratio ที่ objective ยอมรับ
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

policy, value estimates, advantages และ returns

policy, value estimates, advantages และ returns · Playground อัปเดตเมื่อปรับ Clip ε
CALCULATION

คำนวณทีละขั้น

  1. 01

    เก็บ rollout ด้วย policy ปัจจุบัน

  2. 02

    คำนวณ returns และ generalized advantages

  3. 03

    อัปเดตหลาย epochs ด้วย clipped policy/value/entropy losses

ควรรู้อีกนิด — ต้องเก็บข้อมูล on-policy ใหม่เป็นระยะและผลไวต่อ advantage normalization, rollout length และ reward design

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("proximal-policy-optimization-sample.csv", delimiter=",", skip_header=1)rng=np.random.default_rng(42); eps=0.2; n=40old_logp=data[:n,1]*.05; advantages=(data[:n,2]-data[:n,2].mean())/(data[:n,2].std()+1e-9)new_logp=old_logp+rng.normal(0,.08,n); ratio=np.exp(new_logp-old_logp)unclipped=ratio*advantages; clipped=np.clip(ratio,1-eps,1+eps)*advantagespolicy_loss=-np.mean(np.minimum(unclipped,clipped))print("PPO clipped objective:", -policy_loss)print("Clipped fraction:", np.mean((ratio<1-eps)|(ratio>1+eps)))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

clip epsilon จำกัดการเปลี่ยน policy มากหรือน้อยเพียงใด?

Proximal Policy Optimization / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดช่วง probability ratio ที่ objective ยอมรับ
ดูภาพอย่างไร

กราฟ ratio แสดงช่วงที่ objective ถูก clip และลูกศรคือการอัปเดต actor

เมื่อเพิ่มค่า

ยอมให้ policy ขยับจาก rollout เดิมได้ไกลขึ้น

ลองเปรียบเทียบ

ดู clipped fraction, KL และ return เพื่อไม่ให้อัปเดตกว้างเกินไป

objective เดิมหลัง clipพื้นที่เขียว = ช่วง policy ratio ที่ยอมให้อัปเดต
Clipped fraction0.385
Clip epsilon0.20
พารามิเตอร์ที่ลอง0.20

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง