01Overall Concept
ไอเดียหลัก — PPO ใช้ probability ratio ระหว่าง policy ใหม่กับ policy ที่เก็บ rollout และ clipped surrogate objective จำกัดการอัปเดต พร้อม value loss และ entropy bonus ใน actor-critic training
ลองนึกภาพว่า — เหมือนปรับแผนการเล่นทีละน้อยจากเกมล่าสุด โดยมีกันชนไม่ให้เปลี่ยนกลยุทธ์รวดเดียวจนพัง
ตัวอย่างการนำไปใช้ — ควบคุมต่อเนื่อง เกม หุ่นยนต์ และ fine-tuning policy
02อธิบายภาษาคนเข้าใจง่ายๆ
Proximal Policy Optimization เริ่มจากคำถามง่าย ๆ ว่า ปรับ policy หลายรอบจาก rollout เดิมแต่จำกัดไม่ให้เปลี่ยนไกลเกินไป วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนปรับแผนการเล่นทีละน้อยจากเกมล่าสุด โดยมีกันชนไม่ให้เปลี่ยนกลยุทธ์รวดเดียวจนพัง ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
PPO ใช้ probability ratio ระหว่าง policy ใหม่กับ policy ที่เก็บ rollout และ clipped surrogate objective จำกัดการอัปเดต พร้อม value loss และ entropy bonus ใน actor-critic training พารามิเตอร์หลักใน Playground คือ Clip ε เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ on-policy rollouts พร้อม observations, actions, rewards และ old log-probabilities · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น ควบคุมต่อเนื่อง เกม หุ่นยนต์ และ fine-tuning policy ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: policy, value estimates, advantages และ returns · Playground อัปเดตเมื่อปรับ Clip ε พร้อมจำข้อจำกัดสำคัญว่า ต้องเก็บข้อมูล on-policy ใหม่เป็นระยะและผลไวต่อ advantage normalization, rollout length และ reward design
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
on-policy rollouts พร้อม observations, actions, rewards และ old log-probabilities ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ clip_epsilon เพื่อกำหนดช่วง probability ratio ที่ objective ยอมรับ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
เก็บ rollout ด้วย policy ปัจจุบัน จากนั้น คำนวณ returns และ generalized advantages Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
อัปเดตหลาย epochs ด้วย clipped policy/value/entropy losses ผลที่ได้คือ policy, value estimates, advantages และ returns ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ clip_epsilon ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ต้องเก็บข้อมูล on-policy ใหม่เป็นระยะและผลไวต่อ advantage normalization, rollout length และ reward design
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
clip_epsilonlearning_ratevalidationข้อมูลที่รับเข้ามา
on-policy rollouts พร้อม observations, actions, rewards และ old log-probabilities
on-policy rollouts พร้อม observations, actions, rewards และ old log-probabilities · ตัวอย่างขนาดเล็กที่ทำซ้ำได้พารามิเตอร์ที่ใช้
- clip_epsilon
- กำหนดช่วง probability ratio ที่ objective ยอมรับ
- learning_rate
- ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
- validation
- กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
ผลลัพธ์ที่ได้
policy, value estimates, advantages และ returns
policy, value estimates, advantages และ returns · Playground อัปเดตเมื่อปรับ Clip εคำนวณทีละขั้น
- 01
เก็บ rollout ด้วย policy ปัจจุบัน
- 02
คำนวณ returns และ generalized advantages
- 03
อัปเดตหลาย epochs ด้วย clipped policy/value/entropy losses
ควรรู้อีกนิด — ต้องเก็บข้อมูล on-policy ใหม่เป็นระยะและผลไวต่อ advantage normalization, rollout length และ reward design
04Make it yours
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("proximal-policy-optimization-sample.csv", delimiter=",", skip_header=1)rng=np.random.default_rng(42); eps=0.2; n=40old_logp=data[:n,1]*.05; advantages=(data[:n,2]-data[:n,2].mean())/(data[:n,2].std()+1e-9)new_logp=old_logp+rng.normal(0,.08,n); ratio=np.exp(new_logp-old_logp)unclipped=ratio*advantages; clipped=np.clip(ratio,1-eps,1+eps)*advantagespolicy_loss=-np.mean(np.minimum(unclipped,clipped))print("PPO clipped objective:", -policy_loss)print("Clipped fraction:", np.mean((ratio<1-eps)|(ratio>1+eps)))โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
clip epsilon จำกัดการเปลี่ยน policy มากหรือน้อยเพียงใด?
กราฟ ratio แสดงช่วงที่ objective ถูก clip และลูกศรคือการอัปเดต actor
ยอมให้ policy ขยับจาก rollout เดิมได้ไกลขึ้น
ดู clipped fraction, KL และ return เพื่อไม่ให้อัปเดตกว้างเกินไป
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง