01Overall Concept
ไอเดียหลัก — Diffusion model กำหนด forward process ที่ค่อย ๆ เติม Gaussian noise และฝึก neural network ทำนาย noise หรือ score เพื่อเดิน reverse process จาก noise กลับเป็นตัวอย่าง
ลองนึกภาพว่า — เหมือนฝึกกู้ภาพจากระดับหมอกหลายความหนา แล้วเริ่มจากหมอกล้วนค่อย ๆ เช็ดออกทีละรอบ
ตัวอย่างการนำไปใช้ — สร้างภาพ เสียง วิดีโอ และแก้ inverse problems
02อธิบายภาษาคนเข้าใจง่ายๆ
Diffusion Model เริ่มจากคำถามง่าย ๆ ว่า เรียนย้อนกระบวนการเติม noise ทีละขั้นเพื่อสร้างข้อมูลจาก noise วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนฝึกกู้ภาพจากระดับหมอกหลายความหนา แล้วเริ่มจากหมอกล้วนค่อย ๆ เช็ดออกทีละรอบ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Diffusion model กำหนด forward process ที่ค่อย ๆ เติม Gaussian noise และฝึก neural network ทำนาย noise หรือ score เพื่อเดิน reverse process จาก noise กลับเป็นตัวอย่าง พารามิเตอร์หลักใน Playground คือ จำนวน denoising steps เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ตัวอย่างจริง, timestep และ noise สุ่ม · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น สร้างภาพ เสียง วิดีโอ และแก้ inverse problems ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: noise estimate, denoised sample และ generated sample · Playground อัปเดตเมื่อปรับ จำนวน denoising steps พร้อมจำข้อจำกัดสำคัญว่า sampling หลายขั้นใช้เวลาสูงและคุณภาพขึ้นกับ noise schedule, parameterization และ guidance
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
ตัวอย่างจริง, timestep และ noise สุ่ม ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ steps เพื่อจำนวนรอบของ reverse process ใน Playground และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
สุ่ม timestep และเติม noise ตาม schedule จากนั้น ให้เครือข่ายทำนาย noise จากข้อมูลรบกวน Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
วน reverse updates จาก Gaussian noise จนได้ตัวอย่าง ผลที่ได้คือ noise estimate, denoised sample และ generated sample ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ steps ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า sampling หลายขั้นใช้เวลาสูงและคุณภาพขึ้นกับ noise schedule, parameterization และ guidance
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
stepslearning_ratevalidationข้อมูลที่รับเข้ามา
ตัวอย่างจริง, timestep และ noise สุ่ม
ตัวอย่างจริง, timestep และ noise สุ่ม · ตัวอย่างขนาดเล็กที่ทำซ้ำได้พารามิเตอร์ที่ใช้
- steps
- จำนวนรอบของ reverse process ใน Playground
- learning_rate
- ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
- validation
- กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
ผลลัพธ์ที่ได้
noise estimate, denoised sample และ generated sample
noise estimate, denoised sample และ generated sample · Playground อัปเดตเมื่อปรับ จำนวน denoising stepsคำนวณทีละขั้น
- 01
สุ่ม timestep และเติม noise ตาม schedule
- 02
ให้เครือข่ายทำนาย noise จากข้อมูลรบกวน
- 03
วน reverse updates จาก Gaussian noise จนได้ตัวอย่าง
ควรรู้อีกนิด — sampling หลายขั้นใช้เวลาสูงและคุณภาพขึ้นกับ noise schedule, parameterization และ guidance
04Make it yours
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("diffusion-model-sample.csv", delimiter=",", skip_header=1)rng=np.random.default_rng(42); x0=data[:,:2]; steps=30betas=np.linspace(1e-4,.02,steps); alpha_bar=np.cumprod(1-betas)t=steps-1; noise=rng.normal(size=x0.shape)xt=np.sqrt(alpha_bar[t])*x0+np.sqrt(1-alpha_bar[t])*noisex=xt.copy()for i in range(steps-1,-1,-1): predicted_noise=(x-np.sqrt(alpha_bar[i])*x0)/np.sqrt(max(1e-9,1-alpha_bar[i])) x=(x-np.sqrt(1-alpha_bar[i])*predicted_noise)/np.sqrt(1-betas[i])print("Noisy MSE:", np.mean((xt-x0)**2), "Denoised MSE:", np.mean((x-x0)**2))โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
จำนวน denoising steps แลกคุณภาพกับเวลาอย่างไร?
ภาพเรียงจาก noise ไปสู่โครงสร้าง โดยแต่ละขั้นลบ noise ส่วนหนึ่ง
การเปลี่ยนแต่ละก้าวเล็กลงและผลมักละเอียดขึ้น แต่ช้าลง
เปรียบเทียบ noise ที่เหลือกับจำนวนขั้นเพื่อหาจุดคุ้มค่า
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง