ml/ library Learn by doing
ALGORITHM 116 · PYTHON / JAVASCRIPT

Diffusion Model

เรียนย้อนกระบวนการเติม noise ทีละขั้นเพื่อสร้างข้อมูลจาก noise

LEARNING LEVEL5
เฉพาะทางควรรู้มาก่อน · Autoencoder, probability distributions และ score estimation
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Diffusion model กำหนด forward process ที่ค่อย ๆ เติม Gaussian noise และฝึก neural network ทำนาย noise หรือ score เพื่อเดิน reverse process จาก noise กลับเป็นตัวอย่าง

ลองนึกภาพว่า — เหมือนฝึกกู้ภาพจากระดับหมอกหลายความหนา แล้วเริ่มจากหมอกล้วนค่อย ๆ เช็ดออกทีละรอบ

ตัวอย่างการนำไปใช้ — สร้างภาพ เสียง วิดีโอ และแก้ inverse problems

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Diffusion Model เริ่มจากคำถามง่าย ๆ ว่า เรียนย้อนกระบวนการเติม noise ทีละขั้นเพื่อสร้างข้อมูลจาก noise วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนฝึกกู้ภาพจากระดับหมอกหลายความหนา แล้วเริ่มจากหมอกล้วนค่อย ๆ เช็ดออกทีละรอบ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Diffusion model กำหนด forward process ที่ค่อย ๆ เติม Gaussian noise และฝึก neural network ทำนาย noise หรือ score เพื่อเดิน reverse process จาก noise กลับเป็นตัวอย่าง พารามิเตอร์หลักใน Playground คือ จำนวน denoising steps เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ตัวอย่างจริง, timestep และ noise สุ่ม · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น สร้างภาพ เสียง วิดีโอ และแก้ inverse problems ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: noise estimate, denoised sample และ generated sample · Playground อัปเดตเมื่อปรับ จำนวน denoising steps พร้อมจำข้อจำกัดสำคัญว่า sampling หลายขั้นใช้เวลาสูงและคุณภาพขึ้นกับ noise schedule, parameterization และ guidance

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    ตัวอย่างจริง, timestep และ noise สุ่ม ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ steps เพื่อจำนวนรอบของ reverse process ใน Playground และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    สุ่ม timestep และเติม noise ตาม schedule จากนั้น ให้เครือข่ายทำนาย noise จากข้อมูลรบกวน Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    วน reverse updates จาก Gaussian noise จนได้ตัวอย่าง ผลที่ได้คือ noise estimate, denoised sample และ generated sample ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ steps ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า sampling หลายขั้นใช้เวลาสูงและคุณภาพขึ้นกับ noise schedule, parameterization และ guidance

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetตัวอย่างจริง, timestep และ noise สุ่ม · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATEDiffusion Model
stepslearning_ratevalidation
RESULTnumeric predictionnoise estimate, denoised sample และ generated sample · Playground อัปเดตเมื่อปรับ จำนวน denoising steps
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

ตัวอย่างจริง, timestep และ noise สุ่ม

ตัวอย่างจริง, timestep และ noise สุ่ม · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

steps
จำนวนรอบของ reverse process ใน Playground
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

noise estimate, denoised sample และ generated sample

noise estimate, denoised sample และ generated sample · Playground อัปเดตเมื่อปรับ จำนวน denoising steps
CALCULATION

คำนวณทีละขั้น

  1. 01

    สุ่ม timestep และเติม noise ตาม schedule

  2. 02

    ให้เครือข่ายทำนาย noise จากข้อมูลรบกวน

  3. 03

    วน reverse updates จาก Gaussian noise จนได้ตัวอย่าง

ควรรู้อีกนิด — sampling หลายขั้นใช้เวลาสูงและคุณภาพขึ้นกับ noise schedule, parameterization และ guidance

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("diffusion-model-sample.csv", delimiter=",", skip_header=1)rng=np.random.default_rng(42); x0=data[:,:2]; steps=30betas=np.linspace(1e-4,.02,steps); alpha_bar=np.cumprod(1-betas)t=steps-1; noise=rng.normal(size=x0.shape)xt=np.sqrt(alpha_bar[t])*x0+np.sqrt(1-alpha_bar[t])*noisex=xt.copy()for i in range(steps-1,-1,-1):    predicted_noise=(x-np.sqrt(alpha_bar[i])*x0)/np.sqrt(max(1e-9,1-alpha_bar[i]))    x=(x-np.sqrt(1-alpha_bar[i])*predicted_noise)/np.sqrt(1-betas[i])print("Noisy MSE:", np.mean((xt-x0)**2), "Denoised MSE:", np.mean((x-x0)**2))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

จำนวน denoising steps แลกคุณภาพกับเวลาอย่างไร?

Diffusion Model / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
จำนวนรอบของ reverse process ใน Playground
ดูภาพอย่างไร

ภาพเรียงจาก noise ไปสู่โครงสร้าง โดยแต่ละขั้นลบ noise ส่วนหนึ่ง

เมื่อเพิ่มค่า

การเปลี่ยนแต่ละก้าวเล็กลงและผลมักละเอียดขึ้น แต่ช้าลง

ลองเปรียบเทียบ

เปรียบเทียบ noise ที่เหลือกับจำนวนขั้นเพื่อหาจุดคุ้มค่า

Gaussian noisestructured sample4 ขั้นในภาพ: ค่อย ๆ ลด noise
Noise remaining0.202
Denoising steps30
พารามิเตอร์ที่ลอง30

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง