ml/ library Learn by doing
ALGORITHM 114 · PYTHON / JAVASCRIPT

Variational Autoencoder

เรียนการกระจายของ latent code แล้วสุ่มตัวอย่างใหม่ผ่าน decoder

LEARNING LEVEL5
เฉพาะทางควรรู้มาก่อน · Autoencoder, Bayesian Regression และ sampling
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — VAE ให้ encoder ทำนาย mean และ variance ของ approximate posterior ใช้ reparameterization sampling และฝึกจาก reconstruction loss บวก KL divergence ให้ latent distribution ใกล้ prior

ลองนึกภาพว่า — เหมือนทำแผนที่ไอเดียที่แต่ละตัวอย่างเป็นบริเวณ ไม่ใช่จุดเดียว จึงเดินหรือสุ่มพื้นที่ระหว่างตัวอย่างได้

ตัวอย่างการนำไปใช้ — สร้างข้อมูล representation learning, anomaly detection และ latent interpolation

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Variational Autoencoder เริ่มจากคำถามง่าย ๆ ว่า เรียนการกระจายของ latent code แล้วสุ่มตัวอย่างใหม่ผ่าน decoder วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนทำแผนที่ไอเดียที่แต่ละตัวอย่างเป็นบริเวณ ไม่ใช่จุดเดียว จึงเดินหรือสุ่มพื้นที่ระหว่างตัวอย่างได้ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

VAE ให้ encoder ทำนาย mean และ variance ของ approximate posterior ใช้ reparameterization sampling และฝึกจาก reconstruction loss บวก KL divergence ให้ latent distribution ใกล้ prior พารามิเตอร์หลักใน Playground คือ ขนาด latent space เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ tensor ที่ normalize แล้วสำหรับ encoder และ reconstruction target · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น สร้างข้อมูล representation learning, anomaly detection และ latent interpolation ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: posterior parameters, latent samples และ generated data · Playground อัปเดตเมื่อปรับ ขนาด latent space พร้อมจำข้อจำกัดสำคัญว่า น้ำหนัก KL ที่ไม่เหมาะทำให้ posterior collapse หรือ reconstruction เบลอ และ likelihood model ต้องตรงชนิดข้อมูล

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    tensor ที่ normalize แล้วสำหรับ encoder และ reconstruction target ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ latent_dim เพื่อจำนวนตัวแปรสุ่มแฝงที่ decoder ใช้สร้างข้อมูล และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    encoder สร้าง mean กับ log-variance จากนั้น สุ่ม epsilon และ reparameterize เป็น z Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    decoder สร้างข้อมูลและลด reconstruction บวก KL loss ผลที่ได้คือ posterior parameters, latent samples และ generated data ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ latent_dim ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า น้ำหนัก KL ที่ไม่เหมาะทำให้ posterior collapse หรือ reconstruction เบลอ และ likelihood model ต้องตรงชนิดข้อมูล

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targettensor ที่ normalize แล้วสำหรับ encoder และ reconstruction target · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATEVariational Autoencoder
latent_dimlearning_ratevalidation
RESULTnumeric predictionposterior parameters, latent samples และ generated data · Playground อัปเดตเมื่อปรับ ขนาด latent space
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

tensor ที่ normalize แล้วสำหรับ encoder และ reconstruction target

tensor ที่ normalize แล้วสำหรับ encoder และ reconstruction target · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

latent_dim
จำนวนตัวแปรสุ่มแฝงที่ decoder ใช้สร้างข้อมูล
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

posterior parameters, latent samples และ generated data

posterior parameters, latent samples และ generated data · Playground อัปเดตเมื่อปรับ ขนาด latent space
CALCULATION

คำนวณทีละขั้น

  1. 01

    encoder สร้าง mean กับ log-variance

  2. 02

    สุ่ม epsilon และ reparameterize เป็น z

  3. 03

    decoder สร้างข้อมูลและลด reconstruction บวก KL loss

ควรรู้อีกนิด — น้ำหนัก KL ที่ไม่เหมาะทำให้ posterior collapse หรือ reconstruction เบลอ และ likelihood model ต้องตรงชนิดข้อมูล

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("variational-autoencoder-sample.csv", delimiter=",", skip_header=1)rng=np.random.default_rng(42); X=data[:,:2]latent_dim=8; W=rng.normal(0,.2,(2,latent_dim))mean=X@W; logvar=np.clip(X@abs(W)-2,-5,2)z=mean+np.exp(.5*logvar)*rng.normal(size=mean.shape)decoder=np.linalg.pinv(W); reconstruction=z@decoderrecon=np.mean((X-reconstruction)**2); kl=-.5*np.mean(1+logvar-mean**2-np.exp(logvar))print("Reconstruction / KL loss:", recon, kl)print("Latent sample:", z[0,:8])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

latent dimensions เท่าใดสร้างพื้นที่ต่อเนื่องโดยยัง reconstruct ได้?

Variational Autoencoder / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
จำนวนตัวแปรสุ่มแฝงที่ decoder ใช้สร้างข้อมูล
ดูภาพอย่างไร

encoder ให้ mean/variance จากนั้นสุ่ม z และ decoder สร้างข้อมูลกลับ

เมื่อเพิ่มค่า

latent มีความจุมากขึ้นและ reconstruction ดีขึ้น แต่อาจใช้ prior ไม่เต็มที่

ลองเปรียบเทียบ

ดู reconstruction loss กับ KL พร้อมกันเพื่อจับ posterior collapse

input → μ, σ → sample zstructured samplelatent space เชื่อม input กับตัวอย่างที่สร้าง
Reconstruction + KL0.450
Latent dimensions8
พารามิเตอร์ที่ลอง8

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง