01Overall Concept
ไอเดียหลัก — VAE ให้ encoder ทำนาย mean และ variance ของ approximate posterior ใช้ reparameterization sampling และฝึกจาก reconstruction loss บวก KL divergence ให้ latent distribution ใกล้ prior
ลองนึกภาพว่า — เหมือนทำแผนที่ไอเดียที่แต่ละตัวอย่างเป็นบริเวณ ไม่ใช่จุดเดียว จึงเดินหรือสุ่มพื้นที่ระหว่างตัวอย่างได้
ตัวอย่างการนำไปใช้ — สร้างข้อมูล representation learning, anomaly detection และ latent interpolation
02อธิบายภาษาคนเข้าใจง่ายๆ
Variational Autoencoder เริ่มจากคำถามง่าย ๆ ว่า เรียนการกระจายของ latent code แล้วสุ่มตัวอย่างใหม่ผ่าน decoder วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนทำแผนที่ไอเดียที่แต่ละตัวอย่างเป็นบริเวณ ไม่ใช่จุดเดียว จึงเดินหรือสุ่มพื้นที่ระหว่างตัวอย่างได้ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
VAE ให้ encoder ทำนาย mean และ variance ของ approximate posterior ใช้ reparameterization sampling และฝึกจาก reconstruction loss บวก KL divergence ให้ latent distribution ใกล้ prior พารามิเตอร์หลักใน Playground คือ ขนาด latent space เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ tensor ที่ normalize แล้วสำหรับ encoder และ reconstruction target · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น สร้างข้อมูล representation learning, anomaly detection และ latent interpolation ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: posterior parameters, latent samples และ generated data · Playground อัปเดตเมื่อปรับ ขนาด latent space พร้อมจำข้อจำกัดสำคัญว่า น้ำหนัก KL ที่ไม่เหมาะทำให้ posterior collapse หรือ reconstruction เบลอ และ likelihood model ต้องตรงชนิดข้อมูล
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
tensor ที่ normalize แล้วสำหรับ encoder และ reconstruction target ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ latent_dim เพื่อจำนวนตัวแปรสุ่มแฝงที่ decoder ใช้สร้างข้อมูล และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
encoder สร้าง mean กับ log-variance จากนั้น สุ่ม epsilon และ reparameterize เป็น z Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
decoder สร้างข้อมูลและลด reconstruction บวก KL loss ผลที่ได้คือ posterior parameters, latent samples และ generated data ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ latent_dim ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า น้ำหนัก KL ที่ไม่เหมาะทำให้ posterior collapse หรือ reconstruction เบลอ และ likelihood model ต้องตรงชนิดข้อมูล
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
latent_dimlearning_ratevalidationข้อมูลที่รับเข้ามา
tensor ที่ normalize แล้วสำหรับ encoder และ reconstruction target
tensor ที่ normalize แล้วสำหรับ encoder และ reconstruction target · ตัวอย่างขนาดเล็กที่ทำซ้ำได้พารามิเตอร์ที่ใช้
- latent_dim
- จำนวนตัวแปรสุ่มแฝงที่ decoder ใช้สร้างข้อมูล
- learning_rate
- ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
- validation
- กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
ผลลัพธ์ที่ได้
posterior parameters, latent samples และ generated data
posterior parameters, latent samples และ generated data · Playground อัปเดตเมื่อปรับ ขนาด latent spaceคำนวณทีละขั้น
- 01
encoder สร้าง mean กับ log-variance
- 02
สุ่ม epsilon และ reparameterize เป็น z
- 03
decoder สร้างข้อมูลและลด reconstruction บวก KL loss
ควรรู้อีกนิด — น้ำหนัก KL ที่ไม่เหมาะทำให้ posterior collapse หรือ reconstruction เบลอ และ likelihood model ต้องตรงชนิดข้อมูล
04Make it yours
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("variational-autoencoder-sample.csv", delimiter=",", skip_header=1)rng=np.random.default_rng(42); X=data[:,:2]latent_dim=8; W=rng.normal(0,.2,(2,latent_dim))mean=X@W; logvar=np.clip(X@abs(W)-2,-5,2)z=mean+np.exp(.5*logvar)*rng.normal(size=mean.shape)decoder=np.linalg.pinv(W); reconstruction=z@decoderrecon=np.mean((X-reconstruction)**2); kl=-.5*np.mean(1+logvar-mean**2-np.exp(logvar))print("Reconstruction / KL loss:", recon, kl)print("Latent sample:", z[0,:8])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
latent dimensions เท่าใดสร้างพื้นที่ต่อเนื่องโดยยัง reconstruct ได้?
encoder ให้ mean/variance จากนั้นสุ่ม z และ decoder สร้างข้อมูลกลับ
latent มีความจุมากขึ้นและ reconstruction ดีขึ้น แต่อาจใช้ prior ไม่เต็มที่
ดู reconstruction loss กับ KL พร้อมกันเพื่อจับ posterior collapse
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง