ml/ library Learn by doing
ALGORITHM 81 · PYTHON / JAVASCRIPT

Autoencoder

บีบข้อมูลผ่านคอขวดแล้วฝึกให้สร้างข้อมูลเดิมกลับมา

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · MLP และ PCA
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Autoencoder มี encoder แปลง input เป็น latent code และ decoder สร้าง input คืน การลด reconstruction loss บังคับให้ latent เก็บโครงสร้างสำคัญของข้อมูล

ลองนึกภาพว่า — เหมือนย่อข้อความเป็นโน้ตสั้นแล้วลองเขียนเรื่องเดิมกลับมา โน้ตที่ดีต้องเก็บสาระสำคัญ

ตัวอย่างการนำไปใช้ — ลดมิติ สกัด representation ลด noise และตรวจ anomaly จาก reconstruction error

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Autoencoder เริ่มจากคำถามง่าย ๆ ว่า บีบข้อมูลผ่านคอขวดแล้วฝึกให้สร้างข้อมูลเดิมกลับมา วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนย่อข้อความเป็นโน้ตสั้นแล้วลองเขียนเรื่องเดิมกลับมา โน้ตที่ดีต้องเก็บสาระสำคัญ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Autoencoder มี encoder แปลง input เป็น latent code และ decoder สร้าง input คืน การลด reconstruction loss บังคับให้ latent เก็บโครงสร้างสำคัญของข้อมูล พารามิเตอร์หลักใน Playground คือ ขนาด latent เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ tensor ที่ normalize แล้ว โดย target มักเป็น input เดียวกัน · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ลดมิติ สกัด representation ลด noise และตรวจ anomaly จาก reconstruction error ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: latent representation และ reconstructed input · Playground แสดงผลเมื่อปรับ ขนาด latent พร้อมจำข้อจำกัดสำคัญว่า โมเดลที่จุสูงอาจจำ identity โดยไม่เรียน representation ที่มีประโยชน์ และ error สูงไม่ได้แปลว่า anomaly เสมอ

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    tensor ที่ normalize แล้ว โดย target มักเป็น input เดียวกัน ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ latent_dim เพื่อกำหนดความจุของคอขวด และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    encoder บีบ input เป็น latent code จากนั้น decoder สร้างข้อมูลกลับจาก code Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    backpropagation ลด reconstruction loss ผลที่ได้คือ latent representation และ reconstructed input ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ latent_dim ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า โมเดลที่จุสูงอาจจำ identity โดยไม่เรียน representation ที่มีประโยชน์ และ error สูงไม่ได้แปลว่า anomaly เสมอ

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targettensor ที่ normalize แล้ว โดย target มักเป็น input เดียวกัน · ตัวอย่าง 60–150 แถว
CALCULATEAutoencoder
latent_dimrandom_statevalidation
RESULTnumeric predictionlatent representation และ reconstructed input · Playground แสดงผลเมื่อปรับ ขนาด latent
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

tensor ที่ normalize แล้ว โดย target มักเป็น input เดียวกัน

tensor ที่ normalize แล้ว โดย target มักเป็น input เดียวกัน · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

latent_dim
กำหนดความจุของคอขวด
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

latent representation และ reconstructed input

latent representation และ reconstructed input · Playground แสดงผลเมื่อปรับ ขนาด latent
CALCULATION

คำนวณทีละขั้น

  1. 01

    encoder บีบ input เป็น latent code

  2. 02

    decoder สร้างข้อมูลกลับจาก code

  3. 03

    backpropagation ลด reconstruction loss

ควรรู้อีกนิด — โมเดลที่จุสูงอาจจำ identity โดยไม่เรียน representation ที่มีประโยชน์ และ error สูงไม่ได้แปลว่า anomaly เสมอ

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("autoencoder-sample.csv", delimiter=",", skip_header=1)rng = np.random.default_rng(42)X = data[:, :2]width = 4W = rng.normal(0, 1/np.sqrt(2), (2, min(width, 64)))hidden = np.tanh(X @ W)reconstruction = hidden @ np.linalg.pinv(W)print("Reconstruction MSE:", np.mean((X-reconstruction)**2))print("Representation shape:", hidden.shape)

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

คอขวดขนาดใดเก็บสาระสำคัญโดยไม่จำ input ทุกอย่าง?

Autoencoder / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดความจุของคอขวด
ดูภาพอย่างไร

แถบกลางคือ latent code และด้านขวาคือ reconstruction

เมื่อเพิ่มค่า

เก็บรายละเอียดได้มากขึ้นและ error มักลด แต่ข้อจำกัดของ representation อ่อนลง

ลองเปรียบเทียบ

ดูทั้ง error และความแตกต่างของ input กับ reconstruction

inputlatent bottleneckoutput
Reconstruction error0.415
Latent dimensions4
พารามิเตอร์ที่ลอง4

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง