ml/ library Learn by doing
ALGORITHM 111 · PYTHON / JAVASCRIPT

Vision Transformer

แบ่งภาพเป็น patches แล้วอ่านเป็นลำดับ tokens ด้วย Transformer

LEARNING LEVEL5
เฉพาะทางควรรู้มาก่อน · Attention, image patches และ embeddings
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — ViT ตัดภาพเป็น patch grid แปลงแต่ละ patch เป็น embedding เพิ่มตำแหน่ง แล้วใช้ Transformer encoder เรียนความสัมพันธ์ทั่วภาพก่อนจำแนกจาก class token หรือ pooled representation

ลองนึกภาพว่า — เหมือนตัดภาพเป็นชิ้นจิ๊กซอว์และให้ทุกชิ้นดูความสัมพันธ์กับชิ้นอื่นก่อนบอกว่าภาพคืออะไร

ตัวอย่างการนำไปใช้ — จำแนกภาพ ตรวจวัตถุ segmentation และ representation learning

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Vision Transformer เริ่มจากคำถามง่าย ๆ ว่า แบ่งภาพเป็น patches แล้วอ่านเป็นลำดับ tokens ด้วย Transformer วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนตัดภาพเป็นชิ้นจิ๊กซอว์และให้ทุกชิ้นดูความสัมพันธ์กับชิ้นอื่นก่อนบอกว่าภาพคืออะไร ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

ViT ตัดภาพเป็น patch grid แปลงแต่ละ patch เป็น embedding เพิ่มตำแหน่ง แล้วใช้ Transformer encoder เรียนความสัมพันธ์ทั่วภาพก่อนจำแนกจาก class token หรือ pooled representation พารามิเตอร์หลักใน Playground คือ ขนาด patch เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ image tensor batch × height × width × channels · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น จำแนกภาพ ตรวจวัตถุ segmentation และ representation learning ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: patch representations และ class probabilities · Playground อัปเดตเมื่อปรับ ขนาด patch พร้อมจำข้อจำกัดสำคัญว่า patch ใหญ่สูญเสียรายละเอียด ส่วน patch เล็กทำให้ attention แพงและมักต้องการข้อมูลหรือ pretraining มาก

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    image tensor batch × height × width × channels ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ patch_size เพื่อคุมจำนวน image tokens และรายละเอียดเฉพาะที่ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    ตัดภาพเป็น patches และ project เป็น tokens จากนั้น เพิ่ม positional embeddings Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ผ่าน Transformer encoders แล้วใช้ classification head ผลที่ได้คือ patch representations และ class probabilities ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ patch_size ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า patch ใหญ่สูญเสียรายละเอียด ส่วน patch เล็กทำให้ attention แพงและมักต้องการข้อมูลหรือ pretraining มาก

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetimage tensor batch × height × width × channels · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATEVision Transformer
patch_sizelearning_ratevalidation
RESULT0.800.150.05class / probabilitypatch representations และ class probabilities · Playground อัปเดตเมื่อปรับ ขนาด patch
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

image tensor batch × height × width × channels

image tensor batch × height × width × channels · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

patch_size
คุมจำนวน image tokens และรายละเอียดเฉพาะที่
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

patch representations และ class probabilities

patch representations และ class probabilities · Playground อัปเดตเมื่อปรับ ขนาด patch
CALCULATION

คำนวณทีละขั้น

  1. 01

    ตัดภาพเป็น patches และ project เป็น tokens

  2. 02

    เพิ่ม positional embeddings

  3. 03

    ผ่าน Transformer encoders แล้วใช้ classification head

ควรรู้อีกนิด — patch ใหญ่สูญเสียรายละเอียด ส่วน patch เล็กทำให้ attention แพงและมักต้องการข้อมูลหรือ pretraining มาก

04Make it yours

Python · Keras
# ติดตั้ง: pip install numpy keras# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("vision-transformer-sample.csv", delimiter=",", skip_header=1)import kerasfrom keras.layers import Dense, MultiHeadAttention, LayerNormalizationpatch=8; images=np.resize(data[:,1],(8,32,32,1)).astype("float32")patches=keras.ops.image.extract_patches(images,size=patch)tokens=keras.ops.reshape(patches,(8,-1,patch*patch))x=Dense(32)(tokens); x=LayerNormalization()(x+MultiHeadAttention(4,8)(x,x))logits=Dense(3)(keras.ops.mean(x,axis=1))print("Patches:", patches.shape, "Logits:", logits.shape)

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ขนาด patch แลกความละเอียดกับจำนวน tokens อย่างไร?

Vision Transformer / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
คุมจำนวน image tokens และรายละเอียดเฉพาะที่
ดูภาพอย่างไร

ภาพถูกแบ่ง grid แล้วแต่ละ patch กลายเป็น token ที่เข้า self-attention

เมื่อเพิ่มค่า

patch ใหญ่ขึ้น จำนวน tokens ลดและสูญเสียรายละเอียดเล็ก

ลองเปรียบเทียบ

เทียบจำนวน patches กับวัตถุเล็กที่ยังมองเห็นได้

tokentokentokentoken4 × 4 patchespatch embeddings
Patch-class accuracy78.0%
ขนาด patch8
พารามิเตอร์ที่ลอง8

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ Keras จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง