ml/ library Learn by doing
ALGORITHM 110 · PYTHON / JAVASCRIPT

Transformer

ให้ทุกตำแหน่งแลกข้อมูลผ่าน multi-head attention โดยไม่ต้องวน recurrent state

LEARNING LEVEL5
เฉพาะทางควรรู้มาก่อน · Attention, embeddings และ normalization
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Transformer ซ้อน multi-head self-attention, feed-forward networks, residual connections และ normalization พร้อม positional information เพื่อประมวลผล sequence แบบขนาน

ลองนึกภาพว่า — เหมือนประชุมที่ทุกคำเลือกฟังคำอื่นหลายมุม แล้วแต่ละคำสรุปบริบทของตัวเอง

ตัวอย่างการนำไปใช้ — ภาษา วิสัยทัศน์ เสียง และ multimodal foundation models

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Transformer เริ่มจากคำถามง่าย ๆ ว่า ให้ทุกตำแหน่งแลกข้อมูลผ่าน multi-head attention โดยไม่ต้องวน recurrent state วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนประชุมที่ทุกคำเลือกฟังคำอื่นหลายมุม แล้วแต่ละคำสรุปบริบทของตัวเอง ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Transformer ซ้อน multi-head self-attention, feed-forward networks, residual connections และ normalization พร้อม positional information เพื่อประมวลผล sequence แบบขนาน พารามิเตอร์หลักใน Playground คือ จำนวน attention heads เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ token embeddings พร้อม positional encoding และ attention mask · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ภาษา วิสัยทัศน์ เสียง และ multimodal foundation models ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: contextual representations หรือ token probabilities · Playground อัปเดตเมื่อปรับ จำนวน attention heads พร้อมจำข้อจำกัดสำคัญว่า full attention ใช้หน่วยความจำกำลังสองตามความยาวและต้องควบคุม mask ให้ไม่เห็น token อนาคต

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    token embeddings พร้อม positional encoding และ attention mask ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ num_heads เพื่อจำนวนชุด projection ที่มองความสัมพันธ์พร้อมกัน และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    project input เป็น queries, keys และ values หลาย heads จากนั้น คำนวณ scaled dot-product attention Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    รวม heads ผ่าน residual, normalization และ feed-forward ผลที่ได้คือ contextual representations หรือ token probabilities ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ num_heads ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า full attention ใช้หน่วยความจำกำลังสองตามความยาวและต้องควบคุม mask ให้ไม่เห็น token อนาคต

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targettoken embeddings พร้อม positional encoding และ attention mask · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATETransformer
num_headslearning_ratevalidation
RESULTnumeric predictioncontextual representations หรือ token probabilities · Playground อัปเดตเมื่อปรับ จำนวน attention heads
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

token embeddings พร้อม positional encoding และ attention mask

token embeddings พร้อม positional encoding และ attention mask · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

num_heads
จำนวนชุด projection ที่มองความสัมพันธ์พร้อมกัน
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

contextual representations หรือ token probabilities

contextual representations หรือ token probabilities · Playground อัปเดตเมื่อปรับ จำนวน attention heads
CALCULATION

คำนวณทีละขั้น

  1. 01

    project input เป็น queries, keys และ values หลาย heads

  2. 02

    คำนวณ scaled dot-product attention

  3. 03

    รวม heads ผ่าน residual, normalization และ feed-forward

ควรรู้อีกนิด — full attention ใช้หน่วยความจำกำลังสองตามความยาวและต้องควบคุม mask ให้ไม่เห็น token อนาคต

04Make it yours

Python · Keras
# ติดตั้ง: pip install numpy keras# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("transformer-sample.csv", delimiter=",", skip_header=1)import kerasfrom keras.layers import MultiHeadAttention, LayerNormalization, DenseX=data[:,1].reshape(-1,12,1).astype("float32")inputs=keras.Input((12,1)); x=Dense(32)(inputs)attn=MultiHeadAttention(num_heads=4,key_dim=max(1,32//4))(x,x)x=LayerNormalization()(x+attn); outputs=Dense(1)(x)model=keras.Model(inputs,outputs)print("Transformer output:", model(X[:2]).shape)

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

จำนวน heads ช่วยให้แต่ละตำแหน่งมองความสัมพันธ์หลายแบบอย่างไร?

Transformer / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
จำนวนชุด projection ที่มองความสัมพันธ์พร้อมกัน
ดูภาพอย่างไร

heatmap ย่อยแต่ละอันคือ attention head และสีเข้มคือน้ำหนักสูง

เมื่อเพิ่มค่า

แบ่ง representation เป็นมุมมองมากขึ้น แต่ dimension ต่อ head ลดลงเมื่อขนาดรวมคงที่

ลองเปรียบเทียบ

ดูว่า heads เรียนรูปแบบต่างกันจริงหรือแผนที่ซ้ำกัน

head 1head 2head 3head 4สีเข้ม = น้ำหนัก attention สูง · แต่ละแถวรวมเป็น 1
Attention entropy0.760
จำนวน heads4
พารามิเตอร์ที่ลอง4

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ Keras จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง