01Overall Concept
ไอเดียหลัก — Transformer ซ้อน multi-head self-attention, feed-forward networks, residual connections และ normalization พร้อม positional information เพื่อประมวลผล sequence แบบขนาน
ลองนึกภาพว่า — เหมือนประชุมที่ทุกคำเลือกฟังคำอื่นหลายมุม แล้วแต่ละคำสรุปบริบทของตัวเอง
ตัวอย่างการนำไปใช้ — ภาษา วิสัยทัศน์ เสียง และ multimodal foundation models
02อธิบายภาษาคนเข้าใจง่ายๆ
Transformer เริ่มจากคำถามง่าย ๆ ว่า ให้ทุกตำแหน่งแลกข้อมูลผ่าน multi-head attention โดยไม่ต้องวน recurrent state วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนประชุมที่ทุกคำเลือกฟังคำอื่นหลายมุม แล้วแต่ละคำสรุปบริบทของตัวเอง ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Transformer ซ้อน multi-head self-attention, feed-forward networks, residual connections และ normalization พร้อม positional information เพื่อประมวลผล sequence แบบขนาน พารามิเตอร์หลักใน Playground คือ จำนวน attention heads เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ token embeddings พร้อม positional encoding และ attention mask · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น ภาษา วิสัยทัศน์ เสียง และ multimodal foundation models ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: contextual representations หรือ token probabilities · Playground อัปเดตเมื่อปรับ จำนวน attention heads พร้อมจำข้อจำกัดสำคัญว่า full attention ใช้หน่วยความจำกำลังสองตามความยาวและต้องควบคุม mask ให้ไม่เห็น token อนาคต
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
token embeddings พร้อม positional encoding และ attention mask ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ num_heads เพื่อจำนวนชุด projection ที่มองความสัมพันธ์พร้อมกัน และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
project input เป็น queries, keys และ values หลาย heads จากนั้น คำนวณ scaled dot-product attention Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
รวม heads ผ่าน residual, normalization และ feed-forward ผลที่ได้คือ contextual representations หรือ token probabilities ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ num_heads ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า full attention ใช้หน่วยความจำกำลังสองตามความยาวและต้องควบคุม mask ให้ไม่เห็น token อนาคต
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
num_headslearning_ratevalidationข้อมูลที่รับเข้ามา
token embeddings พร้อม positional encoding และ attention mask
token embeddings พร้อม positional encoding และ attention mask · ตัวอย่างขนาดเล็กที่ทำซ้ำได้พารามิเตอร์ที่ใช้
- num_heads
- จำนวนชุด projection ที่มองความสัมพันธ์พร้อมกัน
- learning_rate
- ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
- validation
- กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
ผลลัพธ์ที่ได้
contextual representations หรือ token probabilities
contextual representations หรือ token probabilities · Playground อัปเดตเมื่อปรับ จำนวน attention headsคำนวณทีละขั้น
- 01
project input เป็น queries, keys และ values หลาย heads
- 02
คำนวณ scaled dot-product attention
- 03
รวม heads ผ่าน residual, normalization และ feed-forward
ควรรู้อีกนิด — full attention ใช้หน่วยความจำกำลังสองตามความยาวและต้องควบคุม mask ให้ไม่เห็น token อนาคต
04Make it yours
# ติดตั้ง: pip install numpy keras# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("transformer-sample.csv", delimiter=",", skip_header=1)import kerasfrom keras.layers import MultiHeadAttention, LayerNormalization, DenseX=data[:,1].reshape(-1,12,1).astype("float32")inputs=keras.Input((12,1)); x=Dense(32)(inputs)attn=MultiHeadAttention(num_heads=4,key_dim=max(1,32//4))(x,x)x=LayerNormalization()(x+attn); outputs=Dense(1)(x)model=keras.Model(inputs,outputs)print("Transformer output:", model(X[:2]).shape)โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
จำนวน heads ช่วยให้แต่ละตำแหน่งมองความสัมพันธ์หลายแบบอย่างไร?
heatmap ย่อยแต่ละอันคือ attention head และสีเข้มคือน้ำหนักสูง
แบ่ง representation เป็นมุมมองมากขึ้น แต่ dimension ต่อ head ลดลงเมื่อขนาดรวมคงที่
ดูว่า heads เรียนรูปแบบต่างกันจริงหรือแผนที่ซ้ำกัน
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ Keras จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง