ml/ library Learn by doing
ALGORITHM 94 · PYTHON / JAVASCRIPT

Attention Mechanism

ให้อีกตำแหน่งเลือกว่าจะอ่านข้อมูลส่วนใดมากเป็นพิเศษ

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · RNN, dot product และ softmax
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Attention คำนวณ similarity ระหว่าง query กับ keys ใช้ softmax เป็นน้ำหนัก แล้วรวม values เป็น context vector จึงเข้าถึงข้อมูลหลายตำแหน่งโดยตรง

ลองนึกภาพว่า — เหมือนอ่านคำถามแล้วไฮไลต์ประโยคที่เกี่ยวข้องก่อนสรุปคำตอบ

ตัวอย่างการนำไปใช้ — แปลภาษา Transformer การมองภาพ และรวมข้อมูลหลายส่วน

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Attention Mechanism เริ่มจากคำถามง่าย ๆ ว่า ให้อีกตำแหน่งเลือกว่าจะอ่านข้อมูลส่วนใดมากเป็นพิเศษ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนอ่านคำถามแล้วไฮไลต์ประโยคที่เกี่ยวข้องก่อนสรุปคำตอบ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Attention คำนวณ similarity ระหว่าง query กับ keys ใช้ softmax เป็นน้ำหนัก แล้วรวม values เป็น context vector จึงเข้าถึงข้อมูลหลายตำแหน่งโดยตรง พารามิเตอร์หลักใน Playground คือ อุณหภูมิ softmax เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ query, key และ value tensors พร้อม mask · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น แปลภาษา Transformer การมองภาพ และรวมข้อมูลหลายส่วน ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: attention weights และ context vectors · Playground แสดงผลเมื่อปรับ อุณหภูมิ softmax พร้อมจำข้อจำกัดสำคัญว่า น้ำหนัก attention ไม่ใช่คำอธิบายเชิงสาเหตุ และเมทริกซ์ทุกคู่ใช้หน่วยความจำสูงเมื่อลำดับยาว

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    query, key และ value tensors พร้อม mask ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ temperature เพื่อค่าน้อยทำให้น้ำหนักจดจ่อ ค่าสูงกระจายกว้าง และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    คูณ query กับ keys เป็นคะแนน จากนั้น หารสเกลแล้วผ่าน softmax Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    รวม values แบบถ่วงน้ำหนัก ผลที่ได้คือ attention weights และ context vectors ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ temperature ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า น้ำหนัก attention ไม่ใช่คำอธิบายเชิงสาเหตุ และเมทริกซ์ทุกคู่ใช้หน่วยความจำสูงเมื่อลำดับยาว

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetquery, key และ value tensors พร้อม mask · ตัวอย่าง 60–150 แถว
CALCULATEAttention Mechanism
temperaturerandom_statevalidation
RESULTnumeric predictionattention weights และ context vectors · Playground แสดงผลเมื่อปรับ อุณหภูมิ softmax
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

query, key และ value tensors พร้อม mask

query, key และ value tensors พร้อม mask · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

temperature
ค่าน้อยทำให้น้ำหนักจดจ่อ ค่าสูงกระจายกว้าง
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

attention weights และ context vectors

attention weights และ context vectors · Playground แสดงผลเมื่อปรับ อุณหภูมิ softmax
CALCULATION

คำนวณทีละขั้น

  1. 01

    คูณ query กับ keys เป็นคะแนน

  2. 02

    หารสเกลแล้วผ่าน softmax

  3. 03

    รวม values แบบถ่วงน้ำหนัก

ควรรู้อีกนิด — น้ำหนัก attention ไม่ใช่คำอธิบายเชิงสาเหตุ และเมทริกซ์ทุกคู่ใช้หน่วยความจำสูงเมื่อลำดับยาว

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("attention-mechanism-sample.csv", delimiter=",", skip_header=1)temperature = 1Q, K, V = data[:8, :2], data[8:16, :2], data[8:16, :2]scores = Q @ K.T / (np.sqrt(K.shape[1]) * temperature)weights = np.exp(scores-scores.max(1, keepdims=True)); weights /= weights.sum(1, keepdims=True)context = weights @ Vprint("Attention weights:\n", weights.round(3))print("Context:\n", context.round(3))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

temperature ทำให้น้ำหนัก attention จดจ่อหรือกระจายอย่างไร?

Attention Mechanism / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
ค่าน้อยทำให้น้ำหนักจดจ่อ ค่าสูงกระจายกว้าง
ดูภาพอย่างไร

สีเข้มใน heatmap คือ query ให้น้ำหนักกับ key ตำแหน่งนั้นมาก

เมื่อเพิ่มค่า

น้ำหนักกระจายเรียบขึ้นและ context ผสมหลายตำแหน่งขึ้น

ลองเปรียบเทียบ

เทียบ entropy ของแถวและดูว่าตำแหน่งสำคัญยังเด่นอยู่หรือไม่

head 1queryweighted contextสีเข้ม = น้ำหนัก attention สูง · แต่ละแถวรวมเป็น 1
Attention entropy0.943
Temperature1
พารามิเตอร์ที่ลอง1.0

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง