01Overall Concept
ไอเดียหลัก — Attention คำนวณ similarity ระหว่าง query กับ keys ใช้ softmax เป็นน้ำหนัก แล้วรวม values เป็น context vector จึงเข้าถึงข้อมูลหลายตำแหน่งโดยตรง
ลองนึกภาพว่า — เหมือนอ่านคำถามแล้วไฮไลต์ประโยคที่เกี่ยวข้องก่อนสรุปคำตอบ
ตัวอย่างการนำไปใช้ — แปลภาษา Transformer การมองภาพ และรวมข้อมูลหลายส่วน
02อธิบายภาษาคนเข้าใจง่ายๆ
Attention Mechanism เริ่มจากคำถามง่าย ๆ ว่า ให้อีกตำแหน่งเลือกว่าจะอ่านข้อมูลส่วนใดมากเป็นพิเศษ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนอ่านคำถามแล้วไฮไลต์ประโยคที่เกี่ยวข้องก่อนสรุปคำตอบ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Attention คำนวณ similarity ระหว่าง query กับ keys ใช้ softmax เป็นน้ำหนัก แล้วรวม values เป็น context vector จึงเข้าถึงข้อมูลหลายตำแหน่งโดยตรง พารามิเตอร์หลักใน Playground คือ อุณหภูมิ softmax เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ query, key และ value tensors พร้อม mask · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น แปลภาษา Transformer การมองภาพ และรวมข้อมูลหลายส่วน ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: attention weights และ context vectors · Playground แสดงผลเมื่อปรับ อุณหภูมิ softmax พร้อมจำข้อจำกัดสำคัญว่า น้ำหนัก attention ไม่ใช่คำอธิบายเชิงสาเหตุ และเมทริกซ์ทุกคู่ใช้หน่วยความจำสูงเมื่อลำดับยาว
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
query, key และ value tensors พร้อม mask ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ temperature เพื่อค่าน้อยทำให้น้ำหนักจดจ่อ ค่าสูงกระจายกว้าง และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
คูณ query กับ keys เป็นคะแนน จากนั้น หารสเกลแล้วผ่าน softmax Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
รวม values แบบถ่วงน้ำหนัก ผลที่ได้คือ attention weights และ context vectors ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ temperature ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า น้ำหนัก attention ไม่ใช่คำอธิบายเชิงสาเหตุ และเมทริกซ์ทุกคู่ใช้หน่วยความจำสูงเมื่อลำดับยาว
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
temperaturerandom_statevalidationข้อมูลที่รับเข้ามา
query, key และ value tensors พร้อม mask
query, key และ value tensors พร้อม mask · ตัวอย่าง 60–150 แถวพารามิเตอร์ที่ใช้
- temperature
- ค่าน้อยทำให้น้ำหนักจดจ่อ ค่าสูงกระจายกว้าง
- random_state
- ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
- validation
- เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
ผลลัพธ์ที่ได้
attention weights และ context vectors
attention weights และ context vectors · Playground แสดงผลเมื่อปรับ อุณหภูมิ softmaxคำนวณทีละขั้น
- 01
คูณ query กับ keys เป็นคะแนน
- 02
หารสเกลแล้วผ่าน softmax
- 03
รวม values แบบถ่วงน้ำหนัก
ควรรู้อีกนิด — น้ำหนัก attention ไม่ใช่คำอธิบายเชิงสาเหตุ และเมทริกซ์ทุกคู่ใช้หน่วยความจำสูงเมื่อลำดับยาว
04Make it yours
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("attention-mechanism-sample.csv", delimiter=",", skip_header=1)temperature = 1Q, K, V = data[:8, :2], data[8:16, :2], data[8:16, :2]scores = Q @ K.T / (np.sqrt(K.shape[1]) * temperature)weights = np.exp(scores-scores.max(1, keepdims=True)); weights /= weights.sum(1, keepdims=True)context = weights @ Vprint("Attention weights:\n", weights.round(3))print("Context:\n", context.round(3))โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
temperature ทำให้น้ำหนัก attention จดจ่อหรือกระจายอย่างไร?
สีเข้มใน heatmap คือ query ให้น้ำหนักกับ key ตำแหน่งนั้นมาก
น้ำหนักกระจายเรียบขึ้นและ context ผสมหลายตำแหน่งขึ้น
เทียบ entropy ของแถวและดูว่าตำแหน่งสำคัญยังเด่นอยู่หรือไม่
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง