ml/ library Learn by doing
ALGORITHM 117 · PYTHON / JAVASCRIPT

Contrastive Learning

ดึงมุมมองของตัวอย่างเดียวกันให้ใกล้และผลักตัวอย่างอื่นออก

LEARNING LEVEL5
เฉพาะทางควรรู้มาก่อน · CNN, data augmentation และ metric learning
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Contrastive learning สร้าง positive pairs จาก augmentations ของตัวอย่างเดียวกัน ใช้ encoder กับ projection head แล้วลด contrastive loss ที่เปรียบเทียบ similarity กับ negatives ใน batch

ลองนึกภาพว่า — เหมือนจำคนเดียวกันแม้เปลี่ยนแสงหรือมุมกล้อง พร้อมแยกออกจากคนอื่น

ตัวอย่างการนำไปใช้ — pretrain ภาพ เสียง ข้อความ และ multimodal representations โดยไม่ต้องมี label

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Contrastive Learning เริ่มจากคำถามง่าย ๆ ว่า ดึงมุมมองของตัวอย่างเดียวกันให้ใกล้และผลักตัวอย่างอื่นออก วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนจำคนเดียวกันแม้เปลี่ยนแสงหรือมุมกล้อง พร้อมแยกออกจากคนอื่น ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Contrastive learning สร้าง positive pairs จาก augmentations ของตัวอย่างเดียวกัน ใช้ encoder กับ projection head แล้วลด contrastive loss ที่เปรียบเทียบ similarity กับ negatives ใน batch พารามิเตอร์หลักใน Playground คือ Temperature τ เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ สอง augmented views ต่อหนึ่งตัวอย่างและ batch ของตัวอย่างอื่น · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น pretrain ภาพ เสียง ข้อความ และ multimodal representations โดยไม่ต้องมี label ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: normalized embeddings และ contrastive loss · Playground อัปเดตเมื่อปรับ Temperature τ พร้อมจำข้อจำกัดสำคัญว่า augmentation กำหนด invariance ที่โมเดลเรียนและ batch/negative sampling มีผลต่อคุณภาพมาก

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    สอง augmented views ต่อหนึ่งตัวอย่างและ batch ของตัวอย่างอื่น ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ temperature เพื่อคุมความคมของ similarity distribution ใน loss และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    สร้างสองมุมมองด้วย augmentation อิสระ จากนั้น encode และ normalize representations Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    เพิ่ม similarity ของ positive pair เทียบกับทุกคู่ใน batch ผลที่ได้คือ normalized embeddings และ contrastive loss ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ temperature ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า augmentation กำหนด invariance ที่โมเดลเรียนและ batch/negative sampling มีผลต่อคุณภาพมาก

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · features · no target yสอง augmented views ต่อหนึ่งตัวอย่างและ batch ของตัวอย่างอื่น · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATEContrastive Learning
temperaturelearning_ratevalidation
RESULTcluster labels + centersnormalized embeddings และ contrastive loss · Playground อัปเดตเมื่อปรับ Temperature τ
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

สอง augmented views ต่อหนึ่งตัวอย่างและ batch ของตัวอย่างอื่น

สอง augmented views ต่อหนึ่งตัวอย่างและ batch ของตัวอย่างอื่น · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

temperature
คุมความคมของ similarity distribution ใน loss
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

normalized embeddings และ contrastive loss

normalized embeddings และ contrastive loss · Playground อัปเดตเมื่อปรับ Temperature τ
CALCULATION

คำนวณทีละขั้น

  1. 01

    สร้างสองมุมมองด้วย augmentation อิสระ

  2. 02

    encode และ normalize representations

  3. 03

    เพิ่ม similarity ของ positive pair เทียบกับทุกคู่ใน batch

ควรรู้อีกนิด — augmentation กำหนด invariance ที่โมเดลเรียนและ batch/negative sampling มีผลต่อคุณภาพมาก

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("contrastive-learning-sample.csv", delimiter=",", skip_header=1)rng=np.random.default_rng(42); tau=0.2; X=data[:,:2]view1=X+rng.normal(0,.05,X.shape); view2=X+rng.normal(0,.05,X.shape)normalize=lambda z:z/(np.linalg.norm(z,axis=1,keepdims=True)+1e-9)z1,z2=normalize(view1),normalize(view2); logits=z1@z2.T/tauexp=np.exp(logits-logits.max(1,keepdims=True)); prob=exp/exp.sum(1,keepdims=True)loss=-np.mean(np.log(np.diag(prob)+1e-9))print("Contrastive loss:", loss, "Positive similarity:", np.mean(np.sum(z1*z2,axis=1)))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

temperature ทำให้ positive pair ต้องเด่นจาก negatives แค่ไหน?

Contrastive Learning / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
คุมความคมของ similarity distribution ใน loss
ดูภาพอย่างไร

สองมุมมองของตัวอย่างเดียวกันถูกดึงเข้าหากันใน embedding

เมื่อเพิ่มค่า

distribution นุ่มขึ้นและลงโทษ negative ที่คล้ายกันน้อยลง

ลองเปรียบเทียบ

ดู positive similarity พร้อมการกระจายของตัวอย่างต่างกัน

มุมมอง Aมุมมอง Bคู่บวกอยู่ใกล้กัน · ตัวอย่างอื่นเป็น negatives
Pair distance12.534
Temperature0.20
พารามิเตอร์ที่ลอง0.20

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง