ml/ library Learn by doing
ALGORITHM 118 · PYTHON / JAVASCRIPT

Masked Language Modeling

ซ่อน token บางตำแหน่งแล้วให้โมเดลทายจากบริบทรอบด้าน

LEARNING LEVEL5
เฉพาะทางควรรู้มาก่อน · Attention, tokenization และ embeddings
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — MLM เลือก token บางส่วนเป็น prediction targets แทนหรือรบกวน input แล้วฝึก Transformer encoder ทำนาย token เดิมจาก contextual representation โดยไม่ต้องมี label ภายนอก

ลองนึกภาพว่า — เหมือนแบบฝึกเติมคำในช่องว่างที่อ่านได้ทั้งประโยคซ้ายและขวา

ตัวอย่างการนำไปใช้ — pretrain language encoder สำหรับ classification, search และ extraction

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Masked Language Modeling เริ่มจากคำถามง่าย ๆ ว่า ซ่อน token บางตำแหน่งแล้วให้โมเดลทายจากบริบทรอบด้าน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนแบบฝึกเติมคำในช่องว่างที่อ่านได้ทั้งประโยคซ้ายและขวา ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

MLM เลือก token บางส่วนเป็น prediction targets แทนหรือรบกวน input แล้วฝึก Transformer encoder ทำนาย token เดิมจาก contextual representation โดยไม่ต้องมี label ภายนอก พารามิเตอร์หลักใน Playground คือ สัดส่วน token ที่ mask เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ token ids, attention masks และ labels เฉพาะตำแหน่งที่เลือก · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น pretrain language encoder สำหรับ classification, search และ extraction ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: vocabulary logits และ contextual token embeddings · Playground อัปเดตเมื่อปรับ สัดส่วน token ที่ mask พร้อมจำข้อจำกัดสำคัญว่า การ pretrain ใช้ทรัพยากรสูงและ mask distribution ต่างจากข้อความจริงตอนใช้งาน

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    token ids, attention masks และ labels เฉพาะตำแหน่งที่เลือก ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ mask_probability เพื่อกำหนดจำนวนตำแหน่งที่ใช้เป็นเป้าหมายในแต่ละ batch และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    สุ่มตำแหน่งที่ไม่ใช่ special tokens จากนั้น แทนบางตำแหน่งด้วย mask/random/original token Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    คำนวณ cross-entropy เฉพาะตำแหน่งเป้าหมาย ผลที่ได้คือ vocabulary logits และ contextual token embeddings ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ mask_probability ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า การ pretrain ใช้ทรัพยากรสูงและ mask distribution ต่างจากข้อความจริงตอนใช้งาน

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targettoken ids, attention masks และ labels เฉพาะตำแหน่งที่เลือก · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATEMasked Language Modeling
mask_probabilitylearning_ratevalidation
RESULT0.800.150.05class / probabilityvocabulary logits และ contextual token embeddings · Playground อัปเดตเมื่อปรับ สัดส่วน token ที่ mask
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

token ids, attention masks และ labels เฉพาะตำแหน่งที่เลือก

token ids, attention masks และ labels เฉพาะตำแหน่งที่เลือก · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

mask_probability
กำหนดจำนวนตำแหน่งที่ใช้เป็นเป้าหมายในแต่ละ batch
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

vocabulary logits และ contextual token embeddings

vocabulary logits และ contextual token embeddings · Playground อัปเดตเมื่อปรับ สัดส่วน token ที่ mask
CALCULATION

คำนวณทีละขั้น

  1. 01

    สุ่มตำแหน่งที่ไม่ใช่ special tokens

  2. 02

    แทนบางตำแหน่งด้วย mask/random/original token

  3. 03

    คำนวณ cross-entropy เฉพาะตำแหน่งเป้าหมาย

ควรรู้อีกนิด — การ pretrain ใช้ทรัพยากรสูงและ mask distribution ต่างจากข้อความจริงตอนใช้งาน

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("masked-language-modeling-sample.csv", delimiter=",", skip_header=1)rng=np.random.default_rng(42); tokens=(abs(data[:,1])*10).astype(int)%50mask=rng.random(len(tokens))<0.15; labels=np.where(mask,tokens,-100); masked=tokens.copy(); masked[mask]=50vocab=51; counts=np.ones((vocab,vocab))for a,b in zip(masked[:-1],tokens[1:]): counts[a,b]+=1pred=counts[masked].argmax(1)print("Masked positions:", mask.sum(), "of", len(tokens))print("Masked-token accuracy:", np.mean(pred[mask]==labels[mask]) if mask.any() else 0)

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ควรซ่อน token กี่ส่วนจึงมีสัญญาณฝึกพอโดยไม่ทำลายบริบท?

Masked Language Modeling / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดจำนวนตำแหน่งที่ใช้เป็นเป้าหมายในแต่ละ batch
ดูภาพอย่างไร

ช่องทึบคือ token ที่ถูก mask และลูกศรสองด้านคือบริบทที่ใช้ทาย

เมื่อเพิ่มค่า

มี targets ต่อ batch มากขึ้นแต่ประโยคให้บริบทน้อยลง

ลองเปรียบเทียบ

ดู accuracy เฉพาะ masked positions และชนิดคำที่พลาด

ฉันชอบ[MASK]และเรียน[MASK]15% ของ token เป็นเป้าหมาย · ใช้บริบททั้งสองด้าน
Masked-token accuracy74.8%
สัดส่วน token ที่ mask0.15
พารามิเตอร์ที่ลอง0.15

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง