01Overall Concept
ไอเดียหลัก — MLM เลือก token บางส่วนเป็น prediction targets แทนหรือรบกวน input แล้วฝึก Transformer encoder ทำนาย token เดิมจาก contextual representation โดยไม่ต้องมี label ภายนอก
ลองนึกภาพว่า — เหมือนแบบฝึกเติมคำในช่องว่างที่อ่านได้ทั้งประโยคซ้ายและขวา
ตัวอย่างการนำไปใช้ — pretrain language encoder สำหรับ classification, search และ extraction
02อธิบายภาษาคนเข้าใจง่ายๆ
Masked Language Modeling เริ่มจากคำถามง่าย ๆ ว่า ซ่อน token บางตำแหน่งแล้วให้โมเดลทายจากบริบทรอบด้าน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนแบบฝึกเติมคำในช่องว่างที่อ่านได้ทั้งประโยคซ้ายและขวา ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
MLM เลือก token บางส่วนเป็น prediction targets แทนหรือรบกวน input แล้วฝึก Transformer encoder ทำนาย token เดิมจาก contextual representation โดยไม่ต้องมี label ภายนอก พารามิเตอร์หลักใน Playground คือ สัดส่วน token ที่ mask เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ token ids, attention masks และ labels เฉพาะตำแหน่งที่เลือก · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น pretrain language encoder สำหรับ classification, search และ extraction ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: vocabulary logits และ contextual token embeddings · Playground อัปเดตเมื่อปรับ สัดส่วน token ที่ mask พร้อมจำข้อจำกัดสำคัญว่า การ pretrain ใช้ทรัพยากรสูงและ mask distribution ต่างจากข้อความจริงตอนใช้งาน
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
token ids, attention masks และ labels เฉพาะตำแหน่งที่เลือก ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ mask_probability เพื่อกำหนดจำนวนตำแหน่งที่ใช้เป็นเป้าหมายในแต่ละ batch และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
สุ่มตำแหน่งที่ไม่ใช่ special tokens จากนั้น แทนบางตำแหน่งด้วย mask/random/original token Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
คำนวณ cross-entropy เฉพาะตำแหน่งเป้าหมาย ผลที่ได้คือ vocabulary logits และ contextual token embeddings ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ mask_probability ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า การ pretrain ใช้ทรัพยากรสูงและ mask distribution ต่างจากข้อความจริงตอนใช้งาน
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
mask_probabilitylearning_ratevalidationข้อมูลที่รับเข้ามา
token ids, attention masks และ labels เฉพาะตำแหน่งที่เลือก
token ids, attention masks และ labels เฉพาะตำแหน่งที่เลือก · ตัวอย่างขนาดเล็กที่ทำซ้ำได้พารามิเตอร์ที่ใช้
- mask_probability
- กำหนดจำนวนตำแหน่งที่ใช้เป็นเป้าหมายในแต่ละ batch
- learning_rate
- ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
- validation
- กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
ผลลัพธ์ที่ได้
vocabulary logits และ contextual token embeddings
vocabulary logits และ contextual token embeddings · Playground อัปเดตเมื่อปรับ สัดส่วน token ที่ maskคำนวณทีละขั้น
- 01
สุ่มตำแหน่งที่ไม่ใช่ special tokens
- 02
แทนบางตำแหน่งด้วย mask/random/original token
- 03
คำนวณ cross-entropy เฉพาะตำแหน่งเป้าหมาย
ควรรู้อีกนิด — การ pretrain ใช้ทรัพยากรสูงและ mask distribution ต่างจากข้อความจริงตอนใช้งาน
04Make it yours
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("masked-language-modeling-sample.csv", delimiter=",", skip_header=1)rng=np.random.default_rng(42); tokens=(abs(data[:,1])*10).astype(int)%50mask=rng.random(len(tokens))<0.15; labels=np.where(mask,tokens,-100); masked=tokens.copy(); masked[mask]=50vocab=51; counts=np.ones((vocab,vocab))for a,b in zip(masked[:-1],tokens[1:]): counts[a,b]+=1pred=counts[masked].argmax(1)print("Masked positions:", mask.sum(), "of", len(tokens))print("Masked-token accuracy:", np.mean(pred[mask]==labels[mask]) if mask.any() else 0)โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ควรซ่อน token กี่ส่วนจึงมีสัญญาณฝึกพอโดยไม่ทำลายบริบท?
ช่องทึบคือ token ที่ถูก mask และลูกศรสองด้านคือบริบทที่ใช้ทาย
มี targets ต่อ batch มากขึ้นแต่ประโยคให้บริบทน้อยลง
ดู accuracy เฉพาะ masked positions และชนิดคำที่พลาด
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง