01Overall Concept
ไอเดียหลัก — Linear-chain CRF กำหนดคะแนนจาก feature ของ observation และ transition ระหว่าง labels แล้ว normalize เหนือลำดับ label ทั้งหมดเพื่อเรียน conditional probability โดยตรง
ลองนึกภาพว่า — เหมือนเติมชนิดคำในประโยคโดยดูทั้งคำปัจจุบันและกฎว่าป้ายชนิดใดมักอยู่ติดกัน
ตัวอย่างการนำไปใช้ — Named Entity Recognition การแบ่งคำ และติดป้ายช่วงสัญญาณ
02อธิบายภาษาคนเข้าใจง่ายๆ
Conditional Random Field เริ่มจากคำถามง่าย ๆ ว่า ติดป้ายทั้งลำดับพร้อมคำนึงว่าป้ายข้างเคียงต้องสอดคล้องกัน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนเติมชนิดคำในประโยคโดยดูทั้งคำปัจจุบันและกฎว่าป้ายชนิดใดมักอยู่ติดกัน ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Linear-chain CRF กำหนดคะแนนจาก feature ของ observation และ transition ระหว่าง labels แล้ว normalize เหนือลำดับ label ทั้งหมดเพื่อเรียน conditional probability โดยตรง พารามิเตอร์หลักใน Playground คือ L1 regularization เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ลำดับ feature dictionaries และลำดับ labels ที่ยาวเท่ากัน · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น Named Entity Recognition การแบ่งคำ และติดป้ายช่วงสัญญาณ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: ลำดับ labels, marginal probability และ transition weights · Playground อัปเดตเมื่อปรับ L1 regularization พร้อมจำข้อจำกัดสำคัญว่า feature engineering มีผลสูงและต้นทุนเพิ่มตามจำนวน labels กับความยาวลำดับ
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
ลำดับ feature dictionaries และลำดับ labels ที่ยาวเท่ากัน ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ c1 เพื่อคุมความ sparse ของ feature weights และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
รวม emission score จาก features ต่อเวลา จากนั้น เพิ่ม transition score ของ label ที่ติดกัน Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
ใช้ forward-backward ฝึกและ Viterbi decode ผลที่ได้คือ ลำดับ labels, marginal probability และ transition weights ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ c1 ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า feature engineering มีผลสูงและต้นทุนเพิ่มตามจำนวน labels กับความยาวลำดับ
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
c1learning_ratevalidationข้อมูลที่รับเข้ามา
ลำดับ feature dictionaries และลำดับ labels ที่ยาวเท่ากัน
ลำดับ feature dictionaries และลำดับ labels ที่ยาวเท่ากัน · ตัวอย่างขนาดเล็กที่ทำซ้ำได้พารามิเตอร์ที่ใช้
- c1
- คุมความ sparse ของ feature weights
- learning_rate
- ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
- validation
- กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
ผลลัพธ์ที่ได้
ลำดับ labels, marginal probability และ transition weights
ลำดับ labels, marginal probability และ transition weights · Playground อัปเดตเมื่อปรับ L1 regularizationคำนวณทีละขั้น
- 01
รวม emission score จาก features ต่อเวลา
- 02
เพิ่ม transition score ของ label ที่ติดกัน
- 03
ใช้ forward-backward ฝึกและ Viterbi decode
ควรรู้อีกนิด — feature engineering มีผลสูงและต้นทุนเพิ่มตามจำนวน labels กับความยาวลำดับ
04Make it yours
# ติดตั้ง: pip install numpy sklearn-crfsuite# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("conditional-random-field-sample.csv", delimiter=",", skip_header=1)import sklearn_crfsuiteX = [[{"value": float(v), "positive": bool(v>0)} for v in seq] for seq in data[:,1].reshape(-1,10)]y = [["HIGH" if v>0 else "LOW" for v in seq] for seq in data[:,1].reshape(-1,10)]model = sklearn_crfsuite.CRF(algorithm="lbfgs", c1=0.1, c2=.1, max_iterations=100)model.fit(X[:-2], y[:-2])print("Predicted labels:", model.predict(X[-2:]))print("Top transitions:", sorted(model.transition_features_.items(), key=lambda x:-abs(x[1]))[:6])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
L1 regularization ช่วยตัด feature weights โดยยังรักษาลำดับได้ไหม?
แถวล่างคือ labels ที่เชื่อมด้วย transition scores ไม่ได้ทายแยกทีละ token
เมื่อค่าปรับสูงขึ้น weights จำนวนมากเป็นศูนย์และโมเดลง่ายขึ้น
ดูข้อผิดพลาดทั้งตำแหน่งและความต่อเนื่องของ label sequence
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ sklearn-crfsuite จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง