ml/ library Learn by doing
ALGORITHM 105 · PYTHON / JAVASCRIPT

Conditional Random Field

ติดป้ายทั้งลำดับพร้อมคำนึงว่าป้ายข้างเคียงต้องสอดคล้องกัน

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · Hidden Markov Model และ Logistic Regression
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Linear-chain CRF กำหนดคะแนนจาก feature ของ observation และ transition ระหว่าง labels แล้ว normalize เหนือลำดับ label ทั้งหมดเพื่อเรียน conditional probability โดยตรง

ลองนึกภาพว่า — เหมือนเติมชนิดคำในประโยคโดยดูทั้งคำปัจจุบันและกฎว่าป้ายชนิดใดมักอยู่ติดกัน

ตัวอย่างการนำไปใช้ — Named Entity Recognition การแบ่งคำ และติดป้ายช่วงสัญญาณ

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Conditional Random Field เริ่มจากคำถามง่าย ๆ ว่า ติดป้ายทั้งลำดับพร้อมคำนึงว่าป้ายข้างเคียงต้องสอดคล้องกัน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนเติมชนิดคำในประโยคโดยดูทั้งคำปัจจุบันและกฎว่าป้ายชนิดใดมักอยู่ติดกัน ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Linear-chain CRF กำหนดคะแนนจาก feature ของ observation และ transition ระหว่าง labels แล้ว normalize เหนือลำดับ label ทั้งหมดเพื่อเรียน conditional probability โดยตรง พารามิเตอร์หลักใน Playground คือ L1 regularization เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ลำดับ feature dictionaries และลำดับ labels ที่ยาวเท่ากัน · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น Named Entity Recognition การแบ่งคำ และติดป้ายช่วงสัญญาณ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: ลำดับ labels, marginal probability และ transition weights · Playground อัปเดตเมื่อปรับ L1 regularization พร้อมจำข้อจำกัดสำคัญว่า feature engineering มีผลสูงและต้นทุนเพิ่มตามจำนวน labels กับความยาวลำดับ

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    ลำดับ feature dictionaries และลำดับ labels ที่ยาวเท่ากัน ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ c1 เพื่อคุมความ sparse ของ feature weights และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    รวม emission score จาก features ต่อเวลา จากนั้น เพิ่ม transition score ของ label ที่ติดกัน Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ใช้ forward-backward ฝึกและ Viterbi decode ผลที่ได้คือ ลำดับ labels, marginal probability และ transition weights ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ c1 ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า feature engineering มีผลสูงและต้นทุนเพิ่มตามจำนวน labels กับความยาวลำดับ

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetลำดับ feature dictionaries และลำดับ labels ที่ยาวเท่ากัน · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATEConditional Random Field
c1learning_ratevalidation
RESULT0.800.150.05class / probabilityลำดับ labels, marginal probability และ transition weights · Playground อัปเดตเมื่อปรับ L1 regularization
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

ลำดับ feature dictionaries และลำดับ labels ที่ยาวเท่ากัน

ลำดับ feature dictionaries และลำดับ labels ที่ยาวเท่ากัน · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

c1
คุมความ sparse ของ feature weights
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

ลำดับ labels, marginal probability และ transition weights

ลำดับ labels, marginal probability และ transition weights · Playground อัปเดตเมื่อปรับ L1 regularization
CALCULATION

คำนวณทีละขั้น

  1. 01

    รวม emission score จาก features ต่อเวลา

  2. 02

    เพิ่ม transition score ของ label ที่ติดกัน

  3. 03

    ใช้ forward-backward ฝึกและ Viterbi decode

ควรรู้อีกนิด — feature engineering มีผลสูงและต้นทุนเพิ่มตามจำนวน labels กับความยาวลำดับ

04Make it yours

Python · sklearn-crfsuite
# ติดตั้ง: pip install numpy sklearn-crfsuite# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("conditional-random-field-sample.csv", delimiter=",", skip_header=1)import sklearn_crfsuiteX = [[{"value": float(v), "positive": bool(v>0)} for v in seq] for seq in data[:,1].reshape(-1,10)]y = [["HIGH" if v>0 else "LOW" for v in seq] for seq in data[:,1].reshape(-1,10)]model = sklearn_crfsuite.CRF(algorithm="lbfgs", c1=0.1, c2=.1, max_iterations=100)model.fit(X[:-2], y[:-2])print("Predicted labels:", model.predict(X[-2:]))print("Top transitions:", sorted(model.transition_features_.items(), key=lambda x:-abs(x[1]))[:6])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

L1 regularization ช่วยตัด feature weights โดยยังรักษาลำดับได้ไหม?

Conditional Random Field / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
คุมความ sparse ของ feature weights
ดูภาพอย่างไร

แถวล่างคือ labels ที่เชื่อมด้วย transition scores ไม่ได้ทายแยกทีละ token

เมื่อเพิ่มค่า

เมื่อค่าปรับสูงขึ้น weights จำนวนมากเป็นศูนย์และโมเดลง่ายขึ้น

ลองเปรียบเทียบ

ดูข้อผิดพลาดทั้งตำแหน่งและความต่อเนื่องของ label sequence

x1h1x2h2x3h3x4h4x5h5x6h6forgetข้อมูลไหลตามเวลาและส่งสถานะต่อ
Sequence accuracy82.8%
ค่า L10.10
พารามิเตอร์ที่ลอง0.10

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ sklearn-crfsuite จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง