ml/ library Learn by doing
ALGORITHM 91 · PYTHON / JAVASCRIPT

CatBoost

เรียนรู้ตัวแปรหมวดหมู่โดยลด target leakage จากลำดับข้อมูล

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · Gradient Boosting และ categorical encoding
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — CatBoost ใช้ ordered target statistics และ ordered boosting พร้อม symmetric trees เพื่อจัดการ categorical features โดยตรงและลด prediction shift

ลองนึกภาพว่า — เหมือนสรุปผลงานกลุ่มจากเฉพาะคนที่มาก่อนหน้า จึงไม่แอบเห็นคำตอบของคนที่กำลังประเมิน

ตัวอย่างการนำไปใช้ — ข้อมูลตารางที่มีหมวดหมู่จำนวนมาก เช่น ลูกค้า โฆษณา และความเสี่ยง

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

CatBoost เริ่มจากคำถามง่าย ๆ ว่า เรียนรู้ตัวแปรหมวดหมู่โดยลด target leakage จากลำดับข้อมูล วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนสรุปผลงานกลุ่มจากเฉพาะคนที่มาก่อนหน้า จึงไม่แอบเห็นคำตอบของคนที่กำลังประเมิน ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

CatBoost ใช้ ordered target statistics และ ordered boosting พร้อม symmetric trees เพื่อจัดการ categorical features โดยตรงและลด prediction shift พารามิเตอร์หลักใน Playground คือ ความลึกต้นไม้ เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ตาราง feature พร้อมระบุคอลัมน์ categorical และ target · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ข้อมูลตารางที่มีหมวดหมู่จำนวนมาก เช่น ลูกค้า โฆษณา และความเสี่ยง ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: ค่าทำนายและ ensemble ของ symmetric trees · Playground แสดงผลเมื่อปรับ ความลึกต้นไม้ พร้อมจำข้อจำกัดสำคัญว่า การฝึกอาจช้ากว่าวิธีง่ายบนข้อมูลเล็ก และ categorical cardinality สูงยังต้องตรวจ leakage กับเวลา

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    ตาราง feature พร้อมระบุคอลัมน์ categorical และ target ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ depth เพื่อกำหนดจำนวน split ของ symmetric tree และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    สุ่ม permutation ของแถว จากนั้น สร้าง ordered statistics จากแถวก่อนหน้า Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ฝึก symmetric tree แก้ gradient ทีละรอบ ผลที่ได้คือ ค่าทำนายและ ensemble ของ symmetric trees ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ depth ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า การฝึกอาจช้ากว่าวิธีง่ายบนข้อมูลเล็ก และ categorical cardinality สูงยังต้องตรวจ leakage กับเวลา

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetตาราง feature พร้อมระบุคอลัมน์ categorical และ target · ตัวอย่าง 60–150 แถว
CALCULATECatBoost
depthrandom_statevalidation
RESULT0.800.150.05class / probabilityค่าทำนายและ ensemble ของ symmetric trees · Playground แสดงผลเมื่อปรับ ความลึกต้นไม้
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

ตาราง feature พร้อมระบุคอลัมน์ categorical และ target

ตาราง feature พร้อมระบุคอลัมน์ categorical และ target · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

depth
กำหนดจำนวน split ของ symmetric tree
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

ค่าทำนายและ ensemble ของ symmetric trees

ค่าทำนายและ ensemble ของ symmetric trees · Playground แสดงผลเมื่อปรับ ความลึกต้นไม้
CALCULATION

คำนวณทีละขั้น

  1. 01

    สุ่ม permutation ของแถว

  2. 02

    สร้าง ordered statistics จากแถวก่อนหน้า

  3. 03

    ฝึก symmetric tree แก้ gradient ทีละรอบ

ควรรู้อีกนิด — การฝึกอาจช้ากว่าวิธีง่ายบนข้อมูลเล็ก และ categorical cardinality สูงยังต้องตรวจ leakage กับเวลา

04Make it yours

Python · CatBoost
# ติดตั้ง: pip install numpy scikit-learn catboost# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("catboost-sample.csv", delimiter=",", skip_header=1)from catboost import CatBoostClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scoreX, y = data[:, :2], data[:, 2].astype(int)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.25, stratify=y, random_state=42)model = CatBoostClassifier(depth=6, iterations=80, learning_rate=.08, verbose=False, random_seed=42); model.fit(X_train, y_train)print("Accuracy:", accuracy_score(y_test, model.predict(X_test)))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ความลึกของ symmetric tree เปลี่ยนจำนวนกฎร่วมอย่างไร?

CatBoost / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดจำนวน split ของ symmetric tree
ดูภาพอย่างไร

ทุกโหนดในระดับเดียวใช้ split เดียวกันและ categorical statistics ถูกสร้างแบบ ordered

เมื่อเพิ่มค่า

จำนวนใบเพิ่มเป็นกำลังและ interaction ซับซ้อนขึ้น

ลองเปรียบเทียบ

ดูว่าความลึกเพิ่มแล้ว validation ดีขึ้นหรือหยุดนิ่ง

Σ trees × learning rateensemble prediction แก้ residual ทีละรอบ5 weak learners ในภาพแนวคิด
Test accuracy70.0%
ความลึกต้นไม้6
พารามิเตอร์ที่ลอง6

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ CatBoost จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง