01Overall Concept
ไอเดียหลัก — CatBoost ใช้ ordered target statistics และ ordered boosting พร้อม symmetric trees เพื่อจัดการ categorical features โดยตรงและลด prediction shift
ลองนึกภาพว่า — เหมือนสรุปผลงานกลุ่มจากเฉพาะคนที่มาก่อนหน้า จึงไม่แอบเห็นคำตอบของคนที่กำลังประเมิน
ตัวอย่างการนำไปใช้ — ข้อมูลตารางที่มีหมวดหมู่จำนวนมาก เช่น ลูกค้า โฆษณา และความเสี่ยง
02อธิบายภาษาคนเข้าใจง่ายๆ
CatBoost เริ่มจากคำถามง่าย ๆ ว่า เรียนรู้ตัวแปรหมวดหมู่โดยลด target leakage จากลำดับข้อมูล วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนสรุปผลงานกลุ่มจากเฉพาะคนที่มาก่อนหน้า จึงไม่แอบเห็นคำตอบของคนที่กำลังประเมิน ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
CatBoost ใช้ ordered target statistics และ ordered boosting พร้อม symmetric trees เพื่อจัดการ categorical features โดยตรงและลด prediction shift พารามิเตอร์หลักใน Playground คือ ความลึกต้นไม้ เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ ตาราง feature พร้อมระบุคอลัมน์ categorical และ target · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น ข้อมูลตารางที่มีหมวดหมู่จำนวนมาก เช่น ลูกค้า โฆษณา และความเสี่ยง ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: ค่าทำนายและ ensemble ของ symmetric trees · Playground แสดงผลเมื่อปรับ ความลึกต้นไม้ พร้อมจำข้อจำกัดสำคัญว่า การฝึกอาจช้ากว่าวิธีง่ายบนข้อมูลเล็ก และ categorical cardinality สูงยังต้องตรวจ leakage กับเวลา
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
ตาราง feature พร้อมระบุคอลัมน์ categorical และ target ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ depth เพื่อกำหนดจำนวน split ของ symmetric tree และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
สุ่ม permutation ของแถว จากนั้น สร้าง ordered statistics จากแถวก่อนหน้า Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
ฝึก symmetric tree แก้ gradient ทีละรอบ ผลที่ได้คือ ค่าทำนายและ ensemble ของ symmetric trees ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ depth ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า การฝึกอาจช้ากว่าวิธีง่ายบนข้อมูลเล็ก และ categorical cardinality สูงยังต้องตรวจ leakage กับเวลา
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
depthrandom_statevalidationข้อมูลที่รับเข้ามา
ตาราง feature พร้อมระบุคอลัมน์ categorical และ target
ตาราง feature พร้อมระบุคอลัมน์ categorical และ target · ตัวอย่าง 60–150 แถวพารามิเตอร์ที่ใช้
- depth
- กำหนดจำนวน split ของ symmetric tree
- random_state
- ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
- validation
- เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
ผลลัพธ์ที่ได้
ค่าทำนายและ ensemble ของ symmetric trees
ค่าทำนายและ ensemble ของ symmetric trees · Playground แสดงผลเมื่อปรับ ความลึกต้นไม้คำนวณทีละขั้น
- 01
สุ่ม permutation ของแถว
- 02
สร้าง ordered statistics จากแถวก่อนหน้า
- 03
ฝึก symmetric tree แก้ gradient ทีละรอบ
ควรรู้อีกนิด — การฝึกอาจช้ากว่าวิธีง่ายบนข้อมูลเล็ก และ categorical cardinality สูงยังต้องตรวจ leakage กับเวลา
04Make it yours
# ติดตั้ง: pip install numpy scikit-learn catboost# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("catboost-sample.csv", delimiter=",", skip_header=1)from catboost import CatBoostClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scoreX, y = data[:, :2], data[:, 2].astype(int)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.25, stratify=y, random_state=42)model = CatBoostClassifier(depth=6, iterations=80, learning_rate=.08, verbose=False, random_seed=42); model.fit(X_train, y_train)print("Accuracy:", accuracy_score(y_test, model.predict(X_test)))โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ความลึกของ symmetric tree เปลี่ยนจำนวนกฎร่วมอย่างไร?
ทุกโหนดในระดับเดียวใช้ split เดียวกันและ categorical statistics ถูกสร้างแบบ ordered
จำนวนใบเพิ่มเป็นกำลังและ interaction ซับซ้อนขึ้น
ดูว่าความลึกเพิ่มแล้ว validation ดีขึ้นหรือหยุดนิ่ง
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ CatBoost จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง