ml/ library Learn by doing
ALGORITHM 92 · PYTHON / JAVASCRIPT

Histogram Gradient Boosting

เร่ง boosting ด้วยการหาจุดแบ่งจากกล่องค่าจำนวนจำกัด

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · Gradient Boosting และ histogram binning
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Histogram Gradient Boosting bin feature ต่อเนื่องก่อนสร้างต้นไม้ ทำให้ประเมิน split เร็ว ใช้หน่วยความจำน้อย และรองรับ missing values ได้

ลองนึกภาพว่า — เหมือนจัดส่วนสูงเป็นช่วงก่อนหาจุดแบ่ง แทนลองตัดที่ส่วนสูงของทุกคน

ตัวอย่างการนำไปใช้ — จำแนกและ regression บนตารางขนาดกลางถึงใหญ่

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Histogram Gradient Boosting เริ่มจากคำถามง่าย ๆ ว่า เร่ง boosting ด้วยการหาจุดแบ่งจากกล่องค่าจำนวนจำกัด วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนจัดส่วนสูงเป็นช่วงก่อนหาจุดแบ่ง แทนลองตัดที่ส่วนสูงของทุกคน ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Histogram Gradient Boosting bin feature ต่อเนื่องก่อนสร้างต้นไม้ ทำให้ประเมิน split เร็ว ใช้หน่วยความจำน้อย และรองรับ missing values ได้ พารามิเตอร์หลักใน Playground คือ จำนวนใบสูงสุด เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix ที่มีค่าต่อเนื่อง หมวดหมู่ หรือ missing values · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น จำแนกและ regression บนตารางขนาดกลางถึงใหญ่ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: ค่าทำนายและ ensemble ของ histogram trees · Playground แสดงผลเมื่อปรับ จำนวนใบสูงสุด พร้อมจำข้อจำกัดสำคัญว่า การ bin สูญเสียรายละเอียดบางส่วนและพารามิเตอร์ใบต้องสัมพันธ์กับจำนวนตัวอย่าง

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    feature matrix ที่มีค่าต่อเนื่อง หมวดหมู่ หรือ missing values ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ max_leaf_nodes เพื่อคุมความซับซ้อนของต้นไม้แต่ละรอบ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    bin ค่า feature จากนั้น รวม gradient และ Hessian ภายในแต่ละ bin Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    เลือก split ที่ gain สูงและเพิ่มต้นไม้ ผลที่ได้คือ ค่าทำนายและ ensemble ของ histogram trees ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ max_leaf_nodes ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า การ bin สูญเสียรายละเอียดบางส่วนและพารามิเตอร์ใบต้องสัมพันธ์กับจำนวนตัวอย่าง

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetfeature matrix ที่มีค่าต่อเนื่อง หมวดหมู่ หรือ missing values · ตัวอย่าง 60–150 แถว
CALCULATEHistogram Gradient Boosting
max_leaf_nodesrandom_statevalidation
RESULT0.800.150.05class / probabilityค่าทำนายและ ensemble ของ histogram trees · Playground แสดงผลเมื่อปรับ จำนวนใบสูงสุด
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

feature matrix ที่มีค่าต่อเนื่อง หมวดหมู่ หรือ missing values

feature matrix ที่มีค่าต่อเนื่อง หมวดหมู่ หรือ missing values · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

max_leaf_nodes
คุมความซับซ้อนของต้นไม้แต่ละรอบ
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

ค่าทำนายและ ensemble ของ histogram trees

ค่าทำนายและ ensemble ของ histogram trees · Playground แสดงผลเมื่อปรับ จำนวนใบสูงสุด
CALCULATION

คำนวณทีละขั้น

  1. 01

    bin ค่า feature

  2. 02

    รวม gradient และ Hessian ภายในแต่ละ bin

  3. 03

    เลือก split ที่ gain สูงและเพิ่มต้นไม้

ควรรู้อีกนิด — การ bin สูญเสียรายละเอียดบางส่วนและพารามิเตอร์ใบต้องสัมพันธ์กับจำนวนตัวอย่าง

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("histogram-gradient-boosting-sample.csv", delimiter=",", skip_header=1)from sklearn.ensemble import HistGradientBoostingClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.pipeline import make_pipelinefrom sklearn.metrics import accuracy_scoreX = data[:, :2]y = data[:, 2].astype(int)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.25, random_state=42, stratify=y)model = make_pipeline(StandardScaler(), HistGradientBoostingClassifier(max_leaf_nodes=24, random_state=42))model.fit(X_train, y_train); pred = model.predict(X_test)print("Accuracy:", accuracy_score(y_test, pred))print("Predictions:", pred[:10])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

จำนวนใบช่วยแบ่ง histogram bins ละเอียดขึ้นแค่ไหน?

Histogram Gradient Boosting / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
คุมความซับซ้อนของต้นไม้แต่ละรอบ
ดูภาพอย่างไร

แถบคือ bins และต้นไม้แยกผลรวม gradient ของแต่ละ bin

เมื่อเพิ่มค่า

มีบริเวณทำนายมากขึ้น แต่ใบอาจมีข้อมูลน้อย

ลองเปรียบเทียบ

เปรียบเทียบความละเอียดของพื้นที่กับ validation score

Σ trees × learning rateensemble prediction แก้ residual ทีละรอบ4 weak learners ในภาพแนวคิด
Test accuracy63.3%
จำนวนใบ24
พารามิเตอร์ที่ลอง24

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง