01Overall Concept
ไอเดียหลัก — Histogram Gradient Boosting bin feature ต่อเนื่องก่อนสร้างต้นไม้ ทำให้ประเมิน split เร็ว ใช้หน่วยความจำน้อย และรองรับ missing values ได้
ลองนึกภาพว่า — เหมือนจัดส่วนสูงเป็นช่วงก่อนหาจุดแบ่ง แทนลองตัดที่ส่วนสูงของทุกคน
ตัวอย่างการนำไปใช้ — จำแนกและ regression บนตารางขนาดกลางถึงใหญ่
02อธิบายภาษาคนเข้าใจง่ายๆ
Histogram Gradient Boosting เริ่มจากคำถามง่าย ๆ ว่า เร่ง boosting ด้วยการหาจุดแบ่งจากกล่องค่าจำนวนจำกัด วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนจัดส่วนสูงเป็นช่วงก่อนหาจุดแบ่ง แทนลองตัดที่ส่วนสูงของทุกคน ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Histogram Gradient Boosting bin feature ต่อเนื่องก่อนสร้างต้นไม้ ทำให้ประเมิน split เร็ว ใช้หน่วยความจำน้อย และรองรับ missing values ได้ พารามิเตอร์หลักใน Playground คือ จำนวนใบสูงสุด เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix ที่มีค่าต่อเนื่อง หมวดหมู่ หรือ missing values · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น จำแนกและ regression บนตารางขนาดกลางถึงใหญ่ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: ค่าทำนายและ ensemble ของ histogram trees · Playground แสดงผลเมื่อปรับ จำนวนใบสูงสุด พร้อมจำข้อจำกัดสำคัญว่า การ bin สูญเสียรายละเอียดบางส่วนและพารามิเตอร์ใบต้องสัมพันธ์กับจำนวนตัวอย่าง
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
feature matrix ที่มีค่าต่อเนื่อง หมวดหมู่ หรือ missing values ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ max_leaf_nodes เพื่อคุมความซับซ้อนของต้นไม้แต่ละรอบ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
bin ค่า feature จากนั้น รวม gradient และ Hessian ภายในแต่ละ bin Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
เลือก split ที่ gain สูงและเพิ่มต้นไม้ ผลที่ได้คือ ค่าทำนายและ ensemble ของ histogram trees ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ max_leaf_nodes ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า การ bin สูญเสียรายละเอียดบางส่วนและพารามิเตอร์ใบต้องสัมพันธ์กับจำนวนตัวอย่าง
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
max_leaf_nodesrandom_statevalidationข้อมูลที่รับเข้ามา
feature matrix ที่มีค่าต่อเนื่อง หมวดหมู่ หรือ missing values
feature matrix ที่มีค่าต่อเนื่อง หมวดหมู่ หรือ missing values · ตัวอย่าง 60–150 แถวพารามิเตอร์ที่ใช้
- max_leaf_nodes
- คุมความซับซ้อนของต้นไม้แต่ละรอบ
- random_state
- ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
- validation
- เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
ผลลัพธ์ที่ได้
ค่าทำนายและ ensemble ของ histogram trees
ค่าทำนายและ ensemble ของ histogram trees · Playground แสดงผลเมื่อปรับ จำนวนใบสูงสุดคำนวณทีละขั้น
- 01
bin ค่า feature
- 02
รวม gradient และ Hessian ภายในแต่ละ bin
- 03
เลือก split ที่ gain สูงและเพิ่มต้นไม้
ควรรู้อีกนิด — การ bin สูญเสียรายละเอียดบางส่วนและพารามิเตอร์ใบต้องสัมพันธ์กับจำนวนตัวอย่าง
04Make it yours
# ติดตั้ง: pip install numpy scikit-learn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("histogram-gradient-boosting-sample.csv", delimiter=",", skip_header=1)from sklearn.ensemble import HistGradientBoostingClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.pipeline import make_pipelinefrom sklearn.metrics import accuracy_scoreX = data[:, :2]y = data[:, 2].astype(int)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.25, random_state=42, stratify=y)model = make_pipeline(StandardScaler(), HistGradientBoostingClassifier(max_leaf_nodes=24, random_state=42))model.fit(X_train, y_train); pred = model.predict(X_test)print("Accuracy:", accuracy_score(y_test, pred))print("Predictions:", pred[:10])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
จำนวนใบช่วยแบ่ง histogram bins ละเอียดขึ้นแค่ไหน?
แถบคือ bins และต้นไม้แยกผลรวม gradient ของแต่ละ bin
มีบริเวณทำนายมากขึ้น แต่ใบอาจมีข้อมูลน้อย
เปรียบเทียบความละเอียดของพื้นที่กับ validation score
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง