ml/ library Learn by doing
ALGORITHM 58 · PYTHON / JAVASCRIPT

Random Subspace Method

ให้สมาชิกแต่ละตัวเห็น feature คนละชุดเพื่อสร้างความหลากหลาย

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · Bagging และ feature sampling
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Random Subspace Method ฝึก base estimators บนชุดย่อยของคอลัมน์ที่สุ่มต่างกัน แล้วรวมคำทำนาย ช่วยลดความสัมพันธ์ของความผิดพลาดระหว่างสมาชิก

ลองนึกภาพว่า — เหมือนให้คณะกรรมการแต่ละคนอ่านเอกสารคนละบท แล้วรวมมุมมองเพื่อไม่ให้ทุกคนยึดติดกับเบาะแสชุดเดียว

ตัวอย่างการนำไปใช้ — ข้อมูลมิติสูง เช่น ข้อความ ยีน หรือ feature ที่ซ้ำซ้อนกันมาก

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Random Subspace Method เริ่มจากคำถามง่าย ๆ ว่า ให้สมาชิกแต่ละตัวเห็น feature คนละชุดเพื่อสร้างความหลากหลาย วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนให้คณะกรรมการแต่ละคนอ่านเอกสารคนละบท แล้วรวมมุมมองเพื่อไม่ให้ทุกคนยึดติดกับเบาะแสชุดเดียว ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Random Subspace Method ฝึก base estimators บนชุดย่อยของคอลัมน์ที่สุ่มต่างกัน แล้วรวมคำทำนาย ช่วยลดความสัมพันธ์ของความผิดพลาดระหว่างสมาชิก พารามิเตอร์หลักใน Playground คือ สัดส่วน feature ต่อสมาชิก เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ สร้าง feature เพิ่มจาก x,y แล้วสุ่มบางคอลัมน์ต่อสมาชิก เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ข้อมูลมิติสูง เช่น ข้อความ ยีน หรือ feature ที่ซ้ำซ้อนกันมาก ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: subspace เล็กเพิ่ม diversity แต่แต่ละโมเดลเห็นข้อมูลน้อยลง พร้อมจำข้อจำกัดสำคัญว่า ถ้า feature สำคัญมีน้อย สมาชิกจำนวนมากอาจไม่เห็นสัญญาณ และ feature ที่ต่างสเกลยังต้อง preprocessing ให้เหมาะ

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    X มิติสูงและ label สำหรับฝึก base estimators หลายตัว ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ max_features เพื่อกำหนดขนาด random subspace และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    สุ่มชุด feature สำหรับสมาชิกแต่ละตัว จากนั้น ฝึก base estimator ภายใน subspace ของตน Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    รวม label หรือ probability จากสมาชิกทั้งหมด ผลที่ได้คือ คำทำนายรวมและชุด feature ของสมาชิก ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ max_features ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ถ้า feature สำคัญมีน้อย สมาชิกจำนวนมากอาจไม่เห็นสัญญาณ และ feature ที่ต่างสเกลยังต้อง preprocessing ให้เหมาะ

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetสร้าง feature เพิ่มจาก x,y แล้วสุ่มบางคอลัมน์ต่อสมาชิก
CALCULATERandom Subspace Method
max_featuresbootstrap_featuresn_estimators
RESULT0.800.150.05class / probabilitysubspace เล็กเพิ่ม diversity แต่แต่ละโมเดลเห็นข้อมูลน้อยลง
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

X มิติสูงและ label สำหรับฝึก base estimators หลายตัว

สร้าง feature เพิ่มจาก x,y แล้วสุ่มบางคอลัมน์ต่อสมาชิก
PARAMETERS

พารามิเตอร์ที่ใช้

max_features
กำหนดขนาด random subspace
bootstrap_features
สุ่ม feature แบบคืนตัวอย่างหรือไม่
n_estimators
กำหนดจำนวนสมาชิก
OUTPUT

ผลลัพธ์ที่ได้

คำทำนายรวมและชุด feature ของสมาชิก

subspace เล็กเพิ่ม diversity แต่แต่ละโมเดลเห็นข้อมูลน้อยลง
CALCULATION

คำนวณทีละขั้น

  1. 01

    สุ่มชุด feature สำหรับสมาชิกแต่ละตัว

  2. 02

    ฝึก base estimator ภายใน subspace ของตน

  3. 03

    รวม label หรือ probability จากสมาชิกทั้งหมด

ควรรู้อีกนิด — ถ้า feature สำคัญมีน้อย สมาชิกจำนวนมากอาจไม่เห็นสัญญาณ และ feature ที่ต่างสเกลยังต้อง preprocessing ให้เหมาะ

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("random-subspace-method-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] y = data[:, 2].astype(int)from sklearn.ensemble import AdaBoostClassifier, GradientBoostingClassifier, VotingClassifier, StackingClassifier, BaggingClassifierfrom sklearn.linear_model import LogisticRegressionfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.2, stratify=y, random_state=42)model = BaggingClassifier(estimator=DecisionTreeClassifier(max_depth=5, random_state=42), n_estimators=30, max_features=0.6, random_state=42)model.fit(X_train, y_train)pred = model.predict(X_test)print("Test accuracy:", accuracy_score(y_test, pred))print("Predictions:", pred[:10])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ สัดส่วน feature ต่อสมาชิก แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample dataset / Three classes● คำนวณใหม่เมื่อปรับค่า
สัดส่วนคอลัมน์ที่ base estimator แต่ละตัวเห็น
พื้นที่สีคือคำทำนาย จุดคือคำตอบจริงFeature x → · Feature y ↑ · ขอบเข้ม = ชุดทดสอบ
Test accuracy100.0%
สมาชิกจำลอง3 learners
พารามิเตอร์ที่ลอง0.6

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง