01Overall Concept
ไอเดียหลัก — Random Subspace Method ฝึก base estimators บนชุดย่อยของคอลัมน์ที่สุ่มต่างกัน แล้วรวมคำทำนาย ช่วยลดความสัมพันธ์ของความผิดพลาดระหว่างสมาชิก
ลองนึกภาพว่า — เหมือนให้คณะกรรมการแต่ละคนอ่านเอกสารคนละบท แล้วรวมมุมมองเพื่อไม่ให้ทุกคนยึดติดกับเบาะแสชุดเดียว
ตัวอย่างการนำไปใช้ — ข้อมูลมิติสูง เช่น ข้อความ ยีน หรือ feature ที่ซ้ำซ้อนกันมาก
02อธิบายภาษาคนเข้าใจง่ายๆ
Random Subspace Method เริ่มจากคำถามง่าย ๆ ว่า ให้สมาชิกแต่ละตัวเห็น feature คนละชุดเพื่อสร้างความหลากหลาย วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนให้คณะกรรมการแต่ละคนอ่านเอกสารคนละบท แล้วรวมมุมมองเพื่อไม่ให้ทุกคนยึดติดกับเบาะแสชุดเดียว ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Random Subspace Method ฝึก base estimators บนชุดย่อยของคอลัมน์ที่สุ่มต่างกัน แล้วรวมคำทำนาย ช่วยลดความสัมพันธ์ของความผิดพลาดระหว่างสมาชิก พารามิเตอร์หลักใน Playground คือ สัดส่วน feature ต่อสมาชิก เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ สร้าง feature เพิ่มจาก x,y แล้วสุ่มบางคอลัมน์ต่อสมาชิก เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น ข้อมูลมิติสูง เช่น ข้อความ ยีน หรือ feature ที่ซ้ำซ้อนกันมาก ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: subspace เล็กเพิ่ม diversity แต่แต่ละโมเดลเห็นข้อมูลน้อยลง พร้อมจำข้อจำกัดสำคัญว่า ถ้า feature สำคัญมีน้อย สมาชิกจำนวนมากอาจไม่เห็นสัญญาณ และ feature ที่ต่างสเกลยังต้อง preprocessing ให้เหมาะ
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
X มิติสูงและ label สำหรับฝึก base estimators หลายตัว ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ max_features เพื่อกำหนดขนาด random subspace และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
สุ่มชุด feature สำหรับสมาชิกแต่ละตัว จากนั้น ฝึก base estimator ภายใน subspace ของตน Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
รวม label หรือ probability จากสมาชิกทั้งหมด ผลที่ได้คือ คำทำนายรวมและชุด feature ของสมาชิก ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ max_features ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ถ้า feature สำคัญมีน้อย สมาชิกจำนวนมากอาจไม่เห็นสัญญาณ และ feature ที่ต่างสเกลยังต้อง preprocessing ให้เหมาะ
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
max_featuresbootstrap_featuresn_estimatorsข้อมูลที่รับเข้ามา
X มิติสูงและ label สำหรับฝึก base estimators หลายตัว
สร้าง feature เพิ่มจาก x,y แล้วสุ่มบางคอลัมน์ต่อสมาชิกพารามิเตอร์ที่ใช้
- max_features
- กำหนดขนาด random subspace
- bootstrap_features
- สุ่ม feature แบบคืนตัวอย่างหรือไม่
- n_estimators
- กำหนดจำนวนสมาชิก
ผลลัพธ์ที่ได้
คำทำนายรวมและชุด feature ของสมาชิก
subspace เล็กเพิ่ม diversity แต่แต่ละโมเดลเห็นข้อมูลน้อยลงคำนวณทีละขั้น
- 01
สุ่มชุด feature สำหรับสมาชิกแต่ละตัว
- 02
ฝึก base estimator ภายใน subspace ของตน
- 03
รวม label หรือ probability จากสมาชิกทั้งหมด
ควรรู้อีกนิด — ถ้า feature สำคัญมีน้อย สมาชิกจำนวนมากอาจไม่เห็นสัญญาณ และ feature ที่ต่างสเกลยังต้อง preprocessing ให้เหมาะ
04Make it yours
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("random-subspace-method-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] y = data[:, 2].astype(int)from sklearn.ensemble import AdaBoostClassifier, GradientBoostingClassifier, VotingClassifier, StackingClassifier, BaggingClassifierfrom sklearn.linear_model import LogisticRegressionfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.2, stratify=y, random_state=42)model = BaggingClassifier(estimator=DecisionTreeClassifier(max_depth=5, random_state=42), n_estimators=30, max_features=0.6, random_state=42)model.fit(X_train, y_train)pred = model.predict(X_test)print("Test accuracy:", accuracy_score(y_test, pred))print("Predictions:", pred[:10])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ปรับ สัดส่วน feature ต่อสมาชิก แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง