ml/ library Learn by doing
ALGORITHM 79 · PYTHON / JAVASCRIPT

Isolation Forest

แยกจุดผิดปกติด้วยการสุ่มตัดเพียงไม่กี่ครั้ง

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · Decision Tree และ Bagging
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Isolation Forest สุ่ม feature และจุดตัดสร้างต้นไม้หลายต้น จุดที่โดดเดี่ยวมักถูกแยกด้วย path สั้น จึงได้ anomaly score โดยไม่ต้องประมาณความหนาแน่น

ลองนึกภาพว่า — เหมือนเล่นเกมถามคำถามสุ่ม จุดที่แปลกมากจะถูกระบุตัวได้ด้วยคำถามไม่กี่ข้อ

ตัวอย่างการนำไปใช้ — ตรวจธุรกรรมผิดปกติ เซนเซอร์เสีย และข้อมูลคุณภาพต่ำ

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Isolation Forest เริ่มจากคำถามง่าย ๆ ว่า แยกจุดผิดปกติด้วยการสุ่มตัดเพียงไม่กี่ครั้ง วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนเล่นเกมถามคำถามสุ่ม จุดที่แปลกมากจะถูกระบุตัวได้ด้วยคำถามไม่กี่ข้อ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Isolation Forest สุ่ม feature และจุดตัดสร้างต้นไม้หลายต้น จุดที่โดดเดี่ยวมักถูกแยกด้วย path สั้น จึงได้ anomaly score โดยไม่ต้องประมาณความหนาแน่น พารามิเตอร์หลักใน Playground คือ สัดส่วนผิดปกติ เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix ที่มีตัวอย่างปกติเป็นส่วนใหญ่ · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น ตรวจธุรกรรมผิดปกติ เซนเซอร์เสีย และข้อมูลคุณภาพต่ำ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: anomaly score และ label inlier/outlier · Playground แสดงผลเมื่อปรับ สัดส่วนผิดปกติ พร้อมจำข้อจำกัดสำคัญว่า contamination กำหนดจำนวนที่ถูกแจ้งโดยตรง และ anomaly เชิงบริบทอาจไม่โดดเดี่ยวใน feature เดิม

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    feature matrix ที่มีตัวอย่างปกติเป็นส่วนใหญ่ ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ contamination เพื่อกำหนด threshold จากสัดส่วน anomaly ที่คาด และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    สุ่มตัวอย่างและ feature ให้แต่ละต้นไม้ จากนั้น สุ่ม threshold เพื่อแยกข้อมูลซ้ำ ๆ Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    เฉลี่ย path length แล้วแปลงเป็น anomaly score ผลที่ได้คือ anomaly score และ label inlier/outlier ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ contamination ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า contamination กำหนดจำนวนที่ถูกแจ้งโดยตรง และ anomaly เชิงบริบทอาจไม่โดดเดี่ยวใน feature เดิม

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetfeature matrix ที่มีตัวอย่างปกติเป็นส่วนใหญ่ · ตัวอย่าง 60–150 แถว
CALCULATEIsolation Forest
contaminationrandom_statevalidation
RESULT0.800.150.05class / probabilityanomaly score และ label inlier/outlier · Playground แสดงผลเมื่อปรับ สัดส่วนผิดปกติ
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

feature matrix ที่มีตัวอย่างปกติเป็นส่วนใหญ่

feature matrix ที่มีตัวอย่างปกติเป็นส่วนใหญ่ · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

contamination
กำหนด threshold จากสัดส่วน anomaly ที่คาด
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

anomaly score และ label inlier/outlier

anomaly score และ label inlier/outlier · Playground แสดงผลเมื่อปรับ สัดส่วนผิดปกติ
CALCULATION

คำนวณทีละขั้น

  1. 01

    สุ่มตัวอย่างและ feature ให้แต่ละต้นไม้

  2. 02

    สุ่ม threshold เพื่อแยกข้อมูลซ้ำ ๆ

  3. 03

    เฉลี่ย path length แล้วแปลงเป็น anomaly score

ควรรู้อีกนิด — contamination กำหนดจำนวนที่ถูกแจ้งโดยตรง และ anomaly เชิงบริบทอาจไม่โดดเดี่ยวใน feature เดิม

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("isolation-forest-sample.csv", delimiter=",", skip_header=1)from sklearn.preprocessing import StandardScalerfrom sklearn.ensemble import IsolationForestX = StandardScaler().fit_transform(data[:, :2])model = IsolationForest(contamination=0.08, random_state=42)labels = model.fit_predict(X)print("Inliers / outliers:", np.unique(labels, return_counts=True))print("Scores:", model.negative_outlier_factor_[:8] if hasattr(model, "negative_outlier_factor_") else model.decision_function(X[:8]))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

สัดส่วนที่คาดว่าผิดปกติเปลี่ยน threshold อย่างไร?

Isolation Forest / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนด threshold จากสัดส่วน anomaly ที่คาด
ดูภาพอย่างไร

จุดแดงถูกแยกด้วย path สั้นและอยู่นอกขอบเขตคะแนน

เมื่อเพิ่มค่า

threshold เข้มขึ้นและมีจุดถูกแจ้งเป็น outlier มากขึ้น

ลองเปรียบเทียบ

ดูทั้งจุดที่จับได้และจุดปกติที่ถูกแจ้งเกินจำเป็น

เขียว = inlier · แดง = จุดที่ threshold แจ้งเตือน
Inlier coverage73.3%
จำนวนต้นไม้0.08
พารามิเตอร์ที่ลอง0.08

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง