ml/ library Learn by doing
ALGORITHM 80 · PYTHON / JAVASCRIPT

Local Outlier Factor

เปรียบเทียบความหนาแน่นของจุดกับเพื่อนบ้านใกล้เคียง

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · kNN และ local density
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — LOF วัด local reachability density แล้วเทียบกับเพื่อนบ้าน จุดที่เบาบางกว่าบริเวณรอบตัวมากจะได้คะแนน outlier สูง จึงรับมือกลุ่มที่ความหนาแน่นต่างกันได้

ลองนึกภาพว่า — คนหนึ่งยืนห่างจากทุกคนในย่านที่คนอื่นยืนเบียดกัน แม้ย่านอีกฝั่งจะเบาบางตามปกติ

ตัวอย่างการนำไปใช้ — หาจุดผิดปกติในพฤติกรรมลูกค้า เครือข่าย และเซนเซอร์

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Local Outlier Factor เริ่มจากคำถามง่าย ๆ ว่า เปรียบเทียบความหนาแน่นของจุดกับเพื่อนบ้านใกล้เคียง วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

คนหนึ่งยืนห่างจากทุกคนในย่านที่คนอื่นยืนเบียดกัน แม้ย่านอีกฝั่งจะเบาบางตามปกติ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

LOF วัด local reachability density แล้วเทียบกับเพื่อนบ้าน จุดที่เบาบางกว่าบริเวณรอบตัวมากจะได้คะแนน outlier สูง จึงรับมือกลุ่มที่ความหนาแน่นต่างกันได้ พารามิเตอร์หลักใน Playground คือ จำนวนเพื่อนบ้าน เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix ที่ปรับสเกลและใช้ระยะได้ · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น หาจุดผิดปกติในพฤติกรรมลูกค้า เครือข่าย และเซนเซอร์ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: LOF score และ label inlier/outlier · Playground แสดงผลเมื่อปรับ จำนวนเพื่อนบ้าน พร้อมจำข้อจำกัดสำคัญว่า ไวต่อสเกลและจำนวนเพื่อนบ้าน โหมดตรวจข้อมูลใหม่ต้องตั้ง novelty ก่อน fit

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    feature matrix ที่ปรับสเกลและใช้ระยะได้ ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ n_neighbors เพื่อกำหนดขนาดบริเวณที่ใช้เทียบความหนาแน่น และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    หา k-distance และ reachability distance จากนั้น คำนวณ local reachability density Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    หารความหนาแน่นเพื่อนบ้านด้วยความหนาแน่นของจุด ผลที่ได้คือ LOF score และ label inlier/outlier ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ n_neighbors ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ไวต่อสเกลและจำนวนเพื่อนบ้าน โหมดตรวจข้อมูลใหม่ต้องตั้ง novelty ก่อน fit

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetfeature matrix ที่ปรับสเกลและใช้ระยะได้ · ตัวอย่าง 60–150 แถว
CALCULATELocal Outlier Factor
n_neighborsrandom_statevalidation
RESULT0.800.150.05class / probabilityLOF score และ label inlier/outlier · Playground แสดงผลเมื่อปรับ จำนวนเพื่อนบ้าน
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

feature matrix ที่ปรับสเกลและใช้ระยะได้

feature matrix ที่ปรับสเกลและใช้ระยะได้ · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

n_neighbors
กำหนดขนาดบริเวณที่ใช้เทียบความหนาแน่น
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

LOF score และ label inlier/outlier

LOF score และ label inlier/outlier · Playground แสดงผลเมื่อปรับ จำนวนเพื่อนบ้าน
CALCULATION

คำนวณทีละขั้น

  1. 01

    หา k-distance และ reachability distance

  2. 02

    คำนวณ local reachability density

  3. 03

    หารความหนาแน่นเพื่อนบ้านด้วยความหนาแน่นของจุด

ควรรู้อีกนิด — ไวต่อสเกลและจำนวนเพื่อนบ้าน โหมดตรวจข้อมูลใหม่ต้องตั้ง novelty ก่อน fit

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("local-outlier-factor-sample.csv", delimiter=",", skip_header=1)from sklearn.preprocessing import StandardScalerfrom sklearn.neighbors import LocalOutlierFactorX = StandardScaler().fit_transform(data[:, :2])model = LocalOutlierFactor(n_neighbors=20, contamination="auto")labels = model.fit_predict(X)print("Inliers / outliers:", np.unique(labels, return_counts=True))print("Scores:", model.negative_outlier_factor_[:8] if hasattr(model, "negative_outlier_factor_") else model.decision_function(X[:8]))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

เพื่อนบ้านกี่จุดสะท้อนความหนาแน่นเฉพาะที่ได้เหมาะสม?

Local Outlier Factor / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดขนาดบริเวณที่ใช้เทียบความหนาแน่น
ดูภาพอย่างไร

วงรอบจุดตัวอย่างคือ neighborhood ที่ใช้เทียบ local density

เมื่อเพิ่มค่า

เปรียบเทียบกับบริเวณกว้างขึ้น จึงมองข้ามกลุ่มเล็กได้

ลองเปรียบเทียบ

สังเกตจุดที่เบาบางกว่าบริเวณของตัวเอง ไม่ใช่แค่ไกลจากศูนย์กลาง

เขียว = inlier · แดง = จุดที่ threshold แจ้งเตือน
Inlier coverage66.7%
จำนวนเพื่อนบ้าน20
พารามิเตอร์ที่ลอง20

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง