ml/ library Learn by doing
ALGORITHM 34 · PYTHON / JAVASCRIPT

Mean Shift

เลื่อนจุดตัวแทนขึ้นเนินความหนาแน่นจนถึงยอด

LEARNING LEVEL2
ต่อยอดโดยตรงควรรู้มาก่อน · K-Means และ density estimation
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Mean Shift วางหน้าต่างรอบตำแหน่งแล้วเลื่อนไปยังค่าเฉลี่ยของจุดในหน้าต่างซ้ำ ๆ ตำแหน่งที่ลู่เข้าสู่ยอดเดียวกันจะอยู่กลุ่มเดียวกัน

ลองนึกภาพว่า — เหมือนปล่อยลูกบอลให้ไหลขึ้นตามแผนที่ความหนาแน่นไปหยุดบนยอดเขาที่ใกล้ที่สุด

ตัวอย่างการนำไปใช้ — หากลุ่มโดยไม่กำหนด K ล่วงหน้า ติดตามวัตถุ และหา modes ของข้อมูล

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Mean Shift เริ่มจากคำถามง่าย ๆ ว่า เลื่อนจุดตัวแทนขึ้นเนินความหนาแน่นจนถึงยอด วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนปล่อยลูกบอลให้ไหลขึ้นตามแผนที่ความหนาแน่นไปหยุดบนยอดเขาที่ใกล้ที่สุด ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Mean Shift วางหน้าต่างรอบตำแหน่งแล้วเลื่อนไปยังค่าเฉลี่ยของจุดในหน้าต่างซ้ำ ๆ ตำแหน่งที่ลู่เข้าสู่ยอดเดียวกันจะอยู่กลุ่มเดียวกัน พารามิเตอร์หลักใน Playground คือ bandwidth เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ พิกัด 2 มิติ · bandwidth=14 เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น หากลุ่มโดยไม่กำหนด K ล่วงหน้า ติดตามวัตถุ และหา modes ของข้อมูล ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: bandwidth กว้างขึ้น → modes น้อยลง พร้อมจำข้อจำกัดสำคัญว่า ผลไวต่อ bandwidth และสเกล การคำนวณอาจช้าเมื่อข้อมูลใหญ่ และกลุ่มที่ความหนาแน่นต่างกันมากใช้ bandwidth เดียวลำบาก

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    X เป็น feature ต่อเนื่องที่ปรับสเกล ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ bandwidth เพื่อรัศมี kernel ที่กำหนดความเรียบของ density และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    เริ่ม seed หลายตำแหน่ง จากนั้น เลื่อน seed ไปค่าเฉลี่ยของจุดใน bandwidth Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    รวม seed ที่ลู่เข้าตำแหน่งใกล้กัน ผลที่ได้คือ จำนวนกลุ่มที่ค้นพบ centroid และ labels ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ bandwidth ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ผลไวต่อ bandwidth และสเกล การคำนวณอาจช้าเมื่อข้อมูลใหญ่ และกลุ่มที่ความหนาแน่นต่างกันมากใช้ bandwidth เดียวลำบาก

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · features · no target yพิกัด 2 มิติ · bandwidth=14
CALCULATEMean Shift
bandwidthbin_seedingmin_bin_freq
RESULTcluster labels + centersbandwidth กว้างขึ้น → modes น้อยลง
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

X เป็น feature ต่อเนื่องที่ปรับสเกล

พิกัด 2 มิติ · bandwidth=14
PARAMETERS

พารามิเตอร์ที่ใช้

bandwidth
รัศมี kernel ที่กำหนดความเรียบของ density
bin_seeding
ลดจำนวน seed เพื่อฝึกเร็วขึ้น
min_bin_freq
จำนวนจุดขั้นต่ำของ bin ที่ใช้เป็น seed
OUTPUT

ผลลัพธ์ที่ได้

จำนวนกลุ่มที่ค้นพบ centroid และ labels

bandwidth กว้างขึ้น → modes น้อยลง
CALCULATION

คำนวณทีละขั้น

  1. 01

    เริ่ม seed หลายตำแหน่ง

  2. 02

    เลื่อน seed ไปค่าเฉลี่ยของจุดใน bandwidth

  3. 03

    รวม seed ที่ลู่เข้าตำแหน่งใกล้กัน

ควรรู้อีกนิด — ผลไวต่อ bandwidth และสเกล การคำนวณอาจช้าเมื่อข้อมูลใหญ่ และกลุ่มที่ความหนาแน่นต่างกันมากใช้ bandwidth เดียวลำบาก

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("mean-shift-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] from sklearn.cluster import MeanShiftfrom sklearn.metrics import silhouette_score # sample.csv ใช้หน่วยเดียวกันทั้งสองแกน; ข้อมูลจริงควรปรับสเกลใน pipelinemodel = MeanShift(bandwidth=14, bin_seeding=True)labels = model.fit_predict(X)print("Labels:", labels)print("Groups:", np.unique(labels, return_counts=True))valid = labels >= 0if valid.sum() > 2 and 1 < len(np.unique(labels[valid])) < valid.sum():    print("Silhouette:", silhouette_score(X[valid], labels[valid])) 

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ bandwidth แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample dataset / Unlabeled points● คำนวณใหม่เมื่อปรับค่า
หน้าต่างกว้างรวมยอดใกล้กันเป็นกลุ่มใหญ่ขึ้น
กากบาทดำคือ centroid จาก mini batch12345678910กากบาท = centroid · สี = กลุ่มที่เรียนรู้
จำนวน modes10
Bandwidth14
พารามิเตอร์ที่ลอง14

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง