ml/ library Learn by doing
ALGORITHM 06 · PYTHON / JAVASCRIPT

Hierarchical Agglomerative Clustering

รวมจุดที่ใกล้กันขึ้นเป็นกลุ่มใหญ่ทีละคู่

LEARNING LEVEL1
พื้นฐานควรรู้มาก่อน · ระยะห่างและ dendrogram
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Hierarchical Agglomerative Clustering เริ่มจากให้ทุกจุดเป็นกลุ่มของตัวเอง แล้วรวมกลุ่มที่ใกล้ที่สุดซ้ำ ๆ จนเหลือจำนวนกลุ่มที่ต้องการ ลำดับการรวมสามารถวาดเป็น dendrogram เพื่อดูโครงสร้างหลายระดับได้

ลองนึกภาพว่า — เหมือนเริ่มจากแต่ละคนยืนคนเดียว แล้วจับคนที่คล้ายกันเป็นคู่ ก่อนรวมคู่ที่คล้ายกันเป็นทีมใหญ่ขึ้นเรื่อย ๆ

ตัวอย่างการนำไปใช้ — จัดกลุ่มลูกค้า เอกสาร ยีน หรือสำรวจว่าข้อมูลมีโครงสร้างย่อยซ้อนกันอย่างไร

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Hierarchical Agglomerative Clustering เริ่มจากคำถามง่าย ๆ ว่า รวมจุดที่ใกล้กันขึ้นเป็นกลุ่มใหญ่ทีละคู่ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนเริ่มจากแต่ละคนยืนคนเดียว แล้วจับคนที่คล้ายกันเป็นคู่ ก่อนรวมคู่ที่คล้ายกันเป็นทีมใหญ่ขึ้นเรื่อย ๆ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Hierarchical Agglomerative Clustering เริ่มจากให้ทุกจุดเป็นกลุ่มของตัวเอง แล้วรวมกลุ่มที่ใกล้ที่สุดซ้ำ ๆ จนเหลือจำนวนกลุ่มที่ต้องการ ลำดับการรวมสามารถวาดเป็น dendrogram เพื่อดูโครงสร้างหลายระดับได้ พารามิเตอร์หลักใน Playground คือ จำนวนกลุ่ม เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ 150 จุด × 2 features · ไม่มี target y เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น จัดกลุ่มลูกค้า เอกสาร ยีน หรือสำรวจว่าข้อมูลมีโครงสร้างย่อยซ้อนกันอย่างไร ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: ตัดต้นไม้ที่ K=3 → ได้กลุ่ม 0, 1, 2 พร้อมจำข้อจำกัดสำคัญว่า ผลไวต่อสเกลและนิยาม linkage การคำนวณระยะคู่จำนวนมากใช้หน่วยความจำสูง และหมายเลขกลุ่มไม่มีลำดับเชิงความหมาย

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    X เป็นตาราง feature เชิงตัวเลข แต่ละแถวคือวัตถุหนึ่งชิ้น ควรปรับสเกลก่อนวัดระยะ ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ n_clusters เพื่อกำหนดจำนวนกลุ่มตอนตัดต้นไม้ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    เริ่มจากหนึ่งจุดต่อหนึ่งกลุ่ม จากนั้น รวมสองกลุ่มที่ใกล้ที่สุดตาม linkage Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ทำซ้ำและตัด dendrogram ที่จำนวนกลุ่มกำหนด ผลที่ได้คือ label กลุ่มต่อแถวและโครงสร้างลำดับการรวม ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ n_clusters ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ผลไวต่อสเกลและนิยาม linkage การคำนวณระยะคู่จำนวนมากใช้หน่วยความจำสูง และหมายเลขกลุ่มไม่มีลำดับเชิงความหมาย

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · features · no target y150 จุด × 2 features · ไม่มี target y
CALCULATEHierarchical Agglomerative Clustering
n_clusterslinkagemetric
RESULTcluster labels + centersตัดต้นไม้ที่ K=3 → ได้กลุ่ม 0, 1, 2
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

X เป็นตาราง feature เชิงตัวเลข แต่ละแถวคือวัตถุหนึ่งชิ้น ควรปรับสเกลก่อนวัดระยะ

150 จุด × 2 features · ไม่มี target y
PARAMETERS

พารามิเตอร์ที่ใช้

n_clusters
กำหนดจำนวนกลุ่มตอนตัดต้นไม้
linkage
กำหนดวิธีวัดระหว่างสองกลุ่ม
metric
กำหนดนิยามระยะห่าง
OUTPUT

ผลลัพธ์ที่ได้

label กลุ่มต่อแถวและโครงสร้างลำดับการรวม

ตัดต้นไม้ที่ K=3 → ได้กลุ่ม 0, 1, 2
CALCULATION

คำนวณทีละขั้น

  1. 01

    เริ่มจากหนึ่งจุดต่อหนึ่งกลุ่ม

  2. 02

    รวมสองกลุ่มที่ใกล้ที่สุดตาม linkage

  3. 03

    ทำซ้ำและตัด dendrogram ที่จำนวนกลุ่มกำหนด

ควรรู้อีกนิด — ผลไวต่อสเกลและนิยาม linkage การคำนวณระยะคู่จำนวนมากใช้หน่วยความจำสูง และหมายเลขกลุ่มไม่มีลำดับเชิงความหมาย

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("hierarchical-agglomerative-clustering-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] from sklearn.cluster import AgglomerativeClusteringfrom sklearn.metrics import silhouette_score # sample.csv ใช้หน่วยเดียวกันทั้งสองแกน; ข้อมูลจริงควรปรับสเกลใน pipelinemodel = AgglomerativeClustering(n_clusters=3, linkage="ward")labels = model.fit_predict(X)print("Labels:", labels)print("Groups:", np.unique(labels, return_counts=True))valid = labels >= 0if valid.sum() > 2 and 1 < len(np.unique(labels[valid])) < valid.sum():    print("Silhouette:", silhouette_score(X[valid], labels[valid])) 

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ จำนวนกลุ่ม แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample dataset / Unlabeled points● คำนวณใหม่เมื่อปรับค่า
ตัดลำดับการรวมเมื่อเหลือจำนวนกลุ่มนี้
กากบาทดำคือ centroid จาก mini batch123กากบาท = centroid · สี = กลุ่มที่เรียนรู้
ระยะ merge ล่าสุด9.825
Linkagesingle-link · MST
พารามิเตอร์ที่ลอง3

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง