ml/ library Learn by doing
ALGORITHM 69 · PYTHON / JAVASCRIPT

Locally Linear Embedding

รักษาวิธีที่แต่ละจุดประกอบจากเพื่อนบ้านเมื่อย้ายลงสู่มิติต่ำ

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · k-Nearest Neighbors และ Principal Component Analysis
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Locally Linear Embedding หรือ LLE หาเพื่อนบ้านของแต่ละจุด คำนวณน้ำหนัก reconstruction ในพื้นที่เดิม แล้ววางจุดในมิติต่ำให้คงน้ำหนักเหล่านั้นไว้

ลองนึกภาพว่า — เหมือนคลี่ผ้าที่ยับบนโต๊ะ โดยพยายามรักษาว่าจุดเล็ก ๆ บนผืนผ้ายังอยู่ใกล้และจัดรูปกับเพื่อนเดิมอย่างไร

ตัวอย่างการนำไปใช้ — สำรวจ manifold ที่โค้งและวาดข้อมูลมิติสูงเป็นสองหรือสามมิติ

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Locally Linear Embedding เริ่มจากคำถามง่าย ๆ ว่า รักษาวิธีที่แต่ละจุดประกอบจากเพื่อนบ้านเมื่อย้ายลงสู่มิติต่ำ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนคลี่ผ้าที่ยับบนโต๊ะ โดยพยายามรักษาว่าจุดเล็ก ๆ บนผืนผ้ายังอยู่ใกล้และจัดรูปกับเพื่อนเดิมอย่างไร ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Locally Linear Embedding หรือ LLE หาเพื่อนบ้านของแต่ละจุด คำนวณน้ำหนัก reconstruction ในพื้นที่เดิม แล้ววางจุดในมิติต่ำให้คงน้ำหนักเหล่านั้นไว้ พารามิเตอร์หลักใน Playground คือ จำนวนเพื่อนบ้าน เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ 150 จุด 3 มิติแบบโค้ง → embedding 2 มิติ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น สำรวจ manifold ที่โค้งและวาดข้อมูลมิติสูงเป็นสองหรือสามมิติ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: จุดที่เป็นเพื่อนกันบน manifold ยังอยู่ใกล้กันหลังคลี่ พร้อมจำข้อจำกัดสำคัญว่า ไวต่อจำนวนเพื่อนบ้าน noise และข้อมูลที่ไม่ต่อเนื่อง อีกทั้ง transform จุดใหม่มีข้อจำกัดเมื่ออยู่นอก neighborhood เดิม

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    X มิติสูงที่ระยะห่างเฉพาะที่สะท้อนโครงสร้าง manifold ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ n_neighbors เพื่อกำหนดขนาด neighborhood และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    หาเพื่อนบ้านใกล้สุดของแต่ละจุด จากนั้น หา reconstruction weights ที่รวมกันเป็นหนึ่ง Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    แก้ eigenproblem เพื่อหา embedding ที่รักษาน้ำหนักเดิม ผลที่ได้คือ พิกัด embedding มิติต่ำและ reconstruction error ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ n_neighbors ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ไวต่อจำนวนเพื่อนบ้าน noise และข้อมูลที่ไม่ต่อเนื่อง อีกทั้ง transform จุดใหม่มีข้อจำกัดเมื่ออยู่นอก neighborhood เดิม

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · features · no target y150 จุด 3 มิติแบบโค้ง → embedding 2 มิติ
CALCULATELocally Linear Embedding
n_neighborsn_componentsmethod
RESULTcluster labels + centersจุดที่เป็นเพื่อนกันบน manifold ยังอยู่ใกล้กันหลังคลี่
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

X มิติสูงที่ระยะห่างเฉพาะที่สะท้อนโครงสร้าง manifold

150 จุด 3 มิติแบบโค้ง → embedding 2 มิติ
PARAMETERS

พารามิเตอร์ที่ใช้

n_neighbors
กำหนดขนาด neighborhood
n_components
กำหนดมิติปลายทาง
method
เลือก standard modified Hessian หรือ LTSA
OUTPUT

ผลลัพธ์ที่ได้

พิกัด embedding มิติต่ำและ reconstruction error

จุดที่เป็นเพื่อนกันบน manifold ยังอยู่ใกล้กันหลังคลี่
CALCULATION

คำนวณทีละขั้น

  1. 01

    หาเพื่อนบ้านใกล้สุดของแต่ละจุด

  2. 02

    หา reconstruction weights ที่รวมกันเป็นหนึ่ง

  3. 03

    แก้ eigenproblem เพื่อหา embedding ที่รักษาน้ำหนักเดิม

ควรรู้อีกนิด — ไวต่อจำนวนเพื่อนบ้าน noise และข้อมูลที่ไม่ต่อเนื่อง อีกทั้ง transform จุดใหม่มีข้อจำกัดเมื่ออยู่นอก neighborhood เดิม

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learnimport numpy as npdata = np.genfromtxt("locally-linear-embedding-sample.csv", delimiter=",", skip_header=1)from sklearn.manifold import LocallyLinearEmbeddingfrom sklearn.preprocessing import StandardScaler X = StandardScaler().fit_transform(data)model = LocallyLinearEmbedding(n_neighbors=10, n_components=2, method="standard")embedding = model.fit_transform(X)print("Embedding shape:", embedding.shape)print("Reconstruction error:", model.reconstruction_error_)print("First rows:\n", embedding[:5])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ จำนวนเพื่อนบ้าน แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Curved 3D sample / Two-dimensional embedding● คำนวณใหม่เมื่อปรับค่า
ขนาด neighborhood ที่ใช้ประมาณโครงสร้างเฉพาะที่
ข้อมูลฝึกและผลการทำนายFeature xค่าจริง • / ค่าทำนาย —
Reconstruction proxy0.100
Embedding shape150 × 2
พารามิเตอร์ที่ลอง10

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง