01Overall Concept
ไอเดียหลัก — t-SNE เปลี่ยนความคล้ายในมิติสูงและต่ำเป็นความน่าจะเป็น แล้วลด KL divergence โดยเน้นรักษาเพื่อนบ้านเฉพาะที่ เหมาะกับการสำรวจภาพ 2 มิติ
ลองนึกภาพว่า — เหมือนจัดโต๊ะงานเลี้ยงให้คนที่สนิทกันได้นั่งใกล้กัน โดยไม่ได้รับประกันระยะระหว่างคนละกลุ่ม
ตัวอย่างการนำไปใช้ — สำรวจ embedding ของภาพ ข้อความ เซลล์ และ representation จากโมเดล
02อธิบายภาษาคนเข้าใจง่ายๆ
t-SNE เริ่มจากคำถามง่าย ๆ ว่า วางเพื่อนบ้านใกล้กันเพื่อสร้างภาพข้อมูลมิติสูง วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนจัดโต๊ะงานเลี้ยงให้คนที่สนิทกันได้นั่งใกล้กัน โดยไม่ได้รับประกันระยะระหว่างคนละกลุ่ม ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
t-SNE เปลี่ยนความคล้ายในมิติสูงและต่ำเป็นความน่าจะเป็น แล้วลด KL divergence โดยเน้นรักษาเพื่อนบ้านเฉพาะที่ เหมาะกับการสำรวจภาพ 2 มิติ พารามิเตอร์หลักใน Playground คือ Perplexity เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix ที่ปรับสเกลหรือย่อด้วย PCA แล้ว · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น สำรวจ embedding ของภาพ ข้อความ เซลล์ และ representation จากโมเดล ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: พิกัด 2 มิติสำหรับการแสดงผล · Playground แสดงผลเมื่อปรับ Perplexity พร้อมจำข้อจำกัดสำคัญว่า ระยะและขนาดระหว่างกลุ่มไม่ควรตีความตรง ๆ และผลเปลี่ยนได้ตาม seed กับ perplexity
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
feature matrix ที่ปรับสเกลหรือย่อด้วย PCA แล้ว ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ perplexity เพื่อกำหนดขนาดเพื่อนบ้านโดยประมาณ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
สร้างความน่าจะเป็นของเพื่อนบ้านในมิติสูง จากนั้น เริ่มพิกัดในมิติต่ำ Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
ลด KL divergence ด้วย gradient descent ผลที่ได้คือ พิกัด 2 มิติสำหรับการแสดงผล ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ perplexity ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ระยะและขนาดระหว่างกลุ่มไม่ควรตีความตรง ๆ และผลเปลี่ยนได้ตาม seed กับ perplexity
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
perplexityrandom_statevalidationข้อมูลที่รับเข้ามา
feature matrix ที่ปรับสเกลหรือย่อด้วย PCA แล้ว
feature matrix ที่ปรับสเกลหรือย่อด้วย PCA แล้ว · ตัวอย่าง 60–150 แถวพารามิเตอร์ที่ใช้
- perplexity
- กำหนดขนาดเพื่อนบ้านโดยประมาณ
- random_state
- ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
- validation
- เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
ผลลัพธ์ที่ได้
พิกัด 2 มิติสำหรับการแสดงผล
พิกัด 2 มิติสำหรับการแสดงผล · Playground แสดงผลเมื่อปรับ Perplexityคำนวณทีละขั้น
- 01
สร้างความน่าจะเป็นของเพื่อนบ้านในมิติสูง
- 02
เริ่มพิกัดในมิติต่ำ
- 03
ลด KL divergence ด้วย gradient descent
ควรรู้อีกนิด — ระยะและขนาดระหว่างกลุ่มไม่ควรตีความตรง ๆ และผลเปลี่ยนได้ตาม seed กับ perplexity
04Make it yours
# ติดตั้ง: pip install numpy scikit-learn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("tsne-sample.csv", delimiter=",", skip_header=1)from sklearn.preprocessing import StandardScalerfrom sklearn.manifold import TSNEX = StandardScaler().fit_transform(data[:, :2])model = TSNE(n_components=2, perplexity=30, init="pca", learning_rate="auto", random_state=42)embedding = model.fit_predict(X) if hasattr(model, "fit_predict") else model.fit_transform(X)print("Output shape:", np.asarray(embedding).shape)print(np.asarray(embedding)[:8])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ขนาดเพื่อนบ้านโดยประมาณเปลี่ยนภาพกลุ่มอย่างไร?
จุดที่อยู่ใกล้กันมี neighborhood probability สูง ไม่ควรตีความระยะระหว่างกลุ่มตรง ๆ
เน้นภาพกว้างขึ้นและลดการแยกกลุ่มย่อยเล็ก ๆ
ดูความสม่ำเสมอของเพื่อนบ้าน ไม่ใช้ขนาดช่องว่างระหว่างกลุ่มตัดสิน
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง