01Overall Concept
ไอเดียหลัก — Truncated SVD เก็บ singular vectors ที่สำคัญเพียงจำนวนหนึ่ง ใช้กับ sparse matrix ได้โดยตรงและเป็นพื้นฐานของ Latent Semantic Analysis สำหรับข้อความ
ลองนึกภาพว่า — เหมือนย่อหนังสือจำนวนมากเป็นแกนหัวข้อไม่กี่แกน โดยไม่ต้องกางตารางคำขนาดใหญ่ทั้งหมดเป็น dense matrix
ตัวอย่างการนำไปใช้ — ลดมิติ TF-IDF ข้อมูล sparse และสร้าง latent semantic features
02อธิบายภาษาคนเข้าใจง่ายๆ
Truncated Singular Value Decomposition เริ่มจากคำถามง่าย ๆ ว่า ย่อตาราง sparse โดยไม่ต้องลบค่าเฉลี่ยก่อน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนย่อหนังสือจำนวนมากเป็นแกนหัวข้อไม่กี่แกน โดยไม่ต้องกางตารางคำขนาดใหญ่ทั้งหมดเป็น dense matrix ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Truncated SVD เก็บ singular vectors ที่สำคัญเพียงจำนวนหนึ่ง ใช้กับ sparse matrix ได้โดยตรงและเป็นพื้นฐานของ Latent Semantic Analysis สำหรับข้อความ พารามิเตอร์หลักใน Playground คือ จำนวน singular components เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ TF-IDF: เอกสาร × คำ → 2 latent axes เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น ลดมิติ TF-IDF ข้อมูล sparse และสร้าง latent semantic features ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: 50,000 คำ → 100 semantic components พร้อมจำข้อจำกัดสำคัญว่า ไม่ได้ center ข้อมูลจึงไม่เหมือน PCA เต็มรูป เครื่องหมาย component กลับด้านได้ และแกน latent อาจตีความยาก
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
X เป็น matrix ตัวเลข โดยเฉพาะ sparse document-term matrix ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ n_components เพื่อrank ที่ประมาณ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
ประมาณ singular vectors ค่าสูงสุด จากนั้น เก็บ components ตาม rank ที่เลือก Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
ฉาย X ไปยัง latent space ผลที่ได้คือ คะแนน latent component และ explained variance ratio ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ n_components ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ไม่ได้ center ข้อมูลจึงไม่เหมือน PCA เต็มรูป เครื่องหมาย component กลับด้านได้ และแกน latent อาจตีความยาก
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
n_componentsalgorithmn_iterข้อมูลที่รับเข้ามา
X เป็น matrix ตัวเลข โดยเฉพาะ sparse document-term matrix
TF-IDF: เอกสาร × คำ → 2 latent axesพารามิเตอร์ที่ใช้
- n_components
- rank ที่ประมาณ
- algorithm
- randomized หรือ arpack
- n_iter
- จำนวนรอบ power iteration สำหรับ randomized SVD
ผลลัพธ์ที่ได้
คะแนน latent component และ explained variance ratio
50,000 คำ → 100 semantic componentsคำนวณทีละขั้น
- 01
ประมาณ singular vectors ค่าสูงสุด
- 02
เก็บ components ตาม rank ที่เลือก
- 03
ฉาย X ไปยัง latent space
ควรรู้อีกนิด — ไม่ได้ center ข้อมูลจึงไม่เหมือน PCA เต็มรูป เครื่องหมาย component กลับด้านได้ และแกน latent อาจตีความยาก
04Make it yours
# ติดตั้ง: pip install numpy scikit-learnimport numpy as np data = np.genfromtxt("truncated-svd-sample.csv", delimiter=",", skip_header=1)X = data[:, :2] from sklearn.decomposition import TruncatedSVDfrom sklearn.preprocessing import StandardScaler X_scaled = StandardScaler().fit_transform(X)X_nonnegative = X - X.min(axis=0)model = TruncatedSVD(n_components=2, random_state=42)Z = model.fit_transform(X_scaled)print("Output shape:", Z.shape)print("First rows:\n", Z[:5])if hasattr(model, "explained_variance_ratio_"): print("Explained variance:", model.explained_variance_ratio_)if hasattr(model, "components_"): print("Components:\n", model.components_)โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
ปรับ จำนวน singular components แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง