ml/ library Learn by doing
ALGORITHM 96 · PYTHON / JAVASCRIPT

Matrix Factorization Recommender

แยกตารางคะแนนเป็นรสนิยมผู้ใช้กับคุณลักษณะแฝงของสินค้า

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · Truncated SVD และ gradient descent
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Matrix factorization ประมาณ rating matrix ด้วยผลคูณของ user และ item latent vectors เรียนเฉพาะช่องที่สังเกตและ regularize เวกเตอร์เพื่อเติมคะแนนที่หายไป

ลองนึกภาพว่า — เหมือนอธิบายคนและหนังด้วยแกนแฝง เช่น ชอบความตลกหรือความจริงจัง แล้วจับคู่แกนเหล่านั้น

ตัวอย่างการนำไปใช้ — แนะนำหนัง เพลง สินค้า และจัดอันดับเนื้อหาส่วนบุคคล

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Matrix Factorization Recommender เริ่มจากคำถามง่าย ๆ ว่า แยกตารางคะแนนเป็นรสนิยมผู้ใช้กับคุณลักษณะแฝงของสินค้า วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนอธิบายคนและหนังด้วยแกนแฝง เช่น ชอบความตลกหรือความจริงจัง แล้วจับคู่แกนเหล่านั้น ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Matrix factorization ประมาณ rating matrix ด้วยผลคูณของ user และ item latent vectors เรียนเฉพาะช่องที่สังเกตและ regularize เวกเตอร์เพื่อเติมคะแนนที่หายไป พารามิเตอร์หลักใน Playground คือ จำนวน latent factors เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ รายการ user, item, rating สำหรับคู่ที่สังเกตแล้ว · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น แนะนำหนัง เพลง สินค้า และจัดอันดับเนื้อหาส่วนบุคคล ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: user/item factors และคะแนนประมาณ · Playground แสดงผลเมื่อปรับ จำนวน latent factors พร้อมจำข้อจำกัดสำคัญว่า ผู้ใช้หรือสินค้าใหม่ไม่มีประวัติและ feedback ที่สังเกตไม่ได้ถือว่า missing ไม่ใช่คะแนนศูนย์

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    รายการ user, item, rating สำหรับคู่ที่สังเกตแล้ว ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ n_factors เพื่อกำหนดจำนวนแกนรสนิยมแฝง และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    เริ่ม user และ item vectors ขนาดเล็ก จากนั้น คูณเวกเตอร์เพื่อทำนาย rating ที่สังเกต Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ใช้ gradient descent ลด error พร้อม regularization ผลที่ได้คือ user/item factors และคะแนนประมาณ ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ n_factors ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ผู้ใช้หรือสินค้าใหม่ไม่มีประวัติและ feedback ที่สังเกตไม่ได้ถือว่า missing ไม่ใช่คะแนนศูนย์

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetรายการ user, item, rating สำหรับคู่ที่สังเกตแล้ว · ตัวอย่าง 60–150 แถว
CALCULATEMatrix Factorization Recommender
n_factorsrandom_statevalidation
RESULTnumeric predictionuser/item factors และคะแนนประมาณ · Playground แสดงผลเมื่อปรับ จำนวน latent factors
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

รายการ user, item, rating สำหรับคู่ที่สังเกตแล้ว

รายการ user, item, rating สำหรับคู่ที่สังเกตแล้ว · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

n_factors
กำหนดจำนวนแกนรสนิยมแฝง
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

user/item factors และคะแนนประมาณ

user/item factors และคะแนนประมาณ · Playground แสดงผลเมื่อปรับ จำนวน latent factors
CALCULATION

คำนวณทีละขั้น

  1. 01

    เริ่ม user และ item vectors ขนาดเล็ก

  2. 02

    คูณเวกเตอร์เพื่อทำนาย rating ที่สังเกต

  3. 03

    ใช้ gradient descent ลด error พร้อม regularization

ควรรู้อีกนิด — ผู้ใช้หรือสินค้าใหม่ไม่มีประวัติและ feedback ที่สังเกตไม่ได้ถือว่า missing ไม่ใช่คะแนนศูนย์

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("matrix-factorization-recommender-sample.csv", delimiter=",", skip_header=1)rows = data.astype(int); n_users, n_items = rows[:,0].max()+1, rows[:,1].max()+1k=10; rng=np.random.default_rng(42)U=rng.normal(0,.1,(n_users,k)); V=rng.normal(0,.1,(n_items,k))for _ in range(200):    for u,i,r in rows:        e=r-U[u]@V[i]; old=U[u].copy()        U[u]+=.02*(e*V[i]-.02*U[u]); V[i]+=.02*(e*old-.02*V[i])print("Predicted rating matrix:\n", (U@V.T).round(2))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

จำนวน latent factors อธิบายรสนิยมได้ละเอียดแค่ไหน?

Matrix Factorization Recommender / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดจำนวนแกนรสนิยมแฝง
ดูภาพอย่างไร

ตารางคะแนนถูกแยกเป็นเวกเตอร์ผู้ใช้และสินค้าแล้วคูณกลับ

เมื่อเพิ่มค่า

จับแกนรสนิยมได้มากขึ้น แต่อาจจำ rating ที่มีน้อย

ลองเปรียบเทียบ

ดูช่องที่กันไว้ทดสอบ ไม่ใช่เฉพาะช่องที่ใช้ factorize

ผู้ใช้ × สินค้าrating ที่รู้และช่องที่ต้องเติมlatent factors
Held-out rating RMSE0.314
Latent factors10
พารามิเตอร์ที่ลอง10

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง