ml/ library Learn by doing
ALGORITHM 97 · PYTHON / JAVASCRIPT

Neighborhood Collaborative Filtering

แนะนำจากผู้ใช้หรือสินค้าที่มีรูปแบบคะแนนคล้ายกัน

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · kNN และ similarity
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Neighborhood CF คำนวณ similarity ระหว่างผู้ใช้หรือสินค้า เลือกเพื่อนบ้านที่มี overlap แล้วเฉลี่ยคะแนนแบบถ่วงน้ำหนักเพื่อทำนายคู่ที่ยังไม่เคยเห็น

ลองนึกภาพว่า — เหมือนถามคนที่ชอบหนังคล้ายเรา แล้วให้น้ำหนักคำแนะนำจากคนที่รสนิยมตรงที่สุด

ตัวอย่างการนำไปใช้ — แนะนำสินค้า เพลง ข่าว และสร้าง baseline ที่อธิบายได้

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Neighborhood Collaborative Filtering เริ่มจากคำถามง่าย ๆ ว่า แนะนำจากผู้ใช้หรือสินค้าที่มีรูปแบบคะแนนคล้ายกัน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนถามคนที่ชอบหนังคล้ายเรา แล้วให้น้ำหนักคำแนะนำจากคนที่รสนิยมตรงที่สุด ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Neighborhood CF คำนวณ similarity ระหว่างผู้ใช้หรือสินค้า เลือกเพื่อนบ้านที่มี overlap แล้วเฉลี่ยคะแนนแบบถ่วงน้ำหนักเพื่อทำนายคู่ที่ยังไม่เคยเห็น พารามิเตอร์หลักใน Playground คือ จำนวนเพื่อนบ้าน เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ sparse user-item ratings พร้อมตัวระบุผู้ใช้และสินค้า · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น แนะนำสินค้า เพลง ข่าว และสร้าง baseline ที่อธิบายได้ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: คะแนนทำนายและรายชื่อเพื่อนบ้าน · Playground แสดงผลเมื่อปรับ จำนวนเพื่อนบ้าน พร้อมจำข้อจำกัดสำคัญว่า similarity ไม่น่าเชื่อถือเมื่อมีคะแนนซ้อนกันน้อย และการค้นหาเพื่อนบ้านแพงเมื่อผู้ใช้หรือสินค้ามาก

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    sparse user-item ratings พร้อมตัวระบุผู้ใช้และสินค้า ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ k เพื่อจำนวนผู้ใช้หรือสินค้าที่นำมารวมคะแนน และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    center คะแนนเพื่อลดความต่างของสเกลผู้ใช้ จากนั้น คำนวณ cosine หรือ Pearson บนช่องที่ซ้อนกัน Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    เฉลี่ย residual ของเพื่อนบ้านแบบถ่วง similarity ผลที่ได้คือ คะแนนทำนายและรายชื่อเพื่อนบ้าน ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ k ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า similarity ไม่น่าเชื่อถือเมื่อมีคะแนนซ้อนกันน้อย และการค้นหาเพื่อนบ้านแพงเมื่อผู้ใช้หรือสินค้ามาก

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetsparse user-item ratings พร้อมตัวระบุผู้ใช้และสินค้า · ตัวอย่าง 60–150 แถว
CALCULATENeighborhood Collaborative Filtering
krandom_statevalidation
RESULTnumeric predictionคะแนนทำนายและรายชื่อเพื่อนบ้าน · Playground แสดงผลเมื่อปรับ จำนวนเพื่อนบ้าน
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

sparse user-item ratings พร้อมตัวระบุผู้ใช้และสินค้า

sparse user-item ratings พร้อมตัวระบุผู้ใช้และสินค้า · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

k
จำนวนผู้ใช้หรือสินค้าที่นำมารวมคะแนน
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

คะแนนทำนายและรายชื่อเพื่อนบ้าน

คะแนนทำนายและรายชื่อเพื่อนบ้าน · Playground แสดงผลเมื่อปรับ จำนวนเพื่อนบ้าน
CALCULATION

คำนวณทีละขั้น

  1. 01

    center คะแนนเพื่อลดความต่างของสเกลผู้ใช้

  2. 02

    คำนวณ cosine หรือ Pearson บนช่องที่ซ้อนกัน

  3. 03

    เฉลี่ย residual ของเพื่อนบ้านแบบถ่วง similarity

ควรรู้อีกนิด — similarity ไม่น่าเชื่อถือเมื่อมีคะแนนซ้อนกันน้อย และการค้นหาเพื่อนบ้านแพงเมื่อผู้ใช้หรือสินค้ามาก

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("neighborhood-collaborative-filtering-sample.csv", delimiter=",", skip_header=1)rows=data.astype(int); n_users, n_items=rows[:,0].max()+1, rows[:,1].max()+1R=np.full((n_users,n_items), np.nan)for u,i,r in rows: R[u,i]=rfilled=np.where(np.isnan(R), np.nanmean(R,axis=1,keepdims=True), R)centered=filled-filled.mean(1,keepdims=True)similarity=centered@centered.T/(np.linalg.norm(centered,axis=1)[:,None]*np.linalg.norm(centered,axis=1)[None,:]+1e-9)neighbors=np.argsort(-similarity[0])[1:1+12]print("Neighbors for user 0:", neighbors)print("Weighted scores:", similarity[0,neighbors]@filled[neighbors]/(np.abs(similarity[0,neighbors]).sum()+1e-9))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ควรฟังเพื่อนบ้านกี่คนก่อนรสนิยมเฉพาะตัวถูกกลบ?

Neighborhood Collaborative Filtering / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
จำนวนผู้ใช้หรือสินค้าที่นำมารวมคะแนน
ดูภาพอย่างไร

เส้นเชื่อมหนาคือผู้ใช้ที่ similarity สูงและมีคะแนนซ้อนกัน

เมื่อเพิ่มค่า

เฉลี่ยจากคนกว้างขึ้น คำตอบนิ่งแต่เป็นส่วนตัวน้อยลง

ลองเปรียบเทียบ

ดูทั้ง similarity และจำนวนคะแนนที่ซ้อนกันของเพื่อนบ้าน

ผู้ใช้ × สินค้าrating ที่รู้และช่องที่ต้องเติมเพื่อนบ้านถ่วงน้ำหนัก
Held-out rating RMSE0.180
จำนวนเพื่อนบ้าน12
พารามิเตอร์ที่ลอง12

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง