01Overall Concept
ไอเดียหลัก — Factorization Machine เพิ่มผลคูณ feature ทุกคู่ให้ linear model แต่แทนน้ำหนัก interaction ด้วย dot product ของ latent vectors จึงเรียนคู่ที่พบไม่บ่อยได้อย่างมีประสิทธิภาพ
ลองนึกภาพว่า — เหมือนให้คุณลักษณะแต่ละตัวมีโปรไฟล์ลับ แล้ววัดว่าโปรไฟล์ของคู่ใดเข้ากัน
ตัวอย่างการนำไปใช้ — click-through rate ระบบแนะนำ และข้อมูล one-hot ที่ sparse มาก
02อธิบายภาษาคนเข้าใจง่ายๆ
Factorization Machines เริ่มจากคำถามง่าย ๆ ว่า เรียน interaction ของ feature แบบ sparse ด้วยเวกเตอร์แฝง วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนให้คุณลักษณะแต่ละตัวมีโปรไฟล์ลับ แล้ววัดว่าโปรไฟล์ของคู่ใดเข้ากัน ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Factorization Machine เพิ่มผลคูณ feature ทุกคู่ให้ linear model แต่แทนน้ำหนัก interaction ด้วย dot product ของ latent vectors จึงเรียนคู่ที่พบไม่บ่อยได้อย่างมีประสิทธิภาพ พารามิเตอร์หลักใน Playground คือ จำนวน latent factors เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ sparse feature matrix ที่รวม user, item และ context · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น click-through rate ระบบแนะนำ และข้อมูล one-hot ที่ sparse มาก ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: ค่าทำนายพร้อม linear และ pairwise terms · Playground แสดงผลเมื่อปรับ จำนวน latent factors พร้อมจำข้อจำกัดสำคัญว่า pairwise form ไม่จับ interaction ลำดับสูงโดยตรง และ latent factors อธิบายเชิงความหมายได้จำกัด
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
sparse feature matrix ที่รวม user, item และ context ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ n_factors เพื่อกำหนดความจุของ interaction vectors และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
คำนวณ bias กับ linear weights จากนั้น รวม dot product ของ latent vectors สำหรับ feature pairs Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
ปรับทุกพารามิเตอร์จาก prediction loss ผลที่ได้คือ ค่าทำนายพร้อม linear และ pairwise terms ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ n_factors ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า pairwise form ไม่จับ interaction ลำดับสูงโดยตรง และ latent factors อธิบายเชิงความหมายได้จำกัด
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
n_factorsrandom_statevalidationข้อมูลที่รับเข้ามา
sparse feature matrix ที่รวม user, item และ context
sparse feature matrix ที่รวม user, item และ context · ตัวอย่าง 60–150 แถวพารามิเตอร์ที่ใช้
- n_factors
- กำหนดความจุของ interaction vectors
- random_state
- ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
- validation
- เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
ผลลัพธ์ที่ได้
ค่าทำนายพร้อม linear และ pairwise terms
ค่าทำนายพร้อม linear และ pairwise terms · Playground แสดงผลเมื่อปรับ จำนวน latent factorsคำนวณทีละขั้น
- 01
คำนวณ bias กับ linear weights
- 02
รวม dot product ของ latent vectors สำหรับ feature pairs
- 03
ปรับทุกพารามิเตอร์จาก prediction loss
ควรรู้อีกนิด — pairwise form ไม่จับ interaction ลำดับสูงโดยตรง และ latent factors อธิบายเชิงความหมายได้จำกัด
04Make it yours
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("factorization-machines-sample.csv", delimiter=",", skip_header=1)X, y = data[:, :2], data[:, 2]k=8; rng=np.random.default_rng(42)w=np.zeros(X.shape[1]); V=rng.normal(0,.1,(X.shape[1],k)); bias=y.mean()linear=X@winteractions=.5*np.sum((X@V)**2-(X**2)@(V**2),axis=1)prediction=bias+linear+interactionsprint("Predictions:", prediction[:10].round(3))print("RMSE before training:", np.sqrt(np.mean((y-prediction)**2)))โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
latent factors กี่มิติจึงเรียน interaction ของ sparse features ได้?
คู่ feature ที่ active จะคำนวณ dot product ของ vectors แฝง
interaction มีความจุมากขึ้นแต่ตีความยากและเสี่ยง overfit
สังเกตผลของคู่ user-item-context ที่ไม่เคยปรากฏตรง ๆ ในชุดฝึก
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง