ml/ library Learn by doing
ALGORITHM 98 · PYTHON / JAVASCRIPT

Factorization Machines

เรียน interaction ของ feature แบบ sparse ด้วยเวกเตอร์แฝง

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · Linear Regression, Truncated SVD และ pairwise interactions
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Factorization Machine เพิ่มผลคูณ feature ทุกคู่ให้ linear model แต่แทนน้ำหนัก interaction ด้วย dot product ของ latent vectors จึงเรียนคู่ที่พบไม่บ่อยได้อย่างมีประสิทธิภาพ

ลองนึกภาพว่า — เหมือนให้คุณลักษณะแต่ละตัวมีโปรไฟล์ลับ แล้ววัดว่าโปรไฟล์ของคู่ใดเข้ากัน

ตัวอย่างการนำไปใช้ — click-through rate ระบบแนะนำ และข้อมูล one-hot ที่ sparse มาก

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Factorization Machines เริ่มจากคำถามง่าย ๆ ว่า เรียน interaction ของ feature แบบ sparse ด้วยเวกเตอร์แฝง วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนให้คุณลักษณะแต่ละตัวมีโปรไฟล์ลับ แล้ววัดว่าโปรไฟล์ของคู่ใดเข้ากัน ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Factorization Machine เพิ่มผลคูณ feature ทุกคู่ให้ linear model แต่แทนน้ำหนัก interaction ด้วย dot product ของ latent vectors จึงเรียนคู่ที่พบไม่บ่อยได้อย่างมีประสิทธิภาพ พารามิเตอร์หลักใน Playground คือ จำนวน latent factors เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ sparse feature matrix ที่รวม user, item และ context · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น click-through rate ระบบแนะนำ และข้อมูล one-hot ที่ sparse มาก ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: ค่าทำนายพร้อม linear และ pairwise terms · Playground แสดงผลเมื่อปรับ จำนวน latent factors พร้อมจำข้อจำกัดสำคัญว่า pairwise form ไม่จับ interaction ลำดับสูงโดยตรง และ latent factors อธิบายเชิงความหมายได้จำกัด

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    sparse feature matrix ที่รวม user, item และ context ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ n_factors เพื่อกำหนดความจุของ interaction vectors และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    คำนวณ bias กับ linear weights จากนั้น รวม dot product ของ latent vectors สำหรับ feature pairs Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ปรับทุกพารามิเตอร์จาก prediction loss ผลที่ได้คือ ค่าทำนายพร้อม linear และ pairwise terms ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ n_factors ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า pairwise form ไม่จับ interaction ลำดับสูงโดยตรง และ latent factors อธิบายเชิงความหมายได้จำกัด

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetsparse feature matrix ที่รวม user, item และ context · ตัวอย่าง 60–150 แถว
CALCULATEFactorization Machines
n_factorsrandom_statevalidation
RESULTnumeric predictionค่าทำนายพร้อม linear และ pairwise terms · Playground แสดงผลเมื่อปรับ จำนวน latent factors
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

sparse feature matrix ที่รวม user, item และ context

sparse feature matrix ที่รวม user, item และ context · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

n_factors
กำหนดความจุของ interaction vectors
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

ค่าทำนายพร้อม linear และ pairwise terms

ค่าทำนายพร้อม linear และ pairwise terms · Playground แสดงผลเมื่อปรับ จำนวน latent factors
CALCULATION

คำนวณทีละขั้น

  1. 01

    คำนวณ bias กับ linear weights

  2. 02

    รวม dot product ของ latent vectors สำหรับ feature pairs

  3. 03

    ปรับทุกพารามิเตอร์จาก prediction loss

ควรรู้อีกนิด — pairwise form ไม่จับ interaction ลำดับสูงโดยตรง และ latent factors อธิบายเชิงความหมายได้จำกัด

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("factorization-machines-sample.csv", delimiter=",", skip_header=1)X, y = data[:, :2], data[:, 2]k=8; rng=np.random.default_rng(42)w=np.zeros(X.shape[1]); V=rng.normal(0,.1,(X.shape[1],k)); bias=y.mean()linear=X@winteractions=.5*np.sum((X@V)**2-(X**2)@(V**2),axis=1)prediction=bias+linear+interactionsprint("Predictions:", prediction[:10].round(3))print("RMSE before training:", np.sqrt(np.mean((y-prediction)**2)))

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

latent factors กี่มิติจึงเรียน interaction ของ sparse features ได้?

Factorization Machines / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดความจุของ interaction vectors
ดูภาพอย่างไร

คู่ feature ที่ active จะคำนวณ dot product ของ vectors แฝง

เมื่อเพิ่มค่า

interaction มีความจุมากขึ้นแต่ตีความยากและเสี่ยง overfit

ลองเปรียบเทียบ

สังเกตผลของคู่ user-item-context ที่ไม่เคยปรากฏตรง ๆ ในชุดฝึก

ผู้ใช้ × สินค้าrating ที่รู้และช่องที่ต้องเติมlatent factors
Interaction error0.338
Latent factors8
พารามิเตอร์ที่ลอง8

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง