ml/ library Learn by doing
ALGORITHM 59 · PYTHON / JAVASCRIPT

Partial Least Squares Regression

สร้างแกนย่อที่มองทั้งความแปรปรวนของ X และความสัมพันธ์กับ y

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · Linear Regression และ Principal Component Analysis
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — PLS Regression หา latent components จาก X ที่มี covariance กับ target สูง แล้วถดถอย y บนแกนเหล่านั้น จึงเหมาะเมื่อ feature มากและสัมพันธ์กันสูง

ลองนึกภาพว่า — เหมือนย่อรายงานหลายร้อยหน้าโดยเลือกประเด็นที่สัมพันธ์กับคำถามปลายทาง แทนการเลือกเฉพาะประเด็นที่พบมากที่สุด

ตัวอย่างการนำไปใช้ — spectroscopy chemometrics ข้อมูลยีน และ regression ที่มีคอลัมน์มากกว่าตัวอย่าง

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Partial Least Squares Regression เริ่มจากคำถามง่าย ๆ ว่า สร้างแกนย่อที่มองทั้งความแปรปรวนของ X และความสัมพันธ์กับ y วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนย่อรายงานหลายร้อยหน้าโดยเลือกประเด็นที่สัมพันธ์กับคำถามปลายทาง แทนการเลือกเฉพาะประเด็นที่พบมากที่สุด ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

PLS Regression หา latent components จาก X ที่มี covariance กับ target สูง แล้วถดถอย y บนแกนเหล่านั้น จึงเหมาะเมื่อ feature มากและสัมพันธ์กันสูง พารามิเตอร์หลักใน Playground คือ จำนวน latent components เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ 6 features ที่สร้างจาก x → latent components → y เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น spectroscopy chemometrics ข้อมูลยีน และ regression ที่มีคอลัมน์มากกว่าตัวอย่าง ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: component แรกเน้นทิศของ X ที่ช่วยอธิบาย y มากที่สุด พร้อมจำข้อจำกัดสำคัญว่า component มากเกินไปทำให้ overfit และ loadings อาจตีความยากเมื่อ feature ซ้ำซ้อนสูง

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    X หลาย feature และ y ต่อเนื่อง โดยควรปรับสเกลคอลัมน์ ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ n_components เพื่อกำหนดความจุของ latent space และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    หา weight ของ X ที่มี covariance กับ y สูง จากนั้น สร้าง score แล้วหักส่วนที่อธิบายได้ออก Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ถดถอย y จาก scores ของทุก component ผลที่ได้คือ ค่าทำนาย coefficients scores และ loadings ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ n_components ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า component มากเกินไปทำให้ overfit และ loadings อาจตีความยากเมื่อ feature ซ้ำซ้อนสูง

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · target6 features ที่สร้างจาก x → latent components → y
CALCULATEPartial Least Squares Regression
n_componentsscalemax_iter
RESULTnumeric predictioncomponent แรกเน้นทิศของ X ที่ช่วยอธิบาย y มากที่สุด
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

X หลาย feature และ y ต่อเนื่อง โดยควรปรับสเกลคอลัมน์

6 features ที่สร้างจาก x → latent components → y
PARAMETERS

พารามิเตอร์ที่ใช้

n_components
กำหนดความจุของ latent space
scale
ปรับ X และ y ให้มีหน่วยเทียบกัน
max_iter
จำกัดรอบของ power method
OUTPUT

ผลลัพธ์ที่ได้

ค่าทำนาย coefficients scores และ loadings

component แรกเน้นทิศของ X ที่ช่วยอธิบาย y มากที่สุด
CALCULATION

คำนวณทีละขั้น

  1. 01

    หา weight ของ X ที่มี covariance กับ y สูง

  2. 02

    สร้าง score แล้วหักส่วนที่อธิบายได้ออก

  3. 03

    ถดถอย y จาก scores ของทุก component

ควรรู้อีกนิด — component มากเกินไปทำให้ overfit และ loadings อาจตีความยากเมื่อ feature ซ้ำซ้อนสูง

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learnimport numpy as npdata = np.genfromtxt("partial-least-squares-regression-sample.csv", delimiter=",", skip_header=1)X, y = data[:, :6], data[:, 6]from sklearn.cross_decomposition import PLSRegressionfrom sklearn.model_selection import cross_val_score model = PLSRegression(n_components=2, scale=True)model.fit(X, y)print("Mean CV R²:", cross_val_score(model, X, y, cv=5).mean())print("X weights:\n", model.x_weights_)print("Predictions:", model.predict(X[:5]).ravel())

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ จำนวน latent components แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample dataset / Curved signal● คำนวณใหม่เมื่อปรับค่า
จำนวนแกนร่วมระหว่าง X และ y ที่เก็บไว้
ข้อมูลฝึกและผลการทำนายFeature xค่าจริง • / ค่าทำนาย —
RMSE0.099
Latent components2
พารามิเตอร์ที่ลอง2

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง