ml/ library Learn by doing
ALGORITHM 87 · PYTHON / JAVASCRIPT

Kernel Ridge Regression

ทำ Ridge ในพื้นที่ feature ที่ kernel นิยามไว้

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · Ridge Regression และ kernel methods
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Kernel Ridge รวม squared loss กับ L2 regularization และ kernel trick ได้คำตอบแบบปิดใน dual space จึงสร้างเส้นโค้งเรียบจาก similarity กับตัวอย่างฝึกทั้งหมด

ลองนึกภาพว่า — เหมือนให้ทุกจุดฝึกส่งแรงดึงผ่านกฎความคล้าย แล้วใช้สปริงคุมไม่ให้เส้นแกว่งเกินไป

ตัวอย่างการนำไปใช้ — พยากรณ์ฟังก์ชันเรียบและข้อมูลเคมีหรือวัสดุที่มี kernel เฉพาะ

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Kernel Ridge Regression เริ่มจากคำถามง่าย ๆ ว่า ทำ Ridge ในพื้นที่ feature ที่ kernel นิยามไว้ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนให้ทุกจุดฝึกส่งแรงดึงผ่านกฎความคล้าย แล้วใช้สปริงคุมไม่ให้เส้นแกว่งเกินไป ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Kernel Ridge รวม squared loss กับ L2 regularization และ kernel trick ได้คำตอบแบบปิดใน dual space จึงสร้างเส้นโค้งเรียบจาก similarity กับตัวอย่างฝึกทั้งหมด พารามิเตอร์หลักใน Playground คือ Regularization α เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ feature matrix หรือ precomputed kernel และ target ต่อเนื่อง · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น พยากรณ์ฟังก์ชันเรียบและข้อมูลเคมีหรือวัสดุที่มี kernel เฉพาะ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: dual coefficients และค่าทำนาย · Playground แสดงผลเมื่อปรับ Regularization α พร้อมจำข้อจำกัดสำคัญว่า kernel matrix ใช้หน่วยความจำกำลังสองและทำนายจากทุกตัวอย่างฝึก

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    feature matrix หรือ precomputed kernel และ target ต่อเนื่อง ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ alpha เพื่อคุมความเรียบและขนาดสัมประสิทธิ์ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    สร้าง kernel matrix ของข้อมูลฝึก จากนั้น บวก alpha ที่แนวทแยงเพื่อ regularize Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    แก้ระบบเชิงเส้นแล้วคูณ kernel ของข้อมูลใหม่ ผลที่ได้คือ dual coefficients และค่าทำนาย ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ alpha ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า kernel matrix ใช้หน่วยความจำกำลังสองและทำนายจากทุกตัวอย่างฝึก

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetfeature matrix หรือ precomputed kernel และ target ต่อเนื่อง · ตัวอย่าง 60–150 แถว
CALCULATEKernel Ridge Regression
alpharandom_statevalidation
RESULTnumeric predictiondual coefficients และค่าทำนาย · Playground แสดงผลเมื่อปรับ Regularization α
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

feature matrix หรือ precomputed kernel และ target ต่อเนื่อง

feature matrix หรือ precomputed kernel และ target ต่อเนื่อง · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

alpha
คุมความเรียบและขนาดสัมประสิทธิ์
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

dual coefficients และค่าทำนาย

dual coefficients และค่าทำนาย · Playground แสดงผลเมื่อปรับ Regularization α
CALCULATION

คำนวณทีละขั้น

  1. 01

    สร้าง kernel matrix ของข้อมูลฝึก

  2. 02

    บวก alpha ที่แนวทแยงเพื่อ regularize

  3. 03

    แก้ระบบเชิงเส้นแล้วคูณ kernel ของข้อมูลใหม่

ควรรู้อีกนิด — kernel matrix ใช้หน่วยความจำกำลังสองและทำนายจากทุกตัวอย่างฝึก

04Make it yours

Python · scikit-learn
# ติดตั้ง: pip install numpy scikit-learn# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("kernel-ridge-regression-sample.csv", delimiter=",", skip_header=1)from sklearn.kernel_ridge import KernelRidgefrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.pipeline import make_pipelinefrom sklearn.metrics import root_mean_squared_errorX = data[:, :2]y = data[:, 1]X = data[:, :1]X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.25, random_state=42)model = make_pipeline(StandardScaler(), KernelRidge(alpha=1, kernel="rbf", gamma=1))model.fit(X_train, y_train); pred = model.predict(X_test)print("RMSE:", root_mean_squared_error(y_test, pred))print("Predictions:", pred[:10])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

regularization เท่าใดทำให้เส้น kernel เรียบโดยยังตามสัญญาณ?

Kernel Ridge Regression / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
คุมความเรียบและขนาดสัมประสิทธิ์
ดูภาพอย่างไร

จุดฝึกทุกจุดมีอิทธิพลผ่าน kernel ส่วน alpha ดึงสัมประสิทธิ์ให้เล็ก

เมื่อเพิ่มค่า

เส้นเรียบขึ้นและอิทธิพลของจุดเดี่ยวลดลง

ลองเปรียบเทียบ

เปรียบเทียบความโค้งของเส้นกับ error ไม่ดู error อย่างเดียว

ขอบเขต kernel · วงแหวนคือ support vectors
Validation RMSE0.160
ค่า alpha1
พารามิเตอร์ที่ลอง1.00

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ scikit-learn จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง