A little theory.
A lot of possibility.
เข้าใจไอเดีย ลองปรับโค้ด แล้วนำไปใช้จริง
คลัง Machine Learning ที่เริ่มจากความเข้าใจ ไม่ใช่แค่ copy & paste
เริ่มจากพื้นฐาน
แล้วต่อยอดตาม prerequisite
Linear Regression
ลากเส้นตรงให้ใกล้ข้อมูลมากที่สุด
โมเดลพื้นฐานสำหรับทำนายค่าตัวเลขและอธิบายว่าตัวแปรแต่ละตัวสัมพันธ์กับผลลัพธ์อย่างไร
ควรรู้มาก่อน สมการเส้นตรง ค่าเฉลี่ย และ error
k-Nearest Neighbors
ถามเพื่อนบ้านที่อยู่ใกล้ที่สุด
ไม่สร้างสมการล่วงหน้า แต่เก็บข้อมูลฝึกไว้และทำนายจากตัวอย่างใกล้เคียง
ควรรู้มาก่อน ระยะห่างและการปรับสเกลข้อมูล
Decision Tree
เปลี่ยนข้อมูลให้เป็นชุดคำถาม
เรียนรู้เงื่อนไขแล้วแยกทางไปสู่คำตอบ เหมาะกับงานที่ต้องอธิบายเหตุผลได้
ควรรู้มาก่อน เงื่อนไขแบบ if–else
Naive Bayes
รวมหลักฐานด้วยกฎของเบย์
คำนวณโอกาสของแต่ละคลาสโดยสมมติว่า feature เป็นอิสระกันเมื่อรู้คลาสแล้ว
ควรรู้มาก่อน ความน่าจะเป็นพื้นฐาน
K-Means Clustering
หากลุ่มที่ซ่อนอยู่ในข้อมูล
จับข้อมูลที่คล้ายกันมาอยู่ด้วยกัน โดยไม่ต้องบอกคำตอบล่วงหน้า เหมาะกับการแบ่งกลุ่มลูกค้าและค้นหาแพตเทิร์น
ควรรู้มาก่อน ระยะห่าง ค่าเฉลี่ย และ centroid
Hierarchical Agglomerative Clustering
รวมจุดที่ใกล้กันขึ้นเป็นกลุ่มใหญ่ทีละคู่
Hierarchical Agglomerative Clustering เริ่มจากให้ทุกจุดเป็นกลุ่มของตัวเอง แล้วรวมกลุ่มที่ใกล้ที่สุดซ้ำ ๆ จนเหลือจำนวนกลุ่มที่ต้องการ ลำดับการรวมสามารถวาดเป็น dendrogram เพื่อดูโครงสร้างหลายระดับได้
ควรรู้มาก่อน ระยะห่างและ dendrogram
DBSCAN
หาบริเวณที่จุดอยู่หนาแน่นและแยกจุดรบกวนออก
DBSCAN สร้างกลุ่มจากจุดที่มีเพื่อนบ้านมากพอในรัศมี eps จึงหากลุ่มรูปร่างอิสระได้และกำหนดจุดโดดเดี่ยวเป็น noise โดยไม่ต้องระบุจำนวนกลุ่มล่วงหน้า
ควรรู้มาก่อน ระยะห่าง ความหนาแน่น และ neighborhood
Principal Component Analysis
หมุนแกนข้อมูลเพื่อเก็บทิศที่มีความแปรปรวนมากที่สุด
PCA สร้างแกนใหม่ที่ตั้งฉากกัน โดยแกนแรกเก็บความแปรปรวนมากที่สุดและแกนถัดไปเก็บส่วนที่เหลือ ช่วยย่อจำนวนคอลัมน์พร้อมรักษาโครงสร้างเชิงเส้นส่วนใหญ่ไว้
ควรรู้มาก่อน เวกเตอร์ variance และ covariance
Perceptron
ขยับเส้นแบ่งทุกครั้งที่จำแนกตัวอย่างผิด
Perceptron เป็นตัวจำแนกเชิงเส้นที่คำนวณคะแนน w·x+b แล้วอัปเดตน้ำหนักเมื่อทายผิด เป็นรากฐานสำคัญของแนวคิด neural network แต่ตัวมันเองสร้างได้เพียงขอบเขตเส้นตรง
ควรรู้มาก่อน สมการเชิงเส้นและการอัปเดตน้ำหนัก
Apriori
ค้นหาสินค้าที่ปรากฏร่วมกันบ่อยจากตะกร้ารายการ
Apriori หา frequent itemsets โดยอาศัยกฎว่า ถ้าชุดใหญ่พบบ่อย ชุดย่อยทุกชุดต้องพบบ่อยด้วย จึงตัด candidate ที่เป็นไปไม่ได้ก่อนสร้างกฎ association
ควรรู้มาก่อน เซต ความถี่ support และ confidence
Simple Exponential Smoothing
ให้น้ำหนักข้อมูลล่าสุดมากกว่าข้อมูลเก่าเพื่อพยากรณ์ระดับถัดไป
Simple Exponential Smoothing อัปเดตระดับด้วยค่าจริงล่าสุดและระดับเดิม โดย alpha ควบคุมว่าน้ำหนักจะเอนมาทางข้อมูลใหม่มากเพียงใด เหมาะกับอนุกรมที่ไม่มีแนวโน้มหรือฤดูกาลชัดเจน
ควรรู้มาก่อน ค่าเฉลี่ยถ่วงน้ำหนักและลำดับเวลา
Markov Chain
ทำนายสถานะถัดไปจากสถานะปัจจุบันและโอกาสการเปลี่ยน
Markov Chain อธิบายระบบด้วย states และ transition matrix โดยสมมติว่าอนาคตถัดไปขึ้นกับสถานะปัจจุบัน เมื่อคูณการกระจายซ้ำหลายครั้งจะเห็นโอกาสของแต่ละสถานะในอนาคต
ควรรู้มาก่อน ความน่าจะเป็นแบบมีเงื่อนไขและ state
Maximum Likelihood Estimation
เลือกพารามิเตอร์ที่ทำให้ข้อมูลที่เห็นมีโอกาสเกิดสูงที่สุด
Maximum Likelihood Estimation กำหนดแบบจำลองความน่าจะเป็น แล้วหาพารามิเตอร์ที่ทำให้ likelihood ของข้อมูลสูงที่สุด มักรวม log-likelihood แทนการคูณความน่าจะเป็นเล็ก ๆ จำนวนมาก
ควรรู้มาก่อน ความน่าจะเป็น likelihood และ optimization
Grid Search
ลองค่าพารามิเตอร์ทุกชุดในตารางที่กำหนด
Grid Search แจกแจงค่าพารามิเตอร์เป็นตาราง ฝึกและประเมินทุก combination ด้วย cross-validation แล้วเลือกชุดที่ได้คะแนนเฉลี่ยดีที่สุด
ควรรู้มาก่อน validation set และ metric
Random Search
สุ่มชุดพารามิเตอร์จาก distribution ภายใต้งบที่กำหนด
Random Search สุ่ม hyperparameter combinations ตามจำนวน n_iter จึงกระจายการลองในพื้นที่กว้างและควบคุมงบได้ เหมาะเมื่อมีพารามิเตอร์หลายตัวหรือบางตัวสำคัญกว่าตัวอื่น
ควรรู้มาก่อน validation set distribution และ sampling
Polynomial Regression
ให้เส้นโค้งตามแพตเทิร์นของข้อมูล
ขยาย Linear Regression ด้วยกำลังของ feature เพื่อจับความสัมพันธ์ที่โค้ง โดยยังคงฝึกแบบเส้นตรงใน feature ใหม่
ควรรู้มาก่อน Linear Regression
Ridge Regression
คุมค่าน้ำหนักไม่ให้สุดโต่ง
Linear Regression ที่เพิ่มโทษ L2 เพื่อให้โมเดลนิ่งขึ้นเมื่อ feature จำนวนมากหรือสัมพันธ์กันเอง
ควรรู้มาก่อน Linear Regression และ L2 regularization
Lasso Regression
บีบน้ำหนักบางตัวให้เป็นศูนย์
Regression ที่ใช้โทษ L1 จึงช่วยเลือก feature ไปพร้อมกับการทำนาย
ควรรู้มาก่อน Linear Regression และ L1 regularization
Quantile Regression
ทำนายขอบล่าง กลาง หรือขอบบน
ประมาณ quantile ของผลลัพธ์แทนค่าเฉลี่ย จึงเห็นภาพการกระจายและรับมือ outlier ได้ดีขึ้น
ควรรู้มาก่อน Linear Regression และ loss function
Logistic Regression
เปลี่ยนคะแนนให้เป็นความน่าจะเป็น
ตัวจำแนกพื้นฐานที่สร้างเส้นแบ่งเชิงเส้นและส่งออก probability ผ่านฟังก์ชัน logistic
ควรรู้มาก่อน Linear Regression และความน่าจะเป็น
Linear Discriminant Analysis
หาแนวฉายที่แยกคลาสได้ชัดที่สุด
ใช้ค่าเฉลี่ยของคลาสและ covariance ร่วม เพื่อสร้างขอบเขตเส้นตรงที่แยกกลุ่ม
ควรรู้มาก่อน Naive Bayes, distribution และ covariance
Bagging
ฝึกหลายโมเดลจากข้อมูลคนละชุดแล้วโหวต
ลด variance ด้วย bootstrap samples และรวมคำตอบจากโมเดลฐานหลายตัว
ควรรู้มาก่อน Decision Tree และ bootstrap sampling
Weighted k-Nearest Neighbors
ให้เพื่อนบ้านที่ใกล้กว่า มีเสียงมากกว่า
ต่อยอด KNN ด้วยการถ่วงน้ำหนักตามระยะห่าง เพื่อให้ตัวอย่างที่คล้ายกันมากมีอิทธิพลมากขึ้น
ควรรู้มาก่อน k-Nearest Neighbors
Radius Neighbors
ถามเฉพาะเพื่อนบ้านที่อยู่ในรัศมีที่กำหนด
ไม่บังคับจำนวนเพื่อนบ้าน ใช้ทุกจุดในระยะ radius จึงปรับจำนวนผู้โหวตตามความหนาแน่นของข้อมูล
ควรรู้มาก่อน k-Nearest Neighbors
Regression Tree
ถามทีละข้อ แล้วตอบด้วยตัวเลขเฉลี่ยของกลุ่ม
ใช้โครงสร้างต้นไม้แบ่งข้อมูลเป็นบริเวณ แต่แต่ละใบให้ค่าต่อเนื่องแทนชื่อคลาส
ควรรู้มาก่อน Decision Tree และ Linear Regression
Multinomial Naive Bayes
นับคำแล้วดูว่าข้อความน่าจะอยู่หมวดไหน
ใช้ความถี่ของ feature ที่ไม่ติดลบเป็นหลักฐานจำแนกคลาส เหมาะกับตารางจำนวนคำ
ควรรู้มาก่อน Gaussian Naive Bayes และข้อมูลแบบ count
Bernoulli Naive Bayes
ดูทั้งคำที่มี และคำที่ไม่มี
แทน feature ด้วย 0/1 แล้วใช้การปรากฏและไม่ปรากฏเป็นหลักฐานของแต่ละคลาส
ควรรู้มาก่อน Gaussian Naive Bayes และข้อมูล binary
Complement Naive Bayes
เรียนรู้หมวดหนึ่งจากเอกสารที่อยู่นอกหมวดนั้น
ใช้สถิติของคลาสอื่นรวมกันเพื่อสร้างน้ำหนักคำ ช่วยเป็นทางเลือกเมื่อจำนวนเอกสารแต่ละหมวดไม่สมดุล
ควรรู้มาก่อน Gaussian Naive Bayes ข้อมูลแบบ count และ class imbalance
Mini Batch K-Means
ขยับศูนย์กลางทีละชุดเล็ก เพื่อทำงานกับข้อมูลจำนวนมาก
ประมาณคำตอบแบบ K-Means โดยใช้ mini batch ในการอัปเดต ลดงานต่อรอบแลกกับความคลาดเคลื่อนจากการสุ่ม
ควรรู้มาก่อน K-Means Clustering และ mini batch optimization
k-Medoids
เลือกสมาชิกจริงมาเป็นตัวแทนแต่ละกลุ่ม
ใช้ medoid ซึ่งเป็นจุดข้อมูลจริงแทนค่าเฉลี่ย และลดผลรวมระยะห่างถึงตัวแทน
ควรรู้มาก่อน K-Means Clustering และแนวคิด medoid
Fuzzy C-Means
ให้หนึ่งจุดเป็นสมาชิกหลายกลุ่มได้ด้วยน้ำหนักต่างกัน
Fuzzy C-Means แทน label เดียวด้วย membership ของทุกกลุ่ม โดยค่า m ควบคุมความฟุ้ง แล้วอัปเดต centroid จากค่าเฉลี่ยที่ถ่วงด้วย membership
ควรรู้มาก่อน K-Means Clustering และ soft membership
Gaussian Mixture Model
แทนข้อมูลด้วยการผสม Gaussian หลายก้อนพร้อมความน่าจะเป็นสมาชิก
Gaussian Mixture Model สมมติว่าข้อมูลเกิดจาก Gaussian หลาย component แล้วใช้ EM สลับคำนวณ responsibility กับอัปเดตค่าเฉลี่ย covariance และน้ำหนักผสม
ควรรู้มาก่อน K-Means และ Maximum Likelihood Estimation
OPTICS
เรียงจุดตามโครงสร้างความหนาแน่นเพื่อดูกลุ่มหลายระดับ
OPTICS สร้าง ordering และ reachability distance แทนการยึด eps ค่าเดียว ทำให้สำรวจกลุ่มที่มีความหนาแน่นต่างกันและดึง cluster จากโครงสร้างภายหลังได้
ควรรู้มาก่อน DBSCAN และ reachability distance
Mean Shift
เลื่อนจุดตัวแทนขึ้นเนินความหนาแน่นจนถึงยอด
Mean Shift วางหน้าต่างรอบตำแหน่งแล้วเลื่อนไปยังค่าเฉลี่ยของจุดในหน้าต่างซ้ำ ๆ ตำแหน่งที่ลู่เข้าสู่ยอดเดียวกันจะอยู่กลุ่มเดียวกัน
ควรรู้มาก่อน K-Means และ density estimation
BIRCH
สรุปข้อมูลทีละแถวเป็นต้นไม้ย่อยก่อนจัดกลุ่ม
BIRCH สร้าง Clustering Feature Tree ที่เก็บจำนวน ผลรวม และผลรวมกำลังสองของจุดใน subcluster จึงประมวลผลข้อมูลจำนวนมากแบบ incremental ได้
ควรรู้มาก่อน Hierarchical Clustering และ summary tree
Independent Component Analysis
แยกสัญญาณผสมออกเป็นแหล่งที่เป็นอิสระต่อกัน
ICA หา linear components ที่เป็นอิสระทางสถิติมากที่สุด ไม่ได้เพียงตั้งฉากหรือมี variance สูง เหมาะกับโจทย์ blind source separation
ควรรู้มาก่อน Principal Component Analysis และ independence
Nonnegative Matrix Factorization
แยกตารางไม่ติดลบเป็นส่วนประกอบที่บวกกันได้
NMF ประมาณ X≈WH โดยบังคับ W และ H ไม่ติดลบ จึงมักได้ representation แบบส่วนประกอบ เช่น เอกสารหนึ่งผสมหลายหัวข้อด้วยน้ำหนักบวก
ควรรู้มาก่อน Principal Component Analysis และ matrix factorization
Truncated Singular Value Decomposition
ย่อตาราง sparse โดยไม่ต้องลบค่าเฉลี่ยก่อน
Truncated SVD เก็บ singular vectors ที่สำคัญเพียงจำนวนหนึ่ง ใช้กับ sparse matrix ได้โดยตรงและเป็นพื้นฐานของ Latent Semantic Analysis สำหรับข้อความ
ควรรู้มาก่อน Principal Component Analysis และ SVD
FP Growth
บีบธุรกรรมเป็น FP-tree เพื่อหาชุดที่พบบ่อยโดยไม่สร้าง candidate ทุกชุด
FP Growth นับสินค้าที่พบบ่อย เรียงธุรกรรมตามความถี่ แล้วอัด prefix ที่ซ้ำลง FP-tree จากนั้นขุด conditional pattern bases เพื่อหา frequent itemsets
ควรรู้มาก่อน Apriori และ frequent itemsets
Generalized Linear Model
เชื่อมผลรวมเชิงเส้นกับ distribution ที่เหมาะกับชนิดคำตอบ
Generalized Linear Model ขยาย linear regression ด้วย exponential-family distribution และ link function จึงรองรับคำตอบแบบจำนวนครั้ง สัดส่วน หรือค่าบวก พร้อมคงโครงสร้างน้ำหนักที่อธิบายได้
ควรรู้มาก่อน Linear Regression probability distribution และ link function
Holt Linear Trend
แยกระดับปัจจุบันออกจากแนวโน้มที่กำลังเพิ่มหรือลด
Holt Linear Trend เพิ่มองค์ประกอบแนวโน้มให้ exponential smoothing จึงอัปเดตทั้งระดับของอนุกรมและความชันในแต่ละช่วงเวลา แล้วนำสองส่วนมารวมกันเพื่อพยากรณ์อนาคตหลายก้าว
ควรรู้มาก่อน Simple Exponential Smoothing และ trend
Autoregressive Model
ใช้ค่าหลายช่วงก่อนหน้าเป็นตัวแปรเพื่อทำนายค่าถัดไป
Autoregressive Model หรือ AR(p) สร้างสมการเชิงเส้นจากค่า lag ของอนุกรมเดียวกัน โดย p ระบุว่าต้องย้อนกลับไปกี่ช่วงเพื่ออธิบายค่าปัจจุบัน
ควรรู้มาก่อน ลำดับเวลา lag และ Linear Regression
Moving Average Model
อธิบายค่าปัจจุบันด้วยความผิดพลาดที่เกิดขึ้นในช่วงก่อนหน้า
Moving Average Model หรือ MA(q) ใช้ shock หรือ residual ย้อนหลัง q ช่วงเป็นส่วนประกอบของค่าปัจจุบัน จึงต่างจากค่าเฉลี่ยเลื่อนหน้าต่างที่ใช้ปรับเส้นให้เรียบ
ควรรู้มาก่อน ลำดับเวลา residual และ autocorrelation
Kalman Filter
รวมค่าคาดจากระบบกับค่าที่เซนเซอร์วัดตามระดับความไม่แน่นอน
Kalman Filter ติดตาม state ที่มองไม่เห็นด้วยสองขั้นตอน คือ predict จากสมการการเคลื่อนที่และ update จาก observation โดยให้น้ำหนักตาม covariance ของความไม่แน่นอน
ควรรู้มาก่อน Linear Regression Gaussian distribution และ Markov Chain
Q-Learning
เรียนค่าของแต่ละการกระทำจากรางวัลจริงโดยไม่ต้องรู้สมการของโลก
Q-Learning เป็นวิธี reinforcement learning แบบ off-policy ที่อัปเดตค่า Q(s,a) ด้วย reward และค่าดีที่สุดของ state ถัดไป เพื่อค่อย ๆ สร้างนโยบายเลือกการกระทำ
ควรรู้มาก่อน Markov Chain reward และ value function
Multilayer Perceptron
ประกอบฟังก์ชันเล็ก ๆ ให้เรียนรู้รูปทรงซับซ้อน
โครงข่ายประสาทแบบ feed-forward ที่มี hidden layers และเรียนรู้น้ำหนักด้วย backpropagation
ควรรู้มาก่อน Perceptron, Linear Regression และ gradient descent
Elastic Net
ผสมข้อดีของ Ridge และ Lasso
ใช้ทั้ง L1 และ L2 เพื่อเลือก feature พร้อมรักษาเสถียรภาพเมื่อ feature คล้ายกัน
ควรรู้มาก่อน Ridge Regression และ Lasso Regression
Bayesian Regression
ทำนายพร้อมบอกความไม่แน่นอน
มองค่าน้ำหนักเป็นการกระจายความน่าจะเป็น แล้วอัปเดตความเชื่อเมื่อเห็นข้อมูล
ควรรู้มาก่อน Linear Regression, Naive Bayes และ Bayes theorem
Generalized Additive Model
รวมเส้นโค้งเล็ก ๆ ที่ยังอธิบายได้
สร้างผลลัพธ์จากผลรวมฟังก์ชันเรียบของแต่ละ feature จับ nonlinear pattern โดยยังดูผลของแต่ละตัวแปรได้
ควรรู้มาก่อน Polynomial Regression และ Ridge Regression
Quadratic Discriminant Analysis
ให้แต่ละคลาสมีรูปทรงของตัวเอง
คล้าย LDA แต่ประมาณ covariance แยกต่อคลาส จึงสร้างขอบเขตโค้งได้
ควรรู้มาก่อน Linear Discriminant Analysis
Support Vector Machine
หาเส้นแบ่งที่มีพื้นที่ปลอดภัยกว้างที่สุด
เน้นตัวอย่างที่อยู่ใกล้ขอบเขตและสร้าง margin ระหว่างคลาส สามารถใช้ kernel เพื่อสร้างขอบเขตโค้ง
ควรรู้มาก่อน Logistic Regression, vector และระยะห่าง
Random Forest
รวมต้นไม้ที่เห็นข้อมูลและ feature ต่างกัน
Bagging ของ Decision Trees ที่สุ่มทั้งแถวข้อมูลและ feature เพื่อลดความเหมือนกันของต้นไม้
ควรรู้มาก่อน Decision Tree และ Bagging
Extra Trees
เพิ่มความสุ่มให้ต้นไม้แตกต่างกันยิ่งขึ้น
Extremely Randomized Trees สุ่ม threshold เพิ่มเติม แล้วรวมต้นไม้จำนวนมากเพื่อลด variance
ควรรู้มาก่อน Decision Tree และ Bagging
AdaBoost
ให้โมเดลตัวถัดไปสนใจตัวอย่างที่ชุดก่อนทายผิดมากขึ้น
AdaBoost ฝึก weak learners ต่อกัน โดยเพิ่มน้ำหนักให้ตัวอย่างที่จำแนกผิดและรวมคำตอบของผู้เรียนแต่ละตัวตามความน่าเชื่อถือ
ควรรู้มาก่อน Decision Tree weighted error และ iterative learning
Gradient Boosting
เพิ่มต้นไม้ทีละต้นเพื่อแก้ทิศทางความผิดพลาดของชุดปัจจุบัน
Gradient Boosting สร้าง additive model แบบลำดับ โดยต้นไม้ใหม่ประมาณ negative gradient ของ loss แล้วเพิ่มเข้าคำทำนายเดิมด้วย learning rate
ควรรู้มาก่อน Decision Tree Regression Tree และ residual
Voting Ensemble
รวมคำตอบจากโมเดลหลายชนิดด้วยเสียงข้างมากหรือค่าเฉลี่ยความน่าจะเป็น
Voting Ensemble ฝึกโมเดลฐานหลายแบบแบบขนาน แล้วใช้ hard vote จาก label หรือ soft vote จาก probability เพื่อลดความเสี่ยงจากจุดอ่อนของโมเดลใดโมเดลหนึ่ง
ควรรู้มาก่อน โมเดล Classification อย่างน้อยสองแบบ
Stacking
ให้โมเดลชั้นบนเรียนว่าจะเชื่อคำทำนายของโมเดลฐานแบบใดในแต่ละกรณี
Stacking ใช้ out-of-fold predictions จากโมเดลฐานเป็น feature ให้ final estimator จึงเรียนวิธีผสมคำตอบที่ยืดหยุ่นกว่าค่าเฉลี่ยคงที่
ควรรู้มาก่อน Bagging supervised models cross validation และ meta model
Random Subspace Method
ให้สมาชิกแต่ละตัวเห็น feature คนละชุดเพื่อสร้างความหลากหลาย
Random Subspace Method ฝึก base estimators บนชุดย่อยของคอลัมน์ที่สุ่มต่างกัน แล้วรวมคำทำนาย ช่วยลดความสัมพันธ์ของความผิดพลาดระหว่างสมาชิก
ควรรู้มาก่อน Bagging และ feature sampling
Partial Least Squares Regression
สร้างแกนย่อที่มองทั้งความแปรปรวนของ X และความสัมพันธ์กับ y
PLS Regression หา latent components จาก X ที่มี covariance กับ target สูง แล้วถดถอย y บนแกนเหล่านั้น จึงเหมาะเมื่อ feature มากและสัมพันธ์กันสูง
ควรรู้มาก่อน Linear Regression และ Principal Component Analysis
Canonical Correlation Analysis
หาแกนเชิงเส้นคู่หนึ่งจากตัวแปรสองชุดให้มี correlation สูงที่สุด
CCA สร้าง canonical variates จาก X และ Y คนละชุด โดยเลือกน้ำหนักให้คะแนนสองฝั่งสัมพันธ์กันสูง แล้วหาแกนคู่ถัดไปที่ไม่ซ้ำกับคู่เดิม
ควรรู้มาก่อน Linear Regression Principal Component Analysis และ covariance
Huber Regression
ใช้ squared loss กับจุดใกล้เส้นและลดอิทธิพลของ residual ที่ใหญ่มาก
Huber Regression ผสม quadratic loss สำหรับ residual เล็กกับ linear loss สำหรับ residual ใหญ่ จึงรักษาความเรียบของ least squares พร้อมทน outlier มากขึ้น
ควรรู้มาก่อน Linear Regression และ robust loss
RANSAC Regression
สุ่มกลุ่มเล็กมาสร้างเส้นแล้วนับว่ามีจุดใดเห็นด้วยกับเส้นนั้น
RANSAC สุ่ม minimal subset เพื่อ fit โมเดลซ้ำหลายครั้ง แล้วเลือกโมเดลที่มี inliers สอดคล้องมากที่สุด ก่อน refit จากกลุ่ม consensus
ควรรู้มาก่อน Linear Regression และ random sampling
Theil Sen Regression
ใช้ค่ากลางของความชันจากหลายคู่แทนการให้จุดสุดโต่งดึงเส้น
Theil Sen ประมาณความชันอย่าง robust จาก median ของ slopes ระหว่างคู่จุด และขยายแนวคิดด้วย subsamples เมื่อมีหลาย feature
ควรรู้มาก่อน Linear Regression median และ pairwise slope
Poisson Regression
ทำนายค่าเฉลี่ยของจำนวนเหตุการณ์ด้วย log link เพื่อให้ผลไม่ติดลบ
Poisson Regression สมมติ target เป็น count และใช้ log link เชื่อม linear predictor กับค่าเฉลี่ย μ ทำให้ coefficient ตีความเป็นอัตราส่วนแบบคูณได้
ควรรู้มาก่อน Generalized Linear Model และ Poisson distribution
Negative Binomial Regression
ขยาย Poisson ให้ความแปรปรวนของ count สูงกว่าค่าเฉลี่ยได้
Negative Binomial Regression ใช้ log link เหมือน Poisson แต่เพิ่ม dispersion parameter เพื่อรองรับความผันผวนส่วนเกินและกลุ่มที่มี rate แฝงต่างกัน
ควรรู้มาก่อน Generalized Linear Model และ overdispersion
Gamma Regression
ทำนายค่าบวกที่เบ้ขวาและมีความแปรปรวนเพิ่มตามค่าเฉลี่ย
Gamma Regression เป็น GLM สำหรับ target ต่อเนื่องที่มากกว่าศูนย์ โดยมักใช้ log link เพื่อให้ค่าทำนายเป็นบวกและตีความ coefficient แบบอัตราส่วน
ควรรู้มาก่อน Generalized Linear Model และ Gamma distribution
Cox Proportional Hazards
เปรียบเทียบอัตราเกิดเหตุการณ์โดยยังใช้ข้อมูลที่ติดตามไม่ถึงเหตุการณ์
Cox model เชื่อม covariates กับ hazard ratio แบบกึ่งพารามิเตอร์ ใช้ partial likelihood ประมาณ coefficients โดยไม่ต้องกำหนดรูป baseline hazard
ควรรู้มาก่อน Linear Regression likelihood และ censoring
Survival Tree
แบ่งกลุ่มด้วยเงื่อนไขที่ทำให้เส้นการรอดชีวิตของลูกต่างกันมากที่สุด
Survival Tree ปรับ decision tree ให้ใช้ duration กับ censoring โดยเลือก split จากความแตกต่างของ survival distributions และให้ survival function ต่อใบ
ควรรู้มาก่อน Decision Tree และ survival analysis
Locally Linear Embedding
รักษาวิธีที่แต่ละจุดประกอบจากเพื่อนบ้านเมื่อย้ายลงสู่มิติต่ำ
Locally Linear Embedding หรือ LLE หาเพื่อนบ้านของแต่ละจุด คำนวณน้ำหนัก reconstruction ในพื้นที่เดิม แล้ววางจุดในมิติต่ำให้คงน้ำหนักเหล่านั้นไว้
ควรรู้มาก่อน k-Nearest Neighbors และ Principal Component Analysis
Isomap
คลี่ข้อมูลโค้งด้วยระยะทางที่เดินไปตามผิวข้อมูล
Isomap สร้างกราฟเพื่อนบ้าน วัดระยะ geodesic ด้วยเส้นทางสั้นที่สุด แล้วฝังจุดลงในมิติต่ำให้ระยะเหล่านั้นใกล้เคียงเดิม จึงรักษาโครงสร้างขนาดใหญ่ของ manifold ได้
ควรรู้มาก่อน kNN, shortest path และ PCA
Multidimensional Scaling
วางจุดบนแผนที่ให้ระยะคู่ใกล้กับระยะเดิม
MDS หา coordinates ในมิติต่ำที่ทำให้ระยะระหว่างจุดใกล้กับ dissimilarity ที่กำหนด โดยลดค่า stress ของระยะทุกคู่
ควรรู้มาก่อน เมทริกซ์ระยะห่างและ PCA
Spectral Clustering
ตัดกราฟความคล้ายเพื่อแยกกลุ่มรูปร่างโค้ง
Spectral Clustering แปลงความคล้ายเป็นกราฟ ใช้ eigenvectors ของ graph Laplacian เป็นพิกัดใหม่ แล้วจัดกลุ่มในพื้นที่นั้น จึงแยกกลุ่มที่ไม่เป็นก้อนได้
ควรรู้มาก่อน K-Means, PCA และ graph Laplacian
t-SNE
วางเพื่อนบ้านใกล้กันเพื่อสร้างภาพข้อมูลมิติสูง
t-SNE เปลี่ยนความคล้ายในมิติสูงและต่ำเป็นความน่าจะเป็น แล้วลด KL divergence โดยเน้นรักษาเพื่อนบ้านเฉพาะที่ เหมาะกับการสำรวจภาพ 2 มิติ
ควรรู้มาก่อน kNN, probability และ PCA
UMAP
สร้างแผนที่มิติต่ำจากกราฟเพื่อนบ้านแบบ fuzzy
UMAP สร้าง weighted nearest-neighbor graph แล้วปรับ embedding ให้โครงสร้างกราฟในมิติต่ำคล้ายต้นฉบับ จึงใช้สำรวจข้อมูลและแปลงข้อมูลใหม่ได้
ควรรู้มาก่อน kNN graph และ manifold
Self-Organizing Map
จัดหน่วยประสาทเป็นตารางที่เพื่อนบ้านเรียนรู้พร้อมกัน
SOM หา best matching unit แล้วขยับทั้งหน่วยนั้นและเพื่อนบนตารางเข้าหาตัวอย่าง รัศมีที่ค่อย ๆ ลดลงช่วยรักษาความเป็นเพื่อนบ้านของข้อมูล
ควรรู้มาก่อน K-Means และ Perceptron
Hidden Markov Model
อนุมานสถานะที่มองไม่เห็นจากลำดับสิ่งที่สังเกตได้
HMM สมมติว่าสถานะซ่อนเปลี่ยนตาม Markov chain และแต่ละสถานะสร้าง observation ตาม emission distribution จึงคำนวณ likelihood ถอดสถานะ และเรียนพารามิเตอร์ได้
ควรรู้มาก่อน Markov Chain, MLE และ Naive Bayes
ARMA
รวมอิทธิพลจากค่าเก่ากับ shock ที่โมเดลเคยพลาด
ARMA(p,q) อธิบายอนุกรม stationary ด้วย lag ของค่าตัวเองและ lag ของ residual จึงรวมความต่อเนื่องของสัญญาณกับผลกระทบจาก shock ระยะสั้น
ควรรู้มาก่อน Autoregressive และ Moving Average
Holt-Winters
อัปเดตระดับ แนวโน้ม และฤดูกาลพร้อมกัน
Holt-Winters หรือ triple exponential smoothing แยกอนุกรมเป็น level, trend และ seasonal component แล้วอัปเดตแต่ละส่วนแบบถ่วงน้ำหนักเพื่อพยากรณ์ตามรอบ
ควรรู้มาก่อน Holt Linear Trend และ seasonality
Isolation Forest
แยกจุดผิดปกติด้วยการสุ่มตัดเพียงไม่กี่ครั้ง
Isolation Forest สุ่ม feature และจุดตัดสร้างต้นไม้หลายต้น จุดที่โดดเดี่ยวมักถูกแยกด้วย path สั้น จึงได้ anomaly score โดยไม่ต้องประมาณความหนาแน่น
ควรรู้มาก่อน Decision Tree และ Bagging
Local Outlier Factor
เปรียบเทียบความหนาแน่นของจุดกับเพื่อนบ้านใกล้เคียง
LOF วัด local reachability density แล้วเทียบกับเพื่อนบ้าน จุดที่เบาบางกว่าบริเวณรอบตัวมากจะได้คะแนน outlier สูง จึงรับมือกลุ่มที่ความหนาแน่นต่างกันได้
ควรรู้มาก่อน kNN และ local density
Autoencoder
บีบข้อมูลผ่านคอขวดแล้วฝึกให้สร้างข้อมูลเดิมกลับมา
Autoencoder มี encoder แปลง input เป็น latent code และ decoder สร้าง input คืน การลด reconstruction loss บังคับให้ latent เก็บโครงสร้างสำคัญของข้อมูล
ควรรู้มาก่อน MLP และ PCA
Convolutional Neural Network
เลื่อน filter เดียวกันทั่วภาพเพื่อจับลวดลายเฉพาะที่
CNN ใช้ convolution kernels แชร์น้ำหนักทั่วตำแหน่ง สร้าง feature maps จากขอบและพื้นผิว ก่อนรวมเป็นรูปแบบระดับสูงสำหรับจำแนกหรือพยากรณ์
ควรรู้มาก่อน MLP, convolution และ image tensor
Recurrent Neural Network
ส่ง hidden state จากช่วงก่อนหน้าไปช่วยอ่านช่วงถัดไป
RNN ประมวลผลลำดับทีละขั้นและอัปเดต hidden state ด้วย input ปัจจุบันกับ state เดิม จึงแชร์น้ำหนักข้ามเวลาและเก็บบริบทของลำดับ
ควรรู้มาก่อน MLP และ Autoregressive Model
Gaussian Process
สร้างเส้นทำนายพร้อมช่วงความมั่นใจ
โมเดลแบบความน่าจะเป็นที่นิยามความคล้ายของจุดด้วย kernel และให้ distribution ของฟังก์ชันที่เป็นไปได้
ควรรู้มาก่อน Bayesian Regression, kernel และ covariance
Kernel Support Vector Machine
สร้างขอบเขตโค้งโดยคำนวณความคล้ายในพื้นที่แฝง
Kernel SVM แทน inner product ด้วย kernel จึงหา maximum-margin hyperplane ใน feature space มิติสูงโดยไม่สร้าง feature ทั้งหมดตรง ๆ
ควรรู้มาก่อน Linear SVM และ kernel trick
Support Vector Regression
สร้างท่อรอบเส้นทำนายและไม่ลงโทษจุดที่อยู่ในท่อ
SVR ใช้ epsilon-insensitive loss หาเส้นที่แบนและยอมรับ residual ภายในท่อ epsilon โดยมีเฉพาะจุดนอกหรือบนขอบท่อเป็น support vectors
ควรรู้มาก่อน Linear Regression และ SVM
Kernel Ridge Regression
ทำ Ridge ในพื้นที่ feature ที่ kernel นิยามไว้
Kernel Ridge รวม squared loss กับ L2 regularization และ kernel trick ได้คำตอบแบบปิดใน dual space จึงสร้างเส้นโค้งเรียบจาก similarity กับตัวอย่างฝึกทั้งหมด
ควรรู้มาก่อน Ridge Regression และ kernel methods
Error-Correcting Output Codes
แทนแต่ละคลาสด้วยรหัสหลายบิตเพื่อทนต่อ classifier ที่พลาดบางตัว
ECOC กำหนด codeword ให้แต่ละคลาส ฝึก binary classifier หนึ่งตัวต่อคอลัมน์ของ code matrix แล้วเลือกคลาสที่รหัสทำนายใกล้ที่สุด
ควรรู้มาก่อน Logistic Regression หรือ SVM
XGBoost
ต่อยอดต้นไม้ด้วย gradient ลำดับสองและค่าปรับความซับซ้อน
XGBoost เพิ่มต้นไม้ทีละต้นจาก gradient และ Hessian ของ loss พร้อม regularization, shrinkage และ subsampling จึงเป็น boosting ที่เร็วและคุม overfitting ได้ละเอียด
ควรรู้มาก่อน Gradient Boosting, regularization และ tree split
LightGBM
แบ่งค่าลง histogram และขยายใบที่ลด loss ได้มากที่สุด
LightGBM ใช้ histogram-based splits และเติบโตแบบ leaf-wise ทำให้ฝึกเร็วบนข้อมูลใหญ่ พร้อมรองรับ categorical features และการสุ่มข้อมูล
ควรรู้มาก่อน Gradient Boosting, histogram และ leaf-wise growth
CatBoost
เรียนรู้ตัวแปรหมวดหมู่โดยลด target leakage จากลำดับข้อมูล
CatBoost ใช้ ordered target statistics และ ordered boosting พร้อม symmetric trees เพื่อจัดการ categorical features โดยตรงและลด prediction shift
ควรรู้มาก่อน Gradient Boosting และ categorical encoding
Histogram Gradient Boosting
เร่ง boosting ด้วยการหาจุดแบ่งจากกล่องค่าจำนวนจำกัด
Histogram Gradient Boosting bin feature ต่อเนื่องก่อนสร้างต้นไม้ ทำให้ประเมิน split เร็ว ใช้หน่วยความจำน้อย และรองรับ missing values ได้
ควรรู้มาก่อน Gradient Boosting และ histogram binning
Sequence to Sequence
แปลงลำดับความยาวหนึ่งเป็นอีกลำดับที่ความยาวต่างกัน
Seq2Seq ใช้ encoder อ่าน input sequence เป็น representation และ decoder สร้าง output ทีละตำแหน่ง โดยฝึกจาก token เป้าหมายก่อนหน้าและใช้ autoregressive decoding ตอนทำนาย
ควรรู้มาก่อน RNN และ encoder-decoder
Attention Mechanism
ให้อีกตำแหน่งเลือกว่าจะอ่านข้อมูลส่วนใดมากเป็นพิเศษ
Attention คำนวณ similarity ระหว่าง query กับ keys ใช้ softmax เป็นน้ำหนัก แล้วรวม values เป็น context vector จึงเข้าถึงข้อมูลหลายตำแหน่งโดยตรง
ควรรู้มาก่อน RNN, dot product และ softmax
Graph Embedding
เปลี่ยนโหนดในเครือข่ายเป็นเวกเตอร์ที่รักษาความสัมพันธ์
Graph embedding เรียนเวกเตอร์ต่อโหนดจาก adjacency, random walks หรือ message passing เพื่อให้โหนดที่เชื่อมโยงหรือมีบริบทคล้ายกันอยู่ใกล้กันใน latent space
ควรรู้มาก่อน Spectral Clustering, graph และ MLP
Matrix Factorization Recommender
แยกตารางคะแนนเป็นรสนิยมผู้ใช้กับคุณลักษณะแฝงของสินค้า
Matrix factorization ประมาณ rating matrix ด้วยผลคูณของ user และ item latent vectors เรียนเฉพาะช่องที่สังเกตและ regularize เวกเตอร์เพื่อเติมคะแนนที่หายไป
ควรรู้มาก่อน Truncated SVD และ gradient descent
Neighborhood Collaborative Filtering
แนะนำจากผู้ใช้หรือสินค้าที่มีรูปแบบคะแนนคล้ายกัน
Neighborhood CF คำนวณ similarity ระหว่างผู้ใช้หรือสินค้า เลือกเพื่อนบ้านที่มี overlap แล้วเฉลี่ยคะแนนแบบถ่วงน้ำหนักเพื่อทำนายคู่ที่ยังไม่เคยเห็น
ควรรู้มาก่อน kNN และ similarity
Factorization Machines
เรียน interaction ของ feature แบบ sparse ด้วยเวกเตอร์แฝง
Factorization Machine เพิ่มผลคูณ feature ทุกคู่ให้ linear model แต่แทนน้ำหนัก interaction ด้วย dot product ของ latent vectors จึงเรียนคู่ที่พบไม่บ่อยได้อย่างมีประสิทธิภาพ
ควรรู้มาก่อน Linear Regression, Truncated SVD และ pairwise interactions
One-Class Support Vector Machine
เรียนขอบเขตของข้อมูลปกติโดยไม่ต้องมีตัวอย่างผิดปกติครบถ้วน
One-Class SVM ใช้ kernel แยกตัวอย่างส่วนใหญ่จากจุดกำเนิดใน feature space แล้วถือจุดที่อยู่นอกขอบเขตเป็น novelty หรือ outlier
ควรรู้มาก่อน Linear SVM, kernel และ density boundary
Elliptic Envelope
ครอบข้อมูลปกติด้วยวงรีจาก covariance ที่ทนต่อ outlier
Elliptic Envelope ประมาณ robust location และ covariance ภายใต้สมมติฐาน Gaussian แล้วใช้ Mahalanobis distance ตัดจุดที่อยู่นอกวงรีความหนาแน่น
ควรรู้มาก่อน LDA, covariance และ robust statistics
ARIMA
ทำผลต่างให้อนุกรมนิ่งก่อนใช้ค่าเก่าและ residual พยากรณ์
ARIMA(p,d,q) ใช้ differencing ลำดับ d จัดการแนวโน้ม แล้วอธิบายอนุกรมที่นิ่งด้วย autoregressive และ moving-average terms ก่อนแปลง forecast กลับสู่ระดับเดิม
ควรรู้มาก่อน ARMA, stationarity และ differencing
SARIMA
เพิ่ม lag และ differencing ตามรอบฤดูกาลให้ ARIMA
SARIMA รวมส่วน (p,d,q) ระยะสั้นกับ (P,D,Q,s) ตามฤดูกาล จึงเรียนทั้งความต่อเนื่องรายช่วงและรูปแบบที่ย้อนกลับทุก s ช่วงเวลา
ควรรู้มาก่อน ARMA, differencing และ seasonality
State Space Model
อธิบายสัญญาณด้วยสถานะซ่อนที่เคลื่อนตามสมการระบบ
State Space Model แยก transition equation ของ latent state ออกจาก observation equation ของค่าที่วัด แล้วใช้ Kalman filtering และ smoothing อัปเดตการกระจายของ state ตามเวลา
ควรรู้มาก่อน Kalman Filter, ARMA และ latent state
Prophet
รวม trend ที่เปลี่ยนช่วง ฤดูกาล และวันพิเศษในโมเดลเดียว
Prophet สร้าง additive model จาก piecewise trend, Fourier seasonality และ holiday effects พร้อม prior ที่ควบคุมความยืดหยุ่นของ changepoints
ควรรู้มาก่อน Holt-Winters, GAM และ changepoints
Conditional Random Field
ติดป้ายทั้งลำดับพร้อมคำนึงว่าป้ายข้างเคียงต้องสอดคล้องกัน
Linear-chain CRF กำหนดคะแนนจาก feature ของ observation และ transition ระหว่าง labels แล้ว normalize เหนือลำดับ label ทั้งหมดเพื่อเรียน conditional probability โดยตรง
ควรรู้มาก่อน Hidden Markov Model และ Logistic Regression
Actor-Critic
ให้ actor เลือกการกระทำและ critic ประเมินว่าดีกว่าที่คาดหรือไม่
Actor-Critic เรียน policy และ value function พร้อมกัน โดย critic สร้าง TD error หรือ advantage เพื่อลด variance ของ policy gradient ที่ใช้ปรับ actor
ควรรู้มาก่อน Q-Learning, policy gradient และ MLP
Long Short-Term Memory
ใช้ประตูควบคุมสิ่งที่จะจำ ลืม และส่งออกจาก cell state
LSTM เพิ่ม cell state และ input, forget, output gates ให้ RNN จึงสร้างทางไหลของ gradient ที่เสถียรกว่าและเลือกเก็บบริบทระยะยาวได้
ควรรู้มาก่อน RNN และ gating
Gated Recurrent Unit
รวมความจำกับ hidden state แล้วใช้สองประตูควบคุมการอัปเดต
GRU ใช้ update gate ผสม state เดิมกับ candidate และ reset gate ควบคุมการใช้ความจำเก่า จึงลดจำนวนพารามิเตอร์จาก LSTM แต่ยังจัดการ gradient ระยะยาวได้ดี
ควรรู้มาก่อน RNN และ gating
Temporal Convolutional Network
ใช้ causal dilated convolution มองอดีตไกลโดยคำนวณหลายเวลาแบบขนาน
TCN ซ้อน causal convolutions ที่มี dilation เพิ่มขึ้นและ residual connections เพื่อสร้าง receptive field กว้าง โดยไม่ให้ข้อมูลอนาคตรั่วเข้าคำทำนาย
ควรรู้มาก่อน CNN และ time series
Transformer
ให้ทุกตำแหน่งแลกข้อมูลผ่าน multi-head attention โดยไม่ต้องวน recurrent state
Transformer ซ้อน multi-head self-attention, feed-forward networks, residual connections และ normalization พร้อม positional information เพื่อประมวลผล sequence แบบขนาน
ควรรู้มาก่อน Attention, embeddings และ normalization
Vision Transformer
แบ่งภาพเป็น patches แล้วอ่านเป็นลำดับ tokens ด้วย Transformer
ViT ตัดภาพเป็น patch grid แปลงแต่ละ patch เป็น embedding เพิ่มตำแหน่ง แล้วใช้ Transformer encoder เรียนความสัมพันธ์ทั่วภาพก่อนจำแนกจาก class token หรือ pooled representation
ควรรู้มาก่อน Attention, image patches และ embeddings
Graph Neural Network
ให้แต่ละโหนดรับข้อความจากเพื่อนบ้านแล้วอัปเดต representation
GNN ทำ message passing โดยสร้างข้อความตาม edge รวมข้อความรอบโหนด และใช้ neural update สร้าง embedding ใหม่ หลายชั้นขยายบริเวณข้อมูลที่โหนดมองเห็น
ควรรู้มาก่อน Graph Embedding และ MLP
Graph Convolutional Network
เฉลี่ย feature จากเพื่อนบ้านด้วย adjacency ที่ normalize แล้ว
GCN layer คูณ node features ด้วย normalized adjacency ที่เพิ่ม self-loops แล้วใช้ weight matrix และ activation จึงเป็น graph convolution ที่รวมข้อมูลจากตนเองและเพื่อนบ้าน
ควรรู้มาก่อน Graph Embedding, Spectral Clustering และ MLP
Variational Autoencoder
เรียนการกระจายของ latent code แล้วสุ่มตัวอย่างใหม่ผ่าน decoder
VAE ให้ encoder ทำนาย mean และ variance ของ approximate posterior ใช้ reparameterization sampling และฝึกจาก reconstruction loss บวก KL divergence ให้ latent distribution ใกล้ prior
ควรรู้มาก่อน Autoencoder, Bayesian Regression และ sampling
Generative Adversarial Network
ให้ generator สร้างตัวอย่างแข่งกับ discriminator ที่พยายามจับของปลอม
GAN ฝึกสองเครือข่ายในเกม adversarial: discriminator แยกข้อมูลจริงจากข้อมูลสร้าง ส่วน generator ปรับตัวให้ตัวอย่างหลอก discriminator ได้ดีขึ้น
ควรรู้มาก่อน MLP, CNN และ minimax optimization
Diffusion Model
เรียนย้อนกระบวนการเติม noise ทีละขั้นเพื่อสร้างข้อมูลจาก noise
Diffusion model กำหนด forward process ที่ค่อย ๆ เติม Gaussian noise และฝึก neural network ทำนาย noise หรือ score เพื่อเดิน reverse process จาก noise กลับเป็นตัวอย่าง
ควรรู้มาก่อน Autoencoder, probability distributions และ score estimation
Contrastive Learning
ดึงมุมมองของตัวอย่างเดียวกันให้ใกล้และผลักตัวอย่างอื่นออก
Contrastive learning สร้าง positive pairs จาก augmentations ของตัวอย่างเดียวกัน ใช้ encoder กับ projection head แล้วลด contrastive loss ที่เปรียบเทียบ similarity กับ negatives ใน batch
ควรรู้มาก่อน CNN, data augmentation และ metric learning
Masked Language Modeling
ซ่อน token บางตำแหน่งแล้วให้โมเดลทายจากบริบทรอบด้าน
MLM เลือก token บางส่วนเป็น prediction targets แทนหรือรบกวน input แล้วฝึก Transformer encoder ทำนาย token เดิมจาก contextual representation โดยไม่ต้องมี label ภายนอก
ควรรู้มาก่อน Attention, tokenization และ embeddings
Deep Q-Network
ใช้ neural network ประมาณ Q-value ของทุก action จาก state
DQN แทน Q-table ด้วย neural network และทำให้การฝึกเสถียรขึ้นด้วย replay buffer, target network และ epsilon-greedy exploration
ควรรู้มาก่อน Q-Learning และ MLP
Proximal Policy Optimization
ปรับ policy หลายรอบจาก rollout เดิมแต่จำกัดไม่ให้เปลี่ยนไกลเกินไป
PPO ใช้ probability ratio ระหว่าง policy ใหม่กับ policy ที่เก็บ rollout และ clipped surrogate objective จำกัดการอัปเดต พร้อม value loss และ entropy bonus ใน actor-critic training
ควรรู้มาก่อน Actor-Critic และ policy optimization