ml/ library Learn by doing
YOUR MACHINE LEARNING WORKBENCH

A little theory.
A lot of possibility.

เข้าใจไอเดีย ลองปรับโค้ด แล้วนำไปใช้จริง
คลัง Machine Learning ที่เริ่มจากความเข้าใจ ไม่ใช่แค่ copy & paste

LEVEL 1 — 4

เริ่มจากพื้นฐาน
แล้วต่อยอดตาม prerequisite

Algorithm catalog 120 / 120

เรียงตามเลขใน Learning Path · เปิดอ่านได้ครบทั้ง 120 เทคนิค
MACHINE LEARNING CATALOGRegression · Classification · Ensemble · Clustering
FILTER BY CATEGORY120 เทคนิค
LEVEL 1 พื้นฐานLEVEL 2 ต่อยอดโดยตรงLEVEL 3 ผสานหลายแนวคิดLEVEL 4 ขั้นสูง
SUPERVISED · REGRESSION
01LEVEL1พื้นฐาน

Linear Regression

ลากเส้นตรงให้ใกล้ข้อมูลมากที่สุด

โมเดลพื้นฐานสำหรับทำนายค่าตัวเลขและอธิบายว่าตัวแปรแต่ละตัวสัมพันธ์กับผลลัพธ์อย่างไร

ควรรู้มาก่อน สมการเส้นตรง ค่าเฉลี่ย และ error

Regression
SUPERVISED · CLASSIFICATION / REGRESSION
02LEVEL1พื้นฐาน

k-Nearest Neighbors

ถามเพื่อนบ้านที่อยู่ใกล้ที่สุด

ไม่สร้างสมการล่วงหน้า แต่เก็บข้อมูลฝึกไว้และทำนายจากตัวอย่างใกล้เคียง

ควรรู้มาก่อน ระยะห่างและการปรับสเกลข้อมูล

ClassificationRegression
SUPERVISED · CLASSIFICATION / REGRESSION
03LEVEL1พื้นฐาน

Decision Tree

เปลี่ยนข้อมูลให้เป็นชุดคำถาม

เรียนรู้เงื่อนไขแล้วแยกทางไปสู่คำตอบ เหมาะกับงานที่ต้องอธิบายเหตุผลได้

ควรรู้มาก่อน เงื่อนไขแบบ if–else

ClassificationRegression
SUPERVISED · CLASSIFICATION
04LEVEL1พื้นฐาน

Naive Bayes

รวมหลักฐานด้วยกฎของเบย์

คำนวณโอกาสของแต่ละคลาสโดยสมมติว่า feature เป็นอิสระกันเมื่อรู้คลาสแล้ว

ควรรู้มาก่อน ความน่าจะเป็นพื้นฐาน

Classification
UNSUPERVISED · CLUSTERING
05LEVEL1พื้นฐาน

K-Means Clustering

หากลุ่มที่ซ่อนอยู่ในข้อมูล

จับข้อมูลที่คล้ายกันมาอยู่ด้วยกัน โดยไม่ต้องบอกคำตอบล่วงหน้า เหมาะกับการแบ่งกลุ่มลูกค้าและค้นหาแพตเทิร์น

ควรรู้มาก่อน ระยะห่าง ค่าเฉลี่ย และ centroid

Clustering
UNSUPERVISED · CLUSTERING
06LEVEL1พื้นฐาน

Hierarchical Agglomerative Clustering

รวมจุดที่ใกล้กันขึ้นเป็นกลุ่มใหญ่ทีละคู่

Hierarchical Agglomerative Clustering เริ่มจากให้ทุกจุดเป็นกลุ่มของตัวเอง แล้วรวมกลุ่มที่ใกล้ที่สุดซ้ำ ๆ จนเหลือจำนวนกลุ่มที่ต้องการ ลำดับการรวมสามารถวาดเป็น dendrogram เพื่อดูโครงสร้างหลายระดับได้

ควรรู้มาก่อน ระยะห่างและ dendrogram

Clustering
UNSUPERVISED · DENSITY CLUSTERING
07LEVEL1พื้นฐาน

DBSCAN

หาบริเวณที่จุดอยู่หนาแน่นและแยกจุดรบกวนออก

DBSCAN สร้างกลุ่มจากจุดที่มีเพื่อนบ้านมากพอในรัศมี eps จึงหากลุ่มรูปร่างอิสระได้และกำหนดจุดโดดเดี่ยวเป็น noise โดยไม่ต้องระบุจำนวนกลุ่มล่วงหน้า

ควรรู้มาก่อน ระยะห่าง ความหนาแน่น และ neighborhood

Clustering
DIMENSIONALITY REDUCTION
08LEVEL1พื้นฐาน

Principal Component Analysis

หมุนแกนข้อมูลเพื่อเก็บทิศที่มีความแปรปรวนมากที่สุด

PCA สร้างแกนใหม่ที่ตั้งฉากกัน โดยแกนแรกเก็บความแปรปรวนมากที่สุดและแกนถัดไปเก็บส่วนที่เหลือ ช่วยย่อจำนวนคอลัมน์พร้อมรักษาโครงสร้างเชิงเส้นส่วนใหญ่ไว้

ควรรู้มาก่อน เวกเตอร์ variance และ covariance

Dimensionality Reduction
SUPERVISED · CLASSIFICATION
09LEVEL1พื้นฐาน

Perceptron

ขยับเส้นแบ่งทุกครั้งที่จำแนกตัวอย่างผิด

Perceptron เป็นตัวจำแนกเชิงเส้นที่คำนวณคะแนน w·x+b แล้วอัปเดตน้ำหนักเมื่อทายผิด เป็นรากฐานสำคัญของแนวคิด neural network แต่ตัวมันเองสร้างได้เพียงขอบเขตเส้นตรง

ควรรู้มาก่อน สมการเชิงเส้นและการอัปเดตน้ำหนัก

Classification
ASSOCIATION RULES
10LEVEL1พื้นฐาน

Apriori

ค้นหาสินค้าที่ปรากฏร่วมกันบ่อยจากตะกร้ารายการ

Apriori หา frequent itemsets โดยอาศัยกฎว่า ถ้าชุดใหญ่พบบ่อย ชุดย่อยทุกชุดต้องพบบ่อยด้วย จึงตัด candidate ที่เป็นไปไม่ได้ก่อนสร้างกฎ association

ควรรู้มาก่อน เซต ความถี่ support และ confidence

Association Rules
TIME SERIES · FORECASTING
11LEVEL1พื้นฐาน

Simple Exponential Smoothing

ให้น้ำหนักข้อมูลล่าสุดมากกว่าข้อมูลเก่าเพื่อพยากรณ์ระดับถัดไป

Simple Exponential Smoothing อัปเดตระดับด้วยค่าจริงล่าสุดและระดับเดิม โดย alpha ควบคุมว่าน้ำหนักจะเอนมาทางข้อมูลใหม่มากเพียงใด เหมาะกับอนุกรมที่ไม่มีแนวโน้มหรือฤดูกาลชัดเจน

ควรรู้มาก่อน ค่าเฉลี่ยถ่วงน้ำหนักและลำดับเวลา

Time Series
PROBABILISTIC MODEL
12LEVEL1พื้นฐาน

Markov Chain

ทำนายสถานะถัดไปจากสถานะปัจจุบันและโอกาสการเปลี่ยน

Markov Chain อธิบายระบบด้วย states และ transition matrix โดยสมมติว่าอนาคตถัดไปขึ้นกับสถานะปัจจุบัน เมื่อคูณการกระจายซ้ำหลายครั้งจะเห็นโอกาสของแต่ละสถานะในอนาคต

ควรรู้มาก่อน ความน่าจะเป็นแบบมีเงื่อนไขและ state

Probabilistic Model
STATISTICAL LEARNING
13LEVEL1พื้นฐาน

Maximum Likelihood Estimation

เลือกพารามิเตอร์ที่ทำให้ข้อมูลที่เห็นมีโอกาสเกิดสูงที่สุด

Maximum Likelihood Estimation กำหนดแบบจำลองความน่าจะเป็น แล้วหาพารามิเตอร์ที่ทำให้ likelihood ของข้อมูลสูงที่สุด มักรวม log-likelihood แทนการคูณความน่าจะเป็นเล็ก ๆ จำนวนมาก

ควรรู้มาก่อน ความน่าจะเป็น likelihood และ optimization

Statistical Learning
MODEL SELECTION
14LEVEL1พื้นฐาน

Grid Search

ลองค่าพารามิเตอร์ทุกชุดในตารางที่กำหนด

Grid Search แจกแจงค่าพารามิเตอร์เป็นตาราง ฝึกและประเมินทุก combination ด้วย cross-validation แล้วเลือกชุดที่ได้คะแนนเฉลี่ยดีที่สุด

ควรรู้มาก่อน validation set และ metric

Model Selection
MODEL SELECTION
15LEVEL1พื้นฐาน

Random Search

สุ่มชุดพารามิเตอร์จาก distribution ภายใต้งบที่กำหนด

Random Search สุ่ม hyperparameter combinations ตามจำนวน n_iter จึงกระจายการลองในพื้นที่กว้างและควบคุมงบได้ เหมาะเมื่อมีพารามิเตอร์หลายตัวหรือบางตัวสำคัญกว่าตัวอื่น

ควรรู้มาก่อน validation set distribution และ sampling

Model Selection
SUPERVISED · REGRESSION
16LEVEL2ต่อยอดโดยตรง

Polynomial Regression

ให้เส้นโค้งตามแพตเทิร์นของข้อมูล

ขยาย Linear Regression ด้วยกำลังของ feature เพื่อจับความสัมพันธ์ที่โค้ง โดยยังคงฝึกแบบเส้นตรงใน feature ใหม่

ควรรู้มาก่อน Linear Regression

Regression
SUPERVISED · REGRESSION
17LEVEL2ต่อยอดโดยตรง

Ridge Regression

คุมค่าน้ำหนักไม่ให้สุดโต่ง

Linear Regression ที่เพิ่มโทษ L2 เพื่อให้โมเดลนิ่งขึ้นเมื่อ feature จำนวนมากหรือสัมพันธ์กันเอง

ควรรู้มาก่อน Linear Regression และ L2 regularization

Regression
SUPERVISED · REGRESSION
18LEVEL2ต่อยอดโดยตรง

Lasso Regression

บีบน้ำหนักบางตัวให้เป็นศูนย์

Regression ที่ใช้โทษ L1 จึงช่วยเลือก feature ไปพร้อมกับการทำนาย

ควรรู้มาก่อน Linear Regression และ L1 regularization

Regression
SUPERVISED · REGRESSION
19LEVEL2ต่อยอดโดยตรง

Quantile Regression

ทำนายขอบล่าง กลาง หรือขอบบน

ประมาณ quantile ของผลลัพธ์แทนค่าเฉลี่ย จึงเห็นภาพการกระจายและรับมือ outlier ได้ดีขึ้น

ควรรู้มาก่อน Linear Regression และ loss function

Regression
SUPERVISED · CLASSIFICATION
20LEVEL2ต่อยอดโดยตรง

Logistic Regression

เปลี่ยนคะแนนให้เป็นความน่าจะเป็น

ตัวจำแนกพื้นฐานที่สร้างเส้นแบ่งเชิงเส้นและส่งออก probability ผ่านฟังก์ชัน logistic

ควรรู้มาก่อน Linear Regression และความน่าจะเป็น

Classification
SUPERVISED · CLASSIFICATION
21LEVEL2ต่อยอดโดยตรง

Linear Discriminant Analysis

หาแนวฉายที่แยกคลาสได้ชัดที่สุด

ใช้ค่าเฉลี่ยของคลาสและ covariance ร่วม เพื่อสร้างขอบเขตเส้นตรงที่แยกกลุ่ม

ควรรู้มาก่อน Naive Bayes, distribution และ covariance

Classification
ENSEMBLE LEARNING
22LEVEL2ต่อยอดโดยตรง

Bagging

ฝึกหลายโมเดลจากข้อมูลคนละชุดแล้วโหวต

ลด variance ด้วย bootstrap samples และรวมคำตอบจากโมเดลฐานหลายตัว

ควรรู้มาก่อน Decision Tree และ bootstrap sampling

EnsembleClassification
SUPERVISED · CLASSIFICATION / REGRESSION
23LEVEL2ต่อยอดโดยตรง

Weighted k-Nearest Neighbors

ให้เพื่อนบ้านที่ใกล้กว่า มีเสียงมากกว่า

ต่อยอด KNN ด้วยการถ่วงน้ำหนักตามระยะห่าง เพื่อให้ตัวอย่างที่คล้ายกันมากมีอิทธิพลมากขึ้น

ควรรู้มาก่อน k-Nearest Neighbors

ClassificationRegression
SUPERVISED · CLASSIFICATION / REGRESSION
24LEVEL2ต่อยอดโดยตรง

Radius Neighbors

ถามเฉพาะเพื่อนบ้านที่อยู่ในรัศมีที่กำหนด

ไม่บังคับจำนวนเพื่อนบ้าน ใช้ทุกจุดในระยะ radius จึงปรับจำนวนผู้โหวตตามความหนาแน่นของข้อมูล

ควรรู้มาก่อน k-Nearest Neighbors

ClassificationRegression
SUPERVISED · REGRESSION
25LEVEL2ต่อยอดโดยตรง

Regression Tree

ถามทีละข้อ แล้วตอบด้วยตัวเลขเฉลี่ยของกลุ่ม

ใช้โครงสร้างต้นไม้แบ่งข้อมูลเป็นบริเวณ แต่แต่ละใบให้ค่าต่อเนื่องแทนชื่อคลาส

ควรรู้มาก่อน Decision Tree และ Linear Regression

Regression
SUPERVISED · CLASSIFICATION
26LEVEL2ต่อยอดโดยตรง

Multinomial Naive Bayes

นับคำแล้วดูว่าข้อความน่าจะอยู่หมวดไหน

ใช้ความถี่ของ feature ที่ไม่ติดลบเป็นหลักฐานจำแนกคลาส เหมาะกับตารางจำนวนคำ

ควรรู้มาก่อน Gaussian Naive Bayes และข้อมูลแบบ count

Classification
SUPERVISED · CLASSIFICATION
27LEVEL2ต่อยอดโดยตรง

Bernoulli Naive Bayes

ดูทั้งคำที่มี และคำที่ไม่มี

แทน feature ด้วย 0/1 แล้วใช้การปรากฏและไม่ปรากฏเป็นหลักฐานของแต่ละคลาส

ควรรู้มาก่อน Gaussian Naive Bayes และข้อมูล binary

Classification
SUPERVISED · CLASSIFICATION
28LEVEL2ต่อยอดโดยตรง

Complement Naive Bayes

เรียนรู้หมวดหนึ่งจากเอกสารที่อยู่นอกหมวดนั้น

ใช้สถิติของคลาสอื่นรวมกันเพื่อสร้างน้ำหนักคำ ช่วยเป็นทางเลือกเมื่อจำนวนเอกสารแต่ละหมวดไม่สมดุล

ควรรู้มาก่อน Gaussian Naive Bayes ข้อมูลแบบ count และ class imbalance

Classification
UNSUPERVISED · CLUSTERING
29LEVEL2ต่อยอดโดยตรง

Mini Batch K-Means

ขยับศูนย์กลางทีละชุดเล็ก เพื่อทำงานกับข้อมูลจำนวนมาก

ประมาณคำตอบแบบ K-Means โดยใช้ mini batch ในการอัปเดต ลดงานต่อรอบแลกกับความคลาดเคลื่อนจากการสุ่ม

ควรรู้มาก่อน K-Means Clustering และ mini batch optimization

Clustering
UNSUPERVISED · CLUSTERING
30LEVEL2ต่อยอดโดยตรง

k-Medoids

เลือกสมาชิกจริงมาเป็นตัวแทนแต่ละกลุ่ม

ใช้ medoid ซึ่งเป็นจุดข้อมูลจริงแทนค่าเฉลี่ย และลดผลรวมระยะห่างถึงตัวแทน

ควรรู้มาก่อน K-Means Clustering และแนวคิด medoid

Clustering
SOFT CLUSTERING
31LEVEL2ต่อยอดโดยตรง

Fuzzy C-Means

ให้หนึ่งจุดเป็นสมาชิกหลายกลุ่มได้ด้วยน้ำหนักต่างกัน

Fuzzy C-Means แทน label เดียวด้วย membership ของทุกกลุ่ม โดยค่า m ควบคุมความฟุ้ง แล้วอัปเดต centroid จากค่าเฉลี่ยที่ถ่วงด้วย membership

ควรรู้มาก่อน K-Means Clustering และ soft membership

Clustering
CLUSTERING · DENSITY
32LEVEL2ต่อยอดโดยตรง

Gaussian Mixture Model

แทนข้อมูลด้วยการผสม Gaussian หลายก้อนพร้อมความน่าจะเป็นสมาชิก

Gaussian Mixture Model สมมติว่าข้อมูลเกิดจาก Gaussian หลาย component แล้วใช้ EM สลับคำนวณ responsibility กับอัปเดตค่าเฉลี่ย covariance และน้ำหนักผสม

ควรรู้มาก่อน K-Means และ Maximum Likelihood Estimation

ClusteringProbabilistic Model
DENSITY CLUSTERING
33LEVEL2ต่อยอดโดยตรง

OPTICS

เรียงจุดตามโครงสร้างความหนาแน่นเพื่อดูกลุ่มหลายระดับ

OPTICS สร้าง ordering และ reachability distance แทนการยึด eps ค่าเดียว ทำให้สำรวจกลุ่มที่มีความหนาแน่นต่างกันและดึง cluster จากโครงสร้างภายหลังได้

ควรรู้มาก่อน DBSCAN และ reachability distance

Clustering
DENSITY CLUSTERING
34LEVEL2ต่อยอดโดยตรง

Mean Shift

เลื่อนจุดตัวแทนขึ้นเนินความหนาแน่นจนถึงยอด

Mean Shift วางหน้าต่างรอบตำแหน่งแล้วเลื่อนไปยังค่าเฉลี่ยของจุดในหน้าต่างซ้ำ ๆ ตำแหน่งที่ลู่เข้าสู่ยอดเดียวกันจะอยู่กลุ่มเดียวกัน

ควรรู้มาก่อน K-Means และ density estimation

Clustering
HIERARCHICAL CLUSTERING
35LEVEL2ต่อยอดโดยตรง

BIRCH

สรุปข้อมูลทีละแถวเป็นต้นไม้ย่อยก่อนจัดกลุ่ม

BIRCH สร้าง Clustering Feature Tree ที่เก็บจำนวน ผลรวม และผลรวมกำลังสองของจุดใน subcluster จึงประมวลผลข้อมูลจำนวนมากแบบ incremental ได้

ควรรู้มาก่อน Hierarchical Clustering และ summary tree

Clustering
DIMENSIONALITY REDUCTION
36LEVEL2ต่อยอดโดยตรง

Independent Component Analysis

แยกสัญญาณผสมออกเป็นแหล่งที่เป็นอิสระต่อกัน

ICA หา linear components ที่เป็นอิสระทางสถิติมากที่สุด ไม่ได้เพียงตั้งฉากหรือมี variance สูง เหมาะกับโจทย์ blind source separation

ควรรู้มาก่อน Principal Component Analysis และ independence

Dimensionality Reduction
DIMENSIONALITY REDUCTION
37LEVEL2ต่อยอดโดยตรง

Nonnegative Matrix Factorization

แยกตารางไม่ติดลบเป็นส่วนประกอบที่บวกกันได้

NMF ประมาณ X≈WH โดยบังคับ W และ H ไม่ติดลบ จึงมักได้ representation แบบส่วนประกอบ เช่น เอกสารหนึ่งผสมหลายหัวข้อด้วยน้ำหนักบวก

ควรรู้มาก่อน Principal Component Analysis และ matrix factorization

Dimensionality Reduction
DIMENSIONALITY REDUCTION
38LEVEL2ต่อยอดโดยตรง

Truncated Singular Value Decomposition

ย่อตาราง sparse โดยไม่ต้องลบค่าเฉลี่ยก่อน

Truncated SVD เก็บ singular vectors ที่สำคัญเพียงจำนวนหนึ่ง ใช้กับ sparse matrix ได้โดยตรงและเป็นพื้นฐานของ Latent Semantic Analysis สำหรับข้อความ

ควรรู้มาก่อน Principal Component Analysis และ SVD

Dimensionality Reduction
ASSOCIATION RULES
39LEVEL2ต่อยอดโดยตรง

FP Growth

บีบธุรกรรมเป็น FP-tree เพื่อหาชุดที่พบบ่อยโดยไม่สร้าง candidate ทุกชุด

FP Growth นับสินค้าที่พบบ่อย เรียงธุรกรรมตามความถี่ แล้วอัด prefix ที่ซ้ำลง FP-tree จากนั้นขุด conditional pattern bases เพื่อหา frequent itemsets

ควรรู้มาก่อน Apriori และ frequent itemsets

Association Rules
REGRESSION · CLASSIFICATION
40LEVEL2ต่อยอดโดยตรง

Generalized Linear Model

เชื่อมผลรวมเชิงเส้นกับ distribution ที่เหมาะกับชนิดคำตอบ

Generalized Linear Model ขยาย linear regression ด้วย exponential-family distribution และ link function จึงรองรับคำตอบแบบจำนวนครั้ง สัดส่วน หรือค่าบวก พร้อมคงโครงสร้างน้ำหนักที่อธิบายได้

ควรรู้มาก่อน Linear Regression probability distribution และ link function

RegressionClassification
TIME SERIES · TREND FORECASTING
41LEVEL2ต่อยอดโดยตรง

Holt Linear Trend

แยกระดับปัจจุบันออกจากแนวโน้มที่กำลังเพิ่มหรือลด

Holt Linear Trend เพิ่มองค์ประกอบแนวโน้มให้ exponential smoothing จึงอัปเดตทั้งระดับของอนุกรมและความชันในแต่ละช่วงเวลา แล้วนำสองส่วนมารวมกันเพื่อพยากรณ์อนาคตหลายก้าว

ควรรู้มาก่อน Simple Exponential Smoothing และ trend

Time Series
TIME SERIES · AUTOREGRESSION
42LEVEL2ต่อยอดโดยตรง

Autoregressive Model

ใช้ค่าหลายช่วงก่อนหน้าเป็นตัวแปรเพื่อทำนายค่าถัดไป

Autoregressive Model หรือ AR(p) สร้างสมการเชิงเส้นจากค่า lag ของอนุกรมเดียวกัน โดย p ระบุว่าต้องย้อนกลับไปกี่ช่วงเพื่ออธิบายค่าปัจจุบัน

ควรรู้มาก่อน ลำดับเวลา lag และ Linear Regression

Time Series
TIME SERIES · RESIDUAL MODEL
43LEVEL2ต่อยอดโดยตรง

Moving Average Model

อธิบายค่าปัจจุบันด้วยความผิดพลาดที่เกิดขึ้นในช่วงก่อนหน้า

Moving Average Model หรือ MA(q) ใช้ shock หรือ residual ย้อนหลัง q ช่วงเป็นส่วนประกอบของค่าปัจจุบัน จึงต่างจากค่าเฉลี่ยเลื่อนหน้าต่างที่ใช้ปรับเส้นให้เรียบ

ควรรู้มาก่อน ลำดับเวลา residual และ autocorrelation

Time Series
STATE SPACE MODEL
44LEVEL2ต่อยอดโดยตรง

Kalman Filter

รวมค่าคาดจากระบบกับค่าที่เซนเซอร์วัดตามระดับความไม่แน่นอน

Kalman Filter ติดตาม state ที่มองไม่เห็นด้วยสองขั้นตอน คือ predict จากสมการการเคลื่อนที่และ update จาก observation โดยให้น้ำหนักตาม covariance ของความไม่แน่นอน

ควรรู้มาก่อน Linear Regression Gaussian distribution และ Markov Chain

Probabilistic ModelTime Series
REINFORCEMENT LEARNING
45LEVEL2ต่อยอดโดยตรง

Q-Learning

เรียนค่าของแต่ละการกระทำจากรางวัลจริงโดยไม่ต้องรู้สมการของโลก

Q-Learning เป็นวิธี reinforcement learning แบบ off-policy ที่อัปเดตค่า Q(s,a) ด้วย reward และค่าดีที่สุดของ state ถัดไป เพื่อค่อย ๆ สร้างนโยบายเลือกการกระทำ

ควรรู้มาก่อน Markov Chain reward และ value function

Statistical Learning
NEURAL NETWORK · CLASSIFICATION / REGRESSION
46LEVEL2ต่อยอดโดยตรง

Multilayer Perceptron

ประกอบฟังก์ชันเล็ก ๆ ให้เรียนรู้รูปทรงซับซ้อน

โครงข่ายประสาทแบบ feed-forward ที่มี hidden layers และเรียนรู้น้ำหนักด้วย backpropagation

ควรรู้มาก่อน Perceptron, Linear Regression และ gradient descent

Neural NetworkClassification
SUPERVISED · REGRESSION
47LEVEL3ผสานหลายแนวคิด

Elastic Net

ผสมข้อดีของ Ridge และ Lasso

ใช้ทั้ง L1 และ L2 เพื่อเลือก feature พร้อมรักษาเสถียรภาพเมื่อ feature คล้ายกัน

ควรรู้มาก่อน Ridge Regression และ Lasso Regression

Regression
SUPERVISED · REGRESSION
48LEVEL3ผสานหลายแนวคิด

Bayesian Regression

ทำนายพร้อมบอกความไม่แน่นอน

มองค่าน้ำหนักเป็นการกระจายความน่าจะเป็น แล้วอัปเดตความเชื่อเมื่อเห็นข้อมูล

ควรรู้มาก่อน Linear Regression, Naive Bayes และ Bayes theorem

Regression
SUPERVISED · REGRESSION / CLASSIFICATION
49LEVEL3ผสานหลายแนวคิด

Generalized Additive Model

รวมเส้นโค้งเล็ก ๆ ที่ยังอธิบายได้

สร้างผลลัพธ์จากผลรวมฟังก์ชันเรียบของแต่ละ feature จับ nonlinear pattern โดยยังดูผลของแต่ละตัวแปรได้

ควรรู้มาก่อน Polynomial Regression และ Ridge Regression

RegressionClassification
SUPERVISED · CLASSIFICATION
50LEVEL3ผสานหลายแนวคิด

Quadratic Discriminant Analysis

ให้แต่ละคลาสมีรูปทรงของตัวเอง

คล้าย LDA แต่ประมาณ covariance แยกต่อคลาส จึงสร้างขอบเขตโค้งได้

ควรรู้มาก่อน Linear Discriminant Analysis

Classification
SUPERVISED · CLASSIFICATION / REGRESSION
51LEVEL3ผสานหลายแนวคิด

Support Vector Machine

หาเส้นแบ่งที่มีพื้นที่ปลอดภัยกว้างที่สุด

เน้นตัวอย่างที่อยู่ใกล้ขอบเขตและสร้าง margin ระหว่างคลาส สามารถใช้ kernel เพื่อสร้างขอบเขตโค้ง

ควรรู้มาก่อน Logistic Regression, vector และระยะห่าง

ClassificationRegression
ENSEMBLE · CLASSIFICATION / REGRESSION
52LEVEL3ผสานหลายแนวคิด

Random Forest

รวมต้นไม้ที่เห็นข้อมูลและ feature ต่างกัน

Bagging ของ Decision Trees ที่สุ่มทั้งแถวข้อมูลและ feature เพื่อลดความเหมือนกันของต้นไม้

ควรรู้มาก่อน Decision Tree และ Bagging

EnsembleClassification
ENSEMBLE · CLASSIFICATION / REGRESSION
53LEVEL3ผสานหลายแนวคิด

Extra Trees

เพิ่มความสุ่มให้ต้นไม้แตกต่างกันยิ่งขึ้น

Extremely Randomized Trees สุ่ม threshold เพิ่มเติม แล้วรวมต้นไม้จำนวนมากเพื่อลด variance

ควรรู้มาก่อน Decision Tree และ Bagging

EnsembleClassification
ENSEMBLE · BOOSTING
54LEVEL3ผสานหลายแนวคิด

AdaBoost

ให้โมเดลตัวถัดไปสนใจตัวอย่างที่ชุดก่อนทายผิดมากขึ้น

AdaBoost ฝึก weak learners ต่อกัน โดยเพิ่มน้ำหนักให้ตัวอย่างที่จำแนกผิดและรวมคำตอบของผู้เรียนแต่ละตัวตามความน่าเชื่อถือ

ควรรู้มาก่อน Decision Tree weighted error และ iterative learning

EnsembleClassification
ENSEMBLE · BOOSTING
55LEVEL3ผสานหลายแนวคิด

Gradient Boosting

เพิ่มต้นไม้ทีละต้นเพื่อแก้ทิศทางความผิดพลาดของชุดปัจจุบัน

Gradient Boosting สร้าง additive model แบบลำดับ โดยต้นไม้ใหม่ประมาณ negative gradient ของ loss แล้วเพิ่มเข้าคำทำนายเดิมด้วย learning rate

ควรรู้มาก่อน Decision Tree Regression Tree และ residual

EnsembleClassification
ENSEMBLE · VOTING
56LEVEL3ผสานหลายแนวคิด

Voting Ensemble

รวมคำตอบจากโมเดลหลายชนิดด้วยเสียงข้างมากหรือค่าเฉลี่ยความน่าจะเป็น

Voting Ensemble ฝึกโมเดลฐานหลายแบบแบบขนาน แล้วใช้ hard vote จาก label หรือ soft vote จาก probability เพื่อลดความเสี่ยงจากจุดอ่อนของโมเดลใดโมเดลหนึ่ง

ควรรู้มาก่อน โมเดล Classification อย่างน้อยสองแบบ

EnsembleClassification
ENSEMBLE · META LEARNING
57LEVEL3ผสานหลายแนวคิด

Stacking

ให้โมเดลชั้นบนเรียนว่าจะเชื่อคำทำนายของโมเดลฐานแบบใดในแต่ละกรณี

Stacking ใช้ out-of-fold predictions จากโมเดลฐานเป็น feature ให้ final estimator จึงเรียนวิธีผสมคำตอบที่ยืดหยุ่นกว่าค่าเฉลี่ยคงที่

ควรรู้มาก่อน Bagging supervised models cross validation และ meta model

EnsembleClassification
ENSEMBLE · FEATURE SAMPLING
58LEVEL3ผสานหลายแนวคิด

Random Subspace Method

ให้สมาชิกแต่ละตัวเห็น feature คนละชุดเพื่อสร้างความหลากหลาย

Random Subspace Method ฝึก base estimators บนชุดย่อยของคอลัมน์ที่สุ่มต่างกัน แล้วรวมคำทำนาย ช่วยลดความสัมพันธ์ของความผิดพลาดระหว่างสมาชิก

ควรรู้มาก่อน Bagging และ feature sampling

EnsembleClassification
REGRESSION · SUPERVISED PROJECTION
59LEVEL3ผสานหลายแนวคิด

Partial Least Squares Regression

สร้างแกนย่อที่มองทั้งความแปรปรวนของ X และความสัมพันธ์กับ y

PLS Regression หา latent components จาก X ที่มี covariance กับ target สูง แล้วถดถอย y บนแกนเหล่านั้น จึงเหมาะเมื่อ feature มากและสัมพันธ์กันสูง

ควรรู้มาก่อน Linear Regression และ Principal Component Analysis

RegressionDimensionality Reduction
MULTIVARIATE ANALYSIS
60LEVEL3ผสานหลายแนวคิด

Canonical Correlation Analysis

หาแกนเชิงเส้นคู่หนึ่งจากตัวแปรสองชุดให้มี correlation สูงที่สุด

CCA สร้าง canonical variates จาก X และ Y คนละชุด โดยเลือกน้ำหนักให้คะแนนสองฝั่งสัมพันธ์กันสูง แล้วหาแกนคู่ถัดไปที่ไม่ซ้ำกับคู่เดิม

ควรรู้มาก่อน Linear Regression Principal Component Analysis และ covariance

Dimensionality ReductionStatistical Learning
ROBUST REGRESSION
61LEVEL3ผสานหลายแนวคิด

Huber Regression

ใช้ squared loss กับจุดใกล้เส้นและลดอิทธิพลของ residual ที่ใหญ่มาก

Huber Regression ผสม quadratic loss สำหรับ residual เล็กกับ linear loss สำหรับ residual ใหญ่ จึงรักษาความเรียบของ least squares พร้อมทน outlier มากขึ้น

ควรรู้มาก่อน Linear Regression และ robust loss

RegressionStatistical Learning
ROBUST REGRESSION · RANDOM SAMPLE CONSENSUS
62LEVEL3ผสานหลายแนวคิด

RANSAC Regression

สุ่มกลุ่มเล็กมาสร้างเส้นแล้วนับว่ามีจุดใดเห็นด้วยกับเส้นนั้น

RANSAC สุ่ม minimal subset เพื่อ fit โมเดลซ้ำหลายครั้ง แล้วเลือกโมเดลที่มี inliers สอดคล้องมากที่สุด ก่อน refit จากกลุ่ม consensus

ควรรู้มาก่อน Linear Regression และ random sampling

RegressionStatistical Learning
ROBUST REGRESSION
63LEVEL3ผสานหลายแนวคิด

Theil Sen Regression

ใช้ค่ากลางของความชันจากหลายคู่แทนการให้จุดสุดโต่งดึงเส้น

Theil Sen ประมาณความชันอย่าง robust จาก median ของ slopes ระหว่างคู่จุด และขยายแนวคิดด้วย subsamples เมื่อมีหลาย feature

ควรรู้มาก่อน Linear Regression median และ pairwise slope

RegressionStatistical Learning
COUNT REGRESSION · GLM
64LEVEL3ผสานหลายแนวคิด

Poisson Regression

ทำนายค่าเฉลี่ยของจำนวนเหตุการณ์ด้วย log link เพื่อให้ผลไม่ติดลบ

Poisson Regression สมมติ target เป็น count และใช้ log link เชื่อม linear predictor กับค่าเฉลี่ย μ ทำให้ coefficient ตีความเป็นอัตราส่วนแบบคูณได้

ควรรู้มาก่อน Generalized Linear Model และ Poisson distribution

RegressionStatistical Learning
COUNT REGRESSION · OVERDISPERSION
65LEVEL3ผสานหลายแนวคิด

Negative Binomial Regression

ขยาย Poisson ให้ความแปรปรวนของ count สูงกว่าค่าเฉลี่ยได้

Negative Binomial Regression ใช้ log link เหมือน Poisson แต่เพิ่ม dispersion parameter เพื่อรองรับความผันผวนส่วนเกินและกลุ่มที่มี rate แฝงต่างกัน

ควรรู้มาก่อน Generalized Linear Model และ overdispersion

RegressionStatistical Learning
POSITIVE VALUE REGRESSION · GLM
66LEVEL3ผสานหลายแนวคิด

Gamma Regression

ทำนายค่าบวกที่เบ้ขวาและมีความแปรปรวนเพิ่มตามค่าเฉลี่ย

Gamma Regression เป็น GLM สำหรับ target ต่อเนื่องที่มากกว่าศูนย์ โดยมักใช้ log link เพื่อให้ค่าทำนายเป็นบวกและตีความ coefficient แบบอัตราส่วน

ควรรู้มาก่อน Generalized Linear Model และ Gamma distribution

RegressionStatistical Learning
SURVIVAL ANALYSIS
67LEVEL3ผสานหลายแนวคิด

Cox Proportional Hazards

เปรียบเทียบอัตราเกิดเหตุการณ์โดยยังใช้ข้อมูลที่ติดตามไม่ถึงเหตุการณ์

Cox model เชื่อม covariates กับ hazard ratio แบบกึ่งพารามิเตอร์ ใช้ partial likelihood ประมาณ coefficients โดยไม่ต้องกำหนดรูป baseline hazard

ควรรู้มาก่อน Linear Regression likelihood และ censoring

RegressionProbabilistic Model
SURVIVAL ANALYSIS · TREE
68LEVEL3ผสานหลายแนวคิด

Survival Tree

แบ่งกลุ่มด้วยเงื่อนไขที่ทำให้เส้นการรอดชีวิตของลูกต่างกันมากที่สุด

Survival Tree ปรับ decision tree ให้ใช้ duration กับ censoring โดยเลือก split จากความแตกต่างของ survival distributions และให้ survival function ต่อใบ

ควรรู้มาก่อน Decision Tree และ survival analysis

RegressionProbabilistic Model
MANIFOLD LEARNING
69LEVEL3ผสานหลายแนวคิด

Locally Linear Embedding

รักษาวิธีที่แต่ละจุดประกอบจากเพื่อนบ้านเมื่อย้ายลงสู่มิติต่ำ

Locally Linear Embedding หรือ LLE หาเพื่อนบ้านของแต่ละจุด คำนวณน้ำหนัก reconstruction ในพื้นที่เดิม แล้ววางจุดในมิติต่ำให้คงน้ำหนักเหล่านั้นไว้

ควรรู้มาก่อน k-Nearest Neighbors และ Principal Component Analysis

Dimensionality Reduction
MANIFOLD LEARNING
70LEVEL3ผสานหลายแนวคิด

Isomap

คลี่ข้อมูลโค้งด้วยระยะทางที่เดินไปตามผิวข้อมูล

Isomap สร้างกราฟเพื่อนบ้าน วัดระยะ geodesic ด้วยเส้นทางสั้นที่สุด แล้วฝังจุดลงในมิติต่ำให้ระยะเหล่านั้นใกล้เคียงเดิม จึงรักษาโครงสร้างขนาดใหญ่ของ manifold ได้

ควรรู้มาก่อน kNN, shortest path และ PCA

Manifold LearningDimensionality Reduction
MANIFOLD LEARNING
71LEVEL3ผสานหลายแนวคิด

Multidimensional Scaling

วางจุดบนแผนที่ให้ระยะคู่ใกล้กับระยะเดิม

MDS หา coordinates ในมิติต่ำที่ทำให้ระยะระหว่างจุดใกล้กับ dissimilarity ที่กำหนด โดยลดค่า stress ของระยะทุกคู่

ควรรู้มาก่อน เมทริกซ์ระยะห่างและ PCA

Manifold LearningDimensionality Reduction
CLUSTERING · GRAPH
72LEVEL3ผสานหลายแนวคิด

Spectral Clustering

ตัดกราฟความคล้ายเพื่อแยกกลุ่มรูปร่างโค้ง

Spectral Clustering แปลงความคล้ายเป็นกราฟ ใช้ eigenvectors ของ graph Laplacian เป็นพิกัดใหม่ แล้วจัดกลุ่มในพื้นที่นั้น จึงแยกกลุ่มที่ไม่เป็นก้อนได้

ควรรู้มาก่อน K-Means, PCA และ graph Laplacian

ClusteringManifold Learning
VISUALIZATION · MANIFOLD
73LEVEL3ผสานหลายแนวคิด

t-SNE

วางเพื่อนบ้านใกล้กันเพื่อสร้างภาพข้อมูลมิติสูง

t-SNE เปลี่ยนความคล้ายในมิติสูงและต่ำเป็นความน่าจะเป็น แล้วลด KL divergence โดยเน้นรักษาเพื่อนบ้านเฉพาะที่ เหมาะกับการสำรวจภาพ 2 มิติ

ควรรู้มาก่อน kNN, probability และ PCA

Manifold LearningDimensionality Reduction
VISUALIZATION · MANIFOLD
74LEVEL3ผสานหลายแนวคิด

UMAP

สร้างแผนที่มิติต่ำจากกราฟเพื่อนบ้านแบบ fuzzy

UMAP สร้าง weighted nearest-neighbor graph แล้วปรับ embedding ให้โครงสร้างกราฟในมิติต่ำคล้ายต้นฉบับ จึงใช้สำรวจข้อมูลและแปลงข้อมูลใหม่ได้

ควรรู้มาก่อน kNN graph และ manifold

Manifold LearningDimensionality Reduction
NEURAL CLUSTERING
75LEVEL3ผสานหลายแนวคิด

Self-Organizing Map

จัดหน่วยประสาทเป็นตารางที่เพื่อนบ้านเรียนรู้พร้อมกัน

SOM หา best matching unit แล้วขยับทั้งหน่วยนั้นและเพื่อนบนตารางเข้าหาตัวอย่าง รัศมีที่ค่อย ๆ ลดลงช่วยรักษาความเป็นเพื่อนบ้านของข้อมูล

ควรรู้มาก่อน K-Means และ Perceptron

Neural NetworkClustering
SEQUENCE MODEL
76LEVEL3ผสานหลายแนวคิด

Hidden Markov Model

อนุมานสถานะที่มองไม่เห็นจากลำดับสิ่งที่สังเกตได้

HMM สมมติว่าสถานะซ่อนเปลี่ยนตาม Markov chain และแต่ละสถานะสร้าง observation ตาม emission distribution จึงคำนวณ likelihood ถอดสถานะ และเรียนพารามิเตอร์ได้

ควรรู้มาก่อน Markov Chain, MLE และ Naive Bayes

Sequence ModelProbabilistic Model
TIME SERIES
77LEVEL3ผสานหลายแนวคิด

ARMA

รวมอิทธิพลจากค่าเก่ากับ shock ที่โมเดลเคยพลาด

ARMA(p,q) อธิบายอนุกรม stationary ด้วย lag ของค่าตัวเองและ lag ของ residual จึงรวมความต่อเนื่องของสัญญาณกับผลกระทบจาก shock ระยะสั้น

ควรรู้มาก่อน Autoregressive และ Moving Average

Time Series
TIME SERIES · SEASONAL
78LEVEL3ผสานหลายแนวคิด

Holt-Winters

อัปเดตระดับ แนวโน้ม และฤดูกาลพร้อมกัน

Holt-Winters หรือ triple exponential smoothing แยกอนุกรมเป็น level, trend และ seasonal component แล้วอัปเดตแต่ละส่วนแบบถ่วงน้ำหนักเพื่อพยากรณ์ตามรอบ

ควรรู้มาก่อน Holt Linear Trend และ seasonality

Time Series
ANOMALY DETECTION
79LEVEL3ผสานหลายแนวคิด

Isolation Forest

แยกจุดผิดปกติด้วยการสุ่มตัดเพียงไม่กี่ครั้ง

Isolation Forest สุ่ม feature และจุดตัดสร้างต้นไม้หลายต้น จุดที่โดดเดี่ยวมักถูกแยกด้วย path สั้น จึงได้ anomaly score โดยไม่ต้องประมาณความหนาแน่น

ควรรู้มาก่อน Decision Tree และ Bagging

Anomaly DetectionEnsemble
ANOMALY DETECTION
80LEVEL3ผสานหลายแนวคิด

Local Outlier Factor

เปรียบเทียบความหนาแน่นของจุดกับเพื่อนบ้านใกล้เคียง

LOF วัด local reachability density แล้วเทียบกับเพื่อนบ้าน จุดที่เบาบางกว่าบริเวณรอบตัวมากจะได้คะแนน outlier สูง จึงรับมือกลุ่มที่ความหนาแน่นต่างกันได้

ควรรู้มาก่อน kNN และ local density

Anomaly Detection
REPRESENTATION LEARNING
81LEVEL3ผสานหลายแนวคิด

Autoencoder

บีบข้อมูลผ่านคอขวดแล้วฝึกให้สร้างข้อมูลเดิมกลับมา

Autoencoder มี encoder แปลง input เป็น latent code และ decoder สร้าง input คืน การลด reconstruction loss บังคับให้ latent เก็บโครงสร้างสำคัญของข้อมูล

ควรรู้มาก่อน MLP และ PCA

Deep LearningNeural Network
DEEP LEARNING · VISION
82LEVEL3ผสานหลายแนวคิด

Convolutional Neural Network

เลื่อน filter เดียวกันทั่วภาพเพื่อจับลวดลายเฉพาะที่

CNN ใช้ convolution kernels แชร์น้ำหนักทั่วตำแหน่ง สร้าง feature maps จากขอบและพื้นผิว ก่อนรวมเป็นรูปแบบระดับสูงสำหรับจำแนกหรือพยากรณ์

ควรรู้มาก่อน MLP, convolution และ image tensor

Deep LearningNeural Network
DEEP LEARNING · SEQUENCE
83LEVEL3ผสานหลายแนวคิด

Recurrent Neural Network

ส่ง hidden state จากช่วงก่อนหน้าไปช่วยอ่านช่วงถัดไป

RNN ประมวลผลลำดับทีละขั้นและอัปเดต hidden state ด้วย input ปัจจุบันกับ state เดิม จึงแชร์น้ำหนักข้ามเวลาและเก็บบริบทของลำดับ

ควรรู้มาก่อน MLP และ Autoregressive Model

Deep LearningNeural Network
SUPERVISED · REGRESSION / CLASSIFICATION
84LEVEL4ขั้นสูง

Gaussian Process

สร้างเส้นทำนายพร้อมช่วงความมั่นใจ

โมเดลแบบความน่าจะเป็นที่นิยามความคล้ายของจุดด้วย kernel และให้ distribution ของฟังก์ชันที่เป็นไปได้

ควรรู้มาก่อน Bayesian Regression, kernel และ covariance

RegressionClassification
CLASSIFICATION · KERNEL
85LEVEL4ขั้นสูง

Kernel Support Vector Machine

สร้างขอบเขตโค้งโดยคำนวณความคล้ายในพื้นที่แฝง

Kernel SVM แทน inner product ด้วย kernel จึงหา maximum-margin hyperplane ใน feature space มิติสูงโดยไม่สร้าง feature ทั้งหมดตรง ๆ

ควรรู้มาก่อน Linear SVM และ kernel trick

ClassificationStatistical Learning
REGRESSION · MARGIN
86LEVEL4ขั้นสูง

Support Vector Regression

สร้างท่อรอบเส้นทำนายและไม่ลงโทษจุดที่อยู่ในท่อ

SVR ใช้ epsilon-insensitive loss หาเส้นที่แบนและยอมรับ residual ภายในท่อ epsilon โดยมีเฉพาะจุดนอกหรือบนขอบท่อเป็น support vectors

ควรรู้มาก่อน Linear Regression และ SVM

RegressionStatistical Learning
REGRESSION · KERNEL
87LEVEL4ขั้นสูง

Kernel Ridge Regression

ทำ Ridge ในพื้นที่ feature ที่ kernel นิยามไว้

Kernel Ridge รวม squared loss กับ L2 regularization และ kernel trick ได้คำตอบแบบปิดใน dual space จึงสร้างเส้นโค้งเรียบจาก similarity กับตัวอย่างฝึกทั้งหมด

ควรรู้มาก่อน Ridge Regression และ kernel methods

RegressionStatistical Learning
MULTICLASS CLASSIFICATION
88LEVEL4ขั้นสูง

Error-Correcting Output Codes

แทนแต่ละคลาสด้วยรหัสหลายบิตเพื่อทนต่อ classifier ที่พลาดบางตัว

ECOC กำหนด codeword ให้แต่ละคลาส ฝึก binary classifier หนึ่งตัวต่อคอลัมน์ของ code matrix แล้วเลือกคลาสที่รหัสทำนายใกล้ที่สุด

ควรรู้มาก่อน Logistic Regression หรือ SVM

ClassificationEnsemble
ENSEMBLE · GRADIENT BOOSTING
89LEVEL4ขั้นสูง

XGBoost

ต่อยอดต้นไม้ด้วย gradient ลำดับสองและค่าปรับความซับซ้อน

XGBoost เพิ่มต้นไม้ทีละต้นจาก gradient และ Hessian ของ loss พร้อม regularization, shrinkage และ subsampling จึงเป็น boosting ที่เร็วและคุม overfitting ได้ละเอียด

ควรรู้มาก่อน Gradient Boosting, regularization และ tree split

EnsembleClassification
ENSEMBLE · GRADIENT BOOSTING
90LEVEL4ขั้นสูง

LightGBM

แบ่งค่าลง histogram และขยายใบที่ลด loss ได้มากที่สุด

LightGBM ใช้ histogram-based splits และเติบโตแบบ leaf-wise ทำให้ฝึกเร็วบนข้อมูลใหญ่ พร้อมรองรับ categorical features และการสุ่มข้อมูล

ควรรู้มาก่อน Gradient Boosting, histogram และ leaf-wise growth

EnsembleClassification
ENSEMBLE · CATEGORICAL BOOSTING
91LEVEL4ขั้นสูง

CatBoost

เรียนรู้ตัวแปรหมวดหมู่โดยลด target leakage จากลำดับข้อมูล

CatBoost ใช้ ordered target statistics และ ordered boosting พร้อม symmetric trees เพื่อจัดการ categorical features โดยตรงและลด prediction shift

ควรรู้มาก่อน Gradient Boosting และ categorical encoding

EnsembleClassification
ENSEMBLE · HISTOGRAM BOOSTING
92LEVEL4ขั้นสูง

Histogram Gradient Boosting

เร่ง boosting ด้วยการหาจุดแบ่งจากกล่องค่าจำนวนจำกัด

Histogram Gradient Boosting bin feature ต่อเนื่องก่อนสร้างต้นไม้ ทำให้ประเมิน split เร็ว ใช้หน่วยความจำน้อย และรองรับ missing values ได้

ควรรู้มาก่อน Gradient Boosting และ histogram binning

EnsembleClassification
DEEP LEARNING · SEQUENCE
93LEVEL4ขั้นสูง

Sequence to Sequence

แปลงลำดับความยาวหนึ่งเป็นอีกลำดับที่ความยาวต่างกัน

Seq2Seq ใช้ encoder อ่าน input sequence เป็น representation และ decoder สร้าง output ทีละตำแหน่ง โดยฝึกจาก token เป้าหมายก่อนหน้าและใช้ autoregressive decoding ตอนทำนาย

ควรรู้มาก่อน RNN และ encoder-decoder

Deep LearningSequence Model
DEEP LEARNING · ATTENTION
94LEVEL4ขั้นสูง

Attention Mechanism

ให้อีกตำแหน่งเลือกว่าจะอ่านข้อมูลส่วนใดมากเป็นพิเศษ

Attention คำนวณ similarity ระหว่าง query กับ keys ใช้ softmax เป็นน้ำหนัก แล้วรวม values เป็น context vector จึงเข้าถึงข้อมูลหลายตำแหน่งโดยตรง

ควรรู้มาก่อน RNN, dot product และ softmax

Deep LearningSequence Model
REPRESENTATION LEARNING · GRAPH
95LEVEL4ขั้นสูง

Graph Embedding

เปลี่ยนโหนดในเครือข่ายเป็นเวกเตอร์ที่รักษาความสัมพันธ์

Graph embedding เรียนเวกเตอร์ต่อโหนดจาก adjacency, random walks หรือ message passing เพื่อให้โหนดที่เชื่อมโยงหรือมีบริบทคล้ายกันอยู่ใกล้กันใน latent space

ควรรู้มาก่อน Spectral Clustering, graph และ MLP

Graph LearningDimensionality Reduction
RECOMMENDER SYSTEM
96LEVEL4ขั้นสูง

Matrix Factorization Recommender

แยกตารางคะแนนเป็นรสนิยมผู้ใช้กับคุณลักษณะแฝงของสินค้า

Matrix factorization ประมาณ rating matrix ด้วยผลคูณของ user และ item latent vectors เรียนเฉพาะช่องที่สังเกตและ regularize เวกเตอร์เพื่อเติมคะแนนที่หายไป

ควรรู้มาก่อน Truncated SVD และ gradient descent

Recommender SystemDimensionality Reduction
RECOMMENDER SYSTEM
97LEVEL4ขั้นสูง

Neighborhood Collaborative Filtering

แนะนำจากผู้ใช้หรือสินค้าที่มีรูปแบบคะแนนคล้ายกัน

Neighborhood CF คำนวณ similarity ระหว่างผู้ใช้หรือสินค้า เลือกเพื่อนบ้านที่มี overlap แล้วเฉลี่ยคะแนนแบบถ่วงน้ำหนักเพื่อทำนายคู่ที่ยังไม่เคยเห็น

ควรรู้มาก่อน kNN และ similarity

Recommender System
RECOMMENDER · INTERACTIONS
98LEVEL4ขั้นสูง

Factorization Machines

เรียน interaction ของ feature แบบ sparse ด้วยเวกเตอร์แฝง

Factorization Machine เพิ่มผลคูณ feature ทุกคู่ให้ linear model แต่แทนน้ำหนัก interaction ด้วย dot product ของ latent vectors จึงเรียนคู่ที่พบไม่บ่อยได้อย่างมีประสิทธิภาพ

ควรรู้มาก่อน Linear Regression, Truncated SVD และ pairwise interactions

Recommender SystemRegression
ANOMALY DETECTION · KERNEL
99LEVEL4ขั้นสูง

One-Class Support Vector Machine

เรียนขอบเขตของข้อมูลปกติโดยไม่ต้องมีตัวอย่างผิดปกติครบถ้วน

One-Class SVM ใช้ kernel แยกตัวอย่างส่วนใหญ่จากจุดกำเนิดใน feature space แล้วถือจุดที่อยู่นอกขอบเขตเป็น novelty หรือ outlier

ควรรู้มาก่อน Linear SVM, kernel และ density boundary

Anomaly DetectionStatistical Learning
ANOMALY DETECTION · ROBUST COVARIANCE
100LEVEL4ขั้นสูง

Elliptic Envelope

ครอบข้อมูลปกติด้วยวงรีจาก covariance ที่ทนต่อ outlier

Elliptic Envelope ประมาณ robust location และ covariance ภายใต้สมมติฐาน Gaussian แล้วใช้ Mahalanobis distance ตัดจุดที่อยู่นอกวงรีความหนาแน่น

ควรรู้มาก่อน LDA, covariance และ robust statistics

Anomaly DetectionStatistical Learning
TIME SERIES · INTEGRATED ARMA
101LEVEL4ขั้นสูง

ARIMA

ทำผลต่างให้อนุกรมนิ่งก่อนใช้ค่าเก่าและ residual พยากรณ์

ARIMA(p,d,q) ใช้ differencing ลำดับ d จัดการแนวโน้ม แล้วอธิบายอนุกรมที่นิ่งด้วย autoregressive และ moving-average terms ก่อนแปลง forecast กลับสู่ระดับเดิม

ควรรู้มาก่อน ARMA, stationarity และ differencing

Time Series
TIME SERIES · SEASONAL ARIMA
102LEVEL4ขั้นสูง

SARIMA

เพิ่ม lag และ differencing ตามรอบฤดูกาลให้ ARIMA

SARIMA รวมส่วน (p,d,q) ระยะสั้นกับ (P,D,Q,s) ตามฤดูกาล จึงเรียนทั้งความต่อเนื่องรายช่วงและรูปแบบที่ย้อนกลับทุก s ช่วงเวลา

ควรรู้มาก่อน ARMA, differencing และ seasonality

Time Series
TIME SERIES · LATENT STATE
103LEVEL4ขั้นสูง

State Space Model

อธิบายสัญญาณด้วยสถานะซ่อนที่เคลื่อนตามสมการระบบ

State Space Model แยก transition equation ของ latent state ออกจาก observation equation ของค่าที่วัด แล้วใช้ Kalman filtering และ smoothing อัปเดตการกระจายของ state ตามเวลา

ควรรู้มาก่อน Kalman Filter, ARMA และ latent state

Time SeriesProbabilistic Model
TIME SERIES · ADDITIVE FORECAST
104LEVEL4ขั้นสูง

Prophet

รวม trend ที่เปลี่ยนช่วง ฤดูกาล และวันพิเศษในโมเดลเดียว

Prophet สร้าง additive model จาก piecewise trend, Fourier seasonality และ holiday effects พร้อม prior ที่ควบคุมความยืดหยุ่นของ changepoints

ควรรู้มาก่อน Holt-Winters, GAM และ changepoints

Time Series
SEQUENCE CLASSIFICATION
105LEVEL4ขั้นสูง

Conditional Random Field

ติดป้ายทั้งลำดับพร้อมคำนึงว่าป้ายข้างเคียงต้องสอดคล้องกัน

Linear-chain CRF กำหนดคะแนนจาก feature ของ observation และ transition ระหว่าง labels แล้ว normalize เหนือลำดับ label ทั้งหมดเพื่อเรียน conditional probability โดยตรง

ควรรู้มาก่อน Hidden Markov Model และ Logistic Regression

Sequence ModelClassification
REINFORCEMENT LEARNING
106LEVEL4ขั้นสูง

Actor-Critic

ให้ actor เลือกการกระทำและ critic ประเมินว่าดีกว่าที่คาดหรือไม่

Actor-Critic เรียน policy และ value function พร้อมกัน โดย critic สร้าง TD error หรือ advantage เพื่อลด variance ของ policy gradient ที่ใช้ปรับ actor

ควรรู้มาก่อน Q-Learning, policy gradient และ MLP

Reinforcement LearningNeural Network
DEEP LEARNING · RECURRENT
107LEVEL5เฉพาะทาง

Long Short-Term Memory

ใช้ประตูควบคุมสิ่งที่จะจำ ลืม และส่งออกจาก cell state

LSTM เพิ่ม cell state และ input, forget, output gates ให้ RNN จึงสร้างทางไหลของ gradient ที่เสถียรกว่าและเลือกเก็บบริบทระยะยาวได้

ควรรู้มาก่อน RNN และ gating

Deep LearningSequence Model
DEEP LEARNING · RECURRENT
108LEVEL5เฉพาะทาง

Gated Recurrent Unit

รวมความจำกับ hidden state แล้วใช้สองประตูควบคุมการอัปเดต

GRU ใช้ update gate ผสม state เดิมกับ candidate และ reset gate ควบคุมการใช้ความจำเก่า จึงลดจำนวนพารามิเตอร์จาก LSTM แต่ยังจัดการ gradient ระยะยาวได้ดี

ควรรู้มาก่อน RNN และ gating

Deep LearningSequence Model
DEEP LEARNING · TEMPORAL CNN
109LEVEL5เฉพาะทาง

Temporal Convolutional Network

ใช้ causal dilated convolution มองอดีตไกลโดยคำนวณหลายเวลาแบบขนาน

TCN ซ้อน causal convolutions ที่มี dilation เพิ่มขึ้นและ residual connections เพื่อสร้าง receptive field กว้าง โดยไม่ให้ข้อมูลอนาคตรั่วเข้าคำทำนาย

ควรรู้มาก่อน CNN และ time series

Deep LearningSequence Model
DEEP LEARNING · ATTENTION
110LEVEL5เฉพาะทาง

Transformer

ให้ทุกตำแหน่งแลกข้อมูลผ่าน multi-head attention โดยไม่ต้องวน recurrent state

Transformer ซ้อน multi-head self-attention, feed-forward networks, residual connections และ normalization พร้อม positional information เพื่อประมวลผล sequence แบบขนาน

ควรรู้มาก่อน Attention, embeddings และ normalization

Deep LearningSequence Model
COMPUTER VISION · TRANSFORMER
111LEVEL5เฉพาะทาง

Vision Transformer

แบ่งภาพเป็น patches แล้วอ่านเป็นลำดับ tokens ด้วย Transformer

ViT ตัดภาพเป็น patch grid แปลงแต่ละ patch เป็น embedding เพิ่มตำแหน่ง แล้วใช้ Transformer encoder เรียนความสัมพันธ์ทั่วภาพก่อนจำแนกจาก class token หรือ pooled representation

ควรรู้มาก่อน Attention, image patches และ embeddings

Computer VisionDeep Learning
GRAPH LEARNING
112LEVEL5เฉพาะทาง

Graph Neural Network

ให้แต่ละโหนดรับข้อความจากเพื่อนบ้านแล้วอัปเดต representation

GNN ทำ message passing โดยสร้างข้อความตาม edge รวมข้อความรอบโหนด และใช้ neural update สร้าง embedding ใหม่ หลายชั้นขยายบริเวณข้อมูลที่โหนดมองเห็น

ควรรู้มาก่อน Graph Embedding และ MLP

Graph LearningDeep Learning
GRAPH LEARNING · CONVOLUTION
113LEVEL5เฉพาะทาง

Graph Convolutional Network

เฉลี่ย feature จากเพื่อนบ้านด้วย adjacency ที่ normalize แล้ว

GCN layer คูณ node features ด้วย normalized adjacency ที่เพิ่ม self-loops แล้วใช้ weight matrix และ activation จึงเป็น graph convolution ที่รวมข้อมูลจากตนเองและเพื่อนบ้าน

ควรรู้มาก่อน Graph Embedding, Spectral Clustering และ MLP

Graph LearningDeep Learning
GENERATIVE MODEL · LATENT VARIABLE
114LEVEL5เฉพาะทาง

Variational Autoencoder

เรียนการกระจายของ latent code แล้วสุ่มตัวอย่างใหม่ผ่าน decoder

VAE ให้ encoder ทำนาย mean และ variance ของ approximate posterior ใช้ reparameterization sampling และฝึกจาก reconstruction loss บวก KL divergence ให้ latent distribution ใกล้ prior

ควรรู้มาก่อน Autoencoder, Bayesian Regression และ sampling

Generative ModelDeep Learning
GENERATIVE MODEL · ADVERSARIAL
115LEVEL5เฉพาะทาง

Generative Adversarial Network

ให้ generator สร้างตัวอย่างแข่งกับ discriminator ที่พยายามจับของปลอม

GAN ฝึกสองเครือข่ายในเกม adversarial: discriminator แยกข้อมูลจริงจากข้อมูลสร้าง ส่วน generator ปรับตัวให้ตัวอย่างหลอก discriminator ได้ดีขึ้น

ควรรู้มาก่อน MLP, CNN และ minimax optimization

Generative ModelDeep Learning
GENERATIVE MODEL · DENOISING
116LEVEL5เฉพาะทาง

Diffusion Model

เรียนย้อนกระบวนการเติม noise ทีละขั้นเพื่อสร้างข้อมูลจาก noise

Diffusion model กำหนด forward process ที่ค่อย ๆ เติม Gaussian noise และฝึก neural network ทำนาย noise หรือ score เพื่อเดิน reverse process จาก noise กลับเป็นตัวอย่าง

ควรรู้มาก่อน Autoencoder, probability distributions และ score estimation

Generative ModelDeep Learning
SELF-SUPERVISED LEARNING
117LEVEL5เฉพาะทาง

Contrastive Learning

ดึงมุมมองของตัวอย่างเดียวกันให้ใกล้และผลักตัวอย่างอื่นออก

Contrastive learning สร้าง positive pairs จาก augmentations ของตัวอย่างเดียวกัน ใช้ encoder กับ projection head แล้วลด contrastive loss ที่เปรียบเทียบ similarity กับ negatives ใน batch

ควรรู้มาก่อน CNN, data augmentation และ metric learning

Self-supervised LearningDeep Learning
SELF-SUPERVISED LEARNING · LANGUAGE
118LEVEL5เฉพาะทาง

Masked Language Modeling

ซ่อน token บางตำแหน่งแล้วให้โมเดลทายจากบริบทรอบด้าน

MLM เลือก token บางส่วนเป็น prediction targets แทนหรือรบกวน input แล้วฝึก Transformer encoder ทำนาย token เดิมจาก contextual representation โดยไม่ต้องมี label ภายนอก

ควรรู้มาก่อน Attention, tokenization และ embeddings

Self-supervised LearningDeep Learning
REINFORCEMENT LEARNING · VALUE BASED
119LEVEL5เฉพาะทาง

Deep Q-Network

ใช้ neural network ประมาณ Q-value ของทุก action จาก state

DQN แทน Q-table ด้วย neural network และทำให้การฝึกเสถียรขึ้นด้วย replay buffer, target network และ epsilon-greedy exploration

ควรรู้มาก่อน Q-Learning และ MLP

Reinforcement LearningDeep Learning
REINFORCEMENT LEARNING · POLICY
120LEVEL5เฉพาะทาง

Proximal Policy Optimization

ปรับ policy หลายรอบจาก rollout เดิมแต่จำกัดไม่ให้เปลี่ยนไกลเกินไป

PPO ใช้ probability ratio ระหว่าง policy ใหม่กับ policy ที่เก็บ rollout และ clipped surrogate objective จำกัดการอัปเดต พร้อม value loss และ entropy bonus ใน actor-critic training

ควรรู้มาก่อน Actor-Critic และ policy optimization

Reinforcement LearningDeep Learning
INSIDE EVERY ALGORITHM01 เข้าใจคอนเซปต์→02 ดูวิธีทำงาน→03 หยิบโค้ดไปใช้→04 ทดลองด้วยตัวเอง