ml/ library Learn by doing
ALGORITHM 82 · PYTHON / JAVASCRIPT

Convolutional Neural Network

เลื่อน filter เดียวกันทั่วภาพเพื่อจับลวดลายเฉพาะที่

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · MLP, convolution และ image tensor
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — CNN ใช้ convolution kernels แชร์น้ำหนักทั่วตำแหน่ง สร้าง feature maps จากขอบและพื้นผิว ก่อนรวมเป็นรูปแบบระดับสูงสำหรับจำแนกหรือพยากรณ์

ลองนึกภาพว่า — เหมือนใช้แว่นขยายกรอบเล็กเลื่อนไปทั่วภาพเพื่อตามหาลายเดียวกันทุกตำแหน่ง

ตัวอย่างการนำไปใช้ — จำแนกภาพ ตรวจวัตถุ วิเคราะห์สัญญาณ และ segmentation

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Convolutional Neural Network เริ่มจากคำถามง่าย ๆ ว่า เลื่อน filter เดียวกันทั่วภาพเพื่อจับลวดลายเฉพาะที่ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนใช้แว่นขยายกรอบเล็กเลื่อนไปทั่วภาพเพื่อตามหาลายเดียวกันทุกตำแหน่ง ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

CNN ใช้ convolution kernels แชร์น้ำหนักทั่วตำแหน่ง สร้าง feature maps จากขอบและพื้นผิว ก่อนรวมเป็นรูปแบบระดับสูงสำหรับจำแนกหรือพยากรณ์ พารามิเตอร์หลักใน Playground คือ จำนวน filters เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ tensor รูปภาพรูปแบบ batch × height × width × channels · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น จำแนกภาพ ตรวจวัตถุ วิเคราะห์สัญญาณ และ segmentation ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: feature maps หรือ probability ของคลาส · Playground แสดงผลเมื่อปรับ จำนวน filters พร้อมจำข้อจำกัดสำคัญว่า ต้องมีข้อมูลและการคำนวณมาก ความแม่นอาจตกเมื่อภาพจริงต่างจากข้อมูลฝึก

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    tensor รูปภาพรูปแบบ batch × height × width × channels ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ filters เพื่อจำนวนรูปแบบเฉพาะที่ที่ layer เรียนรู้ได้ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    เลื่อน kernel คูณกับ patch ของภาพ จากนั้น ผ่าน activation และลดขนาดด้วย pooling Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    รวม features แล้วปรับน้ำหนักด้วย backpropagation ผลที่ได้คือ feature maps หรือ probability ของคลาส ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ filters ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ต้องมีข้อมูลและการคำนวณมาก ความแม่นอาจตกเมื่อภาพจริงต่างจากข้อมูลฝึก

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targettensor รูปภาพรูปแบบ batch × height × width × channels · ตัวอย่าง 60–150 แถว
CALCULATEConvolutional Neural Network
filtersrandom_statevalidation
RESULT0.800.150.05class / probabilityfeature maps หรือ probability ของคลาส · Playground แสดงผลเมื่อปรับ จำนวน filters
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

tensor รูปภาพรูปแบบ batch × height × width × channels

tensor รูปภาพรูปแบบ batch × height × width × channels · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

filters
จำนวนรูปแบบเฉพาะที่ที่ layer เรียนรู้ได้
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

feature maps หรือ probability ของคลาส

feature maps หรือ probability ของคลาส · Playground แสดงผลเมื่อปรับ จำนวน filters
CALCULATION

คำนวณทีละขั้น

  1. 01

    เลื่อน kernel คูณกับ patch ของภาพ

  2. 02

    ผ่าน activation และลดขนาดด้วย pooling

  3. 03

    รวม features แล้วปรับน้ำหนักด้วย backpropagation

ควรรู้อีกนิด — ต้องมีข้อมูลและการคำนวณมาก ความแม่นอาจตกเมื่อภาพจริงต่างจากข้อมูลฝึก

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("convolutional-neural-network-sample.csv", delimiter=",", skip_header=1)rng = np.random.default_rng(42)X = data[:, :2]width = 16W = rng.normal(0, 1/np.sqrt(2), (2, min(width, 64)))hidden = np.tanh(X @ W)kernel = np.array([1., 0., -1.])signal = X[:,0]feature_map = np.convolve(signal, kernel, mode="valid")print("Feature map:", feature_map[:12])print("Representation shape:", hidden.shape)

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

จำนวน filters ทำให้โมเดลมองเห็นรูปแบบเฉพาะที่หลากหลายขึ้นอย่างไร?

Convolutional Neural Network / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
จำนวนรูปแบบเฉพาะที่ที่ layer เรียนรู้ได้
ดูภาพอย่างไร

ช่องสีคือ feature maps ที่ตอบสนองต่อขอบหรือพื้นผิวต่างกัน

เมื่อเพิ่มค่า

มีตัวตรวจจับรูปแบบมากขึ้น แต่ใช้พารามิเตอร์และข้อมูลมากขึ้น

ลองเปรียบเทียบ

ดูว่า filters เพิ่มแล้วได้รูปแบบใหม่หรือเป็นแผนที่ซ้ำกัน

mapmapmapmap5 × 5 local windowsfeature maps
Feature-map error0.262
จำนวน filters16
พารามิเตอร์ที่ลอง16

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง