ml/ library Learn by doing
ALGORITHM 83 · PYTHON / JAVASCRIPT

Recurrent Neural Network

ส่ง hidden state จากช่วงก่อนหน้าไปช่วยอ่านช่วงถัดไป

LEARNING LEVEL3
ผสานหลายแนวคิดควรรู้มาก่อน · MLP และ Autoregressive Model
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — RNN ประมวลผลลำดับทีละขั้นและอัปเดต hidden state ด้วย input ปัจจุบันกับ state เดิม จึงแชร์น้ำหนักข้ามเวลาและเก็บบริบทของลำดับ

ลองนึกภาพว่า — เหมือนอ่านประโยคทีละคำพร้อมจดใจความย่อที่ปรับทุกครั้งที่พบคำใหม่

ตัวอย่างการนำไปใช้ — พยากรณ์ลำดับ จำแนกข้อความ และประมวลผลสัญญาณ

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Recurrent Neural Network เริ่มจากคำถามง่าย ๆ ว่า ส่ง hidden state จากช่วงก่อนหน้าไปช่วยอ่านช่วงถัดไป วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนอ่านประโยคทีละคำพร้อมจดใจความย่อที่ปรับทุกครั้งที่พบคำใหม่ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

RNN ประมวลผลลำดับทีละขั้นและอัปเดต hidden state ด้วย input ปัจจุบันกับ state เดิม จึงแชร์น้ำหนักข้ามเวลาและเก็บบริบทของลำดับ พารามิเตอร์หลักใน Playground คือ จำนวน hidden units เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ tensor รูปแบบ batch × time × features พร้อม mask เมื่อความยาวต่างกัน · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น พยากรณ์ลำดับ จำแนกข้อความ และประมวลผลสัญญาณ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: hidden states หรือค่าทำนายต่อ sequence · Playground แสดงผลเมื่อปรับ จำนวน hidden units พร้อมจำข้อจำกัดสำคัญว่า vanishing gradient ทำให้จำบริบทยาวยาก จึงมักต้องใช้ LSTM/GRU หรือ attention

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    tensor รูปแบบ batch × time × features พร้อม mask เมื่อความยาวต่างกัน ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ units เพื่อกำหนดความจุของ hidden state และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    รวม input ปัจจุบันกับ hidden state เดิม จากนั้น ผ่าน activation เพื่อสร้าง state ใหม่ Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    คลี่เวลาแล้วใช้ backpropagation through time ผลที่ได้คือ hidden states หรือค่าทำนายต่อ sequence ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ units ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า vanishing gradient ทำให้จำบริบทยาวยาก จึงมักต้องใช้ LSTM/GRU หรือ attention

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targettensor รูปแบบ batch × time × features พร้อม mask เมื่อความยาวต่างกัน · ตัวอย่าง 60–150 แถว
CALCULATERecurrent Neural Network
unitsrandom_statevalidation
RESULTnumeric predictionhidden states หรือค่าทำนายต่อ sequence · Playground แสดงผลเมื่อปรับ จำนวน hidden units
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

tensor รูปแบบ batch × time × features พร้อม mask เมื่อความยาวต่างกัน

tensor รูปแบบ batch × time × features พร้อม mask เมื่อความยาวต่างกัน · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

units
กำหนดความจุของ hidden state
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

hidden states หรือค่าทำนายต่อ sequence

hidden states หรือค่าทำนายต่อ sequence · Playground แสดงผลเมื่อปรับ จำนวน hidden units
CALCULATION

คำนวณทีละขั้น

  1. 01

    รวม input ปัจจุบันกับ hidden state เดิม

  2. 02

    ผ่าน activation เพื่อสร้าง state ใหม่

  3. 03

    คลี่เวลาแล้วใช้ backpropagation through time

ควรรู้อีกนิด — vanishing gradient ทำให้จำบริบทยาวยาก จึงมักต้องใช้ LSTM/GRU หรือ attention

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("recurrent-neural-network-sample.csv", delimiter=",", skip_header=1)rng = np.random.default_rng(42)X = data[:, :2]width = 16W = rng.normal(0, 1/np.sqrt(2), (2, min(width, 64)))hidden = np.tanh(X @ W)state = np.zeros(hidden.shape[1])for row in X[:20]: state = np.tanh(row @ W + .6*state)print("Final hidden state:", state[:12])print("Representation shape:", hidden.shape)

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

hidden state ขนาดใดเก็บบริบทของลำดับได้พอ?

Recurrent Neural Network / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดความจุของ hidden state
ดูภาพอย่างไร

ลูกศรตามเวลาแสดง state ที่ถูกส่งต่อจากช่วงก่อนหน้า

เมื่อเพิ่มค่า

state เก็บรูปแบบได้มากขึ้น แต่ไม่ได้แก้ vanishing gradient โดยตรง

ลองเปรียบเทียบ

ดูว่าข้อมูลต้นลำดับยังมีอิทธิพลถึงปลายลำดับหรือไม่

x1h1x2h2x3h3x4h4x5h5x6h6forgetข้อมูลไหลตามเวลาและส่งสถานะต่อ
Sequence error0.262
Hidden units16
พารามิเตอร์ที่ลอง16

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง