ml/ library Learn by doing
ALGORITHM 108 · PYTHON / JAVASCRIPT

Gated Recurrent Unit

รวมความจำกับ hidden state แล้วใช้สองประตูควบคุมการอัปเดต

LEARNING LEVEL5
เฉพาะทางควรรู้มาก่อน · RNN และ gating
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — GRU ใช้ update gate ผสม state เดิมกับ candidate และ reset gate ควบคุมการใช้ความจำเก่า จึงลดจำนวนพารามิเตอร์จาก LSTM แต่ยังจัดการ gradient ระยะยาวได้ดี

ลองนึกภาพว่า — เหมือนบันทึกย่อหน้าเดียวที่เลือกว่าจะเก็บของเดิมมากเท่าไรและจะล้างบริบทก่อนเขียนใหม่แค่ไหน

ตัวอย่างการนำไปใช้ — พยากรณ์อนุกรม จำแนกลำดับ และโมเดล sequence ที่ต้องการความกระชับ

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Gated Recurrent Unit เริ่มจากคำถามง่าย ๆ ว่า รวมความจำกับ hidden state แล้วใช้สองประตูควบคุมการอัปเดต วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนบันทึกย่อหน้าเดียวที่เลือกว่าจะเก็บของเดิมมากเท่าไรและจะล้างบริบทก่อนเขียนใหม่แค่ไหน ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

GRU ใช้ update gate ผสม state เดิมกับ candidate และ reset gate ควบคุมการใช้ความจำเก่า จึงลดจำนวนพารามิเตอร์จาก LSTM แต่ยังจัดการ gradient ระยะยาวได้ดี พารามิเตอร์หลักใน Playground คือ จำนวน GRU units เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ tensor batch × timesteps × features · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น พยากรณ์อนุกรม จำแนกลำดับ และโมเดล sequence ที่ต้องการความกระชับ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: sequence outputs และ final hidden state · Playground อัปเดตเมื่อปรับ จำนวน GRU units พร้อมจำข้อจำกัดสำคัญว่า ไม่มี architecture เดียวชนะ LSTM ทุกโจทย์และ sequence ยาวยังมีคอขวดจากการคำนวณทีละเวลา

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    tensor batch × timesteps × features ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ units เพื่อกำหนดขนาด hidden state และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    คำนวณ reset และ update gates จากนั้น สร้าง candidate state จาก input กับความจำที่ reset Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ผสม state เดิมกับ candidate ตาม update gate ผลที่ได้คือ sequence outputs และ final hidden state ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ units ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ไม่มี architecture เดียวชนะ LSTM ทุกโจทย์และ sequence ยาวยังมีคอขวดจากการคำนวณทีละเวลา

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targettensor batch × timesteps × features · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATEGated Recurrent Unit
unitslearning_ratevalidation
RESULTnumeric predictionsequence outputs และ final hidden state · Playground อัปเดตเมื่อปรับ จำนวน GRU units
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

tensor batch × timesteps × features

tensor batch × timesteps × features · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

units
กำหนดขนาด hidden state
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

sequence outputs และ final hidden state

sequence outputs และ final hidden state · Playground อัปเดตเมื่อปรับ จำนวน GRU units
CALCULATION

คำนวณทีละขั้น

  1. 01

    คำนวณ reset และ update gates

  2. 02

    สร้าง candidate state จาก input กับความจำที่ reset

  3. 03

    ผสม state เดิมกับ candidate ตาม update gate

ควรรู้อีกนิด — ไม่มี architecture เดียวชนะ LSTM ทุกโจทย์และ sequence ยาวยังมีคอขวดจากการคำนวณทีละเวลา

04Make it yours

Python · Keras
# ติดตั้ง: pip install numpy keras# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("gated-recurrent-unit-sample.csv", delimiter=",", skip_header=1)import kerasfrom keras.layers import GRU, DenseX=data[:,1].reshape(-1,12,1); y=X[:,-1,0]model=keras.Sequential([GRU(32), Dense(1)])model.compile(optimizer="adam", loss="mse")model.fit(X,y,epochs=3,verbose=0)print("Output shape:", model(X[:4]).shape)print("Predictions:", model.predict(X[:4],verbose=0).ravel())

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

hidden units เท่าใดพอสำหรับลำดับโดยไม่เพิ่มโมเดลเกินจำเป็น?

Gated Recurrent Unit / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดขนาด hidden state
ดูภาพอย่างไร

reset gate เลือกข้อมูลเก่าที่ใช้สร้าง candidate และ update gate ผสม state

เมื่อเพิ่มค่า

representation กว้างขึ้นและเก็บบริบทได้หลากหลายขึ้น

ลองเปรียบเทียบ

เปรียบเทียบกับ LSTM ที่ขนาดใกล้กันทั้ง error และเวลา

x1h1x2h2x3h3x4h4x5h5x6h6forgetinputข้อมูลไหลตามเวลาและส่งสถานะต่อ
Memory error0.211
GRU units32
พารามิเตอร์ที่ลอง32

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ Keras จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง