ml/ library Learn by doing
ALGORITHM 107 · PYTHON / JAVASCRIPT

Long Short-Term Memory

ใช้ประตูควบคุมสิ่งที่จะจำ ลืม และส่งออกจาก cell state

LEARNING LEVEL5
เฉพาะทางควรรู้มาก่อน · RNN และ gating
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — LSTM เพิ่ม cell state และ input, forget, output gates ให้ RNN จึงสร้างทางไหลของ gradient ที่เสถียรกว่าและเลือกเก็บบริบทระยะยาวได้

ลองนึกภาพว่า — เหมือนสมุดบันทึกที่มีผู้คัดกรองว่าจะลบข้อมูลเก่า เขียนข้อมูลใหม่ และเปิดหน้าใดให้อ่าน

ตัวอย่างการนำไปใช้ — พยากรณ์ลำดับ ภาษา เสียง และสัญญาณที่มี dependency ระยะยาว

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Long Short-Term Memory เริ่มจากคำถามง่าย ๆ ว่า ใช้ประตูควบคุมสิ่งที่จะจำ ลืม และส่งออกจาก cell state วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนสมุดบันทึกที่มีผู้คัดกรองว่าจะลบข้อมูลเก่า เขียนข้อมูลใหม่ และเปิดหน้าใดให้อ่าน ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

LSTM เพิ่ม cell state และ input, forget, output gates ให้ RNN จึงสร้างทางไหลของ gradient ที่เสถียรกว่าและเลือกเก็บบริบทระยะยาวได้ พารามิเตอร์หลักใน Playground คือ จำนวน LSTM units เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ tensor batch × timesteps × features พร้อม mask สำหรับ padding · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น พยากรณ์ลำดับ ภาษา เสียง และสัญญาณที่มี dependency ระยะยาว ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: sequence outputs และ hidden/cell states · Playground อัปเดตเมื่อปรับ จำนวน LSTM units พร้อมจำข้อจำกัดสำคัญว่า ยังฝึกตามลำดับจึงขนานเวลาได้จำกัดและพารามิเตอร์มากกว่า GRU/RNN

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    tensor batch × timesteps × features พร้อม mask สำหรับ padding ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ units เพื่อกำหนดขนาด hidden และ cell state และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    คำนวณ forget กับ input gates จากนั้น อัปเดต cell state จากของเดิมและ candidate Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ใช้ output gate สร้าง hidden state ผลที่ได้คือ sequence outputs และ hidden/cell states ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ units ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ยังฝึกตามลำดับจึงขนานเวลาได้จำกัดและพารามิเตอร์มากกว่า GRU/RNN

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targettensor batch × timesteps × features พร้อม mask สำหรับ padding · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATELong Short-Term Memory
unitslearning_ratevalidation
RESULTnumeric predictionsequence outputs และ hidden/cell states · Playground อัปเดตเมื่อปรับ จำนวน LSTM units
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

tensor batch × timesteps × features พร้อม mask สำหรับ padding

tensor batch × timesteps × features พร้อม mask สำหรับ padding · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

units
กำหนดขนาด hidden และ cell state
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

sequence outputs และ hidden/cell states

sequence outputs และ hidden/cell states · Playground อัปเดตเมื่อปรับ จำนวน LSTM units
CALCULATION

คำนวณทีละขั้น

  1. 01

    คำนวณ forget กับ input gates

  2. 02

    อัปเดต cell state จากของเดิมและ candidate

  3. 03

    ใช้ output gate สร้าง hidden state

ควรรู้อีกนิด — ยังฝึกตามลำดับจึงขนานเวลาได้จำกัดและพารามิเตอร์มากกว่า GRU/RNN

04Make it yours

Python · Keras
# ติดตั้ง: pip install numpy keras# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("long-short-term-memory-sample.csv", delimiter=",", skip_header=1)import kerasfrom keras.layers import LSTM, DenseX=data[:,1].reshape(-1,12,1); y=X[:,-1,0]model=keras.Sequential([LSTM(32), Dense(1)])model.compile(optimizer="adam", loss="mse")model.fit(X,y,epochs=3,verbose=0)print("Output shape:", model(X[:4]).shape)print("Predictions:", model.predict(X[:4],verbose=0).ravel())

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

จำนวน units เพิ่มความจุของ cell state อย่างไร?

Long Short-Term Memory / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดขนาด hidden และ cell state
ดูภาพอย่างไร

ประตู forget/input/output ควบคุมทางไหลของความจำในแต่ละเวลา

เมื่อเพิ่มค่า

เก็บรูปแบบหลายแบบพร้อมกันได้ แต่พารามิเตอร์เพิ่มมาก

ลองเปรียบเทียบ

ติดตามเส้นความจำจากต้นไปท้าย ไม่ดูแค่ output สุดท้าย

x1h1x2h2x3h3x4h4x5h5x6h6forgetinputoutputข้อมูลไหลตามเวลาและส่งสถานะต่อ
Memory error0.211
LSTM units32
พารามิเตอร์ที่ลอง32

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ Keras จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง