01Overall Concept
ไอเดียหลัก — LSTM เพิ่ม cell state และ input, forget, output gates ให้ RNN จึงสร้างทางไหลของ gradient ที่เสถียรกว่าและเลือกเก็บบริบทระยะยาวได้
ลองนึกภาพว่า — เหมือนสมุดบันทึกที่มีผู้คัดกรองว่าจะลบข้อมูลเก่า เขียนข้อมูลใหม่ และเปิดหน้าใดให้อ่าน
ตัวอย่างการนำไปใช้ — พยากรณ์ลำดับ ภาษา เสียง และสัญญาณที่มี dependency ระยะยาว
02อธิบายภาษาคนเข้าใจง่ายๆ
Long Short-Term Memory เริ่มจากคำถามง่าย ๆ ว่า ใช้ประตูควบคุมสิ่งที่จะจำ ลืม และส่งออกจาก cell state วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนสมุดบันทึกที่มีผู้คัดกรองว่าจะลบข้อมูลเก่า เขียนข้อมูลใหม่ และเปิดหน้าใดให้อ่าน ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
LSTM เพิ่ม cell state และ input, forget, output gates ให้ RNN จึงสร้างทางไหลของ gradient ที่เสถียรกว่าและเลือกเก็บบริบทระยะยาวได้ พารามิเตอร์หลักใน Playground คือ จำนวน LSTM units เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ tensor batch × timesteps × features พร้อม mask สำหรับ padding · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น พยากรณ์ลำดับ ภาษา เสียง และสัญญาณที่มี dependency ระยะยาว ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: sequence outputs และ hidden/cell states · Playground อัปเดตเมื่อปรับ จำนวน LSTM units พร้อมจำข้อจำกัดสำคัญว่า ยังฝึกตามลำดับจึงขนานเวลาได้จำกัดและพารามิเตอร์มากกว่า GRU/RNN
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
tensor batch × timesteps × features พร้อม mask สำหรับ padding ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ units เพื่อกำหนดขนาด hidden และ cell state และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
คำนวณ forget กับ input gates จากนั้น อัปเดต cell state จากของเดิมและ candidate Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
ใช้ output gate สร้าง hidden state ผลที่ได้คือ sequence outputs และ hidden/cell states ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ units ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ยังฝึกตามลำดับจึงขนานเวลาได้จำกัดและพารามิเตอร์มากกว่า GRU/RNN
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
unitslearning_ratevalidationข้อมูลที่รับเข้ามา
tensor batch × timesteps × features พร้อม mask สำหรับ padding
tensor batch × timesteps × features พร้อม mask สำหรับ padding · ตัวอย่างขนาดเล็กที่ทำซ้ำได้พารามิเตอร์ที่ใช้
- units
- กำหนดขนาด hidden และ cell state
- learning_rate
- ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
- validation
- กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
ผลลัพธ์ที่ได้
sequence outputs และ hidden/cell states
sequence outputs และ hidden/cell states · Playground อัปเดตเมื่อปรับ จำนวน LSTM unitsคำนวณทีละขั้น
- 01
คำนวณ forget กับ input gates
- 02
อัปเดต cell state จากของเดิมและ candidate
- 03
ใช้ output gate สร้าง hidden state
ควรรู้อีกนิด — ยังฝึกตามลำดับจึงขนานเวลาได้จำกัดและพารามิเตอร์มากกว่า GRU/RNN
04Make it yours
# ติดตั้ง: pip install numpy keras# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("long-short-term-memory-sample.csv", delimiter=",", skip_header=1)import kerasfrom keras.layers import LSTM, DenseX=data[:,1].reshape(-1,12,1); y=X[:,-1,0]model=keras.Sequential([LSTM(32), Dense(1)])model.compile(optimizer="adam", loss="mse")model.fit(X,y,epochs=3,verbose=0)print("Output shape:", model(X[:4]).shape)print("Predictions:", model.predict(X[:4],verbose=0).ravel())โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
จำนวน units เพิ่มความจุของ cell state อย่างไร?
ประตู forget/input/output ควบคุมทางไหลของความจำในแต่ละเวลา
เก็บรูปแบบหลายแบบพร้อมกันได้ แต่พารามิเตอร์เพิ่มมาก
ติดตามเส้นความจำจากต้นไปท้าย ไม่ดูแค่ output สุดท้าย
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ Keras จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง