01Overall Concept
ไอเดียหลัก — Seq2Seq ใช้ encoder อ่าน input sequence เป็น representation และ decoder สร้าง output ทีละตำแหน่ง โดยฝึกจาก token เป้าหมายก่อนหน้าและใช้ autoregressive decoding ตอนทำนาย
ลองนึกภาพว่า — เหมือนล่ามฟังประโยคต้นทาง เก็บใจความ แล้วพูดประโยคปลายทางทีละคำ
ตัวอย่างการนำไปใช้ — แปลภาษา สรุปข้อความ ถอดเสียง และพยากรณ์หลายช่วง
02อธิบายภาษาคนเข้าใจง่ายๆ
Sequence to Sequence เริ่มจากคำถามง่าย ๆ ว่า แปลงลำดับความยาวหนึ่งเป็นอีกลำดับที่ความยาวต่างกัน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนล่ามฟังประโยคต้นทาง เก็บใจความ แล้วพูดประโยคปลายทางทีละคำ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
Seq2Seq ใช้ encoder อ่าน input sequence เป็น representation และ decoder สร้าง output ทีละตำแหน่ง โดยฝึกจาก token เป้าหมายก่อนหน้าและใช้ autoregressive decoding ตอนทำนาย พารามิเตอร์หลักใน Playground คือ ขนาด hidden state เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ คู่ input/output sequences พร้อม start/end token และ padding mask · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น แปลภาษา สรุปข้อความ ถอดเสียง และพยากรณ์หลายช่วง ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: probability ของ token ต่อเวลาและลำดับที่ decode แล้ว · Playground แสดงผลเมื่อปรับ ขนาด hidden state พร้อมจำข้อจำกัดสำคัญว่า teacher forcing ทำให้การฝึกกับการใช้งานต่างกัน และ state เดียวเป็นคอขวดสำหรับลำดับยาว
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
คู่ input/output sequences พร้อม start/end token และ padding mask ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ hidden_dim เพื่อกำหนดความจุของ encoder และ decoder และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
encoder อ่าน input เป็น state จากนั้น decoder รับ state กับ token ก่อนหน้า Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
คำนวณ cross-entropy และสร้าง token ซ้ำจนจบ ผลที่ได้คือ probability ของ token ต่อเวลาและลำดับที่ decode แล้ว ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ hidden_dim ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า teacher forcing ทำให้การฝึกกับการใช้งานต่างกัน และ state เดียวเป็นคอขวดสำหรับลำดับยาว
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
hidden_dimrandom_statevalidationข้อมูลที่รับเข้ามา
คู่ input/output sequences พร้อม start/end token และ padding mask
คู่ input/output sequences พร้อม start/end token และ padding mask · ตัวอย่าง 60–150 แถวพารามิเตอร์ที่ใช้
- hidden_dim
- กำหนดความจุของ encoder และ decoder
- random_state
- ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
- validation
- เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
ผลลัพธ์ที่ได้
probability ของ token ต่อเวลาและลำดับที่ decode แล้ว
probability ของ token ต่อเวลาและลำดับที่ decode แล้ว · Playground แสดงผลเมื่อปรับ ขนาด hidden stateคำนวณทีละขั้น
- 01
encoder อ่าน input เป็น state
- 02
decoder รับ state กับ token ก่อนหน้า
- 03
คำนวณ cross-entropy และสร้าง token ซ้ำจนจบ
ควรรู้อีกนิด — teacher forcing ทำให้การฝึกกับการใช้งานต่างกัน และ state เดียวเป็นคอขวดสำหรับลำดับยาว
04Make it yours
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("sequence-to-sequence-sample.csv", delimiter=",", skip_header=1)rng = np.random.default_rng(42)X = data[:, :2]width = 32W = rng.normal(0, 1/np.sqrt(2), (2, min(width, 64)))hidden = np.tanh(X @ W)state = np.zeros(hidden.shape[1])for row in X[:20]: state = np.tanh(row @ W + .6*state)print("Final hidden state:", state[:12])print("Representation shape:", hidden.shape)โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
hidden state ขนาดใดส่งข้อมูลจาก encoder ไป decoder ได้พอ?
ฝั่งซ้ายอ่าน input และฝั่งขวาสร้าง output ทีละ token
เก็บบริบทได้มากขึ้นแต่ใช้พารามิเตอร์เพิ่ม
ดูว่าตำแหน่งต้นลำดับยังถูกถ่ายทอดไป output ท้ายลำดับหรือไม่
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง