ml/ library Learn by doing
ALGORITHM 93 · PYTHON / JAVASCRIPT

Sequence to Sequence

แปลงลำดับความยาวหนึ่งเป็นอีกลำดับที่ความยาวต่างกัน

LEARNING LEVEL4
ขั้นสูงควรรู้มาก่อน · RNN และ encoder-decoder
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Seq2Seq ใช้ encoder อ่าน input sequence เป็น representation และ decoder สร้าง output ทีละตำแหน่ง โดยฝึกจาก token เป้าหมายก่อนหน้าและใช้ autoregressive decoding ตอนทำนาย

ลองนึกภาพว่า — เหมือนล่ามฟังประโยคต้นทาง เก็บใจความ แล้วพูดประโยคปลายทางทีละคำ

ตัวอย่างการนำไปใช้ — แปลภาษา สรุปข้อความ ถอดเสียง และพยากรณ์หลายช่วง

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Sequence to Sequence เริ่มจากคำถามง่าย ๆ ว่า แปลงลำดับความยาวหนึ่งเป็นอีกลำดับที่ความยาวต่างกัน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนล่ามฟังประโยคต้นทาง เก็บใจความ แล้วพูดประโยคปลายทางทีละคำ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Seq2Seq ใช้ encoder อ่าน input sequence เป็น representation และ decoder สร้าง output ทีละตำแหน่ง โดยฝึกจาก token เป้าหมายก่อนหน้าและใช้ autoregressive decoding ตอนทำนาย พารามิเตอร์หลักใน Playground คือ ขนาด hidden state เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ คู่ input/output sequences พร้อม start/end token และ padding mask · ตัวอย่าง 60–150 แถว เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น แปลภาษา สรุปข้อความ ถอดเสียง และพยากรณ์หลายช่วง ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: probability ของ token ต่อเวลาและลำดับที่ decode แล้ว · Playground แสดงผลเมื่อปรับ ขนาด hidden state พร้อมจำข้อจำกัดสำคัญว่า teacher forcing ทำให้การฝึกกับการใช้งานต่างกัน และ state เดียวเป็นคอขวดสำหรับลำดับยาว

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    คู่ input/output sequences พร้อม start/end token และ padding mask ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ hidden_dim เพื่อกำหนดความจุของ encoder และ decoder และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    encoder อ่าน input เป็น state จากนั้น decoder รับ state กับ token ก่อนหน้า Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    คำนวณ cross-entropy และสร้าง token ซ้ำจนจบ ผลที่ได้คือ probability ของ token ต่อเวลาและลำดับที่ decode แล้ว ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ hidden_dim ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า teacher forcing ทำให้การฝึกกับการใช้งานต่างกัน และ state เดียวเป็นคอขวดสำหรับลำดับยาว

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetคู่ input/output sequences พร้อม start/end token และ padding mask · ตัวอย่าง 60–150 แถว
CALCULATESequence to Sequence
hidden_dimrandom_statevalidation
RESULTnumeric predictionprobability ของ token ต่อเวลาและลำดับที่ decode แล้ว · Playground แสดงผลเมื่อปรับ ขนาด hidden state
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

คู่ input/output sequences พร้อม start/end token และ padding mask

คู่ input/output sequences พร้อม start/end token และ padding mask · ตัวอย่าง 60–150 แถว
PARAMETERS

พารามิเตอร์ที่ใช้

hidden_dim
กำหนดความจุของ encoder และ decoder
random_state
ตรึงการสุ่มเพื่อให้ทดลองซ้ำและเปรียบเทียบได้
validation
เก็บข้อมูลส่วนหนึ่งไว้ตรวจคุณภาพกับตัวอย่างที่ไม่ใช้ฝึก
OUTPUT

ผลลัพธ์ที่ได้

probability ของ token ต่อเวลาและลำดับที่ decode แล้ว

probability ของ token ต่อเวลาและลำดับที่ decode แล้ว · Playground แสดงผลเมื่อปรับ ขนาด hidden state
CALCULATION

คำนวณทีละขั้น

  1. 01

    encoder อ่าน input เป็น state

  2. 02

    decoder รับ state กับ token ก่อนหน้า

  3. 03

    คำนวณ cross-entropy และสร้าง token ซ้ำจนจบ

ควรรู้อีกนิด — teacher forcing ทำให้การฝึกกับการใช้งานต่างกัน และ state เดียวเป็นคอขวดสำหรับลำดับยาว

04Make it yours

Python · NumPy
# ติดตั้ง: pip install numpy# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("sequence-to-sequence-sample.csv", delimiter=",", skip_header=1)rng = np.random.default_rng(42)X = data[:, :2]width = 32W = rng.normal(0, 1/np.sqrt(2), (2, min(width, 64)))hidden = np.tanh(X @ W)state = np.zeros(hidden.shape[1])for row in X[:20]: state = np.tanh(row @ W + .6*state)print("Final hidden state:", state[:12])print("Representation shape:", hidden.shape)

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

hidden state ขนาดใดส่งข้อมูลจาก encoder ไป decoder ได้พอ?

Sequence to Sequence / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนดความจุของ encoder และ decoder
ดูภาพอย่างไร

ฝั่งซ้ายอ่าน input และฝั่งขวาสร้าง output ทีละ token

เมื่อเพิ่มค่า

เก็บบริบทได้มากขึ้นแต่ใช้พารามิเตอร์เพิ่ม

ลองเปรียบเทียบ

ดูว่าตำแหน่งต้นลำดับยังถูกถ่ายทอดไป output ท้ายลำดับหรือไม่

x1h1x2h2x3h3x4h4x5h5x6h6forgetencoder context → decoder output
Token alignment error0.211
Hidden size32
พารามิเตอร์ที่ลอง32

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ NumPy จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง