ml/ library Learn by doing
ALGORITHM 109 · PYTHON / JAVASCRIPT

Temporal Convolutional Network

ใช้ causal dilated convolution มองอดีตไกลโดยคำนวณหลายเวลาแบบขนาน

LEARNING LEVEL5
เฉพาะทางควรรู้มาก่อน · CNN และ time series
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — TCN ซ้อน causal convolutions ที่มี dilation เพิ่มขึ้นและ residual connections เพื่อสร้าง receptive field กว้าง โดยไม่ให้ข้อมูลอนาคตรั่วเข้าคำทำนาย

ลองนึกภาพว่า — เหมือนวางตะแกรงหลายชั้นที่เว้นช่องกว้างขึ้น จึงเห็นทั้งเหตุการณ์ใกล้และไกลโดยไม่มองวันพรุ่งนี้

ตัวอย่างการนำไปใช้ — forecast, sequence labeling และสัญญาณยาวที่ต้องการ parallel training

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Temporal Convolutional Network เริ่มจากคำถามง่าย ๆ ว่า ใช้ causal dilated convolution มองอดีตไกลโดยคำนวณหลายเวลาแบบขนาน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนวางตะแกรงหลายชั้นที่เว้นช่องกว้างขึ้น จึงเห็นทั้งเหตุการณ์ใกล้และไกลโดยไม่มองวันพรุ่งนี้ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

TCN ซ้อน causal convolutions ที่มี dilation เพิ่มขึ้นและ residual connections เพื่อสร้าง receptive field กว้าง โดยไม่ให้ข้อมูลอนาคตรั่วเข้าคำทำนาย พารามิเตอร์หลักใน Playground คือ จำนวนระดับ dilation เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ tensor batch × time × channels เรียงตามเวลา · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น forecast, sequence labeling และสัญญาณยาวที่ต้องการ parallel training ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: feature sequence หรือ forecast ต่อเวลา · Playground อัปเดตเมื่อปรับ จำนวนระดับ dilation พร้อมจำข้อจำกัดสำคัญว่า receptive field ต้องครอบคลุม dependency จริงและ padding/dilation ที่ผิดทำให้ช่วงต้นมีข้อมูลไม่พอ

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    tensor batch × time × channels เรียงตามเวลา ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ dilation_depth เพื่อกำหนด receptive field ของอดีตที่โมเดลมองเห็น และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    ใช้ causal convolution ไม่ให้เห็นอนาคต จากนั้น เพิ่ม dilation เป็นกำลังเพื่อขยาย receptive field Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    รวม residual path แล้วปรับ filters ด้วย backpropagation ผลที่ได้คือ feature sequence หรือ forecast ต่อเวลา ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ dilation_depth ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า receptive field ต้องครอบคลุม dependency จริงและ padding/dilation ที่ผิดทำให้ช่วงต้นมีข้อมูลไม่พอ

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targettensor batch × time × channels เรียงตามเวลา · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATETemporal Convolutional Network
dilation_depthlearning_ratevalidation
RESULTnumeric predictionfeature sequence หรือ forecast ต่อเวลา · Playground อัปเดตเมื่อปรับ จำนวนระดับ dilation
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

tensor batch × time × channels เรียงตามเวลา

tensor batch × time × channels เรียงตามเวลา · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

dilation_depth
กำหนด receptive field ของอดีตที่โมเดลมองเห็น
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

feature sequence หรือ forecast ต่อเวลา

feature sequence หรือ forecast ต่อเวลา · Playground อัปเดตเมื่อปรับ จำนวนระดับ dilation
CALCULATION

คำนวณทีละขั้น

  1. 01

    ใช้ causal convolution ไม่ให้เห็นอนาคต

  2. 02

    เพิ่ม dilation เป็นกำลังเพื่อขยาย receptive field

  3. 03

    รวม residual path แล้วปรับ filters ด้วย backpropagation

ควรรู้อีกนิด — receptive field ต้องครอบคลุม dependency จริงและ padding/dilation ที่ผิดทำให้ช่วงต้นมีข้อมูลไม่พอ

04Make it yours

Python · Keras
# ติดตั้ง: pip install numpy keras# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("temporal-convolutional-network-sample.csv", delimiter=",", skip_header=1)import kerasfrom keras.layers import Conv1D, Dense, GlobalAveragePooling1DX=data[:,1].reshape(-1,12,1); y=X[:,-1,0]inputs=keras.Input((12,1)); x=inputsfor d in [2**i for i in range(4)]:    residual=x; x=Conv1D(16,3,padding="causal",dilation_rate=d,activation="relu")(x)    if residual.shape[-1] != x.shape[-1]: residual=Conv1D(16,1)(residual)    x=x+residualoutputs=Dense(1)(GlobalAveragePooling1D()(x)); model=keras.Model(inputs,outputs)model.compile(optimizer="adam",loss="mse"); model.fit(X,y,epochs=2,verbose=0)print("Predictions:", model.predict(X[:4],verbose=0).ravel())

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

จำนวนระดับ dilation ทำให้ receptive field ย้อนไปไกลเท่าใด?

Temporal Convolutional Network / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
กำหนด receptive field ของอดีตที่โมเดลมองเห็น
ดูภาพอย่างไร

เส้นเชื่อมที่เว้นช่วงแสดง causal dilated convolution จากอดีตเท่านั้น

เมื่อเพิ่มค่า

receptive field โตแบบก้าวกระโดดโดยยังคำนวณเวลาแบบขนาน

ลองเปรียบเทียบ

ดูว่าขอบเขตครอบคลุม dependency จริงโดยไม่ใช้อนาคต

dilation 1dilation 2dilation 43 levels · causal receptive field ย้อนกลับโดยไม่เห็นอนาคต
Sequence error0.415
Dilation levels4
พารามิเตอร์ที่ลอง4

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ Keras จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง