01Overall Concept
ไอเดียหลัก — TCN ซ้อน causal convolutions ที่มี dilation เพิ่มขึ้นและ residual connections เพื่อสร้าง receptive field กว้าง โดยไม่ให้ข้อมูลอนาคตรั่วเข้าคำทำนาย
ลองนึกภาพว่า — เหมือนวางตะแกรงหลายชั้นที่เว้นช่องกว้างขึ้น จึงเห็นทั้งเหตุการณ์ใกล้และไกลโดยไม่มองวันพรุ่งนี้
ตัวอย่างการนำไปใช้ — forecast, sequence labeling และสัญญาณยาวที่ต้องการ parallel training
02อธิบายภาษาคนเข้าใจง่ายๆ
Temporal Convolutional Network เริ่มจากคำถามง่าย ๆ ว่า ใช้ causal dilated convolution มองอดีตไกลโดยคำนวณหลายเวลาแบบขนาน วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนวางตะแกรงหลายชั้นที่เว้นช่องกว้างขึ้น จึงเห็นทั้งเหตุการณ์ใกล้และไกลโดยไม่มองวันพรุ่งนี้ ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
TCN ซ้อน causal convolutions ที่มี dilation เพิ่มขึ้นและ residual connections เพื่อสร้าง receptive field กว้าง โดยไม่ให้ข้อมูลอนาคตรั่วเข้าคำทำนาย พารามิเตอร์หลักใน Playground คือ จำนวนระดับ dilation เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ tensor batch × time × channels เรียงตามเวลา · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น forecast, sequence labeling และสัญญาณยาวที่ต้องการ parallel training ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: feature sequence หรือ forecast ต่อเวลา · Playground อัปเดตเมื่อปรับ จำนวนระดับ dilation พร้อมจำข้อจำกัดสำคัญว่า receptive field ต้องครอบคลุม dependency จริงและ padding/dilation ที่ผิดทำให้ช่วงต้นมีข้อมูลไม่พอ
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
tensor batch × time × channels เรียงตามเวลา ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ dilation_depth เพื่อกำหนด receptive field ของอดีตที่โมเดลมองเห็น และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
ใช้ causal convolution ไม่ให้เห็นอนาคต จากนั้น เพิ่ม dilation เป็นกำลังเพื่อขยาย receptive field Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
รวม residual path แล้วปรับ filters ด้วย backpropagation ผลที่ได้คือ feature sequence หรือ forecast ต่อเวลา ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ dilation_depth ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า receptive field ต้องครอบคลุม dependency จริงและ padding/dilation ที่ผิดทำให้ช่วงต้นมีข้อมูลไม่พอ
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
dilation_depthlearning_ratevalidationข้อมูลที่รับเข้ามา
tensor batch × time × channels เรียงตามเวลา
tensor batch × time × channels เรียงตามเวลา · ตัวอย่างขนาดเล็กที่ทำซ้ำได้พารามิเตอร์ที่ใช้
- dilation_depth
- กำหนด receptive field ของอดีตที่โมเดลมองเห็น
- learning_rate
- ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
- validation
- กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
ผลลัพธ์ที่ได้
feature sequence หรือ forecast ต่อเวลา
feature sequence หรือ forecast ต่อเวลา · Playground อัปเดตเมื่อปรับ จำนวนระดับ dilationคำนวณทีละขั้น
- 01
ใช้ causal convolution ไม่ให้เห็นอนาคต
- 02
เพิ่ม dilation เป็นกำลังเพื่อขยาย receptive field
- 03
รวม residual path แล้วปรับ filters ด้วย backpropagation
ควรรู้อีกนิด — receptive field ต้องครอบคลุม dependency จริงและ padding/dilation ที่ผิดทำให้ช่วงต้นมีข้อมูลไม่พอ
04Make it yours
# ติดตั้ง: pip install numpy keras# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("temporal-convolutional-network-sample.csv", delimiter=",", skip_header=1)import kerasfrom keras.layers import Conv1D, Dense, GlobalAveragePooling1DX=data[:,1].reshape(-1,12,1); y=X[:,-1,0]inputs=keras.Input((12,1)); x=inputsfor d in [2**i for i in range(4)]: residual=x; x=Conv1D(16,3,padding="causal",dilation_rate=d,activation="relu")(x) if residual.shape[-1] != x.shape[-1]: residual=Conv1D(16,1)(residual) x=x+residualoutputs=Dense(1)(GlobalAveragePooling1D()(x)); model=keras.Model(inputs,outputs)model.compile(optimizer="adam",loss="mse"); model.fit(X,y,epochs=2,verbose=0)print("Predictions:", model.predict(X[:4],verbose=0).ravel())โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
จำนวนระดับ dilation ทำให้ receptive field ย้อนไปไกลเท่าใด?
เส้นเชื่อมที่เว้นช่วงแสดง causal dilated convolution จากอดีตเท่านั้น
receptive field โตแบบก้าวกระโดดโดยยังคำนวณเวลาแบบขนาน
ดูว่าขอบเขตครอบคลุม dependency จริงโดยไม่ใช้อนาคต
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ Keras จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง