01Overall Concept
ไอเดียหลัก — GCN layer คูณ node features ด้วย normalized adjacency ที่เพิ่ม self-loops แล้วใช้ weight matrix และ activation จึงเป็น graph convolution ที่รวมข้อมูลจากตนเองและเพื่อนบ้าน
ลองนึกภาพว่า — เหมือนปรับความคิดเห็นของแต่ละคนจากค่าเฉลี่ยถ่วงน้ำหนักของตัวเองกับเพื่อนโดยไม่ให้คนที่เพื่อนเยอะครองเสียง
ตัวอย่างการนำไปใช้ — node classification, link prediction และ semi-supervised learning บนกราฟ
02อธิบายภาษาคนเข้าใจง่ายๆ
Graph Convolutional Network เริ่มจากคำถามง่าย ๆ ว่า เฉลี่ย feature จากเพื่อนบ้านด้วย adjacency ที่ normalize แล้ว วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ
เหมือนปรับความคิดเห็นของแต่ละคนจากค่าเฉลี่ยถ่วงน้ำหนักของตัวเองกับเพื่อนโดยไม่ให้คนที่เพื่อนเยอะครองเสียง ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน
GCN layer คูณ node features ด้วย normalized adjacency ที่เพิ่ม self-loops แล้วใช้ weight matrix และ activation จึงเป็น graph convolution ที่รวมข้อมูลจากตนเองและเพื่อนบ้าน พารามิเตอร์หลักใน Playground คือ จำนวน hidden channels เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ
ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ node feature matrix และ edge index · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก
งานที่เหมาะ เช่น node classification, link prediction และ semi-supervised learning บนกราฟ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า
ภาพจำ: node embeddings หรือ class logits · Playground อัปเดตเมื่อปรับ จำนวน hidden channels พร้อมจำข้อจำกัดสำคัญว่า สมมติว่าโหนดที่เชื่อมกันควรคล้ายกันและ full-batch computation ไม่เหมาะกับกราฟใหญ่มาก
03How it works
ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ
เตรียมข้อมูลให้ตรงโจทย์
node feature matrix และ edge index ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล
ตั้งค่าที่ควบคุมพฤติกรรม
ใช้ hidden_channels เพื่อขนาด representation หลัง graph convolution และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้
คำนวณแก่นของวิธี
เพิ่ม self-loops และคำนวณ degree จากนั้น normalize adjacency ทั้งสองด้าน Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ
สร้างผลลัพธ์ที่นำไปอ่านได้
รวม neighbor features แล้วคูณ learnable weights ผลที่ได้คือ node embeddings หรือ class logits ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล
ตรวจว่าคำตอบใช้ได้จริง
เปรียบเทียบหลายค่าของ hidden_channels ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า สมมติว่าโหนดที่เชื่อมกันควรคล้ายกันและ full-batch computation ไม่เหมาะกับกราฟใหญ่มาก
ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ
hidden_channelslearning_ratevalidationข้อมูลที่รับเข้ามา
node feature matrix และ edge index
node feature matrix และ edge index · ตัวอย่างขนาดเล็กที่ทำซ้ำได้พารามิเตอร์ที่ใช้
- hidden_channels
- ขนาด representation หลัง graph convolution
- learning_rate
- ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
- validation
- กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
ผลลัพธ์ที่ได้
node embeddings หรือ class logits
node embeddings หรือ class logits · Playground อัปเดตเมื่อปรับ จำนวน hidden channelsคำนวณทีละขั้น
- 01
เพิ่ม self-loops และคำนวณ degree
- 02
normalize adjacency ทั้งสองด้าน
- 03
รวม neighbor features แล้วคูณ learnable weights
ควรรู้อีกนิด — สมมติว่าโหนดที่เชื่อมกันควรคล้ายกันและ full-batch computation ไม่เหมาะกับกราฟใหญ่มาก
04Make it yours
# ติดตั้ง: pip install numpy torch torch-geometric# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("graph-convolutional-network-sample.csv", delimiter=",", skip_header=1)import torchfrom torch_geometric.data import Datafrom torch_geometric.nn import GCNConvedges=torch.tensor(data[:,:2].T,dtype=torch.long)n=int(edges.max())+1; x=torch.eye(n)graph=Data(x=x,edge_index=edges)layer=GCNConv(n, 16)embedding=layer(graph.x,graph.edge_index)print("Node embedding shape:", tuple(embedding.shape))print(embedding[:4])โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด
05Learn by playing
hidden channels เพิ่มความจุของ representation หลัง aggregate อย่างไร?
self-loop กับ normalized edges ช่วยเฉลี่ย feature โดยไม่ให้โหนด degree สูงครองน้ำหนัก
เก็บรูปแบบ feature ได้มากขึ้นแต่จำนวน hop ไม่เปลี่ยน
แยกผลของจำนวน channels ออกจากจำนวน layers
Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ PyTorch Geometric จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง