ml/ library Learn by doing
ALGORITHM 112 · PYTHON / JAVASCRIPT

Graph Neural Network

ให้แต่ละโหนดรับข้อความจากเพื่อนบ้านแล้วอัปเดต representation

LEARNING LEVEL5
เฉพาะทางควรรู้มาก่อน · Graph Embedding และ MLP
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — GNN ทำ message passing โดยสร้างข้อความตาม edge รวมข้อความรอบโหนด และใช้ neural update สร้าง embedding ใหม่ หลายชั้นขยายบริเวณข้อมูลที่โหนดมองเห็น

ลองนึกภาพว่า — เหมือนคนในเครือข่ายถามข่าวจากเพื่อน สรุปข้อมูล แล้วส่งสรุปใหม่ต่อในรอบถัดไป

ตัวอย่างการนำไปใช้ — จำแนกโหนด ทำนายลิงก์ โมเลกุล และระบบแนะนำ

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Graph Neural Network เริ่มจากคำถามง่าย ๆ ว่า ให้แต่ละโหนดรับข้อความจากเพื่อนบ้านแล้วอัปเดต representation วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนคนในเครือข่ายถามข่าวจากเพื่อน สรุปข้อมูล แล้วส่งสรุปใหม่ต่อในรอบถัดไป ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

GNN ทำ message passing โดยสร้างข้อความตาม edge รวมข้อความรอบโหนด และใช้ neural update สร้าง embedding ใหม่ หลายชั้นขยายบริเวณข้อมูลที่โหนดมองเห็น พารามิเตอร์หลักใน Playground คือ จำนวน message-passing layers เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ node features, edge index และ edge features ถ้ามี · ตัวอย่างขนาดเล็กที่ทำซ้ำได้ เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น จำแนกโหนด ทำนายลิงก์ โมเลกุล และระบบแนะนำ ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: node/edge/graph embeddings และค่าทำนาย · Playground อัปเดตเมื่อปรับ จำนวน message-passing layers พร้อมจำข้อจำกัดสำคัญว่า หลายชั้นอาจทำให้ embeddings คล้ายกันเกินไปและกราฟใหญ่ต้องใช้ sampling หรือ batching เฉพาะ

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    node features, edge index และ edge features ถ้ามี ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ num_layers เพื่อจำนวน hop ของเพื่อนบ้านที่มีอิทธิพล และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    สร้าง message จากโหนดต้นทางและ edge จากนั้น aggregate messages แบบ sum/mean/max Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    อัปเดต node state ด้วย neural network ผลที่ได้คือ node/edge/graph embeddings และค่าทำนาย ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ num_layers ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า หลายชั้นอาจทำให้ embeddings คล้ายกันเกินไปและกราฟใหญ่ต้องใช้ sampling หรือ batching เฉพาะ

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetnode features, edge index และ edge features ถ้ามี · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
CALCULATEGraph Neural Network
num_layerslearning_ratevalidation
RESULT0.800.150.05class / probabilitynode/edge/graph embeddings และค่าทำนาย · Playground อัปเดตเมื่อปรับ จำนวน message-passing layers
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

node features, edge index และ edge features ถ้ามี

node features, edge index และ edge features ถ้ามี · ตัวอย่างขนาดเล็กที่ทำซ้ำได้
PARAMETERS

พารามิเตอร์ที่ใช้

num_layers
จำนวน hop ของเพื่อนบ้านที่มีอิทธิพล
learning_rate
ควบคุมขนาดการอัปเดตในแต่ละรอบเมื่อโมเดลเรียนด้วย gradient
validation
กำหนดข้อมูลที่กันไว้เลือกค่าและตรวจการใช้งานกับตัวอย่างใหม่
OUTPUT

ผลลัพธ์ที่ได้

node/edge/graph embeddings และค่าทำนาย

node/edge/graph embeddings และค่าทำนาย · Playground อัปเดตเมื่อปรับ จำนวน message-passing layers
CALCULATION

คำนวณทีละขั้น

  1. 01

    สร้าง message จากโหนดต้นทางและ edge

  2. 02

    aggregate messages แบบ sum/mean/max

  3. 03

    อัปเดต node state ด้วย neural network

ควรรู้อีกนิด — หลายชั้นอาจทำให้ embeddings คล้ายกันเกินไปและกราฟใหญ่ต้องใช้ sampling หรือ batching เฉพาะ

04Make it yours

Python · PyTorch Geometric
# ติดตั้ง: pip install numpy torch torch-geometric# ดาวน์โหลด sample.csv จากหน้านี้ แล้ววางไว้ข้างสคริปต์import numpy as npdata = np.genfromtxt("graph-neural-network-sample.csv", delimiter=",", skip_header=1)import torchfrom torch_geometric.data import Datafrom torch_geometric.nn import SAGEConvedges=torch.tensor(data[:,:2].T,dtype=torch.long)n=int(edges.max())+1; x=torch.eye(n)graph=Data(x=x,edge_index=edges)layer=SAGEConv(n, 16)embedding=layer(graph.x,graph.edge_index)print("Node embedding shape:", tuple(embedding.shape))print(embedding[:4])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

จำนวน layers ทำให้โหนดรับข้อมูลจากกี่ hops?

Graph Neural Network / ภาพกลไกที่พารามิเตอร์ควบคุม● คำนวณใหม่เมื่อปรับค่า
จำนวน hop ของเพื่อนบ้านที่มีอิทธิพล
ดูภาพอย่างไร

สีที่ไหลตาม edge คือ messages และโหนดกลางรวมข้อความก่อนอัปเดต

เมื่อเพิ่มค่า

มองเพื่อนบ้านไกลขึ้น แต่อาจเกิด oversmoothing

ลองเปรียบเทียบ

ดูว่าโหนดต่างชุมชนเริ่มมีสีหรือ embedding คล้ายกันเกินไปหรือไม่

v0v1v2v3v4v5v6เส้นเข้ม = messages ที่รวมในรอบนี้ · โหนดทอง = จุดที่กำลังอัปเดต
Node accuracy82.0%
จำนวน layers2
พารามิเตอร์ที่ลอง2

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ PyTorch Geometric จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง