ml/ library Learn by doing
ALGORITHM 10 · PYTHON / JAVASCRIPT

Apriori

ค้นหาสินค้าที่ปรากฏร่วมกันบ่อยจากตะกร้ารายการ

LEARNING LEVEL1
พื้นฐานควรรู้มาก่อน · เซต ความถี่ support และ confidence
ลองใน Playground

01Overall Concept

OVERALL CONCEPT

ไอเดียหลัก — Apriori หา frequent itemsets โดยอาศัยกฎว่า ถ้าชุดใหญ่พบบ่อย ชุดย่อยทุกชุดต้องพบบ่อยด้วย จึงตัด candidate ที่เป็นไปไม่ได้ก่อนสร้างกฎ association

ลองนึกภาพว่า — เหมือนเช็กคู่สินค้าที่ขายดี ก่อนขยายไปตรวจชุดสามชิ้นเฉพาะคู่ที่ผ่านเกณฑ์แล้ว

ตัวอย่างการนำไปใช้ — วิเคราะห์ตะกร้าสินค้า การใช้ฟีเจอร์ร่วมกัน และเหตุการณ์ที่เกิดร่วมกัน

02อธิบายภาษาคนเข้าใจง่ายๆ

เล่าแบบไม่ใช้ศัพท์ยาก

Apriori เริ่มจากคำถามง่าย ๆ ว่า ค้นหาสินค้าที่ปรากฏร่วมกันบ่อยจากตะกร้ารายการ วิธีนี้ไม่ได้มองข้อมูลทุกชนิดเหมือนกัน จึงต้องเตรียมข้อมูลให้ตรงกับสิ่งที่อัลกอริทึมใช้คำนวณ

เหมือนเช็กคู่สินค้าที่ขายดี ก่อนขยายไปตรวจชุดสามชิ้นเฉพาะคู่ที่ผ่านเกณฑ์แล้ว ภาพเปรียบเทียบนี้ช่วยจำแก่นของวิธี แต่ตอนใช้งานจริงคอมพิวเตอร์ทำงานกับตัวเลขและกฎที่กำหนดไว้อย่างชัดเจน

Apriori หา frequent itemsets โดยอาศัยกฎว่า ถ้าชุดใหญ่พบบ่อย ชุดย่อยทุกชุดต้องพบบ่อยด้วย จึงตัด candidate ที่เป็นไปไม่ได้ก่อนสร้างกฎ association พารามิเตอร์หลักใน Playground คือ minimum support เมื่อเลื่อนค่า ระบบจะคำนวณผลใหม่จากข้อมูลชุดเดิม จึงเปรียบเทียบการเปลี่ยนแปลงได้ตรง ๆ

ข้อมูลตัวอย่างบนหน้าใช้รูปแบบ นม=1 ขนมปัง=1 ไข่=0 ต่อหนึ่งตะกร้า เราแยกสิ่งที่อัลกอริทึมรับเข้าออกจากผลลัพธ์ เพื่อไม่เผลอส่งข้อมูลคำตอบหรือข้อมูลอนาคตเข้าไปตอนฝึก

งานที่เหมาะ เช่น วิเคราะห์ตะกร้าสินค้า การใช้ฟีเจอร์ร่วมกัน และเหตุการณ์ที่เกิดร่วมกัน ก่อนใช้จริงควรกำหนด metric ที่สัมพันธ์กับเป้าหมาย แล้วเปรียบเทียบกับวิธีพื้นฐานที่ง่ายกว่า

ภาพจำ: {นม,ขนมปัง} support=0.40 พร้อมจำข้อจำกัดสำคัญว่า ค่า support ต่ำทำให้ candidate เพิ่มรวดเร็ว กฎร่วมกันไม่ได้พิสูจน์เหตุและผล และข้อมูลต้องเข้ารหัสธุรกรรมให้ถูกต้อง

03How it works

ค่อยๆ ทำไปด้วยกัน ตั้งแต่ข้อมูลแถวแรกจนถึงการตรวจคำตอบ

  1. เตรียมข้อมูลให้ตรงโจทย์

    ตาราง boolean ที่แถวเป็นธุรกรรมและคอลัมน์เป็นสินค้า ตรวจค่าที่หาย หน่วยของแต่ละคอลัมน์ และแยกข้อมูลประเมินก่อนเรียนรู้พารามิเตอร์จากข้อมูล

  2. ตั้งค่าที่ควบคุมพฤติกรรม

    ใช้ min_support เพื่อsupport ต่ำสุดที่ยอมรับ และบันทึกค่าเริ่มต้นหรือ random seed เมื่อวิธีมีการสุ่ม เพื่อให้ทำซ้ำและเปรียบเทียบได้

  3. คำนวณแก่นของวิธี

    นับ support ของสินค้าเดี่ยว จากนั้น ต่อ candidate จาก frequent itemsets และตัดชุดที่มี subset ไม่ผ่าน Playground ใช้ข้อมูลสาธิตชุดเดิมทุกครั้งเพื่อให้เห็นผลของ slider โดยไม่ถูกความสุ่มกลบ

  4. สร้างผลลัพธ์ที่นำไปอ่านได้

    ทำซ้ำและสร้าง rules จาก itemsets ที่ผ่าน ผลที่ได้คือ frequent itemsets พร้อม support และกฎที่มี confidence/lift ตัวเลขหรือกลุ่มที่ได้ยังต้องตีความร่วมกับบริบทของข้อมูล

  5. ตรวจว่าคำตอบใช้ได้จริง

    เปรียบเทียบหลายค่าของ min_support ด้วย metric ที่เหมาะ ดูทั้งผลรวมและกรณีที่พลาด แล้วทดสอบกับข้อมูลที่ไม่ใช้ปรับค่า โดยคำนึงถึงข้อจำกัดว่า ค่า support ต่ำทำให้ candidate เพิ่มรวดเร็ว กฎร่วมกันไม่ได้พิสูจน์เหตุและผล และข้อมูลต้องเข้ารหัสธุรกรรมให้ถูกต้อง

เปิดตัวอย่างโค้ดเพื่อลองทำตาม →ตัวอย่างตัวเลขในเรื่องใช้ช่วยอธิบาย ส่วนโค้ดและ Playground ใช้ชุดข้อมูลสาธิตของแต่ละหน้าอ่านเอกสารอ้างอิงของเทคนิคนี้ ↗

ข้อมูล พารามิเตอร์ และภาพรวมการคำนวณ

DATA INX · featuresy · targetนม=1 ขนมปัง=1 ไข่=0 ต่อหนึ่งตะกร้า
CALCULATEApriori
min_supportmax_lenuse_colnames
RESULTnumeric prediction{นม,ขนมปัง} support=0.40
เส้นทางของข้อมูล: จากค่าที่รับเข้า ผ่านการคำนวณด้วยพารามิเตอร์ ไปเป็นผลลัพธ์
INPUT

ข้อมูลที่รับเข้ามา

ตาราง boolean ที่แถวเป็นธุรกรรมและคอลัมน์เป็นสินค้า

นม=1 ขนมปัง=1 ไข่=0 ต่อหนึ่งตะกร้า
PARAMETERS

พารามิเตอร์ที่ใช้

min_support
support ต่ำสุดที่ยอมรับ
max_len
ขนาด itemset สูงสุด
use_colnames
คืนชื่อสินค้าแทนดัชนี
OUTPUT

ผลลัพธ์ที่ได้

frequent itemsets พร้อม support และกฎที่มี confidence/lift

{นม,ขนมปัง} support=0.40
CALCULATION

คำนวณทีละขั้น

  1. 01

    นับ support ของสินค้าเดี่ยว

  2. 02

    ต่อ candidate จาก frequent itemsets และตัดชุดที่มี subset ไม่ผ่าน

  3. 03

    ทำซ้ำและสร้าง rules จาก itemsets ที่ผ่าน

ควรรู้อีกนิด — ค่า support ต่ำทำให้ candidate เพิ่มรวดเร็ว กฎร่วมกันไม่ได้พิสูจน์เหตุและผล และข้อมูลต้องเข้ารหัสธุรกรรมให้ถูกต้อง

04Make it yours

Python · mlxtend
# ติดตั้ง: pip install pandas mlxtendimport pandas as pdfrom mlxtend.frequent_patterns import apriori, association_rules transactions = pd.read_csv("apriori-sample.csv").astype(bool)itemsets = apriori(transactions, min_support=0.3, use_colnames=True)print(itemsets.sort_values("support", ascending=False))if len(itemsets):    rules = association_rules(itemsets, metric="confidence", min_threshold=.6, num_itemsets=len(transactions))    print(rules[["antecedents", "consequents", "support", "confidence", "lift"]])

โค้ดเปลี่ยนตามค่าที่เลือกใน Playground · แต่ละภาษาใช้ข้อมูลตัวอย่างตามที่ระบุในโค้ด

05Learn by playing

ปรับ minimum support แล้วสังเกตรูปแบบคำทำนายและตัวชี้วัดที่คำนวณใหม่ทันที

Sample transactions / Itemset support● คำนวณใหม่เมื่อปรับค่า
เกณฑ์สัดส่วนธุรกรรมขั้นต่ำของ itemset
ข้อมูลฝึกและผลการทำนายFeature xค่าจริง • / ค่าทำนาย —
Frequent itemsets6
Algorithmcandidate pruning
พารามิเตอร์ที่ลอง0.30

Playground เป็น implementation เพื่อการเรียนรู้ที่คำนวณในเบราว์เซอร์ ส่วนโค้ด Python ใช้ mlxtend จึงอาจให้ค่าต่างกันเล็กน้อยจากรายละเอียดการ optimize และค่าเริ่มต้นของไลบรารี ผลนี้ไม่ใช่ benchmark บนข้อมูลจริง