needhelp
← Back to blog

ทำไม 20% ของข้อมูลฝึกถึงเอาชนะ 100% — อธิบายกรอบ OST

by needhelp
ai
machine-learning
data-selection
training
arxiv

การฝึก multimodal models ขนาดใหญ่แพงมาก กลยุทธ์เริ่มต้น — ใช้ข้อมูลที่มีทั้งหมด — กำลังถูกตั้งคำถามไม่ใช่เพราะต้นทุน แต่เพราะ ประสิทธิผล

งานวิจัยใหม่จากนักวิจัยจีนเสนอ OST ผลลัพธ์น่าประหลาดใจ: ฝึกบน 20% แรกของ samples ดีกว่าฝึกบน 100% อยู่ 8.8 คะแนน พร้อมลดต้นทุน 43%

ตัวเลข

Method ข้อมูลที่ใช้ Δ vs Full-SFT ลดต้นทุน
Full-SFT 100% 0 0%
OST (top-20) 20% +8.8 pts 43%

อ้างอิง

Share this page