ทำไม 20% ของข้อมูลฝึกถึงเอาชนะ 100% — อธิบายกรอบ OST
by needhelp
ai
machine-learning
data-selection
training
arxiv
การฝึก multimodal models ขนาดใหญ่แพงมาก กลยุทธ์เริ่มต้น — ใช้ข้อมูลที่มีทั้งหมด — กำลังถูกตั้งคำถามไม่ใช่เพราะต้นทุน แต่เพราะ ประสิทธิผล
งานวิจัยใหม่จากนักวิจัยจีนเสนอ OST ผลลัพธ์น่าประหลาดใจ: ฝึกบน 20% แรกของ samples ดีกว่าฝึกบน 100% อยู่ 8.8 คะแนน พร้อมลดต้นทุน 43%
ตัวเลข
| Method | ข้อมูลที่ใช้ | Δ vs Full-SFT | ลดต้นทุน |
|---|---|---|---|
| Full-SFT | 100% | 0 | 0% |
| OST (top-20) | 20% | +8.8 pts | 43% |
อ้างอิง
- arXiv: 2605.07488