क्यों 20% ट्रेनिंग डेटा 100% को हरा सकता है — OST फ्रेमवर्क समझाया
बड़े मल्टीमॉडल मॉडल ट्रेन करना महँगा है। इतना महँगा कि डिफ़ॉल्ट स्ट्रैटेजी — सारा उपलब्ध डेटा इस्तेमाल करो — पर लागत के बजाय प्रभावशीलता के आधार पर सवाल उठने लगे हैं।
चीन के रिसर्चर्स का एक नया पेपर, Efficient Data Selection for Multimodal Models via Incremental Optimization Utility (arXiv:2605.07488), OST (One-Step-Train) नाम का एक फ्रेमवर्क प्रस्तावित करता है। नतीजा चौंकाने वाला है: टॉप 20% सैंपल पर ट्रेनिंग 100% पर ट्रेनिंग से 8.8 पॉइंट बेहतर प्रदर्शन करती है, जबकि कंप्यूट कॉस्ट 43% कम होती है।
समस्या: सारा डेटा एक जैसा नहीं होता
LLM ट्रेनिंग के लिए डेटा क्यूरेशन का प्रचलित तरीका है LLM-as-a-Judge — GPT-5 जैसे बड़े मॉडल का उपयोग करके हर ट्रेनिंग सैंपल की क्वालिटी स्कोर करना। यह काम करता है, लेकिन:
- बहुत महँगा — ट्रेनिंग शुरू होने से पहले ही पूरे डेटासेट पर इन्फ़्रेंस कॉस्ट चुकानी पड़ती है
- सिमैंटिकली ह्यूरिस्टिक — LLM द्वारा जज की गई “क्वालिटी” का ट्रेनिंग यूटिलिटी से ज़रूरी नहीं कि संबंध हो
- अनइंटरप्रिटेबल — आप समझा नहीं सकते कि सैंपल को कम स्कोर क्यों मिला
समाधान: मार्जिनल यूटिलिटी, सिमैंटिक क्वालिटी नहीं
OST डेटा सेलेक्शन को एक इन्क्रीमेंटल ऑप्टिमाइज़ेशन यूटिलिटी समस्या के रूप में रिफ़्रेम करता है। मुख्य इनसाइट रैडिकल है: यह मत पूछो कि सैंपल “अच्छा” है या नहीं — पूछो कि ट्रेनिंग सेट में जोड़ने पर यह मॉडल को कितना सुधारता है।
यह LLM-as-a-Judge से फ़ंडामेंटली अलग है। OST को सैंपल के सिमैंटिक कंटेंट से कोई फ़र्क नहीं पड़ता — उसे डाउनस्ट्रीम परफॉरमेंस पर सैंपल के कॉज़ल इफ़ेक्ट से फ़र्क पड़ता है।
नंबर: कितना बेहतर?
| तरीका | डेटा इस्तेमाल | Δ vs फुल-SFT | कॉस्ट कमी |
|---|---|---|---|
| फुल-SFT | 100% | 0 | 0% |
| LLM-as-a-Judge | 50% | +1.8 pts | ~50% |
| OST (टॉप-20) | 20% | +8.8 pts | 43% |
टॉप-20 रिज़ल्ट हेडलाइन है: 80% कम डेटा का उपयोग करके, OST फुल SFT से 8.8 पॉइंट बेहतर नेट इम्प्रूवमेंट हासिल करता है।
इंजीनियरिंग निहितार्थ
1. हर चीज़ पर ट्रेन करना बंद करें
“ज़्यादा डेटा = बेहतर मॉडल” मल्टीमॉडल ट्रेनिंग के लिए अनुभवजन्य रूप से ग़लत है।
2. टॉक्सिसिटी डिटेक्शन एक साइड इफ़ेक्ट है
यह जानना कि कौन सा डेटा आपके मॉडल को नुकसान पहुँचाता है, कम से कम उतना ही महत्वपूर्ण है जितना यह जानना कि कौन सा डेटा मदद करता है।