انکولی متوازی استدلال: LLMs جو خود فیصلہ کریں کہ کب ملٹی ٹاسک کرنا ہے
بڑی لینگویج ماڈلز استدلال میں بہت اچھے ہیں — لیکن سست ہیں۔ LLM سے کوئی پیچیدہ ریاضی کا مسئلہ حل کرنے یا ملٹی فائل کوڈبیس ڈیبگ کرنے کو کہیں، اور یہ قدم بہ قدم، ایک وقت میں ایک سوچ کے ساتھ آگے بڑھے گا۔ اس ترتیبی طریقے کا ایک نام ہے: chain-of-thought reasoning۔ اور اس کا ایک مسئلہ ہے: جیسے جیسے استدلال کی زنجیر بڑھتی ہے، لیٹنسی بھی بڑھتی ہے — اور ماڈل کے اپنے خیالات میں کھو جانے کا امکان بھی بڑھتا ہے، جسے محققین “context corruption” کہتے ہیں۔
تحقیق کی ایک نئی لہر اسے بدل رہی ہے۔ Adaptive parallel reasoning LLMs کو خود مختاری سے فیصلہ کرنے دیتا ہے کہ کب کسی کام کو ذیلی کاموں میں تقسیم کرنا ہے، کتنے متوازی چلانے ہیں اور نتائج کو کیسے مربوط کرنا ہے۔ یہ ایک شخص کے سب کچھ ترتیب سے کرنے اور ٹیم لیڈ کے درمیان فرق ہے جو جانتا ہے کہ کب ڈیلیگیٹ کرنا ہے۔
ترتیبی استدلال کا مسئلہ
روایتی LLM استدلال اس طرح کام کرتا ہے: مرحلہ 1 سوچو، پھر مرحلہ 2، پھر مرحلہ 3۔ ہر مرحلہ پچھلے کے آؤٹ پٹ پر منحصر ہوتا ہے۔ یہ سادہ کاموں کے لیے کام کرتا ہے، لیکن ٹوٹ جاتا ہے جب:
- لیٹنسی بڑھتی ہے — 200ms والے 50 ترتیبی مراحل = 10 سیکنڈ انتظار
- Context corruption — جتنی لمبی زنجیر، اتنا ہی ماڈل اصل ارادے سے بھٹکتا ہے
- ایکسپلوریشن مہنگی ہے — اگر مرحلہ 3 کی 5 ممکنہ شاخیں ہوں، تو ان سب کو ترتیب سے دیکھنا بہت سست ہے
ریئل ٹائم ایپلیکیشنز کے لیے — کوڈنگ اسسٹنٹس، وائس ایجنٹس، خود مختار سسٹمز — یہ تاخیر صرف پریشان کن نہیں، بلکہ ناقابل قبول ہیں۔
انکولی متوازی استدلال کیا ہے؟
بنیادی خیال آسان ہے: ماڈل کو خود اپنی متوازی حکمت عملی طے کرنے دیں۔
| فیصلہ | سوال |
|---|---|
| کب تقسیم کریں | کیا یہ کام متوازی کرنے کے لیے کافی پیچیدہ ہے؟ |
| کتنے تھریڈ | کتنے آزاد ذیلی کام بیک وقت تلاش کیے جا سکتے ہیں؟ |
| کیسے مربوط کریں | متوازی تھریڈز کے نتائج کیسے ضم اور ترکیب کیے جائیں؟ |
یہ ایک ہنر مند انسانی انجینئر کے کام کرنے کے طریقے سے نمایاں مشابہت رکھتا ہے۔
کلیدی تحقیق: ThreadWeaver اور Multiverse
Berkeley AI Research (BAIR) کے دو حالیہ پیپرز اس پیراڈائم کو آگے بڑھا رہے ہیں:
ThreadWeaver
ThreadWeaver LLM استدلال کے لیے ڈائنامک تھریڈ مینجمنٹ متعارف کراتا ہے۔ ماڈل برانچنگ پوائنٹس پر متوازی تھریڈز بنانا سیکھتا ہے — متعدد ممکنہ حل کے راستے — اور انہیں ضم کرتا ہے جب ایک سمت کے لیے کافی ثبوت جمع ہو جاتے ہیں۔
Multiverse
Multiverse اس تصور کو آگے بڑھاتا ہے اور متوازی استدلال کو ایک ٹری سرچ مسئلے کی طرح سمجھتا ہے۔ ماڈل بیک وقت استدلال کے متعدد “کائناتیں” برقرار رکھتا ہے۔
دونوں طریقے ریاضی اور کوڈ استدلال بینچ مارکس پر اہم بہتری دکھاتے ہیں جبکہ اینڈ ٹو اینڈ لیٹنسی میں ڈرامائی کمی لاتے ہیں۔
یہ کیوں اہم ہے
1. ریئل ٹائم AI قابل عمل ہو جاتا ہے۔ آواز کے اسسٹنٹس اور کوڈنگ کوپائلٹس کو سیکنڈ سے کم رسپانس ٹائم چاہیے۔
2. زیادہ موثر کمپیوٹ استعمال۔ 4 متوازی چھوٹی زنجیریں ایک بہت لمبی زنجیر سے سستی ہو سکتی ہیں۔
3. بہتر استدلال کا معیار۔ آزاد متوازی تلاش ماڈل کے کسی غلط ابتدائی قدم میں پھنسنے کے خطرے کو کم کرتی ہے۔
بڑی تصویر
یہ ایک وسیع تر رجحان کا حصہ ہے: LLMs اس بارے میں زیادہ خود مختار ہو رہے ہیں کہ وہ کمپیوٹ کو کیسے استعمال کرتے ہیں۔ اختتام ایک ایسا ماڈل ہے جو اپنے سامنے موجود مخصوص مسئلے کی مشکل کی بنیاد پر کمپیوٹ مختص کرتا ہے۔