باحثو جوجل يتوصلون لطريقة تجعل الذكاء الاصطناعى يحلل ملايين الكلمات – شعاع نيوز

يمكن لـ ChatGPT التعامل مع بضعة آلاف من الكلمات، بينما يمكن لنماذج الذكاء الاصطناعي الأكبر التعامل مع المزيد، ولكن حتى حوالي 75000 كلمة فقط. ولعل السؤال هنا هو: ماذا لو كان بإمكانك ضخ ملايين الكلمات، أو قواعد أكواد برمجية كاملة، أو مقاطع فيديو كبيرة في هذه النماذج؟

وفقًا لما ذكره موقع Business Insider، توصل أحد باحثي Google، بالتعاون مع Databricks CTO Matei Zaharia والأستاذ بجامعة كاليفورنيا في بيركلي Peter Appel، إلى طريقة للقيام بذلك.

يمثل هذا التقدم، الذي تم الكشف عنه في ورقة بحثية حديثة، تغييرًا جذريًا في كيفية تفاعلنا مع هذه الأدوات التقنية الجديدة القوية، ولا يستطيع النهج الحالي التعامل مع المدخلات الضخمة بسبب قيود الذاكرة في وحدات معالجة الرسومات التي تدرب وتشغل نماذج الذكاء الاصطناعي .

يتم قياس هذه الأشياء ومناقشتها بناءً على “الرموز المميزة” و”نوافذ السياق”. الرمز المميز هو وحدة قد تمثل كلمة، أو جزءًا من كلمة، أو رقمًا، أو شيئًا مشابهًا. نافذة السياق هي المساحة التي تضع فيها سؤالاً أو نصًا أو نصًا. مدخلات أخرى في نموذج الدردشة الآلية أو الذكاء الاصطناعي حتى يتمكن من تحليل المحتوى وتقديم شيء ذكي.

تمتلك شركة Anthropic الناشئة للذكاء الاصطناعي وبرنامج الدردشة الآلي Claude نافذة سياقية تحتوي على 100000 رمز مميز، وهو ما يعادل 75000 كلمة تقريبًا.

يحتوي نموذج GPT-3.5 الخاص بـ OpenAI على طول سياق يبلغ 16000 حرف، وGPT-4 32000 حرف، والنموذج الذي أنشأته MosiacML، المملوكة لشركة Databricks، يمكنه التعامل مع 65000 حرف، وفقًا لورقة بحثية حديثة.

الفكرة الأساسية هي أن نماذج الذكاء الاصطناعي الحديثة تعالج البيانات بطريقة تتطلب من وحدات معالجة الرسومات تخزين المخرجات الداخلية المختلفة ثم إعادة حسابها قبل تمريرها إلى وحدة معالجة الرسومات التالية، حسبما كشف هاو ليو، طالب دكتوراه في جامعة كاليفورنيا في بيركلي وباحث غير متفرغ. في جوجل ديب مايند.

“يتطلب هذا الكثير من الذاكرة وليس هناك ما يكفي، وهذا يحد في النهاية من مقدار المدخلات التي يمكن لنموذج الذكاء الاصطناعي معالجتها. بغض النظر عن مدى سرعة وحدة معالجة الرسومات، هناك عنق الزجاجة في الذاكرة.

قال لي ليو: “كان الهدف من هذا البحث هو إزالة عنق الزجاجة هذا”. يشكل أسلوبه الجديد نوعًا من حلقة GPU التي تمرر أجزاء من العملية إلى وحدة معالجة الرسومات التالية. “يزيل هذا بشكل فعال قيود الذاكرة التي تفرضها الأجهزة الفردية.”


المصدر

مقالات ذات صلة

زر الذهاب إلى الأعلى