الترانسفورمرز والانتباه: كيف تعلّم الذكاء الاصطناعي التركيز

تخيّل قراءة نص طويل والاضطرار إلى تذكّر كل كلمة لفهم ما يليه. هذا تمامًا المشكلة التي كانت تواجهها نماذج الذكاء الاصطناعي القديمة مثل RNN. ثم ظهرت المحولات (Transformers)، التي غيّرت كل شيء بفضل مفهوم أساسي: الاهتمام. في هذا المقال، سنستكشف هذه البنية بطريقة بسيطة وملموسة، دون معادلات معقدة، حتى تفهم سبب سيطرتها اليوم على الذكاء الاصطناعي.

ما هي آلية الانتباه؟

يتيح الانتباه للنموذج التركيز على الأجزاء المهمة من التسلسل بدلاً من معالجة كل شيء بشكل موحد. على سبيل المثال، في الجملة « Le chat dort sur le tapis parce qu’il est fatigué »، تشير كلمة « il » إلى القطة وليس إلى السجادة. يتعلم النموذج المزود بالانتباه « النظر » إلى الكلمة الصحيحة في الوقت المناسب.

• يحسب درجة أهمية بين كل زوج من الكلمات.
• يزن المعلومات بناءً على هذه الدرجات.
• النتيجة: فهم أكثر دقة للسياق.

لماذا تم تجاوز الشبكات العصبية المتكررة (RNN)؟

تعالج الشبكات العصبية المتكررة (RNN) البيانات بشكل تسلسلي، كلمة بكلمة. يؤدي ذلك إلى مشكلتين كبيرتين: فهي تنسى المعلومات القديمة عندما تكون الجملة طويلة، وتكون بطيئة لأنها لا تستطيع معالجة عدة كلمات في وقت واحد. تحل المحولات هذه القيود بمعالجة التسلسل بأكمله دفعة واحدة مع الحفاظ على السياق بفضل آلية الانتباه.

قلب المحولات: الانتباه متعدد الرؤوس

في المحول، لا يكون الانتباه فريدًا. نستخدم عدة «رؤوس» انتباه تتعلم في الوقت نفسه أنواعًا مختلفة من العلاقات. قد يركز رأس على القواعد النحوية، وآخر على المعنى، وثالث على الروابط بين الفاعل والفعل. تعمل هذه الرؤوس بالتوازي، ثم تُجمع نتائجها. إنه يشبه إلى حد ما وجود عدة قراء يحللون النص نفسه من زوايا مختلفة قبل مشاركة استنتاجاتهم.

شرح بنية Encoder-Decoder

يتكون المحول التقليدي من جزأين رئيسيين. يقرأ المشفر المدخلات ويفهمها (على سبيل المثال جملة بالفرنسية). يولد المفكك المخرجات (على سبيل المثال الترجمة إلى الإنجليزية). تحتوي كل طبقة على كتل انتباه وشبكات عصبية بسيطة. تسمح هذه البنية بمهام متنوعة جداً: الترجمة، التلخيص، توليد النص أو حتى تحليل الصور باستخدام نماذج Vision Transformers.

أمثلة ملموسة على الاستخدام اليوم

الترانسفورمرز موجودة في كل مكان. يستخدم GPT هذه البنية لتوليد النصوص. يستخدم BERT هذه البنية لفهم معنى الجمل في محركات البحث. وحتى نماذج توليد الصور مثل DALL-E تعتمد على نفس مبدأ الانتباه. ما قوتها؟ إنها تتكيف مع جميع المجالات تقريباً بمجرد تدريبها على كميات كبيرة من البيانات.

المزايا التي تفسر نجاحها

بفضل آلية الانتباه، تُدرَّب نماذج المحولات بسرعة أكبر، وتتعامل مع سياقات طويلة جداً، وتحقق نتائج أعلى جودة. وقد مهدت الطريق أمام نماذج اللغة الكبيرة الحالية. إلا أنها تحتاج إلى كميات كبيرة من البيانات وقوة حوسبة عالية، مما يبقى تحدياً للمشاريع الصغيرة.

لقد غيرت المحولات عالم الذكاء الاصطناعي بتمكين الآلات من «فهم» السياق حقاً. سواء كنت مبتدئاً أو ترغب في التعمق أكثر، فإن إتقان مفهوم الانتباه أصبح اليوم ضرورياً لمواكبة أحدث التطورات في الذكاء الاصطناعي. جرب أدوات مثل Hugging Face لرؤية هذه النماذج وهي تعمل!