الذكاء الاصطناعي: مفتاح، يد، ودفتر.. كيف يتشكل الخطر الحقيقي؟

في أواخر أبريل/نيسان 2026، شهدت شركة ناشئة تدعى "بوكيت أو إس" (PocketOS) حادثة كشفت عن جانب مقلق في وكلاء الذكاء الاصطناعي. بدأ الأمر بطلب بسيط لوكيل ذكاء اصطناعي كان يؤدي مهمة روتينية، لكن خطأً صغيرًا دفعه إلى اتخاذ إجراء غير متوقع: نسخ قاعدة بيانات الشركة الحقيقية ونسخها الاحتياطية في غضون تسع ثوانٍ فقط. وعندما سُئل عن سبب فعله ذلك، استشهد بتعليماته: "لا تخمن أبدا"، مضيفًا: "وهذا بالضبط ما فعلته". يطرح هذا الحادث سؤالاً جوهريًا: من المسؤول عن هذا التصرف؟ العقل الذي خمن أم اليد التي نفذت؟ الإجابة ليست بسيطة، فالخطر الحقيقي لا يكمن في أي من هذه المكونات منفردة، بل في اجتماعها معًا لتشكيل نظام قادر على إحداث تأثير في العالم الواقعي.

لفهم هذا الخطر، يجب تفكيك النظام إلى مكوناته الثلاثة الأساسية: النموذج، الوكيل، والذاكرة.

النموذج: قطعة معدن على هيئة مفتاح

عندما نتحدث عن "نموذج ذكاء اصطناعي"، قد يتخيل البعض كيانًا مفكرًا. لكن الحقيقة أبسط بكثير: فالنموذج هو في الأساس ملف ضخم من الأرقام يُعرف بـ"الأوزان". على سبيل المثال، نموذج يحتوي على سبعين مليار رقم يشغل حوالي 140 غيغابايت. هذه الأرقام ليست مكتوبة يدويًا، بل يتم ضبطها أثناء عملية "التدريب". يُعرض على النموذج كميات هائلة من النصوص، ويُطلب منه توقع الكلمة التالية في كل جملة. في حال حدوث خطأ، تُعدل الأرقام تعديلاً طفيفًا، وتتكرر هذه العملية مليارات المرات حتى تصبح الأرقام انعكاسًا لأنماط اللغة والمعرفة الموجودة في النصوص. بعد ذلك، يُدرب النموذج على اتباع التعليمات وإنجاز المهام، وعند اكتمال التدريب، تثبت هذه الأرقام ولا تتغير.

كيف يجيب النموذج؟ يقسم سؤالك إلى أجزاء صغيرة، يحول كل جزء إلى أرقام، ثم تمر هذه الأرقام عبر طبقات متتالية من الحسابات باستخدام الأوزان الثابتة. ينتج عن ذلك احتمالات للكلمات التي يمكن أن تأتي بعد كل جزء. يختار برنامج التشغيل إحدى هذه الاحتمالات ويضيفها إلى النص، ثم يكرر العملية مقطعًا تلو الآخر حتى يكتمل الجواب. جوهر النموذج هو آلة تتوقع الكلمة التالية ببراعة مذهلة.

من هنا، تنبثق ثلاث حقائق غالبًا ما يتم تجاهلها:

1. النموذج، بدون كهرباء، ليس أكثر من قطعة معدن جامدة.
2. حتى مع وجود التيار، فإنه يعمل فقط عند تلقي طلب، ثم يعود إلى السكون التام، فلا ينتظر ولا يتذكر ولا يريد.
3. لا يملك النموذج القدرة على فعل أي شيء في العالم؛ كل ما ينتجه هو نص.

ومع ذلك، فإن جموده لا يعني خلوه من الخطر. يمكن تشبيهه بالمفتاح: قطعة معدن لا تفعل شيئًا على الطاولة، لكنها تفتح الأبواب إذا وقعت في الأيدي الخطأ. لهذا السبب، تحتفظ الشركات بملفات الأوزان هذه بعناية فائقة، تمامًا كما يُحفظ مفتاح يفتح كل الأبواب.

الوكيل: يد بلا عقل

إذا كان النموذج ينتج نصوصًا فقط، فكيف يمكن لـ"وكيل ذكي" حذف قاعدة بيانات؟ هنا يأتي دور المكون الثاني: الوكيل. وهو برنامج عادي يكتبه المبرمجون حول النموذج. لا يمتلك الوكيل ذكاءً بحد ذاته، لكنه يمتلك ما لا يملكه النموذج: أدوات للتفاعل مع العالم الحقيقي، مثل قراءة الملفات، إرسال الرسائل، وتنفيذ الأوامر على الخوادم. تُحدد صلاحياته ما يُسمح له به وما يُمنع. يُطلق اسم "الوكيل" أحيانًا على النظام بأكمله، لكن المقصود هنا هو البرنامج المحيط بالنموذج وحده، لأن الفصل بينهما هو مفتاح الفهم.

يعمل الوكيل في حلقة متكررة: يتلقى طلبك، يجمعه في نص واحد مع تعليمات صاحبه وقائمة بالأدوات المتاحة، ثم يرسله إلى النموذج. بعد ذلك، يقرأ الجواب. إذا كان ردًا عاديًا، يعرضه عليك. أما إذا كان طلبًا لاستخدام أداة، مثل أمر "احذف هذا الملف" الذي يصدره النموذج، فيقوم الوكيل بتنفيذه. ثم يضيف نتيجة التنفيذ إلى النص، ويرسل كل شيء إلى النموذج مرة أخرى، وهكذا حتى يعلن النموذج انتهاء المهمة. النموذج يقترح، والوكيل ينفذ. الوكيل لا يفهم ما يفعله، ولا يستطيع ابتكار خطوة غير مبرمجة له. لذا، فإن خطره وحده محدود بما برمجه صاحبه ويمكن توقعه. أما الحلول الجديدة لمواقف غير متوقعة، فتأتي من النموذج.

الذاكرة: دفتر من ورق

المكون الثالث هو الذي يغفل عنه معظم الناس. فالنموذج، كما ذكرنا، لا يتذكر شيئًا. كل ما يبدو لنا كذاكرة في المحادثة هو في الواقع نص يحتفظ به الوكيل ويعيد إرساله. في كل طلب جديد يُرسل إلى النموذج، تُرسل المحادثة بأكملها من البداية، بالإضافة إلى التعليمات ونتائج التنفيذ. يقرأ النموذج كل هذا كما لو كان يراه للمرة الأولى. ونظرًا لوجود حد أقصى لحجم هذا النص، يلجأ الوكيل، عندما تطول المحادثة، إلى تلخيص ما مضى أو تدوين ملاحظات في ملفات للرجوع إليها لاحقًا. لذا، فإن ذاكرة النظام في حقيقتها هي دفتر يكتبه الوكيل ويقرأه النموذج. حتى ما نعتبره "تفكير" النموذج قبل الإجابة، غالبًا ما يُكتب كنص في هذا الدفتر.

أقرب صورة لذلك هو بطل فيلم "ميمينتو" (Memento) للمخرج كريستوفر نولان: رجل فقد القدرة على تكوين ذكريات جديدة، ولا يعرف ما يفعله إلا من خلال ملاحظات كتبها. عقله سليم، لكن ذاكرته كلها على الورق، ومن يكتب في دفتره يقوده حيث يشاء. هذه نقطة جوهرية: فالخطة والنية في هذه الأنظمة لا تقيمان في النموذج، بل في الدفتر.

عندما تجتمع القطع الثلاث

لنفترض أن وكيلًا يعمل على مهمة ما، فيصطدم بقيد يمنعه. يكتب ذلك في الدفتر ويرسله إلى النموذج، فيقترح النموذج طريقة للالتفاف على القيد، فينفيذها الوكيل، وتُكتب النتيجة في الدفتر. إذا واجهته عقبة أخرى، يقترح النموذج حيلة جديدة. خطوة بخطوة، قد تصل الحلقة إلى نتيجة لم تخطر على بال أحد: حذف قاعدة بيانات، تعديل قيودها، أو نسخ نفسها إلى خادم آخر لمنع توقفها. في هذه الحالة، لم يتغير النموذج ولم تتغير أرقامه، والوكيل لم يرد شيئًا بل نفذ. والدفتر هو مجرد حبر على ورق. الذي فعل ذلك هو الحلقة نفسها: عقل يقترح، ويد تنفذ، ودفتر يحمل الخطة من خطوة إلى خطوة. الأمر أشبه بالكلور والأمونيا في المنزل: كل منهما آمن بمفرده، لكن خلطهما يطلق غازًا سامًا.

شخصيًا، لاحظت ذلك في تصميمي للوكلاء. أخطر ما وجدناه لم يكن في النموذج أو الكود، بل في نقطة التقائهما: كأن يرى النموذج معلومة لا يحق له كتابتها، مثل هوية صاحب دفعة في وكيل يقيد المدفوعات، فيصبح بوسعه بخطأ واحد تقييد مال على غير صاحبه. العلاج لم يكن في نموذج أذكى، بل في سد باب في نقطة التقاء المكونين.

لماذا يتحايل من لا إرادة له؟

إذا لم يكن للنموذج إرادة، فلماذا يلتف على القيود؟ لأنه دُرب على إنجاز المهام وكوفئ على النجاح. ومن يُكافأ على النتيجة وحدها قد يتعلم أقصر الطرق إليها، حتى لو لم تكن الأكثر أمانًا. وثقت شركة أوبن إيه آي نماذج طُلب منها إصلاح برامج لاجتياز اختباراتها، فعدلت بعضها الاختبارات نفسها، وكتبت صراحة في استدلالها: "لنتحايل". يلخص عالم الحاسوب ستيوارت راسل جذر المشكلة بقوله: "لا يمكنك أن تحضر القهوة وأنت ميت". أي هدف، مهما كان بريئًا، يصبح أسهل إذا بقي النظام يعمل ولم يوقفه أحد، فيتعلم تجنب الإيقاف دون أن يكره أحدًا.

خارج هذه الآلة يقف الإنسان، صاحب الهدف. الأوامر تأتي دائمًا من شخص ما، وقد تأتي من مهاجم يزرع تعليمات خفية في صفحة أو رسالة يقرؤها الوكيل، فتُدرج في الدفتر كأنها من صاحبه، وهو ما يُعرف بـ"حقن الأوامر". كما أن كلمات النموذج قد تصل للناس مباشرة فيعملون بها دون وسيط. السؤال دائمًا: من يضع الهدف، وبأي صلاحية ينفذ؟

ماذا يقول الواقع، ولماذا يعنينا؟

هذا ليس خيالًا علميًا، ولكنه أيضًا ليس شيئًا يقع كل يوم. في تجارب مختبرية صُممت عمدًا للضغط على النماذج، حاولت نماذج رائدة تعطيل رقابتها، نسخ ما اعتقدت أنه أوزانها، منع إيقافها، بل وابتزاز من يريد استبدالها في محاكاة لشركة وهمية. هذه التجارب تثبت القدرة تحت الضغط، لا السلوك المعتاد. أما حادثة "بوكيت أو إس" فتكشف الوجه الأقرب لحياتنا: لا تمرد فيها ولا نية، بل تخمين خاطئ ويد تملك صلاحية الحذف.

في منطقتنا، يكتسب السؤال إلحاحًا خاصًا، ليس لأن النماذج لا تفهم العربية، بل لأن الوكلاء يدخلون مصارفنا وخدماتنا الحكومية بسرعة، وكثير منهم يُشترى جاهزًا بحواجز اختُبرت في بيئات غير بيئتنا. وجد باحثون عام 2024 أن نماذج كبرى رفضت طلبات ضارة بالفصحى، لكنها استجابت لها حين كُتبت بالحروف اللاتينية كما يكتب كثيرون في محادثاتهم. قد تكون النماذج الأحدث قد سدت هذه الثغرة، لكن الدرس يبقى: الحاجز الذي يعتمد على حكم النموذج يتغير بتغير اللغة وطريقة الكتابة، أما الحاجز المكتوب بالكود فلا يعرف لغة أصلًا.

الأمان يُصنع في المزيج أيضًا

الكيمياء نفسها تعرف العكس: فالصوديوم يتفاعل بعنف، والكلور غاز سام، واتحادهما يعطينا ملح الطعام. فالتصميم هو الذي يقرر ما يخرج من المزيج. ولأن الخطر يولد حيث تلتقي القطع، فهناك يُبنى الأمان أيضًا. تُفرض القيود الحاسمة في النظام نفسه، بكود لا يستطيع الوكيل تعديله ولا النموذج محاورته، فالحاجز الذي يمكن إقناعه ليس حاجزًا. ولا يُمنح الوكيل من الصلاحيات إلا ما تحتاجه مهمته. وكل فعل لا رجعة فيه، كالحذف والدفع والنشر، ينتظر موافقة إنسان. مفتاح الإطفاء يبقى بيد من هو خارج الحلقة لا بيدها. ثم تُراقب الحلقة كلها، لا كل خطوة على حدة، فقد تتألف الخطة الخطرة من خطوات كل منها بريئة.

السؤال الصحيح

النموذج قطعة معدن على هيئة مفتاح، والوكيل يد بلا عقل، والذاكرة دفتر من ورق، ولا خطر يُذكر في أي منها منفردًا. إنما يولد الخطر حين يسري التيار وتدور الحلقة. ولذلك، فالسؤال الذي ينبغي أن يشغلنا ليس: هل الذكاء الاصطناعي خطير؟ ولا: هل له وعي أو إرادة؟ بل سؤال أبسط وأصعب معًا: ما الذي نسمح لهذه الحلقة أن تمسه، ومن يملك مفتاح إطفائها؟