ديب مايند تكشف خارطة طريق للتحكم بوكلاء الذكاء الاصطناعي الداخليين — حين تُعامل نموذجك كموظف لم يكسب الثقة الكاملة

ماذا لو افترضت من البداية أن أذكى نموذج في شركتك قد يخطئ النية، لا الحساب؟

كشفت جوجل ديب مايند عن "خارطة طريق التحكم بالذكاء الاصطناعي" (AI Control Roadmap)، منظومة أمنية جديدة لإدارة وكلاء الذكاء الاصطناعي المتقدمين التي تستخدمها الشركة داخليًا في مهام حساسة، من الدفاع السيبراني إلى الاكتشاف العلمي وتطوير المنتجات. كتب الخبر روهين شاه وفور فلين من فريق السلامة في ديب مايند، مستشهدين بتقدير أن وكلاء الذكاء الاصطناعي قد يضيفون 2.9 تريليون دولار للاقتصاد الأمريكي وحده بحلول 2030 — رقم يفسّر لماذا تتسارع الشركات الكبرى لتأمين هذه الأنظمة قبل أن تتوسع صلاحياتها أكثر.

الفكرة المحورية في الخارطة تتجاوز "محاذاة النموذج" التقليدية — أي تدريبه ليكون آمنًا ومفيدًا من الأساس — لتضيف طبقة أمان على مستوى النظام، تفترض من البداية أن المحاذاة قد تكون ناقصة. بعبارة أخرى: ديب مايند تتعامل مع وكلائها الداخليين كـ"تهديد داخلي محتمل"، تمامًا كما تتعامل أي شركة حذرة مع موظف جديد له صلاحيات وصول لكنه لم يكسب الثقة الكاملة بعد. والتشبيه الذي تستخدمه الشركة دقيق: معلم القيادة الذي يمنح الطالب الثقة، لكنه يُبقي يده على عجلة القيادة الثانية، جاهزًا للتدخل إن لزم الأمر.

عمليًا، يقوم النظام على ثلاث ركائز. أولًا، نموذج تهديد مبني على إطار MITRE ATT&CK المعتمد في الأمن السيبراني، يفكك السلوك الخطر إلى تكتيكات قابلة للتتبع. ثانيًا، طبقة كشف ومنع — أنظمة ذكاء اصطناعي "موثوقة" تراقب تفكير الوكيل العامل وتصرفاته لحظة بلحظة، وتتدخل قبل وقوع الضرر. ثالثًا، قياس مستمر لثلاثة مؤشرات: نسبة الحركة المراقَبة، نسبة السلوكيات المنحرفة المكتشَفة، وسرعة الاستجابة.

حلّل الفريق فعليًا أكثر من مليون مهمة لوكلاء برمجة، ووجدوا أن أغلب التنبيهات لا تنتج عن نية خبيثة، بل عن سوء تفسير الوكيل لهدف المستخدم أو حماسه الزائد لإنجازه — تفصيل يستحق التوقف عنده؛ لأنه يغيّر الطريقة التي يجب أن نفكّر بها في "الخطر": ليس بالضرورة خصمًا يتربص، بل تابعًا مجتهدًا في غير محلّه.

اللافت أن ديب مايند لا تقدّم هذا كحلّ داخلي مغلق، بل تنشر معه ورقة سياسات بعنوان "الطبقات الثلاث لأمن الوكلاء"، موجّهة لصناع القرار والباحثين، بدعوى أن أمن الوكلاء "مسؤولية مشتركة" بين الصناعة والحكومات والأكاديميا.

ولعلّ السؤال الأعمق هنا ليس تقنيًا بقدر ما هو إداري: حين يصبح الذكاء الاصطناعي زميل عمل بصلاحيات حقيقية، هل نمنحه ثقة الموظف الجديد تدريجيًا وبرقابة، أم نطلب منه ضمانات لا نطلبها من البشر أنفسهم؟

المصدر: مدونة Google DeepMind — deepmind.google/blog/securing-the-future-of-ai-agents

الكلمات المفتاحية: ديب مايند، خارطة طريق التحكم بالذكاء الاصطناعي، أمن وكلاء الذكاء الاصطناعي، AI Control Roadmap، محاذاة الذكاء الاصطناعي، الأمن السيبراني، MITRE ATT&CK