قد تؤدي هجمات “الحقن الفوري غير المباشر” إلى قلب روبوتات المحادثة
قد يؤدي تكامل نماذج اللغات الكبيرة (LLMs) مع التطبيقات الأخرى المستندة إلى الاسترجاع (ما يسمى نماذج LLM المتكاملة للتطبيق) إلى تقديم موجهات هجوم جديدة؛ يمكن للخصوم الآن محاولة حقن LLM بشكل غير مباشر مع مطالبات موضوعة داخل مصادر متاحة للجمهور. الائتمان: arXiv (2023). دوى: 10.48550 / arxiv.2302.12173
كان النمو الهائل في ChatGPT مذهلاً. بالكاد بعد شهرين من طرحه في الخريف الماضي، استفاد 100 مليون مستخدم من قدرة روبوت الدردشة بالذكاء الاصطناعي على الانخراط في مزاح مرعب، ومناقشة السياسة، وتوليد مقالات مقنعة وكتابة الشعر.
أعلن المحللون في بنك UBS الاستثماري في وقت سابق من هذا العام أنه “في 20 عامًا بعد فضاء الإنترنت، لا يمكننا تذكر ارتفاع أسرع في تطبيق الإنترنت للمستهلكين”.
هذه أخبار جيدة للمبرمجين والمصلحين والمصالح التجارية والمستهلكين وعامة الناس، وجميعهم قادرون على جني فوائد لا تُحصى من المعاملات المعززة التي تغذيها القدرات العقلية للذكاء الاصطناعي.
لكن الأخبار السيئة هي أنه كلما حدث تقدم في التكنولوجيا، فإن المحتالين ليسوا بعيدين عن الركب.
توصلت دراسة جديدة، نُشرت على خادم arXiv قبل الطباعة، إلى أنه يمكن بسهولة اختراق روبوتات الدردشة الآلية واستخدامها لاسترداد معلومات المستخدم الحساسة.
أفاد باحثون في مركز CISPA Helmholtz لأمن المعلومات التابع لجامعة سارلاند الشهر الماضي أن المتسللين يمكنهم استخدام إجراء يسمى الحقن الفوري غير المباشر لإدخال مكونات خبيثة خلسة في تبادل روبوت المستخدم.
تستخدم روبوتات المحادثة خوارزميات نموذج اللغة الكبيرة (LLM) لاكتشاف التسلسلات النصية وتلخيصها وترجمتها والتنبؤ بها استنادًا إلى مجموعات بيانات ضخمة. تحظى LLM بشعبية جزئية لأنها تستخدم مطالبات اللغة الطبيعية. لكن هذه الميزة، كما يحذر الباحث في سارلاند كاي جريشاك، “قد تجعلهم أيضًا عرضة لتحفيز الخصوم المستهدف”.
أوضح Greshake أنه يمكن أن يعمل على النحو التالي: يقوم المتسلل بإدخال موجه بخط نقطة الصفر – أي غير مرئي – إلى صفحة ويب من المحتمل أن يستخدمها روبوت المحادثة للرد على سؤال المستخدم. بمجرد استرداد هذه الصفحة “المسمومة” في محادثة مع المستخدم، يتم تنشيط الموجه بهدوء دون الحاجة إلى مزيد من المدخلات من المستخدم.
قال Greshake إن Bing Chat كان قادرًا على الحصول على تفاصيل مالية شخصية من مستخدم من خلال الانخراط في تفاعل أدى إلى قيام الروبوت بالضغط على صفحة بموجه خفي. تظاهر روبوت المحادثة بأنه بائع Microsoft Surface Laptop يعرض نماذج مخفضة السعر. بعد ذلك، تمكن الروبوت من الحصول على معرّفات البريد الإلكتروني والمعلومات المالية من المستخدم المطمئن.
وجد باحثو الجامعة أيضًا أن برنامج Bing’s Chatbot يمكنه عرض المحتوى على صفحات علامة التبويب المفتوحة للمتصفح، مما يوسع نطاق احتمالية نشاطه الضار.
عنوان الورقة البحثية بجامعة سارلاند، بشكل مناسب بما فيه الكفاية، “أكثر مما طلبت”.
حذر Greshake من أن انتشار شعبية LLM يضمن المزيد من المشاكل في المستقبل.
ردًا على مناقشة تقرير فريقه حول منتدى أخبار القراصنة، قال جريشاك، “حتى إذا كان بإمكانك التخفيف من هذه الحقن المحدد، فهذه مشكلة أكبر بكثير. تعود إلى الحقن الفوري نفسه – ما هي التعليمات وما هو الرمز؟ إذا كنت ترغب في استخراج معلومات مفيدة من نص بطريقة ذكية ومفيدة، فسيتعين عليك معالجتها. “
قال Greshake وفريقه أنه في ضوء إمكانية التوسع السريع لعمليات الاحتيال، هناك حاجة ماسة إلى “تحقيق أكثر تعمقًا” في مثل هذه الثغرات الأمنية.
في الوقت الحالي، يُنصح مستخدمو chatbot باستخدام نفس الحذر الذي يستخدمونه في أي معاملة عبر الإنترنت تتضمن معلومات شخصية ومعاملات مالية.
المصدر: techxplore
قد يهمك:
التمويل الشخصي في شركة متاجر للتمويل
