مصنف AI جديد للإشارة إلى النص المكتوب بالذكاء الاصطناعي
نحن بصدد إطلاق أداة تصنيف تم تدريبها على التمييز بين النص المكتوب بالذكاء الاصطناعي والنص المكتوب بواسطة الإنسان.
اعتبارًا من 20 يوليو 2023، لم يعد مصنف AI متاحًا نظرًا لانخفاض معدل دقته. نحن نعمل على دمج التعليقات ونبحث حاليًا عن تقنيات مصدر أكثر فعالية للنص، وقد التزمنا بتطوير ونشر آليات تمكن المستخدمين من فهم ما إذا كان المحتوى الصوتي أو المرئي يتم إنشاؤه بواسطة الذكاء الاصطناعي.
لقد قمنا بتدريب المصنف على التمييز بين النص المكتوب بواسطة إنسان والنص المكتوب بواسطة AI من مجموعة متنوعة من مقدمي الخدمات.
في حين أنه من المستحيل الكشف عن جميع النصوص المكتوبة بواسطة الذكاء الاصطناعي بشكل موثوق، فإننا نعتقد أن المصنفات الجيدة يمكن أن تخبر وسائل التخفيف للادعاءات الكاذبة بأن النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي قد كتبه إنسان: على سبيل المثال، تشغيل حملات معلومات مضللة آلية، واستخدام أدوات الذكاء الاصطناعي للخداع الأكاديمي، ووضع روبوت محادثة الذكاء الاصطناعي كإنسان.
المصنف الخاص بنا ليس موثوقًا به تمامًا. في تقييماتنا على “مجموعة التحدي” للنصوص الإنجليزية، يحدد المصنف بشكل صحيح 26٪ من النصوص المكتوبة بالذكاء الاصطناعي (الإيجابيات الحقيقية) على أنها “من المحتمل أن تكون مكتوبة بواسطة الذكاء الاصطناعي”، بينما يصنف بشكل غير صحيح النص المكتوب بواسطة الذكاء الاصطناعي على أنه مكتوب بالذكاء الاصطناعي بنسبة 9٪ من الوقت (إيجابيات خاطئة).
تتحسن موثوقية المصنف الخاص بنا عادةً مع زيادة طول نص الإدخال. بالمقارنة مع المصنف الذي تم إصداره سابقًا، فإن هذا المصنف الجديد أكثر موثوقية بشكل ملحوظ على النصوص من أنظمة الذكاء الاصطناعي الأحدث.
نحن نجعل هذا المصنف متاحًا للجمهور للحصول على تعليقات حول ما إذا كانت الأدوات غير الكاملة مثل هذه الأداة مفيدة.
سيستمر عملنا على اكتشاف النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي، ونأمل أن نشارك الأساليب المحسّنة في المستقبل.
جرب مصنفنا المجاني للعمل الجاري بنفسك:
جرب المصنف
محددات
المصنف لدينا لديه عدد من القيود الهامة. لا ينبغي استخدامه كأداة أساسية لصنع القرار، ولكن بدلاً من ذلك كمكمل للطرق الأخرى لتحديد مصدر جزء من النص.
- المصنف غير موثوق به للغاية في النصوص القصيرة (أقل من 1000 حرف). يتم أحيانًا تسمية النصوص الأطول بشكل غير صحيح بواسطة المصنف.
- في بعض الأحيان، يتم تصنيف النص المكتوب بشكل غير صحيح ولكن بثقة على أنه مكتوب بواسطة الذكاء الاصطناعي.
- نوصي باستخدام المصنف للنص الإنجليزي فقط. إنه يؤدي بشكل أسوأ في اللغات الأخرى ولا يمكن الاعتماد عليه في الكود.
- النص الذي يمكن التنبؤ به للغاية لا يمكن تحديده بشكل موثوق. على سبيل المثال، من المستحيل التنبؤ بما إذا كانت قائمة أول 1000 رقم أولي كتبها الذكاء الاصطناعي أو البشر، لأن الإجابة الصحيحة هي نفسها دائمًا.
- يمكن تحرير النص المكتوب بالذكاء الاصطناعي للتهرب من المصنف. يمكن تحديث المصنفات مثل المصنفات لدينا وإعادة تدريبها بناءً على الهجمات الناجحة، ولكن من غير الواضح ما إذا كان الاكتشاف له ميزة على المدى الطويل.
- من المعروف أن المصنفات القائمة على الشبكات العصبية لم تتم معايرتها بشكل جيد خارج بيانات التدريب الخاصة بها. بالنسبة للمدخلات التي تختلف تمامًا عن النص الموجود في مجموعة التدريب الخاصة بنا، يكون المصنف في بعض الأحيان واثقًا للغاية في التنبؤ الخاطئ.
تدريب المصنف
المصنف الخاص بنا هو نموذج لغوي تم ضبطه بدقة على مجموعة بيانات من أزواج من النصوص المكتوبة بواسطة الإنسان والنص المكتوب بالذكاء الاصطناعي حول نفس الموضوع.
لقد جمعنا مجموعة البيانات هذه من مجموعة متنوعة من المصادر التي نعتقد أنها كتبها البشر، مثل بيانات ما قبل التدريب والعروض التوضيحية البشرية على المطالبات المقدمة إلى InstructGPT .
قسمنا كل نص إلى موجه ورد. على هذه المطالبات، قمنا بتوليد ردود من مجموعة متنوعة من النماذج اللغوية المختلفة التي دربناها نحن ومنظمات أخرى.
بالنسبة لتطبيق الويب الخاص بنا، نقوم بتعديل حد الثقة لإبقاء المعدل الإيجابي الخاطئ منخفضًا؛ بعبارة أخرى، نحدد النص على أنه من المحتمل أن يكون مكتوبًا بالذكاء الاصطناعي إذا كان المصنف واثقًا جدًا.
التأثير على المعلمين والدعوة إلى المدخلات
نحن ندرك أن تحديد النص المكتوب بالذكاء الاصطناعي كان نقطة نقاش مهمة بين المعلمين، وعلى نفس القدر من الأهمية التعرف على حدود وتأثيرات المصنفات النصية التي تم إنشاؤها بواسطة الذكاء الاصطناعي في الفصل الدراسي.
لقد قمنا بتطوير مورد أولي حول استخدام ChatGPT للمعلمين، والذي يحدد بعض الاستخدامات والقيود والاعتبارات المرتبطة بها.
بينما يركز هذا المورد على المعلمين، فإننا نتوقع أن يكون لمصنفنا وأدوات التصنيف المرتبطة به تأثير على الصحفيين والباحثين الذين يسيئون / يفسدون المعلومات والمجموعات الأخرى.
نحن نتواصل مع المعلمين في الولايات المتحدة لمعرفة ما يرونه في فصولهم الدراسية ومناقشة إمكانيات ChatGPT وحدودها، وسنواصل توسيع نطاق وصولنا بينما نتعلم.
هذه محادثات مهمة يجب إجراؤها كجزء من مهمتنا وهي نشر نماذج لغوية كبيرة بأمان، في اتصال مباشر مع المجتمعات المتأثرة.
إذا كنت متأثرًا بشكل مباشر بهذه المشكلات (بما في ذلك على سبيل المثال لا الحصر المعلمين والمسؤولين وأولياء الأمور والطلاب ومقدمي خدمات التعليم)، فيرجى تزويدنا بالتعليقات باستخدام هذا النموذج.
تعد التعليقات المباشرة على المورد الأولي مفيدة، ونرحب أيضًا بأي موارد يطورها المعلمون أو يجدونها مفيدة (على سبيل المثال، إرشادات الدورة التدريبية، وكود الشرف وتحديثات السياسة، والأدوات التفاعلية، وبرامج محو الأمية بالذكاء الاصطناعي).
المصدر: openai
قد يهمك:
