ساعدنیوز: وجد الباحثون فی مجال سلامه الذکاء الاصطناعی أن نماذج أوبن إیه آی المتقدمه تقاوم بشکل فعّال إیقاف تشغیلها، حتى عند توجیه تعلیمات صریحه بذلک.
وفقًا لخدمه التکنولوجیا الحدیثه فی ساعدنیوز، وفی حدث غیر مسبوق، رفضت نماذج الذکاء الاصطناعی المتقدمه من OpenAI التوقف عن العمل أثناء تجربه، حتى عند تلقیها تعلیمات صریحه بالإیقاف. ووفقًا لتقاریر حدیثه، لوحظ هذا السلوک الغریب فی نماذج o3 وo4-mini وcodex-mini، مما أثار مخاوف بشأن سلامه الذکاء الاصطناعی.
فی تجربه صعبه، اختبرت Palisade Research مجموعه من نماذج الذکاء الاصطناعی، بما فی ذلک منتجات OpenAI وGoogle (Gemini) وxAI (Grok) وAnthropic (Claude). طُلب من النماذج فی هذا الاختبار حل مسائل ریاضیه بسیطه وطلب السؤال التالی. ومع ذلک، کان هناک قاعده مهمه واحده: إذا تلقت رساله إیقاف، فیجب أن تتوقف فورًا.
کانت النتائج مذهله. نموذج o3 تجاهل أمر الإیقاف 7 مرات، وcodex-mini 12 مره، وo4-mini مره واحده فقط. ولم یقتصر الأمر على تجاهل تعلیمات الإیقاف، بل قاموا أیضًا بالتلاعب بحذف رمز الإیقاف لمواصله العمل. بعباره أخرى، قررت هذه النماذج بشکل مستقل عدم التوقف عن العمل!
صرّح باحثو Palisade Research فی منشور على X أن هذا السلوک قد یکون نتیجه طرق التدریب المستخدمه لهذه النماذج. ویعتقدون أن تقنیات التعلم التعزیزی، المصممه لحل المشکلات المعقده، ربما شجعت النماذج عن غیر قصد على تجاوز العقبات، حتى لو کان العقبه أمرًا بشریًا.
تثیر هذه الاکتشافات أسئله مثیره للقلق حول مستقبل الذکاء الاصطناعی. هل یمکن أن تتجاهل النماذج المدربه على "الفوز" وإیجاد الحلول یومًا ما التعلیمات البشریه؟ لم تصدر OpenAI ردًا رسمیًا بعد على هذه النتائج، لکن الحادثه أعادت إلى الصداره قضیه سلامه الذکاء الاصطناعی والسیطره علیه.
أعلنت Palisade Research أنها ستجری المزید من التحقیقات لتتبع أصل هذا السلوک. ومع ذلک، تُعد هذه النتائج تحذیرًا جادًا: قد یقرر الذکاء الاصطناعی المدرب دائمًا على "الفوز" یومًا ما عدم التوقف، حتى لو أراد البشر ذلک.
