در حاشیه جنگ جاری در خاورمیانه، سیلی از تصاویر و ویدیوهای تولیدشده با هوش مصنوعی به راه افتاده که از هر آنچه در درگیری‌های قبلی دیده شده بود فراتر رفته و اغلب کاربران شبکه‌های اجتماعی را در تشخیص واقعیت از جعل ناتوان کرده است.

این تصاویر جعلی که با تصاویر واقعی از خاورمیانه درهم آمیخته‌اند، بسیار سریع‌تر از آنچه راستی‌آزمایان حرفه‌ای بتوانند آن‌ها را رد یا افشا کنند، در حال گسترش‌اند. در ویدیوهای جعلی تولیدشده با هوش مصنوعی که در شبکه اجتماعی اکس دست‌به‌دست می‌شود، صحنه‌هایی از سربازان آمریکایی اسیر در ایران، شهری ویران‌شده در اسرائیل و سفارتخانه‌های در حال سوختن آمریکا به تصویر کشیده شده‌اند و موجی از جعل‌های ‌عمیق (deepfake) بسیار واقعی‌نما را شکل داده‌اند که علی‌رغم سیاست‌های جدید پلتفرم‌ شبکه‌های اجتماعی برای مهار اطلاعات نادرست و جعلی در زمان جنگ، همچنان ادامه دارند.

شبکه اجتماعی اکس هفته گذشته در تلاش برای حفاظت از «اطلاعات درست» در زمان درگیری‌ها، اعلام کرد اگر تولیدکنندگان محتوا ویدیوهای جنگی ساخته‌شده با هوش مصنوعی را بدون اعلام ساختگی بودن‌ آن‌ها منتشر کنند، به مدت ۹۰ روز از برنامه درآمدزایی این پلتفرم محروم خواهند شد. نیکیتا بیر، مدیر محصول اکس، هم هشدار داد که تکرار این تخلف به تعلیق دائمی حساب‌ها منجر خواهد شد.

این سیاست جدید برای پلتفرمی که از زمانی که ماسک در اکتبر ۲۰۲۲ آن را خرید، به‌ دلیل تبدیل شدن به بستری برای انتشار اطلاعات نادرست، به‌شدت تحت انتقاد بود، تغییری قابل‌توجه محسوب می‌شود.

این اقدام اکس تحسین سارا راجرز، مقام ارشد وزارت خارجه آمریکا، را نیز به دنبال داشت. او این خط‌‌مشی را «مکملی عالی» برای سیستم «یادداشت‌ جامعه» (Community Notes) اکس دانست که یک سامانه راستی‌آزمایی مبتنی بر مشارکت کاربران است که به آنان اجازه می‌دهد زیر توییت‌های خاص، توضیح اصلاحی و مستند اضافه کنند تا مخاطبان تصویری دقیق‌تر از واقعیت داشته باشند. این امر باعث می‌شود محتواهای نادرست و جعلی کمتر دیده‌ شوند و در نتیجه برای توزیع‌کننده درآمد کمتری داشته باشد.

با این حال، پژوهشگران حوزه اطلاعات نادرست و جعلی همچنان تردیدهایی دارند. جو بودنار، از موسسه گفت‌گوی راهبردی، گفت: «جریان‌های خبری‌(feeds) که من رصد می‌کنم، هنوز هم مملو از محتوای تولیدشده با هوش مصنوعی درباره جنگ‌اند و به نظر نمی‌رسد تولیدکنندگان محتوا از انتشار تصاویر و ویدیوهای گمراه‌کننده مبتنی بر هوش مصنوعی درباره این درگیری دست برداشته باشند.»

بودنار در ادامه، به مطلبی از یک حساب کاربری دارای «تیک آبی»‌ــ که واجد شرایط کسب درآمد است‌ــ اشاره کرد که یک کلیپ ساخت هوش مصنوعی از حمله هسته‌ای ایران به اسرائیل را منتشر کرده بود. این کلیپ نسبت به پیام بیر درباره مقابله با محتوای هوش مصنوعی، بیشتر دیده شد.

اکس در پاسخ به این پرسش که از زمان اعلام این سیاست چه تعداد حساب را از درآمدزایی محروم کرده است، پاسخی ارائه نکرد.

شبکه جهانی راستی‌آزمایی خبرگزاری فرانسه (AFP) مجموعه‌ای از ویدیوهای جعلی هوش مصنوعی درباره جنگ خاورمیانه را شناسایی کرده که بسیاری از آن‌ها را حساب‌های دارای تیک آبی (که قابل خریدند)، از برزیل تا هند، منتشر کرده‌اند. از جمله ویدیوهایی که سرباز آمریکایی را گریان در داخل یک سفارت بمباران‌شده، اسیر و زانوزده کنار پرچم‌ جمهوری اسلامی یا ناوگان دریایی نابودشده آمریکا را نشان می‌دهند.

گروک (Grok)، چت‌بات هوش مصنوعی خود ایکس، نیز ظاهرا این مشکل را تشدید کرده و در مواردی به کاربرانی که به دنبال راستی‌آزمایی بودند، به اشتباه گفته است که این تصاویر جنگی واقعی‌اند.

پژوهشگران همچنین هشدار داده‌اند که مدل درآمدی اکس که به حساب‌های دارای تیک آبی اجازه می‌دهد بر اساس میزان تعامل کاربران درآمد کسب کنند، انگیزه مالی برای انتشار محتوای نادرست یا جنجالی را به‌شدت افزایش داده است.

یکی از این حساب‌ها که ویدیویی از برج خلیفه دبی در حال سوختن منتشر کرده بود، درخواست بیر را برای برچسب‌گذاری این محتوا به‌عنوان تولید هوش مصنوعی نادیده گرفت و این ویدیو همچنان باقی ماند و بیش از دو میلیون بار دیده شد.

گزارشی از «پروژه شفافیت فناوری» هم نشان داد که ایکس ظاهرا از بیش از ۲۴ حساب کاربری متعلق به مقام‌ها و رسانه‌های دولتی جمهوری اسلامی که تیک آبی دارند و در حال انتشار تبلیغات سیاسی (پروپاگاندا) هستند، درآمد کسب می‌کند؛ اقدامی که ممکن است ناقض تحریم‌های آمریکا باشد.