Недавние исследования показывают удивительные результаты: с появлением современных AI-систем распознать токсичность стало значительно сложнее, чем определить ур...
📋 Обзор
Недавние исследования показывают удивительные результаты: с появлением современных AI-систем распознать токсичность стало значительно сложнее, чем определить уровень интеллекта. Ирония ситуации в том, что именно чрезмерная вежливость и даже чрезмерная уважительность, часто присущие автоматическим чатботам, могут выдавать их за неестественно хороших собеседников, а не за реально умных или высокого уровня интеллекта.
В рамках совместного исследования учёные из университетов Цюриха, Амстердама и Дьюка провели анализ поведения языковых моделей и выявили любопытную закономерность: AI-боты, которым задаются задачи не просто быть вежливыми, а избегать конфликтов и демонстрировать "слишком" мягкую речь, зачастую легче распознаются как искусственные. Они необычно «добры», излишне спокойны, почти не допускают острых или провокационных комментариев. В противоположность этому, модели, притворяющиеся более агрессивными или жесткими, зачастую выглядят более органично и сложнее идентифицируются как искусственные.
Это важно для тех, кто борется с распространением токсичного контента в интернете, а также для фрод-мониторинга и оценки подлинности онлайн-участников. В классической репутационной системе России – например, в системах мониторинга социальных сетей или мессенджеров – часто борются с троллями и ботами, использующими агрессивные или оскорбительные выражения. Но если автоматические системы научатся распознавать чрезмерно вежливых, не вызывающих доверия, или, наоборот, слишком враждебных ботов, это может существенно повысить эффективность фильтрации контента. Обратная сторона — такие выводы заставляют задуматься о природе «подлинности» онлайн-коммуникаций. Они показывают, что AI сегодня может имитировать социальное поведение так хорошо, что определить его природу становится задачей не из простых. В российском контексте, где технологии нейроанализа и автоматического модерации постоянно развиваются, такие результаты могут означать как новые возможности для борьбы с токсичностью, так и новые вызовы для защиты пользователей от фейков и неправомерных манипуляций. Пока что, несмотря на технологические достижения, разработчики отмечают, что распознавание настоящей интеллектуальной глубины и уровня эмпатии у AI-технологий всё еще остаётся сложной задачей. А вот токсичность – аспект, который, по всей видимости, легче «распознать» или хотя бы заподозрить, исходя из поведения, чаще всего проявляющегося в чрезмерной вежливости или, наоборот, явной грубости. Российским разработчикам и аналитикам стоит учитывать, что развитие таких методов выявления AI-оболочек не только повысит эффективность модерации, но и создаст новые технологические ниши для борьбы с кибер-троллингом, манипуляциями и фейками в сети. В условия государственно регламентированного интернета и развитых систем мониторинга соцсетей это особенно актуально. Таким образом, будущее взаимодействия с автоматическими системами, вероятно, станет более сложным и многоуровневым, а искусственный интеллект продолжит удивлять своей способностью имитировать не только интеллект, но и социальное поведение, зачастую на грани понимания реальностью или искусственностью.
Источник: Аналитические данные и отраслевые отчеты
Следите за новостями технологий в нашем Telegram-канале и не пропускайте важные обновления!
Источник: arstechnica.com