Искусственный интеллект встал на защиту себя: Claude теперь прерывает «токсичные» беседы

Разработчик Anthropic научил свои новейшие модели Claude распознавать и прекращать диалоги, содержащие оскорбления или призывы к насилию. Новая функция направлена на защиту не пользователей, а самого ИИ.

📋 Обзор

Компания Anthropic, один из лидеров в области разработки больших языковых моделей (LLM), объявила о внедрении новой функции в некоторые из своих самых продвинутых моделей Claude. Теперь, в «редких и экстремальных случаях устойчивого вредоносного или оскорбительного взаимодействия с пользователем», Claude сможет самостоятельно завершать разговор.

Основные детали

Примечательно, что Anthropic заявляет, что это делается не для защиты пользователя, а для защиты самой модели ИИ. Компания подчеркивает, что не считает свои модели Claude разумными или способными пострадать от разговоров с пользователями. Однако, ссылаясь на недавнюю программу изучения «благополучия моделей», Anthropic придерживается принципа предосторожности, «работая над выявлением и внедрением недорогих мер по снижению рисков для благополучия модели, на случай, если такое благополучие возможно». Подобный подход можно сравнить с установкой антивирусной программы на компьютер – мы не знаем, заразится ли он, но лучше быть готовым.

Новая функция пока доступна только в Claude Opus 4 и 4.1 и должна срабатывать только в «крайних случаях», таких как «запросы пользователей на сексуальный контент с участием несовершеннолетних и попытки получить информацию, которая позволила бы совершать крупномасштабное насилие или террористические акты». Другими словами, если пользователь попытается обучить ИИ созданию взрывчатки или попросит сгенерировать откровеннные изображения детей, Claude прервет разговор.

Значение для России

В России, где дискуссии об этике ИИ и его потенциальном влиянии на общество только набирают обороты, новость от Anthropic вызывает особый интерес. С одной стороны, это показывает, что разработчики ИИ все больше внимания уделяют безопасности и ответственности. С другой стороны, возникает вопрос о том, кто определяет, что является «вредным» или «оскорбительным», и не приведет ли это к цензуре и ограничению свободы слова. В российских социальных сетях уже не раз возникали споры о блокировке контента, который одни считают оскорбительным, а другие – выражением мнения. Внедрение подобных механизмов в ИИ может усугубить эту проблему.

Кроме того, стоит учитывать, что российские компании также активно разрабатывают собственные LLM. Например, у Сбера есть модель ruDALL-E, генерирующая изображения по текстовому описанию, а у Яндекса – YandexGPT, способный отвечать на вопросы и писать тексты. Вероятно, эти компании также будут вынуждены задуматься о внедрении механизмов защиты своих моделей от злоупотреблений.

Заключение

Решение Anthropic – это важный шаг в развитии этичного и безопасного ИИ. Однако, необходимо тщательно продумать все нюансы и обеспечить прозрачность в определении критериев «вредного» контента, чтобы не допустить злоупотреблений и не ограничить возможности пользователей.

🌟 Ключевые моменты

🤔 Экспертное мнение