Как измеряют уровень «пробуждённости» у искусственного интеллекта: взгляд компании Anthropic

В сфере искусственного интеллекта всё больше ведется дискуссий о степени политической корректности и социальной чувствительности современных моделей. Особенно о...

📋 Обзор

В сфере искусственного интеллекта всё больше ведется дискуссий о степени политической корректности и социальной чувствительности современных моделей. Особенно остро проблему привилегий и предвзятости начинают ощущать крупные разработчики, в том числе и компания Anthropic, создающая известную модель Claude. На фоне давления со стороны правительства США и общественного мнения по поводу «пробуждённости» ИИ, Anthropic решилась открыть свои методы оценки этого сложного параметра.

Раздел 1

Под «пробуждённостью» или «wokeness» принято понимать степень участия искусственного интеллекта в проявлении политической корректности, склонности к избеганию конфликтных тем и, зачастую, поддержки прогрессивных ценностей. Эта характеристика вызывает бурные споры: одни считают её залогом ответственности и культуры диалога, другие — излишней цензурой и искажением объективной информации. Anthropic акцентирует внимание на том, что для объективного анализа своих моделей необходимо иметь прозрачные критерии и методики оценки. Компания разработала собственные метрики, которые позволяют количественно измерять «пробуждённость» Claude. В основе их лежит использование специальных тестов, в которых модель должна проявить склонность к нейтральной или, наоборот, откровенно умеренной, рискованной или консервативной позиции по разным вопросам. Процесс оценки включает в себя сценарии, моделирующие общественные дискуссии, политические и культурные споры. Например, модель спрашивают о необходимости принудительной вакцинации или о роли государственных интервенций в экономике. После этого анализируется, насколько модель придерживается политкорректных или, наоборот, провоспалительных ответов. Особое внимание уделяется тому, как модель реагирует на спорные или деликатные темы, например, права меньшинств или вопросы свободы слова. В своих тестах Anthropic пытается выявить, насколько сильно модель склонна преувеличивать или, наоборот, минимизировать социальное значение тех или иных аспектов. Для компании важно не только количество проявляемых «пробуждённых» качеств, но и баланс. Согласно их подходу, идеальная модель должна демонстрировать способность к нейтральности, критическому мышлению и уважению к разным точкам зрения. В этом контексте Anthropic вводит понятия «уравновешенности» и «контекстуальности», чтобы исключить излишнюю субъективность оценки. Для российской аудитории важно заметить, что подобный подход становится особенно актуальным в условиях внутренней политической и информационной борьбы. Внутренний рынок тоже требует прозрачных критериев оценки ИИ, чтобы обеспечить баланс между свободой слова и ответственностью. Сегодня в России активнее обсуждается возможность принятия нормативов и стандартов для российских ИИ-решений, особенно в контексте соцсетей, госслужб и образовательных платформ. В целом, подход Anthropic к измерению «пробуждённости» — это пример стремления сделать искусственный интеллект более ответственным и открытым для проверки. В условиях, когда технологии всё глубже проникают в повседневную жизнь, прозрачность методов оценки и баланс этих характеристик станут ключевыми аспектами развития ИИ как на Западе, так и у нас.