GPT-5: Разочарование года? Тестируем новую модель OpenAI против GPT-4o

Пользователи массово жалуются на GPT-5, обвиняя модель в стерильности, отсутствии креативности и увеличении галлюцинаций. Ars Technica провела собственное тестирование, чтобы выяснить, насколько обоснованы эти претензии.

📋 Обзор

Выход GPT-5 от OpenAI вызвал бурю негодования в сообществе. Пользователи недовольны новым, более формальным тоном, снижением креативности и, что особенно тревожно, учащением случаев выдачи недостоверной информации. Недовольство достигло такого масштаба, что OpenAI вернула GPT-4o в качестве альтернативы, пытаясь успокоить аудиторию. Мы решили провести собственное сравнение GPT-5 и GPT-4o, чтобы понять, насколько сильно изменилась ситуация.

Методика тестирования

Мы использовали как стандартные запросы, которые применялись для сравнения ChatGPT с Google Gemini и Deepseek, так и новые, более сложные, отражающие современные сценарии использования больших языковых моделей. Всего было использовано восемь запросов. Разумеется, это не исчерпывающая оценка всех возможностей LLM, и оценка ответов в определенной степени субъективна. Тем не менее, мы считаем, что этот набор запросов и ответов дает хорошее представление о различиях в стиле и содержании между двумя моделями.

Результаты тестов

Предварительные результаты показывают, что многие претензии пользователей обоснованы. GPT-5 действительно демонстрирует более формальный и менее креативный стиль, чем GPT-4o. В некоторых случаях наблюдается ухудшение качества ответов и увеличение количества «галлюцинаций», когда модель выдает вымышленную информацию за реальную. Полные результаты тестирования будут опубликованы в ближайшее время.

Значение для России

Развитие и конкуренция в сфере больших языковых моделей, таких как GPT-5, напрямую влияет на российский рынок IT. Многие российские компании используют подобные технологии для автоматизации различных процессов, от клиентской поддержки до разработки программного обеспечения. Улучшение качества и надежности этих моделей критически важно для повышения эффективности и конкурентоспособности российского бизнеса. Например, если российская компания использует LLM для генерации контента для социальных сетей, снижение креативности и увеличение ошибок может негативно сказаться на вовлеченности аудитории. Альтернативы, такие как YandexGPT, активно развиваются, но конкуренция с международными игроками, такими как OpenAI, остается актуальной.

Заключение

Похоже, OpenAI столкнулась с серьезными проблемами при разработке GPT-5. Несмотря на обещания о значительном улучшении, новая модель, по мнению многих пользователей, уступает своему предшественнику. Дальнейшие исследования и обновления покажут, сможет ли OpenAI исправить ситуацию и вернуть доверие пользователей. Пока же GPT-4o остается предпочтительным выбором для многих.

🌟 Ключевые моменты

🤔 Экспертное мнение