Искусственные интеллекты становятся все более совершенными, но как оценить их эффективность?
Компания IBM представила новый открытый рейтинг искусственных интеллектов, который позволяет сравнивать не только сами модели, но и полные системы, включая инструменты, планирование и память.
Новая эра оценки искусственных интеллектов
До сих пор оценка искусственных интеллектов проводилась на основе простых результатов: какой балл каждая модель получила на определенном задании. Однако, когда речь идет о реальном применении искусственных интеллектов, важно учитывать не только модель, но и всю систему, включая инструменты, которые агент может использовать, как он планирует свои шаги, что он помнит между действиями и как он восстанавливается после ошибок.
Открытый рейтинг и его значение
Открытый рейтинг искусственных интеллектов является важным шагом в оценке эффективности искусственных интеллектов. Он позволяет не только увидеть, какой искусственный интеллект работает лучше, но и понять, какой искусственный интеллект стоит развертывать. Рейтинг учитывает не только качество, но и стоимость, что позволяет разработчикам и пользователям искусственных интеллектов принимать более обоснованные решения.
Источник: HF