Когда ежедневное потребление токенов достигает 8 миллиардов, это не просто большая цифра, это сигнал о масштабной проблеме в архитектуре искусственного интеллекта. Именно с такой ситуацией столкнулась американская телекоммуникационная компания AT&T, где главный директор по данным Энди Маркус и его команда осознали, что прогонять все через крупные модели рассуждений не только неэффективно, но и экономически нецелесообразно.

Основные детали

AT&T, разрабатывая внутреннего ассистента «Ask AT&T», приняла решение кардинально пересмотреть подход к слою оркестрации ИИ. Вместо того чтобы полагаться исключительно на мощь больших языковых моделей (БЯМ), они создали многоагентную систему на базе фреймворка LangChain. В этой архитектуре «супер-агенты» на основе БЯМ направляют работу множества более мелких, специализированных «рабочих» агентов, выполняющих конкретные, целенаправленные задачи.

Результаты не заставили себя ждать: гибкий слой оркестрации значительно улучшил задержки, скорость обработки и время отклика. Самое главное, что команда Маркуса добилась впечатляющей экономии средств — до 90%. По словам Энди Маркуса, будущее агентского ИИ — это множество малых языковых моделей (МЯМ). Он отмечает, что МЯМ практически так же точны, как и БЯМ, в своей конкретной предметной области, что делает их идеальным решением для узкоспециализированных задач.

Недавно Маркус и его команда использовали эту переработанную архитектуру в сочетании с облачной платформой Microsoft Azure для создания и развертывания «Ask AT&T Workflows» — графического конструктора агентов с функцией перетаскивания, предназначенного для автоматизации задач сотрудниками компании.

Значение для России

Опыт AT&T чрезвычайно актуален для российского бизнеса, особенно для крупных компаний в сфере телекоммуникаций, банковского сектора, ритейла и промышленности. Многие из них активно внедряют или планируют внедрение ИИ-решений, от чат-ботов до систем поддержки принятия решений. С ростом объемов данных и усложнением задач, проблема масштабирования и стоимости эксплуатации БЯМ становится все более острой.

Российские разработчики и компании, такие как «Яндекс» с их YandexGPT, «Сбер» с GigaChat и другие игроки, также сталкиваются с вызовами оптимизации. Подход AT&T к использованию многоагентных систем и МЯМ может стать ценным ориентиром. Вместо того чтобы пытаться «научить» одну большую модель всему, можно создавать специализированные МЯМ для конкретных доменов — например, для обработки запросов по конкретным банковским продуктам, для технической поддержки определенного типа оборудования или для анализа данных в узкой нише логистики. Это позволит не только сократить затраты на инфраструктуру и обучение, но и повысить точность и скорость работы ИИ-систем, делая их более «умными» в рамках своей специализации. Примеры внедрения таких систем можно найти в работе российских контакт-центров, где специализированные ИИ-агенты уже сейчас обрабатывают типовые запросы, разгружая операторов.

Заключение

Стратегия AT&T демонстрирует, что будущее ИИ не обязательно связано с постоянным наращиванием вычислительной мощности для гигантских моделей. Эффективность и экономия достигаются за счет умной оркестрации и декомпозиции задач на более мелкие, управляемые компоненты, выполняемые специализированными малыми языковыми моделями. Этот подход открывает новые перспективы для оптимизации затрат и повышения производительности в эпоху повсеместного внедрения искусственного интеллекта, предлагая ценные уроки для любой компании, стремящейся к масштабированию своих ИИ-инициатив, в том числе и для российского рынка.