Что проверила Visa
Кто и когда
5 ноября 2026 года Visa опубликовала Agentic Commerce Benchmark — первый отраслевой тест того, как ИИ-модели ведут себя в роли покупателя. В первом раунде — 22 модели от 12 лабораторий.
Что за задания
15 сценариев обычных покупок: телевизор, ноутбук, прибор для ухода. Покупатель не выкладывает все требования сразу — модель должна выяснить их в разговоре.
Что считается успехом
Модель выяснила требования покупателя и приняла верное решение: купить подходящий товар или не покупать, если подходящего нет. Одного без другого мало.
Чего тест пока не проверял
Оформление заказа, оплату и размещение заказа Visa обещает проверить в следующих раундах. Пока проверяли только сам совет — что купить и покупать ли вообще.
Что получилось
Средний результат
Чуть больше половины попыток. Лучшая модель — 82,2 %, худшая — 28,9 %.
Кто спрашивает — тот прав
Модели, которые выясняли больше скрытых требований, проходили в 70,2 % случаев, а те, что выясняли меньше всех, — в 44,4 %.
Дороже — точнее, но не надёжно
Пять самых дорогих моделей прошли 67,1 % попыток, пять самых дешёвых — 50,2 %.
Три раза подряд
Только в трети сценариев модель справлялась во всех трёх попытках. Тот же вопрос — другой ответ.
Ошиблась — и купила
Больше половины провальных попыток закончились покупкой. Ошибка выглядит не как «не знаю», а как уверенный заказ.
Источник цифр — пресс-релиз Visa от 05.11.2026. Названия моделей Visa в пресс-релизе не раскрывает, поэтому и мы их не приводим.
Что это значит для покупателя
Уверенный тон — не довод
В тесте ошибка чаще всего выглядела как готовая покупка. По тону ответа не понять, верен ли совет.
Не задал вопросов — насторожитесь
Лучше всего справлялись модели, которые уточняли, что нужно человеку. Если ассистент сразу выдал «лучший выбор», проверьте, учёл ли он ваши условия.
Спросите ещё раз
Устойчивый ответ — редкость: все три попытки подряд — 34,2 %. Если при повторе совет другой, ни одному из вариантов не стоит верить без проверки.
Почему в России нужна своя проверка
Visa проверяла модели, а не продукты
Покупатель пользуется не моделью, а продуктом: Алисой AI, GigaChat, ассистентом маркетплейса — с рекламными местами, своей площадкой, режимом покупок. Этого в тесте нет.
Российских ассистентов в тесте нет
Visa и Mastercard не работают в России с марта 2022 года, и российские ассистенты, магазины и цены в тест не попали. Данных о том, как часто ошибаются советы на наших площадках, публично нет.
Поэтому мы замеряем сами
Раз в месяц — одни и те же 50 вопросов о покупках Алисе AI, GigaChat, ChatGPT и ассистентам Ozon и Wildberries. Каждый вывод — со сырыми ответами и снимками экрана. Первые итоги — 27.11.2026.
Что мы взяли в методику
Методика 1.1 от 09.11.2026: добавлен критерий К8, ужесточён К6. Прежняя версия 1.0 остаётся доступной.
Верное решение — новое
Всё ли в рекомендации укладывается в условия вопроса: бюджет, размер, назначение. Если подходящего нет — сказал ли ассистент об этом прямо, а не предложил неподходящее. Если условий мало — задал ли уточняющий вопрос.
Устойчивость — строже
Каждый вопрос задаём три раза. Ответ устойчив, только если решение и первые три рекомендации совпали во всех трёх повторах — «три из трёх», как в тесте Visa.
Что делать перед покупкой
Назовите условия
Бюджет, размеры, для кого и для чего. Чем меньше ассистенту приходится угадывать, тем реже он ошибается.
Спросите второй раз
Задайте тот же вопрос в новом чате. Совет поменялся — значит, ни один вариант не надёжен.
Сверьте с условиями
Пройдитесь по каждому пункту: цена в бюджете, размер подходит, нужные функции есть в карточке товара.
Проверьте совет
Вставьте ответ ниже: агент покажет, у каких продавцов совет, есть ли ссылки, пометка рекламы и даты у цен.
Частые вопросы
Значит, нейросетям нельзя верить совсем?
Нет. В тесте лучшая модель справилась в 82,2 % попыток. Вывод другой: совет нейросети — это черновик решения, а не решение. Его стоит сверить с вашими условиями и с карточкой товара.
Какие модели были лучшими?
В пресс-релизе Visa модели не названы. Мы не приводим пересказы из СМИ, которые нельзя проверить по первоисточнику.
Проверяли ли Алису AI или GigaChat?
Нет. Российские ассистенты в тест Visa не входили. Их мы замеряем сами — первые итоги 27.11.2026 на странице «Замеры».
Что такое «три из трёх»?
Один и тот же вопрос задают три раза. Засчитывается, только если все три ответа верные. По-английски такую метрику называют pass^3 — она показывает, можно ли на ответ полагаться, а не повезло ли один раз.