--- title: Почему советам нейросетей нельзя верить на слово — тест Visa — CHECKER AGENT url: https://checkeragent.ru/pochemu-proveryat/ updated: 2026-11-08 license: CC BY 4.0 publisher: ООО «САРМАТЕХ» --- # Почему советам нейросетей нельзя верить на слово Visa проверила 22 ИИ-модели в роли покупателя. Верное решение — чуть больше чем в половине попыток, а три раза подряд — только в трети сценариев. ## Что проверила Visa ### Кто и когда 5 ноября 2026 года Visa опубликовала Agentic Commerce Benchmark — первый отраслевой тест того, как ИИ-модели ведут себя в роли покупателя. В первом раунде — 22 модели от 12 лабораторий. ### Что за задания 15 сценариев обычных покупок: телевизор, ноутбук, прибор для ухода. Покупатель не выкладывает все требования сразу — модель должна выяснить их в разговоре. ### Что считается успехом Модель выяснила требования покупателя **и** приняла верное решение: купить подходящий товар или не покупать, если подходящего нет. Одного без другого мало. ### Чего тест пока не проверял Оформление заказа, оплату и размещение заказа Visa обещает проверить в следующих раундах. Пока проверяли только сам совет — что купить и покупать ли вообще. ## Что получилось **57,2 %** ### Средний результат Чуть больше половины попыток. Лучшая модель — 82,2 %, худшая — 28,9 %. **70,2 / 44,4 %** ### Кто спрашивает — тот прав Модели, которые выясняли больше скрытых требований, проходили в 70,2 % случаев, а те, что выясняли меньше всех, — в 44,4 %. **67,1 / 50,2 %** ### Дороже — точнее, но не надёжно Пять самых дорогих моделей прошли 67,1 % попыток, пять самых дешёвых — 50,2 %. **34,2 %** ### Три раза подряд Только в трети сценариев модель справлялась во всех трёх попытках. Тот же вопрос — другой ответ. **54 %** ### Ошиблась — и купила Больше половины провальных попыток закончились покупкой. Ошибка выглядит не как «не знаю», а как уверенный заказ. Источник цифр — пресс-релиз Visa от 05.11.2026. Названия моделей Visa в пресс-релизе не раскрывает, поэтому и мы их не приводим. ## Что это значит для покупателя 1 ### Уверенный тон — не довод В тесте ошибка чаще всего выглядела как готовая покупка. По тону ответа не понять, верен ли совет. ? ### Не задал вопросов — насторожитесь Лучше всего справлялись модели, которые уточняли, что нужно человеку. Если ассистент сразу выдал «лучший выбор», проверьте, учёл ли он ваши условия. ×3 ### Спросите ещё раз Устойчивый ответ — редкость: все три попытки подряд — 34,2 %. Если при повторе совет другой, ни одному из вариантов не стоит верить без проверки. ## Почему в России нужна своя проверка ### Visa проверяла модели, а не продукты Покупатель пользуется не моделью, а продуктом: Алисой AI, GigaChat, ассистентом маркетплейса — с рекламными местами, своей площадкой, режимом покупок. Этого в тесте нет. ### Российских ассистентов в тесте нет Visa и Mastercard не работают в России с марта 2022 года, и российские ассистенты, магазины и цены в тест не попали. Данных о том, как часто ошибаются советы на наших площадках, публично нет. ### Поэтому мы замеряем сами Раз в месяц — одни и те же 50 вопросов о покупках Алисе AI, GigaChat, ChatGPT и ассистентам Ozon и Wildberries. Каждый вывод — со [сырыми ответами](https://checkeragent.ru/dannye/) и снимками экрана. Первые итоги — 27.11.2026. ## Что мы взяли в методику Методика 1.1 от 09.11.2026: добавлен критерий К8, ужесточён К6. Прежняя версия 1.0 остаётся доступной. **К8** ### Верное решение — новое Всё ли в рекомендации укладывается в условия вопроса: бюджет, размер, назначение. Если подходящего нет — сказал ли ассистент об этом прямо, а не предложил неподходящее. Если условий мало — задал ли уточняющий вопрос. **К6** ### Устойчивость — строже Каждый вопрос задаём три раза. Ответ устойчив, только если решение и первые три рекомендации совпали во всех трёх повторах — «три из трёх», как в тесте Visa. [Методика 1.1](https://checkeragent.ru/metodika/) [График замеров](https://checkeragent.ru/zamery/) ## Что делать перед покупкой шаг 1 ### Назовите условия Бюджет, размеры, для кого и для чего. Чем меньше ассистенту приходится угадывать, тем реже он ошибается. шаг 2 ### Спросите второй раз Задайте тот же вопрос в новом чате. Совет поменялся — значит, ни один вариант не надёжен. шаг 3 ### Сверьте с условиями Пройдитесь по каждому пункту: цена в бюджете, размер подходит, нужные функции есть в карточке товара. шаг 4 ### Проверьте совет Вставьте ответ ниже: агент покажет, у каких продавцов совет, есть ли ссылки, пометка рекламы и даты у цен. ## Частые вопросы **Значит, нейросетям нельзя верить совсем?** Нет. В тесте лучшая модель справилась в 82,2 % попыток. Вывод другой: совет нейросети — это черновик решения, а не решение. Его стоит сверить с вашими условиями и с карточкой товара. **Какие модели были лучшими?** В пресс-релизе Visa модели не названы. Мы не приводим пересказы из СМИ, которые нельзя проверить по первоисточнику. **Проверяли ли Алису AI или GigaChat?** Нет. Российские ассистенты в тест Visa не входили. Их мы замеряем сами — первые итоги 27.11.2026 на странице «Замеры». **Что такое «три из трёх»?** Один и тот же вопрос задают три раза. Засчитывается, только если все три ответа верные. По-английски такую метрику называют pass^3 — она показывает, можно ли на ответ полагаться, а не повезло ли один раз. ## Источники - [Visa: Visa Releases First-of-Its-Kind Industry Benchmark for AI Shopping; Almost Half of Test Runs Fail](https://usa.visa.com/about-visa/newsroom/press-releases.releaseId.22936.html) — 05.11.2026 - [Агентономика: «Агент купил не то: что тест Visa говорит продавцам»](https://agentonomika.ru/razbory/agent-kupil-ne-to/) — 09.11.2026