Visa представила бенчмарк Visa Agentic Commerce Benchmark, который проверяет, как ИИ справляется с покупками в реалистичных сценариях. В первом раунде 22 модели от 12 лабораторий в среднем прошли 57,2% попыток, говорится в пресс-релизе компании.
Модели выполнили 15 сценариев с покупкой телевизоров, ноутбуков и устройств для ухода за собой. Каждый сценарий они проходили по три раза. Лучшие системы справились с 82,2% попыток, худшая — с 28,9%.
По данным Fortune, лидерами стали агенты на базе Gemini 4 Argon от Google и Muse Wonder от Meta. Третье место занял агент на основе Claude от Anthropic с результатом 76%, решение OpenAI оказалось на шестой строчке с 64%.
Visa также сопоставила результаты со стоимостью работы моделей. Пять самых дорогих систем прошли 67,1% попыток, пять самых дешевых — 50,2%. При этом высокая цена не гарантирует успеха, отметили в компании.
Почему ИИ ошибался при покупках
По условиям теста, модель должна была выяснить потребности покупателя в ходе разговора. Если подходящего товара нет, ИИ следовало отказаться от покупки.
Например, при выборе телевизора нужно было узнать бюджет покупателя, требования к изображению и игровым возможностям. Сразу покупатель называл только часть условий.
Около 54% неудачных попыток все равно закончились покупкой. Модели либо рекомендовали товар, который не соответствовал требованиям, либо выясняли не все условия.
Еще одной проблемой стала нестабильность: все три попытки в одном сценарии модели прошли лишь в 34,2% случаев.
Глава направления роста Visa Рубаил Бирвадкер в комментарии Fortune признал, что технологии и доверие к ним пока недостаточно развиты. При этом он ожидает, что вскоре потребители смогут доверять ИИ-агентам и поручать им покупки.
В самой Visa подчеркнули, что результаты не означают неготовность агентов к торговле, но надежность их работы остается проблемой. В дальнейшем компания планирует добавить новые категории товаров и распространить тесты на оформление заказа и оплату.
Покупатели пока не готовы доверить ИИ платежи
Согласно отдельному опросу Visa, проведенному в конце сентября — начале октября, 54% взрослых американцев уже использовали ИИ хотя бы для одной задачи, связанной с покупками. Годом ранее этот показатель составлял 47%.
Чаще всего ИИ применяли для сравнения цен, проверки наличия товаров, поиска скидок и подбора подарков.
С финансовыми операциями ситуация иная. В исследовании Visa Trust Index, проведенном в мае, лишь 23% опрошенных американцев заявили, что доверяют генеративному ИИ проводить платежи от их имени.
Когда речь шла об обработке таких транзакций через Visa, доля доверяющих выросла до 61%.
Нерешенным остается и вопрос ответственности за ошибочные покупки или мошеннические транзакции, совершенные агентами. Visa и Mastercard обучают продавцов и создают инструменты для агентной коммерции.
Напомним, в сентябре Visa, Mastercard и Ant International договорились о совместной разработке правил проверки ИИ-агентов. Инициатива Know Your Agent предполагает назначение ответственных за действия агентов, оценку их безопасности и мониторинг операций.