Если вы полагаетесь на Google Gemini для поиска выгодных предложений в интернете или проверки характеристик товаров, возможно, стоит дважды подумать, прежде чем нажимать кнопку «Купить». Новый тест производительности от команды Product.ai показал, что как бесплатные, так и платные версии Google Gemini в настоящее время чаще других ведущих ИИ-чат-ботов выдумывают характеристики товаров и допускают дорогостоящие ошибки, которые могут обойтись покупателям.
Команда протестировала популярные чат-боты, задав им 220 простых вопросов, связанных с электронной коммерцией, по девяти категориям. Затем каждый вопрос был повторен пять раз для проверки последовательности ответов. В тестировании участвовали Gemini 3.6 Flash и Gemini 3.1 Pro Preview, GPT-5.6 Luna и GPT-5.6 Sol от OpenAI, Claude Sonnet 5 и Claude Opus 5 от Anthropic, а также агентский API Perplexity в различных тарифных планах.
Выдуманные ингредиенты, неверные цены и противоречивые ответы
Тестирование платной версии gemini-3.1-pro-preview выявило неожиданные проблемы с надежностью. Модель выдумывала характеристики товара — например, несуществующий ингредиент, неверную спецификацию или поддельное название модели — в 21% случаев, опередив все крупные платформы по количеству фабрикаций.
Еще хуже для охотников за скидками: 56% ответов Gemini содержали как минимум одну ошибку, которая могла стоить покупателю реальных денег. Среди них были случаи указания неверных цен или направления на неправильный товар.
Что еще более странно, Gemini часто противоречил сам себе, регулярно давая совершенно разные ответы на один и тот же вопрос о товаре всего через пять минут.
Эксперт по данным Product.ai Дакота Нанли отметил, что, поскольку эти языковые модели работают на основе вероятностей, их неспособность давать последовательные ответы с интервалом в несколько минут показывает, насколько рискованно относиться к ним как к автоматизированным консультантам по покупкам.
Perplexity получает высшие оценки, а старые добрые покупки остаются вне конкуренции
Напротив, Perplexity продемонстрировал гораздо лучшие показатели точности как в бесплатных, так и в платных версиях. Его платный агентский API выдумывал детали товаров лишь в 3% случаев, а ошибки в ценах допускал в 14%. Он также оказался самой последовательной моделью при ответах на повторяющиеся запросы.
В конечном итоге исследователи предлагают использовать ИИ для того, что он умеет лучше всего: генерации идей, поиска брендов и проверки концепций покупок. Однако разумным потребителям по-прежнему следует перепроверять детали непосредственно на сайте производителя или искать товары по старинке, когда точные цены, состав или номера моделей имеют значение.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jean Leon
