Как проверить цифры, которые выдал ChatGPT или Claude: 7 вопросов

AI-ассистент быстро набросает SQL-запрос или сводку по таблице. Но он же может уверенно посчитать отменённые заказы как продажи, сравнить полную неделю с половиной или сложить итог дважды после JOIN. Запрос отработал, число выглядит правдоподобно, и никто ничего не замечает, пока по нему не приняли решение.

Начните с того, чтобы знать, о чём спросить, а потом проверьте доказательства: одни ошибки видны уже в определении, другие — только в записях или при повторном расчёте. Ниже — семь вопросов, которыми мы пользуемся в Atterna, и к каждому пример из учебного маркетплейса Meridian (вымышленный европейский маркетплейс; числа — настоящие результаты запросов к его данным за 31 августа – 22 сентября 2026 года).

Коротко: число верно только для точно поставленного вопроса. Проверьте определение, период, фильтры, размноженные строки, знаменатель, не прячет ли среднее разброс и сходится ли число с итогом, которому вы уже доверяете.

1. Что именно посчитано?

Попросите AI сформулировать определение одним предложением: какие строки, какой статус, какая сумма. Выручкой часто небрежно называют разные денежные показатели. В Meridian их стоит различать явно:

Это разные денежные показатели, а не взаимозаменяемые определения бухгалтерской выручки. Оборот маркетплейса и платежи покупателей — не собственный комиссионный доход площадки. Если AI не сказал, какое из них посчитал, число пока нельзя использовать.

2. За какой период — и полный ли последний период?

Неполный последний период может создать ложную тревогу. Оплаченные заказы Meridian по неделям:

Спросите «заказы по неделям» — и ассистент может сообщить о падении на 88% за последнюю неделю. А данные просто заканчиваются утром 22 сентября. Всегда спрашивайте: когда заканчиваются данные и все ли периоды в сравнении полные?

3. Какие строки отфильтрованы, а какие нет?

Тестовые аккаунты, отменённые заказы, сотрудники, возвраты, другие страны, дубли регистраций. В Meridian 249 из 9 320 заказов отменены. Посчитать их продажами — небольшая ошибка здесь и большая в месяц, когда сломалась оплата. Попросите AI перечислить все фильтры, которые он применил, и все, которые не применил.

4. Не размножил ли JOIN строки?

Классическая тихая ошибка. В заказе несколько товаров. Соедините заказы с товарами — и каждый заказ появится столько раз, сколько в нём товаров. Просуммируйте после этого сумму заказа — и каждый заказ посчитается несколько раз:

-- Неверно: сумма заказа повторяется для каждой строки товара
SELECT SUM(o.items_total_eur)
FROM meridian.orders AS o
JOIN meridian.order_items AS i ON i.order_id = o.order_id
WHERE o.status = 'paid';
-- €1 239 938 — больше чем вдвое выше настоящего GMV €552 645

Запрос выполняется без ошибок, а результат в 2,2 раза больше правды. Спросите: не стало ли после JOIN строк больше, чем в таблице, которую вы суммируете? Как это исправить — в гайде про размножение строк в JOIN.

5. Что в знаменателе?

«Конверсия 52%» ничего не значит, пока неизвестно, 52% от чего. В Meridian 3 652 из 7 000 зарегистрированных покупателей хотя бы раз оплатили заказ за период: 52%. Если взять в знаменатель посетителей или тех, кто начал оформление, получится другая доля — для другого вопроса. Что бы вы ни выбрали, числитель должен быть подмножеством знаменателя за то же окно. Попросите AI показать числитель и знаменатель отдельными числами.

6. Не прячет ли среднее разброс?

Средний оплаченный заказ в Meridian — €60,92. Медиана — €43,96, а 10% заказов дороже €127. Несколько крупных заказов тянут среднее вверх; типичный заказ стоит заметно меньше, чем кажется по среднему. Рядом с любым средним по деньгам, времени или количеству просите медиану и верхний перцентиль.

7. Сходится ли с числом, которому вы уже доверяете?

Самая быстрая проверка. Если AI говорит, что оборот за прошлый месяц — €5 млн, а финансы отчитались о €550 тыс., причиной может быть разное определение, устаревшие данные или ошибка в расчёте — и лучше выяснить это до встречи, а не на ней. Держите в голове два-три опорных числа: заказы в неделю, активные клиенты, выручка в месяц.

Как использовать это с AI-ассистентом

Вставьте чек-лист прямо в разговор. Хорошая просьба после любого числа:

Прежде чем я это использую: сформулируй определение одним предложением, назови период и полный ли последний период, перечисли все фильтры, скажи, менял ли какой-то JOIN число строк, покажи числитель и знаменатель отдельно и медиану рядом со средним.

Сверьте объяснение с самим запросом и данными: ассистент может описать фильтр, которого не применял. Прежде чем использовать важный результат, воспроизведите итог и посмотрите на несколько исходных строк.

Хотите вопросы под конкретный ответ? Если ответ на английском, вставьте его в бесплатный AI Answer Checker: он найдёт числа, неоговорённые определения и ловушки SQL и напишет уточняющий вопрос за вас. Мгновенная проверка работает в браузере — ничего не уходит, пока вы сами не выберете Check with AI.

Попробуйте утверждение, которое звучит убедительно

В первом кейсе Atterna маркетинг хочет вписать в декабрьский план «код увеличивает корзины в 2,5 раза». Подтверждает ли это сравнение план? Вы уточняете просьбу, определяете метрику, запускаете сравнение и решаете, что подтверждают данные.

Попробуйте «Корзины больше?» — бесплатно, около 17 минут, без аккаунта. SQL уже написан. Вы решаете, должна ли разница в 2,5 раза попасть в план и что ещё проверить, прежде чем давать рекомендацию.

Чтобы выработать эти привычки с самого начала, пройдите путь по грамотности в данных для работы с AI: с разобранным примером кампании и практикой, которую можно пройти без аккаунта.

Частые вопросы

Можно ли доверять ChatGPT или Claude анализ данных?

AI помогает написать запрос, собрать таблицу и построить график, но может ошибиться и в этих механических шагах, и в определении. Проверяйте код и расчёты, а также то, какое определение выбрано: данные не подсказывают, кто такие «клиенты» — покупатели, посетители или аккаунты. Относитесь к ответу AI как к черновику от быстрого нового коллеги: он полезен, но после пересылки отвечаете за него вы.

Нужно ли знать SQL, чтобы проверять анализ от AI?

Для большинства вопросов — нет. Определение, период, фильтры, знаменатель и сверка с известным итогом не требуют кода. SQL помогает с вопросом про JOIN и чтобы самому воспроизвести число — поэтому путь в Atterna начинается с бесплатной игры без SQL и продолжается курсом SQL с нуля.

С каких ошибок начать проверку?

Начать удобно с непроговорённого определения и неполного последнего периода. Это порядок проверки, а не измеренный рейтинг частоты ошибок AI. Обе дают числа, которые выглядят разумно, — поэтому и проходят незамеченными.

Где потренироваться проверять числа?

Бесплатная короткая игра Wrong Number показывает, как одна база даёт три разных верных ответа на вопрос «сколько у нас клиентов?». Курс Atterna Start учит SQL, чтобы воспроизводить числа самому, а симулятор Meridian превращает это в работу: коллеги спрашивают, вы проверяете и решаете.