Кейс-интервью на аналитика данных: 8 вопросов для тренировки и как на них отвечать

-- запрос верный
заказы с AUTUMN20   €91,81 в среднем
без кода            €36,60 в среднем

Во многих собеседованиях на аналитика данных две технические части. На SQL-этапе просят написать запрос, который вернёт нужный результат. На кейс-этапе спрашивают что-нибудь вроде «выручка за прошлую неделю упала на 15% — что будете делать?» и смотрят, как вы думаете. Если готовиться только к синтаксису запросов, вам не хватит практики в том, чтобы объяснять такие решения. Форматы собеседований различаются; примеры ниже — задания для тренировки, а не прогноз того, что спросит конкретный работодатель.

Коротко: в кейсе не начинайте с запроса. Уточните вопрос и определение, проверьте, что само число настоящее, разложите его на части, сформулируйте гипотезы, которые можно проверить, и закончите рекомендацией и тем, что может её изменить. Проговаривайте каждый шаг вслух.

Структура, которая подходит почти для любого кейса

1. Уточните. Какое решение зависит от ответа? Какое определение метрики? Какой период и с чем сравниваем?
2. Проверьте число. Падение настоящее? Данные полные, трекинг не менялся, разового события не было, определение то же, что раньше?
3. Разложите на множители. Для одинаково определённой когорты и периода: стоимость товаров = учитываемые пользователи × (покупатели / учитываемые пользователи) × (оплаченные заказы / покупатели) × (стоимость товаров / оплаченные заказы). Найдите, какой множитель сдвинулся; не смешивайте разные совокупности и разные денежные показатели.
4. Сегментируйте. Где сосредоточено изменение: платформа, страна, канал, категория, новые или вернувшиеся клиенты?
5. Выдвигайте и проверяйте гипотезы. Для каждой возможной причины скажите, какие данные её подтвердят или опровергнут.
6. Рекомендуйте. Что делать сейчас, насколько вы уверены и что проверите дальше.

Восемь вопросов для тренировки

1. «Выручка за прошлую неделю упала на 15%. Что будете делать?»

Начните с шага 2, а не 3: полная ли прошлая неделя? Не менялись ли определение, валюта или трекинг? Сравните с той же неделей прошлого года, чтобы учесть сезонность. Затем раскладывайте на множители и сегментируйте. Сильный ответ сначала находит, где падение, и только потом гадает почему.

2. «Как бы вы определили активного пользователя нашего продукта?»

Универсального ответа нет. Спросите, для чего нужна метрика, выберите действие, которое отражает реальную ценность (а не просто вход в систему), выберите окно и назовите исключения (тестовые аккаунты, сотрудники, боты). На этом построена наша игра Wrong Number: одна база, три верных ответа. См. также сначала определите метрику.

3. «A/B-тест показывает +18% к конверсии при p = 0,01. Выкатываем?»

Прежде чем смотреть на p-value, проверьте сплит: соответствуют ли группы запланированному размеру (sample ratio mismatch)? Была ли длительность зафиксирована заранее? Эффект держится все недели или это всплеск новизны? Затем поговорите о доверительном интервале и цене ошибки. См. сколько должен идти A/B-тест.

4. «Конверсия выросла, а выручка упала. Как так?»

Дело в структуре и знаменателях: больше дешёвых заказов, промоакция, которая подняла конверсию, но уменьшила средний чек, источник трафика с покупателями, которые тратят мало. Разложите выручку на множители и покажите, какой из них сдвинулся.

5. «Напишите запрос для выручки по категориям». (А потом: «итог вдвое больше, чем у финансов».)

Классический дополнительный вопрос проверяет, знаете ли вы про размножение строк в JOIN: если соединить заказы с товарами, каждый заказ повторится для каждого товара, и сумма заказа посчитается несколько раз. См. почему JOIN размножает строки.

6. «Какой у нас средний чек — и подходит ли здесь эта метрика?»

Назовите среднее, а потом объясните, почему при скошенном распределении вы покажете ещё медиану и верхний перцентиль. См. среднее или медиана.

7. «Дашборд и финансовый отчёт расходятся. Кто прав?»

Часто оба — просто определения разные. Сравните определения построчно: какие статусы, какие суммы (валовые, за вычетом скидок, за вычетом возвратов), какой часовой пояс и период, какая валюта.

8. «Как бы вы измерили успех фичи X?»

Назовите одну основную метрику, привязанную к цели фичи, одну-две защитные метрики (guardrail), которые не должны ухудшиться, совокупность и то, как вы свяжете изменение с фичей, — по возможности через эксперимент.

Что слушает интервьюер

• Вы задаёте уточняющие вопросы, прежде чем считать.
• Вы проверяете число, прежде чем его объяснять.
• Вы раскладываете метрику на части, а не гадаете.
• Вы заканчиваете рекомендацией, а не просто анализом.
• Вы говорите, что заставит вас передумать.

Как тренироваться

Для SQL-этапа попробуйте наши две интерактивные задачи с собеседований про JOIN: посчитайте число строк, а затем исправьте сумму продаж, которая удвоилась. Прежде чем идти дальше, вы увидите, откуда берётся каждый результат.

Чтобы потренировать работу целиком, проверка уровня поможет найти точку старта, Atterna Start учит SQL с нуля, а симулятор Meridian даёт просьбы коллег, которые нужно разобрать: каждый эпизод заканчивается решением, подкреплённым вашими цифрами (входит в Atterna Analyst, 59 €). Банки вопросов вроде DataLemur или StrataScratch пригодятся для дополнительной практики SQL — см. где учиться анализу данных.

Частые вопросы

Что такое кейс-интервью на аналитика данных?

Этап, на котором вы получаете открытый бизнес-вопрос — изменилась метрика, пришёл результат теста, нужно дать определение — и вслух рассуждаете, как бы на него ответили. Он проверяет структуру и суждение больше, чем синтаксис SQL.

Как построить ответ на «метрика X упала»?

Уточните определение и период, проверьте, что падение настоящее (данные полные, трекинг не менялся), разложите метрику на множители, сегментируйте, чтобы найти, где это произошло, проверьте гипотезы и закончите рекомендацией.

Нужно ли писать SQL на кейс-интервью?

Иногда немного. Важнее сказать, какие данные вы бы выгрузили и зачем, и заметить ловушки: дубли после JOIN, неполные периоды и не тот знаменатель.

Как подготовиться за неделю?

Выучите структуру из шести шагов, отработайте её вслух на восьми вопросах выше и решите два-три кейса на реалистичных данных, где ваш ответ проверяют, а не просто сравнивают с эталонным.