Что проверяют на собеседованиях для аналитиков данных?

Кто на самом деле с вами беседует на каждом этапе

Процесс найма аналитика данных редко ограничивается одной беседой. Обычно это три-четыре этапа, каждый из которых проводит человек с разной должностью и разными критериями оценки.

Рекрутерский скрининг не проверяет ваши аналитические способности. Он подтверждает, что вы можете говорить о своей работе простым языком, что ваши ожидания по зарплате и срок уведомления соответствуют позиции, и что вы правильно поняли название должности (analyst, analytics engineer и data scientist используются размыто, и в объявлениях иногда ищут одно, а называют по-другому).

Технический раунд обычно проводит тот, кто делает эту работу изо дня в день — старший аналитик или менеджер по аналитике, иногда инженер данных, если роль сильно затрагивает работу с пайплайнами. Это раунд SQL и статистики, и к нему кандидаты готовятся меньше всего, потому что считают, что с ростом позиции кода становится меньше, а это наоборот: чем старше роль, тем выше вероятность, что от вас ожидают написания корректного SQL под давлением времени без линтера, который ловит ошибки.

Раунд кейс-стади или «бизнес-задачи» часто проводит кто-то из команды, которую вы будете поддерживать — продакт-менеджер, руководитель маркетинга, бизнес-партнёр из финансов. Они не оценивают синтаксис SQL. Они проверяют, можете ли вы превратить размытый вопрос типа «почему регистрации упали в прошлом месяце» во что-то измеримое без подсказок.

Финальный раунд с менеджером по найму или директором обычно посвящён суждениям и соответствию: как вы справляетесь с разногласиями со стейкхолдером, как расставляете приоритеты, когда три человека хотят противоречащих друг другу анализов к пятнице.

Техническая оценка: как она на самом деле выглядит

Для большинства позиций аналитика данных в технологических компаниях ожидайте одно или несколько из:

• Живой или записанный SQL-тест. Не викторина по синтаксису, а запрос к схеме с дублирующимися строками, nullable-внешними ключами или many-to-many join, который незаметно раздует ваши счётчики, если вы ошибётесь. Частые задачи: оконные функции (ROW_NUMBER() OVER (PARTITION BY ...) для дедупликации или ранжирования), self-join для сравнения поведения пользователя по периодам и GROUP BY с HAVING вместо WHERE. Если вы можете написать корректный запрос, но не можете объяснить, почему дедуплицировали перед агрегацией, этот пробел виден.
• Домашнее задание с реальным или реалистичным датасетом. Обычно вас попросят ответить на бизнес-вопрос, а не просто построить графики. Интервьюеры смотрят, указали ли вы свои предположения (как вы определили «активного пользователя»?), отметили ли проблемы качества данных вместо того, чтобы тихо их обойти, и следует ли ваша рекомендация из показанных чисел или выглядит так, будто была решена заранее.
• Демонстрация работы с инструментом. Если в вакансии указаны Looker, Tableau, Power BI или Mode, вас могут попросить расшарить экран и собрать что-то вживую или прокритиковать существующий дашборд. Это проверяет, можете ли вы выбрать тип графика, который не вводит в заблуждение, а не знаете ли вы каждое меню.
• Базовая статистика. Для ролей, связанных с экспериментами, ожидайте вопросов о том, что на самом деле означает p-value, как вы определите размер выборки для A/B-теста и что происходит с вашей уверенностью, когда вы прогоняете пять метрик на одном тесте и называете победой самый маленький p-value.

Некоторые компании полностью пропускают домашнее задание и делают всё это вживую, на общем экране, потому что домашнее задание можно отдать на аутсорс или оно занимает у кандидата шесть неоплачиваемых часов. Лучше ли это для вас, зависит от того, думаете ли вы быстрее, чем пишете; среди команд по найму нет консенсуса, какой формат справедливее, и вам стоит ожидать любого.

Вопросы, которые на самом деле что-то проверяют

Горстка стандартно звучащих вопросов несёт почти весь сигнал. Вот что они на самом деле проверяют.

«Расскажите об анализе, который изменил решение». Это не запрос резюме проекта. Это проверяет, можете ли вы провести линию от конкретного числа к конкретному человеку и конкретному действию, которое он предпринял и которое иначе не предпринял бы. Если ваш ответ заканчивается на «и я обнаружил, что конверсия на мобильных была ниже», вы описали наблюдение, а не результат. Интервьюер слушает, что произошло после того, как вы отправили анализ.

«Как бы вы измерили, работает ли эта функция?» Это проверяет, идёте ли вы по умолчанию к метрике или сначала исследуете вопрос. Сильный ответ спрашивает, что «работает» означает для бизнеса, прежде чем назвать метрику, отмечает хотя бы один правдоподобный способ, которым очевидная метрика может вводить в заблуждение (функция, которая повышает вовлечённость, делая что-то труднее находимым, не является победой), и называет контрольную метрику вместе с основной. Слабый ответ сразу переходит к «я бы отслеживал ежедневных активных пользователей».

«Расскажите о случае, когда ваш анализ был неправильным или вы бы сделали его иначе». Это проверяет интеллектуальную честность, и это сложнее подделать, чем думают люди, потому что заученный неответ («не думаю, что я ошибался, но если бы пришлось что-то сказать...») мгновенно узнаваем для любого, кто выпускал анализ в реальной работе. Что им нужно: что было неправильно, как вы это узнали и что вы изменили в своём подходе к работе в результате.

Живая SQL-задача с подвохом — дублирующиеся строки, join, который разрастается, поле даты со смешанными форматами. Это проверяет, проверяете ли вы количество строк до и после join, вслух, без подсказок. Аналитики, которых обжёг fan-out join, делают это автоматически. Аналитики, которых не обжёг, не делают, и интервьюер обычно знает в течение тридцати секунд, какой тип он наблюдает.

Как звучит поверхностный ответ

Для того, кто делает эту работу, несколько паттернов выдают кандидата, который на самом деле не работал с беспорядком реальных данных.

Описание инструмента вместо решения — «я построил дашборд в Tableau с фильтрами по региону и дате» — и остановка на этом. Никто не спрашивал, как выглядел дашборд; спросили, что изменилось из-за него.

Цитирование определения p-value без способности сказать, чего оно не говорит вам. Если кто-то не может объяснить своими словами, почему статистически значимый результат на крошечной выборке не является автоматически достойным действия, он заучил термин, а не использовал его.

Прямой переход к графику или запросу в кейс-стади без предварительного вопроса, что бизнес на самом деле имеет в виду под термином в вопросе — «вовлечённость», «отток», «активный» — означают разное в разных компаниях, и аналитики, работавшие с реальными стейкхолдерами, знают, что нужно спросить, прежде чем строить.

Претензия на авторство анализа без упоминания, что кто-то возражал против него. Реальная аналитическая работа включает кого-то в комнате, не согласного с вашим числом или формулировкой. Ответ без трения в нём — это либо очень простая работа, либо отредактированная история.

И конкретно в SQL: написание запроса, который компилируется, но незаметно удваивает счёт из-за необработанного join, и неосознание этого, и непроверка.

Что на самом деле сделать перед собеседованием

Выберите один проект из своей истории — в идеале с действительно беспорядочными данными — и отрепетируйте объяснение меньше чем за минуту: вопрос, что вы нашли, что изменилось. Если не можете уложиться в минуту, вероятно, вы ещё не закончили отделять находку от шума вокруг неё.

Практикуйте SQL на схеме с дубликатами и null, а не на чистых учебных данных. Конкретно тренируйте self-joins, оконные функции для дедупликации и ранжирования и проверку количества строк до и после join.

Подготовьте одну честную историю о том, как ошибались, с исправлением, а не только с ошибкой.

Перед раундом кейс-стади запишите два-три вопроса, которые вы задали бы стейкхолдеру, прежде чем касаться данных, и попрактикуйтесь задавать их вслух, а не сразу переходить к графику.

Если вы рассылаете много заявок и получаете мало откликов, этап собеседования выше обычно не является узким местом — им является приглашение на него. jobmarket.pro сравнивает каждое объявление с вашим реальным профилем и говорит, где вы действительно подходите, прежде чем что-либо готовить от вашего имени.