Senior Data Engineer

Playerok — это маркетплейс цифровых товаров и услуг. Мы соединяем покупателей и продавцов, берём на себя безопасность сделки и запускаем собственные продукты. Строим масштабный бизнес на быстрорастущем рынке, на стыке гейминга, финтеха и e-commerce. Сейчас мы ищем Senior Data Engineer и главной задачей будет-Развивать и поддерживать пайплайны загрузки данных из внешних API (рекламные площадки, YouTube, Telegram, Яндекс.Метрика, внутренний API маркетплейса, внутренние системы и др.) в ClickHouse. Строить слои данных (staging, Dds, витрины) и обеспечивать их стабильную работу. Что для нас важно: Работа с HTTP API

• Уверенное знание REST API, обработка Get/Post, заголовков, параметров
• Опыт с пагинацией (cursor, offset, page token), rate limiting, retry с exponential backoff
• Работа с аутентификацией: API keys, OAuth 2.0 (получение/обновление токенов)
• Умение парсить JSON / XML, обрабатывать ошибки и логировать сбои
• Будет плюсом: опыт с GraphQL, gRPC, WebSocket (для стримов)

ClickHouse (ключевой опыт)

• Проектирование таблиц (MergeTree, ReplacingMergeTree, агрегирующие движки)
• Понимание партиционирования, сортировочных ключей, индексов
• Материализованные представления (Materialized Views) для агрегатов
• Оптимизация запросов и распределённых таблиц (если кластер)
• Написание сложных запросов с оконными функциями, массивами, вложенными структурами

Etl / Elt и оркестрация

• Опыт с Airflow или аналогами (у нас — скорее всего Airflow)
• Построение Dag’ов: вызов API → выгрузка → трансформация (dbt или чистая SQL/Python) → загрузка в ClickHouse
• Инкрементальная загрузка (по времени, по Id), upsert, дедупликация
• Работа с S3 / Minio (если нужен промежуточный слой)
• Понимание принципов Cdc (Change Data Capture) и опыт работы с Debezium

Языки и инструменты

• Python — обязательно: requests, aiohttp (для высокой производительности), pandas/polars (для трансформаций), clickhouse-driver
• SQL — свободно (в том числе специфика ClickHouse SQL)
• Dbt — обязательно: написание моделей, тесты, документация, инкрементальные модели
• Git, Ci/Cd (GitHub Actions / GitLab Ci) — чтобы тестировать пайплайны

Архитектура данных

• Проектирование слоёв: сырой слой (staging), логический слой (Dds), витрины (Dm)
• Понимание медленно меняющихся измерений (Scd type 2) — может понадобиться
• Документирование моделей данных (data dictionary, схема таблиц)

Kafka

• Опыт работы с Apache Kafka: продюсеры/консьюмеры, топики, партиции, offset management, consumer groups
• Интеграция Kafka с ClickHouse (Kafka Engine, Kafka Connect) и Airflow
• Понимание гарантий доставки (at-least-once, exactly-once) и принципов потоковой обработки

Удаленный формат сотрудничества.

350 000 Руб — стартовая вилка, итоговая сумма обсуждается по опыту. Возможность выбрать форму сотрудничества и оплаты (все налоги — наша забота). Онбординг-квест — не бросим в бой без подготовки, введем в курс дела и подключим к команде. Занятость 5/2 с 8-часовым рабочим днем. Команда профи — работаешь с инициативными и увлеченными коллегами. Пауза на восстановление — «перезагрузиться» можно в оплачиваемом отпуске или на больничном. Откликайся на вакансию — это первый шаг к тому, чтобы стать частью команды, которая меняет правила игры. Ваш ход! 🎮