Разработка и поддержка ETL-пайплайнов на PySpark (обработка данных в Data Lake: Trino+Iceberg, Hdfs);
Проектирование и написание Dag в Apache Airflow;
Загрузка сырых данных и слоя Dds в Iceberg;
Построение финальных витрин данных в PostgreSQL (денормализация, агрегации);
Написание и оптимизация сложных SQL-запросов (в т.ч. оконные функции, Cte);
Поддержка контроля качества данных: реализация проверок и алертов в пайплайнах;
Оптимизация производительности: батчинг, партиционирование Iceberg, настройка Spark;
Взаимодействие с аналитиками BI для корректного построения источников данных под Qlik и Power BI;
Мониторинг пайплайнов (SLA-контроль, логи, ретраи, обработка сбоев).

Стек технологий (обязательно к работе): Python, PySpark, Apache Airflow, Trino, Apache Iceberg, Hdfs, PostgreSQL, Scrum;

Опыт коммерческой разработки на Python от 2 лет (именно для data-инженерии, не веб);
Опыт работы с PySpark от 1 года (чтение/запись в Hive/Iceberg, трансформации, оптимизация);
Опыт написания Dag в Apache Airflow ;
Хорошее понимание Iceberg (схема эволюции, time travel, Merge, партиционирование) в связке с Trino;
Продвинутый SQL (оконные функции, Cte, объединения, подзапросы) на PostgreSQL-подобных диалектах;
Опыт проектирования витрин в PostgreSQL (денормализация, агрегации, Scd Type 2);
Понимание контроля качества данных;
Опыт оптимизации ETL-пайплайнов (работа с большими объёмами, избегание дрейфа схемы, настройка Spark);
Понимание работы распределённых систем (принципы MapReduce, shuffle, партиционирование);
Готовность взаимодействовать с BI-разработчиками: понимание Qlik и Power BI.

Data Engineer

Обязанности