Наша команда создает ключевой продукт для аналитики Сбера — Прикладную аналитическую платформу B2C. Мы помогаем сотням команд внутри экосистемы быстро создавать надежные аналитические витрины на Облаке Данных, чтобы глубже понимать клиентские пути и формировать персонализированные предложения. Мы ищем сильного Data Engineer, который будет напрямую влиять на архитектуру и развитие этого стратегического инструмента. Вы будете создавать решения, которыми ежедневно пользуются десятки аналитиков и дата-инженеров.

Участвовать в проектировании и развитии архитектуры фреймворка для построения batch- и streaming-витрин
Разрабатывать ядро платформы и ее компоненты (оркестрация, метаданные, Data Quality-фреймворк) на Scala/Java
Создавать и оптимизировать абстракции и API (включая RESTful), которые упростят работу с данными для других команд
Проводить производительность и масштабируемость платформы на больших объемах данных (петабайты)
Тесно взаимодействовать с пользователями платформы (аналитиками, дата-инженерами из бизнес-команд) для сбора требований и обратной связи
Менторить младших разработчиков

Глубокое знание Scala или Java, SQL, Bash
Опыт с Apache Spark (обязательно). Опыт с Flink, Kafka, Iceberg или аналогичными
Понимание Dwh/Data Lake, Etl/ELT-процессов, Scd, Data Quality
Опыт проектирования отказоустойчивых и масштабируемых систем, понимание Solid, опыт написания тестов (unit, integration)
Опыт кросс-функционального взаимодействия, принятия архитектурных решений, наставничества

Будет преимуществом (желательные навыки)

Опыт с Hadoop-экосистемой (Hdfs, Yarn, Hive)
Знание Trino/Velox
Опыт работы с микросервисной архитектурой и REST API
Опыт с ClickHouse, Kubernetes, S3
Знание Python

Работа в офисе по адресу г. Москва, ул. Поклонная, 3
Годовой бонус и ежегодный пересмотр
Расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
Корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
Льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.

Data Engineer со знанием Scala

Описание

Обязанности

Требования

Условия

Вакансии по похожим условиям