14.05.2026 в 18:01 Просмотры 2 +1 сегодня Вакансия партнера

Инженер данных

Специализация: Дата-сайентист

Формат работы: На месте работодателя

График работы: Сменный

Тип занятости: Полная занятость

Опыт: От 1 года до 3 лет

Выплата: ежемесячно

Описание

Каждый день наши автономные машины собирают терабайты данных, которые мы собираем и анализируем для улучшения и тестирования нашего По. Мы ищем человека, который поможет нам в этой задаче и будет заниматься разработкой пайплайнов обработки данных и добавлять в них новый функционал. Вакансия подразумевает работу с большими объемами технических данных с использованием SQL, Dagster, Spark и polars/pandas, где объемы данных позволяют.

Обязанности

  • Реализовать пайплайн/шаг в существующем пайплайне в котором будет реализован алгоритм расчета метрики функции автономного вождения (качество удержания в полосе, качество локализации, дальность распознавания);
  • Оптимизировать обработку данных в существующем алгоритме путем перехода со Spark на Polars/Pyarrow с распараллеливанием обработки или оптимизации Spark запросов;
  • Разрабатывать пайплайны обработки данных;
  • Формировать витрины с метриками;
  • Регламентация алгоритмов расчета метрик функций беспилотного вождения.
Наш стек: Python (pandas, polars, pyspark), Spark, Dagster, Kubernetes, S3, Clickhouse, Metabase Что мы ждем от кандидатов:
  • Разработка на языке Python;
  • Хорошее знание SQL (на уровне джойнов и оконных функций);
  • Был опыт обработки данных с использованием Python (Pandas/Polars);
  • Знакомство со Spark и Airflow.
Будет плюсом:
  • Опыт работы с Clickhouse;
  • Опыт работы с Airflow/Luidgi/Dagster.