Дирекция мониторинга Agile занимается созданием дашборда для руководителей в Сбере. Мы собираем данные по всем процессам в Банке, анализируем их и предоставляем необходимую информацию для принятия решений. Мы продолжаем увеличивать охват и глубину мониторинга, поэтому нуждаемся в новых силах. Мы ищем в команду Prompt инженера, который будет создавать данные и описание запроса для LLM-моделей, и следить за их качеством работы.

Разработка и оптимизация диалоговых сценариев, сложных запросов (prompt-engineering) и примеров ответов для взаимодействия с Llm
Оценка качества ответов моделей (ручная и автоматическая), их корректировка, фактчекинг, проверка на этичность и достоверность
Формирование, систематизация и разметка обучающих данных для улучшения качества моделей
Внедрение и оптимизация RAG-систем, включая интеграцию векторных баз данных (Pinecone, Faiss) и оценку проведение A/B-тестирования промптов, моделей и подходов к генерации.
Разработка и поддержка базы знаний для Llm, включая актуализацию контента
Обеспечение мониторинга работы AI-систем, выявление проблемных зон и в разных этапах работы системы
Написание автотестов для проверки стабильности и качества систем на каждом этапе
Создание инструкций и рекомендаций по использованию AI в различных сценариях
Мониторинг трендов в области AI, оценка новых инструментов и технологий.

Опыт от 1 года в prompt-инжиниринге или в разработке AI-агентов
Глубокое понимание Llm (Gpt, Llama 2, Bert) и опыт работы с их API
Умение калибровать параметры генерации (temperature, top-p, guidance и другие)
Знание методов: zero-shot, few-shot, chain-of-thought.
Навыки программирования на Python (pandas, API), базовое владение Git.
Опыт работы с моделями ChatGPT, LLama, Qwen, DeepSeek и их аналогами
Опыт работы с Langchain
Знание SQL
Умение структурировать документацию и визуализировать процессы.

Комфортный современный офис рядом с м. Кутузовская
Работа из офиса с возможностью работать удаленно один день в неделю
Корпоративный спортзал и зоны отдыха
Уникальную систему обучения Сбера для профессионального и карьерного развития
Программу адаптации и помощь руководителя на старте
Расширенный ДМС и льготное страхование для семьи
Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки Цб
Бесплатную подписку СберПрайм+, скидки на продукты компаний-партнеров
Вознаграждение за рекомендацию друзей в команду Сбера
Корпоративную пенсионную программу.

Промт-инженер

Описание

Обязанности

Требования

Условия

Вакансии по похожим условиям