вчера в 15:16
Просмотры 2
+2 сегодня
Вакансия партнера
AI/QA-инженер
Москва , улица Годовикова, 9с17
Алексеевская
ВДНХ
Специализация: Тестировщик
Формат работы: Гибрид
График работы: Сменный
Тип занятости: Полная занятость
Опыт: От 3 до 6 лет
Выплата: ежемесячно
Описание
Группа Rubytech — лидирующий производитель программно-аппаратных комплексов и разработчик технологий для высоконагруженных ИТ-инфраструктур. Мы выпускаем собственную линейку Пак Скала^р, а также строим и защищаем от киберугроз инфраструктуру, обеспечивая бесперебойную работу крупного бизнеса и государственных организаций.
Вам предстоит:
- Тестирования AI/ML-компонентов и сервисов;
- Проверка качества моделей и корректности вывода;
- Работа с фреймворками: LangChain, LlamaIndex, Ragas, Langfuse;
- Тестирование агентских систем: проверка циклов (отсутствие зацикливания), корректность вызова инструментов, graceful degradation при ошибках;
- Настраивать тестовые датасеты с разнообразными сценариями (включая edge cases: сленг, опечатки, отрицания, длинные контексты);
- Создавать и поддерживать золотых датасетов (golden answers) для автоматической сверки;
- Вести тест-кейсы и чек-листы для регрессионного тестирования при смене модели или промпта;
- Тестировать RAG-пайплайны: качество retrieval (Hit Rate, Mrr, Ndcg@K), релевантность ответов, groundedness;
- A/B-тестирование промптов и моделей (включая сравнение разных Llm);
- Нагрузочное тестирование LLM-сервисов: измерение Ttft (time to first token), Tpot (time per output token), latency, throughput (инструменты: Locust, k6);
- Версионирование тестовых данных и датасетов (Dvc или аналоги) для воспроизводимости тестов;
- Ci/Cd для ML: автоматический запуск тестов при изменении промпта, модели или коннектора;
- Мониторинг качества в продуктивном контуре: отслеживание дрифта метрик, аномалий в ответах, деградации retrieval.
- Опыт тестирования AI/ML-компонентов и сервисов;
- Опыт работы с фреймворками: LangChain, LlamaIndex, Ragas, Langfuse;
- Опыт тестирования RAG-пайплайнов: качество retrieval (Hit Rate, Mrr, Ndcg@K), релевантность ответов, groundedness;
- Знание Python, SQL, REST API;
- Знание метрик оценки Llm;
- Понимание принципов работы агентских систем, Mcp.
- Опыт работы с Postman, Selenium, PyTest;
- Оценка экономической эффективности: контроль token usage, cost per request, API-лимитов;
- Понимание интеграционного тестирования: коннекторы к Active Directory, Ms SharePoint, Confluence, мессенджерам и пр.;
- Навыки тестирования Иб: prompt injection, jailbreak-атаки, проверка утечки Pii (паспорта, телефоны), data leakage системных промптов.
Условия
- Стабильный и «белый» конкурентный доход, который мы обсудим при встрече;
- Удобный график — гибрид или офис (в зависимости от подразделения);
- Работа в аккредитованной ИТ-компании из реестра Минцифры (отсрочка от мобилизации);
- Профессиональный рост, обучение и развитие, участие в проекте «Лекторий Rubytech»;
- Развитые спортивные комьюнити: футбол, волейбол, баскетбол и шахматы;
- ДМС для вас и вашей семьи на особых условиях;
- Тимбилдинги, митапы и другие корпоративные мероприятия;
- Скидки у 500+ партнеров (платформы BestBenefits и Lerna).
