Задачи:
- Сбор, анализ (уточнение и детализация) требований заказчика;
- Внедрение компонентов стека Open Source Apache: AirFlow, NIFI, Kafka, Spark, Kylin, Superset, StreamSets, Atlas;
- Разработка и оркестрация ETL процессов;
- Работа с DWH, разработка витрин данных, аналитических отчетов, дашбордов;
- Разработка сервисов для работы с внешними источниками и потребителями данных;
- Написание проектной документации.
Требования:
- Опыт установки, настройки продуктов и работы в стеке Apache от 2 лет;
- Опыт сбора, анализа и фиксации в проектной документации бизнес -требований заказчика;
- Опыт работы с СУБД PostgreSQL или MySQL;
- Уверенное знание SQL и навыки написания сложных и оптимальных SQL-запросов;
- Уверенное владение Python (библиотеки работы с данными);
- Опыт использования и внедрения алгоритмов машинного обучения;
- Опыт администрирования DWH, разработки витрин данных и дашбордов;
- Технический английский язык.
Желательно, будет плюсом:
- Опыт работы в режиме Agile;
- Опыт работы с экосистемами Hadoop/Cloudera;
- Опыт работы с Docker, Kubernetes; знание базовых команд терминала Linux и настроек Flask, Redis, Celery;
- Знание математической статистики и теории вероятностей;
- Знание процессов управления данными;
- Высшее техническое образование.
