Еще

Специалист Apache

Задачи:

  • Сбор, анализ (уточнение и детализация) требований заказчика;
  • Внедрение компонентов стека Open Source Apache: AirFlow, NIFI, Kafka, Spark, Kylin, Superset, StreamSets, Atlas;
  • Разработка и оркестрация ETL процессов;
  • Работа с DWH, разработка витрин данных, аналитических отчетов, дашбордов;
  • Разработка сервисов для работы с внешними источниками и потребителями данных;
  • Написание проектной документации.

Требования:

  • Опыт установки, настройки продуктов и работы в стеке Apache от 2 лет;
  • Опыт сбора, анализа и фиксации в проектной документации бизнес -требований заказчика;
  • Опыт работы с СУБД PostgreSQL или MySQL;
  • Уверенное знание SQL и навыки написания сложных и оптимальных SQL-запросов;
  • Уверенное владение Python (библиотеки работы с данными);
  • Опыт использования и внедрения алгоритмов машинного обучения;
  • Опыт администрирования DWH, разработки витрин данных и дашбордов;
  • Технический английский язык.

Желательно, будет плюсом:

  • Опыт работы в режиме Agile;
  • Опыт работы с экосистемами Hadoop/Cloudera;
  • Опыт работы с Docker, Kubernetes; знание базовых команд терминала Linux и настроек Flask, Redis, Celery;
  • Знание математической статистики и теории вероятностей;
  • Знание процессов управления данными;
  • Высшее техническое образование.