Автоматизация витрин и моделей данных.
Развитие и автоматизация процессов деплоймента.
Участие в улучшении процессов CI/CD.
Повышение качества Data Governance и Data Quality (DQ).
Написание парсеров для веб-ресурсов и файлов (включая бинарные).
Создание и оптимизация производительности онлайн триггеров.
Разработка REST-сервисов для работы с данными.
a) Знания SQL и NoSQL, опыт работы с реляционными СУБД (PostgreSQL, Oracle, MySQL, MSSQL) — не менее 1 года.
b) Базовые знания Apache Spark, Apache Kafka, Apache Airflow для построения и оркестрации data pipeline-ов.
c) Навыки проектирования и реализации систем сбора, обработки и передачи данных.
d) Опыт использования программного обеспечения для управления конфигурациями и CI/CD пайплайнами (GitLab CI, Jenkins и др.).
e) Способность быстро разбираться в новых типах данных, формулировать уточняющие вопросы и предлагать архитектурные решения.
f) Умение работать с большими объёмами данных, проводить их анализ и оптимизацию процессов обработки.