Data Engineer

Наша команда занимается разработкой и поддержкой клиентских сервисов и цифровых платформ. Мы ищем специалиста с опытом работы с большими данными(Hadoop Data Lake). Вы сможете работать без авралов и переработок, выбирать из широкого спектра технологий, с которыми мы работаем. Взаимодействовать в команде и консультироваться с профессионалами высокого уровня. Решать задачи не только вашего стека, но и пробовать что-то новое, еще неизвестное. Какие задачи предстоит решать: Проектирование, разработка и поддержка хранилищ и озер данных, сложных ETL/ELT конвейеров; Ответственность за качество данных заказчика; Разрешение инфраструктурных вопросов проекта; Проектировать и разрабатывать процессы преобразования данных (ETL) для хранилища данных; Проектировать потоки данных; Анализ источников данных; Визуализация данных; Участие в проектах по внедрению решений с применением технологии машинного обучения (искусственного интеллекта, ML); Работать с различными базами и платформами данных: Greenplum, ClickHouse, Hadoop; Формирование требований, технических заданий на развитие инфраструктуры; Взаимодействие с командой разработки и командами, разрабатывающими смежный функционал; Участие в тестировании и сдаче-приемке Мы ждем от Вас: Опыт работы с Apache Hadoop и его экосистемой (HDFS, Yarn, Spark, Flink и пр.); Опыт работы с PostgreSQL, Git, AirFlow и пр.; Знание принципов организации DWH/Data Lake; Опыт разработки ETL/ELT; Опыт построения витрин (Data Marts); Понимание принципов модели распределенных вычислений; Опыт работы с PySpark; Свободное владение SQL; Опыт работы с таск-трекерами, helpdesk системами, базами знаний; Умение работать с документацией и составлять техническую документацию; Опыт работы в команде, умение и готовность общаться с коллегами; Увлеченность новыми технологиями, интерес к автоматизации и стандартизации процессов; Заинтересованность в работе, здоровая инициатива и проактивность, желание развиваться. Будет плюсом Опыт работы с Delta Lake; Опыт работы с Superset, jupyter notebooks; Опыт работы с СУБД ClickHouse, Greenplum; Знание Scala, R.

Условия:
Общение и работа в команде с коллегами профессионалами в digital, взаимодействие с самыми сильными в стране командами подрядчиков по разработке клиентских систем и сервисов; Постоянное развитие, профессиональный и карьерный рост; Оформление по ТК РФ (белая заработная плата два раза в месяц); Частичная компенсация питания, ДМС.