Aktualnie do Zespołu Baz i Hurtowni Danych poszukujemy osoby na stanowisko Data Engineer (Airflow, ClickHouse).
Zespół składa się z inżynierów danych i backendu pracujących z hurtownią danych oraz bazami PostgreSQL i MySQL. Stale się powiększamy i planujemy utrzymać ten trend.
Wspieramy i rozwijamy usługi oraz aplikacje backendowe oparte na hurtowni danych i bazach danych. Tworzymy i utrzymujemy procesy ETL związane ze zbieraniem, przetwarzaniem oraz udostępnianiem danych. Tworzymy nowoczesne rozwiązania dla serwisów internetowych.
Twój zakres obowiązków
Dostosowanie i rozwój DAG-ów w Apache Airflow i ClickHouse
Refaktoryzacja oraz optymalizacja zapytań SQL pod ClickHouse (wydajność, koszty, czas wykonania)
Projektowanie i modyfikacja struktur oraz procesów w obszarze hurtowni danych
Walidacja poprawności danych po migracji (porównania wyników, kontrola kompletności, testy regresji)
Monitoring i utrzymanie procesów ETL (analiza błędów, usprawnienia, automatyzacja)
Nasze wymagania
Minimum 2 lata komercyjnego doświadczenia z ClickHouse oraz Apache Airflow
Znajomość SQL, w tym tworzenie i optymalizacja zapytań
Doświadczenie w tworzeniu i utrzymaniu procesów ETL/ELT
Umiejętność analizy i walidacji danych (kontrola kompletności i poprawności wyników po zmianach)
Doświadczenie w pracy w projektach prowadzonych metodykami zwinnymi
Mile widziane
Praktyczna znajomość środowisk Big Data (np. Hive)
Doświadczenie w migracji zapytań/procesów między różnymi silnikami analitycznymi
At Square One Poland we link IT experts with the business. With over 25 years of experience, we specialize in recruitment processes on a global scale. Despite years of experience, we still have a startup DNA and this is our advantage. Our offices are located in London and Warsaw, however, we can reach clients from all over the world, from start-ups to big worldwide corporations.
Pracodawca zakończył zbieranie zgłoszeń na tę ofertę