Niestety, nie wspieramy Twojej przeglądarki

Niestety nie wspieramy Twojej przeglądarki co może znacznie wpłynąć na poprawne ładowanie skryptów strony.

Zmiany w regulaminie

Drodzy Użytkownicy,

w związku z potrzebą dostosowania Regulaminu do zmian dotyczących funkcjonowania naszego serwisu podyktowanych zapewnieniu bezpieczeństwa, integralności oraz prawidłowego działania naszego serwisu z dniem 22.09.2026 r. zmieniamy nasz Regulamin. (https://grupapracuj.pl/prywatnosc/nowy-regulamin)

Aktualny, obowiązujący do tego czasu dokument znajdziesz tutaj: Regulamin świadczenia usług drogą elektroniczną - Grupa Pracuj

Oferta pracy
UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
Nowość

Senior Data Engineer (Spark)

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄO firmie

ważna jeszcze miesiąc

(do 16 gru)

Asystent AI

Sprawdź, jak dobrze ta oferta do Ciebie pasuje

Podsumowanie oferty

Dodatkowe informacje

  • System wynagrodzeń:
    stała podstawa wynagrodzenia
  • Specjalizacje:
    Big Data / Data Science

Siedziba firmy

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ

Legnicka 70, Fabryczna, Wrocław

Sprawdź czas dojazdu

Samochód

-

Komunikacja

-

Rower

-

Pieszo

-

Technologie, których używamy

Wymagane

  • Apache Spark
  • MongoDB
  • Spark
  • Python
  • Prometheus
  • Grafana
  • Jira
  • Confluence

Mile widziane

  • Docker
  • Kubernetes
  • OpenTelemetry
  • Dynatrace

O projekcie

  • Poszukujemy doświadczonego Data Engineer/Spark / Data Lakehouse Developera, który dołączy do zespołu Data Platform i będzie uczestniczył w rozwoju nowoczesnych rozwiązań przetwarzania oraz zarządzania danymi.
  • Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i implementację mechanizmów rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, a także za synchronizację danych z systemami źródłowymi. Ważnym elementem projektu będzie również budowa i rozwój architektury Data Lakehouse, obejmującej przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (Raw, Bronze, Silver, Gold).

Twój zakres obowiązków

  • Rekoncyliacja i jakość danych
  • - Projektowanie oraz implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL.
  • - Porównywanie danych przechowywanych w MongoDB z danymi w systemach źródłowych.
  • - Tworzenie reguł walidacji i jakości danych oraz wykrywanie duplikatów, braków i anomalii.
  • - Generowanie raportów i alertów dotyczących niezgodności danych.
  • Integracja z MongoDB
  • - Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
  • - Implementacja procesów odczytu i zapisu danych.
  • - Optymalizacja operacji odczytu, m.in. poprzez partitioning, predicate push-down i schema-aware reads.
  • Rozwój architektury Data Lakehouse
  • - Projektowanie i rozwój warstw danych Raw, Bronze, Silver i Gold.
  • - Implementacja rozwiązań opartych na Apache Iceberg, Delta Lake lub Apache Hudi.
  • - Zarządzanie tabelami wersjonowanymi oraz optymalizacja operacji zapisu i aktualizacji danych (upsert/merge).
  • - Wdrażanie CI/CD dla schematów tabel, migracji i wersjonowania.
  • Optymalizacja wydajności
  • - Tuning procesów Apache Spark, w tym partitioning, caching, broadcast joins i Adaptive Query Execution.
  • - Optymalizacja zapytań oraz kosztów przetwarzania danych w środowisku Data Lakehouse.
  • Monitoring i observability
  • - Konfiguracja monitoringu i metryk z wykorzystaniem Prometheus i Grafana.
  • - Integracja logowania i distributed tracing z wykorzystaniem OpenTelemetry lub Dynatrace.
  • - Definiowanie SLA/SLO oraz alertów dotyczących świeżości danych i poprawności realizacji zadań.
  • DevOps i wsparcie operacyjne
  • - Automatyzacja wdrożeń aplikacji Spark z wykorzystaniem Docker, Kubernetes i Spark Operator.
  • - Diagnozowanie problemów związanych z jakością danych, opóźnieniami i niezgodnościami.
  • - Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych.
  • Współpraca zespołowa
  • - Współpraca z Data Engineerami, Business Analystami, testerami i zespołem DevOps.
  • - Udział w pracach prowadzonych w metodykach Scrum/Kanban.
  • - Prowadzenie code review oraz warsztatów technicznych.

Nasze wymagania

  • Minimum 6 lata doświadczenia komercyjnego w pracy z Apache Spark oraz środowiskach produkcyjnych. Mile widziane doświadczenie bankowe.
  • Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
  • Praktyczne doświadczenie w integracji Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
  • Znajomość modelowania dokumentowego oraz indeksowania w MongoDB.
  • Doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.
  • Praktyczna znajomość języka Python.
  • Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.
  • Znajomość narzędzi Prometheus i Grafana.
  • Doświadczenie w pracy w metodykach Agile (Scrum/Kanban).
  • Znajomość Jira i Confluence.

Mile widziane

  • Doświadczenie z Delta Lake lub Apache Hudi.
  • Znajomość Docker i Kubernetes oraz Spark Operator.
  • Praktyczna znajomość OpenTelemetry lub Dynatrace.
  • Doświadczenie w projektowaniu rozwiązań monitorowania procesów batch i streaming.
  • Znajomość zagadnień Data Quality, Data Observability i zarządzania cyklem życia danych.

To oferujemy

  • Praca zdalna
  • B2B: 1200-1300 PLN na dzień

Etapy rekrutacji

1

CV

2

Introductory interview

3

Technical interview

Dołącz do projektu!

  • Jeśli masz doświadczenie w budowaniu wydajnych rozwiązań Big Data, dobrze znasz Apache Spark i chcesz rozwijać nowoczesną architekturę Data Lakehouse, zapraszamy do aplikowania!

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ

  • Welcome to Upvanta, where our motto is “We Care More”.
  • Founded in 2018, we have grown into a dynamic IT services company with a team of over 180 dedicated professionals. Our journey has been marked by exceptional year-over-year growth, driven by our unwavering commitment to our clients.
Aplikuj szybko
Aplikuj na ofertę

Plik CV

(wymagany)

Aplikuj szybko

Wszystkie informacje o przetwarzaniu danych osobowych w tej rekrutacji znajdziesz w formularzu aplikacyjnym, po kliknięciu w przycisk "Aplikuj Teraz".

Niektóre określenia użyte w ogłoszeniu wynikają ze standardowego układu i funkcjonalności serwisu. Mają one charakter techniczny i nie przesądzają o rodzaju ani warunkach współpracy oferowanej przez podmiot publikujący ogłoszenie.

Włącz powiadomienie

Senior Data Engineer (Spark), Legnicka 70, Fabryczna, Wrocław