Niestety, nie wspieramy Twojej przeglądarki

Niestety nie wspieramy Twojej przeglądarki co może znacznie wpłynąć na poprawne ładowanie skryptów strony.

Zmiany w regulaminie

Drodzy Użytkownicy,

w związku z potrzebą dostosowania Regulaminu do zmian dotyczących funkcjonowania naszego serwisu podyktowanych zapewnieniu bezpieczeństwa, integralności oraz prawidłowego działania naszego serwisu z dniem 22.09.2026 r. zmieniamy nasz Regulamin. (https://grupapracuj.pl/prywatnosc/nowy-regulamin)

Aktualny, obowiązujący do tego czasu dokument znajdziesz tutaj: Regulamin świadczenia usług drogą elektroniczną - Grupa Pracuj

Oferta pracy
NATEK POLAND
Nowość

Spark / Data Lakehouse Developer

NATEK POLANDO firmie

ważna jeszcze ponad miesiąc

(do 19 gru)

  • ważna jeszcze ponad miesiąc

    (do 19 gru)

  • Wrocławdolnośląskie
  • umowa o pracę, kontrakt B2B
  • pełny etat
  • starszy specjalista / starsza specjalistka (senior)
  • praca zdalna, praca hybrydowa (1 dzień w mies. stacjonarnie)
  • Praca od zaraz
  • Szukamy wielu kandydatów
  • rekrutacja zdalna
Asystent AI

Sprawdź, jak dobrze ta oferta do Ciebie pasuje

Podsumowanie oferty

Dodatkowe informacje

  • Specjalizacje:
    Big Data / Data Science, DevOps
  • Wymagane języki:
    polski

Technologie, których używamy

Wymagane

  • Apache Spark
  • PySpark
  • Spark SQL
  • DataFrames
  • Apache Iceberg
  • Jenkins
  • Python
  • Jira
  • Confluence

Mile widziane

  • Docker
  • Kubernetes

O projekcie

  • Dołącz do NATEK jako Spark / Data Lakehouse Developer i wesprzyj projekt realizowany w zespole Data Platform, którego celem jest projektowanie oraz rozwój rozwiązań do rekoncyliacji danych w warstwie ODS (Operational Data Store) opartej o MongoDB, a także budowa i rozwój nowoczesnej architektury Data Lakehouse. Będziesz odpowiadać za tworzenie skalowalnych rozwiązań przetwarzania danych z wykorzystaniem Apache Spark, Apache Iceberg, MongoDB oraz nowoczesnych praktyk Data Engineering, wspierając wysoką jakość, spójność i dostępność danych w środowisku produkcyjnym.

Tak organizujemy naszą pracę

Tak pracujemy

  • agile
  • scrum
  • kanban

Twój zakres obowiązków

  • Projektowanie i implementacja procesów PySpark oraz Spark SQL służących do porównywania i rekoncyliacji danych pomiędzy MongoDB (ODS) a systemami źródłowymi.
  • Tworzenie i rozwój reguł Data Quality, wykrywanie duplikatów, brakujących danych oraz anomalii wraz z generowaniem raportów i alertów.
  • Integracja Apache Spark z MongoDB przy wykorzystaniu MongoDB Spark Connector.
  • Optymalizacja procesów odczytu i przetwarzania danych, w tym partitioning, schema-aware reads oraz query push-down.
  • Projektowanie i rozwój warstw danych w architekturze Data Lakehouse (raw/bronze/silver/gold) z wykorzystaniem Apache Iceberg, Delta Lake lub Apache Hudi.
  • Implementacja i utrzymanie procesów CI/CD dla aplikacji Spark, schematów tabel oraz migracji danych.
  • Optymalizacja wydajności środowiska Spark, w tym caching, broadcast joins, Adaptive Query Execution (AQE) oraz optymalizacja kosztów przetwarzania danych.
  • Konfiguracja monitoringu i obserwowalności rozwiązań z wykorzystaniem Prometheus, Grafana, OpenTelemetry oraz Dynatrace.
  • Definiowanie i monitorowanie SLA/SLO oraz przygotowywanie mechanizmów alertowania dla procesów danych.
  • Automatyzacja wdrożeń aplikacji przy użyciu Docker, Kubernetes oraz Spark Operator.
  • Analiza i rozwiązywanie problemów związanych z jakością danych, opóźnieniami przetwarzania oraz niespójnościami danych.
  • Tworzenie dokumentacji technicznej, runbooków oraz diagramów przepływu danych.
  • Współpraca z zespołami Data Engineering, Business Analysis, QA oraz DevOps.
  • Udział w code review, warsztatach technicznych oraz inicjatywach usprawniających rozwój platformy danych.

Nasze wymagania

  • Minimum 4 lata doświadczenia na stanowisku związanym z Data Engineering, Apache Spark lub Data Lakehouse.
  • Bardzo dobra znajomość Apache Spark, PySpark, Spark SQL, DataFrames oraz Structured Streaming.
  • Praktyczne doświadczenie w pracy z Apache Iceberg w środowiskach produkcyjnych, obejmujące zarządzanie tabelami wersjonowanymi oraz implementację procesów upsert/merge.
  • Doświadczenie w integracji oraz przetwarzaniu danych z wykorzystaniem MongoDB i MongoDB Spark Connector.
  • Znajomość architektury Data Lakehouse oraz budowy warstw raw /bronze/silver/gold.
  • Doświadczenie w optymalizacji wydajności i kosztów przetwarzania danych w środowiskach Big Data.
  • Znajomość narzędzi Jenkins oraz procesów CI/CD.
  • Dobra znajomość Python.
  • Doświadczenie z narzędziami monitoringu i observability, takimi jak Prometheus i Grafana.
  • Doświadczenie w pracy w metodykach Scrum lub Kanban.
  • Znajomość narzędzi Jira oraz Confluence.
  • Bardzo dobra znajomość języka polskiego.

Mile widziane

  • Doświadczenie z Delta Lake lub Apache Hudi.
  • Znajomość środowisk kontenerowych Docker oraz orkiestracji Kubernetes.
  • Doświadczenie z OpenTelemetry lub Dynatrace.
  • Praktyczna znajomość procesów Data Governance, Data Quality oraz monitorowania jakości danych.
  • Doświadczenie w prowadzeniu warsztatów technicznych i mentoringu zespołów developerskich.
  • Znajomość architektury przetwarzania danych w czasie rzeczywistym (Streaming).

To oferujemy

  • Program Mobilności Wewnętrznej – ciesz się wieloma możliwościami rozwoju kariery, rotacją stanowisk, różnorodnością projektów i technologii
  • Program Poleceń – ciesz się współpracą ze swoimi kolegami i otrzymaj bonus.
  • Klub NATEK 5/10 lat – oferujemy długoterminową współpracę i świętujemy każdą piątą rocznicę współpracy prezentami
  • Wydarzenia CSR NATEK i budowanie zespołów – ciesz się naszymi wartościami: odpowiedzialnością, partnerstwem i wiedzą specjalistyczną oraz #workITwithus
  • Kafeteria
  • Opieka Medyczna
  • Karta Klubu Multisport
  • Szkolenia techniczne i personalne
  • Kursy językowe
  • Dodatkowo tylko dla UOP:
  • Ubezpieczenie na życie
  • Bonusy za wydarzenia personalne
  • Dzień wolny na wolontariat

Tak pracujemy nad projektem

  • Continuous Deployment
  • Continuous Integration
  • DevOps
  • narzędzia do trackowania zadań

Benefity

  • dofinansowanie zajęć sportowych
  • prywatna opieka medyczna
  • ubezpieczenie na życie
  • możliwość pracy zdalnej
  • elastyczny czas pracy
  • spotkania integracyjne
  • program rekomendacji pracowników
  • Firma założona w Czeskim Brnie w 2004 roku, od samego początku skoncentrowana na współpracy ze światowymi liderami branży IT. Jesteśmy doświadczoną firmą posiadającą dogłębną wiedzę z zakresu budowania wydajnych zespołów projektowych IT.
  • Naszą misją jest dostarczanie wysokiej jakości rozwiązań outsourcingowych IT w Europie Środkowo-Wschodniej, aby pomóc naszym klientom w poprawie ich wydajności, zapewniając jednocześnie naszym pracownikom środowisko pracy oparte na partnerstwie.
  • Doświadczenie naszych zespołów w różnych branżach (FMCG, bankowość, motoryzacja, telekomunikacja) pozwala nam trafnie przewidywać potrzeby klientów. Dzięki naszej specjalistycznej wiedzy opracowujemy rozwiązania dostosowane do indywidualnych potrzeb. Nasze zespoły pomagają dopasować ekspertów IT do odpowiednich projektów, aby zapewnić satysfakcjonujące rozwiązania dla obu stron.

Tak się u nas pracuje

Aplikuj szybko
Aplikuj na ofertę

Plik CV

(wymagany)

Aplikuj szybko

By submitting this application you consent to the processing of your personal data by NATEK Poland (Spektrum Tower, Twarda 18, 00-105 Warszawa)) for the purposes of assesing your aplication for potentially suitable roles as described. You may withdraw your consent at any time by emailing to [email protected] For more information, please refer to our privacy policy https://natek.eu/privacy-policy/ Consent statement agreement question: I understand and consent for my data to be processed in line with the Privacy Notice and Privacy Policy.

Niektóre określenia użyte w ogłoszeniu wynikają ze standardowego układu i funkcjonalności serwisu. Mają one charakter techniczny i nie przesądzają o rodzaju ani warunkach współpracy oferowanej przez podmiot publikujący ogłoszenie.

Włącz powiadomienie

Spark / Data Lakehouse Developer, Wrocław