Niestety, nie wspieramy Twojej przeglądarki

Niestety nie wspieramy Twojej przeglądarki co może znacznie wpłynąć na poprawne ładowanie skryptów strony.

Zmiany w regulaminie

Drodzy Użytkownicy,

w związku z potrzebą dostosowania Regulaminu do zmian dotyczących funkcjonowania naszego serwisu podyktowanych zapewnieniu bezpieczeństwa, integralności oraz prawidłowego działania naszego serwisu z dniem 22.09.2026 r. zmieniamy nasz Regulamin. (https://grupapracuj.pl/prywatnosc/nowy-regulamin)

Aktualny, obowiązujący do tego czasu dokument znajdziesz tutaj: Regulamin świadczenia usług drogą elektroniczną - Grupa Pracuj

Oferta pracy
Ideamotive
Nowość

Spark / Data Lakehouse Developer

IdeamotiveO firmie

ważna jeszcze miesiąc

(do 17 gru)

125,00 – 145,00 zł
netto (+ VAT) / godz. | kontrakt B2B
  • ważna jeszcze miesiąc

    (do 17 gru)

  • Wrocławdolnośląskie
  • kontrakt B2B
  • pełny etat
  • specjalista / specjalistka (mid / regular)
  • praca hybrydowado uzgodnienia
  • Praca od zaraz
  • rekrutacja zdalna
Asystent AI

Sprawdź, jak dobrze ta oferta do Ciebie pasuje

Podsumowanie oferty

Dodatkowe informacje

  • System wynagrodzeń:
    stała podstawa wynagrodzenia
  • Specjalizacje:
    Backend, Big Data / Data Science
  • Wymagane języki:
    polski

Technologie, których używamy

Wymagane

  • Apache Spark
  • PySpark
  • Spark SQL
  • DataFrames
  • MongoDB
  • Spark
  • Jenkins
  • (Prometheus
  • Grafana
  • Python
  • Jira
  • Confluence

O projekcie

  • Poszukujemy doświadczonego specjalisty do zespołu Data Platform dla jednego z naszych klientów z sektora finansowego. Projekt skupia się na budowie i utrzymaniu warstw danych w architekturze Data Lakehouse. Obejmuje to pełen proces przetwarzania, od surowych zbiorów po warstwy prezentacyjne (curated, silver, gold). Rozwiązania opierają się na nowoczesnym stosie technologicznym, w tym na Apache Iceberg oraz MongoDB w warstwie ODS (Operational Data Store).
  • Praca zdalna, wizyta w biurze we Wrocławiu 1 dzień w miesiącu.

Tak organizujemy naszą pracę

Tak pracujemy

  • koncentrujesz się na rozwoju produktu

Twój zakres obowiązków

  • Projektowanie i implementacja rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB.
  • Synchronizacja danych z systemami źródłowymi.
  • Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi).
  • Zarządzanie tabelami wersjonowanymi oraz optymalizacja zapisów (upserts, merge) w Apache Iceberg.
  • Automatyzacja procesów budowy, testowania i wdrażania aplikacji Spark przy użyciu Jenkins.
  • Monitorowanie rozwiązań z wykorzystaniem narzędzi Prometheus i Grafana.

Nasze wymagania

  • Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych.
  • Biegła znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
  • Doświadczenie w pracy z MongoDB, w tym odczyt i zapis danych przez Spark Connector, modelowanie dokumentowe oraz indeksowanie.
  • Praktyczna znajomość architektury Data Lakehouse i narzędzi takich jak Apache Iceberg.
  • Umiejętność tworzenia procesów CI/CD z wykorzystaniem Jenkins.
  • Biegłość w programowaniu w języku Python.
  • Znajomość zagadnień związanych z monitorowaniem systemów (Prometheus, Grafana).
  • Doświadczenie w pracy w metodykach zwinnych (Scrum lub Kanban) oraz znajomość Jira i Confluence.

Tak pracujemy nad projektem

  • Continuous Deployment
  • Continuous Integration

Etapy rekrutacji

1

Rozmowa rekrutacyjna

2

Rozmowa techniczna

Tak się u nas pracuje

OBOWIĄZEK INFORMACYJNY IDEAMOTIVE SP. Z O.O. (dla kandydatów na współpracowników, tj. osób ubiegających się o nawiązanie współpracy ze Spółką na podstawie umowy cywilnoprawnej np. umowy zlecenia, b2b) Ten dokument zawiera m.in. informacje dotyczące celów przetwarzania Pani/Pana danych osobowych przez Ideamotive Sp. z o.o. (dalej: „Administrator”), okresie ich przetwarzania przez Administratora, przysługujących Pani/Panu prawach, możliwych odbiorcach Pani/Pana danych osobowych, danych kontaktowych w sprawach dotyczących przetwarzania Pani/Pana danych przez Administratora. Poniższa informacja przedstawiana jest w związku z obowiązkami wynikającymi z Rozporządzenia Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. w sprawie ochrony osób fizycznych w związku z przetwarzaniem danych osobowych i w sprawie swobodnego przepływu takich danych oraz uchylenia dyrektywy 95/46/WE (dalej: „RODO”). 1. Administratorem Pani/Pana danych osobowych jest Ideamotive Sp. z o.o. z siedzibą w Warszawie (kod pocztowy 00-819), przy ul. Złotej 61/101, wpisana do Rejestru Przedsiębiorców przez Sąd Rejonowy dla M. St. Warszawy w Warszawie, Wydział XII Gospodarczy Krajowego Rejestru Sądowego pod numerem KRS 0000529079, posiadającą NIP 5272722655, REGON 147483183. 2. Kontakt z Administratorem jest możliwy: 1) listownie, pod adresem korespondencyjnym: ul. Złota 61/101, 00-819 Warszawa; 2) za pośrednictwem poczty elektronicznej pod adresem e-mail: [email protected] 3. Pani/Pana dane osobowe w zależności od danych osobowych zebranych w toku procesu rekrutacyjnego, jak również wyrażonych zgód są przetwarzane w następujących celach: Cel przetwarzania danych osobowych Podstawa prawna przetwarzania danych osobowych Okres retencji danych osobowych dotyczący danego celu przetwarzania 1 Przeprowadzenie procesu rekrutacyjnego. art. 6 ust. 1 lit. b RODO Dane osobowe będą przetwarzane do czasu zakończenia procesu rekrutacji, w zw. z którym została złożona aplikacja/CV*. *chyba, że zostanie wyrażona zgoda na przetwarzanie danych osobowych na potrzeby przyszłych rekrutacji, o której mowa poniżej. Przetwarzanie danych osobowych, o których mowa w art. 9 ust. 1 RODO (tzw. szczególnych kategorii danych), w przypadku zamieszczenia przez Panią/Pana takich danych w aplikacji/CV. Art. 9 ust. 2 lit. a RODO W tym przypadku dane osobowe mogą być przetwarzane do momentu wycofania wyrażonej zgody, a jeżeli zgoda nie została wycofana do czasu zakończenia procesu rekrutacyjnego – dane będą przetwarzane do czasu zakończenia procesu rekrutacji, w zw. z którym została złożona aplikacja/CV lub w przypadku wyrażenia zgody na przetwarzanie takich danych na potrzeby przyszłych rekrutacji – przez okres trzech lat od dnia wyrażenia ww. zgody. Wyrażona zgoda może zostać wycofana w dowolnym momencie. Wycofanie zgody nie wpływa na zgodność 1 Okres przetwarzania danych osobowych ustalany jest indywidualnie dla każdego celu przetwarzania danych osobowych. z prawem przetwarzania danych do czasu wycofania zgody. Przetwarzanie danych osobowych na potrzeby przyszłych rekrutacji, w przypadku wyrażenia przez Panią/Pana stosownej zgody. art. 6 ust. 1 lit a RODO W tym przypadku dane osobowe mogą być przetwarzane do momentu wycofania wyrażonej zgody, a jeżeli zgoda nie została wycofana – przez okres trzech lat od dnia wyrażenia zgody. Wyrażona zgoda może zostać wycofana w dowolnym momencie. Wycofanie zgody nie wpływa na zgodność z prawem przetwarzania danych do czasu wycofania zgody. Realizacja następujących prawnie uzasadnionych interesów administratora: 1) zapewnienia bezpieczeństwa Administratora, jego mienia oraz mienia innych osób znajdującego się na terenie, w budynkach lub pomieszczeniach używanych przez Administratora, a także bezpieczeństwa tych osób - jeżeli będzie Pani/Pan wchodzić na teren, do budynku lub pomieszczeń objętych przez Administratora monitoringiem wizyjnym. art. 6 ust. 1 lit f RODO W przypadku monitoringu wizyjnego dane osobowe są przetwarzane przez okres 3 miesięcy od dnia nagrania. 4. Pani/Pana dane osobowe mogą być pozyskiwane bezpośrednio od Pani/Pana w toku rekrutacji lub od agencji rekrutacyjnej/portalu rekrutacyjnego, jeżeli złożyła/założył Pani/Pan aplikację/CV za ich pośrednictwem. 5. Administrator może przetwarzać następujące kategorie Pani/Pana danych osobowych: 1) dane identyfikacyjne np. imię, nazwisko, adres zamieszkania; 2) dane kontaktowe, np. adres do korespondencji, numer telefonu, adres e-mail; 3) dane dotyczące historii zatrudnienia; 4) dane dotyczące wykształcenia, szkoleń oraz posiadanych kwalifikacji; 5) dane z monitoringu wizyjnego; 6) dane dodatkowe podane w aplikacji/CV (np. hobby, zainteresowania). 6. Dostęp do Pani/Pana danych osobowych mogą mieć upoważnieni pracownicy i współpracownicy Administratora; podmioty, z którymi Administrator zawarł umowę powierzenie przetwarzania danych osobowych lub którym udostępnienie Pani/Pana danych osobowych jest zgodne z obowiązującymi przepisami prawa. Mając na uwadze powyższe, odbiorcami Pani/Pana danych osobowych mogą być następujące podmioty lub kategorie podmiotów: 1) instytucje lub organy uprawnione do żądania dostępu lub otrzymania danych osobowych na podstawie przepisów prawa np. Prezes Urzędu Ochrony Danych Osobowych, Policja; 2) podmioty świadczące usługi na rzecz Administratora (kancelarie prawne, audytorzy, podmioty obsługujące systemy informatyczne Administratora lub świadczące inne usługi informatyczne, podmioty świadczące usługi ochrony obiektów wykorzystywanych przez Administratora); 3) kontrahenci Administratora, w przypadku w którym rekrutacja jest prowadzona w związku z projektem realizowanym na rzecz kontrahenta Administratora lub w ramach innej współpracy z takim kontrahentem; 4) poczta polska, firmy kurierskie. 7. W przypadku, w którym w związku z przetwarzaniem Pani/Pana danych osobowych konieczne będzie przekazanie Pani/Pana danych osobowych poza Europejski Obszar Gospodarczy (EOG), do krajów nienależących do EOG, których poziom ochrony danych nie został uznany przez Komisję Europejską za odpowiedni, Administrator przekaże Pani/Pana dane osobowe wyłącznie w zakresie w jakim pozwalają na to przepisy prawa, np. przy zastosowaniu odpowiedniego zabezpieczenia w postaci standardowych klauzul ochrony danych przyjętych przez Komisję Europejską lub w przypadkach spełnienia warunków wskazanych w art. 49 ust. 1 RODO. Kopie ewentualnych zabezpieczeń, o których mowa powyżej lub informacje na temat ich dostępności można uzyskać kontaktując się z Administratorem na adresy wskazane pkt. 2 powyżej. 8. Przysługuje Pani/Panu prawo do: 1) dostępu do treści swoich danych osobowych oraz ich kopii; 2) prawo do sprostowania danych (poprawiania) swoich danych; 3) prawo do przenoszenia danych przetwarzanych w sposób zautomatyzowany oraz na podstawie zgody lub na podstawie umowy; 4) prawo do usunięcia danych w sytuacjach określonych w art. 17 RODO, w sytuacji, gdy przetwarzanie danych nie następuje w celu wywiązania się z obowiązku wynikającego z przepisu prawa; 5) prawo do ograniczenia przetwarzania danych; 6) prawo do wniesienia sprzeciwu wobec przetwarzania danych (w przypadku przetwarzania danych osobowych na podstawie art. 6 ust. 1 lit. f RODO); 7) prawo do wycofania wyrażonej zgody na przetwarzanie danych osobowych, jeżeli podstawą przetwarzania danych osobowych jest zgoda. Wyrażoną zgodę może Pani/Pan wycofać w dowolnym momencie kontaktując się z Administratorem na adresy wskazane w pkt. 2 powyżej. Wycofanie zgody nie wpływa na zgodność z prawem przetwarzania danych do czasu wycofania zgody. 9. Przysługuje Pani/Panu prawo wniesienia skargi do organu nadzorczego – Prezesa Urzędu Ochrony Danych Osobowych. 10.Podanie przez Panią/Pana danych osobowych jest dobrowolne, przy czym konieczne dla wzięcia udziału w prowadzonym procesie rekrutacji. 11.Pani/Pana dane osobowe nie będą przetwarzane w sposób zautomatyzowany, który mógłby skutkować zautomatyzowanym podejmowaniem decyzji, w tym decyzji opartych na profilowaniu.

Niektóre określenia użyte w ogłoszeniu wynikają ze standardowego układu i funkcjonalności serwisu. Mają one charakter techniczny i nie przesądzają o rodzaju ani warunkach współpracy oferowanej przez podmiot publikujący ogłoszenie.

Włącz powiadomienie

Spark / Data Lakehouse Developer, Wrocław