• Tworzenie potoków PySpark/Spark-SQL porównujących dane ODS (MongoDB) ze źródłami oraz wdrożenie automatycznych testów jakości, wykrywania anomalii i alertów

• Integracja Spark + MongoDB, otymalizacja wymiany danych (read/write, schema inference, partitioning, push-down zapytań $match)

• Budowa i wersjonowanie wielowarstwowej struktury danych (Raw → Bronze → Silver → Gold) z wykorzystaniem Apache Iceberg / Delta Lake / Hudi.

• Strojenie jobów Spark (AQE, broadcast joins, caching) w celu przyspieszenia przetwarzania i redukcji kosztów

• Automatyzacja wdrożeń (Docker, Kubernetes, Spark Operator, Jenkins CI/CD) oraz konfiguracja monitoringu procesów (Prometheus, Grafana, OpenTelemetry, Dynatrace)

• Udział w pracach zespołu (Scrum/Kanban), code-review, prowadzenie warsztatów oraz tworzenie dokumentacji technicznej i run-booków

• 4+ lat doświadczenia w budowaniu i wdrażaniu rozwiązań Big Data na środowiskach produkcyjnych

• Biegła znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming

• Doświadczenie w integracji Sparka z MongoDB (MongoDB Spark Connector), praktyczna znajomość modelowania dokumentowego i strategii indeksowania

• Praktyczne doświadczenie w zarządzaniu tabelami wersjonowanymi przy użyciu Apache Iceberg (optymalizacja zapisów, operacje MERGE/UPSERT)

• Znajomość narzędzia Jenkins do automatyzacji budowania, testowania (Spark-unit, testy integracyjne) i wdrażania aplikacji Spark

• Znajomość stosu Prometheus + Grafana pod kątem śledzenia pracy procesów przetwarzania danych

• Praca w zwinnych metodologiach (Scrum / Kanban) z wykorzystaniem narzędzi Jira / Confluence

• Długofalowa współpraca oparta o nasze wartości: edukacja, partnerstwo i odpowiedzialność

• Internal Mobility Program – ciesz się wieloma możliwościami rozwoju kariery, rotacją stanowisk, różnorodnością projektów i technologii

• Program Poleceń – współpracuj ze swoimi znajomymi i zyskaj bonus!

• 5/10 Years NATEK Club – oferujemy długoterminową współpracę, a każdą piątą rocznicę współpracy świętujemy nagrodamI

• NATEK CSR Events oraz integracje

• Kafeteria

• Opieka medyczna (Medicover)

• Multisport

• Szkolenia techniczne i personalne

• Kursy językowe