Big Data Engineer (m/w/d) für Potsdam – 34,50 € pro Stunde – Freelance

Jobbeschreibung

Als Big Data Engineer in Potsdam wirst du in einem innovativen Technologieunternehmen an der Konzeption und Implementierung skalierbarer Datenverarbeitungs-Infrastrukturen arbeiten. Dein Fokus liegt auf der Entwicklung und Optimierung von Datenpipelines für die Erfassung, Verarbeitung und Analyse großer Datenmengen aus verschiedenen Quellen, insbesondere im Bereich Smart City und urbaner Mobilität. Du arbeitest in einem interdisziplinären Team aus Data Engineers, Data Scientists und Domänenexperten. Dein Arbeitsumfeld ist modern und technologieorientiert, mit Zugang zu aktuellster Big-Data-Infrastruktur. Der Standort im Wissenschaftspark Potsdam bietet ein inspirierendes Umfeld mit Nähe zu Forschungseinrichtungen und Start-ups.

Branche: IT & Datenverarbeitung

Jobarten: Freelance

Personalart: Programmierer (m/w/d)

Aufgaben:

Zu deinen Hauptaufgaben gehören die Konzeption, Implementierung und Wartung von skalierbaren Datenpipelines mit Apache Spark, Kafka und verwandten Technologien, die Entwicklung von ETL-Prozessen zur Datenintegration aus heterogenen Quellen, die Optimierung der Datenverarbeitungsarchitektur hinsichtlich Performance, Skalierbarkeit und Kosten, die Zusammenarbeit mit Data Scientists bei der Bereitstellung von Daten für Analysen und ML-Modelle, die Implementierung von Datenqualitäts- und Monitoring-Mechanismen, die Mitarbeit bei der Konzeption und Weiterentwicklung der Data Lake/Data Warehouse-Architektur sowie die Automatisierung von Datenprozessen und Deployments.

Neben deinen Hauptaufgaben unterstützt du bei der Dokumentation der Datenarchitektur und -prozesse, hilfst bei der Implementierung von Datensicherheits- und Compliance-Maßnahmen, beteiligst dich an der Optimierung von SQL- und NoSQL-Datenbankabfragen, unterstützt bei der Entwicklung von Tools zur Datenverwaltung und -visualisierung, wirkst bei der Evaluierung und Einführung neuer Big-Data-Technologien mit, hilfst bei der Behebung von Dateninkonsistenzen und Performance-Problemen und beteiligst dich an der Schulung von Teammitgliedern zu Big-Data-Technologien.

Anforderungen:

Für diese Position bringst du einen Abschluss in Informatik, Data Science oder einem verwandten Fachbereich mit oder verfügst über entsprechende Berufserfahrung. Du hast mindestens 3 Jahre Erfahrung im Bereich Big Data Engineering und bist versiert im Umgang mit Big-Data-Technologien wie Apache Spark, Kafka, Hadoop-Ökosystem. Deine fundierten Kenntnisse in der Entwicklung mit Python, Scala oder Java und im Umgang mit SQL- und NoSQL-Datenbanken sind für diese Position essenziell. Erfahrung mit Cloud-Plattformen (AWS, Azure, GCP) und deren Datenservices wird vorausgesetzt, ebenso wie Kenntnisse in CI/CD und Infrastructure-as-Code. Verständnis von Datenmodellierung und -architektur ist wichtig. Erfahrung mit Container-Technologien (Docker, Kubernetes) und Stream-Processing ist von Vorteil. Du kommunizierst fließend auf Deutsch und Englisch.

Du zeichnest dich durch dein tiefes technisches Verständnis für Datenverarbeitungsarchitekturen und deine Fähigkeit, komplexe Datenprobleme zu lösen, aus. Deine systematische Herangehensweise hilft dir, skalierbare und robuste Datenpipelines zu entwickeln. Du arbeitest strukturiert, dokumentierst deine Arbeit sorgfältig und behältst auch bei komplexen Projekten den Überblick. Deine Kommunikationsstärke ermöglicht es dir, technische Konzepte verständlich zu erklären und effektiv mit verschiedenen Stakeholdern zusammenzuarbeiten. Du bist proaktiv, identifizierst kontinuierlich Verbesserungspotenziale in bestehenden Datenprozessen und setzt diese eigeninitiativ um. Du bleibst kontinuierlich auf dem Laufenden über neue Entwicklungen im Big-Data-Bereich und bringst die Fähigkeit mit, diese zu evaluieren und gegebenenfalls zu integrieren. Deine Belastbarkeit zeigt sich darin, dass du auch unter Termindruck qualitativ hochwertige Lösungen entwickelst.

Arbeitszeiten:

40 Stunden pro Woche, flexible Arbeitszeitgestaltung, bis zu 3 Tage Remote-Arbeit möglich, Kernarbeitszeiten 10:00-15:00 Uhr

Zusammenfassung:

Als Freelancer über CALUMA vermittelt, erwarten dich attraktive Konditionen und ein technologisch anspruchsvolles Projekt im zukunftsträchtigen Smart-City-Bereich. Du profitierst von einem überdurchschnittlichen Stundensatz, einem Projektengagement von zunächst 12 Monaten mit sehr guter Verlängerungsperspektive und einem flexiblen Arbeitsmodell mit umfangreichen Remote-Möglichkeiten. Du erhältst Zugang zu modernsten Big-Data-Technologien und Cloud-Infrastrukturen, wirst Teil eines hochqualifizierten Teams aus Data Engineers und Scientists und kannst an innovativen Datenverarbeitungslösungen mit gesellschaftlicher Relevanz mitwirken. Du hast die Möglichkeit, dein Know-how in einem dynamischen Technologiefeld zu vertiefen und zu erweitern, genießt Gestaltungsspielraum bei der Konzeption von Datenarchitekturen und kannst dich auf eine professionelle Vertragsgestaltung und zuverlässige Zahlungsabwicklung durch CALUMA verlassen.