Data Engineer

Festanstellung, Vollzeit · Remote, München, Darmstadt, Berlin

Ihre Aufgaben

Entwerfen, Erstellen und Überwachen von Datenprozessen unter Berücksichtigung des gesamten Lebenszyklus und aller Phasen von der Aufnahme bis zur Transformation und Katalogisierung.
Enge Zusammenarbeit mit Produkt- und anderen technischen Bereichen, um End-to-End-Datenlösungen zu ermöglichen.
Proaktiv Verbesserungen an der Datenarchitektur vorantreiben.

Ihr Profil

Nachgewiesene Erfahrung mit stark variierenden Datensätzen.
Kenntnisse sowohl in SQL- als auch in NoSQL-Umgebungen.
Erfahrung im Aufbau und in der Optimierung von Datenarchitekturen und Pipelines.
Nachweisbare Erfahrung in der Durchführung gründlicher Ursachenanalysen interner und externer Datenquellen zur Beantwortung von Businessfragen und zur Identifizierung verbesserungswürdiger Bereiche.
Bonus: Arbeitserfahrung hochfrequenten Zeitreihendaten.

Technologien:

Erfahrung mit einem beliebigen Cloud-Anbieter, vorzugsweise AWS.
Fortgeschrittene Kenntnisse in Python und SQL.
Erweiterte Kenntnisse des Big-Data-Ökosystems (z. B. EMR/Databricks, Spark, Presto, Hive).
Vertrautheit mit Airflow. Fortgeschrittene Kenntnisse über Einsatz und Tuning von Airflow sind ein Plus.
Bonus: Gitlab CI & Terraform.
Bonus: Erfahrung mit k8s.
Bonus: Erfahrung mit Event-basierter Architektur.
Bonus: Erfahrung mit Streaming-Frameworks, z. B. Kafka, Flink.

Persönlich:

Eine gute Auffassungsgabe mit starken analytischen Fähigkeiten.
Kooperativ, aufgeschlossen und teamfähig mit effektiven Kommunikationsfähigkeiten.
Leidenschaft für gemeinsame Ziele und Engagement für die Bereitstellung von erstklassigen Lösungen.
Fließend in Wort und Schrift in Englisch.

Warum wir?

Werden Sie Teil eines dynamischen und innovativen Start-ups, das an der Spitze des technologischen Umbruchs in der Automobilindustrie steht.
Spielen Sie eine Schlüsselrolle bei der Gestaltung der Zukunft der Mobilität und treiben Sie durch Spitzentechnologie die Entwicklung voran.
Genießen Sie eine kollaborative und unternehmerische Arbeitskultur, in der Ihre Ideen geschätzt und Ihre Beiträge anerkannt werden.
Ein wettbewerbsfähiges Gehalt und Möglichkeiten zur Karriereentwicklung und zum beruflichen Aufstieg.

Auf diese Stelle bewerben

Über uns

COMPREDICT treibt den Paradigmenwechsel hin zu softwaredefinierten Fahrzeugen voran und bietet erstklassige Lösungen für nachhaltige Mobilität. Gegründet wurde das Unternehmen 2016 in Darmstadt, Deutschland, von Dr. Rafael Fietzek und Dr. Stéphane Foulard. Unser Fokus liegt auf der Entwicklung virtueller Sensoren für die Mobilität, um Fahrzeugdesign, -nutzung und -wartung zu optimieren. Mit einem vielfältigen Team von über 35 Mitgliedern aus 10 verschiedenen Natione arbeiten wir partnerschaftlich mit Automobilherstellern und Zulieferunternehmen weltweit zusammen.

Your mission

Design, build, and oversee data processes, considering the full lifecycle and all stages from ingestion to transformation and cataloging.
Work closely with product and other technical areas to enable end-to-end data solutions.
Proactively drive improvements to the data architecture.

Your profile

Proven experience with heavily varying data sets.
Proficiency in both SQL and NoSQL environments.
Expertise in building and optimizing data architectures and pipelines.
Track record of conducting thorough root cause analysis of internal and external data sources to answer business questions and identify areas for improvement.
Bonus: working experience with time series data at very high frequency.

Technologies:

Familiarity with any cloud provider, AWS a plus.
Advanced knowledge of Python and SQL.
Extended knowledge of the big data ecosystem (e.g. EMR/Databricks, Spark, Presto, Hive).
Familiarity with Airflow. Advanced knowledge of its deployment and tuning is a plus.
Bonus: Gitlab CI & Terraform.
Bonus: Experience with k8s.
Bonus: Experience with event-based architecture.
Bonus: Experience with streaming frameworks, e.g. Kafka, Flink.

Personal:

A fast learner with strong analytical skills.
A collaborative and outgoing team player with effective communication skills.
Passionate about shared goals and committed to delivering world-class solutions.
Fluent in spoken and written English.

Why us?

Join a dynamic and innovative startup at the forefront of technological disruption in the automotive industry.
Play a key role in shaping the future of mobility and driving meaningful impact through cutting-edge technology.
Enjoy a collaborative and entrepreneurial work culture, where your ideas are valued, and your contributions are recognized.
Competitive salary and opportunities for career advancement and professional growth.

Auf diese Stelle bewerben

About us

COMPREDICT is driving the paradigm shift towards software-defined vehicles, offering next-level solutions for sustainable mobility. Founded in 2016 in Darmstadt, Germany, by Dr. Rafael Fietzek and Dr. Stéphane Foulard, our focus lies in developing Virtual Sensors for Mobility to optimize vehicle design, usage, and maintenance. We partner with and serve automotive manufacturers and Tier1 companies worldwide. With a diverse team of 35+ members from 10 different nations, we are on an exciting journey of growth and innovation.

Auf diese Stelle bewerben

Wir freuen uns auf Sie!

Wir freuen uns über Ihr Interesse an der COMPREDICT GmbH. Bitte füllen Sie das folgende kurze Formular aus. Sollten Sie Schwierigkeiten mit dem Upload Ihrer Daten haben, wende Sie sich gerne per Email an applications@recruiting.compredict.de.