Data Engineer Databricks F/H

Ingestion et transformation des données Concevoir des pipelines ETL/ELT performants et évolutifs Ingérer des données depuis diverses sources (bases de données, fichiers, APIs, streaming, etc.) Appliquer des transformations et des nettoyages sur les données  Optimisation et performance Optimiser les requêtes (partitionnement, caching, autoscaling) Gérer les coûts d’exécution en adaptant les ressources (clusters Databricks, autoscaling)  Gestion et gouvernance des données Mettre en place des Data Lakehouse et organiser les données selon des bonnes pratiques (Bronze, Silver, Gold) Appliquer des politiques de sécurité et de gouvernance avec Unity Catalog Assurer la qualité des données  Automatisation et industrialisation Développer des notebooks et des jobs pour automatiser les traitements Orchestrer les workflows avec Databricks Workflows ou Azure Data Factory Mettre en place du CI/CD avec des outils comme GitHub Actions, Azure DevOps, etc.  Collaboration avec les équipes Data & métier Travailler avec les Data Scientists pour fournir des jeux de données prêts pour le Machine Learning Aider les analystes à optimiser leurs requêtes et tableaux de bord (BI) Assurer un rôle de conseil sur les bonnes pratiques Databricks et Spark  Le recueil des besoins métiers La rédaction de spécifications fonctionnelles et techniques L’accompagnement des métiers dans la mise en place de leur besoin dans la data plateforme  Compétences techniques :DatabricksAzurePowerBISparkSQL