B

Data engineer senior - ETL d'un référentiel national de projets (freelance, novembre 2026)

icon building Company : Beta.gouv.fr
icon briefcase Job Type : Full Time
icon remote-alt Remote / Work from Home

Job Description - Data engineer senior - ETL d'un référentiel national de projets (freelance, novembre 2026)

Le produit

L’API Projets Collectivités est le service numérique DINUM × SGPE qui construit le référentiel national des projets des collectivités : rapprochement multi-sources (dotations État, marchés publics, fonds d’aides, programmes des opérateurs de l’État), dédoublonnage, classification, identifiant unique de projet. Il alimente les vues territoriales des services de l’État (SGCOP, DREAL, préfectures) et les démarches de financement.
→ https://beta.gouv.fr/startups/communs-de-la-transition-ecologique-des-collectivites.html

Nous avons une base consolidée d’environ 1,2 million de projets, une déduplication et une classification qui fonctionnent, mais en pipeline one-shot. Ta mission : en faire un ETL de production. Avec un enjeu transverse : faire tourner le run sur une stack souveraine (modèles ouverts, hébergement État) et des algorithmes lean et rapides.

La mission (≈ 22 jours, concentrés sur novembre)

  • Industrialiser le pipeline existant → ETL reproductible en environnement de test puis en prod : séparation datasources / calculs / logging des calculs, registre des sources, réversibilité des saisies humaines.

  • Brancher les sources en flux en incrémental

  • Fiabiliser le rapprochement / dédup (record linkage, blocage territorial, scores, évaluation précision/rappel).

  • Classifieur quasi temps réel sur stack souveraine : poursuivre un élève distillé (CPU, open-weight) et l’usage de modèles ouverts hébergés par l’État (Albert API).

  • Documenter l’architecture et transmettre.

Livrables à fin novembre : ETL reproductible en test, connecteurs de flux, registre des sources, classifieur opérationnel, doc d’architecture.

Preferred experience

Toi

Indispensable

  • Track record sur des projets similaires (ETL en production, maintenable et documenté)

  • pipelines batch et flux (idempotence, reprise, webhooks), orchestration, tests de données ;

  • record linkage / entity resolution ;

  • autonome en prod (PaaS, Docker), capable d’écrire et documenter une architecture ;

  • pratique des assistants de code (toute l’équipe développe avec).

Apprécié : distillation / classifieurs légers (BERT & co) et modèles open-weight ; dbt ; expérience de référentiel/MDM ; données publiques françaises ; secteur public.

Conditions

  • Freelance, contractualisation via le titulaire du marché public beta.gouv.

  • Contrainte de temps forte : démarrage début novembre, ~22 jours, temps plein souhaité (4 j/sem minimum), livrables réceptionnés avant mi-décembre. Prolongation possible en 2027.

  • Full remote. Stack : PostgreSQL, Python, NestJS/TypeScript côté API, Scalingo.

  • TJM : à discuter selon profil.

Recruitment process

Processus rapide, on démarre dans 10 jours

  1. Call de 20 min (alignement mission / dispo / TJM).

  2. Entretien métier de 45 min + courte mise en situation (étude de cas ETL / dédup).

  3. Décision sous 48 h.

Original job Data engineer senior - ETL d'un référentiel national de projets (freelance, novembre 2026) posted on GrabJobs ©. To flag any issues with this job please use the Report Job button on GrabJobs.
Share Job
Share Job

About the Company

Beta.gouv.fr

beta.gouv.fr est une communauté de produits numériques du service public qui répond à la fois aux problèmes d’intérêt général et aux vrais besoins des usagers. L’approche beta.gouv.fr repose sur les principes d’impact, d’autonomie des équipes et d’amélioration continue, pour construire des services...

Read more about the company

Similar Data engineer senior Jobs in the US

GrabJobs is the no1 job portal in the US, connecting you to thousands of jobs fast! Find the best jobs in the US, apply in 1 click and get a job today!

Copyright © 2026 Grabjobs Pte.Ltd. All Rights Reserved.