Qu’est-ce que TDP ?

TDP est un progiciel, prêt à l’emploi, pour mettre en œuvre vos cas d’usage Data & Big Data TDP contient le nécessaire pour :

1. Stocker des données (sous forme de fichiers, de tables, en lignes ou en colonnes)

2. Réaliser des requêtes SQL

3. Exécuter des calculs distribués

TDP est :

1. 100% Open Source Libre

2. Production Ready

3. Sécurisé par défaut

La stack n’intègre que des technologies au tour du Big Data et de l’IA/ML. Nous intégrons actuellement une quinzaine de technologies Apache afin de proposer une gestion de la donnée de bout-en-bout : de la collecte jusqu’à la restitution.

 

L’élément déclencheur

Fin 2019, fusion de la société HortonWorks avec Cloudera.

Apparition d’une situation de monopole.

Disparition de la solution libre historique et bascule forcée vers la solution propriétaire.

 

Fin 2020, décision de politique industrielle EDF:

1. Rester en maitrise du cycle de vie de nos infrastructures Hadoop

2. Rester 100% Open Source Libre

3. Repousser à 2023+ le prochain upgrade

Il y a eu la même stratégie et la même volonté côté DGFiP avec la mise en place d'une équipe dédiée pour travailler sur TDP, à partir de mars 2021.

La volonté de la DGFiP a été de remplacer sa plateforme DATALAB à base de HDP v3.1.4 par une plateforme DATALAKE à base de TDP à partir de 2024.

 

Pourquoi avoir fait TDP ?

TDP est une forme de contre-pouvoir, face aux éditeurs souhaitant installer des situations de rente logicielle.

Le modèle propriétaire présente beaucoup de risques.

Le risque que les tarifs augmentent, que le produit baisse en qualité, que les versions ne soient plus supportées, que l'éditeur disparaisse, que l'évolution du produit ne correspond pas à nos besoins, que le produit reste une boite noire, que l'éditeur nous impose une stratégie non souhaitée, que nous perdions notre souveraineté et notre autonomie.

Le modèle Open Source Libre présente de nombreux avantages.

• Gains économiques (On paye le service, pas le droit d’usage. Modèle non linéaire. On évite le modèle de redevance)
• Meilleure gestion des risques (Capacité à reprendre la main)
• Meilleure maîtrise (Choix du fournisseur de support, Respect des formats ouverts, Pas de roadmap imposé)

 

Qu’est-ce que le TOSIT ?

TOSIT est une association Loi de 1901 et une structure de soutien à l’Open Source qui vise à soutenir l’émergence de codes, logiciels et solutions informatiques sous licence open source et/ou licence libre, notamment en matière de cybersécurité́.

En avril 2023, à travers le TOSIT, nous avons publié la première RELEASE (v1.0) stable de TDP et nous envisageons une incubation apache à moyen/long terme.

• Sites Web : https://trunkdataplatform.io/  |  https://tosit.fr
• Code source : https://github.com/tosit-io

 

Membres actifs autour de TDP :

• Développeurs de la stack :
  • DGFIP : Direction Générale des Finances Publiques
  • EDF : Électricité de France
  • Adaltas
• Utilisateurs / Contributeurs :
  • OCDE : Organisation de Coopération et de Développement Économiques
  • BPCE : Banque Populaire et Caisse d'Epargne
  • SNCF : Société Nationale des Chemins de fer Français
  • COVEA : Groupe d’assurance
  • RTE : Réseau de Transport d'Électricité
• Sur les futurs travaux (plateforme Data containerisée) :
  • Société Générale
  • Orange
  • INSEE : L'Institut National de la Statistique et des Études Économiques

Nous sommes en contact avec des ENS/SSII tels que EULER, CGI, CapGemini, Atos, Linagora, etc afin de s'inscrire dans la démarche libre de TDP et d'en assurer le support auprès de leurs clients.

 

Ressources

• DGFIP : 7 personnes entre l’implémentation et l’organisation de TDP
• EDF : 3 personnes entre l’implémentation et l’organisation de TDP
• Autres contributeurs entre les membres TOSIT et les contributeurs externes notamment des sociétés comme Adaltas, CGI, CapGemini, Atos et Linagora.

Architecture 

 

TDP : Architecture de référence

 

Caractéristiques 

Proposer une plateforme alternative aux distributions Big Data payantes avec les caractéristiques suivantes :

• Open source : le code de toutes les technologies utilisées est disponible sur notre Github publique avec une licence Apache.
• Libre : vous pouvez utiliser toutes les technologies et tous les services et composants de TDP de façon libre et gratuite.
• Data Centric : TDP respecte le cycle de vie de la donnée en proposant des technologies et des patterns pour gérer la donnée de bout-en-bout.
• Hybridation environnement : compatible à la fois avec des déploiements sur le cloud privé, public ou on-premise.
•  Multi-tenants et scalable : capable d’héberger plusieurs projets/contextes sur la même plateforme avec une scalabilité verticale et horizontale.

 

RoadMap

• Janvier 2023 : Mise en production chez RTE et l’OCDE
• 2023-2024 : Mise en production chez EDF et DGFIP 
• Février 2023 : Suite au grand succès de TDP, les membres TOSIT ont décidé de commencer le développement d’une nouvelle stack avec les architectures Cloud Native (à base de Kubernetes, stockage objet, etc.) et son interopérabilité avec TDP. De nouveaux membres, tels que la Société Générale, la BPCE, l'INSEE et bien d'autres semblent vouloir contribuer à la nouvelle plateforme dont l’objectif est de compléter TDP et non pas la remplacer.
• Avril 2023 : Publication de la première RELEASE (v1.0) stable de TDP
• Novembre 2023 : Publication de la v1.1 de TDP

 

Articles 

·       https://www.lemagit.fr/actualites/252525812/Mort-dHadoop-une-affirmation-prematuree-selon-le-TOSIT

·       https://code.gouv.fr/fr/bluehats/tdp/

·       https://www.linagora.com/fr/actualites/2022/04/26/longue-vie-a-tdp/

·       https://blog.simon-rousseau.eu/tdp/

·       https://www.adaltas.com/fr/2022/04/14/decouvrez-trunk-data-platform/

 

Présentations 

·       Deux présentations au salon Big Data & AI Paris - septembre 2022

·       Présentation au QA Financial London 2022 : 18 octobre 2022

·       Deux présentations au salon Big Data & AI Paris World - novembre 2022

·       Présentation de TDP au World Data Summit à Amsterdam : Mai 2023

·       Salon Big-Data - AI Paris (Palais des Congrès) prévu les 25 et 26/09/2023 (au stand TOSiT/TDP)

·       Salon Big-Data & AI World (Porte de Versailles) prévu les 15 et 16/11/2023 (au stand TOSiT/TDP)