Roadmap OKDP

Suivi du contenu, des priorités et de l'avancement par version.

Complet — livré, testé et utilisable

En cours — développement ou intégration active

À faire — identifié, mais non démarré pour cette version

v1.0.0

Juin 2026

Modules Data & IA

Un catalogue d'outils open source de référence. Utilisables unitairement ou combinés, sans dépendre du Control Plane OKDP (UI/Server).

Lakehouse & Analytics

Apache Spark

✓ Fourniture d'une chart Helm propre pour le Spark History Server
✓ Plugin d'authentification dédié (Spark Auth Proxy)
✓ Extension Spark Web Proxy (accès UI jobs en temps réel)
✓ Images Docker Spark avec usine de build automatisée

Trino

✓ Utilisation des Images & Charts Helm communautaires
✓ Authentification OIDC
↻ Intégration à Polaris Catalog (Lakehouse connectivity)
↻ Autorisation fine via OPA (Open Policy Agent)

Polaris Catalog (Apache Iceberg)

✓ Utilisation des Images & Charts Helm communautaires
✓ Intégration complète avec Trino
✓ Authentification OIDC native
✓ Intégration & Connectivité S3 (STS)
↻ Propagation d'identité depuis Trino vers Polaris
↻ Intégration fine avec OPA (Open Policy Agent)
○ Rendre le support STS optionnel (flexibilité infrastructure)

Visualisation & BI

Apache Superset

✓ Utilisation des Images & Charts Helm communautaires
✓ Authentification OIDC
↻ Propagation de token JWT ou Impersonification (Trino Auth)

Orchestration & Gouvernance

Apache Airflow

✓ Utilisation des Images & Charts Helm communautaires
↻ Authentification OIDC

Data Science

JupyterHub / JupyterLab

✓ Utilisation des Images & Charts Helm communautaires
✓ Tuning des Helm Values
✓ Images Docker OKDP optimisées pour les environnements JupyterLab
✓ Images communautaires (Hub, Proxy, Culler)

Control Plane / Plateforme

La couche d'automatisation d'OKDP : orchestration, isolation multi-tenant et expérience utilisateur (DX) pour une utilisation clé en main de toute la stack.

Admin Console

✓ Gestion globale des projets (UI/Backend)
✓ Configuration des clusters Kubernetes "target"
✓ Gestion des utilisateurs et groupes locaux (via Kubauth)
↻ Gestion du membership des projets

Project Console

✓ Création d'espaces isolés via CRD Project (RBAC de base)
✓ Instanciation d'environnements JupyterHub
✓ Déploiement d'instances Spark History Server
✓ Gestion des Secrets projets (Vault via token seulement)
↻ Soumission d'applications via Spark Operator (UI et kubectl)
○ Listing et monitoring des jobs en cours d'exécution
○ Intégration Control Plane : Trino, Superset, Polaris et Airflow

Test Sandbox

✓ Sandbox locale (Kind + Flux) avec composants legacy
✓ Sandbox Object Storage (SeaweedFS)
↻ Migration Ingress / API Gateway
○ Nouvelles versions okdp-server & okdp-ui
○ Nouveau composant okdp-operator

Installation & Guides

✓ Application Démo : Cas d'usage de bout en bout (Ingestion, Spark & Airflow)
○ Chart Helm d'installation du Control Plane (okdp-platform)
○ Admin Guide : Déploiement & Configuration plateforme
○ User Guide : Utilisation des modules & services via la console

Évolutions futures

Thématiques et modules identifiés pour enrichir la plateforme après la sortie de la v1.0.0.

Modules Data & IA

IA & MLOps

↻ Kubeflow — Intégration initiale (Core components)
○ MLflow — Lifecycle & Experiment Tracking
○ LLM Serving — Inférence de modèles de langage (vLLM, TGI)

Ingestion, Streaming & Gouvernance

○ Apache NiFi — Connectivité & Ingestion ETL
○ Apache Kafka — Messaging & Event Streaming
○ Apache Flink — Real-time Processing
○ OpenMetadata — Discovery & Cataloging global

Control Plane / Plateforme

Plateforme

○ RBAC Plateforme — Gestion fine des permissions
○ Catalogue de services générique — Interface self-service pour déployer des services extra personnalisés
○ Quota Management — Pilotage fin des ressources Kubernetes
○ Marketplace — Possibilité d'exposer des modules ou composants personnalisés

Observabilité & Déploiement

○ Platform Health — Collecte centralisée des métriques & logs des modules
○ Full GitOps Mode — Support du mode de déploiement full GitOps