Conception et mise en œuvre de l’architecture Big Data

Un projet au cœur de la refonte du SI d’un acteur majeur de la logistique

Contexte

Pour améliorer son offre de services et garder une longueur d’avance sur ses concurrents, l’entreprise doit faire évoluer son SI pour qu’il soit en capacité de gérer non seulement de nouveaux types d’informations mais aussi et surtout un accroissement de leur volumétrie (10 000 évènements/s à la cible).

Pour relever ce défi, notre client a décidé de mettre en place en Architecture Réactive basée sur les technologies Big Data. Par ailleurs la DSI a lancé une démarche de gestion du changement destinée à accompagner la montée en compétence de ses équipes sur l’Architecture Big Data.

Objectifs de la mission

Conception du socle ArchiNext :

  • Analyse de l’existant et des besoins
  • Prise de connaissance de l’architecture legacy
  • Identification des principaux cas d’usage Métiers
  • Conception de l’architecture socle :
    • Identification des Services Big Data à implémenter
    • Choix des technologies associées à chacun des Services.
    • Elaboration des principaux patterns d’Architecture.
  • Identification et choix des composants de l’Usine de Développement (UDD).
  • Mise en œuvre du socle :
    • Construction du socle en mode Cloud sur Azure.
    • Définition du processus d’intégration des Features

Accompagnement au changement :

  • Réalisation d’un plan de formation (~50 personnes formées)

Eléments clés

Un projet très ambitieux associé à de changements structurants :

  • Mise en place d’une nouvelle méthode de conduite de projet en mode DevOps en s’appuyant sur Scrum
  • Mise en œuvre de Technologies totalement nouvelles dans le cadre de la DSI Colis.
  • Changement des outils et environnement de développement.
  • Une démarche de mise en œuvre associant des internes et des externes dans un concept de Pizza Team

Environnements techniques :

  • Base NoSQL : Cassandra (données chaudes et tièdes) et
    Hbase (Data Lake).
  • MOM : Apache Kafka, Confluent IO
  • Moteur de traitement : Elasticsearch, Spark et Spark Streaming.
  • Langages : Scala, Avro, JSON
  • Framework de développement : Play
  • Environnement de développement : Git, Ansible…

Auteur/Autrice