La solution

Trois couches applicatives

Commun Axiom est constitué de trois portions principales:

 

  • Une partie centrale hébergée sur le cloud. Cette portion est essentiellement invisible à l'utilisateur, elle est le cœur de la plateforme.  
  • Une partie exposée aux utilisateurs mais basée sur le web. Cette portion permet la gestion des comptes ainsi que le support de fonctions étendues ajoutant de la flexibilité à la plateforme. 
  • Une partie hébergée localement dont le but est de permettre au utilisateur de gérer leurs données et de s'assurer une gestion appropriée des sources de données avant de partager avec les partenaires externes. 

 

En plus de ces trois couches applicatives, un service Open ID Connect (OIDC) est mis en place afin d'assurer la sécurité des activités ayant lieu sur la plateforme.  

 

On retrouve dans l'écosystème trois applications visibles et distinctes au yeux des utilisateurs:

 

  • Le logiciel Profiles 
  • Le client Partages
  • Le logiciel Ententes

 

Les autres applications sont principalement destinées à l'usage des administrateurs de la plateforme ou sont simplement des services qui sont accédés par les applications afin d'assurer le bon fonctionnement du plugiciel. 

Profiles

Comme son nom l'indique, il s'agit de l'application qui permet de créer son profile Comax. On y supporte la création de nouveaux comptes, l'authentification par l'entremise de fournisseurs externes ainsi que la gestion intégrée des client Partages administré par le compte courant. On y effectuera également la gestion des groupes partenaires ainsi que la création de compte organisationnel afin de supporter des scénarios répondant aux besoins de plus grandes entreprises.

Partages

Partages consiste en deux applications installées localement dans le réseau de l'utilisateur. 

 

  • Le client partages

    On installe le client localement sur l'ordinateur des utilisateurs de la plateforme afin de leur permettre d'effectuer la configuration et la gestion des sources de données. Il s'agit d'une interface visuelle qui permet d'administrer les fonctions exercées par l'Agent. 

 

  • L'Agent partages

    Configuré par le client, l'agent permet l'automatisation des fonctions de gestion des sources de données et de partage. Il assure la communication en continu avec le réseau Commun Axiom et permet ainsi une gestion en continu des données locales et distantes. 

Ententes

Si la plateforme dans son ensemble a pour but de faciliter la collaboration et le transfer des données entre partenaires, Ententes a pour but d'aider les utilisateurs et les organisations à mettre en place une stratégie de gouvernance inter-organisationnelle dans leur gestion des données. 

 

L'application permet la documentation de modèles standardisés de modalités de partage de jeux de données appelés artéfacts. Ces modalités permettent se déclinent en deux grandes catégories: 

 

  • Les artéfacts de gouvernance

    Ces artéfacts affectent les contraintes d'ingestion, de transformation et les limitations applicables sur les données avant qu'elles ne puissent être partagées. Ils permettent essentiellement de s'assurer que toutes les règles de gouvernance de l'organisation ont été vérifiées avant de permettre le partage d'un jeu de données spécifique. Ces contrainte ne préviennent pas l'ingestion des données mais imposent des règles avant leur diffusion. 

 

  • Les artéfacts de licence

    Ces artéfacts imposent des contraintes, limitations et obligations aux partenaires qui désirent obtenir une copie du jeu de données. Ces contraintes permettent notamment d'effectuer la sélection d'une licence particulière pour le jeu de données ou de mettre en place certaines obligation de réciprocité en lien avec les données comme partager les résultats de travaux effectués à l'aide des données.

 

Globalement, ces artéfacts permettre la mise en place d'une stratégie de gouvernance inter-organisationnelle de partage des données.

Messagerie

La messagerie permet d'ouvrir des opportunités d'échanges entre les partenaires. en plus d'une messagerie instantanée, on retrouve diverses opportunités de lancer des conversations sur différents sujets concret comme des projets, des jeux de données ou encore participer à une discussion de groupe sur une négociation dans l'application Ententes. Plutôt qu'une application monolithique, cette application se retrouve sous forme d'extensions dans plusieurs autres applications de la plateforme. 

Orchestrateur

L'Orchestrateur est une application décentralisée que permet la communication entre les clients Partages. Il permet l'échange de données entre partenaires sans avoir à ouvrir des ports entrants dans l'infrastructure des utilisateurs. Bien que l'Orchestrateur n'est pas conçu pour l'hébergement des données à long terme, il permet la mise en cache temporaire de jeux de données pour des fins de dissémination rapide. Ceci permet d'économiser la connection, la bande passante ainsi que les ressources des utilisateurs. Une portion des données autorisées est également transférée sur l'Orchestrateur afin de faciliter la recherche de jeux de données et de projets. L'Orchestrateur est déployer avec une approche décentralisée afin de faciliter la distribution des données en localisant géographiquement l'information et en la distribuant à travers les nodes pour alléger la charge.

Grand livre

Grand livre est une application de type chaîne de blocs (blockchain). Sa raison d'être est le traçage de données critiques. On y retrouve les actifs numériques des partenaires ainsi que les liens associés avec leurs utilisateurs. Les actifs pris en charge par Grand livre sont les suivants:

 

  • Les jeux de données

    Sous forme de flux de données, une source spécifique définie dans l'application Partage est identifiée et associée à son propriétaire.

  • Les modalités et licences Ententes

    Ces modalités sont définies sur l'application Ententes mais doivent être sauvegardées sur la chaîne de blocs afin d'être associées aux jeux de données. Ces associations viennent altérer le fonctionnement de l'application partages et imposer des étapes d'acceptations pour effectuer le téléchargement des jeux de données provenant de partenaires. 

  • Les preuves d'acceptation de modalités

    Afin d'éviter de devoir répéter les étapes d'acceptation de modalités de partage, on enregistre les preuves d'acceptation de modalité sur la plateforme Grand Livre. Ceci assure que les utilisateurs sont bien conscients des limitations et obligations associées au jeu de données qu'ils téléchargent.

Le Grand Livre n'est pas une application visible pour les utilisateurs. Il enregistre néanmoins des données critiques et en assure la permanence et peut en retourner l'information au besoin. 

Transformations

Le module de transformations est une application qui permet l'encapsulation et la livraison de fonctionnalités de transformation applicables sur les jeux de données de l'application Partages. Ces transformations sont exécutées localement dans l'application Partages afin d'assurer la protection d'informations confidentielles et garantir le respect de modalités de gouvernance fournis par Ententes. On retrouve des fonctions de transformations parmis les suivantes:

 

  • Conversion de données (JSON vers CSV)
  • Anonymisation (hachage unidirectionnel, retrait de colonnes, regroupement de données)
  • Catégorisation géographique

 

L'application est opérée par l'équipe d'administration de la plateforme Comax et permet l'expantion des fonctions de traitement de données sans avoir à mettre à jour l'application Partages dans son ensemble. 

Api Central

L'Api Central est un service de backend. C'est-à-dire qu'il n'est pas exposé visuellement aux utilisateurs. Il sert à centraliser certaines fonctionnalités clés qui permettent de valider et d'autoriser certaines opération sur la plateforme. Il permet également de fournir des informations critiques au bon fonctionnement des applications exposées aux utilisateurs. Ainsi la majorités des autres applications dépendent de l'Api Central. L'aspect central de l'api est relié à sa position fonctionnelle au sein de l'écosystème. De fait, plusieurs instances de l'api pourront être hébergées côte à côte afin de s'assurer la haute disponibilité de la plateforme. 

https://medium.com/pds-dsh/module-2-le-progiciel-de-partage-de-données-commun-axiom-402f1410e901

https://medium.com/pds-dsh/luc-veronneau-on-building-software-that-matters-59c45c6263c5