Ils “poussent” leur code, nous le déployons, tout en assurant la mise à jour et la mise en sécurité de l’environnement dans lequel ils fonctionnent avec un objectif : le maintien en conditions opérationnelles. Quelle que soit la situation, leur service répond.

Penser des services simples, robustes et innovants

Nous le faisons en garantissant une empreinte minimale au sein de nos serveurs, en proposant une mise à l’échelle horizontale/verticale à la demande ou automatique. Nous pouvons ainsi multiplier les instances ou les faire grossir/réduire selon la charge de vos sites. Cette volonté de simplicité va au-delà des applications, puisque nous disposons également d’une large offre de base de données (BDD) “as-a-service” vous permettant de déployer en quelques secondes des environnements MongoDB, MySQL, PostgreSQL ou Redis, avec les mêmes outils et garanties.

Ces dernières années, nous faisions néanmoins face à des demandes récurrentes : outre la volonté de certains de nos clients d’avoir accès à d’autres solutions, ils nous demandaient régulièrement de disposer des avantages de notre infrastructure répartie sur trois datacenters afin d’obtenir des services à haute disponibilité. Mais dans le domaine des BDD, cela n'est pas toujours simple à mettre en place tout en assurant un bon niveau d’automatisation et la cohérence des données. Nous avons donc décidé de développer notre propre gamme de produits pour y parvenir.

Le projet “Materia” était né, reposant sur le moteur transactionnel open source FoundationDB, utilisé, par exemple, par Apple pour ses services iCloud ainsi que par Snowflake. Nous y contribuons et l’adaptons à nos besoins, tout en profitant de son aspect distribué et résilient, notamment du fait de son importante capacité de simulation. Il nous permet d’imaginer un univers entier de solutions serverless, très simples d’usage, facturées à l'usage, avec des couches de comptabilité que nous développons pour permettre à nos clients de lui “parler” en utilisant des protocoles existants  tels que DynamoDB, GraphQL ou PostgreSQL par exemple.

Materia KV accessible à tous

Nous avons commencé par le protocole Redis, afin de mettre en place Materia KV, actuellement en phase de test Alpha. Il s’agit d’une base de données clé-valeur répliquée de manière synchrone sur nos trois datacenters parisiens. Lorsque nos serveurs vous répondent, c’est que votre donnée à été écrite trois fois. Surtout, elle est très simple d’usage : rendez-vous dans notre Console, créez un add-on Materia KV, vous obtiendrez instantanément un jeton (token) utilisable avec n’importe quel client Redis ou même en envoyant des commandes à nos serveurs directement via le protocole TCP.

Ainsi, vous pouvez dès maintenant bénéficier d’une solution pour stocker vos données sous la forme de clé-valeur, en haute disponibilité, sans avoir la moindre instance à configurer, sans tarification minimale mensuelle : vous payerez simplement ce que vous consommez. Surtout, nous assurons ce service en compatibilité avec des protocoles existants. Aujourd’hui Redis, demain DynamoDB et GraphQL. La liste des commandes supportées est disponible ici.

Lancée à Devoxx France mi-avril, Materia KV a fait forte impression sur place et lors de nos démonstrations depuis. Nous avons donc décidé de la rendre accessible à tous afin de permettre à l’ensemble de nos clients et des curieux de nous faire part de leurs retours sur son fonctionnement et de leurs besoins. Si la facturation se fera à l’usage à partir de la phase de Beta, pour le moment, c’est gratuit ! N’hésitez pas à tester et à nous donner votre avis.

Déjà intégré à nos outils et interfaces

Materia KV est bien entendu accessible via un addon-provider au sein de notre API, Terraform (ou OpenTofu par exemple), mais aussi de notre CLI, les Clever Tools. Pour créer un jeton d’accès il suffit de lancer la commande suivante :

clever addon create kv NAME

Cet add-on pourra être lié directement à une application Clever Cloud où ses variables d’environnement seront injectées. Mais vous pouvez également l’utiliser depuis n’importe quel service tiers, un client en ligne de commande (CLI) ou avec interface graphique (GUI).

Alors que le développement de Materia KV et de ses différentes interfaces va se faire sur la durée, nous avons commencé à réfléchir à son intégration au sein des Clever Tools. Ainsi, une branche de test, disponible sous la forme de binaires et documentée, propose une commande clever kv.

Avec elle, vous pouvez directement envoyer des requêtes à Materia KV en ayant la variable d’environnement configurée localement, ou en indiquant un ID dans vos commandes :

# With Bash and Zsh
source <(clever addon env ADDON_ID --export)
# With Fish
clever addon env ADDON_ID --export | source

clever kv PING # PONG
clever kv set yourKey theValue
clever kv get yourKey

Comme cette version de démonstration ne gère pas l’ensemble des commandes gérées par Materia KV, vous pouvez lui envoyer une commande “brute”, elle vous renverra alors la réponse :

clever kv redis_raw 'hset key field1 value1 field2 value2' # 2
clever kv redis_raw 'hget key field2'                      # value2
clever kv redis_raw 'hgetall key'                          # the full hash

Pour démontrer les possibilités d’une telle intégration, vous avez également la possibilité de faire directement des requêtes sur un objet JSON stocké dans une clé :

clever kv set simpleJson '{"key": "value"}' # the set data
clever kv getJson simpleJson key            # value
clever kv set jsonKey '[{"key": "value"}, {"bigKey": {"subKey1": "subValue1","subKey2": "subValue2"}}]'
clever kv getjson jsonKey bigKey.subKey2    # subValue1
clever kv getjson jsonKey ''                # the full JSON

Pour montrer à quel point de telles intégrations sont simples, nous avons mis à votre disposition un client Materia KV écrit en Go en utilisant Go-Redis. Si vous souhaitez plutôt comprendre comment vous pouvez envoyer des commandes et recevoir des réponses de Materia KV directement en TCP, vous trouverez des exemples, en V ou en Ruby.

N’hésitez pas à proposer les vôtres et à nous le faire savoir ;)

Une démonstration sur Twitch de Materia KV, un espace communautaire

Envie d’en savoir plus ? Horacio González, notre DevRel en chef, fera une démonstration sur Twitch mardi 18 juin à 13h15. Pierre Zemb, créateur de Materia chez Clever Cloud, échangera également avec notre CTO Steven Le Roux dans une vidéo publiée fin juin sur la chaîne YouTube de Clever Cloud.

Et pour nous faire part de votre avis, de vos questions et de vos besoins, rendez-vous sur la section dédiée à Materia de notre espace communautaire GitHub.

Clever Functions : WASM au service de la compatibilité et de l’efficacité

Pour cela, nous n’avons pas hésité à créer notre propre couche de virtualisation et d’exécution de fonctions, bas niveau. En effet, nous voulions maintenir nos critères forts d’isolation avec la mise en place de machines virtuelles que nous activons au plus près du CPU. Nous voulions également pouvoir obtenir de bonnes performances tout en nous ouvrant à de nombreux langages, plutôt que de nous contenter de nous reposer sur v8 au risque de nous focaliser presque exclusivement sur JavaScript.

Ainsi, nous avons plutôt opté pour une solution exploitant les possibilités du standard WebAssembly (WASM/WASI), qui peut être utilisé avec de nombreux langages, de Go à Zig en passant par C, Rust ou encore AssemblyScript… et bien entendu JavaScript.

Après une première démonstration réussie de notre Tech Preview à Barcelone à l’occasion de la conférence WASM.io le mois dernier, nous effectuerons de nouvelles démonstration à l’occasion de Devoxx Paris, qui se tient au Palais des congrès du 17 au 19 avril prochain. N’hésitez pas à venir nous en parler et à nous faire connaître votre intérêt pour participer aux prochaines étapes du développement de ce produit, qui sera progressivement ouvert au fil de l’année.

MateriaDB KV : notre révolution distribuée, multi-protocoles, serverless

Autre sujet d’innovation majeur par notre équipe : notre nouvelle offre Materia. Pour cela nous avons conçu nos propres bases de données serverless, reposant sur le moteur transactionnel open source FoundationDB, utilisé, par exemple, par Apple pour ses services iCloud. Nous sommes également  un membre actif de sa communauté, participant au développement de son écosystème. 

Distribuée et robuste, notamment du fait de son importante capacité de simulation, elle nous a permis d’imaginer et de construire toute une gamme de services répondant aux différents besoins exprimés ces dernières années par nos clients. Ce, avec une approche toujours ouverte et résiliente, un déploiement sur plusieurs zones de disponibilité, une compatibilité avec des protocoles et clients existants, une facturation à l’usage.

La première à voir le jour publiquement est Materia KV, qui, comme son nom l’indique, est une base de données de type clé-valeur (key value). Pour en créer au sein de votre compte Clever Cloud, vous n’avez pas de taille d’instance à choisir, de capacité de stockage à anticiper. Nous vous fournissons simplement l’adresse d’un serveur, un port et un token (reposant sur la technologie Biscuit à laquelle nous contribuons activement), c’est prêt à l’emploi !

Vous pouvez ensuite nous envoyer vos clés et leur contenu. Elles seront répliquées de manière synchrone au sein de nos trois datacenters parisiens. Vous n’avez ainsi plus à mettre en place de configuration complexe pour assurer la haute disponibilité ou même d’option à activer. Materia KV est résiliente “by design” ! Et elle s’adapte aux besoins de chacun, puisque sa facturation se fait à l’usage. Ainsi, simples bidouilleurs, développeurs aguerris et grands comptes s’y retrouvent.

Une compatibilité avec l'API Redis… pour commencer

Nous ne voulions pas que cette innovation vous soit proposée au prix d’une complexité de configuration, nécessitant d’utiliser des clients et des ORM particuliers. Ainsi, nous avons développé au sein de Materia KV ses propres couches de compatibilité.

Pour lui “parler”, vous n’avez pas besoin d’une API particulière ou d’outils propres à Clever Cloud. Vous pouvez l’utiliser avec des solutions existantes pour DynamoDB, GraphQL ou encore Redis. Cette dernière inaugure d’ailleurs les couches de compatibilité disponibles dans le cadre de notre phase de test. Elle permet à des clients utilisant une instance Redis pour leur application de migrer vers Materia KV en quelques clics seulement dans leur interface ou via les Clever Tools.

Cette solution sera en démonstration publique pour la première fois à l’occasion de Devoxx Paris, qui se tient au Palais des congrès du 17 au 19 avril prochain. Elle sera ensuite rapidement accessible à tous nos clients en alpha. N’hésitez pas à venir nous en parler et à échanger sur les autres services Materia qui seront proposés dans le courant de l’année.

Nous ferons également la démonstration d’autres nouveautés à venir comme notre solution Keycloak-as-a-Service en partenariat avec Please Open It, et fêteront la mise en ligne de la version 1.0 de notre load balancer maison et open source, développé en Rust: SŌZU !

Pour connaître nos évolutions régulières, pensez à suivre notre Changelog (via son flux RSS), ou ce blog. Mais également à nous suivre sur LinkedIn ou X/Twitter.

Lorsque vous déployez une application chez Clever Cloud, elle n’est pas simplement mise en ligne et maintenue en conditions opérationnelles. Nous la livrons également avec de nombreux services et des fonctionnalités dédiées vous aidant à l’opérer tout au long de son cycle de vie.

Parmi elles, notre stack de logs que nous avons fait évoluer l’année dernière. Elle se repose désormais sur Vector pour son émission, Apache Pulsar pour son ingestion et sa consommation, tout en assurant une isolation entre chaque utilisateur (multi-tenant) et chaque application. Nous avions fait ces choix car la solution précédente avait montré ses limites et nous empêchait de livrer certaines améliorations. Notre objectif était d’améliorer l’expérience de nos utilisateurs à de nombreux niveaux.

Une nouvelle expérience de logs chez Clever Cloud

Dès sa mise en place depuis quelques mois, nous l'utilisons avec succès au sein de notre interface en ligne de commande (CLI), Clever Tools. Vous pouvez y retrouver vos logs en direct, mais aussi télécharger ceux d’une fenêtre de temps précise ou même effectuer un filtrage, avec un résultat pouvant être obtenu dans différents formats. La documentation est ici. Bien entendu, cette fonctionnalité repose sur notre APIv4, elle aussi documentée, par là.

L’étape suivante était l’intégration de cette nouvelle brique technique à la Console. C’était pour nous l’occasion de repenser la section dédiée aux logs afin qu’elle exploite nos Web Components et réponde à nos critères en termes de praticité, de fonctionnalités et d’accessibilité. Notre équipe a donc passé plusieurs mois à la repenser de fond en comble.

Après une phase de tests internes, elle est désormais accessible en bêta à l’ensemble de nos clients. Ils peuvent ainsi la choisir en cliquant sur un simple lien dans l’interface et revenir à l’ancienne quand ils le souhaitent. Notre objectif est d’améliorer de manière continue cette section, puis de l’étendre progressivement à l’ensemble de nos services. Pour partager votre avis, nous avons créé un espace communautaire sur GitHub pour l’occasion:

• Accéder à la Console Clever Cloud
• Donnez votre avis sur notre nouvelle interface de logs

Une multitude de détails…

L’interface précédente vous permettait de naviguer dans vos derniers déploiements et leurs différentes instances une à une. La nouvelle va plus loin puisqu’elle liste par défaut l’ensemble des déploiements et instances d’une application sur les 7 derniers jours. Les logs du dernier déploiement en date seront chargés, mais vous pourrez également ajouter ou retirer ceux de l’instance de votre choix. Chaque déploiement est identifié par le hash du commit du code qui lui est lié, les instances sont numérotées (en cas de scalabilité horizontale).

Vous pouvez réduire la fenêtre de temps à quelques jours ou quelques heures, ou même indiquer manuellement les heures de début et de fin, ce qui est pratique lorsque vous souhaitez une information précise, pour la recherche d’un bug par exemple. Sur cette nouvelle interface de logs, vous disposez également d’un filtre textuel au-dessus de la zone principale. Il évoluera avec la mise en place d’un système d’indexation qui nous ouvrira de nouvelles possibilités en la matière.

Bien entendu, vous pouvez également suivre la publication de vos logs en direct. Ce sera d’ailleurs la section affichée par défaut lorsqu’un déploiement est en cours.

… et de fonctionnalités

La zone principale vous permet une sélection d’une ou plusieurs lignes au clavier et à la souris via la gouttière située à sa gauche, avec la possibilité de copier le résultat dans le presse-papiers tout aussi simplement d’un simple CTRL+C/Cmd+C. En haut à droite vous trouverez un bouton pour mettre la zone en plein écran, un autre pour retourner en bas de vos logs et une zone de paramètres.

Ce panneau n'en est qu'à ses début, mais se veut déjà assez complet et utilise notre nouvelle API de gestion des réglages utilisateur. Elle vous permet de choisir entre différents thèmes clairs/sombres, de retirer les couleurs et codes ANSI, de passer ou non à la ligne, de définir un format pour la date et l’heure, de choisir s’il faut l’afficher sur votre fuseau horaire ou en UTC, distinguer les instances par leur nom, etc. Cela peut bien entendu évoluer, n’hésitez pas à faire des propositions.

Nous évoquerons les futures améliorations au sein de notre Changelog (via son flux RSS), ou sur ce blog pour les prochaines grandes étapes d’ici la disponibilité générale. Pensez également à nous suivre sur LinkedIn ou X/Twitter pour vous tenir informés.

Héberger ses sites à travers un service tel que Clever Cloud, ce n’est pas simplement envoyer ses fichiers vers un serveur. C’est gagner en simplicité d’exécution, en vélocité, et surtout s’assurer de leur maintien en conditions opérationnelles.

Ainsi, pour chaque application ou add-on déployé, vous disposez automatiquement de services tels que des sauvegardes, une gestion des logs ou de suivi des métriques. De quoi vous permettre de vous assurer d’être prêt pour un usage en production. 

Une nouvelle tuile de métrique

Cela passe aussi par de petits détails vous permettant d’avoir accès facilement aux informations essentielles à travers notre Console. Parmi ses récentes améliorations, nous avons ajouté une nouvelle « tuile » dans la vue d’ensemble de chacune de vos applications :

Vous y trouverez le niveau d’utilisation des vCPU et de la mémoire sur une durée de 24 heures, sous la forme d’un graphique composé de 24 barres, représentant une heure chacune. Une valeur moyenne est également affichée, correspondant à la dernière heure.

Un code couleur à trois niveaux permet d’identifier directement une situation nécessitant votre attention, ou de vous assurer que tout va bien. Un panneau d’information vient détailler le fonctionnement des éléments en place et vous disposez de raccourcis renvoyant vers des métriques plus complètes ainsi que le dashboard Grafana lié à votre application.

Et si jamais vous ne voulez pas avoir à vous préoccuper du niveau de charge de votre application et cherchez à gagner en sérénité, pensez à activer l’auto-scalabilité. Elle permet d’augmenter ou de réduire constamment la taille ou le nombre de vos instances selon le besoin, tout en respectant des limites que vous avez définies. 

Un composant web pratique et accessible

Bien entendu, cette tuile a été développée sous la forme d’un Web Component, documenté ici et que vous pouvez librement exploiter. Il s’agit également de la première à suivre nos règles en matière d’accessibilité, que ce soit pour les boutons et liens ou la gestion par les lecteurs d’écrans : le graphique y sera représenté par un tableau.

En 2022, Clever Cloud a plus que doublé ses effectifs afin d’améliorer ses services et en développer de nouveaux avec le renfort de son pôle R&D. Nous voulions aussi prendre plus le temps de peaufiner ce qui fait le quotidien de nos clients : la Console.

Il s’agit de l’interface web qu’ils utilisent pour gérer et déployer leurs applications et add-ons, accéder à leurs métriques, logs, etc. Elle est développée par notre équipe en charge du front-end, dirigée par Hubert Sablonnière, qui a récemment accueilli 4 nouveaux membres.

Depuis, ils travaillent à une meilleure cohérence des éléments qui composent la Console, en mettant l’accent tant sur l’expérience utilisateur que l’accessibilité. Des travaux de fond ont également été entrepris : amélioration générale du code, des procédures de tests et de déploiement, refonte du système de notifications, de gestion des icônes, la génération de la documentation des Clever Components ou même la clarification de certains tarifs. 

Clés SSH : une interface plus utile et plus claire 

Il y a quelques semaines, nous avons également mis en place un nouveau formulaire de gestion des clés SSH, utilisant les Clever Components pour une accessibilité renforcée et une adaptation à tous les écrans. Il est surtout plus clair, notamment avec des aides contextuelles, des messages d’erreur plus explicites, une meilleure gestion du focus, etc. 

On y trouve désormais trois sections : une pour l'ajout d'une nouvelle clé, une seconde listant les clés existantes, que l’on peut supprimer, et enfin celle servant à l’import des clés GitHub. Dans chaque cas, les commandes de bases vous sont expliquées :

Gestion simplifiée des e-mails et des membres 

Nous avons procédé de la même manière avec la gestion des e-mails et des membres d’une organisation. Là aussi les éléments de base ont été revus pour utiliser nos composants et mieux s’adapter à différents formats d’appareils avec une meilleure accessibilité. 

Mais nous avons surtout veillé à ce que des éléments utiles soient présentés de manière claire. Ainsi les e-mails primaires et secondaires d’un compte sont distingués, avec une mention en cas de vérification et la possibilité de changer de statut à tout moment :

Dans le cas de la gestion d’une organisation, une segmentation en trois zones a été mise en place : l’une pour inviter des membres, la seconde pour lister ceux qui sont présents et leurs rôle, ainsi que leur gestion (modification, suppression) et enfin une dernière permettant de quitter une organisation, identifiée comme une “zone de danger”. 

Ici aussi un travail de fond a été mené sur les messages et informations apportées, notamment pour mieux permettre l’identification de membres n’ayant pas activé la double authentification sur leur compte (2FA), un filtre spécifique vous étant proposé :

Ces améliorations ne sont que le début du travail sur la Console, qui va perdurer tout au long de 2023, avec une feuille de route déjà bien entamée et de gros projets sur le point d’aboutir. Bonne nouvelle d’ailleurs : la nouvelle interface de logs est en cours de finalisation, nous vous en reparlerons très bientôt ;)

Aux débuts d’Internet tel qu’on le connaît actuellement, il y a une trentaine d’années, le choix principal d’un développeur lorsqu’il voulait mettre un site en ligne consistait à choisir entre un serveur dédié où il était seul maître à bord, et un hébergement mutualisé entre plusieurs clients plus ou moins nombreux à se partager les ressources selon les offres.

Si la faible isolation technique proposée à l’époque dans le modèle du mutualisé poussait les plus précautionneux à se tourner vers des serveurs dédiés, le choix se faisait aussi pour des raisons économiques : tout le monde ne pouvait pas se payer sa propre machine.

Néanmoins, avec le temps, des offres à petit prix sont venues bouleverser le marché, puis ce fût au tour du « Cloud » et des instances « as-a-service » que l’on ne loue plus au mois mais à l’heure ou à la seconde. De quoi changer les pratiques en profondeur.

Réduire le gâchis de ressources (et les prises de tête)

C’est de là qu’est né Clever Cloud, avec une conviction : il fallait profiter de ces nouvelles opportunités pour réinventer les pratiques de l’hébergement mutualisé qui s’appuyait encore sur de vieux protocoles de transfert, en ajoutant une véritable isolation et de la simplicité en automatisant les déploiements, l’adaptation à la charge. Créer des outils pour améliorer la vie des développeurs et des ops (des métiers qui se conjuguent parfois désormais), profiter des révolutions en cours suite à l’émergence de Git et des plateformes telles que GitHub ou GitLab, du développement et de l’intégration continus (CI/CD).

• Qu'est-ce que Clever Cloud ?

Tant à l’époque qu’aujourd’hui, il est courant de voir des entreprises continuer à louer des serveurs dédiés « à l’ancienne » pour y déployer leurs applications en utilisant des outils plus ou moins automatisés, mais cela mène le plus souvent à un gâchis de ressources. Car ces machines sont dimensionnées de manière à répondre aux pics éventuels, et ne sont ainsi presque jamais utilisées à leur plein potentiel. 

Un surdimensionnement qui n’est pas vraiment en faveur de l’efficacité énergétique. En mars dernier, The Register rapportait que selon l’US Government Accountability Office (GAO), seulement 5% des ressources des serveurs à disposition du gouvernement américain étaient utilisées. Une situation qui ne devrait jamais se produire, aux USA ou en Europe.

Pourtant, une partie du secteur de l’hébergement s’est organisée autour de ce manque d’efficacité. Les acteurs du monde des datacenters sont de moins en moins des techniciens et de plus en plus sur un modèle qui emprunte au marché de l’immobilier : il faut investir l’espace disponible et avant tout remplir des mètres carrés (quitte à réserver de grands espaces aux mineurs de crypto-monnaies). Mais que les serveurs soient ou non utilisés ne change rien : c’est loué. D’ailleurs s’ils fonctionnent à un faible niveau, cela soulage les infrastructures électriques, le bailleur est d’autant plus gagnant.

Une des solutions pourrait être de recourir à des instances (IaaS), qui peuvent être allumées ou éteintes, adaptées dans leur composition selon les besoins, avec une meilleure gestion des ressources par le fournisseur de services cloud (CSP) puisqu’elles sont partagées entre différents clients. Mais cela demande aux développeurs et aux ops d’adapter constamment l’infrastructure à la charge, de veiller aux mises à jour et à la sécurité, d’être ceux sur qui tout repose. 

Malheureusement, en pratique, ce travail essentiel n’est pas toujours fait. Une problématique à laquelle nous avons cherché à répondre, pour mutualiser les efforts et éviter frayeurs et maux de tête aux équipes de nos clients.

Des applications qui fonctionnent…

La promesse de Clever Cloud est que « vous développez, nous déployons ». Ainsi, nous sommes plus qu’une solution de Platform-as-a-Service (PaaS) tel que certains l’entendent, plutôt une sorte de « Software Defined Hosting », tendance « Serveless », au sens où vous n’avez jamais à vous préoccuper de l’infrastructure. Seulement de votre code et d'où vous voulez le déployer.

Car en réalité, notre métier est d’assurer le maintien en conditions opérationnelles de vos applications. Cela signifie que nous simplifions le plus possible le processus de déploiement qui peut être totalement automatisé et s’inscrire dans vos processus d’équipe. Nous maintenons également vos applications en ligne, même en cas de mise à jour ou de pic de charge exceptionnel, gérons les sauvegardes, la reprise en cas de problème, etc.

Ce, avec la possibilité d’une adaptation horizontale (plus d’instances disponibles) ou verticale (des instances plus performantes). Un choix qui peut être assuré de manière entièrement automatisée (auto-scaling) ou manuelle via notre interface en ligne et nos différents outils (CLI, SDK, etc.) : vous restez maître de vos choix.

Nous assurons également la mise à jour du système et des briques logicielles que nous opérons, en nous limitant le plus possible au strict nécessaire afin de maximiser l’efficacité, le niveau de performances et de sécurité proposés à nos clients. Ainsi, nous ne négligeons pas l’isolation logicielle et toutes les applications fonctionnent dans des machines virtuelles qui leur sont propres.

… dans un environnement flexible et sécurisé

Il faut d’ailleurs comprendre que le sujet des attaques et failles de sécurité est avant tout financier. Pour ceux qui les exploitent, c’est un marché. S’il existera toujours des méthodes pour s’en prendre à une entreprise et un service, notre enjeu est de réduire au maximum les surfaces d’attaque et de casser la rentabilité potentielle de s’en prendre à Clever Cloud.

C’est notamment pour cela que nous compilons le noyau Linux et tous nos binaires depuis les sources, à travers l’utilisation de la distribution Exherbo. Cela nous permet de les réduire à leur strict minimum, tout comme la surface d’attaque, et de disposer constamment de logiciels à jour sans avoir à attendre que les mainteneurs de telle ou telle distribution s’en occupent.

Cela offre un autre avantage, car comme l’indique régulièrement notre CEO Quentin Adam : « tout binaire distribué compilé est un binaire troué en sursis ». Ils sont en effet utilisés par un nombre important d’utilisateurs et sont une cible de choix, qui peuvent être facilement détectés. Disposer de nos propres binaires permet de se prémunir de tels risques « by design ».

Et si jamais un datacenter rencontre un problème ? Il vous suffit de déployer ailleurs. Une capacité à la résilience qui porte nos décisions techniques de ces dernières années, avec une approche résolument mutli-cloud; que ce soit dans le développement de nos propres infrastructures ou en vous permettant également de profiter de celles de nos partenaires. Et si vous voulez disposer de votre propre Clever Cloud « on-premise » ou dans une infrastructure qualifiée SecNumCloud ? C’est possible. L’ouverture, c’est aussi ça.

Des serveurs pleinement exploités, pensés pour durer

Ce libre choix du datacenter nous permettra demain de vous proposer des déploiements pouvant être guidés par des problématiques géographiques, de diversification mais aussi d’éco-conception. Nous avons d’ailleurs commencé à nous tourner vers des serveurs basés sur les travaux de l’Open Compute Project (OCP). Disposant d’une alimentation centralisée au sein de la baie, ils sont conçus pour une meilleure efficacité énergétique. 

Consommer moins pour un même niveau de service est une obsession de nos équipes, une stratégie mise en œuvre à court et long terme, que ce soit à travers l’optimisation côté logiciel ou matériel, la meilleure utilisation du parc existant et la mise en production de meilleurs composants lorsqu’il est complété ou renouvelé. Cette stratégie est au cœur de notre modèle économique, mais aussi de notre volonté de réduction de notre empreinte environnementale, et donc celle de nos clients.

Nous avons ainsi récemment fait le choix de nous équiper en serveurs Capri basés sur des processeurs EPYC 7003 d’AMD avec 64 cœurs de dernière génération, qui offrent un très bon niveau de performance et de densité. Ils sont installés dans notre troisième point de présence parisien, chez Green Data à Nanterre. Il en sera de même pour la Flashbox, nous permettant de disposer d’un stockage déporté au sein du réseau, dans des serveurs sans CPU, exploitant les puces du français Kalray, très économes en énergie.

Ces innovations et ce niveau de densité nous permettent de renforcer la promesse de Clever Cloud : maintenir le maximum d’applications en conditions opérationnelles, avec un bon niveau de résilience mais le moins d’infrastructure possible. Car la meilleure façon de ne pas gâcher les ressources est d’en consommer le moins possible « by design », ce que nous permettons à nos clients de faire au quotidien sans qu’ils n’aient à se préoccuper de quoi que ce soit. Pour mieux les informer, nous travaillons également à livrer des indicateurs comme l’efficacité énergétique (PUE) mais également la consommation et l’impact de nos serveurs, de leurs applications, etc.

Nos serveurs sont destinés à être exploités dans notre infrastructure pour de longues années, afin de répondre à des besoins qui pourront évoluer dans le temps, et ne seront remplacés que lorsque ce sera nécessaire. Mais en nous reposant sur des standards tels que ceux de l’OCP, utilisés par un nombre croissant d’acteurs du marché, nous avons l’assurance qu’ils pourront facilement être réutilisés par des tiers dans un second cycle de vie.

Pour nos déploiements à venir, nous explorerons d’autres pistes pour améliorer toujours plus l’efficacité de nos serveurs et de leurs composants, mais aussi du refroidissement qui est une problématique essentielle dans les centres de données, avec la montée en puissance du watercooling et de l’immersion, deux technologies pouvant être mises en œuvre par notre partenaire Green Data. Nous avons également des discussions avec différents acteurs autour de la réutilisation de la chaleur fatale, produite par les serveurs. 

Et demain ? Network Groups, Tasks, GPU, FaaS, IaaS

Clever Cloud est à l’image de son logo : multifacettes. Si nous nous sommes longtemps consacrés à la création de notre plateforme de déploiement d’applications, nos clients nous ont demandé ces dernières années d’aller plus loin. Nous les avons écoutés : l’équipe a doublé ces derniers mois afin de renforcer notre principal atout : l’innovation par le logiciel, en exploitant au mieux le matériel.

Ainsi, outre les améliorations continues de notre Console, nous finalisons actuellement un projet qui a été l’un de nos plus grands chantiers : les Network Groups, vous permettant de lier vos applications, mais aussi vos machines à travers un réseau privé (VPN). Pour cela, nous nous appuyons sur la solution open source Wireguard. La fonctionnalité est finalisée et fait actuellement l’objet de tests internes, elle passera au stade de la bêta publique d’ici quelques semaines.

Nous proposerons bientôt nos VM Tasks, avec la possibilité d’exécuter des tâches à la demande, activables de différentes manières. Nous avons également commencé à retravailler notre offre de calcul sur GPU, n’hésitez donc pas à nous solliciter si vous avez des besoins en la matière, des tests préliminaires pouvant être menés. Plus tard dans l’année viendront l’accès à nos solutions Function-as-a-Service (FaaS) pour le traitement de fonctions à la demande et à grande échelle et IaaS, pour déployer le système d’exploitation et les outils de votre choix via Clever Cloud, sans dépendre de solutions telles que Docker.

Et pour les amateurs de Kubernetes, outre le lancement récent de notre opérateur, un service managé sera également disponible… tout comme d’autres surprises dont nous aurons l’occasion de reparler d’ici quelque temps. N'hésitez d’ailleurs pas à nous soumettre vos demandes et suggestions, qui peuvent nous aider à affiner nos priorités et développements. Notre équipe est ainsi à votre écoute.

Keycloak est un moyen moderne et efficace de gérer les identités et les accès. Il permet l'authentification unique, la fédération d'utilisateurs à travers plusieurs annuaires d'utilisateurs. Il est également compatible avec les protocoles d'authentification standard comme OpenID Connect, OAuth2 ou SAML. Tous les détails sont disponibles sur son site. Dans ce blogpost, nous verrons les étapes du déploiement de Keycloack et Grafana sur Clever Cloud.

Comment déployer Keycloak ?

Setup

Keycloak est écrit en Java, et fournit un fichier JAR dans sa version, ce qui signifie que nous allons utiliser un runtime JAVA avec un déploiement JAR. Il nécessite également une base de données PostgreSQL, ce qui signifie que nous allons déployer un addon PostgreSQL.

# Get lastest Keycloak release
wget https://github.com/keycloak/keycloak/releases/download/17.0.1/keycloak-17.0.1.zip

# Extract the archive
unzip keycloak-17.0.1.zip

# Go to the folder
cd keycloak-17.0.1

# Create the jar application
clever create --type jar keycloak-server
export KEYCLOAK_DOMAIN=$(clever domain | xargs)

# Create the PG addon
clever addon create postgresql-addon --plan s_sml --addon-version 10 keycloak-postgres

# Link the addon
clever service link-addon keycloak-postgres

Configurer

Pour l'instant, nous allons configurer Keycloak en utilisant des variables d'environnement. Notez que vous pouvez également configurer Keycloak via son CLI ou via un fichier, comme indiqué dans sa documentation.

Note : Pour la configuration via des variables d'environnement, le modèle à utiliser est KC_ et le nom en majuscule de toute clé de configuration, séparés par des caractères de soulignement.

# Export env for templating purpose
export $(clever env | sed '/^#/d;s/\"//g')

clever env set CC_JAR_PATH lib/quarkus-run.jar
clever env set CC_JAVA_VERSION 11
clever env set CC_RUN_COMMAND "bin/kc.sh start --auto-build"

clever env set KC_DB postgres
clever env set KC_DB_USERNAME $POSTGRESQL_ADDON_USER
clever env set KC_DB_PASSWORD $POSTGRESQL_ADDON_PASSWORD
clever env set KC_DB_URL "jdbc:postgresql://$POSTGRESQL_ADDON_HOST:$POSTGRESQL_ADDON_PORT/$POSTGRESQL_ADDON_DB"
clever env set KC_HOSTNAME $KEYCLOAK_DOMAIN
clever env set KC_HTTP_ENABLED true
clever env set KC_PROXY passthrough
clever env set KC_PROXY_ADDRESS_FORWARDING true

Note: Envisagez de configurer KC_DB_POOL_MAX_SIZE (Le nombre maximum de connections parallèles a la base de donnée) avec une valeur basse (la valeur par défault est de 100) en fonction de la taille de la base de donnée que vous avez commandé plus tôt. Vous pouvez trouver les limites de connection par taille de base de donnée ici. Si vous avez choisi la taille S_SML comme précisé plus tôt dans la commande fournie, vous pouvez ignorer ce message. vous pouvez aussi configurer plus finement le groupe de connection a la base de donnée en utilisant les variable DB_POOL_INITIAL_SIZE et KC_DB_POOL_MIN_SIZE

Vous devez maintenant définir KEYCLOAK_ADMIN et KEYCLOAK_ADMIN_PASSWORD :

clever env set KEYCLOAK_ADMIN <choose an admin username>
clever env set KEYCLOAK_ADMIN_PASSWORD <choose an admin password>

Déployer

Déployer Keycloak sur Clever Cloud :

# Init a git repository
git init

# Add your files
git add .

# Create the first commit
git commit -m "clever init"

# Deploy the application
clever deploy

# Open Keycloak in your browser
clever open

Valider la configuration

Vous pouvez suivre la documentation de Keycloak en commençant ici pour vous assurer que Keycloak fonctionne comme prévu. Elle vous guidera à travers la création d'un realm (tenant), la création d'un utilisateur et la création/test d'un client.

Créer une configuration initiale de Keycloak

Dans l'interface utilisateur de Keycloak, assurez-vous de créer un realm appelé "myrealm" (survolez "Master" dans le coin supérieur gauche). Assurez-vous que le realm "myrealm" est sélectionné.

Ensuite, allez dans Utilisateurs > Ajouter un utilisateur. Remplissez les champs Nom d'utilisateur, Email, Prénom et Nom de famille, puis cliquez sur Enregistrer.

Dans l'onglet "credentials" de l'utilisateur, ajoutez le mot de passe de votre choix et désélectionnez "Temporary", le mot de passe défini.

C'est fait !

Un scénario du monde réel

Voyons comment nous pouvons utiliser Keycloak dans le monde réel : comme proxy SSO pour Grafana, en utilisant Oauth 2.

Configurer Grafana sur Clever Cloud

Si vous avez besoin d'un guide détaillé sur la façon d'utiliser ou de déployer Grafana, veuillez lire cet article.

Utilisons l'exemple Grafana sur le dépôt Github de Clever Cloud.

# Clone the repository
git clone https://github.com/CleverCloud/grafana-example.git

# Enter the directory
cd grafana-example

# Create a NodeJS Application
clever create --type node grafana
export GRAFANA_DOMAIN=$(clever domain | xargs)

# Configure Grafana
clever env set GRAFANA_VERSION 8.5.2
clever env set GRAFANA_PLUGINS "grafana-worldmap-panel"
clever env set GF_PLUGIN_DIR ./data/plugins

clever env set GF_SERVER_HTTP_PORT 8080
clever env set GF_SERVER_ROOT_URL "https://$GRAFANA_DOMAIN"

Note : Dans cette section, vous devez définir vous-même la variable GRAFANA_SHA_256. Vous pouvez trouver la SHA256SUM nécessaire ici, à côté de "Standalone Linux Binaries".

clever env set GRAFANA_SHA_256 <SHA256SUM>

Configurer Keycloak pour OAuth 2

Note : dans cette section, vous devez remplacer $GRAFANA_DOMAIN par la valeur que vous avez exportée dans la dernière section. Vous pouvez trouver cette valeur en exécutant la commande suivante : clever domain.

Dans l'interface utilisateur de Keyloak, allez dans Configurer > Clients > Créer.

Créez un nouveau client avec ces configurations :

Client ID: $GRAFANA_DOMAIN
Client Protocol: openid-connect
Root URL: https://$GRAFANA_DOMAIN

Effectuez ensuite ces configurations :

Access Type: confidentials // The OAuth client must use a client id and secret.
Root URL: ${authBaseUrl}
Valid Redirect URIs: https://$GRAFANA_DOMAIN/login/generic_oauth
Base URL: /login/generic_oauth

Effacez Admin URL et Web Origins.

Cliquez sur enregistrer et ouvrez l'onglet Credentials. Copiez le secret dans une note séparée, nous en aurons besoin dans les deuxième et troisième parties de ce tutoriel.

Ouvrez l'onglet Rôles et cliquez sur Ajouter un rôle. Créez un nouveau rôle avec le nom admin. Ce rôle définit le niveau d'accès pour Grafana.

Allez sur l'onglet Scope et définissez Full Scope Allowed sur OFF. Nous ne voulons pas partager d'autres détails sur le royaume dans le jeton client.

Ensuite, nous allons configurer un mappeur client pour la propriété roles. Nous devons nous assurer que Grafana peut extraire le rôle d'accès à partir du jeton JWT. Ouvrez l'onglet Mappers et cliquez sur Create. Créez une entrée avec ces options :

 
Nom : Roles
Mapper Type : Rôle client utilisateur
ID du client : $GRAFANA_DOMAIN
Nom de la réclamation token : roles
Type JSON de la réclamation : string

Enfin, attribuez le rôle client à votre utilisateur Keycloak : Allez dans Utilisateurs > Afficher tous les utilisateurs et cliquez sur l'ID de votre utilisateur. Cliquez sur l'onglet Role Mapping, puis dans le sélecteur Client Roles, sélectionnez $GRAFANA_DOMAIN. Dans la section Available Roles, sélectionnez admin et cliquez sur Add selected.

Configurer Grafana pour OAuth 2

Configurez les variables d'environnement appropriées

# Configure appropriate env vars
clever env set GF_SERVER_DOMAIN $GRAFANA_DOMAIN
clever env set GF_SERVER_ROOT_URL "https://$GRAFANA_DOMAIN"
clever env set GF_AUTH_GENERIC_OAUTH_ENABLED true
clever env set GF_AUTH_GENERIC_OAUTH_NAME Keycloak
clever env set GF_AUTH_GENERIC_OAUTH_ALLOW_SIGN_UP true
clever env set GF_AUTH_GENERIC_OAUTH_CLIENT_ID $GRAFANA_DOMAIN

clever env set GF_AUTH_GENERIC_OAUTH_SCOPES profile
clever env set GF_AUTH_GENERIC_OAUTH_AUTH_URL "https://$KEYCLOAK_DOMAIN/realms/myrealm/protocol/openid-connect/auth"
clever env set GF_AUTH_GENERIC_OAUTH_TOKEN_URL "https://$KEYCLOAK_DOMAIN/realms/myrealm/protocol/openid-connect/token"
clever env set GF_AUTH_GENERIC_OAUTH_API_URL "https://$KEYCLOAK_DOMAIN/realms/myrealm/protocol/openid-connect/userinfo"
clever env set GF_AUTH_GENERIC_OAUTH_ROLE_ATTRIBUTE_PATH "contains(roles[*], 'admin') && 'Admin' || contains(roles[*], 'editor') && 'Editor' || 'Viewer'"

Note : Dans cette section, vous devez définir vous-même GF_AUTH_GENERIC_OAUTH_CLIENT_SECRET, en utilisant la valeur dans Keycloak UI, sous Client > $GRAFANA_URL > Credentials

clever env set GF_AUTH_GENERIC_OAUTH_CLIENT_SECRET <KEYCLOAK_CLIENT_SECRET>

Vous pouvez maintenant déployer Grafana :

 
# Deploy grafana
clever deploy

# Open grafana and try the Login with Keycloak button !
clever open

Maintenant, cliquez sur login with Keycloak, et utilisez le nom d'utilisateur et le mot de passe que vous avez définis pour l'utilisateur que vous avez créé plus tôt dans Keycloak.

En utilisant la même procédure décrite précédemment pour créer le premier utilisateur, vous pouvez maintenant créer d'autres utilisateurs et rôles. Créez les rôles "éditeur" et/ou "visualisateur" et attribuez-les à vos nouveaux utilisateurs dans Keycloak. Essayez de vous connecter avec ceux-ci sur Grafana et vous verrez que les rôles sont propagés à Grafana.

Sources :

• https://janikvonrotz.ch/2020/08/27/grafana-oauth-with-keycloak-and-how-to-validate-a-jwt-token/
• https://www.keycloak.org/getting-started/getting-started-zip

Lorsque vous accédez à un site ou une application en ligne, vous le faites le plus souvent de manière dite "sécurisée". C'est par exemple le fameux cadenas vert qui symbolise les connexions HTTPS dans votre navigateur, qui est devenu la norme depuis quelques années grâce à des initiatives comme Let's Encrypt. 

Cela signifie que les données transférées au serveur sont chiffrées, et que même si elles sont interceptées, elles sont illisibles par un tiers. Une protection assurée par le protocole TLS (Transport Layer Security) depuis près de 20 ans, qu'il s'agisse d'un site personnel, de vente en ligne ou même d'accès aux services de votre banque. 

À travers le temps, cette brique technique essentielle sur Internet a évolué pour renforcer le niveau de sécurité qu'elle offre. En août 2018, sa version 1.3 (la dernière en date) était publiée. Les versions 1.0 et 1.1 sont, elles, considérées comme n'offrant plus un niveau de protection suffisant. Elles sont ainsi dépréciées par l'IETF (Internet Engineering Task Force) depuis mars 2021 et ont été progressivement retirées des navigateurs récents comme Firefox, Chrome et ses dérivés ou Safari. 

Chez Clever Cloud, nous avons vu nos clients suivre ce mouvement et adopter peu à peu TLS 1.2 et 1.3. Sur nos load balancers, basés sur notre reverse proxy maison et open source Sōzu, la version la plus récente représente plus de 90 % des requêtes traitées chaque jour. TLS 1.2 compte pour un peu moins de 9 %. TLS 1.0 et 1.1 seulement quelques dizaines de milliers de requêtes par jour, moins de 0,1 % de notre trafic.

Si nous avons continué à gérer ces versions pour des questions de compatibilité, ce ne sera plus le cas à compter du 30 juin prochain. Nous allons bien entendu informer les clients concernés par cette démarche, et les inciter à passer sur des versions plus récentes, ce qui aura pour eux des avantages tant en termes de sécurité que de performance ou même de référencement. 

Plusieurs rappels leur seront envoyés d'ici à la coupure définitive de TLS 1.0 et 1.1. En cas de questions à ce sujet, contactez notre support via la Console.

Cette semaine, nous avons mis en production des améliorations de présentation de nos factures. Le résultat : des factures qui vous aident à comprendre ce que vous payez et à quel montant vous attendre pour la facture suivante. Regardons cela en détail !

Pour introduire la problématique : Clever Cloud vous facture ce que vous avez utilisé pendant la dernière période, ainsi qu'une provision ("crédits prépayés") pour la période de facturation suivante. D'une facture à l'autre, la provision va évoluer en fonction de votre utilisation de Clever Cloud. Jusqu'ici, le montant de crédits provisionnés à l'instant T n'était pas clairement affiché. L'autre problématique était la gestion du compte de crédits offerts. Ces derniers sont toujours soumis à expiration. Il fallait donc l'expliciter dans les factures.

Une première page plus claire

Premièrement, nous avons renommé plusieurs descriptions sur la première page. En partie pour faire plaisir à notre service juridique. Mais principalement pour rendre ces lignes compréhensibles. Ainsi, là où il y avait « Consommation Clever Cloud », on peut maintenant lire « Redevance utilisation de la plateforme ». Nous avons également amélioré l'affichage des montants : tout d'abord, un sous-total représentant le total à payer (après remises) pour avoir utilisé Clever Cloud ("Redevance totale"). Ensuite, un montant de crédits retirés ou à ajouter à votre compte prépayé. La somme des deux vous donne le total à payer.

Les crédits gratuits explicités

Le changement suivant apparaît sur la deuxième page : nous vous donnons le détail de tous les crédits gratuits consommés / expirés ce mois-ci et comment nous calculons les crédits à supprimer ou à ajouter à la facture.

Sur cette deuxième page, vous avez : tous les crédits gratuits auxquels vous avez droit, ceux qui sont arrivés à expiration, combien il vous reste pour couvrir la prochaine période de facturation. Vous avez également toutes les variables que nous utilisons pour calculer les crédits ajoutés ou consommés qui s'affichent sur la première page.

Cette deuxième page vous aidera à suivre le solde de vos crédits prépayés et à mieux comprendre pourquoi nous vous facturons ce montant précis.

Avec ces changements, votre comptable devrait être content ! D'une part, nous espérons que cela les aidera à comprendre nos factures. Et d'autre part, qu'ils pourront consacrer du temps à essayer de comprendre les factures de vos autres fournisseurs! 😇