Déployer des applications et services en un instant, les maintenir en conditions opérationnelles, telle est la promesse de Clever Cloud. Mais c’est aussi de vous proposer un outillage complet afin de répondre aux besoins de vos équipes: interfaces de gestion, intégrations, domaines, backups, logs, métriques, etc.

Proposer des solutions viables et durables, pour la production

Parfois cela passe par des solutions complémentaires, telles qu’Azimutt, Keycloak, MailPace ou Matomo, accessibles sous la forme de services clés en main que vous pouvez déployer comme n’importe quelle autre add-on via notre API, la Console ou les Clever Tools, etc.

Sur ce terrain, l’approche courante est de laisser les clients se débrouiller avec un déploiement d’outils open source en “1-click”. Parfait pour l’effet démo et disposer d’un service minimal à tester. Mais qu’en est-il lorsque l’on veut aller au-delà, l’utiliser au quotidien pour nos équipes ? Quid du cycle de vie de l’application une fois déployée, de sa mise à jour, avec l’assurance de tirer partie de ses nouvelles fonctionnalités, des possibilités permises grâce aux synergies de la plateforme d’hébergement ?

C’est ainsi que nous avions imaginé initialement notre stratégie de Marketplace, que nous mettons en œuvre de manière plus active ces dernières années : continuer de construire Clever Cloud en cherchant des solutions pour nos clients, une manière de les accompagner, tout en leur faisant profiter de notre expérience, de notre capacité d’automatisation… et de notre écosystème. C’est pour cela que nous la développons avec des partenaires.

Notre Marketplace est une offre se mélangeant à nos services natifs, profitant des atouts de notre plateforme, de nos intégrations et d’un paiement unifié, mais dont le maintien à jour est garanti par des développeurs et des équipes experts de ces solutions, dédiés à cela.

Envie d’en faire partie ? Venez nous en parler.

Metabase : la business intelligence (BI) à portée de votre équipe

Dans le cas de Metabase, nous avons travaillé avec David Sferruzza, compagnon de longue date de Clever Cloud. David est multi-entrepreneur (notamment Hook0, _icilundi et Wattflow), formateur, et CTO qui accompagne des startups. Lorsque nous avons eu l’opportunité de travailler avec lui sur différents projets d’add-ons pour notre Marketplace, nous avons dit “Banco !”

Après quelques semaines de travail et une phase de tests internes, Metabase sur le cloud est donc le premier service disponible à l’ensemble de nos clients. Cette solution open source se connecte à vos bases MongoDB, MySQL, PostgreSQL et bien d’autres ! N’importe quel utilisateur peut l’exploiter aisément pour créer ses propres questions, une connaissance de SQL n’est pas forcément nécessaire. Cela vous permet de mettre vos données au service de l’ensemble de vos collaborateurs. 

Ils peuvent ainsi créer des graphiques, des tableaux de bord, mais aussi des rapports que vous recevrez par e-mail ou des outils tels que Slack, partager ces ressources avec des tiers. Vous pouvez également exporter ces données dans différents formats, utiliser Metabase comme interface graphique pour une base de données en lecture seule. Les possibilités sont multiples.

Comment utiliser Metabase sur Clever Cloud

Comme pour tout add-on la création peut se faire via notre API, la Console ou les Clever Tools :

$ clever addon create metabase myMetabase
Add-on created successfully!
ID: addon_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
Real ID: metabase_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
Name: myMetabase

Your Metabase is starting:
 - Access it: https://xxxxxxxxxxxxxxxxxxxx-metabase.services.clever-cloud.com
 - Manage it: https://console.clever-cloud.com/addon_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx

Dès lors, l’application Java de Metabase se déploie avec une base de données PostgreSQL, vous n’avez rien de plus à faire. Dès que tout sera prêt, l’interface de gestion affichera un assistant de configuration qui vous demandera de créer le compte d’administration. Vous serez alors prêt à ajouter vos premières sources de données, à créer des questions Metabase et des tableaux de bord privés et/ou partagés.

Un service déployé à la sauce Clever Cloud

Bien entendu vous profitez de la simplicité de Clever Cloud : vous pouvez adapter la taille et le nombre d’instances manuellement ou via nos paramètres de scalabilité automatique, opter pour une base de données plus importante via notre outil de migration automatique, définir quelle version ou branche de Metabase vous voulez déployer, etc. 

Si vous souhaitez profiter d’une licence Metabase Enterprise Edition (EE) au sein de notre infrastructure hébergée sur Paris, c’est également possible. Enfin, nous avons facilité l’intégration avec MailPace, également disponible dans notre Marketplace. Il peut être lié à l’application de votre add-on Metabase et sera ainsi utilisé automatiquement pour l’envoi d’e-mails.

• La documentation de Metabase sur Clever Cloud

Comme nous avons toujours défendu une approche ouverte du Cloud, ne bloquant pas les clients chez un fournisseur, cette solution fonctionne que les sources de données soient hébergées chez Clever Cloud ou non. Vous pouvez aisément importer un Metabase auto-hébergé au sein de notre infrastructure, l’inverse est également possible.

Cet add-on est actuellement disponible en bêta à l’ensemble de nos clients. Cela signifie qu’il est parfaitement fonctionnel et peut être utilisé au quotidien sans perte de données ou de fonctionnalités, mais que nous sommes actuellement en train d’améliorer son expérience, la manière dont nous vous proposons de le déployer et de l’utiliser. N’hésitez d’ailleurs pas à nous donner votre avis au sein de notre communauté GitHub.

Envie d’en savoir plus ? N’hésitez pas à déployer et utiliser le service depuis notre Console. Une présentation par David et notre DevRel en chef Horacio se tiendra le mardi 12 novembre de 13h à 14h sur notre chaîne Twitch.

Si Clever Cloud vous permet de déployer simplement vos applications, notre plateforme est également très appréciée pour ses bases de données managées. Que ce soit via notre API, notre CLI ou notre Console, vous pouvez créer une MongoDB, MySQL, PostgreSQL, Redis, de l'ElasticSearch et bien entendu de notre offre serverless Materia KV.

Comme toutes nos autres solutions, nos bases de données ne sont pas seulement faciles à configurer, elles sont également fournies avec de l'outillage clé en main, que ce soit pour l'association à une ou plusieurs applications, disposer de logs, de métriques, d'interfaces de gestion, etc.

Cet outillage, nous cherchons constamment à l'améliorer afin de mieux répondre aux besoins de nos clients. Cela donne parfois lieu à des développements internes, comme notre "Explorer" dont nous aurons bientôt l'occasion de reparler. Mais nous cherchons aussi à nous associer à des partenaires proposant des services qui correspondent à notre philosophie, apportant de la valeur et de la simplicité à nos clients. C'est le cas d'Azimutt.

Azimutt : une nouvelle manière d'explorer vos bases de données SQL (entre autres)

Nous suivons cette startup, créée par Loïc Knuchel, depuis quelques années. L’ingénieur, passé par Criteo, Zeenea et Doctolib, a créé un outil permettant de visualiser et d’explorer en détail le contenu d’une base de données (tables, relations, contraintes, etc.) même très grosses. Mais également de les documenter, de les analyser afin d’identifier les éventuels problèmes et d’améliorer les performances, d’effectuer ce travail en équipe dans une interface plaisante, intégrant des fonctionnalités d’IA.

L'outil est entièrement open source, et repose notamment sur sa Gateway, lancée comme un service externe, pour toute les connexions aux bases de données. Elle peut être utilisée sur le poste de l'utilisateur ou hébergée sur des serveurs. Rien ne passe donc par les infrastructures d’Azimutt et permet d'explorer des bases de données locales. Vous pouvez y intégrer votre propre schéma via un fichier SQL ou le définir grâce à l'Azimutt Markup Language (AML).

Loïc a décidé il y a quelques mois de se consacrer pleinement à ce projet et c'est donc tout naturellement que nous avions décidé de le soutenir lorsqu'il s'est porté candidat à notre programme "UP". C'était également l'occasion pour nous d'aller plus loin et d'intégrer Azimutt à la marketplace de Clever Cloud, permettant à chacun de distribuer ses services au sein de notre plateforme, pour certaines organisations ou l'ensemble de nos clients.

Comment utiliser Azimutt sur Clever Cloud

Nous avons ainsi travaillé avec Loïc afin de proposer Azimutt sur Clever Cloud. Nous hébergeons notre propre gateway dont vous profitez lorsque vous créez un add-on Azimutt (vos données sur Clever Cloud restent sur Clever Cloud). Par défaut vous accéderez à l'offre gratuite permettaant une exploration simple de vos bases de données.

Pour collaborer en équipe et améliorer votre connaissance du modèle de données à l'échelle de votre entreprise, des abonnements sont disponibles. Ils seront payés via votre facture mensuelle, comme pour n'importe lequel de nos autres services.

Comme pour tout add-on la création peut se faire via notre API, la Console ou les Clever Tools :

clever addon create azimutt myAzimutt
clever console

Une fois l’add-on créé, vous obtiendrez une page dans laquelle vous n’aurez qu’à taper l’URI d’une base de données relationnelle pour y accéder dans l’interface d’Azimutt. Votre compte sera créé, votre abonnement configuré, il n’y a rien de plus à faire.

Comme nous avons toujours défendu une approche ouverte du Cloud, ne bloquant pas les clients chez un fournisseur, cette solution fonctionne que les bases de données soient hébergées chez Clever Cloud ou non. Cela concerne des bases de données SQL mais aussi non-SQL comme MongoDB, MySQL PostgreSQL, AlloyDB, Amazon Aurora/SDS, Azure SQL, Big Query, Google Cloud SQL, Oracle, Snowflake, etc.La liste complète des connecteurs est disponible sur le site d'Azimutt.

Il ne s’agit que d’une première étape dans l’intégration d’Azimutt, que nous proposerons plus en profondeur au sein de notre plateforme et son offre de bases de données managées dans les mois à venir. Si vous avez des questions, remarques ou suggestions, faites-le nous savoir dans notre espace communautaire GitHub. Cela nous aidera à améliorer ce produit, tant du côté Clever Cloud que d’Azimutt.

Envie d’en savoir plus ? N’hésitez pas à déployer et utiliser le service depuis notre Console. Une présentation par Loïc et notre DevRel en chef Horacio se tiendra ce jeudi 24 octobre de 13h à 14h sur notre chaîne Twitch.

Si nous aurons l'occasion de détailler tout cela dans de prochains articles, et que vous pouvez en avoir un aperçu au sein de notre changelog public, il y a un sujet qui nous tient à coeur : nos images.

La refonte des images

Chaque fois que vous déployez un add-on ou une application sur notre plateforme, notre orchestrateur met à votre disposition une machine virtuelle basée sur Exherbo Linux, pour laquelle nous avons compilé spécifiquement le noyau et les binaires mis à votre disposition afin de vous garantir un environnement GNU/Linux classique, performant, à jour et sécurisé. La configuration de cet environnement se fait de manière standard, principalement via des variables d'environnement.

Ce système minimal, spécifique à nos besoins et prêt à être configuré, compose ce que nous appelons nos images. Et nous avons radicalement changé notre manière de les concevoir ces derniers mois. En effet, nous disposions jusqu'à lors d'images différentes pour chacun de nos runtimes/langages supportés ou presque. Leur mise à jour et test étaient parfois complexes et très manuels. Nous avons donc simplifié et automatisé tout cela.

Depuis quelques semaines nous disposons d'une image unique, générée régulièrement, qui diffère très peu selon les besoins, et à qui nous faisons passer une batterie de tests drastiques afin de nous assurer que n'importe quelle application se déploiera sans accrocs au fil des évolutions. Sa mise en place s'est faite en douceur au fil des mois, nous arrivons actuellement au bout de ce processus qui s'est fait de manière transparente pour l'ensemble de nos clients.

Pourquoi vous en parler aujourd'hui ? Parce que c'est grâce à elle que nous allons pouvoir revoir et améliorer de manière progressive la manière dont vous déployez des applications sur Clever Cloud. Nous avons déjà posé quelques briques ici et là, comme avec l'intégration d'uv pour Python par exemple. Mais les choses vont changer de manière bien plus importante dans les prochains mois et courant 2025. L'un de nos plus gros runtimes concernés est PHP.

PHP 8.4, sessions dans Materia KV

Nos discussions l'année dernière avec la communauté à l'occasion de Forum PHP, nous a permis d'imaginer la manière d'améliorer les choses. Être plus réactifs sur la manière de supporter les nouvelles versions de PHP était l'une des demandes récurrentes. Les changements opérés nous permettrons notamment de tester plus rapidement le passage à PHP 8.4, attendu pour fin novembre. Une fois validé et intégré à Clever Cloud, vous pourrez l'activer via une simple mise à jour de variable d'environnement.

La flexibilité des sessions PHP était aussi un sujet revenant régulièrement. Actuellement, elles peuvent se reposer sur du stockage local persistant ou une base de données Redis liée à votre application. Cet été, nous avons travaillé à adopter notre technologie Materia KV à ce besoin. Nous avons mis en production il y a quelque jours une nouvelle version supportant les clés pouvant expirer et certaines commandes permettant son support de manière transparente pour les utilisateurs.

• Déployer une application PHP de démonstration avec des sessions sur Materia KV

En pratique, c'est assez simple : récupérez le contenu du dépôt ci-dessus avec git, les Clever Tools, puis créez une application PHP comme si elle devait héberger ses sessions sur une base de données Redis, le code est identique :

clever create -t php --alias phpSessions
clever env set ENABLE_REDIS "true"
clever env set SESSION_TYPE "redis"

Ensuite, créez un add-on Materia KV, liez-le à l'application qui vient d'être créée :

clever addon create kv phpSessionsKV --link phpSessions

ll vous suffit alors de déployer l'application. En quelques secondes vous aurez le résultat attendu, en profitant de tout ce qui compose la plateforme Clever Cloud : un maintien en conditions opérationnelles, une gestion des domaines et des certificats TLS, des logs, des métriques, etc.

clever deploy & clever open

Comment sommes-nous parvenus à ce résultat ? Lorsque nous avons imaginé Materia KV, nous avons cherché à créer une base de données clé-valeur différente, complémentaire à notre offre actuelle. Elle est donc distribuée et très résiliente (les données sont écrites au sein de trois de nos data centers sur Paris) mais peut être utilisée de manière quasiment transparente puisqu'elle est compatible avec des écosystèmes existants.

Ainsi, elle supporte actuellement le protocole qui sert de base à Redis et peut être utilisée avec des commandes similaires ou des clients tels que iredis, redis-cli, valkey-cli, des interfaces graphiques, etc. Nous lui ajouterons sous peu Dynamo DB puis GraphQL.

• En savoir plus sur Materia KV

Franken PHP, amélioration du déploiement

Il y a un autre sujet qui nous tenait à cœur: l'intégration de Franken PHP, développé par nos amis et partenaires des Tilleuls. Mixant PHP avec un serveur web Caddy de manière assez élégante et inhabituelle, cette solution permet de penser de manière différente le déploiement des applications PHP, leur configuration et séduit de manière croissante dans cet écosystème qui a largement regagné en vitalité ces dernières années.

Nous l'avons testé sur Clever Cloud, et expliqué à certains clients comment le déployer, via Docker ou de manière native. Nous souhaitions surtout aller plus loin en l'intégrant directement à nos images pour simplifier son usage au sein de notre plateforme. Ce sera bientôt chose faite, grâce au travail mené sur la simplification et la refonte de nos images. Nous en profiterons pour améliorer progressivement notre déploiement de PHP.

Actuellement, nous avons un fonctionnement qui prend en compte toute la "legacy" de ce langage, qui remonte pour certains à des versions 5.x ou 7.x, ce qui peut parfois nous freiner dans les développement que nous aimerions mettre en place. Passé la sortie de PHP 8.4, nous allons figer le fonctionnement "historique" de notre image PHP afin de permettre à nos clients de pouvoir profiter d'une stabilité dans le déploiement de leurs applications.

Mais cela nous permettra surtout de réinventer certaines choses en nous focalisant sur les version de PHP activement supportées, avec une gestion claire du cycle de vie des applications et de nos runtimes. Nous vous détaillerons ce plan un peu plus tard dans l'année.

Rendez-vous au Forum PHP

Vous l'aurez compris, la communauté PHP est importante pour nous. C'est d'ailleurs pourquoi nous sommes partenaires de l'AFUP encore cette année. Ainsi, nous serons présents au Forum PHP 2024 qui se tient ces 10 et 11 octobre à l'hôtel New York de Disneyland Paris. N'hésitez pas à venir échanger avec nous, nous aurons quelques surprises et exclusivités à montrer sur place. Ce sera aussi pour vous l'occasion de nous faire part de vos retours et demandes. Car c'est aussi comme cela que nous voulons construire le futur de Clever Cloud : ensemble.

Une mise à jour mineure, des conséquences plus importantes

L'incident global a commencé après que nous ayons lancé une mise à jour mineure de maintenance d'Apache Pulsar (3.3.1). Elle activait un nouvel algorithme d'équilibrage pour l'optimisation du placement des bundles, qui a causé des problèmes. Nous l'avons rapidement détecté, avons conservé la version 3.3.1 et annulé la configuration défectueuse.

Le problème initial, bien que résolu, a entraîné un conflit de métadonnées. Nous avons dû arrêter tous les brokers de messagerie pour n'en démarrer qu'un seul, afin d'éviter tout conflit de métadonnées entre eux, et avons réussi à revenir à une situation nominale. Mais par la suite, notre infrastructure a subi une pression sur les entrées/sorties (E/S) et la mémoire, provoquant le plantage de certains hyperviseurs.

L'indisponibilité de la couche de messagerie Apache Pulsar a entraîné la mise en mémoire tampon de certains agents de télémétrie sur les machines virtuelles (VM) fonctionnant sur des hyperviseurs (HV). Elle a commencé alors que les endpoints du service de messagerie étaient indisponibles. 

Les limites de nos plus petites machines virtuelles 

Les petites machines virtuelles ont rapidement atteint une limite de mémoire, déclenchant une forte pression sur le noyau. Lorsque cela se produit, le noyau tente de vider la mémoire et les caches, de supprimer les processus de la mémoire pour les charger instruction par instruction à partir du disque. Cela génère une forte pression sur les E/S disque de l'hyperviseur sous-jacent. Quelques minutes après l'augmentation de la charge des HV, nous avons commencé à observer des “paniques” du noyau sur certains d'entre eux.

Les petites machines virtuelles étant réparties globalement entre nos zones de disponibilité, nous nous sommes retrouvés avec une infrastructure de serveurs surchargée. Alors que nous avions besoin du scheduler pour gérer la situation, le control plane ne fonctionnait pas de manière optimale et l'infrastructure avait du mal à fournir les ressources disponibles.

Nous avons donc dû arrêter tous les services non critiques et notre équipe SRE a redéployé une à une les petites machines virtuelles surchargées. Nous avons alors commencé à reprendre le contrôle de tous les hyperviseurs et avons pu ramener notre infrastructure à son état optimal.

Les prochaines étapes

Pour les versions non mineures, nous utilisons un processus de simulation qui émule un environnement complet dans lequel nous injectons des changements. Cela permet de valider les mises à jour et les changements en observant le comportement de l'infrastructure avant de passer en production. Ce processus n'était pas utilisé pour les mises à jour de maintenance mineures ou les (apparemment) petits changements du profil de configuration.

Cet incident nous a beaucoup appris et nous avons identifié quelques domaines de progrès concernant nos images, la configuration et l'intégration des outils, ou la configuration des petites machines virtuelles. Nous avons pris des mesures immédiates et travaillerons sur des sujets plus approfondis dans les semaines à venir. 

Nous nous excusons sincèrement pour les désagréments que cet incident a pu causer. Votre confiance est primordiale pour nous, et nous nous engageons à vous fournir le plus haut niveau de fiabilité de service. Vous pourrez en apprendre plus sur le calendrier et l'analyse technique de l'incident dans notre post-mortem public. 

Si vous avez des questions ou des inquiétudes, n'hésitez pas à contacter notre support.

Ils “poussent” leur code, nous le déployons, tout en assurant la mise à jour et la mise en sécurité de l’environnement dans lequel ils fonctionnent avec un objectif : le maintien en conditions opérationnelles. Quelle que soit la situation, leur service répond.

Penser des services simples, robustes et innovants

Nous le faisons en garantissant une empreinte minimale au sein de nos serveurs, en proposant une mise à l’échelle horizontale/verticale à la demande ou automatique. Nous pouvons ainsi multiplier les instances ou les faire grossir/réduire selon la charge de vos sites. Cette volonté de simplicité va au-delà des applications, puisque nous disposons également d’une large offre de base de données (BDD) “as-a-service” vous permettant de déployer en quelques secondes des environnements MongoDB, MySQL, PostgreSQL ou Redis, avec les mêmes outils et garanties.

Ces dernières années, nous faisions néanmoins face à des demandes récurrentes : outre la volonté de certains de nos clients d’avoir accès à d’autres solutions, ils nous demandaient régulièrement de disposer des avantages de notre infrastructure répartie sur trois datacenters afin d’obtenir des services à haute disponibilité. Mais dans le domaine des BDD, cela n'est pas toujours simple à mettre en place tout en assurant un bon niveau d’automatisation et la cohérence des données. Nous avons donc décidé de développer notre propre gamme de produits pour y parvenir.

Le projet “Materia” était né, reposant sur le moteur transactionnel open source FoundationDB, utilisé, par exemple, par Apple pour ses services iCloud ainsi que par Snowflake. Nous y contribuons et l’adaptons à nos besoins, tout en profitant de son aspect distribué et résilient, notamment du fait de son importante capacité de simulation. Il nous permet d’imaginer un univers entier de solutions serverless, très simples d’usage, facturées à l'usage, avec des couches de comptabilité que nous développons pour permettre à nos clients de lui “parler” en utilisant des protocoles existants  tels que DynamoDB, GraphQL ou PostgreSQL par exemple.

Materia KV accessible à tous

Nous avons commencé par le protocole Redis, afin de mettre en place Materia KV, actuellement en phase de test Alpha. Il s’agit d’une base de données clé-valeur répliquée de manière synchrone sur nos trois datacenters parisiens. Lorsque nos serveurs vous répondent, c’est que votre donnée à été écrite trois fois. Surtout, elle est très simple d’usage : rendez-vous dans notre Console, créez un add-on Materia KV, vous obtiendrez instantanément un jeton (token) utilisable avec n’importe quel client Redis ou même en envoyant des commandes à nos serveurs directement via le protocole TCP.

Ainsi, vous pouvez dès maintenant bénéficier d’une solution pour stocker vos données sous la forme de clé-valeur, en haute disponibilité, sans avoir la moindre instance à configurer, sans tarification minimale mensuelle : vous payerez simplement ce que vous consommez. Surtout, nous assurons ce service en compatibilité avec des protocoles existants. Aujourd’hui Redis, demain DynamoDB et GraphQL. La liste des commandes supportées est disponible ici.

Lancée à Devoxx France mi-avril, Materia KV a fait forte impression sur place et lors de nos démonstrations depuis. Nous avons donc décidé de la rendre accessible à tous afin de permettre à l’ensemble de nos clients et des curieux de nous faire part de leurs retours sur son fonctionnement et de leurs besoins. Si la facturation se fera à l’usage à partir de la phase de Beta, pour le moment, c’est gratuit ! N’hésitez pas à tester et à nous donner votre avis.

Déjà intégré à nos outils et interfaces

Materia KV est bien entendu accessible via un addon-provider au sein de notre API, Terraform (ou OpenTofu par exemple), mais aussi de notre CLI, les Clever Tools. Pour créer un jeton d’accès il suffit de lancer la commande suivante :

clever addon create kv NAME

Cet add-on pourra être lié directement à une application Clever Cloud où ses variables d’environnement seront injectées. Mais vous pouvez également l’utiliser depuis n’importe quel service tiers, un client en ligne de commande (CLI) ou avec interface graphique (GUI).

Alors que le développement de Materia KV et de ses différentes interfaces va se faire sur la durée, nous avons commencé à réfléchir à son intégration au sein des Clever Tools. Ainsi, une branche de test, disponible sous la forme de binaires et documentée, propose une commande clever kv.

Avec elle, vous pouvez directement envoyer des requêtes à Materia KV en ayant la variable d’environnement configurée localement, ou en indiquant un ID dans vos commandes :

# With Bash and Zsh
source <(clever addon env ADDON_ID --export)
# With Fish
clever addon env ADDON_ID --export | source

clever kv PING # PONG
clever kv set yourKey theValue
clever kv get yourKey

Comme cette version de démonstration ne gère pas l’ensemble des commandes gérées par Materia KV, vous pouvez lui envoyer une commande “brute”, elle vous renverra alors la réponse :

clever kv redis_raw 'hset key field1 value1 field2 value2' # 2
clever kv redis_raw 'hget key field2'                      # value2
clever kv redis_raw 'hgetall key'                          # the full hash

Pour démontrer les possibilités d’une telle intégration, vous avez également la possibilité de faire directement des requêtes sur un objet JSON stocké dans une clé :

clever kv set simpleJson '{"key": "value"}' # the set data
clever kv getJson simpleJson key            # value
clever kv set jsonKey '[{"key": "value"}, {"bigKey": {"subKey1": "subValue1","subKey2": "subValue2"}}]'
clever kv getjson jsonKey bigKey.subKey2    # subValue1
clever kv getjson jsonKey ''                # the full JSON

Pour montrer à quel point de telles intégrations sont simples, nous avons mis à votre disposition un client Materia KV écrit en Go en utilisant Go-Redis. Si vous souhaitez plutôt comprendre comment vous pouvez envoyer des commandes et recevoir des réponses de Materia KV directement en TCP, vous trouverez des exemples, en V ou en Ruby.

N’hésitez pas à proposer les vôtres et à nous le faire savoir ;)

Une démonstration sur Twitch de Materia KV, un espace communautaire

Envie d’en savoir plus ? Horacio González, notre DevRel en chef, fera une démonstration sur Twitch mardi 18 juin à 13h15. Pierre Zemb, créateur de Materia chez Clever Cloud, échangera également avec notre CTO Steven Le Roux dans une vidéo publiée fin juin sur la chaîne YouTube de Clever Cloud.

Et pour nous faire part de votre avis, de vos questions et de vos besoins, rendez-vous sur la section dédiée à Materia de notre espace communautaire GitHub.

Clever Functions : WASM au service de la compatibilité et de l’efficacité

Pour cela, nous n’avons pas hésité à créer notre propre couche de virtualisation et d’exécution de fonctions, bas niveau. En effet, nous voulions maintenir nos critères forts d’isolation avec la mise en place de machines virtuelles que nous activons au plus près du CPU. Nous voulions également pouvoir obtenir de bonnes performances tout en nous ouvrant à de nombreux langages, plutôt que de nous contenter de nous reposer sur v8 au risque de nous focaliser presque exclusivement sur JavaScript.

Ainsi, nous avons plutôt opté pour une solution exploitant les possibilités du standard WebAssembly (WASM/WASI), qui peut être utilisé avec de nombreux langages, de Go à Zig en passant par C, Rust ou encore AssemblyScript… et bien entendu JavaScript.

Après une première démonstration réussie de notre Tech Preview à Barcelone à l’occasion de la conférence WASM.io le mois dernier, nous effectuerons de nouvelles démonstration à l’occasion de Devoxx Paris, qui se tient au Palais des congrès du 17 au 19 avril prochain. N’hésitez pas à venir nous en parler et à nous faire connaître votre intérêt pour participer aux prochaines étapes du développement de ce produit, qui sera progressivement ouvert au fil de l’année.

MateriaDB KV : notre révolution distribuée, multi-protocoles, serverless

Autre sujet d’innovation majeur par notre équipe : notre nouvelle offre Materia. Pour cela nous avons conçu nos propres bases de données serverless, reposant sur le moteur transactionnel open source FoundationDB, utilisé, par exemple, par Apple pour ses services iCloud. Nous sommes également  un membre actif de sa communauté, participant au développement de son écosystème. 

Distribuée et robuste, notamment du fait de son importante capacité de simulation, elle nous a permis d’imaginer et de construire toute une gamme de services répondant aux différents besoins exprimés ces dernières années par nos clients. Ce, avec une approche toujours ouverte et résiliente, un déploiement sur plusieurs zones de disponibilité, une compatibilité avec des protocoles et clients existants, une facturation à l’usage.

La première à voir le jour publiquement est Materia KV, qui, comme son nom l’indique, est une base de données de type clé-valeur (key value). Pour en créer au sein de votre compte Clever Cloud, vous n’avez pas de taille d’instance à choisir, de capacité de stockage à anticiper. Nous vous fournissons simplement l’adresse d’un serveur, un port et un token (reposant sur la technologie Biscuit à laquelle nous contribuons activement), c’est prêt à l’emploi !

Vous pouvez ensuite nous envoyer vos clés et leur contenu. Elles seront répliquées de manière synchrone au sein de nos trois datacenters parisiens. Vous n’avez ainsi plus à mettre en place de configuration complexe pour assurer la haute disponibilité ou même d’option à activer. Materia KV est résiliente “by design” ! Et elle s’adapte aux besoins de chacun, puisque sa facturation se fait à l’usage. Ainsi, simples bidouilleurs, développeurs aguerris et grands comptes s’y retrouvent.

Une compatibilité avec l'API Redis… pour commencer

Nous ne voulions pas que cette innovation vous soit proposée au prix d’une complexité de configuration, nécessitant d’utiliser des clients et des ORM particuliers. Ainsi, nous avons développé au sein de Materia KV ses propres couches de compatibilité.

Pour lui “parler”, vous n’avez pas besoin d’une API particulière ou d’outils propres à Clever Cloud. Vous pouvez l’utiliser avec des solutions existantes pour DynamoDB, GraphQL ou encore Redis. Cette dernière inaugure d’ailleurs les couches de compatibilité disponibles dans le cadre de notre phase de test. Elle permet à des clients utilisant une instance Redis pour leur application de migrer vers Materia KV en quelques clics seulement dans leur interface ou via les Clever Tools.

Cette solution sera en démonstration publique pour la première fois à l’occasion de Devoxx Paris, qui se tient au Palais des congrès du 17 au 19 avril prochain. Elle sera ensuite rapidement accessible à tous nos clients en alpha. N’hésitez pas à venir nous en parler et à échanger sur les autres services Materia qui seront proposés dans le courant de l’année.

Nous ferons également la démonstration d’autres nouveautés à venir comme notre solution Keycloak-as-a-Service en partenariat avec Please Open It, et fêteront la mise en ligne de la version 1.0 de notre load balancer maison et open source, développé en Rust: SŌZU !

Pour connaître nos évolutions régulières, pensez à suivre notre Changelog (via son flux RSS), ou ce blog. Mais également à nous suivre sur LinkedIn ou X/Twitter.

Lorsque vous déployez une application chez Clever Cloud, elle n’est pas simplement mise en ligne et maintenue en conditions opérationnelles. Nous la livrons également avec de nombreux services et des fonctionnalités dédiées vous aidant à l’opérer tout au long de son cycle de vie.

Parmi elles, notre stack de logs que nous avons fait évoluer l’année dernière. Elle se repose désormais sur Vector pour son émission, Apache Pulsar pour son ingestion et sa consommation, tout en assurant une isolation entre chaque utilisateur (multi-tenant) et chaque application. Nous avions fait ces choix car la solution précédente avait montré ses limites et nous empêchait de livrer certaines améliorations. Notre objectif était d’améliorer l’expérience de nos utilisateurs à de nombreux niveaux.

Une nouvelle expérience de logs chez Clever Cloud

Dès sa mise en place depuis quelques mois, nous l'utilisons avec succès au sein de notre interface en ligne de commande (CLI), Clever Tools. Vous pouvez y retrouver vos logs en direct, mais aussi télécharger ceux d’une fenêtre de temps précise ou même effectuer un filtrage, avec un résultat pouvant être obtenu dans différents formats. La documentation est ici. Bien entendu, cette fonctionnalité repose sur notre APIv4, elle aussi documentée, par là.

L’étape suivante était l’intégration de cette nouvelle brique technique à la Console. C’était pour nous l’occasion de repenser la section dédiée aux logs afin qu’elle exploite nos Web Components et réponde à nos critères en termes de praticité, de fonctionnalités et d’accessibilité. Notre équipe a donc passé plusieurs mois à la repenser de fond en comble.

Après une phase de tests internes, elle est désormais accessible en bêta à l’ensemble de nos clients. Ils peuvent ainsi la choisir en cliquant sur un simple lien dans l’interface et revenir à l’ancienne quand ils le souhaitent. Notre objectif est d’améliorer de manière continue cette section, puis de l’étendre progressivement à l’ensemble de nos services. Pour partager votre avis, nous avons créé un espace communautaire sur GitHub pour l’occasion:

• Accéder à la Console Clever Cloud
• Donnez votre avis sur notre nouvelle interface de logs

Une multitude de détails…

L’interface précédente vous permettait de naviguer dans vos derniers déploiements et leurs différentes instances une à une. La nouvelle va plus loin puisqu’elle liste par défaut l’ensemble des déploiements et instances d’une application sur les 7 derniers jours. Les logs du dernier déploiement en date seront chargés, mais vous pourrez également ajouter ou retirer ceux de l’instance de votre choix. Chaque déploiement est identifié par le hash du commit du code qui lui est lié, les instances sont numérotées (en cas de scalabilité horizontale).

Vous pouvez réduire la fenêtre de temps à quelques jours ou quelques heures, ou même indiquer manuellement les heures de début et de fin, ce qui est pratique lorsque vous souhaitez une information précise, pour la recherche d’un bug par exemple. Sur cette nouvelle interface de logs, vous disposez également d’un filtre textuel au-dessus de la zone principale. Il évoluera avec la mise en place d’un système d’indexation qui nous ouvrira de nouvelles possibilités en la matière.

Bien entendu, vous pouvez également suivre la publication de vos logs en direct. Ce sera d’ailleurs la section affichée par défaut lorsqu’un déploiement est en cours.

… et de fonctionnalités

La zone principale vous permet une sélection d’une ou plusieurs lignes au clavier et à la souris via la gouttière située à sa gauche, avec la possibilité de copier le résultat dans le presse-papiers tout aussi simplement d’un simple CTRL+C/Cmd+C. En haut à droite vous trouverez un bouton pour mettre la zone en plein écran, un autre pour retourner en bas de vos logs et une zone de paramètres.

Ce panneau n'en est qu'à ses début, mais se veut déjà assez complet et utilise notre nouvelle API de gestion des réglages utilisateur. Elle vous permet de choisir entre différents thèmes clairs/sombres, de retirer les couleurs et codes ANSI, de passer ou non à la ligne, de définir un format pour la date et l’heure, de choisir s’il faut l’afficher sur votre fuseau horaire ou en UTC, distinguer les instances par leur nom, etc. Cela peut bien entendu évoluer, n’hésitez pas à faire des propositions.

Nous évoquerons les futures améliorations au sein de notre Changelog (via son flux RSS), ou sur ce blog pour les prochaines grandes étapes d’ici la disponibilité générale. Pensez également à nous suivre sur LinkedIn ou X/Twitter pour vous tenir informés.

Si Clever Cloud propose des solutions simples et rapides à mettre en œuvre à ses clients, nous avons toujours été attachés au respect des standards et à un Web ouvert, où les clients ne subissent pas de “lock-in”. Développer une application pour notre plateforme ne nécessite pas d’adaptation particulière. Juste quelques paramètres à configurer.

Ainsi, il est simple de déployer un service existant chez Clever Cloud, et à l’inverse d’en partir. Notre objectif n’est pas de retenir nos utilisateurs par des astuces, mais par leur bien-être. Une approche responsable du PaaS et du Cloud qui séduit un nombre croissant de clients mais aussi d’acteurs, incitant le législateur à revoir les textes en la matière.

La simplicité n’est pas l’enfermement

Ainsi, les “egress fees” sont depuis quelques mois sous les feux des projecteurs. Ces frais de trafic sortant sont en effet parfois utilisés, entre autres mécanismes, pour décourager les clients de quitter une offre de services Cloud qui avait parfois été généreusement gratuite à l’entrée.

Nous n’avons jamais caché notre position en la matière : de tels frais ne devraient jamais être utilisés pour retenir les clients. Ils devraient pouvoir partir à tout moment, d’un fournisseur ou d’un service en particulier, sans subir de contrainte démesurée. Ainsi, nous nous sommes toujours déclarés en faveur d’une limitation de ces frais avec des règles identiques pour l’ensemble des acteurs proposant leur offre sur le marché français et/ou européen.

Notre vision est d’ailleurs similaire pour ce qui est des “coupons” de gratuité, parfois distribués de manière excessive, ce qui mène à une distorsion du marché afin de garder des clients captifs, comme nous le constatons depuis des années.

Forts de ce constat, nous avons toujours veillé à ne pas appliquer de frais d’entrée ou de sortie sur nos services. Seule exception : notre offre de stockage objet Cellar (compatible S3), où la bande passante sortante est facturée. Si elle est actuellement en cours de refonte afin de mieux répondre aux besoins de nos clients, avec des évolutions tarifaires au passage, nous avons décidé de concrétiser d’ici là une procédure de sortie simplifiée.

Venez (ou partez) comme bon vous semble

Ainsi, tout client pourra demander à quitter Cellar ou Clever Cloud, via notre support ou un formulaire qui sera disponible sur notre site, afin de ne pas se voir appliquer de frais de sortie. Les modalités exactes de cette procédure seront précisées dans nos conditions générales qui seront mises à jour d'ici peu et pourront alors s’appliquer à tout client qui en ferait la demande.

A contrario, ceux souhaitant bénéficier de nos services, hébergés en France, peuvent être accompagnés dans leur migration depuis une solution tierce. Outre les outils déjà disponibles sur le marché, nous avons d’ailleurs développé notre propre solution d’import massif de données pour certains de nos clients. Et bien entendu, notre équipe commerciale se tient à votre écoute pour toute demande spécifique.

L’objectif de Clever Cloud a toujours été de fournir à ses clients un moyen rapide et simple de déployer des applications, en se basant sur les outils les plus standards possible.

Votre partenaire pour un hébergement efficace

Ils peuvent également bénéficier de nos capacités de mise à l'échelle horizontale et verticale pour s'assurer que les ressources sont allouées au plus près de leur charge, automatiquement si nécessaire, facturées à la seconde.

Tout cela peut se faire depuis notre propre infrastructure dense à Paris ou depuis les datacenters de nos partenaires tels qu'OVHcloud et Scaleway. Ainsi, vous pouvez vous assurer que vous réduisez vos besoins en ressources informatiques, by design.

Mais certains recherchent des solutions encore plus efficaces pour leurs sites web. Ces dernières années, une tendance est apparue pour répondre à cette demande : les générateurs de sites statiques (SSG).

Bien entendu, vous pouvez les déployer sur Clever Cloud !

Déployez n’importe quel site statique sur Clever Cloud

Ils nécessitent très peu de ressources car ils ne s'appuient pas sur une couche logicielle complexe : pas de base de données ou de calculs côté serveur une fois déployés. Dans la plupart des cas, il s'agit simplement de HTML, CSS et JavaScript côté client, générés à partir d'un contenu Markdown, avec un thème/modèle appliqué.

Il existe de nombreux SSG open source sur le marché que vous pouvez utiliser pour des blogs, de la documentation ou des sites marketing par exemple. Nous pouvons les générer pour vous puis déployer et servir leurs fichiers: vous n'aurez besoin ni de GitHub actions ni d'autre CI/CD externe.

Pour vous aider dans cette démarche, nous avons publié des tutoriels avec des exemples sur la manière de déployer un site web statique à l'aide d’Astro, Docusaurus, Eleventy (11ty), Hexo, Hugo, Lume (Deno), MkDocs, mdBook ou Nuxt.

• Nos guides pour déployer des sites statiques sur Clever Cloud

Mais d'autres sont également compatibles ! Vous voulez plus de guides ou de l'aide sur d'autres SSG ? Remplissez simplement une issue : notre documentation est open source, statique, basée sur Hugo avec le thème Hextra. Vous pouvez même y contribuer ;)

Il y a un peu plus de deux ans maintenant, nous avons décidé de renforcer les équipes de Clever Cloud. Notre objectif était alors de mieux accompagner nos clients dans leur croissance, répondre à leurs demandes et finaliser le développement de nouveaux produits de manière plus efficace.

Depuis, nous sommes passés d’une quinzaine de personnes à près d’une soixantaine, avec une approche “remote first” mais tout de même plusieurs bureaux en France : Brest, Nantes, Lille, Lyon, Paris, d’autres étant en cours d’étude. Il s’agit principalement de développeurs et d’ingénieurs, organisés en différents pôles pour traiter de l’ensemble de nos métiers, le “cloud“ couvrant un spectre assez large. Un défi organisationnel, géré par notre CTO Steven Le Roux.

Nous avons également opéré un changement d’ampleur du côté de notre infrastructure : nous ne sommes plus locataires de nos serveurs, nous en sommes propriétaires. Nous avons des contrats directs avec les datacenters (DC) où nous sommes présents sur Paris et nos différents prestataires, avec un contrôle accru sur notre réseau.

Nous avons aussi profité de cette période pour initier un large programme de certification et de qualification de nos pratiques et processus. Depuis l’année dernière nous sommes ainsi certifiés ISO 9001 et nous venons de passer l’audit pour l’ISO 27001 qui devrait nous être confirmée dans les prochaines semaines. Les étapes suivantes sont déjà définies : l’hébergement de données de santé (HDS) puis la qualification SecNumCloud, déjà commencée.

Opérer tous ces changements aura été long et parfois difficile. Nous avons appris tout au long de ce parcours et parfois fait des erreurs. Certains de nos clients ont pu particulièrement le noter depuis la rentrée lorsque nous avons effectué une migration d’ampleur sur l’ensemble de notre infrastructure. Si nous reviendrons plus en détails sur certains sujets lors de prochains billets, voici un premier bilan d’étape de tout ce qui a été entrepris et ce qui s’est (plus ou moins bien) passé.

Trois nouveaux datacenters

L’année dernière nous annoncions la première étape de notre plan : la mise en place de nouveaux serveurs, basés sur le format ouvert OCP et des processeurs AMD EPYC chez Green Data à Nanterre. Outre la mise en place des processus et les aspects contractuels, nous avions ici pour objectif de repenser la manière de déployer et de gérer nos serveurs et une partie de notre réseau. Un sujet sur lequel nous avons travaillé en collaboration avec NVIDIA/Mellanox.

En effet, nos switchs “Top of Rack” (ToR) ne sont pas équipés d’un système d’exploitation sur étagère, avec sa myriade de fonctionnalités et de licences. Nous y installons notre propre OS, basé sur Exherbo Linux et le standard ONIE, où nous déployons notre propre couche logicielle. Le tout est accéléré grâce à switchdev.

Mis en production à la rentrée 2022, ce site nous a permis d’assurer notre croissance. Mais aussi de rencontrer quelques soucis et d’apprendre à les gérer puis à les corriger. De temps à autres, certains de nos hyperviseurs finissaient en “kernel panic” sans raison, ce qui a été corrigé par l’introduction de la version 6.0 du noyau Linux. Nous avions aussi des instabilités réseau, non sur nos ToR mais sur un équipement reliant nos datacenters entre eux, ce qui a retardé la montée en charge sur ce site. Cela n’a pu être le cas que peu avant cet été, le temps que tout soit compris et corrigé.

Confiants sur notre capacité à traiter ces sujets, nous avions décidé en décembre 2022 de dupliquer cette expérience sur deux nouveaux DC, afin qu’ils remplacent à terme les deux où nous étions historiquement présents. Le contrat qui nous liait à notre prestataire prenait fin un peu moins d’un an plus tard et nous faisions face à des désaccords importants sur les termes de son renouvellement. Depuis, nous nous sommes mis en ordre de bataille pour qualifier et commander le matériel, les sites où il sera installé puis passer à la mise en œuvre.

Un travail de plusieurs mois qui a mené cet été à la mise en place de ces deux nouveaux datacenters puis à leur interconnexion et leur configuration, avec là encore une nouveauté qui a son importance : nous y annonçons nos propres IP, travaillant à la fois avec notre partenaire historique sur le réseau mais également des transitaires en contrat direct.

Nous en avons d’ailleurs profité pour revoir toute notre couche DNS afin qu’elle soit plus résiliente, plus rapide en résolution et en update. Chacune de nos régions a maintenant ses propres serveurs DNS répliqués depuis Paris. En cas d’indisponibilité (par exemple suite à une attaque DDoS), les autres régions ne sont plus impactées pour les accès aux enregistrements existants. Chaque région dispose également d’une copie de toute la configuration DNS localement, afin de pouvoir répondre directement. Nous avons aussi revu le modèle de création et de mise à jour d'un enregistrement qui se fait maintenant en moins d’une seconde.

Le temps de la migration

C’est alors qu’est venu le temps de la migration. L’opération peut paraître simple, mais il s’agissait d’un travail titanesque : déplacer l’ensemble de nos clients de nos deux sites historiques parisiens vers nos trois nouveaux sites. Cela avait déjà été fait en partie sur celui de Nanterre depuis sa mise en production, mais pas à une telle échelle.

Il nous a donc fallu renforcer notre outillage afin de disposer du niveau d’automatisation et d’information des clients nécessaire. Mais nous avons surtout dû faire l’inventaire de tout ce qui avait été fait manuellement pour certains clients au fil des années. De quoi occuper certaines de nos équipes, notamment celle en charge des bases de données, pendant plusieurs semaines.

Cela a mené à une phase de préparation qui explique les emails et notifications que vous avez pu recevoir à partir de cet été. Chacun des clients concernés pouvait ainsi déplacer ses services quand il le voulait, avant une date butoir à partir de laquelle nos équipes prenaient cette opération en charge. 

Nous nous sommes ainsi rapprochés d’un grand nombre de nos utilisateurs pour les accompagner dans cette période afin de ne (presque) pas interrompre leurs services. Un travail orchestré par notre chef des opérations, Cédric Biron. 

Si cela s’est globalement bien passé, nous avons pu constater depuis que dans certains cas, cela n’avait pas été suffisant puisque ces alertes envoyées plusieurs fois par e-mail n’ont pas toujours été vues. Nous allons mener une réflexion dans les semaines à venir pour mieux en comprendre les raisons et revoir et améliorer nos processus.

Load balancers : de grandes évolutions pour Sōzu (et quelques accrocs)

Mais depuis le mois d’octobre, nous avons noté un nombre croissant et inhabituel d’instabilités sur la plateforme, concernant une brique critique et habituellement stable : notre load balancer, Sōzu. Ces dernières semaines, nos équipes ont donc investigué afin de comprendre non pas le, mais les problèmes rencontrés par certains clients, qui se sont produits de manière conjointe à la migration sans pour autant y être liés. Désormais, ils sont tous réglés.

Il faut tout d’abord noter que nous avons profité de cette période pour faire faire un bond majeur à Sōzu qui est passé de sa branche 0.13.x à 0.15.x, avec de nombreuses améliorations à la clé, dont sa capacité à nous remonter des métriques, préparer de futures nouveautés comme le support de HTTP/2, etc.

Notre objectif était au départ de nous préparer à certains problèmes que nous nous attendions à rencontrer avec une charge plus importante du trafic ou une croissance des flux chiffrés, mais également de renforcer la sécurité de cet outil. Néanmoins, certains effets de bord ont mal été anticipés.

Sur ce dernier point notamment, nous avions initialement décidé de passer de clés RSA sur 2048 bits à 4096 bits pour disposer d’un chiffrement plus fort sans impact sur la compatibilité pour nos clients. Mais une fois cette amélioration mise en place, les ressources consommées et le délai de traitement des requêtes ont explosé. Le temps de trouver l’origine du souci et de revenir à la configuration initiale, le mal était fait.

Depuis, nous avons retravaillé ce point et planifions de passer à des clés ECDSA. Leur support est d’ores et déjà actif dans Sōzu mais ne sera déployé au sein de nos services qu’après une étude de l’impact et une communication auprès de nos clients qui pourront s’assurer que cela ne leur posera pas de souci, avec des moyens de contournement si jamais cela était le cas. Nous avons d’ailleurs rencontré un problème similaire avec la gestion de ciphers plus modernes mais qui posaient des soucis de compatibilité à certains clients. Nous leur avons depuis proposé des load balancers dédiés, gérant les anciens ciphers, leur permettant d’adapter progressivement leurs applications.

D’autres changements ont pu impacter des clients lorsqu’il y avait par exemple des caractères non conformes au standard dans certains headers. Lors de cette montée en version, nous avons rencontré un “double bug“ qui nous a pris du temps à comprendre et à corriger et nous avons parfois rencontré des problèmes dans nos processus de mise en production qui ont pu impacter nos clients de manière excessive par rapport à nos standards de qualité habituels.

Là aussi, nous avons depuis renforcé nos processus, tant sur la préparation de la mise en production de nouvelles versions que l’information des clients sur les nouveautés qui peuvent potentiellement les impacter. Le monitoring complet mis en place durant cette période nous a confirmé ces dernières semaines que l’ensemble des sujets étaient réglés et que même s’il reste quelques améliorations à faire ici ou là, plus aucun incident ne nous a été signalé.

Nous allons ainsi pouvoir nous concentrer sur la suite, avec notamment la mise en API de nombreuses fonctionnalités liées à la gestion des domaines et de l’accès à vos applications. Nous vous en reparlerons très bientôt.

Une nouvelle stack de logs

Les plus attentifs auront remarqué que d’autres éléments ont évolué de manière plus ou moins visible ces derniers mois, là aussi grâce au travail de nos équipes pour moderniser des pans entiers de notre infrastructure. Ainsi, un nouveau cluster Pulsar a été mis en production, permettant notamment de revoir complètement notre expérience des logs.

Cela fait quelques temps maintenant que cette fonctionnalité a été introduite dans notre CLI, les Clever Tools, avec un affichage désormais systématiquement ordonné des logs, la gestion des couleurs et émojis, ou la possibilité de filtrer par date/heure. Des améliorations fonctionnelles sont encore en cours sur ce sujet et une nouvelle interface est en préparation au sein de la console pour vous permettre de mieux consulter les logs de vos applications.

Il en sera de même pour les logs d’accès dans un second temps, une adaptation du fonctionnement de Sōzu étant en cours pour les traiter avec un bon niveau de performance (via Protobuf).

La mise en place de ce nouveau cluster nous permettra par ailleurs de sortir Pulsar de son statut “Beta”. Nous détaillerons le plan pour sa disponibilité générale en version finale dans les prochaines semaines.

Une nouvelle fondation pour notre data

Autre sujet de fond, peu visible mais pas sans conséquences : la mise en production de notre premier cluster serverless basé sur FoundationDB. Il a pris la suite de HBase que nous avons remercié lors d’une cérémonie d’adieu organisée dans nos bureaux de Brest un soir pluvieux du mois d’octobre.

Jusqu’alors, nos métriques et données de facturation reposaient sur cette technologie de stockage qui nécessitait une centaine de machines. Mais cela nous posait des problèmes opérationnels et montrait ses limites en termes d’évolutions possibles. Lors de discussions avec les équipes de SenX, à l’origine du projet open source Warp 10, nous avons constaté qu’ils rencontraient des problématiques similaires. Nous avons alors travaillé ensemble, ce qui a mené à la version 3.0 de Warp 10 nous permettant de construire un backend de stockage fonctionnant de pair avec notre nouveau cluster, avec succès.

FoundationDB sera au cœur de certains de nos nouveaux produits. Elle est d’ores et déjà utilisée pour les démonstrateurs de nos futures offres de store Key/Value (compatible Redis) ainsi que le stockage de secrets (compatible Vault)... entre autres. Des solutions en cours de test en interne et avec certains clients.

Nous ouvrirons peu à peu les vannes à ceux voulant tester ces solutions courant 2024, avec des démonstrations prévues sur les différents salons où nous serons présents.

De meilleurs Clever Tools

Bien entendu, une offre de cloud n’est rien sans ses interfaces. Outre le travail d’amélioration continue faite par notre équipe en charge de la Console, qui vient par exemple de passer à la v12 de nos Web Components, nous avons remis en place une équipe chargée de l’évolution et de la documentation de notre CLI, les Clever Tools.

Un nouveau processus de déploiement vient d’être finalisé et sera utilisé pour leur prochaine version, de nombreuses nouveautés étant prévues dès le début de l’année 2024. Cette structuration nous permettra de proposer des évolutions plus régulières, cohérentes avec les remontées des clients et de mieux gérer les participations externes (issues, PR, etc).

Des retouches un peu partout

Nous avons d’ailleurs revu complètement notre site internet après l’été, avec une nouvelle interface pour notre documentation, qui va progressivement être complètement retravaillée, guides et tutoriels à la clé.

Notre équipe en charge des images a elle aussi revu de manière profonde le processus de leur conception afin d’en simplifier la mise à jour, mais surtout disposer d’une base commune à l’ensemble de nos runtimes, nous permettant de les rendre plus flexibles et d’en proposer de nouveaux dans les mois à venir. Là aussi, nous avons revu la question de l’organisation de nos équipes et la gestion du cycle de vie afin que chaque runtime soit désormais traité par des personnes identifiées, qui feront le lien entre la manière dont nous déployons les applications et les communautés respectives.

Une part croissante de nos API migre en /v4, pour nos usages internes, mais aussi pour répondre aux besoins de nos clients qui intègrent Clever Cloud à leurs produits et interfaces. La documentation des nouveaux endpoints est en cours. Cette année, nous avons d’ailleurs commencé à supporter Terraform, avec une volonté d’aller plus loin dans le domaine de l’Infrastructure-as-Code et la gestion de tels outils dans le courant de l’année qui vient.

Ces derniers mois, nous avons également livré un support préliminaire de Tailscale, une offre Clever Edge 4G/5G à certains clients, commencé à en embarquer d’autres sur notre offre FaaS reposant sur WASM, etc.

What’s Next ?

Nos plans pour la suite restent ainsi inchangés, et maintenant que cette phase de migration et de consolidation est derrière nous, ils vont pouvoir s’accélérer : continuer à itérer pour améliorer notre plateforme, avancer sur la livraison des produits actuellement en test, livrer une version préliminaire de nos Networks Groups, préparer le terrain pour l’arrivée d’une offre IaaS et Kubernetes “by Clever Cloud” et continuer à nous occuper au mieux de nos clients, nos premiers partenaires.

D’ailleurs, nous enregistrons l’épisode 100 de notre podcast Message à caractère informatique (MACI) le 16 janvier au Palace à Nantes, en public. Vous êtes cordialement invités à venir échanger avec nos équipes pour parler du futur de notre plateforme et comment elle peut répondre mieux à vos besoins. Tout comme nous serons présents sur de nombreux salons dès les premières semaines de l’année 2024.