Retour aux fondamentaux avec ce premier article d’une nouvelle série. Découvrons ensemble le fonctionnement du cloud computing, ses différentes architectures (public, privé, hybride), ses nombreux avantages pour les entreprises ainsi que les différences entre cloud computing, edge computing, et on-premise pour vous aider à choisir la solution la plus adaptée à vos besoins.

Cloud computing : définition et origines

Le cloud computing a profondément transformé la manière dont les entreprises et les particuliers accèdent aux ressources informatiques. L'idée est simple mais novatrice : plutôt que de posséder et de gérer ses propres serveurs et centres de données, l'utilisateur peut désormais accéder à des services informatiques à la demande, via un réseau. Ces services incluent la puissance de calcul, le stockage de données, et parfois même la gestion de bases de données, offrant une flexibilité et une accessibilité jusqu’alors inédites. Une idée qui ne date d’ailleurs pas d’hier…

L’évolution de l’« informatique en nuage »

Le concept de l’informatique en nuage, plus connu sous le nom de cloud computing, bien que largement popularisé au début des années 2000, puise ses racines dans les années 1960. À cette époque, des pionniers de l'informatique envisageaient déjà l'idée de rendre la puissance de calcul accessible comme d’utilité publique. Durant les années 1990, les schémas réseaux ont commencé à utiliser l'image d'un "nuage" pour représenter Internet, symbolisant la complexité et l'interconnexion des réseaux qui permettent aujourd'hui au cloud computing de fonctionner comme une architecture mondiale et flexible.

La véritable force du cloud réside dans sa capacité à fournir des ressources informatiques distantes et évolutives, permettant aux entreprises de simplifier la gestion de leur infrastructure, d'éviter le gaspillage de ressources, et d'améliorer l'efficacité énergétique à travers trois piliers :

• Unification de la facturation : Le cloud propose un système de facturation unique qui simplifie la gestion des coûts pour les entreprises. Cette transparence permet de suivre précisément les dépenses et d'optimiser les coûts ;
• Accès centralisé et sécurisé : Le cloud offre une interface unique qui simplifie l'accès aux services, tout en centralisant la gestion. Les systèmes IAM (Identity and Access Management) assurent une sécurité renforcée avec des outils d'auditabilité pour une meilleure conformité ;
• Marketplace riche et diversifiée : Le cloud met à disposition une vaste place de marché, permettant aux entreprises d'accéder à un large éventail de produits et services. Cette diversité favorise la flexibilité et la scalabilité des solutions déployées.

Comment définir simplement le cloud computing ?

En termes simples, le cloud computing se définit comme l'accès à distance à des ressources informatiques partagées, sans la complexité de gérer l'infrastructure physique sous-jacente. Cette approche permet aux entreprises d'investir à long terme dans la pérennité de la gestion et de l'hébergement de leurs données, tout en leur offrant la flexibilité nécessaire pour ajuster rapidement leurs capacités selon leurs besoins. Par exemple, Clever Cloud automatise cette scalabilité, optimisant les ressources en temps réel pour répondre à la demande.

Comment fonctionne le cloud computing ?

Reposant sur un modèle de services informatiques via réseaux, le cloud permet aux entreprises d'accéder à des ressources telles que le stockage de données, la puissance de calcul, et l’accès à un catalogue d’applications en ligne, sans la nécessité de gérer directement l'infrastructure matérielle. Cette approche offre une flexibilité accrue, une optimisation des coûts, et une efficacité opérationnelle qui favorisent l'innovation.

Les éléments clés du fonctionnement du cloud

Plusieurs éléments fondamentaux assurent l’efficacité et l’évolutivité du cloud. Voici un aperçu des éléments clés qui le composent.

L'infrastructure matérielle

Au cœur du cloud, se trouve une infrastructure physique composée de serveurs, de systèmes de stockage, et de réseaux interconnectés. Ces infrastructures sont présentes dans des centres de données répartis à travers le monde, promettant une très haute disponibilité, une sécurité renforcée, et une performance optimale. Les fournisseurs de cloud comme Clever Cloud investissent massivement pour maintenir des standards de qualité élevés, vérifiés à travers différentes certifications.

La virtualisation

Ce principe fondamental permet de créer des versions virtuelles de ressources physiques, comme des serveurs ou des systèmes de stockage. La virtualisation améliore l'efficacité en permettant à plusieurs utilisateurs ou applications d'exploiter les mêmes ressources de manière optimisée : les fameuses Virtual Machines (VM) . Cette technologie simplifie également la gestion et réduit les coûts d'exploitation en déconnectant l'infrastructure matérielle de l'expérience utilisateur.

Les interfaces d'accès et API

Les interfaces des services cloud sont conçues pour être sécurisées et performantes, facilitant la gestion des ressources et le déploiement d'applications. Les API offrent aux administrateurs systèmes, DevOps et développeurs la possibilité d'automatiser et d'intégrer des services cloud dans leurs propres systèmes, maximisant ainsi la personnalisation, l'efficacité, la flexibilité et élargissant les fonctionnalités possibles.

Les différentes architectures cloud : public, privé et hybride

Chaque architecture cloud présente ses propres avantages et s'adresse à des besoins différents. La clé est de choisir celle qui s'aligne le mieux avec les objectifs stratégiques et les contraintes opérationnelles propres à votre organisation.

Cloud public : l’accessibilité et scalabilité simplifiées pour l’hébergement de données

Le cloud public est l'architecture la plus courante. Ici, les ressources informatiques y sont hébergées sur des serveurs appartenant à des fournisseurs de services cloud, comme Clever Cloud. Ces services sont accessibles via réseau, offrant une solution évolutive et particulièrement scalable, capable de s'adapter rapidement aux besoins changeants des entreprises.

Le cloud public propose différents niveaux de services, allant de l'Infrastructure as a Service (IaaS) à la Platform as a Service (PaaS), en passant par le Software as a Service (SaaS). Cette diversité permet aux entreprises de choisir la solution la plus adaptée à leurs besoins, tout en bénéficiant de l'absence d'investissement initial dans l'infrastructure.

Cloud privé : l’hébergement de données contrôlé et sécurisé

Le cloud privé est une solution dédiée à une seule organisation, par définition. Contrairement au cloud public, les serveurs du client lui sont dédiés. Il s’agit souvent d’une zone d’hébergement derrière le pare-feu du client, mise à disposition par un fournisseur de cloud. Cette architecture offre un contrôle total sur les données et une sécurité renforcée, ce qui est idéal pour les secteurs soumis à des régulations strictes (financier, santé, pharmaceutique, public, défense, juridique, industriel, etc.). Le cloud privé permet une personnalisation accrue de l’architecture d’hébergement de données, adaptée aux besoins spécifiques de l'entreprise.

Cloud hybride : ne pas mettre tous ses œufs dans le même panier

Le cloud hybride permet de gagner en résilience en combinant les avantages du cloud public et privé. En diversifiant les environnements, les entreprises évitent de mettre tous leurs œufs dans le même panier. Par exemple, elles peuvent stocker leurs données sensibles dans un cloud privé tout en utilisant un cloud public pour les sauvegardes ou les charges de travail moins critiques. Cela permet de basculer d'un environnement à l'autre selon les besoins en termes de performance, de coût ou de sécurité. Cependant, avec les frais de sortie (egress fees) élevés des hyperscalers, cette approche peut devenir coûteuse.

En réalité, le cloud hybride est déjà une pratique courante, souvent sans que les entreprises en aient pleinement conscience. Depuis la démocratisation du SaaS, la majorité des applications ne sont plus uniquement en on-premise, mais reposent sur un mix de cloud public, cloud privé et services SaaS.

Quels sont les différents types de cloud computing ?

Le cloud computing est divisé en plusieurs catégories principales : Infrastructure as a Service (IaaS), Platform as a Service (PaaS), Software as a Service (SaaS) et le Function as a Service (FaaS). Chaque type offre des niveaux de contrôle, de flexibilité et de gestion différents, permettant à chacun de choisir celui qui répond le mieux à ses besoins.

Infrastructure as a Service (IaaS) pour une personnalisation  maximale

L'Infrastructure as a Service (IaaS) est historiquement le modèle le plus répandu du cloud computing. Avec l'IaaS, les entreprises louent des ressources informatiques telles que des serveurs, des machines virtuelles, du stockage et des réseaux directement auprès d'un fournisseur de services cloud.  Les clients  s’occupent du maintien en conditions opérationnelles de leur OS, des bases de données, des runtimes, etc. grâce à des administrateurs systèmes, présents en interne ou chez un infogéreur. Cela permet aux entreprises d’avoir une architecture spécifique répondant à leur besoin. 

Platform as a Service (PaaS) pour un déploiement rapide et une mise à jour automatique

Le Platform as a Service (PaaS) va un cran plus loin que l'IaaS en fournissant un OS, le middleware,  une console permettant de facilement déployer des runtimes voire même des bases de données ou des services tiers, que l’on appelle add-ons. Le client n’a plus à se préoccuper du maintien en condition opérationnelle (MCO), c’est à la charge du fournisseur de cloud. 

Les solutions PaaS facilitent le déploiement rapide des applications, tout en assurant la maintenance et la mise à jour automatiques de l'infrastructure. Avec des outils de développement intégrés et une architecture modulable, Clever Cloud simplifie le travail des développeurs et des DevOps en leur offrant un environnement prêt à l'emploi pour accélérer l'innovation : déployez du code, on se charge du reste ! 

Software as a Service (SaaS) pour plus de simplicité

Le Software as a Service (SaaS) est le modèle le plus courant du cloud computing. Les applications SaaS sont hébergées et gérées par des fournisseurs de services, permettant aux utilisateurs d'y accéder via Internet, généralement sur abonnement. Ce modèle élimine le besoin d'installer et de maintenir des logiciels localement, ce qui réduit les coûts et la complexité technique.

Le SaaS est particulièrement utile pour les entreprises cherchant à standardiser leurs outils logiciels sans investir dans l'infrastructure IT. Par exemple, les outils de collaboration, les systèmes de gestion de la relation client (CRM) et les suites bureautiques sont souvent déployés sous forme de services SaaS pour une simplicité maximale.

Functions as a Service  (FaaS) pour une grande agilité

Le Functions as a Service (FaaS), est une évolution du modèle PaaS qui permet aux développeurs de créer et de déployer des fonctions individuelles sans se soucier de la gestion des serveurs. Le fournisseur de cloud s'occupe de l'ensemble de l'infrastructure, de la mise à l'échelle et de la gestion des ressources, ne facturant que le temps d'exécution des fonctions.

Les fonctions sont déclenchées suite à des événements définis à l’avance, permettant à la fonction de lancer son action (traitement d’une image, conversion d’un fichier, etc.) et donc de s’allumer, d’être active le temps de l’action puis de s'éteindre. services pour des questions économiques. Le FaaS est souvent complémentaire d’un PaaS. 

Quels sont les avantages du cloud computing ?

Que ce soit en matière de scalabilité et de sécurité, le cloud offre de nombreux bénéfices pour les organisations qui décident de l’adopter, dont voici les principales.

Optimisation des coûts : une approche stratégique plutôt que de simples économies

Le cloud computing peut répondre à une stratégie financière, notamment en transformant les dépenses d'investissement (CAPEX) en dépenses opérationnelles (OPEX). Cette transition budgétaire permet aux entreprises d’externaliser leurs coûts initiaux liés à l'infrastructure informatique (achat des serveurs, entretiens des datacenters, maintenance, gestion de la fibre, recrutement d’une équipe dédiée, etc.). Les organisations peuvent adopter un modèle de paiement à l'usage, ajustant ainsi leurs dépenses en fonction de leurs besoins réels. Certains hyperscalers vont tout de même proposer de payer des instances réservées, qui seront à payer même si elles ne sont pas utilisées mais il ne s'agit pas de la majorité des usages. 

Scalabilité : le cloud s’adapte à vos besoins

Que ce soit pour augmenter la capacité de traitement lors d'un pic d'activité ou pour réduire les ressources pendant les périodes creuses, le cloud se veut flexible et scalable à la demande, grâce à des sondes et des orchestrateurs. Cette réactivité garantit une utilisation optimale des ressources et offre aux entreprises une agilité accrue pour faire face aux évolutions du marché et de la demande. Chez Clever Cloud, la scalabilité est automatique, ce qui signifie qu’elle s’adapte en temps réel à vos besoins et vous permet de ne payer que ce que vous consommez réellement.

Sécurité : un pilier capital pour les entreprises

Le cloud computing améliore grandement la sécurité de vos données. Les clouds providers investissent, assurent une veille constante et ont pour rôle d’avertir leur clients ou de mettre à jour les zones exposées. Le stockage dans le cloud et ses sauvegardes permettent une grande résilience. Il est facilement possible d’accéder aux  données sauvegardées ou de lancer un PRA ou un PCA. Chez Clever Cloud, nous allons même plus loin : nos bases de données Materia sont automatiquement répliquées sur  nos trois datacenters parisiens, ce qui vous assure une grande tranquilité d’esprit. Autre point capital : de nombreuses certifications de sécurité peuvent être demandées lorsque l’on héberge des données critiques ou personnelles. Les fournisseurs de clouds s’engagent à les respecter. 

Accessibilité : l’instantané comme répondre aux nouvelles tendances de travail

Le cloud computing favorise l’accessibilité à vos données, permettant à vos équipes de collaborer efficacement, peu importe leur localisation. Les données et les applications hébergées dans le cloud peuvent être disponibles 24/7. Ce qui facilite le télétravail, accélère les processus de prise de décision et améliore la productivité des équipes, tout en garantissant une synchronisation en temps réel des informations.

Mises à jour automatiques et maintien en condition opérationnelle

Avec le cloud computing, les mises à jour logicielles et les correctifs de sécurité sont automatiquement gérés par le fournisseur, sans intervention de l'équipe informatique du client. Cela permet non seulement de réduire la charge de travail interne, mais aussi de garantir que les systèmes n’ont pas de failles de sécurité.

Qui utilise le cloud computing ?

Le cloud computing est désormais une composante essentielle pour les entreprises de toutes tailles et de tous secteurs. Son adoption massive est motivée par l'externalisation de la gestion et du MCO, par l’unification des coûts et par l’accès à une marketplace.  Que ce soit pour le stockage et la sauvegarde de données, l'analyse de Big Data, l’hébergement de serveurs mails ou encore le développement et le déploiement d'applications web, le cloud est devenu incontournable pour répondre aux exigences croissantes du marché.

À titre d’exemple, les organisations du secteur financier utilisent le cloud computing pour détecter et prévenir les fraudes en temps réel, en s'appuyant sur des algorithmes de machine learning et des analyses prédictives. Les entreprises de santé, quant à elles, exploitent ces technologies pour offrir des traitements plus personnalisés, améliorant ainsi la qualité des soins pour leurs patients. Le secteur du divertissement et les créateurs de jeux vidéo s'appuient sur le cloud pour diffuser leurs contenus à des millions d'utilisateurs dans le monde entier, garantissant une expérience fluide et immersive.

Mais cette technologie n'est pas réservée aux grandes entreprises : PME, startups, freelance et particuliers adoptent également le cloud pour bénéficier d'une infrastructure évolutive sans avoir à supporter les coûts élevés liés aux datacenters physiques. En optant pour ces solutions, elles peuvent se concentrer sur leur besoin.

Quelles sont les utilisations du cloud computing ?

Le cloud computing offre une multitude d'utilisations pour les entreprises et les particuliers, dont voici les principales.

Stocker et sauvegarder des données

Le cloud permet aux entreprises de protéger leurs informations tout en bénéficiant d'une grande capacité de stockage, et ce, tout en gardant un contrôle sur la facturation. Les données peuvent être facilement accessibles depuis n'importe quel appareil connecté, ce qui facilite la récupération en cas de problème technique.

Héberger des applications, des sites web

L'hébergement d'applications et de sites web est une autre utilisation clé du cloud computing permettant de créer et déployer des applications tout en bénéficiant d’une grande scalabilité. Les développeurs bénéficient ainsi d'une solution fiable pour offrir une expérience utilisateur fluide et performante.

Diffuser des logiciels et des contenus as a service

Le cloud computing facilite également le développement de logiciels et de contenus sous forme de services (SaaS). Ce modèle réduit les besoins en installations locales et permet aux entreprises de proposer des mises à jour régulières sans interruption de service, accessible à tout moment et sur tout type d’appareil. Elles peuvent se concentrer sur l'amélioration continue de leurs produits tout en simplifiant la gestion des versions logicielles.

Analyse de données et intelligence artificielle (IA)

L'analyse de données et l'intégration de l'intelligence artificielle (IA) sont rendues possibles grâce aux capacités et performances du cloud computing. Les entreprises peuvent centraliser leurs données dans des systèmes cloud, comme des datalakes ou des data warehouse  et utiliser et entraîner des services de machine learning pour en extraire des éléments souhaités. Ces technologies aident à développer des modèles prédictifs, à automatiser des processus, générer du texte ou des images , etc.

Test et développement d'applications

Le cloud est également un outil puissant pour le test et le développement d'applications. Grâce à la standardisation des environnements de tests, il est désormais possible d’obtenir des espaces dédiés en quelques clics, et permet aux équipes de développeurs de gagner du temps. Les infrastructures cloud offrent une forte flexibilité pour créer, tester et déployer des applications tout en facilitant l'intégration continue et le déploiement continu (CI/CD). Cette approche accélère le cycle de développement et permet aux entreprises de réduire leur time to market.

Edge computing et cloud computing : les différences

Le cloud computing et l'edge computing sont deux architectures distinctes qui répondent à des besoins différents. Alors que le cloud computing centralise les ressources et les traitements dans de grands datacenters, l'edge computing déplace ces opérations au plus près des sources de données grâce à des infrastructures de petites tailles.

Cette approche permet à l'edge computing de réduire la latence et d'améliorer la rapidité de traitement, un atout essentiel pour des applications telles que l'Internet des objets (IoT), les véhicules autonomes et la réalité augmentée. Le choix entre ces deux technologies dépend souvent du contexte et des exigences de performance, de sécurité et de connectivité. L’edge computing permet aussi de proposer une architecture hybride, qui peut prendre le relai en cas de problématique de disponibilité.

Le cloud computing se distingue par sa capacité à offrir des ressources évolutives et mutualisées, accessibles via Internet, ce qui en fait une solution idéale pour des applications nécessitant une grande puissance de calcul et de stockage. En revanche, l'edge computing privilégie un traitement local pour des réponses en temps réel, réduisant ainsi les dépendances vis-à-vis de la connectivité réseau.

Quand choisir l’edge computing plutôt que le cloud computing ?

Choisir entre edge computing et cloud computing dépend de plusieurs facteurs clés :

• Réactivité et faible latence : L'edge computing est la meilleure solution lorsqu'une réponse instantanée est cruciale. Par exemple, pour les systèmes de contrôle industriel ou les véhicules autonomes, chaque milliseconde compte. Le traitement local des données par l'edge computing réduit les délais et améliore la fiabilité des opérations ;
• Volume de données à traiter : Lorsque le volume de données généré est trop important pour être transféré rapidement vers un datacenter central, l'edge computing devient indispensable. Il permet de filtrer et de traiter les données à la source, minimisant ainsi le trafic réseau et optimisant l'utilisation de la bande passante ;
• Environnements isolés ou à connectivité limitée : Dans des zones où la connexion à Internet est instable ou inexistante, l'edge computing assure le traitement des données sans interruption. Cela en fait une solution idéale pour des sites distants, comme les installations industrielles ou les infrastructures critiques ;
• Sécurité et confidentialité des données : L'edge computing offre un niveau de sécurité supplémentaire en traitant les données localement, ce qui limite leur exposition aux cybermenaces potentielles. Ce point est particulièrement important pour les secteurs sensibles, comme la santé ou les services financiers.

Ainsi, bien que le cloud computing soit adapté aux tâches nécessitant de vastes ressources et une accessibilité globale, l'edge computing s'impose dans les contextes où la rapidité, la localité et la sécurité des données sont primordiales.

On-premise et cloud computing : les différences

L’évolution des infrastructures informatiques a mené à deux principales approches : le on-premise et le cloud computing. Ces deux solutions présentent des différences fondamentales en termes de déploiement, de gestion, de coûts et d'évolutivité. Le on-premise implique d’acheter, d'installer et de gérer le matériel et les logiciels directement sur les serveurs de l'entreprise grâce à une équipe formée, offrant ainsi un contrôle total sur les données, le réseau et la sécurité. En revanche, le cloud computing repose sur l’externalisation de ces tâches afin de laisser l’entreprise se concentrer sur son cœur de métier.

Quand choisir du on-premise plutôt que le cloud computing ?

Opter pour une infrastructure on-premise peut être un choix stratégique, tant d’un point de vue budgétaire, technique que RH. Si l’entreprise souhaite payer et amortir ses investissements, contrôler l’ensemble de la chaîne de valeurs  et est en capacité de recruter et garder ses talents, le choix de l’on-premise peut à fait lui convenir. Si elle souhaite se concentrer sur son coeur de mieux, elle se tournera plus facilement vers le cloud computing afin d’externaliser cette charge à un prestataire dont c’est le métier. 

Le futur du cloud computing

Le cloud computing continue d'évoluer à une vitesse fulgurante, et son potentiel ne cesse de se développer. Nous sommes à l'aube d'une ère où les technologies de pointe comme l'intelligence artificielle (IA), l'informatique quantique et l'edge computing vont redéfinir les paradigmes actuels du cloud. Ce futur promet une intégration accrue des plateformes low-code et no-code, ainsi qu'une adoption massive de l'Internet des Objets (IoT), permettant aux entreprises et développeurs de concevoir des solutions innovantes sans forcément bénéficier d’une expertise technique avancée.

Ils “poussent” leur code, nous le déployons, tout en assurant la mise à jour et la mise en sécurité de l’environnement dans lequel ils fonctionnent avec un objectif : le maintien en conditions opérationnelles. Quelle que soit la situation, leur service répond.

Penser des services simples, robustes et innovants

Nous le faisons en garantissant une empreinte minimale au sein de nos serveurs, en proposant une mise à l’échelle horizontale/verticale à la demande ou automatique. Nous pouvons ainsi multiplier les instances ou les faire grossir/réduire selon la charge de vos sites. Cette volonté de simplicité va au-delà des applications, puisque nous disposons également d’une large offre de base de données (BDD) “as-a-service” vous permettant de déployer en quelques secondes des environnements MongoDB, MySQL, PostgreSQL ou Redis, avec les mêmes outils et garanties.

Ces dernières années, nous faisions néanmoins face à des demandes récurrentes : outre la volonté de certains de nos clients d’avoir accès à d’autres solutions, ils nous demandaient régulièrement de disposer des avantages de notre infrastructure répartie sur trois datacenters afin d’obtenir des services à haute disponibilité. Mais dans le domaine des BDD, cela n'est pas toujours simple à mettre en place tout en assurant un bon niveau d’automatisation et la cohérence des données. Nous avons donc décidé de développer notre propre gamme de produits pour y parvenir.

Le projet “Materia” était né, reposant sur le moteur transactionnel open source FoundationDB, utilisé, par exemple, par Apple pour ses services iCloud ainsi que par Snowflake. Nous y contribuons et l’adaptons à nos besoins, tout en profitant de son aspect distribué et résilient, notamment du fait de son importante capacité de simulation. Il nous permet d’imaginer un univers entier de solutions serverless, très simples d’usage, facturées à l'usage, avec des couches de comptabilité que nous développons pour permettre à nos clients de lui “parler” en utilisant des protocoles existants  tels que DynamoDB, GraphQL ou PostgreSQL par exemple.

Materia KV accessible à tous

Nous avons commencé par le protocole Redis, afin de mettre en place Materia KV, actuellement en phase de test Alpha. Il s’agit d’une base de données clé-valeur répliquée de manière synchrone sur nos trois datacenters parisiens. Lorsque nos serveurs vous répondent, c’est que votre donnée à été écrite trois fois. Surtout, elle est très simple d’usage : rendez-vous dans notre Console, créez un add-on Materia KV, vous obtiendrez instantanément un jeton (token) utilisable avec n’importe quel client Redis ou même en envoyant des commandes à nos serveurs directement via le protocole TCP.

Ainsi, vous pouvez dès maintenant bénéficier d’une solution pour stocker vos données sous la forme de clé-valeur, en haute disponibilité, sans avoir la moindre instance à configurer, sans tarification minimale mensuelle : vous payerez simplement ce que vous consommez. Surtout, nous assurons ce service en compatibilité avec des protocoles existants. Aujourd’hui Redis, demain DynamoDB et GraphQL. La liste des commandes supportées est disponible ici.

Lancée à Devoxx France mi-avril, Materia KV a fait forte impression sur place et lors de nos démonstrations depuis. Nous avons donc décidé de la rendre accessible à tous afin de permettre à l’ensemble de nos clients et des curieux de nous faire part de leurs retours sur son fonctionnement et de leurs besoins. Si la facturation se fera à l’usage à partir de la phase de Beta, pour le moment, c’est gratuit ! N’hésitez pas à tester et à nous donner votre avis.

Déjà intégré à nos outils et interfaces

Materia KV est bien entendu accessible via un addon-provider au sein de notre API, Terraform (ou OpenTofu par exemple), mais aussi de notre CLI, les Clever Tools. Pour créer un jeton d’accès il suffit de lancer la commande suivante :

clever addon create kv NAME

Cet add-on pourra être lié directement à une application Clever Cloud où ses variables d’environnement seront injectées. Mais vous pouvez également l’utiliser depuis n’importe quel service tiers, un client en ligne de commande (CLI) ou avec interface graphique (GUI).

Alors que le développement de Materia KV et de ses différentes interfaces va se faire sur la durée, nous avons commencé à réfléchir à son intégration au sein des Clever Tools. Ainsi, une branche de test, disponible sous la forme de binaires et documentée, propose une commande clever kv.

Avec elle, vous pouvez directement envoyer des requêtes à Materia KV en ayant la variable d’environnement configurée localement, ou en indiquant un ID dans vos commandes :

# With Bash and Zsh
source <(clever addon env ADDON_ID --export)
# With Fish
clever addon env ADDON_ID --export | source

clever kv PING # PONG
clever kv set yourKey theValue
clever kv get yourKey

Comme cette version de démonstration ne gère pas l’ensemble des commandes gérées par Materia KV, vous pouvez lui envoyer une commande “brute”, elle vous renverra alors la réponse :

clever kv redis_raw 'hset key field1 value1 field2 value2' # 2
clever kv redis_raw 'hget key field2'                      # value2
clever kv redis_raw 'hgetall key'                          # the full hash

Pour démontrer les possibilités d’une telle intégration, vous avez également la possibilité de faire directement des requêtes sur un objet JSON stocké dans une clé :

clever kv set simpleJson '{"key": "value"}' # the set data
clever kv getJson simpleJson key            # value
clever kv set jsonKey '[{"key": "value"}, {"bigKey": {"subKey1": "subValue1","subKey2": "subValue2"}}]'
clever kv getjson jsonKey bigKey.subKey2    # subValue1
clever kv getjson jsonKey ''                # the full JSON

Pour montrer à quel point de telles intégrations sont simples, nous avons mis à votre disposition un client Materia KV écrit en Go en utilisant Go-Redis. Si vous souhaitez plutôt comprendre comment vous pouvez envoyer des commandes et recevoir des réponses de Materia KV directement en TCP, vous trouverez des exemples, en V ou en Ruby.

N’hésitez pas à proposer les vôtres et à nous le faire savoir ;)

Une démonstration sur Twitch de Materia KV, un espace communautaire

Envie d’en savoir plus ? Horacio González, notre DevRel en chef, fera une démonstration sur Twitch mardi 18 juin à 13h15. Pierre Zemb, créateur de Materia chez Clever Cloud, échangera également avec notre CTO Steven Le Roux dans une vidéo publiée fin juin sur la chaîne YouTube de Clever Cloud.

Et pour nous faire part de votre avis, de vos questions et de vos besoins, rendez-vous sur la section dédiée à Materia de notre espace communautaire GitHub.

Pour nous assurer que chaque Clever App ait assez de ressources pour fonctionner, nous utilisons les métriques comme indicateur pour augmenter ou non le nombre d'instances d'une application.

Ces métriques, comme toutes celles de notre infrastructure interne, sont stockées dans une base de données time serie. Avec une croissance de 2 To par semaine, nous devons penser au cycle de vie de chaque métrique. Puisque nous ne souhaitons pas la supprimer, nous avons mis en place une solution d'archivage automatisée à partir de Cellar.

Notre infrastructure

Avec plusieurs milliers d'applications clientes, et plusieurs centaines pour des usages internes, nous avions besoin d'un moyen permettant d’accepter des centaines de milliers de points par seconde.

En production depuis octobre 2023, notre cluster warp10-c2 permet de répondre à ce besoin. Basé sur Warp10 et grâce à sa couche de stockage utilisant FoundationDB, nous sommes capables de tenir la charge face à des piques d'ingestions de plus de 500 000 points/seconde tout en permettant de lire 5 millions de points/seconde.

Un cluster en constante linéaire

Bien avant de pouvoir mettre en place cette stratégie d’archivage, notre équipe data a été confrontée à bon nombre de problèmes depuis la mise en production de c2.

Tout d’abord, pendant les premières semaines, le cluster a subi des problèmes de performances. Afin de pouvoir se concentrer sur ces derniers, nous avons continuellement ajouté de l’espace de stockage physique. Dès lors que ces problèmes de stabilité furent résolus, en ajoutant des nœuds permettant d’augmenter notre capacité de stockage, nous avons fait face à de nouveaux problèmes de ressources. Cette fois-ci liés au CPU et à la RAM. Et puisque nous n’avons pas des ressources infinies, nous avons gagner en capacité de stockage sans perte d’informations.

Les strategies possibles

La solution la plus naïve serait de sélectionner continuellement toutes les séries et points, et de les réécrire dans Cellar sans apporter de changement. Bien que c2 soit capable de gérer des millions de lectures par seconde, nous parlons ici de milliards de points. Même avec des machines de requêtes dédiées, cela aurait entraîné des problèmes de performances provenant de notre couche de stockage. De plus, nous aurons un espace disque utilisé similaire à celui des données dans le stockage à chaud.

Une seconde manière de procéder serait de réduire la résolution des métriques, plutôt que d’avoir des informations avec une précision à la seconde, la réduire pour avoir la moyenne sur une heure ou une journée. Cette stratégie amène beaucoup plus de questions que de réponses, comme :

• Que faire des extremums dans une série, doivent-ils être supprimés ou conservés ? 
• Comment savoir depuis combien de temps une application fonctionne ?
• Doit-on appliquer cette stratégie sur nos applications internes, doit-on les traiter au cas par cas ?

Cette solution aurait exigé trop d’efforts dans un système qui aurait tout de même des défauts.

Enfin, la dernière stratégie consiste à utiliser l’extension Warp10 HFiles, une extension vendue par l'éditeur du logiciel permettant de générer des fichiers compacts de manière efficiente, avec des capacités de chiffrement. Cette solution peut nous aider à avoir un taux de compression fort en garantissant zéro perte, transformant des téraoctets de données en quelques dizaines de gigaoctets. Ce fort ratio de compression est notamment dû au fait que le nombre de valeurs qu’un point peut prendre est rarement infini, un pourcentage d’utilisation CPU par exemple ne peut avoir qu’un nombre fini de valeurs.

En février 2024, nous avons choisi cette troisième stratégie comme solution à notre problème. Cependant, nous avons dû mettre en place tout un workflow automatisé autour de cette extension afin de ne pas avoir à exécuter cette tâche manuellement chaque mois.

Automatiser le processus

Avant d’aborder la manière dont nous avons rendu cela possible, une brève introduction aux HFiles est nécessaire afin de mieux comprendre pourquoi nous avons procédé ainsi. Ensuite, nous explorons la mise en place de l’orchestrateur de workflow que nous utilisions pour automatiser le processus. Enfin, nous partagerons les chiffres du lancement de ce processus d’archivage.

Introduction aux HFiles de Warp10

Un "HFile" est une extension de fichier proposé par l’extension Warp10 HFiles. Le processus de génération d’un HFile est assez simple. Tout d’abord, nous l’extension va générer un cache local avec toutes les séries qui doivent être archivées en se basant sur des critères de sélection donnés par l’utilisateur. Pour chacune des séries, l’extension va récupérer tous les points dans une plage de temps spécifiée, tout en compressant continuellement ces points. Au travers de plusieurs expérimentations, nous savons que ce processus peut facilement prendre beaucoup de temps, parfois plusieurs jours. 

Cependant, avec des paramètres et des critères de sélection spécifiques, nous sommes capables de générer des HFiles en quelques heures. Ces générations sont synchrones, ce qui signifie que vous devez conserver une connexion HTTP ouverte avec la machine exécutant la génération.

Nous avons principalement ajusté trois paramètres afin d'optimiser le temps de traitement :

• Plage temporelle des points : elle permet de récupérer uniquement des points de données entre deux dates ;
• Parallélisation : puisqu’une génération peut prendre plusieurs heures, nous pouvons paralléliser plusieurs exécution afin d’optimiser une mieux nos capacités de génération ;

• Nombre de séries : parce que pour chaque série dans le cache, l’extension essaiera de récupérer les données liées (même si la série est vide dans la plage de temps spécifiée), réduire le nombre de série dans le cache permet de limiter le nombre de requêtes au système de stockage.

Que signifie une « série » ?

Une série, aussi appelée GTS (“Geo Time Serie”) dans le contexte de Warp10 est un nom unique sous lequel sont enregistrés des points de données. Une série est composée d’un nom de métrique et de labels permettant de donner du contexte. Par exemple, pour une Clever App, une série qui contient la consommation du processeur serait cpu.usage_guest{app_id='app_87e33fea-9dde-4a99-b347-674de382ff7b'}.

Dans notre cluster c2, nous avons plus de 150 millions de séries uniques.

L'orchestrateur de workflow

Pour permettre un archivage de manière automatisée, nous étions à la recherche d’un outil répondant aux contraintes suivantes :

• Planification : pour éviter de devoir déclencher l'action manuellement chaque mois ;
• Retry et failover : en cas d'échec d'une génération de HFile, il doit pouvoir réessayer, ou si un nœud du système crash, l’outil doit pouvoir reprendre la ou il s’était arrêté ;
• Alerting : lorsque plusieurs tentatives ne suffisent pas, nous devons être informé par un message Slack que le système n’a pas réussi de générer un HFile;
• Capacité à exécuter de longues tâches : comme nous le savons, nos générations peuvent prendre plusieurs heures, il ne faut donc pas que l’outil empêche cela.

Après avoir essayé plusieurs outils d’orchestration, notre avis final s’est placé sur Kestra. Un outil Open Source qui répond à toutes nos contraintes et à notre besoin. Déployé en tant que Clever App, nous avons pu mettre en place des workflows qui minimisent le temps de génération d’un HFile en utilisant nos paramètres optimisés. 

Fin février, nous avons terminé notre workflow complet de génération de HFile, comme le montre le schéma ci-dessus, il est plutôt simple, mais très efficace. Jusqu'à présent, il a été exécuté sur les données du mois de Novembre, sans supprimer les données. Il s’agissait d’un test qui nous a permis d’avoir suffisamment confiance en Kestra pour permettre de valider nos dernières interrogations. Nous avons ensuite exécuté la suppression manuellement, afin de s’assurer qu’il n’y ait pas d’effet de bord, ou d’oublis.

Aujourd’hui, la génération des HFiles et la suppression des données est complètement automatisée grâce à Kestra. Même si notre utilisation de l’outil est assez simple, nous avons l’ambition de l’utiliser pour de nouveaux cas à l'avenir.

Chiffres sur les métriques du mois de Novembre 2023

Début Mars, nous avons lancé notre premier archivage, avec succès. Cet archivage est basé sur le mois de Novembre puisque nous souhaitons garder 3 mois de mesures disponibles. 

Ce premier mois est particulier puisque c2 a été mis en production fin octobre, et toutes les applications clientes de Clever Cloud ont dû être redéployées pour utiliser le nouveau cluster. Cela signifie que les chiffres suivants comportent un nombre de séries et de points plus élevé que les mois qui suivront.

Nous avons archivé plus de 22 milliards de points provenant de plus de 33 millions de séries. Ces séries et points utilisaient environ 20 To d’espace disque. Une fois compressé, nous sommes rendus à 20 Go. Une chose importante à noter est que les données dans le cluster sont chiffrées, ce qui signifie que la taille d’un point est plusieurs fois celle du vrai point, puisque nous appliquons un algorithme de chiffrement.

Vous le savez, vous pouvez déployer vos applications et add-ons via Clever Cloud, sur des serveurs OVHcloud, à Roubaix, certifiés Hébergement de Données de Santé (HDS), sur les volets 1 et 2 de la norme. Nous fournissons également un service de stockage objet (Cellar) à partir d'un cluster constitué de tels serveurs à Roubaix et Gravelines (séparés par une centaine de kilomètres), accessible en tant que région fr-north-hds.

Ces derniers temps, nous avions une demande grandissante sur l'ouverture d'une zone HDS à Gravelines, tant pour des applications et des add-ons. Nos équipes ont donc travaillé pour vous permettre de déployer sur des serveurs certifiés HDS sur cette zone, à partir de clever-tools ou de la Console en tant que grahds.

Parfait pour offrir de la redondance à vos applications traitant des données de santé !

Nous profitons de cet article pour vous rappeler que les services et infrastructures de Clever Cloud ont obtenu la certification ISO 9001 l'année dernière. Nous attendons par ailleurs l'approbation définitive de l'ISO 27001. Enfin, la certification HDS et la qualification SecNumCloud seront nos prochains chantiers.

Si l'IA fait parler d'elle ces derniers temps, c'est notamment au travers des larges modèles de langages (LLMs) qui nécessitent une puissance de calcul conséquente pour leur entrainement ou leur exécution. Ainsi, il est courant de voir les développeurs y recourir à travers des API clés en main, comme nous l'avions fait dans un précédent article. Mais cela change grâce à des modèles et outils plus ouverts et efficaces, que vous pouvez très facilement déployer sur Clever Cloud.

En effet, si notre plateforme a été pensée pour certains usages, nous avons toujours accordé une grande importance à sa flexibilité et à la liberté laissée à nos clients. Ils peuvent ainsi aisément l'exploiter pour attaquer de nouveaux marchés, avec très peu de travail d'adaptation.

Pour le vérifier, nous avons récemment tenté de déployer des modèles d'IA open source tels que ceux dérivés de LLaMA et Mistral. Ils ont pour particularité d'exister dans des versions allégées, ne nécessitant pas forcément de GPU pour fonctionner. Ainsi, il est possible de les héberger comme de simples applications Clever Cloud, tant qu'assez de mémoire leur est attribuée.

Let's ollama (avec une interface web) !

Pour cela, nous avons choisi d'utiliser ollama, un projet sous licence MIT qui permet de télécharger des modèles disponibles depuis un registre ou même les vôtres. Il prend la forme d'un serveur qui communique via une API, très simple à héberger sur nos infrastructures.

• Créer un compte Clever Cloud (et obtenir 20 euros de crédits)

Pour commencer, vous devrez disposer d'un compte Clever Cloud. Vous pouvez créer l'application et suivre les étapes suivantes en utilisant notre interface web, la Console, mais aussi à travers notre CLI open source : Clever Tools. C'est ce que nous ferons ci-dessous.

Nous partirons ainsi du principe que vous disposez d’une machine avec git et Node.js dans une version récente. Si vous n’avez pas encore installé les Clever Tools sur votre système, tapez (avec les droits administrateur de votre système ou sudo si nécessaire) :

npm i -g clever-tools
clever login

Une fois connecté, vous pourrez vérifier que tout s’est bien passé avec la commande suivante :

clever profile

Ensuite, nous créons une application Clever Cloud avec Node.js. Elle installera ollama pour télécharger et exécuter nos modèles, en lui ajoutant avec une interface web (chatbot-ollama, également sous licence MIT) qui nous permettra d'interroger le serveur depuis n'importe quel navigateur, exécuté depuis un ordinateur ou même un simple smartphone.

Cette solution a également l'intérêt de stocker les conversations localement, dans le navigateur. Elle ne nécessite donc pas de base de données, mais propose une fonction d'import/export. On peut également choisir entre différents modèles, régler certains de leurs paramètres, configurer des instructions système, différents prompts, etc.

mkdir myollama && cd myollama
git init
curl -L https://github.com/ivanfioravanti/chatbot-ollama/archive/refs/heads/main.tar.gz | tar -xz --strip-components=1

clever create -t node myollama && clever scale --flavor L
clever env set CC_POST_BUILD_HOOK "npx next telemetry disable && npm run build"
clever env set CC_PRE_BUILD_HOOK "./ollama_setup.sh"
clever env set CC_PRE_RUN_HOOK "./ollama_start.sh"

echo "orca-mini" > models.list
echo "mistral" >> models.list
echo "codellama" >> models.list

Le code ci-dessus créé l'application. Nous y ajoutons un fichier qui contiendra la liste des modèles à récupérer lors de son initialisation. Nous optons pour une instance L, la taille minimale pour charger de tels modèles en mémoire. On déclare ensuite plusieurs variables d'environnement pour lancer des scripts afin d'installer ollama, démarrer le serveur et désactiver la télémétrie du framework Next.js, utilisé pour construire l'interface web après l'installation des dépendances.

Ajoutons quelques scripts

Notre application est presque prête. Il nous reste en effet à créer deux fichiers, exécutables :

touch ollama_setup.sh && chmod +x ollama_setup.sh
touch ollama_start.sh && chmod +x ollama_start.sh

ollama_setup.sh télécharge le binaire d'ollama puis les modèles de notre liste. Ouvrez-le avec l'éditeur de votre choix et placez-y le contenu suivant :

#!/bin/bash

# We define the folder (in $PATH), where the ollama binary will be placed
BIN_DIR=${HOME}/.local/bin
mkdir -p ${BIN_DIR} 

ollama_start() {
    echo "Downloading and launching ollama..."
    curl -Ls https://ollama.ai/download/ollama-linux-amd64 -o ${BIN_DIR}/ollama
    chmod +x ${BIN_DIR}/ollama
    ollama serve &> /dev/null &
    echo -e "Finished: \033[32m✔\033[0m\n"
}

get_models() {
    MODELS_FILE="models.list"
    MODELS_DEFAULT="orca-mini"

    # We check if the models file exists
    if [ ! -f ${MODELS_FILE} ]; then
        echo "File ${MODELS_FILE} not found, ${MODELS_DEFAULT} used by default."
        echo ${MODELS_DEFAULT} > ${MODELS_FILE}
    fi

    # Loop through each line and pull model
    while IFS= read -r line; do
        echo "Pulling ${line} model..."
        ollama pull "${line}" > /dev/null 2>&1
        echo -e "Finished: \033[32m✔\033[0m\n"

    done < ${MODELS_FILE}
}

# We start ollama, and wait for it to respond
ollama_start
if [ $? -ne 0 ]; then
    echo -e "\nError during ollama setup."
    exit 1
fi

count=0
MAX_TIME=10

while ! pgrep -x "ollama" > /dev/null; do
    if [ ${count} -lt ${MAX_TIME} ]; then
        sleep 1
        count=$((count+1))
    else
        echo "Application 'ollama' did not launch within 10 seconds."
        exit 1
    fi
done

get_models
if [ $? -ne 0 ]; then
    echo -e "\nError during models downloading."
    exit 1
fi

Ce code peut paraître un peu long, mais c'est notamment parce que nous l'avons rendu modulaire, en n'écrivant dans les logs que les étapes réussies ou les éventuelles erreurs.

ollama_start.sh détecte si le serveur ollama est déjà présent avant de démarrer l'interface web. Si ce n'est pas le cas, on le lance en tâche de fond (nous verrons plus bas pourquoi).

Ouvrez-le avec l'éditeur de votre choix et placez-y le contenu suivant :

if ! pgrep -f "ollama" > /dev/null; then
    # If 'ollama' is not running, start it in the background
    ollama serve &
    echo "Application 'ollama' started."
else
    # If 'ollama' is already running
    echo "'ollama' application is already running."
fi

Une fois ces deux fichiers créés, on peut déployer notre application :

git add . && git commit -m "Init application"
clever deploy
clever domain

Vous verrez alors le domaine pour accéder à votre application (que vous pouvez personnaliser).

Cache et (re)démarrage rapide

Utiliser Clever Cloud, ce n'est pas simplement déployer facilement une telle application, disposer de logs et de monitoring, pouvoir changer instantanément son scaling horizontal et/ou vertical. C'est aussi pouvoir en faire une image prête à redéployer très rapidement.

En effet, toute application que nous hébergeons est stockée sous la forme d'une archive constituée juste avant l'installation des dépendances. Elle peut ainsi être arrêtée et de rédémarrée sous cette forme, ce qui nous permet de ne pas retélécharger les modèles à chaque fois. Pour cela, il suffit d'indiquer les dossiers à ajouter à l'archive :

clever env set CC_OVERRIDE_BUILDCACHE "/:../.ollama/:../.local/bin/"
clever restart --without-cache --follow

L'application redémarrera, mais prendra cette fois les l'interface web construite, ollama et les modèles dans son cache, les étapes CC_PRE_BUILD_HOOK et CC_PRE_BUILD_HOOK n'étant pas exécutées. C'est notamment pour cela que nous devons nous assurer que l'on démarre bien le serveur ollama avec CC_PRE_RUN_HOOK, mais que l'on vérifie que cela n'a pas déjà été fait lors d'un démarrage classique; où il est utilisé pour télécharger les modèles avant de les exécuter.

Dès que cette étape est terminée, vous pouvez arrêter l'application et la redémarrer lorsque vous voulez, cela sera désormais bien plus rapide. Et vous ne serez facturé que le temps de son usage, à la seconde. Si vous voulez modifier la liste des modèles à utiliser, faites le dans le fichier prévu à cet effet, un git push suffira à reconstituer le nouveau cache.

# Stop/Restart the application
clever stop
clever restart

# After a modification in models.list, git push to recreate the cache
git add models.list && git commit -m "New models" 
clever deploy

Vous retrouverez le fichiers nécessaires à ce projet dans ce dépôt GitHub, avec les variables d'environnement prêtes à importer (clever env import < .env).

Et si jamais vous voulez aller plus loin en déployant d'autres modèles et outils pour vos applications, qui nécessitent plus de puissance et/ou du GPU, faites-le nous savoir !

Aux débuts d’Internet tel qu’on le connaît actuellement, il y a une trentaine d’années, le choix principal d’un développeur lorsqu’il voulait mettre un site en ligne consistait à choisir entre un serveur dédié où il était seul maître à bord, et un hébergement mutualisé entre plusieurs clients plus ou moins nombreux à se partager les ressources selon les offres.

Si la faible isolation technique proposée à l’époque dans le modèle du mutualisé poussait les plus précautionneux à se tourner vers des serveurs dédiés, le choix se faisait aussi pour des raisons économiques : tout le monde ne pouvait pas se payer sa propre machine.

Néanmoins, avec le temps, des offres à petit prix sont venues bouleverser le marché, puis ce fût au tour du « Cloud » et des instances « as-a-service » que l’on ne loue plus au mois mais à l’heure ou à la seconde. De quoi changer les pratiques en profondeur.

Réduire le gâchis de ressources (et les prises de tête)

C’est de là qu’est né Clever Cloud, avec une conviction : il fallait profiter de ces nouvelles opportunités pour réinventer les pratiques de l’hébergement mutualisé qui s’appuyait encore sur de vieux protocoles de transfert, en ajoutant une véritable isolation et de la simplicité en automatisant les déploiements, l’adaptation à la charge. Créer des outils pour améliorer la vie des développeurs et des ops (des métiers qui se conjuguent parfois désormais), profiter des révolutions en cours suite à l’émergence de Git et des plateformes telles que GitHub ou GitLab, du développement et de l’intégration continus (CI/CD).

• Qu'est-ce que Clever Cloud ?

Tant à l’époque qu’aujourd’hui, il est courant de voir des entreprises continuer à louer des serveurs dédiés « à l’ancienne » pour y déployer leurs applications en utilisant des outils plus ou moins automatisés, mais cela mène le plus souvent à un gâchis de ressources. Car ces machines sont dimensionnées de manière à répondre aux pics éventuels, et ne sont ainsi presque jamais utilisées à leur plein potentiel. 

Un surdimensionnement qui n’est pas vraiment en faveur de l’efficacité énergétique. En mars dernier, The Register rapportait que selon l’US Government Accountability Office (GAO), seulement 5% des ressources des serveurs à disposition du gouvernement américain étaient utilisées. Une situation qui ne devrait jamais se produire, aux USA ou en Europe.

Pourtant, une partie du secteur de l’hébergement s’est organisée autour de ce manque d’efficacité. Les acteurs du monde des datacenters sont de moins en moins des techniciens et de plus en plus sur un modèle qui emprunte au marché de l’immobilier : il faut investir l’espace disponible et avant tout remplir des mètres carrés (quitte à réserver de grands espaces aux mineurs de crypto-monnaies). Mais que les serveurs soient ou non utilisés ne change rien : c’est loué. D’ailleurs s’ils fonctionnent à un faible niveau, cela soulage les infrastructures électriques, le bailleur est d’autant plus gagnant.

Une des solutions pourrait être de recourir à des instances (IaaS), qui peuvent être allumées ou éteintes, adaptées dans leur composition selon les besoins, avec une meilleure gestion des ressources par le fournisseur de services cloud (CSP) puisqu’elles sont partagées entre différents clients. Mais cela demande aux développeurs et aux ops d’adapter constamment l’infrastructure à la charge, de veiller aux mises à jour et à la sécurité, d’être ceux sur qui tout repose. 

Malheureusement, en pratique, ce travail essentiel n’est pas toujours fait. Une problématique à laquelle nous avons cherché à répondre, pour mutualiser les efforts et éviter frayeurs et maux de tête aux équipes de nos clients.

Des applications qui fonctionnent…

La promesse de Clever Cloud est que « vous développez, nous déployons ». Ainsi, nous sommes plus qu’une solution de Platform-as-a-Service (PaaS) tel que certains l’entendent, plutôt une sorte de « Software Defined Hosting », tendance « Serveless », au sens où vous n’avez jamais à vous préoccuper de l’infrastructure. Seulement de votre code et d'où vous voulez le déployer.

Car en réalité, notre métier est d’assurer le maintien en conditions opérationnelles de vos applications. Cela signifie que nous simplifions le plus possible le processus de déploiement qui peut être totalement automatisé et s’inscrire dans vos processus d’équipe. Nous maintenons également vos applications en ligne, même en cas de mise à jour ou de pic de charge exceptionnel, gérons les sauvegardes, la reprise en cas de problème, etc.

Ce, avec la possibilité d’une adaptation horizontale (plus d’instances disponibles) ou verticale (des instances plus performantes). Un choix qui peut être assuré de manière entièrement automatisée (auto-scaling) ou manuelle via notre interface en ligne et nos différents outils (CLI, SDK, etc.) : vous restez maître de vos choix.

Nous assurons également la mise à jour du système et des briques logicielles que nous opérons, en nous limitant le plus possible au strict nécessaire afin de maximiser l’efficacité, le niveau de performances et de sécurité proposés à nos clients. Ainsi, nous ne négligeons pas l’isolation logicielle et toutes les applications fonctionnent dans des machines virtuelles qui leur sont propres.

… dans un environnement flexible et sécurisé

Il faut d’ailleurs comprendre que le sujet des attaques et failles de sécurité est avant tout financier. Pour ceux qui les exploitent, c’est un marché. S’il existera toujours des méthodes pour s’en prendre à une entreprise et un service, notre enjeu est de réduire au maximum les surfaces d’attaque et de casser la rentabilité potentielle de s’en prendre à Clever Cloud.

C’est notamment pour cela que nous compilons le noyau Linux et tous nos binaires depuis les sources, à travers l’utilisation de la distribution Exherbo. Cela nous permet de les réduire à leur strict minimum, tout comme la surface d’attaque, et de disposer constamment de logiciels à jour sans avoir à attendre que les mainteneurs de telle ou telle distribution s’en occupent.

Cela offre un autre avantage, car comme l’indique régulièrement notre CEO Quentin Adam : « tout binaire distribué compilé est un binaire troué en sursis ». Ils sont en effet utilisés par un nombre important d’utilisateurs et sont une cible de choix, qui peuvent être facilement détectés. Disposer de nos propres binaires permet de se prémunir de tels risques « by design ».

Et si jamais un datacenter rencontre un problème ? Il vous suffit de déployer ailleurs. Une capacité à la résilience qui porte nos décisions techniques de ces dernières années, avec une approche résolument mutli-cloud; que ce soit dans le développement de nos propres infrastructures ou en vous permettant également de profiter de celles de nos partenaires. Et si vous voulez disposer de votre propre Clever Cloud « on-premise » ou dans une infrastructure qualifiée SecNumCloud ? C’est possible. L’ouverture, c’est aussi ça.

Des serveurs pleinement exploités, pensés pour durer

Ce libre choix du datacenter nous permettra demain de vous proposer des déploiements pouvant être guidés par des problématiques géographiques, de diversification mais aussi d’éco-conception. Nous avons d’ailleurs commencé à nous tourner vers des serveurs basés sur les travaux de l’Open Compute Project (OCP). Disposant d’une alimentation centralisée au sein de la baie, ils sont conçus pour une meilleure efficacité énergétique. 

Consommer moins pour un même niveau de service est une obsession de nos équipes, une stratégie mise en œuvre à court et long terme, que ce soit à travers l’optimisation côté logiciel ou matériel, la meilleure utilisation du parc existant et la mise en production de meilleurs composants lorsqu’il est complété ou renouvelé. Cette stratégie est au cœur de notre modèle économique, mais aussi de notre volonté de réduction de notre empreinte environnementale, et donc celle de nos clients.

Nous avons ainsi récemment fait le choix de nous équiper en serveurs Capri basés sur des processeurs EPYC 7003 d’AMD avec 64 cœurs de dernière génération, qui offrent un très bon niveau de performance et de densité. Ils sont installés dans notre troisième point de présence parisien, chez Green Data à Nanterre. Il en sera de même pour la Flashbox, nous permettant de disposer d’un stockage déporté au sein du réseau, dans des serveurs sans CPU, exploitant les puces du français Kalray, très économes en énergie.

Ces innovations et ce niveau de densité nous permettent de renforcer la promesse de Clever Cloud : maintenir le maximum d’applications en conditions opérationnelles, avec un bon niveau de résilience mais le moins d’infrastructure possible. Car la meilleure façon de ne pas gâcher les ressources est d’en consommer le moins possible « by design », ce que nous permettons à nos clients de faire au quotidien sans qu’ils n’aient à se préoccuper de quoi que ce soit. Pour mieux les informer, nous travaillons également à livrer des indicateurs comme l’efficacité énergétique (PUE) mais également la consommation et l’impact de nos serveurs, de leurs applications, etc.

Nos serveurs sont destinés à être exploités dans notre infrastructure pour de longues années, afin de répondre à des besoins qui pourront évoluer dans le temps, et ne seront remplacés que lorsque ce sera nécessaire. Mais en nous reposant sur des standards tels que ceux de l’OCP, utilisés par un nombre croissant d’acteurs du marché, nous avons l’assurance qu’ils pourront facilement être réutilisés par des tiers dans un second cycle de vie.

Pour nos déploiements à venir, nous explorerons d’autres pistes pour améliorer toujours plus l’efficacité de nos serveurs et de leurs composants, mais aussi du refroidissement qui est une problématique essentielle dans les centres de données, avec la montée en puissance du watercooling et de l’immersion, deux technologies pouvant être mises en œuvre par notre partenaire Green Data. Nous avons également des discussions avec différents acteurs autour de la réutilisation de la chaleur fatale, produite par les serveurs. 

Et demain ? Network Groups, Tasks, GPU, FaaS, IaaS

Clever Cloud est à l’image de son logo : multifacettes. Si nous nous sommes longtemps consacrés à la création de notre plateforme de déploiement d’applications, nos clients nous ont demandé ces dernières années d’aller plus loin. Nous les avons écoutés : l’équipe a doublé ces derniers mois afin de renforcer notre principal atout : l’innovation par le logiciel, en exploitant au mieux le matériel.

Ainsi, outre les améliorations continues de notre Console, nous finalisons actuellement un projet qui a été l’un de nos plus grands chantiers : les Network Groups, vous permettant de lier vos applications, mais aussi vos machines à travers un réseau privé (VPN). Pour cela, nous nous appuyons sur la solution open source Wireguard. La fonctionnalité est finalisée et fait actuellement l’objet de tests internes, elle passera au stade de la bêta publique d’ici quelques semaines.

Nous proposerons bientôt nos VM Tasks, avec la possibilité d’exécuter des tâches à la demande, activables de différentes manières. Nous avons également commencé à retravailler notre offre de calcul sur GPU, n’hésitez donc pas à nous solliciter si vous avez des besoins en la matière, des tests préliminaires pouvant être menés. Plus tard dans l’année viendront l’accès à nos solutions Function-as-a-Service (FaaS) pour le traitement de fonctions à la demande et à grande échelle et IaaS, pour déployer le système d’exploitation et les outils de votre choix via Clever Cloud, sans dépendre de solutions telles que Docker.

Et pour les amateurs de Kubernetes, outre le lancement récent de notre opérateur, un service managé sera également disponible… tout comme d’autres surprises dont nous aurons l’occasion de reparler d’ici quelque temps. N'hésitez d’ailleurs pas à nous soumettre vos demandes et suggestions, qui peuvent nous aider à affiner nos priorités et développements. Notre équipe est ainsi à votre écoute.

Keycloak est un moyen moderne et efficace de gérer les identités et les accès. Il permet l'authentification unique, la fédération d'utilisateurs à travers plusieurs annuaires d'utilisateurs. Il est également compatible avec les protocoles d'authentification standard comme OpenID Connect, OAuth2 ou SAML. Tous les détails sont disponibles sur son site. Dans ce blogpost, nous verrons les étapes du déploiement de Keycloack et Grafana sur Clever Cloud.

Comment déployer Keycloak ?

Setup

Keycloak est écrit en Java, et fournit un fichier JAR dans sa version, ce qui signifie que nous allons utiliser un runtime JAVA avec un déploiement JAR. Il nécessite également une base de données PostgreSQL, ce qui signifie que nous allons déployer un addon PostgreSQL.

# Get lastest Keycloak release
wget https://github.com/keycloak/keycloak/releases/download/17.0.1/keycloak-17.0.1.zip

# Extract the archive
unzip keycloak-17.0.1.zip

# Go to the folder
cd keycloak-17.0.1

# Create the jar application
clever create --type jar keycloak-server
export KEYCLOAK_DOMAIN=$(clever domain | xargs)

# Create the PG addon
clever addon create postgresql-addon --plan s_sml --addon-version 10 keycloak-postgres

# Link the addon
clever service link-addon keycloak-postgres

Configurer

Pour l'instant, nous allons configurer Keycloak en utilisant des variables d'environnement. Notez que vous pouvez également configurer Keycloak via son CLI ou via un fichier, comme indiqué dans sa documentation.

Note : Pour la configuration via des variables d'environnement, le modèle à utiliser est KC_ et le nom en majuscule de toute clé de configuration, séparés par des caractères de soulignement.

# Export env for templating purpose
export $(clever env | sed '/^#/d;s/\"//g')

clever env set CC_JAR_PATH lib/quarkus-run.jar
clever env set CC_JAVA_VERSION 11
clever env set CC_RUN_COMMAND "bin/kc.sh start --auto-build"

clever env set KC_DB postgres
clever env set KC_DB_USERNAME $POSTGRESQL_ADDON_USER
clever env set KC_DB_PASSWORD $POSTGRESQL_ADDON_PASSWORD
clever env set KC_DB_URL "jdbc:postgresql://$POSTGRESQL_ADDON_HOST:$POSTGRESQL_ADDON_PORT/$POSTGRESQL_ADDON_DB"
clever env set KC_HOSTNAME $KEYCLOAK_DOMAIN
clever env set KC_HTTP_ENABLED true
clever env set KC_PROXY passthrough
clever env set KC_PROXY_ADDRESS_FORWARDING true

Note: Envisagez de configurer KC_DB_POOL_MAX_SIZE (Le nombre maximum de connections parallèles a la base de donnée) avec une valeur basse (la valeur par défault est de 100) en fonction de la taille de la base de donnée que vous avez commandé plus tôt. Vous pouvez trouver les limites de connection par taille de base de donnée ici. Si vous avez choisi la taille S_SML comme précisé plus tôt dans la commande fournie, vous pouvez ignorer ce message. vous pouvez aussi configurer plus finement le groupe de connection a la base de donnée en utilisant les variable DB_POOL_INITIAL_SIZE et KC_DB_POOL_MIN_SIZE

Vous devez maintenant définir KEYCLOAK_ADMIN et KEYCLOAK_ADMIN_PASSWORD :

clever env set KEYCLOAK_ADMIN <choose an admin username>
clever env set KEYCLOAK_ADMIN_PASSWORD <choose an admin password>

Déployer

Déployer Keycloak sur Clever Cloud :

# Init a git repository
git init

# Add your files
git add .

# Create the first commit
git commit -m "clever init"

# Deploy the application
clever deploy

# Open Keycloak in your browser
clever open

Valider la configuration

Vous pouvez suivre la documentation de Keycloak en commençant ici pour vous assurer que Keycloak fonctionne comme prévu. Elle vous guidera à travers la création d'un realm (tenant), la création d'un utilisateur et la création/test d'un client.

Créer une configuration initiale de Keycloak

Dans l'interface utilisateur de Keycloak, assurez-vous de créer un realm appelé "myrealm" (survolez "Master" dans le coin supérieur gauche). Assurez-vous que le realm "myrealm" est sélectionné.

Ensuite, allez dans Utilisateurs > Ajouter un utilisateur. Remplissez les champs Nom d'utilisateur, Email, Prénom et Nom de famille, puis cliquez sur Enregistrer.

Dans l'onglet "credentials" de l'utilisateur, ajoutez le mot de passe de votre choix et désélectionnez "Temporary", le mot de passe défini.

C'est fait !

Un scénario du monde réel

Voyons comment nous pouvons utiliser Keycloak dans le monde réel : comme proxy SSO pour Grafana, en utilisant Oauth 2.

Configurer Grafana sur Clever Cloud

Si vous avez besoin d'un guide détaillé sur la façon d'utiliser ou de déployer Grafana, veuillez lire cet article.

Utilisons l'exemple Grafana sur le dépôt Github de Clever Cloud.

# Clone the repository
git clone https://github.com/CleverCloud/grafana-example.git

# Enter the directory
cd grafana-example

# Create a NodeJS Application
clever create --type node grafana
export GRAFANA_DOMAIN=$(clever domain | xargs)

# Configure Grafana
clever env set GRAFANA_VERSION 8.5.2
clever env set GRAFANA_PLUGINS "grafana-worldmap-panel"
clever env set GF_PLUGIN_DIR ./data/plugins

clever env set GF_SERVER_HTTP_PORT 8080
clever env set GF_SERVER_ROOT_URL "https://$GRAFANA_DOMAIN"

Note : Dans cette section, vous devez définir vous-même la variable GRAFANA_SHA_256. Vous pouvez trouver la SHA256SUM nécessaire ici, à côté de "Standalone Linux Binaries".

clever env set GRAFANA_SHA_256 <SHA256SUM>

Configurer Keycloak pour OAuth 2

Note : dans cette section, vous devez remplacer $GRAFANA_DOMAIN par la valeur que vous avez exportée dans la dernière section. Vous pouvez trouver cette valeur en exécutant la commande suivante : clever domain.

Dans l'interface utilisateur de Keyloak, allez dans Configurer > Clients > Créer.

Créez un nouveau client avec ces configurations :

Client ID: $GRAFANA_DOMAIN
Client Protocol: openid-connect
Root URL: https://$GRAFANA_DOMAIN

Effectuez ensuite ces configurations :

Access Type: confidentials // The OAuth client must use a client id and secret.
Root URL: ${authBaseUrl}
Valid Redirect URIs: https://$GRAFANA_DOMAIN/login/generic_oauth
Base URL: /login/generic_oauth

Effacez Admin URL et Web Origins.

Cliquez sur enregistrer et ouvrez l'onglet Credentials. Copiez le secret dans une note séparée, nous en aurons besoin dans les deuxième et troisième parties de ce tutoriel.

Ouvrez l'onglet Rôles et cliquez sur Ajouter un rôle. Créez un nouveau rôle avec le nom admin. Ce rôle définit le niveau d'accès pour Grafana.

Allez sur l'onglet Scope et définissez Full Scope Allowed sur OFF. Nous ne voulons pas partager d'autres détails sur le royaume dans le jeton client.

Ensuite, nous allons configurer un mappeur client pour la propriété roles. Nous devons nous assurer que Grafana peut extraire le rôle d'accès à partir du jeton JWT. Ouvrez l'onglet Mappers et cliquez sur Create. Créez une entrée avec ces options :

 
Nom : Roles
Mapper Type : Rôle client utilisateur
ID du client : $GRAFANA_DOMAIN
Nom de la réclamation token : roles
Type JSON de la réclamation : string

Enfin, attribuez le rôle client à votre utilisateur Keycloak : Allez dans Utilisateurs > Afficher tous les utilisateurs et cliquez sur l'ID de votre utilisateur. Cliquez sur l'onglet Role Mapping, puis dans le sélecteur Client Roles, sélectionnez $GRAFANA_DOMAIN. Dans la section Available Roles, sélectionnez admin et cliquez sur Add selected.

Configurer Grafana pour OAuth 2

Configurez les variables d'environnement appropriées

# Configure appropriate env vars
clever env set GF_SERVER_DOMAIN $GRAFANA_DOMAIN
clever env set GF_SERVER_ROOT_URL "https://$GRAFANA_DOMAIN"
clever env set GF_AUTH_GENERIC_OAUTH_ENABLED true
clever env set GF_AUTH_GENERIC_OAUTH_NAME Keycloak
clever env set GF_AUTH_GENERIC_OAUTH_ALLOW_SIGN_UP true
clever env set GF_AUTH_GENERIC_OAUTH_CLIENT_ID $GRAFANA_DOMAIN

clever env set GF_AUTH_GENERIC_OAUTH_SCOPES profile
clever env set GF_AUTH_GENERIC_OAUTH_AUTH_URL "https://$KEYCLOAK_DOMAIN/realms/myrealm/protocol/openid-connect/auth"
clever env set GF_AUTH_GENERIC_OAUTH_TOKEN_URL "https://$KEYCLOAK_DOMAIN/realms/myrealm/protocol/openid-connect/token"
clever env set GF_AUTH_GENERIC_OAUTH_API_URL "https://$KEYCLOAK_DOMAIN/realms/myrealm/protocol/openid-connect/userinfo"
clever env set GF_AUTH_GENERIC_OAUTH_ROLE_ATTRIBUTE_PATH "contains(roles[*], 'admin') && 'Admin' || contains(roles[*], 'editor') && 'Editor' || 'Viewer'"

Note : Dans cette section, vous devez définir vous-même GF_AUTH_GENERIC_OAUTH_CLIENT_SECRET, en utilisant la valeur dans Keycloak UI, sous Client > $GRAFANA_URL > Credentials

clever env set GF_AUTH_GENERIC_OAUTH_CLIENT_SECRET <KEYCLOAK_CLIENT_SECRET>

Vous pouvez maintenant déployer Grafana :

 
# Deploy grafana
clever deploy

# Open grafana and try the Login with Keycloak button !
clever open

Maintenant, cliquez sur login with Keycloak, et utilisez le nom d'utilisateur et le mot de passe que vous avez définis pour l'utilisateur que vous avez créé plus tôt dans Keycloak.

En utilisant la même procédure décrite précédemment pour créer le premier utilisateur, vous pouvez maintenant créer d'autres utilisateurs et rôles. Créez les rôles "éditeur" et/ou "visualisateur" et attribuez-les à vos nouveaux utilisateurs dans Keycloak. Essayez de vous connecter avec ceux-ci sur Grafana et vous verrez que les rôles sont propagés à Grafana.

Sources :

• https://janikvonrotz.ch/2020/08/27/grafana-oauth-with-keycloak-and-how-to-validate-a-jwt-token/
• https://www.keycloak.org/getting-started/getting-started-zip