Plusieurs parmi vous connaissent déjà les avantages de la pile ELK et ce qui pousse autant d'équipes à l'utiliser. Non seulement elle est essentielle pour diagnostiquer et résoudre les bugs et les problèmes de production, mais elle constitue aussi une aide précieuse pour avoir des informations sur les clients. Par ailleurs, obtenir des métriques supplémentaires sur l'état et l'utilisation des systèmes offre à votre équipe un levier de compétitivité indéniable. Alors que certaines entreprises s'échinent à identifier leurs lacunes, votre équipe peut examiner les données, les remanier et fournir exactement ce dont votre système a besoin.
En tant que gestionnaire, vous avez souvent à l'idée de fournir à vos ingénieurs et à vos équipes DevOps une excellente solution de journalisation. Cependant, vous avez également conscience du coût associé à cette opération. Outre le coût de l'infrastructure, il faut prendre en compte les mises à niveau, les correctifs et les déploiements. Toutes choses qui nécessitent temps, effort et expertise.
Comment pouvez-vous fournir une solution de journalisation de qualité qui offre également une maintenance et un support simplifiés ? Est-il possible de profiter en toute simplicité de tous les avantages de la pile ELK ?
Pourquoi la journalisation est-elle si importante ?
Face à la croissance des données machine, la journalisation est de plus en plus importante. Elle est indispensable pour diagnostiquer et résoudre les problèmes afin de garantir des performances optimales des applications. De plus, il existe de nombreux outils qui permettent d'obtenir des métriques et des données métier essentiels à partir de vos journaux. La journalisation n'est plus simplement destinée à la détection des problèmes. Elle est également utile pour surveiller vos systèmes.
Il ne fait l'ombre d'aucun doute que la journalisation est capitale. Voyons donc comment nous pouvons l'implémenter. La pile ELK est une méthode couramment utilisée aujourd'hui. Vous pouvez choisir de déployer et de gérer vous-même la pile ELK avec les versions sous licence Apache 2.0 d'Elasticsearch et de Kibana (jusqu'à la version 7.10.2), ou d'utiliser la gestion automatique d'une alternative open source à la pile ELK avec OpenSearch, OpenSearch Dashboards et Logstash.
Pourquoi choisir la pile ELK ?
Pour rappel, ELK est une pile située au cœur d'Elasticsearch, de Logstash et de Kibana. Examinons brièvement chacun de ces outils.
Elasticsearch : un moteur de recherche et d'analytique utilisé pour la recherche plein texte et l'analyse de journaux et de métriques.
Logstash : un outil open source qui permet d'intégrer et de transformer les données et les évènements.
Kibana : un outil de visualisation et d'exploration des données pour l'examen des journaux et des évènements.
Combinés, ces composants de la pile ELK vous permettent de regrouper les journaux de tous vos systèmes. Ils permettent non seulement d'analyser les journaux afin de détecter des problèmes, mais aussi de surveiller l'utilisation des systèmes et d'identifier des possibilités d'amélioration. ELK fournit des performances d'analyse et de visualisation des données inégalées.
Mais pourquoi utiliseriez-vous un service géré pour ELK ? Vous avez une bonne équipe. Vous ne souhaitez pas dépendre d'un seul fournisseur de solutions d'hébergement. Vous recherchez également la flexibilité pour tout configurer conformément à votre propre cas d'utilisation. Pourquoi ne pas simplement gérer ELK vous-même ?
Pour faire bref, c'est une tâche ardue.
Qu'y a-t-il d'aussi difficile à gérer ma propre pile ELK ?
Examinons certaines raisons pour lesquelles la gestion de la pile ELK n'est pas nécessairement une tâche que vous aimeriez prendre vous-même en charge.
L'installation est rarement facile.
En ce qui concerne l'intégration des systèmes, n'oubliez pas que l'installation n'est pas toujours un jeu d'enfants. Quelle est la meilleure configuration ? Où gérez-vous vos secrets ? De quelle quantité de matériel avez-vous besoin ?
Une recherche rapide sur Internet permet de trouver de nombreux articles sur l'installation de la pile ELK. À l'observation, vous pouvez remarquer que la solution est loin d'offrir un déploiement en un clic pour la mise en route. En effet, elle a de nombreux prérequis. Vous pouvez utiliser l'installation de base qui propose une configuration prête à l'emploi polyvalente, ou consacrer beaucoup de temps pour rechercher toutes les options de configuration. Quelles sont vos limites d'ingestion des données ? Quel est votre plan de rétention ? En quoi cela est important ?
Imaginez maintenant que vous deviez répéter plusieurs fois cette opération pour chacun de vos environnements.
Même si vous utilisez le scripting automatisé partout, beaucoup de temps sera encore nécessaire pour configurer l'ensemble de la solution et la faire fonctionner de manière harmonieuse. Ce temps précieux n'est pas utilisé pour fournir de la valeur à vos clients. Avec les services gérés comme Amazon OpenSearch Service, le déploiement de la pile ELK est simple et réplicable.
Et c'est rarement rapide
La plupart des entreprises tentent de mettre leurs produits sur le marché rapidement. Cependant, vous ne pouvez pas y parvenir si vous devez consacrer des semaines, voire des mois, pour rendre votre pile et votre infrastructure prêtes pour la production.
Quel est le processus que vous suivez actuellement pour faire passer vos applications en production ? Quelles opérations de test, de vérification et de mise au point effectuez-vous pour vous assurer que vous êtes prêt ? Et si votre matériel doit être configuré de manière optimale pour les opérations à forte intensité d'écriture, le faites-vous avant d'envoyer le matériel en production ? Quel est votre plan concernant les mises à niveau ?
Si vous gérez votre propre pile ELK, vous effectuez toutes ces opérations avec une infrastructure et des applications auxquelles vous n'êtes pas familier. Des services comme Amazon OpenSearch Service peuvent vous aider à réduire significativement les coûts d'infrastructure, d'implémentation ainsi que de maintenance continue.
Beaucoup de temps est consacré à la résilience
Pendant la gestion de votre pile ELK, vous allez bientôt vous inquiéter au sujet de la résilience. Que devez-vous faire en cas de panne d'un de vos nœuds Elasticsearch ? Ou si les performances de votre Kibana deviennent inutilisables ?
De plus, vous pourriez être en difficulté si vous configurez correctement votre infrastructure dans les étapes ci-dessus. Les outils Logstash et Elasticsearch sont gourmands en mémoire. Si vous avez essayé d'économiser temps et argent en les installant sur le même petit matériel, ils vont entrer mutuellement en conflit. Nous n'avons même pas encore évoqué de plan de mise à jour des versions ni de surveillance et de correction des problèmes de sécurité !
AWS peut vous aider à répondre à ces besoins. Considérons, par exemple, vos nœuds Elasticsearch. Si un nœud tombe en panne, Amazon OpenSearch Service le détecte et le remplace à votre place. Voilà une autre tâche dont vous n'avez pas besoin de vous préoccuper.
C'est une bonne chose d'avoir une grande équipe, car l'autogestion l'agrandira davantage. Si l'exécution d'un cluster Elasticsearch n'est pas indispensable pour votre segment d'activité, alors laissez AWS s'en occuper à votre place. Il est toujours préférable de payer vos ingénieurs pour qu'ils créent de la valeur opérationnelle, pas pour qu'ils gèrent la pile ELK.
Quels sont les outils qui permettent de simplifier la gestion de la pile ELK ?
Si vous créez, exécutez et maintenez la pile ELK, sachez que vous ne gérez pas un seul outil, mais plusieurs. Vous devez désormais vous soucier de trois d'entre eux. En outre, l'exécution en production fera émerger de nouvelles préoccupations. Quels autres facteurs pourriez-vous finir par gérer dans votre quête d'autogestion ?
Par exemple, pour améliorer la résilience, vous pouvez penser à utiliser Kafka pour mettre les journaux en file d'attente. En cas de hausse du trafic, vous ne souhaitez pas perdre des journaux parce que votre pile ELK n'est pas à la hauteur. Êtes-vous prêt à inclure également la gestion de Kafka ? Vous pouvez également utiliser Redis pour aider à gérer la charge pendant les périodes de pointe. Mais attendez, n'y a-t-il pas autre chose que vous devrez gérer ? Comment extraire l'analytique dont vous avez besoin, de sorte que votre équipe puisse surveiller le système ? Allez-vous déployer manuellement quelque chose ici également ? Ou allez-vous installer et configurer un autre système pour obtenir les fonctionnalités de surveillance dont vous avez besoin ?
Il y a une alternative. Une solution comme Amazon Cloudwatch peut faire l'affaire. Elle fonctionne conjointement avec Kibana, fournissant une méthode d'analyse des journaux facile à utiliser.
Pour finir, des services Elasticsearch gérés comme Amazon OpenSearch Service peuvent être aussi utiles avec l'intégration de la sécurité, notamment le support VPC, le chiffrement intégré des données au repos et en transit et l'authentification des utilisateurs.
Les solutions gérées sont-elles appropriées pour vous ?
Bien des entreprises choisissent l'autohébergement comme une option. Mais toutes ne tiennent pas compte des efforts, des ressources techniques et de l'expertise nécessaires pour garantir un fonctionnement harmonieux. Par ailleurs, aucune entreprise ne veut consacrer du temps pour maintenir un système opérationnel lorsqu'elle peut le mettre à profit pour fournir aux clients des produits de qualité.
Même si vous avez songé à l'autohébergement, vous devriez penser à démarrer avec des services gérés comme Amazon OpenSearch Service, qui vous permettent d'être opérationnel rapidement. Il est fort probable qu'une fois que vous aurez essayé Amazon OpenSearch Service, vous constaterez que ce service vous permet de vous concentrer sur ce qui compte.
OpenSearch comprend certains codes Elasticsearch sous licence Apache d'Elasticsearch B.V. et d'autres codes source. Elasticsearch B.V. n'est pas la source de cet autre code source. ELASTICSEARCH est une marque déposée d'Elasticsearch B.V.
En savoir plus sur la tarification Amazon OpenSearch Service