Mercado Libre met à l'échelle son entreprise et améliore la fiabilité en migrant 5 000 bases de données vers Amazon DynamoDB

Fondée en Argentine en 1999, Mercado Libre présente deux activités principales : le commerce électronique et FinTech. Dans ces domaines, l'entreprise offre de nombreux services, notamment un marché en ligne, un système de paiement numérique, de la publicité, de la logistique et des offres de crédit. Son objectif fondamental est de démocratiser le commerce, les paiements et l'argent afin d'améliorer la vie de millions de personnes en Amérique latine.

Mercado Libre avait initialement développé ses solutions sur un cloud privé virtuel, chaque équipe interne étant responsable de la gestion de ses propres infrastructures et applications, ainsi que de la maintenance. Par exemple, des équipes individuelles déterminaient quels types de bases de données utiliser. Bien que cela ait initialement favorisé une croissance rapide, au fur et à mesure de l'augmentation du nombre d'équipes et du trafic, la variété des piles de technologies n'a pas permis de soutenir la croissance. La société a alors développé pour ses équipes une nouvelle solution qui comprenait un kit de développement logiciel propriétaire et des API personnalisées. Pour les bases de données NoSQL, au lieu de fournir un accès direct à n'importe quelle solution, l'entreprise a construit une couche d'abstraction de manière ce que toutes les équipes parlent le même langage. Initialement, Mercado Libre a construit son abstraction de base de données clé-valeur principale sur un moteur de base de données en libre-service et autogéré, et cette solution est passée à 5 000 bases de données.

Mais avec le temps, la société a réalisé que le moteur sélectionné ne lui fournissait pas toutes les fonctionnalités dont elle avait besoin. De plus, la gestion de plus de 30 clusters nécessitait une maintenance fréquente, ce qui entraînait des délais d'expiration, des erreurs et des interruptions. Début 2019, Mercado Libre a commencé sa migration vers Amazon DynamoDB. « La fiabilité d'Amazon DynamoDB nous permet d'éviter les coûts liés aux interruptions », affirme Oscar Mullin, directeur informatique et chef des services principaux, ingénierie de la fiabilité des sites et administration des bases de données de Mercado Libre. En utilisant l'abstraction commune à son avantage, l'entreprise a migré 5 000 bases de données sans que quiconque dans l'organisation ne doive changer une seule ligne de code ou modifier la feuille de route de l'entreprise.

Mercado Libre a utilisé Amazon DynamoDB avec d'autres services AWS dont l'entreprise se servait pour exécuter ses applications essentielles à sa mission et à ses activités, telles qu'Amazon Elastic Compute Cloud (Amazon EC2), un service Web qui fournit une capacité de calcul sécurisée et redimensionnable dans le cloud, et Amazon Simple Storage Service (Amazon S3), un service de stockage d'objets qui offre une évolutivité, une disponibilité des données, une sécurité et des performances de pointe.

Grâce à la puissance combinée des solutions AWS, Mercado Libre a été en mesure de répondre à tous ses besoins de mise à l'échelle sans nuire au rendement. Auparavant, l'entreprise passait beaucoup de temps à se préparer pour des événements de dimensionnement comme les vacances, et la mise à l'échelle était complexe. Et à la suite d'événements imprévus tels que la pandémie de COVID-19, davantage de personnes se sont tournées vers l'e-commerce et les paiements numériques, de sorte que le trafic de Mercado Libre a considérablement augmenté. Dans le cadre de sa mission d'inclusion, Mercado Libre a tenté d'utiliser AWS pour étendre son offre à un plus grand nombre de petites entreprises. « Le fait que nos applications de base utilisent notre abstraction basée sur Amazon DynamoDB s’est avéré crucial », affirme Mullin. « Sans cela, il aurait été extrêmement complexe de faire face à cette augmentation du trafic tout en maintenant le niveau de disponibilité. » Les capacités de mise à l'échelle automatique d'Amazon DynamoDB se sont également avérées inestimables lorsque l'entreprise a dû réduire ses activités ; elles ont permis d'éviter le manque d'utilisation des capacités, et de réduire les déchets et les coûts. « Contrairement à nos solutions précédentes, la réduction d'échelle sur Amazon DynamoDB est extrêmement simple », affirme Mullin.

L'architecture à plusieurs régions AWS prise en charge par Amazon DynamoDB résout aussi les problèmes de disponibilité de Mercado Libre. Au lieu de devoir transférer les données trouvées dans différentes tables, l'entreprise utilise les tables globales d'Amazon DynamoDB, qui reproduisent automatiquement les tables dans les régions choisies par une entreprise pour la tolérance aux pannes multirégions. Cette base de données multirégions et multiactive entièrement gérée permet d'offrir des performances de lecture et d'écriture locales rapides à des millions de clients dispersés dans le monde entier. « Nous avons la possibilité d'opérer dans plusieurs régions en un seul clic », déclare Mullin. « Et toutes nos données historiques sont transférées automatiquement vers les autres régions. » Les modifications apportées à une table se propagent facilement aux autres régions, ce qui permet à l'entreprise de gagner du temps. Où que se trouvent les utilisateurs, ils peuvent accéder aux données avec une faible latence. En fait, le quatre-vingt-dix-neuvième percentile de latence combinée de l'API et d'Amazon DynamoDB est de 6 ms seulement pour les demandes de lecture. Et même si les demandes atteignent un taux de 300 millions par minute, la latence n'en pâtit pas. En outre, Mercado Libre ne doit plus gérer des processus complexes juste pour obtenir une sauvegarde quotidienne, car Amazon DynamoDB offre une récupération ponctuelle pour des sauvegardes continues et automatiques.

L'approche de Mercado Libre comprend la création de services interreliés qui fournissent à ses développeurs des intégrations transparentes aussi simples que possible. Pour réaliser cette intégration avec le magasin clé-valeur, Mercado Libre a utilisé Amazon DynamoDB Streams, qui saisit une séquence chronologique de modifications au niveau de l'élément dans n'importe quelle table Amazon DynamoDB et stocke les informations dans un journal pendant 24 heures. En outre, DynamoDB Streams fonctionne avec Amazon DynamoDB de manière à supprimer automatiquement les informations non pertinentes des tables, le tout sans frais supplémentaires. Mercado Libre peut utiliser Amazon DynamoDB pour supprimer ces éléments expirés en utilisant l'expiration TTL (Time-To-Live), qui supprime les éléments indésirables ou non pertinents en arrière-plan sans consommer de débit d'écriture. L'utilisation de DynamoDB Streams permet à l'entreprise de capturer ces suppressions et sauvegarder ou traiter les données à mesure qu'elles expirent. « DynamoDB Streams est une fonctionnalité puissante », nous dit Mullin. « L'utilisation de ses capacités automatisées nous dispense d'effectuer nous-mêmes de nombreuses tâches, un processus qui était complexe et source d'erreurs. »

Bien que Mercado Libre ait choisi Amazon DynamoDB à l'origine pour se délester de frais opérationnels et prendre en charge d'énormes volumes, ses développeurs continuent à débloquer de nouvelles capacités, ce qui renforce la capacité de l'entreprise à innover et à poursuivre sa croissance en Amérique latine. « Quand nous avons analysé des alternatives à notre configuration précédente, Amazon DynamoDB était clairement ce qu'il y avait de mieux pour nous », déclare Mullin. « Nous continuons à en tirer de la valeur en construisant de nouvelles abstractions comme des index secondaires ou des capacités de sécurité. »