Fonctionnalités d'Amazon S3

Gestion et surveillance de stockage

La structure plate et non hiérarchique de Amazon S3, ainsi que ces nombreux éléments de gestion, aident les clients de toutes envergures et de toutes industries à organiser leurs données d'une manière précieuse pour leurs entreprises et leurs équipes. Tous les objets sont stockés dans des compartiments S3 et peuvent s'organiser avec des noms partagés, appelés préfixes. Vous pouvez également ajouter jusqu’à 10 paires clé-valeur appelées balises d’objet S3 à chaque objet. Celles-ci peuvent être créées, mises à jour et supprimées tout au long du cycle de vie d’un objet. Vous pouvez utiliser un rapport S3 Inventory qui répertorie vos objets stockés dans un compartiment S3 ou avec un préfixe spécifique, ainsi que leurs métadonnées et état de chiffrement respectifs, afin de surveiller les objets et leurs balises, compartiments et préfixes respectifs. S3 Inventory peut être configuré pour générer des rapports de manière quotidienne ou hebdomadaire.

Avec les noms de compartiment S3, les préfixes, les étiquettes d’objets, les métadonnées S3 (version préliminaire) et l’inventaire S3, vous disposez d’un large éventail de moyens pour classer vos données et en rendre compte, et vous pouvez ensuite configurer d’autres fonctionnalités S3 pour qu’elles agissent. Que vous stockiez des milliers ou bien un milliard d’objets, S3 Batch Operations vous permet de gérer facilement vos données Amazon S3 à l’échelle. Avec S3 Batch Operations, vous pouvez copier des objets entre plusieurs compartiments, remplacer des ensembles d'identifications d'objets, modifier le contrôle des accès et restaurer des objets archivés à partir des classes de stockage S3 Glacier Flexible Retrieval et S3 Glacier Deep Archive, le tout par le biais d'une simple requête d'API S3 ou directement dans la console S3. Vous pouvez également utiliser des Opérations par lot S3 pour exécuter des fonctions AWS Lambda personnalisées sur vos objets afin d'exécuter une logique métier personnalisée, telle que le traitement de données ou le transcodage d'images. Pour commencer, sélectionnez un compartiment source et des filtres ou spécifiez une liste d’objets cible à l’aide d’un rapport d’inventaire S3 ou en fournissant une liste personnalisée, puis en sélectionnant l’opération souhaitée à partir d’un menu prérempli. Lorsqu'une requête S3 Batch Operation est terminée, vous recevez une notification et un rapport d'achèvement détaillant toutes les modifications apportées. En savoir plus sur S3 Batch Operations en regardant les didacticiels sur vidéo

Amazon S3 Metadata (version préliminaire) fournit des métadonnées d’objets interrogeables en temps quasi réel afin d’accélérer la découverte de données. Cela vous permet de gérer, d’identifier et d’utiliser vos données S3 à des fins d’analytique commerciale, d’applications d’inférence en temps réel, etc. S3 Metadata prend en charge les métadonnées des objets, qui incluent des détails définis par le système tels que la taille et la source de l’objet, ainsi que des métadonnées personnalisées, qui vous permettent d’utiliser des balises pour annoter vos objets avec des informations telles que le SKU du produit, l’ID de transaction ou l’évaluation du contenu, par exemple. Metadata S3 est conçu pour capturer automatiquement les métadonnées des objets lorsqu’ils sont chargés dans un compartiment, et pour rendre ces métadonnées consultables dans une table en lecture seule. À mesure que les données de votre compartiment changent, Metadata S3 met à jour la table en quelques minutes pour refléter les dernières modifications.

Amazon S3 prend également en charge des fonctions qui aident à maintenir le contrôle de version de données, à prévenir les suppressions fortuites et à répliquer les données dans une région AWS identique ou distincte. Grâce à la Gestion des versions S3, vous pouvez conserver, récupérer et restaurer chaque version d’un objet stocké dans Amazon S3. Cela vous permet de vous remettre d’actions involontaires d’utilisateurs et d’échecs d’applications. Activez la suppression de l’authentification multifactorielle (MFA) pour empêcher les suppressions involontaires dans un compartiment S3. Pour supprimer un objet stocké dans un compartiment prenant en charge la suppression via l'authentification multifacteur (MFA), vous devrez fournir deux formes d'authentification : vos informations d'identification de compte AWS, ainsi que la concaténation d'un numéro de série valable, suivi d'une espace et du code à six chiffres reçu sur un appareil d'authentification approuvé, comme une clé matérielle électronique ou une clé de sécurité U2F (Universal 2nd Factor).

La fonctionnalité  S3 Replication vous permet de répliquer des objets (ainsi que leurs métadonnées et identifications d’objet respectives) vers un ou plusieurs compartiments de destination dans des Régions AWS identiques ou distinctes afin de réduire la latence et d’optimiser la conformité, la sécurité, la reprise après sinistre et d’autres cas d’utilisation. Vous pouvez configurer S3 Cross-Region Replication (CRR) pour répliquer des objets à partir d’un compartiment S3 source vers un ou plusieurs compartiments de destination dans différentes Régions AWS. S3 Same-Region Replication (SRR) réplique les objets entre des compartiments d’une même Région AWS. Tandis que la réplication en direct, comme la CRR et le SRR, réplique automatiquement les objets qui viennent d’être chargés à mesure qu’ils sont écrits dans votre compartiment, S3 Batch Replication vous permet de répliquer des objets existants. Vous pouvez utiliser S3 Batch Replication pour remplir un compartiment nouvellement créé avec des objets existants, réessayer des objets qui étaient auparavant incapables de se répliquer, migrer des données entre comptes ou ajouter de nouveaux compartiments à votre lac de données. Le Contrôle du temps de réplication Amazon S3 (S3 RTC) vous aide à vous conformer aux exigences en matière de réplication des données en fournissant un contrat de niveau de service (SLA) ainsi qu’une visibilité sur les délais de réplication.

Pour accéder à des jeux de données répliqués dans des compartiments S3 à travers les comptes et les Régions AWS, utilisez les points d’accès multi-régions Amazon S3 pour créer un point de terminaison global unique que vos applications et clients pourront utiliser indépendamment de leur emplacement. Ce point de terminaison global vous permet de créer des applications multi-régionales avec la même architecture simple que vous utiliseriez dans une seule région, puis d'exécuter ces applications n'importe où dans le monde. Les points d’accès multi-régions Amazon S3 peuvent accélérer les performances jusqu’à 60 % lors de l’accès à des ensembles de données répliqués dans plusieurs comptes et Régions AWS. Basés sur AWS Global Accelerator, les points d'accès multi-régions S3 prennent en compte des facteurs tels que la congestion du réseau et la localisation de l'application d'origine de la requête pour acheminer dynamiquement vos requêtes via le réseau AWS vers la copie de vos données présentant la plus faible latence. En utilisant les contrôles de basculement des points d’accès multi-régions S3, vous pouvez basculer entre vos jeux de données répliqués dans les Régions AWS, ce qui vous permet de transférer le trafic de vos demandes de données S3 vers une autre Région AWS en quelques minutes.

Vous pouvez également imposer des politiques à inscription unique et lecture multiple (WORM) avec le verrouillage d’objet S3. Cette fonction de gestion S3 bloque la suppression de versions d'objet lors d'une période de conservation définie par le client. Cette période vous permet d'appliquer des stratégies de conservation en tant que couche supplémentaire de protection des données ou pour satisfaire des obligations de conformité. Vous pouvez migrer des charges de travail depuis des systèmes WORM (Write Once Read Many, une seule écriture et plusieurs lectures) existants vers Amazon S3, et configurer S3 Object Lock aux niveaux de l'objet et du compartiment pour empêcher les suppressions de version d'objet avant une date de fin de conservation ou de détention légale. Les objets dotés de S3 Object Lock conservent la protection WORM, même s'ils sont déplacés vers des différentes classes de stockage avec une politique de cycle de vie S3. Afin de pister les objets disposant de S3 Object Lock, vous pouvez vous remettre au rapport d'inventaire S3 qui comprend le statut WORM des objets. S3 Object Lock peut être configuré dans un de deux modes. Lorsqu'ils sont déployés en mode Gouvernance, les comptes AWS avec des autorisations IAM spécifiques peuvent supprimer le S3 Object Lock d'objets divers. Si vous avez besoin d'une immuabilité plus forte pour vous conformer à des réglementations, vous pouvez utiliser le Mode de conformité. En mode de conformité, la protection ne peut être supprimée par aucun utilisateur, y compris le compte racine.

En plus de ces capacités de gestion, utilisez les fonctions Amazon S3 ainsi que d'autres services AWS pour surveiller et contrôler vos ressources S3. Appliquez des identifications à vos compartiments S3 pour allouer des coûts sur plusieurs dimensions de business (dont les centres de coûts, les noms d’applications ou les propriétaires). Vous pouvez ensuite utiliser les rapports de répartition des coûts AWS pour afficher l’agrégation d’usage et de coûts par les identifications de compartiment. Vous pouvez également utiliser Amazon CloudWatch pour suivre la santé opérationnelle de vos ressources AWS et pour configurer les alertes de facturation pour les frais estimés qui atteignent un seuil défini par l’utilisateur. Utilisez AWS CloudTrail pour suivre et signaler les activités au niveau du compartiment et de l’objet, et configurez les notifications d’événements S3 pour déclencher des flux et des alertes ou pour invoquer une fonction AWS Lambda lorsqu’un changement spécifique est apporté à vos ressources S3. Les notifications d'événements S3 transcodent automatiquement les fichiers média au moment de les télécharger sur S3, traitent les fichiers de données dès qu'ils sont disponibles et synchronisent les objets avec d'autres magasins de données. En outre, les derniers kits SDK AWS calculent automatiquement des sommes de contrôle efficaces basées sur contrôle de redondance cyclique (CRC) pour l’ensemble des chargements. S3 vérifie indépendamment cette somme de contrôle et n’accepte les objets qu’après avoir vérifié que l’intégrité des données a été maintenue pendant le transit sur l’Internet public. Si une version du kit SDK ne fournissant pas de somme de contrôle précalculée est utilisée pour charger un objet, S3 calcule une somme de contrôle basée sur CRC pour l’ensemble de l’objet, y compris pour les chargements en plusieurs parties. Les sommes de contrôle sont stockées dans les métadonnées des objets et sont donc disponibles pour vérifier l’intégrité des données à tout moment. Vous pouvez choisir l’un des cinq algorithmes pris en charge (CRC64NVME, CRC32, CRC32C, SHA-1 et SHA-256) pour vérifier l’intégrité des données lors du chargement et du téléchargement en fonction des besoins de votre application.

Analyses et informations sur le stockage

S3 Storage Lens offre une visibilité à l’échelle de l’organisation sur l’utilisation du stockage d’objets et les tendances de l’activité. Il formule des recommandations concrètes pour améliorer la rentabilité et appliquer les bonnes pratiques de protection des données. S3 Storage Lens est la première solution d'analytique du stockage dans le cloud à fournir une vue unique de l'utilisation et de l'activité du stockage d'objets sur des centaines, voire des milliers de comptes dans une organisation, avec des analyses détaillées destinées à produire des informations au niveau du compte, du compartiment ou même du préfixe. S’appuyant sur plus de 16 ans d’optimisation du stockage auprès des clients, S3 Storage Lens analyse les métriques à l’échelle de l’organisation pour fournir des recommandations contextuelles afin de trouver des moyens de réduire vos coûts de stockage et d’appliquer les meilleures pratiques en matière de protection des données. 

Amazon S3 Storage Class Analysis analyse les modèles d'accès au stockage et savoir quand transférer les bonnes données vers la bonne classe de stockage. Cette fonctionnalité Amazon S3 étudie les modèles d'accès aux données pour vous aider à déterminer quand effectuer la transition du stockage le moins fréquemment consulté vers une classe de stockage moins coûteuse. Vous pouvez utiliser les résultats pour améliorer vos politiques de cycle de vie S3. Vous pouvez configurer l'analyse de classe de stockage pour analyser tous les objets d'un compartiment. Vous pouvez également configurer des filtres pour regrouper les objets à des fins d'analyse par préfixe commun, par balises d'objet ou par préfixe et balises. Pour en savoir plus, consultez la page Analytique et informations sur le stockage.

Stockage des tables

Les tables Amazon S3 proposent le premier magasin d’objets dans le cloud doté d’une prise en charge intégrée du format de table ouverte et constituent le moyen le plus simple de stocker des données tabulaires à grande échelle. Les tables S3 sont spécifiquement optimisées pour les charges de travail analytiques, ce qui se traduit par des performances de requête jusqu’à 3 fois plus rapides et des transactions par seconde jusqu’à 10 fois plus élevées que les tables autogérées. Les tables S3 prennent en charge la norme Apache Iceberg. Elles sont facilement interrogeables par les moteurs de recherche AWS et tiers les plus répandus. En outre, les tables S3 sont conçues pour effectuer une maintenance continue des tables afin d’optimiser automatiquement l’efficacité des requêtes et les coûts de stockage au fil du temps, même à mesure que votre lac de données se met à l’échelle. L’intégration des tables S3 avec le Catalogue des données AWS Glue est en version préliminaire, ce qui vous permet de diffuser, d’interroger et de visualiser des données, y compris des tables de S3 Metadata, à l’aide des services d’analytique AWS tels qu’Amazon Data Firehose, Amazon Athena, Amazon Redshift, Amazon EMR et Amazon QuickSight.

Les tables S3 utilisent des compartiments de tables, un type de compartiment spécialement conçu pour stocker des données tabulaires. Grâce aux compartiments de tables, vous pouvez facilement créer des tables et configurer des autorisations au niveau des tables pour gérer l’accès à votre lac de données. Vous pouvez ensuite charger et interroger les données de vos tables à l’aide du code SQL standard, et tirer parti des fonctionnalités avancées d’analytique d’Apache Iceberg, telles que les transactions au niveau des lignes, les instantanés interrogeables, l’évolution des schémas, etc. Les compartiments de tables fournissent également une maintenance des tables basée sur des règles, ce qui vous permet d’automatiser les tâches opérationnelles telles que le compactage, la gestion des instantanés et la suppression des fichiers non référencés.

Classes de stockage

Grâce à Amazon S3, vous pouvez stocker des données dans une série de classes de stockage S3 différentes, conçues spécialement pour des cas d’utilisation et des modèles d’accès spécifiques : S3 Intelligent-Tiering, S3 StandardS3 Express One ZoneS3 Standard-Infrequent Access (S3 Standard-IA)S3 One Zone-Infrequent Access (S3 One Zone-IA)S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval, S3 Glacier Deep Archive et S3 Outposts.

Chaque classe de stockage S3 prend en charge un niveau d'accès de données spécifique à des coûts ou à un emplacement géographique correspondants. 

Pour les données dont les modèles d’accès sont changeants, inconnus ou imprévisibles, comme les lacs de données, l’analytique ou les nouvelles applications, utilisez S3 Intelligent-Tiering, qui optimise automatiquement vos coûts de stockage. S3 Intelligent-Tiering déplace automatiquement vos données entre trois niveaux d'accès à faible latence, optimisés pour les accès fréquents, peu fréquents et rares. Lorsque des sous-ensembles d'objets sont archivés au fil du temps, vous pouvez activer le niveau d'accès aux archives conçu pour un accès asynchrone.

Pour des modèles d’accès plus prévisibles, vous pouvez stocker des données de production stratégiques dans S3 Standard afin de permettre un accès fréquent, d’accélérer les applications critiques en termes de performances en stockant vos données les plus fréquemment consultées dans S3 Express One Zone, d’économiser en stockant des données à accès non fréquent dans S3 standard – Accès peu fréquent ou S3 unizone – Accès peu fréquent et d’archiver des données aux coûts les plus faibles dans les classes de stockage d’archive : S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval et S3 Glacier Deep Archive. Vous pouvez utiliser la fonctionnalité d’Analyse de classe de stockage S3 pour surveiller les tendances d’accès de différents objets afin de découvrir des données qui devraient être déplacées vers des classes à plus faible coût. Vous pouvez alors utiliser ces informations pour configurer une stratégie de Cycle de vie S3 pour opérer le transfert de données. Vous pouvez également utiliser les politiques de Cycle de vie S3 pour les objets expirés à la fin de leur cycle de vie.

Si vos exigences en matière de résidence des données ne peuvent pas être satisfaites par une région AWS existante, vous pouvez utiliser les classes de stockage S3 pour les zones locales dédiées AWS ou les racks S3 sur Outposts pour stocker vos données dans un périmètre de données spécifique.

 

Amazon S3 prend en charge vos cas d’utilisation relatifs à la résidence et à l’isolation des données lorsque vous devez stocker des données dans un périmètre de données spécifique. Si vos exigences en matière de résidence des données ne peuvent pas être satisfaites par une région AWS existante, vous pouvez utiliser les classes de stockage S3 pour les zones locales dédiées AWS ou les racks S3 on Outposts pour stocker vos données dans un périmètre de données spécifique. Cela s’inscrit dans le cadre de l’engagement de souveraineté numérique d’AWS, notre engagement à offrir l’ensemble le plus avancé de contrôles et de fonctionnalités de souveraineté dans le cloud.

Gestion des accès et sécurité

Par défaut, afin de protéger les données stockées sur Amazon S3, les utilisateurs disposent uniquement d'un accès aux ressources S3 qu'ils créent. Il est possible d’accorder l’accès à d’autres utilisateurs via les fonctionnalités de gestion des accès suivantes : AWS Identity and Access Management (IAM) pour créer des utilisateurs et gérer leurs accès respectifs ; les listes de contrôle d’accès (ACL) pour rendre des objets individuels accessibles aux utilisateurs autorisés ; des stratégies de compartiment pour configurer les autorisations de tous les objets dans un seul compartiment S3 ; les points d’accès S3 pour simplifier la gestion des accès aux ensembles de données partagées en créant des points d’accès avec des noms et des autorisations propres à chaque application ou à des ensembles d’applications ; les autorisations d’accès S3 pour gérer les autorisations à grande échelle en accordant automatiquement l’accès S3 aux utilisateurs finaux en fonction de leur identité d’entreprise et l’authentification par chaîne d’interrogation pour autoriser un accès limité dans le temps par le biais d’URL temporaires. Amazon S3 prend également en charge les journaux d’audit qui répertorient les requêtes faites sur vos ressources S3, pour une visibilité totale de ceux qui accèdent aux données.

Amazon S3 propose des fonctions de sécurité flexibles pour bloquer l'accès à vos données aux utilisateurs non autorisés. Utilisez des points de terminaison d’un VPC pour vous connecter aux ressources S3 à partir de votre Amazon Virtual Private Cloud (Amazon VPC) et de votre environnement sur site. Amazon S3 crypte tous les nouveaux téléchargements de données vers n'importe quel compartiment (à partir du 5 janvier 2023). Amazon S3 prend en charge le chiffrement côté serveur (avec quatre options de gestion des clés) et le chiffrement côté client pour les chargements de données (consultez le Guide de l’utilisateur Amazon S3 pour en savoir plus sur le chiffrement des données avec S3). Utilisez l’inventaire S3 pour vérifier l’état de chiffrement de vos objets S3 (voir Gestion du stockage pour plus d’informations sur l’inventaire S3).

Amazon S3 Block Public Access est un ensemble de contrôles de sécurité permettant d’empêcher un accès public à des compartiments et à des objets S3. Block Public Access est activé par défaut pour tous les nouveaux compartiments. En quelques clics dans la console Amazon S3, vous pouvez appliquer les paramètres S3 Block Public Access à tous les compartiments au sein de votre compte AWS, ou à des compartiments S3 spécifiques. Une fois les paramètres appliqués à un compte AWS, tous les compartiments nouveaux ou existants et les objets associés à ce compte héritent des paramètres qui empêchent l’accès public. Les paramètres S3 Block Public Access se substituent aux autres autorisations S3, ce qui permet à l'administrateur du compte d'appliquer facilement une stratégie « aucun accès public », quelles que soient les autorisations d'accès existantes, ou la façon dont un objet est ajouté à un compartiment, la façon dont il est créé ou s'il existe des autorisations d'accès. Les commandes S3 Block Public Access sont vérifiables, assurent une couche supplémentaire de contrôle et utilisent les vérifications de permissions de compartiments AWS Trusted Advisor, les journaux AWS CloudTrail et les alarmes Amazon CloudWatch. Vous pouvez activer Block Public Access pour tous les comptes et compartiments que vous ne souhaitez pas rendre accessibles publiquement.

S3 Object Ownership est une fonctionnalité qui désactive les listes de contrôle d’accès (ACL), en confiant la propriété de tous les objets au propriétaire du compartiment et en simplifiant la gestion de l’accès aux données stockées dans S3. Lorsque vous configurez le paramètre du propriétaire du compartiment S3 Object Ownership, les ACL n’affecteront plus les autorisations pour votre compartiment et les objets qu’il contient. Tout contrôle d'accès sera défini à l'aide de politiques basées sur les ressources, de politiques utilisateur ou d'une combinaison des deux. Avant de désactiver les ACL, révisez vos ACL de compartiments et d'objets. Pour identifier les demandes Amazon S3 qui ont nécessité des ACL pour l’autorisation, vous pouvez utiliser le champ aclRequired dans journaux d’accès du serveur Amazon S3 ou AWS CloudTrail.

En utilisant des points d'accès S3 limités à un Virtual Private Cloud (VPC), vous pouvez facilement activer un pare-feu pour vos données S3 de votre réseau privé. En outre, vous pouvez utiliser des politiques de contrôle des services AWS pour exiger que tout nouveau point d'accès S3 de votre organisation soit limité exclusivement à l'accès VPC.

IAM Access Analyzer pour S3 est une fonctionnalité qui vous permet de simplifier la gestion des autorisations lorsque vous définissez, vérifiez et affinez les politiques de vos compartiments et points d’accès S3. Access Analyzer for S3 contrôle vos politiques d'accès aux compartiments existantes pour vérifier qu'elles fournissent uniquement l'accès requis à vos ressources S3. Access Analyzer for S3 évalue les politiques d'accès de votre compartiment pour vous permettre de corriger rapidement ceux qui proposent un accès non requis. Lorsque vous recevez des résultats montrant des accès potentiellement partagés à un compartiment, vous pouvez bloquer tous les accès publics au compartiment en un seul clic dans la console S3. À des fins d'audit, vous pouvez télécharger les découvertes d'Access Analyzer for S3 sous forme de rapport CSV. De plus, la console S3 signale les avertissements de sécurité, les erreurs et les suggestions de l'analyseur d'accès IAM lors de la création de vos stratégies S3. La console exécute automatiquement plus de 100 contrôles de stratégie pour valider vos stratégies. Ces contrôles vous font gagner du temps, vous guident pour résoudre les erreurs et vous aident à appliquer les bonnes pratiques de sécurité.

IAM vous permet de facilement analyser les accès et de diminuer les autorisations pour atteindre les moindres privilèges en fournissant un horodatage lorsqu'un rôle ou un utilisateur a utilisé en dernier S3 et les actions associées. Utilisez cette information « dernier accès » pour analyser l'accès à S3, identifier les autorisations non utilisées et les supprimer en toute confiance. Pour en savoir plus, consultez Ajustement des autorisations à l’aide des données sur les derniers accès.

Vous pouvez utiliser Amazon Macie pour découvrir et protéger des données sensibles stockées dans Amazon S3. Macie rassemble un inventaire S3 complet et évalue de manière continue chaque compartiment pour signaler les compartiments accessibles publiquement, les compartiments non chiffrés, ou ceux partagés ou répliqués avec des comptes AWS en dehors de votre organisation. Macie applique ensuite les techniques de machine learning et de correspondance de modèles aux compartiments de votre choix pour identifier les données sensibles, par exemple les données d'identification personnelle (PII), et vous envoyer les alertes correspondantes. Au fur et à mesure que les résultats de sécurité sont générés, ils sont poussés hors d'Amazon CloudWatch Events, ce qui facilite l'intégration aux systèmes existants de flux de travail et le déclenchement de l'application automatique de mesures correctives avec des services comme AWS Step Functions et agir, comme fermer un compartiment public ou ajouter des identifications de ressource.

AWS PrivateLink for S3 offre une connectivité privée entre Amazon S3 et les instances sur site. Vous pouvez provisionner des points de terminaison d'un VPC d'interface pour S3 dans votre VPC, afin de connecter vos applications sur site directement à S3, via AWS Direct Connect ou AWS VPN. Les demandes aux points de terminaison d'un VPC d'interface pour S3 sont automatiquement dirigées vers S3 via le réseau Amazon. Vous pouvez définir des groupes de sécurité et configurer des stratégies de point de terminaison de VPC pour vos points de terminaison d'un VPC d'interface pour des contrôles d'accès supplémentaires.

Pour en savoir plus, consultez Gestion des accès et sécurité S3, , l’e-book sur la sécurité et la protection des données S3 et la protection des données dans Amazon S3.

Traitement de données

 S3 Object Lambda vous donne la possibilité d’intégrer votre propre code aux requêtes GET S3, HEAD et LIST, afin de modifier et de traiter les données lorsqu’elles sont renvoyées vers une application. Vous pouvez utiliser un code personnalisé pour modifier les données renvoyées par les demandes GET S3 standard afin de filtrer les lignes, redimensionner de façon dynamique des images, supprimer des données confidentielles et bien d'autres actions. Vous pouvez également utiliser S3 Object Lambda pour modifier le résultat des requêtes S3 LIST afin de créer une vue personnalisée des objets d'un compartiment et des requêtes S3 HEAD pour modifier les métadonnées des objets, comme leur nom et leur taille. Alimenté par les fonctions AWS Lambda, votre code s'exécute sur une infrastructure entièrement gérée par AWS, ce qui élimine la nécessité de créer et de stocker des copies dérivées de vos données ou d'exécuter des proxys coûteux, tout cela sans devoir modifier les applications.

S3 Object Lambda utilise les fonctions AWS Lambda pour traiter automatiquement la sortie d’une requête GET, HEAD ou LIST S3 standard. AWS Lambda est un service de calcul sans serveur qui exécute le code défini par le client sans nécessiter de gestion des ressources de calcul sous-jacentes. En quelques clics seulement dans la console de gestion AWS, vous pouvez configurer une fonction Lambda et l'attacher à un point d'accès S3 Object Lambda. Désormais, S3 invoquera automatiquement votre fonction Lambda pour traiter les données extraites via le point d'accès S3 Object Lambda, renvoyant un résultant transformé à l'application. Vous pouvez écrire et exécuter vos propres fonctions Lambda personnalisées et ajuster la transformation des données de S3 Object Lambda à votre cas d'utilisation spécifique.

Exécution de requêtes sur place

Amazon S3 dispose de services complémentaires intégrés qui exécutent des requêtes sur les données sans devoir les copier et les charger dans une plateforme d’analytique ou un entrepôt de données séparé. Cela signifie que vous pouvez exécuter l’analytique des données directement sur vos données stockées dans Amazon S3.

Amazon S3 est compatible avec les services d’analytique AWS Amazon Athena et Amazon Redshift Spectrum. Amazon Athena interroge vos données dans Amazon S3 sans devoir l’extraire et le charger dans un service ou une plateforme séparée. Il utilise les expressions SQL standard pour analyser vos données, livre des résultats en quelques secondes et s'utilise communément pour la découverte de données ad hoc. Amazon Redshift Spectrum exécute également des requêtes SQL directement contre les données au repos dans Amazon S3 et s’adapte plus aux requêtes complexes et aux grands jeux de données (jusqu’aux exaoctets). Vous pouvez utiliser Amazon Athena et Amazon Redshift avec les mêmes jeux de données dans Amazon S3, car ils partagent tous les deux un catalogue de données et des formats de données communs.

Pour en savoir plus sur l’interrogation de vos données dans Amazon S3, consultez le billet de blog.

 

Transfert de données

AWS propose une gamme de services de transfert de données fournissant la solution adaptée à tout projet de migration. Ce niveau de connectivité est un facteur de taille dans la migration des données et AWS dispose d'offres pour vos besoins en matière de stockage cloud hybride et de transfert de donnée en ligne et hors ligne.

Stockage cloud hybride : AWS Storage Gateway est un service de stockage cloud hybride qui vous permet de connecter et d’étendre en toute simplicité vos applications sur site vers le stockage AWS. Les clients utilisent Storage Gateway pour remplacer facilement les bibliothèques de bandes par un stockage dans le cloud, partager des fichiers stockés et sauvegardés dans le cloud ou effectuer une mise en cache afin d'accéder sans latence aux données AWS pour les applications sur site. 

Transfert de données en ligne : AWS DataSync permet de transférer simplement et efficacement des centaines de téraoctets et des millions de fichiers vers Amazon S3, jusqu’à dix fois plus rapidement que les outils open source. DataSync élimine ou gère automatiquement un grand nombre de tâches manuelles, comme l'écriture de script des tâches de copie, la programmation et la surveillance des transferts, la validation des données et l'optimisation de l'utilisation du réseau. De plus, vous pouvez utiliser AWS DataSync afin de copier des objets entre un compartiment stocké sur S3 sur Outposts et un compartiment stocké dans une région AWS. AWS Transfer Family permet de transférer des fichiers vers Amazon S3 de façon entièrement gérée, simple et transparente via SFTP, FTPS et FTP. Amazon S3 Transfer Acceleration permet de transférer rapidement des fichiers sur de longues distances entre votre client et votre compartiment Amazon S3.

Transfert de données hors ligne/connectivité faible ou inexistante : le service AWS Snowballutilise des périphériques de stockage portables robustes et des périphériques informatiques de périphérie pour la collecte, le traitement et la migration des données. Les clients peuvent envoyer le périphérique Snowball physique pour une migration des données hors ligne vers AWS.

Les clients peuvent également travailler avec de fournisseurs tiers du réseau de partenaires AWS (APN) afin de déployer des architectures de stockage hybrides, d’intégrer Amazon S3 à des applications et flux de travail existants, et de transférer des données depuis et vers AWS.

Pour plus d’informations, consultez les rubriques Services de migration de données dans le Cloud AWSAWS Storage Gateway, AWS DataSync, AWS Transfer Family, Amazon S3 Transfer Acceleration et AWS Snowball.

Échange de données

AWS Data Exchange for Amazon S3 accélère la mise en place d’informations grâce à un accès direct aux données Amazon S3 des fournisseurs de données. AWS Data Exchange pour Amazon S3 vous aide à trouver, à vous abonner et à utiliser facilement des fichiers de données tiers pour optimiser les coûts de stockage, simplifier la gestion des licences de données, etc. Il est destiné aux abonnés qui souhaitent utiliser facilement des fichiers de données tiers pour l'analyse de données avec les services AWS sans avoir à créer ou à gérer des copies de données. Il est également utile pour les fournisseurs de données qui souhaitent offrir un accès sur place aux données hébergées dans leurs compartiments Amazon S3.

Lorsque les abonnés aux données ont droit à un jeu de données AWS Data Exchange pour Amazon S3, ils peuvent commencer l'analyse de données sans avoir à configurer leurs propres compartiments S3, copier des fichiers de données dans ces compartiments S3 ou payer les frais de stockage associés. Il est possible d'effectuer des analyses de données avec des services AWS comme Amazon Athena, Amazon SageMaker Feature Store ou Amazon EMR. Les abonnés accèdent aux mêmes objets S3 que le fournisseur de données entretient et utilisent donc toujours les données les plus actuelles disponibles, sans travail d'ingénierie ou opérationnel supplémentaire nécessaire. Les fournisseurs de données peuvent facilement configurer AWS Data Exchange pour Amazon S3 en plus de leurs compartiments S3 existants pour partager un accès direct vers un compartiment S3 entier ou vers des préfixes et des objets S3 spécifiques. Après configuration, AWS Data Exchange gère automatiquement les abonnements, les droits, la facturation et le paiement.

Performances

Amazon S3 offre des performances de pointe pour le stockage d'objets dans le cloud. Amazon S3 prend en charge les requêtes parallèles, ce qui signifie que vous pouvez faire évoluer vos performances S3 par le biais du facteur de votre cluster de calcul, sans effectuer de personnalisation de votre application. Les performances évoluent par préfixe, ce qui vous permet d'utiliser autant de préfixes que vous le souhaitez en parallèle afin d'atteindre le débit requis. Il n'y a pas de limites quant au nombre de préfixes. Amazon S3 peut prendre en charge au moins 3 500 demandes par seconde pour l'ajout de données et 5 500 demandes par seconde pour la récupération des données. Chaque préfixe S3 peut prendre en charge ces taux de requêtes, ce qui simplifie l'augmentation considérable des performances.

Pour obtenir ces performances de taux de requêtes S3, vous n'avez pas besoin de randomiser les préfixes d'objets pour obtenir des performances plus rapides. Cela signifie que vous pouvez utiliser des modèles de dénomination logiques ou séquentiels dans la dénomination des objets S3 sans aucune incidence sur les performances. Reportez-vous aux Instructions sur les performances pour Amazon S3 et aux Modèles de conception des performances pour Amazon S3 pour obtenir les informations les plus récentes sur l’optimisation des performances pour Amazon S3.

Amazon S3 offre automatiquement une forte cohérence lecture après écriture pour toutes les applications, sans modification des performances ou de la disponibilité, sans sacrifier l'isolation régionale pour les applications et sans frais supplémentaires. Grâce à la cohérence élevée de S3, S3 simplifie la migration des charges de travail d’analytique sur site en supprimant le besoin d’apporter des modifications aux applications et réduit les coûts en éliminant la nécessité d’infrastructure supplémentaire pour fournir une forte cohérence.

Toute demande de stockage S3 est fortement cohérente. Après l'écriture réussie d'un nouvel objet ou le remplacement réussi d'un objet existant, toute demande de lecture ultérieure reçoit immédiatement la dernière version de l'objet. S3 fournit également une forte cohérence pour les opérations de liste. Par conséquent, après une écriture, vous pouvez immédiatement effectuer une liste des objets dans un compartiment avec toutes les modifications prises en compte.

Utilisation prévue et restrictions

Votre utilisation de ce service est soumise au Contrat client Amazon Web Services.