Características de Amazon S3

Page Topics

Administración y monitoreo del almacenamiento Análisis e información de almacenamiento Almacenamiento de tabla Tipos de almacenamiento Administración de acceso y seguridad Procesamiento de datos Consulta in situ Transferencia de datos Data Exchange Rendimiento

Administración y monitoreo del almacenamiento

La estructura sin formato no jerárquica de Amazon S3, junto con distintas características de administración, ayudan a clientes de todos los tamaños y sectores a organizar los datos de forma útil para sus negocios y equipos. Todos los objetos se almacenan en buckets de S3 y se pueden organizar con nombres compartidos denominados prefijos. También puede anexar a cada objeto hasta 10 pares de clave-valor, denominados etiquetas de objetos de S3, que se pueden crear, actualizar y eliminar a lo largo de todo el ciclo de vida de los objetos. Para rastrear los objetos y sus etiquetas, buckets y prefijos respectivos, puede utilizar un informe de S3 Inventory, donde se enumeran los objetos almacenados en un bucket de S3 o con un prefijo específico, así como sus metadatos y estado de cifrado correspondientes. S3 Inventory puede configurarse para generar informes diaria o semanalmente.

Los nombres de los buckets de S3, los prefijos, las etiquetas de objetos, metadatos de S3 (versión preliminar) y el inventario de S3 ofrecen varias formas de clasificar los datos y generar informes sobre estos; como consecuencia, podrá configurar otras características de S3 para llevar a cabo acciones. Ya sea que almacene miles o miles de millones de objetos, las Operaciones por lote de S3 facilitan la administración de datos en Amazon S3 a cualquier escala. Las operaciones por lotes de S3 le permiten copiar objetos entre buckets, reemplazar conjuntos de etiquetas de objetos, modificar los controles de acceso y restaurar objetos archivados desde las clases de almacenamiento S3 Glacier Flexible Retrieval y S3 Glacier Deep Archive, con una única solicitud a la API de S3 o unos pocos pasos en la consola de S3. También puede utilizar las operaciones por lotes de S3 para ejecutar funciones de AWS Lambda en sus objetos destinadas a aplicar lógica empresarial personalizada, como el procesamiento de datos o la transcodificación de archivos de imagen. Para comenzar, seleccione un bucket de origen y los filtros o especifique una lista de objetos de destino. Para ello, utilice un informe de S3 Inventory o proporcione una lista personalizada y, a continuación, seleccione la operación que desee en un menú con varias opciones. Cuando se realiza una solicitud de operación por lote de S3, recibirá una notificación y un informe de finalización de todos los cambios realizados. Para obtener más información sobre las operaciones por lotes de S3, mire los tutoriales en video. 

Los metadatos de Amazon S3 (versión preliminar) ofrecen metadatos de objetos consultables casi en tiempo real para organizar los datos y acelerar el descubrimiento de datos. Esto ayuda a la selección, la identificación y el uso de sus datos de S3 para el análisis empresarial, las aplicaciones de inferencia en tiempo real y mucho más. Los metadatos de S3 admiten metadatos de objetos, que incluyen detalles definidos por el sistema, como el tamaño y el origen del objeto, y metadatos personalizados, que le permiten usar etiquetas para anotar sus objetos con información como el SKU del producto, el ID de transacción o la clasificación del contenido, etc. Los metadatos de S3 están diseñados para capturar automáticamente los metadatos de los objetos a medida que se cargan en un bucket y para que esos metadatos se puedan consultar en una tabla de solo lectura. A medida que cambian los datos del bucket, los metadatos de S3 actualizan la tabla en cuestión de minutos para reflejar los cambios más recientes.

Amazon S3 también admite características que ayudan a controlar las versiones de los datos, impedir el borrado accidental y replicar datos en las mismas regiones de AWS o en otras. Con el control de versiones de S3, puede preservar, recuperar y restaurar todas las versiones de un objeto almacenado en Amazon S3, lo que permite recuperarse fácilmente de acciones de usuarios involuntarias y de errores de aplicaciones. Para impedir el borrado accidental, habilite la eliminación de autenticación multifactor (MFA) en un bucket de S3. Si intenta eliminar un objeto almacenado en un bucket MFA habilitado para la eliminación, se requerirán dos formas de autenticación: las credenciales de la cuenta de AWS y la concatenación de un número de serie válido, un espacio y el código de seis dígitos que se muestra en un dispositivo de autenticación aprobado, como un mando de clave de hardware o una clave de seguridad de segundo factor universal (U2F).

Con la replicación de S3, puede replicar objetos (así como sus respectivos metadatos y etiquetas de objeto) en uno o más buckets de destino en las mismas u otras regiones de AWS para lograr una latencia reducida, cumplimiento, seguridad, recuperación ante desastres y otros casos de uso. Puede configurar la replicación entre regiones de S3 (CRR) para replicar objetos desde un bucket de S3 de origen hasta uno o más buckets de destino en distintas regiones de AWS. La replicación en la misma región (SRR) de S3 replica objetos entre buckets dentro de la misma región de AWS. Mientras que la replicación en vivo, como CRR y SRR, replica de manera automática objetos cargados de manera reciente a medida que se escriben en su bucket, la replicación por lotes de S3 permite replicar objetos existentes. Puede utilizar Replicación por lotes de S3 para replicar un bucket creado recientemente con objetos existentes, reintentar objetos que no se pudieron replicar anteriormente, migrar datos entre cuentas o agregar nuevos buckets a su lago de datos. El Control del tiempo de replicación de S3 (S3 RTC) ayuda a lograr los requisitos de cumplimiento para la replicación de datos con el suministro de un acuerdo de nivel de servicio y visibilidad sobre los tiempos de replicación.

Para acceder a conjuntos de datos replicados en buckets de S3 de cuentas y regiones de AWS distintas, utilice los puntos de acceso de varias regiones de Amazon S3 para crear un único punto de enlace global que sus aplicaciones y clientes podrán utilizar sin importar su ubicación. Este punto de conexión global le permite crear aplicaciones de varias regiones con la misma arquitectura simple que utilizaría en una única región para después ejecutar esas aplicaciones en cualquier lugar del mundo. Los puntos de acceso de varias regiones de Amazon S3 pueden acelerar el rendimiento en hasta un 60 % cuando se accede a los conjuntos de datos replicados en varias cuentas y regiones de AWS. Con base en AWS Global Accelerator, los puntos de acceso para varias regiones de S3 toman en cuenta factores como la congestión de la red y la ubicación de la aplicación de solicitud para dirigir de forma dinámica las solicitudes a la red de AWS con la menor copia de latencia de los datos. Al utilizar los controles de conmutación por error de puntos de acceso de varias regiones de S3, puede conmutar por error entre sus conjuntos de datos replicados en regiones de AWS, lo que permite trasladar el tráfico de solicitudes de datos de S3 a una región de AWS alternativa en cuestión de minutos.

También puede aplicar políticas de escritura única y lectura múltiple (WORM) con S3 Object Lock. Esta característica de administración de S3 bloquea la eliminación de una versión de objeto durante un período de retención definido por el cliente, lo que le permite aplicar políticas de retención como una capa adicional de protección de datos o para cumplir obligaciones de conformidad. Puede migrar cargas de trabajo de los sistemas WORM existentes a Amazon S3 y configurar S3 Object Lock en los niveles de objeto y bucket para impedir la eliminación de versiones de objeto antes de una fecha de retención legal o de finalización de retención que se haya predefinido. Los objetos con S3 Object Lock conservan la protección de WORM, aunque se hayan cambiado a otros tipos de almacenamiento distintos con una política de ciclo de vida de S3. Para realizar un seguimiento de los objetos que tienen S3 Object Lock, puede consultar un informe de S3 Inventory que incluya el estado de WORM de los objetos. S3 Object Lock se puede configurar de dos formas distintas. Cuando se implementa en modo de gobierno, las cuentas de AWS con permisos de IAM específicos pueden eliminar S3 Object Lock de los objetos. Si se requiere mayor inmutabilidad para cumplir las normativas, puede utilizar el modo de conformidad. En dicho modo, ningún usuario, incluida la cuenta raíz, puede eliminar la protección.

Además de estas capacidades de administración, puede utilizar las características de Simple Storage Service (Amazon S3) y otros servicios de AWS para supervisar y controlar la forma en que se utilizan sus recursos de S3. Etiquete los buckets de S3 para asignar costes en varias dimensiones empresariales (por ejemplo, centros de costes, nombres de aplicación o propietarios) y luego utilice los informes de asignación de costes de AWS para ver el uso y los costes que agregan las etiquetas de bucket. También puede utilizar Amazon CloudWatch para rastrear el estado operativo de sus recursos de AWS y configurar alertas de facturación cuando los cargos estimados alcancen el umbral que defina el usuario. Utilice AWS CloudTrail para rastrear y generar informes de actividades a nivel de objeto y de bucket y configure las notificaciones de eventos de S3 para desencadenar flujos de trabajo y alertas o invocar AWS Lambda cuando se produzca un cambio específico en sus recursos de S3. Las notificaciones de eventos de S3 transcodifican automáticamente archivos multimedia al cargarse en S3, procesan archivos de datos a medida que están disponibles o sincronizan objetos con otros almacenes de datos. Además, los SDK de AWS más recientes calculan automáticamente sumas de comprobación eficaces basadas en CRC para todas las cargas. S3 verifica de forma independiente esa suma de verificación y solo acepta objetos después de confirmar que la integridad de los datos se mantuvo en tránsito a través de la Internet pública. Si se utiliza una versión del SDK que no proporciona sumas de comprobación calculadas previamente para cargar un objeto, S3 calcula una suma de comprobación basada en CRC de todo el objeto, incluso para las cargas multiparte. Las sumas de comprobación se almacenan en los metadatos de los objetos y, por lo tanto, están disponibles para verificar la integridad de los datos en todo momento. Puede elegir uno de los cinco algoritmos compatibles (CRC64NVME, CRC32, CRC32C, SHA-1 y SHA-256) para comprobar la integridad de los datos al cargar y descargar, según las necesidades de su aplicación.

Análisis e información de almacenamiento

S3 Storage Lens ofrece visibilidad del uso de almacenamiento de objetos y las tendencias de actividad en toda la organización. También realiza recomendaciones prácticas para mejorar la rentabilidad y aplicar prácticas recomendadas de protección de datos. Lente de almacenamiento de S3 es la primera solución de análisis de almacenamiento en la nube que brinda una vista única del uso de almacenamiento de objetos y la actividad a través de cientos, e incluso miles, de cuentas en una organización, con desgloses para generar información a nivel de cuenta, bucket o incluso de prefijo. Con más de 16 años de experiencia en la optimización del almacenamiento para clientes, S3 Storage Lens analiza métricas a nivel organizacional para ofrecer recomendaciones contextuales que permitan identificar formas de reducir los costos de almacenamiento y aplicar prácticas recomendadas de protección de datos. 

El análisis de clases de almacenamiento de Amazon S3 analiza los patrones de acceso al almacenamiento para ayudarlo a decidir cuándo migrar los datos correctos a la clase de almacenamiento adecuado. Esta característica de Amazon S3 observa los patrones de acceso de datos para ayudarlo a determinar cuándo migrar el almacenamiento al cual se ha accedido con menos frecuencia a una clase de almacenamiento de menor costo. Puede utilizar los resultados para mejorar sus políticas del ciclo de vida de S3. Puede configurar el análisis de la clase de almacenamiento para analizar todos los objetos en un bucket. Por el contrario, puede configurar los filtros para agrupar los objetos para su análisis de acuerdo con el prefijo común, las etiquetas de objetos, o de acuerdo con ambos. Para obtener más información, visite la página de análisis e información de almacenamiento.

Almacenamiento de tabla

Las tablas de Amazon S3 ofrecen el primer almacén de objetos en la nube con compatibilidad integrada con el formato de tabla abierta y la forma más sencilla de almacenar datos tabulares a escala. Las tablas S3 están optimizadas específicamente para las cargas de trabajo de análisis, lo que se traduce en un rendimiento de consultas hasta 3 veces más rápido y hasta 10 veces más transacciones por segundo en comparación con las tablas autoadministradas. Las tablas S3 son compatibles con el estándar de Apache Iceberg y los populares motores de consulta de AWS y de terceros las consultan fácilmente. Además, las tablas de S3 están diseñadas para realizar un mantenimiento continuo de las tablas a fin de optimizar automáticamente la eficiencia de las consultas y los costos de almacenamiento a lo largo del tiempo, incluso a medida que su lago de datos se escala y evoluciona. La integración de tablas de S3 con el Catálogo de datos de AWS Glue está en versión preliminar, lo que permite transmitir, consultar y visualizar datos (incluidas las tablas de metadatos de S3) mediante los servicios de análisis de AWS, como Amazon Data Firehose, Amazon Athena, Amazon Redshift, Amazon EMR y Amazon QuickSight.

Las tablas de S3 utilizan buckets de tablas, un tipo de bucket diseñado específicamente para almacenar datos tabulares. Con los buckets de tablas, puede crear tablas fácilmente y configurar permisos a nivel de tabla para administrar el acceso a su lago de datos. A continuación, puede cargar y consultar datos en sus tablas con SQL estándar y aprovechar las capacidades avanzadas de análisis de Apache Iceberg, como las transacciones a nivel de fila, las instantáneas que pueden consultarse, la evolución de esquemas y más. Los buckets de tablas también proporcionan un mantenimiento de tablas basado en políticas, lo que ayuda a automatizar las tareas operativas, como la compactación, la administración de instantáneas y la eliminación de archivos sin referencia.

Tipos de almacenamiento

Amazon S3 permite almacenar datos en distintas clases de almacenamiento de S3 personalizadas para casos de uso y patrones de acceso específicos: S3 Intelligent-Tiering, S3 Standard, S3 Express One Zone, S3 Standard-Infrequent Access (S3 Standard-IA), S3 One Zone-Infrequent Access (S3 One Zone-IA), S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval, S3 Glacier Deep Archive y S3 Outposts.

Cada una de las clases de almacenamiento de S3 admite un nivel de acceso a los datos específico con la localización geográfica o sus costos correspondientes. 

Para los datos que presenten patrones de acceso cambiantes, desconocidos o imprevisibles, como los lagos de datos, los análisis o las aplicaciones nuevas, utilice S3 Intelligent-Tiering, el cual optimiza sus costos de almacenamiento de manera automática. S3 Intelligent-Tiering traslada automáticamente sus datos entre tres niveles de acceso de baja latencia optimizados en función de los accesos frecuentes, poco frecuentes e inusuales. Cuando subconjuntos de objetos se archivan al cabo de un tiempo, es posible activar el nivel de acceso al archivo diseñado para el acceso asíncrono.

Para los patrones de acceso más previsibles, puede almacenar los datos de producción críticos en S3 Standard para un acceso frecuente, acelerar las aplicaciones con rendimiento crítico al almacenar los datos de acceso frecuente en S3 Express One Zone, almacenar los datos de acceso poco frecuente en S3 Standard-IA o S3 One Zone-IA para ahorrar los costos y, luego, guardar datos al precio más reducido en las clases de almacenamiento de archivo (S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval y S3 Glacier Deep Archive). Puede utilizar Análisis de clases de almacenamiento de S3 para supervisar los patrones de acceso entre los objetos y detectar datos que deben cambiarse a clases de almacenamiento de menor costo. Después, puede utilizar esta información para configurar una política de ciclo de vida de S3 que realice la transferencia de datos. También puede usar las políticas de ciclo de vida de S3 para que los objetos caduquen al final de sus ciclos de vida.

Si tiene requisitos de residencia de los datos que una región de AWS existente no puede cumplir, puede usar las clases de almacenamiento S3 para las zonas locales dedicadas de AWS o los racks S3 on Outposts para almacenar los datos en un perímetro de datos específico.

 

Amazon S3 es compatible con sus casos de uso de residencia y aislamiento de datos cuando necesita almacenar datos en un perímetro de datos específico. Si tiene requisitos de residencia de los datos que una región de AWS existente no puede cumplir, puede usar las clases de almacenamiento S3 para las zonas locales dedicadas de AWS o los racks S3 on Outposts para almacenar los datos en un perímetro de datos específico. Esto amplía el Compromiso de soberanía digital de AWS, nuestro compromiso de ofrecer el conjunto más avanzado de características y controles de soberanía en la nube.

Administración de acceso y seguridad

Para proteger sus datos en Amazon S3, de forma predeterminada, los usuarios solo tienen acceso a los recursos de S3 que ellos mismos crean. Para conceder acceso a otros usuarios, utilice una de las características de administración de acceso siguientes o una combinación de ellas: AWS Identity and Access Management (IAM), para crear usuarios y administrar su correspondiente acceso; listas de control de acceso (ACL), para conceder acceso a objetos individuales a usuarios autorizados; políticas de bucket, destinadas a configurar permisos para todos los objetos de un único bucket de S3; puntos de acceso de S3 para simplificar la administración del acceso de datos a conjuntos de datos compartidos con la creación de puntos de acceso con nombres y permisos específicos para cada aplicación o conjuntos de aplicaciones; S3 Access Grants para administrar los permisos de datos a escala con la concesión automática de acceso a S3 a los usuarios finales según su identidad corporativa; y autenticación con cadena de consulta para conceder acceso a otros usuarios durante tiempo limitado con URL temporales. Amazon S3 también es compatible con los registros de auditoría, que enumeran las solicitudes realizadas a los recursos de S3 para obtener visibilidad total de quién obtiene acceso a los distintos datos.

Amazon S3 ofrece características de seguridad flexibles para bloquear el acceso de usuarios no autorizados a sus datos. Utilice los puntos de enlace de VPC para conectarse a los recursos de S3 desde Amazon Virtual Private Cloud (Amazon VPC) y de manera local. Amazon S3 cifra todas las cargas de datos nuevas a cualquier bucket (al 5 de enero de 2023). Amazon S3 es compatible tanto con el cifrado en el servidor (con cuatro opciones de administración de claves) como con el cifrado en el cliente para la carga de datos (consulte la Guía del usuario de Amazon S3 para obtener más información sobre el cifrado de datos con S3). Utilice S3 Inventory para comprobar el estado de cifrado de sus objetos de S3 (consulte Administración del almacenamiento para obtener más información sobre S3 Inventory).

La solución Bloqueo del acceso público de S3 es un conjunto de controles de seguridad que garantiza que el acceso a los buckets y a los objetos de S3 no sea público. Bloqueo del acceso público se activa de forma predeterminada para todos los buckets nuevos. De manera sencilla desde la consola de Amazon S3, puede aplicar la configuración de Bloqueo del acceso público de S3 a todos los buckets de su cuenta de AWS o específicos de S3. Una vez que la configuración se aplica a una cuenta de AWS, todos los buckets y los objetos existentes o nuevos asociados a esa cuenta heredan la configuración que impide el acceso público. La configuración de S3 Block Public Access anula otros permisos de acceso de S3, lo que facilita al administrador de la cuenta la aplicación de una política de "no acceso público", independientemente de cómo se agrega un objeto o se crea un bucket o de si hay permisos de acceso existentes. Los controles de S3 Block Public Access se pueden auditar, proporcionan una capa de control adicional y utilizan las comprobaciones de permisos de bucket de AWS Trusted Advisor, los registros de AWS CloudTrail y las alarmas de Amazon CloudWatch. Debe habilitar Bloquear acceso público en todas las cuentas y los buckets a los que no quiere que se pueda acceder públicamente.

S3 Object Ownership es una característica que deshabilita las listas de control de acceso (ACL), lo que traslada la propiedad de todos los objetos al propietario del bucket y simplifica la administración del acceso para los datos almacenados en S3. Cuando define la configuración impuesta por el propietario del bucket de la propiedad del objeto de S3, las ACL ya no afectarán los permisos de su bucket y los objetos que contiene. Todo el control de acceso se definirá mediante políticas basadas en recursos, políticas de usuario o alguna combinación de estas. Antes de que desactive ACL, revise sus ACL de buckets y objetos. Para identificar solicitudes de Amazon S3 que requieren ACL para su autorización, puede utilizar el campo aclRequired en los registros de acceso de servidor de Amazon S3 o AWS CloudTrail.

Si usa los puntos de acceso de S3 restringidos a una nube privada virtual (VPC), puede establecer el firewall en sus datos de S3 dentro de su red privada con facilidad. Además, ahora puede usar las políticas de control de servicios de AWS para requerir que cualquier punto de acceso de S3 nuevo en su organización esté restringido a un acceso de la VPC solamente.

Analizador de acceso de IAM para S3 es una característica que ayuda a simplificar la administración de permisos mientras establece, verifica y ajusta las políticas para sus buckets y puntos de acceso de S3. El analizador de acceso para S3 monitorea sus políticas de acceso a los buckets existentes para verificar que proporcionen solo el acceso necesario a sus recursos de S3. El analizador de acceso para S3 evalúa sus políticas de acceso a los buckets de modo que pueda recuperar rápidamente aquellos cuyo acceso no sea necesario. Cuando revisa los resultados que muestran el acceso potencialmente compartido a un bucket, puede bloquear el acceso público a un bucket con un solo clic en la consola de S3. Para fines de auditoría, puede descargar los hallazgos del analizador de acceso para S3 como un informe CSV. Además, la consola de S3 brinda advertencias de seguridad, informa errores y ofrece sugerencias del analizador de acceso de IAM a medida que se crean las políticas de S3. La consola ejecuta automáticamente más de 100 verificaciones de políticas para validar sus políticas. Estas verificaciones permiten ahorrar tiempo, funcionan como guía para resolver errores y ayudan a aplicar las prácticas recomendadas de seguridad.

IAM facilita el análisis del acceso y reduce los permisos para lograr el privilegio mínimo mediante el ofrecimiento de la marca temporal cuando un usuario o un rol utilizó por última vez S3 y las acciones asociadas. Utilice esta información de “último acceso” a fin de analizar el acceso a S3, identificar los permisos que no se utilizaron y eliminarlos con confianza. Para obtener más información, consulte Ajuste de permisos con información sobre los últimos accesos.

Puede utilizar Amazon Macie para detectar y proteger los datos confidenciales almacenados en Amazon S3. Macie recopila automáticamente un inventario completo de S3 y evalúa continuamente todos los buckets para alertar si alguno tiene acceso público, está sin cifrar o se comparte o replica con cuentas de AWS fuera de su organización. Luego, Macie aplica las técnicas de machine learning y correspondencia de patrones en los buckets que seleccione para identificar la información confidencial y enviarle alertas sobre ella, como la información de identificación personal (PII). A medida que se generan resultados de seguridad, se entregan a Eventos de Amazon CloudWatch, lo que facilita la integración con los sistemas de flujo de trabajo existentes y activa la reparación automatizada con servicios como AWS Step Functions para tomar medidas, como cerrar un bucket público o agregar etiquetas de recursos.

AWS PrivateLink para S3 ofrece conectividad privada entre Amazon S3 y el sistema local. Puede aprovisionar sus puntos de conexión de VPC de interfaz para S3 en su VPC para conectar sus aplicaciones en las instalaciones directamente con S3 a través de AWS Direct Connect o la VPN de AWS. Las solicitudes de puntos de enlace de la VPC de interfaz para S3 se envían automáticamente a S3 a través de la red de Amazon. Puede establecer grupos de seguridad y configurar políticas de puntos de enlace de la VPC para sus puntos de enlace de la VPC de interfaz a fin de obtener controles de acceso adicionales.

Para obtener más información, consulte Administración de acceso y seguridad de Amazon S3, el libro electrónico sobre seguridad y protección de datos de S3 y Protección de los datos en Amazon S3.

Procesamiento de datos

S3 Object Lambda permite agregar un código propio a las solicitudes GET, HEAD y LIST de S3 para modificar y procesar los datos a medida que se devuelven a una aplicación. Puede utilizar código personalizado para modificar los datos que devuelven las solicitudes GET de S3 estándar a fin de filtrar columnas, redimensionar imágenes de forma dinámica, ocultar datos confidenciales y mucho más. También puede usar S3 Object Lambda para modificar la salida de las solicitudes LIST de S3 a fin de crear una vista personalizada de los objetos en un bucket y las solicitudes HEAD de S3 para modificar los metadatos del objeto, como su nombre y tamaño. Gracias a la tecnología de las funciones de AWS Lambda, el código se ejecuta en infraestructura completamente administrada por AWS, de modo que no existe la necesidad de crear y almacenar copias derivativas de sus datos o ejecutar proxy costosos, además de no tener que realizar cambios en las aplicaciones.

S3 Object Lambda utiliza funciones de AWS Lambda para procesar automáticamente la salida de una solicitud GET, HEAD o LIST de S3 estándar. AWS Lambda es un servicio de computación sin servidor que ejecuta código definido por el cliente sin necesidad de administrar los recursos de computación subyacentes. Con tan solo unos clics en la consola de administración de AWS, puede configurar una función Lambda y asociarla a un punto de acceso de S3 Object Lambda. A partir de ese punto, S3 llamará automáticamente a su función Lambda para procesar cualquier dato obtenido mediante el punto de acceso de Lambda para objetos de S3 y devolver un resultado transformado a la aplicación. Puede crear y ejecutar sus propias funciones Lambda personalizadas, de modo que es posible personalizar la transformación de datos de Lambda para objetos de S3 a su caso de uso específico.

Consulta in situ

Amazon S3 cuenta con servicios complementarios destinados a consultar datos sin necesidad de copiarlos y cargarlos en un almacén de datos o una plataforma de análisis independiente. Esto significa que puede ejecutar análisis de datos directamente en sus datos almacenados en Amazon S3.

Amazon S3 es compatible con los servicios de análisis AWS Amazon Athena y Amazon Redshift Spectrum. Amazon Athena consulta sus datos en Amazon S3 sin tener que extraerlos ni cargarlos en un servicio o plataforma independiente. Utiliza expresiones SQL estándar para analizar los datos, proporciona los resultados en cuestión de segundos y suele utilizarse para la detección de datos ad-hoc. Amazon Redshift Spectrum también ejecuta consultas SQL directamente en los datos en reposo en Amazon S3 y es más adecuado para consultas complejas y conjuntos de datos de gran tamaño (hasta varios exabytes). Dado que ambos comparten los formatos de datos y un catálogo de datos común, puede utilizar tanto Amazon Athena como Amazon Redshift para los mismos conjuntos de datos en Amazon S3.

Para obtener más información sobre la consulta de sus datos en Amazon S3, lea publicación de blog de .

 

Transferencia de datos

AWS proporciona un paquete de servicios de transferencia de datos con el fin de brindar la solución adecuada para cualquier proyecto de migración de datos. El nivel de conectividad es un factor importante en la migración de datos y AWS cuenta con opciones para satisfacer necesidades de almacenamiento de nube híbrida, transferencia de datos en línea y transferencia de datos sin conexión.

Almacenamiento en la nube híbrida: AWS Storage Gateway es un servicio de almacenamiento en la nube híbrida que permite conectar y extender las aplicaciones locales a AWS Storage. Los clientes utilizan Storage Gateway para reemplazar sin inconvenientes las bibliotecas de cinta con el almacenamiento en la nube, proporcionar intercambios de archivos con respaldo en el almacenamiento en la nube o crear un caché de baja latencia para acceder a los datos en AWS para las aplicaciones en las instalaciones. 

Transferencia de datos en línea: AWS DataSync facilita y optimiza la transferencia de cientos de terabytes y millones de archivos a Amazon S3, con una rapidez hasta 10 veces superior que las herramientas de código abierto. DataSync maneja automáticamente muchas tareas manuales, incluidos los trabajos de copia de scripting, la programación y el monitoreo de transferencias, la validación de datos y la optimización de la utilización de la red. Además, puede usar AWS DataSync para copiar objetos entre un bucket de S3 en Outposts y un bucket almacenado en una región de AWS. La solución AWS Transfer Family ofrece una transferencia de archivos a Amazon S3 fluida, simple y completamente administrada mediante SFTP, FTPS y FTP. La solución Aceleración de transferencias de Amazon S3 habilita la transferencia rápida de archivos en largas distancias entre su cliente y su bucket de Amazon S3.

Transferencia de datos sin conexión y poca o ninguna conectividad: el servicio AWS Snowball utiliza dispositivos de computación periférica y almacenamiento móvil y resistente para la recopilación, el procesamiento y la migración de datos. Los clientes pueden enviar el dispositivo Snowball físico para la migración de datos sin conexión a AWS.

Los clientes también pueden trabajar con proveedores externos de la red de socios de AWS (APN) para desplegar arquitecturas de almacenamiento híbrido, integrar Amazon S3 en aplicaciones y flujos de trabajo existentes y transferir datos hacia AWS y desde AWS.

Para obtener más información, visite los servicios de migración de datos a la nube de AWS, AWS Storage Gateway, AWS DataSync, AWS Transfer Family, Aceleración de transferencias de Amazon S3 y AWS Snowball.

Data Exchange

AWS Data Exchange para Amazon S3 acelera el tiempo de obtención de información con el acceso directo a los datos de Amazon S3 de los proveedores de datos. AWS Data Exchange para Amazon S3 le permite encontrar archivos de datos externos, suscribirse a ellos y usarlos fácilmente a fin de optimizar los costos de almacenamiento, administrar licencias de datos de manera simplificada, etc. Está dirigido a los subscriptores que desean usar fácilmente archivos de datos externos para analizar datos con los servicios de AWS sin la necesidad de crear o administrar copias de datos. También es útil para los proveedores de datos que desean ofrecer acceso local a los datos alojados en sus buckets de Amazon S3.

Una vez que los suscriptores de datos tienen derecho a un conjunto de datos de AWS Data Exchange para Amazon S3, pueden comenzar a hacer el análisis correspondiente sin tener que configurar sus propios buckets de S3, copiar archivos de datos en ellos ni pagar las tarifas de almacenamiento asociadas. El análisis de datos se puede realizar con servicios de AWS como Amazon Athena, el Almacén de características de Amazon SageMaker o Amazon EMR. Los suscriptores acceden a los mismos objetos de S3 que mantiene el proveedor de datos y, por lo tanto, siempre utilizan los datos más actualizados disponibles, sin ingeniería ni trabajo operativo adicional. Los proveedores de datos pueden configurar fácilmente AWS Data Exchange para Amazon S3 sobre sus buckets de S3 existentes para compartir el acceso directo a un bucket completo o a prefijos y objetos específicos de S3. Después de la configuración, AWS Data Exchange administra automáticamente las suscripciones, los derechos, la facturación y el pago.

Rendimiento

Amazon S3 proporciona un rendimiento líder en la industria para el almacenamiento de objetos en la nube. Amazon S3 admite solicitudes paralelas, lo que permite escalar el rendimiento de S3 en función del clúster de cómputo, sin tener que realizar ninguna personalización en la aplicación. El rendimiento se escala en función del prefijo, por lo que puede utilizar tantos prefijos en paralelo como necesite para lograr el rendimiento que haga falta. No existen límites para el número de prefijos. El rendimiento de Amazon S3 admite al menos 3500 solicitudes por segundo para agregar datos y 5500 solicitudes por segundo para recuperarlos. Cada prefijo S3 admite estas tasas de solicitud, lo que simplifica la tarea de incrementar significativamente el rendimiento.

Para alcanzar este rendimiento de la tasa de solicitudes en S3 no necesita aleatorizar prefijos de objetos para lograr un rendimiento más rápido. Esto significa que puede utilizar patrones de nomenclatura lógicos o secuenciales a la hora de nombrar objetos en S3 sin que el rendimiento se vea afectado. Consulte las pautas de rendimiento de Amazon S3 y los patrones de diseño de rendimiento para Amazon S3 para acceder a la información más actualizada sobre optimización de rendimiento para Amazon S3.

Amazon S3 brinda una coherencia sólida de lectura después de la escritura de forma automática para todas las aplicaciones, sin modificar el rendimiento o la disponibilidad ni sacrificar el aislamiento regional de las aplicaciones, sin incurrir en cargos adicionales. Gracias a su coherencia sólida, S3 simplifica la migración de cargas de trabajo de análisis locales al eliminar la necesidad de modificar aplicaciones y reduce los costos al no requerir infraestructura adicional para ofrecer esta coherencia.

Cualquier solicitud para el almacenamiento de S3 es muy coherente. Después de escribir correctamente en un objeto nuevo o sobrescribir en uno existente, cualquier solicitud de lectura posterior recibe inmediatamente la versión más reciente del objeto. S3 también ofrece una coherencia sólida para operaciones de listado de modo que, después de la escritura, puede realizar de inmediato una enumeración de los objetos de un bucket y todos los cambios se verán reflejados.

Uso previsto y restricciones

El uso de este servicio está sujeto al Contrato de cliente de Amazon Web Services.