Возможности Amazon S3

Page Topics

Управление хранилищем и его мониторинг Статистика и аналитика хранения данных Хранилище таблиц Классы хранилищ Управление доступом и безопасность Обработка данных Запросы к данным без извлечения Передача данных Обмен данными Производительность

Управление хранилищем и его мониторинг

Плоская неиерархическая структура Amazon S3 и различные возможности управления помогают клиентам любого уровня и из любых отраслей организовать данные выгодным для бизнеса и сотрудников образом. Все объекты хранятся в корзинах S3, и их можно организовать с помощью общих имен, которые называют префиксами. Кроме того, в каждый объект можно добавить до 10 пар «ключ-значение», которые называют тегами объектов S3. Эти пары можно создавать, обновлять и удалять в любое время в течение жизненного цикла объекта. Для отслеживания объектов и связанных с ними тегов, корзин и префиксов, можно использовать отчет S3 Inventory, в котором указываются объекты, хранимые в корзине S3 или имеющие определенный префикс, а также соответствующие метаданные и статус шифрования. Сервис S3 Inventory можно настроить для ежедневного или еженедельного создания отчетов.

С помощью имен корзин, префиксов, тегов объектов, S3 Metadata (ознакомительная версия) и сервиса S3 Inventory можно классифицировать данные, создавать отчеты и настраивать другие возможности S3. Сервис Пакетные операции S3 упрощает эти задачи, независимо от количества объектов, и позволяет управлять данными в Amazon S3 в любом масштабе. Используя Пакетные операции S3, вы можете копировать объекты между корзинами, заменять наборы тегов объектов, изменять элементы управления доступом и восстанавливать архивные объекты из хранилищ классов сервисов Гибкое извлечение данных S3 Glacier и Глубокий архив S3 Glacier с помощью одного запроса к API S3 или нескольких шагов в консоли S3. С помощью сервиса Пакетные операции S3 также можно применять функции AWS Lambda к объектам для запуска настраиваемой бизнес-логики, например для обработки данных или перекодировки файлов изображений. Для начала работы выберите исходную корзину и фильтры либо создайте список целевых объектов, используя отчет S3 Inventory или указав собственный список, а затем выберите требуемую операцию в меню. После выполнения запроса пакетных операций S3 вы получите оповещение и отчет обо всех изменениях. Подробные сведения о сервисе Пакетные операции S3 см. в обучающем видео. 

Amazon S3 Metadata (ознакомительная версия) предоставляет запрашиваемые метаданные объектов практически в реальном времени, чтобы упорядочить данные и ускорить их обнаружение. Сервис помогает собирать, идентифицировать и использовать данные S3 для бизнес-аналитики, приложений с логическим выводом в реальном времени и многого другого. Сервис S3 Metadata поддерживает метаданные объектов, которые включают в себя сведения, определенные системой, такие как размер и источник объекта, а также настраиваемые метаданные, позволяющие с помощью тегов аннотировать объекты, например артикулом продукта, идентификатором транзакции или рейтингом контента. Сервис S3 Metadata автоматически собирает метаданные объектов при их загрузке в корзину и создает таблицу, доступную только для чтения, для запросов к таким метаданным. По мере изменения данных в корзине S3 Metadata обновляет таблицу в течение нескольких минут, чтобы отразить последние изменения.

Amazon S3 также поддерживает возможности для контроля версий данных и предотвращения случайного удаления, а также для репликации данных в пределах одного региона AWS или в другой регион AWS. С помощью управления версиями в S3 можно сохранять, извлекать и восстанавливать все версии объекта, хранящегося в Amazon S3, что позволяет восстанавливать систему после непреднамеренных действий пользователей и сбоев приложений. Для предотвращения случайного удаления включите для корзины S3 удаление с использованием многофакторной аутентификации (MFA). При попытке удалить объект из корзины с включенным удалением с использованием MFA потребуются два этапа аутентификации: данные для доступа к аккаунту AWS и последовательность из действительного серийного номера, пробела и шестизначного кода с экрана принятого устройства аутентификации, такого как аппаратный ключ или ключ безопасности U2F.

С помощью репликации в S3 можно реплицировать объекты (и связанные метаданные и теги объектов) в одну или несколько целевых корзин в пределах одного региона назначения AWS или в другой регион назначения AWS для снижения задержек, обеспечения соответствия требованиям, безопасности, аварийного восстановления и ряда других стандартных примеров использования. Межрегиональную репликацию в S3 (CRR) можно настроить для репликации объектов из исходной корзины S3 в одну или несколько целевых корзин в другом регионе AWS. Репликация в рамках региона (SRR) в S3 позволяет реплицировать объекты между корзинами в пределах одного региона AWS. Репликация в режиме реального времени, такая как CRR и SRR, автоматически реплицирует вновь загруженные объекты по мере их записи в корзину, в то время как пакетная репликация S3 позволяет работать с уже существующими объектами. Пакетную репликацию S3 можно использовать для заполнения новой корзины существующими объектами, повторной попытки неудавшейся ранее репликации объектов, переноса данных между аккаунтами или добавления новых хранилищ в озеро данных. Возможность контроля времени репликации Amazon S3 (S3 RTC) закреплена в Соглашении об уровне обслуживания (SLA) и обеспечивает прозрачность данных при репликации и соответствие требованиям к репликации данных.

Чтобы получить доступ к реплицированным наборам данных в корзинах S3 в регионах AWS и аккаунтам, используйте точки доступа S3 для нескольких регионов Amazon для создания единого глобального адреса, который ваши приложения и клиенты будут использовать, где бы они не были. Глобальный адрес позволяет создавать приложения для нескольких регионов с такой же простой архитектурой, как для одного региона, а затем запускать их в любой точке мира. Точки доступа Amazon S3 для нескольких регионов могут повысить производительность до 60 % при доступе к наборам данных, которые реплицируются в нескольких регионах AWS, и аккаунтам. S3 Multi-Region Access Points на базе AWS Global Accelerator учитывает такие факторы, как перегрузка сети и местоположение запрашивающего приложения, чтобы динамически направлять запросы по сети AWS к копии данных с наименьшей задержкой. С помощью средства управления отказоустойчивостью точек доступа S3 для нескольких регионов вы можете обрабатывать отказ между реплицированными наборами данных в регионах AWS, что дает возможность за считанные минуты переносить трафик запросов данных S3 в альтернативный регион AWS.

Вы также можете применить политики «однократная запись, многократное считывание» (WORM) с помощью Блокировки объектов S3. Возможность управления S3 блокирует удаление версий объектов в течение периода хранения, установленного клиентом. Эта возможность позволяет применять политики хранения в качестве дополнительного уровня защиты данных либо для выполнения нормативных требований. Рабочие нагрузки можно переносить из существующих систем WORM в Amazon S3, а S3 Object Lock можно настроить на уровне объектов или корзин для предотвращения удаления версий объектов до заданной даты, которую вы можете определить самостоятельно или в соответствии с нормативными требованиями. Объекты с блокировкой S3 Object Lock сохраняют защиту WORM даже после перемещения в другие классы хранилища с политикой жизненного цикла S3. Для отслеживания объектов с блокировкой S3 Object Lock можно использовать отчет S3 Inventory, содержащий сведения о статусе WORM объектов. S3 Object Lock можно настроить в одном из двух режимов. При использовании в режиме Governance аккаунты AWS с определенными разрешениями IAM могут снимать защиту S3 Object Lock с объектов. Если вам требуется большая надежность по неизменности для выполнения законодательных требований, можно использовать режим Compliance. В режиме Compliance защиту не может снять ни один пользователь, в том числе аккаунт root.

В дополнение к этим возможностям управления, функции S3 и другие сервисы AWS можно использовать для мониторинга и контроля ресурсов S3. С помощью тегов корзин S3 можно распределять расходы в рамках нескольких подразделений бизнеса (например, центры затрат, имена приложений или владельцы), а затем использовать отчеты о распределении расходов AWS, чтобы просматривать сведения об использовании и расходах, сгруппированные по тегам корзины. Кроме того, можно использовать Amazon CloudWatch, чтобы отслеживать работоспособность ресурсов AWS и настраивать предупреждения об оплате по достижении заданного пользователем предела предполагаемых расходов. Используйте AWS CloudTrail для отслеживания действий с корзинами и объектами и создания отчетов о них, а также для настройки оповещений о событиях S3, чтобы запускать рабочие процессы и предупреждения или вызывать функцию AWS Lambda при внесении определенных изменений в ресурсы S3. Оповещения о событиях S3 автоматически перекодируют мультимедийные файлы после завершения загрузки в Amazon S3, обрабатывают файлы данных по мере их поступления и синхронизируют объекты с другими хранилищами данных. Кроме того, новые пакеты AWS SDK автоматически вычисляют эффективные контрольные суммы на основе CRC для всех загрузок. S3 самостоятельно проверяет контрольные суммы и принимает объекты только после подтверждения сохранения целостности данных при передаче через общедоступный Интернет. Если для загрузки объекта используется версия SDK без предварительно рассчитанных контрольных сумм, S3 вычисляет контрольную сумму всего объекта на основе CRC даже при загрузке несколькими частями. Контрольные суммы хранятся в метаданных объекта и поэтому доступны для проверки целостности данных в любое время. Можно выбрать один из пяти поддерживаемых алгоритмов (CRC64NVME, CRC32, CRC32C, SHA-1 и SHA-256) для проверки целостности данных при выгрузке и загрузке в зависимости от потребностей вашего приложения.

Статистика и аналитика хранения данных

С помощью Объектива хранения данных Amazon S3 пользователь может получить наглядное представление об использовании объектного хранилища, тенденциях активности в масштабах организации, а также практические рекомендации по повышению рентабельности и применению передовых методов защиты данных. Объектив хранения данных Amazon S3 – это первый инструмент для аналитической обработки данных облачного хранилища, с помощью которого можно получить единое представление об использовании и активности объектного хранилища в сотнях или даже тысячах учетных записей организации, а также детальные данные для составления аналитических оценок на уровне учетной записи, сегмента или даже префикса. В основу Объектива хранения данных S3 положено более 16 лет опыта помощи клиентам в оптимизации хранения данных. Благодаря этому он выполняет анализ количественных показателей в масштабах всей организации и предоставляет ситуативные рекомендации относительно снижения затрат на хранение и применения передовых методов защиты данных. 

Amazon S3 Storage Class Analysis анализирует шаблоны доступа к хранилищам, благодаря чему вы сможете решить, когда переносить определенные данные в хранилище более подходящего класса. Возможность Amazon S3 позволяет изучить шаблоны доступа к данным и определить, когда нужно перевести хранилища, которые используются менее часто, в класс хранилища с меньшей стоимостью. Результат можно использовать для улучшения политик жизненного цикла S3. Аналитику классов хранилищ можно настроить таким образом, чтобы осуществлялся анализ всех объектов в корзине. Также можно настроить фильтры, благодаря которым объекты для анализа будут группироваться по общему префиксу, тэгу объекта или по обоим параметрам сразу. Подробные сведения см. на странице со статистикой и аналитикой хранения данных.

Хранилище таблиц

Таблицы Amazon S3 – это первое облачное хранилище объектов со встроенной поддержкой формата открытых таблиц и самый простой способ хранения табличных данных в нужном масштабе. Таблицы S3 оптимизированы для аналитических рабочих нагрузок и способны обеспечивать втрое большую производительность запросов и обрабатывать в 10 раз больше транзакций в секунду, чем самостоятельно управляемые таблицы. Таблицы S3 поддерживают стандарт Apache Iceberg и легко запрашиваются популярными движками запросов AWS и сторонних разработчиков. Кроме того, в Таблицах S3 предусмотрено непрерывное обслуживание таблиц для автоматической оптимизации эффективности запросов и затрат на хранение с течением времени даже в условиях масштабирования и развития озера данных. Доступна ознакомительная версия интеграции Таблиц S3 с каталогом данных AWS Glue, которая позволяет передавать, запрашивать и визуализировать данные, включая таблицы метаданных S3, с использованием аналитических сервисов AWS, таких как Amazon Data Firehose, Amazon Athena, Amazon Redshift, Amazon EMR и Amazon QuickSight.

В таблицах S3 используются сегменты таблиц – тип корзины, специально созданный для хранения табличных данных. С помощью сегментов таблиц можно легко создавать таблицы и настраивать разрешения на уровне таблиц для управления доступом к озеру данных. После этого в таблицы можно загружать данные и запрашивать их с помощью стандартного SQL, а также использовать расширенные аналитические возможности Apache Iceberg, такие как транзакции на уровне строк, снимки с возможностью запроса, развитие схем и многое другое. В корзинах таблиц также доступно обслуживание таблиц на основе политик, что помогает автоматизировать такие эксплуатационные задачи, как сжатие, управление снимками и удаление файлов без ссылок.

Классы хранилищ

Amazon S3 позволяет хранить данные в хранилищах S3 различных классов, которые подходят для различных стандартных примеров использования и шаблонов доступа: S3 Intelligent-Tiering, S3 Standard, S3 Express One Zone, S3 Standard-Infrequent Access (S3 Standard-IA), S3 One Zone-Infrequent Access (S3 One Zone-IA), S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval, S3 Glacier Deep Archive и S3 Outposts.

Каждый класс хранилища S3 поддерживает определенный уровень доступа к данным по соответствующей цене или выбор географического местоположения. 

Для данных с изменчивыми, неизвестными и непрогнозируемыми шаблонами доступа, как, например, для озер данных, аналитики или новых приложений, лучше использовать уровень S3 Intelligent-Tiering, на котором стоимость хранения оптимизируется автоматически. S3 Intelligent-Tiering автоматически перемещает данные между тремя уровнями доступа с низкой задержкой, оптимизированные для частого, нечастого и редкого доступа. Когда со временем небольшие наборы объектов отправляются в архив, можно активировать уровень архивного доступа, созданный для асинхронного доступа.

В разрезе прогнозируемых шаблонов доступа применима описанная далее схема. Критические важные производственные данные можно хранить в S3 Standard для частого доступа. Регулярно используемые данные можно хранить в S3 Express One Zone для ускорения критически важных приложений. Нечасто используемые данные можно отправить в S3 Standard – IA или S3 One Zone – IA для сокращения расходов. Архивировать данные по минимальной стоимости можно в архивных классах хранилища – S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive. Можно использовать S3 Storage Class Analysis для мониторинга шаблонов доступа к объектам, чтобы выявить данные, которые следует перенести в менее затратные классы хранилища. Затем эти сведения можно использовать для настройки политики жизненного цикла S3, которая регулирует перенос данных. Вы также можете применять политики жизненного цикла S3 для принудительного истечения срока действия объектов по окончании их жизненного цикла.

Если ваши требования к локализации данных не могут быть выполнены в существующем регионе AWS, вы можете использовать классы хранилищ S3 для выделенных локальных зон AWS или S3 на базе Outposts для хранения данных в определенном периметре.

 

Amazon S3 поддерживает локализацию и изоляцию данных, когда необходимо их хранение в определенном периметре. Если ваши требования к локализации данных не могут быть выполнены в существующем регионе AWS, вы можете использовать классы хранилищ S3 для выделенных локальных зон AWS или S3 на стойках Outposts для хранения данных в определенном периметре. Это расширяет наше Обязательство AWS по цифровому суверенитету, в соответствии с которым мы предоставляем клиентам AWS наиболее совершенный инструментарий и функции для контроля суверенитета данных в облаке.

Управление доступом и безопасность

Для защиты данных в Amazon S3 по умолчанию пользователям предоставляется доступ только к созданным ими ресурсам S3. Вы можете предоставить доступ другим пользователям с помощью одной из следующих возможностей управления доступом или их сочетания: Управление идентификацией и доступом AWS (IAM) для создания пользователей и управления их доступом, списки контроля доступа (ACL) для предоставления доступа к отдельным объектам авторизованным пользователям, политики корзины для настройки разрешений для всех объектов в одной корзине S3, точки доступа S3 для упрощения управления доступом к наборам общих данных путем создания точек доступа с именами и разрешениями для каждого приложения или набора приложений, разрешения на доступ к S3 для масштабирования разрешений данных путем автоматического предоставления конечным пользователям доступ к S3 в соответствии с особенностями организации, а также аутентификация строки запроса для предоставления ограниченного во времени доступа другим пользователям с помощью временных URL-адресов. Amazon S3 также поддерживает журналы аудита, которые сохраняют запросы к ресурсам S3 для контроля действий пользователей и данных, которые они запрашивают.

Amazon S3 предоставляет гибкие возможности обеспечения безопасности для предотвращения доступа неавторизованных пользователей к данным. С помощью адреса VPC можно подключаться к ресурсам S3 из Amazon Virtual Private Cloud (Amazon VPC) и из локальной среды. Amazon S3 шифрует все новые данные, загруженные в любую корзину (по состоянию на 5 января 2023 года). Amazon S3 поддерживает шифрование на стороне сервера (с четырьмя вариантами управления ключами) и шифрование на стороне клиента для загрузки данных (дополнительные сведения о шифровании данных с помощью S3 см. в Руководстве пользователя Amazon S3). Используйте S3 Inventory для проверки статуса шифрования объектов S3 (подробнее об S3 Inventory см. в разделе об управлении хранилищем).

S3 Block Public Access – это набор механизмов контроля безопасности, который позволяет запретить публичный доступ к корзинам и объектам S3. По умолчанию Block Public Access включен во всех новых корзинах. Достаточно нескольких нажатий клавиш в консоли Amazon S3, чтобы применить параметры S3 Block Public Access ко всем корзинам аккаунта AWS или только к некоторым корзинам S3. После того как параметры применены к аккаунту AWS, все существующие или новые корзины и объекты, связанные с этим аккаунтом, будут наследовать параметры, запрещающие публичный доступ. Параметры Amazon S3 Block Public Access переопределяют другие разрешения S3. Благодаря этому администратору аккаунта легко обеспечить применение политики «Запрет публичного доступа» независимо от способа добавления объекта или создания корзины или существующих разрешений доступа. Механизмы контроля S3 Block Public Access поддерживают аудит, что предоставляет дополнительный уровень контроля, и используют проверки разрешений корзины AWS Trusted Advisor, журналы AWS CloudTrail и предупреждения Amazon CloudWatch. Необходимо включить параметр блокирования публичного доступа для всех аккаунтов и корзин, которые не должны быть общедоступными.

S3 Object Ownership – это возможность, которая отключает списки контроля доступа (ACL) и назначает владельца корзины владельцем всех объектов в ней, что позволяет упростить управление доступом к данным, сохраненным в S3. Когда вы настраиваете в S3 Object Ownership параметр Принудительное назначение владельца корзины, для этой корзины и размещенных в ней объектов более не применяются разрешения, заданные списками контроля доступа. Любой контроль доступа после этого определяется политиками на основе ресурсов, пользовательскими политиками или их сочетанием. Перед тем как отключать списки контроля доступа, ознакомьтесь с соответствующими списками для корзины и объекта. Чтобы определить запросы Amazon S3, требующие для авторизации списки контроля доступа, используйте поле aclRequired в или .

Используя точки доступа S3 для сервиса Виртуальное частное облако (VPC), можно легко защитить брандмауэром данные S3 в своей частной сети. Кроме того, с помощью политик управления сервисами AWS можно требовать, чтобы для всех новых точек доступа S3 в организации действовало ограничение, разрешающее доступ только из VPC.

IAM Access Analyzer для S3 – это возможность, которая упрощает управление разрешениями по мере назначения, проверки и уточнения политик для точек доступа и корзин S3. Access Analyzer для S3 выполняет мониторинг существующих политик доступа к корзинам и предоставляет к ресурсам S3 исключительно требуемый доступ. Access Analyzer для S3 оценивает политики доступа к корзинам, что позволяет быстро отключить нежелательный доступ к любой корзине. При проверке результатов, указывающих на возможный общий доступ к корзине, можно заблокировать публичный доступ к корзине одним нажатием в консоли S3. В целях аудита результаты работы сервиса Access Analyzer для S3 можно загрузить в виде CSV‑отчета. Кроме того, по мере авторизации политик S3 на консоли S3 отображаются предупреждения, ошибки и предложения в разрезе безопасности от IAM Access Analyzer. Консоль автоматически проводит более 100 проверок политик для подтверждения ваших политик. Эти проверки экономят ваше время, а также предоставляют возможность исправить ошибки и применить рекомендации в отношении безопасности.

С помощью IAM легче анализировать доступ и уменьшить число разрешений для предоставления минимума полномочий путем проставления метки времени с информацией о том, когда пользователь или роль в последний раз использовали S3 и выполняли связанные с этим действия. Используйте информацию о последнем доступе, чтобы анализировать доступ к S3, идентифицировать неиспользованные разрешения и уверенно удалять их. Подробные сведения см. в разделе Refining Permissions Using Last Accessed Data.

Сервис Amazon Macie можно использовать для обнаружения и защиты конфиденциальных данных, которые хранятся в Amazon S3. Macie автоматически собирает полный реестр S3 и непрерывно оценивает каждую корзину, чтобы предупреждать о наличии любых общедоступных или незашифрованных корзин, а также корзин, совместно используемых с аккаунтами AWS за пределами организации или реплицируемых в такие аккаунты. Затем сервис Macie применяет методы машинного обучения и сопоставления с шаблонами к выбранным корзинам, чтобы распознавать конфиденциальные данные, например персональную информацию, и отправлять уведомления о них. По мере генерирования отчетов о безопасности рассылаются события Amazon CloudWatch, что облегчает интеграцию с существующими системами управления рабочими процессами, а также позволяет запустить автоматическое устранение неполадок с помощью сервисов типа AWS Step Functions и выполнять такие действия, как закрытие общедоступной корзины или добавление тегов ресурсов.

AWS PrivateLink для S3 обеспечивает частное подключение между Amazon S3 и локальной средой. Вы можете предоставить интерфейсные адреса VPC для S3 в VPC для подключения локальных приложений непосредственно к S3 по AWS Direct Connect или AWS VPN. Запросы к конечным точкам интерфейса VPC для S3 автоматически перенаправляются в S3 по сети Amazon. Вы можете создать группы безопасности и настроить политики конечных точек VPC для конечных точек интерфейса VPC, чтобы пользоваться дополнительными возможностями управления доступом.

Подробнее см. в разделах об управлении доступом и безопасности в S3, защите данных в Amazon S3, а также в электронной книге по безопасности и защите данных S3.

Обработка данных

С помощью функции S3 Object Lambda вы сможете добавлять собственный код в запросы S3 GET, HEAD и LIST, чтобы изменять и обрабатывать данные, возвращаемые в приложение. Вы можете применить пользовательский код для изменения данных, возвращаемых стандартными запросами S3 GET, для фильтрации строк, динамического изменения размера изображений, удаления конфиденциальных данных и многого другого. Вы также можете использовать S3 Object Lambda для изменения результатов запросов S3 LIST, чтобы создать пользовательское представления объектов в корзине и запросы S3 HEAD с целью изменения метаданных объекта, таких как его имя и размер. Выполнение кодов на базе функций AWS Lambda осуществляется в инфраструктуре, полностью управляемой AWS, что устраняет необходимость в создании и хранении производных копий данных или запуске дорогостоящих прокси, при этом не нужно вносить какие-либо изменения в приложения.

В S3 Object Lambda автоматическая обработка выходных данных стандартного запроса S3 GET, HEAD или LIST осуществляется с помощью функций AWS Lambda. AWS Lambda – это бессерверный вычислительный сервис, выполняющий заданный пользователем код без необходимости управления базовыми вычислительными ресурсами. Чтобы начать настройку функции Lambda и прикрепить ее к точке доступа S3 Object Lambda, достаточно нескольких щелчков мышью в консоли управления AWS. С этого момента S3 будет автоматически вызывать функцию Lambda для обработки любых данных, полученных через точку доступа S3 Object Lambda, а приложение будет получать преобразованный результат. Вы сможете создавать и выполнять собственные пользовательские функции Lambda, адаптируя процесс преобразования данных S3 объекта Lambda к требованиям конкретного случая.

Запросы к данным без извлечения

Amazon S3 предоставляет дополнительные сервисы, которые запрашивают данные без необходимости в копировании и загрузке на отдельную аналитическую платформу или в хранилище данных. Это значит, что аналитику данных можно проводить непосредственно на данных, которые хранятся в Amazon S3.

Amazon S3 совместим с аналитическими сервисами AWS Amazon Athena и Amazon Redshift Spectrum. Amazon Athena запрашивает данные из Amazon S3 без извлечения и загрузки в отдельный сервис или платформу. Он использует стандартные выражения SQL для анализа данных, предоставления результатов за считаные секунды, а также часто применяется для специализированного обнаружения данных. Amazon Redshift Spectrum также выполняет SQL-запросы напрямую к данным в Amazon S3 и больше подходит для сложных запросов и крупных наборов данных (размером до нескольких экзабайт). Так как Amazon Athena и Amazon Redshift используют общие форматы и каталог данных, их можно использовать для одинаковых наборов данных в Amazon S3.

Чтобы подробнее узнать о запросах данных в Amazon S3, прочтите публикацию в .

 

Передача данных

AWS предлагает целый набор сервисов передачи данных, и вы можете выбрать нужное решение для любого проекта по миграции данных. При миграции данных уровень подключения – очень важный фактор, и у AWS есть предложения, которые могут удовлетворить ваши потребности в гибридном облачном хранилище, а также в переносе данных по сети и в автономном режиме.

Шлюз хранилища AWS – это сервис гибридного облачного хранилища, который позволяет без особых усилий подключать ваши локальные приложения к хранилищу AWS. Клиенты используют сервис Storage Gateway, чтобы без особого труда заменять ленточные библиотеки облачным хранилищем, создавать файловые ресурсы на основе облачного хранилища или кеши с малыми задержками для доступа локальных приложений к данным в AWS. 

Сервис AWS DataSync позволяет просто и эффективно передавать сотни терабайтов и миллионы файлов в сервис Amazon S3 на порядок быстрее, чем средства с открытым исходным кодом. Сервис DataSync автоматически выполняет многие ручные задачи или устраняет необходимость их выполнения. Перечень таких задач включает написание скриптов заданий копирования, составление расписаний и отслеживание передачи данных, проверку данных и оптимизацию использования сети. Кроме того, вы можете использовать AWS DataSync для копирования объектов из корзины S3 on Outposts в корзину, расположенную в регионе AWS, или наоборот. Семейство для пересылки файлов AWS обеспечивает полностью управляемую передачу файлов в сервис Amazon S3 с использованием протоколов SFTP, FTPS и FTP. Ускорение передачи данных Amazon S3 (Amazon S3TA) позволяет быстро передавать файлы на большие расстояния между клиентом и корзиной Amazon S3.

Передача данных в автономном режиме/с минимальным подключением или без него. В сервисе AWS Snowball для сбора, обработки и миграции данных используются защищенные портативные накопители и устройства периферийных вычислений. Клиенты могут отправлять физические устройства Snowball в AWS для миграции данных без использования сети.

Сотрудничая со сторонними поставщиками из Партнерской сети AWS (APN), клиенты также могут развертывать гибридные архитектуры с хранилищем данных, интегрировать Amazon S3 в существующие приложения и рабочие процессы и переносить данные из сервисов AWS и в них.

Дополнительные сведения см. в разделах Сервисы миграции данных для Облака AWS, Шлюз хранилища AWS, AWS DataSync, Семейство для пересылки файлов AWS, Ускорение передачи данных Amazon S3 (Amazon S3TA) и AWS Snowball.

Обмен данными

Обмен данными AWS для Amazon S3 ускоряет время получения информации благодаря прямому доступу к данным Amazon S3 от поставщиков данных. Обмен данными AWS для Amazon S3 помогает легко искать данные, подписываться на них и использовать файлы данных сторонних производителей для оптимизации затрат на хранение, упрощенного управления лицензированием данных и многого другого. Эта функция предназначена для абонентов, которые хотят легко использовать файлы данных сторонних производителей для анализа данных с помощью сервисов AWS без необходимости создавать копии данных или управлять ими. Это также полезно для поставщиков данных, которые хотят предложить доступ к данным, размещенным в корзинах Amazon S3.

Как только подписчики получают право на набор данных в сервисе обмена данными AWS для Amazon S3, они могут начать анализ данных без необходимости создавать собственные корзины S3, копировать файлы данных в эти корзины S3 или вносить соответствующую плату за хранение. Анализ данных можно проводить с помощью таких сервисов AWS, как Amazon Athena, «Хранилище функций Amazon SageMaker» или Amazon EMR. Подписчики получают доступ к тем же объектам S3, которые поддерживает поставщик данных, и поэтому всегда используют самые актуальные данные, без дополнительной инженерной или операционной работы. Поставщики данных могут легко установить сервис обмена данными AWS для Amazon S3 поверх существующих корзин S3 для предоставления прямого доступа ко всей корзине S3 или к определенным префиксам и объектам S3. После установки сервис обмена данными AWS автоматически управляет подписками, правами, выставлением счетов и оплатой.

Производительность

В Amazon S3 предоставляется лучшая в отрасли производительность для хранения объектов в облаке. Amazon S3 поддерживает параллельные запросы, благодаря чему производительность S3 можно масштабировать с помощью коэффициента вычислительного кластера, не внося изменения в приложение. Производительность масштабируется для каждого префикса, благодаря чему для достижения необходимой пропускной способности можно параллельно использовать необходимое количество префиксов. Количество префиксов не ограничено. В Amazon S3 можно осуществлять не менее 3500 запросов в секунду на добавление данных и 5500 запросов в секунду на их извлечение. Каждый префикс S3 может обеспечивать такие значения, благодаря чему значительно повысить производительность довольно просто.

Для достижения такой скорости обработки запросов в S3 не нужно настраивать генерацию случайных префиксов объектов. Это означает, что можно использовать логический или последовательный шаблон присвоения имен объектам S3 без отрицательного влияния на производительность. Чтобы получить актуальную информацию об оптимизации производительности в Amazon S3, см. рекомендации по повышению производительности в Amazon S3 и шаблоны производительности в Amazon S3.

Amazon S3 автоматически тщательно проверяет согласованность операций чтения после записи во всех приложениях. Этот процесс не влияет на производительность или доступность и региональную изолированность приложений, а также абсолютно бесплатный. Благодаря обеспечению согласованности S3 упрощает миграцию локальных аналитических процессов, устраняя необходимость вносить изменения в приложения и снижая затраты из-за отсутствия потребности в дополнительной инфраструктуре для тщательной проверки согласованности.

Все запросы к хранилищу S3 тщательно согласовываются. После успешной записи нового объекта или повторной записи существующего все последующие запросы на чтение незамедлительно получают последнюю версию объекта. S3 также тщательно проверяет согласованность операций получения списка, благодаря чему сразу после записи вы сможете создать список объектов в корзине со всеми внесенными изменениями.

Надлежащее использование и ограничения

Использование данного сервиса регламентируется пользовательским соглашением Amazon Web Services.