Вопросы и ответы по AWS Snowball

Вопрос. Что такое AWS Snowball?

AWS Snowball – это сервис, который предоставляет безопасные и надежные устройства, позволяя реализовать в периферийных средах возможности AWS для вычислений и хранения данных, а также передавать данные на платформу AWS и с нее. Эти надежные устройства часто называют устройствами AWS Snowball или AWS Snowball Edge. Раньше под AWS Snowball подразумевалась именно ранняя аппаратная версия этих устройств, но эта модель была заменена обновленным оборудованием. Теперь сервис AWS Snowball работает с устройствами Snowball Edge, которые оснащены встроенными вычислительными ресурсами и системой хранения данных.

Вопрос. Что такое AWS Snowball Edge?

AWS Snowball Edge – это устройство для периферийных вычислений и передачи данных, предоставляемое сервисом AWS Snowball. Оно оснащено встроенным хранилищем и вычислительными ресурсами, позволяющими использовать некоторые сервисы AWS в периферийных местоположениях. Устройства Snowball Edge поставляются в двух вариантах: Storage Optimized (оптимизированные для хранения) и Compute Optimized (оптимизированные для вычислений) для поддержки локальной обработки и сбора данных в местоположениях, где отсутствует подключение к сети, таких как морские суда, ветряные электростанции и удаленные предприятия. Узнать больше о возможностях этих устройств можно здесь.

Вопрос. Что случилось с оригинальными устройствами AWS Snowball с объемом памяти 50 ТБ и 80 ТБ?

Оригинальные устройства Snowball были выведены из эксплуатации, и для передачи данных теперь в основном используются устройства Snowball Edge Storage Optimized.

Вопрос. Можно ли по-прежнему заказать оригинальные устройства Snowball 50 ТБ и 80 ТБ?

Нет. Для передачи данных сейчас выберите устройства хранения Периферийного Snowball, оптимизированные для хранения данных емкостью 80 или 210 ТБ.

Вопрос. Как работает Периферийный Snowball?

Для начала необходимо заказать через Консоль управления AWS одно или несколько устройств Snowball Edge Compute Optimized или Snowball Edge Storage Optimized в соответствии с объемом передаваемых данных и вычислительными ресурсами, необходимыми для локальной обработки. Выбранные корзины, данные, образы AMI Amazon EC2 и функции Lambda будут автоматически настроены, зашифрованы и установлены на устройства перед отправкой. Когда устройство будет доставлено, подключите его к локальной сети и назначьте IP-адрес (вручную или с помощью DHCP). После этого с помощью клиента Snowball Edge, манифеста задания и кода разблокировки проверьте подлинность устройства или кластера Snowball Edge и разблокируйте его для дальнейшего использования. Манифест и код разблокировки уникальны и криптологически привязаны к аккаунту и конкретному устройству Snowball Edge, что предотвращает их использование с другими устройствами. Данные, копируемые в Snowball Edge, автоматически зашифровываются и записываются в соответствующие корзины.

Вопросы доставки и логистики берет на себя Amazon, поэтому как только вы завершите копирование и устройство будет готово к возврату, на метке пересылки E Ink автоматически появится обратный адрес, который поможет доставить устройство Snowball Edge в соответствующий ЦОД AWS. После отправки вы сможете отслеживать состояние посылки с помощью сервиса Amazon Simple Notification Service (Amazon SNS), текстовых сообщений и электронных писем или непосредственно в консоли.

Управление ресурсами Snowball Edge осуществляется через Консоль управления AWS, и эту работу рекомендуется выполнять системным инженерам.

Вопрос. В чем разница между Snowball Edge и Snowball?

Теперь название AWS Snowball обозначает сервис в целом, а Snowball Edge – типы устройств, используемых им в данный момент. Иногда их также называют устройствами AWS Snowball. Ранние модели оборудования Snowball были предназначены исключительно для переноса данных. В устройствах Snowball Edge реализована дополнительная возможность выполнения вычислений в локальной среде даже при отсутствии подключения к сети.

Вопрос. В чем разница между вариантами устройства Snowball Edge Storage Optimized и Snowball Edge Compute Optimized?

Решение Snowball Edge Storage Optimized идеально подходит для тех случаев, когда требуется быстро и безопасно переместить в AWS десятки терабайтов или петабайтов данных. Это решение также отлично справляется с операциями общего анализа, такими как агрегирование и преобразование данных Интернета вещей. Оно обеспечивает хранение до 80 ТБ или 210 ТБ и сетевое подключение 10 Гбит, 40 Гбит или 100 Гбит для передачи больших объемов данных и предварительной обработки. Решение Snowball Edge Compute Optimized рекомендуется использовать в тех случаях, когда необходим доступ к мощным вычислительным ресурсам и высокоскоростному хранилищу для обработки данных перед их передачей в AWS. Оно включает 104 виртуальных ЦП, SSD на базе NVMe объемом 28 ТБ и поддержку сетевых интерфейсов до 100 Гбит/с для таких задач, как обработка видео высокого разрешения, расширенный анализ данных Интернета вещей и оптимизация моделей машинного обучения в режиме реального времени в средах с ограниченным соединением. Подробные сведения см. в документации.

Вопрос. В каких случаях следует использовать Периферийный Snowball?

Рекомендуем использовать Snowball Edge, если требуется выполнять вычисления в надежных, простых, мобильных или автономных средах (либо средах с нерегулярным подключением к сети). Кроме того, оно рекомендуется для миграции и передачи больших объемов данных в тех случаях, когда доступной пропускной способности недостаточно для использования сервисов высокоскоростной передачи данных через Интернет, например AWS DataSync.

Snowball Edge Storage Optimized является оптимальным решением для передачи данных, когда требуется быстро и безопасно переместить в AWS терабайты или петабайты данных. Snowball Edge Storage Optimized можно использовать для передачи накопленных за долгое время данных или для передачи в AWS регулярно собираемых данных из тех хранилищ, где высокоскоростное подключение к Интернету недоступно или нерентабельно.

Устройства Snowball Edge можно использовать для выполнения периферийных вычислительных операций, например для локального анализа данных в кластере Snowball Edge с последующей их записью по совместимому с Amazon S3 адресу. Это решение эффективно интегрируется в действующие рабочие процессы за счет использования встроенных возможностей, таких как файловый интерфейс NFS, а также позволяет переносить файлы на устройство с сохранением метаданных.

Snowball Edge может работать в удаленных местоположениях или в сложных условиях эксплуатации, таких как заводские цеха, нефтегазовые установки, горнодобывающие комплексы, больницы и движущиеся транспортные средства. Устройства Snowball Edge поставляются полностью настроенными и не требуют подключения к Интернету, так что обработку и сбор данных можно проводить в изолированной операционной среде. В периферийных местоположениях Snowball Edge поддерживает работу с тем же ПО и такой же доступ к возможностям AWS, что и при подключении к AWS напрямую.

Вопрос. Можно ли использовать Snowball Edge для переноса данных из одного региона AWS в другой?

Нет. Решение Snowball Edge предназначено для перемещения больших объемов данных в определенный регион AWS или из него. Для перемещения данных между регионами AWS рекомендуется использовать межрегиональную репликацию S3.

Вопрос. Какие объемы данных можно перемещать с помощью Snowball Edge?

С помощью Snowball Edge можно перемещать любые объемы данных, от нескольких терабайтов до десятков петабайтов. С помощью одного устройства Snowball Edge Storage Optimized можно перенести примерно до 80 ТБ данных, а с помощью нескольких устройств, используемых последовательно или параллельно, – еще больше.

Вопрос. Сколько времени занимает передача данных?

Скорость передачи данных зависит от множества факторов, включая скорость локальной сети, размеры файлов и скорость считывания данных с локальных серверов. Общее время перемещения данных объемом до 80 ТБ в AWS с помощью Snowball Edge составит около недели, включая стандартное время на пересылку и обработку данных в ЦОД AWS.

Вопрос. В течение какого времени можно использовать Snowball Edge для выполнения конкретного задания?

Задания, которые используют устройство AWS Snowball Edge, в целях безопасности должны быть выполнены в течение 360 дней с момента завершения подготовки. Если требуется, чтобы устройство оставалось у вас дольше, чем 360 дней, обратитесь в AWS Support. В противном случае через 360 дней устройство будет заблокировано, доступ к нему будет закрыт, и его будет нужно вернуть. Если устройство AWS Snowball Edge блокируется во время импорта, мы можем передать данные с устройства в Amazon S3.

Вопрос. Каковы технические характеристики устройств Snowball Edge?

Сведения о возможностях представлены на странице возможностей AWS Snowball, а полный перечень технических характеристик оборудования, включая сетевые интерфейсы, требования к температуре и электропитанию, уровень шума в децибелах и габариты, – в документации по Snowball Edge.

Вопрос. Какие сетевые интерфейсы поддерживает Snowball Edge?

Для устройств передачи данных Snowball Edge Storage Optimized предлагает два порта RJ45 10 Гбит/с, один порт SFP28 10/25 Гбит/с и один порт QSFP28 40/100 Гбит/с.

Для периферийный устройств Snowball Edge Storage Optimized предлагает один порт RJ45 10 Гбит/с, один порт SFP28 10/25 Гбит/с и один порт QSFP+ 40 Гбит/с.

Устройства Snowball Edge Compute Optimized (включая конфигурацию с графическим процессором) оборудованы двумя портами RJ45 10 Гбит/с, одним портом SFP28 10/25 Гбит/с и одним портом QSFP28 40/100 Гбит/с.

Вопрос. Каковы условия доставки устройств Snowball Edge? Возможна ли срочная доставка?

По умолчанию сервис Snowball Edge использует услугу двухдневной доставки от компании UPS. Если у вас есть срочные задачи, можно воспользоваться ускоренной доставкой.

Вопрос. Поддерживает ли Snowball Edge инстансы EC2?

Да. Решение Snowball Edge Storage Optimized поддерживает инстанс SBE1.

Решение Snowball Edge Compute Optimized включает более мощные и крупные инстансы (SBE-C) для запуска приложений, требующих больших вычислительных мощностей.

Устройство Snowball Edge Compute Optimized оснащено дополнительным графическим процессором, что позволяет использовать инстансы SBE-G для повышения производительности приложений.

Благодаря поддержке устройствами Периферийного Snowball инстансов, совместимых с EC2, пользователи могут разрабатывать и тестировать приложения в EC2, а затем использовать образы AMI в Snowball Edge для выполнения операций в отдаленных или не подключенных к сети местоположениях.

Вопрос: Каким образом можно использовать графический процессор с инстансами SBE AWS Snowball Edge?

Дополнительный графический процессор для AWS Snowball Edge Compute Optimized поставляется с инстансами SBE-G, что позволяет повысить производительность приложения благодаря встроенному графическому процессору. После получения устройства включите в приложении использование инстанса SBE‑G, чтобы воспользоваться возможностями встроенного графического процессора.

Вопрос. В каких случаях с сервисом AWS Snowball Edge следует использовать инстансы, совместимые с EC2?

Инстансы, совместимые с EC2, следует использовать для приложений, которые работают в периферийных местоположениях и при этом развертываются и управляются как виртуальные машины (образы Amazon Machine Image, или AMI).

Вопрос. Можно ли использовать несколько устройств Snowball Edge для хранения данных с высокой доступностью?

Да. Несколько устройств Snowball Edge Compute Optimized и Snowball Edge Storage Optimized можно объединить в крупный и надежный пул хранения данных с одним адресом, совместимым с Amazon S3. Например, 16 устройств Storage Optimized можно объединить в кластер с адресами, совместимыми с S3, и хранилищем объемом 2,6 ПБ. Эти устройства также можно использовать без кластеризации. Тогда у каждого из них будет отдельный адрес, совместимый с S3, и хранилище объемом до 190 ТБ.

Вопрос. Когда следует рассмотреть возможность создания кластера хранения данных?

С помощью кластера хранения устройств Snowball Edge можно повысить надежность и масштабируемость локального хранилища. Посредством кластеризации хранилищ Snowball можно создать надежное и масштабируемое локальное хранилище, совместимое с S3. Кластеры AWS Snowball Edge позволяют масштабировать локальные хранилища в зависимости от текущих требований за счет подключения или отключения устройств. Благодаря этому можно избежать необходимости покупать дорогостоящее оборудование.

Вопрос. Как начать выполнение локальных вычислений на устройствах Периферийного Snowball?

Вы можете включить EKS-A для современных распределенных приложений на основе контейнеров и Amazon EC2 AMI или функций Lambda во время создания задания Периферийного AWS Snowball с помощью Консоли AWS, SDK AWS Snowball или интерфейса командной строки AWS.

Вопрос. Можно ли использовать существующие API Amazon EC2 для запуска и остановки инстансов на устройстве, а также для управления ими?

Да. AWS Snowball Edge предоставляет совместимый с Amazon EC2 адрес, который можно использовать для запуска и остановки инстансов, работающих в AWS Snowball Edge, а также для управления ими. Этот адрес совместим с интерфейсом командной строки и пакетом SDK AWS.

Вопрос. Какие возможности Amazon EC2 поддерживает AWS Snowball Edge?

Работающий в AWS Snowball Edge адрес Amazon EC2 предоставляет доступ к возможностям EC2, которые могут быть полезны клиентам для периферийных вычислений. В их число входят API, которые позволяют запускать, удалять и описывать установленные образы AMI и запущенные инстансы. Snowball Edge также поддерживает блочное хранилище для образов EC2, которым можно управлять с помощью набора команд API Amazon EBS.

Вопрос. Можно ли использовать существующий том Amazon EBS с AWS Snowball Edge?

Нет. На данный момент использование существующего тома EBS с AWS Snowball Edge не поддерживается. Однако Snowball Edge предоставляет тома блочного хранилища, которыми можно управлять с помощью API, совместимых с EBS.

Вопрос: Какие действия необходимо предпринять для запуска инстансов Amazon EC2 на AWS Snowball Edge?

Для запуска инстансов необходимо во время формирования задания предоставить идентификаторы образов AMI. Эти образы будут предустановлены на устройство перед отправкой.

Вопрос: Можно ли конвертировать образы других гипервизоров в образы AMI и наоборот?

Да. Образы KVM/VMware можно импортировать и экспортировать в образы AMI с помощью сервиса EC2 VM Import/Export. Дополнительные сведения см. в документации по VM Import/Export.

Это необходимо для запуска лицензированного программного обеспечения, включая операционные системы, не предоставляемые сервисом AWS Snowball.

Вопрос. Какие операционные системы позволяет использовать эта возможность?

Amazon EC2 на Snowball Edge по умолчанию поддерживает различные бесплатные операционные системы, например Ubuntu и CentOS. Они представлены в виде образов AMI, которые можно загрузить на устройство Snowball Edge без изменений. Чтобы запускать в инстансах EC2 Периферийного Snowball операционные системы, требующие лицензирования, необходимо предоставить соответствующую лицензию, а затем экспортировать AMI с помощью импорта / экспорта VM Amazon EC2 (VMIE).

Вопрос. Какие рабочие нагрузки можно запускать на инстансах SBE-C?

Инстансы SBE-C предоставляют до 104 виртуальных ЦП, краткосрочное хранилище инстансов для корневых томов и 418 ГБ оперативной памяти для работы различных процессов, требующих больших вычислительных мощностей, в средах с ограниченным или отсутствующим подключением к Интернету. Это касается применения, например, продвинутого машинного обучения, анализа движущегося видеоизображения, стеков LAMP и контейнеров, размещенных в ЕС2. Кроме того, в инстансах SBE-C можно использовать блочное хранилище Периферийного Snowball на основе твердотельных дисков NVMe и жестких дисков для создания постоянных томов.

Вопрос: Как удостовериться, что существующие образы AMI подходят для запуска на инстансах, совместимых с EC2, на устройстве AWS Snowball Edge?

Образы AMI, работающие на инстансах типа С5 на платформе AWS, в большинстве случаев использования совместимы с инстансами SBE1, доступными на AWS Snowball Edge Storage Optimized. Мы рекомендуем протестировать приложения на инстансах типа С5, чтобы удостовериться, что они могут быть запущены на устройстве Snowball Edge Storage Optimized.

Образы AMI, работающие на инстансах типа M5a на платформе AWS, в большинстве случаев использования совместимы с инстансами SBE-C, доступными на устройстве AWS Snowball Edge Compute Optimized. Мы рекомендуем протестировать приложения на инстансах типа M5a, чтобы удостовериться, что инстансы SBE-C могут быть запущены на устройстве AWS Snowball Edge Compute Optimized.

Рекомендуем протестировать приложения на инстансах типа EC2 P3, чтобы удостовериться, что инстансы SBE‑G могут быть запущены на устройстве Snowball Edge Compute Optimized с графическим процессором.

Вопрос: Можно ли установить на устройство несколько инстансов?

Да. На устройстве можно запустить любое количество инстансов, при условии что общий объем используемых ими ресурсов не превышает ограничения для устройства Периферийного Snowball.

Вопрос. Как использовать инстансы типа SBE‑C и SBE‑G в кластере Периферийного AWS Snowball?

Все инстансы, совместимые с EC2, можно запускать на каждом узле кластера Периферийного AWS Snowball. При выделении кластера AWS Snowball Edge с помощью Консоли AWS можно задать параметры инстансов, которые будут работать на каждом узле этого кластера. Например, можно указать нужный образ AMI, а также тип и размер инстанса. На узлах одного кластера можно использовать как одинаковые, так и разные образы AMI.

Вопрос: Как запустить инстанс вручную?

Каждый образ AMI имеет связанный с ним идентификатор (ID). Запустить инстанс вручную можно с помощью команды «run-instance», подставив в нее этот идентификатор. Исполнение команды возвращает значение instance-id, которое можно использовать для управления инстансом.

Вопрос. Как управлять инстансами в AWS Snowball Edge?

Состояние всех установленных на устройстве образов можно проверить с помощью команды describe-images. Просмотреть перечень всех запущенных на устройстве активных инстансов можно с помощью команды describe-instance-status.

Вопрос. Как удалить существующий инстанс?

Удалить запущенный инстанс можно с помощью команды terminate-instance.

Вопрос. Какие меры защиты применяются к образам AMI во время транспортировки устройства?

Snowball Edge шифрует все данные, включая образы AMI, с помощью 256-битного алгоритма. Управление ключами шифрования осуществляется с помощью AWS Key Management Service (KMS). Ключи пользователей никогда не хранятся на перевозимом устройстве. Для использования устройства в локальной среде необходимы ключи и код разблокировки. Кроме корпуса с защитой от вскрытия, в устройствах Snowball Edge используется стандартный модуль доверенной платформы (TPM), особый процессор которого предназначен для обнаружения любых несанкционированных изменений аппаратного, программного или встроенного программного обеспечения. AWS проверяет каждое устройство на предмет попыток взлома визуальными и криптографическими методами.

Вопрос. Можно ли добавить AMI на мое устройство Snowball Edge после его развертывания?

Да. Образы виртуальных машин (VM) можно импортировать на устройство Snow как AMI, когда оно находится территории заказчика. Подробнее об импорте образов VM на устройства Snow см. в документации Snowball Edge.

Вопрос. Как решается вопрос с лицензированием ПО для вычислительных инстансов, запускаемых на AWS Snowball Edge?

Пользователи сервиса несут самостоятельную ответственность за лицензирование любого ПО, которое они запускают на своих инстансах. Что касается операционных систем Windows, для работы с инстансами, запущенными на устройстве, можно использовать имеющуюся лицензию. Для этого установите лицензионную ОС в образе AMI в EC2 и загрузите AMI на устройство Snowball Edge с помощью VM Import/Export.

Вопрос. Как начать работу в последней версии AWS IoT Greengrass на устройствах Snow?

AWS IoT Greengrass – это периферийная среда выполнения IoT (с открытым исходным кодом начиная с версии 2.0) и облачный сервис, который помогает создавать и развертывать приложения Интернета вещей для ваших устройств и управлять ими. Устройства AWS Snow, использующие AWS IoT Greengrass, могут работать как концентраторы Интернета вещей, точки сбора данных, мониторы приложений или маломощные аналитические устройства. 

Чтобы начать работу с AWS IoT Greengrass на устройстве AWS Snow, выполните следующие шаги:

1. При добавлении задания в консоль AWS Snow Family вы можете выбрать установку AMI AWS IoT Greengrass, который использует AMI Amazon Linux 2 (AL2) для AWS Snow Family на выбранном устройстве Snow.
2. После получения устройства для его разблокировки с помощью учетных данных, предоставленных после создания задания, можно использовать AWS OpsHub для Snow Family.         
3. Затем запустите AMI AL2 для AWS Snow Family на соответствующем устройстве Snow и удаленно зайдите в него, используя существующие или создав новые ключи SSH.
4. Теперь вы готовы установить последнюю версию AWS IoT Greengrass на устройство Snow, следуя этим инструкциям.
   
5. По завершении установки вы сможете управлять устройством AWS Snow Family и развертывать рабочие нагрузки Интернета вещей из консоли AWS IoT.

Вопрос. Что такое блочное хранилище на устройстве AWS Snowball Edge?

На устройствах Snowball Edge Compute Optimized и Snowball Edge Storage Optimized можно использовать блочное хранилище. Чтобы присоединить тома блочного хранилища к инстансам EC2, применяются возможности Amazon EBS, которые позволяют настраивать тома инстансов EC2 на устройствах Snowball Edge и управлять ими.

Вопрос. Зачем использовать блочное хранилище AWS Snowball Edge?

Благодаря блочному хранилищу Snowball Edge можно использовать несколько постоянных томов для хранения (вдобавок к корневому) для приложений на основе Amazon EC2, запущенных на устройстве. Это повысит производительность и расширит возможности хранилища для приложений EC2, запущенных на Snowball Edge, по сравнению с использованием только корневого тома. Теперь к инстансам EC2 можно подключать несколько томов. Тома, подключенные к инстансам EC2 на устройстве Snowball Edge, сохраняются независимо от рабочего цикла инстанса. Это позволяет развертывать на Snowball Edge нужное количество приложений, а также запускать и останавливать их по необходимости.

Вопрос: Какие типы томов блочного хранилища доступны для использования и какие ресурсы необходимы для каждого типа?

Блочное хранилище Snowball Edge предоставляет твердотельные тома (sbp1), оптимизированные с учетом производительности, и жесткие диски с улучшенной емкостью (sbg1). Это позволяет приложениям по сбору и обработке данных работать согласно требованиям IOPS и пропускной способности. Емкость одного тома блочного хранилища составляет 10 ТБ. Вы можете подключить до 10 томов к любому инстансу EC2 на Snowball Edge.

На устройствах Snowball Edge Compute Optimized можно использовать твердотельные накопители на базе NVMe емкостью до 7 ТБ для томов sbp1, которые идеально подходят для выполнения задач, чувствительных к задержкам, например для машинного обучения. На устройствах Snowball Edge Storage Optimized можно использовать твердотельные накопители SATA емкостью до 1 ТБ для томов sbp1, предназначенных для предварительной обработки данных.

Устройства Snowball Edge Storage Optimized и Snowball Edge Compute Optimized поддерживают работу томов sbg1 с улучшенной емкостью, что обеспечивает эффективное хранение данных на жестких дисках. Это тип тома больше подходит для сбора данных, чем для работы с приложениями, требующими высоких показателей IOPS. Его максимальный размер составляет 10 ТБ. Кроме того, вы можете подключить необходимое количество томов к любому инстансу. Устройство Snowball Edge Storage Optimized обеспечивает до 86 ТБ хранилища на основе жестких дисков для sbg1. Устройство Snowball Edge Compute Optimized обеспечивает до 40 ТБ хранилища на основе жестких дисков для sbg1.

Вопрос: Как начать использовать блочное хранилище на устройстве Snowball Edge?

Блочное хранилище предусмотрено во всех устройствах Snowball Edge по умолчанию. После разблокировки устройства можно использовать интерфейс командной строки AWS или SDK, чтобы создавать тома и подключать их к инстансам Amazon EC2. К инстансу EC2 можно подсоединить несколько томов, при этом один том в любой момент времени может быть подключен только к одному инстансу.

Вопрос: Чем блочное хранилище Snowball Edge отличается от Amazon EBS?

Блочное хранилище Snowball Edge отличается от томов Amazon EBS по своей производительности, доступности и надежности. Кроме того, на данный момент Snowball Edge предоставляет только небольшой набор возможностей Amazon EBS. Например, работа со снимками не поддерживается в текущей версии блочного хранилища Snowball Edge. Полный список поддерживаемых API доступен в технической документации по Snowball Edge.

Вопрос: Какие API Amazon EBS совместимы с блочным хранилищем SBE?

Чтобы управлять блочным хранилищем на устройстве SBE, можно использовать набор команд API томов EBS, а также создавать, удалять, подключать, отключать и описывать их. Полный список поддерживаемых API доступен в технической документации по Snowball Edge.

Вопрос: Какие образы Amazon Machine Images можно использовать на Snowball Edge для работы с блочным хранилищем?

Любой образ Amazon Machine Image (AMI), запущенный на Snowball Edge, может получить доступ к 10 томам блочного хранилища одновременно. Собственные и общие образы AMI от AWS могут получить доступ к любому тому блочного хранилища. Не существует специальных требований, применяемых к томам блочного хранилища. Однако некоторые операционные системы работают эффективнее при использовании определенных драйверов. Подробная информация доступна в технической документации по Snowball Edge.

Вопрос. Могут ли инстансы Amazon EC2 получить доступ к томам, размещенным на другом устройстве?

Тома, созданные на определенном устройстве Snowball Edge, доступны только для инстансов EC2, запущенных на том же устройстве.

Вопрос. Как отслеживать, сколько ресурсов использует каждый том?

С помощью команды describe-device в клиенте Snowball можно отслеживать использование блочного хранилища на устройстве. Во время создания тома необходимые ресурсы выделяются в зависимости от доступной емкости хранилища.

Вопрос. Можно ли переносить данные из блочного хранилища в тома Amazon EBS в облаке?

Сделать это напрямую невозможно. Данные в томах блочного хранилища Snowball Edge удаляются при возвращении устройства в AWS. Если вы хотите сохранить данные в блочных томах хранения, вы должны скопировать данные в адаптер Amazon S3 в случае заданий миграции данных или в совместимое с Amazon S3 хранилище в случае граничных вычислительных устройств. Данные из адаптера Amazon S3 будут скопированы в вашу корзину S3, когда устройство вернется в AWS в рамках задания импорта. Для периферийных вычислений вы можете использовать AWS DataSync для передачи данных в режиме онлайн туда и обратно между вашими корзинами S3 в регионах и корзинами S3 на устройствах при наличии подключения к региону AWS.

Вопрос. Можно ли развернуть объектное и блочное хранилища на одном устройстве?

Да, вы можете использовать совместимое с Amazon S3 хранилище на Snow и блочное хранилище на одном устройстве Snowball Edge Compute Optimized в рамках развертывания одного устройства. Объектное и блочное хранилище, используемые для томов sbg1, имеют одинаковую емкость диска данных и предварительно зарезервированы на момент размещения заказа. Совместное применение двух хранилищ не препятствует эффективной работе при увеличении нагрузок во время операций ввода и вывода.  Обратите внимание, что эта функция не поддерживается в случае развертывания кластера, где все хранилище на дисках данных используется для хранения объектов.

Вопрос. Нужно ли настраивать тома или другие ресурсы хранилищ при заказе устройства Snowball Edge в консоли AWS?

Нет. Добавлять тома к инстансам Amazon EC2 можно после получения устройства.

Вопрос. Нужно ли распределять ресурсы на устройстве между блочным и объектным хранилищами?

Да. Для совместимого с Amazon S3 хранилища на Snow используемая возможность объектного хранения выбирается во время размещения заказа на предварительное выделение ресурсов. Этот шаг не требуется для устройств с адаптером Amazon S3. Добавлять или удалять тома либо объекты можно в процессе работы в зависимости от используемых приложений.

Вопрос. Зашифрованы ли данные томов по умолчанию?

Устройство Snowball Edge разработано для защиты самых конфиденциальных данных клиентов. Все данные, записываемые в блочные тома, шифруются с помощью ключей, которые вы создаете посредством службы AWS Key Management Service (KMS). При шифровании данных томов используются те же ключи, которые вы выбрали, создавая задание для устройства Snowball Edge. Ключи не хранятся на устройстве и удаляются при отключении питания.

Вопрос: Какие существуют рекомендации по достижению оптимальной производительности блочного хранилища Snowball Edge?

Подключение дополнительных томов с помощью блочного хранилища улучшает производительность в 10 раз по сравнению с корневыми томами. Мы рекомендуем использовать небольшие корневые тома и создавать дополнительные тома в блочном хранилище для размещения данных приложений Amazon EC2. В технической документации по Snowball Edge представлены рекомендации по оптимизации производительности и выбору драйверов.

Вопрос. В каких регионах доступен сервис Snowball Edge?

Актуальную информацию можно найти на страницах доступности сервисов по регионам. 

Вопрос. Можно ли отправить Периферийный Snowball в другой регион AWS?

Нет. Устройства Периферийного Snowball предназначены для запроса и использования в том же регионе AWS, где находится ваша корзина S3. Устройство можно вернуть только в тот регион, откуда был направлен запрос на его получение. Устройства Snowball Edge, используемые для импорта и экспорта в регионе AWS ЕС, могут использоваться в любой из стран ЕС. Актуальную информацию можно найти на страницах доступности сервисов по регионам.

Вопрос: Выполняется ли на устройстве Snowball Edge шифрование данных?

Snowball Edge шифрует все данные с помощью 256-битного шифрования. Пользователь самостоятельно управляет ключами шифрования с помощью AWS Key Management Service (AWS KMS). Ключи никогда не хранятся на устройстве. После отключения и возврата устройства в AWS вся память стирается.

Вопрос: Какие физические средства защиты данных используются в Snowball Edge?

Кроме корпуса с защитой от взлома, в устройствах Snowball Edge используется стандартный модуль доверенной платформы (TPM), особый процессор которого предназначен для обнаружения любых несанкционированных изменений аппаратного или программного обеспечения, а также прошивки. Каждое устройство визуально и криптографически проверяется AWS на наличие каких‑либо признаков взлома, а также изменений, зарегистрированных модулем TPM.

Вопрос: Какие цифровые средства защиты данных используются в Snowball Edge?

Устройство Snowball Edge разработано для защиты самых конфиденциальных данных клиентов. Все данные шифруются с использованием ключей, предоставленных пользователем через AWS Key Management Service (KMS). Ключи не хранятся на устройстве и удаляются при отключении питания. Приложения и функции Lambda запускаются в физически изолированной среде и не имеют доступа к хранилищу. Наконец, когда данные будут переданы в AWS, информация с устройства будет удалена в соответствии со стандартами Национального института по стандартизации и технологии. Устройства Snowball Edge защищены от атак, а все файлы конфигурации зашифрованы и подписаны ключами, которые никогда не хранятся на самих устройствах.

Вопрос: Существует ли простой способ отслеживать состояние заданий на передачу данных?

В устройствах Snowball Edge используются инновационные ярлыки отправлений E Ink, благодаря которым устройство всегда доставляется в нужный ЦОД AWS. После передачи данных на устройство можно отслеживать состояние соответствующего задания с помощью текстовых сообщений и электронных писем от сервиса Amazon SNS, а также с помощью консоли.

Вопрос. Можно ли получить историю вызовов API Snowball, отправленных с моего аккаунта, для анализа уровня безопасности и устранения неполадок в работе?

Да. Чтобы получить историю вызовов API Snowball для своего аккаунта, достаточно включить сервис CloudTrail в Консоли управления AWS. Вызовы следующих API Snowball не записываются и не могут быть предоставлены: DescribeAddress (в ответе), CreateAddress (в запросе), DescribeAddresses (в ответе).

Вопрос: Как скопировать данные на устройство Snowball Edge?

После того как устройство Snowball Edge подключено и активировано, можно начать перенос данных из локальных источников на него через совместимый с S3 адрес или файловый интерфейс NFS (оба варианта доступны на устройстве). Копирование данных можно также запустить через клиент Snowball. Подробные сведения см. в документации по Snowball Edge.

Вопрос. Когда можно удалить данные на дисках после их копирования на устройство Snowball Edge и отправки Snowball Edge обратно в AWS?

Прежде чем удалять данные на дисках, дождитесь подтверждения от AWS о получении Snowball Edge и успешном переносе данных в соответствующие корзины S3. AWS проверяет целостность файлов, скопированных на Snowball Edge во время переноса S3, а вы должны проверять целостность данных перед их удалением с дисков. AWS не несет ответственности за потерю или повреждение данных во время копирования или транспортировки.

Вопрос. Что необходимо сделать по завершении передачи данных на устройство Snowball Edge?

По завершении задания на передачу на ярлыке возврата отправления E Ink устройства Snowball Edge будет автоматически указан адрес соответствующего ЦОД AWS. Вам останется только передать устройство Snowball Edge в ближайший пункт службы доставки UPS. Состояние задания на передачу данных можно отслеживать с помощью текстовых сообщений и электронных писем сервиса Amazon SNS или консоли управления AWS.

Вопрос. Можно ли остановить прием данных с устройства AWS Snowball после его возвращения в AWS? 

Да. Вы можете остановить загрузку данных в корзину Amazon Simple Storage Service (Amazon S3), отменив задание в консоли управления AWS Snow или обратившись в службу поддержки AWS. 

Вопрос. Можно ли остановить удаление данных на возвращенном устройстве AWS Snowball после завершения импорта данных?

Нет. AWS использует автоматизированный рабочий процесс для безопасного удаления входящих данных и очистки возвращаемого устройства с полным стиранием устройства Snowball в соответствии со стандартами NIST 800-88. Кроме того, невозможно вернуть вам то же самое устройство после завершения импорта данных.

Вопрос: Сколько стоит экспорт данных?

Помимо оплаты задания экспорта по тарифам, изложенным на странице цен, взимается плата за извлечение данных из Amazon S3.

Вопрос: Через какое время можно получить доступ к экспортированным данным?

Как правило, экспорт данных начинается в пределах 24 часов после создания вами запроса, а сам экспорт может занять неделю. Когда задание будет выполнено, а устройство готово к пересылке, мы отправим его в соответствии с параметрами доставки, указанными при создании задания.

Вопрос. Предоставляется ли контрольная сумма или другое подтверждение корректности загрузки в корзину Amazon S3?

Да. AWS сохраняет отчет журнала импорта в вашу корзину. Этот отчет содержит информацию о каждом файле, которая включает дату и время загрузки, ключ Amazon S3, контрольную сумму MD5 и число байт. Подробнее см. в документации.

Вопрос. Я создал задание экспорта моей корзины Amazon S3 и оно содержит ключи, которые находятся в классе хранилища Amazon S3 Glacier. Будут ли экспортированы ключи?

Задание экспорта Snowball из рабочего процесса Amazon S3 не имеет доступа к объектам в классах хранилища Amazon S3 Glacier или Amazon S3 Glacier Deep Archive. Вы должны сначала восстановить эти объекты из архива Glacier или Glacier Deep в течение минимум 10 дней или до завершения задания экспорта Snow, чтобы убедиться, что эти восстановленные объекты успешно скопированы на устройство Snowball.

Вопрос. Почему нужно использовать Менеджер миграции больших наборов данных?

Менеджер миграции больших наборов данных поможет вам спланировать и контролировать миграцию больших наборов данных от минимальных 500 ТБ до петабайтов данных. Во-первых, Менеджер миграции больших наборов данных позволяет создать план для проектов миграции, в которых используется несколько устройств группы AWS Snow для завершения миграции данных масштаба петабайта или перемещения данных с надежного мобильного периферийного устройства. Создание плана поможет вам и вашим партнерам приступить к работе с системой Snow и согласовать цели, такие как объем данных, подлежащих миграции, и продолжительность проекта. После разработки плана Менеджер миграции больших наборов данных обеспечивает центральное место в консоли управления группы AWS Snow, где вы можете следить за ходом выполнения всех заданий Snow (количество невыполненных заданий, текущие данные и т. д.), а также просматривать предполагаемые графики размещения следующих заказов на выполнение заданий. Наконец, вы можете контролировать план проекта по мере наблюдения за миграцией и можете продлить или завершить миграцию, когда сочтете нужным.  

До запуска Менеджера миграции больших наборов данных вам приходилось отслеживать всю эту информацию самостоятельно и тратить время на координацию действий с партнерами и AWS для отслеживания прогресса ввода данных и размещения заказов на работу. Менеджер миграции больших наборов данных экономит ваше время и усилия, отслеживая все детали проекта, и позволяет вам сосредоточиться на общей цели миграции данных. 

Вопрос. Как начать работу с Менеджером миграции больших наборов данных?

Начать следует с создания плана проекта миграции данных или перемещения данных в консоли управления AWS. Чтобы создать план, вам будет предложено указать тип задания импорта, включающий имя плана, роли доступа к сервису и предпочтения в отношении уведомлений. После создания плана необходимо создать место, куда будут отправляться устройства Snow. Информация о месте включает название и адрес доставки для каждого места, объем данных, количество одновременных заданий Snow, тип задания Snow, устройство Snow, коэффициент заполнения (согласно последним контролируемым данным), даты начала и окончания проекта. После создания места вы можете просмотреть автоматически созданный график заказов на задания Snow, который поможет вам узнать, когда заказывать задания Snow. Вы можете либо клонировать предыдущие существующие задания, либо приписать уже созданное задание к месту.  

Вопрос. Как обновить план проекта с помощью Менеджера миграции больших наборов данных?

Вы можете обновить план проекта одним из двух способов: (1) изменить информацию о своем плане путем обновления объема данных, количества одновременных заданий Snow или (2) менеджер по миграции данных Snow рассчитывает среднюю продолжительность задания Snow (от создания заказа до завершения) и средний коэффициент заполнения на основе каждого места для автоматической корректировки вашего плана. Затем Менеджер миграции данных использует эти обновления плана для корректировки графика заказов, информируя вас о статусе проекта и о том, требуются ли дополнительные работы по Snow. 

Вопрос. Как отслеживать задания Snow с помощью Менеджера миграции больших наборов данных?

Вы отслеживаете выполнение заданий Snow с помощью панели управления Менеджера миграции данных или просматривая сводку плана проекта. Используя панель управления Менеджера миграции данных, вы можете быстро отслеживать состояние проекта и выявлять проблемы. С помощью этой новой возможности вы можете отслеживать общий ход миграции или переноса данных, оставшееся время, статус задания Snow, статус места, средний коэффициент заполнения задания Snow, среднюю продолжительность задания Snow и график предстоящих заказов по плану и месту. 

Вопрос. Нужно ли платить деньги за использование Менеджера миграции больших наборов данных?

Нет. Менеджер миграции больших наборов данных доступен клиентам, использующим устройства группы AWS Snow. 

Вопрос. В каких регионах доступен Менеджер миграции больших наборов данных?

Менеджер миграции больших наборов данных доступен во всех коммерческих регионах, где доступны устройства Snowball Edge.

Вопрос. Что такое AWS OpsHub для сервисов Snow?

AWS OpsHub – это приложение, которое можно загрузить на странице ресурсов Snowball. Оно представляет собой графический интерфейс пользователя для управления устройствами AWS Snow. С помощью AWS OpsHub проще настраивать устройства AWS Snowball и управлять ими, благодаря чему можно быстро развертывать периферийные вычислительные рабочие нагрузки и легко переносить данные в облако. Всего несколькими щелчками мыши в AWS OpsHub можно разблокировать и настраивать устройства, переносить данные на устройства, запускать инстансы EC2 на устройствах и управлять ими, а также отслеживать метрики устройств. Приложение AWS OpsHub доступно во всем мире бесплатно.

Вопрос. Как работает AWS OpsHub для сервисов Snow?

AWS OpsHub – это приложение, которое можно загрузить и установить на любом клиентском компьютере с ОС Windows или Mac, например на ноутбуке. После установки AWS OpsHub и получения устройства AWS Snow откройте AWS OpsHub и разблокируйте устройство. Откроется панель управления, на которой показано ваше устройство и его системные метрики. Теперь можно проводить развертывание периферийных приложений или миграцию данных на устройство всего несколькими щелчками мыши.

Вопрос. Можно ли использовать AWS OpsHub с устройством Snow, которое заказано перед выпуском AWS OpsHub?

Да. Но функции автоматизации задач доступны только для устройств Snow, которые заказаны после выпуска AWS OpsHub 16 апреля 2020 года. Все остальные функции будут доступны для всех устройств, в том числе заказанных перед выпуском AWS OpsHub.

Вопрос. Когда лучше использовать AWS OpsHub вместо консоли управления AWS?

AWS OpsHub используется для эксплуатации устройств AWS Snow и сервисов AWS, которые на них работают, и для управления ими. AWS OpsHub – это приложение, которое выполняется на локальном клиентском компьютере, например на ноутбуке, и может работать как в отключенных, так и в подключенных средах. В отличие от него, консоль управления AWS используется для эксплуатации сервисов AWS, которые работают в облаке, и для управления ими. Консоль управления AWS – это веб-приложение, которое работает, когда есть подключение к Интернету.

Вопрос. Как поддерживать программное обеспечение AWS OpsHub в актуальном состоянии?

AWS OpsHub будет автоматически проводить проверку обновления программного обеспечения AWS OpsHub, когда клиентский компьютер, на котором работает AWS OpsHub, подключен к Интернету. Когда появляется обновление программного обеспечения, в приложении выдается уведомление и предлагается вариант загрузки новейшего ПО и обновления. Кроме того, последнюю версию AWS OpsHub можно получить на странице ресурсов Snowball.

Вопрос. Производит ли AWS OpsHub проверку и шифрование данных, которые передаются на устройства AWS Snow?

Да. Чтобы проверять, соответствуют ли данные, скопированные на устройство, оригиналу, во время их копирования на устройства AWS Snow с помощью AWS OpsHub используются контрольные суммы. Кроме того, все данные, записываемые на устройства AWS Snow, по умолчанию шифруются.

Вопрос: Какова стоимость использования Snowball Edge?

Подробные сведения о ценах см. на странице цен на AWS Snowball Edge.

Вопрос: Как начисляется плата за использование Amazon S3?

Snowball Edge по запросу пользователей перемещает их данные в сервисы AWS, например в Amazon S3. При этом действуют стандартные тарифы на использование сервисов AWS. Передача данных в AWS не тарифицируется. Хранение данных в сервисе S3 оплачивается по стандартным ценам на Amazon S3.

Вопрос. Как взимается плата за совместимость с Amazon S3 на устройствах Snowball Edge Compute Optimized для задач периферийных вычислений?

За хранилище, совместимое с Amazon S3, с повышенной отказоустойчивостью, масштабируемостью и расширенным набором функций API взимается дополнительная плата. Цены основаны на емкости S3, предоставленной на момент размещения заказа. Дополнительную информацию см. на странице Цены.

Вопрос. Взимается ли дополнительная плата за блочное хранилище Snowball Edge?

Нет. Эта возможность предоставляется бесплатно.

Вопрос: Можно ли приобрести устройство Snowball Edge?

Устройства доступны только в рамках задания, оплачиваются по факту использования и не предназначены для покупки.

Вопрос: Поддерживает ли сервис AWS Snowball Edge доступ через API?

Да. Job Management API группы сервисов Snowball предоставляет доступ к созданию заданий и возможностям управления Snowball или Snowball Edge. Это простой стандартизированный интерфейс веб‑сервисов REST, предназначенный для работы с любыми средами разработки интернет‑приложений.

Вопрос: Как можно использовать Job Management API сервиса AWS Snowball?

Job Management API сервиса AWS Snowball позволяет партнерам и клиентам создавать собственные интеграции, чтобы управлять запросами на устройства Snowball и уведомлениями о состоянии задания. API предоставляет интерфейс простого веб‑сервиса для создания, обновления и отмены заданий, а также для просмотра списка заданий везде, где есть подключение к Интернету. С помощью этого веб‑сервиса разработчики могут без труда создавать приложения для управления заданиями AWS Snowball. Подробнее см. в документации AWS Snowball.

Вопрос. Что такое S3 Adapter?

S3 SDK Adapter for Snowball предоставляет совместимый с S3 интерфейс для чтения и записи данных на устройствах Snowball и Snowball Edge для использования при миграции данных.

Вопрос. Что можно делать с помощью S3 Adapter?

S3 Adapter помогает приложениям пользователей записывать данные из файловых и нефайловых источников в корзины S3, размещенные на устройствах Snowball или Snowball Edge. Помимо этого, он включает в себя интерфейс для копирования данных с тем же уровнем шифрования, который доступен в клиенте Snowball. Подробнее см. в документации AWS Snowball.

Вопрос: Каковы преимущества S3 Adapter по сравнению с клиентом Snowball?

Клиент Snowball – это готовый к использованию инструмент, позволяющий без труда копировать файловые данные на устройство Snowball. Клиенты, предпочитающие более тесную интеграцию, могут расширить возможности существующих приложений и рабочих нагрузок, интегрировав их с AWS Snowball посредством S3 Adapter для использования при миграции данных.

Вопрос. Каким образом обеспечивается защита данных при использовании S3 Adapter?

При записи данных S3 Adapter использует тот же продвинутый механизм шифрования, что и клиент Snowball.

Вопрос: Какие языки программирования поддерживает Snowball S3 Adapter?

S3 Adapter взаимодействует с приложениями через интерфейс REST, не зависящий от конкретного языка.

Вопрос. Почему мне следует использовать совместимое с Amazon S3 хранилище на Snow?

Вы можете использовать совместимое с Amazon S3 хранилище на Snow для запуска приложений, которым требуется объектное хранилище S3 в надежных, мобильных пограничных или отсоединенных средах для локальной обработки данных или использования остаточных данных. Например, приложения, использующие Amazon S3 в регионе для получения выводов машинного обучения или анализа данных, теперь могут быть развернуты на устройствах AWS Snow на границе для принятия решений в режиме реального времени в непосредственной близости от конечных пользователей или для удовлетворения требований по сохранности данных.

Вопрос. Какие API и функции S3 поддерживает совместимое с Amazon S3 хранилище на Snow?

Хранилище, совместимое с Amazon S3, на Snow поддерживает API для корзин и объектов, такие как GetObject, PutObject, DeleteObject(s), загрузка нескольких частей, тегирование объектов, CreateBuckets, DeleteBuckets, BucketLifecycle и List. Хранилище, совместимое с Amazon S3, в Snow поддерживает шифрование с помощью SSE-S3 или SSE-C, аутентификацию и авторизацию с помощью Snow IAM, расширенные функции, такие как встроенная отказоустойчивость, и гибкие возможности развертывания нескольких узлов (от 3 до 16). Совместимое с Amazon S3 хранилище на Snow является усовершенствованием текущей реализации S3 Adapter на Snow, которая имеет ограниченную поддержку API, предназначенную в основном для передачи данных.

Вопрос. Какие устройства семейства AWS Snow можно использовать с хранилищем, совместимым с Amazon S3?

Хранилище, совместимое с Amazon S3, доступно на устройствах Snowball Edge Compute Optimized и Snowball Edge Storage Optimized для локальных граничных вычислений и хранения данных.

Вопрос. Как отслеживать состояние совместимого с Amazon S3 хранилища на Snow?

Совместимое с Amazon S3 хранилище на Snow постоянно отслеживает состояние устройства или кластера. Фоновые процессы реагируют на несоответствия данных и временные сбои для диагностики и восстановления данных с целью обеспечения отказоустойчивости. В случае невосстанавливаемых аппаратных сбоев совместимое с Amazon S3 хранилище на Snow может продолжать работу и обеспечивает проактивные уведомления по электронной почте, побуждая клиентов работать с AWS для замены вышедших из строя устройств. Пока устройства подключены, AWS также получает эти уведомления, когда включена функция удаленного мониторинга, для проактивного взаимодействия с клиентами. Информация об обслуживании и состоянии устройства всегда доступна на OpsHub.

Вопрос. Зашифрованы ли мои данные, находящиеся в хранилище Snow, совместимом с Amazon S3?

Да. Данные, находящиеся в совместимом с Amazon S3 хранилище на Snow, защищены с помощью шифрования на стороне сервера. Совместимое с Amazon S3 хранилище на Snow поддерживает шифрование как SSE-S3, так и SSE-C. Шифрование на стороне сервера шифрует только данные, а не метаданные объекта.

Вопрос. Какую емкость можно выделить для хранилища Snow, совместимого с Amazon S3?

Емкость S3 в хранилище на Snow, совместимом с Amazon S3, зависит от количества и типа устройств Snow. Для развертываний с одним узлом можно выделить емкость, совместимую с S3, в диапазоне от 2,5 ТБ на устройствах SBE-CO и до 190 ТБ на устройствах SBE-SO. Для развертываний кластеров можно выделить до 2,6 ПБ используемой емкости, совместимой с S3, в 16-узловом кластере устройств Snowball Edge Storage Optimized емкостью 210 ТБ.