Migrando desde Azure Storage hacia AWS con AWS DataSync

Por Bruno Emer, Caio Ribeiro César, Javier Gálvez, Arquitectos de Soluciones AWS

AWS DataSync es un servicio de transferencia de datos en línea que simplifica, automatiza y acelera el movimiento de datos entre sistemas de almacenamiento onpremises y los servicios de almacenamiento de AWS, así como también entre los servicios de almacenamiento de AWS propiamente. Puede utilizar DataSync para migrar datos activos hacia AWS, por ejemplo, para archivar datos para liberar capacidad de almacenamiento en el onpremise, o para replicar datos en AWS con fines de continuidad empresarial (DR) o transferir datos a la nube para análisis y procesamiento.

El servicio de AWS DataSync puede copiar datos entre sistemas de recursos compartidos como el Sistema de archivos de red (NFS), o el sistema de archivo de bloque de mensajes de servidor (SMB), AWS Snowcone, buckets de Amazon Simple Storage Service (Amazon S3), sistemas de archivos de Amazon Elastic File System (Amazon EFS) y Amazon FSx para Windows File Server.

También puede migrar su almacenamiento ubicado en Azure hacia Amazon FSx (o incluso a otros tipos de almacenamiento antes comentados) por ejemplo esto ayudaría a migrar sus aplicaciones hacia AWS. Desde julio de 2020, la imagen que contiene el agente de DataSync para correr sobre Hyper-V ofrece la oportunidad de migrar almacenamiento y aplicaciones hacia AWS manteniendo los permisos SMB (NTFS; SMB).

AWS ofrece actualmente cuatro tipos de agentes DataSync: VMware ESXi, máquina virtual basada en kernel (KVM), Microsoft Hyper-V y Amazon EC2.

Realizar una migración usando la opción Amazon EC2 puede incluso ser una opción valida donde el almacenamiento a migrar es pequeño y existe conectividad entre las nubes de AWS y Azure, pero el escenario que se describe en esta publicación es ideal para migraciones más rápidas, donde DataSync se encuentra ubicado en la nube de Azure (source) y los clientes no desean crear una VPN entre servicios.

Algunos clientes eligen usar Robocopy utilizando conectividad a través de una VPN entre las nubes para la migración del almacenamiento. No se recomienda ejecutar Robocopy para migraciones grandes porque Robocopy tiene un problema de deduplicación de datos. Ciertos comandos de Robocopy pueden dañar el repositorio datos (chunk store), eliminando la optimización de datos con Data Deduplication.

Inicialmente, descargaremos y prepararemos el agente de AWS DataSync para Hyper-V.

Ahora, vamos a convertir la imagen de Hyper-V DataSync (vhdx) a una extensión compatible con Azure (vhd) a través de la utilidad convert-vhd con vHDType – prestando atención al footer lenght correcto de los discos (los discos en Azure deben tener un tamaño virtual alineado a 1 MiB que debe ser un múltiplo de 1 MiB y «FileSize», que será igual a «Tamaño» más 512 bytes para el footer lenght del VHD).

En este paso, subimos la nueva imagen ya convertida a formato vhd hacia Azure utilizando la herramienta Microsoft Azure Storage Explorer.

Ahora ejecutaremos el agente DataSync en Azure, con el tamaño de instancia adecuado.

Ahora integramos el DataSync Agent con el servicio de AWS Datasync, utilizando endpoints públicos (sin VPN entre nubes o via endpoint  si fuese necesario).

Ahora hemos empezado a migrar datos alojados en Azure File Share hacia Amazon FSx.

Las soluciones utilizadas para la realización de este blog son: a) Azure VM con almacenamiento SMB, (b) Azure File Share sin AD DS, (c) Azure File Share con AD DS.

En este blog post demostramos la facilidad de migración de datos alojados en el sistema de almacenamiento en Azure a los servicios de almacenamiento de AWS, así como entre los propios servicios de almacenamiento de AWS.

DataSync automatiza la administración de los procesos de transferencia de datos y la disponibilidad la infraestructura necesaria para la transferencia segura de datos con un alto rendimiento, proporcionando seguridad integral, incluyendo el cifrado y la validación de integridad de los datos para garantizar que estos datos lleguen de forma segura, intacta y lista para su uso. Para obtener más información sobre AWS DataSync, haga clic aquí.

Sobre los autores

Caio Ribeiro actualmente trabaja como arquitecto de soluciones especializado en tecnología de Microsoft en la nube de AWS. Comenzó su carrera profesional como administrador de sistemas, que continuó durante más de 14 años en áreas como seguridad de la información, identidad en línea y plataformas de correo electrónico corporativo. Recientemente se hizo fanático de la computación en la nube de AWS y ayuda a los clientes a aprovechar el poder de la tecnología de Microsoft en AWS.

Javier Galvés trabaja actualmente como arquitecto de soluciones y ha trabajado en tecnología de la información durante más de 22 años, comenzando como administrador de sistemas especializado en tecnologías de Microsoft para grandes instituciones financieras siendo especialista en plataformas de correo e intranets corporativa para luego mas tarde en su carrera pasar a tecnologías de virtualización y soluciones de código abierto como Kubernetes.
En la actualidad, se centra principalmente en el diseño y la entrega de nuevas soluciones hibridas sobre la nube AWS, así como en el desarrollo de actividades técnicas con demostraciones y sesiones interactivas para nuestros clientes.

Bruno Emer es arquitecto de soluciones en São Paulo, Brasil. Cuando no trabaja con clientes o escribe contenido, le gusta viajar y escuchar música, especialmente samba y R&B.