¿Qué es la administración de datos?

La práctica de la administración de datos abarca la recopilación y distribución de datos de alta calidad, además de la gobernanza de datos, para controlar el acceso a los datos.

Administración de la calidad

Los usuarios de los datos esperan que los datos sean lo suficientemente fiables y consistentes para cada caso de uso.

Los administradores de calidad de datos miden y mejoran la calidad de los datos de una organización. Revisan los datos existentes y los nuevos y verifican que cumplan con los estándares. También pueden configurar procesos de administración de datos que bloquean la entrada de datos de baja calidad en el sistema. Los estándares de calidad de los datos suelen medir lo siguiente:

• ¿Falta información clave o están completos los datos? (por ejemplo, el cliente omite la información de contacto clave)
• ¿Los datos cumplen con las reglas básicas de verificación de datos? (por ejemplo, un número de teléfono debe tener 10 dígitos)
• ¿Con qué frecuencia aparecen los mismos datos en el sistema? (por ejemplo, entradas de datos duplicadas del mismo cliente)
• ¿Los datos son precisos? (por ejemplo, el cliente introduce una dirección de correo electrónico incorrecta)
• ¿La calidad de los datos es uniforme en todo el sistema (por ejemplo, la fecha de nacimiento tiene el formato dd/mm/aaaa en un conjunto de datos, pero el formato mm/dd/aaaa en otro conjunto de datos)

Distribución y coherencia de los datos

Puntos de conexión para la distribución de datos

Para la mayoría de las organizaciones, los datos deben distribuirse a (o cerca de) los distintos puntos de conexión en los que se necesitan los datos. Estos incluyen sistemas operativos, lagos de datos y almacenamiento de datos. La distribución de datos es necesaria debido a las latencias de la red. Cuando se necesitan datos para uso operativo, es posible que la latencia de la red no sea suficiente para entregarlos de manera oportuna. El almacenamiento de una copia de los datos en una base de datos local resuelve el problema de latencia de la red.

La distribución de datos también es necesaria para la consolidación de datos. El almacenamiento y los lagos de datos consolidan los datos de varias fuentes para presentar una vista consolidada de la información. El almacenamiento de datos se utiliza para el análisis y la toma de decisiones, mientras que los lagos de datos son un centro consolidado desde el que se pueden extraer datos para diversos casos de uso.

Mecanismos de replicación de datos e impacto en la coherencia

Los mecanismos de distribución de datos tienen un impacto potencial en la coherencia de datos, y esto es algo importante que hay que tener en cuenta en la administración de datos.

La replicación sincrónica de datos resulta de una coherencia sólida. En este enfoque, cuando se cambia un valor de datos, todas las aplicaciones y los usuarios verán el valor modificado de los datos. Si el nuevo valor de los datos aún no se ha replicado, se bloquea el acceso a los datos hasta que se actualicen todas las copias. La replicación sincrónica prioriza la coherencia sobre el rendimiento y el acceso a los datos. La replicación sincrónica se utiliza con mayor frecuencia para los datos financieros.

La coherencia final resulta de la replicación asíncrona de los datos. Cuando se cambian los datos, las copias finalmente se actualizan (normalmente en cuestión de segundos), pero el acceso a las copias desactualizadas no se bloquea. Para muchos casos de uso, esto no es un problema. Por ejemplo, las publicaciones, “me gusta” y comentarios en las redes sociales no requieren una coherencia fuerte. Como otro ejemplo, si un cliente cambia su número de teléfono en una aplicación, este cambio se puede aplicar en cascada de forma asíncrona.

Diferencias entre la reproducción en streaming y las actualizaciones por lotes

Las secuencias de datos cambian en cascada los datos a medida que se producen. Este es el enfoque preferido si se requiere acceso a datos casi en tiempo real. Los datos se extraen, transforman y entregan a su destino tan pronto como se modifican.

Las actualizaciones por lotes son más apropiadas cuando los datos deben procesarse en lotes antes de la entrega. Resumir o realizar análisis estadísticos de los datos y entregar solo el resultado es un ejemplo de ello. Las actualizaciones por lotes también pueden preservar la coherencia interna puntual de los datos si todos los datos se extraen en un momento específico. Las actualizaciones por lotes a través de un proceso de extracción, transformación y carga (ETL o ELT) se utilizan normalmente para lagos de datos, almacenamiento de datos y análisis.

Administración de macrodatos

Los macrodatos son los grandes volúmenes de datos que una organización recopila a gran velocidad durante un corto periodo de tiempo. Las fuentes de noticias en vídeo de las redes sociales y las secuencias de datos de sensores inteligentes son ejemplos de macrodatos. Tanto la escala como la complejidad de las operaciones crean desafíos en la administración de macrodatos. Por instancia, un sistema de macrodatos almacena datos como:

• Datos estructurados que se representan bien en formato tabular
• Datos no estructurados, como documentos, imágenes y vídeos
• Datos semiestructurados que combinan los dos tipos anteriores

Las herramientas de administración de macrodatos tienen que procesar y preparar los datos para el análisis. Las herramientas y técnicas necesarias para macrodatos suelen realizar las siguientes funciones: integración de datos, almacenamiento de datos y análisis de datos.

Arquitectura de datos y modelado de datos

Arquitectura de datos

La arquitectura de datos describe los activos de datos de una organización y proporciona un esquema para crear y administrar el flujo de datos. El plan de administración de datos incluye detalles técnicos, como bases de datos operativas, lagos de datos, almacenamiento de datos y servidores, que son los más adecuados para implementar la estrategia de administración de datos.

Modelado de datos

El modelado de datos es el proceso de creación de modelos de datos conceptuales y lógicos que visualizan los flujos de trabajo y las relaciones entre los diferentes tipos de datos. El modelado de datos suele comenzar representando los datos conceptualmente y, después, representándolos de nuevo en el contexto de las tecnologías elegidas. Los analistas y las partes interesadas crean varios tipos de modelos de datos durante la etapa de diseño de datos.

Gobernanza de datos

La gobernanza de datos incluye las políticas y los procedimientos que una organización implementa para administrar la seguridad, integridad y utilidad responsable de los datos. Define la estrategia de administración de datos y determina quién puede acceder a qué datos. Las políticas de gobernanza de datos también establecen la responsabilidad en la forma en que los equipos y las personas acceden a los datos. Las funciones de gobernanza de datos suelen incluir:

Cumplimiento regulatorio

Las políticas de gobernanza de datos reducen el riesgo de multas o acciones reglamentarias. Se centran en la capacitación de los empleados para que el cumplimiento de las leyes se dé en todos los niveles. Por ejemplo, una organización colabora con un equipo de desarrollo externo para mejorar sus sistemas de datos. Los gerentes de gobernanza de datos verifican que se eliminen todos los datos personales antes de pasarlos al equipo externo para usarlos con fines de prueba.

Control de acceso y seguridad

La gobernanza de datos impide el acceso no autorizado a los datos y los protege de la corrupción. Incluye todos los aspectos de protección, como los siguientes:

• Evitar el movimiento o eliminación accidental de datos.
• Protección del acceso a la red para reducir el riesgo de ataques.
• Verificar que los centros de datos físicos que almacenan datos cumplan con los requisitos de seguridad.
• Mantener los datos seguros incluso cuando los empleados acceden a ellos desde dispositivos personales.
• Autenticación de usuarios, autorización y establecimiento y aplicación de permisos de acceso a los datos.
• Garantizar que los datos almacenados cumplan con las leyes del país donde se almacenan los datos.
   

Las prácticas recomendadas en materia de administración de datos forman la base de una estrategia de datos exitosa. Las siguientes son prácticas recomendadas comunes:

Colaboración en equipo

Los usuarios empresariales y los equipos técnicos deben colaborar para garantizar que se cumplan los requisitos de datos de una organización. Todo el procesamiento y el análisis de datos deben priorizar los requisitos de inteligencia empresarial. De lo contrario, los datos recopilados se quedarán sin usar y se desperdiciarán recursos en proyectos de administración de datos mal planificados.

Automation

Una estrategia de administración de datos exitosa incorpora la automatización en la mayoría de las tareas de procesamiento y preparación de datos. Realizar tareas de transformación de datos manualmente es tedioso y también introduce errores en el sistema. Incluso un número limitado de tareas manuales, como la ejecución de trabajos por lotes semanales, puede provocar cuellos de botella en el sistema. El software de administración de datos puede admitir un escalado más rápido y eficiente.

Computación en la nube

Las empresas requieren soluciones modernas de administración de datos que les proporcionen un amplio conjunto de capacidades. Una solución en la nube puede gestionar todos los aspectos de la administración de datos a escala sin poner el rendimiento en riesgo. Por ejemplo, AWS ofrece una amplia gama de funcionalidades, como bases de datos, lagos de datos, análisis, accesibilidad de datos, gobernanza de datos y seguridad, desde una sola cuenta.