Características de Amazon Neptune

Amazon Neptune Database sin servidor es una opción de despliegue bajo demanda que ajusta automáticamente la capacidad de la base de datos en función de las necesidades de una aplicación. Neptune Database sin servidor puede escalar las cargas de trabajo de bases de datos de grafos de forma instantánea a cientos de miles de consultas. Neptune sin servidor ajusta la capacidad para proporcionar la cantidad justa de recursos de base de datos que la aplicación necesita, y usted solo paga por la capacidad que consume, con lo que se ahorra hasta un 90 % en costos de base de datos en comparación con la capacidad máxima.

Neptune es una base de datos de grafos de alto rendimiento. Neptune almacena y examina los datos de gráficos de manera eficiente, y usa una arquitectura optimizada en memoria y de escala ajustable que permite la evaluación rápida de consultas en grafos de gran tamaño. Con Neptune Database, puede usar Gremlin, openCypher o SPARQL para ejecutar consultas potentes que son fáciles de escribir y funcionan bien. Con Neptune Analytics, puede usar openCypher.

Con unos pocos pasos en la consola de administración de AWS, puede aumentar o reducir los recursos informáticos y de memoria que impulsan su clúster de producción. Con Neptune Database, puede escalar creando nuevas instancias de réplica del tamaño deseado o eliminando instancias. Las operaciones de escalamiento de computación normalmente se llevan a cabo en cuestión de minutos.

Neptune Database usa una arquitectura de almacenamiento distribuido y compartido que crecerá automáticamente a medida que aumenten las necesidades de su almacenamiento de datos. Los datos de Neptune se almacenan en un volumen de clúster que tiene alta disponibilidad multi-AZ. Cuando se crea un clúster de base de datos de Neptune, se asigna un único segmento de 10 GiB. A medida que el volumen de datos aumenta y supera el almacenamiento asignado actualmente, Neptune amplía automáticamente el volumen del clúster al agregar nuevos segmentos. El volumen de un clúster de Neptune puede crecer hasta un tamaño máximo de 128 TiB en las regiones de AWS compatibles, excepto en China y GovCloud. No es necesario que aprovisione un almacenamiento excesivo para la base de datos para afrontar el crecimiento futuro.

Con Neptune Database, puede aumentar el rendimiento de lectura para admitir solicitudes de aplicaciones de gran volumen mediante la creación de hasta 15 réplicas de lectura de bases de datos. Las réplicas de Neptune comparten el mismo almacenamiento subyacente que la instancia de origen, lo que reduce los costos y evita la necesidad de escribir en los nodos de réplica. Esto libera más capacidad de procesamiento para atender las solicitudes de lectura y reduce el tiempo de retraso de la réplica, que suele limitarse a milisegundos de un solo dígito. Neptune también suministra un punto de conexión único para las consultas de lectura a fin de que la aplicación pueda conectarse sin tener que hacer un seguimiento de las réplicas a medida que se agregan y se eliminan.

La salud de su base de datos de Neptune y su instancia de EC2 subyacente se supervisa continuamente. Si se produce un error en la instancia que respalda a la base de datos, se reinicia la base de datos, así como los procesos asociados de forma automática. La recuperación de Neptune no necesita reiniciar los registros de rehacer de la base de datos, que suele llevar mucho tiempo, por lo que generalmente los plazos de reinicio de la instancia son de 30 segundos o menos. También aísla la caché del búfer de la base de datos de procesos de la base de datos, lo que permite que la caché resista a un reinicio de la base de datos.

En caso de error de instancia, Neptune automatiza la conmutación por error a una de hasta 15 réplicas de Neptune que haya creado en cualquiera de las tres zonas de disponibilidad. Si aún no se aprovisiona ninguna réplica de Neptune y se produce un error, Neptune intentará crear automáticamente una nueva instancia de base de datos.

En el caso de Neptune Database, cada porción de 10 GiB del volumen de la base de datos es duradera en tres zonas de disponibilidad. Neptune Database utiliza un almacenamiento tolerante a errores que gestiona de forma transparente la pérdida de hasta dos copias de datos sin afectar a la disponibilidad de escritura de la base de datos y hasta tres copias sin afectar a la disponibilidad de lectura. El almacenamiento de Neptune Database también se repara a sí mismo: los bloques de datos y los discos se analizan continuamente en busca de errores y se sustituyen automáticamente.

La capacidad de respaldo de Neptune Database permite la recuperación a un momento dado de la instancia. Esto le permite restaurar la base de datos en cualquier momento durante el período de retención, hasta los últimos 5 minutos. El periodo de retención de la copia de seguridad automática puede configurarse hasta 35 días. Las copias de seguridad automáticas se almacenan en Amazon S3, que está diseñado para ofrecer una durabilidad del 99,999999999 %. Las copias de seguridad de Neptune son automáticas, incrementales y continuas y no afectan al rendimiento de la base de datos.

Las instantáneas de bases de datos son copias de seguridad de la instancia almacenada en Amazon S3 que inicia el usuario, las que se conservarán hasta que se eliminen explícitamente. Utilizan las instantáneas incrementales automatizadas para reducir el tiempo y el almacenamiento necesarios. Puede crear una instancia nueva a partir de una instantánea de la base de datos cuando lo desee.

Amazon Neptune Global Database está diseñado para aplicaciones distribuidas globalmente, lo que permite que una sola base de datos de Neptune abarque múltiples regiones. Replica los datos de grafos con poco impacto en el rendimiento de la base de datos, permite lecturas locales rápidas con baja latencia en cada región y proporciona la recuperación de desastres en caso de interrupciones en toda la región.

Neptune Database se ejecuta en Amazon Virtual Private Cloud (Amazon VPC), lo que le permite aislar la base de datos en su propia red virtual y conectarse a la infraestructura de TI local en las instalaciones con VPN con IPsec cifradas estándar de la industria. Además, al usar la configuración de Neptune VPC, puede configurar los ajustes del firewall y controlar el acceso de red a las instancias de la base de datos.

Amazon Neptune está integrado con AWS Identity and Access Management (IAM) y le permite controlar las acciones que los usuarios y grupos de IAM pueden realizar en recursos específicos de Neptune, como las instancias de bases de datos, las instantáneas de bases de datos, los grupos de parámetros de bases de datos, las suscripciones a eventos de bases de datos y los grupos de opciones de bases de datos. Además, puede etiquetar los recursos de Neptune y controlar las acciones que los usuarios y grupos de IAM adoptarán en grupos de recursos que tengan la misma etiqueta (y valor de etiqueta). Por ejemplo, puede configurar las reglas de IAM para garantizar que los desarrolladores puedan modificar las instancias de la base de datos de “Desarrollo”, pero que solo los administradores de la base de datos puedan modificar y eliminar las instancias de la base de datos de “Producción”.

Neptune proporciona un acceso detallado a los usuarios que recuperan las API del plano de datos de Neptune con IAM para realizar acciones de datos gráficos, como leer, escribir y eliminar datos del gráfico, y acciones no relacionadas con datos gráficos, como iniciar y supervisar las actividades de aprendizaje automático de Neptune y comprobar el estado de las actividades del plano de datos en curso. Por ejemplo, cree una política con acceso de “solo lectura” para los analistas de datos que no necesitan manipular los datos de grafos, una política con acceso de “lectura y escritura” para los desarrolladores que usan los grafos para sus aplicaciones y una política para los científicos de datos que necesitan el acceso a los comandos de Amazon Neptune ML.

Neptune admite el cifrado en tránsito con TLS versión 1.2. Amazon Neptune le permite cifrar las bases de datos mediante las claves que crea y controla a través de AWS Key Management Service (AWS KMS). En una instancia de base de datos que se ejecuta con el cifrado de Neptune, los datos almacenados en reposo en el almacenamiento subyacente están cifrados, al igual que las copias de seguridad, las instantáneas y las réplicas automatizadas que se encuentran en el mismo clúster.

Amazon Neptune le permite registrar datos de bases de datos con impacto mínimo en el rendimiento de la base de datos. Luego, se pueden analizar los registros con fines de administración de la base de datos, seguridad, gobernanza, conformidad normativa, entre otros. También es posible supervisar la actividad mediante el envío de registros de auditoría a Amazon CloudWatch.

Puede comenzar a utilizar Neptune lanzando una nueva instancia de base de datos de Neptune o un gráfico de Neptune Analytics mediante la consola de administración de AWS. Las instancias de base de datos de Neptune vienen configuradas previamente con parámetros y ajustes adecuados para la clase de instancia de base de datos que ha seleccionado. Puede lanzar una instancia de base de datos y conectar su aplicación en cuestión de minutos sin configuraciones adicionales. Los grupos de parámetros de base de datos ofrecen un control minucioso y un ajuste pormenorizado de la base de datos.

Neptune facilita el funcionamiento de una base de datos de grafos de alto rendimiento. Con Neptune, no necesita crear índices personalizados de los datos de los gráficos. Neptune impone límites de uso de memoria y tiempo de espera para reducir el impacto de las consultas que consumen demasiados recursos.

Neptune proporciona métricas de Amazon CloudWatch para sus instancias de base de datos. Puede usar la consola de administración de AWS para ver más de 20 métricas operativas clave de las instancias de base de datos, incluidos el uso de la capacidad de cómputo, de memoria y de almacenamiento, el rendimiento de las consultas y las conexiones activas.

Neptune mantendrá su base de datos actualizada con los parches más recientes. Puede controlar si se aplican parches a su instancia y cuándo, a través de la gestión de versiones del motor de base de datos.

Neptune puede notificarle por correo electrónico o SMS los eventos importantes de la base de datos, como la conmutación por error automática. Puede usar la consola de administración de AWS para suscribirse a diferentes eventos de la base de datos asociados con sus bases de datos de Neptune.

Neptune admite operaciones de clonación rápidas y eficaces, en las que se pueden clonar clústeres enteros de bases de datos de varios terabytes en cuestión de minutos. La clonación es útil para varios fines, como desarrollo de aplicaciones, pruebas, actualizaciones de bases de datos y ejecución de consultas analíticas. La disponibilidad inmediata de datos puede agilizar de manera significativa el desarrollo de software y los proyectos de actualización, además de lograr análisis más precisos.

Puede clonar una base de datos de Neptune con solo unos pasos en la consola de administración de AWS, sin afectar al entorno de producción. El clon se distribuye y replica en tres zonas de disponibilidad.

Amazon Neptune ML funciona con SageMaker, que utiliza GNN, una técnica de ML diseñada específicamente para grafos, para realizar predicciones rápidas y más precisas con datos grafos. Con Neptune ML, puede mejorar la precisión de la mayoría de las predicciones de grafos en más de un 50 % en comparación con las predicciones hechas con métodos no grafos.

Hacer predicciones precisas en grafos con millones de relaciones puede resultar difícil y requerir mucho tiempo. Los métodos de ML existentes, como XGBoost, no pueden funcionar de manera eficaz en grafos porque están diseñados para datos tabulares. Como resultado, el uso de estos métodos en grafos puede llevar tiempo, requerir habilidades especializadas por parte de los desarrolladores y producir predicciones no del todo óptimas.

La búsqueda vectorial facilita la creación de experiencias de búsqueda aumentada de machine learning y aplicaciones de inteligencia artificial generativa (IA generativa). Debe utilizar la búsqueda vectorial si desea crear aplicaciones de IA generativas que combinen datos en un dominio de aplicación y búsquedas de similitud en incrustaciones vectoriales. La búsqueda vectorial en lugar de datos gráficos le brinda un costo total de propiedad más bajo en general y una sobrecarga de administración más simple, ya que no necesita administrar almacenes de datos separados, crear canalizaciones ni preocuparse por mantener los almacenes de datos sincronizados.

Los clientes que crean aplicaciones de IA generativa pueden utilizar la búsqueda vectorial para aumentar sus modelos de lenguaje de gran tamaño (LLM) mediante la integración de consultas de grafos para contextos específicos de un dominio con los resultados de la búsqueda de similitud entre vecinos más cercanos y de baja latencia en incrustaciones importadas de LLM alojados en Amazon Bedrock, GNN en GraphStorm u otras fuentes. Neptune está integrado con LangChain, un marco de Python de código abierto que facilita el desarrollo de aplicaciones de IA generativas mediante LLM.

Los grafos de propiedades son populares porque resultan prácticos para los desarrolladores que habitualmente usan modelos relacionales. El lenguaje de recorrido Gremlin ofrece una manera de recorrer los gráficos de propiedades con rapidez. Amazon Neptune admite el modelo de gráficos de propiedades que utiliza el lenguaje de recorrido Gremlin de código abierto de Apache TinkerPop y proporciona un servidor Gremlin Websockets que admite la versión 3.3 de TinkerPop. Con Neptune, puede crear recorridos de Gremlin ágiles en gráficos de propiedades con rapidez. Las aplicaciones existentes escritas en Gremlin pueden usar Neptune con facilidad modificando la configuración del servicio de Gremlin para que apunte a una instancia de Neptune.

El marco de descripción de recursos (RDF) es popular porque ofrece la flexibilidad para adaptar dominios de información complejos. Hay varios conjuntos de datos públicos o gratuitos disponibles en RDF, como Wikidata y PubChem, una base de datos de moléculas químicas. Amazon Neptune admite los estándares de la Web semántica de W3C de RDF 1.1 y SPARQL 1.1 (consulta y actualización), y ofrece un punto de conexión REST de HTTP que implementa el protocolo SPARQL 1.1. Con Neptune, puede usar el punto de conexión de SPARQL para aplicaciones de grafos nuevas y existentes con facilidad.

Neptune es compatible con la creación de aplicaciones de grafos mediante openCypher, uno de los lenguajes de consulta más populares actualmente para desarrolladores que trabajan con bases de datos de grafos. A los desarrolladores, analistas de negocios y científicos de datos les gusta la sintaxis de openCypher inspirada en SQL porque proporciona una estructura familiar para redactar consultas para aplicaciones de grafos. Para Neptune Database, los lenguajes de consulta openCypher y Gremlin se pueden usar juntos sobre los mismos datos de grafos de propiedades. La compatibilidad con openCypher admite el protocolo Bolt para continuar con la ejecución de aplicaciones que usan el protocolo Bolt para conectarse a Neptune.

Neptune admite la carga masiva rápida y paralela de los datos de grafos de propiedad que se almacenan en S3. Puede utilizar una interfaz de REST para especificar la ubicación de los datos en S3. Utiliza un formato delimitado CSV para cargar datos a los nodos y las periferias. Consulte la documentación sobre la carga masiva de grafos de propiedades de Neptune para obtener más información.

Neptune Database admite la carga masiva rápida y paralela de datos de RDF almacenados en S3. Puede utilizar una interfaz de REST para especificar la ubicación de los datos en S3. Se admiten las serializaciones N-Triples (NT), N-Quads (NQ), RDF/XML y Turtle RDF 1.1. Consulte la documentación sobre la carga masiva de RDF de Neptune para obtener más información.

Neptune Analytics admite algoritmos para la búsqueda de rutas, la detección de comunidades (agrupación en clústeres), la identificación de datos importantes (centralidad) y la cuantificación de la similitud. Los algoritmos de búsqueda de rutas determinan de manera eficiente la ruta más corta u óptima entre dos nodos. Los algoritmos de búsqueda de rutas le permiten modelar situaciones del mundo real, como redes de carreteras o redes sociales, como nodos y periferias interconectados. Encontrar las rutas más cortas u óptimas entre varios puntos es fundamental en aplicaciones como la planificación de rutas para sistemas de GPS, la optimización de la logística e incluso para resolver problemas complejos en campos como la biología o la ingeniería.

Los algoritmos de detección de comunidades calculan grupos o clústeres de nodos significativos dentro de una red, revelando patrones y estructuras ocultos que pueden proporcionar información sobre la organización y la dinámica de sistemas complejos. Esto es valioso en campos como el análisis de redes sociales, la biología (para identificar módulos funcionales en redes de interacción proteína-proteína) e incluso para comprender el flujo de información y la propagación de influencias en varios dominios.

Los algoritmos de centralidad ayudan a identificar los nodos más influyentes o importantes de una red, proporcionando información sobre los actores clave o los puntos críticos de interacción. Esto es valioso en campos como el análisis de redes sociales, donde permite identificar a las personas influyentes, o en las redes de transporte, donde permite identificar centros cruciales para una asignación eficiente de rutas y recursos.

Los algoritmos de similitud de grafos le permiten comparar y analizar las similitudes o diferencias estructurales entre diferentes estructuras de grafos, lo que permite obtener información sobre las relaciones, los patrones y los puntos en común en diversos conjuntos de datos. Esto tiene un valor incalculable en varios campos, como la biología (para comparar estructuras moleculares), las redes sociales (para identificar comunidades similares) y los sistemas de recomendación (para sugerir elementos similares en función de las preferencias del usuario).

Neptune está dentro del alcance de más de 20 estándares internacionales de conformidad que van desde FedRAMP (Moderado y Alto) hasta SOC (1,2,3), y también es elegible para HIPAA. La lista completa de normas con las que Neptune cumple puede encontrarse en Servicios de AWS en el ámbito del programa de conformidad.

Con Neptune no hay ningún compromiso por adelantado, se paga una tarifa por hora por cada instancia que se lanza o por los recursos de la base de datos que se consumen para el uso sin servidor. Cuando termine con una instancia de base de datos de Neptune, puede eliminarla. No es necesario sobreaprovisionar almacenamiento como margen de seguridad y solo se paga por el almacenamiento que realmente se consume. Para obtener más detalles, consulte la página de precios de Neptune.