Что такое база данных в памяти?

База данных в памяти имеет ряд преимуществ, которые мы подробно рассмотрим ниже.

Задержка — это временной промежуток между запросом на доступ к данным и ответом приложения. Базы данных в памяти обеспечивают предсказуемые низкие задержки независимо от масштаба. Они обеспечивают задержку чтения в микросекундах, задержку записи в несколько миллисекунд и высокую пропускную способность.

В результате система хранения данных в памяти позволяет предприятиям принимать решения на основе данных в режиме реального времени. Можно разрабатывать приложения, обрабатывающие данные и своевременно реагирующие на изменения. Например, вычислительная обработка данных с датчиков беспилотных транспортных средств в оперативной памяти может дать желаемое время отклика для экстренного торможения — доли секунды.

Базы данных в памяти известны своей высокой пропускной способностью. Пропускная способность — это количество операций чтения (пропускная способность чтения) или записи (пропускная способность записи) за определенный период времени. Она может измеряться, например, в байтах в минуту или в транзакциях в секунду.

Можно масштабировать базы данных в памяти, чтобы удовлетворять меняющемуся спросу приложений. Масштабирование как при записи, так и при чтении возможно без ущерба для производительности. База данных остается в сети и поддерживает операции чтения и записи во время изменения размера.

Базы данных в памяти — хороший вариант для банков, телекоммуникационной отрасли, игр и мобильной рекламы. Ниже мы приводим несколько примеров использования базы данных в памяти.

Кэш — это высокоскоростной слой хранения данных, в котором хранится подмножество обычно временных данных. Основная функция кэша – ускорение процесса извлечения данных. Он избавляет от необходимости обращаться к менее скоростному базовому уровню хранения. Это означает, что будущие запросы на эти данные обрабатываются быстрее, чем это возможно при доступе к основному хранилищу данных.

Кэширование обеспечивает эффективное повторное использование ранее полученных или вычисленных данных. Носители данных в памяти хорошо подходят для более быстрого доступа к кэшированным данным. Кэширование снижает надежность по времени отклика. Время отклика увеличивается, поскольку данные извлекаются из памяти, но кэширование не защищает от потери данных в памяти. Вот почему кэширование часто используется в сочетании с надежной базой данных на диске.

Торги в режиме реального времени — покупка и продажа показов онлайн-рекламы. Обычно предложение делается, когда пользователь загружает веб-страницу за 100-120 миллисекунд, а иногда и всего за 50 миллисекунд. В течение этого периода приложения для участия в торгах в режиме реального времени запрашивают предложения от всех покупателей на рекламное место, выбирают выигрышную ставку на основе нескольких критериев, отображают предложение и собирают информацию после показа рекламы. Базы данных в памяти идеально подходят для приема, обработки и анализа данных в режиме реального времени с задержкой менее миллисекунды.

Относительная таблица лидеров в игре показывает позицию игрока по сравнению с другими игроками аналогичного ранга. Эти таблицы лидеров помогают повысить вовлеченность игроков и уберечь их от демотивации в результате сравнения с лучшими игроками. Базы данных в памяти позволяют быстро получать результаты сортировки и обновлять таблицу лидеров в режиме реального времени для игры с миллионами игроков.

Кэш в памяти использует оперативную память (RAM) для хранения данных. Технология хранит таблицы данных непосредственно в оперативной памяти, а не на внешних дисках. Специализированные структуры данных позволяют индексировать ваши записи данных. Индексы служат прямыми указателями на определенные строки и столбцы. Однако фактические физические данные сжаты и не имеют реляционного формата. Когда вы делаете запрос на доступ, база данных переходит к точному значению данных с помощью индекса. Сохраненные данные всегда доступны в формате, пригодном для непосредственного использования.

Такие факторы, как 64-разрядные вычисления, снижение цен на оперативную память и многоядерные серверы, сделали системы хранения в памяти более распространенными. Кроме того, облачные хранилища данных позволяют масштабировать ресурсы оперативной памяти по мере необходимости, делая технологию хранения в памяти более универсальной и доступной.

Традиционная база данных сохраняет все данные на внешних дисках или твердых накопителях. Для каждой операции чтения и записи требуется доступ к диску. Кэш в памяти, наоборот, не уделяет приоритетного внимания сохранению данных. Например, кэши могут лишь периодически сохранять данные на внешних носителях. Ниже мы обобщили различия между кэшами в памяти и традиционными базами данных.

Кэши в памяти обеспечивают более высокую производительность, поскольку записи не сохраняются, что устраняет дополнительное время, необходимое для сохранения данных. База данных в памяти сохраняет записи, что делает изменения данных устойчивыми. Такая надежность достигается за счет снижения производительности записи. Однако базы данных в памяти по-прежнему обеспечивают более высокую производительность, чем дисковые базы данных. С точки зрения производительности они занимают промежуточное положение между кэшем в памяти и дисковой базой данных.

Поскольку все данные хранятся и управляются исключительно в памяти, кэши в памяти могут потерять данные в случае сбоя процесса или сервера. Для повышения надежности кэш в памяти может периодически сохранять данные в дисковых базах данных. Ниже мы подробнее рассмотрим некоторые механизмы повышения надежности.

Файлы снимков состояния записывают состояние базы данных в определенный момент времени. Кэш в памяти периодически или во время контролируемого отключения генерирует снимки состояния. Хотя создание снимков состояния в некоторой степени повышает надежность, между периодами снимков состояния все же может произойти потеря данных.

Изменения базы данных записываются во внешний файл журнала транзакций. Ведение журнала не зависит от чтения/записи данных и не влияет на производительность. Файл журнала облегчает автоматическое восстановление кэша в памяти.

Некоторые кэши в памяти используют резервируемость для обеспечения высокой доступности. Они хранят несколько копий одних и тех же данных в разных модулях памяти. Сбой модуля приводит к автоматическому переключению на дублирующую резервную копию. Это снижает риск потери данных при использовании кэша.

AWS предоставляет несколько различных полностью управляемых сервисов кэша и баз данных в памяти, которые могут подойти именно вам.

Amazon MemoryDB – это совместимый с Redis надежный сервис базы данных в памяти, который обеспечивает сверхбыструю производительность. Сервис совместим с Redis OSS и позволяет клиентам быстро создавать приложения, используя те же гибкие и удобные структуры данных, API и команды Redis OSS, которые они уже используют. MemoryDB также надежно хранит данные в нескольких зонах доступности (AZ), используя журнал транзакций Multi-AZ, чтобы обеспечить быстрое восстановление благодаря отказоустойчивости, восстановлению базы данных и перезапуску узла.

Amazon ElastiCache – это очень быстрый сервис кэша в памяти, который обеспечивает задержки в доли миллисекунды приложениям, работающим в режиме реального времени в масштабе глобальной сети. Он совместим с Redis OSS и Memcached. Разработчики могут использовать ElastiCache в качестве кэша в памяти или в случаях, не требующих высокой надежности данных. Конфигурация кластера ElastiCache позволяет клиентам запускать рабочие нагрузки с объемом оперативной памяти до 6,1 ТБ в одном кластере. ElastiCache предоставляет возможность добавлять и удалять сегменты из работающего кластера. Это позволяет динамически масштабировать рабочие нагрузки кластера ElastiCache, чтобы адаптироваться к изменениям спроса.

Начните работу с кэшем или базами данных в памяти на AWS, создав бесплатный аккаунт уже сегодня.