Что такое банк данных?

Компании используют несколько различных типов систем хранения данных для управления данными и аналитики. Давайте рассмотрим некоторые распространенные типы хранения данных, чтобы понять контекст, в котором компании используют банки данных.

База данных

База данных – это организованное хранилище, которое компьютерные системы используют для хранения, поиска, извлечения и анализа информации. Существуют различные типы баз данных, например реляционные базы данных. Реляционная база данных хранит информацию в таблицах, состоящих из строк и столбцов. Данные в разных таблицах связаны уникальным идентификатором, называемым ключом. Ключи – это неповторяющиеся значения в определенных столбцах.

Банк данных и база данных

Банк данных служит передовым элементом для данных отдела.  Банк данных можно использовать для извлечения и анализа информации. Тем временем база данных собирает, управляет и хранит информацию. Затем можно использовать инструменты для обработки, форматирования и передачи сохраненной информации в банк данных. 

Хранилище данных

Хранилище данных – это обширная система баз данных, в которой хранится информация для всего бизнеса. В нем необработанная информация собирается из различных источников, таких как программное обеспечение для бизнеса и каналы социальных сетей, и обрабатывается в структурированные данные, хранящиеся в табличном формате. Компании могут подключить корпоративное хранилище данных к инструментам бизнес-аналитики для принятия более разумных решений. 

Хранилище данных и банк данных

Банк данных обладает многими качествами хранилища данных. Их отличие заключается в том, что хранилище данных содержит общекорпоративные данные по различным темам. Между тем, банк данных хранит информацию, тесно связанную с конкретным предметом. Например, хранилище данных может содержать информацию для отделов маркетинга, управления персоналом, закупок и поддержки клиентов. Однако банк данных может хранить только транзакционные данные, относящиеся к одному отделу. Привлекательность создания банка данных заключается в том, что отделы, которые управляют своими банками данных, имеют полный контроль над загрузкой своих данных и управлением ими. 

Многие организации используют такие технологии, как совместное использование данных, для публикации банков данных в центральном хранилище данных.  Благодаря этому они могут стать более гибкими, распределяя права собственности и изолируя рабочие нагрузки.  Аналогичным образом, совместное использование данных позволяет банкам данных отделов использовать данные из хранилища данных или других банков данных.

Озеро данных

Озеро данных – это хранилище данных, в котором хранится необработанная и неструктурированная информация. Оно не хранит информацию в файлах и папках. Вместо этого оно хранит необработанную информацию в плоской иерархии в огромном хранилище. В озерах данных хранятся различные типы необработанной информации, включая текстовые документы, изображения, видео и аудио. 

Аналитики данных используют озера данных для прогнозного анализа неструктурированных данных. Например, в озере данных могут храниться тексты из обзоров в социальных сетях, которые компании могут использовать для анализа тональности. Аналитики данных могут использовать анализ настроений для выявления тенденций негативного мнения для компании. 

Банк данных и озеро данных

Поскольку в озерах данных хранятся необработанные данные, часть информации может дублироваться или не иметь значения для компании. Между тем банк данных хранит обработанные данные, отвечающие конкретным потребностям. Озеро данных может быть источником банка данных. Компании определяют тенденции данных, просматривая исторические данные в банках данных, но используют озера данных для глубокого анализа хранимой информации. 

OLAP

Онлайн-аналитическая обработка (OLAP) – это метод представления данных в нескольких измерениях. Например, аналитики данных используют куб OLAP для одновременного отображения доходов от продаж в зависимости от месяцев, городов и продуктов. Структуры данных OLAP обширны, поля классифицируются как факты или измерения и приводят к дублированию данных.  Это контрастирует с обычными реляционными базами данных, которые предпочитают узкие структуры и небольшое дублирование данных.

Банк данных и куб OLAP

OLAP – это особая стратегия хранения информации, которая денормализует данные в широкие таблицы. OLAP упрощает сложные представления многомерных данных. Некоторые банки данных могут использовать OLAP для структурирования своей информации, в то время как другие используют обычные нормализованные структуры. Бизнес-аналитики используют структуры OLAP для визуализации информации из банка данных. 

Хранилище рабочих данных

Оперативное хранилище данных (СОД) – это хранилище информации, которое выступает в качестве посредника между источниками данных и хранилищем данных. Аналитики данных используют ODS для предоставления отчетов о транзакционных данных в режиме, близком к реальному времени. ODS поддерживает простые запросы и предоставляет лишь ограниченный объем информации. Например, в СОД могут храниться записи о продажах только в течение последних 12 часов. 

Банк данных и ODS

Банк данных извлекает предметную информацию из хранилища данных, а ODS отправляет информацию в хранилище данных для обработки. Банки данных предоставляют историческую информацию, которую можно проанализировать, но ODS предоставляет обновленное представление о текущих операциях. Например, банк данных можно использовать для определения моделей продаж за последний квартал, но получать почасовые обновления данных о продажах из ODS. 

Банк данных превращает необработанную информацию в структурированный, значимый контент для конкретного бизнес-отдела. Для этого инженеры по обработке данных создали банк данных для получения информации либо из хранилища данных, либо непосредственно из внешних источников данных. 

При подключении к хранилищу данных банк данных извлекает подборку информации, относящейся к подразделению. Часто информация содержит обобщенные данные и исключает ненужные или подробные данные. 

ETL

Извлечение, преобразование и загрузка (ETL) – это процесс интеграции и передачи информации из различных источников данных в единую физическую базу данных. Банки данных используют ETL для извлечения информации из внешних источников, когда она не поступает из хранилища данных. Процесс включает в себя указанные ниже шаги.

• Extract: сбор необработанной информации из различных источников
• Transform: структурирование информации в единый формат
• Load: передача обработанных данных в базу данных

Инструменты ETL копируют информацию из внешних источников, таких как электронные таблицы, приложения и текстовые документы. Затем банк данных обрабатывает, упорядочивает и хранит информацию в структурированной форме. 

Аналитика

Бизнес-аналитики используют программные инструменты для извлечения, анализа и представления данных из банка. Например, информация, хранящаяся в банках данных, используется для проведения бизнес-анализа, создания информационных панелей и использования облачных приложений. 

Каждый банк данных обслуживает небольшое количество пользователей. Например, менеджер по маркетингу и старшие маркетологи имеют доступ к банку данных, поэтому создание отчетов и графиков или выполнение прогнозного анализа занимает меньше времени.

Банки данных используют эти структуры для хранения и представления информации. 

Звездная структура

Звездная структура имеет таблицу фактов в центре и ответвляется на несколько таблиц измерений. В результате получается соединение в форме звезды. Таблица фактов – это таблица данных, содержащая сводные данные, которые можно использовать в аналитических целях. В то же время таблицы измерений содержат описательную информацию в таблице фактов. Каждая таблица измерений связана с таблицей фактов с помощью внешнего ключа. Внешний ключ – это уникальный идентификатор, например идентификатор продукта или поставщика. 

Например, таблица фактов для проводок продажи содержит указанные ниже столбцы.

• Идентификатор продаж
• Идентификатор продукта
• Идентификатор поставщика
• Сумма продаж

В таблице измерений для продуктов хранится указанная ниже информация.

• Идентификатор продукта
• Название продукта
• Себестоимость продукта

Таблица аналитик поставщика содержит указанные ниже столбцы.

• Идентификатор поставщика
• Название поставщика
• Город

Преимущества

В структуре «звезда» таблица размеров денормализована, чтобы не распространяться на дополнительные таблицы. Это означает, что таблица измерений может содержать избыточные данные, но повышает скорость поиска и извлечения. Кроме того, для хранения таблиц измерений требуется меньше места.

Бизнес-аналитики могут использовать банк данных со звездообразной структурой для упрощения сложных запросов. При поиске конкретной записи о продажах система управления данными выполняет поиск в таблице фактов. Когда система банка данных находит правильную запись, она использует идентификатор продукта и идентификатор поставщика для запроса данных из соответствующих таблиц измерений. 

Денормализованная структура

Денормализованная структура хранит все связанные данные в одной таблице. Она не имеет сложных соединений между таблицами фактов и таблицами измерений. Аналитики данных используют денормализованный банк данных, потому что это повышает скорость выполнения запросов. Например, поиск записи о продажах происходит в одной денормализованной таблице указанным ниже образом.

• Идентификатор продаж
• Продукт 
• Название продукта
• Себестоимость продукта
• Название модели
• Вес 
• Размер
• Поставщик 
• Название поставщика
• Город
• Сумма продаж

Денормализованный банк данных подходит для отчетности в реальном времени благодаря подходу с одной таблицей. Однако денормализация банка данных приводит к избыточности данных. Например, одно и то же название продукта может отображаться в нескольких записях. Это создает дополнительное пространство для хранения данных и приводит к дорогостоящим затратам на внедрение.

Компаниям необходимо обрабатывать растущие объемы данных, которые максимально расширяют обычное хранилище банка данных. Банки данных, установленные на локальных серверах, трудно масштабировать. Облачная архитектура предлагает более дешевую, масштабируемую и управляемую интеграцию банков данных корпоративного уровня.

Amazon Redshift – это решение для хранения данных, которое можно использовать для внедрения банков данных в облаке. Получите полезные результаты по всем имеющимся данным, выполняя интерактивный и прогностический анализ по сложным данным огромного размера во всех корпоративных базах данных, озерах данных, хранилищах данных и тысячам наборов данных сторонних организаций. Можно с легкостью автоматически создавать, обучать и развертывать модели машинного обучения (ML). В Amazon Redshift можно создавать банки данных и использовать их для принятия более разумных решений. 

Amazon Redshift обладает некоторыми ключевыми функциями, которые делают его отличным решением для банка данных:

• При использовании Amazon Redshift Serverless все вопросы, связанные с размером и масштабом кластера, решаются за вас. 
• Благодаря встроенной функции совместного использования данных, данные в вашем банке могут обращаться к данным в хранилище данных или могут быть переданы в ваше хранилище данных.

Создайте учетную запись AWS и начните работу с банками данных уже сегодня.