Системы управления базами данных

Система управления базами данных (СУБД) — совокупность программных и лингвистических средств общего или специального назначения, обеспечивающих управление созданием и использованием баз данных.

Основные функции СУБД

• управление данными во внешней памяти (на дисках);
• управление данными в оперативной памяти с использованием дискового кэша;
• журнализация изменений, резервное копирование и восстановление базы данных после сбоев;
• поддержка языков БД (язык определения данных, язык манипулирования данными).

Обычно современная СУБД содержит следующие компоненты:

• ядро, которое отвечает за управление данными во внешней и оперативной памяти и журнализацию,
• процессор языка базы данных, обеспечивающий оптимизацию запросов на извлечение и изменение данных и создание, как правило, машинно-независимого исполняемого внутреннего кода,
• подсистему поддержки времени исполнения, которая интерпретирует программы манипуляции данными, создающие пользовательский интерфейс с СУБД
• а также сервисные программы (внешние утилиты), обеспечивающие ряд дополнительных возможностей по обслуживанию информационной системы.

Классификации СУБД

По модели данных

Иерархические

Используется представление базы данных в виде древовидной (иерархической) структуры, состоящей из объектов (данных) различных уровней.

Между объектами существуют связи, каждый объект может включать в себя несколько объектов более низкого уровня. Такие объекты находятся в отношении предка (объект более близкий к корню) к потомку (объект более низкого уровня), при этом возможна ситуация, когда объект-предок не имеет потомков или имеет их несколько, тогда как у объекта-потомка обязательно только один предок. Объекты, имеющие общего предка, называются близнецами (в программировании применительно к структуре данных дерево устоялось название братья).

Иерархической базой данных является файловая система, состоящая из корневого каталога, в котором имеется иерархия подкаталогов и файлов.

Примеры: Caché, Google App Engine Datastore API.

Сетевые

Сетевые базы данных подобны иерархическим, за исключением того, что в них имеются указатели в обоих направлениях, которые соединяют родственную информацию.

Реляционные

Практически все разработчики современных приложений, предусматривающих связь с системами баз данных, ориентируются на реляционные СУБД. По оценке Gartner в 2013 году рынок реляционных СУБД составлял 26 млрд долларов с годовым приростом около 9%, а к 2018 году рынок реляционных СУБД достигнет 40 млрд долларов. В настоящее время абсолютными лидерами рынка СУБД являются компании Oracle, IBM и Microsoft, с общей совокупной долей рынка около 90%, поставляя такие системы как Oracle Database, IBM DB2 и Microsoft SQL Server.

Объектно-ориентированные

Управляют базами данных, в которых данные моделируются в виде объектов, их атрибутов, методов и классов.

Этот вид СУБД позволяет работать с объектами баз данных так же, как с объектами в программировании в объектно-ориентированных языках программирования. ООСУБД расширяет языки программирования, прозрачно вводя долговременные данные, управление параллелизмом, восстановление данных, ассоциированные запросы и другие возможности.

Объектно-реляционные

Этот тип СУБД позволяет через расширенные структуры баз данных и язык запросов использовать возможности объектно-ориентированного подхода: бъекты, классы и наследование.

Зачастую все те СУБД, которые называются реляционными, являются, по факту, объектно-реляционными.

В данном курсе мы будем, в первую очередь, гооврить об этом виде СУБД.

Примеры: PostgreSQL, DB2, Oracle, Microsoft SQL Server.

По степени распределённости

• Локальные СУБД (все части локальной СУБД размещаются на одном компьютере)
• Распределённые СУБД (части СУБД могут размещаться на двух и более компьютерах).

По способу доступа к БД

Файл-серверные

В файл-серверных СУБД файлы данных располагаются централизованно на файл-сервере. СУБД располагается на каждом клиентском компьютере (рабочей станции). Доступ СУБД к данным осуществляется через локальную сеть. Синхронизация чтений и обновлений осуществляется посредством файловых блокировок. Преимуществом этой архитектуры является низкая нагрузка на процессор файлового сервера. Недостатки: потенциально высокая загрузка локальной сети; затруднённость или невозможность централизованного управления; затруднённость или невозможность обеспечения таких важных характеристик как высокая надёжность, высокая доступность и высокая безопасность. Применяются чаще всего в локальных приложениях, которые используют функции управления БД; в системах с низкой интенсивностью обработки данных и низкими пиковыми нагрузками на БД.

На данный момент файл-серверная технология считается устаревшей, а её использование в крупных информационных системах — недостатком.

Примеры: Microsoft Access, Paradox, dBase, FoxPro, Visual FoxPro.

Клиент-серверные

Клиент-серверная СУБД располагается на сервере вместе с БД и осуществляет доступ к БД непосредственно, в монопольном режиме. Все клиентские запросы на обработку данных обрабатываются клиент-серверной СУБД централизованно. Недостаток клиент-серверных СУБД состоит в повышенных требованиях к серверу. Достоинства: потенциально более низкая загрузка локальной сети; удобство централизованного управления; удобство обеспечения таких важных характеристик как высокая надёжность, высокая доступность и высокая безопасность.

Примеры: Oracle, Firebird, Interbase, IBM DB2, Informix, MS SQL Server, Sybase Adaptive Server Enterprise, PostgreSQL, MySQL, Caché, ЛИНТЕР.

Встраиваемые

Встраиваемая СУБД — СУБД, которая может поставляться как составная часть некоторого программного продукта, не требуя процедуры самостоятельной установки. Встраиваемая СУБД предназначена для локального хранения данных своего приложения и не рассчитана на коллективное использование в сети. Физически встраиваемая СУБД чаще всего реализована в виде подключаемой библиотеки. Доступ к данным со стороны приложения может происходить через SQL либо через специальные программные интерфейсы (API).

Примеры: OpenEdge, SQLite, BerkeleyDB, Firebird Embedded, Microsoft SQL Server Compact, ЛИНТЕР.

Стратегии работы с внешней памятью

• СУБД с непосредственной записью — это СУБД, в которых все измененные блоки данных незамедлительно записываются во внешнюю память при поступлении сигнала подтверждения любой транзакции. Такая стратегия используется только при высокой эффективности внешней памяти.
• СУБД с отложенной записью — это СУБД, в которых изменения аккумулируются в буферах внешней памяти до наступления любого из следующих событий:
  • контрольной точки;
  • конец пространства во внешней памяти, отведенное под журнал. СУБД выполняет контрольную точку и начинает писать журнал сначала, затирая предыдущую информацию;
  • останов. СУБД ждёт, когда всё содержимое всех буферов внешней памяти будет перенесено во внешнюю память, после чего делает отметки, что останов базы данных выполнен корректно;
  • при нехватке оперативной памяти для буферов внешней памяти.

Такая стратегия позволяет избежать частого обмена с внешней памятью и значительно увеличить эффективность работы СУБД.

Управление данными
Data management

Управление данными это процесс, связанный с накоплением, организацией, запоминанием, обновлением, хранением данных и поиском информации.

Содержание

Управление данными (англ. data management) — процесс, связанный с накоплением, организацией, запоминанием, обновлением, хранением данных и поиском информации.

К управлению данными относятся

• Анализ данных
• Моделирование данных
• Управление базами данных
• Работа с хранилищами данных
• Извлечение, преобразование и загрузка данных
• Добыча данных
• Обеспечение качества данных
• Защита данных
• Шифрование данных
• Управление метаданными (репозиториями данных)
• Архитектура данных

Отдельная статья TAdviser посвящена самому понятию «Данные».

Разделение функций между Data Governance и Data Management

Подобно тому, как аудитор контролирует финансовые процессы, но фактически не осуществляет финансовое управление, руководство данными обеспечивает надлежащее управление данными без непосредственного выполнения управления данными.

Управление данными представляет собой неотъемлемое разделение обязанностей между надзором и исполнением

2020: Aruba: организациям Европы, Ближнего Востока и Африки недостаточно инструментов для работы с данными

21 мая 2020 года стало известно о том, что согласно отчету Aruba, компании Hewlett Packard Enterprise, организации сталкиваются с проблемой получения выгоды из данных, так как системы перезагружены из-за растущего количества запросов.

Как сообщалось, отчет, основанный на результатах опроса более 170 лидеров мнений в области ИТ и сетевых инженеров в экосистеме Aruba региона EMEA, выявил, что большинство респондентов разочарованы недостатками в управлении данными. Согласно опросу, 61% респондентов «не полностью контролируют данные своей компании», 51% — «не могут рассматривать данные целостно», а 52% — «не могут извлечь полезную информацию из полученных данных».

Отчет Data to Decisions: A Rulebook to Unlock the Power of your Data описывает шесть шагов, которые помогут организациям лучше управлять своими данными. Ключевые темы отчета:

• Респонденты подтверждают, что потенциал данных позволяет использовать их для более эффективной и ориентированной на клиента работы. Самую большую выгоду от управления данными они связывают с возможностью предоставлять клиентам более качественные услуги (60%), повышением эффективности (38%) и внедрением производственных инноваций (35%).

Однако, респонденты также указали на недостатки существующих систем и инфраструктуры, которые могут ограничить эти возможности. На вопрос о том, как бы они хотели использовать данные, которые не могут задействовать на май 2020 года, респонденты ответили, что в их приоритете — повышать уровень безопасности (63%), внедрять больше аналитики в режиме реального времени (55%), принимать более обоснованные решения на основе данных (55%), а также эффективнее использовать данные для выполнения основных задач бизнеса (45%).

• На май 2020 года еще одна серьезная причина для беспокойства – нехватка соответствующих навыков и знаний среди сотрудников компаний. Более трети (36%) опрошенных заявили, что «отсутствие навыков для управления стремительно растущими данными» является для них одной из основных проблем. В то же время, самый большой страх среди респондентов (28%) заключается в том, что «сотрудники не согласятся с политиками управления данными».

Для того, чтобы повысить квалификацию и расширить базу знаний в работе с данными, организациям следует сосредоточиться на повышении квалификации сотрудников, обладающих глубокими отраслевыми знаниями, нанять директора по обработке и анализу данных (Chief Data Officer), а также создать группы по управлению данными, в состав которых будут входить специалисты, принимающие решения по всем ключевым бизнес-задачам, что обеспечит отражение их потребностей в стратегии по работе и управлению данными.

Компании уже располагают большей частью самых ценных знаний. Подготовка сотрудников, позволяющая им общаться с экспертами в области информационных технологий и использовать API, зачастую гораздо ценнее, чем обращение к кандидатам технических наук с просьбой быстро разобраться в отрасли.

• Помимо того, что на май 2020 года безопасность данных находится на первом месте в списке приоритетов ИT-специалистов, она же вызывает у них самые большие страхи. Две из трех самых больших проблем касались безопасности или соответствия требованиям и политикам компании: 21% респондентов опасаются хакерских атак, а 12% — что их организация будет оштрафована в соответствии с Европейским регламентом защиты персональных данных (GDPR).

В докладе содержится ряд рекомендаций по повышению уровня безопасности, такие как: классифицировать данные в соответствии с различными уровнями риска, разработать план действий в случае утечки данных, а также обучать сотрудников на основе практических сценариев для повышения осведомленности об угрозах.

Сотрудники – последний рубеж безопасности. Вы можете использовать лучшие межсетевые экраны и VPN-решения. Но если кто-либо сохраняет файл с паролями на своем почтовом ящике Gmail, а его взламывают, то все выходит из под контроля.

Каждая организация понимает, какие возможности предоставляют данные для внедрения инноваций, развития продукции и улучшения качества обслуживания клиентов. По мере того, как данные и решения перемещаются на границу сети, компании должны быть уверены в том, что их системы и процессы справятся с этим. Как утверждается в данном исследовании, организациям необходимо повышать квалификацию и обучать своих сотрудников, создавать эффективные структуры управления и уделять особое внимание безопасности данных. В условиях пандемии эти рекомендации еще более актуальны, так как работа дома становится нормой, а домашний Wi-Fi не отвечает ключевым требованиям безопасности, в то время как число целевых кибератак растет.

2019: Ключевые вопросы и ошибки в управлении данными

Актуальность темы управления данными (Data Governance) растет с каждым годом. Действительно, необходимость организации процессов, направленных на повышение эффективности сбора, обработки, хранения и использования данных как ценного актива, уже очевидна практически всем компаниям. Много сказано о том, какие преимущества приносят компании правильно выстроенные процессы управления данными, и многие организации уже начали внедрение этой инициативы. При этом организации часто допускают похожие ошибки, которые негативно влияют на темпы внедрения и эффективность создаваемых процессов управления данными. О том, какие это ошибки, как их избежать и на какие вопросы организация должна найти ответы в процессе внедрения Data Governance, [http://www.tadviser.ru/a/498875 в материале, подготовленном для TAdviser, рассказывает Светлана Бова, Chief Data Officer банка ВТБ].

2016: Эффективное управление данными увеличивает продажи в 3 раза

Согласно исследованиям Experian, в которых приняли участие 1400 организаций из восьми стран мира, компании все больше осознают экономический потенциал информации: по мнению 79% опрошенных, к концу десятилетия данные о клиенте будут определять большую часть решений о продаже. Однако при этом почти все опрошенные — 90% — по-прежнему считают, что им недостает конструктивного подхода к эффективному управлению данными.

В среднем, почти 25% данных по клиентам содержать неточности. Среди наиболее распространенных ошибок:

• неполные или отсутствующие данные
• устаревшие сведения
• дупликация данных
• противоречивая информация

Согласно исследованию Experian, компании полагают, что могли бы увеличить продажи почти на 29% при наличии точных клиентских данных.

Согласно оценкам, в 2012 г. каждый день создавался впечатляющий объем данных –2,5 квинтильона байтов – и это в то время, когда мобильная связь, согласно оценкам, охватила 61% населения земного шара. Если исходить из того, что к 2017 г. эта цифра возрастет до 70%, становится очевидно, что объем данных в ближайшие годы будет расти экспоненциально.

Такой «взрывной» рост данных является вызовом для компаний. Как отметили 84% респондентов, их организация в настоящее время считает данные неотъемлемым компонентом бизнес-стратегии. В связи с этим 82% компаний в ближайшие пять лет планируют принять на работу специалистов по данным. Как установило предыдущее исследование Experian, сегодня растет значимость директора по данным (CDO), который развивает работу с данными в рамках стратегической деятельности компании, обеспечивая улучшение финансовых результатов.

Управление данными также усложняется из-за растущих объемов информации и изменений в использовании каналов связи. По словам 39% респондентов (против 10% в прошлом году), их организация имеет 50 или более баз контактов. Кроме того, использование социальных сетей за последние 12 месяцев выросло на 81%.

75% опрошенных в этом году в ходе исследования Experian назвали электронную почту каналом связи, наиболее широко используемым для целей маркетинга. При этом 73% этой группы могут привести пример негативного влияния неточных данных на бизнес. Плохое качество данных об электронных адресах влечет за собой не только снижение выручки, но и такие бизнес-проблемы, как плохое обслуживание клиентов, невозможность осуществления коммуникации с абонентами и бесполезные расходы.

97% организаций стремятся видеть клиента в целом, поэтому на передний план выходит эффективное использование данных, позволяющих рассматривать каждого клиента как отдельную личность, со своими индивидуальными особенностями, и разрабатывать коммерческие предложения с учетом особых потребностей каждого такого клиента.

В качестве преимуществ, связанных с таким целостным пониманием клиента, были названы рост лояльности, увеличение объема продаж и возможность стратегического принятия решений. Поэтому коммерческие компании признают важность точных знаний о клиентах и их влияние на финансовые результаты организации.

2013: Специфика финансовых организаций

В декабре 2013 года Qlik (QlikTech) обнародовала результаты исследования, которое показало: несмотря на то, что после мирового финансового кризиса управление данными приобрело особое значение, более чем две трети (63%) руководителей финансовых компаний не считают необходимым рассматривать этот вопрос на уровне высшего руководства.

Согласно исследованию, проведенному для QlikTech аналитической компанией Lepus, треть (31%) финансовых учреждений не распределили роли и зоны ответственности в области управления данными, несмотря на то, что многие факторы в бизнесе свидетельствуют о необходимости управления данными в финансовой сфере.

Помимо беспрецедентного увеличения объема ежедневно обрабатываемых данных, в действие введено множество нормативно-правовых актов, связанных с управлением данными – таких как закон Сарбейнза-Оксли, Правило 17а-4 Комиссии по ценным бумагам США, стандарты Базель III и Solvency II, а также принципы Базельского комитета по банковскому надзору BCBS 239 (агрегирование данных о рисках). В ответ на это финансовые учреждения должны были сформировать общие подходы в вопросах архитектуры и моделирования данных; решение этой задачи и обеспечивает управление данными.

Исследование было направлено на изучение программ управления данными в банках Европы, Северной Америки и стран Азиатско-Тихоокеанского региона. Оно показало необходимость рассматривать данные вопросы и принимать за них ответственность на уровне высшего руководства, чтобы обеспечить соответствие инфраструктур управления данными целям бизнеса.

Это тем более важно с учетом того, что исследование выявило множество бизнес-факторов, способствующих реализации программ по управлению данными, а также ряд важнейших функций в структуре управления. Существование такого бизнес-фактора, как необходимость обеспечивать нормативно-правовое соответствие и снижение правовых рисков, признали 94% руководителей банков. Следующими по значимости были названы обеспечение согласованности данных в масштабах всего учреждения (88%) и повышение открытости и прозрачности финансовых данных и информации (63%).

Однако основная функция инфраструктуры управления данными для разных банков-участников исследования в значительной степени различается. 44% респондентов одной из двух главных функций назвали снижение рисков, а другой – реализацию выгоды для бизнеса, однако лишь 13% считают первичной функцией инфраструктуры управления данными обеспечение нормативного соответствия.

Пол Ван Сиклен (Paul Van Siclen), директор по развитию рынка финансовых услуг компании QlikTech, отметил, что после мирового финансового кризиса управление данными стало еще более важной задачей, поскольку финансовые учреждения были вынуждены проводить всесторонний анализ своих стратегий по работе с данными. «Но в отсутствие согласованных целей и без рассмотрения этих вопросов на уровне высшего руководства банкам вряд ли удастся достичь желаемого результата», — полагает он.