A tag already exists with the provided branch name. Many Git commands accept both tag and branch names, so creating this branch may cause unexpected behavior. Are you sure you want to create this branch?
Cancel Create
lectures.db / docs / databases / dbms.rst
- Go to file T
- Go to line L
- Copy path
- Copy permalink
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Cannot retrieve contributors at this time
176 lines (129 sloc) 13 KB
- Open with Desktop
- View raw
- Copy raw contents Copy raw contents Copy raw contents
Copy raw contents
Системы управления базами данных
.. seealso:: «_
Система управления базами данных (СУБД) — совокупность программных и лингвистических средств общего или специального назначения, обеспечивающих управление созданием и использованием баз данных.
Основные функции СУБД
- управление данными во внешней памяти (на дисках);
- управление данными в оперативной памяти с использованием дискового кэша;
- журнализация изменений, резервное копирование и восстановление базы данных после сбоев;
- поддержка языков БД (язык определения данных, язык манипулирования данными).
Обычно современная СУБД содержит следующие компоненты:
Система управления базами данных | Информатика 9 класс #10 | Инфоурок
- ядро, которое отвечает за управление данными во внешней и оперативной памяти и журнализацию,
- процессор языка базы данных, обеспечивающий оптимизацию запросов на извлечение и изменение данных и создание, как правило, машинно-независимого исполняемого внутреннего кода,
- подсистему поддержки времени исполнения, которая интерпретирует программы манипуляции данными, создающие пользовательский интерфейс с СУБД
- а также сервисные программы (внешние утилиты), обеспечивающие ряд дополнительных возможностей по обслуживанию информационной системы.
По модели данных
Используется представление базы данных в виде древовидной (иерархической) структуры, состоящей из объектов (данных) различных уровней.
Между объектами существуют связи, каждый объект может включать в себя несколько объектов более низкого уровня. Такие объекты находятся в отношении предка (объект более близкий к корню) к потомку (объект более низкого уровня), при этом возможна ситуация, когда объект-предок не имеет потомков или имеет их несколько, тогда как у объекта-потомка обязательно только один предок. Объекты, имеющие общего предка, называются близнецами (в программировании применительно к структуре данных дерево устоялось название братья).
Иерархической базой данных является файловая система, состоящая из корневого каталога, в котором имеется иерархия подкаталогов и файлов.
Примеры: Caché, Google App Engine Datastore API.
Сетевые базы данных подобны иерархическим, за исключением того, что в них имеются указатели в обоих направлениях, которые соединяют родственную информацию.
Что такое базы данных? ДЛЯ НОВИЧКОВ / Про IT / Geekbrains
Практически все разработчики современных приложений, предусматривающих связь с системами баз данных, ориентируются на реляционные СУБД. По оценке Gartner в 2013 году рынок реляционных СУБД составлял 26 млрд долларов с годовым приростом около 9%, а к 2018 году рынок реляционных СУБД достигнет 40 млрд долларов. В настоящее время абсолютными лидерами рынка СУБД являются компании Oracle, IBM и Microsoft, с общей совокупной долей рынка около 90%, поставляя такие системы как Oracle Database, IBM DB2 и Microsoft SQL Server.
Управляют базами данных, в которых данные моделируются в виде объектов, их атрибутов, методов и классов.
Этот вид СУБД позволяет работать с объектами баз данных так же, как с объектами в программировании в объектно-ориентированных языках программирования. ООСУБД расширяет языки программирования, прозрачно вводя долговременные данные, управление параллелизмом, восстановление данных, ассоциированные запросы и другие возможности.
Этот тип СУБД позволяет через расширенные структуры баз данных и язык запросов использовать возможности объектно-ориентированного подхода: бъекты, классы и наследование.
Зачастую все те СУБД, которые называются реляционными, являются, по факту, объектно-реляционными.
В данном курсе мы будем, в первую очередь, гооврить об этом виде СУБД.
Примеры: PostgreSQL, DB2, Oracle, Microsoft SQL Server.
По степени распределённости
- Локальные СУБД (все части локальной СУБД размещаются на одном компьютере)
- Распределённые СУБД (части СУБД могут размещаться на двух и более компьютерах).
По способу доступа к БД
В файл-серверных СУБД файлы данных располагаются централизованно на файл-сервере. СУБД располагается на каждом клиентском компьютере (рабочей станции). Доступ СУБД к данным осуществляется через локальную сеть. Синхронизация чтений и обновлений осуществляется посредством файловых блокировок.
Преимуществом этой архитектуры является низкая нагрузка на процессор файлового сервера. Недостатки: потенциально высокая загрузка локальной сети; затруднённость или невозможность централизованного управления; затруднённость или невозможность обеспечения таких важных характеристик как высокая надёжность, высокая доступность и высокая безопасность. Применяются чаще всего в локальных приложениях, которые используют функции управления БД; в системах с низкой интенсивностью обработки данных и низкими пиковыми нагрузками на БД.
На данный момент файл-серверная технология считается устаревшей, а её использование в крупных информационных системах — недостатком.
Примеры: Microsoft Access, Paradox, dBase, FoxPro, Visual FoxPro.
Клиент-серверная СУБД располагается на сервере вместе с БД и осуществляет доступ к БД непосредственно, в монопольном режиме. Все клиентские запросы на обработку данных обрабатываются клиент-серверной СУБД централизованно. Недостаток клиент-серверных СУБД состоит в повышенных требованиях к серверу. Достоинства: потенциально более низкая загрузка локальной сети; удобство централизованного управления; удобство обеспечения таких важных характеристик как высокая надёжность, высокая доступность и высокая безопасность.
Примеры: Oracle, Firebird, Interbase, IBM DB2, Informix, MS SQL Server, Sybase Adaptive Server Enterprise, PostgreSQL, MySQL, Caché, ЛИНТЕР.
Встраиваемая СУБД — СУБД, которая может поставляться как составная часть некоторого программного продукта, не требуя процедуры самостоятельной установки. Встраиваемая СУБД предназначена для локального хранения данных своего приложения и не рассчитана на коллективное использование в сети. Физически встраиваемая СУБД чаще всего реализована в виде подключаемой библиотеки. Доступ к данным со стороны приложения может происходить через SQL либо через специальные программные интерфейсы (API).
Примеры: OpenEdge, SQLite, BerkeleyDB, Firebird Embedded, Microsoft SQL Server Compact, ЛИНТЕР.
Стратегии работы с внешней памятью
- СУБД с непосредственной записью — это СУБД, в которых все измененные блоки данных незамедлительно записываются во внешнюю память при поступлении сигнала подтверждения любой транзакции. Такая стратегия используется только при высокой эффективности внешней памяти.
- СУБД с отложенной записью — это СУБД, в которых изменения аккумулируются в буферах внешней памяти до наступления любого из следующих событий:
- контрольной точки;
- конец пространства во внешней памяти, отведенное под журнал. СУБД выполняет контрольную точку и начинает писать журнал сначала, затирая предыдущую информацию;
- останов. СУБД ждёт, когда всё содержимое всех буферов внешней памяти будет перенесено во внешнюю память, после чего делает отметки, что останов базы данных выполнен корректно;
- при нехватке оперативной памяти для буферов внешней памяти.
Такая стратегия позволяет избежать частого обмена с внешней памятью и значительно увеличить эффективность работы СУБД.
Источник: github.com
Типы и структура СУБД: три богатыря
Реляционные системы управления данных применяются уже очень давно. Их популярность выросла благодаря успешным реализациям в системах управления, которые оказались весьма удобными для работы с данными разных типов. В нашей заметке мы поговорим от «трёх богатырях» в СУБД: MySQL, SQLite и PostgreSQL. Сравним их, рассмотрим преимущества, недостатки, поддерживаемые типы данных.
Пару слов о системах управления базами данных
База данных — это логически смоделированное хранилище различных типов данных. При этом каждая БД, если она не является бессхемной, следует модели, задающей определённую структуру обработки этих самых данных. Если говорить о системах управления (СУБД), то под данными терминами понимают приложения (либо библиотеки), управляющие базами данных разных типов, размеров и форм.
Реляционные СУБД
Эти СУБД реализуют реляционную модель обработки данных, определяя все хранимые данные как набор связанных атрибутов и записей в таблице. Каждый столбец (или атрибут) содержит определённый тип информации. Каждая запись в такой базе данных обладает уникальным ключом, передаётся в строку таблицы, плюс её атрибуты отображаются в столбцах данной таблицы.
Отношения и типы данных в СУБД
Отношения определяются в качестве математических множеств, содержащих наборы атрибутов, отображающих хранящуюся информацию. Любой элемент, формирующий запись, обязан удовлетворять конкретному типу данных (дате, целому числу и т. п.).
Разные СУБД применяют различные типы данных, которые не всегда бывают взаимозаменяемыми. Такого рода ограничения — обычное дело для реляционных баз данных, о которых мы сегодня говорим. По сути, они и формируют суть отношений.
Самые популярные СУБД (РСУБД)
Наиболее популярными реляционными СУБД являются: • SQLite — мощная встраиваемая СУБД; • MySQL — наиболее часто используемая и популярная СУБД; • PostgreSQL — гибкая и более продвинутая СУБД.
Поговорим про каждую из этих СУБД подробнее.
SQLite
Компактная встраиваемая система управления базами данных SQLite представляет собой библиотеку. Будучи файловой базой данных, она имеет прекрасный набор инструментария для более простой, если сравнивать с базами данных для серверов, обработки практически любых видов данных.
Если приложение использует эту СУБД, связь производится с помощью прямых и функциональных вызовов файлов, содержащих данные, а не какого-либо интерфейса.
Таким образом повышается как скорость, так и производительность операций.
Поддерживаемые типы данных:
— NULL (значение NULL); — INTEGER (целое число со знаком); — REAL (число с плавающей запятой); — TEXT (текстовая строка); — BLOB (тип данных, хранится в том же виде, в каком был получен).
Более подробную информацию об обрабатываемых типах данных смотрите по ссылке на официальную документацию.
Преимущества СУБД SQLite:
— хранится лишь в одном файле — это облегчает перемещение; — стандартизирована и использует SQL; — прекрасно подходит не только для разработки, но и для тестирования, обладает расширенным функционалом, оставаясь простой в работе.
Минусы:
— отсутствие пользовательского управления (в продвинутых базах данных можно управлять связями в таблицах по системе привилегий, в СУБД SQLite такая функция отсутствует); — невозможность дополнительной настройки (эту СУБД вы не сделаете производительнее, «поковырявшись» в настройках).
О целесообразности использования:
— встроенные приложения (любые портируемые приложения, не предназначенные для масштабирования: игры, мобильные и однопользовательские приложения); — системы доступа к дисковой памяти (программы, часто производящие прямые операции по чтению и записи на диск, при переводе на эту СУБД повышают свою производительность); — тестирование.
В некоторых случаях эту систему управления базами данных использовать не рекомендуется: — многопользовательские приложения (для них больше подходит полнофункциональные СУБД, к примеру, MySQL); — программы записи больших объёмов данных (одно из ограничений SQLite — операции записи, то есть допускается единовременное исполнение только одной операции записи).
MySQL
Популярнейшая база данных. Разобраться в ней довольно просто, плюс полно информации в сети. Да, СУБД MySQL не пытается реализовать SQL-стандарты в полной мере, зато предлагает широчайший функционал. При этом приложения взаимодействуют с базой данных посредством процесса-демона.
Поддерживаемые типы данных:
— TINYINT: очень маленькое целое; — MEDIUMINT: целое среднего размера; — SMALLINT: маленькое целое; — INT либо INTEGER: целое нормального размера; — FLOAT: число с плавающей запятой (одинарная точность); — BIGINT: большое целое; — DOUBLE, REAL, DOUBLE PRECISION: число с плавающей запятой (2-я точность); — DECIMAL, NUMERIC: число с плавающей запятой; — DATETIME: комбинация времени и даты; — DATE: дата; — TIME: время; — TIMESTAMP: отметка времени; — YEAR: год (формат YY либо YYYY); — CHAR: фиксированная строка, дополняется пробелами справа до максимальной длины; — SET: множества; — ENUM: перечисление; — VARCHAR: строка переменной длины и прочие.
Преимущества:
— легкая и простая установка, плюс много сторонних инструментов, облегчающих работу с базами данных; — расширенная функциональность (поддерживается большая часть SQL-функционала); — много функций, обеспечивающих безопасность данных; — мощность, масштабируемость (хорошо работает с большими объёмами данных); — скорость (пренебрежение некоторыми стандартами даёт возможность этой СУБД работать производительнее).
Недостатки:
— всё, что угодно, вы всё же не сделаете, так как определённые ограничения функциональности всё же присутствуют; — ряд операций реализован не так надёжно, как в других системах управления базами данных; — застой в разработке (хотя это и open-source-продукт, работа над СУБД и скорость её развития оставляют желать лучшего).
Рекомендации по применению:
— распределённые операции (если нужен больший функционал, чем имеется в SQLite, используйте MySQL); — приложения и веб-сайты (СУБД отличается гибкостью, возможна работа с большинством веб-ресурсов); — кастомные решения (если работаете над специфичным продуктом, эта СУБД вам подойдёт за счёт расширенного спектра настроек и режимов работы).
Но если требуется полная SQL-совместимость, эта система управления базами данных не подойдёт, т. к. возможны проблемы в процессе интеграции с другими СУБД. Также проблемы могут вызывать одновременные операции чтения-записи. Если неправильно выбрать движок, может недоставать ряда функций.
PostgreSQL
Наиболее продвинутая система управления базами данных, которая ориентируется на расширяемость и полное соответствие SQL-стандартам ANSI/ISO. Отличается от других систем объектно-ориентированным функционалом и полной поддержкой концепта ACID.
Система данных основана на мощной технологии Postgres, поэтому она хорошо справляется с обработкой нескольких заданий одновременно. Поддержка конкурентности реализована посредством MVCC, что тоже обеспечивает совместимость с ACID.
Данная СУБД не настолько популярна, как MySQL. Тем не менее существует множество сторонних библиотек и инструментов, облегчающих работу с этой системой управления базами данных.
Поддерживаемые типы данных:
— bigint: знаковое 8-байтное целое; — boolean: булевская величина; — bigserial: инкрементируемое (автоматически) 8-битное целое; — box: прямоугольник на плоскости; — bit [(n)]: битовая строка (имеет фиксированную длину); — bit varying [(n)]: тоже битовая строка, но уже переменной длины; — circle: круг на плоскости; — bytea: бинарные данные; — date: календарная дата; — character varying [(n)]: строка символов, имеющая фиксированную длину; — character [(n)]: аналогично, но переменной длины; — integer: знаковое 4-байтное целое; — cidr: сетевой адрес IPv6 либо IPv4; — inet: адрес хоста IPv6 либо IPv4; — macaddr: MAC-адрес; — polygon: многоугольник на плоскости; — line: бесконечная прямая на плоскости; — lseg: отрезок на плоскости; — xml: XML-данные; — path: геометрический путь; — money: денежная величина и прочие типы.
Достоинства:
— полная SQL-совместимость; — поддержка опытным профессиональным сообществом; — поддержка сторонними организациями; — расширяемость (систему управления базами данных можно программно расширить, используя хранимые процедуры); — объектная ориентированность (СУБД PostgreSQL является не только реляционной, но и объектно-ориентированной).
Минусы:
— в простых операциях чтения эта СУБД иногда уступает конкурентам; — система данных довольна сложна, поэтому не очень популярна; — сложно найти подходящего провайдера.
В каких случаях желательно использовать эту СУБД:
— когда в приоритете целостность и надёжность данных; — когда база данных должна выполнять сложные процедуры; — если в будущем планируется перенести базу данных на другой сервер, другое решение.
Есть и «противопоказания» применения PostgreSQL: — если всё, что вам нужно — быстрые операции чтения, однозначно не стоит брать эту СУБД; — когда повышенная надёжность, ACID и т. д. вам не требуются, то данная СУБД — это стрельба из пушки по воробьям.
Статья является свободным переводом отсюда, поэтому можете почитать её в оригинале.
Источник: otus.ru
СУБД, SQL,OLAP, ETL и т.п.
Система управления базами данных (СУБД) — программа, обеспечивающая управление созданием и использованием баз данных.
Примеры: Oracle , MS SQL Server, PostgreSQL, MySQL,
Классификации СУБД по способу доступа к БД (базам данных):
- Файл-серверные. Файлы данных располагаются централизованно на файл-сервере. СУБД располагается на каждом клиентском компьютере (рабочей станции). Доступ СУБД к данным осуществляется через локальную сеть. Примеры: Microsoft Access, FoxPro, Visual FoxPro,Paradox, dBase.
- Клиент-серверные. СУБД располагается на сервере вместе с БД и осуществляет доступ к БД непосредственно. Все клиентские запросы на обработку данных обрабатываются клиент-серверной СУБД централизованно.
Примеры: Oracle, MS SQL Server, PostgreSQL, MySQL, Firebird, Interbase, IBM DB2, Informix, Sybase Adaptive Server Enterprise.
- Встраиваемые. СУБД, которая может поставляться как составная часть некоторого программного продукта, не требуя процедуры самостоятельной установки. Встраиваемая СУБД предназначена для локального хранения данных своего приложения и не рассчитана на коллективное использование в сети.
Примеры: SQLite, OpenEdge, BerkeleyDB, E-Staff.
SQL
SQL (Structured Query Language — “язык структурированных запросов”) — универсальный компьютерный язык, применяемый для создания, модификации и управления данными в реляционных базах данных.
«Это как если бы у вас на складе работал гастарбайтер, и вам нужен был набор коротких команд, что бы объяснить, куда пойти, что принести, и что с принесенным сделать».
Самый распространенный оператор SQL — SELECT: SELECT список полей FROM список таблиц WHERE условия.
Примеры:
SELECT Name FROM Candidates
SELECT * FROM Candidates WHERE Language = ‘c++’;
(если очень хочется разобраться, что такое реляционная БД, то сюда, но можно не заморачиваться).
Первичный ключ, хранимая процедура, триггер
Первичный ключ — подмножество атрибутов таблицы, удовлетворяющее требованиям уникальности и минимальности.
Хранимая процедура — набор SQL-инструкций, который компилируется один раз и хранится на сервере. Хранимые процедуры обычно создаются с помощью языка SQL или конкретной его реализации в выбранной СУБД.
Например, для этих целей в СУБД Microsoft SQL Server существует язык Transact-SQL,
MySQL использует язык, похожий на SQL/PL.
«Это команды, для гастарбайтера, которые записал начальник склада, знающий язык: «Даешь Конверт 1, он идет на склад, приносит с 5го ряда, 7 полки только синие коробки», ну в общем в Конверте записан порядок действий, который должен выполнить гастарбайтер, что бы вы получили желаемое В зависимости от того, из какой страны гастарбайтер, нужно использовать определенный диалект для выходцев из Oracle — PL/SQL, для жителей IBM DB2 — SQL/PL и т.п.»
Триггер (trigger) — это хранимая процедура особого типа, которую пользователь не вызывает непосредственно, а исполнение которой обусловлено действием по модификации данных: добавлением, удалением строки в заданной таблице, или изменением данных в определенном столбце заданной таблицы реляционной базы данных.
Пример: Если принес синюю коробку, то поставь на ней штемпель. Или если с привязкой к жизни: после добавления вакансии в таблицу Вакансий, добавить ее в таблицу Компании.
DWH, OLAP, ETL
Хранилище данных (Data Warehouse) — предметно-ориентированная информационная база данных, специально разработанная и предназначенная для подготовки отчётов и бизнес-анализа с целью поддержки принятия решений в организации. Данные в хранилище данных не создаются: т.е. поступают из внешних источников, и не корректируются. Просто копятся
OLAP (online analytical processing, аналитическая обработка в реальном времени) — технология обработки данных, заключающаяся в подготовке суммарной информации на основе больших массивов данных, структурированных по многомерному принципу. Пример с оператором связи (придумывание нового тарифа).
OLAP-куб содержит в себе базовые данные и информацию об измерениях (агрегаты). Куб потенциально содержит всю информацию, которая может потребоваться для ответов на любые запросы. При огромном количестве агрегатов зачастую полный расчёт происходит только для некоторых измерений, для остальных же производится «по требованию».
ETL (extraction, transformation, loading — извлечение, преобразование и загрузка данных) — составной процесс переноса данных одного приложения в другие.
«извлечение, преобразование, загрузка» извлечение данных из внешних источников; их трансформация и очистка, чтобы они соответствовали нуждам бизнес-модели;и загрузка их в хранилище данных.
Трехзвенная архитектура
В компьютерных технологиях трёх уровневая архитектура, синоним трёхзвенная архитектура (англ. three-tier или Multitier architecture) предполагает наличие следующих компонентов приложения:
Клиентское приложение (обычно говорят «тонкий клиент» или терминал), подключенное к серверу приложений, который в свою очередь подключен к серверу базы данных.
Клиент — это интерфейсный (обычно графический) компонент, который представляет первый уровень, собственно приложение для конечного пользователя. Первый уровень не должен иметь прямых связей с базой данных (по требованиям безопасности), быть нагруженным основной бизнес-логикой (по требованиям масштабируемости) и хранить состояние приложения (по требованиям надежности). На первый уровень может быть вынесена и обычно выносится простейшая бизнес-логика: интерфейс авторизации, алгоритмы шифрования, проверка вводимых значений на допустимость и соответствие формату, несложные операции (сортировка, группировка, подсчет значений) с данными, уже загруженными на терминал.
Сервер приложений располагается на втором уровне. На втором уровне сосредоточена бОльшая часть бизнес-логики. Вне его остаются фрагменты, экспортируемые на терминалы (см.выше), а также погруженные в третий уровень хранимые процедуры и триггеры.
Сервер базы данных обеспечивает хранение данных и выносится на третий уровень. Обычно это стандартнаяреляционная или объектно-ориентированная СУБД. Если третий уровень представляет собой базу данных вместе с хранимыми процедурами, триггерами и схемой, описывающей приложение в терминах реляционной модели, то второй уровень строится как программный интерфейс, связывающий клиентские компоненты с прикладной логикой базы данных.
Источник: yarazbirajusvit.wordpress.com