Рассмотрим современную организацию файловых систем.

Прежде всего, практически во всех современных компьютерах основными устройствами внешней памяти являются магнитные диски с подвижными головками.

Распространены два основных подхода. При первом подходе, свойственном, например, файловым системам операционных систем фирмы DEC RSX и VMS, пользователи представляют файл как последовательность записей. Каждая запись - это последовательность байтов постоянного или переменного размера. Записи можно читать или записывать последовательно или позиционировать файл на запись с указанным номером. Некоторые файловые системы позволяют структурировать записи на поля и объявлять некоторые поля ключами записи. В таких файловых системах можно потребовать выборку записи из файла по ее заданному ключу. Естественно, что в этом случае файловая система поддерживает в том же (или другом, служебном) базовом файле дополнительные, невидимые пользователю, служебные структуры данных. Распространенные способы организации ключевых файлов основываются на технике хэширования и B-деревьев (мы будем говорить об этих приемах более подробно в следующих лекциях). Существуют и многоключевые способы организации файлов.

Второй подход, ставший распространенным вместе с операционной системой UNIX, состоит в том, что любой файл представляется как последовательность байтов. Из файла можно прочитать указанное число байтов либо начиная с его начала, либо предварительно произведя его позиционирование на байт с указанным номером. Аналогично, можно записать указанное число байтов в конец файла, либо предварительно произведя позиционирование файла. Заметим, что тем не менее скрытым от пользователя, но существующим во всех разновидностях файловых систем ОС UNIX, является базовое блочное представление файла.

Конечно, для обоих подходов можно обеспечить набор преобразующих функций, приводящих представление файла к некоторому другому виду. Примером тому служит поддержание стандартной файловой среды системы программирования на языке Си в среде операционных систем фирмы DEC.

В современных ОС существует потребность работать с несколькими файловыми системами одновременно. Например, на диске размещают файловую систему UNIX или NTFS в случае ОС Windows, поскольку эти системы специально созданы для эффективной работы с файлами на дисках, или, как говорят, оптимизированы по быстродействию. Для работы с дисками CD-ROM используют файловую систему ISO9660, позволяющую наиболее рационально хранить файлы, т.е. она оптимизирована по пространству хранения. Дискеты, как правило, содержат файловую систему FAT, которая использовалась в ОС MS-DOS, поскольку все попросту привыкли, что дискета содержит FAT. Кроме того, существует файловая система NFS, разрешающая работать с дисками других ЭВМ, подключенных к локальной сети или доступными через Интернет.

Файловые системы имеют различные соглашения о том, как именовать файлы, или, как говорят, различные пространства имен. У пользователя, естественно, есть желание работать с единым пространством имен, т.е. именовать файлы так, как он привык, не думая о типе используемой файловой системы. Конечно, операционная система берет на себя работу по преобразованию имен и сведению их к единому виду. За выполнение преобразования имен отвечает специальная часть ОС - виртуальная файловая система. По существу, виртуальная файловая система - это прослойка между ОС и алгоритмами, работающими со структурой конкретной файловой системы. То есть виртуальная файловая система получает запросы от ОС для работы с файлами (например, прочитать данные из файла или удалить файл), определяет, в какой файловой системе находится данный файл, и транслирует запрос в операции этой файловой системы.

Рассмотрим возможные области их применения. Прежде всего, конечно, файлы применяются для хранения текстовых данных: документов, текстов программ и т.д. Такие файлы обычно образуются и модифицируются с помощью различных текстовых редакторов. Структура текстовых файлов обычно очень проста: это либо последовательность записей, содержащих строки текста, либо последовательность байтов, среди которых встречаются специальные символы (например, символы конца строки).

Файлы с текстами программ используются как входные тексты компиляторов, которые в свою очередь формируют файлы, содержащие объектные модули. С точки зрения файловой системы, объектные файлы также обладают очень простой структурой - последовательность записей или байтов. Система программирования накладывает на эту структуру более сложную и специфичную для этой системы структуру объектного модуля. Подчеркнем, что логическая структура объектного модуля неизвестна файловой системе, эта структура поддерживается программами системы программирования.

Аналогично обстоит дело с файлами, формируемыми редакторами связей и содержащими образы выполняемых программ. Логическая структура таких файлов остается известной только редактору связей и загрузчику - программе операционной системы. Примерно такая же ситуация с файлами, содержащими графическую и звуковую информацию.

Одним словом, файловые системы обычно обеспечивают хранение слабо структурированной информации, оставляя дальнейшую структуризацию прикладным программам. В перечисленных выше случаях использования файлов это даже хорошо, потому что при разработке любой новой прикладной системы опираясь на простые, стандартные и сравнительно дешевые средства файловой системы можно реализовать те структуры хранения, которые наиболее естественно соответствуют специфике данной прикладной области.

1. Понятия базы данных, банка данных. Классификация баз данных.

Современные информационные системы, основанные на концепции интеграции данных, характеризуются огромными объемами хранимых данных, сложной организацией, необходимостью удовлетворять разнообразные требования многочисленных пользователей.

Информационная система - система, реализующая автоматизированный сбор, обработку и манипулирование данными и включающая технические средства обработки данных, программное обеспечение и соответствующий персонал.

Цель любой информационной системы - обработка данных об объектах реального мира. Основой информационной системы является база данных. В широком смысле слова база данных - это совокупность сведений о конкретных объектах реального мира в какой-либо предметной области. Под предметной областью принято понимать часть реального мира, подлежащего изучению для организации управления и в конечном счете автоматизации, например, предприятие, вуз и т.д.

Примечание. Понятие база данных с различных точек зрения:

· с точки зрения программиста:—массив информации, созданный в некоторой системе управления БД.

· с точки зрения информационного рынка: это самостоятельный товар в форме упорядоченного массива машиночитаемой информации.

· с точки зрения пользователя:это массив информации, доступной для проведения в нем поиск.

Создавая базу данных, пользователь стремится упорядочить информацию по различным признакам и быстро производить выборку с произвольным сочетанием признаков. Большое значение при этом приобретает структурирование данных.

Структурирование данных - это введение соглашений о способах представления данных.

Неструктурированными называют данные, записанные, например, в текстовом файле.

Фундаментальное понятие "базы данных" может определяться совершенно по-разному. Интуитивное представление о том, что такое база данных могут дать такие примеры из обыденной жизни:

телефонная книга;

словарь;

книжный каталог в библиотеке;

и т.д.

Однако для более формализованного определения базы данных необходимо учесть два основных фактора ее создания:

цель (информационное обеспечение интересов пользователей);

способ хранения (каким-то образом упорядоченные машиночитаемые данные в памяти компьютера).

Дадим определение баз данных в понимании технологии баз данных.

База данных — совокупность структурированных взаимосвязанных данных при такой минимальной избыточности, которая допускает их использование для различных приложений в определенной предметной области.

В данном определении сформулированы некоторые требования к данным, это структурированность и взаимосвязанность, что понятно и без разъяснения, а вот избыточность информации требует пояснения:

Поясним это на примере. В рамках построение базы данных на какую-либо группу людей возникают ситуации повторов некоторых элементов информации в различных источниках. (Часть этой информации является избыточной). С одной стороны, на этапе подготовки данных это даже необходимо для “связи” записей различных источников относящихся к одним и тем же людям. С другой — если уже такое связывание произошло и каждый человек уже идентифицирован с помощью уникального ключа ,то повтор излишен. Хранение лишней информации увеличивает объем машинной памяти и время на ввод информации. И порой эта избыточность служит причиной противоречивости данных.

Стандартные требования к организации базы данных:

Интегрированность (централизованное хранение информации). Не интегрированные базы данных (созданные, например, в разное время и с разными целями) практически все обладают избыточностью и не являются непротиворечивыми.

Взаимосвязанность и структурированность, отражающие существенные свойства объектов реального мира.

Независимость описания данных от прикладных программ (логическая и физическая независимость), т.е. изменения, касающиеся логической структуры данных, не должны влиять на их расположение в памяти системы.

В современной технологии баз данных эти задачи решаются централизованно с помощью СУБД (т.е. с помощью специального программного инструментария).

Централизованный характер управления данными в базе данных обусловлен социальным характером ее пользовательской среды и предполагает необходимость существование некоторого лица (или группы), на которое возлагаются функции администрирования данными.

По технологии обработки данных базы данных подразделяются на централизованные и распределенные.

Централизованная база данных хранится в памяти одной вычислительной системы. Если эта вычислительная система является компонентом сети ЭВМ, возможен распределенный доступ к такой базе. Такой способ использования баз данных часто применяют в локальных сетях ПК.

Распределенная база данных состоит из нескольких, возможно пересекающихся или даже дублирующих друг друга частей, хранимых в различных ЭВМ вычислительной сети. Работа с такой базой осуществляется с помощью системы управления распределенной базой данных (СУРБД).

По способу доступа к данным базы данных разделяются на:

· базы данных с локальным доступом

· базы данных с удаленным (сетевым) доступом.

Системы централизованных баз данных с сетевым доступом предполагают различные архитектуры подобных систем:

· файл-сервер;

· клиент-сервер.

Информационные системы на больших ЭВМ, построенные с использованием технологии баз данных стали называть банками данных.

Банк данных —это система информационных, математических, программных языковых, организационных и технических средств, предназначенных для централизованного накопления и коллективного многоаспектного использования данных для получения необходимой информации.

Банк данных как информационная система включает следующие основные компоненты (см. рисунок):

· базу данных (БД);

· систему управления БД (СУБД);

· администратора базы данных (АБД);

· словарь-каталог данных;

· вычислительную систему;

· обслуживающий персонал.

Раньше информационные системы на больших ЭВМ создавались и обслуживались большим числом лиц. В наши дни речь все чаще идет о ПЭВМ, поэтому одно и тоже лицо часто оказывается и разработчиком, и пользователем, и администратором, и программистом, и т.д. Поэтому часто называют “банком данных” только ядро, состоящее из БД и СУБД. Иногда такие банки данных называют персональными.

В сфере науки в развитых странах, число записей в “банках данных” достигает сотен миллионов, увеличиваясь со скоростью накопления мирового документального потока, т.е. на 25-30% в год. Еще более высокими темпами растет число запросов на автоматизированный поиск (больше, чем в два раза каждый год).

Создаются банки как библиографической, так и фактографической информации, при чем тенденция к более быстрому росту фактографических баз и банков данных.

1. СУБД. Классификация СУБД. Технология использования СУБД

Система управления базами данных представляет собой пакет программ, посредством которого реализуется централизованное управление базой данных и обеспечивается доступ к данным. СУБД выступает в качестве интерфейса между пользователями и БД.

СУБД обеспечивает программные средства для создания, загрузки, запроса и обновления данных, контролирует действия, связанные с вводом-выводом данных, решает вопросы совместного их использования и защиты.

СУБД служит для поддержания базы данных в актуальном состоянии и обеспечивает эффективный доступ пользователей к содержащимся в ней данным в рамках предоставленных пользователям полномочий.

По степени универсальности различают два класса СУБД:

· системы общего назначения;

· специализированные системы.

СУБД общего назначения не ориентированы на какую-либо предметную область или на информационные потребности какой-либо группы пользователей. Каждая система такого рода реализуется как программный продукт, способный функционировать на некоторой модели ЭВМ в определенной операционной системе, и поставляется многим пользователям как коммерческое изделие. Такие СУБД обладают средствами настройки на работу с конкретной базой данных. Использование СУБД общего назначения в качестве инструментального средства для создания автоматизированных информационных систем, основанных на технологии баз данных, позволяет существенно сокращать сроки разработки, экономить трудовые ресурсы. Этим СУБД присущи развитые функциональные возможности, и даже определенная функциональная избыточность.

Специализированные СУБД создаются в редких случаях при невозможности или нецелесообразности использования СУБД общего назначения.

СУБД общего назначения – это сложные программные комплексы, предназначенные для выполнения всей совокупности функций, связанных с созданием и эксплуатацией базы данных информационной системы.

· Они позволяют определять структуру создаваемой базы, инициализировать ее и производить начальную загрузку данных.

· Они управляют полномочиями пользователей на доступ к БД, организуют параллельный доступ к ней нескольких пользователей.

· Они обеспечивают защиту логической и физической целостности данных - защиту от разрушений.

СУБД поддерживают один из возможных типов моделей данных сетевую, иерархическую или реляционную, которые являются одним из важнейших признаков классификации СУБД.

СУБД обеспечивают многоцелевой характер использования базы данных, защиту и восстановление данных. Наличие развитых диалоговых средств и языка запросов высокого уровня делает СУБД удобным средством для конечного пользователя.

Основными средствами СУБД являются:

· средства задания (описания) структуры базы данных;

· средства конструирования экранных форм, предназначенных для ввода данных, просмотра и их обработки в диалоговом режиме;

· средства создания запросов для выборки данных при заданных условиях, а также выполнения операций по их обработке;

· средства создания отчетов из базы данных, для вывода на печать результатов обработки в удобном для пользователя виде;

· языковые средства - макросы, встроенный алгоритмический язык (Dbase, Visual Basic или другой), язык запросов (QBE - Query By Example, SQL) и т.п., которые используются для реализации нестандартных алгоритмов обработки данных, а также процедур обработки событий в задачах пользователя;

· средства создания приложений пользователя (генераторы приложений, средства создания меню и панелей управления приложениями), позволяющие объединить различные операции работы с базой данных в единый технологический процесс.