Разработка отказоустойчивой операционной системы реального времени для вычислительных систем с максимальным рангом отказоустойчивости
Анализ требований к функционированию ВС предопределил структуру распределенной операционной системы ВС, которая состоит из идентичных операционных систем узлов сети, отличных друг от друга лишь своим номером и содержанием системных таблиц, обусловленных размещением узла в сети ПЭ. Структура распределенной ОС представлена на рис. 6.2.
Рис.
6.2. Структура
распределенной
ОС
Задачей ПО является обеспечение обмена между объектом управления и ПЭ, обмена функциональной и системной информацией внутри ВС, выполнение функциональной задачи согласно информации от объекта управления, реакции на сбои и отказы в системе, выявление и локализации отказавших участков ВС консолидированным решением рабочей конфигурацией сети, реконфигурация системы в реальном времени в соответствии с принятым решением.
Платформа TMS320C30, для реализации выбранной концепции построения ОСРВ, была выбрана, исходя из аппаратных характеристик, наличия большого класса базовых ОСРВ, совместимых с данной платформой, удобных средств разработки и отладки.
6.2. Разработка спецификации
Разработка спецификации служит для более четкой формализации требований к программному обеспечению, полученных на этапе системных исследований.
6.2.1. Требования к ПО управляющей части
Программное обеспечение служит для инициализации работы ВС, имитации объекта управления, демонстрации работы ВС в условиях возникновения отказов и должно состоять из модулей, обеспечивающих:
Анализ топологии моделируемой ВС:
ввод и считывание модифицированной матрицы связности ВС;
создание файлов инициализации для узлов ВС на основе топологической информации.
Запуск системы;
Обмен функциональной информацией с ВС:
выдача информации для обработки ВС на очередном цикле;
прием обработанной информации от ВС на очередном цикле.
Моделирование отказов и сбоев компонент ВС:
формирование сигнала на полный отказ определенного канала связи ПЭ (прекращение функционирования);
формирование сигнала на сбой определенного канала связи ПЭ (искажение информации при передаче);
формирование сигнала на полный отказ ПЭ (прекращение функционирования, “зависание”);
формирование сигнала на сбой ПЭ (неверный расчет функциональной задачи).
6.2.2. Требования к ПО узлов сети
В распределенной операционной системе организация программного обеспечения следующая. Каждый модуль содержит копию ОС, которая спроектировано так, чтобы обеспечить стандартный интерфейс с другими модулями в системе. Прикладное программное обеспечение распределенной ОС выступает как набор параллельно взаимодействующих процессов, а ОС узла обеспечивает высокоуровневую структуру для обслуживания межпроцессорных связей, а также содержит процедуры диагностики и локализации отказов, реконфигурации и замены отказавшего элемента.
Таким образом, ПО узла должно обеспечивать:
Определение статических маршрутов передачи информации в ВС, исходя из текущей топологии ВС;
Расчет функциональной задачи на очередном цикле;
Обмен функциональной и системной информацией внутри ВС:
прием и передача функциональной информации после завершения расчета функциональной задачей;
прием и передача информации о результатах элементарных проверок функциональной информации;
прием и передача информации о результатах голосования (консолидированного решения).
прием и передача информации инициализации при замене отказавшего элемента;
обеспечение транзитной передачи информации при отказе канала связи.
Сравнение поступающей функциональной информации (элементарная проверка) и формирование промежуточного решения о состоянии системы.
Голосование и принятие консолидированного решения о наличии (отсутствия) отказов в системе.
Реконфигурацию ВС в соответствии с результатами голосования.
Синхронизацию работы ВС.
Обмен информацией с объектом управления:
прием функциональной информации от объекта управления в начале очередного цикла;
выдачу функциональной информации в конце очередного цикла;
прием управляющего сигнала на моделирование отказа ПЭ или одного изи каналов связи;
Диагностирование состояния ПЭ.
6.3. Разработка алгоритмов
Разработка алгоритмов велась с учетом построенной на этапе системных исследований структурой ПО (см. рис. 6.2) и требований к нему.
Наибольшее применение к настоящему времени получил структурный подход к технологии программирования, предполагающий нисходящую разработку, структурное программирование и сквозной структурный контроль. При нисходящей разработке проектирование и программирование ведутся сверху вниз. Для восходящего подхода характерен ряд трудностей, которых можно избежать при нисходящем подходе: каждый элементарный модуль может правильно работать со своей отладочной программой, но все модули вместе могут и не работать вследствие несогласованности или различной интерпретации спецификаций каждого модуля.
6.3.1. Структура программы
Разработка структуры ПО отказоустойчивой ВС проводилась с помощью комбинации нисходящего и восходящего подходов. Сначала был выделен общий принцип работы ВС в целом, который можно представить в виде следующего графа управления (см. рис. 6.3).

Исходя из графа управления, общая структура программного продукта была разбита на две части, а они в свою очередь - на модули по технологии сверху вниз методом декомпозиции. Далее, в пределах некоторых модулей применялся подход снизу вверх с применением структурного программирования для подключения новых функций модуля, удовлетворяющих спецификации.
Структура распределенной ОСРВ диктовалась независимостью узлов сети от ПО других составляющих сети и возможностью подключения или изменения пользователем тех или иных функций ОСРВ без изменения других составляющих и общей концепции построения системы.
Внутренняя структура модулей проектировалась структурировано, по критерию минимизации межмодульных связей и циклов. Модули оперируют системной информацией независимо от характера выходных данных предыдущих модулей.
Алгоритмы и функционирование модулей ОСРВ детально рассмотрены в главе 2 и 3.
ПО имитации объекта управления и задания отказов имело свое назначение, как отладочный механизм демонстрации принципов отказоустойчивости специализированных ВС. Назначение его модулей формулировались на этапе системного анализа и составления спецификации на системное ПО узлов сети. Конечным фрагментом разработки данного ПО является возможность полной проверки отказоустойчивости ВС.
В процессе дальнейших исследований предполагается дальнейшее наращивание функций отладочного механизма по технологии снизу вверх.
6.4. Кодирование
Выбор языка программирования определяется, с одной стороны, требованиями к программному обеспечению (например, размер и скорость исполнения кода), с другой стороны, наличием сред разработки, компиляторов, отладчиков и других инструментов разработчика.
Для реализации модели отказоустойчивой ВС использовался язык С и среда разработки Microsoft Visual С++ 6.0. Выбор среды разработки обусловлен наличием у нее широких возможностей по использованию механизмов Windows 98/2000 в качестве поддержки базовых функций ОСРВ. Windows 98/2000 не является операционной системой реального времени, однако имеет достаточно мощные механизмы (pipes – обмен данными между процессами, многозадачность и многопоточность, средства синхронизации – семафоры, мьютексы, события, таймеры) во многом схожие с механизмами ОСРВ, и достаточные для реализации модели.
Язык С, поддерживаемый большинством сред разработки и трансляторов различных ОСРВ, используемый при разработке модели, позволяет создавать аппаратно и операционно-независимые фрагменты программ, не привязанных к механизмам Windows.
Выбор языка С был обусловлен также следующими факторами:
повсеместным применением языка С для аппаратного программирования, так как он обладает хорошей оптимизируемостью кода, и эффективностью, сравнимым с Ассемблером.
наличием больших библиотек, поставляемых вместе со средствами разработки, которые значительно облегчают и оптимизируют труд разработчиков.
навыками разработчиков.
Для программирования платформы TMS320C30 использовалась среда разработки Code Composer 3.0 с транслятором языка С, во многом напоминающая Visual C++. Выбор данной среды разработки был обусловлен следующими фактороми:
сочетание интегрированной среды разработки с симулятором и мощной системой отладки;
Windows-интерфейс;
большой набор настроек проекта, в том числе настройка карт памяти;
симулятор с широким набором возможностей;
наличие мощной системы отладки.
Для реализации аппаратно-зависимых участков программ, используется Ассемблер данной архитектурной группы.
6.5. Тестирование и отладка
На этапе разработки и программирования были выбраны следующие методы и средства тестирования и отладки:
встроенный отладчик интегрированной среды разработки Visual C++ 6.0;
отладочно-демонстрационная программа моделирования отказов ВС;
сквозной структурный контроль на всем этапе программирования.
встроенный отладчик интегрированной среды разработки Соde Composer 3.0;
6.5.1. Метод сквозного структурного контроля
Основная идея сквозного структурного контроля - регулярная взаимная проверка программных модулей на этапе программирования. Такой контроль необходим для обнаружения и исправления ошибок как можно раньше, пока стоимость исправления ошибок минимальна. При отладки написанных программ важно тщательно провести тестирование программного продукта. Цель тестирования состоит в том, чтобы убедиться, что программа решает действительно ту задачу, для которой предназначена, и выдает правильный результат при любых условиях.
6.5.2. Встроенный отладчик интегрированной среды разработки Microsoft Visual C++ 6.0
Встроенный отладчик предоставляет следующие возможности:
Возможность пошагового исполнения программы,
Возможность установки брейкпоинтов (точек останова программы) в необходимых местах,
Возможность просмотра и изменения значений переменных,
Возможность приостановки и запуска процессов и др.
С его помощью отслеживалась правильность выполнения различных функций в составе ПО, вложенных вызовов, достоверность передачи информации внутри сложных функций, правильность преобразования типов и т.п. Встроенный отладчик использовался на промежуточных этапах разработки ПО, главным образом для отладки отдельных модулей в составе модели ВС.
6.5.3. Встроенный отладчик интегрированной среды разработки Code Composer 3.0
Встроенный отладчик предоставляет следующие возможности:
Возможность пошагового исполнения программы,
Возможность установки брейкпоинтов;
просмотр состояния процессора (содержимое регистров и флагов, сегменты кода и данных);
просмотр значений локальных и глобальных переменных;
просмотр содержимого стека и истории вызовов;
дизассемблирование программы;
возможность подключения в ключевых точках программы ввода-вывода с помощью текстовых файлов, таким образом симулируется трансфер данных через память процессора;
возможность подключения графического аппарата, представленного 4-мя различными вариантами диаграмм для построения графиков различной сложности и отслеживания сигналов реального времени;
наличие профайлера, позволяющего производить замер производительности процессора на критических участках кода и др.
С его помощью отслеживалась правильность выполнения модулей ОСРВ, переносимых на платформу TMS320C30, и процедуры аппаратно-зависимой диагностики.
6.5.4. Отладочная программа
Отладочная программа была написана для проверки работы модулей, обеспечивающих системе свойства отказоустойчивости, в комплексной форме, то есть при одновременной параллельной работе нескольких ПЭ вычислительной системы.
С помощью отладочной программы проводилось следующее тестирование:
проверка правильности реакции системы на отказ или сбой каналов связи;
проверка правильности реакции системы на отказ или сбой ПЭ;
проверка правильности перестройки (реконфигурации) системы после отказа;
проверка правильности выдаваемых системой результатов в условиях постоянной деградации системы.
6.5.5. Отладка и тестирование модулей ОСРВ
На первом этапе для всех модулей тестировались все разветвления на графе управления программой как с помощью встроенного отладчика (правильная обработка всех команд), так и стохастически, то есть с помощью генерации различной последовательности входных данных, и проверки результатов сравнением с эталонными значениями. Далее проверка производилась комплексно, исследовалась реакция и взаимодействие модулей.
Приведем описание процесса тестирования для некоторых модулей.
Модуль маршрутизации: Отладка и тестирование этого модуля проводилась сначала с помощью отладчика, на вход подавалась простейшая топология сети, при этом отслеживалось правильное выполнение статических команд и команд перехода и ветвления. После получения удовлетворительных результатов, тестирование продолжалось стохастически, проверкой модуля на различных входных топологиях. Дальнейшее тестирование проводилось комплексно, с подключением модуля реконфигурации.
Модуль реконфигурации: Проверка выполнения всех ветвей проводилась с помощью отладчика, на вход алгоритма подавались нужные значения и с помощью трассировки проверялась правильность выбора и выполнения нужной ветви. Дальнейшая стохастическая отладка модуля проводилась как с использованием отладчика, так и отладочной программы, с помощью генерации различного рода информации об отказах и проверкой результатов работы данного модуля сравнением с ожидаемым результатом.
Отладка и тестирование других модулей проводилась по той же схеме, причем особое внимание уделялось комплексной отладке программы.
Комплексная отладка модулей проводилась организацией взаимодействия модулей в соответствии с логикой работы ВС, отслеживались данные межзадачного взаимодействия, синхронизация, и последовательность действий с помощью специально вводимых текстовых сообщений в ключевых узлах программ.
Список литературы
1. Затуливетер Ю.С. Введение в проблему параметризованного синтеза программ для параллельных компьютеров. -М., 1993 (Препринт/Институт проблем управления).
2. Харченко В.С., Лысенко И.В., Мельников В.А. Оценка и обеспечение живучести информационно-вычислительных и управляющих систем технических комплексов критического использования. Зарубежная радиоэлектроника. 1996. №1.
3. Э.В. Евреинов. Однородные вычислительные системы и среды. –М. Радио и связь, 1981.
4. А. Вильямс. Системное программирование в Windows 2000. –СПб. Питер, 2001.
5. С. Кейслер. Проектирование операционных систем для малых ЭВМ,-М., Мир, 1986.
6. А. Шоу. Логическое проектирование операционных систем.-М.,Мир, 1981.
7. К.А. Иыуду, С.А. Кривощеков, Математические модели отказоустойчивых ВС. –М., МАИ, 1989.
8. К.А. Иыуду. Надежность, контроль и диагностика вычислительных машин и систем. -М., Высшая школа,1989.
9. Л.П. Глазунов и др. Основы теории надежности автоматических систем управления. -М.,Энергоатомиздат, 1984.
10. Р.Л. Лонер, Г.Н. Уилкинсон, Устойчивые статистические методы оценки данных: Москва, Машиностроение, 1984
11. Артамонов Г.Т., Тюрин В.Д. Топология сетей ЭВМ и многопроцессорных систем. — М.: Радио и связь, 1991.
12. Е.С. Вентцель, Теория вероятностей. М. НАУКА, 1969.
13. В.Н. Агафонов. Спецификация программ. –М., Наука, 1987.
14. А. Мешков, Ю. Тихомиров. Visual C++ и MFC. –СПб. БХВ-Санкт-Петербург, 2001.
15. Л.Б. Богуславский. Управление потоками данных в сетях ЭВМ. -М., Энергоатомиздат, 1984.
16. В.И. Матов и др. Теория проектирования вычислительных машин систем и сетей. –М., МАИ, 1999.
17. В.В. Липаев. Надежность программного обеспечения АСУ. -М., Энергоиздат, 1981.
17. Д.И. Козлов и др., Управление космическими аппаратами зондирования земли. – М.: Машиностроение, 1998.
18. Б. Страуструп. Язык программирования С++. – Киев. ДиаСофт, 1993.
19. А.Г. Додонов и др. Введение в теорию живучести вычислительных систем. – Киев, Наук. Думка, 1990.
20. Э.М. Мамедли, Р.Я. Самедов, Методы восстановления вычислительного процесса в отказоустойчивых цифровых систем управления реального времени, Препринт Института Проблем Управления Российской Академии Наук, Москва, 1998.
21. Гуляев В.А., Додонов А.Г. , Пелехов С.Л. Организация живучих вычислительных структур.- Киев.: Наукова Думка , 1987
22. Гришин Ю.П., Казаринов Ю.М. Динамические системы, устойчивые к отказам.- М.: Радио и связь, 1985.
23. Транспьютеры. Архитектура и программное обеспечение: Пер. с англ. Под ред. Г.Харпа.-М.: Радио и связь, 1993
24. TMS320C3x User's Guide, Texas Instruments, Inc., Dallas, Texas, 1994
25. Дейтел Г., Введение в операционные системы. М, Мир, 1987.
26. Дансмур М., Дейвис Г. Операционная система UNIX и программирование на языке Си. М. "Радио и связь". 1989.
27. К.Ю. Богачев. Операционные системы реального времени. М. 2001.
28. Артамонов Г.Т. Топология регулярных вычислительных сетей и сред. — М.: Радио и связь, 1985.
29. Мартин Дж. Программирование для вычислительных систем реального времени. – М.: Наука, 1975.
Экономическое обоснование дипломных проектов. Методическое пособие. –М., МАИ, 1991.
Руководство Р2.2.013-94 Гигиенические критерии оценки условий труда по показателям вредности и опасности факторов производственной среды, тяжести и напряженности трудового процесса.
Юдин Е.Я., Белов С.В. и др. Охрана труда в машиностроении. М.: Машиностроение, 1983, 432с.
ГОСТ 27954 - 88 Видеомониторы персональных электронных вычислительных машины. Типы, основные параметры, общие технические требования.
СаНПин 2.2.2.542-96. Гигиенические требования к видеодисплейным терминалам (ВДТ). персональным электронно-вычислительным машинам (ПЭВМ) и организации работы. М.: Информационно-издательский центр Госкомэпиднадзора России, 1996. 65 с.
ГОСТ 12.1.006 - 84 Электромагнитные поля радиочастот. Допустимые уровни на рабочих местах и требования к проведению контроля. Изменение к ГОСТ.
ГОСТ 12.1.005-88. Воздух рабочей зоны. Общие санитарно - гигиенические требования. М.: Изд-во стандартов, 1990. 14 с.
СНиП 23-05-95 Естественное и искусственное освещение.
www.pcweek
www.osp
www.realtime-info.be
www.rtsoft-training
www.ti
www.windriver
www.eonic