Математическое обеспечение комплекса задач “Автоматизированная система документооборота учереждения
Заместитель главного конструктора – Игнатов-Радохов Д.В. Тема ДП - КЗ "Реализация функций поиска и архивации".
Перед группой ставились следующие задачи:
1. Провести системный анализ и синтез системы.
2. Разработать математическое и программное обеспечение для КЗ "Аавтоматизированная система документооборота учереждения".
3. Разработать рекомендации по защите населения и персонала для учебного тренажера по курсу "Гражданская оборона".
4. Разработать информационное и программное обеспечение для автоматизированной обучающей системы по курсу "Экология и охрана труда".
5. Разработать и отладить программное обеспечение для системы оценки финансового состояния предприятия по курсу "Экономика".
Итак, тема предлагаемого вашему вниманию КДП - МО КЗ "Автоматизированная система документооборота учереждения".
В первой главе проведен системный анализ и синтез ситемы.
Объектом автоматизации нашей группы является Министерство Торговли Российской Федерации.
В соответствии с требованиями заказчика в рамках КДП была разработана архитектура системы, приведенная на Плакате 1.
Вторая глава ДП посвящена математическому обеспечению прикладной задачи "Реализация функций поиска и архивации".
Большая часть разработанного математического аппарата относится к решению проблемы поиска. В результате проведенного во 2-й главе данного ДП анализу существующих способов поиска и методов индексирования документов был выбран наиболее подходящий для данной задачи метод поиска по реквизитам и контексту и соответствующая ему полнотекстовая индексация с предварительной нормализацией слов. Был существенно улучшен процесс индексации, что увеличило эффективность поиска.
Несмотря на вышесказанное качество формируемого в процессе поиска индекса иногда оставляет желать лучшего. В первую очередь это обусловлено наличием большого количества специфической лексики, используемой в документах Министерства Торговли РФ. Проблему можно будет решить в будущем, используя «нечеткий поиск», который требует больших вычислительных ресурсов и в настоящее время не удовлетворяет требованиям, предъявляемым к качеству поиска, из-за чрезмерного шума в выдаваемом результате.
В рамках реализации функции архивации на основе проведенного анализа требований заказчика была выработана архитектура хранилища документов а также даны рекомендации на использование аппаратуры в рамках данной архитектуры. В процессе использовани предложенной архитектуры допускается ее последующая модификация для конкретной задачи, а также учитывая постоянно изменяющиеся требования к производительности системы.
Глава 3 посвещена разработке МО прикладных задач.
По курсу "Гражданская оборона" автором был разработан блок по выработке рекомендаций по защите от поражающих факторов ядерного взрыва.
По курсу "Экономика" автором был разработан программный модуль по непрерывному начислению процентов и непрерывному дисконтированию. Алгорим работы программы представлен на плакате 4.
По курсу "Экология и охрана труда" автором был разработан программный модуль моделирования загрязнения атмосферы из низких источников.
Результаты разработок нашли практическое применение, о чем свидетельствуют полученные акты внедрения.
Доклад закончен. Благодарю за внимание.
ПРИЛОЖЕНИЕ 1. Акт ВНЕДРЕНИЯ
|
«УТВЕРЖДАЮ» |
||
|
Зав. кафедрой ПО АСУ, профессор |
||
|
__________ Б.Д. Залещанский |
||
|
«___»_______________ 2000 г. |
АКТ ВНЕДРЕНИЯ
комплексного дипломного проекта
студента группы ИП-2-94 Игнатова-Радохова Д.В.
Настоящий акт составлен консультантом по спецчасти, начальником отдела ГУП АССНаз Елизаровым О.И., в том, что результаты дипломного проекта студента Игнатова-Радохова Д.В. используются в системе документооборота Министерства Торговли Российской Федерации.
| Председатель комиссии, руководитель дипломного проекта | _________ В.В. Радионов |
Члены комиссии |
|
| Начальник отдела ГУП АССНаз | _________ О.И. Елизаров |
Начальник НТЦ АССНаз |
_________ В.К. Щеглов |
_________ |
|
_________ |
|
_________ |
ДОКЛАД
Уважаемый председатель и члены комиссии! Вашему вниманию предлагается дипломный проект на тему «Система документооборота Министерства Торговли РФ. Реализация функций поиска и архивации информации».
Наиболее интересной в плане разработки в данном дипломном проекте является проблема реализации функции поиска. Суть проблемы в том, что, несмотря на все многообразие существующих на сегодняшний день систем управления документами, реализованные в них методы поиска не вполне удовлетворяют требованиям к поиску русскоязычных текстов. В использованном в качестве основы для построения системы документооборота программном продукте Microsoft Exchange функция поиска не приспособлена к морфологическим особенностям русского языка, поиск осуществляется недостаточно быстро.
Прежде чем говорить о решениях, предложенных и реализованных для повышения эффективности поиска, коснемся основных моментов проблемы поиска.
Проблема существует с момента возникновения первых систем управления документами. К решению проблемы применяется множество разнообразных подходов.
Рассмотрим модели поиска. Здесь существует два подхода. Первый состоит в том, что в процессе поиска вы ищете документ, который точно существует в системе, и ваша задача - свести процесс к его нахождению. Второй подход состоит в том, что вы ищете все документы, которые могут относиться к интересующему вас вопросу. Для этого подхода характерны такие термины, как полнота поиска - соответствие между найденными документами по данному запросу и действительному списку документов; шум при поиске - соотношение (соответствие) соответствующих и несоответствующих запросу документов.
Теперь о типах поиска. Существует два основных типа: атрибутивный (реквизитный), когда каждому документу присваивается набор определенных атрибутов (полей). При сохранении документа в архив поля заполняются определенными значениями, в дальнейшем при поиске проверяется совпадение значений этих полей запросу. Второй тип поиска носит название полнотекстовый. В этом случае автоматически обрабатывается все содержание, как правило предварительно проиндексированного, документа, и затем его можно найти по любому входящему в него слову. Также существует так называемый "нечеткй поиск". Данное понятие в приложении к системам управления документами связано с продуктом компании Excalibur Technologies – системой Excalibur EFS. В основе системы лежит технология так называемого "адаптивного распознавания образов", позволяющая, с точки зрения разработчиков, обеспечить эффективный поиск в распознанных документах, непрошедших трудоемкий этап выявления и исправления ошибок. Таким образом, декларируется возможность работы с документами, заведомо содержащими ошибки. На самом деле у данного метода больше минусов, чем плюсов. Системы, использующие данный метод поиска требуют больших вычислительных ресурсов, налагаются определенные требования к минимальной длине запроса, в ответе содержится слишком много шума, а значит пользователю прийдется вручную отсеивать лишние документы.
В данном дипломном проекте реализованы полнотекстовый и атрибутный поиск.
Поиск документа более полный, если в результате запроса будут найдены не только документы, которые точно соответствуют слову в запросе, но и те, в которых присутствуют различные его словоформы. Данная технология носит название нормализации. Причем эффективность поиска зависит от применяемого алгоритма. Для русского языка наиболее эффективен применяемый в данном дипломном проекте словарный метод, когда слово нормализуется на основе словарей, в которых содержатся основы слов.
Для повышения эффективности поиска в созданной системе были реализованы некоторые процедуры. Одни из них направлены на повышения скорости поиска, другие – на улучшение достоверности поиска.
Так, для повышения достоверности поиска индекс документа предварительно заполняется терминами, широко используемыми в Министерстве Торговли РФ. Это позволяет в дальнейшем эффективно распознавать эти термины, в то время как обычная система поиска как правило исказила бы их при занесении в индекс и сделала бы затруднительным поиск по данным терминам.
В качестве мер для повышения скорости поиска было предложено объеденить индексы документов в единый индекс определенного формата. Это также целесообразно с точки зрения экономии дискового пространства.
Для того чтобы подтвердить эффективность разработанного алгоритма, были проведены испытания, дающие определенное представление о скорости и качестве поиска при использовании различных средств поиска.
Для испытаний
использовался
ПК с процессором
Pentium – 166MMX, RAM 64 Mb, HDD Quantum Fireball TM 2,1 GB и
операционной
системой MS Windows
NT 4.0 Workstation.
Массив
данных для
поиска: 473
файла в 54 каталогах,
общим объемом
53,5 Mb.
Испытываемые средства поиска:
Windows NT Server Explorer;
Medialingua Text Pilot (программа смыслового поиска документов "Следопыт" российской компании "Медиалингва");
"Евфрат 99", система автоматизации делопроизводства компании Cognitive Technologies.
Программа, реализующая алгоритм, предложенный в данном дипломном проекте.
Для составления запроса использовались слова "поиск", все словоформы которого содержат исходное слово и "автоматизация", не обладающее этим свойством.
Полученные результаты:
Время
поиска: 30, 15,
13 и 9 секунд
соответственно.
Количество
обнаруженных
документов:
для слова "поиск"
– 34 документа
для каждого
средства поиска,
для слова
"автоматизация"
– 2, 16, 18 и
22 документов
соответственно.
Проведенное исследование не претендует на абсолютную объективность. Тем не менее, очевидно, что применение предложенных мер существенно увеличивает эффективность поиска.
Теперь коснемся архивации информации.
Принцип организации хранения документов в системе изолирует пользователя от физического хранилища документов по двум причинам:
1. При доступе к библиотеке, пользователь не знает, где располагается база данных, и не знает, где располагается сервер, который открывает доступ к базе. Вся эта информация находится под управлением специального приложения.
2. Внутри библиотеки, пользователи работают с логической организацией документов. Они ничего не знают о физической организации библиотеки.
Физическое хранилище скрыто от пользователей, но может в полной мере контролироваться разработчиками и администраторами. Система хранит объекты документов в базе данных.
Не существует ограничения на количество объектов хранения, которые могут использоваться всеми базами данных.
Устройства хранения.
Как уже отмечалось, все данные в системе могут находиться в двух видах: индекс документа и собственно сам документ. Из-за высоких требований к скорости доступа к индексу документа и его целостности, он должен храниться в высокоскоростных отказоустойчивых системах хранения вместе с оперативной базой документов, например RAID-массивах.
Для архивного хранения самих документов использование магнитных дисковых носителей не представляется возможным вследствие их высокой стоимости. Наиболее подходящими носителями могут быть магнитооптические (МО), фазоинверсные (PD/CD), компакт- (CD-R) и WORM-диски (см. таблицу). Для автоматизации поиска информации, размещенной на этих дисках, ее извлечения и работе собственно с дисками используются автоматические библиотеки или, как их еще называют, оптические дисковые автоматы (JukeBox). Сегодня известны библиотеки, имеющие до 60-ти дисководов и до 3 тыс. гнезд для дисков, выбираемых механизированным способом. Автоматические библиотеки могут быть многофункциональными, например, одновременно поддерживать магнитооптические, фазоинверсные и компакт-диски.
Преимущество магнитооптических дисков перед компакт-дисками основана на том, что первые позволяют перезаписывать информацию. Большинство технологических решений электронного архивирования поддерживает технологию миграции данных именно на магнитооптические диски, которые более устойчивы к ошибкам записи, имеют более высокую скорость чтения, однако уступают компакт-дискам в гарантийном сроке хранения информации и стоимости. Если магнитооптические диски, в лучшем случае, декларируют сохранность информации в течение 50 лет, то гарантия на компакт-диски может составлять 100 лет и более. Что касается стоимости систем хранения на базе магнитооптических и компакт-дисков, то она может отличаться в 4 раза.
Не вызывает сомнения, что вся информация в системе должна иметь резервные копии. Для хранения документов и меняющейся поисковой информации в качестве сохранных накопителей удобнее использовать системы резервного копирования на магнитных лентах. Применяемые в персональных системах технологии (DC2000/Travan, DC6000, DAT) непригодны из-за ограничений в объеме. Возможным вариантом могут стать DLT-стримеры, восьмимиллиметровые библиотеки Exabyte (Mammoth) или специализированные катушечные системы. Наиболее распространены DLT-стримеры.