Искусственный интеллект
Автоматическое построение инверсионного словаря и автоматический вывод списка квазифлексий
Ручную проверку и уточнение результатов автоматической морфологической идентификации словоформ в новом тексте
Автоматическое пополнение инверсионного словаря словоформ обучающей выборки автоматическую перестройку списка квазифлексий.
При контекстном анализе КА, разработанных для снятия грамматической омонимии отдельных слов по окружению, наибольшей диагностицирующей силой обладают грамматические контексты, представленные предлогами, контекстами, краткими причастиями и прилагательными, существительными, подчинительными союзами и местоимениями и наречиями-союзных слов, а также знаки препинания. Все названные элементы текста используются во всех без исключения алгоритмах КА, в качестве опорных точек ОТ. При этом дизъюнкция класса/подкласса может сниматься по пересечению содержащейся в нем информации с грамматической информацией ОТ, образующей левую или правую, а также обе границы (снятие омонимии падежа существительного по предлогу слева, снятие омонимии классов Z (полное прилагательное/наречие); Y (краткое прилагательное/наречие) по расположенному справа глаголу; анализ дизъюнктивных кодов словоформ, принадлежащих к адъективным классам).
Алгоритм включает разные ситуации, как-то именная ситуация(SIT NOUN), глагольная(SIT VERB), предложная (SIT PREP), ситуацию аббревиатуры (SIT U) и прочие. Опорные точки могут образовывать ситуацию в сочетании с нектороми грамматическими классами, например ситуация POINT определяется тире + частица ЭТО, запятая + наречие когда, где. Анализ производится слева направа, начиная с первого элемента текста, и состоит из двух частей: входа, формирующего ситуацию и собственно контектного анализа, при этом ищутся опорные точки, формируется ситуация и по правилам КА снимаются дизъюнктивные классы.
Анализ результатов машинных экспериментов работы описаннойй системы МА на рефератах по кибернетике и системам связи показал высокую степень эффективности сочетания флективного и контекстного анализа при автоматическом МА, ориентированном на подъязык научно-реферативных текстов широкой тематики. Неразграниченные омонимы грамматических классов составляют всего 3,93 % текста. Количество словоформ с неснятой омонимией подклассов равно 10,34 %. Это объясняется, прежде всего, необходимостью привлечения анализа целого предложения (краткое прилагательное в роле подлежащего) и анализа контекстных связей, выходящих за пределы предложения (анализ эллиптических конструкций, снятие омонимии местоименных классов). Ниже приводится пример машинной кодировки, полученной после флективного и контекстных анализов. При идентификации грамматического стутуса каждого класса и подкласса слов в алгоритме МА используется различное количество правил и разные типы правил. В основу системы правил МА положена языковая и текстовая информация разного типа, в том числе:
графемная структура словоформ.
Позиционные закономерности употребления словоформ в тексте.
Дистрибуция словоформ и их соположение в тексте.
Дистрибуция словоформ, учитывающая их грамматические связи.
Лексическая информация.
АВТОКОРРЕЛЯЦИОННАЯ(ЯЖ) СТРУКТУРА(КИ) ГЕНЕРАТОРА(ЙР) СЛУЧАЙНЫХ(КЕ) ЧИСЕЛ(ЛЕ) 1>ТАУСВОРТА(ЙР).
ОСНОВЫВАЯСЬ(Д) НА(ПП) ЗНАНИИ(ЛП) АВТОКОРРЕЛЯЦИОННЫХ(ЯЕ) ФУНКЦИЙ(КЕ) ДЛЯ(ПР) ЛЮБЫХ(ОЕ) ПОВТОРЯЮЩИХСЯ(АЕ) ЧЛЕНОВ(ЙЕ) ПОСЛЕДОВАТЕЛЬНОСТИ(КР) , АВТОРОМ(ЙТ) ДАН(УМ) АЛГОРИТМ(ЙИ), ДЛЯ(ПР) ОПРЕДЕЛЕНИЯ(ЛР) АВТОКОРРЕЛЯЦИОННОЙ(ЯЗ) СТРУКТУРЫ(КР) НОВОЙ(ЯЗ) ПОСЛЕДОВАТЕЛЬНОСТИ(КР).
МОРФОЛОГИЯ
В исследованиях по морфологии естественных языков, проведенных в последние годы отечественными лингвистами, можно выделить несколько
крупных направлений:
— теоретические исследования по различным вопросам морфологии;
— типологические исследования по морфологии;
— прикладные аспекты морфологических исследований.
Теоретические исследования по морфологии
По сравнению с другими областями языкознания морфология по праву
считается наиболее исследованной областью. Поэтому в завершающее десяти-
летие нашего века закономерно появление целого ряда фундаментальных публикаций итогового характера, вышедших из-под пера известных ученых,
посвященных основополагающим понятиям, своего рода principia morphologia.
К ним относится:
— системное описание всех основных разделов морфологии: морфемики, изучающей морфемную членимость слова, принципы вычленения
и разграничения морфем, их функционирование в языке; словообразования,
изучающего соотношения между морфемными структурами; словопроизводства
— образования новых слов путем использования морфемных возможностей язы-
ка [Земская, Немченко, Панов, Тимофеев, Тихонов];
— системное описание диахронической морфологии индоевропейских
языков [Журавлев] и древненовгородского диалекта русского языка [Зализняк];
— итоговое описание системы морфологии русского языка ХХ века:
морфемной модели и количественных данных о русских морфемах [Кузнецова],
активных процессов в словоизменении, словообразовании и словопроизводстве
(суффиксации, префиксации, аббревиации, производстве сложных слов, типич-
ных особенностях окказиональных и потенциальных слов) [Земская, 92, 95,
Русский язык в его функционировании, Русский язык конца ХХ века], морфологических словарей русского языка [Кузнецова, Тихонов];
— морфологическая типология слова в разноструктурных языках, преж-
де всего в славянских [Широкова];
— структурное моделирование морфологии естественных языков в тесной
связи с достижениями структурализма в других областях языкознания, прежде
всего в фонологии и синтаксисе [Бондарко, Демьянков].
В теории морфологии традиционно большое место занимают исследова-
ния по аспектологии русского глагола: анализ совершенного вида в отрицатель-
ных предложениях [Акимова], фактическое и общефактическое значение вида,
семантика и прагматика несовершенного вида императива, таксономические
категории глаголов imperfectiva tantum [Падучева], видовая парность русских
глаголов [Черткова], проблема инварианта в семантике вида [Шатуновский],
употребление глаголов вторичной имперфективизации [Русский язык в его
функционировании].
Среди других теоретических работ следует отметить :
— исследования по аффиксации: изучение словообразовательного потенциала суффиксальных типов русских существительных [Каде], суффиксальной универбации и усечения в русском словообразовании
[Осипова Л.И.], возникновения новых аффиксов [Мамрак], сочетаемости пре-
фиксов в русском слове [Кузнецова], парадигматики и синтагматики русских
глагольных префиксов [Волохина и др.], суффиксоидов в современном английском языке [Бартков], словаря словообразовательных аффиксов в русском языке [Улуханов, 93];
— исследования словообразовательной мотивированности и ее связи с
производностью [Улуханов,92], мотивационного отношения “имя-глагол”
[Осипова М.А.], типов полисемии в производном слове и границ словообразова-
тельного гнезда [Ширшов, 96] ;
— работы по различным типам окказиональных способов словообразо- вания [Улуханов, 92];
— исследования по связи морфологического уровня с другими уровнями
языка: фонемным (морфемный или фонемный принцип русской орфографии)
[Моисеев,95], синтаксическим (синтаксическая деривация как проявление изоморфизма между словообразованием и синтаксисом) [ ], лексическим
(лексический состав русского языка со словообразовательной точки зрения
[Моисеев, 91], семантическим (границы словообразовательной семантики) [Улуханов,91], стилистическим (стилистические аспекты русского словообразования ) [Vinogradova];
— работы по диахронической морфологии русского словообразования [Улуханов, 92], диахронии словоизменения и словообразования русских существительных [Русский язык в его функционировании], развития категории
одушевленности в русском языке [Крысько].
Как и в каждой области знания, в морфологии немало интересных и спор-
ных проблем. Поскольку “словообразование постоянно балансирует в языке между системностью и беспорядком” [Пиотровский, 95], в литературе живо обсуждаются правомерность использования понятия усечения морфем [Добродомов], сложные случаи морфемики и словообразования [Шанский], пограничные случаи между словоизменением и словообразованием [Муравьева], лексикой и словообразованием [Глухих], морфемика в ее отношении к формообразованию [Герд, 94], проблемы трактовки групповой флексии [Плун-
гян,94].
С точки зрения историографии морфологии безусловный интерес представ-
ляет переписка Н.С.Трубецкого и Р.О.Якобсона о повелительном наклонении
русского глагола [Храковский, 94].
Типологические исследования по морфологии
Естественными и традиционными представляются работы по сопостави-
тельной морфологии русского языка с другими языками и прежде всего со сла-
вянскими, балканскими и балтийскими. Из огромного количества подобных
работ прежде всего следует отметить доклады российской делегации на X I Меж-
дународном съезде славистов в Братиславе (1993г.) [Земская и др., Нещименко,
], материалы научных конференций
и сборников, в которых среди прочих обсуждаются проблемы:
— сопоставительной славянской аспектологии [Смирнов];
— образно-экспрессивного употребления грамматических категорий [Ши-
рокова];
— словообразовательной интерференции в славянских языках [Джамбазов];
— морфологической типологии слова в разноструктурных языках, в том
числе в русском, английском, французском и испанском [Широкова,92];
— типологии грамматических категорий — в частности, категории лишитель-
ности в славянских и балканских языках [Иванов и др.], категории наклонения
в разных языках [Сабанеева];
— морфологические характеристики слов в “старославянском словаре” [Кры-
сько].
Как всегда, весьма разнообразны сопоставительные морфологические исследования по другим языкам: английскому [Биренбаум], малагасийскому [Коршунов], тагальскому [Шкарбан], чешскому [Стешковская], эвенскому
[Роббек], лезгинскому [Керимов], эскимосскому [Вахтин], вепсскому [Иткин],
догон [Плунгян, Plungian], дари [Островский].
Прикладные исследования по морфологии
Прикладная морфология, являясь составной частью компьютерной линг-
вистики, традиционно считается в ней наиболее исследованной областью,
в задачу которой входит:
— разработка морфологических процессоров — систем автоматического
морфологического анализа и синтеза слов, а также систем лемматизации — сведе-
ния словоформ к словарным словам;
— автоматизация морфологических исследований, предусматривающая про-
ведение ряда лингвистических работ с помощью ЭВМ для решения основной за-
дачи — разработки морфологических процессоров: использование СУБД для
составления морфологических словарей, проведения типологических исследо-ваний, моделирования морфологических явлений и т.д.
Следует отметить, что в настоящее время используются самые разнообраз-
ные автоматизированные системы обработки речи и текста, применяющие мор-
фологические процессоры: системы машинного перевода, коррекции и редакти-
рования текста, анализа и синтеза речи, информационного поиска (в особенности
полнотекстовые системы), автоматического реферирования, автоматические словари, экспертные системы и обучающие лингвистические автоматы. В указанных системах морфологические процессоры являются наиболее надеж-
ными и хорошо отработанными компонентами. В последних промышленных и коммерческих разработках хорошо зарекомендовали себя морфологические процессоры процедурного типа, работающие на базе словаря основ, — ср. сис-
темы автоматического морфологического анализа в СМП АСПЕРА [Королев,
91,95], MORSE [Пиотровский, 95], в автоматических корректорах WinОРФО [Ашманов, 95], автоматического морфологического синтеза в СМП СПРИНТ-2 [Тихомиров, 92], лемматизации русских слов [QUALICO-94].
Модификация морфологических процессоров в основном идет за счет
использования блока анализа слов, не содержащихся в словаре (“новых слов”),
которые традиционно анализируются на основе принципа морфологической аналогии, предполагающего сильную корреляционную зависимость между
грамматическими характеристиками слов и буквенным составом их концов.
Этот принцип давно и успешно используется в морфологических процессорах, разработанных Г.Г.Белоноговым. В 80-е годы киевскими лингвистами (В.И.Пе-
ребейнос, Т.А.Грязнухина, Н.П.Дарчук и др.) принцип аналогии был положен
в основу морфологических анализаторов русского языка, работающих без ка-
ких-либо словарей. Модификация этого подхода, также предполагающего ис-
ключение словарей для целей морфологического анализа или использование
их в минимальной степени, в последнее время была предпринята Г.Г.Белоно- говым для русского и некоторых других языков [Белоногов и др.,95], а также другими специалистами по вычислительной морфологии [Шереметьева и др., 96].
Широкое распространение персональных ЭВМ создает благоприятные
условия для автоматизации морфологических исследований — автоматического
формирования русского морфологического словаря по исходным массивам слов
и словосочетаний [Большаков,93], использования специализированных словарных
баз данных для анализа морфологии русского языка, автоматического типологи-
ческого анализа морфологии семитских языков [QUALICO-94], автоматического
формирования перечня структурных типов префиксов русских существительных
[Герд, 93], использования автоматизированной системы составления и ведения флективных классов русских существительных, прилагательных и глаголов, применяемых в морфологическом процессоре СМП АСПЕРА [Королев, 95],
моделирования морфологического анализа русских слов, содержащих суффик-
сы [Гельбух, 92].
В заключение напомним о том, что за последние несколько десятилетий
морфология переживала свои периоды взлетов и падений. В 60-е годы нашего
столетия определенный застой в морфологических исследованиях был вызван
бурным распространением структурного синтаксиса, а затем и семантики. Одна-
ко со временем развитие науки и требования жизни все расставили по своим ме-
стам, и в последние годы, как свидетельствует наш краткий обзор, теоретическая
и прикладная морфология вновь являются важным полигоном для лингвистичес-
кой теории и практики.
Обеспечение взаимодействия с ЭВМ на естественном языке (ЕЯ) является важнейшей задачей исследований по искусственному интеллекту (ИИ). Базы данных, пакеты прикладных программ и экспертные системы, основанные на ИИ, требуют оснащения их гибким интерфейсом для многочисленных пользователей, не желающих общаться с компьютером на искусственном языке. В то время как многие фундаментальные проблемы в области обработки ЕЯ (Natural Language Processing, NLP) еще не решены, прикладные системы могут оснащаться интерфейсом, понимающем ЕЯ при определенных ограничениях.
Существуют два вида и, следовательно, две концепции обработки естественного языка:
для отдельных предложений;
для ведения интерактивного диалога.
Природа обработки естественного языка
Обработка естественного языка - это формулирование и исследование компьютерно-эффективных механизмов для обеспечения коммуникации с ЭВМ на ЕЯ. Объектами исследований являются:
собственно естественные языки;
использование ЕЯ как в коммуникации между людьми, так и в коммуникации человека с ЭВМ.
Задача исследований - создание компьютерно-эффективных моделей коммуникации на ЕЯ. Именно такая постановка задачи отличает NLP от задач традиционной лингвистики и других дисциплин, изучающих ЕЯ, и позволяет отнести ее к области ИИ. Проблемой NLP занимаются две дисциплины: лингвистика и когнитивная психология.
Традиционно лингвисты занимались созданием формальных, общих, структурных моделей ЕЯ, и поэтому отдавали предпочтение тем из них, которые позволяли извлекать как можно больше языковых закономерностей и делать обобщения. Практически никакого внимания не уделялось вопросу о пригодности моделей с точки зрения компьютерной эффективности их применения. Таким образом, оказалось, что лингвистические модели, характеризуя собственно язык, не рассматривали механизмы его порождения и распознавания. Хорошим примером тому служит порождающая грамматика Хомского, которая оказалась абсолютно непригодной на практике в качестве основы для компьютерного распознавания ЕЯ.
Задачей же когнитивной психологии является моделирование не структуры языка, а его использования. Специалисты в этой области также не придавали большого значения вопросу о компьютерной эффективности.
Различаются общая и прикладная NLP. Задачей общей NLP является разработка моделей использования языка человеком, являющихся при этом компьютерно-эффективными. Основой для этого является общее понимание текстов, как это подразумевается в работах Чарняка, Шенка, Карбонелла и др. Несомненно, общая NLP требует огромных знаний о реальном мире, и большая часть работ сосредоточена на представлении таких знаний и их применении при распознавании поступающего сообщения на ЕЯ. На сегодняшний день ИИ еще не достиг того уровня развития, когда для решения подобных задач в большом объеме использовались бы знания о реальном мире, и существующие системы можно называть лишь экспериментальными, поскольку они работают с ограниченным количеством тщательно отобранных шаблонов на ЕЯ.
Прикладная NLP занимается обычно не моделированием, а непосредственно возможностью коммуникации человека с ЭВМ на ЕЯ. В этом случае не так важно, как введенная фраза будет понята с точки зрения знаний о реальном мире, а важно извлечение информации о том, чем и как ЭВМ может быть полезной пользователю (примером может служить интерфейс экспертных систем). Кроме понимания ЕЯ, в таких системах важно также и распознавание ошибок и их коррекция.
Основная проблема обработки естественного языка
Основной проблемой NLP является языковая неоднозначность. Существуют разные виды неоднозначности:
Синтаксическая (структурная) неоднозначность: во фразе Time flies like an arrow для ЭВМ неясно, идет ли речь о времени, которое летит, или о насекомых, т.е. является ли слово flies глаголом или существительным.
Смысловая неоднозначность: во фразе The man went to the bank to get some money and jumped in