Машины, которые говорят и слушают
На второй стадии к среднему участку сегментов применяют сравнение с эталонами (этих эталонов для каждого класса сегментов может быть до 100). При сравнении средний участок сегмента по-ступившей на вход реализации сравнивается с множеством эталонов, которые подучены от специально обученных дикторов. Использование сегментации I уровня позволяет, как отмечается в [l79], ускорить общую сегментацию в пять раз по сравнению с унифицированной, основанной .исключительно на коэффициентах линейного предсказания.
Как уже отмечалось, ключевой проблемой систем понимания Речи является верификация сдоврсиьк гипотез.подожданных различ-иыми источниками знаний. Блок словесной верификации должен оце-нвдь, насколько акустические данные входной реализации соответствуют фонетической транскрипции гипотезируеного слова.
2S
В соответствии с оценкой, словесный верификатор отбрасывает большее числе гипотезированных слов, сохраняя возможные пра~ вильные, чтобы впоследствии отобрать единственное с помощью инфор~ мации высших уровней.
В Hearsay -П слова порождаются либо словесным гипотезато-ром снизу вверх (блоком POMOW), либо преде называются сверху вниз семантико-синтаксическим блоком sass . Блок словесной верификации wizard обрабатывает гипотезы о словах снизу вверх, используя акустическую информацию и результаты автоматической сегментации. Каждый сегмент высказывания представлен вектором фонемных вероятностей (т.е. с каждым отрезком высказывания связываются определенные звуки, которым присваиваются некие веса), Каждое слово словаря записывается эталонным графом возможных фонетических произнесений, учитывающим все альтернативные варианты произнесений. Однородная модель, используемая блоком словесной верификации, дает возможность найти оптимальное совпадение одного из эталонов (соответствующее пути на одном из эталонных графов) и участка входной реализации, соответствующего слову.
В системе Hearsay-П при словесной верификации стыки между словами не рассматриваются, делается лишь их внутренняя обработка. wizard пытается верифицировать слова, как будто они находятся в изоляции.
При верификации слова обрабатываются снизу вверх следующим образом: предсказанные моменты начала и конца слова связываются с соответствующими сегментами высказывания bseg и eseg. Исследуются все пути в эталонных графах возможных слов, которые совпадают с отрезками и входной реализацией. Сравниваются с эталонами отрезки, которые начинаются в (baeg-I: beeg +I ) и заканчиваются в jeseg -I I eeeg +I(, т.е. параллельно рассматриваются девять возможных участков высказывания, что приводит к девяти оптимальным путям на эталонных графах, из которых выбирается тот. оценки которого наибольшие, или наиболее соответствуют рассматриваемому участку. Сдвиг на один сегмент вправо или влево позволяет избегать ошибок при представлении входного, высказывания (акустических данных) различными источниками знаний. В результате блок словесной верификации может изменять время словесных гипотез, а также их оценки. Следует отметить, что если в проектах ВШ (Speechlis и HWIM) идет непосредственный переход от фонетического описания к словесному, то в Hearsay-П используется еще промежуточный, слоговый уровень между словами и звуковыми сегментами. Для поддержки словесных гипотез используются так называемые типовые слоги, слоготипы (syltypes).
Ццея слоготипов сводится к тому, что слоги, имеющие похожие сегменты (например "та", " па"), относятся к одному типу. Никаких попыток различать слова с одинаковыми слогами в Нвагвау-П не делается. Каждый слоготип характеризуется слоговым ядром, определяемым эвристически присвоенными сегментными метками и положением максимума энергии на отрезке. Для каждого слоготипа гипотези-руются слова, в которых встречается данный слог; многосложные слова отбрасываются, если плохо согласовываются о последовательностью слоготипов. Подробное описание слогового гипотезатора pokow содержится в С 1783.
В Неагаау-П содержится еще один гипотезатор - гипотеза-тор словесных последовательностей wozeq. В сравнении со стратегией однословных "островков надежности" многословная последовательность желательна по двум причинам:
1) доверие к гипотезе о последовательности сдов более высоко, чем в однословной гипотезе;
<;) правильность оценки (в очках) для последовательности слов выие, чем для одного слова. (Последовательность слов использует избыточность языка, йероятность того, что гилотияируемая последовательность правильна, может превосходить вероятность того, что правильно одно слово. Сравнение оценок, основанных на средних оценках нескольких составляющих, статистически более надежно, чем сравнение, основанное на оценке одной составляющей.)
Синтаксический и семантический источники знаний в Неагвау-п представляются блоком sass . Этот блок имеет дело с гипотезами, представляющими слова, словосочетания или фразы, воспринятые или предложенные. Задача sass - найти наиболее правдоподобное предложение по последовательности смежных слов. Правдоподобие определяется достоверностью словесных гипотез и грамматической правильностью и осмысленностью предложения. Как уже отмечалось, в и«эаг-aay-il многочисленные альтернативы представляются в общей информационной базе и обрабатываются параллельно независимыми информационно направляемыми программными блоками - модулями источников знаний, которые создают, проверяют и переписывают гипотезы о высказывании, запоминая их на доске. Одна размерность доски - уровень представления, другая - время, третья - вероятность правильности гипотезы, оцениваемая в очках. С точки зрения sass общую информационную базу ("классную доску") можно рассматривать как схему гипотезированных слов, порождаемых различными источниками знаний. Вертикальные измерения - это очки (в диапазоне - 100 * -» +100), оценивающие достоверность словесных гипотез.
31
30
Проблемы, стоящие перед семантико-синтаксическиы блоком -неопределенный комбинаторный поиск, слабое (например, предложение заполнить пробелы на временной оси гипотезами о словах) и сильное (например, совсем отвергнуть какую-либо гипотезу) вмешательство, необходимость использовать частичную информацию (частичные грамматические конструкции), способность динамически менять свои критерии достоверности - общие проблемы многих больших систем,основанных на информационном управлении.
Уффективное решение этих проблем, по-видимому,потребует построения такой системы, в которой последовательность процедур заключительной обработки чувствительна к различным сотрудничающим и конкурирующим отношениям между гипотезами, ато означает, что семантико-синтаксическая обработка облегчается на гипотезах, поддержанных одновременно несколькими источниками знаний, и задерживается на гипотезах, которые конкурируют, не согласуются с очень надежной гипотезой. Задержка гипотезы должна быть достаточно гибкой, недетерминистской, неокончательной, так как и слабая гипотеза при интерпретации высказывания может оказаться верной. Гибкая задержка осуществляется в Hearsay- П механизмом фокусировки внимания, который распределяет ресурсы так, чтобы в первую очередь рассмотреть наиболее обещающие гипотезы.
Синтаксические и семантические знания о проблемно-ориентированном языке Hearsay-П выражаются в компактной, легко читаемой грамматике» которая задается параметрическими структурными представлениями (PSR), являющимися множеством пар типа "определение - объект". psr используются для определения класса слов и фраз, которые могут выполнять синтаксические и семантические функции проблемно-ориентированного языка, состоящего для Hearsays И из простых вопросов. Например, psr:
($СЪА35: $QUEPY, $HAME: "PAPSED QUEPY", 6 : $QinME + $flfHAT,
El ТЕ L Ь +'$ ME + $ПЕ + ФТОПСЗ, 6 » WHAT + HAPPENED + $ АЮТ AY, e s WHAT + ф BE + THE + $N EWS+tRE + ^TOPICS
ЦСТЮМ t PASS, $LEV EL ! 300)
определяет класс возможных вопросов в терминах их альтернативных синтаксических реализации, аначок ® обозначает принадлежность к классу. Каждая член класса - это последовательность эталонов, составляющие которых, разделенные знаком "+", слова или фразы. «разовые сосгааяяшеи» помечаются значком $ и определяются в
32
свою очередь другими psr. faction pass означает, что реакция блока ЗАЗЗна распознавание люоого из пяти эталонов в классе должна трактоваться как признак вопроса ( $query ) .»level оценивает относительную завершенность частичного грамматического разбора, лежащего в основе гипотезируемой фразы PSR:
6 : $CL ASS ! $TOPICS,
ЈPL АСЕ,
$FOOD,
$TECHNOL ОСУ,
$ С OVER NT.IE:IT,
ФР01Т1Т1С,
$PEOPL E,
e ; $TOPICS + SCONJUN CTICOT + 3>TOPIG S, 6 : CACTIOH : PASS, LEVEL : 40)
и определяет класс возможных предметов разговора (.Topice) в терминах их семантических подклассов.
Как уже упоминалось, sass имеет набор сильных и слабых средств, представляющих различные виды обработки информации на синтаксическом и семантическом уровнях.
1.Правило распознавания порождает гипотезу о фразе по достаточно надежным гипотезам о составляющих фразы. sass рассматривает слова распознанными, если их оценки (в очках), определенные другими источниками знанчй, превышают некий порог. Составляющие фразы должны также удовлетворять некоторым структурным требованиям - например, таким, как временная смежность между составляющими. Правила распознавания ведут обработку снизу вверх, двигаясь от частичного грамматического разбора к полному. Они представляют собой сильные средства обработки (сила оценивается вероятностью того, что последовательность распознанных составгчющих может как-то осмысленно интерпретироваться) .
2. Правила предсказания гипотезируют сио-во или фразу в зависимости от вероятности контекста, определенного на предыдущих этапах распознавания высказывания. Правила предсказания выполняют обработку, перекрывая временной ин-Тврвая "островками надежности". Эти правила необходимы потому, что не все слова в произнесенном высказывании могут быть рас-чознаны снизу вверх, т.е. источниками знаний нижних уровней. ^ияа правила предсказания определяется условной вероятностью того, что предсказанные составляющие могут быть в высказывании при
Денном (распознанном ранее) контексте, ата сила обратно пропор-'тонаяьна числу составляющих,которые могут появиться в этом контексте.
Зак.480
3. Правила повторного разбора ( res-pelling rules ) производят обработка7 сверху вниз и численно оценивают составляющие предскапанной фразы, разбивая гипотезируемое предложение на гипотезы для последовательных составляющих или же "расщепляя" гипотезируемый класс на альтернативные гипотезы для различных составляющих высказывания. Правила повторного разбора (прочтения) проводят обработку, возвращаясь к словесному уров. ню, так что предсказание (о фразе) верхнего уровня может быть подвергнуто испытанию (слово за словом) источниками знаний нижнего уровня, если на верхнем уровне что-то не сходится.
4. Правила постдикции несЭходимы для того, чтобы уже после сформирования понятия подтвердить его большим числом "очков доверия", дать ему более высокую оценку, подтвердив существующую гипотезу о фразе другими гипотезами. Правила постдикции как более сильные включают правила предсказания и повторного прочтения, которуе слишком слабы, чтобы подтвердить создание гипотезы, но могут внести полезный вклад, когда гипотеза уже существует. Правила постдикц^и выполняют три функции:
а) позволяют объединять выводы, поддерживающие оцениваемую гипотезу на основе различных источников знаний;
б) дают воамсвность гилотеэирсвать слова и фразы с низкими первоначальными оценками за счет их распознавания на основе контекста»
в) способствуют фокусированию внимания на главных направлениях, определяемых возрастанием очков гипотез тех слов, которые контекстуально возможны (и таким ооразом могут считаться правильными), так что обработка высказывания в этих направлениях происходит по списку приоритетов в первую очередь.
Автоматическое превращение описательной информации о грамматике языка -Hearsay- П , заданной параметрическими структурными представлениями ( psr), в процедурную форму осуществляет ком-пиллятор суытет , который транслирует эти представления в правила распознавания, предсказания, повторного прочтения и постдикции. cvshet разбивает последовательности слов, составляющих высказывания и представленных PSR, на пары последовательных эталонов, формируя новые подпоследовательности и порождая для них соответствующие правила [ 13Й 3 .
Одна из самых интересных систем автоматического распознавания слитной речи - система harfy, разработанная по проекту arpa (США, Питсбург). Эта система по сравнению с другими разработками, проводившимися по этому проекту [l5lj,наиболее близка к практическому использованию. Словарь harpy составляет ЮН словоформ - слов телефонной информацион-
34
но-справочной службы о новостях. При испытаниях harpy была получена точность распознавания фраз, равная 95% на обучающей выборке и 92^ на контрольной. Система воспринимает слитную речь, не содержащую стилистических ошибок. В harpy информация о языке представлена фонетическим графом - интегральной сетью переходов с конечным числом состояний, не учитывающей априорные вероятности переходов. Распознавание осуществляется сравнением входной реализации, представленной маркированными сегментами, с этой сетью.
Система содержит несколько эвристических процедур для улучшения ее характеристик: выделение подсетей и сжатие их для уменьшения общего объема сети, автоматическое составление описания коартикуляционных явлений на стыках слов и т.д. Время распознавания системы в период испытания составляло 2D с на 1 с речи (есть сведения, что в настоящее время оно снижено до Зс на I с речи).
Синтаксические значения в hahpy однозначно определяются независимым от контекста рядом выработанных правил, формализующих проолемно-ориентированный язык. Лексические знания представлены словарем, который содержит символическую фонемную транскрипцию всех альтернативных произнесений. Правила стыков, как и в системах IBM, учитывают фонетические явления при соединении слов в слитно произносимое словосочетание. В качестве первичных параметров используются коэффициенты автокорреляции и линейного предсказания. У системе Нлару в процессе работы осуществляется адаптивная подстройка под диктора с помощью десяти обобщенных эталонов, характеризующих усредненный вокальный тракт группы дикторов. На базе harp? был разработан голосовой ввод в картографическую систему ( vigs), позволяющий дублировать клавиатуру при вводе картографической информации [l3l].B настоящее время система harpy переводится на мультимикропроцессорную базу [36].
перейдем к краткому описанию систем "понимания" речи. Их разработка началась после появления отчета [161] , в котором известные американские специалисты в области искусственного интеллекта, распознавания речи, системного программирования, математической лингвистики изложили взгляды на проблему построения систем, воспринимающих слитную речь, произносимую на естественном языке. Основные положения отчета [161] легли в основу пятилетней программы arpa.
Достаточно подробные обзоры по начальному этапу работ над системами понимания речи содержатся в [79,85] . Поэтому здесь рассмотрим лишь итоги проекта arpa в области построения
35
конкретных СПР. Можно считать законченными (в большей или меньшей степени) системы понимания речи трех американских организаций -ОЫП, 3RI и ввн [179, 162, 187, 189].
Основные усилия c:,?J были направлены на построение системы понимания речи Неагаау-1 "^основанной на принципе: "Выдвижение гипотезы и ее подтверждение различными независимыми источниками знаний о языке". Отдельные элементы этой системы подробно освещены в [79, 85, 8b, I2U, 179].
Система Псагвву-п была испытана на IOU предложениях, составленных из IUH словоформ, аналогичных словарю системы harpy, описанной ранее (система HARPY имела грамматику с гораздо более простым синтаксисом). Ошибки при распознавании фраз в Неагаау-п составляди 16%, а время распознавания превышало время распознавания системы harfx в 2 - 33 раз.
В фирме вен на I этапе разрабатывалась система понимания речи Speeohlis, в качестве языка которой использовался упрощенный вариант языка ИПС lunar; система Ь^-паг давала возможность анализировать образцы лунных пород[?9,Уб1В дальнейшем была усовершенствована этой же фирмой новая система понимания речи нули (Hear what I mean ) С учетом недостатков Speechlia.
.Язык системь. hwim относится ^ области бухгалтерских расчетов. Вместо раздельных синтаксического и семантического блоков системы Speechlis , нздш имеет единый, семантико-синтакси-ческий модуль, реализующий так называемый блок "прагматической грамматики". Эта грамматика представлена здесь в виде сети и основывается не на таких синтаксических категориях, как подлежащее, сказуемое, определение,а на семантических - "поездка","ли ад", "расстояние". Словарь itvim включает 1100 словоформ [185, I8yJ
Прагматическая грамматика, хотя и жестко связана с проблемно-ориентированным языком, очень удобна длк обеспеченля простых принципов использования синтаксических, семантических и прагматических ограничений языка, которые необходимо делать для повышения точности интерпретации высказывания. По-видимому,на перво» этапе построения автоматических систем понимания речи целесообразно так и поступать, т.е. разделить задачи использования словарями (например, при автоматическом машинном переводе текстов) и использованием синтаксиса и семантики для построения СПР. dc ьтором случае задача несколько иная - и более сложная, и боле( простая. С одной стороны, нет уверенности в правильном распоэ навании всех составляющих высказывания; неясно, существуют я'
36
вообще пробелы (паузы, междометия и т.д.) на временной оси,где искать ключевые слова и пр. Но с другой стороны, мы ограничиваемся достаточно простым проблемно-ориентированным языком с относительно небольшим словарем и упрощенными грамматическими конструкциями.
В системе нто,1 акустическая информация используется блоками акустико-фонетического распознавания ( apr) и периметри-чеокой верификации слов ( ?та ). Результатом работы APR является фонетическая транскрипция "снизу-вверх".
Блок pvw осуществляет верификацию "сверху-вниз", води словесная гипотеза поддерживается акустическим уровнем. Основной программный модуль верификатора - программа синтеза слов по правилам.
Отдичие системы h.'.'im от Speechlia заключается также и в характере акустико-фонетического распознавания - в наличии у системы HWIM блока селективной модификации ( зМ), дающего возможность реализовать двухступенчатую сегментацию и маркировку. Программа SM на выходе порождает решетку сегментов, представляющую возможные альтернативы фонам. Каждый из сегментов первоначально маркируется одной меткой. Затем в зависимости от этой предварительной классификации вычисляются некоторые величины аку-отичаских параметров и модифицируются оценки данных фонем. Функции пяотности вероятностей, используемые блоком сеяективной модификации sM, поступают в бяок агер ( Acoustic Rionetic Experiments Facility ), который содержит модули, позволяющие моделировать звуки речи и проверять параметрические многомерные распределения вероятностей для ряда фонетических классов, что дает возможность полнее использовать многие независимые параметры одновременно.
Программа ан? выделяет не только грубые классы фонем, но и производит идентификацию внутри классов. Характеристики фонам в слитной речи сильно зависят от контекста, т.е. наблюдается наличие нескольких аллофонов, для которых оценки сильно перекрываются. Поэтому в hv/im для каждого класса фонем устанавливается ряд фонетических признаков и используется таблица, в которой показано ранжирование этих признаков для аллофонов каждого класса.
После сегментации высказывания и построения сегментной решетки, перекрывающей высказывайте отрезками, соответствующими фонемам, блок управления вызывает процедуру лексического поиска для сканирования вдоль всей сегментной решетки и поиска Ib наиболее подходящих слов. Из-за большой неопределенности на стыках
37
слов эту процедуру проделывают слева направо и справа налево. Сяова, отобранные процедурой лексического поиска, образуют словесную решетку, где они используются при последующей обработке. Блок управления, выбрав из УО отобранных при сканировании слов одно с наибольшим весом (получившее наибольшую оценку).пытается, основываясь на прагматической грамматике, строить гипотезу о большем отрезке сигнала. Если расширение гипотезы не получается, блок управления берет следующее (по вес^) слово словесной решетки; если это слово подходит, то расширяют двухсловную гипотезу, если же нет, то подбирают новое ключевое слово.так продолжают до тех пор, пока не будет построена гипотеза обо всем высказывании.
Если система не в состоянии сформировать правильную гипотезу о фразе или если исчерпаны ресурсы, то считается,что система не смогла интерпретировать высказывание. При расширении гипотезы блок управления вызывает синтаксическую компоненту, которая дает возможность оценить гипотезу и предсказать новые слова. Синтаксическая компонента помечает каждое слово словесной решетки, которое можно использовать для расширения гипотезь', и устанавливает, какие еще слова требуются для подтверждения этой гипотезы ("подсказка" сверху). В связи с последним могут быть произведены дополнительные сравнения с эталонами для проверки, нет ли в текущей реализации высказывания необходимых слов.
После того, как синтаксическая компонента ("прагматическая грамматика") сделала свои предположения слов слева направо, она вызывает процедуру лексического поиска для проверки новых гипотез о словах. Оценки слов, оценки гипотез об отрезках фразы и оценки фраз ("событий", как их называют разработчики Wi'iu ) влияют на общую стратегию интерпретации высказывания. Событиям присваиваются очки, приблизительно равные сумме очков слов подтвержденной гипотезы и слов, требуемых для расширения этой гипотезы,
Попробуем рассмотреть пример, из которого станет ясно, как работает механизм анализа предположения, основанный на так называемой "островковой стратегии". Пусть на вход системы поступила фраза:
"What Is the total budget figure ?"(Какова общая сумма бюджета?). При просмотре фразы справа налево процедура лексического поиска формирует таблицу:
17 17
24
22 11
182
178 174
-38
-10
-R
-d
-R
1. FIGURE
2. FIGURE
3. TOTAL
38
4. FIGURE1723169-535. YEAR2023107-23б. УСУ2022100-317. IS3596-318. ABOVE10149409. BUDGET111781-1610. IT6880-1611. IS2576-3112, ТО7973-4613^ WOULD0372-3114. -34572015, FIGURE172169-38Слева направо16. TOTAL - ED71?1971017. FIGURE1724182018. WHAT03178019. PIOURE1722178-3820. TOTAL711174-1021, FIGURE1723169-5322. HJDGET1117154-1623. VKAH2023107-2324. YOU2022100-3125. IS3596-3126. FIGURE - ED172389-3827. FIGURE172883028. BUDGET111781-1629. IT6880-1630. HIS2576-31
Список представляет 30 возможных слов при сканировании справа и слева, позиции правой и левой конечных сегментов слова, очков, которые получило данное слово при сравнении эталонов с участками входной реализации на местах между начальной и конечной точками гипотезируемого слова, логарифма вероятности произнесения данного слова. Список может описывать некие специфические свойства, связанные с произношением (здесь всюду пропуски - -), а также показывать, справа или слева производилось сравнение с эталоном (здесь показатели R и L).
Анализ списка гипотезируемых слов показывает, что больше всего очков набрало слово totaled (при сканировании слева направо). Бто слово занимает в словесной решетке позицию от сегмента 7 до сегмента 12 и имеет вес 197. Для этого слова соа-
39
дается однословная гипотеза, которую должна расширить синтаксическая процедура. Но прагматическая грамматика не позволяет формировать фразу с