Машины, которые говорят и слушают
После объединения аллофонов и сглаживания переходов между ними в аллофонной цепочке должны быть расставлены ударения и указана интонация в соответствии с метками пользователя при кодировании входного текста. Алгоритм конструирования речи устанавливает частоту основного тона только для отмеченных слогов.Управление интонацией основано на градиентном управлении частотой основного тона в ударных слогах. В нейтральных интонациях безударным слогам соответствует среднее значение частоты основного тона, тогда как ударные будут располагаться несколько выше средней линии тона. Наклон создается программой, а пользователь только помечает ударные слоги.
Как уже отмечалось, синтез речи в системе преобразования "текст - речь" системы Texas instruments основан на линейном пред-сказуемостном кодировании, являющемся математической моделью голосового тракта, реализованной в виде фильтра. Коэффициенты линейных уравнений фильтра, определяемые путем анализа естественной речи, используются в модели для управления "конфигурацией" голосового тракта при формировании речевого сигнала. В системе запоминаются соответствующие различным аллофонам коэффициенты фильтра, коэффициент передачи фильтра, частота сигнала возбуждения,используемого для управления фильтром. Система Texas Instruments обеспечивает [100] хорошее качество речи при использовании ЛПК со скоростью передачи информации от 1200 до 2400 бит/с.
В Cl40] отмечалось, что разработанная в 1976 г. система дискретного распознавания слов was, предназначенная для ввода речевых команд в ЭВМ управления огнем тактической артиллерии, использовала систему речевого ответа (обратной связи) YS фирмы Vo-fcrax. Блок речевс" о ответа повторял слова устного донесения, которые по радио или телефонному каналу поступали к корректировщику стрельбы. В случае, если устная команда распознавалась машиной верно,корректировщик произносил ключевое слово, означающее, что команда может поступить в систему управления огнем.
В [30,129] рассматриваются новая интегральная схема синтезатора речи sc-OI и система для проектирования словаря cds-ii. Речевой интегральный синтезатор sg-oi реализует фонемный синтез. Для преобразования фонем в параметры речи используется фо-
48
немный контроллер.Синтезатор работает с внешней памятью, где хранятся 6-разрядные коды фонем. В отличие от системы Texas Inntru-ments синтезатор sc-OI использует для моделирования голосового тракта человека не кодирование, основанное на линейном предсказании, а более традиционный метод, основанный на применении аналоговых полосовых фильтров, на вход которых поступают сигналы возбуждения от генератора с регулируемой частотой, моделирующего работу голосовых связок, и от генератора псевдослучайных сигналов, моделирующего шумовой источник.
На входе синтезатора SC-OI стоит фонемный контроллер, который преобразует код фонемы (их 64) в матрицу спектральных параметров. Контроллер же может изменять частоту основного тона;
что позволяет устранять монотонность звучания синтезированной речи. Управление синтезатором осуществляет генератор синхронизирующих импульсов, находящийся в интегральной схеме. Управление час-'тотой основного тона производите"! внешним воздействием на источник тонального сигнала.
После поступления кода фонем на фонемный контроллер последний в соответствии с тем, какой звук должен быть порожден,управляет моделью голосового тракта, воздействуя на цепи с переключаемыми емкостями. Длительность каждой фонемы устанавливается в пределах 50 - 250 мс.
Фонемная информация, поступающая на вход, создается программой преобразования, которая анализирует тексг, вводимый в память из ведущей ЭВМ или с клавиатуры. В кодах фонетических сим-всдов, формируемых этой программой, содержатся числа, означающие длительность генерируемого звука, которая зависит от ударения.
Информация для синтезатора sc-OI вырабатывается системой для проектирования словаря типа cds -II, на входной клавиатуре которой набираются слова или фразы, подлежащие синтезу. Система базируется на микропроцессоре типа 6У08 фирмы Motorola.Дд-горитм преобразования "текст-речь" и операционная система занимают 24 кбайта ПЯУ и рабочую часть оперативной памяти емкостью 2 кбайта. Выходная информация ciis-11 используется для программирования памяти стираемого ПСУ, где хранятся данные для ИС синтезатора. Для программирования ПЗУ информация из cds-ii передается последовательным кодом в ведущую ЭВМ (которую можно использовать для перевода слов в фонемы), ленточный перфоратор или другое устройство с целью последующей записи в ПЗУ. В систему проектирования словаря входят также печатающее устройство, позволяющей печатать речевую информацию в шестнадцатиричном коде (исполь-
зaк.480 49
ауя, как отмечено, 6 бит на фонему), а затем вручную вводить в программатор ПЗУ.
Наряду с системой cDy-II ^той же фирмой выпускается универсальный речевой модуль fYHtl), не обладающий возможностью преобразования текста в речь. В памяти этого устройства в табличном виде записаны коды 1300 слов, а также 25 суффиксов и префиксов. Как и система проектирования словаря cds-ii, УРЫ включает в свой состав микропроцессор типа 6806. Он также содержит синтезатор типа ас-01, операционную систему, хранящуюся в ПЗУ емкостью 2 кбайта, таблицу слов, записанную в перепрограммируемом ПЗУ емкостью 2 кбайта, и I кбайт рабочей области оперативного запоминающего устройства. УРМ можно использовать в качестве рабочего модуля а различной аппаратуре. При этом модуль может управляться внешним процессором или ведущей ЭВМ.
Некоторые сведения о других синтезаторах содержатся в [51, 52, 55, 142].
1.4.2. Повышение качества синтезируемой речи. Несмотря на появление коммерческих систем автоматического речевого ответа,синтетическая речь еще ке качественна. Поэтому в лабораториях мира продолжают энергично работать над проблемой синтеза речи. В трудах ежегодных международных конференций по акустике речи и обработке сигналов, которые проводятся Институтом инженеров по электротехнике и радиоэлектронике США с 1976 г., большинство докладов посвящено автоматическому синтезу. Работы относятся к самым различным языкам.
В С 115] описана разрабатываемая для шведского языка система "текст-речь", базирующаяся на правилах перевода буквенной информации в фонетическую. Система синтеза состоит из последовательности преобразований, каждое из которых отражает часть знаний о речевое процессе. Отмечается, что для получения качественной речи целесообразно математизировать использование таких просодических параметров, как длительность звуков и интонация. При формализации правил преобразования был использован опыт работ по созданию систем "текст-речь", проводимых в США, и учтен тот факт, что фонетическое представление высказываний в шведском языке бо-яее простое, чем в английском.
Наибольшие трудности вызывает поиск в неразмеченном знаками ударения тексте ударных слогов, а также слогов вторичного ударения ( aecondary stressed syllable ). Во время этого поиска следует использовать различные ключевые индикаторы, такие как сдвоенные гласные, некоторые окончания и комбинации гласных с согласными, образующими ударные слоги.
50
разработаны основные правила преобразования фонетической цепочки в синтезированную акустическую волну.Эти правила, для формализации которых создан специальный язык, работают на сегментном уровне. Например, правило, определяющее длительность сегмента, запювется<"segment>—< DURATION - Т * ЙХР (-ЬОО(В)* 0,12 - LOG(A>*
« 0,35)> ,
где Т - номинальная длительность; А,В,С, - переменные, зависящие от позиции и длительности слова или фразы.
В [Иб] сообщается о системе речевого синтеза, разработанной для английского языка в Bell Laboratories. Система обеспечивает более высокое качество синтезируемой речи за счет» I) более точных правил определения длительности звуков речи, основанных на измерениях, которые продесаны на участках естественной речи; 2) расширяющихся правил учета аллофонических изменений как функции словесных и других границ; 3) введения большого числа правил просодии нижнего уровня, учитывающих особенности речеобра-эования (ассимиляцию звуков, изменения внутри звукосочетания согласных, контекстную зависимость гласных и т.д.); 4) правил, учитывающих медленные изменения параметров модели голосовых связок и шумового источника возбуждения. Многие особенности системы синтеза речи Bell Laboratories рассмотрены также в С75,Ь9].В [69], в частности, довольно подробно описаны свойства просодии английского языка.Предполагается различать просодию высшего (собственна Просодические функции) и просодию низшего уровней (их акустические компоненты) и использовать правила просодии для повышения качества синтезируемой речи.
При исследовании слитной речи выявилось, что в английском языке:
- главный фактор, определяющий длительность гласных, - позиция гласной в слове, а слова - в предложении (или в синтагме);
гяасная имеет наибольшую длительность, если она находится в последнем слоге перед паузой; это объясняется особенностями контура основного тона перед паузой, что значительно удлиняет гласный; различие длительности гласных в предпауэальной и непредпау-эальной позициях приблизительно находится в соотношении 2:1;
- последующие согласные укорачивают длительность гласного Ьо сравнению с некоторым средним значением), если за гласным следует глухой взрывной (характеризуемый смычкой), и удлиняют, если за гласным следует звонкий фрикативный; наибольшее влияние на длительность гласных согласные оказывают в предпаузальной позиции;
-.длительность безударных гласных, если они не находятся
в конце слова, составпяет около 40 мс; в конечных позициях они Содее длительны;
51
- дифтонгизация сильно удлиняет гласную;
- на длительность согласных основное влияние оказывают 2 фактора: положение согласной относительно ударного сдога и границ слова или предложения и консонантность окружения;
- длительности консонантных согласных (а именно глухих фрикативных f,s,S) подчинены точному аддитивному правилу, ударение и границы слова действуют как факторы приращения, а согласные , смежные с фрикативными, действуют как фактор укорачивания;
- наибольшее непостоянство длительностей в зависимости от ударения и позиции проявляют переднеязычные согласные t , d, n ',
- звонкие Фрикативные в середине и конце счов значительно короче глухих фрикативных, находящихся в такой же позиции;
- влияние окружающих согласных на длительность конкретной согласной зависит от способа и места их артикуляции; длительность согласной зависит также от степени консонантности ее окружения;
- в связи с этим комбинации двух последовательных согласных, характеризующихся одним и тем же местом артикуляции, проявляют тенденцию к уменьшению длительности обеих, например, пй и nt;
звонкие фрикативные обычно удлиняют соседнкж. согласную;
- длительность плавных и носовых,согласных сильнее других подвергается воздействию смежных согласных с ослыпей степенью консонантности, влияние которых проявляется даже через границы слов;
- начальная согласная функциональных слов (артикля и предлогов) значительно короче, чем в случаях значимых слов;
- легко предсказуемые слова обычно состоят из более коротких гласных и согласных, чем непредсказуемые;
- в английском языке согласные в начале слова могут обладать другими акустическими характеристиками, чем те же согласные в конце слова (это явление называют селективной аллофонией в отличие от позиционно обусловленной адлофонии, связанной с явлением коартикуляции);
- начальные аллофоны (по сравнению с конечными и средними) имеют более сильные консонантные признаки - большую прерывность, четкость интонационных составляющих (основного тона и гармонической структуры) в потоке рачи, более интенсивную шумовую составляющую фрикативных, более сильный взрыв с явным участком аспирации в глухих взрывных и т.п.; эти свойства начальных аллофонов нвняются признаками начала сообщения, обычно слова.
В С89] рассмотрены и некоторые другие свойства просодии, положенные в о&нову правил преобразования "текст - речь" и обеспечивающие высокую разборчивость и естественность синтетической речи.
52
вГ2] подробно описана лингвистическая и фонетическая сторона паботы, которую необходимо выполнить при реализации качественного синтеза речи по произвольному тексту. Важнейшими этапами иссяедований здесь являются:
- создание более совершенной модели речевого тракта;
- определение более полного набора абстрактных правил лингвистического описания текста;
- разработка полного свода правил, позволяющих вывести фонетические описания по правилам лингвистического описания текста (дравид преобразования букв в звуки);
- формализация морфофонематичаских правил и правил лексического ударения, которые дают на уровне слов окончательную коррекцию цепочки фонем (аллофонов);
- грамматический анализ предложений, раскрывающий иерархическую природу их построения для определения правильности интонационного контура;
- более тщательное иосдедование просодических коррелят лингвистических структур.
Отметим особую важность создания хорошей модели речевого тракта, параметры которой изменяются в соответствии с правилами ре-чвобразования. Хорошая модель позволяет существенно онизить объем информации, описывающей форму речевого сигнала (вырабатываемого на Мходе модели из небольшого числа параметров), а также более глубоко и еотеотвенно описать речевые явления. При параметрическом синтезе информация о фонемах (аллофонах) запоминается в виде комплекса параметров и правил модификации отих параметров под влиянием различных ограничений. В связи о этим для повышения качества синтеза необходимы структурные модели, отражающие ащ ограничения на различных уровнях - артикуляторном, дистрибутивом, словообразовательном, синтаксическом и семантическом. Эти иодеди должны координироваться гибкой структурой управления,обео-почивающей их взаимодействие.
Для повышения естественности и разборчивости речи, генерируе-"ой форматными синтезаторами, в [176 ] предлагается использовать вычисление форматных параметров на более коротких интервалах, что позволяет улучшило синхронный с основным тоном анализ. 1домен-т^ смыкания голосовых связок характеризуются импульсным воабужде" нием. На первом этапе анализа оцифрованной волны такие точки воз-°Й<дения легко выделяются (со средней точностью) процедурой пи-Чового детектирования. (Во время шумового возбуждения эти точки ^определяются случайно, тогда как при возбуждении речевого сиг-
53
нала импульсами голосовых связок большинство таких точек соответствует моментам смыкания связок.) Даяее, для каждого отрезка волны длительностью 10 мс с помощью ДПФ вычисляется 33-точечный логарифмированный энергетический спектр. Временные отсчеты для получения спектра берутся, начиная с момента, соответствующего найденной точке возбуждения. Если десятимиллисекундный сегмент содержит одну точку возбуждения, то логарифмы энергетического спектра вычисляются по формуле
^ = '° Чю Ц, ^ ехр (-^тп/32 '•
где п = 0 - 32; Л„, - отсчеты речевой волны, следующие за моментом возбуждения; У - оценка (в дБ) логарифма энергетического спектра на частотах 156, 25 х п (в Гц).
Итеративный анализ составляющих этого спектра и позволяет оценить все требуемые для синтезатора формантные параметры. Процедура итеративного анали-а посредством синтеза (когда спектр, синтезированный по приближенным формантным параметрам речи, сравнивается с реальным спектром входной речевой волны, и если расхождения велики, производится уточнение формант) позволяет получать параметры качественной синтетической речи.
В ряде работ подчеркивается, что для повышения естественности синтезированной речи целесообразно разработать хорошие правила корректировки микро- и макровариаций частоты основного тона, длительности звуков и интенсивности. Полная модель генерации частоты основного тона, его микро- и макровариаций рассмотрена в Ll04] , где исследовались различные синтетические структуры, позволившие выявить, в частности, влияние модальности на контур основного тона в вопросо-ответных системах при перемещении центрального слова фразы (слово, на которое делается акцент при вопросе). (Формирование контура ochobhofj тона будет более подробно рассмотрено в п.1.4.4).
В [113'] предлагается для повышения качества синтезированной речи (полученной методом линейного предсказания), поступающей на наушники, использовать эффект бинауральной реверберации который можно смоделировать, подав синтезированную речь на громкоговоритель и записав (в условиях реальной комнаты) прошедшув через громкоговоритель речь в два канала через разнесенные микрофоны. Полученные таким способом сигналы поступают на правый и левый наушники, создавая у слушателя впечатление более естест' венной речи.
54
для повышения натуральности речи в [162] предлагается про-записывать на магнитный диск больший емкости сообщения в Siawe параметров, представляющих собой набор раноон -коэффициентов. Требуемые фразы считываются в буферную память. На стомегабайтном диске можно таким образом записать 5000 сообщений яжительностыо по 15 с каждое. Время выборки сообщения 0,1 с,мак-симвльное число возможных каналов, по которым может поступать информация, - 128.
Ряд работ, появившихся в последние годы, посвящен повыше-шф качества синтезированной речи за счет модернизации модели источников возбуждения. Модель смешанного источника возбуждения рассмотрена в [1523 . Смешение достигается делением речевого спектра на две области - низкочастотную, возбуждаемую импульс-нк« источником, и высокочастотную, которая возбуждается шумовым источником. Для определения степени оэвончения вводится параметр fc • показывающий частоту отсечки между звонкой и глухой областями. Для компрессии речи Fp может выцеляться автоматически из речевого спектра и передаваться в управляющие цепи. Эксперименты, при которых использовалась новая модель, показали ее эффективность при синтезе звонких фрикативных и помогли ис-кяючить характерное "жужжание" вокодерной речи.
8 [166 3 описана новая функция возбуждения для синтеза,использующего коэффициенты линейного предсказания. Эта функция за счет соответствующего сглаживания, инверсной фильтрации и усечения верхушки сохраняет фазовые характеристики импульсов возбуждения, Поступающих из голосовой щели. Отмечается, что качество речи при этом существенно улучшается, а между тем до последнего времени в lpg-синтезаторах слишком мало усилий было направлено на поиск более соответствующих реальным функций возбуждения рачаобразующего тракта из-за того, что не были установлены четкие соотношения между остатком линейного предсказания и формой возбуждающей волны.
В [137] описан LPU-синтеэатор речи, разработанный в Норвегии. По мнении авторов, он обеспечивает высококачественную речь (при высокой компрессии) за счет использования более совер-аенной модели смешанного возбуждения. В модели предусмотрено использование:
- фильтра импульсов основного тона - двухполюсного фильтра, Делающего импульсы возбуждения более похожими на реальные импуль-^i поступающие с голосовых связок в полоогя речеобрааующего тракта;
55
Орфограф^еский текст
I
Трансляция "графема-фонема"
фонетическая цепочка
- фильтра, моделирующего влияние излучения речевого потока с губ (liP - radiation filter)!
- дополнительного фрикативного источника, который автоматически подключается при формировании звонких взрывных и фрикативных.
Ряд работ, связанных с повышением качества синтезированной речи, относится к проблеме формализации правил наложения на фонетическую цепочку интонационного контура. Они -Зудут подробно рассмотрены в п. 1.4.4.
1.4.3. Дифонный синтез речи. Одним из направлений, обеспечивших синтез более высококачественной речи, стало направление, связанное с выбором иной, чем фонема (или аллофон) структурной единицы, лежащей в основе формирования высказывания.Выяснилось, что основные неприятности, приводящие к ухудшению естественности и разборчивости речи, связаны с явлениями на стыках звуков. Поэтому в ряде последних работ по автоматическому синтезу речи в качестве опорного элемента выбирается участок речевого сигнала, включающий переход между звуками. Такие элементы называют "диадами", "дифонами", "транземами", парами фонем, машинными слогами...
В Ll433 описан диадный синтез французской речи. В памяти хранятся эталоны 1000 дифонов (пар фонем), представленных спектром, полученным с гребенки фильтров (отсчеты спектра брались каждые 13,3 мс) и частотой основного тона. Система предусматривает использование довольно простой грамматики для сцепления диад и автоматического определения просодии фразы. При обработке цепочки диад, соответствующей тексту для генерации синтезируемой волны, корректируются длительности звуков, микро- и макровариации частоты основного тона, контур интенсивности.
Дифонный синтез рассматривается и в [.1463 . Блок-схема этой системы "текст - речь" приводится на рис. 1.2.
Система юорвомйз (рис."1.2 ) превращает орфографическую запись предложения в звучащую речь. Скорость преобразования 0,1 с на предложение, состоящее из 70 символов. Система, включающая мини-компьютер, является полностью автономной.
Преобразование "текст - речь" в первом приближении не требует синтаксического анализа структуры предложения (во французском языке). Основным графическим понятием при преобразованиях является в этой системе слово, представляющее собой субцепочку графем между пробелами или знаками пунктуации. Слова сравниваются со списком предварительно записанных слов - исключений, произношение которых не соответствует стандартам. Если слова в спис-'
Ь6
Последовательность дифснов Словарь дифонов
Буфер
Синтезатор речи из 44 синусо- |___гт1 гх,.,. ___идальных колебаний____ UJ -
рис. 1.2. Блок-схема системы "текст - речь" основанной на использовании дифонов
ке исключений нет, оно разделяется на множество буквенных символов, которые обрабатываются элементарными правилами типа
Р—[Р]/Н;
P—[f]/H, т.е. р произносится как [/?] , если за ней не следует Н, и как [/З.всли следует Н .
Числа, встречающиеся в тексте, также преобразуются в фонетическую цепочку по соответствующим правилам. Последняя гласная перед знаком пунктуации удваивает длительность. Общий объем памяти, которую использует этот алгоритм, 6 кбайт.
В память словаря должно быть записано для французской речи 627 дифонов. Однако если учесть, что для некоторых дифонов некоторые спектры в первом приближении можно считать симметричными, обв(ее число хранящихся в памяти дифонов уменьшается до 425 (при использовании параметров 8 временных отрезков каждого дифона). Ойций объем памяти после сильного сжатия информации о дифонах составил около 8 Кбайт. Средняя разборчивость слов в предложениях была около 96%. Система автоматически находила по тексту просодические характеристики. Для управления просодическими параметрами использовались различные уровни языка: акустический, фонетический, лексический, синтаксический и семантический. Несколько Дикторов читали один и тот же текст; при этом сравнивались кон-'Уры основного тона и длительности, полученные после нормализации. Несмотря на различие' в индивидуальных просодических характери.-^чках, удалось выявить общие закономерности, позволяющие форма-
Зак.480 57
дизовать просодику по фонетической цепочке. Так, для выявления динамики основного тона на всем высказывании учитывалось,что од, повременно накладываются друг на друга три явления. Первое обусловлено изменением основного тона на всем предложении, второе -контуром основного тона на двух соседних словах ( "элементарный контур") и третье - ыикроваризции основного тона на отдельных звуках.
Структура системы синтеза, основанного на объединении ди-фонов, рассмотрена также и для итальянского языка [160, 181].Ди-фоны представлены кодами lpc. Система проектируется с ориентацией на многоканальность и ответ в реально».' времени. Для каждого выходного канала этой системы автоматического речевого ответа выполняются действия: предварительная обработка входной цепочки символов, трансляция в соответствующую последовательность дифонов, порождение просодического контура и управление в реальном времени аппаратурой синтезатора.
Блокл речевого ответа, подключенные к телефонным линиям, могут обеспечивать пользователям получение информации в речевом виде. Основное применение такого оборудования - информационно-поисковые системы, читающие текст автоматические устройства для слепых, в связи с чем к системе предъявляются требования: неограниченный словарь, хорошее качество и естественность речи, возможность подключения систем речевого ответа к разным каналам.Матобе с-печение выполняет все действия, необходимые для преобразования входного текста в последовательность команд, необходимых для управления аппаратурой синтезатора, описанного в [160].
Система синтеза основывается на объединении коротких речевых элемэнтов (дифонов), которые включают переходный участок от согласного к последующему гласному CV , квазистационарный участок гласного V2 и начальный участок гласного звука в начале слова VI.
Элементарные дифоны, извлекаемые из естественной речи, кодировались в соответствии с акустической моделью речеобразова ния. Математическая модель состоит только из полюсного фильтра, представляющего вокальный тракт, и источника возбуждения. Параметры, описывающие вокальный тракт, - это коэффициенты отражения неоднородной акустической трубы, подученные использованием методе линейного предсказания.
При записи информации о дифонах в память используется следующая схема. Первый байт каждого дифона показывает число сре' зов, Используемых для кодирования втого дифона. После атог» каждый фрейм, кодирующий срез