Прикладная теория информации

Поэтому по известной спектральной характеристике одиночного импульса легко построить линейчатый спектр их периодической последовательности. Соотношением (1.44) объясняется и тот факт, что для различных представлений спектральной характеристики имеют место формулы, весьма похожие на (1.18) - (1.24).
Как комплексная величина спектральная характеристика может быть записана в виде

где S(ω) = |S(jω) | называется спектральной плотностью амплитуд или спектром непериодического сигнала.
Так как составляющие расположены на всех частотах, то спектр непериодического сигнала является непрерывным или сплошным. Представим спектральную характеристику состоящей из действительной и мнимой частей:

где

Модуль спектральной характеристики S(ω) определяется выражением

и представляет собой четную функцию частоты.
Для фазы спектральной характеристики S(jω) соответственно получаем
![]()
Так как из (1.42) и (1.43) следует, что A(ω) - четная функция частоты, а B(ω) - нечетная, то функция φ(ω) относительно частоты нечетна.
Комплексная форма интегрального преобразования Фурье легко приводится к тригонометрической:

Второй член в связи с нечетностью подынтегрального выражения равен нулю. Окончательно имеем

Преимущество тригонометрической формы записи Фурье-преобразования заключается в возможности некоторого физического толкования с использованием идеализации, не очень далеких от реальности.
Пример 1.4 Найти спектр одиночного прямоугольного импульса, описываемого функцией времени (рис.1.9):

Выражение для спектральной характеристики амплитуд находим в соответствии с (1.41)


Искомый спектр представляет собой модуль этого выражения:

Спектр одиночного прямоугольного импульса (рис.1.10), естественно [см. (1.44)], имеет ту же форму, что и огибающая периодической последовательности таких импульсов (см. рис.1.6).

Пример 1.5 Определить спектр дельта-функции [см. соотношения (1.10) и рис.1.3].
Запишем
выражение для
спектральной
характеристики
Sd(jw)
дельта-функции,
сосредоточенной
в точке
:

В соответствии с (1.11) имеем
![]()
откуда модуль спектральной характеристики
![]()
Следовательно, дельта-функции соответствует сплошной равномерный спектр, включающий в себя составляющие бесконечно больших частот (рис.1.11). При ξι = 0 начальные фазы всех составляющих равны нулю.

Распределение энергии в спектре. Рассмотрим непериодический сигнал u(t), физическим представлением которого будем считать электрическое напряжение на резисторе с сопротивлением в 1 Ом.
Тогда энергия, выделяемая на этом резисторе

В предположении, что интеграл (1.54) сходится, выразим энергию через модуль спектральной характеристики S(ω) сигнала u(t). Квадрат этого модуля запишем в виде

где
![]()
функция, комплексно-сопряженная спектральной характеристике S(jω) сигнала u(t). Тогда

После изменения последовательности интегрирования и использования обратного преобразования Фурье (1.42) получим

Окончательно имеем

Соотношение (1.56) известно как равенство Парсеваля. Оказывается, что энергию, выделяемую непериодическим сигналом за время его существования, можно определить, интегрируя квадрат модуля его спектральной характеристики в интервале частот.
Каждое из бесконечно малых слагаемых (1/π) |S(ω) |2dω, соответствующих бесконечно малым участкам спектра, характеризует энергию, приходящуюся на спектральные составляющие сигнала, сосредоточенные в полосе частот от ω до ω + dω.
§ 1.5 Соотношения между длительностью импульсов и шириной их спектров
Анализируя
спектр одиночного
прямоугольного
импульса (см.
рис.1.10), можно
установить,
что при увеличении
его длительности
τ
от 0 до
спектр сокращается
от безграничного
(у дельта-функции)
до одной спектральной
линии в начале
координат,
соответствующей
постоянному
значению сигнала.
Это свойство
сокращения
ширины спектра
сигнала при
увеличении
его длительности
и наоборот
справедливо
для сигналов
любой формы.
Оно вытекает
непосредственно
из особенностей
прямого и обратного
интегрального
преобразования
Фурье, у которых
показатель
степени экспоненциальной
функции в
подынтегральных
выражениях
имеет переменные
t и ω
в виде произведения.
Рассмотрим
функцию u(t)
определенной
продолжительности
и функцию u(
t),
длительность
которой при
λ>1
будет в λ
раз меньше.
Считая, что
u(t) имеет
спектральную
характеристику
S(jω),
найдем соответствующую
характеристику
S
(jω)
для u(
t):

где
=λt.
Следовательно, спектр укороченного в λ раз сигнала ровно в λ раз шире. Коэффициент l / λ перед S(jω / λ) изменяет только амплитуду гармонических составляющих и на ширину спектра не влияет.
Другой важный вывод, также являющийся прямым следствием Фурье-преобразования, заключается в том, что длительность сигнала и ширина его спектра не могут быть одновременно ограничены конечными интервалами: если длительность сигнала ограничена, то спектр его неограничен, и, наоборот, сигнал с ограниченным спектром длится бесконечно долго. Справедливо соотношение
![]()
где Δt - длительность импульса; Δf - ширина спектра импульса; С - постоянная величина, зависящая от формы импульса (при ориентировочных оценках обычно принимают С=1).
Реальные сигналы ограничены во времени, генерируются и передаются устройствами, содержащими инерционные элементы (например, емкости и индуктивности в электрических цепях), и поэтому не могут содержать гармонические составляющие сколь угодно высоких частот.
В связи с этим возникает необходимость ввести в рассмотрение модели сигналов, обладающие как конечной длительностью, так и ограниченным спектром. При этом в соответствии с каким-либо критерием дополнительно ограничивается либо ширина спектра, либо длительность сигнала, либо оба параметра одновременно. В качестве такого критерия используется энергетический критерий, согласно которому практическую длительность Тп и практическую ширину спектра wп выбирают так, чтобы в них была сосредоточена подавляющая часть энергии сигнала.
Для сигналов, начинающихся в момент времени t0 = О, практическая длительность определяется из соотношения

где η - коэффициент, достаточно близкий к 1 (от 0,9 до 0,99 в зависимости от требований к качеству воспроизведения сигнала).
Принимая во внимание равенство Парсеваля (1.56), для практической ширины спектра сигнала соответственно имеем

§ 1.6 Спектральная плотность мощности детерминированного сигнала
Величина
,
характеризующая
распределение
энергии по
спектру сигнала
и называемая
энергетической
спектральной
плотностью,
существует
лишь для сигналов,
У которых энергия
за бесконечный
интервал времени
конечна и,
следовательно,
к ним применимо
преобразование
Фурье.
Для незатухающих во времени сигналов энергия бесконечно велика и интеграл (1.54) расходится. Задание спектра амплитуд невозможно. Однако средняя мощность Рср, определяемая соотношением

оказывается конечной. Поэтому применяется более широкое понятие "спектральная плотность мощности". Определим ее как производную средней мощности сигнала по частоте и обозначим Ρk(ω):

Индексом k подчеркивается, что здесь мы рассматриваем спектральную плотность мощности как характеристику детерминированной функции u(t), описывающей реализацию сигнала.
Эта характеристика сигнала менее содержательна, чем спектральная плотность амплитуд, так как лишена фазовой информации [см. (1.38)]. Поэтому однозначно восстановить по ней исходную реализацию сигнала невозможно. Однако отсутствие фазовой информации позволяет применить это понятие к сигналам, у которых фаза не определена.
Для установления связи между спектральной плотностью Ρk(ω) и спектром амплитуд воспользуемся сигналом u(t), существующим на ограниченном интервале времени (-T<. t<T). К такому сигналу применимо равенство Парсеваля (1.56). Из сравнения (1.62) с правой частью соотношения (1.56) следует

где
- спектральная
плотность
мощности сигнала,
ограниченного
во времени.
В дальнейшем будет показано (см. § 1.11), что, усредняя эту характеристику по множеству реализаций, можно получить спектральную плотность мощности для большого класса случайных процессов.
§ 1.7 Функция автокорреляции детерминированного сигнала
Теперь в частотной области имеется две характеристики: спектральная характеристика и спектральная плотность мощности. Спектральной характеристике, содержащей полную информацию о сигнале u(t), соответствует преобразование Фурье в виде временной функции. Выясним, чему соответствует во временной области спектральная плотность мощности, лишенная фазовой информации.
Следует предположить, что одной и той же спектральной плотности мощности соответствует множество временных функций, различающихся фазами. Советским ученым Л.Я. Хинчиным и американским ученым Н. Винером практически одновременно было найдено обратное преобразование Фурье от спектральной плотности мощности:

где

Обобщенную временную функцию r(t), не содержащую фазовой информации, назовем временной автокорреляционной функцией. Она показывает степень связи значений функции u(t), разделенных интервалом времени t, и может быть получена из статистической теории путем развития понятия коэффициента корреляции. Отметим, что во временной функции корреляции усреднение проводится по времени в пределах одной реализации достаточно большой продолжительности.
Справедливо и второе интегральное соотношение для пары преобразования Фурье:

Пример 1.6 Определить временную функцию· автокорреляции гармонического сигнала u(t) = u0 cos(wt-φ). В соответствии с (1.64)

Проведя несложные преобразования

окончательно имеем
![]()
Как и следовало ожидать, ru(t) не зависит от φ и, следовательно, (1.66) справедливо для целого множества гармоник, различающихся фазами.
§ 1.8 Случайный процесс как модель сигнала
Рассмотренные математические модели детерминированных сигналов являлись известными функциями времени. Их использование позволяет успешно решать задачи, связанные с определением реакций конкретных систем на заданные входные сигналы. Случайные составляющие, всегда имеющие место в реальном входном сигнале, считают при этом пренебрежимо малыми и не принимают во внимание.
Однако единственная точно определенная во времени функция не может служить математической моделью сигнала при передаче и преобразовании информации. Поскольку получение информации связано с устранением априорной неопределенности исходных состояний, однозначная функция времени только тогда будет нести информацию, когда она с определенной вероятностью выбрана из множества возможных функций. Поэтому в качестве моделей сигнала используется случайный процесс. Каждая выбранная детерминированная функция рассматривается как реализация этого случайного процесса.
Необходимость применения статистических методов исследования диктуется и тем, что в большинстве практически важных случаев пренебрежение воздействием помехи в процессах передачи и преобразования информации недопустимо. Считается, что воздействие помехи на полезный сигнал проявляется в непредсказуемых искажениях его формы. Математическая модель помехи представляется также в виде случайного процесса, характеризующегося параметрами, определенными на основе экспериментального исследования. Вероятностные свойства помехи, как правило, отличны от свойств полезного сигнала, что и лежит в основе методов их разделения.
Учитывая, что все фундаментальные выводы теории информации базируются на указанном статистическом подходе при описании сигналов (и помех), уточним основные характеристики случайного процесса как модели сигнала.
Под случайным (стохастическим) процессом подразумевают такую случайную функцию времени U(t), значения которой в каждый момент времени случайны. Конкретный вид случайного процесса, зарегистрированный в определенном опыте, называют реализацией случайного процесса. Точно предсказать, какой будет реализация в очередном опыте, принципиально невозможно. Могут быть определены лишь статистические данные, характеризующие все множество возможных реализаций, называемое ансамблем. Ценность таких моделей сигналов в том, что появляется возможность судить о поведении информационной системы не по отношению к конкретной реализации, а по отношению ко всему ансамблю возможных реализаций.
Основными признаками, по которым классифицируются случайные процессы, являются: пространство состояний, временной параметр и статистические зависимости между случайными величинами U(ti) в разные моменты времени ti.
Пространством состояний называют множество возможных значений случайной величины U(ti). Случайный процесс, у которого множество состояний составляет континуум, а изменения состояний возможны в любые моменты времени, называют непрерывным случайным процессом. Если же изменения состояний допускаются лишь в конечном или счетном числе моментов времени, то говорят о непрерывной случайной последовательности.
Случайный процесс с конечным множеством состояний, которые могут изменяться в произвольные моменты времени, называют дискретным случайным процессом. Если же изменения состояний возможны только в конечном или счетном числе моментов времени, то говорят о дискретных случайных последовательностях.
Примеры реализаций указанных случайных процессов представлены на рис.1.1
Так как в современных информационных системах предпочтение отдается цифровым методам передачи и преобразования информации, то непрерывные сигналы с датчиков, как правило, преобразуются в дискретные, описываемые дискретными случайными последовательностями. Вопросы такого преобразования рассмотрены в гл.2.
Среди случайных процессов с дискретным множеством состояний нас будут интересовать такие, у которых статистические зависимости распространяются на ограниченное число k следующих друг за другом значений. Они называются обобщенными марковскими процессами k-го порядка.
Вероятностные характеристики случайного процесса. В соответствии с определением случайный процесс U(t) может быть описан системой N обычно зависимых случайных величин U1 = U(t1),..., Ui= U(ti),..., UN = U(tN), взятых в различные моменты времени t1... ti... tN. При неограниченном увеличении числа N такая система эквивалентна рассматриваемому случайному процессу U(t).
Исчерпывающей
характеристикой
указанной
системы является
N-мерная
плотность
вероятности
pN(U1,..., Ui,..., UN;
t1,..., tN). Она
позволяет
вычислить
вероятность
РN реализации,
значения которой
в моменты времени
t1,t2,...,tN
будут находиться
соответственно
в интервалах
(u1, u1+Δu1),...,
(ui, ui+
ui),...,
(uN, uN +
uN),
где ui(1
)
- значение,
принимаемое
случайной
величиной Ui,
(рис.1.12).

Если Δui, выбраны достаточно малыми, то справедливо соотношение
![]()
Получение N-мерной плотности вероятности на основе эксперимента предполагает статистическую обработку реализаций, полученных одновременно от большого числа идентичных источников данного случайного процесса. При больших N это является чрезвычайно трудоемким и дорогостоящим делом, а последующее использование результатов наталкивается на существенные математические трудности.
На практике в таком подробном описании нет необходимости. Обычно ограничиваются одно - или двумерной плотностью вероятности.
Одномерная плотность вероятности p1(U1; t1) случайного процесса U(t) характеризует распределение одной случайной величины U1, взятой в произвольный момент времени t1. В ней не находит отражения зависимость случайных величин в различные моменты времени.
Двумерная плотность вероятности p2 = p2(U1, U2; t1, t2) позволяет определить вероятность совместной реализации любых двух значений случайных величин U1 и U2 в произвольные моменты времени t1 и t2 и, следовательно, оценить динамику развития процесса. Одномерную плотность вероятности случайного процесса U(t) можно получить из двумерной плотности, воспользовавшись соотношением

Использование плотности вероятности даже низших порядков в практических приложениях часто приводит к неоправданным усложнениям. В большинстве случаев оказывается достаточно знания простейших характеристик случайного процесса, аналогичных числовым характеристикам случайных величин. Наиболее распространенными из них являются моментные функции первых двух порядков: математическое ожидание и дисперсия, а также корреляционная функция.
Математическим ожиданием случайного процесса U(t) называют неслучайную функцию времени mu(t1), которая при любом аргументе t1 равна среднему значению случайной величины U(t) по всему множеству возможных реализаций:

Степень разброса случайных значений процесса U(t1) от своего среднего значения mu(t1) для каждого t1 характеризуется дисперсией Du(t1):
![]()
где
(t1)
= U(t1) - mu(t1) - центрированная
случайная
величина.
Дисперсия Du(t1) в каждый момент времени t1 равна квадрату среднеквадратического отклонения su(t1):
![]()
Случайные процессы могут иметь одинаковые математические ожидания и дисперсии (рис.1.13, а, б), однако резко различаться по быстроте изменений своих значений во времени.

Для
оценки степени
статистической
зависимости
мгновенных
значений процесса
U(t) в произвольные
моменты времени
t1 и t2 используется
неслучайная
функция аргументов
Ru(t1,t2), называемая
автокорреляционной
или просто
корреляционной
функцией.
При конкретных аргументах t1 и t2 она равна корреляционному моменту значений процесса U(t1) и U(t2):
![]()
Через двумерную плотность вероятности выражение (1.71) представляется в виде

В силу симметричности этой формулы относительно аргументов справедливо равенство
![]()
Для сравнения различных случайных процессов вместо корреляционной функции удобно пользоваться нормированной функцией автокорреляции:

Из сравнения (1.69) и (1.70) следует, что при произвольном t1 = t2 автокорреляционная функция вырождается в дисперсию:
![]()
а нормированная функция автокорреляции равна единице:

Следовательно, дисперсию случайного процесса можно рассматривать как частное значение автокорреляционной функции.
Аналогично устанавливается мера связи между двумя случайными процессами U(t) и V(t). Она называется функцией взаимной корреляции:

§ 1.9 Стационарные и эргодические случайные процессы
Случайные процессы различаются по степени однородности протекания их во времени. В общем случае процесс может иметь определенную тенденцию развития и характеристики, зависящие от начала отсчета времени. Такие случайные процессы называются нестационарными.
Для описания сигнала математическая модель в виде нестационарного случайного процесса подходит наилучшим образом, но неконструктивна в силу своей чрезмерной сложности.
Поэтому очень часто вводят предположение о стационарности случайного процесса, что позволяет существенно упростить математический аппарат исследования.
Случайный процесс называют стационарным в узком смысле, если выражения для плотностей вероятности не зависят от начала отсчета времени, т.е. справедливо соотношение

где
U
-случайная
величина, отражающая
значение процесса
в момент времени
t = ti + τ
(τ
- произвольное
число).
Иначе
говоря, стационарность
процесса предполагает
его существование
и статистическую
однородность
во всем диапазоне
времени от -
до +
.
Такое предположение противоречит физическим свойствам реальных сигналов, в частности тому, что всякий реальный сигнал существует лишь в течение конечного отрезка времени. Однако аналогично установившимся детерминированным процессам случайные процессы, протекающие в установившемся режиме системы при неизменных внешних условиях на определенных отрезках времени, с известным приближением можно рассматривать как стационарные.
При решении многих технических задач идут на дальнейшее упрощение модели, рассматривая случайный процесс стационарным в широком смысле. Процесс U(t) принято называть стационарным в широком смысле, если выполняется условие постоянства математического ожидания и дисперсии, а корреляционная функция не зависит от начала отсчета времени и является функцией только одного аргумента τ = t2 - t1, т.е.

Так как условие постоянства дисперсии является частным случаем требования к корреляционной функции при τ = 0:
![]()
то выполнения соотношений (1.79) и (1.81) достаточно, чтобы рассматривать случайный процесс U(t) как стационарный.
Всякий стационарный случайный процесс является стационарным в широком смысле. В дальнейшем, если это не оговорено особо, стационарность будем рассматривать в широком смысле.
Случайные процессы, наблюдаемые в устойчиво работающих реальных системах, имеют конечное время корреляции. Поэтому для стационарных процессов, представляющих практический интерес, справедливо соотношение

Если для случайного процесса равенства (1.79), (1.81) не выдерживаются, но на интересующем нас интервале времени изменением указанных параметров можно пренебречь, его называют квазистационарным.
Среди стационарных случайных процессов многие удовлетворяют свойству эргодичности. Оно проявляется в том, что каждая реализация случайного процесса достаточной продолжительности несет практически полную информацию о свойствах всего ансамбля реализаций, что позволяет существенно упростить процедуру определения статистических характеристик, заменяя усреднение значений по ансамблю реализаций усреднением значений одной реализации за длительный интервал времени.
Следовательно, для стационарных эргодических процессов справедливы соотношения

где u(t) - конкретная реализация случайного процесса U(t).
Результаты исследования случайных процессов в их временном представлении, т.е. с использованием формул (1.83) и (1.85), лежат в основе корреляционной теории сигналов.
Для облегчения практического определения корреляционных функций в соответствии с (1.85) серийно выпускаются специальные вычислительные устройства - коррелометры (корреляторы).
§ 1.10 Спектральное представление случайных сигналов
В § 1.2 была показана эффективность представления детерминированных сигналов совокупностью элементарных базисных сигналов для облегчения анализа прохождения их через линейные системы. Аналогичный подход может быть использован и в случае сигналов, описываемых случайными процессами [21].
Рассмотрим
случайный
процесс U(t),
имеющий
математическое
ожидание mu(t).
Соответствующий
центрированный
случайный
процесс
(t)
характеризуется
в любой момент
времени t1
центрированной
случайной
величиной
(t1):
![]()
Центрированный
случайный
процесс
(t)
можно, как и
ранее [см. (1.1)], выразить
в виде конечной
или бесконечной
суммы ортогональных
составляющих,
каждая из которых
представляет
собой неслучайную
базисную функцию
jk(t)
с коэффициентом
Ck, являющимся
случайной
величиной. В
результате
имеем разложение
центрированного
случайного
процесса
![]()
(t):

![]()
Случайные
величины Сk
называются
коэффициентами
разложения.
В общем случае
они статистически
зависимы, и эта
связь задается
матрицей
коэффициентов
корреляции
.
Математические
ожидания
коэффициентов
разложения
равны нулю.
Неслучайные
базисные функции
принято называть
координатными
функциями.
Для конкретной реализации коэффициенты разложения являются действительными величинами и определяются по формуле (1.7).
Предположив, что

детерминированную функцию mu(f) в (1.86) на интервале - T<t<. T также можно разложить по функциям φk(t), представив в виде

Подставляя (1.87 а) и (1.876) в (1.86) для случайного процесса U(t) с отличным от нуля средним, получим

Выражение случайного процесса в виде (1.87 в) позволяет существенно упростить его линейные преобразования, поскольку они сводятся к преобразованиям
детерминированных
функций [mu(t),
jk(t)],
а коэффициенты
разложения,
являющиеся
случайными
величинами,
остаются неизменными.
Чтобы
определить
требования
к координатным
функциям, рассмотрим
корреляционную
функцию процесса
(t),
заданную
разложением

Так как

то

Соотношение
(1.88) становится
значительно
проще, если
коэффициенты
{Ck} некоррелированы
(Rkl = 0 при k
l,
Rkl = 1 при k
= l):