Как найти ковариацию случайного вектора

Двумерной называют случайную величину

, возможные значения
которой есть пары чисел

. Составляющие

 и

, рассматриваемые
одновременно, образуют систему двух случайных величин. Двумерную величину
геометрически можно истолковать как случайную точку

 на плоскости

 либо как случайный вектор

.

Дискретной называют двумерную величину, составляющие которой дискретны.

Закон распределения дискретной двумерной СВ.
Безусловные и условные законы распределения составляющих

Законом распределения вероятностей двумерной случайной величины называют соответствие
между возможными значениями и их вероятностями.

Закон
распределения дискретной двумерной случайной величины может быть задан:

а) в
виде таблицы с двойными входом, содержащей возможные значения и их вероятности;

б) аналитически, например в виде функции распределения.

Зная
закон распределения двумерной дискретной случайной величины, можно найти законы
каждой из составляющих. В общем случае, для того чтобы найти вероятность

, надо просуммировать
вероятности столбца

. Аналогично сложив
вероятности строки

 получим вероятность

.

Пусть
составляющие

 и

 дискретны и имеют соответственно следующие
возможные значения:

; 

.

Условным распределением составляющей

 при

 (j сохраняет одно и то же
значение при всех возможных значениях

) называют совокупность
условных вероятностей:

Аналогично
определяется условное распределение

.

Условные
вероятности составляющих

 и

 вычисляют соответственно по формулам:

Для
контроля вычислений целесообразно убедиться, что сумма вероятностей условного
распределения равна единице.

Ковариация (корреляционный момент)

Ковариация двух случайных величин характеризует степень зависимости случайных величин, так
и их рассеяние вокруг точки

.

Ковариацию
(корреляционный момент) можно найти по формуле:

Свойства ковариации

Свойство 1.

Ковариация двух независимых случайных величин равна нулю.

Свойство 2.

Ковариация двух случайных величин равна математическому ожиданию их
произведение математических ожиданий.

Свойство 3.

Ковариация двухмерной случайной величины по абсолютной случайной величине не
превосходит среднеквадратических отклонений своих компонентов.

Коэффициент корреляции

Коэффициент корреляции – отношение ковариации двухмерной случайной
величины к произведению среднеквадратических отклонений.

Формула коэффициента корреляции:

Две
случайные величины

 и

 называют коррелированными, если их коэффициент
корреляции отличен от нуля.

 и

 называют некоррелированными величинами, если
их коэффициент корреляции равен нулю

Свойства коэффициента корреляции

Свойство 1.

Коэффициент корреляции двух независимых случайных величин равен нулю. Отметим,
что обратное утверждение неверно.

Свойство 2.

Коэффициент корреляции двух случайных величин не превосходит по абсолютной
величине единицы.

Свойство 3.

Коэффициент корреляции двух случайных величин равен по модулю единице тогда и
только тогда, когда между величинами существует линейная функциональная
зависимость.

Линейная регрессия

Рассмотрим
двумерную случайную величину

, где

 и

 – зависимые случайные величины. Представим
одну из величины как функцию другой. Ограничимся приближенным представлением
величины

 в виде линейной функции величины

:

где

 и

 – параметры, подлежащие определению. Это можно
сделать различными способами и наиболее употребительный из них – метод
наименьших квадратов.

Линейная
средняя квадратическая регрессия

 на

 имеет вид:

Коэффициент

называют
коэффициентом регрессии

 на

, а прямую

называют
прямой среднеквадратической регрессии

 на

.

Аналогично
можно получить прямую среднеквадратической регрессии

 на

:

Смежные темы решебника:

• Двумерная непрерывная случайная величина
• Линейный выборочный коэффициент корреляции
• Парная линейная регрессия и метод наименьших квадратов

Задача 1

Закон
распределения дискретной двумерной случайной величины (X,Y) задан таблицей.

Требуется:

—
определить одномерные законы распределения случайных величин X и Y;

— найти
условные плотности распределения вероятностей величин;

—
вычислить математические ожидания m_x и m_y;

—
вычислить дисперсии σ_x и σ_y;

—
вычислить ковариацию μ_xy;

—
вычислить коэффициент корреляции r_xy.

Задача 2

Задана
дискретная двумерная случайная величина (X,Y).

а) найти
безусловные законы распределения составляющих; б) построить регрессию случайной
величины Y на X;  в) построить регрессию случайной величины X на Y;  г) найти коэффициент ковариации; д) найти
коэффициент корреляции.

Задача 3

Двумерная случайная величина (X,Y) задана
таблицей распределения. Найти законы распределения X и Y, условные
законы, регрессию и линейную регрессию Y на X.

Задача 4

Двумерная
случайная величина (X,Y) распределена по закону

Найти
законы распределения случайных величины X и Y, условный закон
распределения Y при X=0 и вычислить ковариацию.
Исследовать зависимость случайной величины X и Y.

Задача 5

Случайные
величины ξ и η имеют следующий совместный закон распределения:

P(ξ=1,η=1)=0.14

P(ξ=1,η=2)=0.18

P(ξ=1,η=3)=0.16

P(ξ=2,η=1)=0.11

P(ξ=2,η=2)=0.2

P(ξ=2,η=3)=0.21

1)
Выписать одномерные законы распределения случайных величин ξ и η, вычислить
математические ожидания Mξ, Mη и дисперсии Dξ, Dη.

2) Найти
ковариацию cov(ξ,η) и коэффициент корреляции ρ(ξ,η).

3)
Выяснить, зависимы или нет события {η=1} и {ξ≥η}

4)
Составить условный закон распределения случайной величины γ=(ξ|η≥2) и найти Mγ и
Dγ.

Задача 6

Дан закон
распределения двумерной случайной величины (ξ,η):

1) Выписать одномерные законы
распределения случайных величин ξ и η, вычислить математические ожидания M_ξ,
M_η и дисперсии D_ξ, D_η

2) Найти ковариацию cov(ξ,η) и
коэффициент корреляции ρ(ξ,η).

3) Являются ли случайные события |ξ>0|
и |η> ξ | зависимыми?

4) Составить условный закон
распределения случайной величины γ=(ξ|η>0) и найти M_γ  и D_γ.

Задача 7

Дано
распределение случайного вектора (X,Y). Найти ковариацию X и Y.

Задача 8

Случайные
приращения цен акций двух компаний за день имеют совместное распределение,
заданное таблицей. Найти ковариацию этих случайных величин.

Задача 9

Найдите
ковариацию Cov(X,Y) для случайного дискретного вектора (X,Y),
распределенного по закону:

Задача 10

Совместный
закон распределения пары

 задан таблицей:

Найти
закон распределения вероятностей случайной величины xh и вычислить cov(2x-3h,x+2h).
Исследовать вопрос о зависимости случайных величин x и h.

Задача 11

Составить двумерный закон распределения случайной
величины (X,Y), если известны законы независимых составляющих. Чему равен коэффициент
корреляции r_xy?

и

Задача 12

Задано
распределение вероятностей дискретной двумерной случайной величины (X,Y):

Задача 13

Совместное
распределение двух дискретных случайных величин ξ и η задано таблицей:

Вычислить
ковариацию cov(ξ-η,η+5ξ). Зависимы ли ξ и η?

Задача 14

Рассчитать
коэффициенты ковариации и корреляции на основе заданного закона распределения
двумерной случайной величины и сделать выводы о тесноте связи между X и Y.

Задача 15

Задан
закон распределения случайного вектора (ξ,η). Найдите ковариацию (ξ,η)
и коэффициент корреляции случайных величин.

Задача 16

Для
случайных величин, совместное распределение которых задано таблицей
распределения. Найти:

а) законы
распределения ее компонент и их числовые характеристики;

b) условные законы распределения СВ X при условии Y=b и СВ Y при
условии X=a, где a и b – наименьшие значения X и Y.

с)
ковариацию и коэффициент корреляции случайных величин X и Y;

d) составить матрицу ковариаций и матрицу корреляций;

e) вероятность попадания в область, ограниченную линиями y=16-x² и y=0.

f) установить, являются ли случайные величины X и Y зависимыми;
коррелированными.

Задача 17

Совместный
закон распределения случайных величин X и Y задан таблицей:

Найдите:

а) закон
распределения случайной величины X и закон распределения
случайной величины Y;

б) EX, EY, DX, DY, cov(2X+3Y, X-Y), а
также математическое ожидание и дисперсию случайной величины V=6X-8Y+3.

Задача 18

Известен
закон распределения двумерной случайной величины (X,Y).

а) найти
законы распределения составляющих и их числовые характеристики (M[X],D[X],M[Y],D[Y]);

б)
составить условные законы распределения составляющих и вычислить
соответствующие мат. ожидания;

в)
построить поле распределения и линию регрессии Y по X и X по Y;

г)
вычислить корреляционный момент (коэффициент ковариации) μ_xy и
коэффициент корреляции r_xy.

Содержание:

1. Случайные векторы
2. Свойства функции распределения случайного вектора
3. Двумерные дискретные случайные векторы
4. Двумерные абсолютно непрерывные случайные векторы
5. Сходимость случайных величин

Случайные векторы

Рассматриваем случайное явление и вероятностное пространство, которое отвечает этому случайному явлению. Пусть  – случайные величины, связанные с этим случайным явлением. Совместное распределение этих случайных величин будем называть случайным вектором и обозначать
Определение. Функцией распределения случайного вектора  называется функция n переменных

Свойства функции распределения случайного вектора

1. Функция распределения непрерывна слева и монотонно неубывающая по всем аргументам.
2. 
3. 
4. 
5. Функция распределения компоненты  является границей функции распределения случайного вектора для всех 
Определение. Случайный вектор  называется дискретным, если он приобретает конечное или счетное количество значений.
Очевидно, что каждая компонента этого случайного вектора является дискретной случайной величиной.
Дискретный случайный вектор определяется значениями, которые он приобретает, и вероятностями, с которыми приобретаются эти значения.
Далее будем считать, что компонента ξ₁ приобретает значения  компонента ξ₁ –  компонента ξ_n —  а

Определение. Случайный вектор  называется абсолютно непрерывным, если существует n-мерная действительная функция  которую мы будем называть плотностью абсолютно непрерывного случайного вектора  такая, для которой выполняется равенство

Определение. Компоненты случайного вектора  называются независимыми, если  выполняется равенство


Если случайный вектор является дискретным, то условие независимости конкретизируется так:


Для абсолютно непрерывного случайного вектора условие независимости является таким:

Пусть  – некоторая функция. Математическое ожидание случайной величины  равно


Если случайный вектор является дискретным и

если вектор ξ – абсолютно непрерывный.
Определение. Ковариантной матрицей случайного вектора  называют числовую матрицу К размера  вида

где

и если  то величина  называется ковариацией.
Понятно, что на диагоналях стоят дисперсии соответствующих компонент.
Легко видеть, что

Доказательство.




Коэффициентом корреляции компонент  является число

корреляционной матрицей является матрица

Детальнее свойства случайных векторов рассмотрим для двумерного случая.

Двумерные дискретные случайные векторы

Рассматриваем двумерный случайный вектор  Предположим, что компонента ξ приобретает значения компонента η приобретает значения  и  Распределение двумерного дискретного вектора удобно представлять в виде таблицы:

Очевидно, что 
где 
Пример. Дано распределение двумерного случайного вектора 

Найти
Решение. Поскольку

то 




Пример. Дано распределение двумерного случайного вектора 

Найти 
Решение. Очевидно, что



Распределение компонент находится так:

Далее определяем  
Пример. Дано распределение двумерного случайного вектора 

Найти распределение компонент.
Решение. 






Для контроля целесообразно сделать проверку. Известно, что  Убедимся, что это действительно так.

Следовательно, распределение компоненты ξ является таким:

Переходим к компоненте η:








Проверка: 
Следовательно, распределение компоненты η является таким:

Заметим, что распределение компонент можно находить значительно проще.
Запишем еще раз распределение вектора, добавив одну строку снизу и один столбец справа. Далее находим суммы элементов по строкам и записываем эти суммы в последний столбец, а также находим суммы элементов по столбцах и значения найденных сумм записываем в нижнюю строку. Полученные суммы являются значениями вероятностей. Например, сумма верхней строки является вероятностью сумма второй строки является вероятностью соответственно сумма третьей строки — Для того, чтобы найти  нужно найти сумму элементов второго столбца и т. д.

Определение. Условным распределением компоненты ξ при условии, что  называют совокупность значений

Аналогично, условным распределением компоненты η при условии, что называют совокупность значений

Условным математическим ожиданием компоненты ξ при условии, что  называют число

Аналогично, условным математическим ожиданием компоненты η при условии, что называют число

Пример. Дано распределение дискретного случайного вектора 

Найти условное распределение компоненты ξ при условии, что условное распределение компоненты η при условии, что  условное математическое ожидание компоненты ξ при условии, что условное математическое ожидание компоненты η при условии, что 
Решение. 
Значение вероятности  находим как сумму элементов второго справа столбца.

Далее



Следовательно, условное распределение компоненты ξ при условии, что  будет таким:

Сразу находим условное математическое ожидание компоненты ξ при условии, что 


Переходим к нахождения условного распределения компоненты η при условии, что 


Запишем это условное распределение в виде таблицы

Далее найдем условное математическое ожидание.


Условие независимости для двумерного дискретного случайного вектора является такой:

для произвольных 
Пример. Дано распределение двумерного случайного вектора 

Проверить, являются ли независимыми компоненты этого вектора.
Решение.   

Очевидно, условие  не выполняется. ■
Функция распределения для двумерного случайного вектора находится так. По определению имеем

Очевидно, что функция распределения является кусочно-постоянной на отрезках  Поэтому ее можно представить в виде таблицы, которая содержит на одну строку больше чем таблица распределения этого случайного вектора и на один столбец больше чем таблица распределения этого случайного вектора.
Поскольку случайный вектор  не содержит значений меньших, чем и , то элементы в крайнем левом столбце и верхней строке будут нулевыми. Далее алгоритм заполнения таблицы будет таким: в строке и столбце будет записана сумма вероятностей, которые отвечают
Пример. Дано распределение двумерного случайного вектора .

Найти функцию распределения.
Решение. Поскольку наименьшим значением среди  является 2, а среди является — 1, то вероятность того, что случайный вектор будет приобретать меньшие значения, равно 0. Поэтому слева и сверху мы проставляем нули.
Осталось заполнить 4 строки и 3 столбца. Обозначим значения незаполненных клеточек через  Очевидно, что


Пусть — некоторая кусочно-непрерывная функция. Математическое ожидание случайной функции находится так:

В частности ковариация находится по формуле

де



Коэффициент корреляции

Пример. Найти ковариацию и коэффициент корреляции случайного вектора 

Решение. Сначала найдем распределение компонент.


Далее находим   





И, наконец, находим


Переходим к коэффициенту корреляции.






Запишем ковариационную и корреляционную матрицы

Заметим, что если компоненты случайного вектора является независимыми, то ковариация, а следовательно, и коэффициент корреляции равняются нулю. Наоборот не всегда правильно.
Пример случайного вектора, у которого ковариация равна нулю и коэффициенты зависимы.

Сначала покажем, что ковариация равно нулю.





Далее проверяем компоненты на независимость


Следовательно,  а поэтому компоненты являются зависимыми. ■
Заметим, что если ковариация является ненулевой, то компоненты зависимы.

Двумерные абсолютно непрерывные случайные векторы

Рассматриваем двумерный абсолютно непрерывный вектор  с плотностью Плотность компонент находят так:

Пример. Плотность двумерного случайного вектора равна

где область D ограничена линиями    Найти плотность компонент.
Решение. Сначала изобразим область D.







Вероятность попадания в область  находится из формулы

Очевидно, что 
Пример. Дана плотность абсолютно непрерывного случайного вектора 

Найти      если область D ограничена линиями   
Решение. Сначала найдем неизвестную константу Для этого графически изобразим область D









Сначала найдем  Снова графически изобразим область






Далее находим вероятность  Изобразим графически область







Переходим к нахождению вероятности  Как и в предыдущих случаях сначала изображаем графически область интегрирования






И, наконец находим вероятность Изображаем графически область интегрирования

Как видно из рисунка, сначала нужно найти точку пересечения прямых  









Условие независимости компонент проверяется так:

Пример. Дана плотность случайного вектора 

где область D ограничена линиями     Найти и проверить, являются ли компоненты независимыми.
Решение. Прежде всего изобразим область D.







Следовательно,

Проверяем независимость компонент. Для этого находим их плотности



Следовательно,

Переходим к нахождению плотности η




Находим произведение  в области D и проверяем, равно ли оно


В области D имеем
Следовательно, условие независимости не выполняется. ■
Пример. Известно, что компоненты случайного вектора является независимыми. Их плотности равняются:
 
Найти совместную плотность случайного вектора .
Решение. Из условия независимости 
Поэтому

где область D ограничена линиями    
Функция распределения находится по определению

Пример. Дана плотность абсолютно непрерывного случайного вектора

Найти функцию распределения, если область D ограничена линиями    
Решение. Прежде всего находим неизвестную константу.





По определению имеем

Аналитический вид функции распределения зависит от того, где находится точка
В частности:
1. Пусть  или 
 
Тогда, как видно из рисунка

2.

Тогда





3. Далее рассмотрим точки для которых выполняются условия  

Очевидно аналитический вид функции распределения в этом случае будет таким:


4. Далее рассматриваем множество точек для которых выполняются условия  



5. Наконец, если   тогда



Условная плотность  находится по формуле

соответственно, условная плотность 

Пример. Дана плотность абсолютно непрерывного случайного вектора 

Найти неизвестную константу  условные плотности   если область D ограничена линиями   
Решение. Сначала изображаем область D и находим неизвестную постоянную.









Далее находим распределение составляющих











Следовательно, условия плотности будут такими:


Математическое ожидание от функции компонент вектора  равно

Пример. Дана плотность абсолютно непрерывного случайного вектора

Найти ковариацию, коэффициент корреляции, ковариационную матрицу, корреляционную матрицу, если область D ограничена линиями    
Решение. Сначала находим неизвестную константу 






Переходим к ковариации













Следовательно,


Далее находим дисперсии











Ковариационная матрица является такой:

Корреляционная матрица имеет вид

Сходимость случайных величин

Определение. Рассматриваем последовательность случайных величин Эта последовательность совпадает со случайной величиной ξ, если 

или

и это обозначают 
Определение. Последовательность случайных величин сходится к случайной величине ξ в среднеквадратичном, если   и

Это обозначают 
Теорема. Если  и  — непрерывная функция, то 

Закон больших чисел
Рассматриваем последовательность случайных величин  Для нее выполняется закон больших чисел (ЗБЧ) или эта последовательность удовлетворяет закон больших чисел, если

Сходимость по вероятности всегда проверять нет смысла, потому что есть теоремы, которые являются достаточными условиями для выполнения закона больших чисел.

Теорема Чебышева. Пусть дана последовательность независимых случайных величин  для которых существуют Если существует константа С такая, что   то для этой последовательности выполняется закон больших чисел.

Теорема Хинчина. Пусть дана последовательность независимых одинаково распределенных случайных величин  для которых существует математическое ожидание тогда для этой последовательности выполняется закон больших чисел.

Теорема Маркова. Пусть дана последовательность произвольных случайных величин  для которых существуют  и выполняется равенство

Тогда для этой последовательности выполняется закон больших чисел.

Теорема Бернулли. В схеме независимых испытаний Тут μ — относительная частота появления события, р — вероятность появления события в одном испытании.

Пример. Дана последовательность независимых случайных величин 

Проверить, выполняется ли для этой последовательности закон больших чисел.
Решение. Для проверки используем теорему Чебышева. Независимость дана в условии.



Очевидно, что

Поэтому для данной последовательности выполняются условия теоремы Чебышева, а следовательно, выполняется закон больших чисел. ■
Пример. Дана последовательность независимых случайных величин, которые имеют распределение Коши. Проверить, выполняется ли для этой последовательности закон больших чисел .
Решение. Поскольку для распределения Коши не существует математического ожидания, то речь не идет о выполнении закона больших чисел. ■

Вычисление

В силу линейности математического ожидания, ковариация может быть записана как:

Итого,

Свойства ковариации

• Ковариация симметрична:

.

• Пусть случайные величины, а их две произвольные линейные комбинации. Тогда

.

• Ковариация случайной величины с собой равна её дисперсии:

.

Неравенство Коши — Буняковского

Матрица ковариаций

Матрица ковариаций (англ. covariance matrix) — это матрица, элементы которой являются попарными ковариациями элементов одного или двух случайных векторов.
Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.

Например, ковариационная матрица для случайного вектора выглядит следующим образом:

Замечание

• Если , то называется матрицей ковариации вектора и обозначается как — вариация (дисперсия) случайного вектора.

Свойства

• Матрица ковариации случайного вектора неотрицательно определена:
• Перестановка аргументов:
• Матрица ковариации аддитивна по каждому аргументу:

• Если , то

Расстояние Махаланобиса

Расстояние Махаланобиса (англ. Mahalanobis distance) — мера расстояния между векторами случайных величин, обобщающая понятие евклидова расстояния.

Расстояние Махаланобиса двух случайных векторов с матрицей ковариации — это мера различия между ними.

Замечание

Если матрица ковариации равняется единичной матрице, то расстояние Махалонобиса равняется расстоянию Евклида.

См. также

• Корреляция случайных величин
• Дисперсия случайной величины

Источники информации

• НГУ — Ковариация двух случайных величин
• Википедия — Ковариация
• Википедия — Матрица ковариации
• Википедия — Расстояние Махалонобиса
• Википедия — неравенство Коши — Буняковского (доказательство)

46

Случайный вектор
— это упорядоченный набор (система)
случайных величин. Ранее уже встречались
наборы независимых случайных величин.
В этой главе рассматриваются системы
случайных величин, зависящих друг от
друга. Примеры случайных векторов:
вектор скорости зенитной ракеты,
наводимой на цель, совершающей
противоракетный маневр; вектор состояния
реальной атмосферы (температура,
давление, плотность, влажность, направление
и скорость ветра); вектор свойств
конструкционного материала (плотность,
временное сопротивление , модуль
упругости и пр.).

4.1. Ковариация

Ковариацией двух
скалярных случайных величин X
и Y
называется математическое ожидание
произведения центрированных X
и Y.

Слово ковариация
происходит от латинского co
— вместе и
variatio
– изменение.

Здесь и далее нулем
отмечены центрированные случайные
величины.

Если X
и Y
— непрерывные случайные величины, то

(4.1)

где
— плотность совместного распределения
случайных величин.

За характеристику
линейной зависимости между X
и Y
применяется отношение ковариации к
произведению средних квадратических
отклонений называемое коэффициентом
корреляции

Ковариация и
коэффициент корреляции независимых
случайных величин равны нулю. Если X
= Y,
то
ЕслиX
= —Y,
то

Величина ковариации
обычно устанавливается опытным путем.
Статистическая оценка ковариации
находится по соотношениям

Обработка опытных
данных должна включать также оценку
точности определения ковариации.

4.2. Математическое ожидание и ковариационная матрица случайного вектора

Как правило, под
вектором будем понимать матрицу-столбец

Учтем, что
математическое ожидание матрицы равно
матрице, составленной из математических
ожиданий ее элементов.

Ковариационной
матрицей случайного вектора называется
матрица, составленная из дисперсий и
ковариаций проекций вектора.

(4.2)

Ковариационная
матрица симметрична относительно
главной диагонали так как
.
Это означает, что.

4.3. Линейное преобразование случайного вектора

Из определения
математического ожидания следует, что

Здесь A,B,C — неслучайные
матрицы, структура которых допускает
приведенные операции сложения и
умножения.

Для линейного
преобразования случайного вектора

справедливо
следующее

Действительно

Последний результат
очень важен и будет часто использоваться.

4.4. Собственные векторы ковариационной матрицы

Как следует из
4.2, случайный вектор X
с m
компонентами имеет квадратную и
симметричную относительно главной
диагонали ковариационную матрицу
K порядка m.
Вектор Z
и переменная
называются собственным вектором и
собственным значением матрицы, если
они удовлетворяют равенству

,

(4.3)

из которого следует,
что умножение собственного вектора
слева на матрицу K
изменяет его модуль, но не изменяет
направления.

Перепишем приведенное
равенство в виде однородной системы
линейных уравнений

(4.4)

Здесь E
— единичная матрица порядка m.
Отличное от нуля решение этой системы
существует только тогда, когда определитель
системы равен нулю.

Это уравнение
степени m
относительно неизвестной
.
Оно называется характеристическим
уравнением матрицы. Доказано, что если
матрица вещественна и симметрична, то
все ееm
корней
— вещественны и различны. Подстановка
собственных значений матрицы в исходную
систему уравнений (4.4) дает возможность
определить собственные векторы

Собственные векторы
ортогональны, то есть

Для доказательства
этого важного свойства составим
произведение
и раскроем его двумя различными способами,
используя равенство (4.3). Во-первых,

Во-вторых,

Поскольку
,
полученные выражения равны только при
условии ортогональности векторов.

Система (4.4)
определяет лишь направление, но не длину
(модуль) собственных векторов. Действительно
вектор W=CZ,
отличающийся от собственного вектора
только длиной, также удовлетворяет
равенству (4.4).

.

Поэтому будем
считать, что модуль каждого собственного
вектора равен единице

Образуем из векторов
Z
квадратную матрицу F
порядка m:

F(4.5)

Как установлено,
столбцы этой матрицы, во-первых,
ортогональны, а во-вторых, нормированы.

Установим еще одно
свойство матрицы F. Умножим матрицу F
слева на матрицу F транспонированную и
раскроем произведение.

Таким
образом, транспонирование матрицы F
одновременно является операцией
обращения:

В заключение, не
смотря на очевидность, подчеркнем, что
также как сама ковариационная матрица
случайного вектора, ее собственные
векторы и собственные значения неслучайны.

Соседние файлы в папке MD_DOC

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

In probability theory and statistics, a covariance matrix (also known as auto-covariance matrix, dispersion matrix, variance matrix, or variance–covariance matrix) is a square matrix giving the covariance between each pair of elements of a given random vector. Any covariance matrix is symmetric and positive semi-definite and its main diagonal contains variances (i.e., the covariance of each element with itself).

Intuitively, the covariance matrix generalizes the notion of variance to multiple dimensions. As an example, the variation in a collection of random points in two-dimensional space cannot be characterized fully by a single number, nor would the variances in the and directions contain all of the necessary information; a matrix would be necessary to fully characterize the two-dimensional variation.

The covariance matrix of a random vector is typically denoted by or .

Definition[edit]

Throughout this article, boldfaced unsubscripted and are used to refer to random vectors, and Roman subscripted and are used to refer to scalar random variables.

If the entries in the column vector

are random variables, each with finite variance and expected value, then the covariance matrix is the matrix whose entry is the covariance^{[1]: p. 177}

where the operator denotes the expected value (mean) of its argument.

Conflicting nomenclatures and notations[edit]

Nomenclatures differ. Some statisticians, following the probabilist William Feller in his two-volume book An Introduction to Probability Theory and Its Applications,^[2] call the matrix the variance of the random vector , because it is the natural generalization to higher dimensions of the 1-dimensional variance. Others call it the covariance matrix, because it is the matrix of covariances between the scalar components of the vector .

Both forms are quite standard, and there is no ambiguity between them. The matrix is also often called the variance-covariance matrix, since the diagonal terms are in fact variances.

By comparison, the notation for the cross-covariance matrix between two vectors is

Properties[edit]

Relation to the autocorrelation matrix[edit]

The auto-covariance matrix is related to the autocorrelation matrix by

where the autocorrelation matrix is defined as .

Relation to the correlation matrix[edit]

An entity closely related to the covariance matrix is the matrix of Pearson product-moment correlation coefficients between each of the random variables in the random vector , which can be written as

where is the matrix of the diagonal elements of (i.e., a diagonal matrix of the variances of for ).

Equivalently, the correlation matrix can be seen as the covariance matrix of the standardized random variables for .

Each element on the principal diagonal of a correlation matrix is the correlation of a random variable with itself, which always equals 1. Each off-diagonal element is between −1 and +1 inclusive.

Inverse of the covariance matrix[edit]

The inverse of this matrix, , if it exists, is the inverse covariance matrix (or inverse concentration matrix), also known as the precision matrix (or concentration matrix).^[3]

Just as the covariance matrix can be written as the rescaling of a correlation matrix by the marginal variances:

So, using the idea of partial correlation, and partial variance, the inverse covariance matrix can be expressed analogously:

This duality motivates a number of other dualities between marginalizing and conditioning for gaussian random variables.

Basic properties[edit]

For and , where is a -dimensional random variable, the following basic properties apply:^[4]

1. 
2. is positive-semidefinite, i.e.
3. is symmetric, i.e.
4. For any constant (i.e. non-random) matrix and constant vector , one has
5. If is another random vector with the same dimension as , then where is the cross-covariance matrix of and .

Block matrices[edit]

The joint mean and joint covariance matrix of and can be written in block form

where , and .

and can be identified as the variance matrices of the marginal distributions for and respectively.

If and are jointly normally distributed,

then the conditional distribution for given is given by

^[5]

defined by conditional mean

and conditional variance

The matrix is known as the matrix of regression coefficients, while in linear algebra is the Schur complement of in .

The matrix of regression coefficients may often be given in transpose form, , suitable for post-multiplying a row vector of explanatory variables rather than pre-multiplying a column vector . In this form they correspond to the coefficients obtained by inverting the matrix of the normal equations of ordinary least squares (OLS).

Partial covariance matrix[edit]

A covariance matrix with all non-zero elements tells us that all the individual random variables are interrelated. This means that the variables are not only directly correlated, but also correlated via other variables indirectly. Often such indirect, common-mode correlations are trivial and uninteresting. They can be suppressed by calculating the partial covariance matrix, that is the part of covariance matrix that shows only the interesting part of correlations.

If two vectors of random variables and are correlated via another vector , the latter correlations are suppressed in a matrix^[6]

The partial covariance matrix is effectively the simple covariance matrix as if the uninteresting random variables were held constant.

Covariance matrix as a parameter of a distribution[edit]

If a column vector of possibly correlated random variables is jointly normally distributed, or more generally elliptically distributed, then its probability density function can be expressed in terms of the covariance matrix as follows^[6]

where and is the determinant of .

Covariance matrix as a linear operator[edit]

Applied to one vector, the covariance matrix maps a linear combination c of the random variables X onto a vector of covariances with those variables: . Treated as a bilinear form, it yields the covariance between the two linear combinations: . The variance of a linear combination is then , its covariance with itself.

Similarly, the (pseudo-)inverse covariance matrix provides an inner product , which induces the Mahalanobis distance, a measure of the «unlikelihood» of c.^{[citation needed]}

Which matrices are covariance matrices?[edit]

From the identity just above, let be a real-valued vector, then

which must always be nonnegative, since it is the variance of a real-valued random variable, so a covariance matrix is always a positive-semidefinite matrix.

The above argument can be expanded as follows:

where the last inequality follows from the observation that is a scalar.

Conversely, every symmetric positive semi-definite matrix is a covariance matrix. To see this, suppose is a symmetric positive-semidefinite matrix. From the finite-dimensional case of the spectral theorem, it follows that has a nonnegative symmetric square root, which can be denoted by M^1/2. Let be any column vector-valued random variable whose covariance matrix is the identity matrix. Then

Complex random vectors[edit]

The variance of a complex scalar-valued random variable with expected value is conventionally defined using complex conjugation:

where the complex conjugate of a complex number is denoted ; thus the variance of a complex random variable is a real number.

If is a column vector of complex-valued random variables, then the conjugate transpose is formed by both transposing and conjugating. In the following expression, the product of a vector with its conjugate transpose results in a square matrix called the covariance matrix, as its expectation:^{[7]: p. 293}

,

The matrix so obtained will be Hermitian positive-semidefinite,^[8] with real numbers in the main diagonal and complex numbers off-diagonal.

Properties

• The covariance matrix is a Hermitian matrix, i.e. .^{[1]: p. 179}
• The diagonal elements of the covariance matrix are real.^{[1]: p. 179}

Pseudo-covariance matrix[edit]

For complex random vectors, another kind of second central moment, the pseudo-covariance matrix (also called relation matrix) is defined as follows:

In contrast to the covariance matrix defined above, Hermitian transposition gets replaced by transposition in the definition.
Its diagonal elements may be complex valued; it is a complex symmetric matrix.

Estimation[edit]

If and are centred data matrices of dimension and respectively, i.e. with n columns of observations of p and q rows of variables, from which the row means have been subtracted, then, if the row means were estimated from the data, sample covariance matrices and can be defined to be

or, if the row means were known a priori,

These empirical sample covariance matrices are the most straightforward and most often used estimators for the covariance matrices, but other estimators also exist, including regularised or shrinkage estimators, which may have better properties.

Applications[edit]

The covariance matrix is a useful tool in many different areas. From it a transformation matrix can be derived, called a whitening transformation, that allows one to completely decorrelate the data^{[citation needed]} or, from a different point of view, to find an optimal basis for representing the data in a compact way^{[citation needed]} (see Rayleigh quotient for a formal proof and additional properties of covariance matrices).
This is called principal component analysis (PCA) and the Karhunen–Loève transform (KL-transform).

The covariance matrix plays a key role in financial economics, especially in portfolio theory and its mutual fund separation theorem and in the capital asset pricing model. The matrix of covariances among various assets’ returns is used to determine, under certain assumptions, the relative amounts of different assets that investors should (in a normative analysis) or are predicted to (in a positive analysis) choose to hold in a context of diversification.

Use in optimization[edit]

The evolution strategy, a particular family of Randomized Search Heuristics, fundamentally relies on a covariance matrix in its mechanism. The characteristic mutation operator draws the update step from a multivariate normal distribution using an evolving covariance matrix. There is a formal proof that the evolution strategy’s covariance matrix adapts to the inverse of the Hessian matrix of the search landscape, up to a scalar factor and small random fluctuations (proven for a single-parent strategy and a static model, as the population size increases, relying on the quadratic approximation).^[9]
Intuitively, this result is supported by the rationale that the optimal covariance distribution can offer mutation steps whose equidensity probability contours match the level sets of the landscape, and so they maximize the progress rate.

Covariance mapping[edit]

In covariance mapping the values of the or matrix are plotted as a 2-dimensional map. When vectors and are discrete random functions, the map shows statistical relations between different regions of the random functions. Statistically independent regions of the functions show up on the map as zero-level flatland, while positive or negative correlations show up, respectively, as hills or valleys.

In practice the column vectors , and are acquired experimentally as rows of samples, e.g.

where is the i-th discrete value in sample j of the random function . The expected values needed in the covariance formula are estimated using the sample mean, e.g.

and the covariance matrix is estimated by the sample covariance matrix

where the angular brackets denote sample averaging as before except that the Bessel’s correction should be made to avoid bias. Using this estimation the partial covariance matrix can be calculated as

where the backslash denotes the left matrix division operator, which bypasses the requirement to invert a matrix and is available in some computational packages such as Matlab.^[10]

Fig. 1 illustrates how a partial covariance map is constructed on an example of an experiment performed at the FLASH free-electron laser in Hamburg.^[11] The random function is the time-of-flight spectrum of ions from a Coulomb explosion of nitrogen molecules multiply ionised by a laser pulse. Since only a few hundreds of molecules are ionised at each laser pulse, the single-shot spectra are highly fluctuating. However, collecting typically such spectra, , and averaging them over produces a smooth spectrum , which is shown in red at the bottom of Fig. 1. The average spectrum reveals several nitrogen ions in a form of peaks broadened by their kinetic energy, but to find the correlations between the ionisation stages and the ion momenta requires calculating a covariance map.

In the example of Fig. 1 spectra and are the same, except that the range of the time-of-flight differs. Panel a shows , panel b shows and panel c shows their difference, which is (note a change in the colour scale). Unfortunately, this map is overwhelmed by uninteresting, common-mode correlations induced by laser intensity fluctuating from shot to shot. To suppress such correlations the laser intensity is recorded at every shot, put into and is calculated as panels d and e show. The suppression of the uninteresting correlations is, however, imperfect because there are other sources of common-mode fluctuations than the laser intensity and in principle all these sources should be monitored in vector . Yet in practice it is often sufficient to overcompensate the partial covariance correction as panel f shows, where interesting correlations of ion momenta are now clearly visible as straight lines centred on ionisation stages of atomic nitrogen.

Two-dimensional infrared spectroscopy[edit]

Two-dimensional infrared spectroscopy employs correlation analysis to obtain 2D spectra of the condensed phase. There are two versions of this analysis: synchronous and asynchronous. Mathematically, the former is expressed in terms of the sample covariance matrix and the technique is equivalent to covariance mapping.^[12]

See also[edit]

• Covariance function
• Multivariate statistics
• Lewandowski-Kurowicka-Joe distribution
• Gramian matrix
• Eigenvalue decomposition
• Quadratic form (statistics)
• Principal components

References[edit]

Further reading[edit]

• «Covariance matrix», Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• «Covariance Matrix Explained With Pictures», an easy way to visualize covariance matrices!
• Weisstein, Eric W. «Covariance Matrix». MathWorld.
• van Kampen, N. G. (1981). Stochastic processes in physics and chemistry. New York: North-Holland. ISBN 0-444-86200-5.