Для чего нужны собственные векторы матрицы (8 видео)

Собственные числа, собственные векторы матриц и квадратичные формы

Проблема собственных чисел играет существенную роль не только в линейной алгебре, но и в других разделах математики, а также во многих прикладных областях (в менеджменте, психологии, юриспруденции).

Пусть задана квадратная матрица А размера (n X п), элементами которой являются действительные числа (R) и вектор неизвестных X размера (n X 1):

Предположим, что X — это некоторое неизвестное действительное число.

Если X и ненулевой вектор X удовлетворяют уравнению

то X называется собственным числом или собственным значением матрицы А, а X — собственным вектором этой же матрицы, соответствующим X.

Преобразуем уравнение (2.15) к следующему виду:

где Е — единичная матрица.

называется характеристической матрицей.

Так как по условию вектор неизвестных X не равен нулю, то среди его координат х , х₂, . х_п должна быть хотя бы одна ненулевая. А для того, чтобы система линейных однородных уравнений (2.16) имела ненулевое решение, необходимо и достаточно, чтобы определитель этой системы был равен нулю (это следует из теоремы Кронекера-Капелли).

Число X = X_fc, где к = 1, п будет собственным числом только в том случае, если матрица (Х_кЕ -А) — вырожденная.

Уравнение (2.17) называется характеристическим уравнением матрицы А и представляет собой алгебраическое уравнение степени п относительно X:

Уравнение (2.18) имеет п корней X_v Х₂, Х_п. Множество всех корней уравнения (2.18) называется спектром матрицы А.

Заметим, что уравнение det (А — ХЕ) = 0 имеет те же корни, что и уравнение (2.17), т. е.

Каждому собственному значению спектра матрицы А ставится в соответствие собственный вектор, определенный с точностью до скалярного множителя. Если Х_к есть кратный корень характеристического уравнения, то для произвольной квадратной матрицы число соответствующих собственных векторов может быть не равно кратности корня. С геометрической точки зрения собственный вектор определяет в пространстве некоторое направление (прямую, проходящую через начало координат), которое в результате преобразования не изменяется и вдоль которого пространство испытывает растяжение или сжатие в X раз.

Полином Х п + р^” -1 + . + р_п = 0 называют характеристическим полиномом. Коэффициенты р_к (k = 1, п) можно вычислить по следующим рекуррентным формулам [57]:

Здесь SpA = S а_кк — след матрицы (сумма элементов, стоя-

щих на главной диагонали матрицы А). Заметим, что р = (-1)” X X det А. При отыскании собственных чисел даже для матриц невысокого порядка неизбежно большое количество вычислений. Для общего случая нельзя предложить оптимальный способ нахождения собственных чисел и собственных векторов матрицы.

Рассмотрим случай, когда собственные числа находятся сразу исходя из вида матрицы (исходная матрица либо диагональная, либо верхняя или нижняя треугольная). В этом случае собственные числа ₂. _п совпадают с элементами главной диагонали исходной матрицы а_п, а₂₂. а_пп.

Пусть задана верхняя треугольная матрица А размера (n X п):

Отсюда видно, что собственные числа равны:

С появлением ЭВМ получили распространение итерационные методы нахождения собственных чисел, которые не используют вычисление характеристического полинома. К этим способам относятся: степенной метод, метод обратных итераций, QR-алгоритм, метод вращений Якоби, QL-алгоритм и др. Причем применение конкретного итерационного метода зависит от вида исходной матрицы А [4].

Теперь рассмотрим конкретные примеры.

Пример 2.8. Дана матрица А размера (3 X 3)

Найти собственные числа и собственные векторы матрицы А.

Из условия задачи видно, что матрица А является верхней треугольной матрицей. Поэтому собственными числами данной матрицы будут элементы ее главной диагонали

Теперь найдем соответствующие найденным собственным числам собственные векторы. Для этого мы используем уравнение (2.16).

Для Х₁ = -4 получаем

Далее раскроем матричное уравнение (2.20)

В результате получим

Так как матрица этой системы вырождена, то она имеет ненулевые решения, которые имеют вид:

т. е. получены искомые собственные вектора для Для Х₂ = Х₃ = 1 получаем

ил*

В результате получаем

т. е. это уравнение имеет ненулевые решения, которые и будут искомыми собственными векторами для ₂.

Эти решения запишем в виде

Пример 2.9. Дана матрица А размера (2 X 2). Найти собственные числа и собственные матрицы А

Запишем характеристическое уравнение (2.17) для данного случая

Теперь найдем собственные векторы исходной матрицы А, соответствующие .₁ = 1 и Х₂ = -4.

В подробной записи получим

Так как определитель полученной матрицы равен нулю, то она имеет ненулевые решения, которые и являются собственными векторами X_v которые мы и находим

Из первого уравнения системы получаем х₂ = 2x_v Из второго уравнения системы получаем х₂ = 2x_v т. е. она имеет бесконечное множество решений. И искомый собственный вектор Xj будет иметь вид

Аналогично, для Х₂ = -4 находим

В заключение приведем два полезных правила [38]:

1) сумма собственных чисел матрицы А равна следу этой матрицы, т. е.

2) произведение собственных чисел матрицы А равно определителю этой матрицы

Кратко рассмотрим квадратичные формы.

Квадратичной формой называется однородный многочлен второй степени от нескольких пременных. Обозначим их x_v х₂, . х .

Квадратичную форму в общем виде можно записать так:

В качестве примера рассмотрим квадратичную форму трех переменных:

Введем обозначения:

Тогда квадратичная форма примет вид

Дополнительно вводим симметричную матрицу В, вектор X.

В этом случае квадратичная форма примет вид

Последняя формула представляет собой матрично-векторный вид квадратичной формы.

А в общем случае получим:

где Ь..— коэффициенты при х 2 для всех i = 1, 2, n, a b’j = Ц_< равны полусуммам коэффициентов при элементах, содержащих произведения х. х. и х. х_< при всех г, j = 1, 2,п, г ^ j.

Матрица В является матрицей квадратичной формы.

В качестве примера запишем в матрично-векторном виде квадратичную форму

В данном случае получаем:

Матрица данной квадратичной формы принимает вид А ее матрично-векторная запись такова:

Содержание

Нежное введение в собственные разложения, собственные значения и собственные векторы для машинного обучения
Обзор учебника
Собственное разложение матрицы
Собственные векторы и собственные значения
Расчет собственного разложения
Подтвердите собственный вектор и собственное значение
Восстановить оригинальную матрицу
расширения
Дальнейшее чтение
книги
статьи
Резюме
💥 Видео

Видео:Собственные значения и собственные векторы матрицы (4)Скачать

Нежное введение в собственные разложения, собственные значения и собственные векторы для машинного обучения

Дата публикации 2018-02-19

Матричные разложения являются полезным инструментом для сокращения матрицы до ее составных частей, чтобы упростить ряд более сложных операций.

Возможно, наиболее используемый тип разложения матриц — это разложение, которое разбивает матрицу на собственные векторы и собственные значения. Эта декомпозиция также играет роль в методах, используемых в машинном обучении, таких как метод анализа основных компонентов или PCA.

В этом уроке вы узнаете собственное разложение, собственные векторы и собственные значения в линейной алгебре.

После завершения этого урока вы узнаете:

Что такое собственное разложение и роль собственных векторов и собственных значений.
Как рассчитать собственное разложение в Python с помощью NumPy.
Как подтвердить вектор является собственным вектором и как восстановить матрицу из собственных векторов и собственных значений.

Видео:Собственные векторы и собственные числа линейного оператораСкачать

Обзор учебника

Этот урок состоит из 5 частей; они есть:

Собственное разложение матрицы
Собственные векторы и собственные значения
Расчет собственного разложения
Подтвердите собственный вектор и собственное значение
Восстановить оригинальную матрицу

Видео:Собственные значения и собственные векторыСкачать

Собственное разложение матрицы

Собственное разложение матрицы — это тип разложения, который включает в себя разложение квадратной матрицы на набор собственных векторов и собственных значений.

Один из наиболее широко используемых видов разложения матриц называется собственным разложением, в котором мы разлагаем матрицу на набор собственных векторов и собственных значений.

Вектор является собственным вектором матрицы, если он удовлетворяет следующему уравнению.

Это называется уравнением собственных значений, где A — матрица исходного квадрата, которую мы разлагаем, v — собственный вектор матрицы, а лямбда — строчная греческая буква и представляет скаляр собственного значения.

Или без точечной записи.

Матрица может иметь один собственный вектор и собственное значение для каждого измерения родительской матрицы. Не все квадратные матрицы могут быть разложены на собственные векторы и собственные значения, а некоторые могут быть разложены только таким способом, который требует комплексных чисел. Можно показать, что родительская матрица является произведением собственных векторов и собственных значений.

Или без точечной записи.

Где Q является матрицей, состоящей из собственных векторов, diag (V) является диагональной матрицей, состоящей из собственных значений вдоль диагонали (иногда представленной с большой буквы лямбда), и Q ^ -1 является обратной матрицей, состоящей из собственных векторов.

Однако мы часто хотим разложить матрицы на их собственные значения и собственные векторы. Это может помочь нам проанализировать определенные свойства матрицы, так же как разложение целого числа на его основные факторы может помочь нам понять поведение этого целого числа.

Эйген это не имя, например метод не назван в честь «Eigen»; eigen (произносится как eye-gan) — это немецкое слово, которое означает «собственный» или «врожденный», как принадлежащее родительской матрице.

Операция декомпозиции не приводит к сжатию матрицы; вместо этого он разбивает его на составные части, чтобы упростить выполнение определенных операций над матрицей. Как и другие методы матричной декомпозиции, собственная декомпозиция используется в качестве элемента для упрощения вычисления других более сложных матричных операций.

Почти все векторы меняют направление, когда они умножаются на A. Некоторые исключительные векторы x находятся в том же направлении, что и Ax. Это «собственные векторы». Умножьте собственный вектор на A, и вектор Ax будет числом лямбда-раз, умноженным на исходную x. […] Лямбда с собственным значением сообщает, растянут ли специальный вектор x, сжимается ли он, перевернут ли или не изменяется — когда он умножается на A.

Собственное разложение также может быть использовано для вычисления главных компонентов матрицы в методе анализа основных компонентов или PCA, который может использоваться для уменьшения размерности данных в машинном обучении.

Видео:Линал 1.8 Собственные векторы и собственные числаСкачать

Собственные векторы и собственные значения

Собственные векторы являются единичными векторами, что означает, что их длина или величина равна 1,0. Их часто называют правыми векторами, что означает вектор-столбец (в отличие от вектора-строки или левого вектора). Правый вектор — это вектор, как мы его понимаем.

Собственные значения — это коэффициенты, применяемые к собственным векторам, которые дают векторам их длину или величину. Например, отрицательное собственное значение может инвертировать направление собственного вектора как часть его масштабирования.

Матрица, которая имеет только положительные собственные значения, упоминается как положительно определенная матрица, тогда как, если все собственные значения являются отрицательными, она упоминается как отрицательно определенная матрица.

Разложение матрицы по ее собственным значениям и собственным векторам дает ценную информацию о свойствах матрицы Определенные матричные вычисления, такие как вычисление мощности матрицы, становятся намного проще, когда мы используем собственное разложение матрицы.

Видео:Собственные значения и собственные векторы. ТемаСкачать

Расчет собственного разложения

Собственное разложение вычисляется на квадратной матрице с использованием эффективного итерационного алгоритма, о котором мы не будем вдаваться в подробности.

Часто сначала находят собственное значение, а затем определяют собственный вектор для решения уравнения в виде набора коэффициентов.

Собственное разложение можно рассчитать в NumPy с помощью функции eig ().

В приведенном ниже примере сначала определяется квадратная матрица 3 × 3. Собственное разложение вычисляется по матрице, возвращающей собственные значения и собственные векторы.

При выполнении примера сначала печатается определенная матрица, за которой следуют собственные значения и собственные векторы. Более конкретно, собственные векторы являются собственными векторами с правой стороны и нормированы на единицу длины.

Видео:Собственные векторы и собственные значенияСкачать

Подтвердите собственный вектор и собственное значение

Мы можем подтвердить, что вектор действительно является собственным вектором матрицы.

Мы делаем это, умножая собственный вектор-кандидат на собственный вектор и сравнивая результат с собственным значением.

Сначала мы определим матрицу, затем вычислим собственные значения и собственные векторы. Затем мы проверим, являются ли первые вектор и значение собственными значением и собственным вектором для матрицы. Мы знаем, что это так, но это хорошее упражнение.

Собственные векторы возвращаются в виде матрицы с теми же размерами, что и у родительской матрицы, где каждый столбец является собственным вектором, например, первый собственный вектор — векторы [:, 0]. Собственные значения возвращаются в виде списка, где индексы значений в возвращенном массиве соединяются с собственными векторами по индексу столбца, например, первое собственное значение в значениях [0] связано с первым собственным вектором в векторах [:, 0].

В этом примере исходная матрица умножается на первый собственный вектор и сравнивается с первым собственным вектором, умноженным на первое собственное значение.

Выполнение примера выводит результаты этих двух умножений, которые показывают один и тот же результирующий вектор, как и следовало ожидать.

Видео:Айгенвектора и айгензначения | Сущность Линейной Алгебры, глава 10Скачать

Восстановить оригинальную матрицу

Мы можем повернуть процесс вспять и восстановить исходную матрицу, учитывая только собственные векторы и собственные значения.

Во-первых, список собственных векторов должен быть преобразован в матрицу, где каждый вектор становится строкой. Собственные значения должны быть расположены в диагональной матрице. Для этого можно использовать функцию NumPy diag ().

Далее нам нужно вычислить обратную матрицу собственных векторов, чего мы можем достичь с помощью функции inv () NumPy. Наконец, эти элементы должны быть умножены вместе с функцией dot ().

В примере снова вычисляются собственные значения и собственные векторы и используются их для восстановления исходной матрицы.

При выполнении примера сначала печатается исходная матрица, а затем матрица, восстановленная из собственных значений и собственных векторов, соответствующих исходной матрице.

Видео:Собственные векторы и собственные значения матрицыСкачать

расширения

В этом разделе перечислены некоторые идеи по расширению учебника, которые вы, возможно, захотите изучить.

Создайте 5 примеров, используя каждую операцию со своими собственными данными.
Реализуйте каждую матричную операцию вручную для матриц, определенных как списки списков.
Найдите документы по машинному обучению и найдите 1 пример каждой используемой операции.

Если вы исследуете какое-либо из этих расширений, я хотел бы знать.

Видео:Собственные векторы и собственные числа линейного оператораСкачать

Дальнейшее чтение

Этот раздел предоставляет больше ресурсов по теме, если вы хотите углубиться.

книги

Раздел 6.1. Собственные значения и собственные векторы.Руководство по линейной алгебре, 2017
Глава 6 Собственные значения и собственные векторы,Введение в линейную алгебру, Пятое издание, 2016.
Раздел 2.7 Собственное разложение,Глубокое обучение, 2016
Глава 5. Собственные значения, собственные векторы и инвариантные подпространства.Линейная алгебра сделано правильноТретье издание, 2015.
Лекция 24, Проблемы собственных значений,Численная линейная алгебра, 1997.

статьи

Видео:Квантовая механика 8 - Операторы. Собственные векторы и собственные значения.Скачать

Резюме

В этом уроке вы обнаружили собственное разложение, собственные векторы и собственные значения в линейной алгебре.

В частности, вы узнали:

Что такое собственное разложение и роль собственных векторов и собственных значений.
Как рассчитать собственное разложение в Python с помощью NumPy.
Как подтвердить вектор является собственным вектором и как восстановить матрицу из собственных векторов и собственных значений.

У вас есть вопросы?
Задайте свои вопросы в комментариях ниже, и я сделаю все возможное, чтобы ответить.