본문 바로가기

분류 전체보기

특이값(Singular Value)과 노름(Norm
2021. 4. 22. 특이값, 특이값 분해와 관련한 내용은 해당 포스팅에 정리해두었다. https://ririhyeri.tistory.com/3 SVD - 특이값 분해 (Singular Value Decomposition) 지난 게시물에서 다루었던 고유값 분해에 이어서 이번에는 특이값 분해에 대해 포스팅해보려 한다. 특이값 분해 또한 행렬 분해 방식 중 하나이며, nxn정사각 대칭행렬에서만 성립하는 고유값 ririhyeri.tistory.com 오늘은 이 특이값과 Matrix Norm에 대해 다루어보려고 한다. 그전에, 알아두면 이번 포스팅 내용에서 도움이 되는 Operator Norm 한국어로 번역하면 작용소 놈에 대해서 간단히 정리해보려고 한다. Operator Norm은 행렬의 양적인 크기를 구하기 위해, Vector ..
최소제곱해(Least Squares Soluton)와 Minimum Length Solution
2021. 3. 11. 지난 특이값 분해 포스팅에 이어서 최소제곱해와 Minimum Length Solution 에 대해 정리해보려고 한다. 1. 최소제곱해 일반적으로 b∈C(A)의 경우에는 Ax=b를 만족하는 x를 구할 수 있는데( $A^{T}A$x̂ = $A^{T}b$ ), 이런 케이스가 아닌 경우에는 가장 근사하는 해인 $x^{+}$를 구하는 것이 방법이다. 이는 minimum length solution을 통해 구할 수 있다. 짚고 넘어가야 하는 개념이 있는데, 바로 The Best Approximation 이론이다. 가장 근사하는 해의 의미를 시각적으로 표현한 것인데 간단하게 정리하자면 아래와 같다. 2. Minimum Length Solution 방법은 간단히 말해서 유사역행렬(pseudoinverse)을 구하는 방..
SVD - 특이값 분해 (Singular Value Decomposition)
2021. 3. 11. 지난 게시물에서 다루었던 고유값 분해에 이어서 이번에는 특이값 분해에 대해 포스팅해보려 한다. 특이값 분해 또한 행렬 분해 방식 중 하나이며, nxn정사각 대칭행렬에서만 성립하는 고유값 분해와는 달리 임의의 mxn행렬에서도 성립되므로 좀 더 일반화된 버전이라고 볼 수 있다. 1. 특이값 분해를 하는 이유, 간단한 배경지식 특이값 분해는 주로 차원 축소를 위해서 쓰인다. n차원 보다 작은 p차원 부분 공간에서 m개의 점을 표현하는 방법을 찾는 과정으로서, 데이터와 부분공간으로부터의 수직거리를 최소화하여 찾는다.(제곱합의 최소화) 그렇기 때문에, A자체보다 계산과정에서 $AA^{T}, A^{T}A$ 를 주로 사용하게 된다. 이후 공식에서 한번 더 말하게 되지만, 특이값 분해는, 직교하는 벡터집합에 대해 선형..
고유값(EVD : Eigen Value Decomposition) 분해
2021. 3. 10. 첫번째 티스토리 글 주제를 무엇으로 할지 고민하다가 현재 대학원 수업에서 배우고 있는 행렬 분석 과목을 공부하면서 아이패드로 정리하고, 이곳에 기록하기로 결심했다. 아이패드 필기 중심이라 설명이 많지는 않을 것 같다. 1. 고유값 분해의 의미 고유값 분해(eigen decomposition)은 고유값과 고유벡터로부터 유도되는 고유값 행렬과 행렬에 의해 분해될 수 있는 행렬의 표현.... 이라고 위키백과에 안내되어 있다. 이는 mxm정사각 대칭행렬에서만 성립되는 행렬 분해 방식이다. 고유벡터(eigen vector)는 어떤 선형 변환을 취했을 때 방향은 변하지 않고 크기만 변하는 벡터이고 고유값(eigen value)은 이때 고유벡터가 변화한 크기를 의미한다. 2. 고유값 분해 공식 여기서 A는 대각화 가..

티스토리툴바