최소제곱해(Least Squares Soluton)와 Minimum Length Solution

 

 

지난 특이값 분해 포스팅에 이어서 최소제곱해와 Minimum Length Solution 에 대해 정리해보려고 한다.

 

 

 

1. 최소제곱해

일반적으로 b∈C(A)의 경우에는 Ax=b를 만족하는 x를 구할 수 있는데( $A^{T}A$x̂ = $A^{T}b$ ),

이런 케이스가 아닌 경우에는 가장 근사하는 해인 $x^{+}$를 구하는 것이 방법이다.

이는 minimum length solution을 통해 구할 수 있다.

 

 

짚고 넘어가야 하는 개념이 있는데, 바로 The Best Approximation 이론이다.

가장 근사하는 해의 의미를 시각적으로 표현한 것인데 간단하게 정리하자면 아래와 같다.

 

 

2. Minimum Length Solution

 

방법은 간단히 말해서 유사역행렬(pseudoinverse)을 구하는 방식이라고 볼 수 있는데,

A와 b가 만약 아래처럼 생겼다고 가정해보자

 

열공간 안에서 가장 closest한 벡터 b는 아래가 될 것이다.

따라서, 식을 다시 정리해보면 아래처럼 될 수 있고

 

이를 통해 x1의 hat은 b1/a11, x2의 hat은 b2/a22, x3 hat은 0, x4 hat은 0임을 얻을 수 있다.

 

따라서 위의 값들을 이용해 식을 다시 써보면 아래와 같다.

 

 

 

이전 포스팅에서 다루었던 SVD(특이값 분해 Singular Value Decomposition)와 함께 접근하여 일반화 해보자.

 

또한 y를 $V^{T}x$로 두면 위의 식은

이처럼 다시 표현할 수 있고, ∑는 diagonal 즉 대각행렬이므로 minimum length solution은

이처럼 구할 수 있으며 최종적으로 다시 전체 식을 정리해보면

이렇게 구해볼 수 있다.