[PRML] 2. Probability Distributions

1장에서는 패턴 인식 문제에서 확률론이 얼마나 중요한 역할을 하는지를 이야기했다.

이 장에서는 특정 확률 분포들의 예시와 그 특성에 대해서 배워 보겠다.

이 장에서 소개하는 확률 분포들은 그 자체로도 흥미롭지만, 책 전체를 통틀어 보다 더 복잡한 문제를 푸는 데 사용되기도 한다.

이 장에서는 또한 이후의 장들에서 복잡한 맥락에서 등장하게 될 베이지안 추론(Baysian inference)와 같은 주요한 확률론적 개념을 조금 더 단순한 상황을 통해 먼저 맛보게 된다.

 

이 장에서 소개하게 될 확률 분포들의 역할 중 하나는 밀도 추정(density estimation) 으로,

유한한 측정치 $\mathbf{x}_1, \mathbf{x}_N$이 주어졌을 때 확률변수 $\mathbf{x}$의 분포 $p(\mathbf{x})$를 모델링하는 것이다.

그런데 이 밀도 추정 문제는 ill-posed 인 문제(ill-posed problem)이다.

 

어떤 수학적 문제가 다음과 같은 성질을 가질때 그 문제를 well-posed라고 한다.

• 해답이 존재한다.
• 해답은 유일하다.
• 해답은 초기 조건에 따라 연속적으로 변한다.

만약 어떤 문제가 위 세 조건을 갖추지 못했다면 그 문제를 ill-posed라고 한다.

 

유한한 측정치들에 대해서, 그 데이터셋을 설명할 수 있는 확률 분포는 무한히 존재한다.

각 데이터 포인트 $\mathbf{x}_1, \mathbf{x}_N$에서의 확률이 0이 아닌 어떠한 확률 분포건 그 후보가 될 수 있기 때문이다.

 

이 장에서는 데이터 포인트들이 서로 독립(independent)이고 동일한 분포를 따른다(identically distributed)라고 가정한다.

이러한 특성을 독립 항등 분포(IID, Independent and identically distributed)라고 한다.

 

우리는 먼저 이산 확률 변수(discrete random variable)에 대한 이항(binomial), 다항(multinomial)분포와, 연속 확률 변수(continuous random variable)에 대한 가우시안 분포를 알아볼 것이다.

이 분포들은 적은 매개변수들에 의해 조정되기 때문에 parametric 분포라고 한다.

예컨대 가우시안 분포의 경우에는 평균과 분산이 주어지면 전체 확률 분포를 구할 수 있다.

 

이 모델들을 밀도 추정 문제에 적용하기 위해서는 측정치를 잘 반영할 수 있는 매개변수를 조정할 수 있어야 한다.

빈도주의(frequentist)의 관점에서의 접근은 likelihood와 같은 어떤 판단 기준을 최적화하는 것이 될 것이다.

반면 베이지안 관점에서 접근한다면 매개변수들의 사전 확률 분포(prior distribution)를 계산한 후, 이를 이용해 측정치가 주어졌을 때의 사후 확률 분포(posterior distribution)을 구하게 될 것이다.

 

여기에서는 켤레 사전 확률(conjugate prior)이 큰 역할을 한다.

사전 확률과 사후 확률이 같은 확률 분포 그룹에 속해 있을 때 이들을 켤레 분포(conjugate distribution)이라고 하며, 이 때의 사전 확률을 켤레 사전 확률이라고 한다.

켤레 사전 확률을 통해 베이지안 분석을 매우 간단히 할 수 있다.

 

parametric 방식의 한 가지 한계점은 이 방식이 특정 고정된 형식의 분포를 추정한다는 것이다.

이는 어떤 사례들에는 적절하지 않을 수 있다.

대안적인 방법은 nonparametric 밀도 추정 방식으로, 보통 분포의 형태가 데이터셋의 크기에 의존한다.

이 방식에서 매개 변수들은 확률 분포의 형태를 결정하기보다는 모델의 복잡도를 결정하는 역할을 한다.