[PRML] 1. Introduction

패턴 인식(Pattern Recognition):

1. 컴퓨터 알고리즘을 이용해 데이터의 내재적 규칙을 파악하고,

2. 발견된 규칙을 사용해 카테고리 분류 등의 행동을 취하는 것.

 

머신 러닝(Machine Learning):

1. 경험을 통해 자동적으로 발전하는 컴퓨터 알고리즘에 대한 연구

 

본격적인 내용으로 들어가기 전에, 책의 제목을 보면 먼저 패턴 인식과 머신 러닝의 차이에 대한 궁금증이 떠오른다.

머신 러닝이라는 단어는 친숙하지만, 패턴 인식이라는 단어는 조금 생소하기도 하다.

 

preface에 적혀 있는 내용에 따르면 패턴 인식은 공학에서, 머신 러닝은 컴퓨터 과학에서 나왔지만 이 둘은 같은 분야의 서로 다른 두 가지 측면으로 볼 수 있으며, 함께 발전해 왔다고 한다.

 

참고 링크에 의하면 패턴 인식은 문제, 머신 러닝은 문제에 대한 해답으로 볼 수 있으며,

머신 러닝의 엔지니어링적인 응용이 패턴 인식이라고도 한다.

 

또한, 머신 러닝은 데이터로부터 학습할 수 있는 시스템(알고리즘)에 대한 구축 및 연구에 집중하는 반면

패턴 인식은 데이터의 패턴과 규칙을 인식하는 데 더 집중한다고 한다.

 

 

(참고: https://dzone.com/articles/machine-learning-and-pattern-recognition)

 

예컨대 그림 1과 같은 손글씨 숫자를 인식하는 문제를 생각해 보자.

각 숫자는  28x28 픽셀의 이미지이며, 따라서 길이가 784인 실수상의 벡터 $x$ 로 표현될 수 있다.

손글씨 숫자 인식 문제의 목표는 이 벡터 $x$를 입력값으로 받아 $x$가 $0, \ldots, 9$중의 어느 숫자에 해당되는지를 분류하는 것이다.

하나의 숫자에 해당하는 손글씨가 다양하기 때문에 이는 자명하지 않은 문제이다.

 

 

 

Figure 1.1 손글씨 숫자 데이터셋의 예

 

$\left\{ x_1, \ldots, x_N\right\}$:  학습 데이터셋, 모델의 파라미터를 튜닝하는데 사용

$\left\{ t_1, \ldots, t_N\right\}$: 각 학습 데이터에 상응하는 타겟 벡터

$y=y(x)$: 예측값

$y(x)$: training(learning) phase동안 결정되는 모델 

$\left\{ x_{N+1}, \ldots x_{M} \right\}$: 테스트 데이터셋, 모델의 성능을 평가하기 위한 새로운 데이터셋

 

 

일반화(generalization): 학습 데이터셋과 다른 새로운 데이터셋에 대해 올바른 예측을 수행하는 능력

현실 세계에서 학습 데이터셋은 출현 가능한 데이터들 중 오직 작은 부분만을 대표

-> 일반화는 패턴 인식 문제의 주요한 목표이다.

 

전처리(preprocessing, feature extraction):

인풋 데이터를 패턴 인식이 더 용이한 새로운 공간으로 변환하는 것

유용한 변수들만을 선별함으로써, 거대한 데이터셋을 처리해야 할 때 속도 향상의 효과를 누릴 수 있다.

테스트 데이터는 트레이닝 데이터와 같은 전처리 과정을 거쳐야 한다.

 

예를 들어 손글씨 숫자 데이터의 경우 지정된 크기의 박스에 손글씨 이미지가 들어가도록 위치와 크기를 조정함으로써 모든 데이터가 같은 크기와 위치를 갖게 할 수 있다.

혹은 고화질 영상에서 실시간 얼굴 탐지를 하고자 할 때, 방대한 데이터를 직접 처리하는 대신 몇 가지 유용한 변수들을 선별해서 처리하믕로써 속도를 높일 수 있다.

 

지도학습(supervised learning): 트레이닝 데이터와 그에 상응하는 타겟 벡터가 주어진 경우

• classification: 인풋 벡터를 이산적인 카테고리에 배정
• regression: 인풋 벡터로부터 얻고자 하는 결과가 연속적

비지도학습(unsupervised learning):  타겟 벡터 없이 트레이닝 데이터만 주어지는 경우

• clustering: 비슷한 데이터를 서로 묶은  group을 찾는 것
• density estimation: input space에서 데이터의 분포를 찾는 것
• visualizaion

강화학습(reinforcement learning): 주어진 상황에서 보상을 최대화하기 위해 적합한 행동들을 찾는 것

• exploration: 시스템이 새로운 행동을 시도해 그 행동의 효과를 보는 것
• exploitation: 시스템이 이미 높은 보상을 주는 것으로 확인된 행동을 취하는 것
• 강화학습은 일반적으로 exploration과  exploitation의 trade-off

 

1.1 Example: Polynomial Curve Fitting

 

1.2 Probability Theory

 

1.3 Model Selection

 

1.4 The Curse of Dimensionality

 

1.5 Decision Theory

 

1.6 Information Theory