개인 스터디/ML
-
Ensemble Learning(앙상블 기법)개인 스터디/ML 2020. 6. 4. 16:10
앙상블 기법(Ensemble Learning)은 더 정확한 학습 모델을 만들기 위해 여러 개의 학습 기법을 결합하는 방법입니다. 지난번에는 연속되는 질문과 대답을 통해 클래스를 예측하는 Decision Tree(의사결정나무)를 알아보았습니다. 그런데 위의 의사결정나무가 어떤 동물이 포유류인지를 정확히 예측할 수 있을까요? 그림 2는 오리너구리입니다. 오리너구리는 알을 낳기 때문에, 그림 1의 decision tree를 이용해 판정을 하면 포유류가 아니라는 결과가 나옵니다. 하지만 오리너구리는 새끼를 낳아 젖을 먹이기 때문에 포유류로 분류됩니다. 이와 같이 의사결정나무는 데이터의 작은 변화에 의해 예측 결과가 크게 변하는 특성(high variance)이 있습니다. 이러한 특성을 보완하기 위해 쓰이는 기법..
-
Decision Tree(의사결정나무)개인 스터디/ML 2020. 6. 4. 15:46
Decision Tree(의사결정나무)는 의사결정 규칙을 Tree 구조로 나타내어 자료에 대한 패턴을 파악하는 알고리즘입니다. 그림 1은 임의의 동물이 주어졌을 때, 체온과 새끼를 낳는지의 여부에 의해 포유류/포유류가 아님을 결정하는 decision tree입니다. (어릴 때 하던 스무고개, 심리테스트와도 비슷합니다.) 여기에서 각 점(원과 사각형)을 node, 각 화살표를 edge라고 합니다. 디시전 트리의 노드 종류는 다음 3가지로, 일반 tree의 노드 호칭과 비슷입니다. - root node: 들어오는 edge가 없고 나가는 edge가 0개 이상인 노드 - internal node: 들어오는 edge가 한 개이고 나가는 edge가 2개 이상인 노드 - leaf node: 들어오는 edge가 한 개..