[ML][패턴인식] 2장 베이시언 결정 이론

2.1 확률과 통계
2.1.1 확률 기초
(1) 조건부 확률
(2) 결합확률
- 두 랜덤 변수가 서로 영향을 미치지 못하면 둘은 독립(independent)
- 독립인 두 랜덤 변수는 P(X,Y) = P(X)P(Y)
(3) 우도 함수 (likelyhood) :
(4) 사후 확률 : 사건 Y가 일어난 후 Y가 어디서 나왔을 지를 확률로 계산
(5) 베이스 정리
P(X,Y) = P(Y,X)
P(X)P(Y|X) = P(Y)P(X|Y)

2.1.2. 평균과 분산
표준편차 : 분산의 제곱근(루트)
공분산 : 랜덤 벡터를 구성하는 랜덤 변수간의 관계

2.1.3 확률 분포의 표현과 추정
정규분포, 세개의 모드를 가진 분포

2.2. 베이시언 분류기
우도는 부류가 주어진 조건하의 조건부 확률이므로 부류조건부 확률(class-conditional probability)이라고도 부른다.

최소 위험 베이시언 분류기(Minimum risk Bayesian classifier)
우도비(likelihood ratio) : p(x|w1)/o(x|w2)
M부류 최소 위험 베이시언 분류기

2.3 분별함수
최소 오류 베이시언 분류기, 최소 위험 베이시언 분류기

2.4 정규 분포에서 베이시언 분류기
(1) 사전 확률은 표현과 계산이 비교적 쉽다. 하지만 우도의 추정은 경우에 따라 쉬울 수도 있고 어려울 수도 있다.

*가우시언 분포(Gaussian distribution) : 정규분포

(2) 이 절의 목표

a. 2.30의 베이시언 분류기를 그대로 이용함

b. 우도 p(x | wi)가 정규 분포를 따르는 특수한 경우에 대해 분류기가 가지는 성질을 분석하는 것이 목적

c. 특히 두 부류의 영역을 나누는 결정 경계가 어떤 모양을 갖는지에 대한 분석

2.4.1 정규 분포와 분별 함수

2.5 베이시언 분류의 특성
실제 확률 분포를 안다고 가정하면 베이시언 분류기는 오류율 측면에서 최적
베이시언 분류기를 만들기 위해서는 사전 확률과 우도를 추정해야 한다.
- 나이브 베이시언 분류기 : 특징들이 모두 독립이라는 가정을 하고 차원의 저주를 피하는 방법
특징들이 독립이라는 가정은 매우 강한 가정이다. 실제 세계는 그렇지 않다.

2.6 기각 처리
판단하기 애매한 것은 기각 처리함