1. Deep learning
신경망 이용
*Perceptron : 신경망을 분류기로 활용함. 선형 분류기임
선형 분류기는 직선으로 분류함
다층 퍼셉트론 : 비선형 분류기

2. 가우시안
평균값과 분산값을 구한 후 정규분포식에 넣음
(Gaussian Processes for Machine Learning - 사람 따라 다니는데 사용 가능)
1960년대부터 사용
2차원 가우시안
wifi signal을 가우시안을 ㅣㅇ용하여 그림
interpolation smoothing
몇시간 후 예측
Central limit theorem - 모든 걸 가우시안으로 변경

Matrix Inversion Lemma
- Kalman filter나 smoothing에서 사용 가능

Kriging - 금찾기 위해 나온 개념

*흥미있는 주제
Mixture of Gaussian process
GP Latent Variable Model ( GP-LVM)

Gaussian Mixture - n개의 가우시안 함수를 혼합함
EM알고리즘 :

3. k means
K-평균 알고리즘 (K-means algorithm)은 주어진 데이터를 k개의 클러스터로 묶는 알고리즘

4. knn(k nearest neighbors) - 가우시안보다 성능이 좋음. 집단 지성책 3장
훈련 샘플 중에 주어진 x에 가장 가까운 k개를 구하고 그들이 가장 많은 빈도를 보인 부류로 분류
수치형 값 : k개 데이터의 평균(또는 가중 평균)
명복형 값 : k개 데이터 중 많이 나온 분류 항목 선택(또는 가중 값 이용 분류 선택)

5. ANN(Artificial Neural Network) : input -> blackbox -> output
Training ANN means learning the weights of the neurons
weight값을 초기화 함
training 데이터를 이용해 에러값을 최소로 하는 weight값을 찾는다.

*특징
Nonelinear 모델 : Perceptron의 layer들을 이용해 만듬
Nondeterministic : w값이 정해져 있지 않음
튜닝을 많이 해야함
복잡한 함수를 쓰기 위해서는 복잡한 함수를 배워야 함

6. SVM : Support Vector Machine
여백이라는 개념을 분류기 설계에 도입하고 여백을 극대화하는 결정 초평면을 찾아내는 것
(1) 사용자가 설정해야하는 매개 변수가 적다.
(2) 주어진 문제에 대해 최적의 커널을 자동으로 선택해주는 것이 없다. 휴리스틱하게 선택
(3) 일반화 능력이 뛰어나다.
(4) 비선형 SVM에서는 인식 시간이 서포트 벡터의 개수에 비례한다.
(5) 학습 알고리즘 구현이 까다롭다.

*특징
Deterministic 알고리즘
적은 parameter로 정형화할 수 있음
kernel trick을 이용해 쉽게 사용 가능
SVM은 임의의 degree의 polynomial function을 linear time에 배울 수 있음
(1) Linear SVM : 직선 한개로 두 부류를 나눔
(2) Nonlinear SVM : dimension을 바꾸어 boundary를 직선으로 바꿈
- kernel trick 사용
- RBF kernel을 사용하여 여러 모양의 boundary를 만듬
- SVM 구현 : LIBSVM(python 사용 가능), SVM-light

RANKING SVM(RANK SVM)
연관된 데이터를 ordering을 하고 전체 data order 예측

7. clustering(군집화) : unsupervised learning


8. DTW(dynamic time warping)
캡터치 방식의 제스쳐 인식 방법 사용
(1) 시간 순서상에 여러개의 연속적인 데이터를 각각 비교하여 그 두 종료의 데이터가 얼마나 유사한가를 판별해 내는 알고리즘
(2) 유클리드 거리 공식을 이용해 거리를 측정 값이 작을 수록 비슷함

9. Semi Supervised Learning
supervised와 unsupervised의 중간 점
의료 분야에서 많이 사용 됨

10. hidden markov model : HMM
음석, 제스쳐 인식 알고리즘 사용 가능
(1) 상태 전이 확률
- 오늘 비가 올 확률, 날씨가 맑을 확률
(2) 관측 확률
- 비가 올 때 집에 있을 확률, 비가 올 때 외출할 확률
(3) 초기 상태 확률 벡터
- HMM을 기동시킬 때 어느 상태에서 시작할 지를 결정하는데 쓰임
HTK(HMM Toolkit)

11. 최적화 알고리즘
11.2 미분을 이용한 방법
미분이 0이 되는 값으로 최소값, 최대값을 찾음
11.2.2 내리막 경사법
미분이 모두 가능한 것이 아니므로 사용하는 방법
경사가 가장 급하게 변하는 방향을 차아 그 방향으로 이동
전형적인 Greedy 알고리즘
지역 최적 점으로 수렴하고 끝날 가능성이 높음

11.2.3 라그랑제 승수
-Beysian 분류기
사전확률 p(A)  과 우도확률 p(B|A)를 안다면 사후확률 p(A|B)를 알 수있다는 것

12 유클리드 거리 공식

13. 스트링 인식기
Levenshtein 거리 계산
테스트 x와 원본y를 비교
x를 삽입, 삭제, 대치, 앞뒤 단어 비교 를 통해 y로 만드는 데 비용을 계산

Dynamic Programming의 일종
최장 공통 부분 스트링(Lonest common substring) 문제가 됨

14. HMM(Hidden Markov model)

15. 결정 트리
스무 고개 방식으로 구현
Posted by 공놀이나하여보세
,