1_1 Support Vector Machine Tutorial
유황조교수 - Postech

Classification

Regression

Ranking


공통점 : 트레이닝된 데이터넷을 기초하여 모델을 만들고 새로운 데이터를 예측함

Learning Process
1. 데이터 준비
2. 트레이닝(모델을 만듬)
3. 검증
4. deploy(알맞게 사용)

Learning의 이슈
1. 정확도
2. 속도
3. 가독성 interpretability (해석할 수 있는?)
4. 노이즈나 없는 데이터 handling

Overfitting되지 않게 주의 (데이터 개수를 성능이 좋을 때까지로 트레이닝 시킴)

Metrics for performance Evaluation
1. TP : Positive로 선택하고 맞음
2. FN: Negative로 선택하고 틀림
3. FP : Positive로 선택하고 틀림
4. TN : Negative로 선택하고 맞음

Precision = TP / (TP+FP) - Positive로 선택한 것 중에 맞을 확률
Recall = TP / (TP + FN) : - Positive중에 제대로 선택될 확률
F-measure = 2TP / 2TP + FP + FN


AUC - Area Under the ROC Curve : ROC커브의 아래쪽 영역을 사용(?)

Estimate Generalization Performance
1. Holdout method : 두개의 독립적인 세트로 랜덤하게 분류
2. k-fold : k개 만큼 랜덤하게 분류
3. Leave-one-out : 100개 중 99개를 트레이닝 1개 테스트(테스트할 1개를 돌려가며 100번 반복)

Linear Classification
F(X) = b + 시그마(i)WiXi

Linear vs Quadratic vs Polynomial

Perceptron and Winnow
Perceptron : Linear function을 배우는 알고리즘

5. ANN(Artificial Neural Network) : input -> blackbox -> output
Training ANN means learning the weights of the neurons
weight값을 초기화 함
training 데이터를 이용해 에러값을 최소로 하는 weight값을 찾는다.

*특징
Nonelinear 모델 : Perceptron의 layer들을 이용해 만듬
Nondeterministic : w값이 정해져 있지 않음
튜닝을 많이 해야함
복잡한 함수를 쓰기 위해서는 복잡한 함수를 배워야 함

6. SVM : Support Vector Machine
*특징
Deterministic 알고리즘
적은 parameter로 정형화할 수 있음
kernel trick을 이용해 쉽게 사용 가능
SVM은 임의의 degree의 polynomial function을 linear time에 배울 수 있음
(1) Linear SVM : 직선 한개로 두 부류를 나눔
(2) Nonlinear SVM : dimension을 바꾸어 boundary를 직선으로 바꿈
- kernel trick 사용
- RBF kernel을 사용하여 여러 모양의 boundary를 만듬
- SVM 구현 : LIBSVM(python 사용 가능), SVM-light

Multiclass classification
* 특징 비교
One to all
-k개 모델 생성
- training set의 크기가 크가

Pairwise coupling
-k^2개 모델 생성
- training set의 크기가 작다
- 좀 더 정확하다
- LIBSVM 사용 가능

RANKING SVM(RANK SVM)
연관된 데이터를 ordering을 하고 전체 data order 예측

1_2. Gaussian Process Regression - 서울대 오성회 교수
(Gaussian Processes for Machine Learning, C.E.Rasmussen and C.K.I. Williams, 2006 MIT Press- 사람 따라 다니는데 사용 가능)
1960년대부터 사용
2차원 가우시안
wifi signal을 가우시안을 ㅣㅇ용하여 그림
interpolation smoothing
몇시간 후 예측
Central limit theorem - 모든 걸 가우시안으로 변경

Matrix Inversion Lemma
- Kalman filter나 smoothing에서 사용 가능

Kriging - 금찾기 위해 나온 개념

*흥미있는 주제
Mixture of Gaussian process
GP Latent Variable Model ( GP-LVM)

1_3 Supervised Learning(지도학습) : 서울대학교 노영균 교수
잉??

2_1 Semi Supervised Learning : 아주대학교 신현정 교수
Supervised Learning : input에 대한 y부여/real space
(Regression = 결과값과 예측값의 차이를 줄임)
Unsupervised learning : clustering 군집화

Semi Supervised Learning : supervised와 unsupervised의 중간 점

2_2 Representation Learning in deep learning : 삼성종기원 최희열
Manifold Learning : data representation

Neural networks history
1949 Hebbian learning : Donald Hebb
1958 Perceptron : Frank Rosenblatt <- Marvin Minsky,1969
1986 Multilayer Perceptron (Backpropagation) : David Rumlhart, Geoffrey Hinton, Ronald Williams <- Vladimir Vapnik and Corinna Cortes, 1995 SVM
2006 : Deep neural networks : Geoffrey Hinton and Ruslan Salakhutdinov

Neocognitron : K.Fukushima, 1980 Vilogical Cybernetics
Convolutional Neural Networks : Y. LeCun et al., 1989 Neural Computation
Reducing the Dimensionality of Data with Neural Networks : G. Hinton and R.Salakhutdinov, 2006 Science

Manifold vs Deep Learning
Manifold : 데이터가 많으면 안됨
Deep Learning : idea가 있으면 구현을 하면 된다. 그 후 해석을 진행

Error Backpropagation
Vanishing Gradient : back을 하면서 점점 사라진다.


3_3. Deep Learning for Visual Recognition : 네이버 김지원 책임 연구원


후기 : 개인적으로 머신러닝에 대해 무지할 때였는데 학계나 업계에서 어떤 알고리즘을 많이사용하는 지에 대한 흐름을 알 수 있었고 자주 나오는 용어들은 따로 공부를 통해 전반적인 지식을 얻을 수 있었다
지식이 있는 학생들에게도 많은 도움이 되지 않았을까 싶다


Posted by 공놀이나하여보세
,