지난 글 시리즈에서는 뉴럴넷 중 가장 단순한 형태인 MLP, 즉 dense (fully connected) layer만을 사용하는 뉴럴넷과 이를 학습시키는 방법에 대해서 살펴보았다. MLP를 사용하면 효과적으로 비선형 함수를 모사할 수 있었고 이 덕분에 기존의 선형함수 기반 모형에 비해 훌륭한 성능을 낼 수 있었다.
» continue reading

머신러닝을 공부하다보면 logistic을 참 많이 접하게 된다. 당장 로지스틱 회귀만 해도 그렇고, 딥러닝에서 자주 사용하는 saturating non-linearity 중 하나인 softmax function도 logistic function의 multi-class 버전이니 말이다.
» continue reading

지금까지의 글에서는 머신러닝의 기초와 신경망의 구조 및 학습에 대해서 다루어보았다. 그러나 중간중간 “추후에 기회가 된다면 자세히 다루겠다”고 미뤄둔 내용들이 있다.
» continue reading

지금까지 선형 분류기를 통해 머신러닝의 기초를 짚어보았다. 또, 일부 특수한 비선형 문제를 해결하기 위해 사용되는 커널 트릭을 아주 간단히 다루었으며 신경망 기초 이론을 이야기하면서 2층 신경망을 직접 구현해서 대부분의 비선형 문제를 해결할 수 있다는 것을 보였다.
» continue reading

이전 글에서는 분류 문제를 해결하기 위해 간단한 선형 분류기를 만드는 데에 필요한 요소들을 다루었다. 이제 우리는 분류기(모형)를 학습시키기 위해서는 판별함수 $s$, 정규화 손실항이 포함된 손실함수 $L$가 필요함을 알고 있다. 또한 학습 과정에서 최적화 과정(SGD 등)을 통해 손실이 작아지는 방향으로 가중치 $W$와 편향 $b$의 값을 반복적으로 업데이트할 수 있다.
» continue reading