머신러닝7 [Paper Review] Batch Normalization Batch Normalization은 2015년 arXiv에 발표된 후 ICML 2015에 게재된 아래 논문에서 나온 개념입니다. "Batch Normalization: Accelerating Deep Network Training b y Reducing Internal Covariate Shift" https://arxiv.org/pdf/1502.03167.pdf 현대 딥러닝 아키텍처에서 학습 속도(training speed)를 비약적으로 향상시킬 수 있었던 방법 중 하나인 배치 정규화(Batch Normalization)에 대한 설명을 해보겠습니다! Paper에 대한 real review는 아니지만, 참고 학습 영상(https://youtu.be/m61OSJfxL0U)을 학습하며 스스로 이해시켰던 방.. 2022. 3. 31. [ML - lec 07] ML의 실용과 몇 가지 팁 본 내용은 김성훈 교수님의 '모두를 위한 딥러닝 시즌1' 강의와 https://pythonkim.tistory.com/notice/25를 참고하여 제작하였습니다. 이번 강좌에서는 ML(머신러닝) 알고리즘을 실제로 사용함에 있어서 몇 가지 팁들을 알려 주셨습니다. 내용 구성은 Learning rate 조절과 Data preprocessing(데이터 선처리) 방법 그리고 Overfitting을 방지하는 방법에 대해서 이야기해보겠습니다. 목차 1. Learning rate 저희가 Cost function을 최소화하기 위해서 Gradient descent라는 알고리즘을 사용했었죠 이때 이 알고리즘을 정할 때 learning rate라는 알파 값을 임의로 정했습니다. 이 알파 값을 프로그래밍에서는 그림 상단처럼 .. 2022. 3. 13. [ML - lec 06] Softmax Regression (Multinomial Logistic Regression) 본 내용은 김성훈 교수님의 '모두를 위한 딥러닝 시즌1' 강의와 https://pythonkim.tistory.com/notice/25를 참고하여 제작하였습니다. 목차 1. Softmax Regression 기본 개념 소개 1.1 Logistic (regression) classification 지난 Chapter에서 Logistic regression에 대해서 학습했었습니다. 기본적으로 출발은 linear 한 방정식으로 시작을 합니다. 하지만 단점이 있었습니다. 해당 방정식으로는 binary classification 즉, 0이냐 1이냐를 고르는 문제를 해결하기에 적합하지 않았습니다. 따라서, 큰값을 압축하여 0이나 1 사이 값으로 나와주도록 하는 새로운 함수가 필요했습니다. 많은 사람들이 연구 끝에 .. 2022. 3. 13. [ML - lec 05] Logistic (Regression) Classification 본 내용은 김성훈 교수님의 '모두를 위한 딥러닝' 강의와 https://pythonkim.tistory.com/notice/25 를 참고하여 제작하였습니다. 이 알고리즘은 Classification 알고리즘 중에서 굉장히 정확도가 높은 알고리즘으로 알려져 있습니다. Logistic (Regression) Classification 알고리즘을 잘 학습한다면, 이 강좌의 목표인 Neural Network와 Deep learning을 잘 이해하기에 다가갈 수 있을 것입니다. 목차 1. Logistic Classification의 가설 함수 정의 두 가지 분류를 활용할 수 있는 몇 가지 예제를 설명하고 있습니다. 스팸 메일 탐지, 페이스북 피드 표시, 신용카드 부정 사용은 두 가지 값 중의 하나를 선택하게 됩니.. 2022. 3. 6. [ML - lec 04] Multi-variable linear regression 본 내용은 김성훈 교수님의 '모두를 위한 딥러닝' 강의와 https://pythonkim.tistory.com/notice/25 를 참고하여 제작하였습니다. 여기까지가 Machine Learning에서 가장 기본이 되는 Linear Regression입니다. 이전에는 문제를 쉽게 하기 위해 입력 변수가 하나밖에 없는 단순 모델을 보여줬지만, 여기서는 여러 개의 입력 변수들을 처리하는 방법들을 보여주겠습니다. 목차 Multi-variable linear regression Hypothesis & Cost function Matrix Multi-variable linear regression 위의 그림처럼 하나가 아니라 여러 개의 input이 있습니다. 즉, 어떤 시험을 보는 데에 있어서 처음에 퀴즈 1 그.. 2022. 3. 6. [ML - lec 02,03] Linear Regression의 Hypothesis와 cost 본 내용은 김성훈 교수님의 '모두를 위한 딥러닝' 강의와 https://pythonkim.tistory.com/notice/25 를 참고하여 제작하였습니다. 목차 용어 정리 What hypothesis is better? Cost function Cost 최소화 알고리즘의 원리 설명 Gradient descent algorithm 용어 정리 본 강좌 내용을 학습하기에 앞서서 먼저 몇 가지 용어에 대한 정리가 필요합니다. 1. 회귀분석 점들이 퍼져있는 형태에서 패턴을 찾아내고, 이 패턴을 활용해서 무언가를 예측하는 분석. 새로운 표본을 뽑았을 때 평균으로 돌아가려는 특징이 있기 때문에 붙은 이름. 회귀(回歸 돌 회, 돌아갈 귀)라는 용어는 일반적으로 '돌아간다'는 정도로만 사용하기 때문에 회귀로부터 '예측.. 2022. 3. 6. 이전 1 2 다음
