paper review4 [Paper Review] LWF: Learning Without Forgetting "LWF: Learning Without Forgetting" 논문 리뷰입니다. https://arxiv.org/abs/1606.09282 해당 논문은 ECCV 2016에 실린 초창기 Continual Learning에 관한 논문입니다. 목차 LWF Introduction 해당 논문은 새로운 task에 대해서 Continual 한 상황에서 학습하는 방법을 제안합니다. 우리의 목적은 new task와 old task의 parameters를 공유하면서 forgetting 하지 않고 old task을 학습하기를 원합니다. 즉, LWF는 Distillation network와 Fine-Tuning을 결합한 것입니다. 논문을 이해하기 위해서, 몇 가지 parameters를 정의할 필요가 있습니다. - Shared.. 2022. 12. 19. [Paper Review] Transformer: Attention Is All You Need "Transformer: Attention Is All You Need" 논문 리뷰입니다. https://arxiv.org/pdf/1706.03762.pdf 오늘은 현재까지 자연어 처리 분야뿐만 아니라 최근에는 이미지 분야 딥러닝 모델에 중대한 영향을 끼치고 있는 논문인 Transformer( NIPS 2017 )를 소개해보도록 하겠습니다. 목차 Transformer 소개 전반적인 Transformer model의 구조입니다. Transformer는 기존 encoder, decoder를 발전시킨 딥러닝 모델입니다. 가장 큰 차이는 RNN을 사용하지 않는다는 점입니다. Transformer를 한 단어로 설명한다면 병렬화라고 할 수 있습니다. 쉽게 말해서 Transformer는 이를 최대한 한 번에 처리합니.. 2022. 7. 12. [Paper Review] MobileNet V1 "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications" 논문 리뷰입니다. https://arxiv.org/pdf/1704.04861.pdf 2017년 4월에 Google Inc. 에서 발표한 MobileNet v1 논문을 간략하게 정리해보겠습니다. - 성능 저하를 최소화하면서 딥러닝 모델 파일의 크기를 줄이는 것이 목적 - 요점 3가지: Depthwise separable convolution, Width multiplier, Resolution multiplier 목차 MobileNet 소개 ConvNet은 computer vision 분야라면 어디서든 사용되었지만, 모델의 크기가 너무 커지고 가성비가 좋지.. 2022. 5. 26. [Paper Review] Batch Normalization Batch Normalization은 2015년 arXiv에 발표된 후 ICML 2015에 게재된 아래 논문에서 나온 개념입니다. "Batch Normalization: Accelerating Deep Network Training b y Reducing Internal Covariate Shift" https://arxiv.org/pdf/1502.03167.pdf 현대 딥러닝 아키텍처에서 학습 속도(training speed)를 비약적으로 향상시킬 수 있었던 방법 중 하나인 배치 정규화(Batch Normalization)에 대한 설명을 해보겠습니다! Paper에 대한 real review는 아니지만, 참고 학습 영상(https://youtu.be/m61OSJfxL0U)을 학습하며 스스로 이해시켰던 방.. 2022. 3. 31. 이전 1 다음
