AI3 [Paper Review] LWF: Learning Without Forgetting "LWF: Learning Without Forgetting" 논문 리뷰입니다. https://arxiv.org/abs/1606.09282 해당 논문은 ECCV 2016에 실린 초창기 Continual Learning에 관한 논문입니다. 목차 LWF Introduction 해당 논문은 새로운 task에 대해서 Continual 한 상황에서 학습하는 방법을 제안합니다. 우리의 목적은 new task와 old task의 parameters를 공유하면서 forgetting 하지 않고 old task을 학습하기를 원합니다. 즉, LWF는 Distillation network와 Fine-Tuning을 결합한 것입니다. 논문을 이해하기 위해서, 몇 가지 parameters를 정의할 필요가 있습니다. - Shared.. 2022. 12. 19. [Paper Review] SENet: Squeeze-and-Excitation Networks SENet이라고 널리 알려진 "Squeeze-and-Excitation Networks" 논문 리뷰입니다. https://arxiv.org/pdf/1709.01507.pdf 목차 SENet 소개 SENet : ILSVRC'17 classification winner SENet은 2017년 마지막으로 열린 ImageNet 대회에서 우승을 차지한 알고리즘입니다. 그림에서 볼 수 있듯이 사람의 능력을 뛰어넘었음을 알 수 있습니다. 그러한 이유로 ImageNet 대회는 2017년을 마지막으로 더이상 진행하지 않게 되었습니다. SENet의 main idea를 간략하게 설명해보겠습니다. 기본적으로는 Channel간의 상관성을 지금까지는 볼 수 없었습니다. 하지만, SENet에서는 Channel 간의 상관성을 보겠다.. 2022. 5. 16. [Paper Review] Batch Normalization Batch Normalization은 2015년 arXiv에 발표된 후 ICML 2015에 게재된 아래 논문에서 나온 개념입니다. "Batch Normalization: Accelerating Deep Network Training b y Reducing Internal Covariate Shift" https://arxiv.org/pdf/1502.03167.pdf 현대 딥러닝 아키텍처에서 학습 속도(training speed)를 비약적으로 향상시킬 수 있었던 방법 중 하나인 배치 정규화(Batch Normalization)에 대한 설명을 해보겠습니다! Paper에 대한 real review는 아니지만, 참고 학습 영상(https://youtu.be/m61OSJfxL0U)을 학습하며 스스로 이해시켰던 방.. 2022. 3. 31. 이전 1 다음
