Main/Paper Review9 [Paper Review] FixMatch: Simplifying Semi-Supervised Learningwith Consistency and Confidence FixMatch: Simplifying Semi-Supervised Learningwith Consistency and Confidence https://arxiv.org/abs/2001.07685 목차 FixMatch는 최근 연구에서 나온 semi-supervised learning 방법 중 하나로, 라벨이 없는 대량의 데이터를 이용하여 모델의 성능을 향상시키는 방법이다. 이전에는 labeled 데이터가 많지 않은 경우에는 모델의 성능을 높이기가 어려웠는데, FixMatch는 이러한 한계를 극복하고자 한다. 해당 리뷰 글은 논문 원본에 근거하여 개인 정리 용도로 작성하였으니 참고바랍니다. Abstract 본 논문에서는 기존 Semi-Supervised Learning 방법을 크게 단순화한 algorit.. 2023. 3. 17. [Paper Review] LWF: Learning Without Forgetting "LWF: Learning Without Forgetting" 논문 리뷰입니다. https://arxiv.org/abs/1606.09282 해당 논문은 ECCV 2016에 실린 초창기 Continual Learning에 관한 논문입니다. 목차 LWF Introduction 해당 논문은 새로운 task에 대해서 Continual 한 상황에서 학습하는 방법을 제안합니다. 우리의 목적은 new task와 old task의 parameters를 공유하면서 forgetting 하지 않고 old task을 학습하기를 원합니다. 즉, LWF는 Distillation network와 Fine-Tuning을 결합한 것입니다. 논문을 이해하기 위해서, 몇 가지 parameters를 정의할 필요가 있습니다. - Shared.. 2022. 12. 19. [Paper Review] Transformer: Attention Is All You Need "Transformer: Attention Is All You Need" 논문 리뷰입니다. https://arxiv.org/pdf/1706.03762.pdf 오늘은 현재까지 자연어 처리 분야뿐만 아니라 최근에는 이미지 분야 딥러닝 모델에 중대한 영향을 끼치고 있는 논문인 Transformer( NIPS 2017 )를 소개해보도록 하겠습니다. 목차 Transformer 소개 전반적인 Transformer model의 구조입니다. Transformer는 기존 encoder, decoder를 발전시킨 딥러닝 모델입니다. 가장 큰 차이는 RNN을 사용하지 않는다는 점입니다. Transformer를 한 단어로 설명한다면 병렬화라고 할 수 있습니다. 쉽게 말해서 Transformer는 이를 최대한 한 번에 처리합니.. 2022. 7. 12. [Paper Review] MobileNet V1 "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications" 논문 리뷰입니다. https://arxiv.org/pdf/1704.04861.pdf 2017년 4월에 Google Inc. 에서 발표한 MobileNet v1 논문을 간략하게 정리해보겠습니다. - 성능 저하를 최소화하면서 딥러닝 모델 파일의 크기를 줄이는 것이 목적 - 요점 3가지: Depthwise separable convolution, Width multiplier, Resolution multiplier 목차 MobileNet 소개 ConvNet은 computer vision 분야라면 어디서든 사용되었지만, 모델의 크기가 너무 커지고 가성비가 좋지.. 2022. 5. 26. [Paper Review] SENet: Squeeze-and-Excitation Networks SENet이라고 널리 알려진 "Squeeze-and-Excitation Networks" 논문 리뷰입니다. https://arxiv.org/pdf/1709.01507.pdf 목차 SENet 소개 SENet : ILSVRC'17 classification winner SENet은 2017년 마지막으로 열린 ImageNet 대회에서 우승을 차지한 알고리즘입니다. 그림에서 볼 수 있듯이 사람의 능력을 뛰어넘었음을 알 수 있습니다. 그러한 이유로 ImageNet 대회는 2017년을 마지막으로 더이상 진행하지 않게 되었습니다. SENet의 main idea를 간략하게 설명해보겠습니다. 기본적으로는 Channel간의 상관성을 지금까지는 볼 수 없었습니다. 하지만, SENet에서는 Channel 간의 상관성을 보겠다.. 2022. 5. 16. [Paper Review] Batch Normalization Batch Normalization은 2015년 arXiv에 발표된 후 ICML 2015에 게재된 아래 논문에서 나온 개념입니다. "Batch Normalization: Accelerating Deep Network Training b y Reducing Internal Covariate Shift" https://arxiv.org/pdf/1502.03167.pdf 현대 딥러닝 아키텍처에서 학습 속도(training speed)를 비약적으로 향상시킬 수 있었던 방법 중 하나인 배치 정규화(Batch Normalization)에 대한 설명을 해보겠습니다! Paper에 대한 real review는 아니지만, 참고 학습 영상(https://youtu.be/m61OSJfxL0U)을 학습하며 스스로 이해시켰던 방.. 2022. 3. 31. 이전 1 2 다음
