deep learning3 [Paper Review] Transformer: Attention Is All You Need "Transformer: Attention Is All You Need" 논문 리뷰입니다. https://arxiv.org/pdf/1706.03762.pdf 오늘은 현재까지 자연어 처리 분야뿐만 아니라 최근에는 이미지 분야 딥러닝 모델에 중대한 영향을 끼치고 있는 논문인 Transformer( NIPS 2017 )를 소개해보도록 하겠습니다. 목차 Transformer 소개 전반적인 Transformer model의 구조입니다. Transformer는 기존 encoder, decoder를 발전시킨 딥러닝 모델입니다. 가장 큰 차이는 RNN을 사용하지 않는다는 점입니다. Transformer를 한 단어로 설명한다면 병렬화라고 할 수 있습니다. 쉽게 말해서 Transformer는 이를 최대한 한 번에 처리합니.. 2022. 7. 12. [Paper Review] SENet: Squeeze-and-Excitation Networks SENet이라고 널리 알려진 "Squeeze-and-Excitation Networks" 논문 리뷰입니다. https://arxiv.org/pdf/1709.01507.pdf 목차 SENet 소개 SENet : ILSVRC'17 classification winner SENet은 2017년 마지막으로 열린 ImageNet 대회에서 우승을 차지한 알고리즘입니다. 그림에서 볼 수 있듯이 사람의 능력을 뛰어넘었음을 알 수 있습니다. 그러한 이유로 ImageNet 대회는 2017년을 마지막으로 더이상 진행하지 않게 되었습니다. SENet의 main idea를 간략하게 설명해보겠습니다. 기본적으로는 Channel간의 상관성을 지금까지는 볼 수 없었습니다. 하지만, SENet에서는 Channel 간의 상관성을 보겠다.. 2022. 5. 16. [Paper Review] Batch Normalization Batch Normalization은 2015년 arXiv에 발표된 후 ICML 2015에 게재된 아래 논문에서 나온 개념입니다. "Batch Normalization: Accelerating Deep Network Training b y Reducing Internal Covariate Shift" https://arxiv.org/pdf/1502.03167.pdf 현대 딥러닝 아키텍처에서 학습 속도(training speed)를 비약적으로 향상시킬 수 있었던 방법 중 하나인 배치 정규화(Batch Normalization)에 대한 설명을 해보겠습니다! Paper에 대한 real review는 아니지만, 참고 학습 영상(https://youtu.be/m61OSJfxL0U)을 학습하며 스스로 이해시켰던 방.. 2022. 3. 31. 이전 1 다음
