DeepLearning10 [Paper Review] LWF: Learning Without Forgetting "LWF: Learning Without Forgetting" 논문 리뷰입니다. https://arxiv.org/abs/1606.09282 해당 논문은 ECCV 2016에 실린 초창기 Continual Learning에 관한 논문입니다. 목차 LWF Introduction 해당 논문은 새로운 task에 대해서 Continual 한 상황에서 학습하는 방법을 제안합니다. 우리의 목적은 new task와 old task의 parameters를 공유하면서 forgetting 하지 않고 old task을 학습하기를 원합니다. 즉, LWF는 Distillation network와 Fine-Tuning을 결합한 것입니다. 논문을 이해하기 위해서, 몇 가지 parameters를 정의할 필요가 있습니다. - Shared.. 2022. 12. 19. [Paper Review] MobileNet V1 "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications" 논문 리뷰입니다. https://arxiv.org/pdf/1704.04861.pdf 2017년 4월에 Google Inc. 에서 발표한 MobileNet v1 논문을 간략하게 정리해보겠습니다. - 성능 저하를 최소화하면서 딥러닝 모델 파일의 크기를 줄이는 것이 목적 - 요점 3가지: Depthwise separable convolution, Width multiplier, Resolution multiplier 목차 MobileNet 소개 ConvNet은 computer vision 분야라면 어디서든 사용되었지만, 모델의 크기가 너무 커지고 가성비가 좋지.. 2022. 5. 26. [CNN-Algorithm] ResNet 본 내용은 https://bskyvision.com/644 https://hnsuk.tistory.com/31?category=958494 https://youtu.be/vRtM4K8e_Q4(고려대학교 산업경영공학부 DSBA 연구실) 참고하여 제작하였습니다. CNN Algorithms 중에서 이미지 분류용 Algorithms 중 ResNet에 대해 포스팅해보겠습니다. 목차 CNN Algorithm - ResNet ResNet 소개 이번 포스팅에서 알아볼 알고리즘은 ResNet입니다. ResNet은 2015년 이미지넷 이미지 인식 대회(ILSVRC)에서 우승을 차지한 알고리즘입니다. ResNet은 마이크로소프트에서 개발한 알고리즘입니다. 층수에 있어서 ResNet은 급속도로 깊어집니다. 2014년의 Goo.. 2022. 3. 22. [CNN-Algorithm] GoogLeNet(Inception) 본 내용은 https://bskyvision.com/539?category=635506 https://hnsuk.tistory.com/32?category=958494 참고하여 제작하였습니다. CNN Algorithms 중에서 이미지 분류용 Algorithms 중 GoogLeNet(Inception)에 대해 포스팅해보겠습니다. 목차 CNN Algorithm - GoogLeNet(Inception) GoogLeNet(Inception) 소개 이번 포스팅에서 알아볼 알고리즘은 GoogLeNet입니다. GoogLeNet은 2014년 이미지넷 이미지 인식 대회(ILSVRC)에서 VGGNet(VGG19)을 이기고 우승을 차지한 알고리즘입니다. GoogLeNet은 19층의 VGG19보다 좀 더 깊은 22층으로 구성.. 2022. 3. 21. [CNN-Algorithm] VGGNet 본 내용은 https://bskyvision.com/504 https://ctkim.tistory.com/114?category=880317 참고하여 제작하였습니다. CNN Algorithms 중에서 이미지 분류용 Algorithms 중 VGGNet에 대해 포스팅해보겠습니다. 목차 CNN Algorithm - VGGNet VGGNet 소개 이번 포스팅에서 처음 알아볼 알고리즘은 VGGNet입니다. 딥러닝을 처음 배우는 사람들이라도 많이 들어보았을 정도로 CNN모델의 기초가 되는 알고리즘입니다. VGGNet은 옥스퍼드 대학의 연구팀 VGG에 의해 개발된 모델로써, 2014년 이미지 넷 이미지 인식 대회에서 준우승을 한 모델입니다. 아쉽게 GoogleNet에게 1등 자리를 빼앗겼지만 유명세와 인용 측면에서는.. 2022. 3. 21. [ML - lec 07] ML의 실용과 몇 가지 팁 본 내용은 김성훈 교수님의 '모두를 위한 딥러닝 시즌1' 강의와 https://pythonkim.tistory.com/notice/25를 참고하여 제작하였습니다. 이번 강좌에서는 ML(머신러닝) 알고리즘을 실제로 사용함에 있어서 몇 가지 팁들을 알려 주셨습니다. 내용 구성은 Learning rate 조절과 Data preprocessing(데이터 선처리) 방법 그리고 Overfitting을 방지하는 방법에 대해서 이야기해보겠습니다. 목차 1. Learning rate 저희가 Cost function을 최소화하기 위해서 Gradient descent라는 알고리즘을 사용했었죠 이때 이 알고리즘을 정할 때 learning rate라는 알파 값을 임의로 정했습니다. 이 알파 값을 프로그래밍에서는 그림 상단처럼 .. 2022. 3. 13. 이전 1 2 다음
