[Classification] Classification 발전 과정

 

Image Classification

  Image Classification 이란 이미지의 정답을 예측, 분류하는 방법이다. 단순히 Classification부터 특정 요소가 존재 및 위치를 파악하는 Object detection, 요소가 존재하는 영역을 계산하는 Segmenation, 더 나아가 새로운 이미지를 생성하는 Generation 까지 많은 발전이 이루어졌다. 발전 과정을 이해하기 위해 초기 모델부터 순차적으로 리뷰하고자 한다.

Classification 발전 과정

  우선 classification에 대해 논문이 발표된 시점 순으로 중요한 일부 모델을 살펴보고자 함. ChatGPT을 활용하여 주요 모델 선정하였다. LeNet 부터 Transformer를 활용한 아케텍처까지 오랜 기간에 걸친 주목할만한 여러 논문들을 선정되었음을 알 수 있다.

728x90

1. LeNet
1. CNN 알고리즘의 시작이라고 볼 수 있으며, 손글씨 숫자를 효과적으로 분류함.
2. "GradientBased Learning Applied to Document Recognition" (1998)
2. AlexNet
1. 이미지 분류에서 딥러닝의 효시를 알렸으며, 대규모 데이터셋에 CNN을 적용하여 큰 성과를 거둠.
2. "ImageNet Classification with Deep Convolutional Neural Networks" (2012)
3. ZFNet
1. AlexNet의 개선된 버전으로, CNN의 내부 작동을 시각화하여 성능을 향상.
2. "ZFNet: Visualizing and Understanding Convolutional Networks" (2014)
4. VGGNet
1. 작은 필터 크기를 사용하여 매우 깊은 네트워크를 설계함으로써 성능을 개선.
2. "Very Deep Convolutional Networks for Large-Scale Image Recognition" (2014)
5. GoogLeNet
1. 다중 크기의 필터를 결합한 Inception 모듈을 도입하여 효율성과 성능을 높힘.
2. "Going Deeper with Convolutions" (2015)
6. Batch Normalization
1. 학습 속도를 증가시키고 안정성을 개선.
2. "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift" (2015)
7. ResNet
1. 잔차 연결을 도입하여 매우 깊은 네트워크를 효과적으로 학습.
2. "Deep Residual Learning for Image Recognition" (2015)
8. DenseNet
1. 각 층을 모든 이전 층과 연결하여 학습 효율성을 극대화.
2. "Densely Connected Convolutional Networks" (2016)
9. SqueezeNet
1. AlexNet과 유사한 성능을 유지하면서도 파라미터 수를 크게 줄임.
2. "SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size" (2016)
10. MobileNet
1. 모바일 장치에서도 효율적으로 동작할 수 있는 경량화된 CNN을 제안.
2. "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications" (2017)
11. Xception
1. 깊이별 분리 합성곱을 사용하여 Inception 아키텍처를 개선.
2. "Xception: Deep Learning with Depthwise Separable Convolutions" (2017)
12. ResNeXt
1. 변환 집계를 통해 잔차 네트워크의 성능을 향상.
2. "ResNeXt: Aggregated Residual Transformations for Deep Neural Networks" (2017)
13. EfficientNet
1. 네트워크의 크기를 균형 있게 조절하여 성능을 최적화.
2. "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks" (2019)
14. Train-test resolution discrepancy
1. 훈련과 테스트 단계에서 이미지 해상도가 다른 경우의 문제를 해결하는 방법을 제안. 이를 통해 더 높은 일반화 성능을 달성.
2. "Fixing the train-test resolution discrepancy" (2019)
15. RegNet
1. 네트워크 설계 공간을 체계적으로 탐색하여 다양한 크기와 성능 요구 사항에 맞는 효율적인 모델을 찾는 방법을 제안.
2. RegNet: Designing Network Design Spaces" (2020)
16. DeiT
1. Transformer 모델을 이미지 분류에 적용하여 기존 CNN 모델과 경쟁할 수 있는 성능을 보임. 이 모델은 특히 데이터 효율성이 높은 점이 특징.
2. "DeiT: Data-efficient Image Transformers" (2021)

이후 목표

• 개별 논문 리뷰 진행하고자 한다.
• Classification 완료 후 Detection, Segementation, Transformer 까지 추가 공부 예정이다.