Knowledge Distillation
서론 지식 증류관련 논문을 읽다보면 Teacher-Student를 같이 학습하는 경우가 있고, Teacher를 먼저 학습하고 Student를 학습하는 경우가 있다. 어떤 경우에는 같이 학습하는지 그리고 어떤 경우에는 선행 학습 후 전이가 이뤄지는지 고민하여 찾아본 결과에 대해 작성한다. 목차 방법 A:
Linear probing 목적: 사전 학습된 Backbone의 Feature Representation의 품질을 평가 또는 다운스트림 목적 사전학습된 backbone 모델에 Linear Layer를 붙여서 이 Linear Layer만 학습하고 Backbone 모델의 가중치는 고정하여 학습하는 기법 Li
Confusion Matrix
Confusion Matrix 양성이 정상 음성이 비정상이라 가정하겠다. 여기서 중요한 것은 데이터가 들어왔을 때 그 데이터가 어떤 데이터인지 파악하는 것이 중요하다. TN ( True Negative) 모델이 비정상(Negatvie)이라고 예측했는데 잘 맞춘(True) 경우이다. 어떤 데이터가 들어왔는
Focal Loss
서론 Focal Loss는 2017년 말에 Facebook AI Research(Meta AI Research)에서 발표한 논문 Focal Loss for Dense Object Detection에서 처음 소개되었다. Focal loss는 Object Detection에서 주로 사용되며 주로 두 가지 유
SSIM (Structural Similarity Index Measure)
서론 사람의 시각체계는(HVS) 이미지의 밝기(Luminance), 대비(Contrast), 구조(Structure) 등에 자각하여 이미지의 품질(Quality)을 관찰하는데 L2 loss는 모든 픽셀이 독립적이라는 가정 가정이 내포되어 있다. 이는 한 이미지의 특정 픽셀이 다른 이미지의 동일한 위치의
Quantization 원리
서론 Quantization 이란 Neural Network 일반적으로 Parameter는 모델의 정확도를 높이기 위해 32bit floating point(FP32)로 펴현된다. 하지만 임베디드 장치와 같이 리소스가 제한된 환경에서 FP32로 표현하게 되면 Inference과정에서굉장히 많은 시간이 소
Taylor's series and Maclaurin's series on ML
서론 이 장은 Taylor's series와 Maclaurin's series가 무엇인지 간단하게 알아보고 두 급수의 차이점을 알아본다. 그리고 ML에서 어떻게 적용되는지 알아보자. 목차 Taylor's series Maclaurin's series Taylor's series & Maclaurin's
Likelihood(MLE)
서론 이 장은 MLE에 대해서 설명한다. 확률의 의미와 기본 개념들에 대해서 같이 알아봐보자. 목차 Probability PDF(Probability Density Function) CDF(Cumulative Distribution Function) 모수 추정 Likelihood Maximum likel
Normalization / Regularization
서론 이 장은 Normalization과 Regularization의 차이점에 대해서 설명한다. 그리고 Batch Normalization과 Layer Normalization에 대해서 설명한다. 목차 Normalization Regularization Batch Normalization과 Layer N
NAS(Neural Network Search)
서론 이 장은 NAS의 개념에 대해 설명한다. 목차 NAS Search Space Search Strategy Search Algorithm Performance Estimation Search Strategy & Search Algorithm 차이점 Example NAS Neural Architectu
Manifold 개념
서론 이 장은 Manifold의 개념에 대해서 설명한다. 목차 Manifold Manifold Hypothesis 1. Data compression 2. Data visualization 3. Curse of dimensionality 개선 4. Discovering most important feat
Machine Learning Design Pattern
서론 이 장은 Machine Learning 디자인 패턴에 대해 공부한 것을 설명한다. 더 많은 데이터를 수집할 수 없을 때 데이터 균형(분포)을 이해하면 이를 고려하여 모델을 설계하는데 도움이 된다. 서빙(serving) : 모델을 배포하여 예측값을 전송하는 시스템 서빙의 하위 항목들로는 온프레미스(o
Gradient
서론 이 장은 Foward 신경망에 대한 Weight(가중치)를 update하는 방법(backpropagation)에 대해 다룬다. 목차 1. Analytical Differentiation(해석적 미분) 2. Numerical Differentiation(수치 미분) 3. Symbolic differe
Activation Function
서론 이 장은 AI에서 가장 기본적인 활성화 함수에 대해 소개한다 목차 Sigmoid 하이퍼볼릭 탄젠트(Hyperbolic Tangent Function - Tanh) 소프트맥스(SoftMax Function) 렐루(Relu -Rectified Linear Unit Function) Sigmoid 시그모