Convolution에 대한 이해 + VGG

서론

이 장은 Convolution의 연산방식과 Depthwise Convolution, Grouped Convolution의 특징에 대해 알아본다. 또한 Convolution을 바탕으로 다양한 모델들이 등장하게 되는데, VGG, AlexNet, MobileNetV1, 2, ResNet들의 특징을 간략하게 알아본다.

Convolution

Input 채널의 갯수 = filter(kernel) 채널의 갯수
- 아래 그림에서 Input(이미지)의 채널의 수가 3이면 filter의 채널 수 3
filter의 갯수(Number of filters) = output 채널 수
- 아래 그림에서 filter의 갯수는 2개이면 output 채널 수 2
아래 그림을 보면 Input feature와 커널들이 element-wise 곱으로 연산하여 최종적으로 한 개의 값으로 모두 더해짐

About Kernel

Weight sharing에 들어가기 전에 커널의 생성 방식에 대해서 예를 들어서 설명하겠습니다.

output_channel=1로 설정한 상태에서 일반적인 Convolution은 RGB 3개의 채널을 갖는 이미지가 들어왔을 때, 커널의 갯수는 1개가 됩니다.(# of kernel == output channel의 갯수) 그리고 1개의 커널에는 이미지가 3개의 채널을 가지고 있기 때문에 3개의 채널이 있는 커널 1개가 생성됩니다.

1개의 커널에 대한 각 채널들은 이미지가 가지고있는 각각의 채널에 대응됩니다.

이미지의 Red채널에 대응되는 1개의 커널에 있는 채널 1개, 이미지의 Green채널에 대응되는 1개의 커널에 있는 채널 1개, 이미지의 Blue채널에 대응되는 1개가 됩니다. 때문에 총 3개의 채널을 갖는 1개의 커널이 생성됩니다.

Convolution의 Weight Sharing 의미

이때 가중치 공유를 한다는 말은 1개의 채널에 대응되는 커널의 필터가 이미지를 stride값만큼 이동하여 처음부터 끝까지 훑습니다(convolution 연산). 이때 동일한 가중치로 convolution 연산이 진행됩니다 즉, 고정된 가중치로 훑는다는 뜻입니다. 그리고 이 커널에 대한 가중치는 forward때 변경되지 않고 backward에서 변경됩니다. 따라서 1개의 커널이 가지고 있는 각 채널에 대해서는 서로가 다 다른 가중치가 다른값을 가집니다.

Convolution의 Weight Sharing 이점

하나의 이미지에 특정 영역에 있는 feature를 잘 찾는다는 것은 이 feature를 잘 찾는 weight, bias가 잘 학습되었다는 것을 의미
한 장의 이미지에 하나의 feature만 있는 것이 아닌 여러 개의 feature가 있고 입이라는 feature를 찾아내는 detector가 잘 학습되어졌다고 가정
- weight를 sharing하지 않는다면 각 region 또는 pixel마다 다른 weight값을 사용해야 한다는 것이 되므로 이는 연산량이 엄청나게 증가
- 같은 입(mouse)이라 하더라도 학습된 weight들이 다 다름으로 우리가 볼 때는 같은 입이지만 모델의 관점에서는 서로 다른 객체라고 출력하는 문제도 발생

Weight Sharing Besides restricting ourselves to only local connections, there is one other optimization we can make: if we wanted to detect a feature (say, a horizontal edge), we can use the same detector on the bottom-left corner of an image and on the top right of the image. That is, if we know how to detect a local feature in one region of the image, then we know how to detect that feature in all other regions of the image. In neural networks, "knowing how to detect a local feature" means having the appropriate weights and biases connecting the input neurons to some hidden neuron. We can therefore reuse the same weights everywhere else in the image. This is the idea behind weight sharing: we will share the same parameters across different locations in an image.

https://www.cs.toronto.edu/~lczhang/360/lec/w04/convnet.html

Depthwise Convolution

코드(Pytorch): nn.Conv2d(in_channels=32, out_channels=32, kernel_size=3, stride=1, padding=1, groups=32)

위의 코드가 주어졌을때에 대해서 알아보겠다.

특징

input_channel과 output_channel의 크기가 같다.
groups라는 인자는 32개의 입력채널에 대해 32개의 그룹으로 나누어서 계산하라의 의미 → 1개의 그룹당 1개의 채널가지고 있으라는 의미가 된다. 각 그룹당 1개의 커널이 맵핑되어 32개의 출력채널이 이뤄진다.

Grouped Convolution

코드(Pytorch): nn.Conv2d(in_channels=32, out_channels=16, kernel_size=3, stride=1, padding=1, groups=16)