MobileNet
기존 convolution을 depthwise separable convolution(group convolution)이후 pointwise convolution을 수행하는 것으로 쪼개어 수행함으로써 연산량과 모델 사이즈를 동시에 감소시키는 방법
연산량 감소의 이유
gaussian37.github.io/dl-concept-dwsconv/
모델사이즈 감소의 이유
기존 convolution에서 3x3x3 kernel을 3번 수행한다고 하면 3x3x3x3 = 81개의 파라미터를 필요로하지만 여기서는 3x3x1사이즈의 depthwise convolution 3개 + 1x1x3사이즈의 pointwise convolution 1개 = 36개를 필요로하기 때문에 모델 사이즈가 감소
문제점
- 기존 convolution과 똑같은 결과를 내지 않으며 group convolution만 하면 group간 교류(cross talk)가 없어 정확도가 악화되는데 이를 pointwise convolution으로 완전히 극복할 수 없다는 문제가 있음-> 일반적으로 알려진 사실에 의하면 정확도 감소효과는 미미하지만 연산속도 감소효과는 매우 크다고함
ShuffleNet
MobileNet에에서 group간 교류가 부족한 문제를 channel shuffle을 통해 극복한 방법
장점
- 구조적으로 MobileNet과 유사하기 때문에 연산속도는 별 차이가 없음
- Gropu간 교류를 활발하게 하여 MobileNet보다 정확도가 높음
댓글