Aggregated residual transformations for deep neural networks (ResNeXt, 2017 CVPR)

2021년 1월 2주차 논문 간단리뷰 3번

 

Task : Image classification

 

Dataset : ImageNet

 

Goal : 같은 topology의 block을 반복적으로 구성하여 연산량을 줄임, 하나의 입력을 group convolution을 통해 여러개로 나누고, transform, concat을 진행

 

Contribution:

1) group convolution을 통해 resnet보다 연산량을 줄이고 성능을 다소 향상시킴

left : ResNet right : ResNeXt

-> Cardinality C(group convolution 수)와 bottleneck width의 관계

같은 연산량을 이용할때 C를 늘리는 게 성능이 좋았다

 

 

 

model :

 

comment

: 하나의 convolution block을 same topology의 block으로 반복적으로 사용한 것(group convolution)이 특이했고, 논문 중간에 aggregate transformations이라는 section에서 싱글 뉴런 자체도 일반적인 기능을 하는 기본 변환을 대체할 수 있는 네트워크가 될 수 있다며 언급하면서 Network-in-Neuron이라는 용어를 사용하는데, 아쉽게도 완벽히는 이해하지를 못했다. 그리고 이에 앞서 인공신경망의 기본 연산, 즉 간단한 가중합을 설명하면서 이 연산을 splitting(벡터 x가 저차원 값으로 나눠짐-x1,x2,x3..), transforming(저차원 정보가 각 가중치와 곱해짐), aggregating(변환된 저차원 정보를 합침)이란 단계로 나눌 수 있다고 언급함

 

reference :

https://everyday-deeplearning.tistory.com/entry/%EC%B4%88-%EA%B0%84%EB%8B%A8-%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0ResNext

https://blog.airlab.re.kr/2019/08/resnext

 

paper : https://arxiv.org/abs/1611.05431