Wide Residual Networks (BMVC 2016)

2021년 1월 3주차 논문 리뷰 3번

 

Title : Wide Residual Networks (BMVC 2016)

 

Task : image classification, obj detection, segmentation

 

Dataset : COCO benchmark, SVHN, ImageNet

 

Prior Problem : resnet의 등장으로 깊게 쌓으면 성능이 증가 됨을 확인할 수 있었지만, 깊어질수록 학습도 점점 어려워짐

 

Goal : Depth보다 wide(channel 방향)을 증가시켜 성능을 향상시켜보자

 

Contribution:

1) 여러 실험을 통해 residual block구조의 중요한 요소들을 조사

2) 새로운 widened architecture 제시

3) overfitting을 줄이는 목적으로 block안에 dropout을 적용

4) 다양한 task에서 SOTA

 

model :

 

 

 

위 table을 보면 알겠지만, k로 wide를 조절하고 N으로 block 개수를 조절하는 것을 볼 수 있다.

사실 논문에서 basic (3x3conv - 3x3 conv) 과 bottleneck(3x3-1x1-3x3)대신 pre-act-resnet을 사용한다고는 되어있지만

imagenet에서는 pre-act-resnet이 별 효과가 없어 basic resnet을 사용한다고 설명했다....

 

이 논문에서는 pre-act-resnet과 비슷하게 굉장히 많은 실험들을 했는데, block 구조에 대한 실험과 block내 conv layer수 비교, width 길이 비교, dropout 성능 평가, imagenet & COCO dataset 성능확인 등등 많은 실험을 진행하였고

 

결과적으로는 width를 늘리는게 성능 향상이 있었다라고 주장하면서 마무리를 하게 된다.

 

result :

 

WRN28-10이 가장 좋았음 (task와 hyperparameter별로 차이는 존재)

 

pre-act-resnet보다 성능이 높음을 확인. 여기서 생각해볼것은 parameter가 3배가 많은데도 좋았다는것

 

table이 너무 많아서 전부 올리지는 않았지만 pre-act-resnet과 WRN의 train time을 비교하는 표도 있었는데, 성능은 살짝 떨어지지만 속도는 2배 가까이 빨랐음

또한 original resnet과 학습 속도를 비교한 자료도 있었음.

 

comment : 이제 resnet 구조 관련 논문은 한 개가 남았는데, pre-act-resnet과 마찬가지로 이 논문도 실험 결과가 주를 이루는 내용이었다. depth대신 width한 방향으로 늘리면서 성능을 높였고, parameter의 증가로 인한 overfitting은 강력한 regularization을 사용했다고 하다.

다만 pre-act-resnet이 imagenet에서 그다지 효과가 없다고 하니 이는 다시 확인이 필요할 것 같다.