Paper review
-
Training data-efficient image transformers & distillation through attention [2021, facebook ai, DeiT]Paper review/WPPP 논문 간단 리뷰 2022. 7. 9. 00:30
2월 4주차 덕중 논문 2번 Title: Training data-efficient image transformers & distillation through attention [2021, facebook ai] Task: Image classification Dataset: ImageNet banchmark Contribution: DeiT는 구글에서 발표한 ViT model에 Knowledge Distillation을 추가한 모델이다. 이때 teacher network로 RegNetY를 사용하여 convnet의 inductive bias를 잘 전달 받을 수 있었고, transformer의 단점 중 하나인 대량의 학습 데이터가 필요하다는 한계를 해결하여 오직 ImageNet data를 이용하여 SOTA..
-
ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design ECCV 2018Paper review/WPPP 논문 간단 리뷰 2022. 7. 9. 00:28
2월 4주차 덕중 논문 1번 Title: ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design ECCV 2018 Task: Image classification, object detection Dataset: ImageNet banchmark 2012, COCO dataset Contribution: 정리 : 기존에 indirect metric인 FLOPs으로만 경량화 모델을 설계하는 것이 아니라 speed와 latency등 다른 요소들도 반영가능한 MAC를 측정함으로서, direct한 metric을 사용하여, efficient하면서도 accurate한 모델을 제시 효율적인 모델을 설계하는데, guideline을 제시 기존의 ..
-
Deep Learning of Static and Dynamic Brain Functional Networks for Early MCI Detection[TMI 2020]Paper review/WPPP 논문 간단 리뷰 2022. 7. 9. 00:22
2021년 2월 3주차 덕중 논문 1번 Title: Deep Learning of Static and Dynamic Brain Functional Networks for Early MCI Detection[TMI 2020] Task: MCI / NC classification Dataset: ADNI2 dataset Contribution: 기존 방법들 처럼 rs-fMRI에서 spatial한 3D map만(static BFN) 이용하는 것이 아니라 dynamic Functional connectivity에서 얻은 dynamic Brain Functional Network(dynamic BFN)도 같이 end to end로 사용함으로써 성능을 향상시켰다 Model: 이 논문에서의 핵심은 static BFN..
-
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (2019, ICML)Paper review/WPPP 논문 간단 리뷰 2022. 7. 9. 00:18
2021년 2월 2주차 덕중 논문 1번 Title : EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (2019, ICML) Task : Image classification Dataset : ImageNet, COCO detection benchmark dataset Contribution : resnet 이후 deep learning method들은 주로 경량화나 NAS 계열의 method들이 많이 연구되고 있는데, 이 논문은 NAS계열의 method로 model에서 depth, width, image resolution를 동시에 고려해서 구조를 찾는 model을 제안하였다 depth, width, image resol..
-
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices(2018, CVPR)Paper review/WPPP 논문 간단 리뷰 2022. 7. 9. 00:16
2021년 2월 1주차 덕중 논문 3번 Task : Image classification, object detection for mobile device Dataset : ImageNet, COCO detection benchmark dataset Contribution : shufflenet은 mobilenet의 구조를 따르면서 기존 method중 대부분의 연산량과 parameter를 차지하던 1x1conv 구조를 group convolution으로 바꿔주고, input channel을 shuffle하여 채널간 정보를 공유할 수 있게 만들어주었다. 또한 다른 SOTA model보다 연산량을 줄여주는것은 물론 mobilenet보다 효율적인 model를 제시함 Model : GConv : group con..
-
Spatio-Temporal Graph Convolution for Resting-State fMRI Analysis (MICCAI 2020)Paper review/WPPP 논문 간단 리뷰 2022. 7. 9. 00:13
2021년 2월 1주차 덕중 논문 2번 Title : Spatio-Temporal Graph Convolution for Resting-State fMRI Analysis (MICCAI 2020) Task : graph classification (추정), rs-fMRI data로 subject의 age와 gender 예측 Dataset : NCANDA, HCP Prior Problem : 기존에 rs-fMRI에 적용하던 deep learning method들은 brain activity의 temporal dynamic 정보들과 functional dependency를 무시해왔다 Contribution : 논문에서는 spatio-temporal graph convolutional network(ST-GC..
-
Residual Attention Network for Image Classification (CVPR 2017)Paper review/WPPP 논문 간단 리뷰 2022. 7. 9. 00:02
2021년 2월 1주차 덕중 논문 1번 Title : Residual Attention Network for Image Classification (CVPR 2017) Task : Image classification Contribution : 2016년도에는 주로 depth를 늘리는 방향으로 resnet기반의 model들이 많이 연구되어왔는데, 이러한 residual에 attentio module를 추가한 model을 제시함, attention의 장점으로는 image에서 어떤 부분을 집중했는지 확인이 가능한 것과 object의 여러 다른 representation을 강화하여 볼 수 있다는 점이 있다. 1) attention module을 stacked network architecture로 더욱 성능을..