Paper review
-
Attend and Decode: 4D fMRI Task State Decoding Using Attention Models (CoRR 2020)Paper review/WPPP 논문 간단 리뷰 2021. 8. 11. 00:46
2021년 1월 4주차 덕중 논문 2번 Title : Attend and Decode: 4D fMRI Task State Decoding Using Attention Models (CoRR 2020) Task : The HCP-YA fMRI dataset includes 7 functional tasks Prior Problem : fMRI data는 high dimensionality 이라는 특성 덕분에 task state decoding(정확히 이해는X)이 challenging한 문제가 됨. spatio-temporal blood flow pattern이 상당이 복잡함 Contribution: 1) 처음으로 attention 기반의 4D spatio-temporal data를 처리하는 model를 제..
-
Attention Is All You Need (NIPS 2017)Paper review/WPPP 논문 간단 리뷰 2021. 8. 11. 00:42
2021년 1월 4주차 덕중 논문 3번 Title : Attention Is All You Need (NIPS 2017) Task : WMT 2014 English-to-French translation task(nlp, machine translation) Prior Problem : seq2seq model은 encoder에서 source 문장의 길이와 상관없이 출력값을 고정된 크기의 vector로 압축 해 정보손실이 생기는 문제가 있었음 Contribution: 1) model로서 encoder-decoder 구조는 유지하지만 RNN을 사용하지 않는 translation model을 구성함 2) 고정된 vector를 사용하는게 아니라 매번 decoder 출력마다 입력 source 문장의 모든 enc..
-
BrainNetCNN: Convolutional neural networks for brain networks; towards predicting neurodevelopment (NeuroImage 2017)Paper review/WPPP 논문 간단 리뷰 2021. 8. 11. 00:36
2021년 1월 4주차 논문 1번 Title : BrainNetCNN: Convolutional neural networks for brain networks; towards predicting neurodevelopment (NeuroImage 2017) Task : Bayley-III cognitive and motor scores Prior Problem : brain network에 standard convolution filter를 적용하면 functional connectivity matrix 자체가 각 brain region의 위치정보를 가지고 있지 않기 때문에 사용하기가 쉽지 않았다 -> 정확히는 spatial locality 정보를 가지고 있지 않음 Contribution: 1) Edge..
-
RepVGG : Making VGG-style ConvNets Great Again (arXiv 2021)Paper review/WPPP 논문 간단 리뷰 2021. 7. 27. 00:48
2021년 1월 3주차 논문 리뷰 1번 Title : RepVGG : Making VGG-style ConvNets Great Again (arXiv 2021) Task : Image classification, Segmentation Dataset : ImageNet Prior Problem : Inception이나 resnet 기반의 multi-branch model들은 성능은 좋지만, 복잡하여 응용이 힘들고 비용이 크다는 단점이 있었음 Goal : VGG기반에 residual block을 추가하여 multi-branch로 학습하여 성능을 늘리면서, 3x3 conv 연산으로 inference(test시 3x3 conv로 re-parameterization)를 수행해 성능도 높이고 속도도 높임 Cont..
-
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications (arXiv 2017)Paper review/WPPP 논문 간단 리뷰 2021. 7. 27. 00:38
논문 리뷰 1월 2주차 논문 2번 Task : Image classification, object detection Dataset : ImageNet, COCO Goal : 기존에 경량화를 시도하는 model들은 주로 network의 size에 집중했는데, 저자들은 speed를 타겟으로해서 경량화를 시도 (depthwise separable convolution 적용) Contribution: 1) Xception에서 소개한 depthwise separable convolution을 사용하여 성능은 살짝 줄어들어도 연산 속도를 대폭 줄임 depthwise separable convolution은 Xception 논문에서 소개되었는데, 1) cross-channel correlation 2) spatial..
-
Wide Residual Networks (BMVC 2016)Paper review/WPPP 논문 간단 리뷰 2021. 7. 27. 00:30
2021년 1월 3주차 논문 리뷰 3번 Title : Wide Residual Networks (BMVC 2016) Task : image classification, obj detection, segmentation Dataset : COCO benchmark, SVHN, ImageNet Prior Problem : resnet의 등장으로 깊게 쌓으면 성능이 증가 됨을 확인할 수 있었지만, 깊어질수록 학습도 점점 어려워짐 Goal : Depth보다 wide(channel 방향)을 증가시켜 성능을 향상시켜보자 Contribution: 1) 여러 실험을 통해 residual block구조의 중요한 요소들을 조사 2) 새로운 widened architecture 제시 3) overfitting을 줄이는 목적..
-
Aggregated residual transformations for deep neural networks (ResNeXt, 2017 CVPR)Paper review/WPPP 논문 간단 리뷰 2021. 7. 27. 00:28
2021년 1월 2주차 논문 간단리뷰 3번 Task : Image classification Dataset : ImageNet Goal : 같은 topology의 block을 반복적으로 구성하여 연산량을 줄임, 하나의 입력을 group convolution을 통해 여러개로 나누고, transform, concat을 진행 Contribution: 1) group convolution을 통해 resnet보다 연산량을 줄이고 성능을 다소 향상시킴 left : ResNet right : ResNeXt -> Cardinality C(group convolution 수)와 bottleneck width의 관계 같은 연산량을 이용할때 C를 늘리는 게 성능이 좋았다 model : comment : 하나의 convolu..
-
Identity Mappings in Deep Residual Networks (ECCV 2016)Paper review/WPPP 논문 간단 리뷰 2021. 7. 27. 00:25
2021년 1월 2주차 1번 논문 Title : Identity Mappings in Deep Residual Networks (ECCV 2016) Task : 기존에 발표했었던 resnet model의 residual block이 왜 유의미한 성능 향상이 있는지 검증하고, 다양한 block 구조를 실험하여 어떻게 성능이 달라지는지 비교 Dataset : CIFAR-10/100 Goal : 기존에 발표했던 resdiual block의 성능 검증 및 다양한 구조를 실험하여 새로운 구조 제시 (pre-act-resnet : Batch normalizaion & ReLU가 weight layer 앞에 놓인 구조) Contribution: 1) residual block의 성능을 검증 residual block..