Spatio-Temporal Graph Convolution for Resting-State fMRI Analysis (MICCAI 2020)

2021년 2월 1주차 덕중 논문 2번

 

 

Title : Spatio-Temporal Graph Convolution for Resting-State fMRI Analysis (MICCAI 2020)

 

Task : graph classification (추정), rs-fMRI data로 subject의 age와 gender 예측

 

Dataset : NCANDA, HCP

 

Prior Problem :

기존에 rs-fMRI에 적용하던 deep learning method들은 brain activity의 temporal dynamic 정보들과 functional dependency를 무시해왔다

 

Contribution :

논문에서는 spatio-temporal graph convolutional network(ST-GCN)을 제시하는데 이는 functional connectivity에서 얻은 insight를 통해 graph edge의 중요한 정보를 학습이 가능하다. 이 model은 BOLD signal에 기반한 gender와 age를 예측하는데 상당한 성능 향상을 보였음.

 

Model :

model 이름처럼 spatial한 부분과 temporal 부분의 정보를 한번에 학습이 가능하도록 설계하였고 전체 time series에서 매 train step마다 random하게 시작점을 정하여 sub-sequence로 분할하였고, 각 sub-sequence는 3개의 ST-GC unit으로 구성되어있다. 그리고 최종 출력은 각 unit에서 나온 결과들을 voting하여 출력되게 된다.

 

• spatial graph convolution

  

  f_t : input feature
  f'_t : output feature
  t^th : frame (동일한 time frame)
  W_sg : spatial graph convolutional kernel
  

  

  -> M : edge importance matrix
• temporal graph convolution

  

  f'_i : T의 length를 가진 temporal graph의 node v_i의 feature
  W_tg : temporal graph convolutional kernel

   

 

Result :

 

다른 baseline model보다 proposal method가 향상된것을 알 수 있었다.

 

Comment : GCN에서는 결국 node와 edge를 뭐로 구성하는지가 가장 중요한데, 정확히 파악하지는 못했습니다. node는 RoI, node feature는 파악X, edge는 global하게 구한 RoI의 connectivity로 추정, ST-GCN자체는 2018년 AAAI에서 발표된 논문에서 제시한 구조로 더 깊은 이해를 위해 읽어볼 예정입니다

ST-GCN : https://arxiv.org/pdf/1801.07455.pdf

ST-GCN review 링크 : https://reading-cv-paper.tistory.com/entry/AAAI-2018Spatial-Temporal-Graph-Convolutional-Networks-for-Skeleton-Based-Action-Recognition

[AAAI-2018]Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition