BrainNetCNN: Convolutional neural networks for brain networks; towards predicting neurodevelopment (NeuroImage 2017)

2021년 1월 4주차 논문 1번 

 

Title : BrainNetCNN: Convolutional neural networks for brain networks; towards predicting neurodevelopment (NeuroImage 2017)

 

Task : Bayley-III cognitive and motor scores

 

Prior Problem : brain network에 standard convolution filter를 적용하면 functional connectivity matrix 자체가 각 brain region의 위치정보를 가지고 있지 않기 때문에 사용하기가 쉽지 않았다

-> 정확히는 spatial locality 정보를 가지고 있지 않음

 

Contribution:

1) Edge to Edge layer, Edge to Node layer, Node to Gragh layer라는 세 개의 layer(filter)를 제시하여 specific version filter를 사용해 brain network에 deep learning method(CNN)를 적용

2) 동일한 task에서 다른 method보다 우수한 성능을 보임

3) 다양한 task에 적용 - age prediction, Bayley-III cognitive and motor scores 등등

 

Model :

 

1) Edge to Edge layer

 

standard convolution filter와 달리 일종의 두 개의 1d filter를 각각 weighted sum을 한 후 concat함으로써 모든 region의 edge값들끼리 관계 정보를 학습할 수 있음

 

2) Edge to Node layer

 

 

식에는 두 가지 종류의 filter가 사용되는것 같지만, index를 자세히 본 결과 rA와 cA는 같은 값임을 알 수 있음->figure에는 row방향 filter만 사용하고 code또한 row 방향으로만 구현되어있음. (인접한 edge들을 node set으로 요약)

 

3) Node to Graph layer

E2N fiter 결과에 weighted sum을 함으로써 graph의 모든 node에서의 값을 얻는것으로 해석 됨

 

result :

 

FC30net, FC90net은 각각 one fully connected layer, two fully connected layer

proposed model들이 좋은 성능을 보임을 볼 수 있음

 

comment : 논문의 introduction 부분을 읽는게 정말 힘들었고, neuroimage 논문은 상당한 domain 지식을 요구하는 느낌을 받았음.

brain network(connectome)에 DNN을 사용한 것은 저자들이 처음이라고 주장하는데, 확인이 필요함. 2017년 논문인데 후속 연구를 찾아보고 model 구조 개선점을 찾아보는 것도 좋을 것 같음. reference에 석흥일 교수님 논문이 몇 개 실려있는데 여유가 되면 볼 계획

 

https://docs.google.com/presentation/d/1irDT9EHp4VfNFtekfYuugYSMF13SvaD2H_DJkrcBJNk/edit

brainNetCNN 관련 ppt

https://github.com/nicofarr/brainnetcnnVis_pytorch

https://github.com/jeremykawahara/ann4brains

GitHub - jeremykawahara/ann4brains: Artificial neural networks for brain networks

 

self feedback : 구현 자체는 정말 간단하다(conv2d에서 kernel을 1d로 사용해서 구현이 가능함) neuroimage 논문은 정말 읽기 힘들다.. 실제로 사용했을때 성능은 썩 좋지 않았음