全景呈现大脑三维结构!谷歌提出自动化重建方法加速脑科学研究步伐

IT思维  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

公众号/将门创投

From:Google  编译:T.R

连接组学作为脑科学中的重要分支,一直以来致力于重建出脑部各个部分间的连接地图,以理解神经系统的工作原理。大脑中动辄十亿百亿计的细胞让这项研究充满了挑战。

近日,来自谷歌的研究人员与霍华德休斯医学研究中心以及剑桥大学合作,通过AI技术与TPU强大算力的结合将果蝇大脑的透射电镜图像进行匹配和重建,实现了数十万神经元的追踪和三维重建,为我们展现出了脑部令人叹为观止的精妙结构。

在这一研究中,研究人员选择了大脑结构适中的果蝇进行了深入的研究。果蝇是一种神奇的动物, 至今已经有八个诺贝尔奖出自基于果蝇的研究 ,包括基因、分子生物学和神经科科学等方面。它的大脑结构包含了数十万个神经元,处理起来相对容易。如果选择小鼠,则需要面对数亿个神经元及其相互连接,我们的大脑更是涵盖了上千亿个神经元。

全景呈现大脑三维结构!谷歌提出自动化重建方法加速脑科学研究步伐

果蝇的大脑结构

为了构建果蝇大脑的三维结构,研究人员们首先利用成年果蝇的大脑投射电镜图像作为研究基础。每一层图像对应大脑组织的厚度是40nm,如此细微的成像过程使得整个果蝇脑部的图像像素达到了40万亿像素之多。

在这些图像数据的基础上,研究人员需要对二维图像进行匹配和对齐,重建出连续的完整的三维大脑数据。为了对数量庞大的神经元进行对齐和追踪,研究人员使用了 FloodFilling网络(FFN) 来对数据进行处理,自动匹配和对齐每一个独立的神经元。

FloodFilling网络是谷歌于2018年提出的神经元自动分割和重建模型。在图像分割的基础上,它增加了一系列回归的旁支来辅助网络优化和处理单个神经元,并在三维数据中跟踪单个神经元。

全景呈现大脑三维结构!谷歌提出自动化重建方法加速脑科学研究步伐

子图b中可以看到FFN的推理过程,红色框标注了模型在电镜图像下的视野,箭头指示着输入和输出的方向。可以看到每一行作为一个迭代过程不断的通过卷积网络优化分割结果。子图c显示了多个物体的分割以及表面重建过程,子图d显示了多尺度下的重建过程。这种方法作为三维重建的有效手段可以很好的呈现出脑部的三维结构,但研究人员在使用中发现当图像中包含不连续的部分使得匹配结果不好、或者多个切片中有部分数据缺失的时候使算法难以衔接起各个部分的数据,会造成最终重建的结果退化。为了处理这一问题,研究人员在FFN的模型中加入了 两种有效的辅助手段 来提高改进的重建效果。

首先研究人员提出了一种 局域重匹配 的方法来对局域的子体积进行操作,作为构建完整数据的中间步骤。局域重匹配会改进提供给FFN的子体积的匹配质量,与门控机制的FFN结合可以将全局融合错误率降低一个数量级。基于这种层间连续性,可以有效提升FFN追踪神经元过程的稳定性。

全景呈现大脑三维结构!谷歌提出自动化重建方法加速脑科学研究步伐

对于数据缺失的层,研究人员则使用了分割提升 SE- CycleGAN 的方法来生成出缺失的数据。基于生成对抗网络对于数据的补全,FFN可以在追踪神经元的过程中表现得更为鲁棒。

全景呈现大脑三维结构!谷歌提出自动化重建方法加速脑科学研究步伐

对于脑部结构这样复杂的数据来说,可视化是必要的研究方式。为了便于对数据的查看和理解,研究人员开发出了专门针对脑部庞大数据的大规模可视化工具 Neuroglancer

这款工具可以对 任意轴位置 进行切片显示:

全景呈现大脑三维结构!谷歌提出自动化重建方法加速脑科学研究步伐

也可对 二维图像中神经元 进行三维追踪重建:

全景呈现大脑三维结构!谷歌提出自动化重建方法加速脑科学研究步伐

还可实现 多层间细胞关系 的三维追踪重建:

全景呈现大脑三维结构!谷歌提出自动化重建方法加速脑科学研究步伐

这款工具可以使用浏览器中运行,在WebGL的加持下可以显示pb级别的大规模三维数据,并支持任意轴切片、多分辨率网格构建等功能,并为用户提供了python接口用于构建自定义的分析流程。

全景呈现大脑三维结构!谷歌提出自动化重建方法加速脑科学研究步伐

上图显示了Neuroglancer中的可视化重建结果

这一大规模的脑部结构重建将会加速人们对于脑科学的研究进展,未来研究人员将会针对该连接体进行更有效的识别和重建,并基于FIB-SEM技术成像出更为精确的脑部结构。

更多详细信息请参看:

http://fafb-ffn1.storage.googleapis.com/landing.html

ref:
FFN:https://www.nature.com/articles/s41592-018-0049-4
segan: https://www.biorxiv.org/content/biorxiv/early/2019/02/13/548081.full.pdf
FIB-SEM: https://elifesciences.org/articles/25916
project:http://fafb-ffn1.storage.googleapis.com/landing.html
https://jefferis.github.io/elmr/reference/FAFB.surf.html
http://temca2data.org/
Team:https://ai.google/research/teams/perception/connectomics/
https://zhuanlan.zhihu.com/p/34571059
https://github.com/neuroglancerhub/neuroglancer
Automated Reconstruction: http://fafb-ffn1.storage.googleapis.com/landing.html
Complete Electron Microscopy Volume: https://www.cell.com/cell/fulltext/S0092-8674(18)30787-6
pic:https://cdn.shopify.com/s/files/1/0974/9222/products/neurons_3_1024x1024.jpg
https://dribbble.com/shots/3846357-Can-the-brain-handle-it

随意打赏

人自动化大脑智能
提交建议
微信扫一扫,分享给好友吧。