全景呈现大脑三维结构!谷歌提出自动化重建方法加速脑科学研究步伐
公众号/将门创投
From:Google 编译:T.R
连接组学作为脑科学中的重要分支,一直以来致力于重建出脑部各个部分间的连接地图,以理解神经系统的工作原理。大脑中动辄十亿百亿计的细胞让这项研究充满了挑战。
近日,来自谷歌的研究人员与霍华德休斯医学研究中心以及剑桥大学合作,通过AI技术与TPU强大算力的结合将果蝇大脑的透射电镜图像进行匹配和重建,实现了数十万神经元的追踪和三维重建,为我们展现出了脑部令人叹为观止的精妙结构。
在这一研究中,研究人员选择了大脑结构适中的果蝇进行了深入的研究。果蝇是一种神奇的动物, 至今已经有八个诺贝尔奖出自基于果蝇的研究 ,包括基因、分子生物学和神经科科学等方面。它的大脑结构包含了数十万个神经元,处理起来相对容易。如果选择小鼠,则需要面对数亿个神经元及其相互连接,我们的大脑更是涵盖了上千亿个神经元。
果蝇的大脑结构
为了构建果蝇大脑的三维结构,研究人员们首先利用成年果蝇的大脑投射电镜图像作为研究基础。每一层图像对应大脑组织的厚度是40nm,如此细微的成像过程使得整个果蝇脑部的图像像素达到了40万亿像素之多。
在这些图像数据的基础上,研究人员需要对二维图像进行匹配和对齐,重建出连续的完整的三维大脑数据。为了对数量庞大的神经元进行对齐和追踪,研究人员使用了 FloodFilling网络(FFN) 来对数据进行处理,自动匹配和对齐每一个独立的神经元。
FloodFilling网络是谷歌于2018年提出的神经元自动分割和重建模型。在图像分割的基础上,它增加了一系列回归的旁支来辅助网络优化和处理单个神经元,并在三维数据中跟踪单个神经元。
首先研究人员提出了一种 局域重匹配 的方法来对局域的子体积进行操作,作为构建完整数据的中间步骤。局域重匹配会改进提供给FFN的子体积的匹配质量,与门控机制的FFN结合可以将全局融合错误率降低一个数量级。基于这种层间连续性,可以有效提升FFN追踪神经元过程的稳定性。
对于数据缺失的层,研究人员则使用了分割提升 SE- CycleGAN 的方法来生成出缺失的数据。基于生成对抗网络对于数据的补全,FFN可以在追踪神经元的过程中表现得更为鲁棒。
对于脑部结构这样复杂的数据来说,可视化是必要的研究方式。为了便于对数据的查看和理解,研究人员开发出了专门针对脑部庞大数据的大规模可视化工具 Neuroglancer 。
也可对 二维图像中神经元 进行三维追踪重建:
还可实现 多层间细胞关系 的三维追踪重建:
这款工具可以使用浏览器中运行,在WebGL的加持下可以显示pb级别的大规模三维数据,并支持任意轴切片、多分辨率网格构建等功能,并为用户提供了python接口用于构建自定义的分析流程。
上图显示了Neuroglancer中的可视化重建结果
这一大规模的脑部结构重建将会加速人们对于脑科学的研究进展,未来研究人员将会针对该连接体进行更有效的识别和重建,并基于FIB-SEM技术成像出更为精确的脑部结构。
更多详细信息请参看:
http://fafb-ffn1.storage.googleapis.com/landing.html
ref:
segan: https://www.biorxiv.org/content/biorxiv/early/2019/02/13/548081.full.pdf
FIB-SEM: https://elifesciences.org/articles/25916
project:http://fafb-ffn1.storage.googleapis.com/landing.html
https://jefferis.github.io/elmr/reference/FAFB.surf.html
http://temca2data.org/
Team:https://ai.google/research/teams/perception/connectomics/
https://zhuanlan.zhihu.com/p/34571059
https://github.com/neuroglancerhub/neuroglancer
Automated Reconstruction: http://fafb-ffn1.storage.googleapis.com/landing.html
Complete Electron Microscopy Volume: https://www.cell.com/cell/fulltext/S0092-8674(18)30787-6
pic:https://cdn.shopify.com/s/files/1/0974/9222/products/neurons_3_1024x1024.jpg