U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)

雷锋网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)

本文为 AI 研习社编译的技术博客,原标题 :

Review: U-Net+ResNet — The Importance of Long & Short Skip Connections (Biomedical Image Segmentation)

作者 |  SH Tsang

翻译 | 斯蒂芬二狗子         

校对 | 酱番梨        审核 | 约翰逊·李加薪       整理 | 立鱼王

原文链接:

https://medium.com/datadriveninvestor/review-u-net-resnet-the-importance-of-long-short-skip-connections-biomedical-image-ccbf8061ff43

这次,我们来聊一聊用于生物医学图像分割的的一种全卷积神经网络,这个网络带有长短跳跃连接。

上次,我已经回顾了 RoR (ResNet of ResNet, Residual Networks of Residual Networks)(这是2018年的TCSVT论文,如果有兴趣,请访问我的评论。)在RoR中,通过使用长短跳跃连接,图像分类准确性得到提高。实验结果证明了使用长短跳跃连接的有效性。

这一次,作者还提供了一种通过分析网络中的权重来展示其有效性的方法,而不仅仅是展示实验结果。

尽管这项工作的目的是进行生物医学图像分割,但通过观察网络内的权重,我们可以更好地理解长短跳跃连接。它发布于2016年DLMIA(医学图像分析中的深度学习),引用次数超过100次。 (SH Tsang @ Medium)

U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)

电子显微镜(Electron Microscopy,EM)图像分割


    文章概要

  1. ResNet中的Skip连接,跳跃连接

  2. 长和短的跳跃连接

  3. 损失函数

  4. 结论

  5. 权重分析


    1.ResNet中的跳跃连接


U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)

ResNet 建立的模块

  • 在ResNet中,使用连续的ResNet网络构建模块。

  • 仅使用短跳跃连接。并且没有长连接。


    2.长和短的跳跃连接


U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)

(a)具有长跳跃连接  的ResNet,(b)Bottleneck块,(c)Basic块,(d)Simple块。 (蓝色:可选下采样,黄色:可选上采样)

(a)具有长跳跃连接的残差网络

  • 下采样(蓝色):这是一个收缩路径。

  • 上采样(黄色):这是一个不断扩展的路径。

  • 这是一种类似U-Net的FCN架构。

  • 从收缩路径到扩展路径有很长的跳跃连接。

(b) Bottleneck Block

  1. 用1x1Conv-3x3Conv-1x1Conv这样的结构,因此它被称为瓶颈。它已经在ResNet中使用。

  2. 在每个Conv之前使用BN-ReLU,这是来自Pre-ResNet的idea。

(c) Basic Block

  • 两个3x3Conv,同样ResNet使用过

(d) Simple Block

  • 一个3x3Conv

(b)-(d)

  • 所有块都包含短跳跃连接。

U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)

详细的模型架构说明


     3.损失函数

考虑了2种损失函数

3.1. 二元交叉式损失函数

U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)

  • 标准的交叉熵损失函数

3.2. Dice Loss

U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)

  • Dice Loss是生物医学图像分割的另一种常见损失函数。


     4.结果

4.1数据集

  • 训练集:30个电子显微镜(EM)图像,大小为512×512。 25个图像用于训练,留5个图像进行验证。

  • 测试集:另外30张图片。

  • 图像是全分辨率输入到网络。

  • 没有后处理步骤。

4.2 长和短的跳跃连接

U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)

随着epoches的损失/准确性:(a)长和短连接,(b)仅短,(c)仅长

U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)

最好的损失值

  • 如上所述,在上述3种设置中,同时使用长和短连接可以获得最小的损耗或最高的精度。

4.3 与最先进的方法进行比较

U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)

ISBI EM分割挑战

(http://brainiac2.mit.edu/isbi_challenge/)

  • 在ISBI EM分段挑战中,Vrand和Vinfo值用于排名评估。

  • 前景限制Rand评分值:它是Rand分割分数得分和Rand合并得分的加权和的均值。分割和合并分数可以被解释为精度,并且在像素对的分类中被看为属于相同的分割(正类)或不同的分割(负类)。

  • 信息论评分Vinfo:信息论分割得分和信息理论合并得分的加权和的均值。它是互信息(MI)的衡量标准,可作为Rand评分的替代方案。

  • 两个指标的细节:https://www.frontiersin.org/articles/10.3389/fnana.2015.00142/full

  • 所提出的方法(表格底部)与CUMedVision和U-Net相当。虽然它有点逊色,但提出的方法不使用任何后处理步骤,这是一种端到端的学习解决方案。


    5 :权重分析

U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割) (a)长短跳跃连接,(b)只有9次重复简单块的长连接,(c)只有3次重复简单块的长连接,(d)只有7次重复简单块的长连接没有BN。

  • 蓝色: 小权重值

  • 红色:    大权重值

(a)长/短跳跃连接

  • 当存在长跳过连接和短跳过连接时,参数更新似乎分布均匀。

(b)只有9次重复简单块的长连接

  • 当删除短连接时,网络的深层部分几乎没有更新。

  • 当保留长连接时,至少可以更新模型的浅层部分。

(c)只有3次重复简单块的长连接 

  •  当模型足够浅,可以很好地更新所有图层。

(d)只有7次重复简单块的长连接没有BN 

  •  没有批量规范化BN的网络对网络中心的更新减少了。

在关于权重分析进行总结,由于梯度消失问题(通过短跳过连接减轻),更靠近模型中心的层不能有效地更新。

参考

[2016] [DLMIA]
The Importance of Skip Connections in Biomedical Image Segmentatio

想要继续查看该篇文章相关链接和参考文献?

点击【 U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割) 】或长按下方地址:

https://ai.yanxishe.com/page/TextTranslation/1525

AI研习社今日推荐 雷锋网 (公众号:雷锋网) 雷锋网雷锋网

卡耐基梅隆大学 2019 春季《神经网络自然语言处理》是CMU语言技术学院和计算机学院联合开课,主要内容是教学生如何用神经网络做自然语言处理。神经网络对于语言建模任务而言,可以称得上是提供了一种强大的新工具,与此同时,神经网络能够改进诸多任务中的最新技术,将过去不容易解决的问题变得轻松简单。

加入小组免费观看视频: https://ai.yanxishe.com/page/groupDetail/33

U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)

随意打赏

cnn卷积神经网络resnet卷积神经网络图像识别
提交建议
微信扫一扫,分享给好友吧。