>健康>>正文

机器深度学习与大数据结合在医学图像分析应用

原标题:机器深度学习与大数据结合在医学图像分析应用

顾建文教授,解放军306医院,神经外科,整理

深度学习Deep learning被引入机器学习领域machine learning field与大数据the big data的完美结合加快了人工智能artificial intelligence实现的步伐,近年来备受学术界和工业界的广泛关注。从深度学习的3 种经典模型出发,主要做了5 方面的工作: 第一,针对深度信念网络,从网络结构( 隐含层数、RBM 结构、DBN 级联) ,学习算法( 基本算法、优化算法与其他方法结合) ,硬件系统( GPU,FPGA) 三个方面进行总结; 第二,针对卷积神经网络,从网络结构( 输入层、隐含层、CNN 个数) ,学习算法,硬件系统三个方面进行归纳; 第三,针对堆栈自编码器,以时间为轴对其发展进行梳理,阐述相应自编码器的方法改进; 第四,从医学图像分割、医学图像识别和计算机辅助诊断3 个方面详细探讨深度学习在医学图像分析领域中的应用; 最后从大数据浪潮、模型构建、特征学习、应用拓展4个方面对深度学习的发展进行展望。

深度学习是机器学习领域中一系列试图使用多重非线性变换对数据进行多层抽象的算法,不仅学习输入和输出之间的非线性映射,还学习输入数据向量的隐藏结构,以用来对新的样本进行智能识别或预测。20 世纪80 年代末期,用于人工神经网络的反向传播算法的发明掀起了基于统计模型的机器学习热潮,20 世纪90 年代,浅层学习掀起机器学习的第一次浪潮,这些浅层结构虽然相比于过去基于人工规则的系统展现了很大的优越性,但对于处理复杂的问题,表现出特征学习能力不足、维数灾难、易陷入局部最优等缺点。针对上述问题,2006 年,Hinton 在《Science》上首次提出“深度学习”并掀起了机器学习的第二次浪潮,多隐层的网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画。2012 年《纽约时报》披露了Google Brain 项目,该项目用16 000 个CPU Core 的并行计算平台训练“深度神经网络”,在语音识别和图像识别中得到成功应用; 2013 年机器学习国际会议就音频、语音和视觉信息处理的学习结构、表示和最优化等方面进行讨论; 4 月,《MIT Technology Review》杂志将深度学习列为2013 年十大突破性技术之首; 2013 年百度成立了深度学习研究院,并实施“百度大脑”计划;2015 年,中科曙光推出深度学习一体机,并联合中科院计算技术研究所和NVIDIA 公司成立深度学习实验室;深度学习在神经影像学方面的突破对于医学领域的发展至关重要。

鉴于深度学习优异的特征学习能力和实际应用价值,可以总结深度学习的三种模型: 深度信念网络( Deep Belief Network,DBN) 、卷积神经网络( Convolutional Neural Network,CNN) 、堆栈自编码器( Stacked Autoencoder,SAE) 。针对DBN,CNN 主要从网络结构、学习算法和硬件系统三方面综述研究进展,针对SAE以时间为轴梳理发展过程; 然后对深度学习在医学图像分析领域中的应用进行详细总结,最后从大数据浪潮、模型构建、特征学习、应用拓展四个方面对深度学习未来的发展进行展望。

1 深度信念网络( DBN)

基本原理

DBN 是无监督学习下的深度结构概率生成模型,由多层神经元构成,显性神经元用于接受输入,隐性神经元用于提取特征,每一层从前一层的隐含单元捕获高阶数据的相关性。DBN 的基本组成块是受限玻尔兹曼机( RBM) ,层间单元是全连接关系,层内单元之间没有连接关系。RBM 在给定模型参数θ 条件下,可以使用能量函数来表示RBM 中的可视单元v 和隐层单元h 的联合分布P( v,h; θ) = exp( - E( v,h; θ) ) /z( θ) ( 1)

z( θ) =ΣvΣhexp( - E( v,h; θ) ) ( 2)

式中: P( v,h; θ) 为玻尔兹曼分布函数; z( θ) 是一个归一化因子; θ = { ωij,bi,aj} 。对于一个伯努利( 可视) - 伯努利( 隐藏) RBM,其能量函数可定义为

E( v,h; θ) = -ΣIi = 1ΣJj = 1ωij vihj -ΣIi = 1bi vi -ΣJj = 1ajhj( 3)

条件概率可以表示为

p( hj = 1 v; θ) = σ( ΣIi = 1ωijνi + aj) ( 4)

p( νi = 1 h; θ) = σ( ΣIi = 1ωijhj + bi) ( 5)

其中: ωij为可视单元和隐单元的连接权值; bi和aj分别是对应偏置量,i 和j 为可视单元和隐层单元的数目; 激励函数一般是sigmoid 函数。

DBN改进

DBN 作为一种无监督特征学习复杂层次概率模型的方法,目前主要集中在网络结构、学习算法、硬件系统3 个方面的改进研究,如图 所示。

网络结构

深度信念网络是由RBM 堆叠而成,那么RBM 的堆叠个数和结构的改变会构建不同的DBN,并且多个DBN 级联也会影响其性能。

1) 在DBN 隐含层数的确定方面,目前主要依赖于先验知识,其缺点是主观性大,时间复杂度高。李晋徽提出瓶颈深度信念网络,设定一个奇数层的多层神经网络且最中间的神经元个数最少的一层作为瓶颈层,然后去除瓶颈层之后的网络,原来的瓶颈层作为输出层; 潘光源证明了RBM 重构误差与网络能量的正相关定理,根据隐含层和误差的关系,提出一种基于重构误差的网络深度判断方法。

2) 在DBN 模型结构方面的研究主要是基于RBM结构的改进。期望能量受限波尔兹曼机是将RBM函数逼近的学习性能通过负预期能量代替负自由能量计算输出; 数值属性的DBN 是在sigmoid 单元中增加噪声将输入缩放到[0,1]区间,避免一般的输入二值向量造成的信息丢失使分类效果降低的现象; 卷积深度信念网络是引入局部感受野和卷积操作,具有平移不变性并支持高效的自下而上和自上而下的概率推理; 因素四通道条件限制玻尔兹曼机即一个新标签层和来自不同层的神经元结合建立四通道,实现回归和分类。

3) 在DBN 级联方面,深度信念网络和级联去噪自编码器结合,即前两层用去噪自编码实现,中间两层用受限玻尔兹曼机来实现,最后用逻辑斯特层作为分类层; Ping Liu 提出由一组DBN 构成的BDBN( BoostedDBN) 框架使得特征学习、特征选择和分类器重建统一成一个循环的过程,特征被联合微调同时被选择形成一个强大的分类器。

学习算法

DBN 的学习过程包括无监督预训练和有监督微调,学习算法是实现特定目标任务的基础。

1) 在基本学习算法方面, 2006 年,Hinton 教授提出高效的RBM 近似学习算法( CD) ,即将原始RBM 的学习算法中的概率分布差异度量用一个近似的概率分布差异度量取代; 2008 年Tijmen Tieleman 提出了PCD 学习算法,既保持了CD 的学习效率又具备更强的模式生成能力,随后提出的快速持续对比散度算法,加快了运行速度; 2009 年开始出现了一系列基于回火的马尔科夫链蒙特卡罗采样算法的RBM 学习算法,为学习率和无监督训练提供了高可靠性和强鲁棒性; 赵彩光结合指数平均数指标算法和并行回火的思想改进CD 训练算法; Noel Lopes提出了一种自适应步长技术以提高对比发散算法的收敛性。

2) 对于优化算法,其目的在于提高DBN 的整体性能。L1 和L2 两个不同正则项的选择性应用可确保表示的稀疏性和泛化能力; 经粒子群优化的DBNs 模型可获得更好的函数逼近效果; 加入共轭梯度算法可加速训练; 基于连续判别训练准则优化DBN 权值、状态变换参数及语言模型分数,使得DBN 性能优于基于框架准则的DBN; 稀疏响应DBN即数据的分布和由DBN 的构建块中定义的平衡分布之间的Kullback -Leibler 散度( 相对熵) 被视为失真函数,并且稀疏响应正则化诱导L1 范数代码被用来实现一个小代码率进行多层次的抽象特征提取。

3) DBN 与其他方法的结合表现在结合预处理方法、特征提取方法和分类器。对图像进行归一化处理输入模型中; 对图像提取特征如LBP 或进行Gabor 小波变换并编码作为输入,从而学习数据更本质的特征;输出层与其他分类器结合达到良好的识别效果。有判别力的限制玻尔兹曼机与线性变换结合用于不变模式的识别,特征提取和模式分类同时实现; 极限学习机( ELM)运用到DBN 模型的训练中,既保证学习准确性又提高学习速度。

硬件系统

深度学习模型结构的复杂化必须以计算机硬件为基础。高度可扩展的图形处理单元( GPU) 并行执行CD-K 算法,加快了训练速度; 面向计算机集群的分布式内存计算方法提升深度学习技术并行化学习效率; 以多个副本异步并行计算的方式进行深度信念网络模型训练,明显提高深度神经网络的训练效率,并具备良好的可扩展性。

2 卷积神经网络( CNN)

基本原理

CNN 是一种有监督学习的深度学习模型( 如图2所示) ,包含卷积层和子采样层两种特殊的结构层,通过结合局部感受野、权值共享、时间或空间亚采样来实现对输入数据的位移变化、尺度变化、形变变化的不变性。

图2 卷积神经网络的整体结构

卷积神经网络的隐藏层是特征提取的核心,在卷积层,每个神经元的输入与前一层的局部感受野相连,并提取该局部的特征。卷积层的形式xIj= f (Σi∈Mj xI - 1j × kIij + bIj) ( 6)

其中: I 代表层数; Mj代表输入层的感受野; b 代表偏置。在下采样层,输入的特征图经过池化后其个数不变,输出特征图大小为原图一半,下采样层的形式xIj= f( βIjp( xI - 1j) + bIj) ( 7)

其中: p ( ·) 为下采样函数; β 为权重系数; b 为偏置系数。

CNN改进

卷积神经网络在二维图像识别中展现了良好的容错能力、并行处理能力和自学习能力,但其训练时间过长,训练速度过慢。

网络结构

多输入卷积神经网络结构将原数据样本梯度信息( 水平梯度、垂直梯度、两个对角梯度) 同时输入卷积神经网络,能更充分利用原始数据中隐含的特征表达; 渐进式网络扩展结构通过不断调整训练集来改变网络结构,尤其加强训练分类错误的数据集,从而提高分类精度; 自适应级联卷积深层神经网络用高斯分布来表示预测位置和真实位置的距离达到人脸校准,降低了复杂性、增加了稳健性; 三维卷积神经网络模型通过在空间和时序上运用三维卷积提取特征,基于输入帧生成多个特征图通道,将所有通道的信息结合获得最后的特征表示; 多重卷积神经网络是由多个高识别率的小卷积神经网络组成,易于调节参数,可扩展性强。

学习算法

对于优化算法,在CNN 的全连接层引入Dropout或DropConnect 防止过拟合现象; 采用纠正线性单元( Relu) 函数代替常用的sigmoid、使用随机对角算法优化训练提高网络收敛速度; 基于Fisher 准则的深度学习算法在保持样本类内距离小、类间距离大的同时也考虑误差的最小化,使权值能更加快速地逼近有利于分类的最优值,降低了时间复杂度并达到较好的识别效果。CNN 在分类识别过程中与视觉注意模型、多尺度滑动窗口有效结合先对物体定位; 与SVM、随机森林、径向基网络、Softmax 分类器结合,挖掘本质信息再直接智能识别; 在CNN 中引入了递归神经网络,先通过一级卷积神经网络学习原始图像的组合特征,再通过一级卷积和一级递归神经网络分层提取特征,最后对特征向量进行分类。

图3 卷积神经网络的改进

硬件系统

深度学习性能的提升,需要高计算密度的硬件设备支持。CPU 由于其自身特点无法充分地挖掘CNN

内部的并行性; GPU 可通过其巨型并行结构以相对低的代价实现高计算量; FPGA 即现场可编程门阵列作为一种计算密集型加速部件,通过将算法映射到FPGA上的并行硬件进行加速; 将一个深层CNN 转换成一个脉冲神经网络( SNN) 映射CNN 到一个基于Spike 的硬件架构比基于FPGA 硬件的CNN 实施达到两个数量级以上的高效率。

3 堆栈自编码器( SAE)

堆栈自编码器映射在一个二维空间中,纵轴以时间为序探索发展历程,横轴以方法改进作为指针综述相应编码器的进展,具体如图4 所示。纵观时间轴的进程: 以1986 年Rumelhart 提出的自动编码器作为起点, 2006 年Hinton 提出堆栈自编码器则是转折点,随后提出稀疏自编码器、降噪自编码器、收缩自编码器、卷积自编码器、拉普拉斯自编码器,每一种编码器又以横轴为向进行改进。2006 年Hinton 提出堆栈自编码器,它是一种从无类标数据中分层提取输入数据高维复杂的特征,得到原始数据的分布式特征表示并利用无监督逐层贪心预训练和系统性参数优化的多层非线性网络,根据不同任务的需要来调整参数,稳定性、可控性强,具有大规模并行、分布式处理、自组织和自学习的特点。2007 年,Benjio 提出稀疏自动编码器,即在自编码的基础上增加稀疏性约束条件,提高表示学习算法的鲁棒性,增强数据的线性可分性,使得信息表述的全面性和准确率得到提高。稀疏自编码器引入卷积神经网络和池操作,降低计算成本,减少训练复杂性; 在SAE 进行无监督特征预训练时引入散射小波变换作为初始信号表示,计算出多阶调制频谱系数,经过预训练、有监督微调进行识别。

图4 自编码器的改进

2008 年,Vincent 提出降噪自动编码器,在训练数据中添加腐坏向量,通过最小化降噪重构误差,从含随机噪声的数据中重构真实的原始输入。将加权重建损失函数引入到去噪自动编码器中,构造一种加权去噪自动编码器( WDA) 和噪声分类的语音增强的方法;多层降噪自编码器与欠采样局部更新的元代价算法结合,有效利用无标签样本、抗噪声的特性,使组合模型具有代价敏感、降低不均衡性。2010 年,Salah 提出收缩自动编码器,对升维和降维的过程加以限制,其代价函数为JCAE =ΣtL( xt,gθ( fθ( xt ) ) ) + λ J( xt ) tF( 8)

其中: λ 是反映矩阵正规化程度的活跃参数。收缩自编码模型试图利用隐单元构建一些复杂非线性流形模型,由于原理复杂,构建和训练模型难度较大,近年来对其研究较少。2011 年,Masci J 提出卷积自动编码器,学习图像局部特征,通过权重实现共享,并添加卷积和池化操作,保留数据的空间位置信息。在堆叠卷积自动编码器中引入自引导学习并结合强大的时间缓慢约束从大量序列图像块中学习恒定表示以提高学习表示能力; 堆叠的局部卷积自编码器利用贪婪逐层策略训练堆叠的局部卷积自编码器,梯度下降法用于训练各个层,输入数据的表示视为对象特征,从而提高了3D对象检索性能。2012 年,Taylor 深入探讨了SAE 与无监督特征学习之间的联系,阐述如何利用自动编码器来构建不同类型深度结构。2013 年Telmo 研究了用不同代价函数训练SAE 的性能,为代价函数优化策略的发展指明方向。2015 年,Kui Jia 提出一种新的无监督流形学习方法—拉普拉斯自动编码器( LAE) ,从正则函数的学习框架出发,使学到的编码功能在数据点的局部有防腐性能,具有更好的泛化能力,当训练样本稀缺时,LAE 优于其他自编码器。

4 深度学习在医学图像分析中应用

基于深度学习模型结构和学习算法的不断优化,深度学习医学图像分析方面应用广泛,从医学图像分割、识别、计算机辅助诊断三方面提供便利。

医学图像分割

在医学图像分割方面,将深度学习算法与其他算法结合使用,CNN 和连通分量算法结合用于扫描电镜图像分割,与随机森林结合用于神经细胞图像分割,基于超像素和卷积神经网络的方法用于宫颈癌细胞的分割; 基于导数和深度学习架构的检索方法对心脏超声图像的左心室分割进行研究。深度卷积神经网络用于多模态同强度的婴儿脑部图像的分割,三维CNNs 对多模态图像特征提取后对MRI 脑肿瘤、膝关节软骨进行分割都取得了进步,作用于MR 图像的前列腺分割对于诊断前列腺癌和前列腺癌的放射治疗意义重大。

医学图像识别

在医学图像分类识别中,将深度信念网络用于脑电图数据表现的积极和消极的情感分类; 利用深度学习对基于超声造影的良性和恶性肝脏局灶性病变进行分类,展现了准确性、敏感性和特异性上的优越性;基于子集的深度学习用于RGB-D 对象识别,原始RGB-D 图像划分为若干子集,从中学习更高级别的特征被级联为最终特征进行分类,其精度显著提高。限制玻尔兹曼机概率模型用于神经影像学的检查以此来识别固有网络,适用于分层和多模态的扩展数据,为今后的神经影像学研究提供了前景; 卷积深度信念网络考虑到频域空间变换数量的最小化,开辟了深度学习在三维图像分析领域新的方向。

计算机辅助诊断

在计算机辅助诊断方面,利用深度学习算法对前列腺病理图像组织来源进行判断、根据X 光片和胸片的集群微钙化表现检测乳腺癌、利用卷积神经网络对小细胞型肺癌辅助检测都取得了较高的检测率。利用深度玻尔兹曼机从PET /MRI 多模态融合图像中挖掘高层次潜在特征,对AD 和MCI 的诊断准确率可高达95. 35%, 85. 67%; CNN 用于胸片中胸管的检测,得到了99. 99%的准确度和特异性,开启了深度学习用于人造物体检测的先例; 将降噪自编码器用于从不完整的脑电图EEG 进行特征学习,使用Lomb–Scargle 周期图对不完整EEG 频谱能量进行评估; 中科院金林鹏提出导联卷积神经网络,并利用“平移起始点”和“加噪”增加训练样本数,构造了心电图分类模型,并取得83. 66%的准确率。

深度学习展望

1) 大数据潮流。随着大数据时代的来临和存储技术的发展,如何从海量数据中挖掘信息至关重要,所以充分利用大量的无标记数据、无监督地进行特征学习赋予了深度学习无限的发展潜力,“大数据+ 深度模型”将成为未来的研究方向。

2) 模型构建。深度学习模型是具有多层隐含层的人工神经网络,但并不是隐含层越多越好,网络层数的确定和激活函数的选择值得探讨,并且随着模型复杂度的不断增加,如何衡量训练复杂度和任务复杂度的关系、如何权衡模型规模与训练速度、训练精度之间的关系都是深度学习研究的方向。

3) 特征学习。深度学习的“深度模型”是手段,“特征学习”则是目的,有效的训练算法和连续的优化策略、网络结构参数设定和优化对于特征选择极其重要,算法自身和硬件系统的改进、与其他方法的融合、结合复杂推理表示学习系统、操作大量向量的新范式来代替基于规则的字符表达式操作等,都是特征学习能力提升的表现。

4) 应用拓展。深度学习的广泛应用将催生出多个领域的变革和跨越式发展,作为新一代信息科学的主流方法,在图像识别、语音识别、计算机视觉等方面取得进步的同时更应拓宽应用范围,对于智能设备、无人驾驶汽车、机器人等领域具有非常广阔的应用前景,尤其对于医学图像的分析和计算机辅助诊断具有直接的现实意义。

深度学习已引起了各领域研究人员的广泛关注,深度信念网络、卷积神经网络在网络结构、学习算法和硬件系统3 方面的研究和堆栈自编码器随时间发展不断改进,医学图像的分割、识别和计算机辅助诊断3 方面在医学图像分析领域中的广泛应用,从大数据浪潮、深度模型构建、特征学习能力提升、应用拓展4 个方面对深度学习未来的发展。借助大数据的潮流,结合深度学习自身潜力,争取在医学领域取得更大的进步并早日实现人工智能的初衷。返回搜狐,查看更多

责任编辑:

声明:本文由入驻搜狐号的作者撰写,除搜狐官方账号外,观点仅代表作者本人,不代表搜狐立场。
阅读 ()
投诉
免费获取