来自 IT技术分享 2018-10-11 18:42 的文章

人工智能做图像恢复TASK

导读:原标题:人工智能做图像恢复TASK-GAN改进用于图像恢复的生成对抗网络 摘要:基于生成对抗网络(GAN)的深度学习(DL)算法已经证明了计算机视觉任务(如图像恢复)的巨大潜力。尽

原标题:人工智能做图像恢复TASK-GAN改进用于图像恢复的生成对抗网络

摘要:基于生成对抗网络(GAN)的深度学习(DL)算法已经证明了计算机视觉任务(如图像恢复)的巨大潜力。尽管使用DL和GAN的图像恢复算法快速发展,但是针对特定场景的图像恢复(例如医学图像增强和超分辨率身份识别)仍然面临挑战。如何确保视觉上真实的恢复,同时避免幻觉或模式崩溃?如何确保视觉上看似合理的结果不包含危害下游任务的幻觉特征,如病理识别和主题识别?在这里,我们建议通过将基于GAN的图像恢复框架与另一个特定于任务的网络耦合来解决这些挑战。以医学成像修复为例,所提出的模型进行额外的病理识别/分类任务,以确保保留对此任务重要的详细结构。通过对多个医学数据集的验证,我们证明了所提出的方法可以改善基于深度学习的图像恢复,同时保留详细的结构和诊断功能。此外,经过培训的任务网络显示出在识别病理和诊断方面实现超人类水平表现的潜力。对超分辨人脸识别任务的进一步验证也表明,所提出的方法可以推广用于各种图像恢复任务。

1简介

图像恢复是必不可少的计算机视觉任务和广泛应用的技术。最近,该领域的兴趣和重大进展日益增加,使得更真实的图像超分辨率Dong等人。 (2014); Ledig等。 (2016); Lim等人。 (2017); Bulat等人。 (2018);赵等人。 (2018); Yuan12等。 (2018年),画中谢等人。 (2012); Yeh等人。 (2017);杨等人。 (2017); Ulyanov等。 (2017)和去噪谢等人。 (2012);张等人。 (2017b;一个)。随着图像恢复技术的发展,各种应用可以应用于不同的垂直领域,以满足未满足的需求。

在所有图像恢复应用中,医学成像中的恢复是最具挑战性的任务之一。医学成像中的图像恢复是重要且有吸引力的,因为它能够在更理想的条件下成像,例如,用更快的方案成像Pruessmann等。 (1999),更便宜的设备和更低的辐射Naidich等。 (1990)等。然而,医学图像恢复需要比恢复自然图像更严格的评估。它不仅需要更清晰和视觉上真实的恢复,还需要准确的图像完成,而不会改变任何病理特征或影响任何诊断质量/属性。因此,医学图像恢复可以是相关图像恢复技术的基准任务。

在这十年中,图像恢复技术通过将各种先验信息结合到解决不适定的逆成像任务中而迅速发展。先前的信息来自使用稀疏表示假设Mairal等人。 (2008),执行低等级分析董等人。 (2013)最近使用基于深度学习的先验王等人。 (2015年)或模特张和佐(2017年)。但是,现有算法仍存在一些挑战和局限:

1)深度学习的像素损失不考虑非局部结构信息,导致模糊和视觉上看似合理的恢复Ledig等。 (2016)。

2)生成性对抗网络(GAN)Goodfellow等。 (2014)基于方法显着改善结果,以产生视觉上逼真的恢复Ledig等。 (2016)。然而,GAN确保学习分布的一致性,但不一定保证视觉上合理的解决方案与相应的基本事实完全匹配。

3)在改进GAN框架中设计的损失函数最小化的同时,仍可能发生幻觉或模式崩溃Goodfellow(2016),Arjovsky等。 (2017年)。

4)鉴别器网络对一般图像分布和视觉质量进行了规范,但它没有考虑模型需要保留用于恢复图像的关键特征,例如病理,对比和图像识别。

这些挑战对于垂直应用至关重要,例如医学成像和监视,其中不仅视觉特性而且恢复细节的保真度对于病理学或识别面部的关键目的而言都很重要。

为了解决现实和准确的图像恢复的问题和挑战,我们提出了任务-GAN,它扩展了基于GAN的图像恢复框架,包括3个网络:发生器,鉴别器和任务专用网络。新的任务专用网络预测来自地面实况图像和恢复图像的病理识别或面部识别。它有助于规范发电机的训练并补充GAN的对抗性损失,以确保输出图像更好地接近地面真实图像。 Task-GAN既实现了逼真的视觉质量,又保留了重要的任务特定的特征/属性,这些特征/特性与医学成像恢复和超分辨率面部恢复的最终目标相关。

这项工作的贡献是:

我们提出了一个任务生成对抗网络框架(Task-GAN),以确保视觉上可信和更准确(医疗/面部)图像恢复。

引入任务网络和任务驱动的损失以确保保存对下游任务重要的视觉细节,更重要的是,它使图像恢复在数量和质量上更加准确。

该方法在两种不同形式的体内临床医学成像数据集上得到验证,包括磁共振成像(MRI)和正电子发射断层扫描(PET)。另外,在超分辨率面部恢复数据集上进一步评估所提出方法的推广。

进行定量和定性评估,包括人类专家(放射科医师)的严格评估,以确保图像恢复质量和重要视觉特征的保存。

结果表明了该方法在图像恢复中的优越性,并展示了将训练好的任务网络应用于超人类自动分类/诊断的潜力。进一步讨论了该方法背后的理论。关于所提出的方法如何改进GAN以近似一对一映射的更多理由。所提出的任务-GAN如何改进图像恢复的方式可以导致用于其他应用的更好的模型设计。

2相关工作

2.1图像恢复

图像恢复,如图像超分辨率Ledig等。 (2016),去噪谢等人。 (2012)和绘画Pathak等。 (2016)等,已经迅速发展并广泛应用于各种应用中。对于医学成像应用,恢复任务通常是图像去混叠任务Mardani等人。 (2017)减少伪影或去噪任务Manjo'n等。 (2008)减轻由于低辐射能量或低光子计数导致的降低的SNR。通常,使用块匹配Mahmoudi&Sapiro(2005)和/或稀疏编码Dabov等进行去噪任务。 (2009)假设自然图像通常可使用低秩和稀疏信号模型表示,通过在基于块的方法中求解时强制执行关系,可以实现改善的SNR。

最近,深度学习通过局部或全局学习非线性映射进一步提高了图像恢复能力,并恢复了高质量图像信息Burger等。 (2012年)。深度神经网络(DNN)模型(如MLP)以及卷积神经网络(CNN)模型(如SRCNNDong等人(2014),DCNN Xu等人(2014))显示出学习稀疏性的优势在拒绝,去模糊和超分辨率应用程序中,它比基于优化的工具更有效。预先训练的网络和感知损失约翰逊等人。 (2016)也被用于改进成本函数设计,考虑基于感知的相似性。

对于医学图像恢复,最近还提出了基于深度学习的可变方法。例如,在MRI重建中,恢复来自混叠输入的图像,深度学习模型和基于GAN的模型Mardani等。 (2017)用于确保重建质量。深度学习方法的表现优于传统的稀疏正则化优化(Compressed Sensing Lustig et al。(2007)等)基于方法,可以生成更准确,更清晰的重建。类似的方法也显示了低剂量计算机断层扫描(CT)Kang等人从低信噪比恢复图像的潜力。 (2017)或低剂量正电子发射断层扫描(PET)Xiang等。 (2017)以减少的辐射剂量获得的图像。使用多尺度CNN的深度学习方法显示出显着改善以实现低剂量PET(与标准剂量相比,通常在约25%的辐射剂量下)。

2.2创新的不良网络

生成性对抗网络(GAN)Goodfellow等。 (2014)在图像生成,图像翻译和图像恢复等许多任务中取得了显着的进步。 GAN还通过生成更清晰,更逼真的修复,为图像修复任务扮演改变游戏规则的角色.Ledig等。 (2016)Isola等。 (2016)。

使用GAN进行图像恢复的主要思想是使用对抗性损失函数来规范训练。这会强制生成的图像遵循学习的分布,以便它们与地面真实图像不可分割。通过一起训练发电机网络tt和鉴别器网络D,tt学习非线性映射以恢复图像质量,而由tt挑战的D试图区分输入是来自地面实况图像还是恢复图像。对抗训练方法在某种程度上确保了逼真的图像质量和更清晰的细节。

在图像恢复中应用GAN的一个挑战是减少幻觉和模式崩溃Goodfellow(2016)。在更好的调节,成本函数方面的各种改进Arjovsky等。 (2017)和模型结构已被提出,以更准确地近似一对一映射,并进一步提高对抗训练的稳健性。

本文提出了利用多个网络改进GAN。通常,训练多个网络以区分不同的信息,而不是使用单个鉴别器网络来学习单个信息。相关但不同的想法已被用于学习多个网络以改进GAN。

例如,在生成多对抗网络模型Durugkar等人。 (2016),引入了多个网络来将角色从强大的对手转变为宽容的教师,并提高模式崩溃的稳健性。耦合生成对抗网络模型Liu和Tuzel(2016)在多个域中生成输出并学习多个鉴别器以在几个联合分布学习任务中获得更好的结果。 Multi-Agent Diverse Generative Adversarial Net- works Ghosh et al。 (2017)强制鉴别器识别多个发电机,以改善高质量和多样化的发电。

与提出的方法相关的另一个想法是在对抗训练中加入额外的信息。适用于InfoGAN Chen等。 (2016)已经显示合并信息可以学习可解释的表示和更好的生成。相关的想法是也适用于训练使用特权信息(TUPI)Vapnik和Vashist(2009)等方法,该方法显示了对SVM和网络培训的重大改进。 由添加的分类器提供的附加标签信息也被证明在图像合成中有用Bazrafkan和Corcoran(2018)以及半监督生成Li等。 (2017).

3PROPOSED METHOD:TASK-GAN

3.1设计

在这里,我们提出了Task-GAN,它扩展了基于GAN的图像恢复框架Isola等。 (2016)。任务的目标是预测来自损坏的测量X的图像X的图像恢复。另外,我们在学习中加入了进一步的信息Y,这是一个或一组X属性,对于保留图像恢复任务很重要。例如,该属性可以是用于医学成像中的面部图像恢复或病理学的特征或识别信息,其在本工作中用作示例。

通常,在培训中优化了三种不同的网络。首先,生成器网络tt,学习从输入X到恢复图像的非线性映射X,执行主要的图像恢复任务。该任务受到像素方式L1成本函数的监督,其在图像恢复任务中的表现优于传统的L2成本函数Isola等。 (2016)。

其次,与GAN的其他对抗训练类似,使用鉴别器网络D以对抗方式区分,以确保X与X的分布一致。分类任务由D进行以学习D(X)= 1和D(X)= D(tt(X))= 0。

最后,在多个图像恢复设置中概括了任务网络T.任务网络试图预测X的属性集,使得它有利于T(X)= Y和T(X)= Y.对于二元情况,如本工作中的病理学识别示例,Y(0,1)表示图像中是否存在病理。其他变体可以包括用于多标签恢复的分类器或细分网络。

5DISCUSSION

体内医学成像数据集的结果证明了所提出的算法在改善图像恢复方面的优越性能。建议的任务-GAN通过将广告训练与特定任务网络的训练相结合来实现这一目标。任务-GAN的详细贡献在图4中解AAAAAAAAA>相比之下,图像恢复的任务是学习从测量域中的低质量图像到包含视觉逼真图像的不同高质量域中的对应高质量图像的非线性映射。如图4(a)所示,此外,图像的识别是沿着不同尺寸的特征/标签的空间分离,可以与质量尺寸正交。

相比之下,如图4(b)所示,传统的学习策略通过回归学习图像恢复任务,这可能无法产生真实的恢复。学习通常基于平均距离惩罚的最小化,这确保了稳健性但导致不现实的恢复,例如模糊。另外,平均解决方案也可能远离图像中所示的从高质量图像空间中掉出的视觉上似乎合理的解决方案的分布。

基于GAN的方法一方面通过使用Discriminator网络进一步强制执行对抗性损失来克服这一点,该网络确保在目标高质量图像的分发之后生成真实的恢复。如图4(c)所示,解决方案不再是简单的平均值,而是被推入视觉逼真的高质量图像空间。然而,另一方面,鉴别器仅使输出样本正规化以遵循分布但忽略样本间关系。例如,它无法避免幻觉或模式崩溃,其中恢复的图像可能过度相似或不合需要地添加/移除重要的视觉特征。如图所示,恢复的图像可以具有不同的标签作为地面实况,这不符合图像恢复的目的。我们可以将幻觉或模式崩溃视为解决方案空间的“缩小”。

为了避免可能的模式崩溃并确保1对1映射,已经提出了各种改进的GAN模型和成本函数。例如,Cycle-GAN Zhu等。 (2017)结合循环关系以改进映射。但是,循环关系不一定会导致精确映射。可以交换样本间关系以及重要特征标签,同时仍然满足循环关系。说明图像可以在附录中找到。例如,在图中,一个任务标签被改变而循环损失不受影响。这可能导致模式崩溃,或者特别是失败的图像恢复,导致医学成像应用的错误分类的病理学/正常性。对于医学成像应用而言,恢复错误的后果可能是巨大的,因为它们可能直接导致误诊或过度诊断。我们可以将错误标记或模式崩溃视为解决方案空间的“扭曲”。这种“扭曲”在视觉上合理的空间内保持良好,但是严重地改变了任务标签空间的决策边界周围的定位。有关推理和可视化的更多细节将放在附录中。

不同的是,task-GAN在这里规范了样本间关系和样本标签关系。如图4(d)所示,可以使用混合损失正则化生成准确的映射:

1)像素级监督,使恢复的图像更接近地面真相,

2)对抗性损失正则化,使得恢复的图像位于由视觉逼真图像组成的高质量空间内

3)确保恢复的图像的任务特定的损失仍然保留了兴趣的重要特征,即相同的标签。换句话说,组合正则化强制解决方案落在流形保持像素级相似性,分布一致性和重要视觉标签的交叉点上。在样本间关系的视角下,任务正则化将样本间关系停止在任务标签空间边界周围的任何视觉上合理但破坏性的“收缩”或“扭曲”,这确保了更准确的映射。

原文标题:TASK-GAN: IMPROVING GENERATIVE ADVERSARIAL NETWORK FOR IMAGE RESTORATION返回搜狐,查看更多

责任编辑:

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。 阅读 ()

本文源自: AG88平台