最近，麻省理工学院(MIT)电子工程和计算机科学(ECCS)实验室的多位博士撰写的医学成像AI论文被列入CVPR 2019。
为了解决医学图像标注数据缺乏的问题，团队提出了一种通过学习图像变换进行数据增强的半监督分割方法。以下是论文的详细内容，由艾掘金学术组整理。
医学图像分割是许多医学应用中的重要任务。虽然基于卷积神经网络的分割方法达到了最先进的精度，但它通常依赖于使用大型标记数据集的监督训练。医学图像标注需要大量的专业知识和时间，大规模不可行。为了解决标记数据缺乏的问题，研究者通常采用人工预处理、人工结构调整和数据增强等技术。然而，这些技术涉及复杂的工程工作，并且通常针对特定的数据集。因此，MIT团队提出了一种医学图像的自动数据增强方法。
在一次性磁共振成像(MRI)脑分割的实际挑战中，MIT团队提出的半监督方法只需要单一的人工标记数据和其他未标记数据。首先从图像中学习变换模型，然后通过模型和标注样本合成额外的标注样本进行训练。每个变换由空间变形场和强度变化组成，可以合成复杂的效果，如解剖结构和图像采集程序的变化。这些新的例子增强了监督分割模型的训练，与一次性生物医学图像分割的最先进方法相比，监督分割模型得到了显著改善。
医学图像数据集的挑战
语义图像分割对于许多生物医学成像应用非常重要，例如人口分析、疾病诊断和治疗计划。当有足够的标记数据时，基于深度学习的监督分割方法可以产生最准确的结果。然而，在医学图像数据集中存在巨大的挑战。
1.人脑的解剖结构有很多变化。
2.人工分割标签需要大量的专业知识和时间，并且大多数临床图像数据集人工标注的图像非常少。
3.不同机构、不同机器的图像采集差异，导致数据分辨率、图像噪声、组织外观差异很大。
图1:生物医学图像通常在解剖结构、对比度和纹理方面差异很大(顶行)。与其他一次性分割方法(底行)相比，我们的方法可以更准确地分割解剖结构。
为了克服这些挑战，许多有监督的生物医学分割方法侧重于预处理步骤和架构的手动设计。也常见的是使用手动调整的数据增强来增加训练样本的数量，比如随机的图像旋转或者随机的非线性变形，在一些例子中已经被证明可以有效地提高分割精度。然而，这些函数模拟多样化和现实的例子的能力有限，并且可能对参数的选择高度敏感。
因此，MIT团队建议通过学习合成多样化和真实的注释样本来解决有限注释数据的挑战。整个过程如图2所示。为了执行数据增强，我们将变换(k)应用于标记的图谱x。首先，我们学习单独的空间和外观变换模型，以捕捉标记的图谱和每个未标记的体积之间的解剖和外观差异的分布。利用这两个学习模型，我们对图谱集进行了空间变换和外观变换，并利用空间变换对图谱标注图进行扭曲，合成标注体。
与受空间变换模型中的不确定性或误差影响的单图谱分割相比，我们使用相同的空间变换来合成体积和标记图，确保新合成的体积被正确标记。这些合成的样本形成标记的数据集，其代表未标记的数据集中的解剖和外观变化。与atalas一起，这个新的训练集可以训练有监督的分割网络。
图2:建议方法的概述。我们学习独立的空间和外观变换模型来捕捉图像数据集中的变化。然后，我们使用这些模型来合成已标记示例的数据集。该合成数据集用于训练监督分割网络。
相关工作
医学图像分割
由于特定对象的噪声、扫描仪协议和质量以及其他成像参数，MR图像的强度会发生变化，因此许多现有的分割方法依赖于数据预处理来缓解这些与强度相关的挑战。预处理方法的运行成本很高，开发真实数据集的技术是目前的研究热点。我们的增强方法从另一个角度处理了这些与强度相关的挑战：它不是消除强度变化，而是使分割方法对MRI扫描的自然变化具有鲁棒性。
大量经典分割方法使用基于图谱或图谱引导的分割，其中使用变形模型将标记的参考体积或图谱与目标体积对准，并且使用相同的变形来传播标记。当多个图谱可用时，它们中的每一个都与目标体积对齐，并与扭曲的图谱标签融合。在基于图谱的方法中，通过变形模型捕获对象之间的解剖变化，并且使用预处理或强度鲁棒算法(例如归一化互相关)来减轻强度变化的挑战。然而，组织外观的模糊性(例如，模糊的组织边界、图像噪声)仍然可能导致不准确的配准和分割。我们的目标是通过在不同的真实例子上训练分割模型来解决这种限制，并使分割模型对这种模糊性更加鲁棒。我们专注于单个地图，并证明我们的方法优于基于地图的分割。如果有多个分割样本可用，我们的方法可以利用它们。
为了减少对大规模标签训练数据集的需求，许多方法通常结合手工设计的预处理和架构增强数据。半监督和无监督的方法也被提出，以满足小训练数据集的挑战。这些方法不需要成对的图像和分割的数据。相反，他们使用分割的数据集来构建解剖先验，训练对抗网络，或训练新的语义约束。实际上，图像采集比分段数据更容易获得。我们的方法不依赖于分段标注，而是使用一组未标记的图像。
空间和外观变换模型
并且形状和外观模型已经被用于各种图像分析。在医学图像配准中，空间形变模型用于建立图像间的语义对应。这个成熟的领域涵盖了基于优化的方法和基于最近学习的方法。
我们使用体素变形(一种最近的无监督学习方法)来学习空间变换。许多配准方法侧重于亮度归一化图像或独立于亮度的目标函数，但没有明确解释图像亮度的变化。
对于非标准化图像，空间和外观变换模型一起使用来记录纹理或外观以及不同形状的对象。许多工作都建立在可变形模型或主动外观模型(AAMs)的框架上，其中建立了形状和纹理的统计模型。在医学领域，AAM已经被用于定位解剖标志和执行分割。我们通过使用卷积神经网络来学习无约束空间和强度变换场的模型来构建这些概念。我们不是以注册或分割为最终目标来学习变换模型，而是从这些模型中抽取样本来合成新的训练样本。正如我们在实验中所展示的，以这种方式添加用于分割的训练集可以产生比直接使用转换模型更健壮的分割。
我们的目标是捕获图谱和未标记体积之间的变换分布，每个变换模型都由一个卷积神经网络学习(如图3所示)。借鉴变形模型和AAM，独立优化空间和外观模型。
对于我们的空间模型，我们使用体素变形，这是一种最近基于无监督学习的方法，具有开源实现。体素Morph学习输出一个平滑的位移矢量场，通过联合优化图像相似性损失和位移场的平滑项来记录一幅图像到另一幅图像。我们使用具有归一化互相关的体素变形变量作为图像相似性损失，从而可以用非标准化的输入体积来估计参数函数。我们使用类似的方法来学习外观模型。
在我们的实验中，我们发现在主题空间的框架中计算图像相似性损失是有帮助的。
图3:我们使用基于U-Net架构的卷积神经网络来学习每个变换模型。转换应用于空间模型的空间扭曲，并向外观模型添加体素。每个卷积使用333个内核，后面是泄漏Re LU激活层。编码器使用最大池层来降低空间分辨率，而解码器使用上采样层。
数据增强
在基于图像的监督学习任务中，旋转和缩放等简单的参数变换通常用于执行数据增强。在医学成像领域，通常使用随机平滑流场来模拟解剖变化。这些参数转换可以减少过度拟合并提高测试性能。然而，这些变换带来的性能增益随着变换函数和参数集的选择而变化。
最近的工作从数据学习中提出了数据扩展和转换的思想。Hauberg等人专注于数据增长，并用于分类MNIST数。他们学习特定于数字的空间变换，并对训练图像和变换进行采样，以创建旨在提高分类性能的新示例。除了空间模型，我们还学习了外观模型，我们重点研究了MRI分割的问题。
Ratner等人提出了一种半自动的方法来学习数据增强的空间和颜色转换。它们依靠用户输入来创建简单参数变换函数的组合(例如，旋转和对比度增强)。他们通过使用生成对抗网络来学习生成转换函数的新组合。相比之下，我们的方法完全自动化。
我们使用A. G. Roy等人提出的最先进的网络架构来证明这一点。为了考虑GPU的内存限制，网络的设计是一次分一片。我们使用随机切片训练网络来增强训练集，并使用早期停止来选择验证集上的训练迭代次数。我们强调精确的分割网络结构不是这项工作的重点，因为我们的方法可以与任何监督分割网络相结合。
实验结果
在实验数据上，本文使用了来自8个公共数据库的T1加权MRI脑扫描数据，选取101幅图像作为训练集，50幅作为验证集，100幅作为测试集。每个图像有30种标签。在对比实验中，作者将本文的方法与单图谱分割(SAS)、单图谱分割数据增强(SAS-aug)(使用已训练单个图像的模型的训练集生成的数据进行训练)、手动调整数据增强(rand-aug)和全监督分割的方法进行了比较。同时，作者在文章的基础上提出了三种数据增强方法，即ours-indep、ours-coupled和ours-indep rand-aug。
在评价分割结果时，本文采用了医学分割中常用的Dice score (Dice)来计算100个测试样本的30种标签在测试集上的平均值。表1显示了每种方法的平均骰子数以及与SAS相比的改进。可以看出，所提出的方法的结果明显优于先前的方法，并且Ours-indep rand-aug方法与SAS相比提高了5.6个百分点。图4是每种方法的骰子推广的方框图。我们可以清楚地看到，本文的方法比rand-aug分割结果具有更好的一致性。图5示出了与SAS相比，100个测试集的图像分割结果的改进。可以看出，ours-indep rand-aug总是在每张图像上保持最好的结果。图6示出了具有较小rand-aug缩减面积的结构的分割结果。图7示出了海马的分割结果。
表1:根据Dice分数来评估分割性能，并且在100个脑MRI测试集上对其进行评估。我们报告了所有30个解剖标签和所有100名受试者的平均Dice分数(以及括号中的标准偏差)。我们还报告了每种方法在SAS基线上的平均成对改善。
图4:在所有测试实例中，与SAS基线相比，平均Dice分数(在所有30个解剖标记上计算的平均值)的成对改善。
图5:与每个测试样品的SAS基线相比，平均Dice分数(在所有30个解剖标记上计算的平均值)的成对改善。根据我们方法的Dice改进(ours-indep rand-aug)对样本进行分类。
图6:各种方法在各种脑结构中的分割精度。图谱中每个标签所占的大脑百分比显示在括号中。标签按图中各结构体积排序，由左到右结构(如海马体)组成的标签合并。我们缩写了标签：白质(WM)、皮质(CX)、脑室(出口)和脑脊液(CSF)。
图7:两个测试对象(行)的海马体分割的预测。我们的方法(列2)比基线(列3和列4)更准确。
作者试图分析该方法有效的原因。ours-coupled和SAS-aug都产生了100个新的训练集，而前者优于SAS-aug。一方面，我们的耦合方法以与标签相同的方式扭曲图像，确保扭曲的标签与变换的图像相匹配。另一方面，SAS-aug将不完美的失真标签与不正确的图像纹理配对。如图9所示，通过这种方法合成的海马图像的纹理与真实海马图像的纹理更加一致。
总结
综上所述，本文提出了一种基于学习的数据增强方法，并在一次性医学分割上进行测试。本文采用一种基于学习的方法来模拟有标签和无标签样本之间的空间和外观转换，并用于合成新的数据和标签。对测试集中每个例子的效果都超过了现有的单一分割方法，接近于全监督模型的性能。该框架适用于许多场景，例如在临床中，由于时间限制，只能手动注释少数扫描。这项工作表明，从未标记图像中学习独立的空间和外观变换模型可以合成各种逼真的标记示例。这些合成示例可用于训练分割模型，其优于现有的一次性分割方法。
