MRI超分辨率-初见

发表于 | 更新于: | 分类于 |
字数统计: 11k | 阅读时长 ≈ 40 mins.

MRI超分辨率-初见

参考文献：单幅3D磁共振图像超分辨率算法研究

一.研究背景

1.MRI图像存在的问题

  • MRI图像的质量受到信噪比（SNR，Signal to Noise Ratio）、分辨率和扫描时间等多方面因素影响

  • 层厚的概念

    • 层厚的定义：表示成像层面在三维空间中的厚度。在MRI扫描中，由于技术的限制，无法直接获取无限薄的层面，因此层面的选取在实际操作中都是有一定厚度的。

  • 层厚对图片质量的影响

    • 分辨率：层厚直接影响到MRI图像的分辨率。层厚越小，图像的分辨率越高，能够显示更细微的解剖结构。但过小的层厚会导致扫描时间增加，且可能因信号强度不足而影响图像质量。
    • 信噪比：层厚还影响图像的信噪比。层厚较小时，每个体素内质子数量减少，产生的信号强度降低，可能导致信噪比下降。而适当增加层厚，可以提高信号强度，改善图像质量。
    • 扫描时间：层厚越大，扫描时间越短

2.优化MRI图像的方法—-超分辨率

  • 定义：超分辨率（SR，Super-resolution）算法是一种从软件层面提高 MRI 图像分辨率的有效方案。从软件方面提升 MRI 图像分辨率的方式具有良好的可移植性与扩展性。
  • MRI 图像超分辨率问题是典型的病态逆问题，其主要目的是从一幅或多幅低分辨率MRI图像中重建出对应的高分辨率 MRI 图像

3.超分辨率的不同研究类别

  • 静态对象与动态对象

  • 单幅低分辨率图像和多幅低分辨率图像

    • 多幅的方法需要将多幅低分辨率的 MRI 图像进行配准与重采样

    • 配准概念

      • 配准（Image Registration）也被称为图像匹配或图像相关，是图像处理中的一个关键步骤。它旨在将两幅或多幅图像中的相应部分进行空间上的对齐，使它们在同一坐标系下具有相同的空间位置。这个过程要求相邻图像之间有一部分在逻辑上是相同的，即相邻的图像有一部分反映了同一目标区域，这是实现图像配准的基本条件。

        配准通常包括两个主要步骤：空间变换和灰度变换。

        • 空间变换：将图像像素的坐标从一个坐标系映射到另一个新的坐标系中，通常使用多项式函数或其他变换模型来描述这种映射关系。对于具有全局性形变的图像配准问题，非线性变换（如将直线映射为曲线）是一个常用的选择。
        • 灰度变换：在空间变换完成后，对变换后的图像值进行重新赋值，以确保图像在视觉上保持一致性和连续性。这一步骤与重采样紧密相关。

    • 重采样概念

      • 重采样（Resampling）是指根据一类象元（像素）的信息内插出另一类象元信息的过程。在遥感、图像处理及GIS等领域中，重采样常用于从高分辨率图像中提取低分辨率图像，或者对图像进行几何校正、尺寸调整等操作。

        重采样的方法多种多样，常见的包括最邻近法、双线性内插法和三次卷积内插法等。

        • 最邻近法：将距离某像元位置最近的像元值作为该像元的新值。这种方法简单高效，但可能会产生半个像元大小的位移，计算不够精确。
        • 双线性内插法：通过取采样点到周围4个邻域像元的距离加权来计算其新值。这种方法通常比最邻近法产生的结果更加光滑，但可能会改变原始栅格值，丢失一些局部细微的特征。
        • 三次卷积内插法：通过增加参与内插计算的邻近像元的数目来提高重采样的精度。这种方法能够增强图像的细节表现，但计算量较大，且同样会改变原始栅格值。

  • 频域与空间域：空间域中处理更优

  • 各向同性与各向异性

    • 各向同性 3D MRI 图像超分辨率方法主要目标是提高 3D MRI 图像所有层面的分辨率，使其整体的分辨率更高。
    • 各向异性：由于成像技术的限制，图像在不同方向上的分辨率往往是不均等的。这种在不同方向上分辨率存在差异的现象被称为“各向异性”。
      • 对于3D MRI图像来说，这种各向异性主要体现在层面选择方向（通常指的是沿着成像序列中切片堆叠的方向，即深度或厚度方向）与层面内方向（即每个切片内部的二维空间，包括宽度和高度方向）的分辨率差异上
      • 在3D MRI图像中，沿着层面选择方向（深度或厚度）的像素（或体素）尺寸通常比层面内方向的像素尺寸要大，因此在这个方向上的图像细节相对较少，分辨率较低。
      • 相比之下，层面内的切片包含了更多的细节信息，即高频信息（图像中变化较快的部分，如边缘、纹理等），这些信息的分辨率较高。
      • 对于各向异性的3D MRI图像，超分辨率方法的主要目标是提高层面选择方向的分辨率，以减小或消除与层面内方向分辨率之间的差异。
      • 通过这种方法，可以使得3D MRI图像在所有方向上的分辨率更加均匀，从而提高图像的整体质量和可用性。

    4.超分辨率的研究算法分类

    • 基于插值的超分辨率算法
      • 方法：预定义一个变换函数，并利用已知的 MRI 图像像素或体素信息来对未知的像素或体素信息进行拟合。
      • 该类算法虽然简单高效，但也存在着一定的缺陷，如插值后的图像具有比较明显的块效应、振铃效应与锯齿效应。
    • 基于重构的超分辨算法
      • 方法：从图像的降质退化模型出发，对高分辨率 MRI 图像退化到低分辨率 MRI 图像的过程进行建模（运动变换、模糊及噪声等），而后求解成像系统的逆过程。这种算法会提取低分辨率图像中的关键信息，并通过先验知识来约束高分辨率图像的的重建过程。
      • 该类算法在重建系数较小时能达到令人满意的结果，但当重建系数较大时，很难获得合适的人工定义的先验知识与正则参数，因此难以保证超分辨率图像的质量。
    • 基于学习的超分辨率算法（✪）
      • 从大量的训练数据中学习高分辨率图像和低分辨率图像之间某种映射关系，并根据学习到的映射关系提高目标低分辨率图像的分辨率
      • 分类
        • 基于浅层学习的超分辨率算法
          • 将整个超分辨率过程分为样本库的建立（特征提取）、特征映射（学习与搜索）、高频信息重建三个阶段，且每个阶段独立优化
        • 基于深度学习的超分辨率算法（✪）
          • 直线结构
            • 指整个图像超分辨率网络结构是一个不包含任何跳接或分支的线性结构，即模型是由多个卷积层依次堆叠组成。该类结构具有简单、效率高等特点
            • 使用线性结构的算法具有结构简单、重建速度快等优点，但同时存在收敛速度慢，训练过程中容易产生梯度消失与爆炸的问题
          • 跳接结构
            • 是指在线性结构的基础上加入卷积层之间的跨层跳接。跳接结构通过信息跨层传递的方式来缓解梯度消失与爆炸问题，同时为设计更深的网络结构提供可能。
            • 残差跳接是将不同卷积层的特征进行对应通道的相加，即融合后的特征图保持通道数量不变，但特征图内容发生了变化。
            • 通道连接跳接则是将不同卷积层的特征以通道方向进行拼接，融合后的特征图不变，但通道数量增加。
          • 递归结构
            • 将卷积层的输出继续作为该层卷积的输入，由于多次卷积操作的参数是一样的，该种递归卷积的方式可以有效地减少网络的参数数量。
          • 生成对抗结构
            • 采用的是一种博弈论的思想，该类模型由生成器与鉴别器两部分组成。生成器生成高分辨率图像，鉴别器区分真实的高分辨率图像与生成器生成的高分辨率图像。
          • 注意力结构
            • 注意力结构则是利用人类视觉中的注意力机制，对网络所提取的特征进行重新校准
            • 注意力结构可以有效的调整特征通道或特征本身不同区域的权重，专注于模型中对最终结果贡献大的特征或特征区域
        • 图示
          • pAk4BcT.png

二.基础知识（基于CNN的算法）

1.数据预处理

  • pAk4DjU.png

  • 数据归一化

    • 需将 MRI 图像的体素值归一化到相同的取值范围（如[0，1]），使优化时大部分位置的梯度方向近似于最优搜索方向，从而提高训练效率。否则会导致模型收敛慢。

  • 模拟退化

    • 首先将高分辨率 MRI 图像经过傅里叶变换至 k 空间。
      • k 空间中央部分包含的数据具有高信号振幅和低分辨率，决定 MRI 图像的对比度
      • 边缘的部分具有低信号振幅和高分辨率，决定 MRI 图像的解剖细节。
    • k 空间的模拟退化中，本文仅保留中央部分的信息。根据超分辨率重建系数对 k 空间数据的边缘部分进行截断处理，并用零填充的方式对截断的部分进行填充。随后对填充过的 k 空间数据进行傅里叶逆变换，将其转化至图像空间。
    • 最后，对 MRI 图像进行空间下采样至目标大小，生成最终的低分辨率 MRI 图像
    • 傅里叶变换：将图像从空间域（spatial domain）转换到频率域（frequency domain）。这种转换使我们能够分析图像的频率成分，即图像中不同模式的强度或频率。
    • pAk4f9x.png

  • 块切分

    • 在构建训练集时将整幅 3D MRI 图像切割成固定大小的 3D MRI 图像块。本文采用固定步长的滑动窗口方式来对图像进行切割，保证相邻图像块既有相似重叠区域又有不同区域，从而提升训练数据的 数量与训练数据的丰富度。

2.模型框架

  • pAk4h36.png

  • 预采样模型框架

    • 该类框架需将低分辨率图像在输入网络前用传统的插值方法（线性插值法或双三次插值法）上采样到目标高分辨率图像的大小，而后再用 CNN 模型重建出高质量的纹理细节， 进一步提高图像的质量。

  • 后上采样模型框架

    • 该类模型框架以原始的低分辨率图像作为输入，将上采样任务放在模型的尾端。该类模型直接从原始低分辨率图像中提取特征并学习数据的原始分布，用可学习的上采样方式（如：反卷积与亚像素卷积）对图像进行上采样与重建。

  • 渐进式上采样模型框架

    • 该框架将大尺度超分辨率重建问题分解为多个小尺度的超分辨率重建问题。该框架利用级联的方式进行对图像进行逐步的上采样，并在此过程中融入多监督机制来缓解学习难度大的问题。
  • 迭代上下采样模型框架
    • 该类模型框架通过反复的将低分辨率空间图像上采样至高分辨率空间，再将高分辨率空间图像下采样至低分辨率空间，在此过程中利用投影误差来反复纠正超分辨率结果，达到提升超分辨性能的目的。

三.评价标准

  • 峰值信噪比（PSNR）

  • 结构相似度指数（SSIM）

    • pAk45jO.png

  • 主观评价

四.超分辨率的相关总结

1.超分辨率算法分类

① 基于插值的算法

② 基于重建的算法

③ 基于学习的算法 （常用）

  • 基于深度学习的算法：基于深度学习的ＳＲ重建算法通常是构建一个端对端的网络模型，将ＬＲ图像输入到该特定网络模型中，通过特征映射和尺度放大等方式优化网络的损失函数，进而得到ＨＲ图 像

2.尺度放大方式

① 上采样方法

基于插值的上采样
基于反卷积的上采样 （常用）
基于亚像素卷积的上采样

② 上采样实施方式

预先上采样
单次上采样
渐进上采样
迭代上采样 （常用）

3.模型结构组成

① 基于CNN的模型（一般不使用池化层）

直线连接模型
  • 最大问题就是随着网络深度的加深，参数逐渐增加，网络训练的难度越来越大，导致网络难以收敛，
残差连接模型
  • 由于原始ＬＲ图像和输出的ＨＲ图像在很大程度上是相似的， 也就是说ＬＲ图像携带的低频信息与ＨＲ图像的低频信息基本一致。残差连接的应用使得原始的稠密矩阵学习转化为稀疏矩阵学习，因而使得计算量大幅度降低
密集连接模型
  • 在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来，使网络中每一层输入为之前卷积层输出的总和，极大地增强了信息流动的能力，有效抑制了梯度爆炸和消失的问题。
注意力模型
  • 通过学习不同通道的重要性得到一个权重值，这相当于对信道间特征的相互关系进行建模， 自适应调整每个信道特征，从而在有效强化有用特 征通道的同时抑制无用特征通道，使计算资源得到更充分的利用。

② 基于CNN-RNN的模型

  • 递归神经网络就是充分利用参数共享机制，使其在不增加参数的情况下加深网络的深度，降低网络的复杂度，加快训练速度

③ 基于GAN的模型

  • pAk7O6x.png

4.损失函数分类

①基于像素的损失函数

  • 均方误差（MSE）
  • 平均绝对值误差（MAE）
  • 本质上都是反映对应像素之间的误差关系，忽略了像素与邻域像素间存在的内在联系，因 而重建图像质量存在边缘模糊和振铃现象。

②基于感知的损失函数

  • 内容损失函数
  • 对抗损失函数
  • 上下文损失函数
-------------本文结束-------------