图像信息的配准和融合

第八章 医学图像的配准和融合
一 概述
根据医学图像所提供的信息可将图像分为两类：解剖结构图像和功能图像。这两类图像各有优缺点：解剖图像以较高的分辨率提供脏器的解剖形态信息，但无法反映脏器的功能情况；功能图像的分辨率较差，但它提供的脏器功能代谢信息是解剖图像不能替代的。

二 医学图像配准与融合的关系
图像配准是图像融合的先决条件，必须是先进行配准变换，才能实现准确的融合。

三 医学图像配准和融合在临床中的应用
对使用各种不同或相同的成像手段获得的医学图像进行配准和融合不仅可以采用医疗诊断，还可以用于外科手术的制定、放射治疗计划的制定、病理变化的跟踪和治疗效果的评价等各个方面。

第二季 医学图像的配准技术
一 医学图像配准的概念
対几幅不同的图像做定量分析，首先要解决的这几幅图像的严格对其问题，这就是我们所说的图像配准。
医学图像配准是指对于一幅医学图像寻求一种（或一系列）空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置（位置一致、角度一致、大小一致）。配准的结果应使两幅图像上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点达到匹配。

二 医学图像配准方法的分类
目前对医学图像配准进行的分类，归纳为7类：
（1）按图像维数分类。按图像维数分类为2D/2D 2D/3D 3D/3D，2D/2D配准是指两个断层面间的配准。2D/3D 配准通常指空间图像和投影图像间的直接配准。3D/3D是指两幅三维空间图像的配准。
（2）根据医学图像的模态分类。根据医学图像的模态分为单模态医学图像配准和多模态医学图像配准。单模态图像配准是指待配准的两幅图像是用一种成像设备获取的，多模态是指待配准的两幅图像来源于不同的成像设备。
（3）根据变换性质分类。
（4）根据用户交互性的多少分类。
（5）根据配准所基于的图像特征分类。
（6）根据配准过程中变换参数确定的方式分类。
（7）根据主体分类。
三 医学图像配准的基本过程
（1）根据待配准图像（浮动图像）I2与参考图像I1（基准图像），提取出图像的特征信息组成特征空间。
（2）根据提取出的特征空间确定出一种空间变换（T），使带配准图像I2经过该变换后与参考图像I1能够达到所定义的相似性测度，即I1 = T（I2）。
（3）在确定变换过程中，还需采取一定的搜素策略也就是优化措施以使相似性测度更快更好的达到最优值。

第三节 医学图像配准的理论基础
一 图像配准原理
对于在不同时间和不同条件下获取的两幅图像A(X)和B(X)的配准，就是要定义一个相似性测度并寻找一个空间变换关系，使得经过该空间变换后两幅图像间的相似性达到最大（或者差异最小）。即使图像A上的每一个点在图像B上都有唯一的点一直对应，并且这两点应对应同一解剖位置。
二 空间变换
如整幅图像应用相同的空间变换，则称为全局变换；否则，称为局部变换。根据图像变换的形式不同有线性变换和非线性变换。线性变换包括刚体变换、仿射变换和的投影变换。
（1）刚体变换
所谓刚体，是指物体内部任意两点之间的距离保持不变。刚体变换使得一幅图像中任意两点间的距离在变换前后保持不变。
（2）仿射变换
它将直线映射为直线，并保持平行性。仿射变换的具体表现在可以是各个方向尺度变换系数一致的均匀变换或变换系数不一致的非均匀尺度变换及剪切变换。
（3）投影变换
与仿射变换相似，投影变换将直线映射为直线，但不保持平行性质。投影变换主要用于二维投影图像与三维体积图像的配准。
（4）非线性变换。
非线性变换是把直线变换成曲线。它反映的是图像中组织或器官的严重变形或位移。
三 参数的优化搜索
（1）powell 法
（2）梯度下降
（3）遗传算法
四 插值法
图像配准中，空间坐标变换后得到的像素的坐标位置可能不在整数像素上，因此需要用灰度插值的方法对像素进行估计。常用的插值方法有最近邻插值、双线性插值和部分体积分布等。
（1）最近邻插值（NN）
该方法是一种简单的插值算法，也称为零阶插值。设需要插值的点为N，在二维图像中，临近该点的坐落在网格上的像素点分别为：n1，n2，n3，n4.最近邻法直接计算n和邻近4个点之间的距离，并将该点距离最小的点的灰度值赋值给n。
（2）双线性插值（BI）
又称为一阶插值法，它是使用线性插值来求像素灰度的一种方法。具体的计算方法为首相沿着一个坐标轴方向使用线性插值方法求出两点的插值灰度，然后沿另一个坐标轴，利用这两个点对目标进行线性插值来求灰度。
双线性插值法由于考虑到直接邻近点对待插值点的灰度影响，因此一般能得到令人满意的插值效果。但这种方法具有低通滤波性质，使高频分量受到损失。此外，由插值所得到的灰度值是经过数字计算出来的，一般不会是整数，而且也有可能产生原始图像中所没有的灰度值，因此可能会改变图像中的灰度分布，特别是当图像中有很多需要进行插值的像素点时。
（3）部分体积插值法（PV）
是对双线性插值法的一个改进。主要是为了克服双线性插值方法在图像中会产生新的灰度值而引起图像灰度分布变化的缺点，一便得到较光滑的目标函数，有利于优化搜素。
PV是根据线性插值的权重分配原则，将每队像素对联合直方图的贡献分散到联合直方图中与之相邻的各个像素对上，这样联合直方图上各个像素对的频度值以小数相加，因此不会出现新的灰度值而破坏目标函数值分布的光滑性。
实际上，PV方法只是用灰度统计代替插值。
五 相似度测度
配准过程在得到几何变换后，进一步的工作就是要找到一种合适、最优的描述量，用以表征相似或者差异，称这种描述量为相似性测度。
（1）灰度均方差
（2）归一化互相关
（3）互信息
第四节 医学图像配准的主要方法
目前主要的配准方法大体分为两种：基于特征的配准方法和基于灰度的配准方法。
一 基于特征的配准方法
基于特征是配准方法首先要对待配准图像进行预处理，也就是特征提取的过程。然后利用提取到的特征完成两幅图像特征之间的匹配。由于图像中有很多种可以利用特征，因而产生了多种基于特征的方法。
（1）基于点特征的配准
点特征是图像配准中最为常用的图像特征之一，分为外部征点和内部特征点两种。
（2）基于直线特征的配准
线段是图像中另一个易于提取的特征。Hough变换是提取图像中直线的有效方法。Hough变换可以将原始图像中给定形状的曲线或直线变换得到变换空间域的一个点位置。它使得原始图像给定形状的曲线或直线上所有的点都集中到变换域上的某一个点位置从而形成峰值。这样，原始图像中的直线或曲线的检测问题就变成寻找变换空间中的峰点问题。正确建立两幅图像中分别提取的直线段的对应关系依然是该方法的重点和难点。综合考虑直线段的斜率和端点的位置关系，可以够造成一个这些信息指标的直方图，并通过寻找直方图的聚集束到达直线段的匹配。
（3）基于轮廓和曲线特征的配准
（4）基于面特征的配准
最典型的算法是“头帽法”，即从图像中提取一个表面模型称为“头”，从另外一幅图像轮廓上提取的点集称为：“帽子”。用刚体变换或选择性的仿射变换将“帽子”的点集变换到“头”上，然后采用优化算法使得“帽子”的各点到“头”表面的均方根据距离最小。
二 基于灰度的配准方法
它直接利用图像的灰度信息进行配准，从而避免了因分割带来的误差，因而具有精度高、稳健性强、不需要预处理而能实现自动配准的特点。
基于灰度处理的配准方法主要有：一类是通过图像灰度直接计算出代表性的比例和方向等要素；另一类是配准过程中使用全部的灰度信息。第一种方法以力矩和 主轴法为代表，第二种方法一般称为体素形式性。
（1）力矩和主轴法
力矩和主轴法是指先用经典力学物体质量分布的原理计算出两幅图像的质心和主轴，再通过平移和旋转等变换是两幅图像达到配准。利用此方法，图像可以模型化为椭圆形区域的点分布。这样的分布可以用这些点的位置的一阶矩和二级矩描述。该方法对数据的缺失比较敏感，要求整个物体必须完成的出现在两幅图像中。从整体上来说，配准精度较差，所以目前它更多的用来进行粗配准，使两幅图像初步对齐，以减少后续主要配准方法的搜索步骤。
（2）体素相似性法
体素相似性法是目前研究较多的一类方法。由于它利用了图像中的所有灰度信息，一次这种方法一般都比较为稳定，并能获得相当准确的结果。该方法还有一个优点是它完全自动的，且不需要特殊的预处理。但这种方法由于需要大量的复杂计算，因此近几年才转入实际应用。

第五节 医学图像配准的评估
（1）体模
（2）准标
（3）图谱
（4）目测检测

第六节 医学图像融合技术
一 医学图像融合概念
医学图像融合是将两幅（或两幅以上）来自不同成像设备或不同时刻获取的以配准图像，采用某种算法，把各个图像的优点或互补性有机地结合起来，获得信息量更丰富的新图像的技术。
在图像融合处理中，图像配准是图像融合的第一步，也是实现图像融合的先决条件。
二 医学图像融合分类
（1）按照被融合图像的成像方式分类。单模融合和多模融合
（2）按照融合对象的不同分类。单样本时间融合、单样本空间融合和模板融合。
（3）按照图像处理方法的不同分类。数值融合法和智能融合法。
（4）按照图像类型不同分类。

第七节 常用的医学图像融合方法
一 基于空域的图像融合
基于空域的图像融合是直接在空域中对图像的像素点进行操作，该类方法简单直观、易于理解，但常常融合效果有限，只适用于有限的集合。
（1）图像像素灰度值极大或极小融合法
（2）图像像素灰度值加权融合法
（3）TOET图像融合方法
二 基于变换域的图像融合
变换语法，就是将变换后得两个或多个图像进行融合，再通过反变换后得到融合后图像的方法。
（1）基于多分辨率的金子塔融合方法
这种图像的方法中，原图像不断的被滤波，形成了一个塔结构。在塔的每一层都用一种算法对这一层的数据进行融合，从而得到了一个合成的塔式结构，然后对合成的塔式结构进行重构，最后得到合成的图像。合成图像包含了原图像的所有重要信息。但这类方法产生的数据有冗余，且不同级的数据之间相关。
（2）基于傅里叶变换的图像融合法
傅里叶变换是图像处理技术的基础，其通过在时空域和频率域来回切换图像。基于傅里叶变换的图像融合包含一下三个步骤：
A、对每一个图像分别进行图像的二维傅里叶变换；
B、对变换系数通过加权得到融合图像的傅里叶变化；
C、对融合后的系数进行傅里叶反变换，得到融合图像。
（3）基于小波变换的图像融合
小波变换的本质是一种高通滤波，当采用不同的小波基，就会产生不同的滤波效果。小波变换可将原始图像分解成一系列具有不同空间分辨率和频域特性的子图像，可以针对不同频带子图像的小波系数进行组合，形成融合图像的小波系数。
A、图像的二维小波分解及融合

第八节 医学图像融合效果评价
一 熵
图像的熵值是衡量图像信息丰富程度的一个重要指标，熵值得大小表示图像所包含的平均信息量的多少。如果一个图像的熵增大，表示融合图像的信息量增加，融合图像所包含的信息就越丰富，融合质量越好。

二 交叉熵
交叉熵也称相对熵，直接反映了两幅图像灰度分布信息的差异。设源图像和融合图像的直方图分别为pi和qi，则交叉熵定义为:

三 互信息
互信息为两个变量之间相关性的量度，或一个变量包含另一个变量的信息量的度量。

互信息的值越大，表示融合图像从原图像中获取的信息越丰富，融合效果越好。