Notes1《Multi-scale weighted gradient-based fusion for multi-focus images》

这篇文章主要在解决两个问题：1、Anisotropic blur 2、mis-registration。这两个问题也正是自己所需要解决的问题，尤其是第二点，对于原图像未配准的情况的处理。

这篇文章是基于现有的根据梯度信息进行融合的方法的改进，先来大致了解梯度融合的实现流程：

简单来说，对于单张图像，计算其梯度，然后得出每个位置上的特征值，因为，特征值的大小可以反映该点灰度变换的情况。取所有图像上对应位置最大的特征值作为所有图像合并后的特征值，并根据公式（见图1），得出其梯度，并根据特征向量得出相应的方向。最后通过最小化能量函数（见图2）得出融合后的图像。

图1

图2

但因为直接是进行的最大值的选取，所以并不合理，因为对于存在Anisotropic blur 和mis-registration的情况时，模糊的区域因为弥散的原因其梯度值可能更大，未配准的地方因为内容不同而导致不理想处的梯度值更大，文中说明了该问题，如图3：

图3

所以，为了能在梯度信息进行融合的方法下解决以上两个问题，文章提出了多尺度下的带权重的梯度融合方法，整体思路如下图4：

图4

首先，文章对原有的基于梯度融合的方法进行了改进，设计了一个saliency map,图5.3所示用以计算梯度的权重：

图5.1是局部窗口w，以X=(x,y)为中心点的协方差矩阵。图5.2是用其特征值进行的表示；图5.3是定义的saliency_map的计算方式，图5.4是定义的权重计算方式,其中参数alpha用来控制Q的轮廓，同时根据值的不同可以反映是对角点响应较大还是对边缘的响应较大，如图5.5所示。最后对于每个特征值乘以其权重，再利用梯度融合的方法得到最终融合后的图像。带有权重的梯度融合可以一定程度上解决halo效应，但是单一的原始图像尺度下，并不能得到较好的融合结果。

图5.1

图5.2

图5.3

图5.4

图5.5

然后，为了更好的解决文中提到的Anisotropic blur 和mis-registration这两个问题，提出了基于多尺度下（两个尺度）的梯度权重计算方法：图6.1是针对问题Anisotropic blur进行说明，也就是模糊的图像其对应的saliency_map的响应值可能更大，而大尺度下，此种情况能被削弱。图6.2是对问题mis-registration进行说明，也就是大尺度下可以较为有效地解决因平移所产生的模糊图像上对应位置响应值更大的情况。

图6.1

图6.2

也就是利用大尺度sigma1和小尺度sigma2先对图像进行滤波，然后再利用图5.3计算得到对应尺度下的saliency_map1和saliency_map2，大尺度sigma1可以更好地平滑掉一些较小的位置偏移和模糊情况，可以更好地生成saliency_map2以检测到有效的清晰区域，之后，小尺度sigma2较大尺度而言可以保留更多的细节，所以经过大尺度处理后，利用小尺度来确定边界区域的梯度权重。其实现流程如下图7：

图7

Step1：利用大尺度sigma1得到对应的saliency_map1,通过对应位置上最大值响应的方式以初步确定聚焦像素点和非聚焦像素点，得到图像M1，即聚焦像素对应位置设为1，非聚焦像素对应位置设为0，以此得到一张二值图（a）至(b)；

Step2：然后将M1中边界像素点设置为un-known区域，其宽度定义为4sigma1，如图（c）该区域的梯度权重将通过小尺度下的信息进行计算。

Step3：在小尺度sigma2下进行Step1下的操作，得到（d），然后针对（c）中的非聚焦区域，也就是黑色部分，利用图8.1中的原则，即该点在小尺度下是最大响应但小于阈值，则该点为错误的聚焦点，其对应的权重为0，若是最大的响应值且大于阈值，则更有可能是聚焦点。

图8.1

图8.2

检测（d）中的错误聚焦像素，对于un-known区域，若该像素点是最大响应值且大于阈值，则利用图9的公式计算其权重，以此得到最终的weightes（e）。

图9

至此，便得到了最终的带权重的梯度，再根据梯度融合的原理进行图像融合即可。

---

心得：

对于本文而言，其解决Anisotropic blur 和mis-registration问题的关键在于利用了大小两个尺度对图像进行高斯滤波，大的尺度能较好地减少模糊和未配准情况所导致的响应较大的情况，小尺度能较好地保留一些细节，尽可能地保留一些边缘细节。并形成带权重的梯度，优化了传统的基于梯度融合单一地选择最大值的方式，使得融合后图像的halo效应可以减少。

但是本文是基于区域的协方差矩阵来计算其saliency_map，类似于Harris特征检测，对于有明显边，角的图像较为适用，但对于自己的细胞数据，其融合效果不佳。如图10。

但是其提供了一个思路：在大尺度的情况下可以一定程度上解决Anisotropic blur 和mis-registration问题，由此在生成saliency_map时可以在大尺度下进行，然后再得到对应的activity_map，再对activity_map进行优化。