一文读懂尺度空间理论与尺度不变特征点提取

大家好，欢迎来到IT知识分享网。

1、什么是尺度？

        简单来说，尺度就是理解客观对象的角度，层次等，比如说宏观尺度、微观尺度。尺度由小到大即是看到客观对象的细节从多到少的过程。比如说贴近看一幅画，只能看到画的局部，但是可以看的很细腻；再远一点看可以看到画中所有内容；更远一点只能看到轮廓；再远一些整幅画就变成了一个模糊点。

        上述过程即是由精细尺度结构到粗糙尺度结构的变化。上述过程在数学上可以用【尺度扩散方程】表示：

        其中是像素强度，是像素坐标，是尺度。

       需要满足： 随着尺度增大，粗糙尺度结构应该是精细尺度结构的一种简化，且这个过程不能引入新的结构。如下图所示，由下往上尺度由精细到粗糙，信号的空间结构也越来越简洁，类似于人眼由近及远的观察。

2、图像金字塔

        金字塔是目前流行的图像多尺度表示方法。通过对图像进行多次降采样，构建尺寸上由大到小，细节上逐渐减少的图像金字塔结构。

3、尺度不变特征

        经常说，SIFT是尺度不变的，而Harris不是，为什么这么说？搞懂这个问题需要理解什么是尺度不变特征。假设有如下图两个相同对象，圆圈所示。但是一近一远，可以用圆半径表示尺度。

        通过某种算法在两圆圆心处提取了一个特征点。现在，需要在该点处构建描述符，实现自动匹配。直观上，需要保持描述符构建区域内信息相似才能实现同名点匹配。即左图在大圆的范围内构建描述符，右图在小圆的范围内构建描述符。

        尺度不变特征在特征提取阶段即获取了尺度信息，简单认为是圆半径，则可以自动的确定描述符支持区域大小；而非尺度不变特征不具有该能力，其描述符支持区域是固定大小。

        非尺度不变特征提取方法通常需要借助图像金字塔来提取多尺度特征点，但是在金字塔每一层内，仍然是非尺度不变的。

4、尺度空间

        想象一个这样的三维空间，他的两个轴分别是图像的x,y轴，另一个轴是图像的尺度轴，如下图所示。

        普通的特征提取只需要在图像上，即在尺度空间某一xoy平面上提取特征。而尺度不变特征需要提取到尺度信息，因此需要考虑轴的变化，需要在x,y,表示的三维空间内部提取极值。这个空间是连续的，与金字塔有着本质区别（金字塔尺度是离散的）。

5、尺度不变特征提取

        高斯平滑能够模拟真实世界对象尺度结构由细到粗的过程，但是无法定位对象位置，也即特征提取，特征定位。特征提取需要用到其他算子，如梯度、Hessian矩阵或者Harris等。与这些方法相比，【尺度归一化的高斯拉普拉斯】能够提取出最稳定的尺度不变特征点。

5.1 尺度归一化的Laplacian of Gaussian

      Laplacian算子可以突出图像中强度发生快速变化的区域，但是对噪声较敏感。在进行Laplacian操作之前通常需要先用高斯平滑滤波器对图像进行平滑处理，以降低Laplacian操作对于噪声的敏感性。拉普拉斯算子如下：

        是图像函数。

        根据卷积的特性，先对图像函数进行高斯卷积，再对平滑图像进行拉普拉斯卷积等效于先对高斯函和数进行拉普拉斯卷积，其结果就是【Laplacian of Gaussian，LOG】，再对图像进行LOG卷积。x，y是独立的，LOG算子即是对二维高斯函数求x，y的二阶偏导。即：

        为二维高斯。

       图像是个二维信号，为了便于理解，将图像简化为一维信号（可以理解为取图像中某一行/列），对应高斯函数与拉普拉斯算子也变为一维。一维的LOG类推为对一维高斯求二阶导，即

        函数图像如下：

        LOG还无法应用于尺度不变特征的提取，需要进行归一化操作。什么是尺度归一化？可以从函数图像的面积理解。

       我们将LOG函数图像划分为S1、S2、和S3三个部分，如上图所示。面积是LOG函数积分的结果，得到

      可以发现，随着尺度的增加，S1,S2,S3都会减少。卷积实际就是一个积分操作。很明显，尺度参数本身会对LOG卷积结果带来影响，若想利用LOG探测尺度，则需要抵消掉这种影响。为此，通过对LOG乘以一个，此时S1、S2与S3将会变为一个常数，抵消掉了尺度变化带来的影响。此即尺度归一化的高斯拉普拉斯，一般写作

5.2 归一化LOG卷积结果

        假设有如下的信号，我们采用尺度逐渐增大的归一化LOG分别在处进行卷积。

        当尺度很小时，设为，此时整个卷积窗口正好在信号[-3,3]之内，如下图所示。则处的卷积结果为:

        尺度增大，设为，此时正好能保证和位于LOG的零点处，如下图所示。此时，处的卷积结果为:

        LOG尺度继续增大，如下图所示。此时处的卷积结果为:

        显然，大于和。因此可以认为是一个尺度空间上的极值，是的一个尺度。

        当取值变化非常小时，可以近似的认为尺度是连续的，绘制出连续的卷积值图形，若如下所示：

        可发现，在尺度轴，卷积值拥有多个极值，这个点是多尺度特征。

5.3 尺度不变特征提取

        归一化LOG可以用来提取特征点，即LOG卷积极值点。非尺度不变特征没有尺度信息，相当于固定尺度，只需在图像平面内寻找极值点（如下图中间层点与周围8个点比较）；尺度不变特征则需要考虑尺度维的变化，需要在三维空间内寻找极值点（如点与上下两尺度和周围共26个点比较）。该极值点具有平面坐标与空间尺度两种信息。

        5.2节表明可以通过计算特征在连续尺度轴上的极值来找到多个可选的尺度信息。但是实际计算中不可能实现连续空间。需要通过离散极值拟合出连续极值。上述对比上下尺度寻找的极值点即是离散的，后续还需要进一步处理。

        因此，尺度不变特征的提取可以简单抽象为以下步骤：

1. 对原图像施加多个尺度逐渐增大的归一化LOG滤波，构建LOG金字塔；
2. 从第二层起，对于该层像素，比较周围8个像素，判断是否是极值点；然后对比上下两层共18个点，判断该像素是否是尺度空间内的极值点；
3. 对x,y和进行拟合，计算出在连续尺度空间下的最佳位置；
4. 找出所有的尺度空间极值。该极值的x,y信息即为坐标，即为尺度。

6、SIFT特征提取

        在5.3节基础上，SIFT特征提取加了许多改进。比如说使用DOG近似代替LOG，提高计算效率；加入非极大抑制等手段提高鲁棒性等。具体方法以及代码将在后续讲解。