图像质量评价（IQA）的传统方法归纳总结

大家好，欢迎来到IT知识分享网。

图像质量客观评价（IQA）可分为全参考（Full-Reference,FR），部分参考（Reduced-Reference,RR）和无参考（No-Reference,NR）三种类型。

一、全参考（Full-Reference,FR）

全参考图像质量评价是指在选择理想图像作为参考图像的情况下，比较待评图像与参考图像之间的差异，分析待评图像的失真程度，从而得到待评图像的质量评估。常用的全参考图像质量客观评价主要以像素统计、信息论、结构信息三方面为基础。

1. 基于图像像素统计基础

基于图像像素统计基础，峰值信噪比（Peak-Signal to Noise Ratio,PSNR）和均方误差（Mean Square Error,MSE），还有MAE（Mean Absolute Error,MAE）和信噪比SNR（Signal to Noise Ratio），是比较常见的几种质量评价方法。它们通过计算待评测图像和参考图像对应像素点灰度值之间的差异，从统计角度来衡量待评图像的质量优劣。

（1）均方误差（Mean-Square Error, MSE）

MSE简写为以下，就是两幅图像的所有的像素值的差的平方和，再求平均值，最终得到的是一个数值。

（2）平均绝对误差（Mean Absolute Error, MAE）

 L1 loss，绝对值之差求平均。

（3）信噪比（Signal to Noise Ratio, SNR）

x指的是原始图像，x-hat表示的是处理之后的图像

（4）峰值信噪比（Peak-Signal to Noise Ratio, PSNR）

peak的中文意思是顶点。而ratio的意思是比率或比列的。整个意思就是到达噪音比率的顶点信号，psnr一般是用于最大值信号和背景噪音之间的一个工程项目。通常在经过影像压缩之后，输出的影像都会在某种程度与原始影像不同。为了衡量经过处理后的影像品质，我们通常会参考PSNR值来衡量某个处理程序能否令人满意。

PSNR值越大，表示图像的质量越好，一般来说：

1. 高于40dB：说明图像质量极好(即非常接近原始图像)
   （2）30—40dB：通常表示图像质量是好的(即失真可以察觉但可以接受)
   （3）20—30dB：说明图像质量差
   （4）低于20dB：图像质量不可接受
   
   
   

PSNR与MSE都是通过计算待评图像与参考图像之间像素误差的全局大小来衡量图像质量好坏的。PSNR值越大，表明待评图像与参考图像之间的失真较小，图像质量较好。而MSE的值越小，表明图像质量越好。这两种方法比较简单，且容易实现，在图像去噪等方面受到广泛应用。但这类算法是从图像像素值的全局统计出发，未考虑人眼的局部视觉因素，所以对于图像局部质量无从把握。

2. 基于信息论基础

基于信息论中信息熵基础，互信息被广泛用来评价图像质量。近些年，Sheikh和Bovik等人提出来了

信息保真度准则（Information Fidelity Criterion, IFC）和

视觉信息保真度（Visual Information Fidelity, VIF）

两种算法。它们通过计算待评图像与参考图像之间的互信息来衡量待评图像的质量优劣。这两种方法具有一定的理论支撑，在信息保真度上拓展了图像与人眼之间的联系，但是这类方法对于图像的结构信息没有反应。

关于IFC和VIF的原始论文以及代码实现可以参考如下的内容

（1）信息保真度准则（Information Fidelity Criterion, IFC）

利用SR图像与HR图像的互信息进行评估。

这个评价值比较复杂，使用小波域的 GSM( Gaussianscale mixture) 模型对 NSS 建模，NSS指自然场景。

小波转换把图像分解成很多系数，自然场景的小波分解子代系数既不是独立的，也不是同分布的，一个系数的邻域如果有较大的方差，它也可能有较大的方差。也就是假设一个“好的图像”在GSM模型中的系数有一定的特征，只需要比较退化图像在GSM模型中的系数，就可以看出该图像的质量。

具体就是衡量失真图像(输出) 和源图像(输入) 的共同信息的多少来评价图像质量，即为 IFC。IFC 和其他基于 HVS 的方法相比，最大的特点是它不需要配置 HVS 的任何参数，计算上也比较简洁，得到了较满意的结果。感觉可以拓展到无参考图像评价。感觉很多指标就是很多个小的评价参数凑出来了，那么我自己也可以用几个线性无关的小评价参数组成一个新的评价参数，比如根据具体的使用场景设计。

H.R. Sheikh, A.C. Bovik, and G. de Veciana, “An information fidelity criterion for image quality assessment using natural scene statistics”, IEEE Trans. on Image Processing, 2005.

[code:http://live.ece.utexas.edu/research/quality/ifcvec_release.zip]

（2）视觉信息保真度(Visual Information Fidelity, VIF)

VIF是Sheikh等结合自然图像统计模型、图像失真模型和人眼视觉系统模型提出的图像质量评价指标。

详细介绍与计算过程参照：VIF质量评估方法简介 | 17哥 (wangwei1237.github.io)

H.R. Sheikh and A.C. Bovik, “Image information and visual quality”, IEEE Trans. on Image Processing, vol. 15, pp. 430-444, 2006.

[code:http://live.ece.utexas.edu/research/Quality/vifvec_release.zip]

3. 基于结构信息基础

（1）结构相似性（Structural Similarity Index, SSIM）

2002年，Wang Zhou和Bovik等人在多年对图像处理、图像压缩及图像视觉质量评价的研究工作基础上，首次提出了结构信息的概念。他们认为：人眼视觉的主要功能是提取背景中的结构信息，而且人眼视觉系统能高度自适应地实现这一目标，因此对图像的结构失真的度量应是图像感知质量的最好近似。在此基础上给出了一种符合人眼视觉系统特性的图像质量客观评判标准-结构相似度（Structure Similaruty,SSIM）。

结构相似指标可以衡量图片的失真程度，也可以衡量两张图片的相似程度。与MSE和PSNR衡量绝对误差不同，SSIM是感知模型，即更符合人眼的直观感受。

同样MSE下，不同SSIM展现的图片结果：

SSIM的取值范围[-1, 1], 具有对成性，边界性，唯一最大性（当且仅当x=y时SSIM=1），是一种距离公式。

基本流程为：对于输入的x和y，首先计算出luminance measurement，进行比对，得到第一个相似性有关的评价；在减去luminance的影响，计算contrast measurement，比对，得到第二个评价；在用上一步的结果除掉contrast，在进行structure的比对。最后将结果combine，得到最终的评价结果。

从实现角度来讲，亮度用均值表征，对比度用经过均值归一化之后的方差表征，结构用相关系数（就是统计意义上的 r ，协方差与方差乘积的比值）。

以下是SSIM的计算步骤示意图与公式计算：

4. 基于神经网络的方法

（1）弗雷切感知距离 ( Fréchet Inception Distance, FID  )

FID的全称是Fréchet Inception Distance，用于衡量两个多元正态分布的距离，数值越小越好。具体的，FID使用Inception Net-V3全连接前的2048维向量作为图片的特征向量，再计算两张图像特征之间的距离。

（2）学习感知图像块相似度 ( Learned Perceptual Image Patch Similarity, LPIPS )

在特征空间中计算SR图像与HR图像的L2距离，能与人眼主观评估保持较好的一致性。特征获取一般是通过深度学习模型。

详细介绍：论文阅读：[CVPR 2018] 图像感知相似度指标 LPIPS – 知乎 (zhihu.com)

PSNR,MS-SSIM, LPIPS三者对比：

PSNR（Peak Signal-to-Noise Ratio）：PSNR是一种常用的图像质量评估指标，用于衡量原始图像与重建图像之间的差异。它通过计算均方误差（MSE）来量化两个图像之间的差异，数值越高表示图像质量越好。

MS-SSIM（Multi-Scale Structural Similarity Index）：MS-SSIM是一种结构相似性指标，它在计算图像相似性时考虑了多个尺度的信息。与传统的结构相似性指标（SSIM）相比，MS-SSIM将图像分解成多个尺度，并在每个尺度上计算结构相似性指标，最后取平均值作为最终的相似性评估。MS-SSIM相较于PSNR更能反映人眼对于图像感知的差异。

LPIPS（Learned Perceptual Image Patch Similarity）：LPIPS是一种学习的感知图像补丁相似性指标，它通过训练神经网络来学习图像补丁之间的感知相似性。LPIPS考虑了人眼对于图像感知的敏感性，通过计算图像补丁之间的感知距离来评估图像质量。与传统的结构相似性指标（如SSIM）相比，LPIPS在学习感知距离时更加准确和全面。

这些指标在图像质量评估中都有广泛的应用。 PSNR主要用于衡量图像的误差，而MS-SSIM和LPIPS更加关注人眼对图像感知的差异。在实际应用中，不同的指标可以结合使用，以综合评估图像质量。

二、无参考

无参考方法也称为首评价方法，因为一般的理想图像很难获得，所以这种完全脱离了对理想参考图像依赖的质量评价方法应用较为广泛。无参考方法一般都是基于图像统计特性。

（1）均值（Mean）

均值是指图像像素的平均值，它反映了图像的平均亮度，平均亮度越大，图像质量越好，设待评价图像为F，大小为M  N，其均值计算公式为：

（2）标准差（Standard Deviation）

标准差是指图像像素灰度值相对于均值的离散程度。如果标准差越大，表明图像中灰度级分别越分散，图像质量也就越好，其计算公式为：

（3）平均梯度（Mean Gradiant）

平均梯度能反映图像中细节反差和纹理变换，它在一定程度上反映了图像的清晰程度。其计算公式为：

（4）熵（Entropy）

熵是指图像的平均信息量，它从信息论的角度衡量图像中信息的多少，图像中的信息熵越大，说明图像包含的信息越多。假设图像中各个像素点的灰度值之间是相互独立的，图像的灰度分布为p={p1,p2,…,pi,…,pn},其中pi表示灰度值为i的像素个数与图像总像素个数之比，而n为灰度级总数，其计算公式为：

其中，P(l)为灰度值l在图像中出现的概率，L为图像的灰度级，对于256灰度等级的图像而言，L=255。

一般而言，无参考图像质量评价方法首先对理想图像的特征作出某种假设，再为该假设建立相应的数学分析模型，最后通过计算待评图像在该模型下的表现特征，从而得到图像的质量评价结果。

（5） 基于感知的图像质量评估器（Perception based Image Quality Evaluator, PIQE）

  PIQE（Perception based Image Quality Evaluator）是一种基于感知特征的无参考图像质量评估指标，其利用了图像的块状结构和噪声特征来计算图像的质量分数。PIQE的数学表达式为：

分数越低表示其图像质量越高。其中BM是块效应指标（Blockiness Measure，BM）衡量图像中的块状结构，主要受到图像压缩引起的伪影影响。而NM是噪声指标（Noise Measure，NM）衡量图像中的噪声水平，主要受到图像损失和传输错误引起的噪声影响。

（6）盲/无参考图像空间质量评估器（Blind/Referenceless Image Spatial Quality Evaluator, BRISQUE）

  BRISQUE（Blind/Referenceless Image Spatial Quality Evaluator）是一种基于自然场景统计特征的无参考图像质量评估指标。其使用支持向量机（SVM）来学习图像质量与图像特征之间的映射关系，并预测图像的质量分数。分数越低表示图像质量越高。其计算过程主要包括图像预处理、特征提取、特征归一化和使用支持向量机（SVM）进行图像质量预测。BRISQUE具有计算效率高和泛化能力强的优点。

具体流程参考：图像质量评估：BRISQUE | 附 C++和Python代码 – 知乎 (zhihu.com)

（7）自然图像质量评估器（Natural Image Quality Evaluator, NIQE）

  利用多元高斯模型拟合提取的图像特征，计算两个多元高斯模型的距离来衡量图像质量。

NIQE（Natural Image Quality Evaluator）是一种基于自然场景统计特征的无参考图像质量评估指标。其使用高斯混合模型（GMM）来建立自然图像特征的概率分布，并用该分布来评估输入图像的质量分数。分数越低表示图像质量越高。其计算过程主要包括图像预处理、特征提取、高斯混合模型（GMM）和计算输入图像的质量分数。NIQE的数学表达式为：

其中v1，v2和∑1，∑2分别为自然图像的多元高斯模型和失真图像的多元高斯模型的均值向量和协方差矩阵。NIQE主要用于评估图像的自然性，其值越小，则说明图像越自然。同时由于NIQE不需要训练过程，因此还具有计算效率高和实现简单的优点。

三、部分参考

部分参考也成为半参考，它是以理想图像的部分特征信息作为参考，对待评图像进行比较分析，从而得到图像质量评价结果。由于所参考的信息是从图像中提取出来的特征，所以它必须要先提取待评图像和理想图像的部分特征信息，通过比较提取出的部分信息对待评图像进行质量评估。部分参考方法可分为基于原始图像特征方法、基于数字水印方法和基于Wavelet域统计模型的方法等。因为部分参考质量评价依赖于图像的部分特征，与图像整体相比而言，数据量下降了很多，目前应用比较集中在图像传输系统中。

四、一些补充与总结

MS-SSIM,PIQE,NRQM待补充。