.上调部分道具的叠加数量上限. 2.改善任务列表显示的优先顺序. ...
胡俊 刘清源
中图分类号： TP391.41 文献标识码： A 文章编号： 2095-2457（2018）04-0026-001
An Overview of Superimposed Image Methods for Improving Projection Resolution and Their
Image Quality Evaluation Methods
HU Jun Liu Qing-yuan
（School of Electronic and Information Engineering，Changchun University of Science and Technology，
Changchun，Jilin 130022）
分辨率是投影仪性能的关键指标，提高分辨率是投影仪行业的重要目标之一。与空间光调制器（SLM）的原始图像的分辨率比较，投影图像叠加是有效的提高投影仪分辨率的方法。投影图像叠加方法可以在多投影系统或者具有光机系统的单投影系统中使用。两个或者多个图像在投影幕布上组成叠加投影图像，其叠加投影图像可以用加法函数的方法来进行理论计算。
在4K高清视频市场推动下，投影设备分辨率增强技术成为当下研究的热点。并不是所有的SLM都可以进行4K调制，所以研究各种各样的分辨率增强技术，提高SLM的投影分辨率。叠加图像的分辨率增强技术，好比光学低通滤波器一样滤除图像中的高频分量，增加有效像素的同时也增加了使图像模糊的伪影，伪影影响了图像的视觉质量和分辨率尺寸。叠加图像的方法可以使投影图像具有高分辨率和高质量的同时，又增加了伪影。与SLM的微缩方法得到的投影图像相比较，伪影是一个新的挑战。
本文介绍不同的叠加图像方法和探求不同的方法间的图像质量。概述前人在叠加图像领域所做的工作及相应质量评估方法。质量度量学相关章节说明的是方法论及实验设计，描述了使用不同度量学和叠加方法所设计的实验方法。
Takahashi等在1995年设计四个LCD投影到一个屏上的复杂投影结构。其优点是对LCD像素的因子填充，在这个结构中，两个像素处于低重叠状态。所有投影设备像素的叠加，其目的是填充其他投影设备所投出的暗区域，同时在水平与垂直方向上获得双倍的分辨率。在安装与调试上，本套设备需要繁琐和精细的装调。随着使用时间的加长，LCD的填充的像素尺寸也变大，凸显出方法的重大缺陷。Takahashi等使用光学仿真的方法获得光学传递函数（MTF），并作为主要的评估分辨率方法。
Jaynes等设计由多个投影仪同时投射到一个屏幕上的系统，通过校准方式决定每个投影仪所投射出的子像素之间的关系。校准的目的是每个投影设备都是精确的投影图像，目标帧是通过混合的缓冲帧获得高分辨率的投影图像。在实践过程中，校准过程是非常精密的，而且要求操作者具有良好的实践经验，但是校准过的系统却容易离焦。Jaynes等通过显示改进后的图像来说明他们所做工作的有效性。
Allen和Ulichney设计一个突破传统想法的系统——用一个光机电投影设备替代原来的思想，在投影面上移动第n空间帧。这种方法称为“Wobulation”，确保像素的统一移动和叠加。Wobulation实现在空间光调制器中的一个像素在投影后具有多个像素位置。Wobulation方法使用一个空间光调制器展示不同的图像位置其价值在于降低时间分辨率来等效于多图像位置。在Allen和Ulichney的论文中，相同的子帧在两个不同位置叠加导致结果图像有些模糊。作者在视觉上一步一步改善图像质量，但是没有对投影图像改善的结果做定量分析。
Said在2006年提供一种创建子帧的理论框架，解决叠加图像方法当前的局限性，并为叠加图像方法的推广奠定理论基础。虽然Said所获得的子帧并不是最佳的，但是用数学方法来评价图像质量。其数学方法为PSNR和视觉表述评估图像质量。
Damera-Venkata和Chang在2007年提出使用多投影设备生成叠加图像的方法。此方法说明大于奈奎斯特采样频率的显示频率是可以提高投影图像的分辨率的，但只是在视觉判别上给出定性的说明，而没有进行定量的说明。
Okatani等从Damera-Venkata和Chang基础上进一步进行理论研究，揭示了叠加图像的质量随系统最大亮度的变化而变化。在这个工作中，通过视觉探查判别图像质量，而不是质量度量学。
Sajadi等在2012年介绍图像增强方法，两个串联的SLM来增强图像边缘的锐度，同时也增加分辨率。两个SLM的光像素分配单元在空间域内生成更小的像素。此方法在实际中是有效的，但是實验系统只是通过视觉判别来评估图像质量。
Sajadi等在2013年介绍一种低成本的叠加图像方法，在原始图像叠加一个经过精确移动（下转第45页）（上接第26页）的子图像。此方法与Allen和Ulichney设计的Wobulation类似，但是此方法不是时隙图像，而是图像自身移动后子图像与原始图像的叠加。此方法的图像空间质量虽然不是最满意的，但是是最有效的。通过SSIM度量学来表示此方法的图像质量的增加，当色彩浮动时使用色差来检测。Sajadi等人通过计算移动像素与多个叠加帧的不同组合的直方图来评估图像中的保留要素。
Heide等在2014年介绍一种有趣的方法，将图像投影到SLM上，而不是叠加图像到投影屏幕上。精确的移动带有子像素的第二个SLM，减少第二个SLM的光强，而不是增加光强。此方法称为“乘法叠加”，与之对应的是有在每一个子图像的顶部规律增加叠加光。通过视觉判别、PSNR、SSIM和MTF分析来证明其显而易见的优越性。
Barshan等在2015年介绍名为“移动叠加”的叠加原理。此方法类似于Allen和Ulichney设计的Wobulation方法，但是子图像的生成是在更精细的方法中完成的。通过视觉判别和MSSIM度量学来说明此方法对图像质量的提高。
上述所说明的是在叠加领域中，不同的作者有不同的叠加图像方法与评估图像质量方法。其共同点是通过不同的图像表征叠加图像视觉的优势，但是这是一种缺乏不同算法间客观对比的方法。接下来介绍与上述方法不同的质量度量学及可能用到的质量度量学。
质量度量方法可以分为两类：基于原始误差计算和人类视觉系统（HVS）启发度量学。
基于误差计算是基于两个图像间误差量化的数学度量。因为简单易懂、便于使用及低运算成本而使其广泛应用。这些度量方法中典型的应用是均方差（MSE）和不同版本的信噪比（SNR）。信噪比和峰值信噪比是基于加工过的图像，其是原始图像加上中立的噪声信号。信噪比是平均信号功率与噪声信号功率的比值，峰值信噪比是峰值信号功率与噪声信号功率的比值。基于原始误差计算具有其自身的局限性，它们往往与主观质量评估没有很好的相关性。
为了克服这些弊端，加权信噪比（WSNR）是以HVS对比敏感函数来考虑开发的。WSNR定义为平均加权信号功率与平均加权噪声功率之比。通过对HVS属性的微小修改的基于误差的度量，则WSNR是综合基于原始误差的计算和HVS的度量。其他的度量方法，比如PSNRHVS和PSNRHVSM都是使用PSNR法则，基于频率的修改实现度量并与HVS的敏感度做对比。
由HVS属性所衍生出的纯HVS，目的是测量HVS的特殊图像属性，与SSIM度量法比在光强、对比度和图像结构上敏感，在两个图像间测量其相似度。全部或者部分考虑HVS的方法促进如下几种质量度量的方法，比如多尺度SSIM（MSSSIM）、ESSIM、SRSIM、FSIM、DCTex、VIF和VSNR。
本文对改善投影分辨率的叠加图像方法及其图像质量评价方法进行概述，总结能够提高投影分辨率的不同叠加图像方法，并概述了不同方法所对应的图像质量评价方法。
