CN110033461A

CN110033461A - 一种基于目标位移量估计的手机防抖功能评估方法

Info

Publication number: CN110033461A
Application number: CN201910274317.7A
Authority: CN
Inventors: 廖志梁; 陶亮; 王道宁; 张亚东
Original assignee: Beijing E-Credence Information Technology Co Ltd
Current assignee: Beijing E-Credence Information Technology Co Ltd
Priority date: 2019-04-08
Filing date: 2019-04-08
Publication date: 2019-07-19
Anticipated expiration: 2039-04-08
Also published as: CN110033461B

Abstract

本发明公开了一种基于目标位移量估计的手机防抖功能评估方法，通过固定手机位置拍摄远景图像，在启动振动台后手机防抖开、关状态下分别拍摄图像组，对拍摄的图像组进行基于模板匹配的区域分割，获得只包含目标特征点的区域图像，对区域图像进行运动模糊消除，用角点检测算法提取映射回原图坐标的目标点坐标，并与各组标准坐标相减后的相对位移计算平均位移量，生成评估报告。其方法填补了远景图像手机防抖功能评估的空白，避免了模糊对目标位置计算带来的影响，准确给出了基于目标位移防抖功能的量化评估结果，提高了评估结果的客观性，更容易理解和实现相互间手机防抖性能的比对。

Description

一种基于目标位移量估计的手机防抖功能评估方法

技术领域

本发明涉及一种评估方法，特别涉及一种针对手机防抖功能的、基于目标位移量估计的评估方法，属于手机测评领域。

背景技术

拍照功能是智能手机的一个重要组成部分，其拍摄质量的好坏直接影响智能手机的销售，所以生产厂家对拍摄质量的追求在不断更新和完善中。手机防抖功能是拍出优质照片的一个必要前提，尤其对于智能手机类产品来说，其功效更为突出和明显。

现行针对手机防抖功能的评价流程主要包括：

1)将手机放置在振动台上，按照防抖测试标准《CIPA DC-X011-Translation-2014》中阐述的拍摄要求，改变手机快门速度Shutter Speed(SS)，拍摄多组照片Ai(i=1,2,3…)，拍摄对象为黑白跳变的纵横色块和一幅重复照片组成的标靶图，其尺寸为1000mm X 750mm；

2) 将手机放置在振动台上，根据手机质量选择防抖测试标准《CIPA DC-X011-Translation-2014》中阐述的对应波形，使手机随着振动台按照固定波形一起振动，根据防抖测试标准《CIPA DC-X011-Translation-2014》中阐述的拍摄要求，调节SS至1）中的相同档位，拍摄多组照片Bi(i=1,2,3…)；

3) 根据防抖测试标准《CIPA DC-X011-Translation-2014》中阐述的公式和Ai、Bi两组照片计算得到：

i. 各个SS下，振动会带来的理论动态模糊数值（Theoretical Motion Blur Amount，TMBA）；

ii. 各个SS下，关闭防抖后，因机身其他机械结构导致的振动幅度的模糊补偿值（BokhOffset Amount，BOA）；

iii. 各个SS下，无防抖功能时的理论抖动幅度的预估综合模糊量（EstimatedComprehensive Bokeh Amount，ECBA）；

iv．各个SS下，开启防抖后的实测综合模糊量（Measured Comprehensive BokehAmount,MCBA）；

v. 各个SS下，参考动态模糊量（Reference Motion Blur Amount,RMBA）；

vi. 各个SS下，实测动态模糊量（Measured Motion Blur Amount,MMBA）。

4)以横轴为SS档位、纵轴为模糊量在同一坐标系下绘制6条SS—模糊量曲线，参考动态模糊量、实测动态模糊量各自与63μm水平线的交点间距，即为CIPA测定的防抖级数。

以上手机防抖功能评价方法为行业统一标准，明确说明了CIPA公认标准的手机防抖功能等级测试方法，不同手机使用同一种方式进行评价，评价结果可以横向比较，更有说服力，但缺点是：

1) 标准内容侧重评价操作过程的描述，对于评价结果的计算部分定义不够清晰，存在歧义，导致实际使用过程中，使用者用不同的计算方式会得到不同的评价结果；

2) 标准所述评价方法只针对使用光学防抖的手机，评估对象为所拍摄画面的模糊量，降低了评价方法的普适性，一些采用电子防抖、数字防抖等方式的智能手机则无法进行有效评价；

3) 标准评价结果为防抖等级，如1级防抖、3级防抖等，过于笼统，非专业人士无法对此结果进行正确解读，影响使用者对手机防抖性能的判断。

发明内容

鉴于上述现有情况和不足，本发明旨在提供一种基于多帧图像中同目标点位移变化情况进行手机防抖功能评估的方法。其中,手机防抖功能越好，多帧图像的同目标点位移越小，反之越大。

本发明是通过以下技术方案来实现的：

一种基于目标位移量估计的手机防抖功能评估方法，具体步骤包括：

步骤1、待测试手机固定在振动台上，通过手动或自动对焦使远景画面清晰，保持振动台静止状态下拍摄一张图像S，拍摄的远景图像中包含具有角点特征结构的物体。

步骤2、根据待测试手机质量选择防抖测试标准《CIPA DC-X011-Translation-2014》中阐述的对应波形，开启振动台，使待测试手机随着振动台按照固定波形一起振动。

步骤3、在关闭待测试手机防抖设置的前提下拍摄A组图像张；在开启待测试手机防抖设置的前提下拍摄B组图像张。

步骤4、通过手动框选的方式在图像S上选择一个只包含有唯一角点结构的正方形区域图像，保存区域图像作为模板图像M。

步骤5、设图像S的长度为W，宽度为H，以规定步长的方式组成尺度序列对M进行缩放，得到相应的模板组Mi。

步骤6、将模板组Mi中的一张模板放在A组的一张图像上，从图像左上角开始，以1个像素为步长进行平移，计算每平移一步模板与被覆盖区域的相关系数，保存该模板的最大相关系数及其对应的被覆盖区域的区域坐标，直至所有模板组Mi中模板平移结束，得到A组中该张图像上每个不同尺度模板对应的被覆盖区域相关性最强的区域坐标T(xi,yi)和对应的相关系数Ri，选择Ri中最大值对应的T(xi,yi)区域图像，即为A组中该图像只包含唯一角点结构的区域图像。

步骤7、重复步骤6，完成所有A组图像对应的只包含唯一角点结构的区域图像。

步骤8、根据步骤6和步骤7，完成所有B组图像对应的只包含唯一角点结构的区域图像。

步骤9、搭建DeblurGAN网络架构，包含两个1/2间隔的卷积单元、9个残差单元和两个反卷积单元，每个残差单元由一个卷积层、实例归一化层和ReLU激活组成。

步骤10、载入预训练模型DeblurGANWILD、DeblurGANSynth或DeblurGANComb。

步骤11、将所有A组和B组图像对应的只包含唯一角点结构的区域图像输入加载成功的模型中，输出去模糊后的结果图像。

步骤12、用角点检测算法提取角点，提取得到的角点即为目标点。

步骤13、将目标点坐标映射回原图坐标，并以A、B两组图像各自的第一张图像目标点坐标为标准坐标，将组内所有目标点坐标与各组标准坐标相减，得到每张图像目标点的相对位移，记为：

步骤14、计算防抖开启和关闭状态下的平均位移量：

步骤15、由平均位移量生成评价结果，具体评价过程包括：

若,该手机防抖功能定义为差；

若，，该手机防抖功能定义为良；

若，，该手机防抖功能定义为优；

若，评价过程出错，评价结果无效。

所述步骤3中，，。

所述步骤5中，规定步长为0.035*H，并在区间[0.1*H,0.8*H]内构建尺度序列m=0.1*H,0.1035*H,0.107*H,…,0.8*H，按照该尺度序列对M进行缩放，得到模板组Mi(i=1,2,3,…,20)。

所述步骤15中，n=0.01。

本发明所述的一种基于目标位移量估计的手机防抖功能评估方法的有益效果包括：

1、本发明只对远景拍摄效果进行评价，物距越大，拍摄物体在最终成像上的位置发生变化时对整幅图像的影响才越大，人眼越容易察觉，现有方法主要针对固定图卡进行近景拍摄，从对防抖功能评价来说，没有关于远景拍摄时防抖功能的评价方法，本文填补了空白；

2、采用多尺度模板匹配的方法分割包含具有明显角点特征结构的远景区域，为后续计算位移量使用目标点的选取提供了方便，具有明显角点特征结构的物体更容易通过图像处理方法在图像中定位具体坐标；

3、利用深度学习网络对分割得到的图像去模糊处理，避免了模糊对目标位置计算带来的影响，为更准确地给出基于目标位移防抖功能的量化评估结果提供了保障；

4、通过具体描述的目标位移量计算方法，使手机防抖功能评价过程可操作性更强、步骤清晰，优化完善了评价结果及其代表的意义，提高了评估结果的客观性，更容易理解和实现手机防抖性能的相互比对。

具体实施方式

本发明所述的一种基于目标位移量估计的手机防抖功能评估方法，具体步骤包括：

步骤1、将待测试手机固定在振动台上，通过手动或自动对焦使远景画面清晰，保持振动台静止状态下拍摄一张图像S，拍摄的远景图像中包含具有角点特征结构的物体。

其中，本发明所述的一种基于目标位移量估计的手机防抖功能评估方法只有对远景进行评价才有意义，因此，被拍摄物体与手机镜头之间的物距越大，拍摄物体在最终成像上的位置发生变化时，对整幅图像的影响越大，人眼越容易察觉。而选择包含具有明显角点特征结构的物体，可方便后续计算位移量使用的目标点的选取，具有明显角点特征结构的物体更容易通过图像处理方法在图像中定位具体坐标，如远处的建筑、塔台、树木等。

步骤3、随着振动台的振动，关闭待测试手机防抖设置，拍摄A组图像张，，本例中，；然后开启待测试手机防抖设置，拍摄B组图像张，，本例中，。

步骤4、在电脑中对图像S进行操作，通过手动框选的方式在图像S上选择一个只包含有唯一角点结构的正方形区域图像，如远处某个建筑的楼顶一角或远处塔台的最顶端等，保存区域图像作为模板图像M。

步骤5、设图像S的长度为W，宽度为H，以规定步长的方式组成尺度序列对M进行缩放，得到相应的模板组Mi。本例中，规定步长为0.035*H，在区间[0.1*H,0.8*H]内构建尺度序列m=0.1*H,0.1035*H,0.107*H,…,0.8*H，并按照该尺度序列对M进行缩放，得到模板组Mi(i=1,2,3,…,20)。

步骤6、将模板组Mi(i=1,2,3,…,20)中的一张模板放在A组的一张图像上，从图像左上角开始，以1个像素为步长进行平移，计算每平移一步模板与被覆盖区域的相关系数，保存该模板的最大相关系数及其对应的被覆盖区域的区域坐标，直至所有模板组Mi(i=1,2,3,…,20)中模板平移结束，得到A组中该张图像上每个不同尺度模板对应的被覆盖区域相关性最强的区域坐标T(xi,yi)和对应的相关系数Ri(i=1,2,3,…20)，选择Ri中最大值对应的T(xi,yi)区域图像，即为A组中该图像只包含唯一角点结构的区域图像。

步骤12、用角点检测算法提取角点，提取得到的角点即为目标点；

步骤14、计算防抖开启和关闭状态下的平均位移量：

步骤15、由平均位移量生成评价结果，具体评价过程包括：

若，则说明防抖功能未起作用，甚至对手机本身的拍照功能造成了负面影响，该手机防抖功能定义为差；

若，，本例中n=0.01，则说明防抖功能正常工作，但防抖效果一般，该手机防抖功能定义为良；

若，，本例中n=0.01，则说明防抖功能正常工作且效果良好，该手机防抖功能定义为优；

若，评价过程出错，评价结果无效。

通过上述步骤形成的基于目标位移量估计的手机防抖评估报告，可使目标位移的计算更准确，提升了现有手机防抖功能评价的准确性和客观性。

Claims

1.一种基于目标位移量估计的手机防抖功能评估方法，其特征在于，具体步骤包括：

步骤1、待测试手机固定在振动台上，通过手动或自动对焦使远景画面清晰，保持振动台静止状态下拍摄一张图像S，拍摄的远景图像中包含具有角点特征结构的物体；

步骤2、根据待测试手机质量选择防抖测试标准《CIPA DC-X011-Translation-2014》中阐述的对应波形，开启振动台，使待测试手机随着振动台按照固定波形一起振动；

步骤3、在关闭待测试手机防抖设置的前提下拍摄A组图像张；

在开启待测试手机防抖设置的前提下拍摄B组图像张；

步骤4、通过手动框选的方式在图像S上选择一个只包含有唯一角点结构的正方形区域图像，保存区域图像作为模板图像M；

步骤5、设图像S的长度为W，宽度为H，以规定步长的方式组成尺度序列对M进行缩放，得到相应的模板组Mi；

步骤6、将模板组Mi中的一张模板放在A组的一张图像上，从图像左上角开始，以1个像素为步长进行平移，计算每平移一步模板与被覆盖区域的相关系数，保存该模板的最大相关系数及其对应的被覆盖区域的区域坐标，直至所有模板组Mi中模板平移结束，得到A组中该张图像上每个不同尺度模板对应的被覆盖区域相关性最强的区域坐标T(xi,yi)和对应的相关系数Ri，选择Ri中最大值对应的T(xi,yi)区域图像，即为A组中该图像只包含唯一角点结构的区域图像；

步骤7、重复步骤6，完成所有A组图像对应的只包含唯一角点结构的区域图像；

步骤8、根据步骤6和步骤7，完成所有B组图像对应的只包含唯一角点结构的区域图像；

步骤9、搭建DeblurGAN网络架构，包含两个1/2间隔的卷积单元、9个残差单元和两个反卷积单元，每个残差单元由一个卷积层、实例归一化层和ReLU激活组成；

步骤10、载入预训练模型DeblurGANWILD、DeblurGANSynth或DeblurGANComb；

步骤11、将所有A组和B组图像对应的只包含唯一角点结构的区域图像输入加载成功的模型中，输出去模糊后的结果图像；

；

步骤14、计算防抖开启和关闭状态下的平均位移量：

步骤15、由平均位移量生成评价结果，具体评价过程包括：

若,该手机防抖功能定义为差；

若，，该手机防抖功能定义为良；

若，，该手机防抖功能定义为优；

若，评价过程出错，评价结果无效。

2.根据权利要求1所述的一种基于目标位移量估计的手机防抖功能评估方法，其特征在于，步骤3中，所述；所述。

3.根据权利要求1所述的一种基于目标位移量估计的手机防抖功能评估方法，其特征在于，步骤5中，所述规定步长为0.035*H，并在区间[0.1*H,0.8*H]内构建尺度序列m=0.1*H,0.1035*H,0.107*H,…,0.8*H，按照该尺度序列对M进行缩放，得到模板组Mi(i=1,2,3,…,20)。

4.根据权利要求1所述的一种基于目标位移量估计的手机防抖功能评估方法，其特征在于，步骤15中，所述n=0.01。