CN115567706B - 一种基于强化学习的显示器屏幕刷新频率追踪方法 - Google Patents

Abstract

本发明公开的一种基于强化学习的显示器屏幕刷新频率追踪方法，包括通过显示屏持续播放视频画面，视觉传感器以初始采样频率F0对画面进行采样；学习单元实时读取画面帧，并对图像做差分运算，差分运算后的图像输入学习算法模型；场景同步单元根据差分图像的灰度大小与分布进行判断前后帧的相似度，得到差分图像值；若差分图像值大于预定阈值，则冻结当前差分图像，直至差分图像值小于预定阈值。

Description

一种基于强化学习的显示器屏幕刷新频率追踪方法

技术领域

本发明涉及屏幕刷屏频率追踪领域，更具体的，涉及一种基于强化学习的显示器屏幕刷新频率追踪方法。

背景技术

显示器的光学属性测定包括显示器的时间稳定性、亮度和色度均匀性、色域、色品恒定性、通道独立性及色温等，传统的显示器测量需要给定屏幕特定颜色的纯色画面进行显示，同时利用亮度计、色度计和视觉传感器等多种设备对屏幕的光学特性进行测量并与已知的样本图像特征进行比对，从而计算出显示器的这些光学属性。这类设备种类多、成本高，对环境光照条件要求苛刻，且体积和重量较大，通常需要部署在专门的光学实验室，存在以下问题：

1. 无法对播放任意视频画面的显示器进行频率测定，因为光电传感器测定的是显示器的亮度绝对值的变化，而屏幕刷新、画面内容的切换均会导致前后时刻的亮度差异，已有方法均是对纯色画面进行测定，获得屏幕亮度随时间的变化波形，从而得到显示器刷新频率。

2. 无法对刷新频率动态变化的显示器进行频率跟踪，如VR眼镜中的画面渲染存在低功耗模式，需要根据画面内容变化、VR头盔的姿态变化来动态调节显示屏的工作参数，在对其光电属性测定时，如果能根据一段时间的频率变化来预测后续时刻的频率，响应时间更短则会获得更好的动态性能测量效果，但是光电传感器仅对瞬时的频率进行测量而无法与前面一段时间频率变化趋势进行关联和预测。

随着视觉传感器和图像处理算法的发展，视觉传感器的亮度和色度测量精度和分辨率已有显著提高，且基于视觉传感器可采集到一段时间内的亮度变化特征，具备变化趋势预测的能力。

但是，不同于自然景物的拍摄，在单纯依赖视觉传感器对显示器进行亮度采样时，视觉传感器的采样频率和显示器的刷新频率的不一致会导致两者之间存在着频率失步造成采样画面伴入频闪条纹噪声的现象。频率失步是指屏幕画面是动态刷新而不是自然景物反射光照的一个持续不变的画面，视觉传感器采样时也存在一个帧率，表征一秒内拍摄画面的次数，假设屏幕刷新频率为α，视觉传感器采样率为β，当α≠β或者两者时间不同步时，会造成拍摄的画面中有面积、移动速度不一的黑色纹理产生，就是所谓的“频闪现象”，如图1所示，特别是在VR设备中，为了给人眼渲染更为自然的画面感，其屏幕刷新率高达90Hz，且这类设备的刷新频率难以通过软件控制，这对视觉传感器的同步动作要求也更高。

发明内容

为了解决上述至少一个技术问题，本发明提出了一种基于强化学习的显示器屏幕刷新频率追踪方法，该方法可支持任意画面内容播放场景中的显示器刷新频率追踪，可用于各类光电显示器、VR设备等屏幕的刷新频率等光电属性测定。

本发明第一方面提供了一种基于强化学习的显示器屏幕刷新频率追踪方法，包括如下步骤：

通过显示屏持续播放视频画面，视觉传感器以初始采样频率F0对画面进行采样；

学习单元实时读取画面帧，并对图像做差分运算，差分运算后的图像输入学习算法模型；

场景同步单元根据差分图像的灰度大小与分布进行判断前后帧的相似度，得到差分图像值；

若差分图像值大于预定阈值，则冻结当前差分图像，直至差分图像值小于预定阈值。

本发明一个较佳实施例中，差分运算方式为：

   (1)

式(1)中D(x,y)是连续两帧图像之间的差分图像函数，由图像I(t)和其前一帧图像I(t-1)做差分运算得到，差分运算的方法为两帧图像中坐标相同的像素点灰度数据做减法得到差值，然后取每个差值的绝对值得到一帧新的图像，I(t)和I(t-1)分别为t和t-1时刻的图像灰度值矩阵，I的大小为M*N，对应图像的分辨率的M行和N列，差分图像D(x,y)是前后图像对应像素点灰度差值取绝对值后的矩阵，大小为M*N，其中x和y分别表示行和列的索引值集合，x的取值范围为[0, M]的整数且步长为1，y的取值范围为[0, N]的整数且步长为1，差分处理后的图像D(x,y)送入后续的学习算法模型。

本发明一个较佳实施例中，冻结机制公式如下:

Frozen表示不对当前帧做更新动作，一直到前后两帧的差值小于阈值为止。

本发明一个较佳实施例中，学习算法模型包括Action-Network和Q-Network两部分；

Action-Network实现从模型输入到下一个时刻动作映射，Q-Network实现从当前设置参数到下一个时刻显示屏刷新频率追踪效果的映射。

本发明一个较佳实施例中，学习单元进行频率追踪的过程如下：

学习单元内置有学习算法软件，学习算法软件读取样本图像和屏幕频率范围，以步进的方式将屏幕设置在不同刷新频率点并播放图像，样本图像可以是任意颜色及其组合的内容；

每一种显示频率下，学习算法软件设置视觉传感器的采样频率为F0并开始采集视觉传感器的图像数据，根据Q-Network网络的默认参数预测下一帧图像的样式，下次采样时刻得到视觉传感器实际采样到的图像reward，所得到的预测图像与实际采样图像的差值Δreward表示Action-Network的有效性，预测图像与实际采样图像的差值Δreward越小说明对视觉传感器采样频率调节的效果越接近理想值，其对时间的导数反馈给Action-Network进行参数调节，用以训练Action-Network获得对视觉传感器一步到位的采样率设置，重复上述动作，直到所预测图像样式和实际图像样式的差值小于预定值，即频闪纹理弱于预定值时停止当前显示频率的学习，学习算法软件遍历显示频率并学习，获得对设定频率范围内的追踪能力。

本发明一个较佳实施例中，Action-Network的输入向量为St，St为当前及过去N-1个时刻的差分图像参数输入，包括视觉传感器过去N-1个时刻的差分图像，每个时刻的采样频率和每帧采样时长数值；

Action-Network的输出向量为，表示预测动作的集合，表示下一时刻对视觉传感器采样率和采样时长的设置量。

本发明一个较佳实施例中，Q-Network的输入向量包括当前视觉传感器的设置参数的集合和当前差分图像函数D(x,y)，通过神经网络的非线性映射，得到***下一个时刻的最大概率图像样式预测，reward为视觉传感器下一个时刻实际采样到的图像值。

本发明的上述技术方案相比现有技术具有以下优点：

（1）该方法支持对不同屏幕类别、不同视觉传感器类被和不同频率范围的自适应学习，随场景更改而自动学习，鲁棒性高。

（2）该方法与显示器显示的画面内容无关，能根据画面背景的切换做自动过滤和同步，不需要显示器工作在纯色画面模式下，适用范围广。

（3）该方法对屏幕属性的测量仅依赖视觉传感器，采用1种设备实现原来多种设备的测量功能，用时短，效率高。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的一些附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例采样失步造成的纹理噪声示意图；

图2是本发明实施例基于强化学习的显示器刷新频率追踪***示意图；

图3是本发明实施例强化学习算法的神经网络示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例一

参见图1-图3所示，本发明提出了一种基于强化学习的显示器屏幕刷新频率追踪方法，包括如下步骤：

通过显示屏持续播放视频画面，视觉传感器以初始采样频率F0对画面进行采样；

学习单元实时读取画面帧，并对图像做差分运算，差分运算后的图像输入学习算法模型；

场景同步单元根据差分图像的灰度大小与分布进行判断前后帧的相似度，得到差分图像值；

其中，相似度计算公式为

式中a(u,v)为差分运算后该像素对差分值的权重系数，系数的分布区间为[0.5,1.5]，默认值为1，K[i]表示第i个时刻的图像，K[i-1]表示前一个时刻即i-1时刻的图像，u和v表示图像中像素点的行和列坐标值。

若差分图像值大于预定阈值，则冻结当前差分图像，直至差分图像值小于预定阈值。

进一步的，差分运算方式为：

   (1)

式(1)中D(x,y)是连续两帧图像之间的差分图像函数，由图像I(t)和其前一帧图像I(t-1)做差分运算得到，差分运算的方法为两帧图像中坐标相同的像素点灰度数据做减法得到差值，然后取每个差值的绝对值得到一帧新的图像，I(t)和I(t-1)分别为t和t-1时刻的图像灰度值矩阵，I的大小为M*N，对应图像的分辨率的M行和N列，差分图像D(x,y)是前后图像对应像素点灰度差值取绝对值后的矩阵，大小为M*N，其中的x和y分别表示行和列的索引值集合，x的取值范围为[0, M]的整数且步长为1，y的取值范围为[0, N]的整数且步长为1，差分处理后的图像D(x,y)送入后续的学习算法模型。

进一步的，冻结机制公式如下:

Frozen表示不对当前帧做更新动作，一直到前后两帧的差值小于阈值为止。

进一步的，学习单元进行频率追踪的过程如下：

学习单元内置有学习算法软件，学习算法软件读取样本图像和屏幕频率范围，以步进的方式将屏幕设置在不同刷新频率点并播放图像，样本图像可以是任意颜色及其组合的内容；

每一种显示频率下，学习算法软件设置视觉传感器的采样频率为F0并开始采集视觉传感器的图像数据，根据Q-Network网络的默认参数预测下一帧图像的样式，下次采样时刻得到视觉传感器实际采样到的图像reward，所得到的预测图像与实际采样图像的差值Δreward表示Action-Network的有效性，预测图像与实际采样图像的差值Δreward越小说明对视觉传感器采样频率调节的效果越接近理想值，其对时间的导数反馈给Action-Network进行参数调节，用以训练Action-Network获得对视觉传感器一步到位的采样率设置，再重复上述动作，直到所预测图像样式和实际图像样式的差值小于预定值，即频闪纹理弱于预定值时停止当前显示频率的学习，学习算法软件遍历显示频率并学习，获得对设定频率范围内的追踪能力。

进一步的，学习算法模型包括Action-Network和Q-Network两部分；

Action-Network实现从模型输入到下一个时刻动作映射，Q-Network实现从当前设置参数到下一个时刻显示屏刷新频率追踪效果的映射。

进一步的，Action-Network的输入向量为St，St=[ D(x,y)，S，Tf]，为当前及过去N-1个时刻的差分图像参数输入，包括视觉传感器过去N-1个时刻的差分图像，每个时刻的采样频率和每帧采样时长数值，St矩阵如表1所示；

进一步的，Action-Network采用LSTM网络，可对过去N-1个时刻的图像进行卷积计算，不仅获得当前时刻差分图像的卷积特征，还能获得一段时间内“噪声纹理”的移动模式，能综合运用多个特征来获得设置动作，Q-Network的网络模型采样多层感知机，对输入的当前图像、当前采样率和采样时长进行非线性映射，得到期望的图像样式。

该方法将视觉传感器和算法模型相结合，在测量过程中，算法模型自动调整视觉传感器采样参数，消除采样图像中的频闪纹理噪声，做到仅依赖视觉传感器和计算机硬件，而不需要亮度计和色度计等专用设备即可事先自动追踪和测量的效果。

Action-Network的输出向量为，=[S’, Tf’]表示预测动作的集合，表示下一时刻对视觉传感器采样率和采样时长的设置量，如表2所示；

进一步的，Q-Network的输入向量包括当前视觉传感器的设置参数的集合和当前差分图像函数D(x,y)，通过神经网络的非线性映射，得到***下一个时刻的最大概率图像样式预测，reward为视觉传感器下一个时刻实际采样到的图像值。

进一步的，下一个时刻的最大概率图像样式预测与图像传感器实际采样图像样式的差值表示Action-Network的有效性，下一个时刻的最大概率图像样式预测与图像传感器实际采样图像样式的差值越小说明对视觉传感器采样频率调节的效果越接近理想值，其对时间的导数反馈给Action-Network进行正反向误差传播，用以训练Action-Network，Action-Network的训练目标是使预测误差为0，获得对视觉传感器一步到位的采样率设置，达到快速追踪的效果；

所预测图像样式和实际图像样式的差值作为Δreward，表示下一个时刻的纹理噪声图像，纹理噪声越弱表示追踪的频率越精准，Δreward作为***奖励，代表***在远期可以获得的最大收益，其为调整视觉传感器参数后的噪声程度，奖励越大表示其噪声越小，奖励为负表示噪声增加，L(Δreward) 为***预测奖励与实际奖励的差值二范数，被反馈给Q-Network进行正反向误差传播，用以训练Q-Network，Q-Network的训练目标是使L(w)为0，即消除采样图像的失步条纹噪声，达到精准跟踪的效果。

综上所述，该方法支持对不同屏幕类别、不同视觉传感器类被和不同频率范围的自适应学习，随场景更改而自动学习，鲁棒性高，该方法与显示器显示的画面内容无关，能根据画面背景的切换做自动过滤和同步，不需要显示器工作在纯色画面模式下，适用范围广，该方法对屏幕属性的测量仅依赖视觉传感器，采用1种设备实现原来多种设备的测量功能，用时短，效率高。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对上述实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的上述实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (1)

1.一种基于强化学习的显示器屏幕刷新频率追踪方法，其特征在于，包括如下步骤：

通过显示屏持续播放视频画面，视觉传感器以初始采样频率F0对画面进行采样；

学习单元实时读取画面帧，并对图像做差分运算，差分运算公式为：

   (1)

式(1)中D(x,y)是连续两帧图像之间的差分图像函数，由图像I(t)和其前一帧图像I(t-1)做差分运算得到，差分运算的方法为两帧图像中坐标相同的像素点灰度数据做减法得到差值，然后取每个差值的绝对值得到一帧新的图像，I(t)和I(t-1)分别为t和t-1时刻的图像灰度值矩阵，I的大小为M*N，对应图像的分辨率的M行和N列，差分图像D(x,y)是前后图像对应像素点灰度差值取绝对值后矩阵，大小为M*N，其中x和y分别表示行和列的索引值集合，x的取值范围为[0, M]的整数且步长为1，y的取值范围为[0, N]的整数且步长为1，差分处理后的图像D(x,y)输入学习算法模型；

场景同步单元根据差分图像的灰度大小与分布判断前后帧的相似度，得到差分图像值；

若差分图像值大于预定阈值，则冻结当前差分图像，直至差分图像值小于预定阈值；

冻结当前差分图像表示不对图像的当前帧做更新动作，冻结机制公式如下:

其中T表示前后两帧差值的阈值，Frozen表示不对当前帧做更新动作，一直到前后两帧的差值小于阈值为止；

学习算法模型包括Action-Network和Q-Network两部分；

Action-Network实现从模型输入到下一个时刻动作映射，Q-Network实现从当前设置参数到下一个时刻显示屏刷新频率追踪效果的映射；

学习单元进行频率追踪的过程如下：

学习单元内置有学习算法软件，学习算法软件读取样本图像和屏幕频率范围，以步进的方式将屏幕设置在不同刷新频率点并播放图像，样本图像为任意颜色及其组合的内容；

每一种显示频率下，学习算法软件设置视觉传感器的采样频率为F0，并开始采集视觉传感器的图像数据；

根据Q-Network网络的默认参数预测下一帧图像的样式，下次采样时刻得到视觉传感器实际采样到的图像reward，所得到的预测图像与实际采样图像的差值Δreward用于表示Action-Network的有效性，预测图像与实际采样图像的差值Δreward越小说明对视觉传感器采样频率调节的效果越接近理想值，其对时间的导数反馈给Action-Network进行参数调节，用以训练Action-Network获得对视觉传感器的采样率设置，重复上述动作，直至预测图像样式和实际图像样式的差值小于预定值时，停止当前显示频率的学习；

Action-Network的输入向量为St，St为当前及过去N-1个时刻的差分图像参数输入，包括视觉传感器过去N-1个时刻的差分图像，每个时刻的采样频率和每帧采样时长数值；

Action-Network的输出向量为，表示预测动作的集合，或表示下一时刻对视觉传感器采样率和采样时长的设置量；

Q-Network的输入向量包括当前视觉传感器的设置参数的集合 和当前差分图像函数D(x,y)，通过神经网络的非线性映射，得到***下一个时刻的最大概率图像样式预测。

Images