CN108574794B - 图像处理方法、装置及显示设备、计算机可读存储介质 - Google Patents

图像处理方法、装置及显示设备、计算机可读存储介质 Download PDF

Info

Publication number
CN108574794B
CN108574794B CN201810288908.5A CN201810288908A CN108574794B CN 108574794 B CN108574794 B CN 108574794B CN 201810288908 A CN201810288908 A CN 201810288908A CN 108574794 B CN108574794 B CN 108574794B
Authority
CN
China
Prior art keywords
original images
frame
reconstructed image
image frame
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810288908.5A
Other languages
English (en)
Other versions
CN108574794A (zh
Inventor
毕海峰
王鑫
方燕
李文可
包玉峰
刘白灵
赵顺
陈利峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Ordos Yuansheng Optoelectronics Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Ordos Yuansheng Optoelectronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Ordos Yuansheng Optoelectronics Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810288908.5A priority Critical patent/CN108574794B/zh
Publication of CN108574794A publication Critical patent/CN108574794A/zh
Priority to US16/465,810 priority patent/US11200649B2/en
Priority to PCT/CN2018/116078 priority patent/WO2019184393A1/zh
Application granted granted Critical
Publication of CN108574794B publication Critical patent/CN108574794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/211Ghost signal cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明提供了一种图像处理方法、装置及显示设备、计算机可读存储介质,属于显示技术领域。其中,图像处理方法,包括:从视频图像数据流中获取前后两帧原始图像;从所述前后两帧原始图像中提取出产生拖影的特征元素;利用所述前后两帧原始图像和所述特征元素生成一重建图像帧,所述重建图像帧不包括所述特征元素;将所述重建图像帧***前后两帧原始图像之间。本发明的技术方案能够消除拖影,实现低余晖显示。

Description

图像处理方法、装置及显示设备、计算机可读存储介质
技术领域
本发明涉及显示技术领域,特别是指一种图像处理方法、装置及显示设备、计算机可读存储介质。
背景技术
在目前的显示领域,TFT-LCD(薄膜晶体管-液晶显示器)因相对于传统CRT(阴极射线显像管显示器)显示方式具有高分辨率,高清晰度,高亮度等优点而得到迅速发展,然而,LCD在显示运动图像时出现拖尾和模糊的情形也常被人诟病;经过大量的研究,人们发现LCD产生运动图像拖尾的原因主要有液晶响应速度、液晶显示保持特性及人类视觉余晖效应三个方面,在VR(虚拟现实)头戴显示设备中,余晖效应会给人造成眩晕感,低余晖显示时,佩戴者的头部移动时物体的轨迹更加接近于物理世界的真实轨迹,这时头部运动带来的拖影会大大降低。
在液晶响应速度较慢时,拖影的严重程度主要取决于液晶驱动电路的响应速度,而当液晶驱动电路的响应速度提升到较高的水平后,拖影则主要取决于LCD的保持特性,对于液晶驱动电路的响应速度不够快的问题目前基本可以通过OverDrive(过驱动)技术解决,但由于人眼的视觉余晖效应,即便达到0ms的响应时间,液晶拖影也依然存在。
发明内容
本发明要解决的技术问题是提供一种图像处理方法、装置及显示设备、计算机可读存储介质,能够消除拖影,实现低余晖显示。
为解决上述技术问题,本发明的实施例提供技术方案如下:
一方面,提供一种图像处理方法,包括:
从视频图像数据流中获取前后两帧原始图像;
从所述前后两帧原始图像中提取出产生拖影的特征元素;
利用所述前后两帧原始图像和所述特征元素生成一重建图像帧,所述重建图像帧不包括所述特征元素;
将所述重建图像帧***前后两帧原始图像之间。
进一步地,所述从所述前后两帧原始图像中提取出产生拖影的特征元素之前,所述方法还包括:
对所述前后两帧原始图像进行锐化滤波处理。
进一步地,所述从所述前后两帧原始图像中提取出产生拖影的特征元素包括:
对前一帧原始图像F(n-1)和后一帧原始图像F(n+1)进行两次相减逻辑运算,分别得到F(a)和F(b)
将F(a)和F(b)进行相加逻辑运算得到F(c)
对F(c)进行形态学的膨胀和腐蚀运算处理,得到产生拖影的特征元素F′(n)
进一步地,所述利用所述前后两帧原始图像和所述特征元素生成一重建图像帧包括:
将F(n-1)与F′(n)进行相减逻辑运算得到F′(n-1)
将F(n+1)与F′(n)进行相减逻辑运算得到F′(n+1)
将F′(n-1)与F′(n+1)进行数据对比,得到重建图像帧F(n)
进一步地,所述将F′(n-1)与F′(n+1)进行数据对比,得到重建图像帧F(n)包括:
将F′(n-1)中每一像素的亮度与F′(n+1)中对应像素的亮度进行比对,保留其中亮度低的像素数据,去除其中亮度高的像素数据;
利用所保留的像素数据生成所述重建图像帧F(n)
进一步地,所述将所述重建图像帧***前后两帧原始图像之间包括:
对所述视频图像数据流进行倍频处理后,在所述前后两帧原始图像之间***所述重建图像帧。
本发明实施例还提供了一种图像处理装置,包括:
获取模块,用于从视频图像数据流中获取前后两帧原始图像;
提取模块,用于从所述前后两帧原始图像中提取出产生拖影的特征元素,所述重建图像帧不包括所述特征元素;
重建模块,用于利用所述前后两帧原始图像和所述特征元素生成一重建图像帧;
***模块,用于将所述重建图像帧***前后两帧原始图像之间。
进一步地,所述装置还包括:
预处理模块,用于在从所述前后两帧原始图像中提取出产生拖影的特征元素之前,对所述前后两帧原始图像进行锐化滤波处理。
进一步地,所述提取模块具体用于对前一帧原始图像F(n-1)和后一帧原始图像F(n+1)进行两次相减逻辑运算,分别得到F(a)和F(b);将F(a)和F(b)进行相加逻辑运算得到F(c);对F(c)进行形态学的膨胀和腐蚀运算处理,得到产生拖影的特征元素F′(n)
进一步地,所述重建模块包括:
逻辑运算单元,用于将F(n-1)与F′(n)进行相减逻辑运算得到F′(n-1);将F(n+1)与F′(n)进行相减逻辑运算得到F′(n+1)
比对单元,用于将F′(n-1)与F′(n+1)进行数据对比,得到重建图像帧F(n)
进一步地,所述比对单元具体用于将F′(n-1)中每一像素的亮度与F′(n+1)中对应像素的亮度进行比对,保留其中亮度低的像素数据,去除其中亮度高的像素数据;利用所保留的像素数据生成所述重建图像帧F(n)
进一步地,所述***模块具体用于对所述视频图像数据流进行倍频处理后,在所述前后两帧原始图像之间***所述重建图像帧。
本发明实施例还提供了一种显示设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述处理器执行所述程序时实现如上所述的图像处理方法。
进一步地,所述显示设备为VR头戴设备。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的图像处理方法中的步骤。
本发明的实施例具有以下有益效果:
上述方案中,从视频图像数据流中获取前后两帧原始图像,并通过算法处理提取出前后两帧原始图像中会造成拖影的特征元素,滞后利用前后两帧原始图像和所述特征元素生成一重建图像帧,最终将重建图像帧***前后两帧原始图像之间,本实施例通过对视频影像进行倍频插帧的方法,可有效改善TFT-LCD出现的拖尾和模糊的情况,并且可将亮度损失降到最低。反转滤波和运动预估补偿插帧算法一般要经过采样、量化、校正、傅里叶变换、校正、显示等复杂过程,相比于反转滤波方法和运动预估补偿插帧算法,本实施例涉及的算法实现更简单,有利于节约数据带宽;另外,通常反转滤波算法会存在噪声、画面闪烁等问题,而本实施例的技术方案在生成重建图像帧的过程中并不存在上述问题;相比于背光插黑、背光扫描方法,本实施例的技术方案硬件实现更简单,只需要在显示设备的驱动电路中增加相应的图像处理电路,而不必改变现有LCD显示以及背光***的结构,成本较低。
附图说明
图1为本发明实施例图像处理方法的流程示意图;
图2为本发明实施例图像处理装置的结构框图;
图3为本发明具体实施例图像处理方法的流程示意图;
图4-图11为本发明具体实施例对图像进行处理的示意图;
图12为本发明具体实施例***重建图像帧的示意图。
具体实施方式
为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
目前用来解决保持特性的方法有:插黑技术(包括背光插黑和显示插黑帧技术)、背光扫描技术、反转滤波技术及运动预估补偿插帧技术等;其中,背光插黑(背光源闪烁)和背光源扫描均是在LCD的保持模式下模仿或部分实现脉冲显示的方法,该方法可有效改善拖影,但是LCD亮度损失太大;通过显示部分插黑帧和运动预估补偿插帧技术均是在每两帧画面之间***一个全黑的中间帧,并使帧频率增加一倍,从信号处理的角度缩短LCD保持时间改善拖影,但是算法较复杂,且会增加对数据速率和带宽的要求;反转滤波技术则是通过空间频率分析的角度,将图像中空间频率较高的信息成分(运动细节)过滤掉,使观看者只感知到图像中空间频率较低的信息成分(运动物体的轮廓)来改善拖影,但是该方法也存在算法复杂及存在噪声、画面闪烁等问题。
本发明的实施例提供一种图像处理方法、装置及显示设备、计算机可读存储介质,能够消除拖影,实现低余晖显示,并且算法简单,易于实现。
本发明实施例提供了一种图像处理方法,如图1所示,包括:
步骤101:从视频图像数据流中获取前后两帧原始图像;
步骤102:从所述前后两帧原始图像中提取出产生拖影的特征元素;
步骤103:利用所述前后两帧原始图像和所述特征元素生成一重建图像帧,所述重建图像帧不包括所述特征元素;
步骤104:将所述重建图像帧***前后两帧原始图像之间。
本实施例中,从视频图像数据流中获取前后两帧原始图像,并通过算法处理提取出前后两帧原始图像中会造成拖影的特征元素,滞后利用前后两帧原始图像和所述特征元素生成一重建图像帧,最终将重建图像帧***前后两帧原始图像之间,本实施例通过对视频影像进行倍频插帧的方法,可有效改善TFT-LCD出现的拖尾和模糊的情况,并且可将亮度损失降到最低。反转滤波和运动预估补偿插帧算法一般要经过采样、量化、校正、傅里叶变换、校正、显示等复杂过程,相比于反转滤波方法和运动预估补偿插帧算法,本实施例涉及的算法实现更简单,有利于节约数据带宽;另外,通常反转滤波算法会存在噪声、画面闪烁等问题,而本实施例的技术方案在生成重建图像帧的过程中并不存在上述问题;相比于背光插黑、背光扫描方法,本实施例的技术方案硬件实现更简单,只需要在显示设备的驱动电路中增加相应的图像处理电路,而不必改变现有LCD显示以及背光***的结构,成本较低。
另外,相比于背光插黑、Display插黑技术,本实施例的技术方案能够有效降低LCD亮度损失,提高能量利用效率,以插黑duty cycle(脉冲方波的占空比)是50%为例,LCD亮度损失超过一半,能量利用效率减少一半,意味着要保持同样亮度,背光亮度需要提高一倍,而本实施例的技术方案在生成重建图像帧的过程中,只是将前后两帧原始图像中造成拖影的特征元素提取出来,并在重建图像帧数据中将其剔除,相当于画面局部(造成拖影的区域)插黑,其余部分则保持不变,这样尽可能降低亮度损失,提高能量利用效率。
进一步地,所述从所述前后两帧原始图像中提取出产生拖影的特征元素之前,所述方法还包括:
对所述前后两帧原始图像进行锐化滤波处理。在一帧图像中如果存在快速运动的物体,其运动轨迹及轮廓会存在模糊的情况,表现在频域为模糊区域的高频成分低于低频成分,进行锐化滤波处理的目的在于补偿图像的轮廓,增强图像的边缘及灰度跳变部分,将模糊区域的低频成分进行滤波处理,以便后续进行其他操作。
进一步地,所述从所述前后两帧原始图像中提取出产生拖影的特征元素包括:
对前一帧原始图像F(n-1)和后一帧原始图像F(n+1)进行两次相减逻辑运算,分别得到F(a)和F(b)
将F(a)和F(b)进行相加逻辑运算得到F(c)
对F(c)进行形态学的膨胀和腐蚀运算处理,得到产生拖影的特征元素F′(n)
其中,产生拖影的特征元素包括运动物体及物体运动轨迹,膨胀和腐蚀运算是形态学图像处理的基础,实质上膨胀是在图像中“加粗”或“***”的操作,腐蚀则是“收缩”或“细化”图像中的对象,在图像中可认为物体的运动轨迹即为两个运动元素分离距离最小的位置,对F(c)进行膨胀运算可以将图像中两个分离的运动元素从最近的位置连通,即将运动物体和物体运动轨迹连通,在对图像进行膨胀运算时可能会引入许多缺口,该部分可通过腐蚀运算来进行填充,在完成上述运算处理后,可得到最终期望提取的特征元素F′(n)
进一步地,所述利用所述前后两帧原始图像和所述特征元素生成一重建图像帧包括:
将F(n-1)与F′(n)进行相减逻辑运算得到F′(n-1)
将F(n+1)与F′(n)进行相减逻辑运算得到F′(n+1)
将F′(n-1)与F′(n+1)进行数据对比,得到重建图像帧F(n)
进一步地,所述将F′(n-1)与F′(n+1)进行数据对比,得到重建图像帧F(n)包括:
将F′(n-1)中每一像素的亮度与F′(n+1)中对应像素的亮度进行比对,保留其中亮度低的像素数据,去除其中亮度高的像素数据;
利用所保留的像素数据生成所述重建图像帧F(n)
保留亮度低的像素数据有利于提高画面的流畅性,降低拖影,同时能够减少显示设备的功耗。对比处理后的两帧图像F′(n-1)、F′(n+1)与两帧原始图像发现,原始图像中造成拖影的运动物体和物体运动轨迹在重建图像帧中已被剔除,实际显示时该区域为黑色,其他区域均与原始图像保持一致,在显示过程中相当于对运动物体及其轨迹区域进行局部插黑处理,并不会对画面亮度造成大的损失,在对所述视频图像数据流进行倍频处理后,在所述前后两帧原始图像之间***所述重建图像帧,这样可以在高刷新率状态下降低显示余晖效果。
本发明实施例还提供了一种图像处理装置,如图2所示,包括:
获取模块21,用于从视频图像数据流中获取前后两帧原始图像;
提取模块22,用于从所述前后两帧原始图像中提取出产生拖影的特征元素,所述重建图像帧不包括所述特征元素;
重建模块23,用于利用所述前后两帧原始图像和所述特征元素生成一重建图像帧;
***模块24,用于将所述重建图像帧***前后两帧原始图像之间。
本实施例中,从视频图像数据流中获取前后两帧原始图像,并通过算法处理提取出前后两帧原始图像中会造成拖影的特征元素,滞后利用前后两帧原始图像和所述特征元素生成一重建图像帧,最终将重建图像帧***前后两帧原始图像之间,本实施例通过对视频影像进行倍频插帧的方法,可有效改善TFT-LCD出现的拖尾和模糊的情况,并且可将亮度损失降到最低。反转滤波和运动预估补偿插帧算法一般要经过采样、量化、校正、傅里叶变换、校正、显示等复杂过程,相比于反转滤波方法和运动预估补偿插帧算法,本实施例涉及的算法实现更简单,有利于节约数据带宽;另外,通常反转滤波算法会存在噪声、画面闪烁等问题,而本实施例的技术方案在生成重建图像帧的过程中并不存在上述问题;相比于背光插黑、背光扫描方法,本实施例的技术方案硬件实现更简单,只需要在显示设备的驱动电路中增加相应的图像处理电路,而不必改变现有LCD显示以及背光***的结构,成本较低。
进一步地,所述装置还包括:
预处理模块,用于在从所述前后两帧原始图像中提取出产生拖影的特征元素之前,对所述前后两帧原始图像进行锐化滤波处理。在一帧图像中如果存在快速运动的物体,其运动轨迹及轮廓会存在模糊的情况,表现在频域为模糊区域的高频成分低于低频成分,进行锐化滤波处理的目的在于补偿图像的轮廓,增强图像的边缘及灰度跳变部分,将模糊区域的低频成分进行滤波处理,以便后续进行其他操作。
进一步地,所述提取模块22具体用于对前一帧原始图像F(n-1)和后一帧原始图像F(n+1)进行两次相减逻辑运算,分别得到F(a)和F(b);将F(a)和F(b)进行相加逻辑运算得到F(c);对F(c)进行形态学的膨胀和腐蚀运算处理,得到产生拖影的特征元素F′(n)
其中,产生拖影的特征元素包括运动物体及物体运动轨迹,膨胀和腐蚀运算是形态学图像处理的基础,实质上膨胀是在图像中“加粗”或“***”的操作,腐蚀则是“收缩”或“细化”图像中的对象,在图像中可认为物体的运动轨迹即为两个运动元素分离距离最小的位置,对F(c)进行膨胀运算可以将图像中两个分离的运动元素从最近的位置连通,即将运动物体和物体运动轨迹连通,在对图像进行膨胀运算时可能会引入许多缺口,该部分可通过腐蚀运算来进行填充,在完成上述运算处理后,可得到最终期望提取的特征元素F′(n)
进一步地,所述重建模块23包括:
逻辑运算单元,用于将F(n-1)与F′(n)进行相减逻辑运算得到F′(n-1);将F(n+1)与F′(n)进行相减逻辑运算得到F′(n+1)
比对单元,用于将F′(n-1)与F′(n+1)进行数据对比,得到重建图像帧F(n)
进一步地,所述比对单元具体用于将F′(n-1)中每一像素的亮度与F′(n+1)中对应像素的亮度进行比对,保留其中亮度低的像素数据,去除其中亮度高的像素数据;利用所保留的像素数据生成所述重建图像帧F(n)
进一步地,所述***模块24具体用于对所述视频图像数据流进行倍频处理后,在所述前后两帧原始图像之间***所述重建图像帧。
对比处理后的两帧图像F′(n-1)、F′(n+1)与两帧原始图像发现,原始图像中造成拖影的运动物体和物体运动轨迹在重建图像帧中已被剔除,实际显示时该区域为黑色,其他区域均与原始图像保持一致,在显示过程中相当于对运动物体及其轨迹区域进行局部插黑处理,并不会对画面亮度造成大的损失,在对所述视频图像数据流进行倍频处理后,在所述前后两帧原始图像之间***所述重建图像帧,这样可以在高刷新率状态下降低显示余晖效果。
下面结合附图以及具体的实施例对本发明的图像处理方法进行详细介绍,本实施例的图像处理方法具体包括以下步骤:
步骤301:获取前后两帧原始图像;
具体地,在显示设备的帧存储器中存储有视频图像数据流,从其中读取前后两帧图像数据F(n-1)、F(n+1)
步骤302:对前后两帧原始图像进行锐化滤波处理;
在一副图像中如果存在快速运动的物体,其运动轨迹及轮廓会存在模糊的情况,表现在频域为模糊区域的高频成分低于低频成分,因此,需要进行锐化滤波处理,进行锐化滤波处理的目的在于补偿图像的轮廓,增强图像的边缘及灰度跳变部分,将模糊区域的低频成分进行滤波处理,以便后续进行其他操作。
步骤303:从前后两帧原始图像中提取出特征图像;
在对前后两帧原始图像F(n-1)、F(n+1)进行锐化滤波处理后,需要对产生拖影的运动元素进行图像特征提取,如图4所示为前一帧原始图像F(n-1),如图5所示为后一帧原始图像F(n+1),在前后两帧原始图像中黑色圆圈沿着虚线曲线运动,由于黑色圆圈是运动元素,因此在视频播放过程中可能会产生拖影,本步骤需要将两帧原始图像中产生拖影的特征元素(即运动物体及物体运动轨迹)提取出来以便后续重建图像帧时将该部分特征元素剔除。
具体操作如下:利用形态学图像处理方法,对F(n-1)、F(n+1)进行两次相减逻辑运算,得到F(a)、F(b),具体地,将F(n-1)减去F(n+1)得到F(a),如图6所示;将F(n+1)减去F(n-1)得到F(b),如图7所示;然后对F(a)和F(b)进行相加逻辑运算得到特征图像F(c),如图8所示。
步骤304:对特征图像进行膨胀和腐蚀运算得到产生拖影的特征元素;
在完成对两帧原始图像中特征图像的提取后,针对F(c)进行形态学膨胀和腐蚀运算处理,即可完成对产生拖影的特征元素(运动物体及物体运动轨迹)的提取。膨胀和腐蚀运算是形态学图像处理的基础,实质上膨胀是在图像中“加粗”或“***”的操作,腐蚀则是“收缩”或“细化”图像中的对象,在图像中可认为物体的运动轨迹即为两个运动元素分离距离最小的位置,对F(c)进行膨胀运算可以将图像中两个分离的运动元素从最近的位置连通,即将运动物体和物体运动轨迹连通,在对图像进行膨胀运算时可能会引入许多缺口,该部分可通过腐蚀运算来进行填充,在完成上述运算处理后,可得到最终期望提取的特征元素F′(n),如图9所示。
步骤305:利用前后两帧原始图像和特征元素生成一重建图像帧;
在完成对特征元素F′(n)的提取后,可以利用原始图像和提取到的特征元素F′(n)进行重建图像帧的构建,具体方法为:使用原始图像F(n-1)与特征元素F′(n)进行相减逻辑运算得出F′(n-1),如图10所示;使用原始图像F(n+1)与特征元素F′(n)进行相减逻辑运算得出F′(n+1),如图11所示。之后将F′(n-1)和F′(n+1)中的像素进行逐一比对,将F′(n-1)中每一像素的亮度与F′(n+1)中对应像素的亮度进行比对,保留其中亮度低的像素数据,去除其中亮度高的像素数据,利用所保留的像素数据生成重建图像帧F(n)。其中,保留亮度低的像素数据有利于提高画面的流畅性,同时能够减少显示设备的功耗。
步骤306:对视频图像数据流进行倍频处理后,在前后两帧原始图像之间***重建图像帧。
如图12所示,视频图像数据流的原始刷新频率为60Hz,由于需要***新的重建图像帧,因此,首先需要对视频图像数据流进行倍频处理,将视频图像数据流的刷新频率调整为120Hz,然后将重建图像帧***前后两帧原始图像之间即可,具体实施过程中,可以将重建图像帧F(n)的数据送入显示设备的驱动芯片进行插帧显示。对比处理后的两帧图像F′(n-1)、F′(n+1)与两帧原始图像可发现,原始图像中造成拖影的运动物体和物体运动轨迹在重建图像帧中已被剔除,实际显示时该区域为黑色,其他区域均与原始图像保持一致,在显示过程中相当于对运动物体及其轨迹区域进行局部插黑处理,并不会对画面亮度造成大的损失,同时可在高刷新率状态下降低显示余晖效果。
上述步骤301-306以对F(n-1)、F(n+1)进行图像处理举例说明本实施例的技术方案,应当得知,对于视频图像数据流中其他任意的相邻两帧原始图像,均可以采用上述方案进行类似处理。
现有的倍频插黑方案为每两帧图像之间***一帧全黑的图像,这样对画面亮度及对比度损失非常大;而运动预估补偿算法在算法实现方面难度较大,相比较上述两种方案,本实施例的技术方案实现简单,可有效节约数据带宽,降低功耗。
本发明实施例还提供了一种显示设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述处理器执行所述程序时实现如上所述的图像处理方法。所述显示设备可以为:电视、显示器、数码相框、手机、平板电脑等任何具有显示功能的产品或部件,其中,所述显示设备还包括柔性电路板、印刷电路板和背板。
具体地,所述显示设备可以为VR头戴设备,通过本实施例的显示设备,可以有效改善拖尾和模糊的情况,并且可将亮度损失降到最低。
具体地,所述处理器执行所述程序时实现以下步骤:
从视频图像数据流中获取前后两帧原始图像;
从所述前后两帧原始图像中提取出产生拖影的特征元素;
利用所述前后两帧原始图像和所述特征元素生成一重建图像帧,所述重建图像帧不包括所述特征元素;
将所述重建图像帧***前后两帧原始图像之间。
进一步地,所述处理器执行所述程序时还实现以下步骤:
对所述前后两帧原始图像进行锐化滤波处理。
进一步地,所述处理器执行所述程序时实现以下步骤:
对前一帧原始图像F(n-1)和后一帧原始图像F(n+1)进行两次相减逻辑运算,分别得到F(a)和F(b)
将F(a)和F(b)进行相加逻辑运算得到F(c)
对F(c)进行形态学的膨胀和腐蚀运算处理,得到产生拖影的特征元素F′(n)
进一步地,所述处理器执行所述程序时实现以下步骤:
将F(n-1)与F′(n)进行相减逻辑运算得到F′(n-1)
将F(n+1)与F′(n)进行相减逻辑运算得到F′(n+1)
将F′(n-1)与F′(n+1)进行数据对比,得到重建图像帧F(n)
进一步地,所述处理器执行所述程序时实现以下步骤:
将F′(n-1)中每一像素的亮度与F′(n+1)中对应像素的亮度进行比对,保留其中亮度低的像素数据,去除其中亮度高的像素数据;
利用所保留的像素数据生成所述重建图像帧F(n)
进一步地,所述处理器执行所述程序时实现以下步骤:
对所述视频图像数据流进行倍频处理后,在所述前后两帧原始图像之间***所述重建图像帧。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的图像处理方法中的步骤。
具体地,该程序被处理器执行时实现以下步骤:
从视频图像数据流中获取前后两帧原始图像;
从所述前后两帧原始图像中提取出产生拖影的特征元素;
利用所述前后两帧原始图像和所述特征元素生成一重建图像帧,所述重建图像帧不包括所述特征元素;
将所述重建图像帧***前后两帧原始图像之间。
进一步地,该程序被处理器执行时还实现以下步骤:
对所述前后两帧原始图像进行锐化滤波处理。
进一步地,该程序被处理器执行时实现以下步骤:
对前一帧原始图像F(n-1)和后一帧原始图像F(n+1)进行两次相减逻辑运算,分别得到F(a)和F(b)
将F(a)和F(b)进行相加逻辑运算得到F(c)
对F(c)进行形态学的膨胀和腐蚀运算处理,得到产生拖影的特征元素F(′n)
进一步地,该程序被处理器执行时实现以下步骤:
将F(n-1)与F′(n)进行相减逻辑运算得到F′(n-1)
将F(n+1)与F′(n)进行相减逻辑运算得到F′(n+1)
将F′(n-1)与F′(n+1)进行数据对比,得到重建图像帧F(n)
进一步地,该程序被处理器执行时实现以下步骤:
将F′(n-1)中每一像素的亮度与F′(n+1)中对应像素的亮度进行比对,保留其中亮度低的像素数据,去除其中亮度高的像素数据;
利用所保留的像素数据生成所述重建图像帧F(n)
进一步地,该程序被处理器执行时实现以下步骤:
对所述视频图像数据流进行倍频处理后,在所述前后两帧原始图像之间***所述重建图像帧。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个ASIC(Application SpecificIntegrated Circuits,专用集成电路)、DSP(Digital Signal Processing,数字信号处理器)、DSPD(DSP Device,数字信号处理设备)、PLD(Programmable Logic Device,可编程逻辑设备)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。

Claims (9)

1.一种图像处理方法,其特征在于,包括:
从视频图像数据流中获取前后两帧原始图像;
从所述前后两帧原始图像中提取出产生拖影的特征元素;
利用所述前后两帧原始图像和所述特征元素生成一重建图像帧,所述重建图像帧不包括所述特征元素;
将所述重建图像帧***前后两帧原始图像之间;
所述从所述前后两帧原始图像中提取出产生拖影的特征元素之前,所述方法还包括:
对所述前后两帧原始图像进行锐化滤波处理;
所述利用所述前后两帧原始图像和所述特征元素生成一重建图像帧包括:
将F(n-1)与F′(n)进行相减逻辑运算得到F′(n-1)
将F(n+1)与F′(n)进行相减逻辑运算得到F′(n+1)
将F′(n-1)与F′(n+1)进行数据对比,得到重建图像帧F(n)
所述将F′(n-1)与F′(n+1)进行数据对比,得到重建图像帧F(n)包括:
将F′(n-1)中每一像素的亮度与F′(n+1)中对应像素的亮度进行比对,保留其中亮度低的像素数据,去除其中亮度高的像素数据;
利用所保留的像素数据生成所述重建图像帧F(n)
2.根据权利要求1所述的图像处理方法,其特征在于,所述从所述前后两帧原始图像中提取出产生拖影的特征元素包括:
对前一帧原始图像F(n-1)和后一帧原始图像F(n+1)进行两次相减逻辑运算,分别得到F(a)和F(b)
将F(a)和F(b)进行相加逻辑运算得到F(c)
对F(c)进行形态学的膨胀和腐蚀运算处理,得到产生拖影的特征元素F′(n)
3.根据权利要求1所述的图像处理方法,其特征在于,所述将所述重建图像帧***前后两帧原始图像之间包括:
对所述视频图像数据流进行倍频处理后,在所述前后两帧原始图像之间***所述重建图像帧。
4.一种图像处理装置,其特征在于,包括:
获取模块,用于从视频图像数据流中获取前后两帧原始图像;
提取模块,用于从所述前后两帧原始图像中提取出产生拖影的特征元素;
重建模块,用于利用所述前后两帧原始图像和所述特征元素生成一重建图像帧,所述重建图像帧不包括所述特征元素;
***模块,用于将所述重建图像帧***前后两帧原始图像之间;
预处理模块,用于在从所述前后两帧原始图像中提取出产生拖影的特征元素之前,对所述前后两帧原始图像进行锐化滤波处理;
所述重建模块包括:
逻辑运算单元,用于将F(n-1)与F′(n)进行相减逻辑运算得到F′(n-1);将F(n+1)与F′(n)进行相减逻辑运算得到F′(n+1)
比对单元,用于将F′(n-1)与F′(n+1)进行数据对比,得到重建图像帧F(n)
所述比对单元具体用于将F′(n-1)中每一像素的亮度与F′(n+1)中对应像素的亮度进行比对,保留其中亮度低的像素数据,去除其中亮度高的像素数据;利用所保留的像素数据生成所述重建图像帧F(n)
5.根据权利要求4所述的图像处理装置,其特征在于,
所述提取模块具体用于对前一帧原始图像F(n-1)和后一帧原始图像F(n+1)进行两次相减逻辑运算,分别得到F(a)和F(b);将F(a)和F(b)进行相加逻辑运算得到F(c);对F(c)进行形态学的膨胀和腐蚀运算处理,得到产生拖影的特征元素F′(n)
6.根据权利要求4所述的图像处理装置,其特征在于,
所述***模块具体用于对所述视频图像数据流进行倍频处理后,在所述前后两帧原始图像之间***所述重建图像帧。
7.一种显示设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;其特征在于,所述处理器执行所述程序时实现如权利要求1-3中任一项所述的图像处理方法。
8.根据权利要求7所述的显示设备,其特征在于,所述显示设备为VR头戴设备。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-3中任一项所述的图像处理方法中的步骤。
CN201810288908.5A 2018-03-30 2018-03-30 图像处理方法、装置及显示设备、计算机可读存储介质 Active CN108574794B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810288908.5A CN108574794B (zh) 2018-03-30 2018-03-30 图像处理方法、装置及显示设备、计算机可读存储介质
US16/465,810 US11200649B2 (en) 2018-03-30 2018-11-19 Image processing method and apparatus, display device, and computer readable storage medium
PCT/CN2018/116078 WO2019184393A1 (zh) 2018-03-30 2018-11-19 图像处理方法、装置及显示设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810288908.5A CN108574794B (zh) 2018-03-30 2018-03-30 图像处理方法、装置及显示设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108574794A CN108574794A (zh) 2018-09-25
CN108574794B true CN108574794B (zh) 2021-01-22

Family

ID=63574108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810288908.5A Active CN108574794B (zh) 2018-03-30 2018-03-30 图像处理方法、装置及显示设备、计算机可读存储介质

Country Status (3)

Country Link
US (1) US11200649B2 (zh)
CN (1) CN108574794B (zh)
WO (1) WO2019184393A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108574794B (zh) * 2018-03-30 2021-01-22 京东方科技集团股份有限公司 图像处理方法、装置及显示设备、计算机可读存储介质
CN109215596B (zh) * 2018-10-12 2020-04-28 惠州市华星光电技术有限公司 自动调整过驱动电压的方法、装置和显示面板
CN109636731B (zh) * 2018-10-23 2020-11-13 惠州Tcl移动通信有限公司 一种图像拖影的消除方法、电子设备及存储介质
CN109599055B (zh) * 2019-02-20 2022-09-13 重庆惠科金扬科技有限公司 一种显示面板的驱动方法、驱动装置及显示装置
CN113313788A (zh) * 2020-02-26 2021-08-27 北京小米移动软件有限公司 图像处理方法和装置、电子设备以及计算机可读存储介质
CN111798805A (zh) * 2020-07-29 2020-10-20 北京显芯科技有限公司 背光处理***、设备、方法、背光驱动器及存储介质
CN112188200A (zh) * 2020-09-30 2021-01-05 深圳壹账通智能科技有限公司 一种图像处理方法、装置、设备及储存介质
CN111966318A (zh) * 2020-10-20 2020-11-20 歌尔光学科技有限公司 图像显示方法、装置、设备及存储介质
US11704777B2 (en) 2021-08-27 2023-07-18 Raytheon Company Arbitrary motion smear modeling and removal
CN114302064B (zh) * 2022-01-27 2024-01-26 北京同尔科技有限公司 一种基于接收卡的视频处理方法、装置及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101105915A (zh) * 2007-08-07 2008-01-16 上海广电光电子有限公司 一种消除液晶显示动态拖影的方法
CN101727815A (zh) * 2009-12-23 2010-06-09 华映光电股份有限公司 动态影像的局部插黑方法以及显示装置
TWI336202B (en) * 2007-07-06 2011-01-11 Quanta Comp Inc Noise reduction device and method
CN102007760A (zh) * 2009-01-30 2011-04-06 株式会社日立国际电气 图像拾取设备及其噪声减少方法
CN102110403A (zh) * 2009-12-23 2011-06-29 群康科技(深圳)有限公司 改善显示器拖影现象的方法及相关的显示器
CN102252536A (zh) * 2011-04-28 2011-11-23 上海理工大学 一种全管束配水的蒸发式冷却、冷凝器
CN102595022A (zh) * 2011-01-10 2012-07-18 联咏科技股份有限公司 多媒体装置及其移动补偿方法
CN106373537A (zh) * 2016-09-12 2017-02-01 上海乐相科技有限公司 一种减弱显示画面拖影的方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545740B2 (en) 1999-12-22 2003-04-08 Texas Instruments Incorporated Method and system for reducing motion artifacts
JP5062968B2 (ja) * 2004-08-11 2012-10-31 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
KR101072095B1 (ko) * 2005-01-03 2011-10-10 엘지전자 주식회사 씨씨디 카메라의 스미어 현상 보정장치 및 방법
JP2007096405A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp ぶれ方向判定方法および装置ならびにプログラム
US20090002554A1 (en) * 2007-06-28 2009-01-01 Samsung Electronics Co., Ltd. Electric field effect read/write head, method of manufacturing the same, and electric field effect storage apparatus having the same
CN102333200A (zh) 2011-10-28 2012-01-25 冠捷显示科技(厦门)有限公司 液晶电视利用2d区域调光技术实现运动图像补偿的方法
CN105635805B (zh) 2015-12-18 2018-12-21 潍坊歌尔电子有限公司 一种虚拟现实场景中优化运动图像的方法和装置
KR20180073327A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 영상 표시 방법, 저장 매체 및 전자 장치
CN108574794B (zh) 2018-03-30 2021-01-22 京东方科技集团股份有限公司 图像处理方法、装置及显示设备、计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI336202B (en) * 2007-07-06 2011-01-11 Quanta Comp Inc Noise reduction device and method
CN101105915A (zh) * 2007-08-07 2008-01-16 上海广电光电子有限公司 一种消除液晶显示动态拖影的方法
CN102007760A (zh) * 2009-01-30 2011-04-06 株式会社日立国际电气 图像拾取设备及其噪声减少方法
CN101727815A (zh) * 2009-12-23 2010-06-09 华映光电股份有限公司 动态影像的局部插黑方法以及显示装置
CN102110403A (zh) * 2009-12-23 2011-06-29 群康科技(深圳)有限公司 改善显示器拖影现象的方法及相关的显示器
CN102595022A (zh) * 2011-01-10 2012-07-18 联咏科技股份有限公司 多媒体装置及其移动补偿方法
CN102252536A (zh) * 2011-04-28 2011-11-23 上海理工大学 一种全管束配水的蒸发式冷却、冷凝器
CN106373537A (zh) * 2016-09-12 2017-02-01 上海乐相科技有限公司 一种减弱显示画面拖影的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LCD动态图像运动预估与补偿插帧技术的研究与实现;魏晨;《中国优秀硕士论文学位论文全文数据库》;20120331;全文 *
解决LCD动态图像拖尾现象的技术研究;方奋奇;《甘肃联合大学学报》;20120331;第26卷(第2期);全文 *

Also Published As

Publication number Publication date
CN108574794A (zh) 2018-09-25
WO2019184393A1 (zh) 2019-10-03
US20210097658A1 (en) 2021-04-01
US11200649B2 (en) 2021-12-14

Similar Documents

Publication Publication Date Title
CN108574794B (zh) 图像处理方法、装置及显示设备、计算机可读存储介质
RU2419243C1 (ru) Устройство и способ обработки изображений и устройство и способ отображения изображений
JP5464819B2 (ja) 動画像処理装置および方法、プログラム
US9100530B2 (en) Image processing apparatus, image processing method and storage medium
JP2007304204A (ja) 画像表示装置、信号処理装置、および画像処理方法、並びにコンピュータ・プログラム
CN101523475B (zh) 图像显示装置
CN105744358A (zh) 视频播放的处理方法及装置
US20180020229A1 (en) Computationally efficient motion compensated frame rate conversion system
CN107665681B (zh) 液晶显示器驱动方法、***及计算机可读取介质
JP5479064B2 (ja) 画像処理装置およびその制御方法、プログラム
CN114463207B (zh) 基于全局动态范围压缩与局部亮度估计的色阶映射方法
JPH07199856A (ja) マトリクス型映像表示システムとその動作方法
CN105761683A (zh) 一种应用于电泳显示器的图像处理方法
CN113411581B (zh) 视频序列的运动补偿方法、***、存储介质及终端
Har-Noy et al. LCD motion blur reduction: A signal processing approach
CN111696034A (zh) 图像处理方法、装置及电子设备
CN114638904B (zh) 一种基于色彩过渡实现液晶拼接屏lcd画面补偿的色差***及方法
CN111292677B (zh) 一种图像显示处理方法、装置、计算机设备及存储介质
JP2003069859A (ja) 動きに適応した動画像処理
CN102186097A (zh) 一种3d图像显示方法、装置及设备
CN113596450B (zh) 视频图像压缩方法、解压缩方法、处理方法及装置、设备
CN107451959B (zh) 图片处理方法及***
CN101415101A (zh) 一种倍频方法及实现倍频的装置
Kurita 51.3: Motion‐Adaptive Edge Compensation to Decrease Motion Blur of Hold‐Type Display
CN101742177B (zh) 影像滤波电路及应用其的影像处理电路及影像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant