CN111325673B - 影像处理方法与影像处理电路 - Google Patents
影像处理方法与影像处理电路 Download PDFInfo
- Publication number
- CN111325673B CN111325673B CN201811532931.0A CN201811532931A CN111325673B CN 111325673 B CN111325673 B CN 111325673B CN 201811532931 A CN201811532931 A CN 201811532931A CN 111325673 B CN111325673 B CN 111325673B
- Authority
- CN
- China
- Prior art keywords
- frame
- foreground
- edge
- motion vector
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 239000013598 vector Substances 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims description 4
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- VJTAZCKMHINUKO-UHFFFAOYSA-M chloro(2-methoxyethyl)mercury Chemical compound [Cl-].COCC[Hg+] VJTAZCKMHINUKO-UHFFFAOYSA-M 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Television Systems (AREA)
Abstract
本发明公开一种影像处理方法及影像处理电路,影像处理方法包含有以下步骤:接收一影像信号,其中该影像信号包含一第一图框以及一第二图框;根据该第一图框以及该第二图框的至少一运动向量来判断前景在该第一图框以及该第二图框的边缘;根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘;以及直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量。
Description
技术领域
本发明涉及影像处理方法及影像处理电路。
背景技术
为了提升影像的图框速率(帧率,frame rate)以达到更加的显示效果,传统上会使用内插的方式以在两个图框间产生一个内插图框,并通过使用运动估计与运动补偿(Motion Estimate and Motion Compensation,MEMC)的方式来产生内插图框的运动向量以及相关的影像内容。然而,若是当影像中有高速移动的物体时,则传统的运动估计方式会造成月晕(halo)的现象,而一般运动估计与运动补偿中对于消除月晕现象的过程通常会产生以下几点问题:月晕宽度太大、月晕边缘参差不齐、月晕清除程度过强而造成边缘闪烁。
发明内容
因此,本发明的目的之一在于提供一种影像处理方法,其可以有效地减缓内插图框所造成的月晕现象,以解决现有技术中所述的问题。
在本发明的一个实施例中,公开了一种影像处理方法,其包含有以下步骤:接收一影像信号,其中该影像信号包含一第一图框以及一第二图框;根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘;根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘;以及直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量。
在本发明的另一个实施例中,公开了一种影像处理电路,其包含有一接收电路以及一运动估计及补偿电路,在该影像处理电路的操作中,该接收电路用以接收一影像信号,其中该影像信号包含一第一图框以及一第二图框;该运动估计及补偿电路,用以根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘,根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘,以及直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量。
附图说明
图1为根据本发明一实施例的影像处理电路的示意图。
图2为根据本发明一实施例的校正内插图框的前景边缘外的区域的运动向量的示意图。
图3为根据本发明一实施例的影像处理方法的流程图。
符号说明
100 影像处理电路
102 后端处理电路
104 显示面板
110 接收电路
120 运动估计及补偿电路
210、220 区域
300~308 步骤
Din 影像信号
PA、PA’、PB、PB’、PC、PC’ 前景的边缘
具体实施方式
图1为根据本发明一实施例的影像处理电路100的示意图。如图1所示,影像处理电路100包含了一接收电路110以及一运动估计及补偿电路120。在本实施例中,影像处理电路100包含了提升图框速率(帧率)的操作,亦即影像处理电路100接收一影像信号Din,并根据影像信号Din的多个图框来产生多个内插图框,其中该多个图框以及该多个内插图框通过一后端处理电路102的处理后传送至一显示面板104进行显示。
关于影像处理电路100的操作,详细来说,接收电路110接收影像信号,其中影像信号Din包含了图2所示的一第一图框T1以及一第二图框T2,接着,运动估计及补偿电路120根据第一图框T1以及第二图框T2的内容产生内插图框T_I,其中产生内插图框T_I的操作由本领域技术人员所熟知,且本发明的重点并不在于产生内插图框T_I的部分,故细节在此不予赘述。此外,由于在第一图框T1以及第二图框T2中前景物体会相对着背景而移动,因此使用传统的运动估计方式会使得内插图框T_I的前景与背景的交界处的运动向量不准确,因而造成如现有技术中所述的月晕现象,因此,本实施例在产生内插图框T_I的运动向量及相关的影像信息之后,会再根据第一图框T1或是第二图框T2的运动向量以对内插图框T_I的前景外的区域进行运动向量修正,以避免第一图框T1、内插图框T_I以及第二图框T2在显示面板104显示时出现月晕现象。
具体来说,运动估计及补偿电路120可以先根据第一图框T1以及第二图框T2的至少一运动向量来判断前景在第一图框T1以及第二图框T2中的边缘,例如图示的前景在第一图框T1中的边缘PA,以及前景在第二图框T2中的边缘PB。在一实施例中,图示的前景可以包含至少一区域,以前景本身为一区域来进行说明,前景从第一图框T1至第二图框T2的移动量可以视为一运动向量,而边缘PA、PB分别为区域在第一图框T1与第二图框T2的边缘。接着,运动估计及补偿电路120根据第一图框T1中前景的边缘PA以及第二图框T2中前景的边缘PB决定出内插图框T_I的前景的边缘PC,例如可以计算边缘PA、PB的中心点来作为边缘PC。接着,由于内插图框T_I的前景的边缘PC往外的一区域210与第一图框T1的前景旁的背景对应到相同的位置(相同的像素位置),因此运动估计及补偿电路120直接使用第一图框T1中位于前景左侧的背景的运动向量作为内插图框T_I的前景的边缘PC往外的区域210的运动向量。举例来说,假设内插图框T_I的前景的边缘PC往外的区域210的正上方的第一图框T1的背景区域具有运动向量MV1(亦即,该背景区域相对于一参考图框的一区域的移动量),则区域210的运动向量可以直接被修改为MV1(亦即,相对于该参考图框的该区域的移动量)。
在另一实施例中,前景在第一图框T1与第二图框T2中还具有边缘PA’、PB’,则运动估计及补偿电路120也根据第一图框T1中前景的边缘PA’以及第二图框T2中前景的边缘PB’决定出内插图框T_I的前景的边缘PC’,例如可以计算边缘PA’、PB’的中心点来作为边缘PC’。接着,由于内插图框T_I的前景的边缘PC’往外的一区域220与第二图框T2的前景旁的背景对应到相同的位置(相同的像素位置),因此运动估计及补偿电路120直接使用第二图框T2中位于前景右侧的背景的运动向量作为内插图框T_I的前景的边缘PC’往外的区域220的运动向量。举例来说,假设内插图框T_I的前景的边缘PC’往外的区域220的正下方的第二图框T2的背景区域具有运动向量MV2(亦即,该背景区域相对于一参考图框或是第一图框T1的一区域的移动量),则区域220的运动向量可以直接被修改为MV2(亦即,相对于该参考图框或是第一图框T1的该区域的移动量)。
如上所述,由于内插图框T_I的前景的边缘PC往外的区域210以及边缘PC’往外的区域220的运动向量直接被修改为第一图框T1或是第二图框T2的背景的运动向量,因此可以有效地降低月晕现象。
图3为根据本发明一实施例的影像处理方法的流程图。参考图1~图3及以上所公开的内容,流程如下所述。
步骤300:流程开始。
步骤302:接收一影像信号,其中该影像信号包含一第一图框以及一第二图框。
步骤304:根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘。
步骤306:根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘。
步骤308:直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量。
以上所述仅为本发明的优选实施例,凡依本发明权利要求所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (8)
1.一种影像处理方法,包含有:
接收一影像信号,其中该影像信号包含一第一图框以及一第二图框;
根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘;
根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘;以及
直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量;
其中该第二图框紧接在该第一图框之后,且直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量的步骤包含有:
若是该前景的边缘往外该区域与该第一图框的该前景旁的背景对应到相同的位置,则直接使用该第一图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外该区域的运动向量。
2.如权利要求1所述的影像处理方法,其中该至少一运动向量包含该第一图框的一区域至该第二图框的一区域的运动向量,该第一图框的该区域的边缘作为该前景在该第一图框的边缘,且该第二图框的该区域的边缘作为该前景在该第二图框的边缘。
3.如权利要求1所述的影像处理方法,还包含有:
根据该第一图框以及该第二图框产生该内插图框;以及
直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量的步骤包含有:
将该内插图框的该前景的边缘往外该区域的运动向量重新设为该第一图框中位于该前景旁的背景的运动向量。
4.一种影像处理方法,包含有:
接收一影像信号,其中该影像信号包含一第一图框以及一第二图框;
根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘;
根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘;以及
直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量;
其中该第二图框紧接在该第一图框之后,且直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量的步骤包含有:
若是该前景的边缘往外该区域与该第二图框的该前景旁的背景对应到相同的位置,则直接使用该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外该区域的运动向量。
5.一种影像处理电路,包含有:
一接收电路,用以接收一影像信号,其中该影像信号包含一第一图框以及一第二图框;
一运动估计及补偿电路,耦接于该接收电路,用以根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘,根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘,以及直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量;
其中该第二图框紧接在该第一图框之后,且若是该前景的边缘往外该区域与该第一图框的该前景旁的背景对应到相同的位置,则该运动估计及补偿电路直接使用该第一图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外该区域的运动向量。
6.如权利要求5所述的影像处理电路,其中该至少一运动向量包含该第一图框的一区域至该第二图框的一区域的运动向量,该第一图框的该区域的边缘作为该前景在该第一图框的边缘,且该第二图框的该区域的边缘作为该前景在该第二图框的边缘。
7.如权利要求5所述的影像处理电路,其中该运动估计及补偿电路根据该第一图框以及该第二图框产生该内插图框,并将该内插图框的该前景的边缘往外该区域的运动向量重新设为该第一图框中位于该前景旁的背景的运动向量。
8.一种影像处理电路,包含有:
一接收电路,用以接收一影像信号,其中该影像信号包含一第一图框以及一第二图框;
一运动估计及补偿电路,耦接于该接收电路,用以根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘,根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘,以及直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量;
其中该第二图框是紧接在该第一图框之后,且若是该前景的边缘往外该区域与该第二图框的该前景旁的背景对应到相同的位置,则运动估计及补偿电路直接使用该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外该区域的运动向量。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811532931.0A CN111325673B (zh) | 2018-12-14 | 2018-12-14 | 影像处理方法与影像处理电路 |
TW108109928A TWI756527B (zh) | 2018-12-14 | 2019-03-22 | 影像處理方法與影像處理電路 |
US16/541,159 US10965905B2 (en) | 2018-12-14 | 2019-08-15 | Image processing method and associated image processing circuit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811532931.0A CN111325673B (zh) | 2018-12-14 | 2018-12-14 | 影像处理方法与影像处理电路 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111325673A CN111325673A (zh) | 2020-06-23 |
CN111325673B true CN111325673B (zh) | 2023-06-30 |
Family
ID=71073172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811532931.0A Active CN111325673B (zh) | 2018-12-14 | 2018-12-14 | 影像处理方法与影像处理电路 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10965905B2 (zh) |
CN (1) | CN111325673B (zh) |
TW (1) | TWI756527B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230088882A1 (en) * | 2021-09-22 | 2023-03-23 | Samsung Electronics Co., Ltd. | Judder detection for dynamic frame rate conversion |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9214218D0 (en) * | 1992-07-03 | 1992-08-12 | Snell & Wilcox Ltd | Motion compensated video processing |
US5347311A (en) * | 1993-05-28 | 1994-09-13 | Intel Corporation | Method and apparatus for unevenly encoding error images |
US5440350A (en) * | 1993-05-28 | 1995-08-08 | Intel Corporation | Method and apparatus for encoding selected blocks of a residual image signal |
CN100504925C (zh) * | 2000-05-18 | 2009-06-24 | Nxp股份有限公司 | 用于检测图像间的运动的方法和装置以及图像显示装置 |
JP4596224B2 (ja) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
US8340185B2 (en) * | 2006-06-27 | 2012-12-25 | Marvell World Trade Ltd. | Systems and methods for a motion compensated picture rate converter |
GB2449887A (en) * | 2007-06-06 | 2008-12-10 | Tandberg Television Asa | Replacement of spurious motion vectors for video compression |
CN101543054B (zh) * | 2007-06-28 | 2011-12-07 | 松下电器产业株式会社 | 图像处理装置、图像处理方法 |
US20090207314A1 (en) * | 2008-02-14 | 2009-08-20 | Brian Heng | Method and system for motion vector estimation using a pivotal pixel search |
JP5029543B2 (ja) * | 2008-09-09 | 2012-09-19 | 富士通株式会社 | 符号化装置および符号化プログラム |
TWI408620B (zh) * | 2008-12-12 | 2013-09-11 | Mstar Semiconductor Inc | 用以決定插補畫面之移動向量的影像處理方法及其相關裝置 |
TWI490819B (zh) * | 2009-01-09 | 2015-07-01 | Mstar Semiconductor Inc | 影像處理方法及其裝置 |
CN102158678A (zh) * | 2010-05-20 | 2011-08-17 | 王洪剑 | 一种运动向量场插值方法 |
US20130230107A1 (en) * | 2012-03-01 | 2013-09-05 | Hung-Ching Chen | Method for determining motion vector and associated apparatus |
US20140168040A1 (en) * | 2012-12-17 | 2014-06-19 | Qualcomm Mems Technologies, Inc. | Motion compensated video halftoning |
US9794588B2 (en) * | 2015-09-30 | 2017-10-17 | Sony Corporation | Image processing system with optical flow recovery mechanism and method of operation thereof |
US10506248B2 (en) * | 2016-06-30 | 2019-12-10 | Facebook, Inc. | Foreground detection for video stabilization |
US10410358B2 (en) * | 2017-06-26 | 2019-09-10 | Samsung Electronics Co., Ltd. | Image processing with occlusion and error handling in motion fields |
-
2018
- 2018-12-14 CN CN201811532931.0A patent/CN111325673B/zh active Active
-
2019
- 2019-03-22 TW TW108109928A patent/TWI756527B/zh active
- 2019-08-15 US US16/541,159 patent/US10965905B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
TWI756527B (zh) | 2022-03-01 |
US20200195881A1 (en) | 2020-06-18 |
TW202023257A (zh) | 2020-06-16 |
CN111325673A (zh) | 2020-06-23 |
US10965905B2 (en) | 2021-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100676704B1 (ko) | 움직임 추정장치 및 그 추정방법 | |
US8773595B2 (en) | Image processing | |
US20070133685A1 (en) | Motion estimating apparatus and motion estimating method | |
EP3149940B1 (en) | Block-based static region detection for video processing | |
US9240050B2 (en) | Method and apparatus for processing image data corresponding to temporally successive motions of object | |
US9552623B1 (en) | Variable frame rate interpolation | |
JP5887764B2 (ja) | 動き補償フレーム生成装置及び方法 | |
US20100150462A1 (en) | Image processing apparatus, method, and program | |
CN111325673B (zh) | 影像处理方法与影像处理电路 | |
EP2897358B1 (en) | Method and apparatus for de-interlacing video | |
US20090310679A1 (en) | Video processing apparatus and methods | |
JP4872508B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
CN111556244B (zh) | 视频风格迁移方法和装置 | |
EP2136548B1 (en) | Image processing apparatus, image processing method, and program | |
JP5737072B2 (ja) | 動き補償フレーム生成装置及び方法 | |
US20220270267A1 (en) | System and method for occlusion detection in frame rate up-conversion of video data | |
JP2011130128A (ja) | 画像処理装置及びその制御方法、プログラム | |
US20090167935A1 (en) | Image processing method and related apparatus for generating target image block | |
TW202322047A (zh) | 影像處理方法與影像處理電路 | |
US9830692B2 (en) | Method and device for processing image data based on characteristic values of pixel values of pixels | |
JP5887763B2 (ja) | 動き補償フレーム生成装置及び方法 | |
CN113726980B (zh) | 图像处理方法 | |
US11122291B2 (en) | Apparatus and method for motion estimation of isolated objects | |
US20130230107A1 (en) | Method for determining motion vector and associated apparatus | |
EP3534605B1 (en) | Image processing device, image display device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |