CN111325673B - 影像处理方法与影像处理电路 - Google Patents

影像处理方法与影像处理电路 Download PDF

Info

Publication number
CN111325673B
CN111325673B CN201811532931.0A CN201811532931A CN111325673B CN 111325673 B CN111325673 B CN 111325673B CN 201811532931 A CN201811532931 A CN 201811532931A CN 111325673 B CN111325673 B CN 111325673B
Authority
CN
China
Prior art keywords
frame
foreground
edge
motion vector
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811532931.0A
Other languages
English (en)
Other versions
CN111325673A (zh
Inventor
伞光宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Semiconductor Corp
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Priority to CN201811532931.0A priority Critical patent/CN111325673B/zh
Priority to TW108109928A priority patent/TWI756527B/zh
Priority to US16/541,159 priority patent/US10965905B2/en
Publication of CN111325673A publication Critical patent/CN111325673A/zh
Application granted granted Critical
Publication of CN111325673B publication Critical patent/CN111325673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)

Abstract

本发明公开一种影像处理方法及影像处理电路，影像处理方法包含有以下步骤：接收一影像信号，其中该影像信号包含一第一图框以及一第二图框；根据该第一图框以及该第二图框的至少一运动向量来判断前景在该第一图框以及该第二图框的边缘；根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘；以及直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量。

Description

影像处理方法与影像处理电路
技术领域
本发明涉及影像处理方法及影像处理电路。
背景技术
为了提升影像的图框速率(帧率，frame rate)以达到更加的显示效果，传统上会使用内插的方式以在两个图框间产生一个内插图框，并通过使用运动估计与运动补偿(Motion Estimate and Motion Compensation，MEMC)的方式来产生内插图框的运动向量以及相关的影像内容。然而，若是当影像中有高速移动的物体时，则传统的运动估计方式会造成月晕(halo)的现象，而一般运动估计与运动补偿中对于消除月晕现象的过程通常会产生以下几点问题：月晕宽度太大、月晕边缘参差不齐、月晕清除程度过强而造成边缘闪烁。
发明内容
因此，本发明的目的之一在于提供一种影像处理方法，其可以有效地减缓内插图框所造成的月晕现象，以解决现有技术中所述的问题。
在本发明的一个实施例中，公开了一种影像处理方法，其包含有以下步骤：接收一影像信号，其中该影像信号包含一第一图框以及一第二图框；根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘；根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘；以及直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量。
在本发明的另一个实施例中，公开了一种影像处理电路，其包含有一接收电路以及一运动估计及补偿电路，在该影像处理电路的操作中，该接收电路用以接收一影像信号，其中该影像信号包含一第一图框以及一第二图框；该运动估计及补偿电路，用以根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘，根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘，以及直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量。
附图说明
图1为根据本发明一实施例的影像处理电路的示意图。
图2为根据本发明一实施例的校正内插图框的前景边缘外的区域的运动向量的示意图。
图3为根据本发明一实施例的影像处理方法的流程图。
符号说明
100 影像处理电路
102 后端处理电路
104 显示面板
110 接收电路
120 运动估计及补偿电路
210、220 区域
300～308 步骤
Din 影像信号
PA、PA’、PB、PB’、PC、PC’ 前景的边缘
具体实施方式
图1为根据本发明一实施例的影像处理电路100的示意图。如图1所示，影像处理电路100包含了一接收电路110以及一运动估计及补偿电路120。在本实施例中，影像处理电路100包含了提升图框速率(帧率)的操作，亦即影像处理电路100接收一影像信号Din，并根据影像信号Din的多个图框来产生多个内插图框，其中该多个图框以及该多个内插图框通过一后端处理电路102的处理后传送至一显示面板104进行显示。
关于影像处理电路100的操作，详细来说，接收电路110接收影像信号，其中影像信号Din包含了图2所示的一第一图框T1以及一第二图框T2，接着，运动估计及补偿电路120根据第一图框T1以及第二图框T2的内容产生内插图框T_I，其中产生内插图框T_I的操作由本领域技术人员所熟知，且本发明的重点并不在于产生内插图框T_I的部分，故细节在此不予赘述。此外，由于在第一图框T1以及第二图框T2中前景物体会相对着背景而移动，因此使用传统的运动估计方式会使得内插图框T_I的前景与背景的交界处的运动向量不准确，因而造成如现有技术中所述的月晕现象，因此，本实施例在产生内插图框T_I的运动向量及相关的影像信息之后，会再根据第一图框T1或是第二图框T2的运动向量以对内插图框T_I的前景外的区域进行运动向量修正，以避免第一图框T1、内插图框T_I以及第二图框T2在显示面板104显示时出现月晕现象。
具体来说，运动估计及补偿电路120可以先根据第一图框T1以及第二图框T2的至少一运动向量来判断前景在第一图框T1以及第二图框T2中的边缘，例如图示的前景在第一图框T1中的边缘PA，以及前景在第二图框T2中的边缘PB。在一实施例中，图示的前景可以包含至少一区域，以前景本身为一区域来进行说明，前景从第一图框T1至第二图框T2的移动量可以视为一运动向量，而边缘PA、PB分别为区域在第一图框T1与第二图框T2的边缘。接着，运动估计及补偿电路120根据第一图框T1中前景的边缘PA以及第二图框T2中前景的边缘PB决定出内插图框T_I的前景的边缘PC，例如可以计算边缘PA、PB的中心点来作为边缘PC。接着，由于内插图框T_I的前景的边缘PC往外的一区域210与第一图框T1的前景旁的背景对应到相同的位置(相同的像素位置)，因此运动估计及补偿电路120直接使用第一图框T1中位于前景左侧的背景的运动向量作为内插图框T_I的前景的边缘PC往外的区域210的运动向量。举例来说，假设内插图框T_I的前景的边缘PC往外的区域210的正上方的第一图框T1的背景区域具有运动向量MV1(亦即，该背景区域相对于一参考图框的一区域的移动量)，则区域210的运动向量可以直接被修改为MV1(亦即，相对于该参考图框的该区域的移动量)。
在另一实施例中，前景在第一图框T1与第二图框T2中还具有边缘PA’、PB’，则运动估计及补偿电路120也根据第一图框T1中前景的边缘PA’以及第二图框T2中前景的边缘PB’决定出内插图框T_I的前景的边缘PC’，例如可以计算边缘PA’、PB’的中心点来作为边缘PC’。接着，由于内插图框T_I的前景的边缘PC’往外的一区域220与第二图框T2的前景旁的背景对应到相同的位置(相同的像素位置)，因此运动估计及补偿电路120直接使用第二图框T2中位于前景右侧的背景的运动向量作为内插图框T_I的前景的边缘PC’往外的区域220的运动向量。举例来说，假设内插图框T_I的前景的边缘PC’往外的区域220的正下方的第二图框T2的背景区域具有运动向量MV2(亦即，该背景区域相对于一参考图框或是第一图框T1的一区域的移动量)，则区域220的运动向量可以直接被修改为MV2(亦即，相对于该参考图框或是第一图框T1的该区域的移动量)。
如上所述，由于内插图框T_I的前景的边缘PC往外的区域210以及边缘PC’往外的区域220的运动向量直接被修改为第一图框T1或是第二图框T2的背景的运动向量，因此可以有效地降低月晕现象。
图3为根据本发明一实施例的影像处理方法的流程图。参考图1～图3及以上所公开的内容，流程如下所述。
步骤300：流程开始。
步骤302：接收一影像信号，其中该影像信号包含一第一图框以及一第二图框。
步骤304：根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘。
步骤306：根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘。
步骤308：直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量。
以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种影像处理方法，包含有：
接收一影像信号，其中该影像信号包含一第一图框以及一第二图框；
根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘；
根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘；以及
直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量；
其中该第二图框紧接在该第一图框之后，且直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量的步骤包含有：
若是该前景的边缘往外该区域与该第一图框的该前景旁的背景对应到相同的位置，则直接使用该第一图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外该区域的运动向量。
2.如权利要求1所述的影像处理方法，其中该至少一运动向量包含该第一图框的一区域至该第二图框的一区域的运动向量，该第一图框的该区域的边缘作为该前景在该第一图框的边缘，且该第二图框的该区域的边缘作为该前景在该第二图框的边缘。
3.如权利要求1所述的影像处理方法，还包含有：
根据该第一图框以及该第二图框产生该内插图框；以及
直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量的步骤包含有：
将该内插图框的该前景的边缘往外该区域的运动向量重新设为该第一图框中位于该前景旁的背景的运动向量。
4.一种影像处理方法，包含有：
接收一影像信号，其中该影像信号包含一第一图框以及一第二图框；
根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘；
根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘；以及
直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量；
其中该第二图框紧接在该第一图框之后，且直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量的步骤包含有：
若是该前景的边缘往外该区域与该第二图框的该前景旁的背景对应到相同的位置，则直接使用该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外该区域的运动向量。
5.一种影像处理电路，包含有：
一接收电路，用以接收一影像信号，其中该影像信号包含一第一图框以及一第二图框；
一运动估计及补偿电路，耦接于该接收电路，用以根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘，根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘，以及直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量；
其中该第二图框紧接在该第一图框之后，且若是该前景的边缘往外该区域与该第一图框的该前景旁的背景对应到相同的位置，则该运动估计及补偿电路直接使用该第一图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外该区域的运动向量。
6.如权利要求5所述的影像处理电路，其中该至少一运动向量包含该第一图框的一区域至该第二图框的一区域的运动向量，该第一图框的该区域的边缘作为该前景在该第一图框的边缘，且该第二图框的该区域的边缘作为该前景在该第二图框的边缘。
7.如权利要求5所述的影像处理电路，其中该运动估计及补偿电路根据该第一图框以及该第二图框产生该内插图框，并将该内插图框的该前景的边缘往外该区域的运动向量重新设为该第一图框中位于该前景旁的背景的运动向量。
8.一种影像处理电路，包含有：
一接收电路，用以接收一影像信号，其中该影像信号包含一第一图框以及一第二图框；
一运动估计及补偿电路，耦接于该接收电路，用以根据该第一图框以及该第二图框的至少一运动向量来判断一前景在该第一图框以及该第二图框中的边缘，根据该第一图框中该前景的边缘以及该第二图框中该前景的边缘决定出一内插图框的该前景的边缘，以及直接使用该第一图框或是该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外一区域的运动向量；
其中该第二图框是紧接在该第一图框之后，且若是该前景的边缘往外该区域与该第二图框的该前景旁的背景对应到相同的位置，则运动估计及补偿电路直接使用该第二图框中位于该前景旁的背景的运动向量作为该内插图框的该前景的边缘往外该区域的运动向量。
CN201811532931.0A 2018-12-14 2018-12-14 影像处理方法与影像处理电路 Active CN111325673B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811532931.0A CN111325673B (zh) 2018-12-14 2018-12-14 影像处理方法与影像处理电路
TW108109928A TWI756527B (zh) 2018-12-14 2019-03-22 影像處理方法與影像處理電路
US16/541,159 US10965905B2 (en) 2018-12-14 2019-08-15 Image processing method and associated image processing circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811532931.0A CN111325673B (zh) 2018-12-14 2018-12-14 影像处理方法与影像处理电路

Publications (2)

Publication Number Publication Date
CN111325673A CN111325673A (zh) 2020-06-23
CN111325673B true CN111325673B (zh) 2023-06-30

Family

ID=71073172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811532931.0A Active CN111325673B (zh) 2018-12-14 2018-12-14 影像处理方法与影像处理电路

Country Status (3)

Country Link
US (1) US10965905B2 (zh)
CN (1) CN111325673B (zh)
TW (1) TWI756527B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9214218D0 (en) * 1992-07-03 1992-08-12 Snell & Wilcox Ltd Motion compensated video processing
US5347311A (en) * 1993-05-28 1994-09-13 Intel Corporation Method and apparatus for unevenly encoding error images
US5440350A (en) * 1993-05-28 1995-08-08 Intel Corporation Method and apparatus for encoding selected blocks of a residual image signal
CN100504925C (zh) * 2000-05-18 2009-06-24 Nxp股份有限公司 用于检测图像间的运动的方法和装置以及图像显示装置
JP4596224B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
GB2449887A (en) * 2007-06-06 2008-12-10 Tandberg Television Asa Replacement of spurious motion vectors for video compression
CN101543054B (zh) * 2007-06-28 2011-12-07 松下电器产业株式会社 图像处理装置、图像处理方法
US20090207314A1 (en) * 2008-02-14 2009-08-20 Brian Heng Method and system for motion vector estimation using a pivotal pixel search
JP5029543B2 (ja) * 2008-09-09 2012-09-19 富士通株式会社 符号化装置および符号化プログラム
TWI408620B (zh) * 2008-12-12 2013-09-11 Mstar Semiconductor Inc 用以決定插補畫面之移動向量的影像處理方法及其相關裝置
TWI490819B (zh) * 2009-01-09 2015-07-01 Mstar Semiconductor Inc 影像處理方法及其裝置
CN102158678A (zh) * 2010-05-20 2011-08-17 王洪剑 一种运动向量场插值方法
US20130230107A1 (en) * 2012-03-01 2013-09-05 Hung-Ching Chen Method for determining motion vector and associated apparatus
US20140168040A1 (en) * 2012-12-17 2014-06-19 Qualcomm Mems Technologies, Inc. Motion compensated video halftoning
US9794588B2 (en) * 2015-09-30 2017-10-17 Sony Corporation Image processing system with optical flow recovery mechanism and method of operation thereof
US10506248B2 (en) * 2016-06-30 2019-12-10 Facebook, Inc. Foreground detection for video stabilization
US10410358B2 (en) * 2017-06-26 2019-09-10 Samsung Electronics Co., Ltd. Image processing with occlusion and error handling in motion fields

Also Published As

Publication number Publication date
TWI756527B (zh) 2022-03-01
US20200195881A1 (en) 2020-06-18
TW202023257A (zh) 2020-06-16
CN111325673A (zh) 2020-06-23
US10965905B2 (en) 2021-03-30

Similar Documents

Publication Publication Date Title
KR100676704B1 (ko) 움직임 추정장치 및 그 추정방법
US8773595B2 (en) Image processing
US20070133685A1 (en) Motion estimating apparatus and motion estimating method
EP3149940B1 (en) Block-based static region detection for video processing
US9240050B2 (en) Method and apparatus for processing image data corresponding to temporally successive motions of object
US9552623B1 (en) Variable frame rate interpolation
JP5887764B2 (ja) 動き補償フレーム生成装置及び方法
US20100150462A1 (en) Image processing apparatus, method, and program
CN111325673B (zh) 影像处理方法与影像处理电路
EP2897358B1 (en) Method and apparatus for de-interlacing video
US20090310679A1 (en) Video processing apparatus and methods
JP4872508B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN111556244B (zh) 视频风格迁移方法和装置
EP2136548B1 (en) Image processing apparatus, image processing method, and program
JP5737072B2 (ja) 動き補償フレーム生成装置及び方法
US20220270267A1 (en) System and method for occlusion detection in frame rate up-conversion of video data
JP2011130128A (ja) 画像処理装置及びその制御方法、プログラム
US20090167935A1 (en) Image processing method and related apparatus for generating target image block
TW202322047A (zh) 影像處理方法與影像處理電路
US9830692B2 (en) Method and device for processing image data based on characteristic values of pixel values of pixels
JP5887763B2 (ja) 動き補償フレーム生成装置及び方法
CN113726980B (zh) 图像处理方法
US11122291B2 (en) Apparatus and method for motion estimation of isolated objects
US20130230107A1 (en) Method for determining motion vector and associated apparatus
EP3534605B1 (en) Image processing device, image display device, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant