CN109672841B - 一种低成本de-interlace处理方法 - Google Patents

一种低成本de-interlace处理方法 Download PDF

Info

Publication number
CN109672841B
CN109672841B CN201910074971.3A CN201910074971A CN109672841B CN 109672841 B CN109672841 B CN 109672841B CN 201910074971 A CN201910074971 A CN 201910074971A CN 109672841 B CN109672841 B CN 109672841B
Authority
CN
China
Prior art keywords
processing
image
interlace
hardware circuit
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910074971.3A
Other languages
English (en)
Other versions
CN109672841A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Eeasy Electronic Tech Co ltd
Original Assignee
Zhuhai Eeasy Electronic Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Eeasy Electronic Tech Co ltd filed Critical Zhuhai Eeasy Electronic Tech Co ltd
Priority to CN201910074971.3A priority Critical patent/CN109672841B/zh
Publication of CN109672841A publication Critical patent/CN109672841A/zh
Application granted granted Critical
Publication of CN109672841B publication Critical patent/CN109672841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

本发明公开了一种低成本de‑interlace处理方法，属于图像处理技术，本方法用以解决现有de‑interlace处理方法需要大量缓存器的技术问题。本方法包括对所输入的图像进行R次空间分割处理，获得若干图像块；其中，R为正整数；对若干图像块的分割线边界进行crop处理，以消除边界效应；硬件电路对crop处理后的若干图像块进行de‑interlace处理。本方法通过对图像进行R次空间分割处理，因此在对视频图像进行de‑interlace处理时，可以将所需的line buffer容量减少为原来的近1/R，因此可以大幅减少缓存器硬件成本，实现低成本的de‑interlace电路。

Description

一种低成本de-interlace处理方法
技术领域
本发明涉及图像处理技术，具体涉及一种低成本de-interlace处理方法。
背景技术
去隔行(de-interlace)是将隔行扫描(interlace)影像讯号转换为逐行扫描(progressive)影像讯号的一种方法。
因为处理速度以及带宽的限制下，广播电视***，传统的电视图像具有隔行的形式,每一图像帧包括两个场，一般地，在第一场中扫描奇数行，而在第二场中扫描偶数行，奇数像素行构成的场称为奇场(或顶场top field)，偶数像素行构成的场称为偶场(或底场bottom field)，按顺序显示构成每一帧的两个场，例如NTSC或是PAL，都是使用隔行扫描讯号取代逐行扫描讯号。但是现代新型的显示设备例如液晶显示器、等离子显示器、数位投影机等，都只支持逐行扫描(progressive scan)，因此在这些设备上需要有去隔行的功能以将隔行扫描讯号转换为逐行讯号。
一帧图像的两个场由于有时间差，存在相对运动，要消除图像的诸多画质问题就必须做相应的de-interlace处理，处理方法主要有：Bob，weave，运动自适应和运动补偿等。一般地，为了得到较好的画质效果，de-interlace算法需要对相邻近场(“相邻近场”是指时间上和空间上相邻的同极性(同为顶场或同为底场为同极性)前后两场或多场)做运动/静止检测计算(motion/still determination)，然后选择合适的插值算法得到合成的图像帧。由于算法的特性，一般需要多个相邻场，而每个场需要若干行数据用于做运动/静止检测计算和插值，这就需要多个行数据缓存器(line buffer)。由于视频图像分辨率越来越高，需要的line buffer的容量也越来越大，造成的硬件电路成本也就越来越高。
发明内容
本发明的目的在于克服上述现有技术的不足，提供一种低成本de-interlace处理方法，以在对视频图像进行de-interlace处理时，减少缓存器的容量。
为实现上述目的，本发明的技术方案是：
一种低成本de-interlace处理方法，包括
对所输入的图像进行R次空间分割处理，获得若干图像块；其中，R为正整数；
对若干图像块的分割线边界进行crop处理，以消除边界效应；
硬件电路对crop处理后的若干图像块进行de-interlace处理。
进一步地，对所输入图像的Y、U、V三个分量采用分时复用电路进行R次空间分割处理。
进一步地，所述R的值通过如下方式求得：
硬件电路对图像的一个分量de-interlace处理所需总时间为：
Figure BDA0001958450340000021
式中：W图像的宽，H为图像的高；S为图像块的宽度，S＝W/R；Xi是指为了消除边界效应额外增加处理的pixel像素点,输出时需要crop掉丢弃不输出；
Tsw(i)为硬件电路启动时间；
Thw(i)为硬件电路完成de-interlace处理的时间，该部分时间主要由图像的size决定, 假定硬件电路完成de-interlace处理的效率为σ，即每个时钟周期T可以处理σ个pixel， 0<σ<1，则
Figure BDA0001958450340000022
其中，硬件电路完成一个分量de-interlace处理时间受项目需要支持的规格限制,即项目需要支持的规格能够确定理论上完成一个分量de-interlace处理所需的最大时间Tmax，通过Ttotal≤Tmax，即
Figure BDA0001958450340000023
求得R的值。
本发明与现有技术相比，其有益效果在于：
本方法通过对图像进行R次空间分割处理，因此在对视频图像进行de-interlace处理时，可以将所需的line buffer容量减少为原来的近1/R，因此可以大幅减少缓存器硬件成本，实现低成本的de-interlace电路。
附图说明
图1为一种基于场间动静检测并做插值处理的de-interlace电路框架图；
图2为用场合成帧的关系示意图；
图3为本发明实施例提供的低成本de-interlace处理方法流程图；
图4为图像空间分割示意图；
图5为增加crop模块后的de-interlace电路框架图；
图6为低成本de-interlace处理流程示意图；
图7为迭代调试电路结构参数流程示意图；
图8为一帧完整图像de-interlace运行示意图。
具体实施方式
下面结合附图和具体实施方式对本发明的内容做进一步详细说明。
实施例：
首先将来自video decoder或其他video input的interlace格式的4场相邻的图像场数据存储在memory中。如图1所示，基本的de-interlace过程如下：启动dma，将4场数据依次读取存入相应的line buffer中；从line buffer中读取相应的窗口数据用于动静检测计算和插值计算，得到progressive格式的数据；将progressive格式的数据回写入memory中，完成一次基本de-interlace过程。
由图2可知，本实施例采用四场合成一帧的de-interlace算法，运动静止检测计算模块基于M(pixel)x N(line)的窗口数据，插值计算模块基于当前场(F1)的J(pixel)x K(line)的窗口数据，一般地，K>＝N，即用于插值计算的窗口数据亦可用于运动静止检测计算，所以所需的line buffer为当前场K行，其他3个相邻场各N行，共计K+3N行line buffer，一般地，K+3N会大于10，即需要十几行line buffer，对于较大分辨率的图像，如1920x1080i，每行有1920个pixel，每个pixel用8bit表示，则每行所需的line buffer为1920*8bit，十几行line buffer就成为电路成本的主要部分。
为了减少line buffer容量，参阅图3所示，本实施例提了一种了低成本de-interlace处理方法，包括：
301、对所输入的图像进行R次空间分割处理，获得若干图像块；其中，R为正整数。
302、对若干图像块的分割线边界进行crop处理，以消除边界效应；具体地，crop处理是指将图像在空间上做分割后会额外多产生出左右边界(如图4所示的401)，对于边界的像素点,计算时需要边界外的像素点参与运算,而需要的边界外的像素点是通过复制边界上的像素点得到的虚拟像素点,对于分割后额外多产生出的左右边界,其边界外实际是有真实像素点的,要用本来的像素点而不是通过复制得到,通过额外计算插值出若干像素点(Xi pixel)，就可以将处理边界外扩,保证需要输出的像素点是由真实像素点计算得来，再将额外计算插值出的外扩的若干pixel舍弃不输出，保证分割复用后合成出恰好完整的一帧。
303、硬件电路对crop处理后的若干图像块进行de-interlace处理。
由图4可知，本实施例设定Xi＝X(X和Xi可以通过寄存器根据需要来配置)，即空间分割后每一部分需要额外计算插值的pixel数量相同，则将宽高分别为W、H的图像做R次空间分割后，每一部分都是相同的size即(S+X)*H，通过采用如图5所示的硬件电路来进行de-interlace处理，则完成一个分量de-interlace处理所需总时间为：
Figure BDA0001958450340000041
式中：Tsw(i)为硬件电路启动时间；
Thw(i)为硬件电路完成de-interlace处理的时间，该部分时间主要由图像的size决定, 假定硬件电路完成de-interlace处理的效率为σ，即每个时钟周期可以处理σ个pixel， 0<σ<1，则
Figure BDA0001958450340000042
其中，硬件电路完成一个分量de-interlace处理时间受项目需要支持的规格限制,即项目需要支持的规格能够确定理论上完成一个分量de-interlace处理所需的最大时间Tmax，通过Ttotal≤Tmax，即
Figure BDA0001958450340000043
可以算得理论上合适的空间分割重复次数R，从而获得理论值R，据此可以得到空间分割后宽度S，进而可以得到line buffer的容量为(S+Xi)*8bits＝(W/R+Xi)*8bits，一般的，Xi≤W/R。
以项目所需最大需要支持将1920*1080@60i转为1920*1080@60p格式为例，即需支持每秒输出60帧，则完成一帧去隔行需在1/60秒内完成，一般地，去隔行电路输入的格式为YUV422 或者YUV420。即YUV三个分量相加起来最大的总size相当于2个Y分量的size，则Tmax＝1/60/2s＝8.33ms。
由此可知，通过采用本实施例提供的低成本de-interlace处理方法，通过对所输入的图像进行R次空间分割，可以将所需的line buffer容量减少为原来的近1/R，可以大幅减少缓存器硬件成本。
具体地，对所输入图像的Y、U、V三个分量采用分时复用电路进行处理，从而减少并行处理需要的多套电路。
具体地，如图6所示，对所输入图像的其中一分量进行R次分割后进行de-interlace处理的流程图，包括如下步骤；
601，处理图像的PL部分，PL具体是指图像场的最左边部分；
602，等待PL部分去隔行完成；
603，配置处理Pi部分，Pi具体是指图像场分割后的第i部分，其中1<i<R；
604，等待Pi部分去隔行完成；
605，配置处理PR部分，PR具体是指图像场的最右边部分；
606，等待PR部分去隔行完成；
607，该分量去隔行结束。
此外，为了获得R的最优值，以对图像进行最大程度的空间分割，由公式
Figure BDA0001958450340000051
可知R越大，则需要的额外处理时间也越大，为了得到合理的最大的空间分割复用次数R，需要进行调试迭代。由上述公式可知，硬件电路的处理时间会影响de-interlace处理所需的总时间，为此需要做各种实验仿真来确认电路设计是否合理，为了能够方便快速的调试各种实验，电路设计运用参数化设计。完成设计之后，通过配置相应的参数，进行***级仿真，可以得到完成各种大小格式图像 de-interlace所需的时间，可以评估出项目所需支持最大size规格的空间分割复用的次数，通过各种仿真实验结果，可以快速进行迭代，进而trade off得到最优的电路结构参数。由图7可知，迭代调试电路结构参数流程步骤包括：
701，参数化设计电路；
702，根据理论值及实验结果调整复用次数R，以理论值作为初始R值；
703，根据R设定相应的电路结构参数；
704，***级仿真确定结果是否满足应用要求；
705，确定复用次数R是否是最优的极大值；
706，根据最优的极大值R可以确定最优的最小成本的电路结构参数；
707，调试迭代结束。
以最大为1920*1080i格式为例说明，如果不采用本实施例提供的空间分割复用处理方法，所需的line buffer容量为1920*8bits，如果采用本空间分割复用处理方法，假设R为 2，即将输入图像分为左图部分(PL)和右图部分(PR)，则所需的line buffer容量为(1920/2+8)*8bits＝968*8bits，每条line buffer可以减少近一半，如果R大于2，即将输入图像分为左图部分(PL)和右图部分(PR)及中间重复图部分Pi，其中1<i<R，则所需的linebuffer容量为(1920/R+8)*8bits，节省的line buffer容量更多。
如图8所示，为一帧完整图像进行R次分割后进行de-interlace运行处理流程图，具体包括如下步骤：
801，配置处理Y分量PL部分；
802，等待Y分量PL部分去隔行完成；
803，配置处理Y分量Pi部分，其中1<i<R；
804，等待Y分量Pi部分去隔行完成；
805，配置处理Y分量PR部分；
806，等待Y分量PR部分去隔行完成；
807，配置处理U分量PL部分；
808，等待U分量PL部分去隔行完成；
809，配置处理U分量Pi部分，其中1<i<R；
810，等待U分量Pi部分去隔行完成；
811，配置处理U分量PR部分；
812，等待U分量PR部分去隔行完成；
813，配置处理V分量PL部分；
814，等待V分量PL部分去隔行完成；
815，配置处理V分量Pi部分，其中1<i<R；
816，等待V分量Pi部分去隔行完成；
817，配置处理V分量PR部分；
818，等待V分量PR部分去隔行完成；
重复以上步骤，即可完成连续图像视频的持续de-interlace处理。
上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的等效的变化或修饰，都应涵盖在本发明的保护范围内。

Claims (2)

1.一种低成本de-interlace处理方法，其特征在于，包括
对所输入的图像进行R次空间分割处理，获得若干图像块；其中，R为正整数；
对若干图像块的分割线边界进行crop处理，以消除边界效应；
硬件电路对crop处理后的若干图像块进行de-interlace处理；
对所输入图像的Y、U、V三个分量采用分时复用电路进行R次空间分割处理；
所述R的值通过如下方式求得：
硬件电路对图像的一个分量de-interlace处理所需总时间Ttotal为：
Figure FDA0002493215850000011
式中：W为图像的宽，H为图像的高；S为图像块的宽度，S＝W/R；Xi是指为了消除边界效应额外增加处理的pixel像素点,输出时需要crop掉丢弃不输出；
Tsw(i)为硬件电路启动时间；
Thw(i)为硬件电路完成de-interlace处理的时间，该部分时间主要由图像的size决定,假定硬件电路完成de-interlace处理的效率为σ，即每个时钟周期T可以处理σ个pixel，0<σ<1，则
Figure FDA0002493215850000012
其中，硬件电路完成一个分量de-interlace处理时间受项目需要支持的规格限制,即项目需要支持的规格能够确定理论上完成一个分量de-interlace处理所需的最大时间Tmax，通过Ttotal≤Tmax，即
Figure FDA0002493215850000013
求得R的值。
2.如权利要求1所述的低成本de-interlace处理方法，其特征在于，还包括对所述硬件电路进行仿真实验处理，得到完成各种大小格式图像de-interlace所需的时间，评估出项目所需支持最大size规格的空间分割复用的次数，然后根据不同的仿真实验结果，进行迭代处理，获得R的最优值。
CN201910074971.3A 2019-01-25 2019-01-25 一种低成本de-interlace处理方法 Active CN109672841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910074971.3A CN109672841B (zh) 2019-01-25 2019-01-25 一种低成本de-interlace处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910074971.3A CN109672841B (zh) 2019-01-25 2019-01-25 一种低成本de-interlace处理方法

Publications (2)

Publication Number Publication Date
CN109672841A CN109672841A (zh) 2019-04-23
CN109672841B true CN109672841B (zh) 2020-07-10

Family

ID=66149860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910074971.3A Active CN109672841B (zh) 2019-01-25 2019-01-25 一种低成本de-interlace处理方法

Country Status (1)

Country Link
CN (1) CN109672841B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592844A (zh) * 2021-08-10 2021-11-02 北京紫光展锐通信技术有限公司 图像畸变矫正方法及装置、终端和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075400A (zh) * 2006-05-17 2007-11-21 索尼株式会社 图像显示设备及处理方法、信号处理设备和程序产品

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2183796A1 (en) * 1995-08-24 1997-02-25 Todd A. Clatanoff Video processing system using scan-line video processors
KR100441509B1 (ko) * 2002-02-25 2004-07-23 삼성전자주식회사 주사포맷변환장치 및 방법
US7219352B2 (en) * 2002-04-15 2007-05-15 Microsoft Corporation Methods and apparatuses for facilitating processing of interlaced video images for progressive video displays
CN1601560A (zh) * 2003-09-22 2005-03-30 建兴电子科技股份有限公司 图像处理装置
KR101010961B1 (ko) * 2003-10-13 2011-01-26 학교법인 서강대학교 블럭 기반의 영역 분류를 이용한 공간적 디인터레이싱 방법
JP4250598B2 (ja) * 2005-02-07 2009-04-08 シャープ株式会社 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法
JP4760288B2 (ja) * 2005-10-13 2011-08-31 ソニー株式会社 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム
JP4172495B2 (ja) * 2006-05-09 2008-10-29 ソニー株式会社 画像表示装置、信号処理装置、および画像処理方法、並びにコンピュータ・プログラム
CN101087433A (zh) * 2006-06-05 2007-12-12 深圳创维－Rgb电子有限公司 一种多画面组合电视墙显示画面的方法
KR20080035195A (ko) * 2006-10-18 2008-04-23 메이빅스 테크놀로지 가부시키가이샤 아날로그 전송 네트워크를 위한 디지털 영상 처리 방법 및이를 위한 카메라 장치, 영상 처리 장치, 영상 처리 시스템
JP4412323B2 (ja) * 2006-12-28 2010-02-10 株式会社日立製作所 映像処理装置及び映像表示装置
WO2008120273A1 (ja) * 2007-03-29 2008-10-09 Fujitsu Limited 合成映像検出装置及び合成映像検出方法
JP2009170969A (ja) * 2008-01-10 2009-07-30 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP4374057B2 (ja) * 2008-02-29 2009-12-02 株式会社東芝 映像信号処理装置及び処理方法
JP2012044407A (ja) * 2010-08-18 2012-03-01 Sony Corp 画像処理装置および方法、並びにプログラム
CN102665060B (zh) * 2012-04-25 2013-07-24 中国科学技术大学 从交错式格式视频到渐进式格式视频的转换方法
CN107071326B (zh) * 2017-04-26 2020-01-17 西安诺瓦星云科技股份有限公司 视频处理方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075400A (zh) * 2006-05-17 2007-11-21 索尼株式会社 图像显示设备及处理方法、信号处理设备和程序产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A low power IC for efficient de-interlacing based on refined motion adaptive method;Yiwu Yao等;《2012 IEEE International Symposium on Industrial Electronics》;20120712;第1094-1099页 *

Also Published As

Publication number Publication date
CN109672841A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
US6411333B1 (en) Format conversion using patch-based filtering
US6556193B1 (en) De-interlacing video images using patch-based processing
US8749667B2 (en) System and method for maintaining maximum input rate while up-scaling an image vertically
JP5008826B2 (ja) 高精細度デインタレース／フレーム倍増回路およびその方法
US5949486A (en) Unit for detecting motion vector for motion compensation
US8345764B2 (en) Motion estimation device having motion estimation processing elements with adder tree arrays
JP2011035655A (ja) フレームレート変換装置、およびそれを搭載した表示装置
TWI384865B (zh) 影像處理之方法及電路
EP0785682A1 (en) Letter box converter
CN109672841B (zh) 一种低成本de-interlace处理方法
JPH04234283A (ja) 動き評価ハードウェアとビデオシステムのデータ伝送容量要求を低減する方法と装置
US6243140B1 (en) Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion
CN101616291B (zh) 图像处理设备和方法及其程序
US8165211B2 (en) Method and apparatus of de-interlacing video
CN107071326B (zh) 视频处理方法及装置
US8013935B2 (en) Picture processing circuit and picture processing method
JP3898546B2 (ja) 画像走査変換方法及び装置
US8200032B2 (en) Image processing method and related apparatus for performing image processing operation according to image blocks in horizontal direction
US7015975B2 (en) Image processing device with a processing unit that processes image data in units of one scan line
JP4140091B2 (ja) 画像情報変換装置および画像情報変換方法
EP1399883B1 (en) Conversion unit and method and image processing apparatus
EP2070194A2 (en) Method and/or apparatus for implementing reduced bandwidth high performance vc1 intensity compensation
JP4470324B2 (ja) 画像信号変換装置および方法
US9277168B2 (en) Subframe level latency de-interlacing method and apparatus
KR100224859B1 (ko) 엣지에 근거한 영상신호의 수직 보간 방법 및 그에 적합한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant