CN101222604B - 运算移动估计值与估算图像的移动向量的方法 - Google Patents

运算移动估计值与估算图像的移动向量的方法 Download PDF

Info

Publication number
CN101222604B
CN101222604B CN2008100057288A CN200810005728A CN101222604B CN 101222604 B CN101222604 B CN 101222604B CN 2008100057288 A CN2008100057288 A CN 2008100057288A CN 200810005728 A CN200810005728 A CN 200810005728A CN 101222604 B CN101222604 B CN 101222604B
Authority
CN
China
Prior art keywords
pixel
vector
value
pixel value
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008100057288A
Other languages
English (en)
Other versions
CN101222604A (zh
Inventor
钟家豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MStar Semiconductor Inc Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MStar Semiconductor Inc Taiwan filed Critical MStar Semiconductor Inc Taiwan
Publication of CN101222604A publication Critical patent/CN101222604A/zh
Application granted granted Critical
Publication of CN101222604B publication Critical patent/CN101222604B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明为一种运算移动估计值与估算图像的移动向量的方法，其中运算移动估计值的方法包含：于包含有第二待估计像素点的第二类的交错图场中定义出一个区块，所述区块中包含有原始像素点；将第一类的第一交错图场与第一类的第二交错图场内的像素点进行预先插补运算而形成第一与第二预解交错图场；根据所述区块于所述第二类的交错图场中位置的第二坐标以及一组待选向量，在所述第一与所述第二预解交错图场中分别定义出第一与第二待选区块；以及运算出对应所述组待选向量的移动估计值，所述移动估计值至少由第一数值与第二数值累加而成。本发明可有效改善已知手段中产生误判而导致画面失真的问题。

Description

运算移动估计值与估算图像的移动向量的方法
技术领域
本发明涉及一种运算移动估计值与估算图像的移动向量的方法，特别涉及于应用于解交错处理的运算移动估计值与估算图像的移动向量的方法。
背景技术
在图像信号格式中，交错式(interlaced)与非交错式(Non-interlaced或称progressive)的图像格式被广泛应于图像显示、图像处理等各种图像***中，因此图像信号在各***间进行传送与显示时，便经常有机会对交错式与非交错式的格式进行转换。
请参见图1(a)，其为解交错(deinterlacing)处理的示意图，其中左侧是表示出两张交错式图像图场(field)-奇图场11与偶图场12(虚线表示不存在的扫描线)。而经过解交错运算13，将原本不存在的扫描线推算出来，便可以相对应得到如图所示的两张具有完整扫描线的非交错式图框(frame)14与15。
而上述的解交错运算13较常见方式为利用同一图场中上下相邻扫描线上的像素点来推算出原本不存在的扫描线上的像素点的数值内插方法，但此种方法很容易造成画面失真甚至产生闪烁(flicker)等缺陷，因此，一种基于区块移动估计(Block based Motion estimation)来进行的解交错方法便被发展出来。而为能对移动估计有初步的了解，略说明如下。
由于在连续播放的动态图像中，前后两相邻画面间通常存在相当高的相似性，而区块移动估计主要就是在前后两相邻画面间，利用区块(例如8×8个像素点所构成的小方块)为单位，计算出目前画面n中的特定区块与前一画面n-1的搜寻视窗中所包含的所有候选区块间的多个差异值后，再从搜寻视窗中选出对应最小差异值的候选区块，并以其与所述特定区块所形成的向量来代表所述特定区块的最适合的移动向量(motion vector)。如图1(b)所示，以目前画面n的特定区块18为基准，在前一画面n-1的搜寻视窗17所包含的所有候选区块中，根据所述特定区块与所述候选区块间的差异值大小，找出对应所述特定区块18的一个最佳匹配区块19，进而推算出最适合的移动向量16。
而特定区块18与前一画面n-1中搜寻视窗17中的某一区块间的差异值通常是利用两区块中同样相对位置的像素点的像素值差值(以下简称像素差值)的绝对值总和来决定，而所述像素值可为色彩值(color value，例如RGB值)。但是由于交错式图像格式的相邻画面间彼此缺乏相同位置的像素点数据，因此将移动估计应用于解交错方法的过程中，便有许多种计算区块间的差异值的方法被发展出来。
请参见图2(a)与图2(b)，其为公知解交错方法中两种用于计算区块间的差异值的方法示意图。在图2(a)中，n-1与n分别代表两个相邻的交错式图场，而y-3到y+3是分别代表图场中某一条垂直线上的相邻像素点的位置。其中坐标(n，y)的像素点(以三角形代表)就是原本不存在而待推算的一个像素点，因此，移动估计方法必须求出相对应于所述像素点(n，y)所在区块的最适合的移动向量。于是，根据所述像素点(n，y)所在区块与前一图场n-1中的搜寻视窗内的所有区块，计算出差异值并找出最小值，便可对应出最佳匹配区块以及最适合的移动向量。而如上所述，差异值通常是利用两区块中同样相对位置的像素点的像素差值的绝对值总和来决定，但在本情况中，所述像素点(n，y)所在区块(未绘示)中仅取出如图所示的圆形实线像素点(原始就存在的像素点)来进行运算，但仍会与前一图场n-1中的搜寻视窗内中的y-3、y-1、y+1、y+3等像素点进行运算，例如图中箭头CP所示，但因前一图场n-1中的y-3、y-1、y+1、y+3等以圆形虚线表达的像素点原本是不存在的，而是利用解交错的方法来推算而得，因此本身已存在着误差，利用此方法推算出来的移动向量将会有极大的机会将此误差累积下去，最后造成画面失真。
图2(b)的方法以图场n的像素点(n，y)为基准，在前一图场n-1与下一图场n+1中各找出候选区块，两候选区块中心位置的连线通过像素点(n，y)，然后计算两区块中同样相对位置的像素点的像素差值的绝对值总和，并找出总和最小的对候选区块及所述对候选区块所对应的移动向量。由于本方法完全忽略目前图场n的像素点来进行移动向量的估计，因此当有存在于目前图场n的图像数据并未出现于前一图场n-1与下一图场n+1之中时，便极容易产生误判而导致画面失真。因此，如何解决上述问题便成为以后发展的主要目的。
发明内容
本发明的目的在于提出一种运算移动估计值与估算图像的移动向量的方法，以克服已知手段中产生误判而导致画面失真的缺陷。
本发明为一种运算移动估计值的方法，包含下列步骤：于包含有第二待估计像素点的第二类的交错图场中定义出一个区块，所述区块中包含有所述第二待估计像素点以及至少一个原始像素点；将第一类的第一交错图场与第一类的第二交错图场内的像素点进行预先插补运算，以得到属于所述第一类的第一交错图场的多个第一待估计像素点的预估像素值以及属于所述第一类的第二交错图场的多个第三待估计像素点的预估像素值，进而形成第一预解交错图场与第二预解交错图场；根据所述区块于所述第二类的交错图场中位置的第二坐标以及一组待选向量，在所述第一预解交错图场与所述第二预解交错图场中分别定义出第一待选区块与第二待选区块；以及运算出对应所述组待选向量的移动估计值，所述移动估计值至少由第一数值与第二数值累加而成，所述第一数值至少包含有代表所述区块中的所述原始像素点与位于所述第一待选区块中的第一比较像素点间的像素差值绝对值，所述第二数值则至少包含有代表分别位于所述第一待选区块中与所述第二待选区块中的第二比较像素点与第三比较像素点间的像素差值绝对值。
如上所述的运算移动估计值的方法，其中所述第一类交错图场为奇图场，而所述第二类交错图场为偶图场。
如上所述的运算移动估计值的方法，其中所述组待选向量至少包含：第一向量，其由所述第二坐标指向所述第一待选区块于所述第一预解交错图场中位置的第一坐标；以及第二向量，其由所述第一坐标指向所述第二待选区块于所述第二预解交错图场中位置的第三坐标，且所述第一向量与所述第二向量平行。
如上所述的运算移动估计值的方法，其中所述组待选向量还包含第三向量，所述第三向量与所述第一向量为反向，其由所述第二坐标指向所述第三坐标。
如上所述的移动估计值运算方法，其中所述移动估计值由所述第一数值、所述第二数值以及第三数值累加而成，所述第一数值为所述区块中的多个原始像素点与位于所述第一待选区块中的多个第一比较像素点间的像素差值绝对值的总合，所述第二数值则为分别位于所述第一待选区块中与所述第二待选区块中的多个第二比较像素点与多个第三比较像素点间的像素差值绝对值的总合，而所述第三数值为所述区块中的多个原始像素点与位于所述第二待选区块中的多个第四比较像素点间的像素差值绝对值的总合。
如上所述的运算移动估计值的方法，其中所述多个第一比较像素点与第二比较像素点从所述第一待选区块中多个具有预估像素值的待估计像素点与多个原始像素点中选出，所述多个第三比较像素点与第四比较像素点从所述第二待选区块中多个具有预估像素值的待估计像素点与多个原始像素点中选出。
如上所述的运算移动估计值的方法，其可运用于移动向量估算方法中，所述移动向量估算方法包含下列步骤：改变所述组待选向量的大小或方向，进而运算出对应多组待选向量的多个移动估计值；以及由多个移动估计值中选取移动估计值，并以被选取的移动估计值所对应的向量为最适合的移动向量。
如上所述的移动估计值运算方法，其中由多个移动估计值中选取最小的所述移动估计值，并以被选取的移动估计值所对应的向量为所述最适合的移动向量。
本发明的另一方面为一种估算图像的移动向量的方法，包含有：从图像信号中选取第一图像画面、第二图像画面以及第三图像画面，其中所述第一图像画面包含有多个第一原始像素，所述第二图像画面包含有多个第二原始像素，所述第三图像画面包含有多个第三原始像素；进行插补运算以在所述第一图像画面与所述第三图像画面中分别产生多个第一插补像素以及多个第三插补像素；在所述第二图像画面上产生第二比对视窗，所述第二比对视窗包含多个所述第二原始像素；从多个候选向量中选取测试向量；根据所述第二比对视窗的位置以及所述测试向量，在所述第一图像画面上产生第一比对视窗，所述第一比对视窗包含有多个所述第一原始像素以及多个所述第一插补像素；根据所述第二比对视窗的位置以及所述测试向量，在所述第三图像画面上产生第三比对视窗，所述第三比对视窗包含有多个所述第三原始像素以及多个所述第三插补像素；根据所述第一比对视窗内像素的像素值以及所述第二比对视窗内像素的像素值，来产生第一像素差值；根据所述第二比对视窗内像素的像素值以及所述第三比对视窗内像素的像素值，来产生第二像素差值；根据所述第一比对视窗内像素的像素值以及所述第三比对视窗内像素的像素值，来产生第三像素差值；以及根据所述第一、第二以及第三像素差值来决定是否以所述测试向量作为所述图像的所述移动向量。
如上所述的方法，其中所述第一比对视窗的位置为所述第二比对视窗的位置沿所述测试向量移动后，投影于所述第一图像画面的位置。
如上所述的方法，其中所述第三比对视窗的位置为所述第二比对视窗的位置沿所述测试向量的相反方向移动所述测试向量的距离后，投影于所述第三图像画面的位置。
如上所述的方法，其中所述第一、第二、第三图像画面为在时间上连续的图像画面。
如上所述的方法，其中所述第一、第三图像画面同为奇图场或偶图场，而所述第二图像画面为与所述第一、第三图像画面相异的另一种类的图场。
如上所述的方法，其中所述第一像素差值为多个所述第一插补像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合。
如上所述的方法，其中所述第二像素差值为多个所述第三插补像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合。
如上所述的方法，其中所述第三像素差值为多个所述第一原始像素的像素值与多个所述第三原始像素的像素值的差值绝对值的总合。
如上所述的方法，其中所述第一像素差值为多个所述第一原始像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合。
如上所述的方法，其中所述第二像素差值为多个该第三原始像素的像素值与多个该第二原始像素的像素值的差值绝对值的总合。
综上所述，本发明的方法完整利用目前图场n、前一图场n-1与下一图场n+1的像素点来进行移动向量的估计，因此可有效改善已知手段中产生误判而导致画面失真的问题。
附图说明
图1(a)为解交错(deinterlacing)处理的示意图。
图1(b)为移动向量的示意图。
图2(a)与图2(b)为解交错方法中两种用于计算区块间的差异值的已知方法示意图。
图3为本发明用于运算出移动估计值的示意图。
图4为8×8区块的像素点示意图。
图5为本发明用于估算图像的移动向量的方法流程图。
并且，上述附图中的各附图标记说明如下：
11    奇图场
12    偶图场
13    解交错运算
14    第一非交错式图框
15    第二非交错式图框
16    最适合的移动向量
17    搜寻视窗
18    特定区块
19    最佳匹配区块
31    第一类的第一交错图场
32    第二类的交错图场
33    第一类的第二交错图场
320   区块
310   第一待选区块
330   第二待选区块
CP    第一向量
CB    第二向量
CN    第三向量
3100  第一坐标
3200  第二坐标
3300  第三坐标
具体实施方式
为能改善上述已知手段的缺陷，本发明便发展出一个新的运算移动估计值的方法，为了方便说明，请参见图3，首先定义出交错式动态图像信号中至少包含于时间轴上连续的三个图场(field)：第一类的第一交错图场31、第二类的交错图场32以及第一类的第二交错图场33，举例来说，所述第一类交错图场可为奇图场，而所述第二类交错图场可为偶图场；或是所述第一类交错图场可为偶图场，而所述第二类交错图场可为奇图场。
而本发明用以运算出移动估计值的方法则主要包含下列步骤：
(i)于包含有多个第二待估计像素点的所述第二类的交错图场32中定义出区块320，所述区块中包含有所述多个第二待估计像素点以及多个原始像素点。举例来说，当交错式动态图像信号的图框(frame)尺寸为800×600个像素点时，所述第二类的交错图场可为交错式动态图像信号中的偶(奇)图场，因此它仅具有800×300个像素点。而于其中定义出的所述区块的尺寸可为4×4、8×8或16×16个像素点，但所述区块中却只具有4×2、8×4、16×8个原始像素点，另外一半则是所述多个第二待估计像素点。
(ii)接着，将第一类的第一交错图场31与第一类的第二交错图场33内的像素点进行预先插补运算，以得到属于所述第一类的第一交错图场的多个第一待估计像素点的预估像素值以及属于所述第一类的第二交错图场的多个第三待估计像素点的预估像素值，进而形成第一预解交错图场与第二预解交错图场。沿用上例来说，所述第一类的交错图场可为交错式动态图像信号中的奇(偶)图场，因此它仅具有800×300个像素点，于是便进行预先插补运算来得到另外800×300个待估计像素点的预估像素值。而所述预先插补运算可为数值内插运算，其可以将所述第一类的第一交错图场与所述第一类的第二交错图场中上下相邻像素点的色彩值相加再平均后所得到的色彩值来做为所述第一预解交错图场与所述第二预解交错图场中所述多个待估计像素点的预估色彩值。而此类运算相当多种类且为一般公知技术，故不一一赘述。
(iii)接着，根据所述区块320于所述第二类的交错图场中位置的第二坐标3200(例如所述区块左上角像素点的坐标)以及一组待选向量(CP、CB、CN)，在所述第一预解交错图场与所述第二预解交错图场中分别定义出第一待选区块310与第二待选区块330。而所述组待选向量中的第一向量CP，其由所述第二坐标3200指向所述第一待选区块310于所述第一预解交错图场中位置的第一坐标3100，而第二向量CB，其由所述第一坐标3100指向所述第二待选区块330于所述第二预解交错图场中位置的第三坐标3300，而从图可看出，所述第一向量CP与所述第二向量CB平行，至于所述第三向量CN与所述第一向量CP为反向，其由所述第二坐标3200指向所述第三坐标3300。而为能减少运算量，当然也可只选用所述组待选向量(CP、CB、CN)中的任两个向量来当代表即可。
(iv)接着，运算出对应所述组待选向量(CP、CB、CN)的移动估计值，而所述移动估计值可由三种数值所累加而成，其中第一数值为所述区块320中至少一个但最佳是全部的原始像素点与位于所述第一待选区块310中同样相对位置的至少一个但最佳是多个的第一比较像素点间的像素差值绝对值的总合；第二数值则为位于所述第一待选区块310中至少一个但最佳是多个的第二比较像素点与所述第二待选区块330中同样相对位置的至少一个但最佳是多个的第三比较像素点间的像素差值绝对值的总合；第三数值为所述区块320中至少一个但最佳是全部的原始像素点与位于所述第二待选区块330中同样相对位置的至少一个但最佳是多个的第四比较像素点间的像素差值绝对值的总合。而为能减少运算量，当然也可只选用所述组待选向量(CP、CB、CN)中的任两个向量来当代表，如此可以少算某一种数值但却仍可估计出相当准确的所述移动估计值。
至于上述的第一比较像素点与第二比较像素点可从所述第一待选区块310中具有预估像素值的待估计像素点与原始像素点中，因应所述区块320中原始像素点的位置而对应选出；所述多个第三比较像素点与第四比较像素点则可从所述第二待选区块330中的具有预估像素值的待估计像素点与原始像素点中，因应所述区块320中原始像素点的位置而对应选出。而图4便是以8×8的区块为例的像素点示意图，其中所述第一待选区块310与所述第二待选区块330中的待估计像素点以方形代表，而所述区块320、所述第一待选区块310与所述第二待选区块330中的原始像素点则以圆形代表，而所述区块320中所缺少的像素点则以三角形代表。其中所述第一待选区块310与所述第二待选区块330中的待估计像素点与原始像素点的分布位置会随第一坐标3100与第三坐标3300改变而对调，例如待估计像素点变成偶数条，而原始像素点变成奇数条，但是第一待选区块310与所述第二待选区块330会是一起变化。至于所述区块320中的三角形与圆形的分布位置也会随第二坐标3200的改变而对调。
而上述运算移动估计值的方法，还可进一步运用于移动向量估算方法中，而所述移动向量估算方法则包含下列步骤：
(i)改变所述组待选向量的大小或方向，进而运算出对应多组待选向量的多个移动估计值；以及
(ii)由多个移动估计值中选取移动估计值，并以被选取的移动估计值所对应的向量为最适合的移动向量。而最佳者由多个移动估计值中选取最小的所述移动估计值，并以被选取的移动估计值所对应的向量为所述最适合的移动向量。
因此本发明公开了一种估算图像的移动向量的方法，其包含有如图5所示的步骤流程图：
步骤(a)：从图像信号中选取第一图像画面、第二图像画面以及第三图像画面，其中所述第一图像画面包含有多个第一原始像素，所述第二图像画面包含有多个第二原始像素，所述第三图像画面包含有多个第三原始像素，而所述第一、第二、第三图像画面为在时间上连续的图像画面。当然，所述第一、第二、第三图像画面可各代表交错式图像图场，其中所述第一、第三图像画面同为奇图场或偶图场，而所述第二图像画面为与所述第一、第三图像画面相异的另一种类的图场。
步骤(b)：进行插补运算以在所述第一图像画面与所述第三图像画面中分别产生多个第一插补像素以及多个第三插补像素；
步骤(c)：在所述第二图像画面上产生第二比对视窗，所述第二比对视窗包含多个所述第二原始像素；
步骤(d)：从多个候选向量中选取测试向量；
步骤(e)：根据所述第二比对视窗的位置以及所述测试向量，在所述第一图像画面上产生第一比对视窗，所述第一比对视窗包含有多个所述第一原始像素以及多个所述第一插补像素，而所述第一比对视窗的位置为所述第二比对视窗的位置沿所述测试向量移动后，投影于所述第一图像画面的位置，而所述第一插补像素根据所述第一原始像素及/或与所述第一图像画面时间轴上相邻的图像画面的像素来产生；
步骤(f)：根据所述第二比对视窗的位置以及所述测试向量，在所述第三图像画面上产生第三比对视窗，所述第三比对视窗包含有多个所述第三原始像素以及多个所述第三插补像素，而所述第三比对视窗的位置为所述第二比对视窗的位置沿所述测试向量的相反方向移动所述测试向量的距离后，投影于所述第三图像画面的位置，而所述第三插补像素根据所述第三原始像素及/或与所述第三图像画面时间轴上相邻的图像画面的像素来产生；
步骤(g)：根据所述第一比对视窗内像素的像素值以及所述第二比对视窗内像素的像素值，来产生第一像素差值，而所述第一像素差值可为多个所述第一插补像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合，或是所述第一像素差值可为多个所述第一原始像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合；
步骤(h)：根据所述第二比对视窗内像素的像素值以及所述第三比对视窗内像素的像素值，来产生第二像素差值，而所述第二像素差值可为多个所述第三插补像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合，或是所述第二像素差值可为多个所述第三原始像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合；
步骤(i)：根据所述第一比对视窗内像素的像素值以及所述第三比对视窗内像素的像素值，来产生第三像素差值，而所述第三像素差值为多个所述第一原始像素的像素值与多个所述第三原始像素的像素值的差值绝对值的总合；以及
步骤(j)：根据所述第一、第二以及第三像素差值来决定是否以所述测试向量作为所述图像的所述移动向量。
综上所述，本发明的方法完整利用目前图场n、前一图场n-1与下一图场n+1的像素点来进行移动向量的估计，因此可有效改善已知手段中产生误判而导致画面失真的问题。因此，本发明技术手段可解决已知缺陷，进而实现发展本发明的主要目的。

Claims (18)

1.一种运算移动估计值的方法，包含下列步骤：
于包含有第二待估计像素点的第二类的交错图场中定义出一个区块，所述区块中包含有所述第二待估计像素点以及至少一个原始像素点；
将第一类的第一交错图场与第一类的第二交错图场内的像素点进行预先插补运算，以得到属于所述第一类的第一交错图场的多个第一待估计像素点的预估像素值以及属于所述第一类的第二交错图场的多个第三待估计像素点的预估像素值，进而形成第一预解交错图场与第二预解交错图场；
根据所述区块于所述第二类的交错图场中位置的第二坐标以及一组待选向量，在所述第一预解交错图场与所述第二预解交错图场中分别定义出第一待选区块与第二待选区块；以及
运算出对应所述组待选向量的移动估计值，所述移动估计值至少由第一数值与第二数值累加而成，所述第一数值至少包含有代表所述区块中的所述原始像素点与位于所述第一待选区块中的第一比较像素点间的像素差值绝对值，所述第二数值则至少包含有代表分别位于所述第一待选区块中与所述第二待选区块中的第二比较像素点与第三比较像素点间的像素差值绝对值。
2.如权利要求1所述的运算移动估计值的方法，其中所述第一类交错图场为奇图场，而所述第二类交错图场为偶图场。
3.如权利要求1所述的运算移动估计值的方法，其中所述组待选向量至少包含：
第一向量，其由所述第二坐标指向所述第一待选区块于所述第一预解交错图场中位置的第一坐标；以及
第二向量，其由所述第一坐标指向所述第二待选区块于所述第二预解交错图场中位置的第三坐标，且所述第一向量与所述第二向量平行。
4.如权利要求3所述的运算移动估计值的方法，其中所述组待选向量还包含第三向量，所述第三向量与所述第一向量为反向，其由所述第二坐标指向所述第三坐标。
5.如权利要求4所述的移动估计值运算方法，其中所述移动估计值由所述第一数值、所述第二数值以及第三数值累加而成，所述第一数值为所述区块中的多个原始像素点与位于所述第一待选区块中的多个第一比较像素点间的像素差值绝对值的总合，所述第二数值则为分别位于所述第一待选区块中与所述第二待选区块中的多个第二比较像素点与多个第三比较像素点间的像素差值绝对值的总合，而所述第三数值为所述区块中的多个原始像素点与位于所述第二待选区块中的多个第四比较像素点间的像素差值绝对值的总合。
6.如权利要求5所述的运算移动估计值的方法，其中所述多个第一比较像素点与第二比较像素点从所述第一待选区块中多个具有预估像素值的待估计像素点与多个原始像素点中选出，所述多个第三比较像素点与第四比较像素点从所述第二待选区块中多个具有预估像素值的待估计像素点与多个原始像素点中选出。
7.如权利要求1所述的运算移动估计值的方法，其可运用于移动向量估算方法中，所述移动向量估算方法包含下列步骤：
改变所述组待选向量的大小或方向，进而运算出对应多组待选向量的多个移动估计值；以及
由多个移动估计值中选取移动估计值，并以被选取的移动估计值所对应的向量为最适合的移动向量。
8.如权利要求7所述的移动估计值运算方法，其中由多个移动估计值中选取最小的所述移动估计值，并以被选取的移动估计值所对应的向量为所述最适合的移动向量。
9.一种估算图像的移动向量的方法，包含有：
从图像信号中选取第一图像画面、第二图像画面以及第三图像画面，其中所述第一图像画面包含有多个第一原始像素，所述第二图像画面包含有多个第二原始像素，所述第三图像画面包含有多个第三原始像素；
进行插补运算以在所述第一图像画面与所述第三图像画面中分别产生多个第一插补像素以及多个第三插补像素；
在所述第二图像画面上产生第二比对视窗，所述第二比对视窗包含多个所述第二原始像素；
从多个候选向量中选取测试向量；
根据所述第二比对视窗的位置以及所述测试向量，在所述第一图像画面上产生第一比对视窗，所述第一比对视窗包含有多个所述第一原始像素以及多个所述第一插补像素；
根据所述第二比对视窗的位置以及所述测试向量，在所述第三图像画面上产生第三比对视窗，所述第三比对视窗包含有多个所述第三原始像素以及多个所述第三插补像素；
根据所述第一比对视窗内像素的像素值以及所述第二比对视窗内像素的像素值，来产生第一像素差值；
根据所述第二比对视窗内像素的像素值以及所述第三比对视窗内像素的像素值，来产生第二像素差值；
根据所述第一比对视窗内像素的像素值以及所述第三比对视窗内像素的像素值，来产生第三像素差值；以及
根据所述第一、第二以及第三像素差值来决定是否以所述测试向量作为所述图像的所述移动向量。
10.如权利要求9所述的方法，其中所述第一比对视窗的位置为所述第二比对视窗的位置沿所述测试向量移动后，投影于所述第一图像画面的位置。
11.如权利要求9所述的方法，其中所述第三比对视窗的位置为所述第二比对视窗的位置沿所述测试向量的相反方向移动所述测试向量的距离后，投影于所述第三图像画面的位置。
12.如权利要求9所述的方法，其中所述第一、第二、第三图像画面为在时间上连续的图像画面。
13.如权利要求9所述的方法，其中所述第一、第三图像画面同为奇图场或偶图场，而所述第二图像画面为与所述第一、第三图像画面相异的另一种类的图场。
14.如权利要求9所述的方法，其中所述第一像素差值为多个所述第一插补像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合。
15.如权利要求9所述的方法，其中所述第二像素差值为多个所述第三插补像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合。
16.如权利要求9所述的方法，其中所述第三像素差值为多个所述第一原始像素的像素值与多个所述第三原始像素的像素值的差值绝对值的总合。
17.如权利要求9所述的方法，其中所述第一像素差值为多个所述第一原始像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合。
18.如权利要求9所述的方法，其中所述第二像素差值为多个该第三原始像素的像素值与多个该第二原始像素的像素值的差值绝对值的总合。
CN2008100057288A 2007-04-04 2008-02-04 运算移动估计值与估算图像的移动向量的方法 Expired - Fee Related CN101222604B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US90994507P 2007-04-04 2007-04-04
US60/909,945 2007-04-04

Publications (2)

Publication Number Publication Date
CN101222604A CN101222604A (zh) 2008-07-16
CN101222604B true CN101222604B (zh) 2010-06-09

Family

ID=39632150

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2008100057288A Expired - Fee Related CN101222604B (zh) 2007-04-04 2008-02-04 运算移动估计值与估算图像的移动向量的方法
CN2008100911502A Expired - Fee Related CN101272451B (zh) 2007-04-04 2008-04-07 图像处理方法与图像处理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2008100911502A Expired - Fee Related CN101272451B (zh) 2007-04-04 2008-04-07 图像处理方法与图像处理装置

Country Status (3)

Country Link
US (2) US8644387B2 (zh)
CN (2) CN101222604B (zh)
TW (3) TWI373696B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060373A1 (en) * 2007-08-24 2009-03-05 General Electric Company Methods and computer readable medium for displaying a restored image
KR100939917B1 (ko) * 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US20100232511A1 (en) * 2009-03-12 2010-09-16 Himax Media Soltuions, Inc. Motion compensator, motion compensating method, and motion-compensated video decoder implementing the same
GB2484071B (en) * 2010-09-23 2013-06-12 Imagination Tech Ltd De-interlacing of video data
WO2012066866A1 (ja) * 2010-11-17 2012-05-24 三菱電機株式会社 動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8891627B1 (en) * 2011-04-18 2014-11-18 Google Inc. System and method for coding video using color segmentation
CN102932581B (zh) * 2011-08-08 2016-03-30 联咏科技股份有限公司 图像处理电路及图像处理方法
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US9277168B2 (en) * 2012-06-29 2016-03-01 Advanced Micro Devices, Inc. Subframe level latency de-interlacing method and apparatus
TWI571828B (zh) * 2013-01-02 2017-02-21 奇高電子股份有限公司 光學導航方法以及相關裝置
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
US20160345018A1 (en) * 2015-05-19 2016-11-24 Microsoft Technology Licensing, Llc Video encoding and decoding
CN106550238B (zh) * 2015-09-16 2019-09-13 福州瑞芯微电子股份有限公司 一种图像处理方法及***
CN117041559A (zh) 2016-12-07 2023-11-10 株式会社Kt 对视频进行解码或编码的方法和存储视频数据的设备
EP3296749B1 (en) * 2017-01-27 2019-01-23 Sick IVP AB Motion encoder
US10612951B2 (en) * 2017-05-31 2020-04-07 Pixart Imaging Inc. Optical flow sensor, methods, remote controller device, and rotatable electronic device
CN111623810A (zh) * 2019-02-27 2020-09-04 多方科技(广州)有限公司 移动侦测方法及其电路

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1343342A (zh) * 1999-03-08 2002-04-03 汤姆森许可贸易公司 估计编码图像的方法及装置
CN1452409A (zh) * 2002-04-18 2003-10-29 华为技术有限公司 一种图像运动估计方法
CN1578464A (zh) * 2003-07-14 2005-02-09 致伸科技股份有限公司 在数字影像压缩中决定动态向量的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US200619A (en) * 1878-02-26 Improvement in boot and shoe holders
EP0697788A3 (en) * 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
US6633677B1 (en) * 1999-12-30 2003-10-14 Stmicroelectronics, Inc. Method and apparatus for processing an image in an image compression/decompression system that uses hierachical coding
JP4765194B2 (ja) * 2001-05-10 2011-09-07 ソニー株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
JP4114859B2 (ja) 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
JP4130783B2 (ja) 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
CA2450309C (en) * 2002-07-02 2012-08-21 Shinya Kadono Motion vector derivation method, moving picture coding method and moving picture decoding method
EP1574995A1 (en) * 2004-03-12 2005-09-14 Thomson Licensing S.A. Method for encoding interlaced digital video data
TWI237496B (en) 2004-03-24 2005-08-01 Realtek Semiconductor Corp Method and apparatus for de-interlacing video data through utilizing motion compensation
TWI255643B (en) 2005-02-24 2006-05-21 Weltrend Semiconductor Inc Method for defining chromaticity regions according to luminance levels and adjusting chromaticity of images accordingly
TWI273512B (en) 2005-03-01 2007-02-11 Weltrend Semiconductor Inc Luminance-based video's saturation adjusting method
US7567294B2 (en) * 2005-03-28 2009-07-28 Intel Corporation Gradient adaptive video de-interlacing
US20080018788A1 (en) * 2006-07-20 2008-01-24 Samsung Electronics Co., Ltd. Methods and systems of deinterlacing using super resolution technology

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1343342A (zh) * 1999-03-08 2002-04-03 汤姆森许可贸易公司 估计编码图像的方法及装置
CN1452409A (zh) * 2002-04-18 2003-10-29 华为技术有限公司 一种图像运动估计方法
CN1578464A (zh) * 2003-07-14 2005-02-09 致伸科技股份有限公司 在数字影像压缩中决定动态向量的方法

Also Published As

Publication number Publication date
TW200841142A (en) 2008-10-16
TW200841735A (en) 2008-10-16
US8644387B2 (en) 2014-02-04
US8199252B2 (en) 2012-06-12
US20080246885A1 (en) 2008-10-09
US20080246884A1 (en) 2008-10-09
TWI408963B (zh) 2013-09-11
CN101222604A (zh) 2008-07-16
TWI504267B (zh) 2015-10-11
TWI373696B (en) 2012-10-01
TW201306586A (zh) 2013-02-01
CN101272451A (zh) 2008-09-24
CN101272451B (zh) 2010-10-13

Similar Documents

Publication Publication Date Title
CN101222604B (zh) 运算移动估计值与估算图像的移动向量的方法
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
EP1353509B1 (en) Stillness judging device and scanning line interpolating device having it
CN101069416B (zh) 在数字视频中的赝像减少
CN100438609C (zh) 带有降质的图像处理单元
CN101444094A (zh) 用于对输入图像序列的先前和后继图像插值的方法
JP5164351B2 (ja) 物体検出装置および物体検出方法
CN101163247A (zh) 运动补偿图像的内插方法以及用于所述方法的实现的设备
EP0395263B1 (en) Motion dependent video signal processing
CN103369208A (zh) 自适应去隔行方法及装置
EP0395266B1 (en) Motion dependent video signal processing
JP2000253422A (ja) ２次元映像からの立体映像生成方法
CN101588444B (zh) 视频数据的去隔行方法、去隔行装置及视频处理***
US7379120B2 (en) Image processing device and image processing method
JP3604752B2 (ja) 動きベクトル検出装置および方法
EP0395269B1 (en) Motion dependent video signal processing
CN101247472B (zh) 一种基于运动补偿的去隔行处理方法
US20130235274A1 (en) Motion vector detection device, motion vector detection method, frame interpolation device, and frame interpolation method
CN101483771B (zh) 提升帧速率的方法与装置
JP2007195062A (ja) 画像静止領域判定装置、およびインタレース−プログレッシブ画像変換装置
JP5114290B2 (ja) 信号処理装置
CN107124617A (zh) 运动估计运动补偿中随机矢量的生成方法及***
JP4736456B2 (ja) 走査線補間装置、映像表示装置、映像信号処理装置
JP2001094951A (ja) 走査線補間方法
JPH0478286A (ja) 初期偏位ベクトルを用いた動きベクトルの検出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211028

Address after: Hsinchu, Taiwan, China

Patentee after: MEDIATEK Inc.

Address before: Hsinchu County, Taiwan, China

Patentee before: MSTAR SEMICONDUCTOR Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100609