CN101523440A - 运动矢量检测装置 - Google Patents
运动矢量检测装置 Download PDFInfo
- Publication number
- CN101523440A CN101523440A CNA2007800365742A CN200780036574A CN101523440A CN 101523440 A CN101523440 A CN 101523440A CN A2007800365742 A CNA2007800365742 A CN A2007800365742A CN 200780036574 A CN200780036574 A CN 200780036574A CN 101523440 A CN101523440 A CN 101523440A
- Authority
- CN
- China
- Prior art keywords
- value
- data
- projection
- vertical direction
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
Abstract
本发明涉及一种能够高可靠性地检测帧图像整体的运动矢量的运动矢量检测装置,在峰值检测器(317)中,对于作为基准值的相对位置(水平方向运动矢量),使作为比较对象的相对位置从负侧朝向正侧顺序移动,并每次比较两个相对位置的垂直方向块n值化数据的大小。该情况时,把通过比较被判定为大的一方的垂直方向块n值化数据变更为基准值(或维持基准值),进行与下一个作为比较对象的相对位置的比较。通过反复进行该处理,求出垂直方向块n值化数据的最大值Pn(峰值)。
Description
技术领域
本发明涉及运动矢量检测装置,其检测关于在时序上为前后关系的前面帧和后面帧的帧图像间的运动矢量。
背景技术
作为以往的运动矢量检测技术,专利文献1记载了一种方法,把图像分割为多个块,对每个块检测边缘并跟踪边缘的移动,从而检测运动矢量。在该方法中,为了减少像天空等那样空间频率低且没有特征图案时的错误判定、以及像格子门那样空间频率较高且具有许多特征点时的错误判定,利用每一块的边缘数进行加权,评价可靠性。并且,作为边缘检测的方法使用零交叉法(zero crossing method)等。
专利文献1:日本专利第3164121号公报
专利文献1公开的运动矢量检测方法,利用每个块的边缘数对按照每个块计算出的运动矢量的可靠性进行加权,从而减少错误判定,但根据检测条件,有时存在仅依靠边缘数很难评价运动矢量的可靠性的问题。
例如,即使是相同周期性的图像,由于该周期和运动检测范围之间的关系,计算出的运动矢量的可靠性产生差异。在运动检测范围相比于周期较小时,认为容易计算出具有可靠性的运动矢量,而在运动检测范围相比于周期较大时,可以说很难计算出具有可靠性的运动矢量。并且,在摄影对象的一部分存在不同的运动时,根据该运动的程度,计算出的运动矢量的可靠性产生差异。即,在一部分的运动比较小时,能够不受该运动迷惑地准确检测摄影对象整体的运动,但在一部分的运动比较大时,被该运动迷惑,不能准确检测摄影对象整体的运动。
并且,作为在抖动校正等中使用的帧图像间的运动矢量检测技术,如专利文献2记载的那样,根据在时间上连续的多个图像各自的差分图像,按照每个像素比较与周边像素的像素值,按照每个方位估计运动的方向,并计算这些运动矢量之和的平均,由此计算每个像素的运动矢量,而计算局部的运动矢量(光流:optical flow)。
此时,为了对按照每个像素求出的光流削减(减少)噪声的影响,进行取包含周边8个像素的初始估计运动矢量之和的平均等的平滑化处理。
并且,或者在专利文献3中,将与专利文献2相同的平滑化方法应用于投影数据,把输入图像划分为各个部分区域,使用针对多个部分区域分别计算出的运动矢量,来计算整个图像的运动矢量。
并且,作为去除噪声的方法,一般多采用如专利文献4的图2记载的、由(1/4、1/2、1/4)构成的3抽头低通滤波器。
专利文献2:日本特开平10—240945号公报
专利文献3:日本特开2002—63578号公报
专利文献4:日本专利第3314556号公报
在专利文献2和专利文献3公开的平滑化方法中,通过将计算出的运动矢量与周边像素结果取平均来进行平滑化,对在运动矢量计算时使用的原图像和投影数据自身不进行噪声去除。因此,在使用包含噪声的数据进行运动矢量的计算处理,并且噪声的影响波及到周边像素的情况下,存在不能准确计算出运动矢量的问题。
并且,在专利文献4公开的使用低通滤波器的平滑化方法中,由于明显破坏应用的原图像和投影数据的高频分量(特性),所以在计算运动矢量时有可能导致缺失必要的特性(特征量)。
发明内容
本发明就是为了解决上述问题而提出的,其目的在于,提供一种运动矢量检测装置,其能够高可靠性地检测帧图像整体的运动矢量。
并且,本发明的目的在于,提供一种运动矢量检测装置,其具有能够不会破坏运动矢量计算所需要的特性(特征量),而只去除(减少)噪声分量的平滑化单元。
本发明的运动矢量检测装置的第一方式是检测关于在时序上为前后关系的前面帧和后面帧的帧图像间的运动矢量的运动矢量检测装置,该运动矢量检测装置具有:边缘强调单元,对于沿垂直方向依次反复进行水平行的像素扫描而读出的帧图像,该边缘强调单元针对所述帧图像中的预定的图像区域强调垂直方向的边缘;投影单元,对由所述边缘强调单元强调了边缘的图像,该投影单元在垂直方向取投影,并生成具有1个水平行的量的数据数组的投影数据;确定单元,关于通过所述投影单元得到的针对所述前面帧的投影数据,该确定单元确定各个交叉点的数组要素的位置,其中,在各个交叉点,按照所述数据数组的要素顺序将数组要素的值进行曲线化得到的波形与数组要素的值为预定的固定值的直线交叉;提取单元,其从通过所述投影单元得到的针对所述后面帧的投影数据中,提取以所述各个交叉点的数组要素的位置为中心的预定范围的数据数组;相加单元,对于由所述提取单元提取出的预定范围的各个数据数组,针对所述各个交叉点的数组要素的位置,对相对位置相同的各个数组要素的值进行相加;以及检测单元,其根据由所述相加单元相加得到的相加结果,检测关于所述帧图像的预定的图像区域的水平方向运动矢量,所述检测单元根据由所述相加单元得到的各个相对位置的所述相加结果,进行针对所述帧图像的所述预定的图像区域得到的所述水平方向运动矢量的可靠性评价。
本发明的运动矢量检测装置的第二方式是检测关于在时序上为前后关系的前面帧和后面帧的帧图像间的运动矢量的运动矢量检测装置,该运动矢量检测装置具有:边缘强调单元,对于沿垂直方向依次反复进行水平行的像素扫描而读出的帧图像,该边缘强调单元针对所述帧图像中的预定的图像区域强调水平方向的边缘;投影单元,对由所述边缘强调单元强调了边缘的图像,该投影单元在水平方向取投影,并生成具有1个垂直行的量的数据数组的投影数据;确定单元,关于通过所述投影单元得到的针对所述前面帧的投影数据,该确定单元确定各个交叉点的数组要素的位置,其中,在各个交叉点,按照所述数据数组的要素顺序将数组要素的值曲线化而得到的波形与数组要素的值为预定的固定值的直线交叉;提取单元,其从通过所述投影单元得到的针对所述后面帧的投影数据中,提取以所述各个交叉点的数组要素的位置为中心的预定范围的数据数组;相加单元,对于由所述提取单元提取出的预定范围的各个数据数组,针对所述各个交叉点的数组要素的位置,对相对位置相同的各个数组要素的值进行相加;以及检测单元,其根据由所述相加单元相加得到的相加结果,检测关于所述帧图像的预定的图像区域的垂直方向运动矢量,所述检测单元根据由所述相加单元得到的各个相对位置的所述相加结果,进行针对所述帧图像的所述预定的图像区域得到的所述垂直方向运动矢量的可靠性评价。
本发明的运动矢量检测装置的第三方式是检测关于在时序上为前后关系的前面帧和后面帧的帧图像间的运动矢量的运动矢量检测装置,该运动矢量检测装置具有:边缘强调单元,对于沿垂直方向依次反复进行水平行的像素扫描而读出的帧图像,该边缘强调单元针对所述帧图像中的预定的图像区域强调垂直方向的边缘;投影单元,对由所述边缘强调单元强调了边缘的图像,该投影单元在垂直方向取投影,并生成具有1个水平行的量的数据数组的投影数据;平滑化单元,其去除叠加在所述投影数据上的变动噪声,而获得平滑化投影数据;确定单元,关于针对所述前面帧的所述平滑化投影数据,该确定单元确定各个交叉点的数组要素的位置,其中,在各个交叉点,按照所述数据数组的要素顺序将数组要素的值曲线化而得到的波形与数组要素的值为预定的固定值的直线交叉;提取单元,其从针对所述后面帧的所述平滑化投影数据中,提取以所述各个交叉点的数组要素的位置为中心的预定范围的数据数组;相加单元,对于由所述提取单元提取出的预定范围的各个数据数组,针对所述各个交叉点的数组要素的位置,对相对位置相同的各个数组要素的值进行相加;以及检测单元,其根据由所述相加单元相加得到的相加结果,检测关于所述帧图像的预定的图像区域的水平方向运动矢量。
本发明的运动矢量检测装置的第四方式是检测关于在时序上为前后关系的前面帧和后面帧的帧图像间的运动矢量的运动矢量检测装置,该运动矢量检测装置具有:边缘强调单元,对于沿垂直方向依次反复进行水平行的像素扫描而读出的帧图像,该边缘强调单元针对所述帧图像中的预定的图像区域强调水平方向的边缘;投影单元,对由所述边缘强调单元强调了边缘的图像,该投影单元在水平方向取投影,并生成具有1个垂直行的量的数据数组的投影数据;平滑化单元,其去除叠加在所述投影数据上的变动噪声,并获得平滑化投影数据;确定单元,关于针对所述前面帧的所述平滑化投影数据,该确定单元确定各个交叉点的数组要素的位置,其中,在各个交叉点,按照所述数据数组的要素顺序将数组要素的值进行曲线化得到的波形与数组要素的值为预定的固定值的直线交叉;提取单元,其从针对所述后面帧的所述平滑化投影数据中,提取以所述各个交叉点的数组要素的位置为中心的预定范围的数据数组;相加单元,对于由所述提取单元提取出的预定范围的各个数据数组,针对所述各个交叉点的数组要素的位置,对相对位置相同的各个数组要素的值进行相加;以及检测单元,其根据由所述相加单元相加得到的相加结果,检测关于所述帧图像的预定的图像区域的垂直方向运动矢量。
根据本发明的运动矢量检测装置的第一方式,在检测单元中,根据由相加单元得到的各个相对位置的相加结果,进行针对帧图像的预定的图像区域得到的水平方向运动矢量的可靠性评价,把从可靠性较低的块得到的水平方向运动矢量除外,其结果,能够计算出可靠性高的帧图像整体的水平方向运动矢量。
根据本发明的运动矢量检测装置的第二方式,在检测单元中,根据由相加单元得到的各个相对位置的相加结果,进行针对帧图像的预定的图像区域得到的垂直方向运动矢量的可靠性评价,把从可靠性较低的块得到的垂直方向运动矢量除外,其结果,能够计算出可靠性高的帧图像整体的垂直方向运动矢量。
根据本发明的运动矢量检测装置的第三方式,在平滑化单元中,去除所叠加的变动噪声,而不会破坏运动矢量检测所需要的投影数据的特性,所以能够实现更加准确的水平方向运动矢量检测。
根据本发明的运动矢量检测装置的第四方式,在平滑化单元中,去除所叠加的变动噪声,而不会破坏运动矢量检测所需要的投影数据的特性,所以能够实现更加准确的垂直方向运动矢量检测。
本发明的目的、特征、形势和优点,根据下面的具体说明和附图将更加明确。
附图说明
图1是表示本发明的实施方式1的运动矢量检测装置1(1A、1B、1C)的主要部分结构的方框图。
图2是用于说明帧图像中的像素扫描方向的图。
图3是表示水平方向运动矢量检测部2的主要部分结构的方框图。
图4是表示垂直方向块投影部23的主要部分结构的方框图。
图5是表示垂直方向块水平方向运动矢量计算部31的主要部分结构的方框图。
图6是表示垂直方向运动矢量检测部4的主要部分结构的方框图。
图7是表示水平方向块投影部43的主要部分结构的方框图。
图8是表示水平方向块垂直方向运动矢量计算部50的主要部分结构的方框图。
图9是用于说明垂直方向图像分割部21和垂直方向块投影部23的动作的图。
图10是用于说明n值化器314(504)的n值化处理的图。
图11是用于说明第1阈值交叉点搜索部29、垂直方向块投影数据读出部30和垂直方向块水平方向运动矢量计算部31的动作的图。
图12是用于说明加法器315和峰值检测器317的动作的图。
图13是用于说明水平方向图像分割部41和水平方向块投影部43的动作的图。
图14是用于说明第3阈值交叉点搜索部48、水平方向块投影数据读出部49和水平方向块垂直方向运动矢量计算部50的动作的图。
图15是用于说明加法器505和峰值检测器507的动作的图。
图16是用于说明峰值检测器317(507)中的“峰”的图。
图17是用于说明峰值检测器317(507)中的第1峰值(P1st)和第2峰值(P2nd)的图。
图18是表示本发明的实施方式2的运动矢量检测装置1A的水平方向运动矢量检测部2A的主要部分结构的方框图。
图19是表示运动矢量检测装置1A的垂直方向运动矢量检测部4A的主要部分结构的方框图。
图20是表示水平方向运动矢量检测部2B的主要部分结构的方框图。
图21是表示垂直方向运动矢量检测部4B的主要部分结构的方框图。
图22是用于说明垂直方向块投影数据平滑化部34(水平方向块投影数据平滑化部53)的平滑化处理的图。
图23是用于说明垂直方向块投影数据平滑化部34(水平方向块投影数据平滑化部53)的平滑化处理的图。
图24是用于说明垂直方向块投影数据平滑化部34(水平方向块投影数据平滑化部53)的平滑化处理的图。
图25是用于说明垂直方向块投影数据平滑化部34(水平方向块投影数据平滑化部53)的平滑化处理的图。
图26是用于说明垂直方向块投影数据平滑化部34(水平方向块投影数据平滑化部53)的平滑化处理的投影数据波形的一例的图。
图27是表示用于说明垂直方向块投影数据平滑化部34(水平方向块投影数据平滑化部53)的平滑化处理的投影数据波形的一例的图。
图28是表示用于说明垂直方向块投影数据平滑化部34(水平方向块投影数据平滑化部53)的平滑化处理的投影数据波形的一例的图。
图29是表示垂直方向块投影数据平滑化部34(水平方向块投影数据平滑化部53)进行平滑化处理时和不进行平滑化处理时的、垂直方向块n值化数据(水平方向块n值化数据)的波形的一例的图。
图30是表示本发明的实施方式4的运动矢量检测装置1C的水平方向运动矢量检测部2C的主要部分结构的方框图。
图31是表示运动矢量检测装置1C的垂直方向运动矢量检测部4C的主要部分结构的方框图。
具体实施方式
实施方式1
<运动矢量检测装置的结构>
图1是表示本发明的实施方式1的运动矢量检测装置1的主要部分结构的方框图。
运动矢量检测装置1用于检测例如在动态图像中表示画面内的被摄体的移动的图像运动矢量,检测关于在时序上为前后关系的前面帧和后面帧的帧图像间的运动矢量。由该运动矢量检测装置1检测出的运动矢量被用于摄像机的抖动校正等。另外,通过进行如图2所示的水平方向的像素扫描和垂直方向的行扫描而读出输入到运动矢量检测装置1的帧图像。
运动矢量检测装置1具有输入端子11、水平方向运动矢量检测部2、垂直方向运动矢量检测部4、和两个输出端子12、13。关于该水平方向运动矢量检测部2和垂直方向运动矢量检测部4,其功能例如可以利用微处理器从软件上实现,另外还可以大部分利用硬件来实现(利用软件实现一部分)。当然,也可以利用硬件实现全部功能。
输入端子11被输入例如由摄像机内的摄像元件获取的图像(动态图像)数据和视频信号等的图像数据。在水平方向运动矢量检测部2中,检测输入到输入端子11的图像数据的水平方向运动矢量,并从输出端子12输出该检测出的水平方向运动矢量。
另一方面,在垂直方向运动矢量检测部4中,检测输入到输入端子11的图像数据的垂直方向运动矢量。从输出端子13输出由该垂直方向运动矢量检测部4检测出的垂直方向运动矢量。
以下,依次说明水平方向运动矢量检测部2和垂直方向运动矢量检测部4的结构。
图3是表示水平方向运动矢量检测部2的主要部分结构的方框图。
水平方向运动矢量检测部2具有输入端子20、垂直方向图像分割部21、垂直方向边缘提取滤波部22、垂直方向块投影部23、第1垂直方向块投影数据最大值保存部24、比特数削减部25、和第1垂直方向块投影行存储器26。并且,水平方向运动矢量检测部2具有第2垂直方向块投影行存储器27、第2垂直方向块投影数据最大值保存部28、第1阈值交叉点搜索部29、垂直方向块投影数据读出部30、垂直方向块水平方向运动矢量计算部31、水平方向运动矢量确定部32、和输出端子33。关于水平方向运动矢量检测部2的以上各个部分,简单说明其功能(有关具体动作将在后面说明)。
垂直方向图像分割部21沿垂直方向分割输入到输入端子20的帧图像,输出沿垂直方向分割而成的块(以下也称为“垂直方向块”)。
垂直方向边缘提取滤波部22对经垂直方向图像分割部21分割而成的每个块执行用于进行边缘提取的滤波处理。
垂直方向块投影部23对于从垂直方向边缘提取滤波部22输出的已完成边缘强调的垂直方向块,在垂直方向上取投影,按照每个垂直方向块输出投影数据。
第1垂直方向块投影数据最大值保存部24保存从垂直方向块投影部23输出的当前帧的垂直方向块的投影数据中的最大值(以下也称为“当前帧的垂直方向块投影数据最大值”或“第1垂直方向块投影数据最大值”)。并且,第1垂直方向块投影数据最大值保存部24根据第1垂直方向块投影数据最大值,计算后面叙述的第2阈值。
比特数削减部25根据保存在第1垂直方向块投影数据最大值保存部24中的第1垂直方向块投影数据最大值,削减从垂直方向块投影部23输出的垂直方向块的投影数据的比特数。把比特数被削减后的垂直方向块的投影数据称为“第1垂直方向块投影数据”。
第1垂直方向块投影行存储器26保存通过比特数削减部25削减了比特数的第1垂直方向块投影数据。
第2垂直方向块投影行存储器27把从第1垂直方向块投影行存储器26发送的垂直方向块投影数据,保存为前面帧的垂直方向块的投影数据(以下也称为“第2垂直方向块投影数据”)。
第2垂直方向块投影数据最大值保存部28把从第1垂直方向块投影数据最大值保存部24输出的第1垂直方向块投影数据最大值,保存为关于前面帧的“第2垂直方向块投影数据最大值”(也称为“前面帧的垂直方向块投影数据最大值”)。并且,第2垂直方向块投影数据最大值保存部28根据第2垂直方向块投影数据最大值计算后面叙述的第1阈值。
第1阈值交叉点搜索部29求出保存在第2垂直方向块投影行存储器27中的关于前面帧的第2垂直方向块投影数据的波形与由第2垂直方向块投影数据最大值保存部28计算出的第1阈值进行交叉的点,输出该交叉点(以下也称为“第1阈值交叉点”)的信息。
垂直方向块投影数据读出部30从第1垂直方向块投影行存储器26读出第1垂直方向块投影数据,该第1垂直方向块投影数据位于以第1阈值交叉点搜索部29求出的第1阈值交叉点为中心的前后预定范围(运动矢量检测范围)内。
垂直方向块水平方向运动矢量计算部31使用从第1垂直方向块投影数据最大值保存部24输出的第2阈值,将由垂直方向块投影数据读出部30读出的第1垂直方向块投影数据分别进行n值化(n为2以上的整数),来进行比特数的削减,同时按照距第1阈值交叉点的距离对被n值化后的投影数据进行相加。
水平方向运动矢量确定部32根据来自垂直方向块水平方向运动矢量计算部31的输出,确定图像的水平方向运动矢量。从输出端子33输出此处确定的图像的水平方向运动矢量。
图4是表示垂直方向块投影部23的主要部分结构的方框图。
垂直方向块投影部23具有输入端子231、针对水平行逐行进行数据相加的加法器232、逐次保存由加法器232进行相加后的数据的缓冲存储器即垂直方向投影临时存储器233、和输出端子234。
将由垂直方向边缘提取滤波部22强调了垂直方向上的边缘的图像按照每个垂直方向块输入到输入端子231。通过加法器232和垂直方向投影临时存储器233,对输入到输入端子231的图像按照每个垂直方向块在垂直方向获取投影。具体地讲,在加法器232中,对垂直方向块的1个水平行的量的数据、和从垂直方向投影临时存储器233读出的1个水平行的量的数据进行相加,并将相加结果再次返回并存储在垂直方向投影临时存储器233中。当通过反复这种相加动作而结束垂直方向块的全部水平行的相加后,从输出端子234输出全部水平行的相加数据即垂直方向的投影数据。
图5是表示垂直方向块水平方向运动矢量计算部31的主要部分结构的方框图。
垂直方向块水平方向运动矢量计算部31具有3个输入端子311~313、n值化器314、对通过n值化器314被n值化的第1垂直方向块投影数据进行相加的加法器315、逐次保存由加法器315进行了相加的数据的缓冲存储器即水平方向运动矢量加法存储器316、峰值检测器317、和输出端子318。
从垂直方向块投影数据读出部30输出的第1垂直方向块投影数据输入到输入端子311,从第1垂直方向块投影数据最大值保存部24输出的第2阈值输入到输入端子312。并且,从第1阈值交叉点搜索部29输出的第1阈值交叉点的信息输入到输入端子313。
n值化器314根据从输入端子312输入的第2阈值,对从输入端子311输入的第1垂直方向块投影数据进行n值化(例如3值化)。
加法器315以第1阈值交叉点为中心,对被n值化器314进行了n值化后的第1垂直方向块投影数据和从水平方向运动矢量加法存储器316读出的数据进行相加,并将相加结果再次存储在水平方向运动矢量加法存储器316中。通过反复这种相加动作而结束针对垂直方向块的全部第1阈值交叉点的相加后,将关于垂直方向块的相加数据输出给峰值检测器317。
峰值检测器317检测从加法器315输出的相加数据中的峰值位置(后面叙述的水平方向运动矢量)和峰值。由该峰值检测器317检测出的峰值位置通过输出端子318输入到水平方向运动矢量确定部32。
下面,说明垂直方向运动矢量检测部4的结构。
图6是表示垂直方向运动矢量检测部4的主要部分结构的方框图。
垂直方向运动矢量检测部4具有输入端子40、水平方向图像分割部41、水平方向边缘提取滤波部42、水平方向块投影部43、第1水平方向块投影行存储器44、和第1水平方向块投影数据最大值保存部45。并且,垂直方向运动矢量检测部4具有第2水平方向块投影行存储器46、第2水平方向块投影数据最大值保存部47、第3阈值交叉点搜索部48、水平方向块投影数据读出部49、水平方向块垂直方向运动矢量计算部50、垂直方向运动矢量确定部51、和输出端子52。关于以上的垂直方向运动矢量检测部4的各个部分简单说明其功能(具体动作将在后面详细说明)。
水平方向图像分割部41沿水平方向对输入到输入端子40的帧图像进行分割,并输出沿水平方向分割而得到的块(以下也称为“水平方向块”)。
水平方向边缘提取滤波部42对由水平方向图像分割部41分割而得到的每个块执行用于进行边缘提取的滤波处理。
水平方向块投影部43对从水平方向边缘提取滤波部42输出的已进行了边缘强调的水平方向块,在水平方向取投影,按照每个水平方向块输出投影数据。
第1水平方向块投影行存储器44把从水平方向块投影部43输出的水平方向块的投影数据,作为当前帧的水平方向块投影数据(以下也称为“第1水平方向块投影数据”)进行保存。
第1水平方向块投影数据最大值保存部45保存从水平方向块投影部43输出的当前帧的水平方向块的投影数据的最大值(以下也称为“当前帧的水平方向块投影数据最大值”或“第1水平方向块投影数据最大值”)。
第2水平方向块投影行存储器46把从第1水平方向块投影行存储器44发送的水平方向块投影数据,作为前面帧的水平方向块投影数据(以下也称为“第2水平方向块投影数据”)进行保存。
第2水平方向块投影数据最大值保存部47把从第1水平方向块投影数据最大值保存部45输出的第1水平方向块投影数据最大值,作为关于前面帧的“第2水平方向块投影数据最大值”(也称为“前面帧的水平方向块投影数据最大值”)进行保存。并且,第2水平方向块投影数据最大值保存部47根据第2水平方向块投影数据最大值来计算后面叙述的第3阈值和第4阈值。
第3阈值交叉点搜索部48求出保存在第2水平方向块投影行存储器46中的关于前面帧的第2水平方向块投影数据、与由第2水平方向块投影数据最大值保存部47计算出的第3阈值进行交叉的点,输出该交叉点(以下也称为“第3阈值交叉点”)的信息。
水平方向块投影数据读出部49从第1水平方向块投影行存储器44读出第1水平方向块投影数据,该第1水平方向块投影数据位于以第3阈值交叉点搜索部48求出的第3阈值交叉点为中心的前后预定范围(运动矢量检测范围)内。
水平方向块垂直方向运动矢量计算部50使用从第2水平方向块投影数据最大值保存部47输出的第4阈值,对由水平方向块投影数据读出部49读出的第1水平方向块投影数据分别进行n值化(n为2以上的整数),进行比特数的削减,同时按照距第3阈值交叉点的距离对被n值化后的投影数据进行相加。
垂直方向运动矢量确定部51根据来自水平方向块垂直方向运动矢量计算部50的输出,来确定图像的垂直方向运动矢量。从输出端子52输出此处确定的图像的垂直方向运动矢量。
图7是表示水平方向块投影部43的主要部分结构的方框图。
水平方向块投影部43具有输入端子431、进行水平方向块的1个水平行数据的相加的加法器432、逐次保存由加法器432进行相加的数据的缓冲存储器即水平方向投影临时存储器433、和输出端子434。
由水平方向边缘提取滤波部42强调了水平方向上的边缘的图像输入到输入端子431。通过加法器432和水平方向投影临时存储器433,按照每个水平方向块对输入到输入端子431的图像在水平方向取投影。具体地讲,关于水平方向块内的1个水平行的像素,利用加法器432对从输入端子431输入的像素、和由加法器432相加到前一像素并存储在水平方向投影临时存储器433中的相加结果进行相加,把该相加结果再次返回存储在水平方向投影临时存储器433中。通过反复这种相加动作,在水平方向块的1个水平行的相加结束后,从输出端子434输出该水平方向块的1个水平行的全部像素的相加数据即水平方向的投影数据。以后,同样处理下一个水平方向块的水平方向投影数据,在结束关于1个水平行的全部水平方向块的处理后,进行接下来的1个水平行的处理。
图8是表示水平方向块垂直方向运动矢量计算部50的主要部分结构的方框图。
水平方向块垂直方向运动矢量计算部50具有3个输入端子501~503、n值化器504、进行通过n值化器504被n值化的第1水平方向块投影数据的相加的加法器505、逐次保存由加法器505相加的数据的缓冲存储器即垂直方向运动矢量加法存储器506、峰值检测器507、和输出端子508。
从水平方向块投影数据读出部49输出的第1水平方向块投影数据输入到输入端子501,从第2水平方向块投影数据最大值保存部47输出的第4阈值输入到输入端子502。并且,从第3阈值交叉点搜索部48输出的第3阈值交叉点的信息输入到输入端子503。
n值化器504根据从输入端子502输入的第4阈值,对从输入端子501输入的第1水平方向块投影数据进行n值化(例如3值化)。
加法器505以第3阈值交叉点为中心,对通过n值化器504被n值化的第1水平方向块投影数据和从垂直方向运动矢量加法存储器506读出的数据进行相加,并将相加结果再次存储在垂直方向运动矢量加法存储器506中。通过反复这种相加动作,在针对关于水平方向块的全部第3阈值交叉点的相加结束后,将关于水平方向块的相加数据输出给峰值检测器507。
峰值检测器507检测从加法器505输出的相加数据的峰值位置(后面叙述的垂直方向运动矢量)和峰值。由该峰值检测器507检测出的峰值位置通过输出端子508输入垂直方向运动矢量确定部51。
下面,说明具有上述结构的运动矢量检测装置1的动作。
<运动矢量检测装置1的动作>
<水平方向运动矢量检测部2的动作>
首先,说明在运动矢量检测装置1中检测图像的水平方向运动矢量的水平方向运动矢量检测部2的动作。
按照图2所示沿垂直方向依次反复进行水平行的像素扫描而读出的帧图像,被输入图3所示的水平方向运动矢量检测部2的输入端子20,然后由垂直方向图像分割部21沿垂直方向分割成块。即,在垂直方向图像分割部21中,设定在帧图像中沿垂直方向分割而得到的多个图像区域(垂直方向块)。由此,在以后的处理中对每个垂直方向块进行处理和管理。
在垂直方向图像分割部21中,例如按照图9(a)所示,640像素×480像素的图像数据沿垂直方向被分割成为具有64像素宽度(分割宽度)的7个垂直方向块vb0~vb6。另外,虽然在检测水平方向运动矢量时不使用垂直方向的最下级的图像数据vb7,但占据帧图像的大部分的7个垂直方向块vb0~vb6用于检测水平方向运动矢量,所以认为在检测精度方面没有特别问题。在此,不必一定设为图9(a)所示的分割宽度和分割数量。
由垂直方向图像分割部21按照图9(a)所示分割为7个垂直方向块vb0~vb6的图像,在垂直方向边缘提取滤波部22中进行沿垂直方向延伸的边缘分量的提取,换言之,实施对在水平方向上急剧变化的图像部分进行强调的滤波处理。
作为在该滤波处理中使用的滤波器,可以使用单纯地获取与水平方向上相邻的像素之间的差分的(1,-1)2抽头滤波器、或相当于二次微分的(-1,2,-1)3抽头滤波器等。另外,并不是必须使用这种滤波器,只要是在水平方向的亮度变化增大的图像部分中输出值上升的滤波器即可。
由垂直方向边缘提取滤波部22对各个垂直方向块(图像区域)vb0~vb6强调了垂直方向的边缘的图像数据,输入到垂直方向块投影部23,由垂直方向块投影部23在垂直方向进行投影。通过该投影,能够降低垂直方向的(行间)噪声分量,并且能够进一步强调垂直方向的边缘分量,所以能够使与特征点对应的垂直方向边缘醒目,提高运动矢量检测精度。关于垂直方向块投影部23的动作,参照图9(b)所示的概念图进行说明。
在垂直方向块投影部23中,在图9(a)所示的各个垂直方向块vb0~vb6的输入完成的时刻、即被强调了边缘的各个垂直方向块vb0~vb6中的最末行的最后像素被输入的时刻,生成具有1个水平行的量的数据数组Mv的各个垂直方向块投影数据vn0~vn6(图9(b))的全部数组要素。另外,数据数组Mv具有水平行的总像素数(例如640)个数组要素,但在(1,-1)那样的2抽头滤波器中,有效要素是水平行的总像素数—1(例如639)个,在(-1,2,-1)的3抽头滤波器中,有效要素是水平行的总像素数—2(例如638)个。
具体地讲,如图4所示,通过输入端子231输入的各个垂直方向块vn0~vn6的图像数据(实施了垂直方向的边缘强调的图像数据),被依次输入加法器232。
在加法器232中,首先将输入的垂直方向块的最先的水平行写入垂直方向投影临时存储器233中,而不读出垂直方向投影临时存储器233中的数据。接着,在加法器232中,读出存储在垂直方向投影临时存储器233中的截止到前面行的相加结果,将其与从输入端子231输入的垂直方向块的1个水平行进行相加,并把该相加结果写回到垂直方向投影临时存储器233中。
并且,在垂直方向块的最末水平行被输入加法器232后,读出保存在垂直方向投影临时存储器233中的截止到前面行的相加结果,将其与从输入端子231输入的垂直方向块的最末行进行相加,并从输出端子234把该相加结果即垂直方向块的全部水平行的相加数据,作为垂直方向块的投影数据,输出给第1垂直方向块投影数据最大值保存部24和比特数削减部25。
另外,也可以把在加法器232中对垂直方向块的全部水平行进行了相加的投影数据暂且存储在垂直方向投影临时存储器233中,在输入下一个垂直方向块的最先行时,读出垂直方向投影临时存储器233中的投影数据,并从输出端子234输出。
在第1垂直方向块投影数据最大值保存部24中,计算关于从垂直方向块投影部23输出的垂直方向块投影数据的最大值,并保存为第1垂直方向块投影数据最大值(当前帧的垂直方向块投影数据最大值)。即,第1垂直方向块投影数据最大值保存部24在关于当前帧(后面帧)的投影数据的数据数组Mv(图9(b))的数组要素中求出最大值,并存储该最大值。
并且,在第1垂直方向块投影数据最大值保存部24中,根据计算出的当前帧的垂直方向块投影数据最大值,计算第2阈值。例如,当把当前帧的垂直方向块投影数据最大值设为P1max时,利用下式(1)计算第2阈值α2。
α2=P1max×k1 ......(1)
其中,k1是预先设定的系数,且0<k1<1。
另外,第2阈值α2的运算不限于上式(1),只要是当前帧的垂直方向块投影数据最大值P1max增大时,第2阈值α2也增大的算式即可,并且还可以使用转换表。
在比特数削减部25中,根据从第1垂直方向块投影数据最大值保存部24输入的当前帧的垂直方向块投影数据最大值(第1垂直方向块投影数据最大值),来确定投影数据的有效比特范围(bit range)。并且,从由垂直方向块投影部23输入的垂直方向块投影数据中削减根据该有效比特范围设定的上位无效比特和下位无效比特,把只利用有效比特构成的当前帧的垂直方向块投影数据输出给第1垂直方向块投影行存储器26。
第1垂直方向块投影行存储器26把通过比特数削减部25降低了比特数的当前帧的垂直方向块投影数据,按照每个垂直方向块保存为第1垂直方向块投影数据。即,在第1垂直方向块投影行存储器26中存储当前帧(后面帧)的投影数据,该当前帧的投影数据已在比特数削减部25中根据由第1垂直方向块投影数据最大值保存部24求出的第1垂直方向块投影数据最大值削减了比特数(各个数组要素的数据长度)。
第1垂直方向块投影行存储器26在被输入关于当前帧的新的第1垂直方向块投影数据的定时,读出前面帧的垂直方向块投影数据,并将其提供给第2垂直方向块投影行存储器27。第2垂直方向块投影行存储器27把从第1垂直方向块投影行存储器26读出的前面帧的垂直方向块投影数据,保存为第2垂直方向块投影数据。
同样,第1垂直方向块投影数据最大值保存部24在关于当前帧的新的第1垂直方向块投影数据最大值被更新的定时,读出已经保存的第1垂直方向块投影数据最大值,并将其提供给第2垂直方向块投影数据最大值保存部28。在第2垂直方向块投影数据最大值保存部28中,从第1垂直方向块投影数据最大值保存部24读出的第1垂直方向块投影数据最大值,被保存为关于前面帧的第2垂直方向块投影数据最大值(前面帧的垂直方向块投影数据最大值)。
换言之,保存在第1垂直方向块投影数据最大值保存部24中的当前帧的垂直方向块投影数据最大值,在下一帧中,作为前面帧的垂直方向块投影数据最大值,保存在第2垂直方向块投影数据最大值保存部28中。
第2垂直方向块投影数据最大值保存部28根据关于前面帧的第2垂直方向块投影数据最大值,设定第1阈值(预定的固定值)。例如,当把前面帧的垂直方向块投影数据最大值设为P2max时,利用下式(2)计算第1阈值α1。
α1=P2max×k2 ......(2)
其中,k2是预先设定的系数,且0<k2<1。
另外,第1阈值α1的运算不限于上式(2),只要是前面帧的垂直方向块投影数据最大值P2max增大时,第1阈值α1也增大的算式即可,并且还可以使用转换表。
在第1阈值交叉点搜索部29中,沿水平方向搜索从第2垂直方向块投影行存储器27读出的第2垂直方向块投影数据、与从第2垂直方向块投影数据最大值保存部28输出的第1阈值的交叉点(第1阈值交叉点)。通过该第1阈值交叉点搜索部29得到的第1阈值交叉点的信息输出给垂直方向块投影数据读出部30和垂直方向块水平方向运动矢量计算部31。
垂直方向块投影数据读出部30从第1垂直方向块投影行存储器26读出与运动矢量检测范围对应的当前帧的(第1)垂直方向块投影数据,其中,该运动矢量检测范围以从第1阈值交叉点搜索部29输出的第1阈值交叉点为中心。即,当把第1阈值交叉点设为A(i)(其中,i=1、2、...p,p是检测出的第1阈值交叉点的总数),且把运动矢量检测范围设为以第1阈值交叉点为中心的(—V)~(+V)(其中V是正整数)的范围时,从第1垂直方向块投影行存储器26读出的投影数据是处于水平方向的(A(i)—V)~(A(i)+V)的范围中的第1垂直方向块投影数据的部分数据。
由该垂直方向块投影数据读出部30从第1垂直方向块投影行存储器26读出的第1垂直方向块投影数据输出给垂直方向块水平方向运动矢量计算部31。
从垂直方向块投影数据读出部30输出的第1垂直方向块投影数据,通过图5所示的垂直方向块水平方向运动矢量计算部31的输入端子311输入n值化器314。在该n值化器314中,根据从第1垂直方向块投影数据最大值保存部24输出、并通过输入端子312输入的第2阈值,对第1垂直方向块投影数据进行n值化。即,n值化器314对关于由垂直方向块投影数据读出部30提取出的当前帧的投影数据的数据数组Mv(图9(b))的各个数组要素的数据长度,进行例如3值化处理而压缩。关于该n值化器314的处理,参照图10进行说明。
图10是说明n值化器314的n值化处理的图。另外,在图10中,表示n=3的3值化处理的一例。
当把输入n值化器314的第1垂直方向块投影数据设为D,把通过输入端子312输入的第2阈值设为α2(α2为正整数)时,在n值化器314中,在D<(—α2)时输出(—1),在(—α2)≦D≦α2时输出0,在D>α2时输出1,由此进行3值化处理。即,在n值化器314的3值化处理中,关于根据当前帧(后面帧)的投影数据中的数据数组Mv的数组要素的最大值设定的第2阈值α2(α2>0),分为关于由垂直方向块投影数据读出部30提取出的当前帧的投影数据的数组要素的值小于(—α2)的情况、大于等于(—α2)且小于等于α2的情况、以及大于α2的情况这三个阶段来进行3值化。
关于该n值化器314的n值化处理,从垂直方向块投影数据读出部30输出的当前帧的第1垂直方向块投影数据的部分波形相对第1阈值交叉点是什么位置关系、即是什么趋势的波形非常重要,所以只要在第1垂直方向块投影数据的波形中确保能够判别峰和谷的比特精度即足以。
另一方面,当在n值化器314中不进行比特数的削减而直接采用从垂直方向块投影数据读出部30输出的第1垂直方向块投影数据的值本身时,与第1垂直方向块投影数据D>α2对应的较大振幅的峰、和与D<(—α2)对应的较大振幅的谷,有可能淹没表现图像特征的较小振幅的峰和谷,所以不合适。而且,与(—α2)≦D≦α2对应的较小的峰和谷容易受到噪声影响,其数量也比较多,所以表现图像特征的合适振幅的峰和谷也有可能淹没于其中。
因此,在n值化器314中,通过对第1垂直方向块投影数据实施合适的n值化处理,从而提高运动矢量的检测精度。
关于以上说明的第1阈值交叉点搜索部29、垂直方向块投影数据读出部30和垂直方向块水平方向运动矢量计算部31的动作,参照图11进行具体说明。另外,图11(a)和(b)中的横轴表示投影数据的数据数组Mv(图9(b))的数组要素的位置。并且,在图11(a)中,分别利用圆圈表示第1阈值交叉点A(1)~A(8)。
第1阈值交叉点搜索部29按照图11(a)所示,求出关于前面帧的第2垂直方向块投影数据W2的波形中、与从第2垂直方向块投影数据最大值保存部28输出的第1阈值α1交叉的第1阈值交叉点A(1)~A(8)。即,第1阈值交叉点搜索部29对于由垂直方向块投影部23得到的针对前面帧的投影数据,确定按照投影数据的数据数组Mv(图9(b))的要素顺序将数组要素的值曲线化而得到的波形W2、与数组要素的值为第1阈值(预定的固定值)α1时的直线交叉的各个第1阈值交叉点的数组要素的位置。
接着,垂直方向块投影数据读出部30对于图11(a)所示的以各个第1阈值交叉点A(1)~A(8)为中心的预定的运动矢量检测范围,从第1垂直方向块投影行存储器26读出当前帧的垂直方向块投影数据。即,垂直方向块投影数据读出部30从由垂直方向块投影部23输出并被比特数削减部25削减了比特数的当前帧(后面帧)的投影数据中,提取以各个第1阈值交叉点的投影数据(数据数组)的数组要素的位置为中心的预定范围的数据数组。例如,关于第1阈值交叉点A(7),如图11(b)所示,读出与以第1阈值交叉点A(7)为中心的(A(7)—V)~(A(7)+V)的范围(矩形虚线内的波形部分)对应的第1垂直方向块投影数据W1。
并且,关于由垂直方向块投影数据读出部30读出的第1垂直方向块投影数据,在垂直方向块水平方向运动矢量计算部31的n值化器314中,使用从第1垂直方向块投影数据最大值保存部24输出的第2阈值α2进行n值化处理。例如,关于第1阈值交叉点A(7),根据图11(b)所示的第1垂直方向块投影数据W1相对第2阈值α2和(—α2)的大小关系,对以第1阈值交叉点A(7)为中心的(A(7)—V)~(A(7)+V)的范围(矩形虚线内的波形部分),按照图11(c)所示对第1垂直方向块投影数据进行3值化处理。由此,当前帧的垂直方向块投影数据被表示为“—1”、“0”或“1”。
在n值化器314中,对从第1阈值交叉点搜索部29输出的全部第1阈值交叉点,进行图11(c)所示的n值化处理。
接着,在加法器315(图5)中,把以通过输入端子313从第1阈值交叉点搜索部29输出的第1阈值交叉点为中心并通过n值化器314被n值化的第1垂直方向块投影数据、和从水平方向运动矢量加法存储器316读出的截止到前一个被n值化的第1垂直方向块投影数据的相加值进行相加,并把该相加结果再次存储在水平方向运动矢量加法存储器316中。
并且,在加法器315中对与被第1阈值交叉点搜索部29检测出的全部第1阈值交叉点中的最后的交叉点有关的、被n值化的第1垂直方向块投影数据进行相加,而结束对一个垂直方向块的相加处理时,把该相加结果输出给峰值检测器317。另外,也可以在加法器315的相加处理结束后,峰值检测器317从存储关于全部第1阈值交叉点的相加结果的水平方向运动矢量加法存储器316中读出该相加结果。
关于由第1阈值交叉点搜索部29检测出的全部第1阈值交叉点,把与运动矢量检测范围(上述的±V范围)对应的已被n值化的第1垂直方向块投影数据的数据相加得到的数据(以下也称为“垂直方向块n值化数据”)输入峰值检测器317,峰值检测器317检测关于该垂直方向块n值化数据的峰值,其中,该运动矢量检测范围以各个第1阈值交叉点为中心。在该峰值检测器317中所检测的垂直方向块n值化数据的峰值位置为从该垂直方向块得到的水平方向运动矢量,通过输出端子318输出给水平方向运动确定部32。
关于以上说明的加法器315和峰值检测器317的动作,参照图12进行具体说明。另外,图12(a)示意表示在图11(a)所示的以第1阈值交叉点A(1)~A(8)为中心的运动矢量检测范围(±V范围)中,对第1垂直方向块投影数据进行3值化的情况。
在加法器315中,在依次输入图12(a)所示的第1阈值交叉点A(1)~A(8)周围的3值化数据后,对这些数据进行相加,生成图12(b)所示的垂直方向块n值化数据。具体地讲,在加法器315中,针对由垂直方向块投影数据读出部30从垂直方向块投影数据(数据数组Mv(图9(b)))中提取、并由n值化器314压缩了数据长度的、关于当前帧的运动矢量检测范围(预定范围)的各个数据数组,针对各个第1阈值交叉点的数组要素的位置,把相对位置相同的数组要素的值进行相加。
当由加法器315生成的垂直方向块n值化数据输入峰值检测器317时,作为该垂直方向块的水平方向运动矢量,检测出图12(b)所示的水平方向的峰值位置hv。即,在峰值检测器317中,根据由加法器315相加的相加结果,检测与帧图像的水平方向有关的运动矢量。
在峰值检测器317中,原则上在运动矢量检测范围(±V的范围)中搜索垂直方向块n值化数据达到最大值的峰值位置,但是对于具有周期性的图像、被摄体存在移动的图像和不清楚的图像,有时存在具有优势的峰不出现的情况。此时,由于根据该垂直方向块计算出的水平方向运动矢量的可靠性较低,所以判定为无效块,从而不用在水平方向运动矢量确定部32的图像整体的水平方向运动矢量的计算中。
因此,以下说明对峰值检测器317要求的水平方向运动矢量的可靠性评价。
在此,为了简化起见,定义词语“峰”。
图16是相当于图12(b)的图,横轴表示运动矢量,纵轴表示垂直方向块n值化数据,为了方便只示出1个“峰”。
在图16中,从负侧起依次对各个相对位置(水平方向运动矢量)的垂直方向块n值化数据标注标号v1~v10,数据v1表示前面的“峰的结束”,同时也表示由此开始搜索的“峰的开始”。另外,虽然没有图示,但最先的峰的“峰的开始”表示最靠近负侧(—V~V范围内)的水平方向运动矢量的垂直方向块n值化数据。
在峰值检测器317中,使成为比较对象的相对位置相对于成为基准值的相对位置(水平方向运动矢量)依次从负侧向正侧移动,并每次比较两个相对位置的垂直方向块n值化数据的大小。该情况时,把通过比较被判断为大的一方的垂直方向块n值化数据变更为基准值(或维持基准值),并与下一个成为比较对象的相对位置进行比较。在此,把基准值称为暂定峰值Vp。
具体地讲,对于作为“峰的开始”的数据v1,作为基准值即暂定峰值Vp=v1,首先与数据v2进行比较。根据图16,由于v1>v2,所以Vp>v2,因而维持Vp=v1。然后,进行暂定峰值Vp与数据v3的比较,也是Vp>v3,所以维持Vp=v1。
然后,进行暂定峰值Vp与数据v4的比较,此时Vp<v4,所以Vp=v4,暂定峰值Vp改变。同样,在比较暂定峰值Vp与数据v5时,Vp<v5,所以Vp=v5,暂定峰值Vp改变。另外,在比较暂定峰值Vp与数据v6时,Vp<v6,所以Vp=v6,暂定峰值Vp改变。
在比较暂定峰值Vp与数据v7时,Vp>v7,所以维持Vp=v6。在比较暂定峰值Vp与数据v8时,Vp>v8,所以维持Vp=v6,在比较暂定峰值Vp与数据v9时,Vp>v9,所以维持Vp=v6,在比较暂定峰值Vp与数据v10时,Vp>v10,所以维持Vp=v6。
另外,水平方向运动矢量在数据v10以后也存在,但为了进行区分,把一个“峰”的垂直方向块n值化数据的最大值规定为最大值Pn,把具有比对该最大值Pn乘以预定的系数得到的值小的垂直方向块n值化数据的水平方向运动矢量作为表示“峰的结束”的矢量。
在此,把与最大值Pn相乘的预定系数设为β(第2系数,0<β<1),由于数据v10小于Vp×β,所以把数据v10作为表示“峰的结束”(下一个“峰的开始”)的矢量。另外,预定的系数β根据经验设定为1/2以下,优选设定为1/4~1/8的范围内。
这样,使成为比较对象的相对位置相对于成为基准位置的相对位置(水平方向运动矢量)依次移动,在发现了比基准值大的垂直方向块n值化数据时,把该垂直方向块n值化数据更新为“峰”的暂定峰值Vp,通过反复进行该处理,能够求出最大值Pn(峰值)。
并且,把具有垂直方向块n值化数据比对最大值Pn乘以预定系数得到的值小的垂直方向块n值化数据的水平方向运动矢量作为表示“峰的结束”(下一个“峰的开始”)的矢量,由此可以确定一个“峰”。
另外,在以上的说明中,示出了使成为比较对象的相对位置从负侧向正侧依次移动的示例,但也可以反之,使成为比较对象的相对位置从正侧向负侧依次移动来获取最大值Pn。
并且,也可以简单地把垂直方向块n值化数据从增加转为减少的部分作为最大值Pn,并作为存在“峰”的数据进行处理,但从整体掌握波形方面考虑,优选把具有比垂直方向块n值化数据的最大值Pn乘以预定系数得到的值小的垂直方向块n值化数据的水平方向运动矢量定义为“峰的结束”。
保存针对一个“峰”得到的垂直方向块n值化数据的最大值Pn,并对下一个“峰”进行相同的处理。通过反复进行该动作,在整个运动矢量检测范围中确定“峰”,并且获取垂直方向块n值化数据的最大值Pn(峰值)。
图17表示在整个运动矢量检测范围中相对各个运动矢量的垂直方向块n值化数据,示出存在M1、M2、M3、M4和M5这5个“峰”的波形。
峰M1~M5的峰值分别为P1~P5,把其中最大的称为第1峰值(P1st),把接下来最大的称为第2峰值(P2nd),第1峰值是峰M3的垂直方向块n值化数据的最大值,P1st=P3。并且,第2峰值是峰M2的垂直方向块n值化数据的最大值,P2nd=P2。
第1峰值(P1st)相比其他“峰”的峰值越大,对应该峰值位置的运动矢量表示求出的垂直方向块的运动,意味着计算出的运动矢量的可靠性越高。因此,通过比较第1峰值(P1st)和第2峰值(P2nd)来评价可靠性。具体地讲,利用下式进行评价。
P2nd>P1st×γ ......(3)
其中,γ是预先设定的系数(第1系数),0<γ<1。
并且,在上式(3)成立时,所求出的运动矢量没有可靠性,把计算结果处理为无效。当然,在式(3)中也可以包括等于。
在式(3)中,γ越接近1,意味着第1峰值(P1st)与第2峰值(P2nd)之差越小,允许较大的偏差。在该条件下,在图像没有周期性、图像清楚且被摄体也静止这样的理想情况之外的状态下,也能够在尽可能大的范围内将计算结果判断为有效,在允许某种程度的错误检测(错误判定)的基础上,把计算结果处理为有效。
反之,γ越接近0,意味着第1峰值(P1st)相对第2峰值(P2nd)必须足够大,不允许偏差。在该条件下,只能在图像没有周期性且清楚、被摄体也静止这样的理想状态下,极其准确地计算出运动矢量。另一方面,在偏离理想状态时,把计算结果处理为无效的概率增加。
另外,系数γ可以构成为由应用本发明的动态图像摄像装置的用户确定,也可以由应用本发明的动态图像摄像装置的制造商确定。
另外,在峰值检测器317中,当“峰”的峰值Pn的最大值在预先设定的预定值以下时,具体地讲,峰值Pn明显小于水平行的总像素数时,把计算结果处理为无效。峰值Pn较小意味着有效的第1阈值交叉点较少。
在有效的第1阈值交叉点相比水平行的总像素数明显比较少时,例如水平行的总像素数为640像素,而峰值Pn=3时,意味着图像在水平方向上缺少特征,不采用根据该不足的信息计算出的结果,这在获得高可靠性的水平方向运动矢量这一点上,可以说是极其有效的措施。
另外,该处理中的预先设定的预定值,例如被设定为水平行的总像素数的1/50以下的范围,更加现实地讲是1/100左右。
在峰值检测器317中针对每个垂直方向块计算出的水平方向运动矢量(峰值位置的矢量),通过输出端子318输入水平方向运动矢量确定部32。
在水平方向运动矢量确定部32中,根据从垂直方向块水平方向运动矢量计算部31依次输出的各个垂直方向块的水平方向运动矢量,确定图像整体的水平方向运动矢量。具体地讲,生成直方图,采用垂直方向块n值化数据最多者。
根据以上所述,在峰值检测器317中,根据第1峰值P1st与第2峰值P2nd的大小关系,能够评价作为第1峰值P1st的峰值位置(运动矢量)的可靠性,结果,能够去除可靠性较低的垂直方向块,所以能够根据可靠性较高的垂直方向块来确定图像整体的水平方向运动矢量。
<垂直方向运动矢量检测部4的动作>
下面,说明在运动矢量检测装置1中对图像的垂直方向的运动矢量进行检测的垂直方向运动矢量检测部4的动作。
按照图2所示沿垂直方向依次反复进行水平行的像素扫描而读出的帧图像,被输入图6所示的垂直方向运动矢量检测部4的输入端子40,然后由水平方向图像分割部41沿水平方向分割成块。即,在水平方向图像分割部41中,设定在帧图像中沿水平方向分割得到的多个图像区域(水平方向块)。由此,在以后的处理中对每个水平方向块进行处理和管理。
在水平方向图像分割部41中,例如按照图13(a)所示,640像素×480像素的图像数据被沿水平方向分割成为具有64像素宽度(分割宽度)的10个水平方向块hb0~hb9。另外,不必一定设为图13(a)所示的分割宽度和分割数量。
由水平方向图像分割部41按照图13(a)所示分割为10个水平方向块hb0~hb9的图像,在水平方向边缘提取滤波部42中进行沿水平方向延伸的边缘分量的提取,换言之,实施对在垂直方向急剧变化的图像部分进行强调的滤波处理。
作为在该滤波处理中使用的滤波器,可以使用单纯地获取与垂直方向上相邻的像素之间的差分的(1,-1)2抽头滤波器、或相当于二次微分的(-1,2,-1)3抽头滤波器等。另外,并不是必须使用这种滤波器,只要是在沿垂直方向的亮度变化增大的图像部分中输出值上升的滤波器即可。
由水平方向边缘提取滤波部42对各个水平方向块(图像区域)hb0~hb9强调了水平方向的边缘的图像数据输入到水平方向块投影部43,由水平方向块投影部43在水平方向进行投影。通过该投影,可以降低水平方向的(行间)噪声分量,能够进一步强调水平方向的边缘分量,所以能够使对应特征点的水平方向边缘醒目,提高运动矢量检测精度。关于水平方向块投影部43的动作,参照图13(b)所示的概念图进行说明。
在水平方向块投影部43中,在图13(a)所示的各个水平方向块hb0~hb9的1个水平行的输入完成的时刻,生成具有1个垂直行的量的数据数组Mh的水平方向块投影数据hn0~hn9(图13(b))的1个数组要素。因此,在各个水平方向块hb0~hb9的最末水平行的输入完成的时刻全部数组要素备齐。另外,数据数组Mh具有垂直行的总像素数(例如480)个数组要素,但在(1,-1)那样的2抽头滤波器中,有效要素是垂直行的总像素数—1(例如479)个,在(-1,2,-1)的3抽头滤波器中,有效要素是垂直行的总像素数—2(例如478)个。
具体地讲,如图7所示,通过输入端子431输入的各个水平方向块hb0~hb9的图像数据(实施了水平方向的边缘强调的图像数据)输入到加法器432。
在加法器432中,首先将输入的水平方向块的1个水平行的开头写入水平方向投影临时存储器433中,而不读出水平方向投影临时存储器433中的数据。
接着,在加法器432中,读出存储在水平方向投影临时存储器433中的截止到一个水平行的前一像素的相加结果,将其与从输入端子431输入的水平方向块的1个水平行的当前像素进行相加,并把该相加结果写回到水平方向投影临时存储器433中。
并且,在水平方向块的1个水平行的最后的像素被输入加法器432时,读出保存在水平方向投影临时存储器433中的截止到前一像素的相加结果,将其与从输入端子431输入的水平方向块的1个水平行的最后的像素进行相加,并从输出端子434把该相加结果即水平方向块的1个水平行的全部像素的相加数据,作为关于水平方向块的1个水平行的投影数据,输出给第1水平方向块投影行存储器44和第1水平方向块投影数据最大值保存部45。
另外,也可以把在加法器432中对水平方向块的1个水平行的全部像素进行了相加的投影数据暂且存储在水平方向投影临时存储器433中,在输入下一个水平方向块的1个水平行的最先像素时,读出水平方向投影临时存储器433中的投影数据,并从输出端子434输出。
在第1水平方向块投影行存储器44中,把从水平方向块投影部43输入的当前帧的水平方向块投影数据,按照每个水平方向块保存为第1水平方向块投影数据。
在第1水平方向块投影数据最大值保存部45中,计算关于从水平方向块投影部43输入的水平方向块的投影数据的最大值,并将其保存为第1水平方向块投影数据最大值(当前帧的水平方向块投影数据最大值)。
第2水平方向块投影行存储器46把从第1水平方向块投影行存储器44读出的水平方向块投影数据,保存为关于前面帧的第2水平方向块投影数据。
同样,在第2水平方向块投影数据最大值保存部47中,把从第1水平方向块投影数据最大值保存部45输出的第1水平方向块投影数据最大值,保存为关于前面帧的第2水平方向块投影数据最大值(前面帧的水平方向块投影数据最大值)。
换言之,保存在第1水平方向块投影数据最大值保存部45中的当前帧的水平方向块投影数据最大值,在下一帧中,作为前面帧的水平方向块投影数据最大值保存在第2水平方向块投影数据最大值保存部47中。
并且,在第2水平方向块投影数据最大值保存部47中,根据所计算的前面帧的水平方向块投影数据最大值,计算第4阈值。例如,把前面帧的水平方向块投影数据最大值设为P4max,利用下式(4)计算第4阈值α4。
α4=P4max×k4 ......(4)
其中,k4是预先设定的系数,且0<k4<1。
另外,第4阈值α4的运算不限于上式(4),只要是前面帧的水平方向块投影数据最大值P4max增大时,第4阈值α4也增大的算式即可,并且还可以使用转换表。另外,关于第4阈值α4,并不是必须使用每个水平方向块的第2水平方向块投影数据最大值,例如也可以使用关于前面帧的图像整体的水平方向块投影数据的最大值,来计算第4阈值,在图像整体中采用相同的第4阈值。
第2水平方向块投影数据最大值保存部47根据关于前面帧的第2水平方向块投影数据最大值,设定第3阈值(预定的固定值)。例如,把前面帧的水平方向块投影数据最大值设为P3max,利用下式(5)计算第3阈值α3。
α3=P3max×k3 ......(5)
其中,k3是预先设定的系数,且0<k3<1。
另外,第3阈值α3的运算不限于上式(5),只要是前面帧的水平方向块投影数据最大值P3max增大时,第3阈值α3也增大的算式即可,并且还可以使用转换表。另外,关于第3阈值α3,并不是必须使用每个水平方向块的第2水平方向块投影数据最大值,例如也可以使用关于前面帧的图像整体的水平方向块投影数据的最大值,来计算第3阈值,在图像整体中采用相同的第3阈值。
在第3阈值交叉点搜索部48中,沿垂直方向搜索从第2水平方向块投影行存储器46读出的第2水平方向块投影数据、与从第2水平方向块投影数据最大值保存部47输出的第3阈值的交叉点(第3阈值交叉点)。通过该第3阈值交叉点搜索部48得到的第3阈值交叉点的信息,输入到水平方向块投影数据读出部49和水平方向块垂直方向运动矢量计算部50。
水平方向块投影数据读出部49从第1水平方向块投影行存储器44读出与运动矢量检测范围对应的当前帧的(第1)水平方向块投影数据,其中,该运动矢量检测范围以从第3阈值交叉点搜索部48输出的第3阈值交叉点为中心。即,当把第3阈值交叉点设为B(i)(其中,i=1、2、...q,q是检测出的第3阈值交叉点的总数),且把运动矢量检测范围设为以第3阈值交叉点为中心的(—U)~(+U)(其中U是正整数)的范围时,从第1水平方向块投影行存储器44读出的投影数据是处于垂直方向的(B(i)—U)~(B(i)+U)范围中的第1水平方向块投影数据的部分数据。
由该水平方向块投影数据读出部49从第1水平方向块投影行存储器44读出的第1水平方向块投影数据输出给水平方向块垂直方向运动矢量计算部50。
从水平方向块投影数据读出部49输出的第1水平方向块投影数据,通过图8所示的水平方向块垂直方向运动矢量计算部50的输入端子501输入到n值化器504。
在该n值化器504中,根据从第2水平方向块投影数据最大值保存部47输出并通过输入端子502输入的第4阈值,对第1水平方向块投影数据进行n值化。即,n值化器504压缩与由水平方向块投影数据读出部49提取出的当前帧的投影数据有关的数据数组Mh(图13(b))的各个数组要素的数据长度。
关于该n值化器504的处理是进行与上述n值化器314相同的处理,例如执行3值化处理。即,在n值化器504的3值化处理中,关于根据前面帧的投影数据中的数据数组Mh的数组要素的最大值设定的第4阈值α4(α4>0),分为与由水平方向块投影数据读出部49提取出的当前帧的投影数据有关的数组要素的值小于(—α4)的情况、大于等于(—α4)且小于等于α4的情况、以及大于α4的情况这三个阶段来进行3值化。另外,在n值化器504中,并不是必须具有与n值化器314相同的特性,也可以具有与n值化器314不同的特性。
关于以上说明的第3阈值交叉点搜索部48、水平方向块投影数据读出部49和水平方向块垂直方向运动矢量计算部50的动作,参照图14进行具体说明。另外,图14(a)和(b)中的横轴表示投影数据的数据数组Mh(图13(b))的数组要素的位置。并且,在图14(a)中,分别利用圆圈表示第3阈值交叉点B(1)~B(6)。
第3阈值交叉点搜索部48按照图14(a)所示,求出关于前面帧的第2垂直方向块投影数据W4的波形中、与从第2水平方向块投影数据最大值保存部47输出的第3阈值α3交叉的第3阈值交叉点B(1)~B(6)。即,第3阈值交叉点搜索部48对于由水平方向块投影部43得到的针对前面帧的投影数据,确定按照投影数据的数据数组Mh(图13(b))的要素顺序将数组要素的值曲线化而得到的波形W4、和与数组要素的值为第3阈值(预定的固定值)α3时的直线交叉的各个第3阈值交叉点的数组要素的位置。
然后,水平方向块投影数据读出部49针对以图14(a)所示的各个第3阈值交叉点B(1)~B(6)为中心的预定的运动矢量检测范围,从第1水平方向块投影行存储器44读出当前帧的水平方向块投影数据。即,水平方向块投影数据读出部49从在水平方向块投影部43得到的当前帧(后面帧)的投影数据中,提取以各个第3阈值交叉点的投影数据(数据数组)的数组要素的位置为中心的预定范围的数据数组。例如,关于第3阈值交叉点B(4),如图14(b)所示,读出与以第3阈值交叉点B(4)为中心的(B(4)—U)~(B(4)+U)的范围(矩形虚线内的波形部分)对应的第1水平方向块投影数据W3。
并且,关于由水平方向块投影数据读出部49读出的第1水平方向块投影数据,在水平方向块垂直方向运动矢量计算部50的n值化器504中,使用从第2水平方向块投影数据最大值保存部47输出的第4阈值α4进行n值化处理。
例如,关于第3阈值交叉点B(4),根据图14(b)所示的第1水平方向块投影数据W3相对第4阈值α4和(—α4)的大小关系,对以第3阈值交叉点B(4)为中心的(B(4)—U)~(B(4)+U)的范围(矩形虚线内的波形部分),按照图14(c)所示对第1水平方向块投影数据进行3值化处理。由此,当前帧的水平方向块投影数据被表示为“—1”、“0”或“1”。
在n值化器504中,对从第3阈值交叉点搜索部48输出的全部第3阈值交叉点,进行图14(c)所示的n值化处理。
接着,在加法器505(图8)中,对以通过输入端子503从第3阈值交叉点搜索部48输出的第3阈值交叉点为中心并通过n值化器504被n值化的第1水平方向块投影数据、和从垂直方向运动矢量加法存储器506读出的截止到前一个被n值化的第1水平方向块投影数据的相加值进行相加,并把该相加结果再次存储在垂直方向运动矢量加法存储器506中。并且,在加法器505中对与由第3阈值交叉点搜索部48检测出的全部第3阈值交叉点中的最后的交叉点有关的且被n值化的第1水平方向块投影数据进行相加,在结束对一个水平方向块的相加处理时,把该相加结果输出给峰值检测器507。另外,也可以在加法器505的相加处理结束后,峰值检测器507从存储关于全部第3阈值交叉点的相加结果的垂直方向运动矢量加法存储器506中读出该相加结果。
关于被第3阈值交叉点搜索部48检测出的全部第3阈值交叉点,对与以各个第3阈值交叉点为中心的运动矢量检测范围(上述的±U范围)对应的已被n值化的第1水平方向块投影数据进行了相加的数据(以下也称为“水平方向块n值化数据”),被输入峰值检测器507,峰值检测器507检测关于该水平方向块n值化数据的峰值。在该峰值检测器507中所检测的水平方向块n值化数据的峰值位置为根据该水平方向块得到的垂直方向运动矢量,通过输出端子508输出给垂直方向运动确定部51。
关于以上说明的加法器505和峰值检测器507的动作,参照图15进行具体说明。另外,图15(a)示意表示在以图14(a)所示的第3阈值交叉点B(1)~B(6)为中心的运动矢量检测范围(±U范围)中,将第1水平方向块投影数据3值化的情况。
在加法器505中,当依次输入图15(a)所示的第3阈值交叉点B(1)~B(6)周围的3值化数据时,对这些数据进行相加,生成图15(b)所示的水平方向块n值化数据。具体地讲,在加法器505中,针对由水平方向块投影数据读出部49从水平方向块投影数据(数据数组Mh(图13(b)))中提取、并由n值化器504压缩了数据长度的、关于当前帧的运动矢量检测范围(预定范围)的各个数据数组,针对各个第3阈值交叉点的数组要素的位置,把相对位置相同的数组要素的值进行相加。
当由加法器505生成的水平方向块n值化数据输入峰值检测器507时,作为该水平方向块的垂直方向运动矢量,检测出图15(b)所示的垂直方向的峰值位置vv。即,在峰值检测器507中,根据由加法器505相加的相加结果,检测与帧图像的垂直方向有关的运动矢量。
在峰值检测器507中,原则上在运动矢量检测范围(±U的范围)中搜索水平方向块n值化数据达到最大值的峰值位置,但是对于具有周期性的图像、被摄体存在移动的图像和不清楚的图像,有时存在具有优势的峰不出现的情况。此时,由于根据该水平方向块计算出的垂直方向运动矢量的可靠性较低,所以判定为无效块,从而不用在垂直方向运动矢量确定部51的图像整体的垂直方向运动矢量的计算中。
因此,以下说明对峰值检测器507要求的垂直方向运动矢量的可靠性评价。另外,峰值检测器507的可靠性评价的动作与使用图16和图17说明的峰值检测器317基本上相同,所以援引图16和图17进行说明。
图16是相当于图15(b)的图,横轴表示运动矢量,纵轴表示水平方向块n值化数据,为了方便只示出1个“峰”。
在图16中,从负侧起依次对各个相对位置(垂直方向运动矢量)的水平方向块n值化数据标注标号v1~v10,数据v1表示前面的“峰的结束”,同时也表示由此开始搜索的“峰的开始”。另外,虽然没有图示,但最先的峰的“峰的开始”表示最靠近负侧(—U~U范围内)的垂直方向运动矢量的水平方向块n值化数据。
在峰值检测器507中,使成为比较对象的相对位置相对于成为基准值的相对位置(垂直方向运动矢量)依次从负侧向正侧移动,并每次比较两个相对位置的水平方向块n值化数据的大小。该情况时,把通过比较被判断为大的一方的水平方向块n值化数据变更为基准值(或维持基准值),并与下一个成为比较对象的相对位置进行比较。在此,把基准值称为暂定峰值Vp。
具体地讲,对于作为“峰的开始”的数据v1,作为基准值即暂定峰值Vp=v1,首先与数据v2进行比较。根据图16,由于v1>v2,所以Vp>v2,因而维持Vp=v1。接着,进行暂定峰值Vp与数据v3的比较,也是Vp>v3,所以维持Vp=v1。
然后,进行暂定峰值Vp与数据v4的比较,此时Vp<v4,所以Vp=v4,暂定峰值Vp改变。同样,在比较暂定峰值Vp与数据v5时,Vp<v5,所以Vp=v5,暂定峰值Vp改变。另外,在比较暂定峰值Vp与数据v6时,Vp<v6,所以Vp=v6,暂定峰值Vp改变。
在比较暂定峰值Vp与数据v7时,Vp>v7,所以维持Vp=v6。并且,在比较暂定峰值Vp与数据v8时,Vp>v8,所以维持Vp=v6,在比较暂定峰值Vp与数据v9时,Vp>v9,所以维持Vp=v6,在比较暂定峰值Vp与数据v10时,Vp>v10,所以维持Vp=v6。
另外,垂直方向运动矢量在数据v10以后也存在,但为了进行区分,把一个“峰”的水平方向块n值化数据的最大值规定为最大值Pn,把具有比对该最大值Pn乘以预定系数得到的值小的水平方向块n值化数据的垂直方向运动矢量作为表示“峰的结束”的矢量。
在此,把与最大值Pn相乘的预定系数设为β(0<β<1),由于数据v10小于Vp×β,所以把数据v10作为表示“峰的结束”(下一个“峰的开始”)的矢量。另外,预定的系数β根据经验设定为1/2以下,优选设定为1/4~1/8的范围内。
这样,使成为比较对象的相对位置相对于成为基准位置的相对位置(垂直方向运动矢量)依次移动,在发现了比基准值大的水平方向块n值化数据时,把该水平方向块n值化数据更新为“峰”的暂定峰值Vp,通过反复进行该处理,能够求出最大值Pn(峰值)。
并且,把具有水平方向块n值化数据比对最大值Pn乘以预定系数得到的值小的水平方向块n值化数据的垂直方向运动矢量作为表示“峰的结束”(下一个“峰的开始”)的矢量,由此可以确定一个“峰”。
另外,在以上的说明中,示出了使成为比较对象的相对位置从负侧向正侧依次移动的示例,但也可以反之,使成为比较对象的相对位置从正侧向负侧依次移动来获取最大值Pn。
并且,可以简单地把水平方向块n值化数据从增加转为减少的部分作为最大值Pn,并作为存在“峰”的数据进行处理,但从整体掌握波形方面考虑,优选把具有比对水平方向块n值化数据的最大值Pn乘以预定系数得到的值小的水平方向块n值化数据的垂直方向运动矢量定义为“峰的结束”。
保存针对一个“峰”得到的水平方向块n值化数据的最大值Pn,并对下一个“峰”进行相同的处理。通过反复进行该动作,在整个运动矢量检测范围中确定“峰”,并且获取水平方向块n值化数据的最大值Pn(峰值)。
图17表示在整个运动矢量检测范围中相对各个运动矢量的水平方向块n值化数据,示出存在M1、M2、M3、M4和M5这5个“峰”的波形。
峰M1~M5的峰值分别为P1~P5,把其中最大的称为第1峰值(P1st),把接下来最大的称为第2峰值(P2nd),第1峰值是峰M3的水平方向块n值化数据的最大值,P1st=P3。并且,第2峰值是峰M2的水平方向块n值化数据的最大值,P2nd=P2。
第1峰值(P1st)相比其他“峰”的峰值越大,对应该峰值位置的运动矢量表示求出的水平方向块的运动,因此意味着计算出的运动矢量的可靠性越高。因此,通过比较第1峰值(P1st)和第2峰值(P2nd)来评价可靠性。具体地讲,利用之前说明的式(3)进行评价。
并且,在式(3)成立时,所求出的运动矢量没有可靠性,把计算结果处理为无效。当然,在式(3)中也可以包括等于。
在式(3)中,γ越接近1,意味着第1峰值(P1st)与第2峰值(P2nd)之差越小,允许较大的偏差。在该条件下,在图像没有周期性、图像清楚且被摄体也静止这样的理想情况之外的状态下,也能够在尽可能大的范围内将计算结果判断为有效,在允许某种程度的错误检测(错误判定)的基础上,把计算结果处理为有效。
反之,γ越接近0,意味着第1峰值(P1st)相对第2峰值(P2nd)必须足够大,不允许偏差。在该条件下,只能在图像没有周期性且清楚、被摄体也静止这样的理想状态下,极其准确地计算出运动矢量。另一方面,在偏离理想状态时,把计算结果处理为无效的概率增加。
另外,在峰值检测器507中,当“峰”的峰值Pn的最大值在预先设定的预定值以下时,具体地讲,峰值Pn明显小于垂直行的总像素数时,把计算结果处理为无效。峰值Pn较小意味着有效的第3阈值交叉点较少。
在有效的第3阈值交叉点相比垂直行的总像素数明显比较少时,例如垂直行的总像素数为480像素,而峰值Pn=2时,意味着图像在垂直方向上缺少特征,不采用根据该不足的信息计算出的结果,这在获得高可靠性的垂直方向运动矢量这一点上,可以说是极其有效的措施。
另外,该处理中的预先设定的预定值,例如被设定为垂直行的总像素数的1/50以下的范围,更加现实地讲是1/100左右。
在峰值检测器507中针对每个水平方向块计算出的垂直方向运动矢量(峰值位置的矢量),通过输出端子508输入垂直方向运动矢量确定部51。
在垂直方向运动矢量确定部51(图6)中,根据从水平方向块垂直方向运动矢量计算部50依次输出的各个水平方向块的垂直方向运动矢量,确定图像整体的垂直方向运动矢量。具体地讲,生成直方图,采用水平方向块n值化数据最多者。
根据以上所述,在峰值检测器507中,根据第1峰值P1st与第2峰值P2nd的大小关系,能够评价作为第1峰值P1st的峰值位置(运动矢量)的可靠性,结果,能够将可靠性较低的水平方向块除外,所以能够根据可靠性较高的水平方向块来确定图像整体的垂直方向运动矢量。
<效果>
根据以上所述,在实施方式1的运动矢量检测装置1的水平方向运动矢量检测部2中,由垂直方向块水平方向运动矢量计算部31的峰值检测器317求出垂直方向块n值化数据的最大值,把该最大值设为第1峰值(P1st),根据其与第2峰值(P2nd)的大小关系,能够评价在该垂直方向块中求出的水平方向运动矢量的可靠性,进行有效/无效的判定。因此,在水平方向运动矢量确定部32中,能够将像图像不清楚或具有周期性、被摄体未静止那样的可靠性较低的垂直方向块的结果除外,能够根据可靠性较高的垂直方向块的结果来确定图像整体的水平方向运动矢量。
并且,通过依次读出各个相对位置的垂直方向块n值化数据并进行比较,能够容易计算出第1峰值(P1st)和第2峰值(P2nd),在较短的消隐期间也能够处理,所以对实时处理比较有效。
并且,在实施方式1的运动矢量检测装置1的垂直方向运动矢量检测部4中,由水平方向块垂直方向运动矢量计算部50的峰值检测器507求出水平方向块n值化数据的最大值,把该最大值设为第1峰值(P1st),根据其与第2峰值(P2nd)的大小关系,能够评价在该水平方向块中求出的垂直方向运动矢量的可靠性,进行有效/无效的判定。因此,在垂直方向运动矢量确定部51中,能够将像图像不清楚或具有周期性、被摄体未静止那样的可靠性较低的水平方向块的结果除外,能够根据可靠性较高的水平方向块的结果来确定图像整体的垂直方向运动矢量。
并且,通过依次读出各个相对位置的水平方向块n值化数据并进行比较,能够容易计算出第1峰值(P1st)和第2峰值(P2nd),在较短的消隐期间也能够处理,所以对实时处理比较有效。
并且,在运动矢量检测装置1中,在通过垂直方向图像分割部21沿垂直方向分割帧图像后,对于各个分割图像(垂直方向块)强调垂直方向的边缘,所以能够容易生成强调了垂直方向的边缘的分割图像。
同样,在通过水平方向图像分割部41沿水平方向分割帧图像后,对于各个分割图像(水平方向块)强调水平方向的边缘,所以能够容易生成强调了水平方向的边缘的分割图像。
实施方式2
<运动矢量检测装置的结构>
本发明的实施方式2的运动矢量检测装置1A具有与图1所示实施方式1的运动矢量检测装置1类似的结构,但水平方向运动矢量检测部和垂直方向运动矢量检测部的结构与实施方式1不同。参照图18和图19,说明该运动矢量检测装置1A的水平方向运动矢量检测部2A和垂直方向运动矢量检测部4A的结构。
图18是表示水平方向运动矢量检测部2A的主要部分结构的方框图。另外,在图18中,对具有与实施方式1相同功能的部位标注相同标号。
相对于实施方式1的水平方向运动矢量检测部2,在水平方向运动矢量检测部2A中,使垂直方向图像分割部21和垂直方向边缘提取滤波部22的配置颠倒。以下,说明该水平方向运动矢量检测部2A的动作。
当按照图2所示在垂直方向上依次反复进行水平行的像素扫描而读出的帧图像被输入水平方向运动矢量检测部2A的输入端子20时,在垂直方向边缘提取滤波部22中进行沿垂直方向延伸的边缘分量的提取,换言之,实施对在水平方向上急剧变化的图像部分进行强调的滤波处理。
由垂直方向边缘提取滤波部22强调了垂直方向的边缘的帧图像输入到垂直方向图像分割部21,沿垂直方向被分割成块。即,在垂直方向图像分割部21中,设定沿垂直方向对被实施了边缘强调的帧图像进行分割而得到的多个图像区域(垂直方向块)。由此,在以后的处理中针对每个垂直方向块进行处理和管理。
由垂直方向图像分割部21分割的图像数据被输入垂直方向块投影部23,关于该垂直方向块投影部23以后的处理,是进行与实施方式1的水平方向运动矢量检测部2相同的处理。
图19是表示垂直方向运动矢量检测部4A的主要部分结构的方框图。另外,在图19中,对具有与实施方式1相同功能的部位标注相同标号。
相对于实施方式1的垂直方向运动矢量检测部4,在垂直方向运动矢量检测部4A中,使水平方向图像分割部41和水平方向边缘提取滤波部42的配置颠倒。以下说明该垂直方向运动矢量检测部4A的动作。
当按照图2所示在垂直方向上依次反复进行水平行的像素扫描而读出的帧图像被输入垂直方向运动矢量检测部4A的输入端子40时,在水平方向边缘提取滤波部42中进行沿水平方向延伸的边缘分量的提取,换言之,实施对在垂直方向上急剧变化的图像部分进行强调的滤波处理。
当由水平方向边缘提取滤波部42强调了水平方向的边缘的帧图像输入到水平方向图像分割部41时,沿水平方向被分割成块。即,在水平方向图像分割部41中,设定沿水平方向对被实施了边缘强调的帧图像进行分割而得到的多个图像区域(水平方向块)。由此,在以后的处理中对每个水平方向块进行处理和管理。
由水平方向图像分割部41分割的图像数据输入水平方向块投影部43,该水平方向块投影部43以后的处理是进行与实施方式1的垂直方向运动矢量检测部4相同的处理。根据以上所述的运动矢量检测装置1A的动作,可以发挥与实施方式1相同的效果。
并且,在运动矢量检测装置1A中,在由垂直方向边缘提取滤波部22对帧图像强调了垂直方向的边缘后,在垂直方向图像分割部21中沿垂直方向分割被强调了边缘的帧图像,所以能够容易生成强调了垂直方向的边缘的分割图像。
同样,在由水平方向边缘提取滤波部42对帧图像强调了水平方向的边缘后,水平方向图像分割部41沿水平方向分割被强调了边缘的帧图像,所以能够容易生成强调了水平方向的边缘的分割图像。
另外,在运动矢量检测装置1A中,并不是必须把垂直方向边缘提取滤波部22和水平方向边缘提取滤波部42分别配置在水平方向运动矢量检测部2A和垂直方向运动矢量检测部4A中,也可以设置将垂直方向边缘提取滤波部22和水平方向边缘提取滤波部42双方的功能一体化的水平/垂直方向边缘提取滤波部,将其输出分别输入垂直方向图像分割部21和水平方向图像分割部41。
<变形例>
关于上述实施方式1和2中的垂直方向边缘提取滤波部和水平方向边缘提取滤波部,也可以在进行边缘提取的滤波处理后,通过判别与预定阈值的大小关系的阈值处理,进行例如“有边缘”“无边缘”的2值化、和“有正边缘”“无边缘”“有负边缘”的3值化。通过进行这种阈值处理,可以同样地处理具有预定阈值以上的亮度变化(亮度梯度)的边缘。
在上述各个实施方式中,也可以通过例如每个帧的开关切换,把从比特数削减部25输出的数据交替输入第1垂直方向块投影行存储器26和第2垂直方向块投影行存储器27中。
并且,也可以通过例如每个帧的开关切换,把从水平方向块投影部43输出的数据交替输入第1水平方向块投影行存储器44和第2水平方向块投影行存储器46中。
同样,也可以通过例如每个帧的开关切换,把从垂直(水平)方向块投影部输出的数据交替输入第1垂直(水平)方向块投影数据最大值保存部和第2垂直(水平)方向块投影数据最大值保存部中。
本发明中的“前面帧”不限于相对后面帧(例如当前帧)的前一帧,也可以包括在前两个以上的前面帧。例如,在通过帧间疏(間引き)处理跳过中间的帧时,则也包括处于被跳过的帧前面的帧。
实施方式3
<运动矢量检测装置的结构>
如图1所示,本发明的实施方式3的运动矢量检测装置1B具有与实施方式1的运动矢量检测装置1类似的结构,但水平方向运动矢量检测部和垂直方向运动矢量检测部的结构不同。
下面,说明运动矢量检测装置1B的水平方向运动矢量检测部2B和垂直方向运动矢量检测部4B的结构。
图20是表示水平方向运动矢量检测部2B的主要部分结构的方框图。另外,在图20中,对具有与在实施方式1中说明的水平方向运动矢量检测部2相同功能的部位标注相同标号,并省略重复的说明。
水平方向运动矢量检测部2B具有输入端子20、垂直方向图像分割部21、垂直方向边缘提取滤波部22、垂直方向块投影部23、第1垂直方向块投影数据最大值保存部24、比特数削减部25、第1垂直方向块投影行存储器26、和垂直方向块投影数据平滑化部34。并且,水平方向运动矢量检测部2B具有第2垂直方向块投影行存储器27、第2垂直方向块投影数据最大值保存部28、第1阈值交叉点搜索部29、垂直方向块投影数据读出部30、垂直方向块水平方向运动矢量计算部31、水平方向运动矢量确定部32、和输出端子33。
水平方向运动矢量检测部2B具有垂直方向块投影数据平滑化部34,这一点与图3所示的水平方向运动矢量检测部2大不相同,关于垂直方向块投影数据平滑化部34的动作将在后面具体说明。
图21是表示垂直方向块运动矢量检测部4B的主要部分结构的方框图。另外,在图21中,对具有与在实施方式1中说明的垂直方向运动矢量检测部4相同功能的部位标注相同标号,并省略重复的说明。
垂直方向运动矢量检测部4B具有输入端子40、水平方向图像分割部41、水平方向边缘提取滤波部42、水平方向块投影部43、第1水平方向块投影行存储器44、第1水平方向块投影数据最大值保存部45、和水平方向块投影数据平滑化部53。并且,垂直方向运动矢量检测部4B具有第2水平方向块投影行存储器46、第2水平方向块投影数据最大值保存部47、第3阈值交叉点搜索部48、水平方向块投影数据读出部49、水平方向块垂直方向运动矢量计算部50、垂直方向运动矢量确定部51、和输出端子52。
垂直方向运动矢量检测部4B具有水平方向块投影数据平滑化部53,这一点与图6所示的垂直方向运动矢量检测部4大不相同,关于水平方向块投影数据平滑化部53的动作将在后面具体说明。
<运动矢量检测装置的动作>
<水平方向运动矢量检测部的动作>
首先,说明运动矢量检测装置1B中检测图像的水平方向运动矢量的水平方向运动矢量检测部2B的动作。
另外,如上所述,在水平方向运动矢量检测部2B的各个结构中,除垂直方向块投影数据平滑化部34之外,进行与图3所示水平方向运动矢量检测部2的各个结构相同的动作,所以省略这些结构的动作说明,以下说明垂直方向块投影数据平滑化部34的动作。
使用图22~图25具体说明垂直方向块投影数据平滑化部34的平滑化处理。垂直方向块投影数据平滑化部34读出保存在第1垂直方向块投影行存储器26中的垂直方向块投影数据,并进行平滑化处理,然后写回到第1垂直方向块投影行存储器26中。在图16~图19中,说明使用Pa、Pb、Pc这些在水平方向上相连续的3点的数组要素进行平滑化处理的示例。另外,a、b、c分别是点Pa、Pb、Pc处的值。
图22表示投影数据的变动模式为“向下凸,a>0、b≧0、c>0”时的平滑化处理。
在检测运动矢量时,在投影数据中连续的多个点的渐增、渐减是重要的,因为根据与阈值的关系,少数的点的凹凸成为降低精度的原因,所以优选去除。因此,在图22所示的模式中,通过把中心的点Pb的值b变更为值a与值c的平均值,来消除向下凸的形状。
同样,图23表示投影数据的变动模式为“向上凸,a<0、b≦0、c<0”时的平滑化处理。该情况时,通过把中心的点Pb的值b变更为值a与值c的平均值,来消除向上凸的形状。
另一方面,图24表示投影数据的变动模式为“向下凸,a>0、b<0、c>0”时的平滑化处理。
该情况时,b<—α2,如果直接进行处理,则根据第2阈值—α2,值b在n值化器314的n值化处理(在本示例中为3值化)时成为—1,在前后的点Pa、Pc的值为1时,Pa、Pb、Pc各点的值成为1、—1、1产生振动。这在加法器315中通过以各个第1阈值交叉点为中心进行相加,而成为较大的振动(振幅),本来应该在指示运动矢量位置的位置处有一个较大的峰,但由于该振动,在本来不是峰值位置的部分也示出较大的值。
而且,即使对图24所示的变动模式执行与图22或图23相同的平滑化处理,也存在不能在n值化处理中正确反映投影数据的特征的问题。
即,如图24所示,在示出点Pb的值b小于第2阈值—α2,点Pa和点Pc的值大于0的较大变动时,认为点Pa构成由点Pa前面的点Pq、Pr、...(...<Pr<Pq<Pa)构成的前级变动模式的一部分,点Pb也构成前级变动模式。
并且,认为点Pc构成由点Pc后面的点Ps、Pt、...(Pc<Ps<Pt<...)构成的后级变动模式的一部分,点Pb也构成后级变动模式。
在这种情况下,如果进行单纯地使点Pb的值b成为值a与值c的平均值的平滑化处理,将导致前级变动模式和后级变动模式的特征改变,不能在n值化处理中正确反应两个模式的特征。
在此,在图24所示的变动模式中,进行把点Pb的值b变更为实施n值化处理时将被压缩为“0”的值(—β)的平滑化处理。在此,把将被压缩为“0”的值称为被压缩值,该被压缩值设定为大于第2阈值—α2且小于等于0的固定值。通过该处理,可以在n值化处理中正确反映两个模式的特征,而且不会破坏前级变动模式和后级变动模式的特征。
图25表示投影数据的变动模式为“向上凸,a<0、b>0、c<0”时的平滑化处理。
该情况时,b>α2,如果直接进行处理,则根据第2阈值α2,值b在n值化器314的n值化处理(在本示例中为3值化)时成为1,在前后的点Pa、Pc的值为—1时,Pa、Pb、Pc各点的值成为—1、1、—1产生振动。这在加法器315中通过以各个第1阈值交叉点为中心进行相加,成为较大的振动(振幅),本来应该在指示运动矢量位置的位置处有一个较大的峰,但由于该振动,在本来不是峰值位置的部分也示出较大的值。
但是,即使对图25所示的变动模式执行与图22或图23相同的平滑化处理,也存在不能在n值化处理中正确反映投影数据的特征的问题。
即,如图25所示,在示出点Pb的值b大于第2阈值α2,点Pa和点Pc的值小于0的较大变动时,认为点Pa构成由点Pa前面的点Pq、Pr、...(...<Pr<Pq<Pa)构成的前级变动模式的一部分,点Pb也构成前级变动模式。
并且,认为点Pc构成由点Pc后面的点Ps、Pt、...(Pc<Ps<Pt<...)构成的后级变动模式的一部分,点Pb也构成后级变动模式。
在这种情况下,如果进行单纯地使点Pb的值b成为值a与值c的平均值的平滑化处理,将导致前级变动模式和后级变动模式的特征改变,不能在n值化处理中正确反映两个模式的特征。
因此,在图25所示的变动模式中,进行把点Pb的值b变更为实施n值化处理时将被压缩为“0”的值(β)的平滑化处理。在此,把将被压缩为“0”的值称为被压缩值,该被压缩值设定为小于第2阈值α2且大于等于0的固定值。通过该处理,可以在n值化处理中正确反映两个模式的特征,而且不会破坏前级变动模式和后级变动模式的特征。
另外,在把被压缩值设定为0时,如果后级变动模式的平滑化使用点Pb的压缩值,将导致后级变动模式的特征略微改变,如果不把其视为问题,则也可以把被压缩值设定为0。
下面,使用图26~图29所示的投影数据的变动模式的具体示例,说明垂直方向块投影数据平滑化部34的平滑化处理的效果。
图26假定为不实施平滑化处理时的垂直方向块投影数据的波形的一部分。如图26所示,该波形是相邻的各个点上下振动的波形。
作为该振动的原因,除前级电路中的各种信号处理的原因外,如果只对垂直方向而言,例如在照相机信号等的信号电平随每行而微妙变动时,在每当进行投影处理时该变动被相加(强调),从而振动变得明显。
图27是示意表示对图26所示的投影数据设定进行3值化处理时的阈值α和—α的状态的图,并判明在圆圈包围的区域中的各个点超过和低于阈值。因此,如果在这种状态下进行3值化处理,将给3值化结果产生较大的影响。
在此,图28表示对图26所示的投影数据实施使用图22~图25说明的平滑化处理的结果。
图28所示的波形保留了原来垂直方向块投影数据波形的整体特征,同时去除了叠加在其上的振动。
例如,圆圈包围的区域R11~R15是将在图27中超过和低于阈值的区域中包含的数据进行平滑后的区域,对于这些区域实施使用图22和图23说明的、使用两边相邻的数据的平均值的平滑化处理。
并且,在图27中区域R10例如是具有点22、点23和点24所示的较大变动的区域,即,点23的值大于阈值α、点22和点24的值小于0,对于这些区域实施使用图24和图25说明的、把3点中的中间点的值变更为在实施n值化处理时将被压缩为“0”的值的平滑化处理。
通过实施以上所述的平滑化处理,可以获得不会因为阈值的交叉点附近的振动而对3值化值带来较大影响的垂直方向块投影数据。
图29表示在对第1垂直方向块投影数据进行n值化器314的n值化处理后,关于由第1阈值交叉点搜索部29检测出的全部第1阈值交叉点,加法器315在以各个第1阈值交叉点为中心的运动矢量检测范围(前面说明的±V的范围)内进行相加得到的垂直方向块n值化数据的一例。在此,V是31,横轴的刻度32表示水平方向运动矢量0的位置。
并且,利用涂黑的菱形表示的数据是“未进行平滑化处理”的数据,利用涂黑的正方形表示的数据是“进行了平滑化处理”的数据。
在利用两种数据分别表示的波形中,“未进行平滑化处理”的波形振动较大,在各个部位呈现向上凸、向下凸。另一方面,“进行了平滑化处理”的波形是保留了原来波形的特征、而且没有多余的凹凸的波形。
在图29中,“未进行平滑化处理”的波形和“进行了平滑化处理”的波形都在刻度30的位置具有最大峰,所以在峰值检测器317把运动矢量检测范围整体的最大峰值位置判定为水平方向运动矢量时,不会产生错误判定。
但是,例如对于值按照负→正→负的顺序变化的每个“向上凸的块”计算出峰值位置,评价该每个“块”的峰值的大小,由此进行排除针对周期性图像的运动矢量计算结果的可靠性评价,进一步提高计算精度,在采用这种方法时,本示例的“未进行平滑化处理”的波形被评价为“没有可靠性”,但在“进行了平滑化处理”的波形中能够计算出正确的水平方向运动矢量。
即,在“未进行平滑化处理”的波形中,除刻度30以外,在刻度28、刻度32等多个位置形成有“块”,并分别具有相加值40、30、26。本来除较小的峰以外还应该具有唯一的较大峰,这样在多个位置具有相同大小的峰值时,其结果不值得信赖。
另一方面,在“进行了平滑化处理”的波形中,在刻度30具有相加值21、在刻度42具有相加值5、在刻度5具有相加值3的峰,刻度30的峰可以判定为唯一的较大峰,所以能够把刻度30即矢量—2判断为水平方向运动矢量。
由峰值检测器317对每个垂直方向块计算出的水平方向运动矢量,依次通过输出端子318输入水平方向运动矢量确定部32。
在水平方向运动矢量确定部32中,根据从垂直方向块水平方向运动矢量计算部31依次输出的各个垂直方向块的水平方向运动矢量,确定图像整体的水平方向运动矢量。具体地讲,对各个垂直方向块的水平方向运动矢量生成直方图,把直方图值最大的水平方向运动矢量作为图像整体的水平方向运动矢量等。
根据以上所述,在垂直方向块投影数据平滑化部34中,能够去除叠加在垂直方向块投影数据上的变动噪声,而且不会破坏垂直方向块投影数据的大的趋势(特征),作为加法器315的相加结果不会产生多余的峰,所以能够减小峰值检测器317的错误判定和可靠性下降。其结果,能够计算出具有可靠性的垂直方向块水平方向运动矢量。
<垂直方向运动矢量检测部的动作>
接着,说明运动矢量检测装置1B中检测图像的垂直方向运动矢量的垂直方向运动矢量检测部4B的动作。
另外,如上所述,在垂直方向运动矢量检测部4B的各个结构中,除水平方向块投影数据平滑化部53之外,其他结构进行与图6所示垂直方向运动矢量检测部4的各个结构相同的动作,所以省略这些结构的动作说明,以下说明水平方向块投影数据平滑化部53的动作。
使用图22~图25具体说明水平方向块投影数据平滑化部53的平滑化处理。水平方向块投影数据平滑化部53读出保存在第1水平方向块投影行存储器44中的水平方向块投影数据,并进行平滑化处理,然后写回到第1水平方向块投影行存储器44中。在图22~图25中,说明使用Pa、Pb、Pc这些在垂直方向上连续的3点的数组要素进行平滑化处理的示例。另外,a、b、c分别是点Pa、Pb、Pc处的值。
图22表示投影数据的变动模式为“向下凸,a>0、b≧0、c>0”时的平滑化处理。
在检测运动矢量时,在投影数据中连续的多个点的渐增、渐减是重要的,因为根据与阈值的关系少数的点的凹凸成为降低精度的原因,所以优选去除。因此,在图22所示的模式中,通过把中心的点Pb的值b变更为值a与值c的平均值,来消除向下凸的形状。
同样,图23表示投影数据的变动模式为“向上凸,a<0、b≦0、c<0”时的平滑化处理。该情况时,通过把中心的点Pb的值b变更为值a与值c的平均值,来消除向上凸的形状。
另一方面,图24表示投影数据的变动模式为“向下凸,a>0、b<0、c>0”时的平滑化处理。
该情况时,b<—α2,如果直接进行处理,则根据第4阈值—α4,值b在n值化器504的n值化处理(在该示例中为3值化)时成为—1,在前后的点Pa、Pc的值为1时,Pa、Pb、Pc各点的值成为1、—1、1产生振动。这在加法器505中通过以各个第3阈值交叉点为中心进行相加,成为较大的振动(振幅),本来应该在指示运动矢量位置的位置处有一个较大的峰,但由于该振动,在本来不是峰值位置的部分也显示出较大的值。
但是,即使对图24所示的变动模式执行与图22或图23相同的平滑化处理,也存在不能在n值化处理中正确反应投影数据特征的问题。
即,如图24所示,在示出点Pb的值b小于第4阈值—α4,点Pa和点Pc的值大于0的较大变动时,认为点Pa构成由点Pa前面的点Pq、Pr、...(...<Pr<Pq<Pa)构成的前级变动模式的一部分,点Pb也构成前级变动模式。
并且,认为点Pc构成由点Pc后面的点Ps、Pt、...(Pc<Ps<Pt<...)构成的后级变动模式的一部分,点Pb也构成后级变动模式。
在这种情况下,如果进行单纯地使点Pb的值b成为值a与值c的平均值的平滑化处理,将导致前级变动模式和后级变动模式的特征改变,不能在n值化处理中正确反映两个模式的特征。
因此,在图24所示的变动模式中,进行把点Pb的值b变更为实施n值化处理时将被压缩为“0”的值(—β)的平滑化处理。在此,把将被压缩为“0”的值称为被压缩值,该被压缩值设定为大于第2阈值—α4而且小于等于0的固定值。通过该处理,可以在n值化处理中正确反映两个模式的特征,而且不会破坏前级变动模式和后级变动模式的特征。
图25表示投影数据的变动模式为“向上凸,a<0、b>0、c<0”时的平滑化处理。
该情况时,b>α4,如果直接进行处理,则根据第4阈值α4,值b在n值化器504的n值化处理(在该示例中为3值化)时成为1,在前后的点Pa、Pc的值为—1时,Pa、Pb、Pc各点的值成为—1、1、—1产生振动。这在加法器505中通过以各个第3阈值交叉点为中心进行相加,成为较大的振动(振幅),本来应该在指示运动矢量位置的位置处有一个较大的峰,但由于该振动,在本来不是峰值位置的部分也显示出较大的值。
但是,即使对图25所示的变动模式执行与图22或图23相同的平滑化处理,也存在不能在n值化处理中正确反映投影数据的特征的问题。
即,如图25所示,在示出点Pb的值b大于第4阈值α4,点Pa和点Pc的值小于0的较大变动时,认为点Pa构成由点Pa前面的点Pq、Pr、...(...<Pr<Pq<Pa)构成的前级变动模式的一部分,点Pb也构成前级变动模式。
并且,认为点Pc构成由点Pc后面的点Ps、Pt、...(Pc<Ps<Pt<...)构成的后级变动模式的一部分,点Pb也构成后级变动模式。
在这种情况下,如果进行单纯地使点Pb的值b成为值a与值c的平均值的平滑化处理,将导致前级变动模式和后级变动模式的特征改变,不能在n值化处理中正确反映两个模式的特征。
因此,在图25所示的变动模式中,进行把点Pb的值b变更为实施n值化处理时将被压缩为“0”的值(β)的平滑化处理。在此,把将被压缩为“0”的值称为被压缩值,该被压缩值设定为小于第4阈值α4且大于等于0的固定值。通过该处理,可以在n值化处理中正确反映两个模式的特征,而且不会破坏前级变动模式和后级变动模式的特征。
另外,在把被压缩值设定为0时,如果后级变动模式的平滑化使用点Pb的被压缩值,将导致后级变动模式的特征略微改变,如果不把其视为问题,则也可以把被压缩值设定为0。
下面,使用图26~图29所示的投影数据的变动模式的具体示例,说明水平方向块投影数据平滑化部53的平滑化处理的效果。
图26假定为不实施平滑化处理时的水平方向块投影数据的波形的一部分。如图26所示,该波形是在相邻的各个点上下振动的波形。
作为该振动的原因,除前级电路中的各种信号处理的原因外,如果只对水平方向而言,例如在照相机信号等的信号电平随每行而微妙变动时,在每当进行投影处理时该变动被相加(强调),从而振动变得明显。
图27是示意表示对图26所示的投影数据设定进行3值化处理时的阈值α和—α的状态图,并判明在圆圈包围的区域中的各个点超过和低于阈值。因此,如果在这种状态下进行3值化处理,将对3值化结果产生较大的影响。
在此,图28表示对图26所示的投影数据实施使用图22~图25说明的平滑化处理的结果。
图28所示的波形保留了原来垂直方向块投影数据的波形的整体特征,同时去除了叠加在其上的振动。
例如,圆圈包围的区域R11~R15是将在图27中超过和低于阈值的区域中包含的数据进行平滑化后的区域,对于这些区域实施使用图22和图23说明的、使用两边相邻的数据的平均值的平滑化处理。
并且,在图27中区域R10例如是具有点22、点23和点24所示的较大变动的区域,即,点23的值大于阈值α、点22和点24的值小于0,对于这些区域实施使用图24和图25说明的、把3点中的中间点的值变更为在实施n值化处理时将被压缩为“0”的值的平滑化处理。
通过实施以上所述的平滑化处理,可以获得不会因为阈值的交叉点附近的振动而对3值化值带来较大影响的水平方向块投影数据。
图29表示在对第1水平方向块投影数据进行n值化器504的n值化处理后,关于由第1阈值交叉点搜索部48检测出的全部第3阈值交叉点,加法器505在以各个第3阈值交叉点为中心的运动矢量检测范围(前面说明的±U的范围)内进行相加得到的水平方向块n值化数据的一例。在此,U是31,横轴的刻度32表示垂直方向运动矢量0的位置。
并且,利用涂黑的菱形表示的数据是“未进行平滑化处理”的数据,利用涂黑的正方形表示的数据是“进行了平滑化处理”的数据。
在利用两种数据分别表示的波形中,“未进行平滑化处理”的波形振动较大,在各个部位呈现向上凸、向下凸。另一方面,“进行了平滑化处理”的波形是保留原来波形的特征、而且没有多余的凹凸的波形。
在图29中,“未进行平滑化处理”的波形和“进行了平滑化处理”的波形都在刻度30的位置处具有最大峰,所以在峰值检测器507把运动矢量检测范围整体的最大峰值位置判定为水平方向运动矢量时,不会产生错误判定。
但是,例如对于值按照负→正→负的顺序变化的每个“向上凸的块”计算峰值位置,评价该每个“块”的峰值的大小,由此进行排除针对周期性图像的运动矢量计算结果的可靠性评价,进一步提高计算精度,在采用这种方法时,本示例的“未进行平滑化处理”的波形被评价为“没有可靠性”,而“进行了平滑化处理”的波形能够计算出正确的垂直方向运动矢量。
即,在“未进行平滑化处理”的波形中,除刻度30以外,在刻度28、刻度32等多个位置形成有“块”,并分别具有相加值40、30、26。本来除较小的峰以外还应该具有唯一的较大峰,而这样在多个位置具有相同大小的峰值时,其结果不值得信赖。
另一方面,在“进行了平滑化处理”的波形中,在刻度30具有相加值21、在刻度42具有相加值5、在刻度5具有相加值3的峰,刻度30的峰可以判定为唯一的较大峰,所以可以把刻度30即矢量—2判断为垂直方向运动矢量。
由峰值检测器507针对每个水平方向块计算出的垂直方向运动矢量,依次通过输出端子508输入垂直方向运动矢量确定部51(图21)。
在垂直方向运动矢量确定部51中,根据从水平方向块垂直方向运动矢量计算部50依次输出的各个水平方向块的垂直方向运动矢量,确定图像整体的垂直方向运动矢量。具体地讲,对各个水平方向块的垂直方向运动矢量生成直方图,把直方图值最大的垂直方向运动矢量作为图像整体的垂直方向运动矢量等。
根据以上所述,在水平方向块投影数据平滑化部53中,可以去除叠加在水平方向块投影数据上的变动噪声,而且不会破坏水平方向块投影数据的大的趋势(特征),作为加法器505的相加结果不会产生多余的峰,所以能够减小峰值检测器507的错误判定和可靠性下降。其结果,能够计算出具有可靠性的水平方向块垂直方向运动矢量。
<效果>
根据以上所述,在实施方式3的运动矢量检测装置1B的水平方向运动矢量检测部2B中,在垂直方向块投影数据平滑化部34中可以去除叠加的局部变动噪声,而且不会破坏垂直方向块投影数据的总趋势(特征),所以能够检测出具有可靠性的垂直方向块水平方向运动矢量。其结果,能够根据可靠性较高的垂直方向块水平方向运动矢量,来确定图像整体的水平方向运动矢量。
并且,在垂直方向运动矢量检测部4B中,在水平方向块投影数据平滑化部53中可以去除叠加的局部变动噪声,而且不会破坏水平方向块投影数据的总趋势(特征),所以能够检测出具有可靠性的水平方向块垂直方向运动矢量。其结果,能够根据可靠性较高的水平方向块垂直方向运动矢量,来确定图像整体的垂直方向运动矢量。
并且,在运动矢量检测装置1B的比特数削减部25中,根据由第1垂直方向块投影数据最大值保存部24求出的当前帧的垂直方向块投影数据的最大值,削减当前帧的垂直方向投影数据的比特数,所以能够抑制以后的处理中的运算量,能够更加快速地进行运动矢量的检测。
并且,在运动矢量检测装置1B中,求出有关前面帧的第2垂直方向块投影数据的最大值,根据该最大值设定第1阈值α1,所以能够设定合适的第1阈值交叉点。同样,求出有关前面帧的第2水平方向块投影数据的最大值,根据该最大值设定第3阈值α3,所以能够设定合适的第3阈值交叉点。
并且,在运动矢量检测装置1B中,在通过垂直方向图像分割部21沿垂直方向分割帧图像后,对于各个分割图像(垂直方向块)强调垂直方向的边缘,所以能够容易地生成强调了垂直方向的边缘的分割图像。同样,在通过水平方向图像分割部41沿水平方向分割帧图像后,对于各个分割图像(水平方向块)强调水平方向的边缘,所以能够容易生成强调了水平方向的边缘的分割图像。
并且,在运动矢量检测装置1B中,在垂直方向块水平方向运动矢量计算部31的n值化器314中,将由垂直方向块投影数据读出部30读出的投影数据n值化,所以能够降低以后的运算量,能够更快速地进行运动矢量的检测。尤其在n值化器314中根据基于当前帧的垂直方向块投影数据的最大值而设定的第2阈值α2来进行3值化,所以能够确保比较大的动态范围,可以实现能够实时处理的运动矢量检测。并且,也能够大幅削减存储量。
同样,在水平方向块垂直方向运动矢量计算部50的n值化器504中,将由水平方向块投影数据读出部49读出的投影数据n值化,所以能够降低以后的运算量,能够更快速地进行运动矢量的检测。尤其在n值化器504中根据基于前面帧的水平方向块投影数据的最大值而设定的第4阈值α4来进行3值化,所以能够设定合适的第4阈值α4,而且不会较大地破坏动态范围,可以实现能够实时处理的运动矢量检测。并且,也能够大幅削减存储量。
实施方式4
<运动矢量检测装置的结构>
本发明的实施方式4的运动矢量检测装置1C具有与图20所示实施方式3的运动矢量检测装置1B类似的结构,但水平方向运动矢量检测部和垂直方向运动矢量检测部的结构不同。参照图30和图31,说明该运动矢量检测装置1C的水平方向运动矢量检测部2C和垂直方向运动矢量检测部4C的结构。
图30是表示水平方向运动矢量检测部2A的主要部分结构的方框图。另外,在图30中,对具有与实施方式3相同功能的部位标注相同标号。
相比于实施方式3的水平方向运动矢量检测部2B,水平方向运动矢量检测部2C使垂直方向图像分割部21和垂直方向边缘提取滤波部22的配置颠倒。下面,说明该水平方向运动矢量检测部2C的动作。
按照图2所示沿垂直方向依次反复进行水平行的像素扫描而读出的帧图像,被输入水平方向运动矢量检测部2C的输入端子20,然后在垂直方向边缘提取滤波部22中进行沿垂直方向延伸的边缘分量的提取,换言之,实施对在水平方向上急剧变化的图像部分进行强调的滤波处理。
由垂直方向边缘提取滤波部22对垂直方向的边缘进行了强调的帧图像被输入垂直方向图像分割部21,被沿垂直方向分割成块。即,在垂直方向图像分割部21中,设定沿垂直方向对被实施了边缘强调的帧图像进行分割而得到的多个图像区域(垂直方向块)。由此,在以后的处理中按照每个垂直方向块进行处理和管理。
由垂直方向图像分割部21分割的图像数据输入垂直方向块投影部23,关于该垂直方向块投影部23后续的处理,是进行与实施方式3的水平方向运动矢量检测部2B相同的处理。
图31是表示垂直方向运动矢量检测部4C的主要部分结构的方框图。另外,在图31中,对具有与实施方式3相同功能的部位标注相同标号。
相比于实施方式3的垂直方向运动矢量检测部4B,垂直方向运动矢量检测部4C使水平方向图像分割部41和水平方向边缘提取滤波部42的配置颠倒。以下说明该垂直方向运动矢量检测部4C的动作。
当按照图2所示沿垂直方向依次反复进行水平行的像素扫描而读出的帧图像被输入垂直方向运动矢量检测部4C的输入端子40时,在水平方向边缘提取滤波部42中进行沿水平方向延伸的边缘分量的提取,换言之,实施对在垂直方向上急剧变化的图像部分进行强调的滤波处理。
由水平方向边缘提取滤波部42对水平方向的边缘进行了强调的帧图像被输入水平方向图像分割部41,被沿水平方向分割成块。即,在水平方向图像分割部41中,设定沿水平方向对被实施了边缘强调的帧图像进行分割而得到的多个图像区域(水平方向块)。由此,在以后的处理中针对每个水平方向块进行处理和管理。
由水平方向图像分割部41分割的图像数据被输入水平方向块投影部43,关于该水平方向块投影部43以后的处理,是进行与实施方式3的垂直方向运动矢量检测部4B相同的处理。
根据以上所述的运动矢量检测装置1C的动作,可以发挥与实施方式1相同的效果。
并且,在运动矢量检测装置1C中,在由垂直方向边缘提取滤波部22对帧图像进行了垂直方向的边缘强调后,在垂直方向图像分割部21中沿垂直方向对被强调了边缘的帧图像进行分割,所以能够容易地生成强调了垂直方向的边缘的分割图像。
同样,在由水平方向边缘提取滤波部42对帧图像的水平方向的边缘进行了强调后,在水平方向图像分割部41中沿水平方向对被强调了边缘的帧图像进行分割,所以能够容易地生成对水平方向的边缘进行了强调的分割图像。
另外,在运动矢量检测装置1C中,并不是必须把垂直方向边缘提取滤波部22和水平方向边缘提取滤波部42分别配置在水平方向运动矢量检测部2C和垂直方向运动矢量检测部4C中,也可以设置将垂直方向边缘提取滤波部22和水平方向边缘提取滤波部42双方的功能一体化的水平/垂直方向边缘提取滤波部,并把其输出分别输入到垂直方向图像分割部21和水平方向图像分割部41。
<变形例>
关于上述实施方式3和4中的垂直方向边缘提取滤波部和水平方向边缘提取滤波部,也可以在进行边缘提取的滤波处理后,通过判别与预定阈值之间的大小关系的阈值处理,进行例如“有边缘”“无边缘”的2值化、和“有正边缘”“无边缘”“有负边缘”的3值化。通过进行这种阈值处理,可以同样地处理具有预定阈值以上的亮度变化(亮度梯度)的边缘。
在上述各个实施方式中,也可以通过例如每个帧的开关切换,把从比特数削减部25输出的数据交替输入第1垂直方向块投影行存储器26和第2垂直方向块投影行存储器27中。
并且,也可以通过例如每个帧的开关切换,把从水平方向块投影部43输出的数据交替输入第1水平方向块投影行存储器44和第2水平方向块投影行存储器46中。
同样,也可以通过例如每个帧的开关切换,把从垂直(水平)方向块投影部输出的数据交替输入第1垂直(水平)方向块投影数据最大值保存部和第2垂直(水平)方向块投影数据最大值保存部中。
本发明中的“前面帧”不限于相对后面帧(例如当前帧)的前一帧,也可以包括在前两个以上的前面帧。例如,在通过帧间疏(間引き)处理跳过中间的帧时,则也包括处于被跳过的帧前面的帧。
以上具体说明了本发明,但上述的说明仅是全部方面中的示例,本发明不限于上述说明。可以理解为没有例示的无数个变形例均可以在不脱离本发明范围的情况下得到。
Claims (22)
1.一种运动矢量检测装置,其检测关于在时序上为前后关系的前面帧和后面帧的帧图像间的运动矢量,该运动矢量检测装置具有:
边缘强调单元(22),对于沿垂直方向依次反复进行水平行的像素扫描而读出的帧图像,该边缘强调单元针对所述帧图像中的预定的图像区域强调垂直方向的边缘;
投影单元(23),对由所述边缘强调单元(22)强调了边缘的图像,该投影单元在垂直方向取投影,并生成具有1个水平行的量的数据数组的投影数据;
确定单元(29),关于通过所述投影单元得到的针对所述前面帧的投影数据,该确定单元确定各个交叉点的数组要素的位置,其中,在各个交叉点处,按照所述数据数组的要素顺序将数组要素的值进行曲线化得到的波形与数组要素的值为预定的固定值的直线交叉;
提取单元(30),其从通过所述投影单元(23)得到的针对所述后面帧的投影数据中,提取以所述各个交叉点的数组要素的位置为中心的预定范围的数据数组;
相加单元(31),对于由所述提取单元(30)提取出的预定范围的各个数据数组,针对所述各个交叉点的数组要素的位置,对相对位置相同的各个数组要素的值进行相加;以及
检测单元(32),其根据由所述相加单元(31)相加得到的相加结果,检测关于所述帧图像的预定的图像区域的水平方向运动矢量,
所述检测单元(32)根据由所述相加单元(31)得到的各个相对位置的所述相加结果,进行针对所述帧图像的所述预定的图像区域而得到的所述水平方向运动矢量的可靠性评价。
2.根据权利要求1所述的运动矢量检测装置,所述检测单元(32)进行由所述相加单元(31)得到的所述相对位置相同的各个数组要素的所述相加结果的相对比较,来获取所述相加结果的最大值,根据所述相加结果的所述最大值,进行针对所述帧图像的所述预定的所述图像区域而得到的所述水平方向运动矢量的可靠性评价。
3.根据权利要求2所述的运动矢量检测装置,所述检测单元(32)确定将所述相对位置相同的各个数组要素的所述相加结果相对于所述相对位置进行曲线化而得到的波形中的峰,在具有多个该峰时,进行所述相加结果的相对比较,从构成各个所述峰的所述相加结果中确定成为各个所述峰的峰值的相加结果,并将其作为各个所述峰的峰值,把多个所述峰值中最大的值作为第1峰值,并且把下一个最大的值作为第2峰值,
比较所述第1和第2峰值,在所述第1峰值乘以预先设定的第1系数得到的值小于等于第2峰值时,把针对所述帧图像的所述预定的所述图像区域而得到的所述水平方向运动矢量处理为无效。
4.根据权利要求2所述的运动矢量检测装置,所述检测单元(32)在所述相加结果的所述最大值小于等于预先设定的预定值时,把针对所述帧图像的所述预定的所述图像区域而得到的所述水平方向运动矢量处理为无效。
5.一种运动矢量检测装置,其检测关于在时序上为前后关系的前面帧和后面帧的帧图像间的运动矢量,该运动矢量检测装置具有:
边缘强调单元(42),对于沿垂直方向依次反复进行水平行的像素扫描而读出的帧图像,该边缘强调单元针对所述帧图像中的预定的图像区域强调水平方向的边缘;
投影单元(43),对由所述边缘强调单元(42)强调了边缘的图像,该投影单元在水平方向取投影,并生成具有1个垂直行的量的数据数组的投影数据;
确定单元(48),关于通过所述投影单元(43)得到的针对所述前面帧的投影数据,该确定单元确定各个交叉点的数组要素的位置,其中,在各个交叉点处,按照所述数据数组的要素顺序将数组要素的值曲线化得到的波形与数组要素的值为预定的固定值的直线交叉;
提取单元(49),其从通过所述投影单元得到的针对所述后面帧的投影数据中,提取以所述各个交叉点的数组要素的位置为中心的预定范围的数据数组;
相加单元(50),对于由所述提取单元(49)提取出的预定范围的各个数据数组,针对所述各个交叉点的数组要素的位置,对相对位置相同的各个数组要素的值进行相加;以及
检测单元(51),其根据由所述相加单元(50)相加得到的相加结果,检测关于所述帧图像的预定的图像区域的垂直方向运动矢量,
所述检测单元(51)根据由所述相加单元(50)得到的各个相对位置的所述相加结果,进行针对所述帧图像的所述预定的图像区域得到的所述垂直方向运动矢量的可靠性评价。
6.根据权利要求5所述的运动矢量检测装置,所述检测单元(51)进行由所述相加单元(50)得到的所述相对位置相同的各个数组要素的所述相加结果的相对比较,来获取所述相加结果的所述最大值,根据所述相加结果的所述最大值,来进行针对所述帧图像的所述预定的所述图像区域而得到的所述垂直方向运动矢量的可靠性评价。
7.根据权利要求6所述的运动矢量检测装置,所述检测单元(51)确定将所述相对位置相同的各个数组要素的所述相加结果相对于所述相对位置进行曲线化而得到的波形中的峰,在具有多个该峰时,进行所述相加结果的相对比较,从构成各个所述峰的所述相加结果中确定成为各个所述峰的峰值的相加结果,并将其作为各个所述峰中的峰值,把多个所述峰值中最大的值作为第1峰值,并且把下一个最大的值作为第2峰值,
比较所述第1和第2峰值,在所述第1峰值乘以预先设定的第1系数得到的值小于等于第2峰值时,把针对所述帧图像的所述预定的所述图像区域得到的所述垂直方向运动矢量处理为无效。
8.根据权利要求6所述的运动矢量检测装置,在所述相加结果的所述最大值小于等于预先设定的预定值时,所述检测单元(51)把针对所述帧图像的所述预定的所述图像区域得到的所述垂直方向运动矢量处理为无效。
9.根据权利要求3或7所述的运动矢量检测装置,所述检测单元(51)确定将所述相加结果相对于所述相对位置进行曲线化得到的所述波形中作为基准值的相对位置,使作为比较对象的所述相对位置相对于该作为基准位置的相对位置依次移动,在发现了比作为所述基准值的相对位置的所述相加结果大的所述相加结果时,把所述基准值变更为作为所述比较对象的所述相对位置,通过反复进行该处理,获取各个所述峰中的所述峰值。
10.根据权利要求9所述的运动矢量检测装置,所述检测单元(51)对于各个所述峰的所述峰值,在作为所述比较对象的所述相对位置的所述相加结果是比所述峰值乘以预先设定的第2系数得到值小的值时,把作为该比较对象的所述相对位置规定为多个所述峰中的一个峰的结束,同时将其规定为下一个峰的开始,由此确定所述峰。
11.一种运动矢量检测装置,其检测关于在时序上为前后关系的前面帧和后面帧的帧图像间的运动矢量,该运动矢量检测装置具有:
边缘强调单元(22),对于沿垂直方向依次反复进行水平行的像素扫描而读出的帧图像,该边缘强调单元针对所述帧图像中的预定的图像区域强调垂直方向的边缘;
投影单元(23),对由所述边缘强调单元(22)强调了边缘的图像,该投影单元在垂直方向取投影,并生成具有1个水平行的量的数据数组的投影数据;
平滑化单元(34),其去除叠加在所述投影数据上的变动噪声,而获得平滑化投影数据;
确定单元(29),关于针对所述前面帧的所述平滑化投影数据,该确定单元确定各个交叉点的数组要素的位置,其中,在各个交叉点处,按照所述数据数组的要素顺序将数组要素的值进行曲线化得到的波形与数组要素的值为预定的固定值的直线交叉;
提取单元(30),其从针对所述后面帧的所述平滑化投影数据中,提取以所述各个交叉点的数组要素的位置为中心的预定范围的数据数组;
相加单元(31),对于由所述提取单元(30)提取出的预定范围的各个数据数组,针对所述各个交叉点的数组要素的位置,对相对位置相同的各个数组要素的值进行相加;以及
检测单元(32),其根据由所述相加单元(31)相加得到的相加结果,检测关于所述帧图像的预定的图像区域的水平方向运动矢量。
12.一种运动矢量检测装置,其检测关于在时序上为前后关系的前面帧和后面帧的帧图像间的运动矢量,该运动矢量检测装置具有:
边缘强调单元(42),对于沿垂直方向依次反复进行水平行的像素扫描而读出的帧图像,该边缘强调单元针对所述帧图像中的预定的图像区域强调水平方向的边缘;
投影单元(43),对由所述边缘强调单元(42)强调了边缘的图像,该投影单元在水平方向取投影,并生成具有1个垂直行的量的数据数组的投影数据;
平滑化单元(53),其去除叠加在所述投影数据上的变动噪声,而获得平滑化投影数据;
确定单元(43),关于针对所述前面帧的所述平滑化投影数据,该确定单元确定各个交叉点的数组要素的位置,其中,在各个交叉点处,按照所述数据数组的要素顺序将数组要素的值进行曲线化而得到的波形与数组要素的值为预定的固定值的直线交叉;
提取单元(49),其从针对所述后面帧的所述平滑化投影数据中,提取以所述各个交叉点的数组要素的位置为中心的预定范围的数据数组;
相加单元(50),对于由所述提取单元(49)提取出的预定范围的各个数据数组,针对所述各个交叉点的数组要素的位置,对相对位置相同的各个数组要素的值进行相加;以及
检测单元(51),其根据由所述相加单元(50)相加得到的相加结果,检测关于所述帧图像的预定的图像区域的垂直方向运动矢量。
13.根据权利要求11或12所述的运动矢量检测装置,该运动矢量检测装置还具有最大值确定单元(28),该最大值确定单元在有关所述前面帧的投影数据的数组要素中求出最大值,
所述预定的固定值是根据由所述最大值确定单元(28)求出的最大值而设定的。
14.根据权利要求11或12所述的运动矢量检测装置,该运动矢量检测装置还具有压缩单元(314、504),该压缩单元对与由所述提取单元(30、49)提取出的预定范围的数据数组有关的各个数组要素的数据长度进行压缩,
所述相加单元(31、50)具有如下单元(315、505),对于由所述压缩单元(314、504)压缩了数据长度的预定范围的各个数据数组,该单元(315、505)针对所述各个交叉点的数组要素的位置,对相对位置相同的各个数组要素的值进行相加。
15.根据权利要求14所述的运动矢量检测装置,所述压缩单元(314、504)具有如下单元(314、504),对与由所述提取单元(30、49)提取出的预定范围的数据数组有关的各个数组要素的值进行3值化处理,
在所述3值化处理中,关于根据所述后面帧的投影数据以及所述前面帧的投影数据中的数组要素的最大值设定的阈值Th(Th>0),进行基于3个阶段的3值化,该3个阶段是指:与所述提取单元提取出的投影数据有关的数组要素的值小于(-Th)的情况、大于等于(-Th)且小于等于Th的情况、以及大于Th的情况这3个阶段。
16.根据权利要求11或12所述的运动矢量检测装置,所述平滑化单元(34、53)对关于所述投影数据按照所述数据数组的要素顺序将数组要素的值进行曲线化得到的波形,根据连续的3个数组要素执行平滑化处理,
所述平滑化处理包括以下处理:
在所述3个数组要素均是正的值,并形成向下凸的模式时,把中心的数组要素的值变更为前后的数组要素的平均值,
在所述3个数组要素均是负的值,并形成向上凸的模式时,把所述中心的数组要素的值变更为所述前后的数组要素的平均值。
17.根据权利要求11或12所述的运动矢量检测装置,所述平滑化处理包括以下处理:
在所述3个数组要素是正、零、正的值,并形成向下凸的模式时,把所述中心的数组要素的值变更为所述前后的数组要素的平均值,
在所述3个数组要素是负、零、负的值,并形成向上凸的模式时,把所述中心的数组要素的值变更为所述前后的数组要素的平均值。
18.根据权利要求15所述的运动矢量检测装置,所述平滑化单元(34、53)对关于所述投影数据按照所述数据数组的要素顺序将数组要素的值进行曲线化得到的波形,根据连续的3个数组要素执行平滑化处理,
所述平滑化处理包括以下处理:
在所述3个数组要素是正、负、正的值,并形成向下凸的模式时,把所述中心的数组要素的值变更为在所述压缩单元中将被压缩为零的值,
在所述3个数组要素是负、正、负的值,并形成向上凸的模式时,把所述中心的数组要素的值变更为在所述压缩单元中将被压缩为零的值。
19.根据权利要求1或11所述的运动矢量检测装置,所述边缘强调单元(22)具有:
把所述帧图像沿垂直方向分割得到的多个图像区域设定为所述预定的图像区域的单元;以及
对所述多个图像区域分别强调垂直方向的边缘的单元。
20.根据权利要求1或11所述的运动矢量检测装置,所述边缘强调单元(22)具有:
对所述帧图像强调垂直方向的边缘的强调单元;以及
把由所述强调单元强调了边缘的帧图像沿垂直方向分割得到的多个图像区域设定为所述预定的图像区域的单元。
21.根据权利要求6或12所述的运动矢量检测装置,所述边缘强调单元(42)具有:
把所述帧图像沿水平方向分割得到的多个图像区域设定为所述预定的图像区域的单元;以及
对所述多个图像区域分别强调水平方向的边缘的单元。
22.根据权利要求6或12所述的运动矢量检测装置,所述边缘强调单元(42)具有:
对所述帧图像强调水平方向的边缘的强调单元;以及
把由所述强调单元强调了边缘的帧图像沿水平方向分割得到的多个图像区域设定为所述预定的图像区域的单元。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006323056A JP4083782B1 (ja) | 2006-11-30 | 2006-11-30 | 動きベクトル検出装置 |
JP323056/2006 | 2006-11-30 | ||
JP2007009732A JP4313820B2 (ja) | 2007-01-19 | 2007-01-19 | 動きベクトル検出装置 |
JP009732/2007 | 2007-01-19 | ||
PCT/JP2007/061723 WO2008065764A1 (en) | 2006-11-30 | 2007-06-11 | Motion vector detecting device |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101523440A true CN101523440A (zh) | 2009-09-02 |
CN101523440B CN101523440B (zh) | 2011-12-14 |
Family
ID=39381866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800365742A Expired - Fee Related CN101523440B (zh) | 2006-11-30 | 2007-06-11 | 运动矢量检测装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4083782B1 (zh) |
CN (1) | CN101523440B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102074017B (zh) * | 2009-11-23 | 2012-11-28 | 北京工业大学 | 一种杠铃中心点检测及跟踪的方法和装置 |
-
2006
- 2006-11-30 JP JP2006323056A patent/JP4083782B1/ja not_active Expired - Fee Related
-
2007
- 2007-06-11 CN CN2007800365742A patent/CN101523440B/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102074017B (zh) * | 2009-11-23 | 2012-11-28 | 北京工业大学 | 一种杠铃中心点检测及跟踪的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN101523440B (zh) | 2011-12-14 |
JP4083782B1 (ja) | 2008-04-30 |
JP2008139936A (ja) | 2008-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU775858B2 (en) | Image texture retrieving method and apparatus thereof | |
EP2860696A1 (en) | Optical flow tracking method and apparatus | |
CN109086734A (zh) | 一种对人眼图像中瞳孔图像进行定位的方法及装置 | |
CN110516514A (zh) | 一种目标检测模型的建模方法和装置 | |
CN109493367A (zh) | 一种对目标对象进行跟踪的方法和设备 | |
CN109447006A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN107360435A (zh) | 块效应检测方法、块噪声滤除方法及装置 | |
CN108921070A (zh) | 图像处理方法、模型训练方法及对应装置 | |
CN105338355B (zh) | 视频分析方法和视频分析装置 | |
US6424741B1 (en) | Apparatus for analyzing image texture and method therefor | |
CN101523440B (zh) | 运动矢量检测装置 | |
US20110222759A1 (en) | Information processing apparatus, information processing method, and program | |
CN101506845B (zh) | 运动矢量检测装置 | |
Wilkinson et al. | Fast morphological attribute operations using Tarjan’s union-find algorithm | |
JP2008109545A (ja) | 画像ブレ検出装置並びにこれを備えた画像ブレ補正装置、固体撮像装置、及び電子機器 | |
Besserer et al. | Detection and tracking scheme for line scratch removal in an image sequence | |
CN106557772B (zh) | 用于提取局部特征子的方法、装置及图像处理方法 | |
Favorskaya et al. | Development of mathematical theory in computer vision | |
WO2021239000A1 (zh) | 运动模糊图像的识别方法、装置、电子设备和支付设备 | |
US20060159361A1 (en) | Image filter, image filtering method and computer program | |
CN109035220A (zh) | 目标对象的图像检测方法和装置 | |
JP2008176590A (ja) | 動きベクトル検出装置 | |
US7149354B2 (en) | Extraction of a scene structure based on gradient runs analysis | |
JP5397372B2 (ja) | テロップ移動ベクトル算出方法、装置及びプログラム | |
Kim | Object tracking in a video sequence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111214 Termination date: 20150611 |
|
EXPY | Termination of patent right or utility model |