JP2005175870A - Motion vector detecting apparatus, motion vector detecting method and computer program - Google Patents
Motion vector detecting apparatus, motion vector detecting method and computer program Download PDFInfo
- Publication number
- JP2005175870A JP2005175870A JP2003412819A JP2003412819A JP2005175870A JP 2005175870 A JP2005175870 A JP 2005175870A JP 2003412819 A JP2003412819 A JP 2003412819A JP 2003412819 A JP2003412819 A JP 2003412819A JP 2005175870 A JP2005175870 A JP 2005175870A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- pixel
- evaluation value
- correlation
- value table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムに関する。さらに詳細には、動画像データからの動きベクトル検出処理を実行する動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムに関する。 The present invention relates to a motion vector detection device, a motion vector detection method, and a computer program. More specifically, the present invention relates to a motion vector detection device, a motion vector detection method, and a computer program that execute a motion vector detection process from moving image data.
近年の情報処理装置、通信端末の高機能化、高速通信インフラの整備、さらに、DVD、Blu−rayディスクなどの高密度記録媒体の普及などに伴い、ネットワークを介した動画像データの配信、あるいは高密度記録媒体を利用した動画像データの記憶、再生などが盛んに行なわれるようになってきた。このような状況に伴って、動画像データに対するデータ処理、例えば符号化処理などにおける効率性や高速性の向上が求められている。 With the recent enhancement of information processing devices and communication terminals, high-speed communication infrastructure, and the spread of high-density recording media such as DVDs and Blu-ray discs, Storage and reproduction of moving image data using a high-density recording medium has been actively performed. Along with this situation, there is a demand for improved efficiency and high speed in data processing for moving image data, for example, encoding processing.
動画像データの高能率符号化における動き補償型画像符号化、交通監視システムあるいは自律走行車両の視覚センサにおける動物体の検出処理、速度検出処理などにおいては、画像データ中に含まれる各物体の動きの方向および大きさ(速度)を検出する処理、すなわち、動きベクトルの検出処理が必要となる。 Motion-compensated image coding in high-efficiency coding of moving image data, moving object detection processing, speed detection processing, etc. in a visual sensor of a traffic monitoring system or autonomous vehicle, movement of each object included in the image data Therefore, a process for detecting the direction and magnitude (speed) of the image, that is, a motion vector detection process is required.
例えば、動き補償型画像符号化処理の一例として、動画の高能率符号化の国際的標準方式であるMPEG(Moving Picture Coding Experts Group)方式が提案されているが、このMPEG方式は、DCT(Discrete Cosine Transform)と動き補償予測符号化とを組み合わせた符号化を行なう方式である。動き補償予測符号化においては、動画像データを構成する現フレームと、1つ前の前フレームの連続フレームにおける画像信号レベルの相関を検出し、検出した相関に基づいて動きベクトルを求め、検出した動きベクトルに基づく動き画像の補正処理を行うことで、効率的な符号化を達成している。 For example, as an example of motion compensation type image encoding processing, an MPEG (Moving Picture Coding Experts Group) method, which is an international standard method for high-efficiency video encoding, has been proposed. This MPEG method is a DCT (Discrete). This is a method of performing coding that combines (Coscine Transform) and motion compensated prediction coding. In motion-compensated predictive coding, a correlation between image signal levels in a current frame constituting moving image data and a continuous frame of the immediately preceding frame is detected, and a motion vector is obtained based on the detected correlation. Efficient encoding is achieved by performing a motion image correction process based on the motion vector.
動きベクトルの検出方法の一つとして、ブロックマッチング法が知られている。図1を参照して、ブロックマッチング法の概要を説明する。動画像を構成する時間的に連続するフレーム画像、例えば図に示す時間(t)の現フレーム[Ft]20と、時間(t−1)の前フレーム[Ft−1]10を抽出する。フレーム画像の1画面を複数の画素で構成される小さな領域(以下、ブロックと称する)m画素×nラインに分割する。 As one of motion vector detection methods, a block matching method is known. The outline of the block matching method will be described with reference to FIG. For example, a current frame [F t ] 20 at time (t) and a previous frame [F t-1 ] 10 at time (t−1) shown in the figure are extracted. . One screen of the frame image is divided into small areas (hereinafter referred to as blocks) composed of a plurality of pixels, m pixels × n lines.
現フレーム[Ft]20を参照フレームとし、参照フレームの検査ブロックBy21を、所定のサーチエリア22内で移動し、前フレーム[Ft−1]10の基準ブロックBx11と最も画素値差分の少ない、すなわち画素値が最も合致する(最も相関の大きな)検査ブロックを検出する。前フレーム[Ft−1]10の基準ブロックBx11が、この現フレーム[Ft]20から検出した相関の高い検査ブロックの位置に動いたと推定する。この推定された動きを示すベクトルに基づいて、各画素の動きベトクルを求める。このように、ブロックマッチング法は、所定のブロック(m×n)単位で、フレーム間の相関判定(マッチング判定)処理を行い、動きベクトルを求める手法である。
The current frame [F t ] 20 is set as a reference frame, and the check block By21 of the reference frame is moved within a
ブロックマッチング法において、動きベクトルはブロック毎に求められる。各ブロックの相関、すなわち合致の程度を表す評価値としては、例えば、基準ブロックBx内の複数の画素と、検査ブロックBy内の複数の画素との間で空間的に同一位置の画素同士の値を減算してフレーム差を求め、算出したフレーム差の絶対値を積算することで算出されるフレーム差絶対値和が適用される。あるいは、フレーム差の二乗和等を使用することも可能である。 In the block matching method, a motion vector is obtained for each block. As an evaluation value representing the correlation of each block, that is, the degree of coincidence, for example, values of pixels at the same spatial position between a plurality of pixels in the reference block Bx and a plurality of pixels in the inspection block By The frame difference is obtained by subtracting the frame difference, and the sum of the absolute values of the calculated frame differences is added. Alternatively, the sum of squares of frame differences can be used.
しかし、上述のブロックマッチング法は、サーチエリア内の全てのデータの比較を行う全探索であるため、検出に要する比較の回数が非常に多く、動き検出に時間がかかる欠点があった。 However, since the block matching method described above is a full search for comparing all data in the search area, the number of comparisons required for detection is very large, and there is a drawback that it takes time for motion detection.
また、ブロック内に動き部分と静止部分とが含まれるような場合、ブロックを単位として検出された動きは、正確にはブロック内の個々の画素の動きに対応するとは言えない。このような問題は、ブロックサイズの設定により調整可能であるが、例えば、ブロックを大きくすると、演算量の増大に加えて、ブロック内の複数動きの問題が発生し易くなる。逆に、ブロック内に複数の動きが含まれないように、ブロックのサイズを小さくした場合には、マッチングの判断の領域が小さくなるので、動き検出の精度が低下する問題が生じる。すなわち、ブロックマッチングを行う際、基準ブロックと似た検査ブロック、すなわち基準ブロックと相関の高い検査ブロックが多数出現する可能性が高くなる。これらは、動きに起因しないものが含まれるからであり、動き検出の精度が低下する。例えば、文字テロップが水平または垂直方向に動く時には、反復パターンの影響が現れやすい。漢字の文字パターンの場合では、同じ文字でも、小さな部分に分割すると、同一のパターンとなることが多い。従って、ブロック内に複数の動きが混在する場合には、正確な動きを求めることが難しいという問題があった。 In addition, when a moving part and a stationary part are included in a block, it cannot be said that the movement detected in units of blocks corresponds to the movement of individual pixels in the block. Such a problem can be adjusted by setting the block size. For example, if the block is enlarged, the problem of multiple motions in the block is likely to occur in addition to an increase in the amount of calculation. On the other hand, when the block size is reduced so that a plurality of motions are not included in the block, the matching determination area is reduced, which causes a problem that the accuracy of motion detection is lowered. That is, when block matching is performed, there is a high possibility that many inspection blocks similar to the reference block, that is, many inspection blocks having a high correlation with the reference block appear. This is because those not caused by motion are included, and the accuracy of motion detection decreases. For example, when a character telop moves in a horizontal or vertical direction, the influence of a repetitive pattern tends to appear. In the case of kanji character patterns, the same character often has the same pattern when divided into small parts. Therefore, there is a problem that it is difficult to obtain an accurate movement when a plurality of movements are mixed in a block.
本特許出願に係る出願人は、例えば特許文献1において、演算量を増大させることなく、1画素毎の動きベクトルを検出でき、且つ、誤検出を防止した動きベクトル検出方法および検出装置を提案している。
The applicant of the present patent application proposes a motion vector detection method and a detection apparatus that can detect a motion vector for each pixel without increasing the amount of calculation and prevent erroneous detection in
特許文献1において開示している動きベクトル検出処理のポイントは、画素またはブロック毎に評価値を算出して動きベクトルを決定するのではなく、第1ステップの処理として、フレームの一方に複数画素からなる複数ブロックを設定して、各ブロックの代表点を設定し、各代表点と他方のフレームに設定したサーチエリアの各画素との相関を調べ、相関情報に基づく評価値を算出して、評価値に基づく相関情報としての評価値テーブルを形成し、その評価値テーブルから、複数の候補ベクトルを抽出する。次に、第2ステップの処理として、抽出した候補ベクトルから、1画素毎に最良と思われる候補ベクトルを選択して対応付けて、各画素毎の動きベクトルとして決定する。このように、
評価値テーブルの生成処理、
評価値テーブルに基づく候補ベクトルの選択処理、
各画素対応の動きベクトルとして、複数の候補ベクトルから最適なものを対応付ける処理
以上の処理によって、各画素毎の動きベクトルを求める方式である。この方式を、以下、候補ベクトル方式と称する。
The point of the motion vector detection process disclosed in
Evaluation value table generation processing,
Candidate vector selection processing based on the evaluation value table,
Process for associating an optimal one of a plurality of candidate vectors as a motion vector corresponding to each pixel This is a method for obtaining a motion vector for each pixel by the above process. This method is hereinafter referred to as a candidate vector method.
候補ベクトル方式による動きベクトル検出処理の利点は、評価テーブルに基づいて、限られた数の候補ベクトルを抽出しておくことで、演算量の軽減が図れること。また、動きベクトルの誤検出が起りやすい被写体の境界部分においても、予め絞り込んである候補ベクトルの中から、各画素に対応する最良の動きベクトルを判定することが可能となることなどがある。従来は、各画素の動きベクトルをフレーム間の画素の差分などを評価値として算出し、評価値をフレーム全画素について求める全探索処理を実行する方式がとられていたが、候補ベクトル方式では、予め絞り込んである候補ベクトルの中から、各画素に対応する最良の動きベクトルを判定する処理が可能であるので、全探索処理と比較して、同じ評価値が発生する確率が減り、誤検出が防止される。 The advantage of the motion vector detection process by the candidate vector method is that the calculation amount can be reduced by extracting a limited number of candidate vectors based on the evaluation table. In addition, even in a boundary portion of a subject where erroneous detection of a motion vector is likely to occur, it may be possible to determine the best motion vector corresponding to each pixel from candidate vectors narrowed down in advance. Conventionally, a method has been adopted in which a motion vector of each pixel is calculated as a pixel difference between frames as an evaluation value, and a full search process is performed to obtain an evaluation value for all pixels in the frame. Since it is possible to determine the best motion vector corresponding to each pixel from the candidate vectors that have been narrowed down in advance, the probability that the same evaluation value will occur is reduced compared to the full search process, and erroneous detection is prevented. Is prevented.
しかし、この候補ベクトル方式においても、以下の問題点がある。
(a)評価値テーブルを形成する際、フレーム差の絶対値を積算していた為、例えば画素値データが0〜255の8bitである場合、フレーム差の絶対値データは、0〜255の8bitのデータが必要となり、評価値テーブルをメモリで構成する場合、メモリ容量が多く必要となる。
(b)全ての代表点に対応する評価値を積算していた為、代表点が、静止している背景部分の画素である場合、また、代表点が、平坦なブロック内の画素である場合等、代表点と対応する候補点との演算結果は、無意味なデータとなり、この無意味なデータが評価値テーブルに積算されてしまう為、候補ベクトルの抽出が正しく行われない場合がある。
(c)各画素に対応する動きベクトルの割付けの際に、候補ベクトルの中に明らかに不適切なベクトルが含まれている場合でも、全ての候補ベクトルを対象として、ブロックマッチング法で評価値演算をしていた為、演算の無駄が生じる。
However, this candidate vector method also has the following problems.
(A) Since the absolute value of the frame difference is integrated when the evaluation value table is formed, for example, when the pixel value data is 8 bits of 0 to 255, the absolute value data of the frame difference is 8 bits of 0 to 255. When the evaluation value table is composed of memory, a large memory capacity is required.
(B) Since the evaluation values corresponding to all the representative points have been integrated, the representative point is a pixel of a stationary background portion, or the representative point is a pixel in a flat block The calculation result of the representative point and the corresponding candidate point becomes meaningless data, and this meaningless data is accumulated in the evaluation value table, so that the candidate vector may not be extracted correctly.
(C) When assigning the motion vector corresponding to each pixel, even if the candidate vector includes a clearly inappropriate vector, the evaluation value is calculated by the block matching method for all candidate vectors. As a result, the computation is wasted.
これまでに開示されている候補ベクトル方式においては、このような、様々な問題点が存在する。
本発明は、上述の問題点に鑑みてなされたものであり、候補ベクトル方式に基づく動きベクトル検出処理において、演算量を増大させることなく、1画素単位での効率的で正確な動きベクトルの検出を可能とした動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and in motion vector detection processing based on the candidate vector method, efficient and accurate motion vector detection in units of one pixel without increasing the amount of calculation. It is an object of the present invention to provide a motion vector detection device, a motion vector detection method, and a computer program.
本発明は、特に、時間軸上における異なるフレーム間の相関情報に基づく評価値テーブルの生成処理を実行する評価値テーブル形成部に、注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成部を設定し、相関情報と可変閾値との比較処理を実行して比較処理結果に基づく評価値によって度数分布型の評価値テーブルを生成する構成とすることにより、必要な演算量や必要なメモリ容量を増大させることなく、1画素単位での効率的で正確な動きベクトルの検出を可能とする動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムを提供することを目的とする。 In particular, the present invention generates a variable threshold value based on a feature value of a neighboring region pixel including a target pixel in an evaluation value table forming unit that executes an evaluation value table generation process based on correlation information between different frames on a time axis. By setting the variable threshold value generation unit to perform the comparison process between the correlation information and the variable threshold value and generating the frequency distribution type evaluation value table based on the evaluation value based on the comparison processing result, the required amount of computation An object of the present invention is to provide a motion vector detection device, a motion vector detection method, and a computer program that enable efficient and accurate motion vector detection in units of pixels without increasing the required memory capacity. And
本発明の第1の側面は、
動画像データから動きベクトルを検出する動きベクトル検出装置であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出部とを有し、
前記評価値テーブル形成部は、
時間軸上における異なるフレーム間の相関情報の算出処理を実行する相関演算部と、
注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成部と、
前記相関演算部の算出した相関情報と、前記可変閾値生成部の生成した閾値との比較処理を実行し、該比較処理結果に基づく評価値を算出する相関判定部と、
前記相関判定部の算出した評価値を積算し、積算結果としての評価値テーブルを生成する評価値テーブル算出部と、
を有することを特徴とする動きベクトル検出装置にある。
The first aspect of the present invention is:
A motion vector detection device for detecting a motion vector from moving image data;
An evaluation value table forming unit that generates an evaluation value table based on pixel value correlation information between different frames on the time axis;
A motion vector detection unit that detects and associates a motion vector with respect to a frame constituent pixel of moving image data based on the evaluation value table;
The evaluation value table forming unit
A correlation calculation unit that executes processing for calculating correlation information between different frames on the time axis;
A variable threshold value generating unit that generates a variable threshold value based on a feature amount of a neighboring region pixel including the target pixel;
A correlation determination unit that performs a comparison process between the correlation information calculated by the correlation calculation unit and the threshold value generated by the variable threshold value generation unit, and calculates an evaluation value based on the comparison process result;
An evaluation value table calculation unit that integrates the evaluation values calculated by the correlation determination unit and generates an evaluation value table as an integration result;
The motion vector detecting device is characterized by comprising:
さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル検出装置は、さらに、前記評価値テーブルに基づいて1以上の候補ベクトルを抽出する候補ベクトル抽出部を有し、前記動きベクトル検出部は、動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する構成であることを特徴とする。 Furthermore, in an embodiment of the motion vector detection device of the present invention, the motion vector detection device further includes a candidate vector extraction unit that extracts one or more candidate vectors based on the evaluation value table, and the motion vector The detection unit is configured to execute a process of selecting a motion vector corresponding to each frame constituent pixel of moving image data from the candidate vectors and associating the motion vector.
さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル検出部は、動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルと、デフォルト設定の静止ベクトルの中から選択して各画素に対応付ける処理を実行する構成であることを特徴とする。 Furthermore, in one embodiment of the motion vector detection device of the present invention, the motion vector detection unit selects a motion vector corresponding to each frame constituent pixel of the moving image data from the candidate vector and a default still vector. The configuration is characterized in that the process of selecting and associating with each pixel is executed.
さらに、本発明の動きベクトル検出装置の一実施態様において、前記可変閾値生成部は、注目画素を含む近傍領域画素のダイナミックレンジを算出し、該ダイナミックレンジを特徴量として、該特徴量に基づく可変閾値を設定する構成であることを特徴とする。 Furthermore, in one embodiment of the motion vector detection device of the present invention, the variable threshold value generation unit calculates a dynamic range of neighboring region pixels including the pixel of interest, and uses the dynamic range as a feature amount to make a variable based on the feature amount. It is the structure which sets a threshold value, It is characterized by the above-mentioned.
さらに、本発明の動きベクトル検出装置の一実施態様において、前記可変閾値生成部は、前記相関演算部の算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出する構成であることを特徴とする。 Furthermore, in one embodiment of the motion vector detection device of the present invention, the variable threshold value generation unit inputs inter-frame difference information calculated by the correlation calculation unit, and based on the inter-frame difference information, sets the target pixel. In other words, the dynamic range of the neighboring region pixels is calculated.
さらに、本発明の動きベクトル検出装置の一実施態様において、前記可変閾値生成部は、前記相関演算部の算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出するとともに、該ダイナミックレンジ構成ビットのビット情報圧縮処理により閾値を算出する構成であることを特徴とする。 Furthermore, in one embodiment of the motion vector detection device of the present invention, the variable threshold value generation unit inputs inter-frame difference information calculated by the correlation calculation unit, and based on the inter-frame difference information, sets the target pixel. The dynamic range of the neighboring region pixels to be included is calculated, and the threshold value is calculated by the bit information compression processing of the dynamic range configuration bits.
さらに、本発明の動きベクトル検出装置の一実施態様において、前記相関判定部は、前記相関演算部の算出した相関情報と、前記可変閾値生成部の生成した閾値との比較処理を実行し、該比較処理結果に基づく1ビットの評価値を算出し、出力する構成であることを特徴とする。 Furthermore, in an embodiment of the motion vector detection device of the present invention, the correlation determination unit performs a comparison process between the correlation information calculated by the correlation calculation unit and the threshold generated by the variable threshold generation unit, The configuration is characterized in that a 1-bit evaluation value based on the comparison processing result is calculated and output.
さらに、本発明の動きベクトル検出装置の一実施態様において、前記評価値テーブル算出部は、前記相関判定部の出力する1ビットの評価値を積算した度数分布型の評価値テーブルの生成処理を実行する構成であることを特徴とする。 Furthermore, in an embodiment of the motion vector detection device of the present invention, the evaluation value table calculation unit executes a frequency distribution type evaluation value table generation process in which the 1-bit evaluation values output from the correlation determination unit are integrated. It is the structure which carries out.
さらに、本発明の動きベクトル検出装置の一実施態様において、前記相関演算部は、動画像データを構成する一方のフレームに設定したブロックの代表点と、他方の異なるフレームに設定したサーチエリアの構成画素の画素値の相関判定処理として実行する代表点マッチング処理に基づいてフレーム間の相関情報を算出する構成であることを特徴とする。 Furthermore, in one embodiment of the motion vector detection device of the present invention, the correlation calculation unit includes a representative point of a block set in one frame constituting moving image data and a configuration of a search area set in another different frame. The present invention is characterized in that correlation information between frames is calculated based on representative point matching processing executed as correlation determination processing of pixel values of pixels.
さらに、本発明の動きベクトル検出装置の一実施態様において、前記相関演算部は、前記ブロックの代表点の画素値として、
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
c.ブロック内のすべての画素の画素値の中間値、
のいずれかの画素値を対応付け、該代表点画素値に基づく相関判定処理を実行する構成であることを特徴とする。
Furthermore, in one embodiment of the motion vector detection device of the present invention, the correlation calculation unit is configured as a pixel value of a representative point of the block,
a. The pixel value at the center of the block,
b. The average pixel value of all the pixels in the block,
c. An intermediate value of the pixel values of all the pixels in the block,
One of the pixel values is associated with each other, and a correlation determination process based on the representative point pixel value is executed.
さらに、本発明の第2の側面は、
動画像データから動きベクトルを検出する動きベクトル検出方法であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル形成ステップは、
時間軸上における異なるフレーム間の相関情報の算出処理を実行する相関演算ステップと、
注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成ステップと、
前記相関演算ステップにおいて算出した相関情報と、前記可変閾値生成ステップにおいて生成した閾値との比較処理を実行し、該比較処理結果に基づく評価値を算出する相関判定ステップと、
前記相関判定ステップにおいて算出した評価値を積算し、積算結果としての評価値テーブルを生成する評価値テーブル算出ステップと、
を含むことを特徴とする動きベクトル検出方法にある。
Furthermore, the second aspect of the present invention provides
A motion vector detection method for detecting a motion vector from moving image data,
An evaluation value table forming step for generating an evaluation value table based on pixel value correlation information between different frames on the time axis;
A motion vector detection step of detecting and associating a motion vector with respect to a frame constituent pixel of moving image data based on the evaluation value table;
The evaluation value table forming step includes:
A correlation calculation step for performing a calculation process of correlation information between different frames on the time axis;
A variable threshold value generating step for generating a variable threshold value based on a feature amount of a neighboring region pixel including the target pixel;
A correlation determination step of performing a comparison process between the correlation information calculated in the correlation calculation step and the threshold value generated in the variable threshold value generation step, and calculating an evaluation value based on the comparison process result;
An evaluation value table calculation step for integrating the evaluation values calculated in the correlation determination step and generating an evaluation value table as an integration result;
The motion vector detection method is characterized by including:
さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル検出方法は、さらに、前記評価値テーブルに基づいて1以上の候補ベクトルを抽出する候補ベクトル抽出ステップを有し、前記動きベクトル検出ステップは、動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行するステップであることを特徴とする。 Furthermore, in one embodiment of the motion vector detection method of the present invention, the motion vector detection method further includes a candidate vector extraction step of extracting one or more candidate vectors based on the evaluation value table, and the motion vector The detecting step is a step of executing a process of selecting a motion vector corresponding to each frame constituent pixel of the moving image data from the candidate vector and associating it.
さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル検出ステップは、動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルと、デフォルト設定の静止ベクトルの中から選択して各画素に対応付ける処理を実行するステップであることを特徴とする。 Furthermore, in one embodiment of the motion vector detection method of the present invention, the motion vector detection step includes selecting a motion vector corresponding to each frame constituent pixel of the moving image data from the candidate vector and a default still vector. It is a step of executing a process of selecting and associating with each pixel.
さらに、本発明の動きベクトル検出方法の一実施態様において、前記可変閾値生成ステップは、注目画素を含む近傍領域画素のダイナミックレンジを算出し、該ダイナミックレンジを特徴量として、該特徴量に基づく可変閾値を設定するステップであることを特徴とする。 Furthermore, in one embodiment of the motion vector detection method of the present invention, the variable threshold value generation step calculates a dynamic range of a neighboring region pixel including the pixel of interest, uses the dynamic range as a feature amount, and varies based on the feature amount. It is a step of setting a threshold value.
さらに、本発明の動きベクトル検出方法の一実施態様において、前記可変閾値生成ステップは、前記相関演算ステップにおいて算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出するステップであることを特徴とする。 Furthermore, in one embodiment of the motion vector detection method of the present invention, the variable threshold value generation step inputs inter-frame difference information calculated in the correlation calculation step, and the pixel of interest is determined based on the inter-frame difference information. It is a step of calculating the dynamic range of the neighboring region pixels including it.
さらに、本発明の動きベクトル検出方法の一実施態様において、前記可変閾値生成ステップは、前記相関演算ステップにおいて算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出するとともに、該ダイナミックレンジ構成ビットのビット情報圧縮処理により閾値を算出するステップであることを特徴とする。 Furthermore, in one embodiment of the motion vector detection method of the present invention, the variable threshold value generation step inputs inter-frame difference information calculated in the correlation calculation step, and the pixel of interest is determined based on the inter-frame difference information. It is a step of calculating a dynamic range of the neighboring region pixels including the threshold value and calculating a threshold value by a bit information compression process of the dynamic range constituent bits.
さらに、本発明の動きベクトル検出方法の一実施態様において、前記相関判定ステップは、前記相関演算ステップにおいて算出した相関情報と、前記可変閾値生成ステップにおいて生成した閾値との比較処理を実行し、該比較処理結果に基づく1ビットの評価値を算出し、出力するステップであることを特徴とする。 Furthermore, in one embodiment of the motion vector detection method of the present invention, the correlation determination step performs a comparison process between the correlation information calculated in the correlation calculation step and the threshold value generated in the variable threshold value generation step, It is a step of calculating and outputting a 1-bit evaluation value based on the comparison processing result.
さらに、本発明の動きベクトル検出方法の一実施態様において、前記評価値テーブル算出ステップは、前記相関判定ステップにおいて出力する1ビットの評価値を積算した度数分布型の評価値テーブルの生成処理を実行するステップであることを特徴とする。 Furthermore, in one embodiment of the motion vector detection method of the present invention, the evaluation value table calculation step executes a generation process of a frequency distribution type evaluation value table in which 1-bit evaluation values output in the correlation determination step are integrated. It is a step to perform.
さらに、本発明の動きベクトル検出方法の一実施態様において、前記相関演算ステップは、動画像データを構成する一方のフレームに設定したブロックの代表点と、他方の異なるフレームに設定したサーチエリアの構成画素の画素値の相関判定処理として実行する代表点マッチング処理に基づいてフレーム間の相関情報を算出するステップであることを特徴とする。 Furthermore, in one embodiment of the motion vector detection method of the present invention, the correlation calculating step includes the configuration of a representative point of a block set in one frame constituting moving image data and a search area set in another different frame. It is a step of calculating correlation information between frames based on representative point matching processing executed as correlation determination processing of pixel values of pixels.
さらに、本発明の動きベクトル検出方法の一実施態様において、前記相関演算ステップは、前記ブロックの代表点の画素値として、
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
c.ブロック内のすべての画素の画素値の中間値、
のいずれかの画素値を対応付け、該代表点画素値に基づく相関判定処理を実行するステップであることを特徴とする。
Furthermore, in one embodiment of the motion vector detection method of the present invention, the correlation calculation step includes, as pixel values of representative points of the block,
a. The pixel value at the center of the block,
b. The average pixel value of all the pixels in the block,
c. An intermediate value of the pixel values of all the pixels in the block,
This is a step of associating any one of the above pixel values and executing a correlation determination process based on the representative point pixel value.
さらに、本発明の第3の側面は、
動画像データから動きベクトルを検出する動きベクトル検出処理を実行するコンピュータ・プログラムであり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル形成ステップは、
時間軸上における異なるフレーム間の相関情報の算出処理を実行する相関演算ステップと、
注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成ステップと、
前記相関演算ステップにおいて算出した相関情報と、前記可変閾値生成ステップにおいて生成した閾値との比較処理を実行し、該比較処理結果に基づく評価値を算出する相関判定ステップと、
前記相関判定ステップにおいて算出した評価値を積算し、積算結果としての評価値テーブルを生成する評価値テーブル算出ステップと、
を含むことを特徴とするコンピュータ・プログラムにある。
Furthermore, the third aspect of the present invention provides
A computer program for executing a motion vector detection process for detecting a motion vector from moving image data;
An evaluation value table forming step for generating an evaluation value table based on pixel value correlation information between different frames on the time axis;
A motion vector detection step of detecting and associating a motion vector with respect to a frame constituent pixel of moving image data based on the evaluation value table;
The evaluation value table forming step includes:
A correlation calculation step for performing a calculation process of correlation information between different frames on the time axis;
A variable threshold value generating step for generating a variable threshold value based on a feature amount of a neighboring region pixel including the target pixel;
A correlation determination step of performing a comparison process between the correlation information calculated in the correlation calculation step and the threshold value generated in the variable threshold value generation step, and calculating an evaluation value based on the comparison process result;
An evaluation value table calculation step for integrating the evaluation values calculated in the correlation determination step and generating an evaluation value table as an integration result;
A computer program characterized by including:
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、CDやFD、MOなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。 The computer program of the present invention is, for example, a storage medium or communication medium provided in a computer-readable format to a computer system capable of executing various program codes, such as a CD, FD, or MO. It is a computer program that can be provided by a recording medium or a communication medium such as a network. By providing such a program in a computer-readable format, processing corresponding to the program is realized on the computer system.
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 Other objects, features, and advantages of the present invention will become apparent from a more detailed description based on embodiments of the present invention described later and the accompanying drawings. In this specification, the system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
本発明の構成によれば、時間軸上における異なるフレーム間の相関情報に基づく評価値テーブルの生成処理を実行する評価値テーブル形成部に、注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成部を設定し、可変閾値生成部の生成する可変閾値と相関情報との比較処理結果に基づく評価値によって度数分布型の評価値テーブルを生成する構成としたので、必要な演算量や必要なメモリ容量を減少させて、1画素単位での効率的で正確な動きベクトルの検出が可能となる。 According to the configuration of the present invention, the evaluation value table forming unit that executes the generation process of the evaluation value table based on the correlation information between different frames on the time axis has the variable threshold based on the feature amount of the neighboring region pixel including the target pixel The variable threshold value generation unit that generates the frequency distribution type evaluation value table is generated based on the evaluation value based on the comparison result between the variable threshold value generated by the variable threshold value generation unit and the correlation information. By reducing the amount of computation and the required memory capacity, it is possible to detect motion vectors efficiently and accurately in units of pixels.
さらに本発明の構成によれば、可変閾値生成部は、相関演算部の算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、注目画素を含む近傍領域画素のダイナミックレンジを算出し、これを閾値算出に適用する特徴量として設定する構成としたので、新たな演算処理構成を実装することなく特徴量の算出が可能となる。 Furthermore, according to the configuration of the present invention, the variable threshold value generation unit inputs the interframe difference information calculated by the correlation calculation unit, and calculates the dynamic range of the neighboring region pixel including the target pixel based on the interframe difference information. However, since this is set as a feature amount applied to threshold calculation, the feature amount can be calculated without implementing a new arithmetic processing configuration.
さらに、本発明の構成によれば、相関判定部は、相関演算部の算出した相関情報と、可変閾値生成部の生成した閾値との比較処理を実行し、該比較処理結果に基づく1ビットの評価値を算出し、1ビットの評価値を積算した度数分布型の評価値テーブルの生成処理を実行する構成としたので、評価値テーブルの生成処理に伴う積算演算の演算量の削減、および評価値または評価値テーブル格納メモリの容量の削減が実現される。 Furthermore, according to the configuration of the present invention, the correlation determination unit performs a comparison process between the correlation information calculated by the correlation calculation unit and the threshold value generated by the variable threshold value generation unit, and 1-bit based on the comparison processing result Since the evaluation value is calculated and the generation process of the frequency distribution type evaluation value table in which the 1-bit evaluation values are integrated is executed, the amount of calculation of the integration calculation accompanying the generation process of the evaluation value table is reduced and the evaluation is performed. The capacity of the value or evaluation value table storage memory can be reduced.
以下、図面を参照しながら本発明の動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムの詳細について説明する。なお、説明は、以下の項目順に行なう。
1.本発明の概要
2.動きベクトル検出装置全体構成および動きベクトル検出処理手順概要
3.評価値テーブル形成処理の詳細
4.評価値テーブル形成処理における代表点選別処理
5.評価値テーブルの具体例
6.候補ベクトル抽出処理の詳細
7.動きベクトル決定処理の詳細
Hereinafter, a motion vector detection device, a motion vector detection method, and a computer program according to the present invention will be described in detail with reference to the drawings. The description will be made in the order of the following items.
1. 1. Outline of the
[1.本発明の概要]
以下、説明する動きベクトル検出処理においては、代表点マッチング法を適用する。代表点マッチング法については、本特許出願人が先に出願し、特許取得済みである特許2083999号公報に開示されている。すなわち、以下、説明する動きベクトル検出処理は、前述の背景技術の欄で説明した候補ベクトル方式(特開2001−61152号公報に開示)を適用するとともに、代表点マッチング法を利用した処理例である。
[1. Outline of the present invention]
Hereinafter, in the motion vector detection process described below, a representative point matching method is applied. The representative point matching method is disclosed in Japanese Patent No. 2083999, which was previously filed by the applicant of this patent and has been patented. In other words, the motion vector detection process described below is a process example using the candidate vector method (disclosed in Japanese Patent Application Laid-Open No. 2001-61152) described in the background section and using the representative point matching method. is there.
なお、以下の説明においては、動画像データを構成する1フレームを1画面として、各画面(フレーム)間の相互検証処理によってフレームにおける動きベクトル検出処理を行う例について説明するが、本発明は、このような処理例に限らず、例えば、1フレームを細分化とした1フィールドを1画面として扱い、1フィールド単位の動きベクトル検出処理を行なう場合などにも適用可能である。 In the following description, an example in which one frame constituting moving image data is set as one screen and a motion vector detection process in a frame is performed by a mutual verification process between the respective screens (frames) will be described. The present invention is not limited to such a processing example, and can be applied to, for example, a case where one field divided into one frame is treated as one screen and motion vector detection processing is performed in units of one field.
また、以下に説明する処理例は、主にテレビジョン信号に基づく動画像データに対する処理例として説明するが、本発明は、テレビジョン信号以外の様々な動画像データに対しても適用可能である。また、映像信号を処理対象とする場合においてもインターレース信号およびノンインターレース信号の何れでもよい。 The processing example described below will be described mainly as a processing example for moving image data based on a television signal. However, the present invention is also applicable to various moving image data other than a television signal. . Also, when a video signal is a processing target, either an interlace signal or a non-interlace signal may be used.
本発明の動きベクトル検出装置、および動きベクトル検出方法における動きベクトル検出処理の特徴は、大きく分けて以下の3つとなる。
1.代表点マッチング法により、1画面における評価値テーブルを形成する際、代表点と参照画素とのフレーム差の絶対値を可変閾値で代表点毎に適応判定した判定結果を積算する度数分布型の評価値テーブルとして構成する。本構成により、評価値の取り得る値を8ビットより少ないビット長(例えば1ビット)とすることが可能となり、メモリ容量の削減が可能となる。
2.度数分布型の評価値テーブルを形成する際、無意味なデータが評価値テーブルに積算されないように、代表点の選別判定を行う。本構成により、評価値テーブルの信憑性が高め、候補ベクトルを正しく抽出することが可能となる。
3.各画素に対応する動きベクトル割付けの際、画素マッチングとブロックマッチングの併用を行う。本構成により、画素マッチングにおいて、ブロックマッチングが不要と判定された場合は、ブロックマッチング処理を省略可能となり、演算回数の低減が可能となる。
The features of the motion vector detection processing in the motion vector detection device and the motion vector detection method of the present invention are roughly divided into the following three.
1. When creating an evaluation value table on one screen by the representative point matching method, a frequency distribution type evaluation that integrates determination results obtained by adaptively determining the absolute value of the frame difference between the representative point and the reference pixel for each representative point with a variable threshold. Configure as a value table. With this configuration, the possible value of the evaluation value can be set to a bit length less than 8 bits (for example, 1 bit), and the memory capacity can be reduced.
2. When forming the frequency distribution type evaluation value table, the representative point is selected and determined so that meaningless data is not accumulated in the evaluation value table. With this configuration, the credibility of the evaluation value table is improved, and candidate vectors can be extracted correctly.
3. When assigning motion vectors corresponding to each pixel, pixel matching and block matching are used together. With this configuration, when it is determined that block matching is unnecessary in pixel matching, block matching processing can be omitted, and the number of computations can be reduced.
まず、図2〜図4を参照して、本実施例の動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトル設定処理の概要について説明する。 First, referring to FIG. 2 to FIG. 4, an evaluation value table creation process based on the representative point matching method applied in the motion vector detection process of the present embodiment, a candidate vector extraction process based on the evaluation value table, and an extracted candidate vector The outline of the motion vector setting process corresponding to each pixel based on the above will be described.
動画像を構成する時間的に連続するフレーム画像、例えば図に示す時間(t)の現フレーム[Ft]80と、時間(t−1)の前フレーム[Ft−1]70を抽出する。 For example, a current frame [F t ] 80 at time (t) and a previous frame [F t-1 ] 70 at time (t−1) shown in FIG. .
例えば、現フレーム[Ft]80を参照フレームとし、前フレーム[Ft−1]70を、m画素×nラインの複数のブロックに分割し、各ブロックを代表する代表点Ryを設定する。各ブロックの代表点は、例えば、
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
c.ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値が対応付けられる。
For example, the current frame [F t ] 80 is a reference frame, the previous frame [F t−1 ] 70 is divided into a plurality of blocks of m pixels × n lines, and a representative point Ry representing each block is set. The representative points of each block are, for example,
a. The pixel value at the center of the block,
b. The average pixel value of all the pixels in the block,
c. An intermediate value of the pixel values of all the pixels in the block,
Etc., pixel values representing blocks are associated with each other.
代表点マッチング法では、前フレーム[Ft−1]70に設定したブロックの代表点Ry71に対応させて、現フレーム[Ft]80に所定のサーチエリア81を設定し、設定したサーチエリア81内に含まれる各画素の画素値と代表点Ry71の画素値との比較を行なう。サーチエリア81は例えば、p画素×qラインの画素領域として設定される。
In the representative point matching method, a
すなわち、上記a〜cのいずれかの代表点画素値と、サーチエリア81内の各画素の画素値を比較検証して、評価値(例えば、フレーム差や判定結果)を算出する。評価値は、サーチエリア81の各偏移毎(各画素位置毎)に算出される。前フレーム[Ft−1]70に設定したブロックの代表点各々に対応して、現フレーム[Ft]80にサーチエリアが設定され、代表点画素値と、対応するサーチエリア内の各画素の画素値を比較に基づく評価値を取得し、1画面内の全ての代表点について積算する。従って、サーチエリアと同一の大きさの評価値テーブルが形成される。
That is, the representative point pixel value of any one of the above a to c and the pixel value of each pixel in the
なお、各代表点に対応するサーチエリアは、図3(a)に示すように隣接するサーチエリアと一部が重なり合うように設定しても良い。図3(a)に示す例では、サーチエリアをp×q(画素またはライン)の領域に設定した例であり、例えば、前フレーム[Ft−1]70に設定したブロックの代表点71aに対応するサーチエリア81aと、前フレーム[Ft−1]70に設定したブロックの代表点71bに対応するサーチエリア81bとが重なりを持つ領域として設定される。
Note that the search area corresponding to each representative point may be set so as to partially overlap the adjacent search area as shown in FIG. In the example shown in FIG. 3A, the search area is set to an area of p × q (pixels or lines). For example, the
このように、サーチエリアは、各代表点に対応付けられて設定され、各代表点と、その代表点に対応して設定されたサーチエリア内の画素との比較が実行されて、比較値に基づいて、例えば相関の度合いが高いほど(画素値の一致度合いが高いほど)高い評価値が設定され、各サーチエリアの構成画素に対応する評価値が設定される。 In this way, the search area is set in association with each representative point, and each representative point is compared with the pixels in the search area set in correspondence with the representative point to obtain a comparison value. Based on this, for example, the higher the degree of correlation (the higher the degree of matching of pixel values), the higher the evaluation value is set, and the evaluation values corresponding to the constituent pixels of each search area are set.
各サーチエリアにおける評価値は、図3(B)に示すように積算され、その結果として、図3(C)に示すような評価値テーブル90が生成される。評価値テーブルは、前フレーム[Ft−1]70に設定した例えばn個のブロックに設定された各ブロックの代表点Ry1〜nと、参照フレームである現フレーム[Ft]80に設定した各代表点Ry1〜nに対応するサーチエリア内の各画素との比較に基づく評価値、例えば差分絶対値の積算値として算出され、サーチエリアと同一の大きさの評価値テーブルとして形成される。 The evaluation values in each search area are integrated as shown in FIG. 3B, and as a result, an evaluation value table 90 as shown in FIG. 3C is generated. The evaluation value table is set to the representative points Ry1 to Ryn of each block set to, for example, n blocks set in the previous frame [F t-1 ] 70 and the current frame [F t ] 80 which is a reference frame. An evaluation value based on comparison with each pixel in the search area corresponding to each of the representative points Ry1 to n, for example, an integrated value of difference absolute values is calculated and formed as an evaluation value table having the same size as the search area.
なお、従来技術においては、画素値(例えば0〜255の8ビット)の差分値としての8ビットデータを積算していたが、本発明においては、後述するように、差分データに基づく例えば1ビットの評価値を算出して、1ビットデータの評価値の積算を行なう構成としてある。この処理の詳細については、後述する。 In the prior art, 8-bit data as a difference value of pixel values (for example, 8 bits of 0 to 255) is integrated. However, in the present invention, for example, 1 bit based on the difference data is used as described later. The evaluation value is calculated and the evaluation value of 1-bit data is integrated. Details of this processing will be described later.
評価値テーブル90においては、サーチエリアの各偏移位置(i,j)における画素値と代表点との相関が高い場合に、ピーク(極値)が発生する。評価値テーブルに出現するピークは、動画像データの画面の表示物体の移動に対応する。 In the evaluation value table 90, a peak (extreme value) occurs when the correlation between the pixel value and the representative point at each shift position (i, j) in the search area is high. The peak appearing in the evaluation value table corresponds to the movement of the display object on the screen of the moving image data.
例えば、画面(フレーム)全体が同一の動きをした場合は、サーチエリア(p×q)と同一の大きさの評価値テーブルにおいて、その動き方向、距離を持つベクトルの終点に対応する位置に1つのピークが出現する。また、画面(フレーム)内に2つの異なる動きをした物体があった場合は、サーチエリア(p×q)と同一の大きさの評価値テーブルにおいて、その異なる動き方向、距離を持つ2つのベクトルの終点に対応する2つの位置に2つのピークが出現する。なお、静止部分がある場合は、静止部分に対応するピークも出現する。 For example, when the entire screen (frame) moves in the same manner, the evaluation value table having the same size as the search area (p × q) has 1 in the position corresponding to the end point of the vector having the movement direction and distance. Two peaks appear. If there are two objects with different movements in the screen (frame), two vectors having different movement directions and distances in the evaluation value table having the same size as the search area (p × q). Two peaks appear at two positions corresponding to the end point of. When there is a stationary part, a peak corresponding to the stationary part also appears.
このような評価値テーブルに出現するピークに基づいて、前フレーム[Ft−1]70と、参照フレームである現フレーム[Ft]80とにおける動きベクトルの候補(候補ベクトル)を求める。 Based on such peaks appearing in the evaluation value table, motion vector candidates (candidate vectors) in the previous frame [F t−1 ] 70 and the current frame [F t ] 80 which is a reference frame are obtained.
評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出した後、フレームの各画素について、抽出した候補ベクトルから最も適応する候補ベクトルをそれぞれ選択して、各画素に対応する動きベクトルとして設定する。 After extracting a plurality of candidate vectors based on the peak appearing in the evaluation value table, for each pixel of the frame, select the most suitable candidate vector from the extracted candidate vectors, and use it as a motion vector corresponding to each pixel. Set.
抽出候補ベクトルに基づいて実行する各画素に対応する動きベクトルの設定処理について図4を参照して説明する。 A motion vector setting process corresponding to each pixel to be executed based on the extraction candidate vector will be described with reference to FIG.
図4において、中央の画素91が前フレーム[Ft−1]の1つの画素を示している。この画素は例えば輝度値(α)を有している。また、前述の評価値テーブルに出現したピークに基づいて、複数の候補ベクトルが抽出済みであり、これらの候補ベクトルを図に示す候補ベクトルA,B,Cであるとする。前フレーム[Ft−1]の1つの画素91は、これらの候補ベクトルのいずれかに従って移動して、現フレーム[Ft]の画素に対応する位置に表示されると判定される。
In FIG. 4, the
図4において、画素a95、画素b96、画素c97は、前フレーム[Ft−1]の1つの画素91から候補ベクトルA,B,Cに基づいて移動先として推定される各画素位置の現フレーム[Ft]の画素を示している。これらの3画素を含むブロックの画素値と、画素91を含むブロックの画素値との相関がブロックマッチング処理によって判定され、最も高い対応にある組が選択され、その選択した組に設定された候補ベクトルを画素91の動きベクトルとする。
In FIG. 4, a pixel a95, a pixel b96, and a pixel c97 are current frames at respective pixel positions estimated as destinations based on candidate vectors A, B, and C from one
1つの画面(フレーム)に含まれるすべての画素について、同様の処理、すなわち候補ベクトルから最適なベクトルの選択処理を行い、各画素に対応する動きベクトルを設定する。 A similar process, that is, an optimal vector selection process from candidate vectors is performed for all pixels included in one screen (frame), and a motion vector corresponding to each pixel is set.
上述したように、代表点マッチングは、各ブロックを代表する代表点を設定し、設定した代表点のみについての評価値算出を行なって候補ベクトルを設定することが可能であり、限られた数の代表点のみの評価値算出を行なうことで、評価値算出に要する演算量を減少させることができ、高速処理が可能となる。 As described above, the representative point matching can set a representative point representing each block, calculate an evaluation value for only the set representative point, and set a candidate vector. By calculating the evaluation value of only the representative points, the amount of calculation required for calculating the evaluation value can be reduced, and high-speed processing is possible.
以下、説明する本発明の動きベクトル検出装置および動きベクトル検出方法の実施例においては、上述の代表点マッチングを適用した候補ベクトル抽出処理を伴う動きベクトル検出構成を説明する。 In the following embodiments of the motion vector detection apparatus and motion vector detection method of the present invention to be described, a motion vector detection configuration involving candidate vector extraction processing to which the above-described representative point matching is applied will be described.
[2.動きベクトル検出装置全体構成および動きベクトル検出処理手順概要]
動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構成を図5に示し、動きベクトル検出処理の処理シーケンスを図6のフローチャートに示す。
[2. Overall configuration of motion vector detection device and outline of motion vector detection processing procedure]
FIG. 5 shows the configuration of an embodiment of the motion vector detection apparatus of the present invention for executing the motion vector detection process, and the processing sequence of the motion vector detection process is shown in the flowchart of FIG.
動きベクトル検出装置は、図5に示すように、評価値テーブル形成部101、候補ベクトル抽出部102、動きベクトル検出部103、制御部(コントローラ)104を有する。評価値テーブル形成部101は、動きベクトル検出処理対象となる画像データを入力端子を介して入力し、評価値テーブルを生成する。入力画像は、例えば、ラスタスキャンにより得られる画像データである。画像データは、例えば、ディジタルカラー映像信号のコンポーネント信号中の輝度信号を含む。
As shown in FIG. 5, the motion vector detection apparatus includes an evaluation value
入力画像データは、評価値テーブル形成部101に供給され、前述した代表点マッチング法をベースとして、サーチエリアと同一の大きさの評価値テーブルを形成する。図6のフローにおけるステップS101の処理である。
The input image data is supplied to the evaluation value
候補ベクトル抽出部102は、評価値テーブル形成部101において生成した評価値テーブルから、1画面内の候補ベクトルとして、複数の動きベクトルを抽出する。すなわち、前述したように、評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出する。図6のフローにおけるステップS102の処理である。
The candidate
動きベクトル決定部103では、候補ベクトル抽出部102において抽出した複数の候補ベクトルを対象として、全フレームの各画素毎に、候補ベクトルによって対応付けられるフレーム間の画素間の相関をブロックマッチング等により判定し、最も相関の高い対応となったブロックを結ぶ候補ベクトルを、その画素に対応する動きベクトルとして設定する。図6のフローにおけるステップS103の処理である。この処理は、先に図4を参照して説明した処理である。
The motion
動きベクトル決定部103では、1つの画面(フレーム)に含まれるすべての画素について、候補ベクトルから最適なベクトルの選択処理を行い、各画素に対応する動きベクトルを決定し、決定した動きベクトルを出力する。
The motion
制御部104は、評価値テーブル形成部101、候補ベクトル抽出部102、動きベクトル検出部103における処理タイミングの制御、中間データのメモリに対する格納、出力処理制御などを行なう。
The
以上が、本発明の動きベクトル検出装置において実行する代表点マッチングをベースとした評価値テーブルの生成と、候補ベクトル方式を適用した動きベクトル検出処理の流れである。 The above is the flow of the generation of the evaluation value table based on the representative point matching and the motion vector detection process to which the candidate vector method is applied, which is executed in the motion vector detection device of the present invention.
[3.評価値テーブル形成処理の詳細]
次に、本発明の動きベクトル検出装置における評価値テーブル形成部の詳細について説明する。評価値テーブル形成部の詳細構成を図7(A)に示す。なお、図7(B)には、比較のため、従来型(特開2001−61152号公報において開示)の装置に設定されている評価値テーブル形成部の構成を示している。
[3. Details of evaluation value table formation process]
Next, details of the evaluation value table forming unit in the motion vector detection device of the present invention will be described. A detailed configuration of the evaluation value table forming unit is shown in FIG. FIG. 7B shows the configuration of an evaluation value table forming unit set in a conventional apparatus (disclosed in Japanese Patent Laid-Open No. 2001-61152) for comparison.
図7(A)に示すように、本発明の動きベクトル検出装置における評価値テーブル形成部200は、相関演算部210、可変閾値生成部220、相関判定部230、評価値テーブル算出部250を有する。
As shown in FIG. 7A, the evaluation value
相関演算部210は、代表点メモリ211、画素値の差分データを算出する減算回路212、絶対値算出部213を有する。可変閾値生成部220は、特徴量抽出部221、特徴量メモリ222、閾値生成部223を有する。相関判定部230は、相関演算部210からの出力値であるフレーム差絶対値データと、可変閾値生成部220からの出力である閾値データとの比較処理を行なう比較部230を有し、各代表点と各画素の1つの評価値として、例えば1ビットデータの評価値を算出し、評価値テーブル算出部250に出力する。評価値テーブル算出部250は、例えば1ビットデータからなる評価値を評価値積算部251において積算し、評価値テーブルを生成して評価値テーブルメモリ252に格納する。
The
図7(B)に示す従来型(特開2001−61152号公報において開示)の評価値テーブル形成部は、相関演算部を有し、相関演算部の出力(8ビット)データを集積して、評価値テーブルを生成して評価値テーブルメモリに格納する構成である。 The evaluation value table forming unit of the conventional type (disclosed in Japanese Patent Laid-Open No. 2001-61152) shown in FIG. 7B has a correlation calculation unit, and accumulates output (8 bits) data of the correlation calculation unit. The evaluation value table is generated and stored in the evaluation value table memory.
はじめに、図7(A),(B)の評価値テーブル形成部の共通構成部分である相関演算部の処理について説明をする。 First, the processing of the correlation calculation unit, which is a common component of the evaluation value table forming unit shown in FIGS. 7A and 7B, will be described.
入力端子を介して画像データが、例えばフレーム単位で、相関演算部210に入力される。相関演算部210に入力された画像データは、減算回路212及び代表点メモリ211に供給される。
The image data is input to the
代表点メモリ211に記憶される画像データは、例えばフレーム単位で入力される画像データから生成される予め決められた代表点データである。例えば、先に図2、図3を参照して説明した画面を分割して設定されたブロック、例えばm×n画素のブロックにおいて代表点が1つ設定される。なお、代表点は、
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
c.ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値データが対応付けられる。
The image data stored in the
a. The pixel value at the center of the block,
b. The average pixel value of all the pixels in the block,
c. An intermediate value of the pixel values of all the pixels in the block,
The pixel value data representing the block is associated.
具体的には、例えば、入力フレーム画像から、空間的に均等に間引かれた画素位置の画像データ(画素値データ)が、制御部(コントローラ)104(図5参照)からの信号によるタイミング制御によって選択されて、代表点データとして代表点メモリ211に記憶される。
Specifically, for example, image data (pixel value data) of pixel positions spatially thinned out from the input frame image is controlled by a signal from the control unit (controller) 104 (see FIG. 5). And is stored in the
代表点メモリ211から読み出された前フレームの代表点データと、現フレームの画像データが、減算回路212に供給される。
The representative point data of the previous frame read from the
減算回路211は、前フレームの代表点の画素値と、現フレームの画像データに設定される各代表点に対応するサーチエリア内の画素との画素値差分、例えばフレーム差(相関演算結果)を算出し、絶対値算出部213に出力する。
The
絶対値算出部213では、減算回路211から入力する前フレームの代表点データと、現フレームの画像データに基づくフレーム差(相関演算結果)を入力し、フレーム差絶対値を算出する。
The absolute
図7(B)に示す従来型の評価値テーブル形成部は、相関演算部の出力値であるフレーム差絶対値(8bit)に基づいて評価値テーブルを生成する構成であり、各サーチエリアにおいて各画素毎に設定されるフレーム差絶対値(8bit)の積算処理を実行し、評価値テーブルを生成していた。画素値は、例えば輝度値として0〜255からなる256階調の輝度レベルを有しており、この256階調を示す画素値データとして8ビットが適用されている。 The conventional evaluation value table forming unit shown in FIG. 7B is configured to generate an evaluation value table based on the frame difference absolute value (8 bits) that is the output value of the correlation calculation unit. An integration process of frame difference absolute values (8 bits) set for each pixel is executed to generate an evaluation value table. The pixel value has, for example, a luminance level of 256 gradations including 0 to 255 as a luminance value, and 8 bits are applied as pixel value data indicating the 256 gradations.
従って、従来型の評価値テーブル形成部の相関演算部では、8ビットの代表点画素値データとサーチエリアにおける各画素の画素値8ビットの減算によって8ビットの評価値を算出し、この8ビットデータを積算処理に適用していた。 Accordingly, the correlation calculation unit of the conventional evaluation value table forming unit calculates the 8-bit evaluation value by subtracting the 8-bit representative point pixel value data and the 8-bit pixel value of each pixel in the search area. Data was applied to the integration process.
前述したように、1画面内の全ての代表点に対する相関演算結果を積算することで、評価値テーブルが生成され、生成した評価値テーブルに出現するピーク(極値)によって、候補ベクトルの抽出が実行される。 As described above, by integrating the correlation calculation results for all the representative points in one screen, an evaluation value table is generated, and candidate vectors are extracted based on peaks (extreme values) appearing in the generated evaluation value table. Executed.
従って、候補ベクトルの抽出を行なうためには、評価値テーブルに出現するピーク(極値)が識別されればよい。従来型の評価値テーブル形成部では、上述したように、8ビットの評価値を算出し、これをこのまま積算処理に適用していた。評価値テーブルに求められる情報は、ピーク情報であり、ピーク(極値)の識別のために8ビットの評価値を積算することは必ずしも必要ではなく、8ビットデータの積算を行なうことは、評価値積算部251における演算量を過大にし、また必要となるメモリ容量を増大させているという問題がある。
Therefore, in order to extract candidate vectors, it is only necessary to identify peaks (extreme values) that appear in the evaluation value table. As described above, the conventional evaluation value table forming unit calculates an 8-bit evaluation value and applies it to the integration process as it is. The information required for the evaluation value table is peak information, and it is not always necessary to integrate 8-bit evaluation values for identifying peaks (extreme values). It is not necessary to integrate 8-bit data. There is a problem that the amount of calculation in the
そこで、本実施例における図7(A)に示す評価値テーブル形成部200は、相関演算部210からの出力として得られる8ビットのフレーム差絶対値を相関判定部230に入力して、相関判定部230で例えば1ビットデータに縮退し、この1ビットデータを評価値として、評価値テーブル算出部250の評価値積算部251に出力し、評価値積算部251では1ビットデータの積算処理を行なって評価値テーブルの生成を行なう構成としている。この構成により、評価値積算部251における積算のための演算処理量が大幅に削減され、効率的かつ高速な評価値テーブルの生成が可能となる。また評価値データ、および評価値テーブルの記憶領域としてのメモリ容量も小さくすることが可能となる。この結果として、性能を低下させることなく、ハードウェア規模の低減が可能となる。
Therefore, the evaluation value
図7(A)に示す本発明の評価値テーブル形成部200の相関判定部230には、相関演算部210からのフレーム差絶対値が供給される。これは、従来の評価値テーブル形成部200の相関判定部と同様、代表点の画素値データ8ビットと、サーチエリアの比較対照となる画素値8ビットの差分データであり8ビットデータとして入力される。なお、本例では、画素は、0〜255の256の画素値レベルを持つものとして説明する。相関判定部230は、この入力8ビットデータを、比較部231において、可変閾値生成部220から入力する可変閾値との比較を実行し、1ビット[0]または[1]の評価値出力を行なう。
The absolute value of the frame difference from the
この1ビット評価値は、例えば、
ビット値[1]は、代表点の画素値と、サーチエリアの比較対照となる画素値との相関あり
ビット値[0]は、代表点の画素値と、サーチエリアの比較対照となる画素値との相関なし
のいずれかを示すことになる。
This 1-bit evaluation value is, for example,
The bit value [1] has a correlation between the pixel value of the representative point and the pixel value serving as the comparison reference for the search area. The bit value [0] is the pixel value serving as the comparison point for the representative point and the search area. It indicates either no correlation with.
この出力に基づいて、評価値テーブル算出部250の評価値積算部は、ビット値[1]の数を積算する処理を行なう。この結果として、相関ありの結果が多いか否かを示す度数分布型の評価値テーブルが生成される。度数分布型の評価値テーブルは、サーチエリア内の各偏移(i,j)において、代表点と参照点に相関がある場合に、その偏移の度数をインクリメントし、1画面の全ての代表点の相関判定結果が積算されたものとなる。つまり、評価値テーブルの各偏移(i,j)の度数f(i,j)は、代表点と参照点の相関条件が成立した回数を示すものであり、形成された評価値テーブルには、動画像データの画面の表示物体の移動に対応したピーク(極値)が出現する。
Based on this output, the evaluation value integration unit of the evaluation value
従って、代表点の画素値データ8ビットと、サーチエリアの比較対照となる画素値8ビットの差分データである8ビットデータの積算処理を行なうことなく、相関の有無のみを示す1ビットデータの積算によって生成した評価値テーブルにおいても、動画像データの画面の表示物体の移動に対応したピーク(極値)が出現し、候補ベクトルの選定が可能となる。 Therefore, the integration of 1-bit data indicating only the presence or absence of the correlation is performed without performing the integration process of the 8-bit data representing the difference between the pixel value data of the representative point and the 8-bit pixel value serving as the comparison reference of the search area. Also in the evaluation value table generated by the above, a peak (extreme value) corresponding to the movement of the display object on the moving image data screen appears, and the candidate vector can be selected.
図7(A)に示す本発明の評価値テーブル算出部250における相関判定部230では、可変閾値を可変閾値生成部220から入力して、相関演算部210から入力する差分データとしてのフレーム差絶対値との比較処理を行なう。
In the
固定閾値を用いず、可変閾値を適用する理由は、実際の動きの程度に対応した、より正確な動き検出を行うことを可能とするためである。 The reason why the variable threshold is applied without using the fixed threshold is to enable more accurate motion detection corresponding to the actual motion level.
空間内に於けるレベル変動の大きい画像、つまり、ある注目画素の近傍で大きなレベル変化(画素値変動)のある画像、例えば、縦方向の複数本のストライプ状のパターン画像など、エッジ部分の多い画像の場合には、次のフレームで画像に僅かの動きがあってもフレーム差が非常に大きくなる。従って、相関演算部210から出力されるフレーム差分は大きな値になる。一方、空間内に於けるレベル変動の小さい画像、例えば人の顔の頬の部分、あるいは緑一色の草原や、空に雲が浮かんでいるような全体的に平坦な輝度分布を持つ画像の場合には、次のフレームで画像に動きがあってもフレーム差が小さくなる。従って、相関演算部210から出力されるフレーム差分は小さな値となる。
An image having a large level variation in space, that is, an image having a large level change (pixel value variation) in the vicinity of a certain pixel of interest, for example, a plurality of vertical stripe pattern images, etc. In the case of an image, the frame difference becomes very large even if there is a slight movement in the image in the next frame. Therefore, the frame difference output from the
固定閾値を用いて、相関演算部210から出力されるフレーム差分データを一律に「相関有り」、または「相関無し」のいずれかに区別してしまうと、全体的に平坦な輝度分布を持つ画像の場合には、動きがあった場合にも相関なしと判定され、動きのない画像データであると判定されてしまう恐れがある。
If the frame difference data output from the
そこで、本発明の装置においては、注目画素の時間方向変動を空間内変動で正規化し、この正規化出力に基づいて動きの有無を判断する。この処理のために、可変閾値生成部220において、注目画素の時間方向変動を空間内変動で正規化したデータを用いて可変閾値を生成して、可変閾値を適用して、相関演算部210から出力されるフレーム差分データとの比較を行う。
Therefore, in the apparatus of the present invention, the temporal variation of the pixel of interest is normalized with the spatial variation, and the presence or absence of motion is determined based on this normalized output. For this processing, the variable threshold
すなわち、画像データに応じた異なる閾値を適用して、相関判定部230の比較部231において相関演算部210から入力する差分データとしてのフレーム差絶対値との比較処理を行なって相関あり[1]、相関なし[0]の評価値を生成して、度数分布評価値テーブルの度数としての評価値出力を得る。
That is, by applying different threshold values according to image data, the
可変閾値に基づく相関判定を行なうことで、時間方向変動のみに基づいてなされる動きの有無の判断(固定閾値を適用した判定に対応する)と比較して、実際の動きの程度に対応した、より正確な動き検出を行うことができる。 By performing the correlation determination based on the variable threshold, compared with the determination of the presence or absence of movement made based only on the temporal direction fluctuation (corresponding to the determination applying a fixed threshold), it corresponds to the actual degree of movement, More accurate motion detection can be performed.
つまり、可変閾値を用いた相関の判定を行なうことで、時間方向変動が大きい場合であっても、フレーム内に於けるレベル変動、即ち、空間内変動が比較的大きい場合には動き検出感度が低下する。また、時間方向変動が小さい場合であっても、フレーム内に於けるレベル変動、即ち、空間内変動が比較的小さい場合には、動き検出感度が向上し、画像データに応じた正確な動き判定、すなわち、相関判定処理が可能となる。 In other words, by performing correlation determination using a variable threshold, even if the fluctuation in the time direction is large, if the fluctuation in level in the frame, that is, the fluctuation in space is relatively large, the motion detection sensitivity is increased. descend. Even if the fluctuation in the time direction is small, if the level fluctuation in the frame, that is, the fluctuation in the space is relatively small, the motion detection sensitivity is improved, and the accurate motion determination according to the image data is performed. That is, correlation determination processing is possible.
可変閾値生成部220の処理について説明する。可変閾値生成部220は、空間内変動を表す特徴量を抽出し、特徴量に対応して異なる閾値を設定する。空間内変動を表す特徴量の抽出は、特徴量抽出部221において実行する。
The process of the variable threshold
特徴量抽出部221は、相関演算部210の減算回路212の出力値、すなわち、フレム差分データを入力し、空間内変動を表す特徴量として、代表点の近傍領域(3×3)のダイナミックレンジ(DR)を算出する。
The feature
なお、ここでは、空間内変動を表す特徴量として、代表点の近傍領域(3×3)のダイナミックレンジ(DR)を適用する例を説明するが、空間内変動を表す特徴量としては、例えば、代表点の両隣3画素のダイナミックレンジや、差分和、近傍領域の平均偏差和等を用いることが可能である。 Here, an example in which the dynamic range (DR) of the region near the representative point (3 × 3) is applied as the feature amount representing the variation in space will be described. As the feature amount representing the variation in space, for example, It is possible to use the dynamic range of the three pixels adjacent to the representative point, the difference sum, the average deviation sum of the neighboring regions, and the like.
代表点近傍領域(3×3)のダイナミックレンジ(DR)は、代表点マッチングの相関演算結果を利用することで算出可能である。代表点マッチングの相関演算結果を利用した代表点近傍領域(3×3)のダイナミックレンジ(DR)算出処理について、図8を参照して説明する。 The dynamic range (DR) of the representative point vicinity region (3 × 3) can be calculated by using the correlation calculation result of the representative point matching. A dynamic range (DR) calculation process of the representative point vicinity region (3 × 3) using the correlation calculation result of the representative point matching will be described with reference to FIG.
図8(A)には、現フレーム[Ft]、現フレーム[Ft]の1つ前の前フレーム[Ft−1]、現フレーム[Ft]の2つ前のフレーム[Ft−2]の3つの連続フレームを示している。
The FIG. 8 (A), the current frame [F t], the
現フレーム[Ft]の1つ前の前フレーム[Ft−1]のある代表点Ryの近傍領域(3×3)は、例えば、代表点Ryの画素を中心画素(i,j)とすると、図8(B)に示す9点の画素(i−1,j−1)〜(i+1,j+1)によって構成される。代表点Ry近傍領域(3×3)のダイナミックレンジ(DR)は、これらの9画素(i−1,j−1)〜(i+1,j+1)の各画素値の最大値と最小値の差で表される値である。 In the neighborhood (3 × 3) of the representative point Ry in the previous frame [F t−1 ] immediately before the current frame [F t ], for example, the pixel at the representative point Ry is defined as the center pixel (i, j). Then, it is configured by nine pixels (i−1, j−1) to (i + 1, j + 1) shown in FIG. The dynamic range (DR) of the representative point Ry vicinity region (3 × 3) is a difference between the maximum value and the minimum value of the pixel values of these nine pixels (i−1, j−1) to (i + 1, j + 1). The value represented.
可変閾値生成部220の特徴量抽出部221は、この前フレーム[Ft−1]のある代表点Ryの近傍領域(3×3)のダイナミックレンジを、2フレーム前[Ft−2]の代表点Pyにおける相関演算のフレーム差に基づいて算出する。この処理を実行する特徴量抽出部221の構成例を図9に示す。
The feature
特徴量抽出部221には、連続するフレームの代表点とサーチエリアにおける画素値の差分データがフレーム差として入力される。図8に示す2フレーム前[Ft−2]の代表点Pyと、前フレーム[Ft−1]のある代表点Ryの近傍領域(3×3)の差分データがそれぞれ入力されたと仮定する。
The feature
差分データは、代表点Pyと、9画素(i−1,j−1)〜(i+1,j+1)各々の差分データは、順次入力され、最大値検出部301、最小値検出部303において、代表点Pyと、9画素(i−1,j−1)〜(i+1,j+1)各々の差分データの最大値と最小値が求められる。まず最初の入力差分データは、最大値検出部301、最小値検出部303を通過して、レジスタ302,304に格納され、次に入力する差分データと、最大値検出部301、最小値検出部303において比較され、それぞれ最大差分値がレジスタ302に格納され、最小差分値がレジスタ304に格納される。これを繰り返し実行することで、代表点Pyと、9画素(i−1,j−1)〜(i+1,j+1)各々の差分データの最大値と最小値が求められる。
As the difference data, the representative point Py and the difference data of each of the nine pixels (i−1, j−1) to (i + 1, j + 1) are sequentially input, and the maximum
この結果求められた代表点Pyと、9画素(i−1,j−1)〜(i+1,j+1)各々の差分データの最大値と最小値は、減算回路305において減算され、この結果が代表点Ryの近傍領域(3×3)、すなわち、9画素(i−1,j−1)〜(i+1,j+1)のダイナミックレンジ(DR)としてラッチ306を介して出力される。
The representative point Py obtained as a result and the maximum value and the minimum value of the difference data of each of the nine pixels (i−1, j−1) to (i + 1, j + 1) are subtracted by the
前述したように、代表点Ryの近傍領域(3×3)のダイナミックレンジとは、図8(B)に示す9点の画素の画素値の最大値と最小値の差で表される値である。2フレーム前[Ft−2]の代表点Pyと、この9点とのフレーム差は、9点のDC成分が変化しただけなので、この9点のフレーム差の最大値と最小値の差も、上記のダイナミックレンジと同値となる。 As described above, the dynamic range of the neighborhood (3 × 3) of the representative point Ry is a value represented by the difference between the maximum value and the minimum value of the nine pixel values shown in FIG. is there. The frame difference between the representative point Py two frames before [F t−2 ] and the nine points is only the change in the DC component of the nine points, so the difference between the maximum and minimum values of the nine frame differences is also The same dynamic range as that described above.
具体的な画素値を設定した例で説明する。前フレーム[Ft−1]の9点の画素値が、10、11、7、9、9、12、15、11、8の各画素値(輝度レベル)を有するとする。2フレーム前の[Ft−2]の代表点Ryの画素値が、[11]であったとする。この場合、代表点Ryと、前フレーム[Ft−1]の9点の画素値のフレーム差は、其々、
10−11=−1
11−11=0
7−11=−4
9−11=−2
9−11=−2
12−11=+1
15−11=+4
11−11=0
8−11=−3
となり、これら9個の差分データに基づいて、図9に示す特徴量抽出部221において求められる値(DR)は、上記9式の結果の最大値[+4]から最小値[−4]を減算した値であり、[8]となる。一方、前フレーム[Ft−1]の9点の画素値{10、11、7、9、9、12、15、11、8}から直接求めたダイナミックレンジは、15(MAX)−7(MIN)=8であり、いずれの値も[8]となって、いずれも同値となる。
An example in which specific pixel values are set will be described. It is assumed that nine pixel values of the previous frame [F t−1 ] have pixel values (luminance levels) of 10, 11, 7, 9, 9, 12, 15, 11, and 8. It is assumed that the pixel value of the representative point Ry of [F t-2 ] two frames before is [11]. In this case, the frame differences between the representative point Ry and the nine pixel values of the previous frame [F t−1 ] are respectively
10-11 = -1
11-11 = 0
7-11 = -4
9-11 = -2
9-11 = -2
12-11 = + 1
15-11 = + 4
11-11 = 0
8-11 = -3
Based on these nine pieces of difference data, the value (DR) obtained by the feature
このように、2フレーム前[Ft−2]と前フレーム[Ft−1]とを対象として相関演算部210において実行する代表点マッチング処理における相関結果、すなわち、フレーム差分データを用いて、前フレーム[Ft−1]の代表点近傍のダイナミックレンジを算出可能であり、このダイナミックレンジ(DR)を空間内変動の特徴量として適用する。
In this way, using the correlation result in the representative point matching process executed by the
可変閾値生成部221において実行する可変閾値生成処理手順について、図10に示すフローを参照して説明する。
The variable threshold value generation processing procedure executed in the variable threshold
まず、ステップS151では、相関演算部210において実行する代表点マッチング処理により算出されるフレーム差分データを取り込む。ステップS152では、特徴量抽出部221が、上述した処理に従ってフレーム差分データに基づいて代表点近傍のダイナミックレンジ(DR)を算出する。
First, in step S151, the frame difference data calculated by the representative point matching process executed in the
ステップS153において、算出したダイナミックレンジ(DR)を、代表点に対応させて特徴量メモリ222に記憶する。ステップS154において、特徴量メモリ222から、代表点に対応するダイナミックレンジ(DR)データを読み出す。ステップS155において、読み出したダイナミックレンジ(DR)を閾値生成部223で閾値に変換し、ステップS156において、変換した可変閾値を、相関判定部230に出力する。
In step S153, the calculated dynamic range (DR) is stored in the
このように、図7(A)における可変閾値生成部220の特徴量抽出部221では、上述した処理によって、相関演算部210から入力するフレーム差分データに基づいて、特徴点近傍のダイナミックレンジを算出し、これを空間内変動を表す特徴量として特徴量メモリ222に格納し、閾値生成部223は、この特徴量を閾値として設定し、相関判定部230に出力する。
As described above, the feature
閾値生成部223における閾値生成処理、すなわち、空間内変動の特徴量としての代表点近傍のダイナミックレンジデータに基づく閾値生成処理について、図11を参照して説明する。
The threshold value generation process in the threshold
閾値生成部223には、特徴量抽出部221において、フレーム差分データに基づいて算出されたダイナミックレンジ(DR)データが入力される。このデータは、8ビット画素値の差分データであり8ビットデータである。
The dynamic range (DR) data calculated based on the frame difference data in the feature
閾値生成部223のビット分解部351では、入力された8ビットのダイナミックレンジ(DR)をMSBから1ビット単位で分解し、上位6ビットのみを抽出する。上位ビットから、それぞれ、D7、D6、D5、D4、D3、D2とする。
The
OR回路352には、MSBから3ビットD7、D6、D5が入力され、OR演算が実行され、1ビットの出力がなされる。3ビットD7、D6、D5のいずれかにビット値[1]が含まれれば[1]が出力される。
The OR
さらに、OR回路352の出力と、ビット分解部351の出力D4が、OR回路353に入力され、OR演算の結果が出力値とされる。さらに、OR回路353の出力と、ビット分解部351の出力D3が、OR回路354に入力され、OR演算の結果が出力値とされる。さらに、OR回路354の出力と、ビット分解部351の出力D2が、OR回路355に入力され、OR演算の結果が出力値とされる。
Further, the output of the
OR回路353の出力と、OR回路354の出力と、OR回路355の出力の計3ビットd2,d1,d0が、ビット合成部356に入力され、ビット合成部356では、上位から、d2、d1、d0の3ビットデータ[000]〜[111]を10進数に変換し、値0〜7を、閾値として出力する。このように、閾値生成部223は、注目画素近傍の空間内変動の特徴量としての代表点近傍のダイナミックレンジデータの構成ビットのビット情報圧縮処理により閾値を算出する。
A total of 3 bits d2, d1, and d0 of the output of the
図12は、この閾値生成部223の入出力関係をプロットしたグラフであり、閾値の上限リミッターを設けた可変閾値が生成される。図12は、横軸が、可変閾値生成部に入力されるフレーム差分に基づいて算出されるダイナミックレンジ(DR)であり、縦軸がダイナミックレンジ(DR)に基づいて算出し、相関判定部230に出力する可変閾値を示す。
FIG. 12 is a graph in which the input / output relationship of the threshold
例えば、ダイナミックレンジ(DR)が0〜3では、相関判定部230に出力する可変閾値は0となる。ダイナミックレンジ(DR)が4〜7では、相関判定部230に出力する可変閾値は1となる。以下、同様であり、ダイナミックレンジ(DR)が28以上においては、相関判定部230に出力する可変閾値は7となり、閾値の上限リミッターを設けた可変閾値が生成される。
For example, when the dynamic range (DR) is 0 to 3, the variable threshold value output to the
ダイナミックレンジ(DR)が小さい、すなわち平坦な画像であっても、閾値は比較的小さく設定されるので、相関判定部230における相関判定では、相関ありなしの判定が比較的正確に行なわれることになる。
Even if the dynamic range (DR) is small, that is, a flat image, the threshold value is set to be relatively small. Therefore, in the correlation determination in the
相関判定部230は、相関演算部210からの出力値であるフレーム差絶対値データを入力し、さらに、可変閾値生成部220から、上述の可変閾値を入力して比較部231において比較処理を実行する。フレーム差絶対値データが、可変閾値より小であれば、1ビットデータとして、相関あり[1]を評価値テーブル算出部250に出力し、可変閾値より大であれば、相関なし[0]を評価値テーブル算出部250に出力する。
評価値テーブル算出部250は、入力する1ビットデータを評価値積算部251において積算し評価値テーブルを生成して、評価値テーブルメモリ252に格納する。
The evaluation value
評価値積算部251は、相関判定部230からの評価値としてのビット値[1]の数(度数)を積算する処理を行なう。この結果として、相関ありの結果が多いか否かを示す度数分布型の評価値テーブルが生成される。度数分布型の評価値テーブルは、サーチエリア内の各偏移(i,j)において、代表点と参照点に相関がある場合に、その偏移の度数をインクリメントし、1画面の全ての代表点の相関判定結果が積算されたものとなる。つまり、評価値テーブルの各偏移(i,j)の度数f(i,j)は、代表点と参照点の相関条件が成立した回数を示すものであり、形成された評価値テーブルには、動画像データの画面の表示物体の移動に対応したピーク(極値)が出現する。
The evaluation
従って、代表点の画素値データ8ビットと、サーチエリアの比較対照となる画素値8ビットの差分データである8ビットデータの積算処理を行なうことなく、相関の有無のみを示す1ビットデータの積算によって生成した評価値テーブル、すなわち度数分布型の評価値テーブルが生成される。 Therefore, the integration of 1-bit data indicating only the presence or absence of the correlation is performed without performing the integration process of the 8-bit data representing the difference between the pixel value data of the representative point and the 8-bit pixel value serving as the comparison reference of the search area. The evaluation value table generated by the above, that is, the frequency distribution type evaluation value table is generated.
図13に、本実施例における評価値テーブル形成部の処理シーケンスを説明するフローチャートを示す。フローチャートの各ステップについて説明する。 FIG. 13 is a flowchart for explaining the processing sequence of the evaluation value table forming unit in the present embodiment. Each step of the flowchart will be described.
まず、ステップS201において、入力画像データに基づいて代表点マッチング処理を実行し、差分データを算出し、ステップS202において、差分データの絶対値を算出する。これらの処理は、図7(A)の評価値テーブル形成部200の相関演算部210において実行する処理である。
First, in step S201, the representative point matching process is executed based on the input image data to calculate difference data, and in step S202, the absolute value of the difference data is calculated. These processes are executed in the
ステップS203では、相関演算部210がステップS201において生成したフレーム差分データに基づいて可変閾値を生成する。この処理は、図7(A)の評価値テーブル形成部200の可変閾値生成部220において実行する処理である。
In step S203, the
ステップS204では、相関演算部210がステップS202において生成した差分データの絶対値と、可変閾値生成部220が、ステップS203において生成した可変閾値との比較により、「相関あり」または「相関なし」を示す評価値としての1ビットデータを生成する。この処理は、図7(A)の評価値テーブル形成部200の相関判定部230において実行する処理である。
In step S204, “there is correlation” or “no correlation” is obtained by comparing the absolute value of the difference data generated by the
次に、ステップS205において、相関判定部230の生成した相関ありまたは相関なしを示す評価値としての1ビットデータを積算し、度数分布型評価値テーブルを生成する。この処理は、図7(A)の評価値テーブル形成部200の評価値テーブル算出部250において実行する処理である。
Next, in step S205, 1-bit data as an evaluation value indicating the presence or absence of correlation generated by the
このように、本実施例の評価値テーブル形成部は、相関演算部において算出されるフレーム差分データから取得可能なダイナミックレンジを、空間内変動を示す特徴量として取得し、取得した特徴量に基づいて可変閾値を生成し、可変閾値による相関判定部によって相関の有無を判定する構成としたので、平坦な画像においても正確な動き検出が可能となる。また、相関判定部から出力する評価値を1ビットデータに削減したことにより、評価値積算部における積算演算量が大幅に削減される。これらの構成によって、ハードウェアの規模の低減を図りつつ、実際の動きの程度に対応したより正確な動き相関判定が可能となり、評価値テーブルにおける極値の信憑性を飛躍的に高めることが可能となる。 As described above, the evaluation value table forming unit according to the present embodiment acquires the dynamic range that can be acquired from the frame difference data calculated in the correlation calculation unit as the feature amount indicating the variation in the space, and based on the acquired feature amount. Thus, a variable threshold value is generated, and the presence or absence of correlation is determined by the correlation determination unit based on the variable threshold value, so that accurate motion detection is possible even in a flat image. In addition, since the evaluation value output from the correlation determination unit is reduced to 1-bit data, the amount of integration calculation in the evaluation value integration unit is significantly reduced. With these configurations, it is possible to perform more accurate motion correlation determination corresponding to the actual motion level while reducing the hardware scale, and dramatically increase the credibility of extreme values in the evaluation value table It becomes.
[4.評価値テーブル形成処理における代表点選別処理]
以上、本発明の動きベクトル検出装置における評価値テーブル形成部101(図5参照)の基本構成を説明した。評価値テーブル形成部101の生成する評価値テーブルは、候補ベクトルを抽出するための評価値テーブルである。前述したように、候補ベクトルは、評価値テーブルに出現するピーク(極値)に基づいて決定される。
[4. Representative point selection process in evaluation value table formation process]
The basic configuration of the evaluation value table forming unit 101 (see FIG. 5) in the motion vector detection device of the present invention has been described above. The evaluation value table generated by the evaluation value
評価値テーブルにおけるピーク(極値)の信憑性を高めることが、有効な候補ベクトルの抽出のためには重要となる。上述した評価値テーブル形成部は、可変閾値方式を採用し、代表点の時間方向変動を空間内変動で正規化し、この正規化出力に基づいて動きの有無を判断することで、より正確な動きに対応した度数分布型評価値テーブルの形成を可能とした。 Increasing the credibility of the peak (extreme value) in the evaluation value table is important for extracting effective candidate vectors. The above-described evaluation value table forming unit adopts a variable threshold method, normalizes the temporal variation of the representative points with the variation in space, and determines the presence or absence of movement based on this normalized output, thereby enabling more accurate movement. It is possible to form a frequency distribution type evaluation value table corresponding to.
しかしながら、実際の代表点マッチングでは、点(1画素)と点(1画素)の相関判定を行なうことになるので、判定が難しい場合も存在する。以下では、判定が難しい代表点の相関判定を除外するための処理として代表点選別処理を行なう構成例について説明する。この代表点選別処理を行なうことで、さらに、評価値テーブルの信憑性を高めることが可能となる。以下、代表点選別処理を行なう構成例について3つの実施例を説明する。 However, in the actual representative point matching, since the correlation determination between the point (one pixel) and the point (one pixel) is performed, there are cases where the determination is difficult. Hereinafter, a configuration example in which representative point selection processing is performed as processing for excluding correlation determination of representative points that are difficult to determine will be described. By performing the representative point selection process, it is possible to further improve the credibility of the evaluation value table. Hereinafter, three examples of the configuration example for performing the representative point selection process will be described.
(4.1.代表点選別処理例1)
まず、代表点選別処理例1として、代表点近傍領域の空間内変動が微小、すなわち代表点近傍領域のダイナミックレンジが小さい部分(以下これを定常部と呼ぶ)の代表点を除外する構成例について、図14を参照して説明する。
(4.1. Representative point selection processing example 1)
First, as a representative point selection processing example 1, a configuration example in which representative points of a portion (hereinafter referred to as a stationary portion) in which the variation in the space near the representative point is small, that is, the dynamic range of the representative point neighboring region is small (hereinafter referred to as a stationary portion) is excluded. This will be described with reference to FIG.
代表点近傍領域の空間内変動が微小(ダイナミックレンジが小さい)な定常部に存在する代表点の場合は、動きがあっても時間変動(フレーム差)も微小なため、静止している場合のノイズ成分による微小な時間変動との区別が難しい。従って、代表点近傍領域の空間内変動の特徴量によって代表点を選別する。 In the case of a representative point that exists in a stationary part where the fluctuation in the space near the representative point is small (the dynamic range is small), even if there is movement, the time fluctuation (frame difference) is also small, so It is difficult to distinguish from minute time fluctuations due to noise components. Therefore, the representative points are selected based on the feature amount of the variation in the space near the representative point.
代表点近傍領域の空間内変動の特徴量によって代表点を選別する処理を実行する構成を持つ評価値テーブル形成部の構成を図14に示す。 FIG. 14 shows a configuration of an evaluation value table forming unit having a configuration for executing a process of selecting a representative point based on a feature amount of variation in the space near the representative point.
図14に示す評価値テーブル形成部200において、相関演算部210、可変閾値生成部220、相関判定部230、評価値テーブル算出部250は、前述した実施例と同様の構成であり説明を省略する。
In the evaluation value
図14に示す評価値テーブル形成部200は、代表点選別部240を有する。代表点選別部240は、基準値メモリ241、比較部242、ゲート243を有する。代表点選別部240は、相関判定部230からの出力(1ビット評価値)を受領して、評価値の選別を実行して、代表点近傍領域の空間内変動が微小(ダイナミックレンジが小さい)な定常部に存在する代表点に対応する評価値を、評価値テーブルの積算対象から除外する処理を実行する。代表点選別部240は、代表点近傍領域の空間内変動が微小(ダイナミックレンジが小さい)な定常部に存在する代表点以外の代表点に対応する有効評価値のみを選択して出力する。
The evaluation value
可変閾値生成部220で生成される代表点近傍領域の空間内変動を表す特徴量、例えばダイナミックレンジを、代表点選別部240における比較部242に供給し、基準値メモリ241に格納された予め定められた基準値より小さい場合は、代表点近傍領域の空間内変動が微小(ダイナミックレンジが小さい)な定常部に存在する代表点に対応する評価値であると判定し、相関判定結果の信頼性が低いと見なし、比較部242からゲート243に対して[L]信号を出力してゲート243をオフ[OFF]に設定することで、評価値の出力、すなわち、相関判定部230において相関ありと判定された場合であっても評価値[1]を出力せず、度数分布型評価値テーブルにおける積算度数としてカウントしない。
A feature amount representing a variation in the space of the representative point vicinity region generated by the variable threshold
逆に、可変閾値生成部220で生成される代表点近傍領域の空間内変動を表す特徴量、例えばダイナミックレンジが、基準値メモリ241に格納された予め定められた基準値より大きい場合は、相関判定結果の信頼性は高いと見なし、比較部242からゲート243対して[H]信号を出力してゲート243をオン[ON]に設定することで、評価値の出力、すなわち、相関判定部230において相関ありと判定された場合に評価値[1]を出力して、度数分布型評価値テーブルにおいて積算される度数としてカウントする。
On the other hand, if the feature amount representing the variation in the space in the vicinity of the representative point generated by the variable threshold
このように、可変閾値生成部220で生成される代表点近傍領域の空間内変動を表す特徴量、例えばダイナミックレンジが小さい定常部では、相関判定部230における可変閾値との比較に基づく相関判定結果の信頼性を低いと見なし、このような領域における相関判定処理結果を評価値積算テーブルにカウントする度数としてカウントしない構成とすることにより、信頼性の低い相関判定結果を評価値積算テーブルに影響させることが防止され、評価値テーブルの信憑性を高めることが可能となる。
As described above, in the steady-state part having a small feature amount representing the variation in the space in the vicinity of the representative point generated by the variable threshold
なお、代表点近傍領域の空間内変動を表す特徴量として、ダイナミックレンジの他に、標準偏差、高周波成分、直交変換高次成分、平均値との差分等を適用する構成としてもよい。 In addition to the dynamic range, a feature such as a standard deviation, a high-frequency component, an orthogonal transformation higher-order component, a difference from an average value, or the like may be applied as a feature amount representing the variation in the space near the representative point.
(4.2.代表点選別処理例2)
次に、代表点選別処理例2として、静止領域に存在する代表点を除外する構成例について、図15を参照して説明する。
(4.2. Representative point selection processing example 2)
Next, as a representative point selection processing example 2, a configuration example in which representative points existing in a still region are excluded will be described with reference to FIG.
評価値テーブルのピークは、候補ベクトルの選定のために利用されるが、静止領域については、評価値テーブルのピークとして検出する必要がない。動画像データの場合、多くの場合、静止領域が存在することが前提であり、候補ベクトルの1つとして静止ベクトルがデフォルトの候補ベクトルとして設定される。従って、評価値テーブルのピークとして静止ベクトルに対応するピークを出現させる必要がない。 Although the peak of the evaluation value table is used for selection of candidate vectors, it is not necessary to detect the static region as the peak of the evaluation value table. In the case of moving image data, in many cases, it is assumed that a still region exists, and a still vector is set as a default candidate vector as one of candidate vectors. Therefore, it is not necessary to make a peak corresponding to the static vector appear as a peak in the evaluation value table.
評価値テーブルに静止領域に対応するピークを発生させると、他の動きのあることを示す候補ベクトルに対応するピークを目立たなくしてしまう可能性がある。従って、静止領域に存在する代表点の相関判定結果は評価値テーブルの信頼性低下を発生させる度数となる。 If a peak corresponding to the still region is generated in the evaluation value table, there is a possibility that the peak corresponding to the candidate vector indicating that there is another motion is not noticeable. Therefore, the correlation determination result of the representative points existing in the still region is a frequency that causes a decrease in the reliability of the evaluation value table.
本実施例の評価値テーブル形成部200の構成を図15に示す。本実施例の評価値テーブル形成部200は、静止領域に存在する代表点の相関判定結果を相関判定部230から出力させない構成とするための代表点選別部260を設けてある。相関演算部210、可変閾値生成部220、相関判定部230、評価値テーブル算出部250は、前述した実施例と同様の構成であり説明を省略する。
The configuration of the evaluation value
代表点選別部260は、静止領域に存在する代表点の相関判定結果を除外するために、相関演算部210において実行される代表点マッチング処理の結果を利用して、代表点の静止判定を行う。代表点選別部260は、基準値メモリ261、比較部262、フラグメモリ263、ゲート264を有する。
The representative
比較部262が、相関演算部210において実行される代表点マッチング処理の結果を入力し、基準値メモリ261に格納された予め設定された基準値との比較を行い、代表点が静止領域にあるか否かを判定する。
The
比較部262が実行する静止判定処理の具体例について、図8を参照して説明する。前フレーム[Ft−1]の代表点Ryの静止判定を、図8(A)を用いて説明する。前フレーム[Ft−1]の代表点Ryの静止判定は、前フレーム[Ft−1]の代表点Ryと、現フレーム[Ft−1]の点Qyとのフレーム差で判定するのではなく、前フレーム[Ft−1]の代表点Ryと、その前のフレーム[Ft−2]の点Pyのフレーム差で判定を行う。何故ならば、RyとQyとのフレーム差を利用する場合、現フレームのQyのデータが供給された時点でしか、代表点Ryの静止判定が出来ないが、RyとPyとのフレーム差を利用する場合、前フレーム[Ft−1]のデータが全て供給された時点で、前フレーム[Ft−1]に存在する代表点の静止判定結果が取得されるからである。
A specific example of the stillness determination process executed by the
また、前フレーム[Ft−1]の代表点Ryと、その前のフレーム[Ft−2]の点Pyとのフレーム差絶対値は、フレーム[Ft−2]の代表点Pyにおける相関演算部210で算出されているので、これを利用することが可能となる。
The absolute value of the frame difference between the representative point Ry of the previous frame [F t-1 ] and the point Py of the previous frame [F t-2 ] is the correlation at the representative point Py of the frame [F t-2 ]. Since it is calculated by the
比較部262は、相関演算部210で算出された前フレーム[Ft−1]の代表点Ryと、その前のフレーム[Ft−2]の点Pyとのフレーム差絶対値を入力し、このフレーム差絶対値が、基準値メモリ261に格納された予め設定された基準値より小さい場合は、前フレーム[Ft−1]の代表点Ryが静止領域にあるとみなし、静止フラグ(0)をフラグメモリ263に格納する。
The
一方、相関演算部210で算出された前フレーム[Ft−1]の代表点Ryと、その前のフレーム[Ft−2]の点Pyとのフレーム差絶対値が、基準値メモリ261に格納された予め設定された基準値以上である場合は、前フレーム[Ft−1]の代表点Ryが静止領域にないとみなし、動きフラグ(1)をフラグメモリ263に格納する。なお、これらのフラグは、コントローラ(図5のコントローラ104)によるタイミング制御によって、フラグメモリ243に格納される。
On the other hand, the frame difference absolute value between the representative point Ry of the previous frame [F t-1 ] calculated by the
さらに、コントローラによる適切なタイミングで、フラグメモリ263から代表点静止判定フラグを読み出し、読み出したデータが(0)の場合は、ゲート264に[L]信号を出力してゲート264をオフ[OFF]に設定することで、評価値の出力、すなわち、相関判定部230において相関ありと判定された場合であっても評価値[1]を出力せず、度数分布型評価値テーブルにおける積算度数としてカウントしない。
Further, the representative point stationary determination flag is read from the
逆に、フラグメモリ263から読み出したデータが(1)の場合は、ゲート264に[H]信号を出力してゲート264をオン[ON]に設定することで、評価値の出力、すなわち、相関判定部230において相関ありと判定された場合に評価値[1]を出力して、度数分布型評価値テーブルにおいて積算される度数としてカウントする。
On the other hand, when the data read from the
このように、相関演算部210において実行される代表点マッチング処理の結果としてのフレーム差分絶対値に基づいて、代表点が静止領域に存在するか否かを判定し、代表点が静止領域に存在する場合の相関判定結果を相関判定部230から出力させない構成とすることで、静止領域の相関ありの評価値[1]は、度数分布型評価値テーブルにおける度数としてカウントされることなく、静止領域以外の代表点に関する相関ありの評価値[1]が有効評価値として選択されて出力され、度数分布型評価値テーブルにおける度数としてカウントされる。この結果、動きに対応したピークを高めた信頼性の高い評価値テーブルを生成することが可能となる。
As described above, based on the absolute value of the frame difference as a result of the representative point matching process executed in the
(4.3.代表点選別処理例3)
次に、代表点選別処理例3として、候補数が多い代表点を除外する構成例について、図16を参照して説明する。
(4.3. Representative point selection processing example 3)
Next, as a representative point selection processing example 3, a configuration example in which representative points with a large number of candidates are excluded will be described with reference to FIG.
ある代表点における相関演算は、代表点に対応したサーチエリア内の画素に対して行うが、サーチエリア内に代表点と相関があると判定された画素(候補数)が、例えば、サーチエリア内に多数存在する場合、例えば、相関があると判定された画素(候補数)がサーチエリア内の全画素数の1/2以上ある場合は、その代表点における相関判定結果は信頼性が低いと言える。従って、代表点選別処理例3では、これらの候補数が多い代表点に対する相関判定結果を評価値テーブルの生成データから除外する。 The correlation calculation at a certain representative point is performed on the pixels in the search area corresponding to the representative point, but the pixel (number of candidates) determined to have a correlation with the representative point in the search area is, for example, within the search area. If there are a large number of pixels in the search area, for example, if the number of pixels (number of candidates) determined to have a correlation is ½ or more of the total number of pixels in the search area, the correlation determination result at that representative point is low in reliability. I can say that. Therefore, in the representative point selection processing example 3, the correlation determination result for the representative points having a large number of candidates is excluded from the generated data of the evaluation value table.
本実施例の評価値テーブル形成部200の構成を図16に示す。本実施例の評価値テーブル形成部200は、候補数が多い代表点に対する相関判定結果を相関判定部230から出力させない構成とするための代表点選別部270を設けてある。相関演算部210、可変閾値生成部220、相関判定部230、評価値テーブル算出部250は、前述した実施例と同様の構成であり説明を省略する。
The configuration of the evaluation value
代表点選別部270に構成される候補数判定部271の詳細構成を図17に示す。候補数判定部271は、相関判定部230の出力である判定結果としての1ビットデータを各代表点に対応させて、バッファメモリ381に格納すると同時に、カウンタ382において、[1]と判定された個数、つまり相関ありとされた候補数を計数する。1つの代表点に対応するカウンタ382の計数が終了すると、総数が比較部384に入力され、基準値メモリ383に格納された予め設定された基準値と比較される。
The detailed configuration of the candidate
カウンタ382の計数した代表点に対する[1]と判定された個数、つまり相関ありとされた候補数が基準値より大きい場合は、その代表点における相関判定結果は信頼性が低いと判定し、ゲート385に[L]信号を出力してゲート385をオフ[OFF]に設定することで、評価値の出力、すなわち、相関判定部230において相関ありと判定された場合であっても、評価値[1]を出力せず、度数分布型評価値テーブルにおける積算度数としてカウントしない。
If the number determined as [1] with respect to the representative point counted by the
一方、カウンタ382の計数した代表点に対する[1]と判定された個数、つまり相関ありとされた候補数が基準値以下の場合は、その代表点における相関判定結果は信頼性がある有効評価値であると判定し、ゲート385に[H]信号を出力してゲート385をオン[ON]に設定することで、評価値の出力、すなわち、相関判定部230において相関ありと判定された場合に評価値[1]を出力して、度数分布型評価値テーブルにおいて積算される度数としてカウントする。
On the other hand, when the number determined as [1] with respect to the representative point counted by the
以上、本発明の動きベクトル検出装置の動きベクトル検出処理構成における評価値テーブル形成部の構成について、その基本構成、および3つの代表点選別処理構成例を説明した。なお、3つの代表点選別処理構成例は、個別に説明したが、実際の処理においては、3つすべての代表点選別処理を併用して実行することが可能であり、併用して実行することにより、
a.代表点近傍領域の空間内変動が微小な定常部にある代表点
b.静止領域にある代表点
c.候補数が多い代表点
これらの信頼性の低いと判定される代表点に対応する相関判定結果を度数分布型評価値テーブルに積算する度数から排除することが可能となり、信頼性の高い相関判定結果からなる評価結果のみを積算した信頼性の高い度数分布型評価値テーブルを形成することが可能となる。
The basic configuration and the three representative point selection processing configuration examples have been described above for the configuration of the evaluation value table forming unit in the motion vector detection processing configuration of the motion vector detection device of the present invention. In addition, although the three representative point selection processing configuration examples have been described individually, in an actual process, it is possible to execute all three representative point selection processes in combination, and execute them in combination. By
a. A representative point in a stationary part where the variation in the space in the vicinity of the representative point is small b. Representative points in the stationary region c. Representative points with a large number of candidates Correlation determination results corresponding to these representative points determined to be low reliability can be excluded from the frequencies accumulated in the frequency distribution type evaluation value table, and the correlation determination results with high reliability It is possible to form a highly reliable frequency distribution type evaluation value table in which only the evaluation results consisting of
[5.評価値テーブルの具体例]
上述した評価値テーブル形成部構成を持つ動きベクトル検出装置を適用し、実際の動画像データに対する処理を実行した場合に生成される度数分布型評価値テーブルの例を説明する。
[5. Specific example of evaluation value table]
An example of a frequency distribution type evaluation value table generated when the motion vector detection apparatus having the above-described evaluation value table forming unit configuration is applied and processing on actual moving image data is executed will be described.
具体的な、動画像データとして、図18に示すような、静止背景400の前景に移動物体(A)401と、移動物体(B)402とが存在するデータを適用した。
As specific moving image data, data in which a moving object (A) 401 and a moving object (B) 402 exist in the foreground of a
移動物体(A)401は水平右方向に移動する物体であり、この物体の表示領域の画素に対応する正しい動きベクトルは(Vx,Vy)=(9,0)である。つまり水平右方向の動きベクトルが設定されるべき画素領域である。移動物体(B)402は、水平左方向に移動する物体あり、この物体の表示領域の画素に対応する正しい動きベクトルとしては、(Vx,Vy)=(−9,0)である。つまり、水平左方向の動きベクトルが設定されるべき画素領域である。 The moving object (A) 401 is an object that moves in the horizontal right direction, and the correct motion vector corresponding to the pixel in the display area of this object is (Vx, Vy) = (9, 0). That is, this is a pixel area in which a horizontal right motion vector is to be set. The moving object (B) 402 is an object moving in the horizontal left direction, and (Vx, Vy) = (− 9, 0) is a correct motion vector corresponding to the pixel in the display area of this object. That is, this is a pixel region in which a horizontal left motion vector is to be set.
この動画像データに対して、従来手法、例えば特開2001−61152号公報に開示されている評価値テーブル生成処理、すなわち、図7(B)に示すように、相関演算部から出力される8ビット差分フレームデータを、そのまま適用して積算し生成した評価値テーブルを図19に示す。 For this moving image data, a conventional method, for example, an evaluation value table generation process disclosed in Japanese Patent Application Laid-Open No. 2001-61152, that is, as shown in FIG. FIG. 19 shows an evaluation value table generated by applying the bit difference frame data as it is and integrating the bit difference frame data.
一方、図7(A)、および図14、図15、図16を参照して説明した、本発明に係る評価値テーブル形成部の処理に従って生成した度数分布型評価値テーブルを図20に示す。図20に示すテーブルは、可変閾値と代表点選別を併用して形成した度数分布型の評価値テーブルである。 On the other hand, FIG. 20 shows a frequency distribution type evaluation value table generated in accordance with the processing of the evaluation value table forming unit according to the present invention described with reference to FIG. 7A and FIGS. 14, 15, and 16. The table shown in FIG. 20 is a frequency distribution type evaluation value table formed by using a variable threshold and representative point selection together.
図20に示す度数分布型評価値テーブルは、図7(A)に示すように、相関演算部210が代表点マッチング処理によって生成した8ビット差分フレームデータを相関判定部230において、1ビットデータとして、これを積算した結果に基づくテーブルであり、また、図14、図15、図16を参照して説明したように、
a.代表点近傍領域の空間内変動が微小な定常部にある代表点
b.静止領域にある代表点
c.候補数が多い代表点
これらの信頼性の低いと判定される代表点に対応する相関判定結果を度数分布型評価値テーブルに積算する度数から排除する処理を行なって生成したテーブルである。
The frequency distribution type evaluation value table shown in FIG. 20 includes, as shown in FIG. 7A, 8-bit difference frame data generated by the
a. A representative point in a stationary part where the variation in the space in the vicinity of the representative point is small b. Representative points in the stationary region c. A representative point with a large number of candidates is a table generated by performing a process of excluding the correlation determination result corresponding to the representative point determined to have low reliability from the frequency accumulated in the frequency distribution evaluation value table.
図19においては、移動物体(A)に対応する動きベクトル(9,0)に対応するピーク(極値)411と、移動物体(B)に対応する動きベクトル(−9,0)に対応するピーク(極値)412と、背景の静止領域に対応する静止を示す動きベトクル(0,0)に対応するピーク(極値)413の3つのピーク(極値)が出現している。画面上では、背景の静止領域が最も多い部分を占めるため、背景の静止領域に対応する静止を示す動きベトクル(0,0)に対応するピーク(極値)413が最も大きなピークを示し、移動物体(A)に対応する動きベクトル(9,0)に対応するピーク(極値)411と、移動物体(B)に対応する動きベクトル(−9,0)に対応するピーク(極値)412とが目立ちにくいピーク(極値)を示す結果となっている。 In FIG. 19, it corresponds to the peak (extreme value) 411 corresponding to the motion vector (9, 0) corresponding to the moving object (A) and the motion vector (−9, 0) corresponding to the moving object (B). Three peaks (extreme values), that is, a peak (extreme value) 412 and a peak (extreme value) 413 corresponding to a motion vector (0, 0) indicating stillness corresponding to the still region of the background, appear. Since the background still area occupies the most part on the screen, the peak (extreme value) 413 corresponding to the motion vector (0, 0) indicating the stillness corresponding to the background still area shows the largest peak and moves. A peak (extreme value) 411 corresponding to the motion vector (9, 0) corresponding to the object (A) and a peak (extreme value) 412 corresponding to the motion vector (−9, 0) corresponding to the moving object (B). The result shows a peak (extreme value) that is not conspicuous.
一方、本発明の構成を適用して生成したテーブルである図20に示すテーブルでは、移動物体(A)に対応する動きベクトル(9,0)に対応するピーク421と、移動物体(B)に対応する動きベクトル(−9,0)に対応するピーク422が、図19のテーブルに比較して、大きなピーク(極値)を示し、背景の静止領域に対応する静止を示す動きベトクル(0,0)を示すピーク(極値)423は、目立たない結果となっている。これは、図14、図15、図16を参照して説明したように、
a.代表点近傍領域の空間内変動が微小な定常部にある代表点
b.静止領域にある代表点
c.候補数が多い代表点
これらの信頼性の低いと判定される代表点に対応する相関判定結果を度数分布型評価値テーブルに積算する度数から排除する処理を行なって生成した結果に基づくものである。
On the other hand, in the table shown in FIG. 20, which is a table generated by applying the configuration of the present invention, the
a. A representative point in a stationary part where the variation in the space in the vicinity of the representative point is small b. Representative points in the stationary region c. Representative points with a large number of candidates This is based on the results generated by performing the process of excluding the correlation determination results corresponding to the representative points determined to have low reliability from the frequencies accumulated in the frequency distribution evaluation value table. .
ピークを分かりやすくするために、図21および図22に、2次元的に表現した評価値テーブルを示す。図21は、図19に示した従来型の8ビット差分データを積算した結果として得られた評価値テーブルの2次元データである。図22は、図20に示した本発明の構成に従って生成した度数分布型の評価値テーブルの2次元データである。 In order to make the peak easy to understand, FIGS. 21 and 22 show two-dimensionally expressed evaluation value tables. FIG. 21 is two-dimensional data of an evaluation value table obtained as a result of integrating the conventional 8-bit difference data shown in FIG. FIG. 22 shows two-dimensional data of a frequency distribution type evaluation value table generated according to the configuration of the present invention shown in FIG.
図21においては、移動物体(A)に対応する動きベクトル(9,0)に対応するピーク(極値)411と、移動物体(B)に対応する動きベクトル(−9,0)に対応するピーク(極値)412と、背景の静止領域に対応する静止を示す動きベトクル(0,0)に対応するピーク(極値)413の3つのピーク(極値)が出現し、静止を示す動きベトクル(0,0)に対応するピーク(極値)413が最も大きなピークを示し、移動物体に対応する動きベクトル(9,0)または(−9,0)のピーク(極値)411,412の急峻度が小さく、誤検出しやすい評価値テーブルとなっている。 In FIG. 21, it corresponds to the peak (extreme value) 411 corresponding to the motion vector (9, 0) corresponding to the moving object (A) and the motion vector (−9, 0) corresponding to the moving object (B). Three peaks (extreme values) 413 corresponding to a peak (extreme value) 412 and a movement vector (0, 0) corresponding to a stationary region corresponding to a stationary region of the background appear, and motion indicating stationary The peak (extreme value) 413 corresponding to the vehicle (0, 0) shows the largest peak, and the peak (extreme value) 411, 412 of the motion vector (9, 0) or (-9, 0) corresponding to the moving object. The evaluation value table has a small steepness and is easy to be erroneously detected.
一方、図22においては、移動物体(A)に対応する動きベクトル(9,0)に対応するピーク421と、移動物体(B)に対応する動きベクトル(−9,0)に対応するピーク422が、大きなピーク(極値)であり急峻度が大きく確実な検出が可能なテーブルとなっている。背景の静止領域に対応する静止を示す動きベトクル(0,0)を示すピーク(極値)423が小さいものとなっているが、これは、代表点の静止判定による選別を行ったため必然の現象であり、代表点の静止判定による選別を行った場合は、候補ベクトルの中に、必須として静止ベクトルを必ず含めるようにすることで、評価値テーブルから検出する必要はなく、問題はない。
On the other hand, in FIG. 22, a
[6.候補ベクトル抽出処理の詳細]
前述したように、評価値テーブルにおいて出現するピーク(極値)の位置が、1画面に存在する動きに対応し、この評価値テーブルにおいて出現するピーク(極値)の位置に基づいて候補ベクトルが取得される。例えば図20、図22に示した度数分布型評価値テーブルでは、動きベクトル(9,0)と、動きベクトル(−9,0)が候補ベクトルとして抽出可能である。
[6. Details of candidate vector extraction process]
As described above, the position of the peak (extreme value) appearing in the evaluation value table corresponds to the movement existing on one screen, and the candidate vector is determined based on the position of the peak (extreme value) appearing in the evaluation value table. To be acquired. For example, in the frequency distribution evaluation value table shown in FIGS. 20 and 22, the motion vector (9, 0) and the motion vector (−9, 0) can be extracted as candidate vectors.
評価値テーブルにおけるピーク(極値)の急峻度が大きい方が信憑性が高く、度数が多い方も信憑性が高いと言える。以下、これらを考慮した評価値テーブルからの候補ベクトル抽出方法を説明する。 It can be said that the higher the peak (extreme value) steepness in the evaluation value table, the higher the credibility, and the higher the frequency, the higher the credibility. Hereinafter, a method for extracting candidate vectors from the evaluation value table in consideration of these will be described.
評価値テーブルからの候補ベクトル抽出処理を実行するのは、図5に示す動きベクトル検出装置における候補ベクトル抽出部102である。候補ベクトル抽出部102は、評価値テーブル形成部101が、前述した手法で生成した度数分布型評価値テーブルを受領し、受領した度数分布型評価値テーブルからピーク(極値)検出を実行して、検出したピーク(極値)の座標に基づいて、候補ベクトルを抽出する。
The candidate
前述したように、評価値テーブルはサーチエリアに対応した大きさを持つ。サーチエリアの範囲が、水平方向が−H〜(H−1)、垂直方向が−V〜(V−1)に設定したとすると、評価値テーブルの大きさは、水平が2H、垂直が2Vの大きさとなる。この場合の評価値テーブルの概念図を、図23に示す。図23は、評価値テーブルの平面図を示しており、水平:2H、垂直:2Vはサーチエリアの大きさに対応する。 As described above, the evaluation value table has a size corresponding to the search area. If the search area range is set to -H to (H-1) in the horizontal direction and -V to (V-1) in the vertical direction, the size of the evaluation value table is 2H in the horizontal direction and 2V in the vertical direction. It becomes the size of. A conceptual diagram of the evaluation value table in this case is shown in FIG. FIG. 23 is a plan view of the evaluation value table. Horizontal: 2H and vertical: 2V correspond to the size of the search area.
図5に示す候補ベクトル抽出部102は、評価値テーブル形成部101が生成した評価値テーブルを受領し、受領した評価値テーブルからピーク(極値)を調べるために、図23に示す評価値テーブル500における注目点501の近傍を参照する。注目点501は、座標(i,j)を有する。
The candidate
例えば、サーチエリアの中心位置にピークがある場合は、静止ベクトル(0,0)に対応する。候補ベクトル抽出部102は、各座標(i,j)地点にピークがあるか否かを判定する処理を行い、ピークがあると判定された座標(i,j)に対応する候補ベクトルを抽出する。
For example, when there is a peak at the center position of the search area, it corresponds to the still vector (0, 0). The candidate
サーチエリアの中央、例えば座標(0,0)にピークがある場合は、静止ベクトル(0,0)が候補ベクトルとして抽出される。ただし、本発明の度数分布型評価値テーブルでは、静止ベクトル(0,0)に対応する候補ベクトルは、評価値テーブルからに求める対象ではないので静止ベクトル(0,0)に対応するピーク(極値)を検出することは必須ではない。 When there is a peak at the center of the search area, for example, at coordinates (0, 0), the still vector (0, 0) is extracted as a candidate vector. However, in the frequency distribution type evaluation value table of the present invention, the candidate vector corresponding to the static vector (0, 0) is not a target to be obtained from the evaluation value table, and therefore the peak (pole) corresponding to the static vector (0, 0) is used. It is not essential to detect (value).
候補ベクトル抽出部102は、評価値テーブル500におけるピークを検出する処理を実行するが、この場合、評価値テーブル情報を格納するメモリの情報領域をサーチエリアと同一の大きさに設定すると、ピーク位置が、評価値テーブルの上下左右の端に位置する場合に、正確なピーク位置の検出が困難となる場合がある。従って、評価値テーブルメモリの大きさは、サーチエリアより少し広めに設定しておくことが好ましい。
The candidate
候補ベクトル抽出部102の構成を示すブロック図を、図24に示す。候補ベクトル抽出部102は、データ変換部511、変換データメモリ512、頻度順ソート処理部513を有する。まず、データ変換部511において、評価値テーブルのデータf(i,j)を、極値データを加味した変換を行い、変換データg(i,j)を作成する。データf(i,j)は、座標(i,j)の度数を示す。変換データg(i,j)は、度数を示すデータf(i,j)に対して、極値位置あるいは、極値位置と極値の急峻度を考慮して、データf(i,j)に基づく演算を実行した結果である。これらの処理の詳細については後述する。変換データg(i,j)は、変換データメモリ512に格納される。
A block diagram showing the configuration of the candidate
変換データメモリ512に格納された変換データは、その後、頻度順ソート処理部513で、変換データg(i,j)の大きい値から、順番に、予め設定された候補ベクトル数に対応するデータを順に取り出し、これらを候補ベクトルとする。
The conversion data stored in the
データ変換部511において実行する評価値テーブルから取得される極値の度数を示すデータf(i,j)に基づく変換処理の詳細について説明する。極値の度数を示すデータf(i,j)に基づいて変換データg(i,j)を算出する2つの手法について説明する。
Details of the conversion process based on the data f (i, j) indicating the frequency of the extreme value acquired from the evaluation value table executed in the
(6.1.ピーク(極値)位置検出方式)
これは、ピーク(極値)の急峻度は加味しないで、ピーク(極値)の位置のみを重視する方法である。処理フローを、図25に示す。このピーク(極値)位置検出方式の概要は、注目点の水平方向両隣の傾きの変化が凸になっている(2次微分成分が0を越える値)、且つ、注目点の垂直方向両隣の傾きの変化が凸になっている場合は、その注目点はピーク(極値)であるので、その度数f(i,j)をそのままg(i,j)として設定し、それ以外は、ピーク(極値)ではないので、度数をリセットし、g(i,j)=0とするデータ変換処理を行なう方式である。この変換データ、すなわちピークとして識別され、0以外の値が設定された変換データg(i,j)の値の大きい方から、予め設定された有限個を候補ベクトルとして抽出する。
(6.1. Peak (extreme value) position detection method)
This is a method that places importance on only the position of the peak (extreme value) without taking into account the steepness of the peak (extreme value). The processing flow is shown in FIG. The outline of the peak (extreme value) position detection method is that the change in the slope of the target point on both sides in the horizontal direction is convex (the second derivative component exceeds 0), and the target point is adjacent to the target point in the vertical direction. If the change in slope is convex, the point of interest is the peak (extreme value), so the frequency f (i, j) is set as g (i, j) as it is, and otherwise the peak Since it is not (extreme value), the frequency conversion is reset and data conversion processing is performed so that g (i, j) = 0. A finite number set in advance is extracted as a candidate vector from the larger one of the converted data g (i, j), which is identified as converted data, that is, identified as a peak and set to a value other than 0.
フローの各ステップについて説明する。ステップS401において、初期設定として、i=0,j=0、すなわち図23に示すサーチエリアに対応する評価値テーブル内の1つの座標点の位置に処理対象を設定する。 Each step of the flow will be described. In step S401, as an initial setting, a processing target is set to i = 0, j = 0, that is, the position of one coordinate point in the evaluation value table corresponding to the search area shown in FIG.
ステップS402においてj<2V、ステップS403において、i<2Hすなわち処理対象が評価値テーブルの内部座標であるかを判定し、評価値テーブルの内部座標である場合には、ステップS404において、
A=f(i,j)×2−f(i+1,j)−f(i−1,j)
B=f(i,j)×2−f(i,j+1)−f(i,j−1)
を算出する。
In step S402, j <2V, and in step S403, it is determined whether i <2H, that is, whether the processing target is an internal coordinate of the evaluation value table. If it is an internal coordinate of the evaluation value table, in step S404,
A = f (i, j) × 2-f (i + 1, j) −f (i−1, j)
B = f (i, j) × 2-f (i, j + 1) −f (i, j−1)
Is calculated.
Aは、注目点(i,j)における評価値テーブルの度数f(i,j)が水平方向でピークを形成している。すなわち、水平方向両隣の傾きの変化が凸になっているか否かの指標値であり、Bは、注目点(i,j)における評価値テーブルの度数f(i,j)が垂直方向でピークを形成している。すなわち、注目点の垂直方向両隣の傾きの変化が凸になっているか否かの指標値である。 In A, the frequency f (i, j) of the evaluation value table at the point of interest (i, j) forms a peak in the horizontal direction. That is, it is an index value indicating whether or not the change in slope on both sides in the horizontal direction is convex, and B is the frequency f (i, j) of the evaluation value table at the point of interest (i, j) that peaks in the vertical direction. Is forming. That is, it is an index value as to whether or not the change in inclination on both sides in the vertical direction of the attention point is convex.
ステップS405において、Aが、予め設定された閾値(TH)より大であるか否かが判定される。大であると判定されると注目点f(i,j)の水平方向両隣の傾きの変化が凸になっている、すなわち注目点(i,j)における評価値テーブルの度数f(i,j)が水平方向でピークを形成していると判定する。 In step S405, it is determined whether A is larger than a preset threshold value (TH). If it is determined that the value is large, the change in the slope of the attention point f (i, j) on both sides in the horizontal direction is convex, that is, the frequency f (i, j) of the evaluation value table at the attention point (i, j). ) Is determined to form a peak in the horizontal direction.
ステップS406において、Bが、予め設定された閾値(TH)より大であるか否かが判定される。大であると判定されると注目点f(i,j)の垂直方向両隣の傾きの変化が凸になっている、すなわち注目点(i,j)における評価値テーブルの度数f(i,j)が垂直方向でピークを形成していると判定する。 In step S406, it is determined whether or not B is larger than a preset threshold value (TH). If it is determined that the value is large, the change in slope of the attention point f (i, j) on both sides in the vertical direction is convex, that is, the frequency f (i, j) of the evaluation value table at the attention point (i, j). ) Form a peak in the vertical direction.
ステップS405、S406の両判定がYesと判定されると、注目点(i,j)における評価値テーブルの度数f(i,j)は水平方向、垂直方向双方においてピーク(極値)を形成しているものと判定し、この場合は、ステップS407において、
g(i,j)=f(i,j)
すなわち、注目点(i,j)における評価値テーブルの度数f(i,j)を変換データとして設定する。
When both determinations in steps S405 and S406 are determined as Yes, the frequency f (i, j) of the evaluation value table at the point of interest (i, j) forms a peak (extreme value) in both the horizontal direction and the vertical direction. In this case, in step S407,
g (i, j) = f (i, j)
That is, the frequency f (i, j) of the evaluation value table at the point of interest (i, j) is set as conversion data.
ステップS405、S406の両判定のいずれかがNoと判定された場合は、注目点(i,j)における評価値テーブルの度数f(i,j)は水平方向、垂直方向双方においてピーク(極値)を形成しているものではないと判定し、この場合は、ステップS408において、
g(i,j)=0
すなわち、変換データ=0として設定する。
If either of the determinations in steps S405 and S406 is determined to be No, the frequency f (i, j) of the evaluation value table at the point of interest (i, j) is a peak (extreme value) in both the horizontal direction and the vertical direction. ) In this case, in this case, in step S408,
g (i, j) = 0
That is, the conversion data = 0 is set.
ステップS409で値(i)の更新処理を実行し、ステップS411で、値(j)の更新処理を実行することで、評価値テーブルを構成する全座標の度数データf(i,j)についての検証を行ない、評価値テーブルの度数f(i,j)が、水平方向、垂直方向双方においてピーク(極値)を形成しているもののみを抽出する。 The update process of the value (i) is executed in step S409, and the update process of the value (j) is executed in step S411, so that the frequency data f (i, j) of all coordinates constituting the evaluation value table is obtained. Verification is performed, and only the frequency f (i, j) in the evaluation value table forms a peak (extreme value) in both the horizontal direction and the vertical direction.
変換データg=0として設定されたデータは、ピーク(極値)とは認められず、頻度順ソート処理部513では、0以外の値が設定された変換データg(i,j)の値の大きい方から並べて、予め設定された有限個を候補ベクトルとして抽出する。
The data set as the conversion data g = 0 is not recognized as a peak (extreme value), and the frequency order
(6.2.フィルタ処理方式)
次に、データ変換部511において実行する度数データf(i,j)から変換データg(i,j)を算出するもう1つの方式として、フィルタ処理方式について説明する。
(6.2. Filter processing method)
Next, a filter processing method will be described as another method for calculating the conversion data g (i, j) from the frequency data f (i, j) executed in the
これは、ピーク(極値)の急峻度も加味する方式であり、フィルタ処理によって、評価値テーブルのデータを変換する方法である。本方式において適用するフィルタ係数の一例を、図26に示す。 This is a method that also takes into account the steepness of the peak (extreme value), and is a method of converting the data of the evaluation value table by filtering. An example of the filter coefficient applied in this method is shown in FIG.
図26(A)が一般形、(B)が処理単位をフレームとした場合、(C)が処理単位をフィールドとした場合のフィルタ係数設定例を示している。注目点の頻度に2次微分成分を加算した形になっている。本フィルタ処理方式によるデータ変換処理フローを、図27に示す。 26A shows a filter coefficient setting example when the general form is used, FIG. 26B shows the case where the processing unit is a frame, and FIG. 26C shows the case where the processing unit is a field. The second derivative component is added to the frequency of the attention point. FIG. 27 shows a data conversion processing flow according to this filter processing method.
フローの各ステップについて説明する。ステップS501において、初期設定として、i=0,j=0、すなわち図23に示すサーチエリアに対応する評価値テーブルの左上端座標の位置に処理対象を設定する。 Each step of the flow will be described. In step S501, as an initial setting, a processing target is set to i = 0, j = 0, that is, the position of the upper left coordinate of the evaluation value table corresponding to the search area shown in FIG.
ステップS502においてj<2V、ステップS503において、i<2Hすなわち処理対象が評価値テーブルの内部座標であるかを判定し、評価値テーブルの内部座標である場合には、ステップS504において、
g(i,j)=
f(i,j−1)×Coef[1]+f(i−1,j)×Coef[3]
+f(i,j)×Coef[4]+f(i+1,j)×Coef[5]
+f(i,j+1)×Coef[7]
を算出する。
In step S502, j <2V, and in step S503, it is determined whether i <2H, i.e., whether the processing target is an internal coordinate of the evaluation value table. If it is an internal coordinate of the evaluation value table, in step S504,
g (i, j) =
f (i, j−1) × Coef [1] + f (i−1, j) × Coef [3]
+ F (i, j) × Coef [4] + f (i + 1, j) × Coef [5]
+ F (i, j + 1) × Coef [7]
Is calculated.
このように、注目点(i,j)の度数データf(i,j)と、水平方向の2つの隣接位置と、垂直方向の2つの隣接位置の度数データにフィルタ係数をそれぞれ乗算し、その積算結果を、注目座標(i,j)の変換データg(i,j)とする。 In this way, the frequency data f (i, j) of the attention point (i, j), the frequency data of the two adjacent positions in the horizontal direction, and the frequency data of the two adjacent positions in the vertical direction are respectively multiplied by the filter coefficients, The integration result is assumed to be converted data g (i, j) of the target coordinate (i, j).
この処理によって、ピーク(極値)の急峻度が増幅された結果を、注目座標(i,j)の変換データg(i,j)として設定することが可能となる。 By this processing, the result of amplification of the peak (extreme value) steepness can be set as the conversion data g (i, j) of the coordinate of interest (i, j).
ステップS505で値(i)の更新処理を実行し、ステップS511で、値(j)の更新処理を実行することで、評価値テーブルを構成する全座標の度数データf(i,j)についての検証を行ない、フィルタ係数を適用した式によって、各座標の変換データg(i,j)を算出する。 The update process of the value (i) is executed in step S505, and the update process of the value (j) is executed in step S511, whereby the frequency data f (i, j) of all coordinates constituting the evaluation value table is obtained. Verification is performed, and converted data g (i, j) of each coordinate is calculated by an expression to which a filter coefficient is applied.
頻度順ソート処理部513では、フィルタ係数を適用した式によって算出された各座標の変換データg(i,j)の値の大きい方から並べて、予め設定された有限個を候補ベクトルとして抽出する。
The frequency order
[7.動きベクトル決定処理の詳細]
図5に示す動きベクトル検出部103は、候補ベクトル抽出部102が、上述のいずれかの手法によって評価値テーブルから抽出した複数の候補ベクトルから、各画素毎に最適なベクトルを選択して対応付ける処理を行い、各画素毎の動きベクトルを決定する処理を実行する。
[7. Details of motion vector determination process]
The motion
本発明の動きベクトル検出装置における動きベクトル検出部103の構成を図28(A)に示す。比較のため、従来手法の動きベクトル検出処理構成を示すブロック図を図28(B)に示す。また、本発明の動きベクトル検出装置における動きベクトル検出部103の処理概要を説明する図を図29に示す。
FIG. 28A shows the configuration of the motion
動きベクトル検出部においては、複数の候補ベクトルから、各画素毎に最適なベクトルを選択して対応付けて、各画素毎の動きベクトルを決定する。この処理においては、基本的に、各候補ベクトルに基づく移動位置とのブロックマッチングによる評価を行い、最も相関の高い画素データを指す候補ベクトルを選択する。すなわち、複数の候補ベクトルに対するマッチング評価に基づいて、各画素に対応付ける動きベクトルを決定する。 In the motion vector detection unit, an optimal vector is selected and associated with each pixel from a plurality of candidate vectors, and a motion vector for each pixel is determined. In this process, basically, evaluation by block matching with the moving position based on each candidate vector is performed, and a candidate vector indicating the pixel data having the highest correlation is selected. That is, a motion vector to be associated with each pixel is determined based on matching evaluation for a plurality of candidate vectors.
なお、前述したように、候補ベクトルの1つとして静止ベクトル(0,0)がデフォルトの候補ベクトルとして設定される。静止ベクトル(0,0)は、前述の度数分布型の評価値テーブルのピーク検出に基づいて選択される候補ベクトルとは異なり、予めデフォルトの候補ベクトルとして設定されている。動きベクトル検出部103では、度数分布型の評価値テーブルのピーク検出に基づいて選択される候補ベクトルとデフォルトの候補ベクトルとして設定されている静止ベクトル(0,0)の中から、各画素対応の動きベクトルを対応付ける処理を実行する。
As described above, the static vector (0, 0) is set as the default candidate vector as one of the candidate vectors. Unlike the candidate vector selected based on the peak detection of the frequency distribution type evaluation value table, the static vector (0, 0) is set in advance as a default candidate vector. In the motion
例えば、予め設定された候補ベクトル数を3として、前フレーム[Ft−1]と現フレーム[Ft]との間で、上述した度数分布型の評価値テーブル形成した後、評価値テーブルに基づいて候補ベクトルの抽出を行った結果、図29に図示するような3つの候補ベクトルV1,V2,V3が得られたものと仮定する。 For example, assuming that the preset number of candidate vectors is 3, the above-described frequency distribution type evaluation value table is formed between the previous frame [F t−1 ] and the current frame [F t ], and then the evaluation value table is displayed. As a result of extracting candidate vectors based on the above, it is assumed that three candidate vectors V1, V2, and V3 as shown in FIG. 29 are obtained.
静止ベクトル(0,0)も本来考慮すべきであるが、一例として、ここでは、3つの候補ベクトルV1,V2,V3から動きベクトルが選択される場合の処理例を説明する。 Although the static vector (0, 0) should be originally considered, as an example, a processing example when a motion vector is selected from three candidate vectors V1, V2, and V3 will be described here.
前フレーム[Ft−1]のある注目画素をP(0)として、この注目画素に3つの候補ベクトルの中から最良な動きベクトルを決定する処理について説明する。前フレーム[Ft−1]の注目画素P(0)が、候補ベクトル分移動した先の、現フレーム[Ft]の画素を、其々、A(0),B(0),C(0)とする。 A process of determining the best motion vector from among three candidate vectors for the target pixel with P (0) as the target pixel of the previous frame [F t−1 ] will be described. The pixels of the current frame [F t ] to which the target pixel P (0) of the previous frame [F t−1 ] has moved by the candidate vector are respectively A (0), B (0), C ( 0).
また、注目画素P(0)の周辺の隣接画素は、図示するように、P(1),・・・,P(8)の8画素からなるブロックがあるものとする。3つの候補ベクトルV1,V2,V3によって指定される現フレーム[Ft]の画素位置、A(0),B(0),C(0)の周辺にも、図示しないが、それぞれ同様に、A(1),・・・,A(8)、B(1),・・・,B(8)、C(1),・・・,C(8)の画素からなるブロックが存在する。 Assume that adjacent pixels around the target pixel P (0) include a block composed of eight pixels P (1),..., P (8) as shown in the figure. Although not shown in the vicinity of the pixel position of the current frame [F t ] specified by the three candidate vectors V1, V2, and V3, A (0), B (0), and C (0), A (1),..., A (8), B (1),..., B (8), C (1),.
動きベクトル検出部におけるブロックマッチングは、注目画素の周辺画素を含むブロック領域を設定して、前フレーム[Ft−1]のある注目画素をP(0)含むブロックと、候補ベクトル(V1,V2,V3)によって指定される現フレーム[Ft]の画素位置、A(0),B(0),C(0)を含むブロックの画素値の相関を判別する処理である。ここでは、ブロックマッチングサイズは、説明を分かりやすくするために、一例として、3画素×3画素としている。 In block matching in the motion vector detection unit, a block region including peripheral pixels of the target pixel is set, a block including the target pixel P (0) in the previous frame [F t−1 ], and candidate vectors (V1, V2). , V3), the pixel position of the current frame [F t ] and the correlation of the pixel values of the block including A (0), B (0), C (0) are determined. Here, the block matching size is, for example, 3 pixels × 3 pixels for easy understanding.
図28(B)に示す従来の動きベクトル検出手法では、現フレームメモリ631に、現フレーム[Ft]の画素値データを格納し、前フレームメモリ632に、前フレーム[Ft−1]の画素値データを格納して、これらの各メモリから、現フレーム[Ft]の画素値データと、前フレーム[Ft−1]の画素値データを読み出して、ブロックマッチング処理部633において、予め取得済みの候補ベクトルデータに基づいて、各画素を含むブロックを設定して、ブロックマッチング処理を実行し、最も相関の高いブロックに対応する候補ベクトルをその画素の動きベクトルとして設定する処理を実行する。
In the conventional motion vector detection method shown in FIG. 28B, pixel value data of the current frame [F t ] is stored in the
ブロックマッチング処理部633では、候補ベクトルV1,V2,V3がある場合、各画素に対するブロックマッチング処理における評価値として、以下の(式1)、(式2)、(式3)を算出する。 When there are candidate vectors V1, V2, and V3, the block matching processing unit 633 calculates the following (Expression 1), (Expression 2), and (Expression 3) as evaluation values in the block matching process for each pixel.
上記式中、(式1)は、前フレーム[Ft−1]のある注目画素をP(0)含むブロックと、候補ベクトルV1によって指定される現フレーム[Ft]の画素位置、A(0)を含むブロックのブロックマッチング評価値であり、(式2)は、前フレーム[Ft−1]のある注目画素をP(0)含むブロックと、候補ベクトルV2によって指定される現フレーム[Ft]の画素位置、B(0)を含むブロックのブロックマッチング評価値であり、(式3)は、前フレーム[Ft−1]のある注目画素をP(0)含むブロックと、候補ベクトルV3によって指定される現フレーム[Ft]の画素位置、C(0)を含むブロックのブロックマッチング評価値である。 In the above formula, (Formula 1) is a block including a pixel of interest in the previous frame [F t−1 ] P (0) and the pixel position of the current frame [F t ] specified by the candidate vector V1, A ( 0) is a block matching evaluation value of a block including (0), and (Expression 2) is a block including a target pixel of P (0) in the previous frame [F t−1 ] and a current frame [ F t ] is the block matching evaluation value of the block including the pixel position, B (0), and (Equation 3) is a block including the target pixel P (0) in the previous frame [F t−1 ] and a candidate. This is a block matching evaluation value of a block including the pixel position of the current frame [F t ] designated by the vector V3 and C (0).
これらの評価値の最小値となるものを選択し、最小値を出力した式に対応する候補ベクトルを、その画素P(0)の動きベクトルとする処理である。 This is a process of selecting the minimum value of these evaluation values and using the candidate vector corresponding to the expression that outputs the minimum value as the motion vector of the pixel P (0).
図28(A)に示す本発明に係る動きベクトル検出部103は、現フレームメモリ611に、現フレーム[Ft]の画素値データを格納し、前フレームメモリ612に、前フレーム[Ft−1]の画素値データを格納して、これらの各メモリから、現フレーム[Ft]の画素値データと、前フレーム[Ft−1]の画素値データを読み出して、ブロックマッチング処理部615において、候補ベクトルデータに基づいて、各画素を含むブロックを設定して、ブロックマッチング処理を実行するが、ブロックマッチング処理部615におけるブロックマッチング処理の実行前に、マッチング処理を行なう必要のない候補ベクトルの排除を仮判定部614において実行し、マッチング処理を行なう必要のある候補ベクトルのみを選択した後、その選択候補ベクトルを候補ベクトル情報を格納した候補ベクトル情報格納部613からブロックマッチング処理部615に出力し、選択された候補ベクトルについてのみブロックマッチング処理を実行して、最も相関の高いブロックに対応する候補ベクトルをその画素の動きベクトルとして設定する処理を実行する。
The motion
本発明の手法では、代表点マッチングによって形成した評価値テーブルから候補ベクトルの抽出処理を実行しているものであり、仮判定部614では、前フレーム[Ft−1]の注目画素P(0)と、候補ベクトル(V1,V2,V3)によって指定される現フレーム[Ft]の画素位置、A(0),B(0),C(0)の差分を算出し、この差分が予め定めた閾値より大である場合は、その画素に対応する動きベクトルとしては不適切であると判定し、周囲画素を含めたブロックに基づくブロックマッチング判定を行なう必要がないと判断する。
In the method of the present invention, candidate vector extraction processing is executed from the evaluation value table formed by representative point matching, and the
すなわち、以下の各式において算出する画素値差分が閾値より大となる場合は、その式に対応する候補ベクトルに基づくブロックマッチングを実行しない設定とした。 That is, when the pixel value difference calculated in each of the following expressions is larger than the threshold value, the block matching based on the candidate vector corresponding to the expression is not executed.
仮判定部614は、上記(式4)、(式5)、(式6)を算出する。(式4)は、前フレーム[Ft−1]の注目画素をP(0)と、候補ベクトルV1によって指定される現フレーム[Ft]の画素A(0)の画素値差分の絶対値を示し、(式5)は、前フレーム[Ft−1]の注目画素をP(0)と、候補ベクトルV2によって指定される現フレーム[Ft]の画素B(0)の画素値差分の絶対値を示し、(式6)は、前フレーム[Ft−1]の注目画素をP(0)と、候補ベクトルV3によって指定される現フレーム[Ft]の画素C(0)の画素値差分の絶対値を示している。
The
仮判定部614は、上記(式4)、(式5)、(式6)の算出結果Ea',Eb',Ec'を予め定めた閾値と比較し、閾値より大である場合は、その式に対応する候補ベクトルをブロックマッチング処理の対象から除外する。仮判定部614による上記式に基づく判定情報が、候補ベクトル情報格納部613に入力され、候補ベクトル情報格納部613から、上記式によって求められる画素値差分が、閾値より大である候補ベクトルはブロックマッチング処理部615に出力されず、その候補ベクトルに対応するブロックマッチング処理を実行しない。
The
例えば閾値を画素値差分[32]として設定した場合、前フレーム[Ft−1]の注目画素をP(0)と、候補ベクトルV1,V2,V3によって指定される現フレーム[Ft]の画素A(0),B(0),C(0)の画素値差分絶対値が32を超える場合は、その候補ベクトルを候補ベクトル情報格納部613からブロックマッチング処理部615に出力せず、その候補ベクトルに対応するブロックマッチング処理を実行しない。
For example, when the threshold value is set as the pixel value difference [32], the target pixel of the previous frame [F t−1 ] is P (0) and the current frame [F t ] specified by the candidate vectors V1, V2, and V3. If the pixel value difference absolute value of the pixel A (0), B (0), C (0) exceeds 32, the candidate vector is not output from the candidate vector
仮判定部614を設けることで、ブロックマッチング処理における演算回数を削減しつつ、最良な動きベクトル決定することが可能となる。
By providing the
なお、上述の説明では、静止ベクトル(0,0)に対応する処理を省略して説明しているが、静止ベクトル(0,0)に対応する画素差分値も仮判定部614において、同様に算出し、ブロックマッチング処理の実行対象として選択するか否かを判定し、静止ベクトル(0,0)に対応する画素差分値が閾値より小であれば、ブロックマッチング処理の対象として設定し、ブロックマッチング処理に基づいて、静止ベクトルと、その他の候補ベクトルに対応するブロックマッチング処理の結果から、最も相関の高いブロックに対応する候補ベクトルまたは静止ベクトルが、その画素に対応する動きベクトルとして設定される。
In the above description, the processing corresponding to the still vector (0, 0) is omitted, but the pixel difference value corresponding to the still vector (0, 0) is also similarly determined in the
図30に、動きベクトル決定部における処理手順を説明するフローチャートを示す。各ステップについて説明する。 FIG. 30 is a flowchart illustrating a processing procedure in the motion vector determination unit. Each step will be described.
まず、ステップS601において、前フレームメモリ612から仮判定部614に対して、注目画素データが取り込まれる。ステップS602において、現フレームメモリ611から仮判定部614に対して、候補ベクトルに対応する画素データの取り込みが行なわれる。この処理においては、静止ベクトルに対応する画素データも処理対象として取り込まれる。
First, in step S <b> 601, target pixel data is captured from the
次に、ステップS603において、仮判定部614が、前述の式(式4〜6)に基づいて、ブロックマッチング処理を実行する必要のない候補ベクトルを決定する。この処理においては、静止ベクトルに対応する画素データも処理対象とされ、静止ベクトルに対応して選択される画素の画素値差分データも算出する。
Next, in step S603, the
ステップS604では、仮判定部614において、ブロックマッチング処理を実行する必要があると判定した候補ベクトルの情報が候補ベクトル情報格納部613からブロックマッチング処理部615に取り込まれる。
In step S <b> 604, information on candidate vectors determined to be necessary to execute block matching processing in the
ステップS605では、ブロックマッチング処理部615に対して、前フレームメモリ612から注目画素データが取り込まれる。ステップS606において、仮判定部614がブロックマッチング処理が必要であると判定した候補ベクトル(デフォルト設定の静止ベクトルも含む場合がある)についてのみ、ブロックマッチング処理部615においてブロックマッチング処理が実行される。ステップS607では、ブロックマッチング処理の結果、最も相関の高いブロックに対応する候補ベクトルが選択され、その画素の動きベクトルとして設定する処理を実行する。
In step S <b> 605, the pixel-of-interest data is captured from the
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。 The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the gist of the present invention. In other words, the present invention has been disclosed in the form of exemplification, and should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims section described at the beginning should be considered.
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 The series of processes described in the specification can be executed by hardware, software, or a combined configuration of both. When executing processing by software, the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。 For example, the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium. Alternatively, the program is temporarily or permanently stored on a removable recording medium such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, or a semiconductor memory. It can be stored (recorded). Such a removable recording medium can be provided as so-called package software.
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。 The program is installed on the computer from the removable recording medium as described above, or is wirelessly transferred from the download site to the computer, or is wired to the computer via a network such as a LAN (Local Area Network) or the Internet. The computer can receive the program transferred in this manner and install it on a recording medium such as a built-in hard disk.
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 Note that the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary. Further, in this specification, the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
以上、説明したように、本発明の構成によれば、時間軸上における異なるフレーム間の相関情報に基づく評価値テーブルの生成処理を実行する評価値テーブル形成部に、注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成部を設定し、可変閾値生成部の生成する可変閾値と相関情報との比較処理結果に基づく評価値によって度数分布型の評価値テーブルを生成する構成としたので、必要な演算量や必要なメモリ容量を減少させて、1画素単位での効率的で正確な動きベクトルの検出が可能となり、動画像データの符号化処理などを実行する画像処理装置などにおいて本発明を適用することにより、効率的な動きベクトル検出処理、装置の小型化が可能となる。 As described above, according to the configuration of the present invention, in the evaluation value table forming unit that executes the generation process of the evaluation value table based on the correlation information between different frames on the time axis, the neighboring region pixel including the target pixel A variable threshold value generation unit that generates a variable threshold value based on the feature amount of the variable threshold value is set, and a frequency distribution type evaluation value table is generated based on an evaluation value based on a comparison result between the variable threshold value generated by the variable threshold value generation unit and the correlation information Since it has a configuration, it is possible to detect the motion vector efficiently and accurately in units of one pixel by reducing the required amount of computation and the required memory capacity, and image processing for executing encoding processing of moving image data, etc. By applying the present invention to an apparatus or the like, efficient motion vector detection processing and downsizing of the apparatus can be achieved.
さらに本発明の構成によれば、可変閾値生成部は、相関演算部の算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、注目画素を含む近傍領域画素のダイナミックレンジを算出し、これを閾値算出に適用する特徴量として設定する構成としたので、新たな演算処理構成を実装することなく特徴量の算出が可能となる。また、相関判定部は、相関演算部の算出した相関情報と、可変閾値生成部の生成した閾値との比較処理を実行し、該比較処理結果に基づく1ビットの評価値を算出し、1ビットの評価値を積算した度数分布型の評価値テーブルの生成処理を実行する構成としたので、評価値テーブルの生成処理に伴う積算演算の演算量の削減、および評価値または評価値テーブル格納メモリの容量の削減が実現される。従って、動画像データの符号化処理などを実行する画像処理装置などに本発明を適用することにより、効率的な動きベクトル検出処理が可能となり、装置の小型化も達成される。 Furthermore, according to the configuration of the present invention, the variable threshold value generation unit inputs the interframe difference information calculated by the correlation calculation unit, and calculates the dynamic range of the neighboring region pixel including the target pixel based on the interframe difference information. However, since this is set as a feature amount applied to threshold calculation, the feature amount can be calculated without implementing a new arithmetic processing configuration. The correlation determination unit performs a comparison process between the correlation information calculated by the correlation calculation unit and the threshold generated by the variable threshold generation unit, calculates a 1-bit evaluation value based on the comparison process result, Since the generation processing of the evaluation value table of the frequency distribution type in which the evaluation values are integrated is reduced, the amount of calculation of the integration calculation accompanying the generation processing of the evaluation value table is reduced, and the evaluation value or the evaluation value table storage memory Capacity reduction is realized. Therefore, by applying the present invention to an image processing apparatus that performs encoding processing of moving image data, etc., efficient motion vector detection processing can be performed, and downsizing of the apparatus can be achieved.
10 前フレーム
11 検査ブロックBy
12 サーチエリア
20 現フレーム
21 基準ブロックBx
70 前フレーム
71 代表点Ry
80 現フレーム
81 サーチエリア
90 評価値テーブル
91 前フレーム画素
95,96,97 現フレーム画素
101 評価値テーブル形成部
102 候補ベクトル抽出部
103 動きベクトル検出部
104 制御部(コントローラ)
200 評価値テーブル形成部
210 相関演算部
211 代表点メモリ
212 減算回路
213 絶対値算出部
220 可変閾値生成部
221 特徴量抽出部
222 特徴量メモリ
223 閾値生成部
230 相関判定部
231 比較部
240 代表点選別部
241 基準値メモリ
242 比較部
243 ゲート
250 評価値テーブル算出部
251 評価値積算部
252 評価値テーブルメモリ
260 代表点選別部
261 基準値メモリ
262 比較部
263 フラグメモリ
264 ゲート
270 代表点選別部
271 候補数判定部
301 最大値検出部
302 レジスタ
303 最小値検出部
304 レジスタ
305 減算回路
306 ラッチ
351 ビット分解部
352〜355 OR回路
356 ビット合成部
381 バッファメモリ
382 カウンタ
383 基準値メモリ
384 比較部
385 ゲート
400 静止背景
401 移動物体(A)
402 移動物体(B)
411〜413 ピーク(極値)
421〜423 ピーク(極値)
500 評価値テーブル
501 注目点
511 データ変換部
512 変換データメモリ
513 頻度順ソート処理部
611 現フレームメモリ
612 前フレームメモリ
613 候補ベクトル情報格納部
614 仮判定部
615 ブロックマッチング処理部
631 現フレームメモリ
632 前フレームメモリ
635 ブロックマッチング処理部
10
12
70
80
200 Evaluation Value
402 Moving object (B)
411-413 peak (extreme value)
421 to 423 peak (extreme value)
500 Evaluation Value Table 501 Point of
Claims (21)
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出部とを有し、
前記評価値テーブル形成部は、
時間軸上における異なるフレーム間の相関情報の算出処理を実行する相関演算部と、
注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成部と、
前記相関演算部の算出した相関情報と、前記可変閾値生成部の生成した閾値との比較処理を実行し、該比較処理結果に基づく評価値を算出する相関判定部と、
前記相関判定部の算出した評価値を積算し、積算結果としての評価値テーブルを生成する評価値テーブル算出部と、
を有することを特徴とする動きベクトル検出装置。 A motion vector detection device for detecting a motion vector from moving image data;
An evaluation value table forming unit that generates an evaluation value table based on pixel value correlation information between different frames on the time axis;
A motion vector detection unit that detects and associates a motion vector with respect to a frame constituent pixel of moving image data based on the evaluation value table;
The evaluation value table forming unit
A correlation calculation unit that executes processing for calculating correlation information between different frames on the time axis;
A variable threshold value generating unit that generates a variable threshold value based on a feature amount of a neighboring region pixel including the target pixel;
A correlation determination unit that performs a comparison process between the correlation information calculated by the correlation calculation unit and the threshold value generated by the variable threshold value generation unit, and calculates an evaluation value based on the comparison process result;
An evaluation value table calculation unit that integrates the evaluation values calculated by the correlation determination unit and generates an evaluation value table as an integration result;
A motion vector detection apparatus comprising:
前記評価値テーブルに基づいて1以上の候補ベクトルを抽出する候補ベクトル抽出部を有し、
前記動きベクトル検出部は、
動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する構成であることを特徴とする請求項1に記載の動きベクトル検出装置。 The motion vector detection device further includes:
A candidate vector extraction unit that extracts one or more candidate vectors based on the evaluation value table;
The motion vector detection unit
2. The motion vector detection apparatus according to claim 1, wherein a motion vector corresponding to each frame constituent pixel of the moving image data is selected from the candidate vectors and is associated.
動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルと、デフォルト設定の静止ベクトルの中から選択して各画素に対応付ける処理を実行する構成であることを特徴とする請求項2に記載の動きベクトル検出装置。 The motion vector detection unit
3. A configuration in which a motion vector corresponding to each frame constituent pixel of moving image data is selected from the candidate vector and a default still vector, and a process of associating with each pixel is executed. The motion vector detection device described in 1.
注目画素を含む近傍領域画素のダイナミックレンジを算出し、該ダイナミックレンジを特徴量として、該特徴量に基づく可変閾値を設定する構成であることを特徴とする請求項1に記載の動きベクトル検出装置。 The variable threshold value generator is
The motion vector detection device according to claim 1, wherein a dynamic range of a neighboring region pixel including the target pixel is calculated, and a variable threshold is set based on the dynamic range as a feature amount. .
前記相関演算部の算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出する構成であることを特徴とする請求項4に記載の動きベクトル検出装置。 The variable threshold value generator is
5. The configuration according to claim 4, wherein the inter-frame difference information calculated by the correlation calculation unit is input, and a dynamic range of a neighboring region pixel including the target pixel is calculated based on the inter-frame difference information. The motion vector detection device described.
前記相関演算部の算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出するとともに、該ダイナミックレンジ構成ビットのビット情報圧縮処理により閾値を算出する構成であることを特徴とする請求項4に記載の動きベクトル検出装置。 The variable threshold value generator is
The inter-frame difference information calculated by the correlation calculation unit is input, and based on the inter-frame difference information, a dynamic range of a neighboring region pixel including the target pixel is calculated, and bit information compression processing of the dynamic range constituent bits The motion vector detection device according to claim 4, wherein the threshold value is calculated by the following.
前記相関演算部の算出した相関情報と、前記可変閾値生成部の生成した閾値との比較処理を実行し、該比較処理結果に基づく1ビットの評価値を算出し、出力する構成であることを特徴とする請求項1に記載の動きベクトル検出装置。 The correlation determination unit
Comparing the correlation information calculated by the correlation calculation unit with the threshold value generated by the variable threshold value generation unit, and calculating and outputting a 1-bit evaluation value based on the comparison processing result The motion vector detection device according to claim 1, wherein
前記相関判定部の出力する1ビットの評価値を積算した度数分布型の評価値テーブルの生成処理を実行する構成であることを特徴とする請求項7に記載の動きベクトル検出装置。 The evaluation value table calculation unit includes:
The motion vector detection device according to claim 7, wherein the motion vector detection device is configured to execute a frequency distribution type evaluation value table generation process in which 1-bit evaluation values output from the correlation determination unit are integrated.
動画像データを構成する一方のフレームに設定したブロックの代表点と、他方の異なるフレームに設定したサーチエリアの構成画素の画素値の相関判定処理として実行する代表点マッチング処理に基づいてフレーム間の相関情報を算出する構成であることを特徴とする請求項1に記載の動きベクトル検出装置。 The correlation calculation unit includes:
Based on a representative point matching process that is executed as a correlation determination process between pixel representative values of blocks set in one frame constituting moving image data and pixel values of constituent pixels in a search area set in the other different frame The motion vector detection device according to claim 1, wherein the motion vector detection device is configured to calculate correlation information.
前記ブロックの代表点の画素値として、
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
c.ブロック内のすべての画素の画素値の中間値、
のいずれかの画素値を対応付け、該代表点画素値に基づく相関判定処理を実行する構成であることを特徴とする請求項9に記載の動きベクトル検出装置。 The correlation calculation unit includes:
As the pixel value of the representative point of the block,
a. The pixel value at the center of the block,
b. The average pixel value of all the pixels in the block,
c. An intermediate value of the pixel values of all the pixels in the block,
The motion vector detection device according to claim 9, wherein the pixel value is associated with each other and a correlation determination process based on the representative point pixel value is executed.
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル形成ステップは、
時間軸上における異なるフレーム間の相関情報の算出処理を実行する相関演算ステップと、
注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成ステップと、
前記相関演算ステップにおいて算出した相関情報と、前記可変閾値生成ステップにおいて生成した閾値との比較処理を実行し、該比較処理結果に基づく評価値を算出する相関判定ステップと、
前記相関判定ステップにおいて算出した評価値を積算し、積算結果としての評価値テーブルを生成する評価値テーブル算出ステップと、
を含むことを特徴とする動きベクトル検出方法。 A motion vector detection method for detecting a motion vector from moving image data,
An evaluation value table forming step for generating an evaluation value table based on pixel value correlation information between different frames on the time axis;
A motion vector detection step of detecting and associating a motion vector with respect to a frame constituent pixel of moving image data based on the evaluation value table;
The evaluation value table forming step includes:
A correlation calculation step for performing a calculation process of correlation information between different frames on the time axis;
A variable threshold value generating step for generating a variable threshold value based on a feature amount of a neighboring region pixel including the target pixel;
A correlation determination step of performing a comparison process between the correlation information calculated in the correlation calculation step and the threshold value generated in the variable threshold value generation step, and calculating an evaluation value based on the comparison process result;
An evaluation value table calculation step for integrating the evaluation values calculated in the correlation determination step and generating an evaluation value table as an integration result;
A motion vector detection method comprising:
前記評価値テーブルに基づいて1以上の候補ベクトルを抽出する候補ベクトル抽出ステップを有し、
前記動きベクトル検出ステップは、
動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行するステップであることを特徴とする請求項11に記載の動きベクトル検出方法。 The motion vector detection method further includes:
A candidate vector extracting step of extracting one or more candidate vectors based on the evaluation value table;
The motion vector detection step includes
The motion vector detection method according to claim 11, wherein the motion vector corresponding to each frame constituent pixel of the moving image data is selected from the candidate vectors and is associated.
動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルと、デフォルト設定の静止ベクトルの中から選択して各画素に対応付ける処理を実行するステップであることを特徴とする請求項12に記載の動きベクトル検出方法。 The motion vector detection step includes
13. The step of selecting a motion vector corresponding to each frame constituent pixel of moving image data from the candidate vector and a default still vector and executing a process of associating with each pixel. The motion vector detection method described in 1.
注目画素を含む近傍領域画素のダイナミックレンジを算出し、該ダイナミックレンジを特徴量として、該特徴量に基づく可変閾値を設定するステップであることを特徴とする請求項11に記載の動きベクトル検出方法。 The variable threshold generation step includes
12. The motion vector detection method according to claim 11, comprising calculating a dynamic range of a neighboring region pixel including a target pixel, and setting a variable threshold based on the feature amount using the dynamic range as a feature amount. .
前記相関演算ステップにおいて算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出するステップであることを特徴とする請求項14に記載の動きベクトル検出方法。 The variable threshold generation step includes
The inter-frame difference information calculated in the correlation calculation step is input, and based on the inter-frame difference information, the dynamic range of neighboring region pixels including the target pixel is calculated. The motion vector detection method described.
前記相関演算ステップにおいて算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出するとともに、該ダイナミックレンジ構成ビットのビット情報圧縮処理により閾値を算出するステップであることを特徴とする請求項14に記載の動きベクトル検出方法。 The variable threshold generation step includes
Inter-frame difference information calculated in the correlation calculation step is input, and based on the inter-frame difference information, a dynamic range of a neighboring region pixel including the target pixel is calculated, and bit information compression processing of the dynamic range constituent bits 15. The motion vector detection method according to claim 14, wherein the threshold value is calculated by the step.
前記相関演算ステップにおいて算出した相関情報と、前記可変閾値生成ステップにおいて生成した閾値との比較処理を実行し、該比較処理結果に基づく1ビットの評価値を算出し、出力するステップであることを特徴とする請求項11に記載の動きベクトル検出方法。 The correlation determination step includes
Comparing the correlation information calculated in the correlation calculation step with the threshold value generated in the variable threshold value generation step, calculating and outputting a 1-bit evaluation value based on the comparison processing result The motion vector detection method according to claim 11, wherein
前記相関判定ステップにおいて出力する1ビットの評価値を積算した度数分布型の評価値テーブルの生成処理を実行するステップであることを特徴とする請求項17に記載の動きベクトル検出方法。 The evaluation value table calculation step includes:
18. The motion vector detection method according to claim 17, wherein the motion vector detection method is a step of generating a frequency distribution type evaluation value table obtained by integrating the evaluation values of 1 bit output in the correlation determination step.
動画像データを構成する一方のフレームに設定したブロックの代表点と、他方の異なるフレームに設定したサーチエリアの構成画素の画素値の相関判定処理として実行する代表点マッチング処理に基づいてフレーム間の相関情報を算出するステップであることを特徴とする請求項11に記載の動きベクトル検出方法。 The correlation calculation step includes:
Based on a representative point matching process that is executed as a correlation determination process between pixel representative values of blocks set in one frame constituting moving image data and pixel values of constituent pixels in a search area set in the other different frame The motion vector detection method according to claim 11, wherein the method is a step of calculating correlation information.
前記ブロックの代表点の画素値として、
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
c.ブロック内のすべての画素の画素値の中間値、
のいずれかの画素値を対応付け、該代表点画素値に基づく相関判定処理を実行するステップであることを特徴とする請求項19に記載の動きベクトル検出方法。 The correlation calculation step includes:
As the pixel value of the representative point of the block,
a. The pixel value at the center of the block,
b. The average pixel value of all the pixels in the block,
c. An intermediate value of the pixel values of all the pixels in the block,
The motion vector detection method according to claim 19, wherein the pixel value is associated with each other, and a correlation determination process based on the representative point pixel value is executed.
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル形成ステップは、
時間軸上における異なるフレーム間の相関情報の算出処理を実行する相関演算ステップと、
注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成ステップと、
前記相関演算ステップにおいて算出した相関情報と、前記可変閾値生成ステップにおいて生成した閾値との比較処理を実行し、該比較処理結果に基づく評価値を算出する相関判定ステップと、
前記相関判定ステップにおいて算出した評価値を積算し、積算結果としての評価値テーブルを生成する評価値テーブル算出ステップと、
を含むことを特徴とするコンピュータ・プログラム。 A computer program for executing a motion vector detection process for detecting a motion vector from moving image data;
An evaluation value table forming step for generating an evaluation value table based on pixel value correlation information between different frames on the time axis;
A motion vector detection step of detecting and associating a motion vector with respect to a frame constituent pixel of moving image data based on the evaluation value table;
The evaluation value table forming step includes:
A correlation calculation step for performing a calculation process of correlation information between different frames on the time axis;
A variable threshold value generating step for generating a variable threshold value based on a feature amount of a neighboring region pixel including the target pixel;
A correlation determination step of performing a comparison process between the correlation information calculated in the correlation calculation step and the threshold value generated in the variable threshold value generation step, and calculating an evaluation value based on the comparison process result;
An evaluation value table calculation step for integrating the evaluation values calculated in the correlation determination step and generating an evaluation value table as an integration result;
A computer program comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003412819A JP4207764B2 (en) | 2003-12-11 | 2003-12-11 | Motion vector detection apparatus, motion vector detection method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003412819A JP4207764B2 (en) | 2003-12-11 | 2003-12-11 | Motion vector detection apparatus, motion vector detection method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005175870A true JP2005175870A (en) | 2005-06-30 |
JP4207764B2 JP4207764B2 (en) | 2009-01-14 |
Family
ID=34733113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003412819A Expired - Fee Related JP4207764B2 (en) | 2003-12-11 | 2003-12-11 | Motion vector detection apparatus, motion vector detection method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4207764B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007336462A (en) * | 2006-06-19 | 2007-12-27 | Sony Corp | Motion vector detecting apparatus and method, program and recording medium |
JP2009153093A (en) * | 2007-11-29 | 2009-07-09 | Sony Corp | Motion vector detecting apparatus, motion vector detecting method, and program |
US8724921B2 (en) | 2008-05-05 | 2014-05-13 | Aptina Imaging Corporation | Method of capturing high dynamic range images with objects in the scene |
US8804834B2 (en) | 2010-01-08 | 2014-08-12 | Sony Corporation | Image processing apparatus, image processing method and image processing program |
CN110495177A (en) * | 2017-04-13 | 2019-11-22 | 松下电器(美国)知识产权公司 | Code device, decoding apparatus, coding method and coding/decoding method |
-
2003
- 2003-12-11 JP JP2003412819A patent/JP4207764B2/en not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007336462A (en) * | 2006-06-19 | 2007-12-27 | Sony Corp | Motion vector detecting apparatus and method, program and recording medium |
US8144779B2 (en) | 2006-06-19 | 2012-03-27 | Sony Corporation | Apparatus and method for detecting motion vector, program, and recording medium |
JP2009153093A (en) * | 2007-11-29 | 2009-07-09 | Sony Corp | Motion vector detecting apparatus, motion vector detecting method, and program |
US8724921B2 (en) | 2008-05-05 | 2014-05-13 | Aptina Imaging Corporation | Method of capturing high dynamic range images with objects in the scene |
US8804834B2 (en) | 2010-01-08 | 2014-08-12 | Sony Corporation | Image processing apparatus, image processing method and image processing program |
CN110495177A (en) * | 2017-04-13 | 2019-11-22 | 松下电器(美国)知识产权公司 | Code device, decoding apparatus, coding method and coding/decoding method |
CN110495177B (en) * | 2017-04-13 | 2023-10-20 | 松下电器(美国)知识产权公司 | Decoding device, decoding method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP4207764B2 (en) | 2009-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101098394B1 (en) | Motion vector detecting apparatus and motion vector detecting method | |
JP4991101B2 (en) | Temporary motion vector filtering | |
KR101106419B1 (en) | Image processing apparatus and method, and recording medium | |
JP5338684B2 (en) | Image processing apparatus, image processing method, and program | |
JP5272886B2 (en) | Moving object detection apparatus, moving object detection method, and computer program | |
JP2009147807A (en) | Image processing apparatus | |
JP4525064B2 (en) | Motion vector detection apparatus, motion vector detection method, and computer program | |
JP5979145B2 (en) | Video area detector | |
WO2003102871A2 (en) | Unit for and method of estimating a motion vector | |
JP2010114597A (en) | Motion vector detection apparatus, motion vector processing method and program | |
JP4626158B2 (en) | Motion vector detection apparatus, motion vector detection method, and computer program | |
JP4617883B2 (en) | Image processing apparatus and method, program, and recording medium | |
JP4207764B2 (en) | Motion vector detection apparatus, motion vector detection method, and computer program | |
JP4622264B2 (en) | Motion vector detection apparatus, motion vector detection method, and computer program | |
JP4622265B2 (en) | Motion vector detection device, motion vector detection method, and program | |
US8520742B2 (en) | Moving image compression-coding device, method of compression-coding moving image, and H.264 moving image compression-coding device | |
US20090141802A1 (en) | Motion vector detecting apparatus, motion vector detecting method, and program | |
KR101589492B1 (en) | System and method for motion estimation of digital video using multiple recursion rules | |
JP4525063B2 (en) | Motion vector detection apparatus, motion vector detection method, and computer program | |
JP4207763B2 (en) | Motion vector detection apparatus, motion vector detection method, and computer program | |
WO2022172341A1 (en) | Object detection device, method, and program | |
JP2009021864A (en) | Motion vector searching apparatus | |
JPH09182077A (en) | Image encoding method and device | |
JP2009266169A (en) | Information processor and method, and program | |
JP2009267726A (en) | Moving image encoding apparatus, recorder, moving image encoding method, moving image encoding program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081013 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |