JP2002024834A - Image processing device and method - Google Patents
Image processing device and methodInfo
- Publication number
- JP2002024834A JP2002024834A JP2000210093A JP2000210093A JP2002024834A JP 2002024834 A JP2002024834 A JP 2002024834A JP 2000210093 A JP2000210093 A JP 2000210093A JP 2000210093 A JP2000210093 A JP 2000210093A JP 2002024834 A JP2002024834 A JP 2002024834A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- contour
- prediction
- determining
- backward
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、例えばビデオカメ
ラなどからの映像信号を入力し、前景と背景を分離した
り、移動するオブジェクトの輪郭を切り出すための画像
処理装置及びその方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and method for inputting a video signal from, for example, a video camera and separating a foreground and a background and cutting out a contour of a moving object. .
【０００２】[0002]
【従来の技術】従来のビデオ画像の切り出し方式では、
撮影時に、対象オブジェクトの背景にブルーバックなど
使った処理を行ったり、後工程において、そのビデオ画
像から手動によりオブジェクトの輪郭を切り出す方法が
とられていた。2. Description of the Related Art In a conventional video image clipping method,
At the time of photographing, a method of using a blue background or the like for the background of the target object, or in a later process, manually cutting out the outline of the object from the video image has been adopted.
【０００３】一方、自動によるオブジェクト画像の切り
出しに関しては様々な方法が提案されているが、各種エ
ラーが発生して、適正なオブジェクトの切り出しができ
なかったり、分離処理に膨大な時間がかかるという問題
があった。[0003] On the other hand, various methods have been proposed for automatically extracting an object image. However, there are problems that various errors occur and an appropriate object cannot be extracted, or that a long time is required for separation processing. was there.
【０００４】[0004]
【発明が解決しようとする課題】例えば、従来知られて
いる領域分割を用いた方式によれば、ビデオ画像内の注
目するオブジェクトのみを分割することは難しく、また
オブジェクトに対して過分割になるという問題があっ
た。For example, according to a conventionally known method using region division, it is difficult to divide only an object of interest in a video image, and the object is over-divided. There was a problem.
【０００５】また、ＳＮＡＫＥＳなどの輪郭線の追跡法
は高速であるが、初期輪郭を手動で与えなくてはならな
かったり、画面上に新しく登場したオブジェクトの追跡
に対応しにくいという問題があった。[0005] In addition, although a contour tracing method such as SNAKES is fast, it has a problem that an initial contour must be manually given and it is difficult to track an object newly appearing on the screen. .
【０００６】本発明は上記従来例に鑑みてなされたもの
で、色・テクスチャ情報に基づく領域分割と動きベクト
ルに基づく領域分割とを実行して領域分割する際、動き
ベクトル値の精度に応じていずれの領域分割情報を採用
するかを決定する画像処理装置及びその方法を提供する
ことを目的とする。The present invention has been made in view of the above-mentioned conventional example, and performs region division based on color / texture information and region division based on a motion vector when performing region division in accordance with the accuracy of a motion vector value. It is an object of the present invention to provide an image processing apparatus and a method for determining which area division information to use.
【０００７】また本発明の他の目的は、動きベクトルの
精度が低下する場合には参照フレームの位置を移動させ
て動きベクトルを求めるようにした画像処理装置及びそ
の方法を提供することにある。It is another object of the present invention to provide an image processing apparatus and method for obtaining a motion vector by moving the position of a reference frame when the accuracy of the motion vector is reduced.
【０００８】[0008]
【課題を解決するための手段】上記目的を達成するため
に本発明の画像処理装置は以下のような構成を備える。
即ち、オブジェクトの色或はテクスチャに基づいて当該
オブジェクトの輪郭を求める第１輪郭抽出手段と、前記
オブジェクトの動きに基づいて当該オブジェクトの輪郭
を求める第２輪郭抽出手段と、前記第１及び第２輪郭抽
出手段により抽出された輪郭のいずれかを用いて前記オ
ブジェクトの輪郭を決定する輪郭決定手段と、前方予測
により動きベクトルを算出する前方予測手段と、後方予
測により動きベクトルを算出する後方予測手段と、前記
前方予測手段及び後方予測手段により算出された動きベ
クトル値の連続性を判定する判定手段と、前記判定手段
による判定結果に基づいて、前記第１及び第２輪郭抽出
手段のそれぞれで求められた前記オブジェクトの輪郭に
基づいて領域分割を行う領域分割手段と、を有すること
を特徴とする。In order to achieve the above object, an image processing apparatus according to the present invention has the following arrangement.
That is, first contour extracting means for finding the contour of the object based on the color or texture of the object, second contour extracting means for finding the contour of the object based on the movement of the object, and the first and second contour extracting means. Contour determining means for determining the contour of the object using any of the contours extracted by the contour extracting means, forward predicting means for calculating a motion vector by forward prediction, and backward predicting means for calculating a motion vector by backward prediction Determining means for determining the continuity of the motion vector values calculated by the forward predicting means and the backward predicting means; and determining each of the first and second contour extracting means based on a determination result by the determining means. Region dividing means for performing region division based on the obtained outline of the object.
【０００９】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、オブジェク
トの色或はテクスチャに基づいて当該オブジェクトの輪
郭を求める第１輪郭抽出工程と、前記オブジェクトの動
きに基づいて当該オブジェクトの輪郭を求める第２輪郭
抽出工程と、前記第１及び第２輪郭抽出工程で抽出され
た輪郭のいずれかを用いて前記オブジェクトの輪郭を決
定する輪郭決定工程と、前方予測により動きベクトルを
算出する前方予測工程と、後方予測により動きベクトル
を算出する後方予測工程と、前記前方予測工程及び後方
予測工程で算出された動きベクトル値の連続性を判定す
る判定工程と、前記判定工程による判定結果に基づい
て、前記第１及び第２輪郭抽出工程のそれぞれで求めら
れた前記オブジェクトの輪郭に基づいて領域分割を行う
領域分割工程と、を有することを特徴とする。In order to achieve the above object, the image processing method of the present invention comprises the following steps. That is, a first contour extraction step for finding the contour of the object based on the color or texture of the object, a second contour extraction step for finding the contour of the object based on the motion of the object, and the first and second contour extraction steps. A contour determining step of determining a contour of the object using one of the contours extracted in the contour extracting step, a forward predicting step of calculating a motion vector by forward prediction, and a backward predicting step of calculating a motion vector by backward prediction A determining step of determining the continuity of the motion vector values calculated in the forward prediction step and the backward predicting step; and a first and a second contour extracting step based on the determination result of the determining step. And a region dividing step of dividing the region based on the obtained outline of the object.
【００１０】[0010]
【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
【００１１】図１は、本発明の実施の形態に係るオブジ
ェクト抽出方式を説明するブロック図である。FIG. 1 is a block diagram illustrating an object extraction method according to an embodiment of the present invention.
【００１２】図において、１００は初期輪郭情報の探索
を開始するか否かを判定する判定部を示し、この探索開
始は、ユーザによりマニュアルで指示されても良く、或
は自動的に判定されても良い。１０１は領域分割法を用
いて初期輪郭情報１１０４、及び初期マスク情報１１０
５を生成する部分を示し、本実施の形態では、色・テク
スチャでの領域分割部１０２と、動きベクトルでの領域
分割部１０３と、これらの情報を統合する領域情報の統
合部１０４とを有している。そして、この統合部１０４
で統合した領域の輪郭情報１１０４を出力したり、この
輪郭を中塗りすることにより、生成したマスク情報１１
０５を出力する。１０５は、公知の輪郭追跡法等を使っ
た時間軸方向のトラッキング部である。１０６は、公知
のマスク情報に基づくトラッキング部を示している。In FIG. 1, reference numeral 100 denotes a determination unit for determining whether or not to start the search for the initial contour information. The start of the search may be manually instructed by the user or automatically determined. Is also good. Reference numeral 101 denotes initial contour information 1104 and initial mask information 110 using a region division method.
5 shows a portion for generating the region information. In the present embodiment, the region dividing portion 102 for color / texture, the region dividing portion 103 for motion vector, and the region information integrating portion 104 for integrating these information are provided. are doing. Then, the integration unit 104
By outputting the outline information 1104 of the area integrated by the above, or by filling the outline with the intermediate information,
05 is output. Reference numeral 105 denotes a tracking unit in the time axis direction using a known contour tracking method or the like. Reference numeral 106 denotes a tracking unit based on known mask information.
【００１３】図２（Ａ）〜（Ｃ）は、本実施の形態に係
る領域分割方法を説明する図で、ここでは自動車（オブ
ジェクト）と背景とを分離する場合を示している。FIGS. 2A to 2C are views for explaining a region dividing method according to the present embodiment, and show a case where a car (object) is separated from a background.
【００１４】図２（Ａ）は、色・テクスチャでの領域分
割結果の一例を示す図で、ここでは自動車は様々なテク
スチャで構成されているため、この領域分割方式では過
分割されてしまい、この情報だけではオブジェクト（自
動車）を１つに統合できないことを表している。FIG. 2A is a diagram showing an example of a result of area division by color / texture. Here, since an automobile is composed of various textures, it is over-divided by this area division method. This means that the object (car) cannot be integrated into one by only this information.
【００１５】また図２（Ｂ）は、動きベクトルからの領
域分割結果を説明する図である。FIG. 2B is a diagram for explaining a result of region division from a motion vector.
【００１６】ここで動きベクトルは、公知のブロックマ
ッチング法で求め、動きベクトルの大きさで、動きベク
トルの大きな前景ブロック（ここでは一様な速度で移動
する自動車）と、静止した背景ブロックと、更にはこれ
ら２つとはベクトルが異なる境界ブロックとの、３つの
クラスに分割されることを表している。Here, the motion vector is obtained by a known block matching method. The foreground block (here, an automobile moving at a uniform speed) having a large motion vector, the stationary background block, Furthermore, these two represent that the vector is divided into three classes with different boundary blocks.
【００１７】図２（Ｃ）は、図２（Ｂ）の動きベクトル
において、背景でない領域にある図２（Ａ）の領域（自
動車）を、前景に再分割した結果、得られた領域の輪郭
を表しており、この処理により、オブジェクト（自動
車）の輪郭線が抽出できたことがわかる。FIG. 2 (C) shows the outline of the region obtained as a result of subdividing the region (automobile) shown in FIG. 2 (A) which is not the background in the motion vector of FIG. 2 (B) into the foreground. It can be seen that the outline of the object (vehicle) has been extracted by this processing.
【００１８】このような領域分割処理では、弛緩法など
のように、収束するまで演算を繰り返す方法が採用され
ている。また動きベクトル演算も、探索範囲を広く採っ
たり、ベクトルの精度を高くする方式を採用することも
可能である。In such a region dividing process, a method of repeating an operation until convergence, such as a relaxation method, is adopted. For the motion vector calculation, it is also possible to adopt a method in which the search range is widened or the accuracy of the vector is increased.
【００１９】図３は、本実施の形態に係る動き情報の信
頼性を判定する計算部の構成を示すブロック図である。FIG. 3 is a block diagram showing a configuration of a calculation unit for determining the reliability of motion information according to the present embodiment.
【００２０】図において、動きベクトル計算を計算する
際に、現フレームと１単位時間前（過去）のフレームと
の間の動き予測を後方予測とし、また現フレームと１単
位時間先のフレームとの間の動き予測を前方予測とし
て、各動きベクトル値を計算する。In the figure, when calculating the motion vector calculation, the motion prediction between the current frame and the frame one unit time before (past) is defined as backward prediction, and the motion prediction between the current frame and the frame one unit time ahead is performed. Each motion vector value is calculated using the motion prediction between them as forward prediction.
【００２１】３１は前方予測器、３２は後方予測器であ
る。判定器３３は、これら２つの動きベクトル値をみて
物体の動きを予測し、動きベクトルでの領域分割結果を
使用してもよいか否かを判定する。動きベクトルでの領
域分割結果の信頼性が低いと判定された場合は、その代
わりに以前の動きベクトルでの領域分割結果を使用する
ように切り換え器３４で切り替える。Reference numeral 31 is a forward predictor, and 32 is a backward predictor. The determiner 33 predicts the motion of the object by looking at these two motion vector values, and determines whether or not the result of region segmentation using the motion vector may be used. If it is determined that the reliability of the region division result using the motion vector is low, the switching unit 34 switches to use the region division result using the previous motion vector instead.
【００２２】また一方、動きベクトルでの領域分割結果
の信頼性が高いと判定されると、その動きベクトル情報
を、これ以降でも使えるように保存器３５に保存する。On the other hand, if it is determined that the reliability of the result of the area division by the motion vector is high, the motion vector information is stored in the storage 35 so that it can be used thereafter.
【００２３】図４（Ａ）〜（Ｃ）は、このような前方予
測と後方予測に基づくサインライ性を判定する例を説明
する図で、ここでは物体（自動車）の移動の場合で説明
している。ここでは前方予測はＦで示され、後方予測は
Ｂで示されている。FIGS. 4A to 4C are diagrams for explaining an example of judging the sign liability based on such forward prediction and backward prediction. Here, the case of moving an object (car) will be described. I have. Here, forward prediction is indicated by F, and backward prediction is indicated by B.
【００２４】いま物体が図４（Ａ）のように平行移動す
ると仮定すると、前方予測と後方予測のベクトル値は、
符号の正負が逆であるが、絶対値が同じに計算される。Assuming that the object moves in parallel as shown in FIG. 4A, the vector values of the forward prediction and the backward prediction are as follows.
The sign is opposite, but the absolute value is calculated the same.
【００２５】一方、図４（Ｂ）のように、物体が４００
と４０１で一時停止し、その後４０２で動き始めると、
前方予測と後方予測のベクトル値が異なってくる。この
ような値の変化がある場合、統合する情報として動き情
報での領域分割結果の信頼性が低下していると判定す
る。そこで、このフレームにおいては、前回の動き情報
に基づく領域分割結果を使用する。On the other hand, as shown in FIG.
Pause at 401 and then start moving at 402,
The vector values of forward prediction and backward prediction differ. When there is such a change in the value, it is determined that the reliability of the region division result using the motion information as the information to be integrated is low. Therefore, in this frame, the region division result based on the previous motion information is used.
【００２６】また図４（Ｃ）のように、物体が４０３か
ら逆方向に平行移動し始めると、前方予測と後方予測の
ベクトル値は値が異なってくる。このような値の変化が
ある場合は、統合する情報として、動き情報での領域分
割結果の信頼性が低下する。このような場合は、先のフ
レームでの前方予測と後方予測のベクトル値を調べ、統
合する情報として、どの動き情報での領域分割結果を使
うかを判定する。As shown in FIG. 4C, when the object starts to move in the opposite direction from 403, the vector values of the forward prediction and the backward prediction differ. When there is such a change in the value, the reliability of the result of the area division using the motion information is reduced as information to be integrated. In such a case, the vector values of the forward prediction and the backward prediction in the previous frame are checked, and it is determined which motion information uses the region division result as the information to be integrated.
【００２７】図５は、本実施の形態に係る領域分割を説
明するフローチャートである。FIG. 5 is a flowchart illustrating the area division according to the present embodiment.
【００２８】図において、まずステップＳ１で、現フレ
ームと１単位時間前のフレームとの間の動き予測に基づ
く後方予測を実行し、次にステップＳ２に進み、現フレ
ームと１単位時間先のフレームとの間の動き予測による
前方予測を実施する。次にステップＳ３に進み、ステッ
プＳ１とＳ２とにおける前方及び後方予測の符号と絶対
値が共に等しいかをみる。等しいとき（例えば図４
（Ａ））はステップＳ４に進み、最新の動きベクトルに
基づいて領域分割を実行する。In the figure, first, in step S1, backward prediction is performed based on the motion prediction between the current frame and the frame one unit time earlier, and then the process proceeds to step S2, where the current frame and the frame one unit time ahead are executed. And forward prediction based on the motion prediction between. Next, the process proceeds to step S3, where it is determined whether the signs and absolute values of the forward and backward predictions in steps S1 and S2 are equal. When equal (for example, FIG. 4
(A)) proceeds to step S4 to execute region division based on the latest motion vector.
【００２９】一方、ステップＳ３で、符号と絶対値が共
に等しくないときはステップＳ５に進み、前方予測と後
方予測とで符号のみが異なるかをみる。ここで例えば符
号と絶対値の両方が異なる場合（例えば図４（Ｂ））に
はステップＳ６に進み、前回の動き情報に基づく領域分
割を実行する。On the other hand, if the sign and the absolute value are not equal in step S3, the process proceeds to step S5 to check whether only the sign differs between forward prediction and backward prediction. Here, for example, when both the sign and the absolute value are different (for example, FIG. 4B), the process proceeds to step S6, and the region is divided based on the previous motion information.
【００３０】またステップＳ５で符号のみが異なる場合
（例えば図４（Ｃ））にはステップＳ７に進み、ステッ
プＳ１の後方予測値とステップＳ２における前方予測値
とを調べ、それらの値を基に領域分割に使用するベクト
ル値を決定する。If only the sign is different at step S5 (for example, FIG. 4C), the process proceeds to step S7, where the backward predicted value at step S1 and the forward predicted value at step S2 are examined, and based on these values, Determine the vector values used for region segmentation.
【００３１】以上説明したように本実施の形態１によれ
ば、オブジェクトの動きに応じて最適な動きベクトルを
選択して領域分割を実行することができる。As described above, according to the first embodiment, it is possible to select an optimal motion vector according to the motion of an object and execute region division.
【００３２】［実施の形態２］次に本発明の実施の形態
２について説明する。Second Embodiment Next, a second embodiment of the present invention will be described.
【００３３】一般に、オブジェクトの動きが遅い場合や
画面サイズが小さい場合は、動きベクトルのベクトル値
が小さくなり、動きベクトルが正確に計算できない場合
がある。特に、参照フレームが隣接フレームだとベクト
ル値が小さくなってしまうことにより、オブジェクトが
静止しているのか、オブジェクトの動きが遅いのかが判
断できなくなることがある。In general, when the movement of an object is slow or the screen size is small, the vector value of the motion vector becomes small, and the motion vector may not be calculated accurately. In particular, if the reference frame is an adjacent frame, the vector value becomes small, so that it may not be possible to determine whether the object is stationary or the object moves slowly.
【００３４】これを回避するために、前方予測および後
方予測の動きベクトルを計算する際に、隣接するフレー
ムより離れたフレームを参照フレームとして使用する。To avoid this, when calculating motion vectors for forward prediction and backward prediction, a frame farther than an adjacent frame is used as a reference frame.
【００３５】図６は、本実施の形態２に係る処理を示す
フローチャートである。FIG. 6 is a flowchart showing processing according to the second embodiment.
【００３６】まずステップＳ１１で、動きベクトルが全
面に亙って"０"かどうかを調べ、そうであればステップ
Ｓ１２に進み、動きベクトルが値を持つところまで、時
間的に参照フレームの位置を離していく。ここでは前方
予測で動きベクトルのベクトル値を、予め決めた範囲内
で参照フレームを変えながら求める。このように参照フ
レームの位置を変更しても、前方予測が"０"の時はステ
ップＳ１３に進み、後方予測による動きベクトルのベク
トル値を、予め決めた範囲内で参照フレームを替えなが
ら求める。このステップＳ１３の後方予測でも"０"であ
った場合はステップＳ１４に進み、そのオブジェクトが
静止していると判定する。この場合には、動きベクトル
による領域分割は信頼性が低いと判定し、このベクトル
値は、これ以降の処理には使用しない。First, in step S11, it is checked whether the motion vector is "0" over the entire surface. If so, the process proceeds to step S12, and the position of the reference frame is temporally shifted until the motion vector has a value. Let go. Here, the vector value of the motion vector is obtained by changing the reference frame within a predetermined range in forward prediction. Even if the position of the reference frame is changed, when the forward prediction is "0", the process proceeds to step S13, and the vector value of the motion vector by backward prediction is obtained while changing the reference frame within a predetermined range. If the backward prediction in step S13 is also "0", the process proceeds to step S14, and it is determined that the object is stationary. In this case, it is determined that the area division by the motion vector has low reliability, and this vector value is not used for the subsequent processing.
【００３７】一方、ステップＳ１１，Ｓ１２，Ｓ１３の
いずれかで、動きベクトルが"０"でないフレームを見つ
けた場合はステップＳ１５に進み、その動きベクトル値
を使用して領域分割を行う。On the other hand, if a frame having a motion vector other than "0" is found in any of steps S11, S12, and S13, the process proceeds to step S15, and area division is performed using the motion vector value.
【００３８】このように本実施の形態２によれば、動き
ベクトルの値が非常に小さい場合には、その動きベクト
ルを求めるための参照フレームの位置を移動させて動き
ベクトルを求めるようにし、参照フレームを移動して
も、オブジェクトの動きが検出されない場合には、その
オブジェクトの動きベクトルを使用した領域分割を行わ
ないようにする。これにより、オブジェクトの動きを正
確に把握でき、動きベクトルを用いた領域分割の精度を
高めることができる。As described above, according to the second embodiment, when the value of the motion vector is very small, the position of the reference frame for obtaining the motion vector is moved to obtain the motion vector. If the motion of the object is not detected even when the frame is moved, the region division using the motion vector of the object is not performed. As a result, the motion of the object can be accurately grasped, and the accuracy of region division using the motion vector can be improved.
【００３９】なお本発明は、複数の機器（例えばホスト
コンピュータ、インターフェース機器、リーダ、プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置に適用してもよい。The present invention may be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.) or may be applied to a device composed of one device.
【００４０】また本発明の目的は、前述した実施形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体（または記録媒体）を、システムあるいは
装置に供給し、そのシステムあるいは装置のコンピュー
タ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプ
ログラムコードを読み出し実行することによっても達成
される。この場合、記憶媒体から読み出されたプログラ
ムコード自体が前述した実施形態の機能を実現すること
になり、そのプログラムコードを記憶した記憶媒体は本
発明を構成することになる。また、コンピュータが読み
出したプログラムコードを実行することにより、前述し
た実施の形態の機能が実現されるだけでなく、そのプロ
グラムコードの指示に基づき、コンピュータ上で稼働し
ているオペレーティングシステム（ＯＳ）などが実際の
処理の一部または全部を行い、その処理によって前述し
た実施形態の機能が実現される場合も含まれる。Another object of the present invention is to supply a storage medium (or a recording medium) on which a program code of software for realizing the functions of the above-described embodiments is recorded to a system or apparatus, and to provide a computer (or computer) of the system or apparatus. This is also achieved by a CPU or an MPU) reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium implements the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention. When the computer executes the readout program code, not only the functions of the above-described embodiment are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. Performs some or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
【００４１】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるＣＰＵなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれる。Further, after the program code read from the storage medium is written into the memory provided in the function expansion card inserted into the computer or the function expansion unit connected to the computer, the program code is read based on the instruction of the program code. , The CPU provided in the function expansion card or the function expansion unit performs part or all of the actual processing,
The case where the function of the above-described embodiment is realized by the processing is also included.
【００４２】以上説明したように本実施の形態によれ
ば、色・テクスチャ情報からの領域分と、動きベクトル
からの領域分割のいずれかを実行し、前方予測或は後方
予測のいずれかで動きベクトルの連続性がなくなったと
判断された場合には、過去の信頼できる動きベクトルを
使って領域分割情報を生成することができる。As described above, according to the present embodiment, one of the region segment from the color / texture information and the region segmentation from the motion vector is executed, and the motion is predicted by either the forward prediction or the backward prediction. When it is determined that the continuity of the vector has been lost, the segmentation information can be generated using a past reliable motion vector.
【００４３】また動きベクトルが小さい場合には、参照
フレームとの時間を空けることにより動きベクトルを算
出することにより、より領域分割の信頼性を上げること
ができる。When the motion vector is small, the reliability of the area division can be further improved by calculating the motion vector by leaving time with the reference frame.
【００４４】[0044]
【発明の効果】以上説明したように本発明によれば、色
・テクスチャ情報に基づく領域分割と動きベクトルに基
づく領域分割とを実行して領域分割する際、動きベクト
ル値の精度に応じていずれの領域分割情報を採用するか
を決定することにより、精度良く領域分割を行うことが
できる。As described above, according to the present invention, when performing region division based on color / texture information and region division based on a motion vector, the region is divided depending on the accuracy of the motion vector value. By determining whether to use the region division information, it is possible to perform region division with high accuracy.
【００４５】また本発明によれば、動きベクトルの精度
が低下する場合には参照フレームの位置を移動させて動
きベクトルを求めることができる。Further, according to the present invention, when the accuracy of the motion vector is reduced, the position of the reference frame can be moved to obtain the motion vector.
【図１】本発明の実施の形態に係るオブジェクト抽出方
式を説明するブロック図である。FIG. 1 is a block diagram illustrating an object extraction method according to an embodiment of the present invention.
【図２】本実施の形態に係る領域分割方法を説明する図
である。FIG. 2 is a diagram illustrating an area dividing method according to the present embodiment.
【図３】本発明の実施の形態に係る動き情報の信頼性判
定を行う計算部の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration of a calculation unit that determines reliability of motion information according to the embodiment of the present invention.
【図４】本実施の形態に係るオブジェクトの動きとベク
トル値を説明する図である。FIG. 4 is a diagram for explaining a motion and a vector value of an object according to the present embodiment.
【図５】本実施の形態１に係る領域分割を説明するフロ
ーチャートである。FIG. 5 is a flowchart illustrating area division according to the first embodiment.
【図６】本発明の実施の形態２に係る領域分割を説明す
るフローチャートである。FIG. 6 is a flowchart illustrating region division according to Embodiment 2 of the present invention.
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB17 CE09 CH01 CH11 DA08 DB02 DB06 DB09 DC17 5C023 AA16 BA02 BA04 BA11 CA02 CA08 5C066 AA12 CA08 CA21 ED02 EF11 GA02 GA32 GA33 GB01 HA01 KA11 KD06 KP02 5L096 AA02 EA35 FA06 FA15 FA41 GA08 HA04 ──────────────────────────────────────────────────の Continued on front page F term (reference) 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB17 CE09 CH01 CH11 DA08 DB02 DB06 DB09 DC17 5C023 AA16 BA02 BA04 BA11 CA02 CA08 5C066 AA12 CA08 CA21 ED02 EF11 GA02 GA32 GA11 GB01 5L096 AA02 EA35 FA06 FA15 FA41 GA08 HA04
Claims (9)
いて当該オブジェクトの輪郭を求める第１輪郭抽出手段
と、 前記オブジェクトの動きに基づいて当該オブジェクトの
輪郭を求める第２輪郭抽出手段と、 前記第１及び第２輪郭抽出手段により抽出された輪郭の
いずれかを用いて前記オブジェクトの輪郭を決定する輪
郭決定手段と、 前方予測により動きベクトルを算出する前方予測手段
と、 後方予測により動きベクトルを算出する後方予測手段
と、 前記前方予測手段及び後方予測手段により算出された動
きベクトル値の連続性を判定する判定手段と、 前記判定手段による判定結果に基づいて、前記第１及び
第２輪郭抽出手段のそれぞれで求められた前記オブジェ
クトの輪郭に基づいて領域分割を行う領域分割手段と、
を有することを特徴とする画像処理装置。A first contour extraction unit for obtaining an outline of the object based on a color or texture of the object; a second outline extraction unit for obtaining an outline of the object based on a movement of the object; And a contour determining means for determining a contour of the object using one of the contours extracted by the second contour extracting means, a forward predicting means for calculating a motion vector by forward prediction, and calculating a motion vector by backward prediction. Backward predicting means; determining means for determining continuity of the motion vector value calculated by the forward predicting means and backward predicting means; and the first and second contour extracting means based on the determination result by the determining means. Region dividing means for performing region division based on the contour of the object determined in each case,
An image processing apparatus comprising:
手段により算出された動きベクトルを用いて、当該動き
ベクトルの連続性の有無を判定することを特徴とする請
求項１に記載の画像処理装置。2. The image according to claim 1, wherein the determination unit determines whether there is continuity of the motion vector using the motion vector calculated by the forward or backward prediction unit. Processing equipment.
り前記動きベクトルの連続性が無くなったと判定される
と、過去の動きベクトルを使って領域分割を行うことを
特徴とする請求項２に記載の画像処理装置。3. The region dividing unit according to claim 2, wherein when the determining unit determines that the continuity of the motion vector is lost, the region dividing unit performs region division using a past motion vector. Image processing device.
の少なくともいずれかは、算出した前記動きベクトルが
所定値以下である場合に、前記前方予測或は後方予測に
おける参照フレームの位置を移動させて前記前方予測或
は後方予測を実施することを特徴とする請求項１乃至３
のいずれか１項に記載の画像処理装置。4. The method according to claim 1, wherein at least one of the forward prediction unit and the backward prediction unit moves a reference frame position in the forward prediction or the backward prediction when the calculated motion vector is equal to or less than a predetermined value. 4. The method according to claim 1, wherein the forward prediction or the backward prediction is performed.
The image processing device according to any one of claims 1 to 4.
いて当該オブジェクトの輪郭を求める第１輪郭抽出工程
と、 前記オブジェクトの動きに基づいて当該オブジェクトの
輪郭を求める第２輪郭抽出工程と、 前記第１及び第２輪郭抽出工程で抽出された輪郭のいず
れかを用いて前記オブジェクトの輪郭を決定する輪郭決
定工程と、 前方予測により動きベクトルを算出する前方予測工程
と、 後方予測により動きベクトルを算出する後方予測工程
と、 前記前方予測工程及び後方予測工程で算出された動きベ
クトル値の連続性を判定する判定工程と、 前記判定工程による判定結果に基づいて、前記第１及び
第２輪郭抽出工程のそれぞれで求められた前記オブジェ
クトの輪郭に基づいて領域分割を行う領域分割工程と、
を有することを特徴とする画像処理方法。5. A first contour extraction step for finding a contour of the object based on a color or texture of the object; a second contour extraction step for finding a contour of the object based on a movement of the object; And a contour determining step of determining a contour of the object using one of the contours extracted in the second contour extracting step, a forward predicting step of calculating a motion vector by forward prediction, and calculating a motion vector by backward prediction. A backward prediction step; a determination step of determining continuity of the motion vector value calculated in the forward prediction step and the backward prediction step; and a first and second contour extraction step based on a determination result of the determination step. An area dividing step of performing area division based on the contour of the object determined in each case;
An image processing method comprising:
測工程により算出された動きベクトルを用いて、当該動
きベクトルの連続性の有無を判定することを特徴とする
請求項５に記載の画像処理方法。6. The image according to claim 5, wherein in the determination step, the presence or absence of continuity of the motion vector is determined using the motion vector calculated in the forward or backward prediction step. Processing method.
前記動きベクトルの連続性が無くなったと判定される
と、過去の動きベクトルを使って領域分割を行うことを
特徴とする請求項６に記載の画像処理方法。7. The area dividing step according to claim 6, wherein, if it is determined in the determining step that the continuity of the motion vector is lost, the area is divided using a past motion vector. Image processing method.
の少なくともいずれかは、算出した前記動きベクトルが
所定値以下である場合に、前記前方予測或は後方予測に
おける参照フレームの位置を移動させて前記前方予測或
は後方予測を実施することを特徴とする請求項５乃至７
のいずれか１項に記載の画像処理方法。8. At least one of the forward prediction step and the backward prediction step includes, when the calculated motion vector is equal to or less than a predetermined value, moving a position of a reference frame in the forward prediction or the backward prediction. 8. The method according to claim 5, wherein the forward prediction or the backward prediction is performed.
The image processing method according to any one of the above.
画像処理方法を実行するプログラムを記憶したことを特
徴とするコンピュータにより読取り可能な記憶媒体。9. A computer-readable storage medium storing a program for executing the image processing method according to claim 5. Description:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000210093A JP2002024834A (en) | 2000-07-11 | 2000-07-11 | Image processing device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000210093A JP2002024834A (en) | 2000-07-11 | 2000-07-11 | Image processing device and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002024834A true JP2002024834A (en) | 2002-01-25 |
Family
ID=18706408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000210093A Withdrawn JP2002024834A (en) | 2000-07-11 | 2000-07-11 | Image processing device and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002024834A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012085233A (en) * | 2010-10-14 | 2012-04-26 | Sharp Corp | Video processing device, video processing method, and program |
| JP2012084056A (en) * | 2010-10-14 | 2012-04-26 | Foundation For The Promotion Of Industrial Science | Object detection device |
| CN103077539A (en) * | 2013-01-23 | 2013-05-01 | 上海交通大学 | Moving object tracking method under complicated background and sheltering condition |
-
2000
- 2000-07-11 JP JP2000210093A patent/JP2002024834A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012085233A (en) * | 2010-10-14 | 2012-04-26 | Sharp Corp | Video processing device, video processing method, and program |
| JP2012084056A (en) * | 2010-10-14 | 2012-04-26 | Foundation For The Promotion Of Industrial Science | Object detection device |
| CN103077539A (en) * | 2013-01-23 | 2013-05-01 | 上海交通大学 | Moving object tracking method under complicated background and sheltering condition |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10803364B2 (en) | Control method, non-transitory computer-readable storage medium for storing control program, and control apparatus | |
| Dufaux et al. | Spatio-temporal segmentation based on motion and static segmentation | |
| JP6759411B2 (en) | Object tracking method and equipment | |
| JP3576987B2 (en) | Image template matching method and image processing apparatus | |
| US6342904B1 (en) | Creating a slide presentation from full motion video | |
| EP1952355B1 (en) | Robust online face tracking | |
| CN110070611B (en) | Face three-dimensional reconstruction method and device based on depth image fusion | |
| KR100609249B1 (en) | Image object tracking method and corresponding system | |
| JP2005123824A (en) | Video object locus composing apparatus, method and program thereof | |
| JP2009522591A (en) | Method and apparatus for controlling autofocus of a video camera by tracking a region of interest | |
| US20180005039A1 (en) | Method and apparatus for generating an initial superpixel label map for an image | |
| JP2013537654A (en) | Method and system for semantic label propagation | |
| KR20210116953A (en) | Method and apparatus for tracking target | |
| CN108122245B (en) | Target behavior description method and device and monitoring equipment | |
| KR20170015299A (en) | Method and apparatus for object tracking and segmentation via background tracking | |
| CN112118483A (en) | Video processing method, device, equipment and storage medium | |
| CN111723713B (en) | Video key frame extraction method and system based on optical flow method | |
| US7024040B1 (en) | Image processing apparatus and method, and storage medium | |
| JP2006244074A (en) | Moving object close-up frame detection method and program, storage medium storing program, moving object close-up shot detection method, moving object close-up frame or shot detection method and program, and storage medium storing program | |
| CN112614184A (en) | Object 6D attitude estimation method and device based on 2D detection and computer equipment | |
| Lee et al. | Hierarchical active shape model with motion prediction for real-time tracking of non-rigid objects | |
| CN112949401B (en) | Image analysis method, device, equipment and computer storage medium | |
| JP2002024834A (en) | Image processing device and method | |
| KR100566629B1 (en) | System for detecting moving objects and method thereof | |
| JP3979768B2 (en) | Digital video segmentation method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071002 |