JP2002024834A - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法Info
- Publication number
- JP2002024834A JP2002024834A JP2000210093A JP2000210093A JP2002024834A JP 2002024834 A JP2002024834 A JP 2002024834A JP 2000210093 A JP2000210093 A JP 2000210093A JP 2000210093 A JP2000210093 A JP 2000210093A JP 2002024834 A JP2002024834 A JP 2002024834A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- contour
- prediction
- determining
- backward
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 色・テクスチャ情報に基づく領域分割と動き
ベクトルに基づく領域分割とを実行して領域分割する
際、動きベクトル値の精度に応じて、いずれの領域分割
情報を採用するかを決定することにより、精度良く領域
分割を行う。 【解決手段】 オブジェクトの色或はテクスチャに基づ
いて当該オブジェクトの輪郭を求めて領域分割を行う領
域分割部１０２と、オブジェクトの動きに基づく動き情
報による領域分割を行う領域分割部１０３と、これら２
つの領域分割情報を統合する統合部１０４とを有し、こ
の統合部１０４は、前方予測及び後方予測により動きベ
クトルを算出し、その算出した動きベクトル値の連続性
に応じて、いずれの領域情報を採用するかを決定する。
ベクトルに基づく領域分割とを実行して領域分割する
際、動きベクトル値の精度に応じて、いずれの領域分割
情報を採用するかを決定することにより、精度良く領域
分割を行う。 【解決手段】 オブジェクトの色或はテクスチャに基づ
いて当該オブジェクトの輪郭を求めて領域分割を行う領
域分割部１０２と、オブジェクトの動きに基づく動き情
報による領域分割を行う領域分割部１０３と、これら２
つの領域分割情報を統合する統合部１０４とを有し、こ
の統合部１０４は、前方予測及び後方予測により動きベ
クトルを算出し、その算出した動きベクトル値の連続性
に応じて、いずれの領域情報を採用するかを決定する。
Description
【０００１】
【発明の属する技術分野】本発明は、例えばビデオカメ
ラなどからの映像信号を入力し、前景と背景を分離した
り、移動するオブジェクトの輪郭を切り出すための画像
処理装置及びその方法に関するものである。
ラなどからの映像信号を入力し、前景と背景を分離した
り、移動するオブジェクトの輪郭を切り出すための画像
処理装置及びその方法に関するものである。
【０００２】
【従来の技術】従来のビデオ画像の切り出し方式では、
撮影時に、対象オブジェクトの背景にブルーバックなど
使った処理を行ったり、後工程において、そのビデオ画
像から手動によりオブジェクトの輪郭を切り出す方法が
とられていた。
撮影時に、対象オブジェクトの背景にブルーバックなど
使った処理を行ったり、後工程において、そのビデオ画
像から手動によりオブジェクトの輪郭を切り出す方法が
とられていた。
【０００３】一方、自動によるオブジェクト画像の切り
出しに関しては様々な方法が提案されているが、各種エ
ラーが発生して、適正なオブジェクトの切り出しができ
なかったり、分離処理に膨大な時間がかかるという問題
があった。
出しに関しては様々な方法が提案されているが、各種エ
ラーが発生して、適正なオブジェクトの切り出しができ
なかったり、分離処理に膨大な時間がかかるという問題
があった。
【０００４】
【発明が解決しようとする課題】例えば、従来知られて
いる領域分割を用いた方式によれば、ビデオ画像内の注
目するオブジェクトのみを分割することは難しく、また
オブジェクトに対して過分割になるという問題があっ
た。
いる領域分割を用いた方式によれば、ビデオ画像内の注
目するオブジェクトのみを分割することは難しく、また
オブジェクトに対して過分割になるという問題があっ
た。
【０００５】また、ＳＮＡＫＥＳなどの輪郭線の追跡法
は高速であるが、初期輪郭を手動で与えなくてはならな
かったり、画面上に新しく登場したオブジェクトの追跡
に対応しにくいという問題があった。
は高速であるが、初期輪郭を手動で与えなくてはならな
かったり、画面上に新しく登場したオブジェクトの追跡
に対応しにくいという問題があった。
【０００６】本発明は上記従来例に鑑みてなされたもの
で、色・テクスチャ情報に基づく領域分割と動きベクト
ルに基づく領域分割とを実行して領域分割する際、動き
ベクトル値の精度に応じていずれの領域分割情報を採用
するかを決定する画像処理装置及びその方法を提供する
ことを目的とする。
で、色・テクスチャ情報に基づく領域分割と動きベクト
ルに基づく領域分割とを実行して領域分割する際、動き
ベクトル値の精度に応じていずれの領域分割情報を採用
するかを決定する画像処理装置及びその方法を提供する
ことを目的とする。
【０００７】また本発明の他の目的は、動きベクトルの
精度が低下する場合には参照フレームの位置を移動させ
て動きベクトルを求めるようにした画像処理装置及びそ
の方法を提供することにある。
精度が低下する場合には参照フレームの位置を移動させ
て動きベクトルを求めるようにした画像処理装置及びそ
の方法を提供することにある。
【０００８】
【課題を解決するための手段】上記目的を達成するため
に本発明の画像処理装置は以下のような構成を備える。
即ち、オブジェクトの色或はテクスチャに基づいて当該
オブジェクトの輪郭を求める第１輪郭抽出手段と、前記
オブジェクトの動きに基づいて当該オブジェクトの輪郭
を求める第２輪郭抽出手段と、前記第１及び第２輪郭抽
出手段により抽出された輪郭のいずれかを用いて前記オ
ブジェクトの輪郭を決定する輪郭決定手段と、前方予測
により動きベクトルを算出する前方予測手段と、後方予
測により動きベクトルを算出する後方予測手段と、前記
前方予測手段及び後方予測手段により算出された動きベ
クトル値の連続性を判定する判定手段と、前記判定手段
による判定結果に基づいて、前記第１及び第２輪郭抽出
手段のそれぞれで求められた前記オブジェクトの輪郭に
基づいて領域分割を行う領域分割手段と、を有すること
を特徴とする。
に本発明の画像処理装置は以下のような構成を備える。
即ち、オブジェクトの色或はテクスチャに基づいて当該
オブジェクトの輪郭を求める第１輪郭抽出手段と、前記
オブジェクトの動きに基づいて当該オブジェクトの輪郭
を求める第２輪郭抽出手段と、前記第１及び第２輪郭抽
出手段により抽出された輪郭のいずれかを用いて前記オ
ブジェクトの輪郭を決定する輪郭決定手段と、前方予測
により動きベクトルを算出する前方予測手段と、後方予
測により動きベクトルを算出する後方予測手段と、前記
前方予測手段及び後方予測手段により算出された動きベ
クトル値の連続性を判定する判定手段と、前記判定手段
による判定結果に基づいて、前記第１及び第２輪郭抽出
手段のそれぞれで求められた前記オブジェクトの輪郭に
基づいて領域分割を行う領域分割手段と、を有すること
を特徴とする。
【０００９】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、オブジェク
トの色或はテクスチャに基づいて当該オブジェクトの輪
郭を求める第１輪郭抽出工程と、前記オブジェクトの動
きに基づいて当該オブジェクトの輪郭を求める第２輪郭
抽出工程と、前記第１及び第２輪郭抽出工程で抽出され
た輪郭のいずれかを用いて前記オブジェクトの輪郭を決
定する輪郭決定工程と、前方予測により動きベクトルを
算出する前方予測工程と、後方予測により動きベクトル
を算出する後方予測工程と、前記前方予測工程及び後方
予測工程で算出された動きベクトル値の連続性を判定す
る判定工程と、前記判定工程による判定結果に基づい
て、前記第１及び第２輪郭抽出工程のそれぞれで求めら
れた前記オブジェクトの輪郭に基づいて領域分割を行う
領域分割工程と、を有することを特徴とする。
理方法は以下のような工程を備える。即ち、オブジェク
トの色或はテクスチャに基づいて当該オブジェクトの輪
郭を求める第１輪郭抽出工程と、前記オブジェクトの動
きに基づいて当該オブジェクトの輪郭を求める第２輪郭
抽出工程と、前記第１及び第２輪郭抽出工程で抽出され
た輪郭のいずれかを用いて前記オブジェクトの輪郭を決
定する輪郭決定工程と、前方予測により動きベクトルを
算出する前方予測工程と、後方予測により動きベクトル
を算出する後方予測工程と、前記前方予測工程及び後方
予測工程で算出された動きベクトル値の連続性を判定す
る判定工程と、前記判定工程による判定結果に基づい
て、前記第１及び第２輪郭抽出工程のそれぞれで求めら
れた前記オブジェクトの輪郭に基づいて領域分割を行う
領域分割工程と、を有することを特徴とする。
【００１０】
【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。
の好適な実施の形態を詳細に説明する。
【００１１】図１は、本発明の実施の形態に係るオブジ
ェクト抽出方式を説明するブロック図である。
ェクト抽出方式を説明するブロック図である。
【００１２】図において、１００は初期輪郭情報の探索
を開始するか否かを判定する判定部を示し、この探索開
始は、ユーザによりマニュアルで指示されても良く、或
は自動的に判定されても良い。１０１は領域分割法を用
いて初期輪郭情報１１０４、及び初期マスク情報１１０
５を生成する部分を示し、本実施の形態では、色・テク
スチャでの領域分割部１０２と、動きベクトルでの領域
分割部１０３と、これらの情報を統合する領域情報の統
合部１０４とを有している。そして、この統合部１０４
で統合した領域の輪郭情報１１０４を出力したり、この
輪郭を中塗りすることにより、生成したマスク情報１１
０５を出力する。１０５は、公知の輪郭追跡法等を使っ
た時間軸方向のトラッキング部である。１０６は、公知
のマスク情報に基づくトラッキング部を示している。
を開始するか否かを判定する判定部を示し、この探索開
始は、ユーザによりマニュアルで指示されても良く、或
は自動的に判定されても良い。１０１は領域分割法を用
いて初期輪郭情報１１０４、及び初期マスク情報１１０
５を生成する部分を示し、本実施の形態では、色・テク
スチャでの領域分割部１０２と、動きベクトルでの領域
分割部１０３と、これらの情報を統合する領域情報の統
合部１０４とを有している。そして、この統合部１０４
で統合した領域の輪郭情報１１０４を出力したり、この
輪郭を中塗りすることにより、生成したマスク情報１１
０５を出力する。１０５は、公知の輪郭追跡法等を使っ
た時間軸方向のトラッキング部である。１０６は、公知
のマスク情報に基づくトラッキング部を示している。
【００１３】図２（Ａ）〜（Ｃ）は、本実施の形態に係
る領域分割方法を説明する図で、ここでは自動車（オブ
ジェクト）と背景とを分離する場合を示している。
る領域分割方法を説明する図で、ここでは自動車（オブ
ジェクト）と背景とを分離する場合を示している。
【００１４】図２（Ａ）は、色・テクスチャでの領域分
割結果の一例を示す図で、ここでは自動車は様々なテク
スチャで構成されているため、この領域分割方式では過
分割されてしまい、この情報だけではオブジェクト（自
動車）を１つに統合できないことを表している。
割結果の一例を示す図で、ここでは自動車は様々なテク
スチャで構成されているため、この領域分割方式では過
分割されてしまい、この情報だけではオブジェクト（自
動車）を１つに統合できないことを表している。
【００１５】また図２（Ｂ）は、動きベクトルからの領
域分割結果を説明する図である。
域分割結果を説明する図である。
【００１６】ここで動きベクトルは、公知のブロックマ
ッチング法で求め、動きベクトルの大きさで、動きベク
トルの大きな前景ブロック（ここでは一様な速度で移動
する自動車）と、静止した背景ブロックと、更にはこれ
ら２つとはベクトルが異なる境界ブロックとの、３つの
クラスに分割されることを表している。
ッチング法で求め、動きベクトルの大きさで、動きベク
トルの大きな前景ブロック（ここでは一様な速度で移動
する自動車）と、静止した背景ブロックと、更にはこれ
ら２つとはベクトルが異なる境界ブロックとの、３つの
クラスに分割されることを表している。
【００１７】図２（Ｃ）は、図２（Ｂ）の動きベクトル
において、背景でない領域にある図２（Ａ）の領域（自
動車）を、前景に再分割した結果、得られた領域の輪郭
を表しており、この処理により、オブジェクト（自動
車）の輪郭線が抽出できたことがわかる。
において、背景でない領域にある図２（Ａ）の領域（自
動車）を、前景に再分割した結果、得られた領域の輪郭
を表しており、この処理により、オブジェクト（自動
車）の輪郭線が抽出できたことがわかる。
【００１８】このような領域分割処理では、弛緩法など
のように、収束するまで演算を繰り返す方法が採用され
ている。また動きベクトル演算も、探索範囲を広く採っ
たり、ベクトルの精度を高くする方式を採用することも
可能である。
のように、収束するまで演算を繰り返す方法が採用され
ている。また動きベクトル演算も、探索範囲を広く採っ
たり、ベクトルの精度を高くする方式を採用することも
可能である。
【００１９】図３は、本実施の形態に係る動き情報の信
頼性を判定する計算部の構成を示すブロック図である。
頼性を判定する計算部の構成を示すブロック図である。
【００２０】図において、動きベクトル計算を計算する
際に、現フレームと１単位時間前（過去）のフレームと
の間の動き予測を後方予測とし、また現フレームと１単
位時間先のフレームとの間の動き予測を前方予測とし
て、各動きベクトル値を計算する。
際に、現フレームと１単位時間前（過去）のフレームと
の間の動き予測を後方予測とし、また現フレームと１単
位時間先のフレームとの間の動き予測を前方予測とし
て、各動きベクトル値を計算する。
【００２１】３１は前方予測器、３２は後方予測器であ
る。判定器３３は、これら２つの動きベクトル値をみて
物体の動きを予測し、動きベクトルでの領域分割結果を
使用してもよいか否かを判定する。動きベクトルでの領
域分割結果の信頼性が低いと判定された場合は、その代
わりに以前の動きベクトルでの領域分割結果を使用する
ように切り換え器３４で切り替える。
る。判定器３３は、これら２つの動きベクトル値をみて
物体の動きを予測し、動きベクトルでの領域分割結果を
使用してもよいか否かを判定する。動きベクトルでの領
域分割結果の信頼性が低いと判定された場合は、その代
わりに以前の動きベクトルでの領域分割結果を使用する
ように切り換え器３４で切り替える。
【００２２】また一方、動きベクトルでの領域分割結果
の信頼性が高いと判定されると、その動きベクトル情報
を、これ以降でも使えるように保存器３５に保存する。
の信頼性が高いと判定されると、その動きベクトル情報
を、これ以降でも使えるように保存器３５に保存する。
【００２３】図４（Ａ）〜（Ｃ）は、このような前方予
測と後方予測に基づくサインライ性を判定する例を説明
する図で、ここでは物体（自動車）の移動の場合で説明
している。ここでは前方予測はＦで示され、後方予測は
Ｂで示されている。
測と後方予測に基づくサインライ性を判定する例を説明
する図で、ここでは物体（自動車）の移動の場合で説明
している。ここでは前方予測はＦで示され、後方予測は
Ｂで示されている。
【００２４】いま物体が図４（Ａ）のように平行移動す
ると仮定すると、前方予測と後方予測のベクトル値は、
符号の正負が逆であるが、絶対値が同じに計算される。
ると仮定すると、前方予測と後方予測のベクトル値は、
符号の正負が逆であるが、絶対値が同じに計算される。
【００２５】一方、図４（Ｂ）のように、物体が４００
と４０１で一時停止し、その後４０２で動き始めると、
前方予測と後方予測のベクトル値が異なってくる。この
ような値の変化がある場合、統合する情報として動き情
報での領域分割結果の信頼性が低下していると判定す
る。そこで、このフレームにおいては、前回の動き情報
に基づく領域分割結果を使用する。
と４０１で一時停止し、その後４０２で動き始めると、
前方予測と後方予測のベクトル値が異なってくる。この
ような値の変化がある場合、統合する情報として動き情
報での領域分割結果の信頼性が低下していると判定す
る。そこで、このフレームにおいては、前回の動き情報
に基づく領域分割結果を使用する。
【００２６】また図４（Ｃ）のように、物体が４０３か
ら逆方向に平行移動し始めると、前方予測と後方予測の
ベクトル値は値が異なってくる。このような値の変化が
ある場合は、統合する情報として、動き情報での領域分
割結果の信頼性が低下する。このような場合は、先のフ
レームでの前方予測と後方予測のベクトル値を調べ、統
合する情報として、どの動き情報での領域分割結果を使
うかを判定する。
ら逆方向に平行移動し始めると、前方予測と後方予測の
ベクトル値は値が異なってくる。このような値の変化が
ある場合は、統合する情報として、動き情報での領域分
割結果の信頼性が低下する。このような場合は、先のフ
レームでの前方予測と後方予測のベクトル値を調べ、統
合する情報として、どの動き情報での領域分割結果を使
うかを判定する。
【００２７】図５は、本実施の形態に係る領域分割を説
明するフローチャートである。
明するフローチャートである。
【００２８】図において、まずステップＳ１で、現フレ
ームと１単位時間前のフレームとの間の動き予測に基づ
く後方予測を実行し、次にステップＳ２に進み、現フレ
ームと１単位時間先のフレームとの間の動き予測による
前方予測を実施する。次にステップＳ３に進み、ステッ
プＳ１とＳ２とにおける前方及び後方予測の符号と絶対
値が共に等しいかをみる。等しいとき（例えば図４
（Ａ））はステップＳ４に進み、最新の動きベクトルに
基づいて領域分割を実行する。
ームと１単位時間前のフレームとの間の動き予測に基づ
く後方予測を実行し、次にステップＳ２に進み、現フレ
ームと１単位時間先のフレームとの間の動き予測による
前方予測を実施する。次にステップＳ３に進み、ステッ
プＳ１とＳ２とにおける前方及び後方予測の符号と絶対
値が共に等しいかをみる。等しいとき（例えば図４
（Ａ））はステップＳ４に進み、最新の動きベクトルに
基づいて領域分割を実行する。
【００２９】一方、ステップＳ３で、符号と絶対値が共
に等しくないときはステップＳ５に進み、前方予測と後
方予測とで符号のみが異なるかをみる。ここで例えば符
号と絶対値の両方が異なる場合（例えば図４（Ｂ））に
はステップＳ６に進み、前回の動き情報に基づく領域分
割を実行する。
に等しくないときはステップＳ５に進み、前方予測と後
方予測とで符号のみが異なるかをみる。ここで例えば符
号と絶対値の両方が異なる場合（例えば図４（Ｂ））に
はステップＳ６に進み、前回の動き情報に基づく領域分
割を実行する。
【００３０】またステップＳ５で符号のみが異なる場合
（例えば図４（Ｃ））にはステップＳ７に進み、ステッ
プＳ１の後方予測値とステップＳ２における前方予測値
とを調べ、それらの値を基に領域分割に使用するベクト
ル値を決定する。
（例えば図４（Ｃ））にはステップＳ７に進み、ステッ
プＳ１の後方予測値とステップＳ２における前方予測値
とを調べ、それらの値を基に領域分割に使用するベクト
ル値を決定する。
【００３１】以上説明したように本実施の形態１によれ
ば、オブジェクトの動きに応じて最適な動きベクトルを
選択して領域分割を実行することができる。
ば、オブジェクトの動きに応じて最適な動きベクトルを
選択して領域分割を実行することができる。
【００３２】［実施の形態２］次に本発明の実施の形態
２について説明する。
２について説明する。
【００３３】一般に、オブジェクトの動きが遅い場合や
画面サイズが小さい場合は、動きベクトルのベクトル値
が小さくなり、動きベクトルが正確に計算できない場合
がある。特に、参照フレームが隣接フレームだとベクト
ル値が小さくなってしまうことにより、オブジェクトが
静止しているのか、オブジェクトの動きが遅いのかが判
断できなくなることがある。
画面サイズが小さい場合は、動きベクトルのベクトル値
が小さくなり、動きベクトルが正確に計算できない場合
がある。特に、参照フレームが隣接フレームだとベクト
ル値が小さくなってしまうことにより、オブジェクトが
静止しているのか、オブジェクトの動きが遅いのかが判
断できなくなることがある。
【００３４】これを回避するために、前方予測および後
方予測の動きベクトルを計算する際に、隣接するフレー
ムより離れたフレームを参照フレームとして使用する。
方予測の動きベクトルを計算する際に、隣接するフレー
ムより離れたフレームを参照フレームとして使用する。
【００３５】図６は、本実施の形態２に係る処理を示す
フローチャートである。
フローチャートである。
【００３６】まずステップＳ１１で、動きベクトルが全
面に亙って"０"かどうかを調べ、そうであればステップ
Ｓ１２に進み、動きベクトルが値を持つところまで、時
間的に参照フレームの位置を離していく。ここでは前方
予測で動きベクトルのベクトル値を、予め決めた範囲内
で参照フレームを変えながら求める。このように参照フ
レームの位置を変更しても、前方予測が"０"の時はステ
ップＳ１３に進み、後方予測による動きベクトルのベク
トル値を、予め決めた範囲内で参照フレームを替えなが
ら求める。このステップＳ１３の後方予測でも"０"であ
った場合はステップＳ１４に進み、そのオブジェクトが
静止していると判定する。この場合には、動きベクトル
による領域分割は信頼性が低いと判定し、このベクトル
値は、これ以降の処理には使用しない。
面に亙って"０"かどうかを調べ、そうであればステップ
Ｓ１２に進み、動きベクトルが値を持つところまで、時
間的に参照フレームの位置を離していく。ここでは前方
予測で動きベクトルのベクトル値を、予め決めた範囲内
で参照フレームを変えながら求める。このように参照フ
レームの位置を変更しても、前方予測が"０"の時はステ
ップＳ１３に進み、後方予測による動きベクトルのベク
トル値を、予め決めた範囲内で参照フレームを替えなが
ら求める。このステップＳ１３の後方予測でも"０"であ
った場合はステップＳ１４に進み、そのオブジェクトが
静止していると判定する。この場合には、動きベクトル
による領域分割は信頼性が低いと判定し、このベクトル
値は、これ以降の処理には使用しない。
【００３７】一方、ステップＳ１１，Ｓ１２，Ｓ１３の
いずれかで、動きベクトルが"０"でないフレームを見つ
けた場合はステップＳ１５に進み、その動きベクトル値
を使用して領域分割を行う。
いずれかで、動きベクトルが"０"でないフレームを見つ
けた場合はステップＳ１５に進み、その動きベクトル値
を使用して領域分割を行う。
【００３８】このように本実施の形態２によれば、動き
ベクトルの値が非常に小さい場合には、その動きベクト
ルを求めるための参照フレームの位置を移動させて動き
ベクトルを求めるようにし、参照フレームを移動して
も、オブジェクトの動きが検出されない場合には、その
オブジェクトの動きベクトルを使用した領域分割を行わ
ないようにする。これにより、オブジェクトの動きを正
確に把握でき、動きベクトルを用いた領域分割の精度を
高めることができる。
ベクトルの値が非常に小さい場合には、その動きベクト
ルを求めるための参照フレームの位置を移動させて動き
ベクトルを求めるようにし、参照フレームを移動して
も、オブジェクトの動きが検出されない場合には、その
オブジェクトの動きベクトルを使用した領域分割を行わ
ないようにする。これにより、オブジェクトの動きを正
確に把握でき、動きベクトルを用いた領域分割の精度を
高めることができる。
【００３９】なお本発明は、複数の機器（例えばホスト
コンピュータ、インターフェース機器、リーダ、プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置に適用してもよい。
コンピュータ、インターフェース機器、リーダ、プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置に適用してもよい。
【００４０】また本発明の目的は、前述した実施形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体（または記録媒体）を、システムあるいは
装置に供給し、そのシステムあるいは装置のコンピュー
タ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプ
ログラムコードを読み出し実行することによっても達成
される。この場合、記憶媒体から読み出されたプログラ
ムコード自体が前述した実施形態の機能を実現すること
になり、そのプログラムコードを記憶した記憶媒体は本
発明を構成することになる。また、コンピュータが読み
出したプログラムコードを実行することにより、前述し
た実施の形態の機能が実現されるだけでなく、そのプロ
グラムコードの指示に基づき、コンピュータ上で稼働し
ているオペレーティングシステム（ＯＳ）などが実際の
処理の一部または全部を行い、その処理によって前述し
た実施形態の機能が実現される場合も含まれる。
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体（または記録媒体）を、システムあるいは
装置に供給し、そのシステムあるいは装置のコンピュー
タ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプ
ログラムコードを読み出し実行することによっても達成
される。この場合、記憶媒体から読み出されたプログラ
ムコード自体が前述した実施形態の機能を実現すること
になり、そのプログラムコードを記憶した記憶媒体は本
発明を構成することになる。また、コンピュータが読み
出したプログラムコードを実行することにより、前述し
た実施の形態の機能が実現されるだけでなく、そのプロ
グラムコードの指示に基づき、コンピュータ上で稼働し
ているオペレーティングシステム（ＯＳ）などが実際の
処理の一部または全部を行い、その処理によって前述し
た実施形態の機能が実現される場合も含まれる。
【００４１】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるＣＰＵなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれる。
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるＣＰＵなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれる。
【００４２】以上説明したように本実施の形態によれ
ば、色・テクスチャ情報からの領域分と、動きベクトル
からの領域分割のいずれかを実行し、前方予測或は後方
予測のいずれかで動きベクトルの連続性がなくなったと
判断された場合には、過去の信頼できる動きベクトルを
使って領域分割情報を生成することができる。
ば、色・テクスチャ情報からの領域分と、動きベクトル
からの領域分割のいずれかを実行し、前方予測或は後方
予測のいずれかで動きベクトルの連続性がなくなったと
判断された場合には、過去の信頼できる動きベクトルを
使って領域分割情報を生成することができる。
【００４３】また動きベクトルが小さい場合には、参照
フレームとの時間を空けることにより動きベクトルを算
出することにより、より領域分割の信頼性を上げること
ができる。
フレームとの時間を空けることにより動きベクトルを算
出することにより、より領域分割の信頼性を上げること
ができる。
【００４４】
【発明の効果】以上説明したように本発明によれば、色
・テクスチャ情報に基づく領域分割と動きベクトルに基
づく領域分割とを実行して領域分割する際、動きベクト
ル値の精度に応じていずれの領域分割情報を採用するか
を決定することにより、精度良く領域分割を行うことが
できる。
・テクスチャ情報に基づく領域分割と動きベクトルに基
づく領域分割とを実行して領域分割する際、動きベクト
ル値の精度に応じていずれの領域分割情報を採用するか
を決定することにより、精度良く領域分割を行うことが
できる。
【００４５】また本発明によれば、動きベクトルの精度
が低下する場合には参照フレームの位置を移動させて動
きベクトルを求めることができる。
が低下する場合には参照フレームの位置を移動させて動
きベクトルを求めることができる。
【図１】本発明の実施の形態に係るオブジェクト抽出方
式を説明するブロック図である。
式を説明するブロック図である。
【図２】本実施の形態に係る領域分割方法を説明する図
である。
である。
【図３】本発明の実施の形態に係る動き情報の信頼性判
定を行う計算部の構成を示すブロック図である。
定を行う計算部の構成を示すブロック図である。
【図４】本実施の形態に係るオブジェクトの動きとベク
トル値を説明する図である。
トル値を説明する図である。
【図５】本実施の形態１に係る領域分割を説明するフロ
ーチャートである。
ーチャートである。
【図６】本発明の実施の形態２に係る領域分割を説明す
るフローチャートである。
るフローチャートである。
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB17 CE09 CH01 CH11 DA08 DB02 DB06 DB09 DC17 5C023 AA16 BA02 BA04 BA11 CA02 CA08 5C066 AA12 CA08 CA21 ED02 EF11 GA02 GA32 GA33 GB01 HA01 KA11 KD06 KP02 5L096 AA02 EA35 FA06 FA15 FA41 GA08 HA04
Claims (9)
- 【請求項１】 オブジェクトの色或はテクスチャに基づ
いて当該オブジェクトの輪郭を求める第１輪郭抽出手段
と、 前記オブジェクトの動きに基づいて当該オブジェクトの
輪郭を求める第２輪郭抽出手段と、 前記第１及び第２輪郭抽出手段により抽出された輪郭の
いずれかを用いて前記オブジェクトの輪郭を決定する輪
郭決定手段と、 前方予測により動きベクトルを算出する前方予測手段
と、 後方予測により動きベクトルを算出する後方予測手段
と、 前記前方予測手段及び後方予測手段により算出された動
きベクトル値の連続性を判定する判定手段と、 前記判定手段による判定結果に基づいて、前記第１及び
第２輪郭抽出手段のそれぞれで求められた前記オブジェ
クトの輪郭に基づいて領域分割を行う領域分割手段と、
を有することを特徴とする画像処理装置。 - 【請求項２】 前記判定手段は、前記前方或は後方予測
手段により算出された動きベクトルを用いて、当該動き
ベクトルの連続性の有無を判定することを特徴とする請
求項１に記載の画像処理装置。 - 【請求項３】 前記領域分割手段は、前記判定手段によ
り前記動きベクトルの連続性が無くなったと判定される
と、過去の動きベクトルを使って領域分割を行うことを
特徴とする請求項２に記載の画像処理装置。 - 【請求項４】 前記前方予測手段及び前記後方予測手段
の少なくともいずれかは、算出した前記動きベクトルが
所定値以下である場合に、前記前方予測或は後方予測に
おける参照フレームの位置を移動させて前記前方予測或
は後方予測を実施することを特徴とする請求項１乃至３
のいずれか１項に記載の画像処理装置。 - 【請求項５】 オブジェクトの色或はテクスチャに基づ
いて当該オブジェクトの輪郭を求める第１輪郭抽出工程
と、 前記オブジェクトの動きに基づいて当該オブジェクトの
輪郭を求める第２輪郭抽出工程と、 前記第１及び第２輪郭抽出工程で抽出された輪郭のいず
れかを用いて前記オブジェクトの輪郭を決定する輪郭決
定工程と、 前方予測により動きベクトルを算出する前方予測工程
と、 後方予測により動きベクトルを算出する後方予測工程
と、 前記前方予測工程及び後方予測工程で算出された動きベ
クトル値の連続性を判定する判定工程と、 前記判定工程による判定結果に基づいて、前記第１及び
第２輪郭抽出工程のそれぞれで求められた前記オブジェ
クトの輪郭に基づいて領域分割を行う領域分割工程と、
を有することを特徴とする画像処理方法。 - 【請求項６】 前記判定工程では、前記前方或は後方予
測工程により算出された動きベクトルを用いて、当該動
きベクトルの連続性の有無を判定することを特徴とする
請求項５に記載の画像処理方法。 - 【請求項７】 前記領域分割工程では、前記判定工程で
前記動きベクトルの連続性が無くなったと判定される
と、過去の動きベクトルを使って領域分割を行うことを
特徴とする請求項６に記載の画像処理方法。 - 【請求項８】 前記前方予測工程及び前記後方予測工程
の少なくともいずれかは、算出した前記動きベクトルが
所定値以下である場合に、前記前方予測或は後方予測に
おける参照フレームの位置を移動させて前記前方予測或
は後方予測を実施することを特徴とする請求項５乃至７
のいずれか１項に記載の画像処理方法。 - 【請求項９】 請求項５乃至８のいずれか１項に記載の
画像処理方法を実行するプログラムを記憶したことを特
徴とするコンピュータにより読取り可能な記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000210093A JP2002024834A (ja) | 2000-07-11 | 2000-07-11 | 画像処理装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000210093A JP2002024834A (ja) | 2000-07-11 | 2000-07-11 | 画像処理装置及びその方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002024834A true JP2002024834A (ja) | 2002-01-25 |
Family
ID=18706408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000210093A Withdrawn JP2002024834A (ja) | 2000-07-11 | 2000-07-11 | 画像処理装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002024834A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012084056A (ja) * | 2010-10-14 | 2012-04-26 | Foundation For The Promotion Of Industrial Science | 物体検出装置 |
| JP2012085233A (ja) * | 2010-10-14 | 2012-04-26 | Sharp Corp | 映像処理装置、映像処理方法、及びプログラム |
| CN103077539A (zh) * | 2013-01-23 | 2013-05-01 | 上海交通大学 | 一种复杂背景及遮挡条件下的运动目标跟踪方法 |
-
2000
- 2000-07-11 JP JP2000210093A patent/JP2002024834A/ja not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012084056A (ja) * | 2010-10-14 | 2012-04-26 | Foundation For The Promotion Of Industrial Science | 物体検出装置 |
| JP2012085233A (ja) * | 2010-10-14 | 2012-04-26 | Sharp Corp | 映像処理装置、映像処理方法、及びプログラム |
| CN103077539A (zh) * | 2013-01-23 | 2013-05-01 | 上海交通大学 | 一种复杂背景及遮挡条件下的运动目标跟踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10803364B2 (en) | Control method, non-transitory computer-readable storage medium for storing control program, and control apparatus | |
| Dufaux et al. | Spatio-temporal segmentation based on motion and static segmentation | |
| JP6759411B2 (ja) | 物体追跡方法および装置 | |
| JP3576987B2 (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
| US6342904B1 (en) | Creating a slide presentation from full motion video | |
| EP1952355B1 (en) | Robust online face tracking | |
| CN110070611B (zh) | 一种基于深度图像融合的人脸三维重建方法和装置 | |
| KR100609249B1 (ko) | 영상 오브젝트 트랙킹 방법과 대응 시스 | |
| JP2005123824A (ja) | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム | |
| EP3070676A1 (en) | A system and a method for estimation of motion | |
| US20180005039A1 (en) | Method and apparatus for generating an initial superpixel label map for an image | |
| JP2013537654A (ja) | 意味ラベル伝ぱのための方法及びシステム | |
| KR20210116953A (ko) | 타겟 트래킹 방법 및 장치 | |
| CN108122245B (zh) | 一种目标行为描述方法、装置和监控设备 | |
| KR20170015299A (ko) | 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치 | |
| CN112118483A (zh) | 视频处理方法、装置、设备和存储介质 | |
| CN111723713B (zh) | 一种基于光流法的视频关键帧提取方法及*** | |
| CN112614184A (zh) | 基于2d检测的物体6d姿态估计方法、装置及计算机设备 | |
| US7024040B1 (en) | Image processing apparatus and method, and storage medium | |
| JP2006244074A (ja) | 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体 | |
| Lee et al. | Hierarchical active shape model with motion prediction for real-time tracking of non-rigid objects | |
| CN112949401B (zh) | 图像分析方法、装置、设备及计算机存储介质 | |
| JP2002024834A (ja) | 画像処理装置及びその方法 | |
| KR100566629B1 (ko) | 이동물체 검출 시스템 및 방법 | |
| JP3979768B2 (ja) | デジタル映像分割方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071002 |