JP2013120504A - オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム - Google Patents
オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム Download PDFInfo
- Publication number
- JP2013120504A JP2013120504A JP2011268456A JP2011268456A JP2013120504A JP 2013120504 A JP2013120504 A JP 2013120504A JP 2011268456 A JP2011268456 A JP 2011268456A JP 2011268456 A JP2011268456 A JP 2011268456A JP 2013120504 A JP2013120504 A JP 2013120504A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature amount
- region
- feature
- object region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】ユーザが指定する注目オブジェクトを高精度に追跡、抽出することが可能なオブジェクト抽出装置の提供。
【解決手段】オブジェクト抽出装置1は、時系列画像から注目するオブジェクト領域を抽出するものであって、時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出部20と、前記時系列画像における参照画像上のオブジェクト領域内の特徴点と時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定部30と、推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と識別特徴量との対比によって、推定した処理対象画像におけるオブジェクトの領域を修正確定する。
【選択図】図1
【解決手段】オブジェクト抽出装置1は、時系列画像から注目するオブジェクト領域を抽出するものであって、時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出部20と、前記時系列画像における参照画像上のオブジェクト領域内の特徴点と時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定部30と、推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と識別特徴量との対比によって、推定した処理対象画像におけるオブジェクトの領域を修正確定する。
【選択図】図1
Description
本発明は、ユーザが所望する注目オブジェクトを映像中より抽出するオブジェクト抽出装置、オブジェクト抽出方法に関する。
近年、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話など撮像機能付き端末が急速に普及している。また、これらのカメラによって撮影された映像に対して、加工や処理を施し、新たな映像を生成する装置がある。例えば、映像中の特定の画像領域を抽出し、抽出した画像領域を部品として映像の加工に利用することや、映像を個々の画像領域毎に抽出し、抽出した映像を元の映像の管理や検索に利用することが知られている。
映像からユーザが指定する注目オブジェクトを追跡し、抽出する手法として、例えば、特許文献1記載の技術がある。
特許文献1では、背景差分に基づいて取得したオブジェクト領域を示すシルエット画像とオブジェクト固有の画像特徴量(色情報)とに基づいて、前記オブジェクトが存在する領域の部分領域を検出し、前記部分領域を前記シルエット画像に基づいて領域を成長させることでオブジェクト領域全体を抽出するオブジェクト抽出装置が開示されている。
特許文献1では、背景差分に基づいて取得したオブジェクト領域を示すシルエット画像とオブジェクト固有の画像特徴量(色情報)とに基づいて、前記オブジェクトが存在する領域の部分領域を検出し、前記部分領域を前記シルエット画像に基づいて領域を成長させることでオブジェクト領域全体を抽出するオブジェクト抽出装置が開示されている。
しかしながら、特許文献1は、背景差分に基づいてオブジェクト領域を示すシルエット画像を取得するため、カメラワークや、シーンチェンジにより背景に変化を伴う場合は、オブジェクト領域を示すシルエット画像内に、背景領域を誤ってオブジェクト領域として抽出することがある。
本発明は上記の点に鑑みてなされたものであり、ユーザが指定する注目オブジェクトを高精度に追跡、抽出することが可能なオブジェクト抽出装置、オブジェクト抽出方法、及びプログラムを提供する。
上記課題を解決するために、本発明の第1の技術手段は、時系列画像から注目するオブジェクト領域を抽出するオブジェクト抽出装置であって、時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出部と、前記時系列画像における参照画像上のオブジェクト領域内の特徴点と前記時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定部と、前記推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と前記算出した識別特徴量との対比によって、前記推定した処理対象画像におけるオブジェクトの領域を修正確定するオブジェクト領域確定部と、を備えることを特徴としたものである。
本発明の第2の技術手段は、第1の技術手段において、前記識別特徴量算出部が、前記基準画像におけるオブジェクト領域を示すシルエット画像に基づいて、オブジェクト領域とオブジェクト周辺領域との識別のための画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定部と、設定した特徴量算出範囲において、所定サイズの小領域毎に前記画像特徴量を算出する画像特徴量算出部と、前記画像特徴量のうち、オブジェクト領域上の画像特徴量をクラスタリングし、オブジェクト領域の画像特徴量を表現するK個の異なる代表画像特徴量を算出する代表画像特徴量算出部と、小領域毎に、該小領域の画像特徴量とK個の異なる代表画像特徴量とから、画像特徴量と代表画像特徴量との類似度ベクトルを算出する類似度ベクトル算出部と、該算出したオブジェクト領域上の類似度ベクトル及びオブジェクト周辺領域の類似度ベクトルから、小領域が特徴量空間上においてオブジェクト領域に属するか否かのクラス境界を表す識別関数を算出する識別関数算出部と、を備え、前記識別特徴量として前記K個の異なる代表画像特徴量と前記識別関数を出力することを特徴としたものである。
本発明の第3の技術手段は、第2の技術手段において、前記オブジェクト領域確定部が、前記推定されたオブジェクト領域を示す推定シルエット画像に基づいて、画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定部と、該設定した特徴量算出範囲において、所定サイズの小領域毎に画像特徴量を算出する画像特徴量算出部と、小領域毎に、該小領域の画像特徴量と、前記基準画像におけるK個の異なる代表画像特徴量とから、前記類似度ベクトルを算出する類似度ベクトル算出部と、を備え、該算出した類似度ベクトルと、前記識別関数に基づいて、各小領域を特徴量空間上においてオブジェクト領域に属するか否かを識別し、該オブジェクト領域に含まれると判定された小領域の集合を前記処理対象画像上のオブジェクト領域と確定することを特徴としたものである。
本発明の第4の技術手段は、第1〜第3のいずれか1の技術手段において、前記オブジェクト領域推定部が、前記参照画像と該参照画像上のオブジェクト領域を示すシルエット画像とから、前記参照画像上のオブジェクト領域内の特徴点を算出する特徴点算出部と、該算出した参照画像上のオブジェクト領域内の特徴点と、前記参照画像上のオブジェクト領域を示すシルエット画像と、前記処理対象画像とから、前記参照画像上のオブジェクト領域内の特徴点と対応する処理対象画像上の特徴点を算出する対応点算出部と、前記参照画像上のオブジェクト領域内の特徴点と、該特徴点と対応する処理対象画像上の特徴点とから、前記参照画像上のオブジェクト領域内の特徴点を該特徴点と対応する処理対象画像上の特徴点へ射影する変換行列を算出する変換行列算出部と、を備え、前記変換行列と、前記参照画像上のオブジェクト領域を示すシルエット画像とから、処理対象画像上の各画素について、変換行列の逆行列を乗じ参照画像上のオブジェクト領域に含まれるか否かを判定し、該オブジェクト領域に含まれると判定された画素の集合を前記処理対象画像上のオブジェクト領域と推定することを特徴としたものである。
本発明の第5の技術手段は、時系列画像から注目するオブジェクト領域を抽出するオブジェクト抽出方法であって、時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出ステップと、前記時系列画像における参照画像上のオブジェクト領域内の特徴点と前記時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定ステップと、前記推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と前記算出した識別特徴量との対比によって、前記推定した処理対象画像におけるオブジェクトの領域を修正確定するオブジェクト領域確定ステップと、を含むことを特徴としたものである。
本発明の第6の技術手段は、第5の技術手段において、前記識別特徴量算出ステップが、前記基準画像におけるオブジェクト領域を示すシルエット画像に基づいて、オブジェクト領域とオブジェクト周辺領域との識別のための画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定ステップと、設定した特徴量算出範囲において、所定サイズの小領域毎に前記画像特徴量を算出する画像特徴量算出ステップと、前記画像特徴量のうち、オブジェクト領域上の画像特徴量をクラスタリングし、オブジェクト領域の画像特徴量を表現するK個の異なる代表画像特徴量を算出する代表画像特徴量算出ステップと、小領域毎に、該小領域の画像特徴量とK個の異なる代表画像特徴量とから、画像特徴量と代表画像特徴量との類似度ベクトルを算出する類似度ベクトル算出ステップと、該算出したオブジェクト領域上の類似度ベクトル及びオブジェクト周辺領域の類似度ベクトルから、小領域が特徴量空間上においてオブジェクト領域に属するか否かのクラス境界を表す識別関数を算出する識別関数算出ステップと、前記識別特徴量として前記K個の異なる代表画像特徴量と前記識別関数を出力するステップと、を含むことを特徴としたものである。
本発明の第7の技術手段は、第6の技術手段において、前記オブジェクト領域確定ステップが、前記推定されたオブジェクト領域を示す推定シルエット画像に基づいて、画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定ステップと、該設定した特徴量算出範囲において、所定サイズの小領域毎に画像特徴量を算出する画像特徴量算出ステップと、小領域毎に、該小領域の画像特徴量と、前記基準画像におけるK個の異なる代表画像特徴量とから、前記類似度ベクトルを算出する類似度ベクトル算出ステップと、該算出した類似度ベクトルと、前記識別関数に基づいて、各小領域を特徴量空間上においてオブジェクト領域に属するか否かを識別し、該オブジェクト領域に含まれると判定された小領域の集合を前記処理対象画像上のオブジェクト領域と確定するステップと、を含むことを特徴としたものである。
本発明の第8の技術手段は、第5〜第7のいずれか1の技術手段において、前記オブジェクト領域推定ステップが、前記参照画像と該参照画像上のオブジェクト領域を示すシルエット画像とから、前記参照画像上のオブジェクト領域内の特徴点を算出する特徴点算出ステップと、該算出した参照画像上のオブジェクト領域内の特徴点と、前記参照画像上のオブジェクト領域を示すシルエット画像と、前記処理対象画像とから、前記参照画像上のオブジェクト領域内の特徴点と対応する処理対象画像上の特徴点を算出する対応点算出ステップと、前記参照画像上のオブジェクト領域内の特徴点と、該特徴点と対応する処理対象画像上の特徴点とから、前記参照画像上のオブジェクト領域内の特徴点を該特徴点と対応する処理対象画像上の特徴点へ射影する変換行列を算出する変換行列算出ステップと、前記変換行列と、前記参照画像上のオブジェクト領域を示すシルエット画像とから、処理対象画像上の各画素について、変換行列の逆行列を乗じ参照画像上のオブジェクト領域に含まれるか否かを判定し、該オブジェクト領域に含まれると判定された画素の集合を前記処理対象画像上のオブジェクト領域と推定するステップと、を含むことを特徴としたものである。
本発明の第9の技術手段は、第1〜第4のいずれか1の技術手段のオブジェクト抽出装置の各処理部として機能させるためのオブジェクト抽出プログラムである。
本発明によれば、ユーザが指定する注目オブジェクトを高精度に追跡、抽出することができる。
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。
図1は、本発明に係るオブジェクト抽出装置の概略構成を表すブロック図である。この図において、オブジェクト抽出装置1は、識別特徴量算出部20、オブジェクト領域推定部30及びオブジェクト領域確定部40を備えている。また図2は、図1のオブジェクト抽出装置1の動作例を説明するフロー図である。
図1のオブジェクト抽出装置1は、時刻t0の画像F(t0)(以降、基準画像ともいう)と、予め作成された、抽出対象となるオブジェクトの基準画像上の領域を示すシルエット画像S(t0)を外部より取得し、識別特徴量算出部20へ入力する(図2のステップS1−1)。ここで、シルエット画像S(t)とは、「S(x,y|t)=1」となる画素の集合をオブジェクト領域(前景領域ともいう)、「S(x、y|t)=0」となる画素の集合を背景領域として示す2値画像である。また、オブジェクト領域を示す情報として、シルエット画像を用いているが、本発明はこれに限定されない。シルエット画像の代わりに、オブジェクト領域の輪郭線をチェインコードで表現した輪郭情報を用いても良い。なお、チェインコードとは、ある点Aに対して隣接する点Bの位置を数値化し、さらに、その隣接する点Bに対して隣接する点C(点Aではない点)の位置を数値化する、ことを繰り返し、それらの数値の結合によって、線を表すものである。
(識別特徴量算出部20について)
識別特徴量算出部20は、入力された画像F(t0)と、画像F(t0)上の抽出対象オブジェクトOFGの領域を示すシルエット画像S(t0)に基づいて、オブジェクト領域OFGを表現するN個の代表画像特徴量(代表ローカル特徴量)と、画像F(t0)における各小領域の画像特徴量(ローカル特徴量)を算出し、その代表ローカル特徴量と各小領域のローカル特徴量とから、小領域が抽出対象オブジェクトであるか否かを特徴量空間上で識別する識別関数(オブジェクト領域とそれ以外の領域との境界)を算出し、算出した識別特徴量(代表ローカル特徴量と識別関数)をオブジェクト領域確定部40へ出力する(図2のステップS1−2)。以下では、画像特徴量の一例として、色ヒストグラムを用いる場合の識別特徴量算出部20について、図3〜図7を用いて説明する。
識別特徴量算出部20は、入力された画像F(t0)と、画像F(t0)上の抽出対象オブジェクトOFGの領域を示すシルエット画像S(t0)に基づいて、オブジェクト領域OFGを表現するN個の代表画像特徴量(代表ローカル特徴量)と、画像F(t0)における各小領域の画像特徴量(ローカル特徴量)を算出し、その代表ローカル特徴量と各小領域のローカル特徴量とから、小領域が抽出対象オブジェクトであるか否かを特徴量空間上で識別する識別関数(オブジェクト領域とそれ以外の領域との境界)を算出し、算出した識別特徴量(代表ローカル特徴量と識別関数)をオブジェクト領域確定部40へ出力する(図2のステップS1−2)。以下では、画像特徴量の一例として、色ヒストグラムを用いる場合の識別特徴量算出部20について、図3〜図7を用いて説明する。
図3に示すように、識別特徴量算出部20は、特徴量算出範囲設定部201、ローカル特徴量算出部202、代表ローカル特徴量算出部203、類似度ベクトル算出部204、及び識別関数算出部205とで構成されている。図4は、識別特徴量算出部20の動作例を説明するフロー図である。
特徴量算出範囲設定部201は、入力されたシルエット画像S(t)(図3の例ではシルエット画像S(t0))に基づいて、オブジェクト領域とオブジェクト周辺領域のそれぞれのローカル特徴量を算出する範囲を設定し、設定した特徴量算出範囲をローカル特徴量算出部202及び識別関数算出部205へ出力する(図4のステップS20−1)。オブジェクト領域、及びオブジェクト周辺領域の特徴量の算出範囲の設定について、図5を用いて説明する。
図5(A)は時刻t0のオブジェクト領域OFGを表すシルエット画像S(t0)であるとする。まず、特徴量算出範囲設定部201は、図5(B)に示すように、オブジェクト領域OFGを所定のカーネルによりモルフォロジー演算である膨張処理をK回行い、領域を拡張したオブジェクト領域OK dilatedを求める。続いて、特徴算出範囲設定部201は、図5(C)に示す拡張オブジェクト領域OK dilatedからオブジェクト領域OFGを除いた領域(オブジェクト周辺領域OAround)を求める。このとき、オブジェクト領域とそれ以外の領域(オブジェクト周辺領域)から取得する特徴量のサンプル数を同程度にするため、オブジェクト領域OFGの面積と同程度になるようオブジェクト周辺領域OAroundを設定することが望ましい。例えば、K回目の膨張処理により得られる拡張オブジェクト領域の面積をS(Ok dilated)、オブジェクト領域OFGの面積をS(OFG)とすれば、式(20−1)を最初に満たす拡張オブジェクト領域OK dilatedより、オブジェクト領域OFGを除いた領域を取得すればよい。
図3のローカル特徴量算出部202は、入力された画像F(t)(図3の例ではF(t0))と、特徴量算出範囲設定部201で設定された特徴量算出範囲に基づいて、オブジェクト領域OFGとオブジェクト周辺領域OAroundに含まれる各小領域のローカル特徴量を算出する(図4のステップS20−2)。ここで、ローカル特徴量として、色ヒストグラムを例に算出方法を説明する。なお、小領域は画素(x,y)を中心とする半径rの円であるとする。まず、ローカル特徴量算出部202は、小領域内の画素毎に量子化ステップサイズQにより量子化した画素値CQ(r,g,b)を取得する(式(20−2))。なお、本例では、小領域を、画素(x,y)を中心とする半径rの円として説明しているが、これに限定されない。例えば、画素(x、y)を中心とするN×M画素単位の矩形領域であってよい。
なお、式(20−2)において、演算子‘//’は整数除算である。続いて、量子化した画素値CQ(r,g,b)の出現頻度を数え上げ、ヒストグラムの各要素を小領域の面積で正規化した色ヒストグラムHC(x,y)を算出する。また、ローカル特徴量202は、画像の色空間としてRGBを用いてローカル特徴量を算出するが、本発明はこれに限らず、YCbCr(YUV)、CIE L*a*b*、CIE L*u*v*であっても良いし、他の色空間であってもよい。
図3の代表ローカル特徴量算出部203は、入力されたオブジェクト領域、及びオブジェクト周辺領域の各小領域のローカル特徴量をクラスタリングし、オブジェクト領域を表現するK個の代表ローカル特徴量を算出する(図4のステップS20−3)。例えば、ローカル特徴量にK−means法を適用し、K個の代表ローカル特徴量を取得すればよい。
図3の類似度ベクトル算出部204は、各小領域のローカル特徴量(色ヒストグラム)と、オブジェクト領域の画像特徴量を表す代表ローカル特徴量(色ヒストグラム)より、オブジェクト領域、オブジェクト周辺領域の小領域毎のローカル特徴量と、オブジェクト領域のK個の代表ローカル特徴量との類似度を算出し、その類似度ベクトルを出力する(図4のステップS20−4)。ここで、小領域の色ヒストグラムHc(x、y)と代表色ヒストグラムHc,k(OFG)との類似度d(HC(x,y), HC,k(OFG))は、例えば、式(20−3)に示すヒストグラムインターセクションにより算出する。類似度の値域は0〜1であり、1に近いほどヒストグラムの形状が似ており、0に近いほどヒストグラムの形状が異なることを示す。
図3の識別関数算出部205は、入力されたオブジェクト領域OFGの代表ローカル特徴量と、オブジェクト領域OFG、及びオブジェクト周辺領域OAroundの各小領域のローカル特徴量との類似度ベクトルより、図6に示すように特徴量空間においてオブジェクト領域OFGとオブジェクト周辺領域OAroundとを識別(分類)する識別関数「φ(x)=0」を算出する(図3のステップS20−5)。
図7において、画像F(t0)上の点線Uに囲まれている領域内の各小領域を、オブジェクト領域とオブジェクト周辺領域との2クラスへ分類する問題を考える。2クラスへの分類問題は、N個の特徴量ベクトルxと教師信号yからなるデータD={(xu,yu),u=1,2,...,N}を与えられて、式(20−4)に示す二乗和誤差を最小にする識別関数φ(x)を求める問題として定式化される。
式(20−4)において、sgn(・)は符号関数である。ここで、データDにおいて、xuは、図7の領域U上のu番目の小領域における特徴量ベクトルを表し、yuはu番目の小領域がオブジェクト領域OFGに属するか否かの正解を与える2×1のベクトルで表される教師信号である。なお、教師信号yuは、u番目の小領域がオブジェクト領域OFGに属する場合(小領域の中心となる画素(x,y)のシルエット画像S(t)の値が「S(x、y|t)=1」のとき)、「yu=(1,0)」とし、それ以外の場合(小領域の中心となる画素(x,y)のシルエット画像S(t)の値が「S(x、y|t)=0」のとき)、「yu=(0,1)」であるとする。ここで、識別関数φ(x)を式(20−5)で与えられると仮定すれば、式(20−4)は式(20−6)を最小化する重みwを求める問題となる。
式(20−6)を最小二乗法により解くと、式(20−7)として重みwは与えられる。
以上、識別特徴量算出部20によれば、基準となる画像F(t0)とそのシルエット画像S(t0)から、オブジェクト領域の画像特徴量を表現するN個の代表ローカル特徴量と、オブジェクト領域、及びオブジェクト周辺領域の小領域毎のローカル特徴量との類似度ベクトルから、各小領域がオブジェクト領域、オブジェクト周辺領域のいずれのクラスに属するかを識別する識別関数を算出することができる。なお、本例では、識別特徴量算出部20では、識別関数を線形分離可能であると仮定し、最小二乗法により算出する場合について説明したが、これに限定されない。例えば、最小二乗法の代わりに、非線形サポートベクトルマシン(support vector machine)、決定木、多層パーセプトロンなどの機械学習によって識別関数を算出してもよい。
なお、図7には、小領域のローカル特徴量の一例である色ヒストグラムHc(x、y)と、オブジェクト領域のK個の代表ローカル特徴量の一例である代表色ヒストグラムHc,1(x、y)〜Hc,K(x、y)も示されている。
図2に戻って、図1のオブジェクト抽出装置1は、時刻t1の画像F(t1)(以降、処理対象画像ともいう)と、時刻t1の直前に算出した時刻t2におけるオブジェクト領域を示すシルエット画像S(t2)とその画像F(t2)(以降、参照画像ともいう)を外部より取得し、オブジェクト領域推定部30へ入力する(図2のステップS1−3)。
(オブジェクト領域推定部30について)
図2に戻って、図1のオブジェクト領域推定部30は、入力された画像F(t1)と、外部で記憶されている、1つ前の画像F(t2)とその画像F(t2)上のオブジェクト領域を示すシルエット画像S(t2)とから、時刻t2のオブジェクト領域上の特徴点を、時刻t1の対応する特徴点へ射影する変換行列Hを求め、その変換行列から時刻t1のオブジェクト領域を推定した推定シルエット画像Spred(t1)を生成し、オブジェクト領域確定部40へ出力する(図2のステップS1−4)。
図2に戻って、図1のオブジェクト領域推定部30は、入力された画像F(t1)と、外部で記憶されている、1つ前の画像F(t2)とその画像F(t2)上のオブジェクト領域を示すシルエット画像S(t2)とから、時刻t2のオブジェクト領域上の特徴点を、時刻t1の対応する特徴点へ射影する変換行列Hを求め、その変換行列から時刻t1のオブジェクト領域を推定した推定シルエット画像Spred(t1)を生成し、オブジェクト領域確定部40へ出力する(図2のステップS1−4)。
続いて、図8〜図10を参照して、本実施形態におけるオブジェクト領域推定部30について詳細に説明する。図8はオブジェクト領域推定部30の概略構成を表すブロック図である。図8に示すように、オブジェクト領域推定部30は、特徴点算出部301、対応点算出部302、変換行列算出部303、及び推定シルエット画像生成部304とで構成されている。図9は、オブジェクト領域推定部30の動作例を説明するフロー図である。また、図10は、時刻t1と時刻t2の特徴点の対応関係から、時刻t1におけるオブジェクト領域を推定する動作を表す模式図である。
図9のステップS30−1において、図8の特徴点算出部301は、一つ前の画像F(t2)のオブジェクト領域と、入力された画像F(t1)との画像間の対応関係を求めるために画像F(t2)におけるオブジェクト領域内のN個の特徴点Ks(t2)(s=1,・・・,N)を算出し、その結果を対応点算出部302へ出力する(ステップS30−1)。
なお、特徴点とは、画素間の色や輝度の変化等に基づいて被写体のエッジの一部や頂点として抽出される点である。例えば、ある画素(x,y)を中心とした局所領域Sの範囲内のx方向、y方向の輝度の勾配ベクトルGi(x,y)(i=x,y)を用いて表される二次モーメント行列A(式(30−1))の第一固有値λ1と第二固有値λ2を求め、式(30−2)に示す条件を満たす画素(x,y)を特徴点として検出する。
なお、特徴点とは、画素間の色や輝度の変化等に基づいて被写体のエッジの一部や頂点として抽出される点である。例えば、ある画素(x,y)を中心とした局所領域Sの範囲内のx方向、y方向の輝度の勾配ベクトルGi(x,y)(i=x,y)を用いて表される二次モーメント行列A(式(30−1))の第一固有値λ1と第二固有値λ2を求め、式(30−2)に示す条件を満たす画素(x,y)を特徴点として検出する。
つまり、二次モーメント行列Aの第一固有値λ1、及び第二固有値λ2のうち小さい方の固有値が所定の閾値λthより大きい(または以上)場合に特徴点とするものである(例えば、「J. Shi and C. Tomasi, “Good Features to Track,” 9th IEEE Conference on Computer Vision and Pattern Recognition, June 1994」参照)。なお、式(30−1)において係数w(u,v)は、画素(x,y)からx方向にu,y方向にvだけ離れた画素(x+u,y+v)に関する重み係数を表し、例えば、式(30−3)の条件を満たすように定めた、局所領域Sの範囲内の2次ガウス分布の値を正規化した値を用いる。
ここで、図10(A)に画像F(t2)のオブジェクト領域上から、特徴点Ks(t2)を検出した結果の一例を示す。
図9のステップS30−2に進んで、図8の対応点算出部302は、入力された画像F(t1)と外部より読みだした一つ前の画像F(t2)と、ステップS30−1で取得した画像F(t2)の特徴点情報K(t2)に基づいて、画像F(t2)の各特徴点Ks(t2)(s=1,・・・,N)と対応する画像F(t1)上の点Ks(t1)をオプティカルフローにより算出し、その特徴点Ksの時刻t1,時刻t2における位置を記述した対応点情報Q(t1,t2)を変換行列算出部303へ出力する(ステップS30−2)。図10(A)には、画像F(t2)のオブジェクト領域上の特徴点Ks(t2)と画像F(t1)上の対応する特徴点Ks(t1)を検出した結果が示されている。また、画像F(t2)のオブジェクト領域上の特徴点Ks(t2)と一致する画像F(t1)上の特徴点Ks(t1)を結ぶ点線は、対応点情報Q(t1,t2)を視覚的に表したものである。
図9のステップS30−2に進んで、図8の対応点算出部302は、入力された画像F(t1)と外部より読みだした一つ前の画像F(t2)と、ステップS30−1で取得した画像F(t2)の特徴点情報K(t2)に基づいて、画像F(t2)の各特徴点Ks(t2)(s=1,・・・,N)と対応する画像F(t1)上の点Ks(t1)をオプティカルフローにより算出し、その特徴点Ksの時刻t1,時刻t2における位置を記述した対応点情報Q(t1,t2)を変換行列算出部303へ出力する(ステップS30−2)。図10(A)には、画像F(t2)のオブジェクト領域上の特徴点Ks(t2)と画像F(t1)上の対応する特徴点Ks(t1)を検出した結果が示されている。また、画像F(t2)のオブジェクト領域上の特徴点Ks(t2)と一致する画像F(t1)上の特徴点Ks(t1)を結ぶ点線は、対応点情報Q(t1,t2)を視覚的に表したものである。
なお、画像F(t2)の各特徴点Ks(t2)と対応する画像F(t1)上の点Ks(t1)は、例えば、式(30−4)に示す勾配法によるオプティカルフローの拘束条件をKs(t1)について解くことで取得できる(例えば、「B. D. Lucas and T. Kanade, “An iterative image registration technique with an application to stereo vision,” Proceedings of the 1981 DARPA imaging Understanding Workshop (pp.121-130), 1981」参照)。
ここで、式(30−4)において、Gi(x,y|t1)(i=x,y,t)は画像F(t1)の輝度に関するx方向、y方向、t方向(時間方向)の勾配ベクトルを表し、Sは特徴点Ksを中心とする所定サイズの局所領域を表す。
図9のステップS30−3に進んで、図8の変換行列算出部303は、ステップS30−2で取得した対応点情報Q(t1,t2)から、特徴点Ks(s=1,・・・,N)を一つ前の画像F(t2)上の位置から、画像F(t1)上の位置へ射影する変換行列Hを算出し、その変換行列Hを記述した情報を推定シルエット画像生成部304へ出力する(ステップS30−3)。
画像F(t2)上のオブジェクト領域O(t2)上の画素(x,y)を、変換行列Hによって、画像F(t1)に射影した点の座標を(xpred,ypred)とすると、推定オブジェクト領域Opred(t1)とオブジェクト領域O(t2)の対応関係は、変換行列Hを用いて式(30−5)により表される(例えば、「CG−ARTS協会,ディジタル画像処理 第2版,2009」参照)。
式(30−5)において、記号「〜」は同値関係を表し、定数倍の違いを許して等しいことを意味する。また、変換行列Hは、一般的な変換を表現することができるため、射影変換と呼ばれる。ここで、時刻t2と時刻t1のオブジェクト領域間の対応関係を平行移動として表現できると仮定すると、式(30−5)は、式(30−6)として表現される。
式(30−6)中の係数tx、tyはそれぞれx方向、y方向への移動量を表す。また、画像間の対応関係を平行移動、回転、拡大・縮小を含めたアフィン変換として表現できると仮定すると、式(30−5)は、式(30−7)として表現される。
式(30−7)中の係数a,b,c,dは拡大・縮小、及び回転を表し、係数tx、tyは式(30−6)と同様である。なお、式(30−5)乃至式(30−7)における変換行列Hの各係数hij(i,j=1,2,3)は、各変換モデル(平行移動、アフィン変換、射影変換)の拘束条件と対応点情報Q(t1,t2)から導出される連立方程式を最小二乗法により解くことで算出する。なお、十分な対応点数が無く、変換行列Hを算出できない場合は、所定の変換行列H0を用いる。例えば、変換行列H0の具体例としては、一つ前の変換行列の算出結果を用いる。
図9のステップS30−4に進んで、図8の推定シルエット画像生成部304は、変換行列Hとシルエット画像S(t2)に基づいて、「時刻t1におけるオブジェクト領域は、一つ前の画像F(t2)上のオブジェクト領域を、図8の変換行列算出部303で算出した変換行列Hを用いて、画像F(t1)上へ射影した領域にある」と仮定して、時刻t1のオブジェクト領域を推定し、そのオブジェクト領域を表す推定シルエット画像Spred(t1)を生成する(ステップS30−4)。具体的には、画像F(t1)上の各画素(x,y)(図10(B)の点Pn)に関して、変換行列Hの逆行列H−1を乗じて画像F(t2)上へ逆射影した位置の座標(x’、y’)(図10(B)の点Pn´)が、時刻t2のオブジェクト領域O(t2)上に含まれるどうか判定する。なお、時刻t2のオブジェクト領域O(t2)とは、シルエット画像S(t2)上で、「S(x,y|t2)=1」となる画素の集合である。
式(30−8)に示すように、画像F(t1)上の画素(x,y)を画像F(t2)へ逆射影した位置がオブジェクト領域O(t2)に含まれる場合、画素(x,y)は推定オブジェクト領域Opred(t1)を構成する画素であると判定し、推定シルエット画像Spred(x,y|t1)に「1」を設定する。また、画像F(t1)上の画素(x,y)オブジェクト領域O(t2)に含まれない場合、画素(x,y)は推定オブジェクト領域Opred(t1)を構成する画素ではないと判定し、推定シルエット画像Spred(x,y|t1)に「0」を設定する。ここで、図10(B)にシルエット画像S(t2)より求めた推定シルエット画像Spred(t1)の一例を示す。
以上、オブジェクト領域推定部30によれば、オブジェクト領域の固有の特徴点に基づいて、時刻t1と時刻t2のオブジェクト領域の対応関係を求めるため、カメラワーク、シーンチェンジなど背景に変化が伴う場合にも頑健なオブジェクト領域を推定することができる。
(オブジェクト領域確定部40について)
再び図2に戻って、図1のオブジェクト領域確定部40は、推定シルエット画像Spred(t1)より特徴量を算出する範囲を設定し、画像F(t1)上の小領域毎にローカル特徴量を算出し、そのローカル特徴量と、基準画像の識別特徴量(代表ローカル特徴量と識別関数φ(x))とに基づいて、オブジェクト領域であるか否かを識別し、オブジェクト領域を示すシルエット画像S(t1)を出力する(図2のステップS1−4)。
続いて、本実施形態におけるオブジェクト領域確定部40について詳細に説明する。
再び図2に戻って、図1のオブジェクト領域確定部40は、推定シルエット画像Spred(t1)より特徴量を算出する範囲を設定し、画像F(t1)上の小領域毎にローカル特徴量を算出し、そのローカル特徴量と、基準画像の識別特徴量(代表ローカル特徴量と識別関数φ(x))とに基づいて、オブジェクト領域であるか否かを識別し、オブジェクト領域を示すシルエット画像S(t1)を出力する(図2のステップS1−4)。
続いて、本実施形態におけるオブジェクト領域確定部40について詳細に説明する。
図11に示すように、オブジェクト領域確定部40は、特徴量算出範囲設定部201、ローカル特徴量算出部202、類似度ベクトル算出部203、及びオブジェクト領域識別部404とで構成されている。図12は、オブジェクト領域確定部40の動作例を説明するフロー図である。また、図13(A)は時刻t1の画像F(t1)、図13(B)は時刻t2の画像F(t2)、図13(C)は時刻t1のオブジェクト領域を推定した推定シルエット画像Spred(t1)、図13(D)は時刻t2のオブジェクト領域を示すシルエット画像S(t2)の一例である。なお、図13(A)の時刻t1のオブジェクト領域において、点線で囲まれた領域R1は、図13(B)の時刻t2のオブジェクト領域上の点線で囲まれた領域R2の部分が形状変化したものとする。また、図14(A)は、図13(C)上の点線で囲まれた領域B1の拡大図、図14(B)は領域B1内の特徴量算出範囲OK ,dilatedからオブジェクト領域とオブジェクト周辺領域を識別した結果の一例である。
図11の特徴量算出範囲設定部201は、入力された時刻t1の推定オブジェクト領域を示す推定シルエット画像Spred(t1)に基づいて、ローカル特徴量を算出する範囲として、図14(A)に示すように推定オブジェクト領域Opredを所定のカーネルによりモルフォロジー演算である膨張処理をK回行い、領域を拡張した領域OK dilatedを求めて、その算出範囲をローカル特徴量算出部202、オブジェクト領域識別部404へ出力する(図12のステップS40−1)。
図11のローカル特徴量算出部202は、入力された画像F(t1)と、特徴量算出範囲設定部201で設定された特徴量算出範囲上にある各小領域のローカル特徴量を算出する(図12のステップS40−2)。
図11の類似度ベクトル算出部203は、各小領域のローカル特徴量と、オブジェクト領域の画像特徴量を表す代表ローカル特徴量より、オブジェクト領域、オブジェクト周辺領域の小領域毎のローカル特徴量と、オブジェクト領域のK個の代表ローカル特徴量との類似度を算出し、その類似度ベクトルxを出力する(図12のステップS40−3)。
図11のオブジェクト領域識別部404は、入力された各小領域の類似度ベクトルxと、識別関数φ(x)に基づいて、特徴量算出範囲OK ,dilated上の各小領域がオブジェクト領域であるか、オブジェクト周辺領域であるかを識別し、図13(D)に示すように確定したオブジェクト領域を示すシルエット画像S(t1)を出力する(図12のステップS40−4)。具体的には、画素(x,y)を中心とする小領域の類似度ベクトルxを識別関数φ(x)に入力し、その応答値がオブジェクト領域を示す場合(φ(x)>0)、画素(x,y)はオブジェクト領域OFGを構成する画素であると判定し、シルエット画像S(x,y|t1)に「1」を設定する。また、応答値がオブジェクト周辺領域を示す場合(φ(x)<0)、画素(x,y)はオブジェクト領域OFGを構成する画素ではないと判定し、シルエット画像S(x,y|t1)に「0」を設定する。また、応答値が識別関数の境界上を示す場合(φ(x)=0)、ランダムにオブジェクト領域かオブジェクト周辺領域であるか選択し、シルエット画像S(x,y|t1)に該当する値を設定するものとする。なお、シルエット画像S(t1)は「0」により初期化されているものとする。
図14(B)は図14(A)において特徴量算出範囲OK ,dilated上の各小領域に対して、オブジェクト領域であるか否かを識別した結果である。図14(A)において、時刻t2上のオブジェクト領域を時刻t1に射影変換して得た推定オブジェクト領域Opredは、時刻t1のオブジェクト領域のうち、時刻t2の領域R2が形状変化した領域R1を含まない。つまり、時刻t2のオブジェクト領域を時刻t1へ射影変換するだけでは、形状変化を伴うオブジェクトの領域を精度良く抽出することができない。しかし、推定オブジェクト領域を拡張した特徴量算出範囲OK dilatedに領域R1が含まれている場合、オブジェクト領域であるか否かを識別することで、領域R1を抽出することができる。つまり、形状変化を伴うオブジェクトの領域を精度良く抽出することができる。
以上、オブジェクト領域確定部40によれば、推定したオブジェクト領域より特徴量算出範囲を設定し、設定した特徴量算出範囲に対して、オブジェクト領域であるか、オブジェクト周辺領域であるか識別し、オブジェクト領域を確定することができる。そのため、特徴量算出範囲内であれば、形状変化を伴うオブジェクト領域を抽出することができる。また、特徴量算出範囲を、オブジェクト領域の周辺部分に限定するため、特徴量の算出に要する演算量を削減することができる。
以上、オブジェクト領域確定部40によれば、推定したオブジェクト領域より特徴量算出範囲を設定し、設定した特徴量算出範囲に対して、オブジェクト領域であるか、オブジェクト周辺領域であるか識別し、オブジェクト領域を確定することができる。そのため、特徴量算出範囲内であれば、形状変化を伴うオブジェクト領域を抽出することができる。また、特徴量算出範囲を、オブジェクト領域の周辺部分に限定するため、特徴量の算出に要する演算量を削減することができる。
図2に戻って、図1のオブジェクト抽出装置1は、時刻t1の次の時刻(t1+1)の画像におけるオブジェクト抽出処理を行なうため、ステップS1−3へ戻る(図2のステップS1−6においてYes)。時刻(t1+1)の画像がなければ、オブジェクト抽出処理を終了する(図2のステップS1−6においてNo)。
(効果)
このように、オブジェクト抽出装置は、時系列画像上の第1の画像(基準画像)におけるオブジェクト領域を示すシルエット画像と、基準画像上の該オブジェクト領域とそのオブジェクト周辺領域の画像信号から、各小領域のローカル特徴量と、オブジェクト領域を代表するローカル特徴量(代表ローカル特徴量)を算出し、算出した代表ローカル特徴量と各小領域のローカル特徴量とに基づいて、各小領域がオブジェクト領域か否かを識別する識別関数を算出する。また、時系列画像上の第2の画像(処理対象画像)と、時系列画像上の第3の画像(参照画像)におけるオブジェクト領域を示すシルエット画像と参照画像とに基づいて、処理対象画像と参照画像間のオブジェクト領域の対応関係を算出し、その対応関係から参照画像上のオブジェクト領域を処理対象画像上へ射影変換する変換行列を算出する。算出した変換行列と参照画像のシルエット画像に基づいて、処理対象画像上のオブジェクト領域を推定し、推定シルエット画像を生成する。また、処理対象画像上の推定シルエット画像が示す推定オブジェクト領域と処理対象画像の画像信号から、各小領域のローカル特徴量を算出し、そのローカル特徴量と基準画像の代表ローカル特徴量と識別関数とに基づいて、各小領域がオブジェクト領域であるか否かを識別して、処理対象画像上のオブジェクト領域を確定する。これにより、ユーザが指定する注目オブジェクトを高精度に追跡、抽出することができる。
このように、オブジェクト抽出装置は、時系列画像上の第1の画像(基準画像)におけるオブジェクト領域を示すシルエット画像と、基準画像上の該オブジェクト領域とそのオブジェクト周辺領域の画像信号から、各小領域のローカル特徴量と、オブジェクト領域を代表するローカル特徴量(代表ローカル特徴量)を算出し、算出した代表ローカル特徴量と各小領域のローカル特徴量とに基づいて、各小領域がオブジェクト領域か否かを識別する識別関数を算出する。また、時系列画像上の第2の画像(処理対象画像)と、時系列画像上の第3の画像(参照画像)におけるオブジェクト領域を示すシルエット画像と参照画像とに基づいて、処理対象画像と参照画像間のオブジェクト領域の対応関係を算出し、その対応関係から参照画像上のオブジェクト領域を処理対象画像上へ射影変換する変換行列を算出する。算出した変換行列と参照画像のシルエット画像に基づいて、処理対象画像上のオブジェクト領域を推定し、推定シルエット画像を生成する。また、処理対象画像上の推定シルエット画像が示す推定オブジェクト領域と処理対象画像の画像信号から、各小領域のローカル特徴量を算出し、そのローカル特徴量と基準画像の代表ローカル特徴量と識別関数とに基づいて、各小領域がオブジェクト領域であるか否かを識別して、処理対象画像上のオブジェクト領域を確定する。これにより、ユーザが指定する注目オブジェクトを高精度に追跡、抽出することができる。
(ローカル特徴量算出部202の変形例)
上記実施形態において、ローカル特徴量算出部202では、画像特徴量の一例として、色ヒストグラムを用いる場合について説明したが、本発明はこれに限定されない。ローカル特徴量算出部202は、小領域における勾配ヒストグラムを算出してもよい。この場合のローカル特徴量算出部202において、勾配ヒストグラムの算出方法について、図15を参照しながら説明する。図15は、勾配ヒストグラムの算出方法を示す模式図である。
上記実施形態において、ローカル特徴量算出部202では、画像特徴量の一例として、色ヒストグラムを用いる場合について説明したが、本発明はこれに限定されない。ローカル特徴量算出部202は、小領域における勾配ヒストグラムを算出してもよい。この場合のローカル特徴量算出部202において、勾配ヒストグラムの算出方法について、図15を参照しながら説明する。図15は、勾配ヒストグラムの算出方法を示す模式図である。
まず、ローカル特徴量算出部202は、小領域内の画素毎に、輝度成分に関して勾配ベクトルG(x,y)=(Gx,Gy)を算出する。次に、算出した各画素の勾配ベクトルG(x,y)より、量子化ステップサイズQにより量子化した勾配ベクトルの角度θQを取得する(式(20−8))。
続いて、量子化した勾配ベクトルの角度θQの出現頻度を数え上げ、図15(A)に示すヒストグラムの各要素を小領域の面積で正規化した勾配ヒストグラムHθ(x,y)を算出する。続いて、算出した勾配ヒストグラムHθ(x,y)より、出現頻度が最大となる勾配ベクトルの角度θmを取得し、勾配ヒストグラムHθ(x,y)と出現頻度が最大となる勾配ベクトル角度θmに基づいて、図15(B)に示す角度θmを原点として正規化した勾配ヒストグラムHθm,(x,y)を算出する。輝度の勾配ヒストグラムをローカル特徴量として用いることで、照明変化などの色変化に対して頑健となる。また、ローカル特徴量算出部202は、画像特徴量として、色ヒストグラム、勾配ヒストグラムのほかに、ウェーブレット特徴量、Harr−like特徴量、Edgelet特徴量、EOH特徴量、HOG特徴量を用いてもよい。また、各画像特徴量を異なる画像特徴量と組み合わせて用いてもよい。
(オブジェクト抽出装置1の変形例(オブジェクト抽出装置1a))
上記実施形態において、図1のオブジェクト抽出装置1は、基準画像において、抽出対象オブジェクトのシルエット画像と基準画像の画像信号より、抽出対象オブジェクトの画像特徴量を表現する代表ローカル特徴量と、小領域をオブジェクト領域であるか否かを識別する識別関数を算出しているが、これに限定されない。例えば、オブジェクト領域確定部40より得られる、時刻t1のオブジェクト領域を示すシルエット画像S(t1)と画像F(t1)を、時刻t1の次の時刻(t1+1)にフィードバックし、基準画像、及び基準画像のシルエット画像として用いても良い。毎時刻におけるオブジェクト領域のローカル特徴量が微小に変化する場合にも、精度良く追跡、抽出をすることが可能となる。
上記実施形態において、図1のオブジェクト抽出装置1は、基準画像において、抽出対象オブジェクトのシルエット画像と基準画像の画像信号より、抽出対象オブジェクトの画像特徴量を表現する代表ローカル特徴量と、小領域をオブジェクト領域であるか否かを識別する識別関数を算出しているが、これに限定されない。例えば、オブジェクト領域確定部40より得られる、時刻t1のオブジェクト領域を示すシルエット画像S(t1)と画像F(t1)を、時刻t1の次の時刻(t1+1)にフィードバックし、基準画像、及び基準画像のシルエット画像として用いても良い。毎時刻におけるオブジェクト領域のローカル特徴量が微小に変化する場合にも、精度良く追跡、抽出をすることが可能となる。
なお、上述した実施形態におけるオブジェクト抽出装置1の一部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、オブジェクト抽出装置1に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態におけるオブジェクト抽出装置1の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。立体画像生成装置1の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
1…オブジェクト抽出装置、20…識別特徴量算出部、30…オブジェクト領域推定部、40…オブジェクト領域確定部、201、401…特徴量算出範囲設定部、202、402…ローカル特徴量算出部、203…代表ローカル特徴量算出部、204…識別関数算出部、301…特徴点算出部、302…対応点算出部、303…変換行列算出部、304…推定シルエット画像生成部、403…オブジェクト領域識別部。
Claims (9)
- 時系列画像から注目するオブジェクト領域を抽出するオブジェクト抽出装置であって、
時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出部と、
前記時系列画像における参照画像上のオブジェクト領域内の特徴点と前記時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定部と、
前記推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と前記算出した識別特徴量との対比によって、前記推定した処理対象画像におけるオブジェクトの領域を修正確定するオブジェクト領域確定部と、を備えることを特徴とするオブジェクト抽出装置。 - 前記識別特徴量算出部は、前記基準画像におけるオブジェクト領域を示すシルエット画像に基づいて、オブジェクト領域とオブジェクト周辺領域との識別のための画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定部と、
設定した特徴量算出範囲において、所定サイズの小領域毎に前記画像特徴量を算出する画像特徴量算出部と、
前記画像特徴量のうち、オブジェクト領域上の画像特徴量をクラスタリングし、オブジェクト領域の画像特徴量を表現するK個の異なる代表画像特徴量を算出する代表画像特徴量算出部と、
小領域毎に、該小領域の画像特徴量とK個の異なる代表画像特徴量とから、画像特徴量と代表画像特徴量との類似度ベクトルを算出する類似度ベクトル算出部と、
該算出したオブジェクト領域上の類似度ベクトル及びオブジェクト周辺領域の類似度ベクトルから、小領域が特徴量空間上においてオブジェクト領域に属するか否かのクラス境界を表す識別関数を算出する識別関数算出部と、を備え、前記識別特徴量として前記K個の異なる代表画像特徴量と前記識別関数を出力することを特徴とする請求項1に記載のオブジェクト抽出装置。 - 前記オブジェクト領域確定部は、
前記推定されたオブジェクト領域を示す推定シルエット画像に基づいて、画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定部と、
該設定した特徴量算出範囲において、所定サイズの小領域毎に画像特徴量を算出する画像特徴量算出部と、
小領域毎に、該小領域の画像特徴量と、前記基準画像におけるK個の異なる代表画像特徴量とから、前記類似度ベクトルを算出する類似度ベクトル算出部と、を備え、
該算出した類似度ベクトルと、前記識別関数に基づいて、各小領域を特徴量空間上においてオブジェクト領域に属するか否かを識別し、該オブジェクト領域に含まれると判定された小領域の集合を前記処理対象画像上のオブジェクト領域と確定することを特徴とする請求項2に記載のオブジェクト抽出装置。 - 前記オブジェクト領域推定部は、
前記参照画像と該参照画像上のオブジェクト領域を示すシルエット画像とから、前記参照画像上のオブジェクト領域内の特徴点を算出する特徴点算出部と、
該算出した参照画像上のオブジェクト領域内の特徴点と、前記参照画像上のオブジェクト領域を示すシルエット画像と、前記処理対象画像とから、前記参照画像上のオブジェクト領域内の特徴点と対応する処理対象画像上の特徴点を算出する対応点算出部と、
前記参照画像上のオブジェクト領域内の特徴点と、該特徴点と対応する処理対象画像上の特徴点とから、前記参照画像上のオブジェクト領域内の特徴点を該特徴点と対応する処理対象画像上の特徴点へ射影する変換行列を算出する変換行列算出部と、を備え、
前記変換行列と、前記参照画像上のオブジェクト領域を示すシルエット画像とから、処理対象画像上の各画素について、変換行列の逆行列を乗じ参照画像上のオブジェクト領域に含まれるか否かを判定し、該オブジェクト領域に含まれると判定された画素の集合を前記処理対象画像上のオブジェクト領域と推定することを特徴とする請求項1〜3のいずれか1項に記載のオブジェクト抽出装置。 - 時系列画像から注目するオブジェクト領域を抽出するオブジェクト抽出方法であって、
時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出ステップと、
前記時系列画像における参照画像上のオブジェクト領域内の特徴点と前記時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定ステップと、
前記推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と前記算出した識別特徴量との対比によって、前記推定した処理対象画像におけるオブジェクトの領域を修正確定するオブジェクト領域確定ステップと、を含むことを特徴とするオブジェクト抽出方法。 - 前記識別特徴量算出ステップは、前記基準画像におけるオブジェクト領域を示すシルエット画像に基づいて、オブジェクト領域とオブジェクト周辺領域との識別のための画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定ステップと、
設定した特徴量算出範囲において、所定サイズの小領域毎に前記画像特徴量を算出する画像特徴量算出ステップと、
前記画像特徴量のうち、オブジェクト領域上の画像特徴量をクラスタリングし、オブジェクト領域の画像特徴量を表現するK個の異なる代表画像特徴量を算出する代表画像特徴量算出ステップと、
小領域毎に、該小領域の画像特徴量とK個の異なる代表画像特徴量とから、画像特徴量と代表画像特徴量との類似度ベクトルを算出する類似度ベクトル算出ステップと、
該算出したオブジェクト領域上の類似度ベクトル及びオブジェクト周辺領域の類似度ベクトルから、小領域が特徴量空間上においてオブジェクト領域に属するか否かのクラス境界を表す識別関数を算出する識別関数算出ステップと、
前記識別特徴量として前記K個の異なる代表画像特徴量と前記識別関数を出力するステップと、を含むことを特徴とする請求項5に記載のオブジェクト抽出方法。 - 前記オブジェクト領域確定ステップは、
前記推定されたオブジェクト領域を示す推定シルエット画像に基づいて、画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定ステップと、
該設定した特徴量算出範囲において、所定サイズの小領域毎に画像特徴量を算出する画像特徴量算出ステップと、
小領域毎に、該小領域の画像特徴量と、前記基準画像におけるK個の異なる代表画像特徴量とから、前記類似度ベクトルを算出する類似度ベクトル算出ステップと、
該算出した類似度ベクトルと、前記識別関数に基づいて、各小領域を特徴量空間上においてオブジェクト領域に属するか否かを識別し、該オブジェクト領域に含まれると判定された小領域の集合を前記処理対象画像上のオブジェクト領域と確定するステップと、を含むことを特徴とする請求項6に記載のオブジェクト抽出方法。 - 前記オブジェクト領域推定ステップは、
前記参照画像と該参照画像上のオブジェクト領域を示すシルエット画像とから、前記参照画像上のオブジェクト領域内の特徴点を算出する特徴点算出ステップと、
該算出した参照画像上のオブジェクト領域内の特徴点と、前記参照画像上のオブジェクト領域を示すシルエット画像と、前記処理対象画像とから、前記参照画像上のオブジェクト領域内の特徴点と対応する処理対象画像上の特徴点を算出する対応点算出ステップと、
前記参照画像上のオブジェクト領域内の特徴点と、該特徴点と対応する処理対象画像上の特徴点とから、前記参照画像上のオブジェクト領域内の特徴点を該特徴点と対応する処理対象画像上の特徴点へ射影する変換行列を算出する変換行列算出ステップと、
前記変換行列と、前記参照画像上のオブジェクト領域を示すシルエット画像とから、処理対象画像上の各画素について、変換行列の逆行列を乗じ参照画像上のオブジェクト領域に含まれるか否かを判定し、該オブジェクト領域に含まれると判定された画素の集合を前記処理対象画像上のオブジェクト領域と推定するステップと、を含むことを特徴とする請求項5〜7のいずれか1項に記載のオブジェクト抽出方法。 - コンピュータを、請求項1〜4のいずれか1項に記載のオブジェクト抽出装置の各処理部として機能させるためのオブジェクト抽出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011268456A JP2013120504A (ja) | 2011-12-08 | 2011-12-08 | オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011268456A JP2013120504A (ja) | 2011-12-08 | 2011-12-08 | オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013120504A true JP2013120504A (ja) | 2013-06-17 |
Family
ID=48773114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011268456A Pending JP2013120504A (ja) | 2011-12-08 | 2011-12-08 | オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013120504A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020112899A (ja) * | 2019-01-09 | 2020-07-27 | 裕樹 有光 | 3次元モデルとデプス画像とを対応付けて学習するプログラム |
US11423561B2 (en) * | 2018-02-09 | 2022-08-23 | Nippon Telegraph And Telephone Corporation | Learning apparatus, estimation apparatus, learning method, estimation method, and computer programs |
-
2011
- 2011-12-08 JP JP2011268456A patent/JP2013120504A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11423561B2 (en) * | 2018-02-09 | 2022-08-23 | Nippon Telegraph And Telephone Corporation | Learning apparatus, estimation apparatus, learning method, estimation method, and computer programs |
JP2020112899A (ja) * | 2019-01-09 | 2020-07-27 | 裕樹 有光 | 3次元モデルとデプス画像とを対応付けて学習するプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8903177B2 (en) | Method, computer program and device for hybrid tracking of real-time representations of objects in a sequence | |
CN109934065B (zh) | 一种用于手势识别的方法和装置 | |
US9721387B2 (en) | Systems and methods for implementing augmented reality | |
US9639943B1 (en) | Scanning of a handheld object for 3-dimensional reconstruction | |
US11145080B2 (en) | Method and apparatus for three-dimensional object pose estimation, device and storage medium | |
JP2016500975A (ja) | 結合された深度キューに基づく平面視画像からの深度マップの生成 | |
KR101409810B1 (ko) | 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법 | |
JP6139447B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2013145589A1 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
WO2013073168A1 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP6597914B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5656768B2 (ja) | 画像特徴量抽出装置およびそのプログラム | |
CN110858277A (zh) | 一种获得姿态分类模型的方法以及装置 | |
KR101753360B1 (ko) | 시점 변화에 강인한 특징점 정합 방법 | |
Iqbal et al. | Real-time target detection and tracking: A comparative in-depth review of strategies | |
CN111199169A (zh) | 图像处理方法和装置 | |
Recky et al. | Façade segmentation in a multi-view scenario | |
Donoser et al. | Robust planar target tracking and pose estimation from a single concavity | |
KR20190078890A (ko) | 그리드 기반의 평면 추정 방법 및 장치 | |
JP6511950B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5337252B2 (ja) | 特徴抽出装置 | |
JP2013120504A (ja) | オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム | |
Zhang et al. | Augmented visual feature modeling for matching in low-visibility based on cycle-labeling of Superpixel Flow | |
Kim et al. | Background modeling using adaptive properties of hybrid features | |
JP4812743B2 (ja) | 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体 |