JP2013120504A - オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム - Google Patents

オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム Download PDF

Info

Publication number
JP2013120504A
JP2013120504A JP2011268456A JP2011268456A JP2013120504A JP 2013120504 A JP2013120504 A JP 2013120504A JP 2011268456 A JP2011268456 A JP 2011268456A JP 2011268456 A JP2011268456 A JP 2011268456A JP 2013120504 A JP2013120504 A JP 2013120504A
Authority
JP
Japan
Prior art keywords
image
feature amount
region
feature
object region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011268456A
Other languages
English (en)
Inventor
Kenji Tsukuba
健史 筑波
Masahiro Shioi
正宏 塩井
Takeaki Suenaga
健明 末永
敦稔 〆野
Atsutoshi Simeno
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2011268456A priority Critical patent/JP2013120504A/ja
Publication of JP2013120504A publication Critical patent/JP2013120504A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】ユーザが指定する注目オブジェクトを高精度に追跡、抽出することが可能なオブジェクト抽出装置の提供。
【解決手段】オブジェクト抽出装置1は、時系列画像から注目するオブジェクト領域を抽出するものであって、時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出部20と、前記時系列画像における参照画像上のオブジェクト領域内の特徴点と時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定部30と、推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と識別特徴量との対比によって、推定した処理対象画像におけるオブジェクトの領域を修正確定する。
【選択図】図1

Description

本発明は、ユーザが所望する注目オブジェクトを映像中より抽出するオブジェクト抽出装置、オブジェクト抽出方法に関する。
近年、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話など撮像機能付き端末が急速に普及している。また、これらのカメラによって撮影された映像に対して、加工や処理を施し、新たな映像を生成する装置がある。例えば、映像中の特定の画像領域を抽出し、抽出した画像領域を部品として映像の加工に利用することや、映像を個々の画像領域毎に抽出し、抽出した映像を元の映像の管理や検索に利用することが知られている。
映像からユーザが指定する注目オブジェクトを追跡し、抽出する手法として、例えば、特許文献1記載の技術がある。
特許文献1では、背景差分に基づいて取得したオブジェクト領域を示すシルエット画像とオブジェクト固有の画像特徴量(色情報)とに基づいて、前記オブジェクトが存在する領域の部分領域を検出し、前記部分領域を前記シルエット画像に基づいて領域を成長させることでオブジェクト領域全体を抽出するオブジェクト抽出装置が開示されている。
特開2003−44860号公報
しかしながら、特許文献1は、背景差分に基づいてオブジェクト領域を示すシルエット画像を取得するため、カメラワークや、シーンチェンジにより背景に変化を伴う場合は、オブジェクト領域を示すシルエット画像内に、背景領域を誤ってオブジェクト領域として抽出することがある。
本発明は上記の点に鑑みてなされたものであり、ユーザが指定する注目オブジェクトを高精度に追跡、抽出することが可能なオブジェクト抽出装置、オブジェクト抽出方法、及びプログラムを提供する。
上記課題を解決するために、本発明の第1の技術手段は、時系列画像から注目するオブジェクト領域を抽出するオブジェクト抽出装置であって、時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出部と、前記時系列画像における参照画像上のオブジェクト領域内の特徴点と前記時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定部と、前記推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と前記算出した識別特徴量との対比によって、前記推定した処理対象画像におけるオブジェクトの領域を修正確定するオブジェクト領域確定部と、を備えることを特徴としたものである。
本発明の第2の技術手段は、第1の技術手段において、前記識別特徴量算出部が、前記基準画像におけるオブジェクト領域を示すシルエット画像に基づいて、オブジェクト領域とオブジェクト周辺領域との識別のための画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定部と、設定した特徴量算出範囲において、所定サイズの小領域毎に前記画像特徴量を算出する画像特徴量算出部と、前記画像特徴量のうち、オブジェクト領域上の画像特徴量をクラスタリングし、オブジェクト領域の画像特徴量を表現するK個の異なる代表画像特徴量を算出する代表画像特徴量算出部と、小領域毎に、該小領域の画像特徴量とK個の異なる代表画像特徴量とから、画像特徴量と代表画像特徴量との類似度ベクトルを算出する類似度ベクトル算出部と、該算出したオブジェクト領域上の類似度ベクトル及びオブジェクト周辺領域の類似度ベクトルから、小領域が特徴量空間上においてオブジェクト領域に属するか否かのクラス境界を表す識別関数を算出する識別関数算出部と、を備え、前記識別特徴量として前記K個の異なる代表画像特徴量と前記識別関数を出力することを特徴としたものである。
本発明の第3の技術手段は、第2の技術手段において、前記オブジェクト領域確定部が、前記推定されたオブジェクト領域を示す推定シルエット画像に基づいて、画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定部と、該設定した特徴量算出範囲において、所定サイズの小領域毎に画像特徴量を算出する画像特徴量算出部と、小領域毎に、該小領域の画像特徴量と、前記基準画像におけるK個の異なる代表画像特徴量とから、前記類似度ベクトルを算出する類似度ベクトル算出部と、を備え、該算出した類似度ベクトルと、前記識別関数に基づいて、各小領域を特徴量空間上においてオブジェクト領域に属するか否かを識別し、該オブジェクト領域に含まれると判定された小領域の集合を前記処理対象画像上のオブジェクト領域と確定することを特徴としたものである。
本発明の第4の技術手段は、第1〜第3のいずれか1の技術手段において、前記オブジェクト領域推定部が、前記参照画像と該参照画像上のオブジェクト領域を示すシルエット画像とから、前記参照画像上のオブジェクト領域内の特徴点を算出する特徴点算出部と、該算出した参照画像上のオブジェクト領域内の特徴点と、前記参照画像上のオブジェクト領域を示すシルエット画像と、前記処理対象画像とから、前記参照画像上のオブジェクト領域内の特徴点と対応する処理対象画像上の特徴点を算出する対応点算出部と、前記参照画像上のオブジェクト領域内の特徴点と、該特徴点と対応する処理対象画像上の特徴点とから、前記参照画像上のオブジェクト領域内の特徴点を該特徴点と対応する処理対象画像上の特徴点へ射影する変換行列を算出する変換行列算出部と、を備え、前記変換行列と、前記参照画像上のオブジェクト領域を示すシルエット画像とから、処理対象画像上の各画素について、変換行列の逆行列を乗じ参照画像上のオブジェクト領域に含まれるか否かを判定し、該オブジェクト領域に含まれると判定された画素の集合を前記処理対象画像上のオブジェクト領域と推定することを特徴としたものである。
本発明の第5の技術手段は、時系列画像から注目するオブジェクト領域を抽出するオブジェクト抽出方法であって、時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出ステップと、前記時系列画像における参照画像上のオブジェクト領域内の特徴点と前記時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定ステップと、前記推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と前記算出した識別特徴量との対比によって、前記推定した処理対象画像におけるオブジェクトの領域を修正確定するオブジェクト領域確定ステップと、を含むことを特徴としたものである。
本発明の第6の技術手段は、第5の技術手段において、前記識別特徴量算出ステップが、前記基準画像におけるオブジェクト領域を示すシルエット画像に基づいて、オブジェクト領域とオブジェクト周辺領域との識別のための画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定ステップと、設定した特徴量算出範囲において、所定サイズの小領域毎に前記画像特徴量を算出する画像特徴量算出ステップと、前記画像特徴量のうち、オブジェクト領域上の画像特徴量をクラスタリングし、オブジェクト領域の画像特徴量を表現するK個の異なる代表画像特徴量を算出する代表画像特徴量算出ステップと、小領域毎に、該小領域の画像特徴量とK個の異なる代表画像特徴量とから、画像特徴量と代表画像特徴量との類似度ベクトルを算出する類似度ベクトル算出ステップと、該算出したオブジェクト領域上の類似度ベクトル及びオブジェクト周辺領域の類似度ベクトルから、小領域が特徴量空間上においてオブジェクト領域に属するか否かのクラス境界を表す識別関数を算出する識別関数算出ステップと、前記識別特徴量として前記K個の異なる代表画像特徴量と前記識別関数を出力するステップと、を含むことを特徴としたものである。
本発明の第7の技術手段は、第6の技術手段において、前記オブジェクト領域確定ステップが、前記推定されたオブジェクト領域を示す推定シルエット画像に基づいて、画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定ステップと、該設定した特徴量算出範囲において、所定サイズの小領域毎に画像特徴量を算出する画像特徴量算出ステップと、小領域毎に、該小領域の画像特徴量と、前記基準画像におけるK個の異なる代表画像特徴量とから、前記類似度ベクトルを算出する類似度ベクトル算出ステップと、該算出した類似度ベクトルと、前記識別関数に基づいて、各小領域を特徴量空間上においてオブジェクト領域に属するか否かを識別し、該オブジェクト領域に含まれると判定された小領域の集合を前記処理対象画像上のオブジェクト領域と確定するステップと、を含むことを特徴としたものである。
本発明の第8の技術手段は、第5〜第7のいずれか1の技術手段において、前記オブジェクト領域推定ステップが、前記参照画像と該参照画像上のオブジェクト領域を示すシルエット画像とから、前記参照画像上のオブジェクト領域内の特徴点を算出する特徴点算出ステップと、該算出した参照画像上のオブジェクト領域内の特徴点と、前記参照画像上のオブジェクト領域を示すシルエット画像と、前記処理対象画像とから、前記参照画像上のオブジェクト領域内の特徴点と対応する処理対象画像上の特徴点を算出する対応点算出ステップと、前記参照画像上のオブジェクト領域内の特徴点と、該特徴点と対応する処理対象画像上の特徴点とから、前記参照画像上のオブジェクト領域内の特徴点を該特徴点と対応する処理対象画像上の特徴点へ射影する変換行列を算出する変換行列算出ステップと、前記変換行列と、前記参照画像上のオブジェクト領域を示すシルエット画像とから、処理対象画像上の各画素について、変換行列の逆行列を乗じ参照画像上のオブジェクト領域に含まれるか否かを判定し、該オブジェクト領域に含まれると判定された画素の集合を前記処理対象画像上のオブジェクト領域と推定するステップと、を含むことを特徴としたものである。
本発明の第9の技術手段は、第1〜第4のいずれか1の技術手段のオブジェクト抽出装置の各処理部として機能させるためのオブジェクト抽出プログラムである。
本発明によれば、ユーザが指定する注目オブジェクトを高精度に追跡、抽出することができる。
本発明の一実施形態に係るオブジェクト抽出装置の構成を表すブロック図である。 図1のオブジェクト抽出装置の動作を表すフローチャートである。 図1のオブジェクト抽出装置の識別特徴量算出部の構成を表すブロック図である。 図1のオブジェクト抽出装置の識別特徴量算出部の動作を表すフローチャートである。 オブジェクト領域及びオブジェクト周辺領域の特徴量の算出範囲の設定について説明する図である。 図1のオブジェクト抽出装置の識別特徴量算出部において、識別関数を求める模式図である。 図1のオブジェクト抽出装置の識別特徴量算出部の動作を表す模式図である。 図1のオブジェクト抽出装置のオブジェクト領域推定部の構成を表すブロック図である。 図1のオブジェクト抽出装置のオブジェクト領域推定部の動作を表すフローチャートである。 図1のオブジェクト抽出装置のオブジェクト領域推定部の動作を表す模式図である。 図1のオブジェクト抽出装置のオブジェクト領域確定部の構成を表すブロック図である。 図1のオブジェクト抽出装置のオブジェクト領域確定部の動作を表すフローチャートである。 時刻tの画像(処理対象画像)とその推定シルエット画像、及び時刻tの画像(参照画像)とそのシルエット画像を示す一例である。 時刻tの画像(処理対象画像)における特徴量算出範囲と、その特徴量算出範囲においてオブジェクト領域を識別した結果を示す一例である。 勾配ヒストグラムの算出方法を表す模式図である。
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。
図1は、本発明に係るオブジェクト抽出装置の概略構成を表すブロック図である。この図において、オブジェクト抽出装置1は、識別特徴量算出部20、オブジェクト領域推定部30及びオブジェクト領域確定部40を備えている。また図2は、図1のオブジェクト抽出装置1の動作例を説明するフロー図である。
図1のオブジェクト抽出装置1は、時刻tの画像F(t)(以降、基準画像ともいう)と、予め作成された、抽出対象となるオブジェクトの基準画像上の領域を示すシルエット画像S(t)を外部より取得し、識別特徴量算出部20へ入力する(図2のステップS1−1)。ここで、シルエット画像S(t)とは、「S(x,y|t)=1」となる画素の集合をオブジェクト領域(前景領域ともいう)、「S(x、y|t)=0」となる画素の集合を背景領域として示す2値画像である。また、オブジェクト領域を示す情報として、シルエット画像を用いているが、本発明はこれに限定されない。シルエット画像の代わりに、オブジェクト領域の輪郭線をチェインコードで表現した輪郭情報を用いても良い。なお、チェインコードとは、ある点Aに対して隣接する点Bの位置を数値化し、さらに、その隣接する点Bに対して隣接する点C(点Aではない点)の位置を数値化する、ことを繰り返し、それらの数値の結合によって、線を表すものである。
(識別特徴量算出部20について)
識別特徴量算出部20は、入力された画像F(t)と、画像F(t)上の抽出対象オブジェクトOFGの領域を示すシルエット画像S(t)に基づいて、オブジェクト領域OFGを表現するN個の代表画像特徴量(代表ローカル特徴量)と、画像F(t)における各小領域の画像特徴量(ローカル特徴量)を算出し、その代表ローカル特徴量と各小領域のローカル特徴量とから、小領域が抽出対象オブジェクトであるか否かを特徴量空間上で識別する識別関数(オブジェクト領域とそれ以外の領域との境界)を算出し、算出した識別特徴量(代表ローカル特徴量と識別関数)をオブジェクト領域確定部40へ出力する(図2のステップS1−2)。以下では、画像特徴量の一例として、色ヒストグラムを用いる場合の識別特徴量算出部20について、図3〜図7を用いて説明する。
図3に示すように、識別特徴量算出部20は、特徴量算出範囲設定部201、ローカル特徴量算出部202、代表ローカル特徴量算出部203、類似度ベクトル算出部204、及び識別関数算出部205とで構成されている。図4は、識別特徴量算出部20の動作例を説明するフロー図である。
特徴量算出範囲設定部201は、入力されたシルエット画像S(t)(図3の例ではシルエット画像S(t))に基づいて、オブジェクト領域とオブジェクト周辺領域のそれぞれのローカル特徴量を算出する範囲を設定し、設定した特徴量算出範囲をローカル特徴量算出部202及び識別関数算出部205へ出力する(図4のステップS20−1)。オブジェクト領域、及びオブジェクト周辺領域の特徴量の算出範囲の設定について、図5を用いて説明する。
図5(A)は時刻tのオブジェクト領域OFGを表すシルエット画像S(t)であるとする。まず、特徴量算出範囲設定部201は、図5(B)に示すように、オブジェクト領域OFGを所定のカーネルによりモルフォロジー演算である膨張処理をK回行い、領域を拡張したオブジェクト領域O dilatedを求める。続いて、特徴算出範囲設定部201は、図5(C)に示す拡張オブジェクト領域O dilatedからオブジェクト領域OFGを除いた領域(オブジェクト周辺領域OAround)を求める。このとき、オブジェクト領域とそれ以外の領域(オブジェクト周辺領域)から取得する特徴量のサンプル数を同程度にするため、オブジェクト領域OFGの面積と同程度になるようオブジェクト周辺領域OAroundを設定することが望ましい。例えば、K回目の膨張処理により得られる拡張オブジェクト領域の面積をS(O dilated)、オブジェクト領域OFGの面積をS(OFG)とすれば、式(20−1)を最初に満たす拡張オブジェクト領域O dilatedより、オブジェクト領域OFGを除いた領域を取得すればよい。
Figure 2013120504
図3のローカル特徴量算出部202は、入力された画像F(t)(図3の例ではF(t))と、特徴量算出範囲設定部201で設定された特徴量算出範囲に基づいて、オブジェクト領域OFGとオブジェクト周辺領域OAroundに含まれる各小領域のローカル特徴量を算出する(図4のステップS20−2)。ここで、ローカル特徴量として、色ヒストグラムを例に算出方法を説明する。なお、小領域は画素(x,y)を中心とする半径rの円であるとする。まず、ローカル特徴量算出部202は、小領域内の画素毎に量子化ステップサイズQにより量子化した画素値C(r,g,b)を取得する(式(20−2))。なお、本例では、小領域を、画素(x,y)を中心とする半径rの円として説明しているが、これに限定されない。例えば、画素(x、y)を中心とするN×M画素単位の矩形領域であってよい。
Figure 2013120504
なお、式(20−2)において、演算子‘//’は整数除算である。続いて、量子化した画素値C(r,g,b)の出現頻度を数え上げ、ヒストグラムの各要素を小領域の面積で正規化した色ヒストグラムH(x,y)を算出する。また、ローカル特徴量202は、画像の色空間としてRGBを用いてローカル特徴量を算出するが、本発明はこれに限らず、YCbCr(YUV)、CIE L*a*b*、CIE L*u*v*であっても良いし、他の色空間であってもよい。
図3の代表ローカル特徴量算出部203は、入力されたオブジェクト領域、及びオブジェクト周辺領域の各小領域のローカル特徴量をクラスタリングし、オブジェクト領域を表現するK個の代表ローカル特徴量を算出する(図4のステップS20−3)。例えば、ローカル特徴量にK−means法を適用し、K個の代表ローカル特徴量を取得すればよい。
図3の類似度ベクトル算出部204は、各小領域のローカル特徴量(色ヒストグラム)と、オブジェクト領域の画像特徴量を表す代表ローカル特徴量(色ヒストグラム)より、オブジェクト領域、オブジェクト周辺領域の小領域毎のローカル特徴量と、オブジェクト領域のK個の代表ローカル特徴量との類似度を算出し、その類似度ベクトルを出力する(図4のステップS20−4)。ここで、小領域の色ヒストグラムH(x、y)と代表色ヒストグラムHc,k(OFG)との類似度d(H(x,y), HC,k(OFG))は、例えば、式(20−3)に示すヒストグラムインターセクションにより算出する。類似度の値域は0〜1であり、1に近いほどヒストグラムの形状が似ており、0に近いほどヒストグラムの形状が異なることを示す。
Figure 2013120504
図3の識別関数算出部205は、入力されたオブジェクト領域OFGの代表ローカル特徴量と、オブジェクト領域OFG、及びオブジェクト周辺領域OAroundの各小領域のローカル特徴量との類似度ベクトルより、図6に示すように特徴量空間においてオブジェクト領域OFGとオブジェクト周辺領域OAroundとを識別(分類)する識別関数「φ(x)=0」を算出する(図3のステップS20−5)。
図7において、画像F(t)上の点線Uに囲まれている領域内の各小領域を、オブジェクト領域とオブジェクト周辺領域との2クラスへ分類する問題を考える。2クラスへの分類問題は、N個の特徴量ベクトルxと教師信号yからなるデータD={(x,y),u=1,2,...,N}を与えられて、式(20−4)に示す二乗和誤差を最小にする識別関数φ(x)を求める問題として定式化される。
Figure 2013120504
式(20−4)において、sgn(・)は符号関数である。ここで、データDにおいて、xは、図7の領域U上のu番目の小領域における特徴量ベクトルを表し、yはu番目の小領域がオブジェクト領域OFGに属するか否かの正解を与える2×1のベクトルで表される教師信号である。なお、教師信号yは、u番目の小領域がオブジェクト領域OFGに属する場合(小領域の中心となる画素(x,y)のシルエット画像S(t)の値が「S(x、y|t)=1」のとき)、「y=(1,0)」とし、それ以外の場合(小領域の中心となる画素(x,y)のシルエット画像S(t)の値が「S(x、y|t)=0」のとき)、「y=(0,1)」であるとする。ここで、識別関数φ(x)を式(20−5)で与えられると仮定すれば、式(20−4)は式(20−6)を最小化する重みwを求める問題となる。
Figure 2013120504
Figure 2013120504
式(20−6)を最小二乗法により解くと、式(20−7)として重みwは与えられる。
Figure 2013120504
以上、識別特徴量算出部20によれば、基準となる画像F(t)とそのシルエット画像S(t)から、オブジェクト領域の画像特徴量を表現するN個の代表ローカル特徴量と、オブジェクト領域、及びオブジェクト周辺領域の小領域毎のローカル特徴量との類似度ベクトルから、各小領域がオブジェクト領域、オブジェクト周辺領域のいずれのクラスに属するかを識別する識別関数を算出することができる。なお、本例では、識別特徴量算出部20では、識別関数を線形分離可能であると仮定し、最小二乗法により算出する場合について説明したが、これに限定されない。例えば、最小二乗法の代わりに、非線形サポートベクトルマシン(support vector machine)、決定木、多層パーセプトロンなどの機械学習によって識別関数を算出してもよい。
なお、図7には、小領域のローカル特徴量の一例である色ヒストグラムH(x、y)と、オブジェクト領域のK個の代表ローカル特徴量の一例である代表色ヒストグラムHc,1(x、y)〜Hc,K(x、y)も示されている。
図2に戻って、図1のオブジェクト抽出装置1は、時刻tの画像F(t)(以降、処理対象画像ともいう)と、時刻tの直前に算出した時刻tにおけるオブジェクト領域を示すシルエット画像S(t)とその画像F(t)(以降、参照画像ともいう)を外部より取得し、オブジェクト領域推定部30へ入力する(図2のステップS1−3)。
(オブジェクト領域推定部30について)
図2に戻って、図1のオブジェクト領域推定部30は、入力された画像F(t)と、外部で記憶されている、1つ前の画像F(t)とその画像F(t)上のオブジェクト領域を示すシルエット画像S(t)とから、時刻tのオブジェクト領域上の特徴点を、時刻tの対応する特徴点へ射影する変換行列Hを求め、その変換行列から時刻tのオブジェクト領域を推定した推定シルエット画像Spred(t)を生成し、オブジェクト領域確定部40へ出力する(図2のステップS1−4)。
続いて、図8〜図10を参照して、本実施形態におけるオブジェクト領域推定部30について詳細に説明する。図8はオブジェクト領域推定部30の概略構成を表すブロック図である。図8に示すように、オブジェクト領域推定部30は、特徴点算出部301、対応点算出部302、変換行列算出部303、及び推定シルエット画像生成部304とで構成されている。図9は、オブジェクト領域推定部30の動作例を説明するフロー図である。また、図10は、時刻tと時刻tの特徴点の対応関係から、時刻tにおけるオブジェクト領域を推定する動作を表す模式図である。
図9のステップS30−1において、図8の特徴点算出部301は、一つ前の画像F(t)のオブジェクト領域と、入力された画像F(t)との画像間の対応関係を求めるために画像F(t)におけるオブジェクト領域内のN個の特徴点Ks(t)(s=1,・・・,N)を算出し、その結果を対応点算出部302へ出力する(ステップS30−1)。
なお、特徴点とは、画素間の色や輝度の変化等に基づいて被写体のエッジの一部や頂点として抽出される点である。例えば、ある画素(x,y)を中心とした局所領域Sの範囲内のx方向、y方向の輝度の勾配ベクトルG(x,y)(i=x,y)を用いて表される二次モーメント行列A(式(30−1))の第一固有値λと第二固有値λを求め、式(30−2)に示す条件を満たす画素(x,y)を特徴点として検出する。
Figure 2013120504
Figure 2013120504
つまり、二次モーメント行列Aの第一固有値λ、及び第二固有値λのうち小さい方の固有値が所定の閾値λthより大きい(または以上)場合に特徴点とするものである(例えば、「J. Shi and C. Tomasi, “Good Features to Track,” 9th IEEE Conference on Computer Vision and Pattern Recognition, June 1994」参照)。なお、式(30−1)において係数w(u,v)は、画素(x,y)からx方向にu,y方向にvだけ離れた画素(x+u,y+v)に関する重み係数を表し、例えば、式(30−3)の条件を満たすように定めた、局所領域Sの範囲内の2次ガウス分布の値を正規化した値を用いる。
Figure 2013120504
ここで、図10(A)に画像F(t)のオブジェクト領域上から、特徴点Ks(t)を検出した結果の一例を示す。
図9のステップS30−2に進んで、図8の対応点算出部302は、入力された画像F(t)と外部より読みだした一つ前の画像F(t)と、ステップS30−1で取得した画像F(t)の特徴点情報K(t)に基づいて、画像F(t)の各特徴点Ks(t)(s=1,・・・,N)と対応する画像F(t)上の点Ks(t)をオプティカルフローにより算出し、その特徴点Ksの時刻t,時刻tにおける位置を記述した対応点情報Q(t,t)を変換行列算出部303へ出力する(ステップS30−2)。図10(A)には、画像F(t)のオブジェクト領域上の特徴点Ks(t)と画像F(t)上の対応する特徴点Ks(t)を検出した結果が示されている。また、画像F(t)のオブジェクト領域上の特徴点Ks(t)と一致する画像F(t)上の特徴点Ks(t)を結ぶ点線は、対応点情報Q(t,t)を視覚的に表したものである。
なお、画像F(t)の各特徴点Ks(t)と対応する画像F(t)上の点Ks(t)は、例えば、式(30−4)に示す勾配法によるオプティカルフローの拘束条件をKs(t)について解くことで取得できる(例えば、「B. D. Lucas and T. Kanade, “An iterative image registration technique with an application to stereo vision,” Proceedings of the 1981 DARPA imaging Understanding Workshop (pp.121-130), 1981」参照)。
Figure 2013120504
ここで、式(30−4)において、G(x,y|t)(i=x,y,t)は画像F(t)の輝度に関するx方向、y方向、t方向(時間方向)の勾配ベクトルを表し、Sは特徴点Ksを中心とする所定サイズの局所領域を表す。
図9のステップS30−3に進んで、図8の変換行列算出部303は、ステップS30−2で取得した対応点情報Q(t,t)から、特徴点Ks(s=1,・・・,N)を一つ前の画像F(t)上の位置から、画像F(t)上の位置へ射影する変換行列Hを算出し、その変換行列Hを記述した情報を推定シルエット画像生成部304へ出力する(ステップS30−3)。
画像F(t)上のオブジェクト領域O(t)上の画素(x,y)を、変換行列Hによって、画像F(t)に射影した点の座標を(xpred,ypred)とすると、推定オブジェクト領域Opred(t)とオブジェクト領域O(t)の対応関係は、変換行列Hを用いて式(30−5)により表される(例えば、「CG−ARTS協会,ディジタル画像処理 第2版,2009」参照)。
Figure 2013120504
式(30−5)において、記号「〜」は同値関係を表し、定数倍の違いを許して等しいことを意味する。また、変換行列Hは、一般的な変換を表現することができるため、射影変換と呼ばれる。ここで、時刻tと時刻tのオブジェクト領域間の対応関係を平行移動として表現できると仮定すると、式(30−5)は、式(30−6)として表現される。
Figure 2013120504
式(30−6)中の係数t、tはそれぞれx方向、y方向への移動量を表す。また、画像間の対応関係を平行移動、回転、拡大・縮小を含めたアフィン変換として表現できると仮定すると、式(30−5)は、式(30−7)として表現される。
Figure 2013120504
式(30−7)中の係数a,b,c,dは拡大・縮小、及び回転を表し、係数t、tは式(30−6)と同様である。なお、式(30−5)乃至式(30−7)における変換行列Hの各係数hij(i,j=1,2,3)は、各変換モデル(平行移動、アフィン変換、射影変換)の拘束条件と対応点情報Q(t,t)から導出される連立方程式を最小二乗法により解くことで算出する。なお、十分な対応点数が無く、変換行列Hを算出できない場合は、所定の変換行列Hを用いる。例えば、変換行列Hの具体例としては、一つ前の変換行列の算出結果を用いる。
図9のステップS30−4に進んで、図8の推定シルエット画像生成部304は、変換行列Hとシルエット画像S(t)に基づいて、「時刻tにおけるオブジェクト領域は、一つ前の画像F(t)上のオブジェクト領域を、図8の変換行列算出部303で算出した変換行列Hを用いて、画像F(t)上へ射影した領域にある」と仮定して、時刻tのオブジェクト領域を推定し、そのオブジェクト領域を表す推定シルエット画像Spred(t)を生成する(ステップS30−4)。具体的には、画像F(t)上の各画素(x,y)(図10(B)の点Pn)に関して、変換行列Hの逆行列H−1を乗じて画像F(t)上へ逆射影した位置の座標(x’、y’)(図10(B)の点Pn´)が、時刻tのオブジェクト領域O(t)上に含まれるどうか判定する。なお、時刻tのオブジェクト領域O(t)とは、シルエット画像S(t)上で、「S(x,y|t)=1」となる画素の集合である。
Figure 2013120504
式(30−8)に示すように、画像F(t)上の画素(x,y)を画像F(t)へ逆射影した位置がオブジェクト領域O(t)に含まれる場合、画素(x,y)は推定オブジェクト領域Opred(t)を構成する画素であると判定し、推定シルエット画像Spred(x,y|t)に「1」を設定する。また、画像F(t)上の画素(x,y)オブジェクト領域O(t)に含まれない場合、画素(x,y)は推定オブジェクト領域Opred(t)を構成する画素ではないと判定し、推定シルエット画像Spred(x,y|t)に「0」を設定する。ここで、図10(B)にシルエット画像S(t)より求めた推定シルエット画像Spred(t)の一例を示す。
以上、オブジェクト領域推定部30によれば、オブジェクト領域の固有の特徴点に基づいて、時刻tと時刻tのオブジェクト領域の対応関係を求めるため、カメラワーク、シーンチェンジなど背景に変化が伴う場合にも頑健なオブジェクト領域を推定することができる。
(オブジェクト領域確定部40について)
再び図2に戻って、図1のオブジェクト領域確定部40は、推定シルエット画像Spred(t)より特徴量を算出する範囲を設定し、画像F(t)上の小領域毎にローカル特徴量を算出し、そのローカル特徴量と、基準画像の識別特徴量(代表ローカル特徴量と識別関数φ(x))とに基づいて、オブジェクト領域であるか否かを識別し、オブジェクト領域を示すシルエット画像S(t)を出力する(図2のステップS1−4)。
続いて、本実施形態におけるオブジェクト領域確定部40について詳細に説明する。
図11に示すように、オブジェクト領域確定部40は、特徴量算出範囲設定部201、ローカル特徴量算出部202、類似度ベクトル算出部203、及びオブジェクト領域識別部404とで構成されている。図12は、オブジェクト領域確定部40の動作例を説明するフロー図である。また、図13(A)は時刻tの画像F(t)、図13(B)は時刻tの画像F(t)、図13(C)は時刻tのオブジェクト領域を推定した推定シルエット画像Spred(t)、図13(D)は時刻tのオブジェクト領域を示すシルエット画像S(t)の一例である。なお、図13(A)の時刻tのオブジェクト領域において、点線で囲まれた領域R1は、図13(B)の時刻tのオブジェクト領域上の点線で囲まれた領域R2の部分が形状変化したものとする。また、図14(A)は、図13(C)上の点線で囲まれた領域B1の拡大図、図14(B)は領域B1内の特徴量算出範囲O ,dilatedからオブジェクト領域とオブジェクト周辺領域を識別した結果の一例である。
図11の特徴量算出範囲設定部201は、入力された時刻tの推定オブジェクト領域を示す推定シルエット画像Spred(t)に基づいて、ローカル特徴量を算出する範囲として、図14(A)に示すように推定オブジェクト領域Opredを所定のカーネルによりモルフォロジー演算である膨張処理をK回行い、領域を拡張した領域O dilatedを求めて、その算出範囲をローカル特徴量算出部202、オブジェクト領域識別部404へ出力する(図12のステップS40−1)。
図11のローカル特徴量算出部202は、入力された画像F(t)と、特徴量算出範囲設定部201で設定された特徴量算出範囲上にある各小領域のローカル特徴量を算出する(図12のステップS40−2)。
図11の類似度ベクトル算出部203は、各小領域のローカル特徴量と、オブジェクト領域の画像特徴量を表す代表ローカル特徴量より、オブジェクト領域、オブジェクト周辺領域の小領域毎のローカル特徴量と、オブジェクト領域のK個の代表ローカル特徴量との類似度を算出し、その類似度ベクトルxを出力する(図12のステップS40−3)。
図11のオブジェクト領域識別部404は、入力された各小領域の類似度ベクトルxと、識別関数φ(x)に基づいて、特徴量算出範囲O ,dilated上の各小領域がオブジェクト領域であるか、オブジェクト周辺領域であるかを識別し、図13(D)に示すように確定したオブジェクト領域を示すシルエット画像S(t)を出力する(図12のステップS40−4)。具体的には、画素(x,y)を中心とする小領域の類似度ベクトルxを識別関数φ(x)に入力し、その応答値がオブジェクト領域を示す場合(φ(x)>0)、画素(x,y)はオブジェクト領域OFGを構成する画素であると判定し、シルエット画像S(x,y|t)に「1」を設定する。また、応答値がオブジェクト周辺領域を示す場合(φ(x)<0)、画素(x,y)はオブジェクト領域OFGを構成する画素ではないと判定し、シルエット画像S(x,y|t)に「0」を設定する。また、応答値が識別関数の境界上を示す場合(φ(x)=0)、ランダムにオブジェクト領域かオブジェクト周辺領域であるか選択し、シルエット画像S(x,y|t)に該当する値を設定するものとする。なお、シルエット画像S(t)は「0」により初期化されているものとする。
図14(B)は図14(A)において特徴量算出範囲O ,dilated上の各小領域に対して、オブジェクト領域であるか否かを識別した結果である。図14(A)において、時刻t上のオブジェクト領域を時刻tに射影変換して得た推定オブジェクト領域Opredは、時刻tのオブジェクト領域のうち、時刻tの領域R2が形状変化した領域R1を含まない。つまり、時刻tのオブジェクト領域を時刻tへ射影変換するだけでは、形状変化を伴うオブジェクトの領域を精度良く抽出することができない。しかし、推定オブジェクト領域を拡張した特徴量算出範囲O dilatedに領域R1が含まれている場合、オブジェクト領域であるか否かを識別することで、領域R1を抽出することができる。つまり、形状変化を伴うオブジェクトの領域を精度良く抽出することができる。
以上、オブジェクト領域確定部40によれば、推定したオブジェクト領域より特徴量算出範囲を設定し、設定した特徴量算出範囲に対して、オブジェクト領域であるか、オブジェクト周辺領域であるか識別し、オブジェクト領域を確定することができる。そのため、特徴量算出範囲内であれば、形状変化を伴うオブジェクト領域を抽出することができる。また、特徴量算出範囲を、オブジェクト領域の周辺部分に限定するため、特徴量の算出に要する演算量を削減することができる。
図2に戻って、図1のオブジェクト抽出装置1は、時刻tの次の時刻(t+1)の画像におけるオブジェクト抽出処理を行なうため、ステップS1−3へ戻る(図2のステップS1−6においてYes)。時刻(t+1)の画像がなければ、オブジェクト抽出処理を終了する(図2のステップS1−6においてNo)。
(効果)
このように、オブジェクト抽出装置は、時系列画像上の第1の画像(基準画像)におけるオブジェクト領域を示すシルエット画像と、基準画像上の該オブジェクト領域とそのオブジェクト周辺領域の画像信号から、各小領域のローカル特徴量と、オブジェクト領域を代表するローカル特徴量(代表ローカル特徴量)を算出し、算出した代表ローカル特徴量と各小領域のローカル特徴量とに基づいて、各小領域がオブジェクト領域か否かを識別する識別関数を算出する。また、時系列画像上の第2の画像(処理対象画像)と、時系列画像上の第3の画像(参照画像)におけるオブジェクト領域を示すシルエット画像と参照画像とに基づいて、処理対象画像と参照画像間のオブジェクト領域の対応関係を算出し、その対応関係から参照画像上のオブジェクト領域を処理対象画像上へ射影変換する変換行列を算出する。算出した変換行列と参照画像のシルエット画像に基づいて、処理対象画像上のオブジェクト領域を推定し、推定シルエット画像を生成する。また、処理対象画像上の推定シルエット画像が示す推定オブジェクト領域と処理対象画像の画像信号から、各小領域のローカル特徴量を算出し、そのローカル特徴量と基準画像の代表ローカル特徴量と識別関数とに基づいて、各小領域がオブジェクト領域であるか否かを識別して、処理対象画像上のオブジェクト領域を確定する。これにより、ユーザが指定する注目オブジェクトを高精度に追跡、抽出することができる。
(ローカル特徴量算出部202の変形例)
上記実施形態において、ローカル特徴量算出部202では、画像特徴量の一例として、色ヒストグラムを用いる場合について説明したが、本発明はこれに限定されない。ローカル特徴量算出部202は、小領域における勾配ヒストグラムを算出してもよい。この場合のローカル特徴量算出部202において、勾配ヒストグラムの算出方法について、図15を参照しながら説明する。図15は、勾配ヒストグラムの算出方法を示す模式図である。
まず、ローカル特徴量算出部202は、小領域内の画素毎に、輝度成分に関して勾配ベクトルG(x,y)=(G,G)を算出する。次に、算出した各画素の勾配ベクトルG(x,y)より、量子化ステップサイズQにより量子化した勾配ベクトルの角度θを取得する(式(20−8))。
Figure 2013120504
続いて、量子化した勾配ベクトルの角度θの出現頻度を数え上げ、図15(A)に示すヒストグラムの各要素を小領域の面積で正規化した勾配ヒストグラムHθ(x,y)を算出する。続いて、算出した勾配ヒストグラムHθ(x,y)より、出現頻度が最大となる勾配ベクトルの角度θを取得し、勾配ヒストグラムHθ(x,y)と出現頻度が最大となる勾配ベクトル角度θmに基づいて、図15(B)に示す角度θを原点として正規化した勾配ヒストグラムHθm,(x,y)を算出する。輝度の勾配ヒストグラムをローカル特徴量として用いることで、照明変化などの色変化に対して頑健となる。また、ローカル特徴量算出部202は、画像特徴量として、色ヒストグラム、勾配ヒストグラムのほかに、ウェーブレット特徴量、Harr−like特徴量、Edgelet特徴量、EOH特徴量、HOG特徴量を用いてもよい。また、各画像特徴量を異なる画像特徴量と組み合わせて用いてもよい。
(オブジェクト抽出装置1の変形例(オブジェクト抽出装置1a))
上記実施形態において、図1のオブジェクト抽出装置1は、基準画像において、抽出対象オブジェクトのシルエット画像と基準画像の画像信号より、抽出対象オブジェクトの画像特徴量を表現する代表ローカル特徴量と、小領域をオブジェクト領域であるか否かを識別する識別関数を算出しているが、これに限定されない。例えば、オブジェクト領域確定部40より得られる、時刻tのオブジェクト領域を示すシルエット画像S(t)と画像F(t)を、時刻tの次の時刻(t+1)にフィードバックし、基準画像、及び基準画像のシルエット画像として用いても良い。毎時刻におけるオブジェクト領域のローカル特徴量が微小に変化する場合にも、精度良く追跡、抽出をすることが可能となる。
なお、上述した実施形態におけるオブジェクト抽出装置1の一部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、オブジェクト抽出装置1に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態におけるオブジェクト抽出装置1の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。立体画像生成装置1の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
1…オブジェクト抽出装置、20…識別特徴量算出部、30…オブジェクト領域推定部、40…オブジェクト領域確定部、201、401…特徴量算出範囲設定部、202、402…ローカル特徴量算出部、203…代表ローカル特徴量算出部、204…識別関数算出部、301…特徴点算出部、302…対応点算出部、303…変換行列算出部、304…推定シルエット画像生成部、403…オブジェクト領域識別部。

Claims (9)

  1. 時系列画像から注目するオブジェクト領域を抽出するオブジェクト抽出装置であって、
    時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出部と、
    前記時系列画像における参照画像上のオブジェクト領域内の特徴点と前記時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定部と、
    前記推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と前記算出した識別特徴量との対比によって、前記推定した処理対象画像におけるオブジェクトの領域を修正確定するオブジェクト領域確定部と、を備えることを特徴とするオブジェクト抽出装置。
  2. 前記識別特徴量算出部は、前記基準画像におけるオブジェクト領域を示すシルエット画像に基づいて、オブジェクト領域とオブジェクト周辺領域との識別のための画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定部と、
    設定した特徴量算出範囲において、所定サイズの小領域毎に前記画像特徴量を算出する画像特徴量算出部と、
    前記画像特徴量のうち、オブジェクト領域上の画像特徴量をクラスタリングし、オブジェクト領域の画像特徴量を表現するK個の異なる代表画像特徴量を算出する代表画像特徴量算出部と、
    小領域毎に、該小領域の画像特徴量とK個の異なる代表画像特徴量とから、画像特徴量と代表画像特徴量との類似度ベクトルを算出する類似度ベクトル算出部と、
    該算出したオブジェクト領域上の類似度ベクトル及びオブジェクト周辺領域の類似度ベクトルから、小領域が特徴量空間上においてオブジェクト領域に属するか否かのクラス境界を表す識別関数を算出する識別関数算出部と、を備え、前記識別特徴量として前記K個の異なる代表画像特徴量と前記識別関数を出力することを特徴とする請求項1に記載のオブジェクト抽出装置。
  3. 前記オブジェクト領域確定部は、
    前記推定されたオブジェクト領域を示す推定シルエット画像に基づいて、画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定部と、
    該設定した特徴量算出範囲において、所定サイズの小領域毎に画像特徴量を算出する画像特徴量算出部と、
    小領域毎に、該小領域の画像特徴量と、前記基準画像におけるK個の異なる代表画像特徴量とから、前記類似度ベクトルを算出する類似度ベクトル算出部と、を備え、
    該算出した類似度ベクトルと、前記識別関数に基づいて、各小領域を特徴量空間上においてオブジェクト領域に属するか否かを識別し、該オブジェクト領域に含まれると判定された小領域の集合を前記処理対象画像上のオブジェクト領域と確定することを特徴とする請求項2に記載のオブジェクト抽出装置。
  4. 前記オブジェクト領域推定部は、
    前記参照画像と該参照画像上のオブジェクト領域を示すシルエット画像とから、前記参照画像上のオブジェクト領域内の特徴点を算出する特徴点算出部と、
    該算出した参照画像上のオブジェクト領域内の特徴点と、前記参照画像上のオブジェクト領域を示すシルエット画像と、前記処理対象画像とから、前記参照画像上のオブジェクト領域内の特徴点と対応する処理対象画像上の特徴点を算出する対応点算出部と、
    前記参照画像上のオブジェクト領域内の特徴点と、該特徴点と対応する処理対象画像上の特徴点とから、前記参照画像上のオブジェクト領域内の特徴点を該特徴点と対応する処理対象画像上の特徴点へ射影する変換行列を算出する変換行列算出部と、を備え、
    前記変換行列と、前記参照画像上のオブジェクト領域を示すシルエット画像とから、処理対象画像上の各画素について、変換行列の逆行列を乗じ参照画像上のオブジェクト領域に含まれるか否かを判定し、該オブジェクト領域に含まれると判定された画素の集合を前記処理対象画像上のオブジェクト領域と推定することを特徴とする請求項1〜3のいずれか1項に記載のオブジェクト抽出装置。
  5. 時系列画像から注目するオブジェクト領域を抽出するオブジェクト抽出方法であって、
    時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出ステップと、
    前記時系列画像における参照画像上のオブジェクト領域内の特徴点と前記時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定ステップと、
    前記推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と前記算出した識別特徴量との対比によって、前記推定した処理対象画像におけるオブジェクトの領域を修正確定するオブジェクト領域確定ステップと、を含むことを特徴とするオブジェクト抽出方法。
  6. 前記識別特徴量算出ステップは、前記基準画像におけるオブジェクト領域を示すシルエット画像に基づいて、オブジェクト領域とオブジェクト周辺領域との識別のための画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定ステップと、
    設定した特徴量算出範囲において、所定サイズの小領域毎に前記画像特徴量を算出する画像特徴量算出ステップと、
    前記画像特徴量のうち、オブジェクト領域上の画像特徴量をクラスタリングし、オブジェクト領域の画像特徴量を表現するK個の異なる代表画像特徴量を算出する代表画像特徴量算出ステップと、
    小領域毎に、該小領域の画像特徴量とK個の異なる代表画像特徴量とから、画像特徴量と代表画像特徴量との類似度ベクトルを算出する類似度ベクトル算出ステップと、
    該算出したオブジェクト領域上の類似度ベクトル及びオブジェクト周辺領域の類似度ベクトルから、小領域が特徴量空間上においてオブジェクト領域に属するか否かのクラス境界を表す識別関数を算出する識別関数算出ステップと、
    前記識別特徴量として前記K個の異なる代表画像特徴量と前記識別関数を出力するステップと、を含むことを特徴とする請求項5に記載のオブジェクト抽出方法。
  7. 前記オブジェクト領域確定ステップは、
    前記推定されたオブジェクト領域を示す推定シルエット画像に基づいて、画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定ステップと、
    該設定した特徴量算出範囲において、所定サイズの小領域毎に画像特徴量を算出する画像特徴量算出ステップと、
    小領域毎に、該小領域の画像特徴量と、前記基準画像におけるK個の異なる代表画像特徴量とから、前記類似度ベクトルを算出する類似度ベクトル算出ステップと、
    該算出した類似度ベクトルと、前記識別関数に基づいて、各小領域を特徴量空間上においてオブジェクト領域に属するか否かを識別し、該オブジェクト領域に含まれると判定された小領域の集合を前記処理対象画像上のオブジェクト領域と確定するステップと、を含むことを特徴とする請求項6に記載のオブジェクト抽出方法。
  8. 前記オブジェクト領域推定ステップは、
    前記参照画像と該参照画像上のオブジェクト領域を示すシルエット画像とから、前記参照画像上のオブジェクト領域内の特徴点を算出する特徴点算出ステップと、
    該算出した参照画像上のオブジェクト領域内の特徴点と、前記参照画像上のオブジェクト領域を示すシルエット画像と、前記処理対象画像とから、前記参照画像上のオブジェクト領域内の特徴点と対応する処理対象画像上の特徴点を算出する対応点算出ステップと、
    前記参照画像上のオブジェクト領域内の特徴点と、該特徴点と対応する処理対象画像上の特徴点とから、前記参照画像上のオブジェクト領域内の特徴点を該特徴点と対応する処理対象画像上の特徴点へ射影する変換行列を算出する変換行列算出ステップと、
    前記変換行列と、前記参照画像上のオブジェクト領域を示すシルエット画像とから、処理対象画像上の各画素について、変換行列の逆行列を乗じ参照画像上のオブジェクト領域に含まれるか否かを判定し、該オブジェクト領域に含まれると判定された画素の集合を前記処理対象画像上のオブジェクト領域と推定するステップと、を含むことを特徴とする請求項5〜7のいずれか1項に記載のオブジェクト抽出方法。
  9. コンピュータを、請求項1〜4のいずれか1項に記載のオブジェクト抽出装置の各処理部として機能させるためのオブジェクト抽出プログラム。
JP2011268456A 2011-12-08 2011-12-08 オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム Pending JP2013120504A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011268456A JP2013120504A (ja) 2011-12-08 2011-12-08 オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011268456A JP2013120504A (ja) 2011-12-08 2011-12-08 オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2013120504A true JP2013120504A (ja) 2013-06-17

Family

ID=48773114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011268456A Pending JP2013120504A (ja) 2011-12-08 2011-12-08 オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2013120504A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020112899A (ja) * 2019-01-09 2020-07-27 裕樹 有光 3次元モデルとデプス画像とを対応付けて学習するプログラム
US11423561B2 (en) * 2018-02-09 2022-08-23 Nippon Telegraph And Telephone Corporation Learning apparatus, estimation apparatus, learning method, estimation method, and computer programs

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423561B2 (en) * 2018-02-09 2022-08-23 Nippon Telegraph And Telephone Corporation Learning apparatus, estimation apparatus, learning method, estimation method, and computer programs
JP2020112899A (ja) * 2019-01-09 2020-07-27 裕樹 有光 3次元モデルとデプス画像とを対応付けて学習するプログラム

Similar Documents

Publication Publication Date Title
US8903177B2 (en) Method, computer program and device for hybrid tracking of real-time representations of objects in a sequence
CN109934065B (zh) 一种用于手势识别的方法和装置
US9721387B2 (en) Systems and methods for implementing augmented reality
US9639943B1 (en) Scanning of a handheld object for 3-dimensional reconstruction
US11145080B2 (en) Method and apparatus for three-dimensional object pose estimation, device and storage medium
JP2016500975A (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
KR101409810B1 (ko) 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법
JP6139447B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2013145589A1 (ja) 画像処理装置、撮像装置および画像処理方法
WO2013073168A1 (ja) 画像処理装置、撮像装置および画像処理方法
JP6597914B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5656768B2 (ja) 画像特徴量抽出装置およびそのプログラム
CN110858277A (zh) 一种获得姿态分类模型的方法以及装置
KR101753360B1 (ko) 시점 변화에 강인한 특징점 정합 방법
Iqbal et al. Real-time target detection and tracking: A comparative in-depth review of strategies
CN111199169A (zh) 图像处理方法和装置
Recky et al. Façade segmentation in a multi-view scenario
Donoser et al. Robust planar target tracking and pose estimation from a single concavity
KR20190078890A (ko) 그리드 기반의 평면 추정 방법 및 장치
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5337252B2 (ja) 特徴抽出装置
JP2013120504A (ja) オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム
Zhang et al. Augmented visual feature modeling for matching in low-visibility based on cycle-labeling of Superpixel Flow
Kim et al. Background modeling using adaptive properties of hybrid features
JP4812743B2 (ja) 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体