JP4690971B2 - Shape estimation apparatus and shape estimation program - Google Patents
Shape estimation apparatus and shape estimation program Download PDFInfo
- Publication number
- JP4690971B2 JP4690971B2 JP2006234613A JP2006234613A JP4690971B2 JP 4690971 B2 JP4690971 B2 JP 4690971B2 JP 2006234613 A JP2006234613 A JP 2006234613A JP 2006234613 A JP2006234613 A JP 2006234613A JP 4690971 B2 JP4690971 B2 JP 4690971B2
- Authority
- JP
- Japan
- Prior art keywords
- particles
- metaball
- particle
- silhouette
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、オブジェクトを撮影して生成された画像中の映像オブジェクトに基づいて、オブジェクトの３次元形状を推定する形状推定装置及びそのプログラムに関する。 The present invention relates to a shape estimation apparatus and a program for estimating a three-dimensional shape of an object based on a video object in an image generated by photographing the object.
従来、実写画像から対象物体の３次元形状をモデリングする場合には、ステレオマッチ法、視体積交差法もしくはそれらを複合させた手法により形状推定を行っている。これらの手法では、対象物体の周囲に複数のカメラを設置したり、１台のカメラを移動させたり、あるいは対象物体を回転台などで移動させたりすることによって、カメラと対象物体との間の相対位置を変化させて撮影した画像を用いている。 Conventionally, when modeling a three-dimensional shape of a target object from a photographed image, shape estimation is performed by a stereo match method, a view volume intersection method, or a method combining them. In these methods, a plurality of cameras are installed around the target object, one camera is moved, or the target object is moved on a turntable or the like. An image taken by changing the relative position is used.
ステレオマッチ法では、異なる視点の画像間の各局所領域に対し、例えば、画素値の相互相関を計算することにより、点対応を求める。点対応は、視差量、奥行きあるいは３次元座標に変換することが可能である。これら３次元座標の相互間を網状に接続することで、ポリゴン表現による３次元形状を得ることが可能である。 In the stereo match method, for each local region between images of different viewpoints, for example, a point correspondence is obtained by calculating a cross-correlation of pixel values. Point correspondence can be converted into parallax amount, depth, or three-dimensional coordinates. By connecting these three-dimensional coordinates to each other in a net shape, it is possible to obtain a three-dimensional shape by polygon representation.
視体積交差法は、ボクセルカービングとも呼ばれる。３次元空間に仮想的にボクセルを配置し、対象物体の画像上における２次元領域と視点とを通る錐体の内部に属するボクセルのみを削り出す操作を、複数の視点に対し適用することで、ボクセル表現による３次元形状が得られる。 The view volume intersection method is also called voxel carving. By applying voxels virtually in a three-dimensional space and scraping only the voxels belonging to the inside of a cone passing through the two-dimensional region and the viewpoint on the target object image, to a plurality of viewpoints, A three-dimensional shape by voxel expression is obtained.
また、視体積交差法の一種として、３次元空間における前記した錐体の内部に対して、視点毎に投票操作を行う手法がある（特許文献１）。この手法には、得票数の多寡に応じて物体表面を抽出し、これをポリゴン表現等へ変換する手法も含まれている。 As a kind of view volume intersection method, there is a method of performing a voting operation for each viewpoint on the inside of the above-mentioned cone in a three-dimensional space (Patent Document 1). This method includes a method of extracting an object surface according to the number of votes and converting it to a polygon representation or the like.
さらに、視体積交差法に基づき対象物体の概形を得た後、ステレオマッチにより詳細形状を得る手法がある（特許文献２）。この手法では、ステレオマッチのための探索領域の削減、ステレオマッチにおける誤対応の影響の軽減、そして視体積交差法では推定不能な凹形状への対応が可能となっている。 Furthermore, there is a method of obtaining a detailed shape by stereo matching after obtaining the rough shape of the target object based on the visual volume intersection method (Patent Document 2). With this method, it is possible to reduce the search area for stereo matching, reduce the influence of erroneous correspondence in stereo matching, and cope with concave shapes that cannot be estimated by the visual volume intersection method.
また、生物や機械などのモデリングには、関節や筋肉などの配置や運動の拘束条件（キネマティクス）を前提条件に用いるモデルベースの形状推定手法もある。この場合、画像上の対象物体のシルエットと適合するように、関節角などのパラメータを調整することで物体の形状が得られる。モデルベースの手法は、プリミティブ表現のほか、ポリゴン表現やメタボール表現などさまざまな表現形式への適用が考えられている。 There is also a model-based shape estimation method that uses the arrangement of joints and muscles and the constraint condition of motion (kinematics) as a precondition for modeling of organisms and machines. In this case, the shape of the object can be obtained by adjusting parameters such as the joint angle so as to match the silhouette of the target object on the image. The model-based method is considered to be applied to various expression formats such as polygon expression and metaball expression in addition to primitive expression.
一方、状態量の任意の統計分布を効率的に記述できるパーティクルフィルタを用いて、物体の位置を推定する手法が知られている。このパーティクルフィルタでは、物体の位置などを表す状態量（パーティクル又は粒子とよぶ）が複数存在し、これらのパーティクルのうち、物体の観測結果に合致するパーティクルの重みを増加させ、最終的には全パーティクルの状態の期待値を計算することで、物体の位置が推定される（例えば、特許文献３）。また、パーティクルフィルタでは、状態遷移（パーティクルの状態量の時間変化）が、状態量の確率密度により定義できるため、非常に複雑なダイナミクスをモデリングすることが可能である。
しかしながら、ステレオマッチ法では、十分な分解能のモデルを得るためには数多くの点対応を求める必要があり、演算コストが少なくなかった。また、点対応の精度が形状精度に大きく影響するため、対象物体にテクスチャが少ない場合には形状誤差が大きくなるという問題があった。 However, in the stereo match method, in order to obtain a model with sufficient resolution, it is necessary to obtain a large number of point correspondences, and the calculation cost is not small. In addition, since the accuracy of point correspondence greatly affects the shape accuracy, there is a problem that the shape error increases when the target object has few textures.
一方、視体積交差法では、十分な分解能のモデルを得るためにはボクセルを細かくする必要があり、膨大なメモリ領域が必要であった。また、視点毎に錐体状の領域を切り出す演算操作も、各ボクセルの錐体状の領域に対する内外判定を要するため、演算コストも大きかった。 On the other hand, in the view volume intersection method, in order to obtain a model with sufficient resolution, it is necessary to make the voxel finer, and an enormous memory area is required. In addition, the calculation operation for cutting out the cone-shaped region for each viewpoint also requires calculation inside / outside of the cone-shaped region of each voxel, and thus the calculation cost is high.
モデルベースの手法では、対象物体の取り得る形状を十分に記述できるだけの関節等のモデル化が必要であるため、対象物体が限定されていた。また、対象物体が想定外の３次元形状をとった場合や、入力画像にノイズや乱れが生じた場合に、形状推定が不可能になるおそれもあった。 In the model-based method, modeling of joints or the like that can sufficiently describe the shapes that can be taken by the target object is necessary, so that the target object is limited. In addition, when the target object has an unexpected three-dimensional shape, or when noise or disturbance occurs in the input image, there is a possibility that shape estimation may become impossible.
また、パーティクルフィルタの手法は、例えば、ボールなどの移動する物体の重心位置を追跡する用途、経済指標等の動的な機構のパラメータ学習、このような指標等の予測、２次元形状輪郭の追跡などに用いられているが、メタボール表現による３次元形状をパーティクルの状態から生成する用途には適用されていなかった。 In addition, the particle filter method includes, for example, the use of tracking the center of gravity of a moving object such as a ball, dynamic mechanism parameter learning such as an economic index, prediction of such an index, etc., tracking of a two-dimensional shape contour However, it has not been applied to the use of generating a three-dimensional shape by metaball expression from the state of particles.
本発明は、このような課題を解決するためになされたもので、演算量やメモリ消費量を低減する３次元の形状推定装置及びその方法を提供することを目的とする。 The present invention has been made to solve such a problem, and an object of the present invention is to provide a three-dimensional shape estimation apparatus and method for reducing the amount of calculation and memory consumption.
そのために、請求項１に記載の形状推定装置は、オブジェクトが撮影された画像中の映像オブジェクトに基づき、３次元座標を含む状態ベクトルと重み係数とを有した情報であるパーティクルを用いたパーティクルフィルタによって、オブジェクトの３次元形状を推定する形状推定装置であって、シルエット抽出手段と、パーティクルフィルタ手段と、メタボール生成手段とを備え、前記パーティクルフィルタ手段は、パーティクル生成手段と、重み係数変更手段と、再サンプリング手段と、状態遷移手段とを有する構成とした。
For this purpose, the shape estimation apparatus according to
かかる構成によれば、形状推定装置は、シルエット抽出手段によって、入力された画像に含まれる映像オブジェクトの領域をシルエットとして抽出する。また、形状推定装置は、パーティクルフィルタ手段のパーティクル生成手段によって、オブジェクトを探索する予め定められた探索領域内を示す３次元座標を有する、２以上である所定数のパーティクルを生成する。パーティクル生成手段で生成された所定数のパーティクルは、重み係数変更手段によって、シルエット抽出手段で抽出されたシルエットに基づいて、重み係数が変更される。 According to such a configuration, the shape estimation apparatus extracts the region of the video object included in the input image as a silhouette by the silhouette extraction unit. In addition, the shape estimation apparatus generates a predetermined number of particles equal to or greater than 2 having three-dimensional coordinates indicating a predetermined search area in which an object is searched by the particle generation unit of the particle filter unit. The weight coefficient of the predetermined number of particles generated by the particle generating means is changed by the weight coefficient changing means based on the silhouette extracted by the silhouette extracting means.
ここで、シルエット（画像）の画素値は、映像オブジェクトの領域らしさが高いほど大きな値（例えば、“１”に近い値）を有し、映像オブジェクトの領域らしさが低いほど小さな値（例えば、“０”に近い値）を有する。そして、パーティクルの重み係数は、例えば、当該パーティクルの３次元位置座標の入力画像の画像座標への投影変換位置におけるシルエットの画素値を、元の重み係数に乗算した値に更新される。そのため、パーティクルの位置に対応するシルエットが、映像オブジェクトらしくないほど、その重み係数は小さな値に変更される。 Here, the pixel value of the silhouette (image) has a larger value (for example, a value closer to “1”) as the region likelihood of the video object is higher, and a smaller value (for example, “ A value close to 0 ″). Then, for example, the particle weighting coefficient is updated to a value obtained by multiplying the original weighting coefficient by the pixel value of the silhouette at the projection conversion position of the three-dimensional position coordinate of the particle to the image coordinate of the input image. Therefore, the weight coefficient is changed to a smaller value so that the silhouette corresponding to the position of the particle does not look like a video object.
重み係数変更手段で重み係数を変更されたパーティクルは、再サンプリング手段によって、３次元座標について再サンプリングして同じ個数のパーティクルを再生成すると共に、それらのパーティクルの重み係数を均一にする。次に、状態遷移手段によって、再サンプリング手段によって再サンプリングされたパーティクルの状態ベクトルを遷移させる。
そして、パーティクルフィルタ手段によって、重み係数変更手段と再サンプリング手段と状態遷移手段とによるパーティクルに対する処理を繰り返し行う。
The particles whose weighting coefficient has been changed by the weighting coefficient changing means resample the three-dimensional coordinates by the resampling means to regenerate the same number of particles, and make the weighting coefficients of those particles uniform. Next, the state transition unit causes the state vector of the particles resampled by the resampling unit to transition.
Then, the particle filter means repeatedly performs processing on the particles by the weight coefficient changing means, the resampling means, and the state transition means.
また、メタボール生成手段によって、パーティクルフィルタ手段で処理された所定数のパーティクルに基づいて、メタボール表現による３次元形状モデルを生成する。
これによって、形状推定装置は、パーティクルフィルタ手段において使用するパーティクルの数に応じた分解能、精度、メモリ消費量及び演算量において、オブジェクトの形状情報を取得し、メタボール表現への変換によって当該オブジェクトの形状を推定することができる。
In addition, the metaball generation unit generates a three-dimensional shape model based on the metaball expression based on a predetermined number of particles processed by the particle filter unit.
Thereby, the shape estimation device acquires object shape information with resolution, accuracy, memory consumption, and calculation amount according to the number of particles used in the particle filter means, and converts the object shape into a metaball representation. Can be estimated.
請求項２に記載の形状推定装置は、請求項１に記載の形状推定装置において、前記メタボール生成手段は、前記重み係数変更手段によって重み係数が変更された前記所定数のパーティクルに基づいて、メタボール表現による３次元形状モデルを生成するように構成した。
The shape estimation device according to
かかる構成によれば、重み係数変更手段から出力される所定数のパーティクルは、それぞれオブジェクト内に分散された位置におけるオブジェクトが存在する確からしさに応じた重み係数を有しており、より正確にオブジェクトの形状に関する情報を有している。そのため、形状推定装置は、メタボール生成手段によって、各パーティクルを重み係数に応じた半径のメタボールに変換してオブジェクトの３次元形状を推定する。
これによって、オブジェクトの形状を精度よく推定することができる。
According to such a configuration, each of the predetermined number of particles output from the weighting factor changing unit has a weighting factor corresponding to the probability that the object exists at a position dispersed in the object, and more accurately It has information about the shape. Therefore, the shape estimation device estimates the three-dimensional shape of the object by converting each particle into a metaball having a radius corresponding to the weighting coefficient by the metaball generation unit.
Thereby, the shape of the object can be estimated with high accuracy.
請求項３に記載の形状推定装置は、請求項１に記載の形状推定装置において、前記メタボール生成手段は、前記再サンプリング手段によって再サンプリングされた前記所定数のパーティクルに基づいて、メタボール表現による３次元形状モデルを生成するように構成した。
The shape estimation apparatus according to claim 3 is the shape estimation apparatus according to
かかる構成によれば、再サンプリング手段から出力される所定数のパーティクルは、重み係数が均一で、オブジェクトが存在する確からしさに応じて個数に変換された分布を有している。そのため、形状推定装置は、メタボール生成手段によって、各パーティクルを均一な半径のメタボールに変換してオブジェクトの３次元形状を推定する。
これによって、オブジェクトの形状の推定に必要な演算量を低減することができる。
According to such a configuration, the predetermined number of particles output from the resampling means have a distribution in which the weight coefficient is uniform and is converted into the number according to the probability that the object exists. Therefore, the shape estimation device estimates the three-dimensional shape of the object by converting each particle into a metaball having a uniform radius by the metaball generation means.
As a result, the amount of calculation required for estimating the shape of the object can be reduced.
請求項４に記載の形状推定装置は、請求項１乃至請求項３の何れか一項に記載の形状推定装置において、前記メタボール生成手段によって生成された前記メタボール表現による３次元形状モデルに対して、収縮又は膨張を行う３次元多値モルフォロジ処理によって３次元形状モデルを修正するモルフォロジ処理手段をさらに備えて構成した。
The shape estimation device according to
かかる構成によれば、モルフォロジ処理手段によって、メタボール生成手段で生成された３次元形状モデルにおいて、例えば、真の形状より拡大あるいは縮小して推定された形状を、収縮あるいは膨張を行う３次元多値モルフォロジ処理を適用して修正する。
これによって、メタボール生成手段による推定形状の誤差を軽減することができる。
According to such a configuration, in the three-dimensional shape model generated by the metaball generation unit by the morphology processing unit, for example, a three-dimensional multivalue that contracts or expands a shape estimated by enlarging or reducing the true shape. Modify by applying morphological processing.
Thereby, the error of the estimated shape by the metaball generating means can be reduced.
請求項５に記載の形状推定装置は、請求項１乃至請求項４の何れか一項に記載の形状推定装置において、さらに１以上のシルエット抽出手段と、当該シルエット抽出手段に対応する重み係数変更手段とを備えるように構成した。
The shape estimation apparatus according to
かかる構成によれば、複数のシルエット抽出手段と、対応する重み係数変更手段とによって、例えば、複数の視点から撮影された入力画像に基づき、パーティクルの重み係数を変更する。
これによって、後段の再サンプリング手段によって、パーティクルの存在範囲を効果的に絞り込んで再編成することができ、形状推定の精度および推定値算出における収束速度を向上させることができる。
According to such a configuration, the particle weighting coefficient is changed by the plurality of silhouette extracting units and the corresponding weighting factor changing unit based on, for example, input images taken from a plurality of viewpoints.
As a result, the resampling means at the subsequent stage can effectively narrow down and reorganize the existence range of the particles, thereby improving the accuracy of shape estimation and the convergence speed in calculating the estimated value.
請求項６に記載の形状推定プログラムは、オブジェクトが撮影された画像中の映像オブジェクトに基づき、３次元座標を含む状態ベクトルと重み係数とを有した情報であるパーティクルを用いたパーティクルフィルタによって、前記オブジェクトの３次元形状を推定するために、コンピュータを、シルエット抽出手段、パーティクルフィルタ手段、メタボール生成手段、として機能させる形状推定プログラムであって、前記パーティクルフィルタ手段は、パーティクル生成手段、重み係数変更手段、再サンプリング手段、状態遷移手段、を含むこととした。
The shape estimation program according to
かかる構成によれば、形状推定プログラムは、シルエット抽出手段によって、入力された画像に含まれる映像オブジェクトの領域をシルエットとして抽出する。また、形状推定プログラムは、パーティクルフィルタ手段のパーティクル生成手段によって、オブジェクトを探索する予め定められた探索領域内を示す３次元座標を有する、２以上である所定数のパーティクルを生成する。パーティクル生成手段で生成された所定数のパーティクルは、重み係数変更手段によって、シルエット抽出手段で抽出されたシルエットに基づいて、重み係数が変更される。重み係数変更手段で重み係数を変更されたパーティクルは、再サンプリング手段によって、３次元座標について再サンプリングして同じ個数のパーティクルを再生成すると共に、それらのパーティクルの重み係数を均一にする。次に、状態遷移手段によって、再サンプリング手段によって再サンプリングされたパーティクルの状態ベクトルを遷移させる。
そして、パーティクルフィルタ手段によって、重み係数変更手段と再サンプリング手段と状態遷移手段とによるパーティクルに対する処理を繰り返し行う。
また、メタボール生成手段によって、パーティクルフィルタ手段で処理された所定数のパーティクルに基づいて、メタボール表現による３次元形状モデルを生成する。
これによって、形状推定装置は、パーティクルフィルタ手段において使用するパーティクルの数に応じた分解能、精度、メモリ消費量及び演算量において、オブジェクトの形状情報を取得し、メタボール表現への変換によって当該オブジェクトの形状を推定することができる。
According to this configuration, the shape estimation program extracts the region of the video object included in the input image as a silhouette by the silhouette extraction unit. In addition, the shape estimation program generates a predetermined number of particles equal to or greater than 2 having three-dimensional coordinates indicating a predetermined search area in which an object is searched by the particle generation unit of the particle filter unit. The weight coefficient of the predetermined number of particles generated by the particle generating means is changed by the weight coefficient changing means based on the silhouette extracted by the silhouette extracting means. The particles whose weighting coefficient has been changed by the weighting coefficient changing means resample the three-dimensional coordinates by the resampling means to regenerate the same number of particles, and make the weighting coefficients of those particles uniform. Next, the state transition unit causes the state vector of the particles resampled by the resampling unit to transition.
Then, the particle filter means repeatedly performs processing on the particles by the weight coefficient changing means, the resampling means, and the state transition means.
In addition, the metaball generation unit generates a three-dimensional shape model based on the metaball expression based on a predetermined number of particles processed by the particle filter unit.
Thereby, the shape estimation device acquires object shape information with resolution, accuracy, memory consumption, and calculation amount according to the number of particles used in the particle filter means, and converts the object shape into a metaball representation. Can be estimated.
請求項１又は請求項６に記載の発明によれば、演算量やメモリ量を低減して、オブジェクトの３次元形状を推定することができる。
請求項２に記載の発明によれば、より正確にオブジェクトの３次元形状を推定することができる。
請求項３に記載の発明によれば、より少ない演算量でオブジェクトの３次元形状を推定することができる。
請求項４に記載の発明によれば、メタボール変換による形状推定の誤差を修正し、より正確にオブジェクトの３次元形状を推定することができる。
請求項５に記載の発明によれば、より精度よく、また、より迅速にオブジェクトの３次元形状を推定することができる。
According to the invention described in
According to invention of
According to the third aspect of the invention, the three-dimensional shape of the object can be estimated with a smaller amount of calculation.
According to the fourth aspect of the invention, it is possible to correct the shape estimation error due to the metaball transformation and more accurately estimate the three-dimensional shape of the object.
According to the fifth aspect of the present invention, the three-dimensional shape of the object can be estimated more accurately and more quickly.
以下、本発明の実施の形態について適宜図面を参照して詳細に説明する。
［形状推定装置の構成］
まず、図１を参照して、実施形態の形状推定装置１０の構成について説明する。ここで、図１は本発明にかかる実施形態の形状推定装置の構成を示すブロック図である。
図１に示した実施形態の形状推定装置１０は、Ｎ個（Ｎは１以上の整数）の入力手段１（１１〜１Ｎ）と、Ｎ個のシルエット抽出手段２（２１〜２Ｎ）と、パーティクルフィルタ手段３と、メタボール生成手段４と、モルフォロジ処理手段５と、出力手段６と、を含んで構成されている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
[Configuration of shape estimation device]
First, with reference to FIG. 1, the structure of the
The
入力手段１（１１〜１Ｎ）は、図示しないＮ台のカメラによって撮影された対象物体（オブジェクト）の入力画像Ｉ１〜ＩＮを、それぞれ対応するシルエット抽出手段２（２１〜２Ｎ）に入力する入力インターフェースである。また、この入力手段１１〜１Ｎは、それぞれ入力画像Ｉ１〜ＩＮを撮影した際のカメラパラメータＣＰ１〜ＣＰＮをパーティクルフィルタ手段３に出力する。ここで、カメラパラメータＣＰ１〜ＣＰＮとは、それぞれ入力画像Ｉ１〜ＩＮを撮影した際のカメラの撮影位置の座標を含み、姿勢情報（例えば、パン角、チルト角等で表される撮影方向）、画角情報（例えば、ズーム量等）などである。
The input means 1 (1 1 to 1 N ) converts the input images I 1 to I N of target objects (objects) photographed by N cameras (not shown) into the corresponding silhouette extraction means 2 (2 1 to 2 N). ) Input interface. Further, the
シルエット抽出手段２（２１〜２Ｎ）は、Ｎ箇所の視点で撮影された対象物体（オブジェクト）の入力画像Ｉ１〜ＩＮから対象物体像（映像オブジェクト）の領域を抽出し、シルエット画像（以下、シルエット）Ｓ１〜ＳＮを生成する。シルエットとは、入力画像（例えばＩ１）を構成する各画素に関して、当該画素が対象物体像に属するか否かを数値的に区別した画像である。
なお、特許請求の範囲の記載において、オブジェクトとは対象物体のことであり、映像オブジェクトとは対象物体を撮影した入力画像中の対象物体像のことである。
The silhouette extraction means 2 (2 1 to 2 N ) extracts the region of the target object image (video object) from the input images I 1 to I N of the target object (object) photographed from N viewpoints, and the silhouette image (Hereinafter, silhouettes) S 1 to S N are generated. A silhouette is an image that numerically distinguishes whether each pixel constituting an input image (for example, I 1 ) belongs to a target object image.
In the description of the claims, an object is a target object, and a video object is a target object image in an input image obtained by photographing the target object.
例えば、注目する画素が対象物体像上にある場合には値“１”を、対象物体像上にない場合には値“０”を割り当てた２値画像をシルエットとして用いることができる。
また、例えば、注目する画素が対象物体像上にある可能性が高い場合には大きな値（例えば“１”に近い値）を、対象物体像上にない可能性が高い場合には小さな値（例えば“０”に近い値）を設定し、前記の何れとも判別できない場合には中間的な値（例えば“０．５”）を設定した多値の画像であってもよい。
For example, a binary image to which a value “1” is assigned when the pixel of interest is on the target object image and a value “0” is assigned when the pixel is not on the target object image can be used as the silhouette.
In addition, for example, a large value (for example, a value close to “1”) when the pixel of interest is highly likely to be on the target object image, a small value (for example, a value close to “1”) is high. For example, a multi-valued image in which an intermediate value (for example, “0.5”) is set may be used.
以下、ｎ番目（ｎ＝１，２，……，Ｎ）の視点の入力画像をＩｎ、シルエットをＳｎと表記する。また、（ｘ，ｙ）は入力画像における画素位置を表し、ｘは水平座標を、ｙは垂直座標を表す。さらに、画素位置（ｘ，ｙ）における入力画像ＩｎおよびシルエットＳｎの画素値を、それぞれＩｎ（ｘ，ｙ）およびＳｎ（ｘ，ｙ）と表記する。 Hereinafter, n-th (n = 1,2, ......, N ) the input image of the view of I n, the silhouette is denoted as S n. Further, (x, y) represents a pixel position in the input image, x represents a horizontal coordinate, and y represents a vertical coordinate. Furthermore, the pixel values of the input image I n and silhouettes S n at the pixel position (x, y), respectively I n (x, y) and S n (x, y) and notation.
各入力画像Ｉｎを得る手段はそれぞれ任意であり、例えば、デジタルスチルカメラやビデオカメラで電子的に撮影された画像であってもよいし、銀塩写真をイメージスキャナやデジタルスチルカメラ、ビデオカメラなどによって電子化した画像であっても構わない。また、これらの手段を組み合わせて用いてもよい。
入力画像Ｉｎはカラー画像であってもモノクロ画像であっても多バンド画像であってもよいが、以下では各画素が赤、緑及び青の３原色により構成されるカラー画像であるものとして説明する。一方、シルエットＳｎは、各画素が“０”以上“１”以下の値をとる多値画像とし、対象物体像上である可能性が高いほど大きな値をとるものとして説明する。
Each input image I n means for obtaining is arbitrary respectively, for example, a digital still camera and a electronically captured image may be a video camera, an image scanner or a digital still camera to silver halide photograph, a video camera For example, the image may be digitized. Moreover, you may use combining these means.
As the input image I n is may be a multi-band image may be a monochrome image may be a color image, the following is a color image composed of the three primary colors of each pixel red, green and blue explain. On the other hand, the silhouette Sn is assumed to be a multi-valued image in which each pixel has a value of “0” or more and “1” or less, and takes a larger value as the possibility of being on the target object image increases.
シルエット抽出手段２ｎは、例えば、クロマキー法による対象物体像の抽出手法を用いることができる。この場合は、対象物体を区別可能な色の背景の前に対象物体を配置して撮影し、入力画像Ｉｎを取得する。例えば、青い布など単色の人工的な素材を背景として用いたり、芝生のような単色に近い自然物を背景として用いることができる。クロマキーによる場合、入力画像Ｉｎの画素位置（画像座標）（ｘ，ｙ）における画素値Ｉｎ（ｘ，ｙ）が背景色に類似している場合ほど、対象物体像である可能性が低いため、シルエットＳｎ（ｘ，ｙ）の値を小さくするものとする。
The
ここで、図２を参照して、シルエットＳｎの生成について説明する。図２の（ａ）は、対象物体をカメラで撮影する様子を示した図、（ｂ）はカメラによって撮影された入力画像、（ｃ）はシルエットである。
図２（ａ）に示したように、形状を探索する領域として予め定められた領域Ｄ内に配置された対象物体Ｏ（この例では四角錐）を、カメラＣ１により側方から、カメラＣ２により上方から撮影することにより、それぞれ、図２（ｂ）に示したように、対象物体像Ｏ’が含まれる入力画像Ｉ１及び入力画像Ｉ２を得ている。これらの入力画像Ｉ１及び入力画像Ｉ２に対し、図２（ｂ）の網掛部の色を背景色としてクロマキー処理を行った結果が、図２（ｃ）に示したシルエットＳ１及びシルエットＳ２である。図２（ｃ）では、“１”又は“１”に近い大きな値を白で、“０”又は“０”に近い小さな値を黒で表示している。
Here, with reference to FIG. 2, the generation of silhouette S n. FIG. 2A shows a state where the target object is photographed by the camera, FIG. 2B shows an input image photographed by the camera, and FIG. 2C shows a silhouette.
As shown in FIG. 2 (a), the target object disposed within a predetermined area D as an area for searching a shape O (four-sided pyramid in this example), from the side by the camera C 1, the camera C by photographing from above by 2, respectively, as shown in FIG. 2 (b), to obtain an input image I 1 and the input image I 2 including the target object image O '. The result of performing chroma key processing on the input image I 1 and the input image I 2 using the shaded color in FIG. 2B as the background color is the result of the silhouette S 1 and the silhouette S shown in FIG. 2 . In FIG. 2C, a large value close to “1” or “1” is displayed in white, and a small value close to “0” or “0” is displayed in black.
また、シルエット抽出手段２ｎは、例えば、背景差分法により実装してもよい。この場合、シルエット抽出手段２ｎには、対象物体像がないときの画像を背景画像Ｂｎとして、図示しない記憶手段に予め記憶しておく。そして、入力画像の各画素の画素値Ｉｎ（ｘ，ｙ）が、対応する画素位置の背景画像の画素値Ｂｎ（ｘ，ｙ）に類似している場合ほど、対象物体像である可能性が低いため、シルエットＳｎ（ｘ，ｙ）の値を小さくするものとする。
このほか、入力画像Ｉｎから対象物体像らしさを表すシルエットＳｎが得られる手法であれば、他の手法を用いてもよい。
Further, the
In addition, as long as it is a method for silhouette S n is obtained from the input image I n represents the object image likelihood may use other techniques.
パーティクルフィルタ手段３は、シルエット抽出手段２１〜２Ｎから入力されるシルエットＳ１〜ＳＮと、入力手段１１〜１Ｎから入力されるカメラパラメータＣＰ１〜ＣＰＮを用いて、パーティクルフィルタ手法におけるパーティクル（粒子）に対するフィルタ処理を行い、パーティクル群（粒子群）をメタボール生成手段４に出力する。
ここで、パーティクルとは、３次元座標（位置成分）を含む状態ベクトルと重み係数とを有する情報であり、パーティクルフィルタとは、このようなパーティクルを対象物体内に適宜散布し、複数のパーティクルの集合からなるパーティクル群の状態ベクトルと重み係数とを重ね合わせることで物体の３次元形状を表現する手法である。
Particle filter unit 3, using the
Here, the particle is information having a state vector including a three-dimensional coordinate (position component) and a weighting coefficient, and the particle filter appropriately scatters such particles in the target object, This is a technique for expressing a three-dimensional shape of an object by superimposing a state vector of a group of particles and a weighting factor.
次に、図３を参照して、パーティクルフィルタ手段３の詳細な構成について説明する。ここで、図３は、パーティクルフィルタ手段の構成を示したブロック図である。
図３に示したように、パーティクルフィルタ手段３は、パーティクル生成手段２１と、スイッチ２２と、Ｎ個の加重演算手段（重み係数変更手段）２３（２３１〜２３Ｎ）と、再サンプリング手段２４と、遅延手段２５と、状態遷移手段２６と、から構成されている。
Next, the detailed configuration of the particle filter means 3 will be described with reference to FIG. Here, FIG. 3 is a block diagram showing the configuration of the particle filter means.
As shown in FIG. 3, the particle filter unit 3 includes a
パーティクル生成手段２１は、パーティクルフィルタ手段３におけるパーティクルの初期化のための手段であり、シルエット抽出手段２１から入力されるシルエットＳ１と入力手段１１を介して入力されるカメラパラメータＣＰ１とに基づき、対象物体の存在候補領域内に分布する所定数（Ｍ個）のパーティクルを生成するパーティクルの初期化手段である。
生成するパーティクルの個数Ｍは２以上の整数であり、例えば、Ｍ＝１００００とすることができる。個々のパーティクルは、それぞれ状態ベクトルと重み係数とからなるベクトル量である。以下、ｍ番目（ｍ＝１，２，……，Ｍ）のパーティクルの状態ベクトルをｓｍ、重み係数をｗｍと表記する。 The number M of particles to be generated is an integer greater than or equal to 2, for example, M = 10000. Each particle is a vector quantity composed of a state vector and a weight coefficient. Hereinafter, the state vector of the m-th particle (m = 1, 2,..., M) is expressed as s m , and the weight coefficient is expressed as w m .
状態ベクトルｓｍは、その成分に少なくとも３次元空間における座標（Ｘｍ，Ｙｍ，Ｚｍ）を含むものとする。状態ベクトルｓｍは、例えば、式（１）に示すように３次元空間における座標（Ｘｍ，Ｙｍ，Ｚｍ）のみで構成することができる。 The state vector s m includes at least coordinates (X m , Y m , Z m ) in a three-dimensional space as its components. For example, the state vector s m can be configured by only coordinates (X m , Y m , Z m ) in a three-dimensional space as shown in the equation (1).
あるいは、状態ベクトルｓｍは、例えば、式（２）に示すように、３次元空間における座標及び速度からなる６次元のベクトルとしてもよい。式（２）において、・（ドット）は時間微分を表し、右辺の４〜６行目の要素は、それぞれ、ｍ番目のパーティクルのＸ、Ｙ、Ｚ方向の速度を表す。 Alternatively, the state vector s m, for example, as shown in equation (2) may be a six-dimensional vector consisting of the coordinates and velocities in the three-dimensional space. In the formula (2), • (dot) represents time differentiation, and the elements on the 4th to 6th lines on the right side represent the velocities in the X, Y, and Z directions of the mth particle, respectively.
さらに、状態ベクトルｓｍに、例えば、加速度を導入して９次元のベクトルとしてもよいし、過去の座標、速度、加速度などを導入してもよい。 Furthermore, the state vector s m, for example, may be a 9-dimensional vector by introducing acceleration, it may be introduced past coordinates, velocity, acceleration and the like.
ここで、図４及び図２を参照してパーティクル生成手段２１の機能について説明する。図４は、パーティクルを生成する様子を模式的に示した図である。
パーティクル生成手段２１は、まず、図２（ａ）に示した例のように、対象物体Ｏが領域Ｄに完全に包含されるように、３次元空間上の閉領域である領域Ｄを設定する。すなわち、領域Ｄは形状推定を行う探索領域である。
そして、式（３）に示すように、シルエットＳ１に応じて定められる確率密度関数ｐ（Ｘ，Ｙ，Ｚ｜Ｓ１）に従うＭ個のサンプル（Ｘｍ，Ｙｍ，Ｚｍ）（ｍ＝１，２，…，Ｍ）を生成する。
Here, the function of the particle generation means 21 is demonstrated with reference to FIG.4 and FIG.2. FIG. 4 is a diagram schematically showing how particles are generated.
First, the
Then, as shown in Expression (3), M samples (X m , Y m , Z m ) (m) according to the probability density function p (X, Y, Z | S 1 ) determined according to the silhouette S 1 = 1, 2, ..., M).
（Ｘｍ，Ｙｍ，Ｚｍ）〜ｐ（Ｘ，Ｙ，Ｚ｜Ｓ１） …（３） (X m , Y m , Z m ) to p (X, Y, Z | S 1 ) (3)
式（３）の確率密度関数ｐ（Ｘ，Ｙ，Ｚ｜Ｓ１）として、例えば、式（４）の関数を用いることができる。 As the probability density function p (X, Y, Z | S 1 ) of Expression (3), for example, the function of Expression (4) can be used.
式（４）において、ｆｎ（Ｘ，Ｙ，Ｚ）及びｇｎ（Ｘ，Ｙ，Ｚ）は入力画像Ｉｎを撮影したカメラＣｎ（例えば、図２のカメラＣ１、Ｃ２）による投影変換を表す関数である。すなわち、３次元座標（Ｘ，Ｙ，Ｚ）で表される点は、カメラＣｎによって撮影された２次元画像内において、２次元画像座標（ｆｎ（Ｘ，Ｙ，Ｚ），ｇｎ（Ｘ，Ｙ，Ｚ））に変換される。ｆｎ（Ｘ，Ｙ，Ｚ）及びｇｎ（Ｘ，Ｙ，Ｚ）はカメラやレンズの特性、カメラ位置及びカメラ姿勢等のカメラパラメータに応じて決まる関数であり、例えば、ピンホールや一般的なレンズの場合は透視投影変換となり、魚眼レンズの場合は等距離投影変換や正射影変換となる。
In the formula (4), f n (X , Y, Z) and g n (X, Y, Z ) is due to the camera C n obtained by photographing the input image I n (e.g.,
パーティクルＰは、対象物体Ｏの最大の探索領域である領域Ｄ内であって、かつシルエットＳ１及びカメラパラメータＣＰ１から推定される対象物体Ｏの存在候補領域に分布するように生成される。シルエットＳ１及びカメラパラメータＣＰ１から推定される対象物体Ｏの存在候補領域とは、カメラＣ１の第一光学主点（視点）から、シルエットＳ１の０でない画素を通して観測する方位に含まれる領域のことである。簡単のためにシルエットＳ１が２値（“０”及び“１”）の場合について説明すると、図４のシルエットＳ１の白い部分が“０”でない画素、すなわち“１”の画素とすると、（Ｘｍ，Ｙｍ，Ｚｍ）は、カメラＣ１の第一光学主点と画像面上のシルエットＳ１のＳ１（ｘ，ｙ）＝１なる領域とを通る錐体状領域（この例では三角錐）の内部にほぼ均一に分布する。ただし、最大の探索領域である領域Ｄ内に限るものとする。
また、パーティクルＰの重み係数ｗｍは、初期値として、すべて均一の値（例えば、１／Ｍ）を設定する。
The particles P are generated so as to be distributed within the region D that is the maximum search region of the target object O and distributed in the existence candidate regions of the target object O estimated from the silhouette S 1 and the camera parameter CP 1 . The existence candidate region of the target object O estimated from the silhouette S 1 and the camera parameter CP 1 is included in the orientation observed from the first optical principal point (viewpoint) of the camera C 1 through the non-zero pixel of the silhouette S 1. It is an area. For the sake of simplicity, the case where the silhouette S 1 is binary (“0” and “1”) will be described. If the white portion of the silhouette S 1 in FIG. 4 is a non- “0” pixel, that is, a “1” pixel, (X m , Y m , Z m ) is a cone-shaped region (this one that passes through the first optical principal point of the camera C 1 and the region S 1 (x, y) = 1 of the silhouette S 1 on the image plane. In the example, it is distributed almost uniformly inside the triangular pyramid). However, it is limited to the area D which is the maximum search area.
Further, the weighting coefficient w m of the particles P is all set to a uniform value (for example, 1 / M) as an initial value.
なお、最初に生成するパーティクルＰは、最大の探索領域である領域Ｄ内に一様に分布するように生成してもよいが、最初に設定する探索領域を、シルエットＳ１から推定される対象物体の存在領域に限定することで、形状推定のための収束までの繰り返し演算処理の回数を低減することができる。 Incidentally, the particles P generated first, but may be generated so as to be distributed uniformly in the area D is the maximum search area, the search region set initially, is estimated from the silhouette S 1 object By limiting to the region where the object exists, the number of iterative calculation processes until convergence for shape estimation can be reduced.
スイッチ２２は、パーティクル生成手段２１から入力される初期化されたパーティクルか、後記する加重演算手段２３１から入力されるフィルタ処理が進んだパーティクルかを選択し、加重演算手段２３２に出力する。
スイッチ２２は、パーティクルの初期化のための切り替えスイッチであり、形状推定を開始した直後（例えば、対象物体を本装置の前に据え、準備が整った直後）や、使用者の必要に応じて、パーティクル生成手段２１側を、所定の時間だけ閉じて、パーティクル生成手段２１で生成された必要な個数のパーティクルを、加重演算手段２３２に供給する。これ以外の期間は、加重演算手段２３１側を閉じて、加重演算手段２３１によって処理されたパーティクルを、加重演算手段２３２にそのまま出力する。
The
加重演算手段（重み係数変更手段）２３（２３１〜２３Ｎ）は、各パーティクルの状態ベクトルｓｍがシルエットＳ１〜ＳＮと矛盾しないか評価し（尤度を評価し）、その評価結果に応じて重み係数ｗｍを修正する。
具体的には、式（５）に示したように、パーティクルの３次元座標（Ｘｍ，Ｙｍ，Ｚｍ）の画像座標への投影変換位置におけるシルエットＳｎの画素値Ｓｎ（ｆｎ（Ｘｍ，Ｙｍ，Ｚｍ），ｇｎ（Ｘｍ，Ｙｍ，Ｚｍ））を、元の重み係数ｗｍに乗じた値を、変更後の重み係数ｗｍとする。
シルエットＳｎの画素値は、対象物体像（映像オブジェクト）の存在する確からしさ（可能性）が高いほど大きな値（例えば“１”）を有し、低いほど小さな値（例えば“０”）を有するため、対象物体像の存在する確からしさが低い位置に配置されたパーティクルほど、その重み係数ｗｍは小さな値に変換される。
Weighted arithmetic means (weighting coefficient changing means) 23 (23 1 ~ 23 N), the state vector s m of each particle is evaluated not in conflict with the
Specifically, as shown in Expression (5), the pixel value S n (f n ) of the silhouette S n at the projection conversion position of the three-dimensional coordinates (X m , Y m , Z m ) of the particles to the image coordinates. (X m, Y m, Z m), g n (X m, Y m, Z m) to), a value obtained by multiplying the original weighting factor w m, the weighting factor w m after the change.
Pixel values of the silhouette S n has an existence probability of the target object image (image object) (possibility) is higher the larger the value (e.g. "1"), the lower the smaller value (e.g. "0") Therefore, the weight coefficient w m is converted to a smaller value as the particle is located at a lower probability that the target object image exists.
ｗｍ ← ｗｍ・Ｓｎ（ｆｎ（Ｘｍ，Ｙｍ，Ｚｍ），ｇｎ（Ｘｍ，Ｙｍ，Ｚｍ）） …（５） w m ← w m · S n (f n (X m , Y m , Z m ), g n (X m , Y m , Z m )) (5)
但し、（Ｘｍ，Ｙｍ，Ｚｍ）＝（状態ベクトルｓｍの位置成分）であり、ｆｎ（Ｘｍ，Ｙｍ，Ｚｍ）及びｇｎ（Ｘｍ，Ｙｍ，Ｚｍ）は、カメラＣｎによって撮影された入力画像Ｉｎの画像座標への投影変換を行う関数であり、ｆｎ（Ｘｍ，Ｙｍ，Ｚｍ）は水平座標、ｇｎ（Ｘｍ，Ｙｍ，Ｚｍ）は垂直座標に変換するための関数である。また、←（左矢印）は、右辺の計算結果を左辺の変数に代入することを示す記号である。 However, a (X m, Y m, Z m) = ( position component of the state vector s m), f n (X m, Y m, Z m) and g n (X m, Y m , Z m) Is a function that performs projection conversion to the image coordinates of the input image In taken by the camera C n , where f n (X m , Y m , Z m ) is the horizontal coordinate, g n (X m , Y m , Z m ) is a function for converting to vertical coordinates. Further, ← (left arrow) is a symbol indicating that the calculation result on the right side is assigned to the variable on the left side.
加重演算手段２３１は、後記する状態遷移手段２６から入力されるパーティクルに対して、シルエット抽出手段２１から入力されるシルエットＳ１及び入力手段１１を介して入力されるカメラパラメータＣＰ１に基づいて、各パーティクルの重み係数ｗｍを修正する。そして、重み係数ｗｍを修正したパーティクルをスイッチ２２に出力する。
Weighted arithmetic means 23 1, to the particles is input from the state transition means 26 to be described later, the camera parameters CP 1 inputted via the silhouettes S 1 and the input means 1 1 is input from the
加重演算手段２３２は、スイッチ２２から入力されるパーティクルに対して、シルエット抽出手段２２から入力されるシルエットＳ２及び入力手段１２を介して入力されるカメラパラメータＣＰ２に基づいて、各パーティクルの重み係数ｗｍを修正する。そして、重み係数ｗｍを修正したパーティクルを加重演算手段２３３（不図示）に出力する。
Weighting calculation means 23 2, to the particles which are inputted from the
以下、同様に、ｎ番目の加重演算手段２３ｎは、前段の加重演算手段２３ｎ−１から入力されるパーティクルに対して、シルエット抽出手段２ｎから入力されるシルエットＳｎ及び入力手段１ｎを介して入力されるカメラパラメータＣＰｎに基づいて、各パーティクルの重み係数ｗｍを修正し、重み係数ｗｍを修正したパーティクルを、後段の加重演算手段２３ｎ＋１に出力する。
Hereinafter, similarly, the
最後段の加重演算手段２３Ｎは、重み係数ｗｍを修正したパーティクル（パーティクル群ＰＡ）を、再サンプリング手段２４に出力すると共に、メタボール生成手段４（図１参照）に出力する。 The last weight calculation means 23 N outputs the particles (particle group P A ) whose weight coefficient w m has been corrected to the resampling means 24 and to the metaball generation means 4 (see FIG. 1).
なお、加重演算手段２３は、複数段を接続する必要はなく、１段のみとしてもよい。また、複数のシルエット抽出手段２１〜２Ｎ（図１参照）を備えると共に、複数段の加重演算手段２３１〜２３Ｎを接続することで、複数の視点から撮影した入力画像Ｉ１〜ＩＮによるシルエットＳ１〜ＳＮに基づいて重み係数ｗｍを変更することができ、後段の再サンプリング手段２４によって、パーティクルの存在範囲を効果的に絞り込んで再編成することができる。そのため、形状推定の精度及び推定値算出における収束速度を向上することができる。
Note that the
ここで、図５を参照して加重演算手段２３の機能について説明する。図５は、パーティクルの重み係数を更新する様子を模式的に示した図である。
図５においては、図４に示したパーティクルＰに対して、加重演算手段２３２によって、カメラＣ２から得られた入力画像Ｉ２（図２参照）によるシルエットＳ２及びカメラパラメータＣＰ２に基づいて、重み係数ｗｍの更新を行う様子を表している。
Here, the function of the weight calculation means 23 will be described with reference to FIG. FIG. 5 is a diagram schematically showing how the weighting coefficient of particles is updated.
In FIG. 5, based on the silhouette S 2 and the camera parameter CP 2 based on the input image I 2 (see FIG. 2) obtained from the camera C 2 by the weight calculation means 23 2 for the particle P shown in FIG. This represents how the weighting coefficient w m is updated.
黒丸（Ｐ１）及び白丸（Ｐ２）で示したパーティクルＰは、図４に示した、前の処理までに得られているパーティクル群の３次元の位置を模式的に表している。式（５）に示したように、各パーティクルＰの３次元座標（Ｘｍ，Ｙｍ，Ｚｍ）を２次元画像面に投影した像の画像座標（ｆ２（Ｘｍ，Ｙｍ，Ｚｍ），ｇ２（Ｘｍ，Ｙｍ，Ｚｍ）)におけるシルエットＳ２の画素値Ｓ２（ｆ２（Ｘｍ，Ｙｍ，Ｚｍ），ｇ２（Ｘｍ，Ｙｍ，Ｚｍ）)を、パーティクルＰの重み係数ｗｍに乗じて、新たな重み係数ｗｍとする。 Particles P indicated by black circles (P 1 ) and white circles (P 2 ) schematically represent the three-dimensional positions of the particle groups obtained up to the previous processing shown in FIG. As shown in Expression (5), the image coordinates (f 2 (X m , Y m , Z) of the image obtained by projecting the three-dimensional coordinates (X m , Y m , Z m ) of each particle P onto the two-dimensional image plane. m ), g 2 (X m , Y m , Z m )), the pixel value S 2 (f 2 (X m , Y m , Z m ), g 2 (X m , Y m , Z m )) of the silhouette S 2 )) Is multiplied by the weight coefficient w m of the particle P to obtain a new weight coefficient w m .
簡単のためにシルエットＳ２が２値画像の場合について説明すると、パーティクルの３次元座標の画像座標への投影変換位置が、シルエットＳ２の“０”でない画素上にあるか否かを判定し、シルエットＳ２の“０”でない画素上にあると判定された黒丸のパーティクルＰ１に関しては重みｗｍをそのまま変化させずに保つ。一方、シルエットＳ２の“０”である画素上にあると判定された白丸のパーティクルＰ２に対しては、ｗｍ×０＝０を新たなｗｍとする。 For the sake of simplicity, the case where the silhouette S 2 is a binary image will be described. It is determined whether or not the projection conversion position of the three-dimensional coordinates of the particles to the image coordinates is on a pixel other than “0” of the silhouette S 2. For the black circle particle P 1 determined to be on a pixel that is not “0” in the silhouette S 2, the weight w m is kept unchanged. On the other hand, for the particles P 2 white circles is determined to be on the pixel is a silhouette S 2 "0", the w m × 0 = 0 as the new w m.
図３に戻って、パーティクルフィルタ手段３の構成について説明を続ける。
再サンプリング手段２４は、Ｎ個の加重演算手段２３１〜２３Ｎを経て、最後段の加重演算手段２３Ｎから出力されるＭ個のパーティクルを入力し、各パーティクルの重み係数ｗｍに応じて再サンプリング（再編成）して、新たなＭ個のパーティクル（パーティクル群ＰＢ）を生成し、遅延手段２５に出力すると共に、メタボール生成手段４（図１参照）に出力する。また、再サンプリング手段２４は、新たに生成するＭ個のパーティクルの重みｗｍを、例えば、すべて１／Ｍとなるようにする。
Returning to FIG. 3, the description of the configuration of the particle filter means 3 will be continued.
The re-sampling means 24 inputs M particles output from the last weight calculation means 23 N via N weight calculation means 23 1 to 23 N , and according to the weight coefficient w m of each particle. Re-sampling (reorganization) generates new M particles (particle group P B ) and outputs them to the delay means 25 and to the metaball generation means 4 (see FIG. 1). Further, the
ここで、図６を参照して、再サンプリング手段２４の機能について説明する。図６は、再サンプリングの様子を模式的に示した図であり、（ａ）は、再サンプリング前のパーティクルを示し、（ｂ）は、再サンプリング後のパーティクルを示す。 Here, the function of the resampling means 24 will be described with reference to FIG. 6A and 6B are diagrams schematically showing the state of resampling. FIG. 6A shows particles before resampling, and FIG. 6B shows particles after resampling.
図６（ａ）において、丸印は、再サンプリング手段２４に入力された番号ｍが１から１０までのパーティクルを表している。各丸印の座標（ここでは便宜上１次元で表している）が各パーティクルの状態ベクトルｓｍを表し、その大きさが重み係数ｗｍを表している。 In FIG. 6A, the circles indicate the particles with the number m input to the resampling means 24 from 1 to 10. Each circle of coordinates (represented here for convenience one dimension in) represents the state vector s m of each particle, its magnitude represents a weighting factor w m.
再サンプリング手段２４では、再サンプリング前のパーティクルの重み係数ｗｍの大きさに応じた個数の当該パーティクルのコピーを生成する。すなわち、パーティクルの重み係数ｗｍが大きいものほど数多くのパーティクルのコピーを生成し、ｗｍが小さいものほどコピーの生成数が少なくするか、あるいは皆無となるようにパーティクルを再編成（再サンプリング）して、図６（ｂ）に示すように、重み係数ｗｍが均一な、新たなパーティクル群を生成する。 The resampling means 24 generates a number of copies of the particles corresponding to the size of the weight coefficient w m of the particles before resampling. That is, the larger the particle weighting factor w m is, the more particles are generated, and the smaller the w m is, the smaller the number of copies is generated, or the particles are reorganized (re-sampling) Then, as shown in FIG. 6B, a new particle group having a uniform weight coefficient w m is generated.
図６に示した例では、再サンプリング前の１０個のパーティクルついて、ｍ＝５のパーティクルは４個のパーティクルに変換され、ｍ＝４，６のパーティクルは、それぞれ２個のパーティクルに変換され、ｍ＝７，９のパーティクルは、それぞれ１個のパーティクルに変換され、ｍ＝１，２，３，８，１０のパーティクルは消滅し、新たに１０個のパーティクルが再編成されている。 In the example shown in FIG. 6, for 10 particles before re-sampling, m = 5 particles are converted into 4 particles, m = 4, 6 particles are converted into 2 particles, The particles with m = 7 and 9 are each converted into one particle, the particles with m = 1, 2, 3, 8, and 10 disappear, and 10 particles are newly reorganized.
次に、図７を参照して、再サンプリングの手順について説明する。ここで、図７は、再サンプリング手段によるパーティクルの再サンプリングの様子を示した図である。
再サンプリング前のパーティクルの状態ベクトルをｓｍ、重み係数をｗｍとし、再サンプリング後のパーティクルの状態ベクトルをｓｍ （ｎｅｗ）、重み係数をｗｍ （ｎｅｗ）とする。ただし、ｍ＝１，２，…，Ｍとする。まず、重み係数ｗｍをｍに関して累積したＷｍを縦軸に、ｍを横軸にとる。原点を始点とし、点（ｍ，Ｗｍ）を順次、線分で結んだ折線グラフを作る。
続いて、
Next, the resampling procedure will be described with reference to FIG. Here, FIG. 7 is a diagram showing how the particles are resampled by the resampling means.
The state vector of the particle before resampling is s m , the weighting factor is w m , the state vector of the particle after resampling is s m (new) , and the weighting factor is w m (new) . Here, m = 1, 2,..., M. First, W m obtained by accumulating weighting factors w m with respect to m is taken on the vertical axis, and m is taken on the horizontal axis. A line graph is created by connecting the points (m, W m ) sequentially with line segments, starting from the origin.
continue,
０＜ωμ≦WM …（６） 0 <ω μ ≦ W M (6)
なる一様乱数ωμをＭ回発生する。以下、一様乱数をＭ回発生する中のμ番目の試行について説明する。まず、Ｗｍ＝ωμなる直線と、前記した折線グラフの交点Ωμを求める。交点Ωμのｍ座標の小数点以下を切り上げた結果をｍμ（上に＾（ハット））とする。
すなわち、
A uniform random number ω μ is generated M times. Hereinafter, the μ-th trial in which uniform random numbers are generated M times will be described. First, the intersection Ω μ between the straight line W m = ω μ and the above-mentioned line graph is obtained. The result of rounding up the decimal point of the m coordinate of the intersection Ω μ is defined as m μ (above (hat)).
That is,
を満たすｍμ（上に＾（ハット））を求める。このとき、再サンプリング後のμ番目のパーティクルの状態ベクトルを式（８）とし、 Find m μ (upper (hat)) that satisfies. At this time, the state vector of the μ-th particle after re-sampling is expressed by Equation (8),
その重み係数を式（９）とする。 The weighting coefficient is represented by equation (9).
式（６）〜式（９）の操作をＭ回繰り返すことで、再サンプリング（再編成）されたＭ個のパーティクルが得られる。
このようにして得られた新たなパーティクル群ＰＢを遅延手段２５及びメタボール生成手段４（図１参照）に出力する。
By repeating the operations of Expressions (6) to (9) M times, M particles that are resampled (reorganized) are obtained.
The new particle group P B obtained in this way is output to the delay means 25 and the metaball generation means 4 (see FIG. 1).
なお、パーティクルフィルタ手段３からメタボール生成手段４（図１参照）に出力し得るパーティクル群としては、前記した加重演算手段２３Ｎから出力するパーティクル群ＰＡと、再サンプリング手段２４から出力するパーティクル群ＰＢとがある。パーティクルフィルタ手段３からは、何れか一方を出力するが、何れを出力するか選択できるように選択手段を設けるようにしてもよい。
As the particle group which may be output from the particle filter unit 3 to metaball generation unit 4 (see FIG. 1), and particle groups P A to be output from the weighting calculation means 23 N described above, particle groups to be output from the
ここで、パーティクル群としてＰＡを用いる場合と、ＰＢを用いる場合の特徴について説明する。
加重演算手段２３Ｎから出力されるパーティクル群ＰＡは、各パーティクルは、対象物体が存在する確からしさに応じて、それぞれ異なる重み係数ｗｍを有しているため、より正確に対象物体を推定した情報を有している。このため、パーティクル群ＰＡに基づいてメタボール表現することで、正確な形状を再現することができる。
Here it will be described the case of using the P A as particles group, the characteristics in the case of using the P B.
Particle Group P A output from the
一方、再サンプリング手段２４から出力されるパーティクル群ＰＢは、各パーティクルは重み係数ｗｍに応じて、パーティクルの個数に変換されたものである。この変換は、あるパーティクルが有する変換前の重み係数ｗｍと、その変換によって生成されるパーティクルの個数とが確率的にしか対応しないため、局所的には近似的な変換となる。そのため、変換後のパーティクル群ＰＢによる形状情報には誤差が生じるため、形状の推定精度は変換前のパーティクル群ＰＡよりも劣化する。しかし、パーティクル群ＰＢは、全てのパーティクルの重み係数ｗｍが均一の値に変換されるため、メタボール表現への変換の際には、各パーティクルを、半径の等しいメタボールとすることができるため、メタボール変換の演算を簡略化し、演算量を低減することができる。 On the other hand, the particle group P B output from the re-sampling means 24 is obtained by converting each particle into the number of particles according to the weighting factor w m . This conversion is a local approximate conversion because the weight coefficient w m before conversion of a certain particle and the number of particles generated by the conversion correspond only probabilistically. Therefore, the shape information using a particle group P B after the conversion since the errors occur, the estimation accuracy of the shape is degraded than the particle group P A before conversion. However, in the particle group P B , since the weight coefficient w m of all particles is converted to a uniform value, each particle can be made into a metaball having the same radius when converted into the metaball expression. The calculation of the metaball conversion can be simplified and the calculation amount can be reduced.
パーティクル群ＰＡとパーティクル群ＰＢのこのような特徴を考慮して、用途に適したパーティクル群を用いるようにすることができる。 Considering such characteristics of the particle group P A and the particle group P B , it is possible to use a particle group suitable for the application.
図３に戻って、パーティクルフィルタ３の構成について説明を続ける。
遅延手段２５は、各カメラＣｎ（例えば、図２のカメラＣ１，Ｃ２）で次の撮影が行われ、新たな入力画像Ｉｎが入力されるまで処理を待機するタイミングを調整のための手段であり、例えば、処理途中のパーティクルを一時記憶するメモリ手段で構成することができる。このメモリ手段にパーティクルを記憶し、状態遷移手段２６による処理時間を考慮した上で、入力画像Ｉｎの入力タイミングを見計らって、メモリ手段からパーティクルを読み出して状態遷移手段２６に出力するようにすればよい。
Returning to FIG. 3, the description of the configuration of the particle filter 3 will be continued.
Delay means 25, each of the cameras C n (e.g., camera C 1, C 2 in FIG. 2) next photographing is performed in, for adjusting the timing of the processing waits until a new input image I n is input For example, it can be constituted by a memory means for temporarily storing particles being processed. Storing particles in the memory means, in consideration of the processing time by a
なお、遅延手段２５は、再サンプリング手段２４の直後に限らず、入力画像Ｉ１〜ＩＮに基づいて処理を行う加重演算手段２３１から加重演算手段２３Ｎの間以外であれば、再サンプリング手段２４の直前又は状態遷移手段２６の直後に設けてもよい。
Note that the
状態遷移手段２６は、遅延手段２５から入力される再サンプリング後のパーティクルに対して、各パーティクルの状態ベクトルｓｍ（ｔ）を遷移させ、遷移後のパーティクルを加重演算手段２３１に出力する。
State transition means 26 with respect to the particles after re-sampling is input from the
状態遷移手段２６は、各パーティクルの状態ベクトルｓｍ（ｔ）を、式（１０）に示すように、確率密度関数ｐ（ｓ（ｔ＋１）｜ｓｍ（ｔ））に従うサンプリングを行うことにより新たな状態ベクトルｓｍ（ｔ＋１）に遷移させる。ここにｔは時刻（あるいは逐次処理の現在の回数）を表す。
ここで、状態遷移は、後記するように、対象物体が変形や移動する場合において、所定時間経過後に撮影した画像から抽出したシルエットＳｎを用いて加重演算手段２３ｎで重み係数ｗｍを変更する際に、パーティクルが、所定時間経過後の対象物体の位置に追随するように、パーティクルを遷移（移動）させるものである。また、状態遷移において、ガウス雑音等のノイズを付加して遷移先に揺らぎを与え、対象物体の予測外の移動や変形にも追随できるようにしたり、再サンプリングによって縮退したパーティクルを分散させたりすることもできる。
The state transition means 26 newly samples the state vector s m (t) of each particle by sampling according to the probability density function p (s (t + 1) | s m (t)) as shown in Expression (10). The state vector s m (t + 1). Here, t represents the time (or the current number of sequential processes).
Here, as will be described later, in the state transition, when the target object is deformed or moved, the weighting coefficient w m is changed by the weight calculation means 23 n using the silhouette S n extracted from the image taken after a predetermined time has elapsed. In this case, the particles are moved (moved) so that the particles follow the position of the target object after a predetermined time has elapsed. In addition, in the state transition, noise such as Gaussian noise is added to make the transition destination fluctuate so that it can follow unintended movement or deformation of the target object, or degenerate particles by resampling are dispersed You can also.
ｓｍ（ｔ＋１）〜ｐ（ｓ（ｔ＋１）｜ｓｍ（ｔ）） …（１０） s m (t + 1) to p (s (t + 1) | s m (t)) (10)
ここで、式（１０）における確率密度関数ｐ（ｓ（ｔ＋１）｜ｓｍ（ｔ））は、対象物体の変形や移動の性質に応じて定める。
例えば、式（１１）に示すような、ｄ次元の状態ベクトルに対する行列Ａとベクトルｂとによる線形の状態遷移に、平均が０、共分散がΣのガウス雑音を付加した確率密度関数を用いることができる。
Here, the probability density function p (s (t + 1) | s m (t)) in Expression (10) is determined according to the properties of deformation and movement of the target object.
For example, a probability density function in which Gaussian noise with an average of 0 and a covariance of Σ is added to a linear state transition between a matrix A and a vector b for a d-dimensional state vector as shown in Expression (11). Can do.
ここで、状態遷移に式（１１）の確率密度関数を仮定した場合、式（１０）の操作は、式（１２−１）及び式（１２−２）により実装することができる。 Here, when the probability density function of Expression (11) is assumed for the state transition, the operation of Expression (10) can be implemented by Expression (12-1) and Expression (12-2).
ここで、ｖ（ｔ）は平均が０、共分散がΣのガウス雑音であり、正規分布に従う乱数により生成することができる。 Here, v (t) is Gaussian noise having an average of 0 and a covariance of Σ, and can be generated by a random number according to a normal distribution.
式（１２−１）において、行列Ａ及びベクトルｂによって、対象物体の回転、並進などの線形の移動に対応してパーティクルを遷移（移動）させ、次の入力画像Ｉｎの撮影時の対象物体の位置から外れないようにすることができる。 In formula (12-1), the matrix A and the vector b, the rotation of the object, in response to linear movement, such as translational shifts the particle (movement), the object at the time of imaging of the next input image I n It is possible to prevent it from moving out of the position.
また、式（１２−１）において、式（１２−２）のようなガウス雑音ｖ（ｔ）を付加して、パーティクルの遷移先に揺らぎを与えることにより、対象物体の動作の把握が不十分な段階で想定外の動きをした場合にも、複数のパーティクルの内の何個かを、次の撮影時の対象物体の真の領域内に遷移させることができ、対象物体を捉え続けることができる。
さらに、ガウス雑音を付加することにより、再サンプリングによって複数のコピーが生成されたパーティクルの状態ベクトルに揺らぎを与え、縮退していたパーティクルの位置を分散させることができる。これによって、個数の限られたパーティクルを、対象物体の存在候補領域内に偏りなく分布させることができる。
In addition, in the equation (12-1), the Gaussian noise v (t) as in the equation (12-2) is added to give fluctuations to the particle transition destination, so that the operation of the target object is not sufficiently grasped. Even if an unexpected movement occurs at any stage, it is possible to transition some of the multiple particles into the true area of the target object at the next shooting, and to continue to capture the target object. it can.
Furthermore, by adding Gaussian noise, it is possible to fluctuate the state vector of particles for which a plurality of copies are generated by resampling, and to disperse the positions of degenerated particles. As a result, a limited number of particles can be distributed evenly within the target object existence candidate region.
次に、図８及び図９を参照して、パーティクルを状態遷移させて対象物体の形状推定をする様子について説明する。ここで、図８は、回転台に置かれた剛体の対象物体の形状推定の様子を示した図であり、図９は、ほぼ等速度運動する非剛体の対象物体の形状推定の様子を示した図である。 Next, with reference to FIG. 8 and FIG. 9, a state in which the shape of the target object is estimated by changing the state of particles will be described. Here, FIG. 8 is a diagram showing a shape estimation state of a rigid target object placed on a turntable, and FIG. 9 is a diagram showing a shape estimation state of a non-rigid target object that moves at a substantially constant speed. It is a figure.
（剛体の対象物体を回転台に載せて観測する応用例）
まず、図８に示すように回転台５１の上に剛体の対象物体５２を載せ、回転台５１を予め定めた角度ずつ（１回の撮影毎に、すなわち処理周期あたり角度θずつ）回転させながら形状推定を行う場合について説明する。状態ベクトルｓｍは、式（１）に示した３次元のベクトルを用いることとする。図８に示すように回転軸をＺ軸とし、右手系のデカルト座標系を定義する。なお、この座標系は回転しないものとする。この場合、対象物体は回転台とともに回転し、かつ変形しないので、式（１２−１）における行列Ａ及びベクトルｂを、それぞれ式(１３−１)及び式（１３−２）のように定めることができる。
(Application example for observing a rigid target object on a rotating table)
First, as shown in FIG. 8, a
共分散行列Σは、半正定値の実対称行列であれば、その値は任意に決めることができ、例えば、非負の値を対角要素にもつ対角行列を設定することができる。この対角要素の値も任意に選択することができ、例えば、対象物体の大きさに応じて定めることができる。例えば、対象物体の外接球の半径をｒとしたとき、ｒ２より十分小さな定数（例えばｒ２／１００００）を対角要素の値として採用する。さらに、対角要素の値は時々刻々変化させてもよい。例えば、本装置を起動したときに大きめの値（例えばｒ２／１００）を設定し、撮影する毎に、対角要素の値を小さくする（例えば、撮影する毎に１／２を乗ずる）ようにしてもよい。 The covariance matrix Σ can be arbitrarily determined as long as it is a positive semi-definite real symmetric matrix. For example, a diagonal matrix having non-negative values as diagonal elements can be set. The value of this diagonal element can also be arbitrarily selected, and can be determined according to the size of the target object, for example. For example, when the radius of the circumscribed sphere of the object was r, employing sufficiently small constant than r 2 (e.g. r 2/10000) as the value of the diagonal elements. Further, the value of the diagonal element may be changed from moment to moment. For example, set the larger value (e.g., r 2/100) when starting the device, each time the photographing, to reduce the value of the diagonal elements (for example, multiplied by 1/2 every time shooting) so It may be.
（変形する対象物体を回転台に載せて観測する応用例）
次に、図８において、対象物体が非剛体であり、変形する場合について説明する。回転台５１の上に変形する対象物体を載せた場合にも、行列Ａ及びベクトルｂとして、それぞれ式（１３−１）及び式（１３−２）を適用することができる。この場合、共分散行列Σは、対象物体が剛体である場合よりも、その固有値が大きくなるよう設定すればよい。すなわち、変形の度合いを織り込んだ、共分散行列Σを設定することで、形状推定を行うことができる。
(Application example of observing the target object to be deformed on a turntable)
Next, a case where the target object is a non-rigid body and deforms in FIG. Even when the target object to be deformed is placed on the
（移動する対象物体を観測する応用例）
次に、図９に示すように、移動する対象物体を観測する場合について説明する。図９に示したように、コース５３上を走る非剛体（人物）５４を対象物体として、時々刻々の形状を推定するような場合を例にして説明する。以下の説明では状態ベクトルｓｍとして式（２）に示した位置及び速度からなる６次元のベクトルを用いることとする。例えば、移動する対象物体の速度がほぼ一定（すなわち等速度運動からの誤差が共分散行列Σで吸収可能）であり、また撮影の時間間隔もΔＴで一定である場合は、行列Ａ及びベクトルｂを、それぞれ式（１４−１）及び式（１４−２）のようにすることができる。
(Application example for observing moving objects)
Next, a case where a moving target object is observed as shown in FIG. 9 will be described. As shown in FIG. 9, a case where the non-rigid body (person) 54 running on the
なお、図８に示した例と同様に、共分散行列Σは半正定値の実対称行列であれば、その値は任意に決めることができる。 As in the example shown in FIG. 8, the value of the covariance matrix Σ can be arbitrarily determined as long as it is a semi-definite real symmetric matrix.
このようにして行列Ａ及びベクトルｂを定式化して撮影毎にパーティクルを状態遷移させることにより、移動する物体の形状推定を行うことができる。 In this way, the matrix A and the vector b are formulated, and the state of the moving object is estimated by performing the state transition of the particles for each photographing.
図１に戻って、形状推定装置１０の構成について説明を続ける。
メタボール生成手段４は、パーティクルフィルタ手段３から入力されたパーティクル群に基づき、メタボール表現の３次元モデルを生成し、生成した３次元モデルによる形状データをモルフォロジ処理手段５に出力する。
Returning to FIG. 1, the description of the configuration of the
The
メタボール生成手段４は、各パーティクルの状態ベクトルｓｍと重み係数ｗｍに基づいてメタボール表現の３次元モデルを生成する。メタボールとは、中心からの距離によって一定の法則で濃度が変化する仮想的な球体（メタボール）を、１個乃至複数個用いて３次元物体の形状を表現する手法である。複数個のメタボールが存在する場合、ある地点における濃度は全メタボールの濃度の加算値として定義される。そして、全メタボールからの濃度を加算した濃度が一定となる曲面を対象物体の表面として定義する。
The
１つのメタボールの濃度を表す関数をｂ（Ｘ，Ｙ，Ｚ；Ｘ０，Ｙ０，Ｚ０，ｈ）とおく。ここで、（Ｘ０，Ｙ０，Ｚ０）はメタボールの中心座標、ｈは濃度の拡がりを決めるパラメータである。例えば、式（１５）が典型的なメタボールの濃度関数である。 Let b (X, Y, Z; X 0 , Y 0 , Z 0 , h) be a function representing the concentration of one metaball. Here, (X 0 , Y 0 , Z 0 ) is the center coordinate of the metaball, and h is a parameter that determines the density spread. For example, equation (15) is a typical metaball concentration function.
メタボール生成手段４は、例えば、各パーティクルの状態ベクトルｓｍに含まれる３次元座標（Ｘｍ，Ｙｍ，Ｚｍ）を、対応する１つのメタボールの中心座標とすることができる。一方、濃度の拡がりのパラメータｈは、例えば、重み係数ｗｍに基づきｈ＝ｈ（ｗｍ）のように決定することができる。ここで、ｈは予め定める任意の関数であるが、ｈを広義の単調増加関数とすることが好ましく、例えば、ｈとして０以上の傾きを有する１次関数とすることができる。また、式（１６）のように、単に
For example, the
ｈ（ｗ）＝ｗ …（１６） h (w) = w (16)
としてもよい。さらに、例えば、ｈ（ｗ）＝１（定関数）とすることもできる。 It is good. Further, for example, h (w) = 1 (constant function) may be used.
Ｍ個のそれぞれのパーティクルに対応して、メタボールを生成する。その結果、ある３次元座標（Ｘ，Ｙ，Ｚ）における濃度Ｂ（Ｘ，Ｙ，Ｚ）は、式（１７）のように表すことができる。 A metaball is generated corresponding to each of the M particles. As a result, the density B (X, Y, Z) at a certain three-dimensional coordinate (X, Y, Z) can be expressed as in Expression (17).
特に、式（１５）の濃度関数と、式（１６）のｈとを採用した場合には、式（１８）のように表される。 In particular, when the concentration function of Expression (15) and h of Expression (16) are adopted, it is expressed as Expression (18).
次に、図１０を参照して、メタボール生成手段４によりパーティクルをメタボール表現に変換する様子について説明する。図１０は、パーティクル群からメタボール表現に変換する様子を示した図である。
図１０の左図において、各パーティクルの存在位置に近いほど、またパーティクルが密集しているほどメタボール表現での濃度が濃くなる。図１０に示した例では、メタボール表現を便宜上２次元的に図示しているが、実際には３次元空間上の濃度分布となる。
Next, with reference to FIG. 10, how the
In the left diagram of FIG. 10, the closer to the position where each particle exists, and the denser the particles, the higher the density in the metaball expression. In the example shown in FIG. 10, the metaball expression is shown two-dimensionally for convenience, but actually, the concentration distribution is in a three-dimensional space.
メタボール表現における等濃度曲面が対象物体の推定形状（表面形状）を表す。例えば、適宜な閾値βを設定し、式（１９）により対象物体の推定形状Ｖを得ることができる。 The isodensity curved surface in the metaball representation represents the estimated shape (surface shape) of the target object. For example, an appropriate threshold value β is set, and the estimated shape V of the target object can be obtained by Expression (19).
図１１を参照して、対象物体のメタボール表現から、対象物体の推定形状を得る様子について説明する。図１１は、メタボール表現から推定形状を得る様子を示した図である。
図１１はメタボール表現において設定した、ある等濃度曲面（左図の破線）の内部および境界を抽出することで、図１１の右図のような対象物体の推定形状を得ることができる。なお、式（１９）の操作は、通常、従来のＣＧ（Computer Graphics）ソフトウェアで実行することができる。
With reference to FIG. 11, how to obtain the estimated shape of the target object from the metaball representation of the target object will be described. FIG. 11 is a diagram showing how the estimated shape is obtained from the metaball representation.
FIG. 11 shows the estimated shape of the target object as shown in the right diagram of FIG. 11 by extracting the inside and boundary of a certain isoconcentration curved surface (broken line in the left diagram) set in the metaball representation. Note that the operation of equation (19) can usually be executed by conventional CG (Computer Graphics) software.
図１に戻って、形状推定装置１０の構成について説明を続ける。
モルフォロジ処理手段５は、メタボール生成手段４によって生成された対象物体の３次元形状データを調整し、出力手段６に出力する。
Returning to FIG. 1, the description of the configuration of the
The
メタボール表現の性質として、前記した閾値β、濃度を表す関数ｂ（Ｘ，Ｙ，Ｚ；Ｘ０，Ｙ０，Ｚ０、ｈ）、および関数ｈの選び方によっては、実際の物体形状よりも拡大もしくは縮小された推定形状が得られてしまう場合がある。モルフォロジ処理手段５は、メタボール表現に対して、３次元の多値モルフォロジ処理を適用することで推定形状を収縮もしくは膨張し、対象物体の実形状に近づけるための修正手段である。 Depending on the property of the metaball expression, the threshold value β, the function b (X, Y, Z; X 0 , Y 0 , Z 0 , h) representing the density, and the method of selecting the function h are larger than the actual object shape. Alternatively, a reduced estimated shape may be obtained. The morphology processing means 5 is a correction means for contracting or expanding the estimated shape by applying a three-dimensional multi-value morphology process to the metaball representation so that it approximates the actual shape of the target object.
ここで、モルフォロジ処理手段５への入力濃度関数をＢ（Ｘ，Ｙ，Ｚ）、モルフォロジ処理手段５からの出力濃度関数をＢ’（Ｘ，Ｙ，Ｚ）とする。収縮のためのモルフォロジ処理は、式（２０）に示すように、ある注目位置の周囲に設定される一定領域内の最小入力濃度を、当該注目位置の出力濃度とする。 Here, the input density function to the morphology processing means 5 is B (X, Y, Z) and the output density function from the morphology processing means 5 is B '(X, Y, Z). In the morphological processing for contraction, as shown in Expression (20), the minimum input density within a certain region set around a certain target position is set as the output density of the target position.
ここで、ＥはＳｔｒｕｃｔｕａｌ Ｅｌｅｍｅｎｔと称される領域形状であり、例えば、式（２１）に示すように、半怪ρの球を用いることができる。 Here, E is a region shape called Structural Element, and for example, as shown in Equation (21), a half-phantom ρ sphere can be used.
一方、膨張のためのモルフォロジ処理は、式（２２）に示すように、ある注目位置の周囲に設定される一定領域内の最大入力濃度を、当該注目位置の出力濃度とする。 On the other hand, in the morphology processing for expansion, as shown in Expression (22), the maximum input density within a certain region set around a certain target position is set as the output density of the target position.
このように、モルフォロジ処理によって、メタボール生成手段４によって生成された対象物体の推定形状の拡大又は縮小を修正（調整）した３次元形状データを生成することができる。
As described above, three-dimensional shape data in which the expansion or reduction of the estimated shape of the target object generated by the
出力手段６は、モルフォロジ処理手段５によって修正された、対象物体の３次元形状データを出力するための出力インターフェースである。
これによって、例えば、図示しない画像表示装置などに出力して、推定された形状を表示して確認することができる。
The
Thus, for example, the estimated shape can be displayed and confirmed by outputting to an image display device (not shown).
なお、本実施形態では、形状推定装置１０のシルエット抽出手段２及びパーティクルフィルタ手段３は、専用のハードウェアによって構成するようにしたが、一般的なコンピュータを、シルエット抽出手段２及びパーティクルフィルタ手段３として機能するプログラムによって動作させることで実現することもできる。また、形状推定装置１０は、メタボール生成手段４及びモルフォロジ処理手段を含めた各手段として機能するプログラムを結合して動作させることで実現することもできる。
In this embodiment, the
[形状推定装置の動作]
次に、図１２を参照（適宜図１乃至図３参照）して、図１に示した形状推定装置１０の動作について説明する。図１２は、図１に示した形状推定装置の処理の流れを示したフローチャートである。
[Operation of shape estimation device]
Next, the operation of the
まず、形状推定装置１０は、カメラＣｎ（例えば、図２のＣ１，Ｃ２）等によって対象物体を撮影して得られた画像を入力画像Ｉ１〜ＩＮとして、撮影時のカメラパラメータＣＰ１〜ＣＰＮと共に入力手段１１〜１Ｎを介して入力する（ステップＳ１１）。
First, the
入力された入力画像Ｉ１〜ＩＮは、それぞれ対応するシルエット抽出手段２１〜２ＮによってシルエットＳ１〜ＳＮが抽出される（ステップＳ１２）。 From the input images I 1 to I N , silhouettes S 1 to S N are extracted by the corresponding silhouette extraction means 2 1 to 2 N (step S 12).
次に、パーティクルフィルタ手段３によって、シルエット抽出手段２１〜２Ｎで抽出されたシルエットＳ１〜ＳＮ及び入力手段１１〜１Ｎを介して入力されたカメラパラメータＣＰ１〜ＣＰＮに基づいて、複数のパーティクルを用いた対象物体の形状推定を行う（ステップＳ１３）。
Then, the particle filter unit 3, based on the
そして、メタボール生成手段４によって、パーティクルフィルタ手段３で推定された対象物体の形状を表すパーティクル群を、メタボール表現に変換し、対象物体の形状データを生成する（ステップＳ１４）。
Then, the
メタボール生成手段４で生成された対象物体の形状データは、モルフォロジ処理手段５によって、モルフォロジ処理が施されて、その形状の修正が行われ（ステップＳ１５）、出力手段６を介して出力される（ステップＳ１６）。
The shape data of the target object generated by the
形状推定装置１０は、処理すべき次の画像の入力があるかどうかを確認し（ステップＳ１７）、画像がある場合は（ステップＳ１７でＹｅｓ）、ステップＳ１１に戻って対象物体の形状推定を繰り返し実行し、パーティクル群の状態ベクトルｓｍ及び重み係数ｗｍの更新を続ける。一方、次の画像の入力がない場合は（ステップＳ１７でＮｏ）、処理を終了する。
The
なお、図１２に示したフォローチャートでは、ステップＳ１３において、パーティクルフィルタ手段３が出力したパーティクル群に基づいて、ステップＳ１４〜ステップＳ１６の処理を行った後に、次の画像に基づくステップＳ１１〜ステップＳ１３の処理を行うようにしたが、ステップＳ１３において、パーティクルフィルタ手段３がパーティクル群を出力した後に、メタボール生成手段４によるステップＳ１４の処理を進めると共に、ステップＳ１１に戻り、並行して次の画像に基づく処理を行うようにしてもよい。
In the follow chart shown in FIG. 12, in step S13, after the processing of step S14 to step S16 is performed based on the particle group output by the particle filter unit 3, steps S11 to S13 based on the next image are performed. In step S13, after the particle filter unit 3 outputs the particle group in step S13, the process of step S14 by the
［パーティクルフィルタ手段の動作］
次に、図１３を参照（適宜図３参照）して、図３に示したパーティクルフィルタ手段３の動作について説明する。図１３は、図３に示したパーティクルフィルタ手段の処理の流れを示したフローチャートである。
なお、図１３に示したフローチャートは、図１２に示したフローチャートのステップＳ１３に対応する。
[Operation of particle filter means]
Next, the operation of the particle filter means 3 shown in FIG. 3 will be described with reference to FIG. FIG. 13 is a flowchart showing the flow of processing of the particle filter means shown in FIG.
Note that the flowchart shown in FIG. 13 corresponds to step S13 of the flowchart shown in FIG.
まず、パーティクルフィルタ手段３は、パーティクル生成手段２１によって、対象物体の存在候補領域に所定数（Ｍ個）の、パラメータを初期化したパーティクルを生成し、スイッチ２２をパーティクル生成手段２１側に接続して、生成したパーティクルを加重演算手段２３２に供給する（ステップＳ３１）。
なお、所定数のパーティクルの供給が完了すると、スイッチ２２の接続を加重演算手段２３１側に切り替えておく。
First, the particle filter unit 3 uses the
Incidentally, when the supply of the predetermined number of particles is complete, keep switching the connection of the
パーティクルフィルタ手段３は、加重演算手段２３２によって、入力されたパーティクルの重み係数ｗｍを更新（重み係数変更工程）し、更新したパーティクルを次段の加重演算手段２３３（不図示）に出力する（ステップＳ３２２）。そして、順次、ｎ番目の加重演算手段２３ｎによって、前段のｎ−１番目の加重演算手段２３ｎ−１から入力されたパーティクルの重み係数ｗｍを更新し、更新したパーティクルを次段の加重演算手段２３ｎ＋１に出力する。
最後段の加重演算手段２３Ｎによって、パーティクルの重み係数ｗｍを更新すると（ステップＳ３２Ｎ）、Ｍ個のパーティクル群ＰＡを、メタボール生成手段４（図１参照）に出力する（ステップＳ３３）と共に、再サンプリング手段２４に出力する。
なお、ここでは、パーティクルフィルタ手段３から出力されるパーティクル群は、加重演算手段２３Ｎによって出力されるパーティクル群ＰＡとしたが、再サンプリング手段２４によって出力されるパーティクル群ＰＢとしてもよい。その場合には、パーティクル群の出力（ステップＳ３３）は、再サンプリング（ステップＳ３４）の後に行うようにすればよい。
Particle filter means 3, by a
By a weighted
Here, the particle group to be output from the particle filter unit 3 has been a particle group P A output by the weighting calculation means 23 N, may be a particle group P B output by the resampling means 24. In that case, the output of the particle group (step S33) may be performed after resampling (step S34).
続いて、パーティクルフィルタ手段３は、再サンプリング手段２４によって、加重演算手段２３Ｎで重み係数ｗｍを更新されたパーティクル群を再サンプリングし（ステップＳ３４）、再サンプリングしたパーティクル群を遅延手段２５に出力する。 Subsequently, the particle filter means 3 resamples the particle group whose weight coefficient w m has been updated by the weight calculation means 23 N by the re-sampling means 24 (step S34), and sends the re-sampled particle group to the delay means 25. Output.
パーティクルフィルタ手段３は、遅延手段２５によって、次の画像入力があるまでパーティクルの処理を待機し、タイミングを調整して状態遷移手段２６にパーティクルを出力する（ステップＳ３５）。 The particle filter means 3 waits for the processing of the particles until the next image input by the delay means 25, adjusts the timing, and outputs the particles to the state transition means 26 (step S35).
そして、状態遷移手段２６によって、パーティクルの状態ベクトルを遷移させて（ステップＳ３６）、状態ベクトルを遷移させたパーティクルを加重演算手段２３１に出力する。
Then, the state changing means 26, by transitioning the state vector of the particle (Step S36), and outputs the particles which transits the state vector to the
ステップＳ３１において、パーティクル生成手段２１で生成されたパーティクルは、ここまでで、処理が一巡したことになる。そして、次の入力画像に基づいて、二巡目の処理に進む。
ステップＳ３６において状態遷移手段２６で状態ベクトルを遷移されたパーティクルは、二巡目以降は、加重演算手段２３１から加重演算手段２３Ｎによって、順次パーティクルの重み係数ｗｍが更新され（ステップＳ３２１〜Ｓ３２Ｎ）、パーティクル群ＰＡを出力する（ステップＳ３３）。そして、再サンプリング手段２４によって、パーティクル群を再サンプリングし（ステップＳ３４）、遅延手段２５によって、パーティクルの処理のタイミングを調整し（ステップＳ３５）、状態遷移手段２６によって、パーティクルの状態ベクトルを遷移する（ステップＳ３６）。
以下、新たな入力画像があると、ステップＳ３２１からステップＳ３６を繰り返す。
In step S31, the particles generated by the particle generating means 21 have been processed once. Then, based on the next input image, the process proceeds to the second round.
For the particles whose state vectors have been changed by the state transition means 26 in step S36, the weight coefficient w m of the particles is sequentially updated by the weight calculation means 23 1 to the weight calculation means 23 N after the second round (step S32 1 ~S32 N), and it outputs the particle group P a (step S33). Then, the
Hereinafter, when there is a new input image, and repeats the step S36 from step S32 1.
ここで、入力画像を時系列で入力し、パーティクルフィルタ手段３によって、パーティクルの状態ベクトルｓｍ及び重み係数ｗｍの更新を繰り返し行うことにより、対象物体が移動又は変形する場合であっても、限られた個数のパーティクルを用いて当該対象物体の形状を効率的に推定することができる。 Here, even when the target object moves or deforms by inputting the input image in time series and repeatedly updating the particle state vector s m and the weighting factor w m by the particle filter unit 3, The shape of the target object can be efficiently estimated using a limited number of particles.
なお、加重演算手段２３１〜２３Ｎは、パーティクルを個々に処理することができるため、Ｍ個のパーティクルのすべての処理を終えてから次段に出力するのではなく、処理が成された個々のパーティクルを順次出力し、直列に接続された加重演算手段２３１〜２３Ｎによってパイプライン処理を行うようにしてもよい。
Since the weight calculation means 23 1 to 23 N can individually process the particles, each of the processed particles is not output to the next stage after all the M particles have been processed. The particles may be sequentially output, and the pipeline processing may be performed by the
［パーティクル生成手段の動作］
次に、図１４を参照（適宜図４参照）して、図１２に示したフローチャートのパーティクル生成（ステップＳ３１）の手順の例について説明する。図１４は、図１２に示したフローチャートのパーティクル生成の詳細な手順を示したフローチャートである。
[Operation of particle generation means]
Next, an example of the procedure of particle generation (step S31) in the flowchart shown in FIG. 12 will be described with reference to FIG. 14 (refer to FIG. 4 as appropriate). FIG. 14 is a flowchart showing a detailed procedure of particle generation in the flowchart shown in FIG.
式（３）及び式（４）に基づくパーティクルの生成は、図１４のフローチャートに示した手順により簡便に実行することもできる。
Ｍ個のパーティクルを生成するに際して、ｍ（ｍ＝１，２，…，Ｍ）をパーティクルの番号とすると、まず、ｍ＝１として（ステップＳ５１）、１番目のパーティクルから順次生成する。
The generation of particles based on the formula (3) and the formula (4) can be easily executed by the procedure shown in the flowchart of FIG.
When generating M particles, if m (m = 1, 2,..., M) is a particle number, first, m = 1 is set (step S51), and the particles are sequentially generated from the first particle.
１番目のパーティクルに対して、領域Ｄ内において一様で、かつ、領域Ｄ外において確率密度が０となる確率密度関数ｕ（Ｄ）に従う乱数を生成し、生成した乱数値から３次元の座標（Ｘ，Ｙ，Ｚ）を構成して、座標の初期値の候補とする（ステップＳ５２）。 For the first particle, a random number according to the probability density function u (D) that is uniform in the region D and has a probability density of 0 outside the region D is generated, and three-dimensional coordinates are generated from the generated random value. (X, Y, Z) are configured and set as candidates for initial values of coordinates (step S52).
次に、ステップＳ５２でサンプリングした候補座標のシルエットＳ１に対応する画像面への投影変換（ｆ１（Ｘ，Ｙ，Ｚ）、ｇ１（Ｘ，Ｙ，Ｚ））を求め、シルエットＳ１の画素値Ｓ１（ｆ１（Ｘ，Ｙ，Ｚ）、ｇ１（Ｘ，Ｙ，Ｚ））を取得し、それをｑとする（ステップＳ５３）。 Next, the projection transformation (f 1 (X, Y, Z), g 1 (X, Y, Z)) onto the image plane corresponding to the silhouette S 1 of the candidate coordinates sampled in step S52 is obtained, and the silhouette S 1 Pixel value S 1 (f 1 (X, Y, Z), g 1 (X, Y, Z)) is acquired and set to q (step S53).
続いて、０以上１未満の一様乱数ｒを生成し（ステップＳ５４）、ステップＳ５３で取得したｑとを比較する（ステップＳ５５）。
ｑがｒよりも大きい場合（ステップＳ５５でＹｅｓ）、ステップＳ５２で生成した座標（Ｘ，Ｙ，Ｚ）を、１番目（ｍ番目）のパーティクルの座標（Ｘｍ，Ｙｍ，Ｚｍ）の初期値として採用する（ステップＳ５６）。
一方、ｑがｒ以下の場合（ステップＳ５５でＮｏ）、ステップＳ５２に戻り、１番目（ｍ番目）のパーティクルの座標の候補を再度生成する。
Subsequently, a uniform random number r of 0 or more and less than 1 is generated (step S54), and compared with q acquired in step S53 (step S55).
If q is larger than r in (Yes in step S55), the coordinates generated in step S52 (X, Y, Z), and first (m-th) of particles coordinates (X m, Y m, Z m) The initial value is adopted (step S56).
On the other hand, if q is equal to or smaller than r (No in step S55), the process returns to step S52, and the coordinate candidates of the first (mth) particle are generated again.
ステップＳ５６で１番目（ｍ番目）のパーティクルの座標の初期値が採用されると、そのパーティクルの番号ｍと生成すべきパーティクルの個数Ｍとを比較し（ステップＳ５７）、ｍがＭよりも小さい場合は（ステップＳ５７でＹｅｓ）、ｍをインクリメントし（ステップＳ５８）、ステップＳ５２に戻って、次のパーティクルに対する座標の初期値を決定する手順を順次実行する。そして、ｍがインクリメントされてＭになるまでステップＳ５２からステップＳ５８の処理を繰り返す。
一方、ｍがＭ以上の場合（ステップＳ５７でＮｏ）、必要個数のパーティクルの座標の初期値の決定が完了したため、処理を終了する。
When the initial value of the coordinates of the first (m-th) particle is adopted in step S56, the particle number m is compared with the number M of particles to be generated (step S57), and m is smaller than M. In this case (Yes in step S57), m is incremented (step S58), and the process returns to step S52 to sequentially execute the procedure for determining the initial value of coordinates for the next particle. The processes from step S52 to step S58 are repeated until m is incremented to M.
On the other hand, if m is equal to or greater than M (No in step S57), the process ends because the determination of the initial values of the coordinates of the required number of particles has been completed.
以上の手順によって、Ｍ個のパーティクルの状態ベクトルｓｍの座標の初期値（Ｘｍ，Ｙｍ，Ｚｍ）が設定される。また、状態ベクトルｓｍが、座標（位置成分）以外の成分を含む場合は、それらの成分の一部又は全部の初期値を、所定の定数（例えば０）や乱数によって設定することができる。また、パーティクルの重み係数ｗｍの初期値は、すべて均一の値（例えば、１／Ｍ）とする。 By the above procedure, the coordinate initial value of M particles in the state vector s m (X m, Y m , Z m) is set. The state vector s m is if it contains components other than the coordinate (position component), the initial values of some or all of the components, can be set by a predetermined constant (e.g., 0) and a random number. The initial values of the particle weighting coefficient w m are all uniform values (for example, 1 / M).
以上、説明したように、本発明による形状推定装置１０は、入力画像Ｉｎ及び対応するカメラパラメータＣＰｎに基づいて、対象物体の形状を推定することができる。
As described above, the
なお、対象物体が移動又は変形しない場合は、時系列で画像を入力する必要はなく、同じ画像を用いてパーティクルの状態ベクトルｓｍ及び重み係数ｗｍが収束するまでパーティクルフィルタ手段３による処理を繰り返すようにすればよい。 In the case where the target object does not move or deform, the time series is not necessary to input an image, the processing by the particle filter unit 3 to the state vector s m and the weighting factor w m for the particles to converge with the same image Repeat it.
また、状態ベクトルｓｍに適宜速度成分や加速度成分を導入し、時系列で入力される画像を用いてパーティクルフィルタ手段３による処理を繰り返すことにより、時々刻々移動又は変形する対象物体の、動きを含めた３次元形状の推定を行うことができる。
更に、パーティクルフィルタによって推定した３次元形状に関する情報をメタボール表現へ簡単に変換することができ、推定した３次元形状の外観を確認することができる。
Furthermore, by introducing appropriate velocity component and the acceleration component of the state vector s m, by repeating the processing by the particle filtering unit 3 by using the image input in time series, of the object to be momentarily moved or modified, the movement The included three-dimensional shape can be estimated.
Furthermore, information regarding the three-dimensional shape estimated by the particle filter can be easily converted into a metaball expression, and the appearance of the estimated three-dimensional shape can be confirmed.
２（２１，２２，…，２N） シルエット抽出手段
３ パーティクルフィルタ手段
４ メタボール生成手段
５ モルフォロジ処理手段
１０ 形状推定装置
２１ パーティクル生成手段
２３（２３１，２３２，…，２３Ｎ） 加重演算手段（重み係数変更手段）
２４ 再サンプリング手段
２６ 状態遷移手段
ＣＰ１，ＣＰ２，…，ＣＰＮ カメラパラメータ
Ｄ 領域（探索領域）
Ｉ１，Ｉ２，…，ＩＮ 入力画像
Ｏ 対象物体（オブジェクト）
Ｏ’ 対象物体像（映像オブジェクト）
Ｐ（Ｐ１，Ｐ２） パーティクル
ＰＡ，ＰＢ パーティクル群
Ｓ１，Ｓ２，…，ＳＮ シルエット
2 (2 1 , 2 2 ,..., 2 N ) Silhouette extraction means 3 Particle filter means 4 Metaball generation means 5 Morphology processing means 10
24 resampling means 26 state transition means CP 1, CP 2, ..., CP N camera parameters D region (search area)
I 1 , I 2 ,..., I N input image O Target object (object)
O 'Target object image (video object)
P (P 1, P 2) particles P A, P B particle group S 1, S 2, ..., S N silhouettes
Claims (6)
前記画像に含まれる前記映像オブジェクトの領域をシルエットとして抽出するシルエット抽出手段と、
２以上である所定数の前記パーティクルに対してパーティクルフィルタによる処理を行うパーティクルフィルタ手段と、
前記パーティクルフィルタ手段によって処理された前記所定数のパーティクルに基づいてメタボール表現による３次元形状モデルを生成するメタボール生成手段と、を備え、
前記パーティクルフィルタ手段は、前記オブジェクトを探索する予め定められた探索領域内を示す３次元座標を有する、前記所定数のパーティクルを生成するパーティクル生成手段と、
前記シルエット抽出手段によって抽出されたシルエットに基づいて、前記パーティクルの重み係数を変更する重み係数変更手段と、
前記重み係数変更手段によって重み係数を変更されたパーティクルを３次元座標について再サンプリングして前記所定数のパーティクルを再生成すると共に、前記再生成した前記所定数のパーティクルの重み係数を均一にする再サンプリング手段と、
前記再サンプリング手段によって再サンプリングされたパーティクルの状態ベクトルを遷移させる状態遷移手段と、を有し、
前記重み係数変更手段と前記再サンプリング手段と前記状態遷移手段とによる前記パーティクルに対する処理を繰り返すことを特徴とする形状推定装置。 A shape estimation device that estimates a three-dimensional shape of an object by a particle filter using particles that are information having a state vector including three-dimensional coordinates and a weighting factor based on a video object in an image in which the object is photographed Because
Silhouette extraction means for extracting a region of the video object included in the image as a silhouette;
Particle filter means for performing processing by a particle filter on a predetermined number of particles equal to or greater than 2,
Metaball generation means for generating a three-dimensional shape model by metaball expression based on the predetermined number of particles processed by the particle filter means,
The particle filter means has three-dimensional coordinates indicating a predetermined search area for searching for the object, and generates a predetermined number of particles;
Weight coefficient changing means for changing the weight coefficient of the particles based on the silhouette extracted by the silhouette extracting means;
The particles whose weighting factor has been changed by the weighting factor changing means are resampled with respect to the three-dimensional coordinates to regenerate the predetermined number of particles, and regenerate the weighting factor of the predetermined number of particles regenerated. Sampling means;
State transition means for transitioning the state vector of the particles resampled by the resampling means,
A shape estimation apparatus characterized by repeating the processing for the particles by the weight coefficient changing means, the resampling means, and the state transition means.
コンピュータを、
前記画像に含まれる前記映像オブジェクトの領域をシルエットとして抽出するシルエット抽出手段、
２以上である所定数の前記パーティクルに対してパーティクルフィルタによる処理を行うパーティクルフィルタ手段、
前記パーティクルフィルタ手段によって処理された前記所定数のパーティクルに基づいてメタボール表現による３次元形状モデルを生成するメタボール生成手段、
として機能させる形状推定プログラムであって、
前記パーティクルフィルタ手段は、前記オブジェクトを探索する予め定められた探索領域内を示す３次元座標を有する、前記所定数のパーティクルを生成するパーティクル生成手段、
前記シルエット抽出手段によって抽出されたシルエットに基づいて、前記パーティクルの重み係数を変更する重み係数変更手段、
前記重み係数変更手段によって重み係数を変更されたパーティクルを３次元座標について再サンプリングして前記所定数のパーティクルを再生成すると共に、前記再生成した前記所定数のパーティクルの重み係数を均一にする再サンプリング手段、
前記再サンプリング手段によって再サンプリングされたパーティクルの状態ベクトルを遷移させる状態遷移手段、を含み、
前記重み係数変更手段と前記再サンプリング手段と前記状態遷移手段とによる前記パーティクルに対する処理を繰り返すことを特徴とする形状推定プログラム。 In order to estimate the three-dimensional shape of the object by a particle filter using particles, which is information having a state vector including three-dimensional coordinates and a weighting coefficient, based on a video object in an image in which the object is photographed,
Computer
Silhouette extraction means for extracting a region of the video object included in the image as a silhouette;
Particle filter means for performing processing by a particle filter on a predetermined number of particles equal to or greater than 2,
Metaball generating means for generating a three-dimensional shape model by metaball expression based on the predetermined number of particles processed by the particle filter means;
A shape estimation program that functions as
The particle filter means has a three-dimensional coordinate indicating a predetermined search area for searching for the object, a particle generation means for generating the predetermined number of particles,
Weight coefficient changing means for changing the weight coefficient of the particles based on the silhouette extracted by the silhouette extracting means;
The particles whose weighting factor has been changed by the weighting factor changing means are resampled with respect to the three-dimensional coordinates to regenerate the predetermined number of particles, and regenerate the weighting factor of the predetermined number of particles regenerated. Sampling means,
State transition means for transitioning a state vector of particles resampled by the resampling means,
A shape estimation program that repeats processing on the particles by the weight coefficient changing means, the resampling means, and the state transition means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006234613A JP4690971B2 (en) | 2006-08-30 | 2006-08-30 | Shape estimation apparatus and shape estimation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006234613A JP4690971B2 (en) | 2006-08-30 | 2006-08-30 | Shape estimation apparatus and shape estimation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008059224A JP2008059224A (en) | 2008-03-13 |
| JP4690971B2 true JP4690971B2 (en) | 2011-06-01 |
Family
ID=39241894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006234613A Expired - Fee Related JP4690971B2 (en) | 2006-08-30 | 2006-08-30 | Shape estimation apparatus and shape estimation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4690971B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5297727B2 (en) * | 2008-09-04 | 2013-09-25 | トヨタ自動車株式会社 | Robot apparatus and object position / orientation estimation method |
| JP5444952B2 (en) * | 2009-08-28 | 2014-03-19 | 富士通株式会社 | Apparatus, method, and program for automatic generation of map by sensor fusion, and movement of moving object using such automatically generated map |
| JP5493747B2 (en) * | 2009-11-13 | 2014-05-14 | 富士通株式会社 | Tracking method, monitoring system and program |
| JP2011113177A (en) * | 2009-11-25 | 2011-06-09 | Kddi Corp | Method and program for structuring three-dimensional object model |
| JP2022032776A (en) * | 2020-08-14 | 2022-02-25 | 富士通株式会社 | Image processing device and screen processing program |
| JP7309132B1 (en) * | 2023-02-07 | 2023-07-18 | 株式会社ヘミボーラ | Image Synthesis Method in Chroma Key Processing |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005339100A (en) * | 2004-05-26 | 2005-12-08 | Advanced Telecommunication Research Institute International | Body motion analysis device |
-
2006
- 2006-08-30 JP JP2006234613A patent/JP4690971B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005339100A (en) * | 2004-05-26 | 2005-12-08 | Advanced Telecommunication Research Institute International | Body motion analysis device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008059224A (en) | 2008-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109387204B (en) | Mobile robot synchronous positioning and composition method facing indoor dynamic environment | |
| KR101195942B1 (en) | Camera calibration method and 3D object reconstruction method using the same | |
| CN110443892B (en) | Three-dimensional grid model generation method and device based on single image | |
| US6124864A (en) | Adaptive modeling and segmentation of visual image streams | |
| CN110163974B (en) | Single-image picture reconstruction method based on undirected graph learning model | |
| CN108876814B (en) | Method for generating attitude flow image | |
| CN110945565A (en) | Dense visual SLAM using probabilistic bin maps | |
| US20060244757A1 (en) | Methods and systems for image modification | |
| JP2007000205A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP4664838B2 (en) | Video object tracking device and video object tracking program | |
| CN106934827A (en) | The method for reconstructing and device of three-dimensional scenic | |
| JP4690971B2 (en) | Shape estimation apparatus and shape estimation program | |
| CN113689539B (en) | Dynamic scene real-time three-dimensional reconstruction method based on implicit optical flow field | |
| JP7294788B2 (en) | Classification of 2D images according to the type of 3D placement | |
| CN113822993B (en) | Digital twinning method and system based on 3D model matching | |
| CN113421328B (en) | Three-dimensional human body virtual reconstruction method and device | |
| CN114782628A (en) | Indoor real-time three-dimensional reconstruction method based on depth camera | |
| EP1445736B1 (en) | Method and system for providing a volumetric representation of a three-dimensional object | |
| CN114339409A (en) | Video processing method, video processing device, computer equipment and storage medium | |
| Taylor et al. | VR props: an end-to-end pipeline for transporting real objects into virtual and augmented environments | |
| CN109785429A (en) | A kind of method and apparatus of three-dimensional reconstruction | |
| EP3906530B1 (en) | Method for 3d reconstruction of an object | |
| CN111531546A (en) | Robot pose estimation method, device, equipment and storage medium | |
| Erol et al. | Visual Hull Construction Using Adaptive Sampling. | |
| Narayan et al. | Optimized color models for high-quality 3d scanning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110125 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110218 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |