JP4690971B2 - Shape estimation apparatus and shape estimation program - Google Patents
Shape estimation apparatus and shape estimation program Download PDFInfo
- Publication number
- JP4690971B2 JP4690971B2 JP2006234613A JP2006234613A JP4690971B2 JP 4690971 B2 JP4690971 B2 JP 4690971B2 JP 2006234613 A JP2006234613 A JP 2006234613A JP 2006234613 A JP2006234613 A JP 2006234613A JP 4690971 B2 JP4690971 B2 JP 4690971B2
- Authority
- JP
- Japan
- Prior art keywords
- particles
- metaball
- particle
- silhouette
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、オブジェクトを撮影して生成された画像中の映像オブジェクトに基づいて、オブジェクトの3次元形状を推定する形状推定装置及びそのプログラムに関する。 The present invention relates to a shape estimation apparatus and a program for estimating a three-dimensional shape of an object based on a video object in an image generated by photographing the object.
従来、実写画像から対象物体の3次元形状をモデリングする場合には、ステレオマッチ法、視体積交差法もしくはそれらを複合させた手法により形状推定を行っている。これらの手法では、対象物体の周囲に複数のカメラを設置したり、1台のカメラを移動させたり、あるいは対象物体を回転台などで移動させたりすることによって、カメラと対象物体との間の相対位置を変化させて撮影した画像を用いている。 Conventionally, when modeling a three-dimensional shape of a target object from a photographed image, shape estimation is performed by a stereo match method, a view volume intersection method, or a method combining them. In these methods, a plurality of cameras are installed around the target object, one camera is moved, or the target object is moved on a turntable or the like. An image taken by changing the relative position is used.
ステレオマッチ法では、異なる視点の画像間の各局所領域に対し、例えば、画素値の相互相関を計算することにより、点対応を求める。点対応は、視差量、奥行きあるいは3次元座標に変換することが可能である。これら3次元座標の相互間を網状に接続することで、ポリゴン表現による3次元形状を得ることが可能である。 In the stereo match method, for each local region between images of different viewpoints, for example, a point correspondence is obtained by calculating a cross-correlation of pixel values. Point correspondence can be converted into parallax amount, depth, or three-dimensional coordinates. By connecting these three-dimensional coordinates to each other in a net shape, it is possible to obtain a three-dimensional shape by polygon representation.
視体積交差法は、ボクセルカービングとも呼ばれる。3次元空間に仮想的にボクセルを配置し、対象物体の画像上における2次元領域と視点とを通る錐体の内部に属するボクセルのみを削り出す操作を、複数の視点に対し適用することで、ボクセル表現による3次元形状が得られる。 The view volume intersection method is also called voxel carving. By applying voxels virtually in a three-dimensional space and scraping only the voxels belonging to the inside of a cone passing through the two-dimensional region and the viewpoint on the target object image, to a plurality of viewpoints, A three-dimensional shape by voxel expression is obtained.
また、視体積交差法の一種として、3次元空間における前記した錐体の内部に対して、視点毎に投票操作を行う手法がある(特許文献1)。この手法には、得票数の多寡に応じて物体表面を抽出し、これをポリゴン表現等へ変換する手法も含まれている。 As a kind of view volume intersection method, there is a method of performing a voting operation for each viewpoint on the inside of the above-mentioned cone in a three-dimensional space (Patent Document 1). This method includes a method of extracting an object surface according to the number of votes and converting it to a polygon representation or the like.
さらに、視体積交差法に基づき対象物体の概形を得た後、ステレオマッチにより詳細形状を得る手法がある(特許文献2)。この手法では、ステレオマッチのための探索領域の削減、ステレオマッチにおける誤対応の影響の軽減、そして視体積交差法では推定不能な凹形状への対応が可能となっている。 Furthermore, there is a method of obtaining a detailed shape by stereo matching after obtaining the rough shape of the target object based on the visual volume intersection method (Patent Document 2). With this method, it is possible to reduce the search area for stereo matching, reduce the influence of erroneous correspondence in stereo matching, and cope with concave shapes that cannot be estimated by the visual volume intersection method.
また、生物や機械などのモデリングには、関節や筋肉などの配置や運動の拘束条件(キネマティクス)を前提条件に用いるモデルベースの形状推定手法もある。この場合、画像上の対象物体のシルエットと適合するように、関節角などのパラメータを調整することで物体の形状が得られる。モデルベースの手法は、プリミティブ表現のほか、ポリゴン表現やメタボール表現などさまざまな表現形式への適用が考えられている。 There is also a model-based shape estimation method that uses the arrangement of joints and muscles and the constraint condition of motion (kinematics) as a precondition for modeling of organisms and machines. In this case, the shape of the object can be obtained by adjusting parameters such as the joint angle so as to match the silhouette of the target object on the image. The model-based method is considered to be applied to various expression formats such as polygon expression and metaball expression in addition to primitive expression.
一方、状態量の任意の統計分布を効率的に記述できるパーティクルフィルタを用いて、物体の位置を推定する手法が知られている。このパーティクルフィルタでは、物体の位置などを表す状態量(パーティクル又は粒子とよぶ)が複数存在し、これらのパーティクルのうち、物体の観測結果に合致するパーティクルの重みを増加させ、最終的には全パーティクルの状態の期待値を計算することで、物体の位置が推定される(例えば、特許文献3)。また、パーティクルフィルタでは、状態遷移(パーティクルの状態量の時間変化)が、状態量の確率密度により定義できるため、非常に複雑なダイナミクスをモデリングすることが可能である。
しかしながら、ステレオマッチ法では、十分な分解能のモデルを得るためには数多くの点対応を求める必要があり、演算コストが少なくなかった。また、点対応の精度が形状精度に大きく影響するため、対象物体にテクスチャが少ない場合には形状誤差が大きくなるという問題があった。 However, in the stereo match method, in order to obtain a model with sufficient resolution, it is necessary to obtain a large number of point correspondences, and the calculation cost is not small. In addition, since the accuracy of point correspondence greatly affects the shape accuracy, there is a problem that the shape error increases when the target object has few textures.
一方、視体積交差法では、十分な分解能のモデルを得るためにはボクセルを細かくする必要があり、膨大なメモリ領域が必要であった。また、視点毎に錐体状の領域を切り出す演算操作も、各ボクセルの錐体状の領域に対する内外判定を要するため、演算コストも大きかった。 On the other hand, in the view volume intersection method, in order to obtain a model with sufficient resolution, it is necessary to make the voxel finer, and an enormous memory area is required. In addition, the calculation operation for cutting out the cone-shaped region for each viewpoint also requires calculation inside / outside of the cone-shaped region of each voxel, and thus the calculation cost is high.
モデルベースの手法では、対象物体の取り得る形状を十分に記述できるだけの関節等のモデル化が必要であるため、対象物体が限定されていた。また、対象物体が想定外の3次元形状をとった場合や、入力画像にノイズや乱れが生じた場合に、形状推定が不可能になるおそれもあった。 In the model-based method, modeling of joints or the like that can sufficiently describe the shapes that can be taken by the target object is necessary, so that the target object is limited. In addition, when the target object has an unexpected three-dimensional shape, or when noise or disturbance occurs in the input image, there is a possibility that shape estimation may become impossible.
また、パーティクルフィルタの手法は、例えば、ボールなどの移動する物体の重心位置を追跡する用途、経済指標等の動的な機構のパラメータ学習、このような指標等の予測、2次元形状輪郭の追跡などに用いられているが、メタボール表現による3次元形状をパーティクルの状態から生成する用途には適用されていなかった。 In addition, the particle filter method includes, for example, the use of tracking the center of gravity of a moving object such as a ball, dynamic mechanism parameter learning such as an economic index, prediction of such an index, etc., tracking of a two-dimensional shape contour However, it has not been applied to the use of generating a three-dimensional shape by metaball expression from the state of particles.
本発明は、このような課題を解決するためになされたもので、演算量やメモリ消費量を低減する3次元の形状推定装置及びその方法を提供することを目的とする。 The present invention has been made to solve such a problem, and an object of the present invention is to provide a three-dimensional shape estimation apparatus and method for reducing the amount of calculation and memory consumption.
そのために、請求項1に記載の形状推定装置は、オブジェクトが撮影された画像中の映像オブジェクトに基づき、3次元座標を含む状態ベクトルと重み係数とを有した情報であるパーティクルを用いたパーティクルフィルタによって、オブジェクトの3次元形状を推定する形状推定装置であって、シルエット抽出手段と、パーティクルフィルタ手段と、メタボール生成手段とを備え、前記パーティクルフィルタ手段は、パーティクル生成手段と、重み係数変更手段と、再サンプリング手段と、状態遷移手段とを有する構成とした。
For this purpose, the shape estimation apparatus according to
かかる構成によれば、形状推定装置は、シルエット抽出手段によって、入力された画像に含まれる映像オブジェクトの領域をシルエットとして抽出する。また、形状推定装置は、パーティクルフィルタ手段のパーティクル生成手段によって、オブジェクトを探索する予め定められた探索領域内を示す3次元座標を有する、2以上である所定数のパーティクルを生成する。パーティクル生成手段で生成された所定数のパーティクルは、重み係数変更手段によって、シルエット抽出手段で抽出されたシルエットに基づいて、重み係数が変更される。 According to such a configuration, the shape estimation apparatus extracts the region of the video object included in the input image as a silhouette by the silhouette extraction unit. In addition, the shape estimation apparatus generates a predetermined number of particles equal to or greater than 2 having three-dimensional coordinates indicating a predetermined search area in which an object is searched by the particle generation unit of the particle filter unit. The weight coefficient of the predetermined number of particles generated by the particle generating means is changed by the weight coefficient changing means based on the silhouette extracted by the silhouette extracting means.
ここで、シルエット(画像)の画素値は、映像オブジェクトの領域らしさが高いほど大きな値(例えば、“1”に近い値)を有し、映像オブジェクトの領域らしさが低いほど小さな値(例えば、“0”に近い値)を有する。そして、パーティクルの重み係数は、例えば、当該パーティクルの3次元位置座標の入力画像の画像座標への投影変換位置におけるシルエットの画素値を、元の重み係数に乗算した値に更新される。そのため、パーティクルの位置に対応するシルエットが、映像オブジェクトらしくないほど、その重み係数は小さな値に変更される。 Here, the pixel value of the silhouette (image) has a larger value (for example, a value closer to “1”) as the region likelihood of the video object is higher, and a smaller value (for example, “ A value close to 0 ″). Then, for example, the particle weighting coefficient is updated to a value obtained by multiplying the original weighting coefficient by the pixel value of the silhouette at the projection conversion position of the three-dimensional position coordinate of the particle to the image coordinate of the input image. Therefore, the weight coefficient is changed to a smaller value so that the silhouette corresponding to the position of the particle does not look like a video object.
重み係数変更手段で重み係数を変更されたパーティクルは、再サンプリング手段によって、3次元座標について再サンプリングして同じ個数のパーティクルを再生成すると共に、それらのパーティクルの重み係数を均一にする。次に、状態遷移手段によって、再サンプリング手段によって再サンプリングされたパーティクルの状態ベクトルを遷移させる。
そして、パーティクルフィルタ手段によって、重み係数変更手段と再サンプリング手段と状態遷移手段とによるパーティクルに対する処理を繰り返し行う。
The particles whose weighting coefficient has been changed by the weighting coefficient changing means resample the three-dimensional coordinates by the resampling means to regenerate the same number of particles, and make the weighting coefficients of those particles uniform. Next, the state transition unit causes the state vector of the particles resampled by the resampling unit to transition.
Then, the particle filter means repeatedly performs processing on the particles by the weight coefficient changing means, the resampling means, and the state transition means.
また、メタボール生成手段によって、パーティクルフィルタ手段で処理された所定数のパーティクルに基づいて、メタボール表現による3次元形状モデルを生成する。
これによって、形状推定装置は、パーティクルフィルタ手段において使用するパーティクルの数に応じた分解能、精度、メモリ消費量及び演算量において、オブジェクトの形状情報を取得し、メタボール表現への変換によって当該オブジェクトの形状を推定することができる。
In addition, the metaball generation unit generates a three-dimensional shape model based on the metaball expression based on a predetermined number of particles processed by the particle filter unit.
Thereby, the shape estimation device acquires object shape information with resolution, accuracy, memory consumption, and calculation amount according to the number of particles used in the particle filter means, and converts the object shape into a metaball representation. Can be estimated.
請求項2に記載の形状推定装置は、請求項1に記載の形状推定装置において、前記メタボール生成手段は、前記重み係数変更手段によって重み係数が変更された前記所定数のパーティクルに基づいて、メタボール表現による3次元形状モデルを生成するように構成した。
The shape estimation device according to
かかる構成によれば、重み係数変更手段から出力される所定数のパーティクルは、それぞれオブジェクト内に分散された位置におけるオブジェクトが存在する確からしさに応じた重み係数を有しており、より正確にオブジェクトの形状に関する情報を有している。そのため、形状推定装置は、メタボール生成手段によって、各パーティクルを重み係数に応じた半径のメタボールに変換してオブジェクトの3次元形状を推定する。
これによって、オブジェクトの形状を精度よく推定することができる。
According to such a configuration, each of the predetermined number of particles output from the weighting factor changing unit has a weighting factor corresponding to the probability that the object exists at a position dispersed in the object, and more accurately It has information about the shape. Therefore, the shape estimation device estimates the three-dimensional shape of the object by converting each particle into a metaball having a radius corresponding to the weighting coefficient by the metaball generation unit.
Thereby, the shape of the object can be estimated with high accuracy.
請求項3に記載の形状推定装置は、請求項1に記載の形状推定装置において、前記メタボール生成手段は、前記再サンプリング手段によって再サンプリングされた前記所定数のパーティクルに基づいて、メタボール表現による3次元形状モデルを生成するように構成した。
The shape estimation apparatus according to claim 3 is the shape estimation apparatus according to
かかる構成によれば、再サンプリング手段から出力される所定数のパーティクルは、重み係数が均一で、オブジェクトが存在する確からしさに応じて個数に変換された分布を有している。そのため、形状推定装置は、メタボール生成手段によって、各パーティクルを均一な半径のメタボールに変換してオブジェクトの3次元形状を推定する。
これによって、オブジェクトの形状の推定に必要な演算量を低減することができる。
According to such a configuration, the predetermined number of particles output from the resampling means have a distribution in which the weight coefficient is uniform and is converted into the number according to the probability that the object exists. Therefore, the shape estimation device estimates the three-dimensional shape of the object by converting each particle into a metaball having a uniform radius by the metaball generation means.
As a result, the amount of calculation required for estimating the shape of the object can be reduced.
請求項4に記載の形状推定装置は、請求項1乃至請求項3の何れか一項に記載の形状推定装置において、前記メタボール生成手段によって生成された前記メタボール表現による3次元形状モデルに対して、収縮又は膨張を行う3次元多値モルフォロジ処理によって3次元形状モデルを修正するモルフォロジ処理手段をさらに備えて構成した。
The shape estimation device according to
かかる構成によれば、モルフォロジ処理手段によって、メタボール生成手段で生成された3次元形状モデルにおいて、例えば、真の形状より拡大あるいは縮小して推定された形状を、収縮あるいは膨張を行う3次元多値モルフォロジ処理を適用して修正する。
これによって、メタボール生成手段による推定形状の誤差を軽減することができる。
According to such a configuration, in the three-dimensional shape model generated by the metaball generation unit by the morphology processing unit, for example, a three-dimensional multivalue that contracts or expands a shape estimated by enlarging or reducing the true shape. Modify by applying morphological processing.
Thereby, the error of the estimated shape by the metaball generating means can be reduced.
請求項5に記載の形状推定装置は、請求項1乃至請求項4の何れか一項に記載の形状推定装置において、さらに1以上のシルエット抽出手段と、当該シルエット抽出手段に対応する重み係数変更手段とを備えるように構成した。
The shape estimation apparatus according to
かかる構成によれば、複数のシルエット抽出手段と、対応する重み係数変更手段とによって、例えば、複数の視点から撮影された入力画像に基づき、パーティクルの重み係数を変更する。
これによって、後段の再サンプリング手段によって、パーティクルの存在範囲を効果的に絞り込んで再編成することができ、形状推定の精度および推定値算出における収束速度を向上させることができる。
According to such a configuration, the particle weighting coefficient is changed by the plurality of silhouette extracting units and the corresponding weighting factor changing unit based on, for example, input images taken from a plurality of viewpoints.
As a result, the resampling means at the subsequent stage can effectively narrow down and reorganize the existence range of the particles, thereby improving the accuracy of shape estimation and the convergence speed in calculating the estimated value.
請求項6に記載の形状推定プログラムは、オブジェクトが撮影された画像中の映像オブジェクトに基づき、3次元座標を含む状態ベクトルと重み係数とを有した情報であるパーティクルを用いたパーティクルフィルタによって、前記オブジェクトの3次元形状を推定するために、コンピュータを、シルエット抽出手段、パーティクルフィルタ手段、メタボール生成手段、として機能させる形状推定プログラムであって、前記パーティクルフィルタ手段は、パーティクル生成手段、重み係数変更手段、再サンプリング手段、状態遷移手段、を含むこととした。
The shape estimation program according to
かかる構成によれば、形状推定プログラムは、シルエット抽出手段によって、入力された画像に含まれる映像オブジェクトの領域をシルエットとして抽出する。また、形状推定プログラムは、パーティクルフィルタ手段のパーティクル生成手段によって、オブジェクトを探索する予め定められた探索領域内を示す3次元座標を有する、2以上である所定数のパーティクルを生成する。パーティクル生成手段で生成された所定数のパーティクルは、重み係数変更手段によって、シルエット抽出手段で抽出されたシルエットに基づいて、重み係数が変更される。重み係数変更手段で重み係数を変更されたパーティクルは、再サンプリング手段によって、3次元座標について再サンプリングして同じ個数のパーティクルを再生成すると共に、それらのパーティクルの重み係数を均一にする。次に、状態遷移手段によって、再サンプリング手段によって再サンプリングされたパーティクルの状態ベクトルを遷移させる。
そして、パーティクルフィルタ手段によって、重み係数変更手段と再サンプリング手段と状態遷移手段とによるパーティクルに対する処理を繰り返し行う。
また、メタボール生成手段によって、パーティクルフィルタ手段で処理された所定数のパーティクルに基づいて、メタボール表現による3次元形状モデルを生成する。
これによって、形状推定装置は、パーティクルフィルタ手段において使用するパーティクルの数に応じた分解能、精度、メモリ消費量及び演算量において、オブジェクトの形状情報を取得し、メタボール表現への変換によって当該オブジェクトの形状を推定することができる。
According to this configuration, the shape estimation program extracts the region of the video object included in the input image as a silhouette by the silhouette extraction unit. In addition, the shape estimation program generates a predetermined number of particles equal to or greater than 2 having three-dimensional coordinates indicating a predetermined search area in which an object is searched by the particle generation unit of the particle filter unit. The weight coefficient of the predetermined number of particles generated by the particle generating means is changed by the weight coefficient changing means based on the silhouette extracted by the silhouette extracting means. The particles whose weighting coefficient has been changed by the weighting coefficient changing means resample the three-dimensional coordinates by the resampling means to regenerate the same number of particles, and make the weighting coefficients of those particles uniform. Next, the state transition unit causes the state vector of the particles resampled by the resampling unit to transition.
Then, the particle filter means repeatedly performs processing on the particles by the weight coefficient changing means, the resampling means, and the state transition means.
In addition, the metaball generation unit generates a three-dimensional shape model based on the metaball expression based on a predetermined number of particles processed by the particle filter unit.
Thereby, the shape estimation device acquires object shape information with resolution, accuracy, memory consumption, and calculation amount according to the number of particles used in the particle filter means, and converts the object shape into a metaball representation. Can be estimated.
請求項1又は請求項6に記載の発明によれば、演算量やメモリ量を低減して、オブジェクトの3次元形状を推定することができる。
請求項2に記載の発明によれば、より正確にオブジェクトの3次元形状を推定することができる。
請求項3に記載の発明によれば、より少ない演算量でオブジェクトの3次元形状を推定することができる。
請求項4に記載の発明によれば、メタボール変換による形状推定の誤差を修正し、より正確にオブジェクトの3次元形状を推定することができる。
請求項5に記載の発明によれば、より精度よく、また、より迅速にオブジェクトの3次元形状を推定することができる。
According to the invention described in
According to invention of
According to the third aspect of the invention, the three-dimensional shape of the object can be estimated with a smaller amount of calculation.
According to the fourth aspect of the invention, it is possible to correct the shape estimation error due to the metaball transformation and more accurately estimate the three-dimensional shape of the object.
According to the fifth aspect of the present invention, the three-dimensional shape of the object can be estimated more accurately and more quickly.
以下、本発明の実施の形態について適宜図面を参照して詳細に説明する。
[形状推定装置の構成]
まず、図1を参照して、実施形態の形状推定装置10の構成について説明する。ここで、図1は本発明にかかる実施形態の形状推定装置の構成を示すブロック図である。
図1に示した実施形態の形状推定装置10は、N個(Nは1以上の整数)の入力手段1(11〜1N)と、N個のシルエット抽出手段2(21〜2N)と、パーティクルフィルタ手段3と、メタボール生成手段4と、モルフォロジ処理手段5と、出力手段6と、を含んで構成されている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
[Configuration of shape estimation device]
First, with reference to FIG. 1, the structure of the
The
入力手段1(11〜1N)は、図示しないN台のカメラによって撮影された対象物体(オブジェクト)の入力画像I1〜INを、それぞれ対応するシルエット抽出手段2(21〜2N)に入力する入力インターフェースである。また、この入力手段11〜1Nは、それぞれ入力画像I1〜INを撮影した際のカメラパラメータCP1〜CPNをパーティクルフィルタ手段3に出力する。ここで、カメラパラメータCP1〜CPNとは、それぞれ入力画像I1〜INを撮影した際のカメラの撮影位置の座標を含み、姿勢情報(例えば、パン角、チルト角等で表される撮影方向)、画角情報(例えば、ズーム量等)などである。
The input means 1 (1 1 to 1 N ) converts the input images I 1 to I N of target objects (objects) photographed by N cameras (not shown) into the corresponding silhouette extraction means 2 (2 1 to 2 N). ) Input interface. Further, the
シルエット抽出手段2(21〜2N)は、N箇所の視点で撮影された対象物体(オブジェクト)の入力画像I1〜INから対象物体像(映像オブジェクト)の領域を抽出し、シルエット画像(以下、シルエット)S1〜SNを生成する。シルエットとは、入力画像(例えばI1)を構成する各画素に関して、当該画素が対象物体像に属するか否かを数値的に区別した画像である。
なお、特許請求の範囲の記載において、オブジェクトとは対象物体のことであり、映像オブジェクトとは対象物体を撮影した入力画像中の対象物体像のことである。
The silhouette extraction means 2 (2 1 to 2 N ) extracts the region of the target object image (video object) from the input images I 1 to I N of the target object (object) photographed from N viewpoints, and the silhouette image (Hereinafter, silhouettes) S 1 to S N are generated. A silhouette is an image that numerically distinguishes whether each pixel constituting an input image (for example, I 1 ) belongs to a target object image.
In the description of the claims, an object is a target object, and a video object is a target object image in an input image obtained by photographing the target object.
例えば、注目する画素が対象物体像上にある場合には値“1”を、対象物体像上にない場合には値“0”を割り当てた2値画像をシルエットとして用いることができる。
また、例えば、注目する画素が対象物体像上にある可能性が高い場合には大きな値(例えば“1”に近い値)を、対象物体像上にない可能性が高い場合には小さな値(例えば“0”に近い値)を設定し、前記の何れとも判別できない場合には中間的な値(例えば“0.5”)を設定した多値の画像であってもよい。
For example, a binary image to which a value “1” is assigned when the pixel of interest is on the target object image and a value “0” is assigned when the pixel is not on the target object image can be used as the silhouette.
In addition, for example, a large value (for example, a value close to “1”) when the pixel of interest is highly likely to be on the target object image, a small value (for example, a value close to “1”) is high. For example, a multi-valued image in which an intermediate value (for example, “0.5”) is set may be used.
以下、n番目(n=1,2,……,N)の視点の入力画像をIn、シルエットをSnと表記する。また、(x,y)は入力画像における画素位置を表し、xは水平座標を、yは垂直座標を表す。さらに、画素位置(x,y)における入力画像InおよびシルエットSnの画素値を、それぞれIn(x,y)およびSn(x,y)と表記する。 Hereinafter, n-th (n = 1,2, ......, N ) the input image of the view of I n, the silhouette is denoted as S n. Further, (x, y) represents a pixel position in the input image, x represents a horizontal coordinate, and y represents a vertical coordinate. Furthermore, the pixel values of the input image I n and silhouettes S n at the pixel position (x, y), respectively I n (x, y) and S n (x, y) and notation.
各入力画像Inを得る手段はそれぞれ任意であり、例えば、デジタルスチルカメラやビデオカメラで電子的に撮影された画像であってもよいし、銀塩写真をイメージスキャナやデジタルスチルカメラ、ビデオカメラなどによって電子化した画像であっても構わない。また、これらの手段を組み合わせて用いてもよい。
入力画像Inはカラー画像であってもモノクロ画像であっても多バンド画像であってもよいが、以下では各画素が赤、緑及び青の3原色により構成されるカラー画像であるものとして説明する。一方、シルエットSnは、各画素が“0”以上“1”以下の値をとる多値画像とし、対象物体像上である可能性が高いほど大きな値をとるものとして説明する。
Each input image I n means for obtaining is arbitrary respectively, for example, a digital still camera and a electronically captured image may be a video camera, an image scanner or a digital still camera to silver halide photograph, a video camera For example, the image may be digitized. Moreover, you may use combining these means.
As the input image I n is may be a multi-band image may be a monochrome image may be a color image, the following is a color image composed of the three primary colors of each pixel red, green and blue explain. On the other hand, the silhouette Sn is assumed to be a multi-valued image in which each pixel has a value of “0” or more and “1” or less, and takes a larger value as the possibility of being on the target object image increases.
シルエット抽出手段2nは、例えば、クロマキー法による対象物体像の抽出手法を用いることができる。この場合は、対象物体を区別可能な色の背景の前に対象物体を配置して撮影し、入力画像Inを取得する。例えば、青い布など単色の人工的な素材を背景として用いたり、芝生のような単色に近い自然物を背景として用いることができる。クロマキーによる場合、入力画像Inの画素位置(画像座標)(x,y)における画素値In(x,y)が背景色に類似している場合ほど、対象物体像である可能性が低いため、シルエットSn(x,y)の値を小さくするものとする。
The
ここで、図2を参照して、シルエットSnの生成について説明する。図2の(a)は、対象物体をカメラで撮影する様子を示した図、(b)はカメラによって撮影された入力画像、(c)はシルエットである。
図2(a)に示したように、形状を探索する領域として予め定められた領域D内に配置された対象物体O(この例では四角錐)を、カメラC1により側方から、カメラC2により上方から撮影することにより、それぞれ、図2(b)に示したように、対象物体像O’が含まれる入力画像I1及び入力画像I2を得ている。これらの入力画像I1及び入力画像I2に対し、図2(b)の網掛部の色を背景色としてクロマキー処理を行った結果が、図2(c)に示したシルエットS1及びシルエットS2である。図2(c)では、“1”又は“1”に近い大きな値を白で、“0”又は“0”に近い小さな値を黒で表示している。
Here, with reference to FIG. 2, the generation of silhouette S n. FIG. 2A shows a state where the target object is photographed by the camera, FIG. 2B shows an input image photographed by the camera, and FIG. 2C shows a silhouette.
As shown in FIG. 2 (a), the target object disposed within a predetermined area D as an area for searching a shape O (four-sided pyramid in this example), from the side by the camera C 1, the camera C by photographing from above by 2, respectively, as shown in FIG. 2 (b), to obtain an input image I 1 and the input image I 2 including the target object image O '. The result of performing chroma key processing on the input image I 1 and the input image I 2 using the shaded color in FIG. 2B as the background color is the result of the silhouette S 1 and the silhouette S shown in FIG. 2 . In FIG. 2C, a large value close to “1” or “1” is displayed in white, and a small value close to “0” or “0” is displayed in black.
また、シルエット抽出手段2nは、例えば、背景差分法により実装してもよい。この場合、シルエット抽出手段2nには、対象物体像がないときの画像を背景画像Bnとして、図示しない記憶手段に予め記憶しておく。そして、入力画像の各画素の画素値In(x,y)が、対応する画素位置の背景画像の画素値Bn(x,y)に類似している場合ほど、対象物体像である可能性が低いため、シルエットSn(x,y)の値を小さくするものとする。
このほか、入力画像Inから対象物体像らしさを表すシルエットSnが得られる手法であれば、他の手法を用いてもよい。
Further, the
In addition, as long as it is a method for silhouette S n is obtained from the input image I n represents the object image likelihood may use other techniques.
パーティクルフィルタ手段3は、シルエット抽出手段21〜2Nから入力されるシルエットS1〜SNと、入力手段11〜1Nから入力されるカメラパラメータCP1〜CPNを用いて、パーティクルフィルタ手法におけるパーティクル(粒子)に対するフィルタ処理を行い、パーティクル群(粒子群)をメタボール生成手段4に出力する。
ここで、パーティクルとは、3次元座標(位置成分)を含む状態ベクトルと重み係数とを有する情報であり、パーティクルフィルタとは、このようなパーティクルを対象物体内に適宜散布し、複数のパーティクルの集合からなるパーティクル群の状態ベクトルと重み係数とを重ね合わせることで物体の3次元形状を表現する手法である。
Particle filter unit 3, using the
Here, the particle is information having a state vector including a three-dimensional coordinate (position component) and a weighting coefficient, and the particle filter appropriately scatters such particles in the target object, This is a technique for expressing a three-dimensional shape of an object by superimposing a state vector of a group of particles and a weighting factor.
次に、図3を参照して、パーティクルフィルタ手段3の詳細な構成について説明する。ここで、図3は、パーティクルフィルタ手段の構成を示したブロック図である。
図3に示したように、パーティクルフィルタ手段3は、パーティクル生成手段21と、スイッチ22と、N個の加重演算手段(重み係数変更手段)23(231〜23N)と、再サンプリング手段24と、遅延手段25と、状態遷移手段26と、から構成されている。
Next, the detailed configuration of the particle filter means 3 will be described with reference to FIG. Here, FIG. 3 is a block diagram showing the configuration of the particle filter means.
As shown in FIG. 3, the particle filter unit 3 includes a
パーティクル生成手段21は、パーティクルフィルタ手段3におけるパーティクルの初期化のための手段であり、シルエット抽出手段21から入力されるシルエットS1と入力手段11を介して入力されるカメラパラメータCP1とに基づき、対象物体の存在候補領域内に分布する所定数(M個)のパーティクルを生成するパーティクルの初期化手段である。
生成するパーティクルの個数Mは2以上の整数であり、例えば、M=10000とすることができる。個々のパーティクルは、それぞれ状態ベクトルと重み係数とからなるベクトル量である。以下、m番目(m=1,2,……,M)のパーティクルの状態ベクトルをsm、重み係数をwmと表記する。 The number M of particles to be generated is an integer greater than or equal to 2, for example, M = 10000. Each particle is a vector quantity composed of a state vector and a weight coefficient. Hereinafter, the state vector of the m-th particle (m = 1, 2,..., M) is expressed as s m , and the weight coefficient is expressed as w m .
状態ベクトルsmは、その成分に少なくとも3次元空間における座標(Xm,Ym,Zm)を含むものとする。状態ベクトルsmは、例えば、式(1)に示すように3次元空間における座標(Xm,Ym,Zm)のみで構成することができる。 The state vector s m includes at least coordinates (X m , Y m , Z m ) in a three-dimensional space as its components. For example, the state vector s m can be configured by only coordinates (X m , Y m , Z m ) in a three-dimensional space as shown in the equation (1).
あるいは、状態ベクトルsmは、例えば、式(2)に示すように、3次元空間における座標及び速度からなる6次元のベクトルとしてもよい。式(2)において、・(ドット)は時間微分を表し、右辺の4〜6行目の要素は、それぞれ、m番目のパーティクルのX、Y、Z方向の速度を表す。 Alternatively, the state vector s m, for example, as shown in equation (2) may be a six-dimensional vector consisting of the coordinates and velocities in the three-dimensional space. In the formula (2), • (dot) represents time differentiation, and the elements on the 4th to 6th lines on the right side represent the velocities in the X, Y, and Z directions of the mth particle, respectively.
さらに、状態ベクトルsmに、例えば、加速度を導入して9次元のベクトルとしてもよいし、過去の座標、速度、加速度などを導入してもよい。 Furthermore, the state vector s m, for example, may be a 9-dimensional vector by introducing acceleration, it may be introduced past coordinates, velocity, acceleration and the like.
ここで、図4及び図2を参照してパーティクル生成手段21の機能について説明する。図4は、パーティクルを生成する様子を模式的に示した図である。
パーティクル生成手段21は、まず、図2(a)に示した例のように、対象物体Oが領域Dに完全に包含されるように、3次元空間上の閉領域である領域Dを設定する。すなわち、領域Dは形状推定を行う探索領域である。
そして、式(3)に示すように、シルエットS1に応じて定められる確率密度関数p(X,Y,Z|S1)に従うM個のサンプル(Xm,Ym,Zm)(m=1,2,…,M)を生成する。
Here, the function of the particle generation means 21 is demonstrated with reference to FIG.4 and FIG.2. FIG. 4 is a diagram schematically showing how particles are generated.
First, the
Then, as shown in Expression (3), M samples (X m , Y m , Z m ) (m) according to the probability density function p (X, Y, Z | S 1 ) determined according to the silhouette S 1 = 1, 2, ..., M).
(Xm,Ym,Zm)〜p(X,Y,Z|S1) …(3) (X m , Y m , Z m ) to p (X, Y, Z | S 1 ) (3)
式(3)の確率密度関数p(X,Y,Z|S1)として、例えば、式(4)の関数を用いることができる。 As the probability density function p (X, Y, Z | S 1 ) of Expression (3), for example, the function of Expression (4) can be used.
式(4)において、fn(X,Y,Z)及びgn(X,Y,Z)は入力画像Inを撮影したカメラCn(例えば、図2のカメラC1、C2)による投影変換を表す関数である。すなわち、3次元座標(X,Y,Z)で表される点は、カメラCnによって撮影された2次元画像内において、2次元画像座標(fn(X,Y,Z),gn(X,Y,Z))に変換される。fn(X,Y,Z)及びgn(X,Y,Z)はカメラやレンズの特性、カメラ位置及びカメラ姿勢等のカメラパラメータに応じて決まる関数であり、例えば、ピンホールや一般的なレンズの場合は透視投影変換となり、魚眼レンズの場合は等距離投影変換や正射影変換となる。
In the formula (4), f n (X , Y, Z) and g n (X, Y, Z ) is due to the camera C n obtained by photographing the input image I n (e.g.,
パーティクルPは、対象物体Oの最大の探索領域である領域D内であって、かつシルエットS1及びカメラパラメータCP1から推定される対象物体Oの存在候補領域に分布するように生成される。シルエットS1及びカメラパラメータCP1から推定される対象物体Oの存在候補領域とは、カメラC1の第一光学主点(視点)から、シルエットS1の0でない画素を通して観測する方位に含まれる領域のことである。簡単のためにシルエットS1が2値(“0”及び“1”)の場合について説明すると、図4のシルエットS1の白い部分が“0”でない画素、すなわち“1”の画素とすると、(Xm,Ym,Zm)は、カメラC1の第一光学主点と画像面上のシルエットS1のS1(x,y)=1なる領域とを通る錐体状領域(この例では三角錐)の内部にほぼ均一に分布する。ただし、最大の探索領域である領域D内に限るものとする。
また、パーティクルPの重み係数wmは、初期値として、すべて均一の値(例えば、1/M)を設定する。
The particles P are generated so as to be distributed within the region D that is the maximum search region of the target object O and distributed in the existence candidate regions of the target object O estimated from the silhouette S 1 and the camera parameter CP 1 . The existence candidate region of the target object O estimated from the silhouette S 1 and the camera parameter CP 1 is included in the orientation observed from the first optical principal point (viewpoint) of the camera C 1 through the non-zero pixel of the silhouette S 1. It is an area. For the sake of simplicity, the case where the silhouette S 1 is binary (“0” and “1”) will be described. If the white portion of the silhouette S 1 in FIG. 4 is a non- “0” pixel, that is, a “1” pixel, (X m , Y m , Z m ) is a cone-shaped region (this one that passes through the first optical principal point of the camera C 1 and the region S 1 (x, y) = 1 of the silhouette S 1 on the image plane. In the example, it is distributed almost uniformly inside the triangular pyramid). However, it is limited to the area D which is the maximum search area.
Further, the weighting coefficient w m of the particles P is all set to a uniform value (for example, 1 / M) as an initial value.
なお、最初に生成するパーティクルPは、最大の探索領域である領域D内に一様に分布するように生成してもよいが、最初に設定する探索領域を、シルエットS1から推定される対象物体の存在領域に限定することで、形状推定のための収束までの繰り返し演算処理の回数を低減することができる。 Incidentally, the particles P generated first, but may be generated so as to be distributed uniformly in the area D is the maximum search area, the search region set initially, is estimated from the silhouette S 1 object By limiting to the region where the object exists, the number of iterative calculation processes until convergence for shape estimation can be reduced.
スイッチ22は、パーティクル生成手段21から入力される初期化されたパーティクルか、後記する加重演算手段231から入力されるフィルタ処理が進んだパーティクルかを選択し、加重演算手段232に出力する。
スイッチ22は、パーティクルの初期化のための切り替えスイッチであり、形状推定を開始した直後(例えば、対象物体を本装置の前に据え、準備が整った直後)や、使用者の必要に応じて、パーティクル生成手段21側を、所定の時間だけ閉じて、パーティクル生成手段21で生成された必要な個数のパーティクルを、加重演算手段232に供給する。これ以外の期間は、加重演算手段231側を閉じて、加重演算手段231によって処理されたパーティクルを、加重演算手段232にそのまま出力する。
The
加重演算手段(重み係数変更手段)23(231〜23N)は、各パーティクルの状態ベクトルsmがシルエットS1〜SNと矛盾しないか評価し(尤度を評価し)、その評価結果に応じて重み係数wmを修正する。
具体的には、式(5)に示したように、パーティクルの3次元座標(Xm,Ym,Zm)の画像座標への投影変換位置におけるシルエットSnの画素値Sn(fn(Xm,Ym,Zm),gn(Xm,Ym,Zm))を、元の重み係数wmに乗じた値を、変更後の重み係数wmとする。
シルエットSnの画素値は、対象物体像(映像オブジェクト)の存在する確からしさ(可能性)が高いほど大きな値(例えば“1”)を有し、低いほど小さな値(例えば“0”)を有するため、対象物体像の存在する確からしさが低い位置に配置されたパーティクルほど、その重み係数wmは小さな値に変換される。
Weighted arithmetic means (weighting coefficient changing means) 23 (23 1 ~ 23 N), the state vector s m of each particle is evaluated not in conflict with the
Specifically, as shown in Expression (5), the pixel value S n (f n ) of the silhouette S n at the projection conversion position of the three-dimensional coordinates (X m , Y m , Z m ) of the particles to the image coordinates. (X m, Y m, Z m), g n (X m, Y m, Z m) to), a value obtained by multiplying the original weighting factor w m, the weighting factor w m after the change.
Pixel values of the silhouette S n has an existence probability of the target object image (image object) (possibility) is higher the larger the value (e.g. "1"), the lower the smaller value (e.g. "0") Therefore, the weight coefficient w m is converted to a smaller value as the particle is located at a lower probability that the target object image exists.
wm ← wm・Sn(fn(Xm,Ym,Zm),gn(Xm,Ym,Zm)) …(5) w m ← w m · S n (f n (X m , Y m , Z m ), g n (X m , Y m , Z m )) (5)
但し、(Xm,Ym,Zm)=(状態ベクトルsmの位置成分)であり、fn(Xm,Ym,Zm)及びgn(Xm,Ym,Zm)は、カメラCnによって撮影された入力画像Inの画像座標への投影変換を行う関数であり、fn(Xm,Ym,Zm)は水平座標、gn(Xm,Ym,Zm)は垂直座標に変換するための関数である。また、←(左矢印)は、右辺の計算結果を左辺の変数に代入することを示す記号である。 However, a (X m, Y m, Z m) = ( position component of the state vector s m), f n (X m, Y m, Z m) and g n (X m, Y m , Z m) Is a function that performs projection conversion to the image coordinates of the input image In taken by the camera C n , where f n (X m , Y m , Z m ) is the horizontal coordinate, g n (X m , Y m , Z m ) is a function for converting to vertical coordinates. Further, ← (left arrow) is a symbol indicating that the calculation result on the right side is assigned to the variable on the left side.
加重演算手段231は、後記する状態遷移手段26から入力されるパーティクルに対して、シルエット抽出手段21から入力されるシルエットS1及び入力手段11を介して入力されるカメラパラメータCP1に基づいて、各パーティクルの重み係数wmを修正する。そして、重み係数wmを修正したパーティクルをスイッチ22に出力する。
Weighted arithmetic means 23 1, to the particles is input from the state transition means 26 to be described later, the camera parameters CP 1 inputted via the silhouettes S 1 and the input means 1 1 is input from the
加重演算手段232は、スイッチ22から入力されるパーティクルに対して、シルエット抽出手段22から入力されるシルエットS2及び入力手段12を介して入力されるカメラパラメータCP2に基づいて、各パーティクルの重み係数wmを修正する。そして、重み係数wmを修正したパーティクルを加重演算手段233(不図示)に出力する。
Weighting calculation means 23 2, to the particles which are inputted from the
以下、同様に、n番目の加重演算手段23nは、前段の加重演算手段23n−1から入力されるパーティクルに対して、シルエット抽出手段2nから入力されるシルエットSn及び入力手段1nを介して入力されるカメラパラメータCPnに基づいて、各パーティクルの重み係数wmを修正し、重み係数wmを修正したパーティクルを、後段の加重演算手段23n+1に出力する。
Hereinafter, similarly, the
最後段の加重演算手段23Nは、重み係数wmを修正したパーティクル(パーティクル群PA)を、再サンプリング手段24に出力すると共に、メタボール生成手段4(図1参照)に出力する。 The last weight calculation means 23 N outputs the particles (particle group P A ) whose weight coefficient w m has been corrected to the resampling means 24 and to the metaball generation means 4 (see FIG. 1).
なお、加重演算手段23は、複数段を接続する必要はなく、1段のみとしてもよい。また、複数のシルエット抽出手段21〜2N(図1参照)を備えると共に、複数段の加重演算手段231〜23Nを接続することで、複数の視点から撮影した入力画像I1〜INによるシルエットS1〜SNに基づいて重み係数wmを変更することができ、後段の再サンプリング手段24によって、パーティクルの存在範囲を効果的に絞り込んで再編成することができる。そのため、形状推定の精度及び推定値算出における収束速度を向上することができる。
Note that the
ここで、図5を参照して加重演算手段23の機能について説明する。図5は、パーティクルの重み係数を更新する様子を模式的に示した図である。
図5においては、図4に示したパーティクルPに対して、加重演算手段232によって、カメラC2から得られた入力画像I2(図2参照)によるシルエットS2及びカメラパラメータCP2に基づいて、重み係数wmの更新を行う様子を表している。
Here, the function of the weight calculation means 23 will be described with reference to FIG. FIG. 5 is a diagram schematically showing how the weighting coefficient of particles is updated.
In FIG. 5, based on the silhouette S 2 and the camera parameter CP 2 based on the input image I 2 (see FIG. 2) obtained from the camera C 2 by the weight calculation means 23 2 for the particle P shown in FIG. This represents how the weighting coefficient w m is updated.
黒丸(P1)及び白丸(P2)で示したパーティクルPは、図4に示した、前の処理までに得られているパーティクル群の3次元の位置を模式的に表している。式(5)に示したように、各パーティクルPの3次元座標(Xm,Ym,Zm)を2次元画像面に投影した像の画像座標(f2(Xm,Ym,Zm),g2(Xm,Ym,Zm))におけるシルエットS2の画素値S2(f2(Xm,Ym,Zm),g2(Xm,Ym,Zm))を、パーティクルPの重み係数wmに乗じて、新たな重み係数wmとする。 Particles P indicated by black circles (P 1 ) and white circles (P 2 ) schematically represent the three-dimensional positions of the particle groups obtained up to the previous processing shown in FIG. As shown in Expression (5), the image coordinates (f 2 (X m , Y m , Z) of the image obtained by projecting the three-dimensional coordinates (X m , Y m , Z m ) of each particle P onto the two-dimensional image plane. m ), g 2 (X m , Y m , Z m )), the pixel value S 2 (f 2 (X m , Y m , Z m ), g 2 (X m , Y m , Z m )) of the silhouette S 2 )) Is multiplied by the weight coefficient w m of the particle P to obtain a new weight coefficient w m .
簡単のためにシルエットS2が2値画像の場合について説明すると、パーティクルの3次元座標の画像座標への投影変換位置が、シルエットS2の“0”でない画素上にあるか否かを判定し、シルエットS2の“0”でない画素上にあると判定された黒丸のパーティクルP1に関しては重みwmをそのまま変化させずに保つ。一方、シルエットS2の“0”である画素上にあると判定された白丸のパーティクルP2に対しては、wm×0=0を新たなwmとする。 For the sake of simplicity, the case where the silhouette S 2 is a binary image will be described. It is determined whether or not the projection conversion position of the three-dimensional coordinates of the particles to the image coordinates is on a pixel other than “0” of the silhouette S 2. For the black circle particle P 1 determined to be on a pixel that is not “0” in the silhouette S 2, the weight w m is kept unchanged. On the other hand, for the particles P 2 white circles is determined to be on the pixel is a silhouette S 2 "0", the w m × 0 = 0 as the new w m.
図3に戻って、パーティクルフィルタ手段3の構成について説明を続ける。
再サンプリング手段24は、N個の加重演算手段231〜23Nを経て、最後段の加重演算手段23Nから出力されるM個のパーティクルを入力し、各パーティクルの重み係数wmに応じて再サンプリング(再編成)して、新たなM個のパーティクル(パーティクル群PB)を生成し、遅延手段25に出力すると共に、メタボール生成手段4(図1参照)に出力する。また、再サンプリング手段24は、新たに生成するM個のパーティクルの重みwmを、例えば、すべて1/Mとなるようにする。
Returning to FIG. 3, the description of the configuration of the particle filter means 3 will be continued.
The re-sampling means 24 inputs M particles output from the last weight calculation means 23 N via N weight calculation means 23 1 to 23 N , and according to the weight coefficient w m of each particle. Re-sampling (reorganization) generates new M particles (particle group P B ) and outputs them to the delay means 25 and to the metaball generation means 4 (see FIG. 1). Further, the
ここで、図6を参照して、再サンプリング手段24の機能について説明する。図6は、再サンプリングの様子を模式的に示した図であり、(a)は、再サンプリング前のパーティクルを示し、(b)は、再サンプリング後のパーティクルを示す。 Here, the function of the resampling means 24 will be described with reference to FIG. 6A and 6B are diagrams schematically showing the state of resampling. FIG. 6A shows particles before resampling, and FIG. 6B shows particles after resampling.
図6(a)において、丸印は、再サンプリング手段24に入力された番号mが1から10までのパーティクルを表している。各丸印の座標(ここでは便宜上1次元で表している)が各パーティクルの状態ベクトルsmを表し、その大きさが重み係数wmを表している。 In FIG. 6A, the circles indicate the particles with the number m input to the resampling means 24 from 1 to 10. Each circle of coordinates (represented here for convenience one dimension in) represents the state vector s m of each particle, its magnitude represents a weighting factor w m.
再サンプリング手段24では、再サンプリング前のパーティクルの重み係数wmの大きさに応じた個数の当該パーティクルのコピーを生成する。すなわち、パーティクルの重み係数wmが大きいものほど数多くのパーティクルのコピーを生成し、wmが小さいものほどコピーの生成数が少なくするか、あるいは皆無となるようにパーティクルを再編成(再サンプリング)して、図6(b)に示すように、重み係数wmが均一な、新たなパーティクル群を生成する。 The resampling means 24 generates a number of copies of the particles corresponding to the size of the weight coefficient w m of the particles before resampling. That is, the larger the particle weighting factor w m is, the more particles are generated, and the smaller the w m is, the smaller the number of copies is generated, or the particles are reorganized (re-sampling) Then, as shown in FIG. 6B, a new particle group having a uniform weight coefficient w m is generated.
図6に示した例では、再サンプリング前の10個のパーティクルついて、m=5のパーティクルは4個のパーティクルに変換され、m=4,6のパーティクルは、それぞれ2個のパーティクルに変換され、m=7,9のパーティクルは、それぞれ1個のパーティクルに変換され、m=1,2,3,8,10のパーティクルは消滅し、新たに10個のパーティクルが再編成されている。 In the example shown in FIG. 6, for 10 particles before re-sampling, m = 5 particles are converted into 4 particles, m = 4, 6 particles are converted into 2 particles, The particles with m = 7 and 9 are each converted into one particle, the particles with m = 1, 2, 3, 8, and 10 disappear, and 10 particles are newly reorganized.
次に、図7を参照して、再サンプリングの手順について説明する。ここで、図7は、再サンプリング手段によるパーティクルの再サンプリングの様子を示した図である。
再サンプリング前のパーティクルの状態ベクトルをsm、重み係数をwmとし、再サンプリング後のパーティクルの状態ベクトルをsm (new)、重み係数をwm (new)とする。ただし、m=1,2,…,Mとする。まず、重み係数wmをmに関して累積したWmを縦軸に、mを横軸にとる。原点を始点とし、点(m,Wm)を順次、線分で結んだ折線グラフを作る。
続いて、
Next, the resampling procedure will be described with reference to FIG. Here, FIG. 7 is a diagram showing how the particles are resampled by the resampling means.
The state vector of the particle before resampling is s m , the weighting factor is w m , the state vector of the particle after resampling is s m (new) , and the weighting factor is w m (new) . Here, m = 1, 2,..., M. First, W m obtained by accumulating weighting factors w m with respect to m is taken on the vertical axis, and m is taken on the horizontal axis. A line graph is created by connecting the points (m, W m ) sequentially with line segments, starting from the origin.
continue,
0<ωμ≦WM …(6) 0 <ω μ ≦ W M (6)
なる一様乱数ωμをM回発生する。以下、一様乱数をM回発生する中のμ番目の試行について説明する。まず、Wm=ωμなる直線と、前記した折線グラフの交点Ωμを求める。交点Ωμのm座標の小数点以下を切り上げた結果をmμ(上に^(ハット))とする。
すなわち、
A uniform random number ω μ is generated M times. Hereinafter, the μ-th trial in which uniform random numbers are generated M times will be described. First, the intersection Ω μ between the straight line W m = ω μ and the above-mentioned line graph is obtained. The result of rounding up the decimal point of the m coordinate of the intersection Ω μ is defined as m μ (above (hat)).
That is,
を満たすmμ(上に^(ハット))を求める。このとき、再サンプリング後のμ番目のパーティクルの状態ベクトルを式(8)とし、 Find m μ (upper (hat)) that satisfies. At this time, the state vector of the μ-th particle after re-sampling is expressed by Equation (8),
その重み係数を式(9)とする。 The weighting coefficient is represented by equation (9).
式(6)〜式(9)の操作をM回繰り返すことで、再サンプリング(再編成)されたM個のパーティクルが得られる。
このようにして得られた新たなパーティクル群PBを遅延手段25及びメタボール生成手段4(図1参照)に出力する。
By repeating the operations of Expressions (6) to (9) M times, M particles that are resampled (reorganized) are obtained.
The new particle group P B obtained in this way is output to the delay means 25 and the metaball generation means 4 (see FIG. 1).
なお、パーティクルフィルタ手段3からメタボール生成手段4(図1参照)に出力し得るパーティクル群としては、前記した加重演算手段23Nから出力するパーティクル群PAと、再サンプリング手段24から出力するパーティクル群PBとがある。パーティクルフィルタ手段3からは、何れか一方を出力するが、何れを出力するか選択できるように選択手段を設けるようにしてもよい。
As the particle group which may be output from the particle filter unit 3 to metaball generation unit 4 (see FIG. 1), and particle groups P A to be output from the weighting calculation means 23 N described above, particle groups to be output from the
ここで、パーティクル群としてPAを用いる場合と、PBを用いる場合の特徴について説明する。
加重演算手段23Nから出力されるパーティクル群PAは、各パーティクルは、対象物体が存在する確からしさに応じて、それぞれ異なる重み係数wmを有しているため、より正確に対象物体を推定した情報を有している。このため、パーティクル群PAに基づいてメタボール表現することで、正確な形状を再現することができる。
Here it will be described the case of using the P A as particles group, the characteristics in the case of using the P B.
Particle Group P A output from the
一方、再サンプリング手段24から出力されるパーティクル群PBは、各パーティクルは重み係数wmに応じて、パーティクルの個数に変換されたものである。この変換は、あるパーティクルが有する変換前の重み係数wmと、その変換によって生成されるパーティクルの個数とが確率的にしか対応しないため、局所的には近似的な変換となる。そのため、変換後のパーティクル群PBによる形状情報には誤差が生じるため、形状の推定精度は変換前のパーティクル群PAよりも劣化する。しかし、パーティクル群PBは、全てのパーティクルの重み係数wmが均一の値に変換されるため、メタボール表現への変換の際には、各パーティクルを、半径の等しいメタボールとすることができるため、メタボール変換の演算を簡略化し、演算量を低減することができる。 On the other hand, the particle group P B output from the re-sampling means 24 is obtained by converting each particle into the number of particles according to the weighting factor w m . This conversion is a local approximate conversion because the weight coefficient w m before conversion of a certain particle and the number of particles generated by the conversion correspond only probabilistically. Therefore, the shape information using a particle group P B after the conversion since the errors occur, the estimation accuracy of the shape is degraded than the particle group P A before conversion. However, in the particle group P B , since the weight coefficient w m of all particles is converted to a uniform value, each particle can be made into a metaball having the same radius when converted into the metaball expression. The calculation of the metaball conversion can be simplified and the calculation amount can be reduced.
パーティクル群PAとパーティクル群PBのこのような特徴を考慮して、用途に適したパーティクル群を用いるようにすることができる。 Considering such characteristics of the particle group P A and the particle group P B , it is possible to use a particle group suitable for the application.
図3に戻って、パーティクルフィルタ3の構成について説明を続ける。
遅延手段25は、各カメラCn(例えば、図2のカメラC1,C2)で次の撮影が行われ、新たな入力画像Inが入力されるまで処理を待機するタイミングを調整のための手段であり、例えば、処理途中のパーティクルを一時記憶するメモリ手段で構成することができる。このメモリ手段にパーティクルを記憶し、状態遷移手段26による処理時間を考慮した上で、入力画像Inの入力タイミングを見計らって、メモリ手段からパーティクルを読み出して状態遷移手段26に出力するようにすればよい。
Returning to FIG. 3, the description of the configuration of the particle filter 3 will be continued.
Delay means 25, each of the cameras C n (e.g., camera C 1, C 2 in FIG. 2) next photographing is performed in, for adjusting the timing of the processing waits until a new input image I n is input For example, it can be constituted by a memory means for temporarily storing particles being processed. Storing particles in the memory means, in consideration of the processing time by a
なお、遅延手段25は、再サンプリング手段24の直後に限らず、入力画像I1〜INに基づいて処理を行う加重演算手段231から加重演算手段23Nの間以外であれば、再サンプリング手段24の直前又は状態遷移手段26の直後に設けてもよい。
Note that the
状態遷移手段26は、遅延手段25から入力される再サンプリング後のパーティクルに対して、各パーティクルの状態ベクトルsm(t)を遷移させ、遷移後のパーティクルを加重演算手段231に出力する。
State transition means 26 with respect to the particles after re-sampling is input from the
状態遷移手段26は、各パーティクルの状態ベクトルsm(t)を、式(10)に示すように、確率密度関数p(s(t+1)|sm(t))に従うサンプリングを行うことにより新たな状態ベクトルsm(t+1)に遷移させる。ここにtは時刻(あるいは逐次処理の現在の回数)を表す。
ここで、状態遷移は、後記するように、対象物体が変形や移動する場合において、所定時間経過後に撮影した画像から抽出したシルエットSnを用いて加重演算手段23nで重み係数wmを変更する際に、パーティクルが、所定時間経過後の対象物体の位置に追随するように、パーティクルを遷移(移動)させるものである。また、状態遷移において、ガウス雑音等のノイズを付加して遷移先に揺らぎを与え、対象物体の予測外の移動や変形にも追随できるようにしたり、再サンプリングによって縮退したパーティクルを分散させたりすることもできる。
The state transition means 26 newly samples the state vector s m (t) of each particle by sampling according to the probability density function p (s (t + 1) | s m (t)) as shown in Expression (10). The state vector s m (t + 1). Here, t represents the time (or the current number of sequential processes).
Here, as will be described later, in the state transition, when the target object is deformed or moved, the weighting coefficient w m is changed by the weight calculation means 23 n using the silhouette S n extracted from the image taken after a predetermined time has elapsed. In this case, the particles are moved (moved) so that the particles follow the position of the target object after a predetermined time has elapsed. In addition, in the state transition, noise such as Gaussian noise is added to make the transition destination fluctuate so that it can follow unintended movement or deformation of the target object, or degenerate particles by resampling are dispersed You can also.
sm(t+1)〜p(s(t+1)|sm(t)) …(10) s m (t + 1) to p (s (t + 1) | s m (t)) (10)
ここで、式(10)における確率密度関数p(s(t+1)|sm(t))は、対象物体の変形や移動の性質に応じて定める。
例えば、式(11)に示すような、d次元の状態ベクトルに対する行列Aとベクトルbとによる線形の状態遷移に、平均が0、共分散がΣのガウス雑音を付加した確率密度関数を用いることができる。
Here, the probability density function p (s (t + 1) | s m (t)) in Expression (10) is determined according to the properties of deformation and movement of the target object.
For example, a probability density function in which Gaussian noise with an average of 0 and a covariance of Σ is added to a linear state transition between a matrix A and a vector b for a d-dimensional state vector as shown in Expression (11). Can do.
ここで、状態遷移に式(11)の確率密度関数を仮定した場合、式(10)の操作は、式(12−1)及び式(12−2)により実装することができる。 Here, when the probability density function of Expression (11) is assumed for the state transition, the operation of Expression (10) can be implemented by Expression (12-1) and Expression (12-2).
ここで、v(t)は平均が0、共分散がΣのガウス雑音であり、正規分布に従う乱数により生成することができる。 Here, v (t) is Gaussian noise having an average of 0 and a covariance of Σ, and can be generated by a random number according to a normal distribution.
式(12−1)において、行列A及びベクトルbによって、対象物体の回転、並進などの線形の移動に対応してパーティクルを遷移(移動)させ、次の入力画像Inの撮影時の対象物体の位置から外れないようにすることができる。 In formula (12-1), the matrix A and the vector b, the rotation of the object, in response to linear movement, such as translational shifts the particle (movement), the object at the time of imaging of the next input image I n It is possible to prevent it from moving out of the position.
また、式(12−1)において、式(12−2)のようなガウス雑音v(t)を付加して、パーティクルの遷移先に揺らぎを与えることにより、対象物体の動作の把握が不十分な段階で想定外の動きをした場合にも、複数のパーティクルの内の何個かを、次の撮影時の対象物体の真の領域内に遷移させることができ、対象物体を捉え続けることができる。
さらに、ガウス雑音を付加することにより、再サンプリングによって複数のコピーが生成されたパーティクルの状態ベクトルに揺らぎを与え、縮退していたパーティクルの位置を分散させることができる。これによって、個数の限られたパーティクルを、対象物体の存在候補領域内に偏りなく分布させることができる。
In addition, in the equation (12-1), the Gaussian noise v (t) as in the equation (12-2) is added to give fluctuations to the particle transition destination, so that the operation of the target object is not sufficiently grasped. Even if an unexpected movement occurs at any stage, it is possible to transition some of the multiple particles into the true area of the target object at the next shooting, and to continue to capture the target object. it can.
Furthermore, by adding Gaussian noise, it is possible to fluctuate the state vector of particles for which a plurality of copies are generated by resampling, and to disperse the positions of degenerated particles. As a result, a limited number of particles can be distributed evenly within the target object existence candidate region.
次に、図8及び図9を参照して、パーティクルを状態遷移させて対象物体の形状推定をする様子について説明する。ここで、図8は、回転台に置かれた剛体の対象物体の形状推定の様子を示した図であり、図9は、ほぼ等速度運動する非剛体の対象物体の形状推定の様子を示した図である。 Next, with reference to FIG. 8 and FIG. 9, a state in which the shape of the target object is estimated by changing the state of particles will be described. Here, FIG. 8 is a diagram showing a shape estimation state of a rigid target object placed on a turntable, and FIG. 9 is a diagram showing a shape estimation state of a non-rigid target object that moves at a substantially constant speed. It is a figure.
(剛体の対象物体を回転台に載せて観測する応用例)
まず、図8に示すように回転台51の上に剛体の対象物体52を載せ、回転台51を予め定めた角度ずつ(1回の撮影毎に、すなわち処理周期あたり角度θずつ)回転させながら形状推定を行う場合について説明する。状態ベクトルsmは、式(1)に示した3次元のベクトルを用いることとする。図8に示すように回転軸をZ軸とし、右手系のデカルト座標系を定義する。なお、この座標系は回転しないものとする。この場合、対象物体は回転台とともに回転し、かつ変形しないので、式(12−1)における行列A及びベクトルbを、それぞれ式(13−1)及び式(13−2)のように定めることができる。
(Application example for observing a rigid target object on a rotating table)
First, as shown in FIG. 8, a
共分散行列Σは、半正定値の実対称行列であれば、その値は任意に決めることができ、例えば、非負の値を対角要素にもつ対角行列を設定することができる。この対角要素の値も任意に選択することができ、例えば、対象物体の大きさに応じて定めることができる。例えば、対象物体の外接球の半径をrとしたとき、r2より十分小さな定数(例えばr2/10000)を対角要素の値として採用する。さらに、対角要素の値は時々刻々変化させてもよい。例えば、本装置を起動したときに大きめの値(例えばr2/100)を設定し、撮影する毎に、対角要素の値を小さくする(例えば、撮影する毎に1/2を乗ずる)ようにしてもよい。 The covariance matrix Σ can be arbitrarily determined as long as it is a positive semi-definite real symmetric matrix. For example, a diagonal matrix having non-negative values as diagonal elements can be set. The value of this diagonal element can also be arbitrarily selected, and can be determined according to the size of the target object, for example. For example, when the radius of the circumscribed sphere of the object was r, employing sufficiently small constant than r 2 (e.g. r 2/10000) as the value of the diagonal elements. Further, the value of the diagonal element may be changed from moment to moment. For example, set the larger value (e.g., r 2/100) when starting the device, each time the photographing, to reduce the value of the diagonal elements (for example, multiplied by 1/2 every time shooting) so It may be.
(変形する対象物体を回転台に載せて観測する応用例)
次に、図8において、対象物体が非剛体であり、変形する場合について説明する。回転台51の上に変形する対象物体を載せた場合にも、行列A及びベクトルbとして、それぞれ式(13−1)及び式(13−2)を適用することができる。この場合、共分散行列Σは、対象物体が剛体である場合よりも、その固有値が大きくなるよう設定すればよい。すなわち、変形の度合いを織り込んだ、共分散行列Σを設定することで、形状推定を行うことができる。
(Application example of observing the target object to be deformed on a turntable)
Next, a case where the target object is a non-rigid body and deforms in FIG. Even when the target object to be deformed is placed on the
(移動する対象物体を観測する応用例)
次に、図9に示すように、移動する対象物体を観測する場合について説明する。図9に示したように、コース53上を走る非剛体(人物)54を対象物体として、時々刻々の形状を推定するような場合を例にして説明する。以下の説明では状態ベクトルsmとして式(2)に示した位置及び速度からなる6次元のベクトルを用いることとする。例えば、移動する対象物体の速度がほぼ一定(すなわち等速度運動からの誤差が共分散行列Σで吸収可能)であり、また撮影の時間間隔もΔTで一定である場合は、行列A及びベクトルbを、それぞれ式(14−1)及び式(14−2)のようにすることができる。
(Application example for observing moving objects)
Next, a case where a moving target object is observed as shown in FIG. 9 will be described. As shown in FIG. 9, a case where the non-rigid body (person) 54 running on the
なお、図8に示した例と同様に、共分散行列Σは半正定値の実対称行列であれば、その値は任意に決めることができる。 As in the example shown in FIG. 8, the value of the covariance matrix Σ can be arbitrarily determined as long as it is a semi-definite real symmetric matrix.
このようにして行列A及びベクトルbを定式化して撮影毎にパーティクルを状態遷移させることにより、移動する物体の形状推定を行うことができる。 In this way, the matrix A and the vector b are formulated, and the state of the moving object is estimated by performing the state transition of the particles for each photographing.
図1に戻って、形状推定装置10の構成について説明を続ける。
メタボール生成手段4は、パーティクルフィルタ手段3から入力されたパーティクル群に基づき、メタボール表現の3次元モデルを生成し、生成した3次元モデルによる形状データをモルフォロジ処理手段5に出力する。
Returning to FIG. 1, the description of the configuration of the
The
メタボール生成手段4は、各パーティクルの状態ベクトルsmと重み係数wmに基づいてメタボール表現の3次元モデルを生成する。メタボールとは、中心からの距離によって一定の法則で濃度が変化する仮想的な球体(メタボール)を、1個乃至複数個用いて3次元物体の形状を表現する手法である。複数個のメタボールが存在する場合、ある地点における濃度は全メタボールの濃度の加算値として定義される。そして、全メタボールからの濃度を加算した濃度が一定となる曲面を対象物体の表面として定義する。
The
1つのメタボールの濃度を表す関数をb(X,Y,Z;X0,Y0,Z0,h)とおく。ここで、(X0,Y0,Z0)はメタボールの中心座標、hは濃度の拡がりを決めるパラメータである。例えば、式(15)が典型的なメタボールの濃度関数である。 Let b (X, Y, Z; X 0 , Y 0 , Z 0 , h) be a function representing the concentration of one metaball. Here, (X 0 , Y 0 , Z 0 ) is the center coordinate of the metaball, and h is a parameter that determines the density spread. For example, equation (15) is a typical metaball concentration function.
メタボール生成手段4は、例えば、各パーティクルの状態ベクトルsmに含まれる3次元座標(Xm,Ym,Zm)を、対応する1つのメタボールの中心座標とすることができる。一方、濃度の拡がりのパラメータhは、例えば、重み係数wmに基づきh=h(wm)のように決定することができる。ここで、hは予め定める任意の関数であるが、hを広義の単調増加関数とすることが好ましく、例えば、hとして0以上の傾きを有する1次関数とすることができる。また、式(16)のように、単に
For example, the
h(w)=w …(16) h (w) = w (16)
としてもよい。さらに、例えば、h(w)=1(定関数)とすることもできる。 It is good. Further, for example, h (w) = 1 (constant function) may be used.
M個のそれぞれのパーティクルに対応して、メタボールを生成する。その結果、ある3次元座標(X,Y,Z)における濃度B(X,Y,Z)は、式(17)のように表すことができる。 A metaball is generated corresponding to each of the M particles. As a result, the density B (X, Y, Z) at a certain three-dimensional coordinate (X, Y, Z) can be expressed as in Expression (17).
特に、式(15)の濃度関数と、式(16)のhとを採用した場合には、式(18)のように表される。 In particular, when the concentration function of Expression (15) and h of Expression (16) are adopted, it is expressed as Expression (18).
次に、図10を参照して、メタボール生成手段4によりパーティクルをメタボール表現に変換する様子について説明する。図10は、パーティクル群からメタボール表現に変換する様子を示した図である。
図10の左図において、各パーティクルの存在位置に近いほど、またパーティクルが密集しているほどメタボール表現での濃度が濃くなる。図10に示した例では、メタボール表現を便宜上2次元的に図示しているが、実際には3次元空間上の濃度分布となる。
Next, with reference to FIG. 10, how the
In the left diagram of FIG. 10, the closer to the position where each particle exists, and the denser the particles, the higher the density in the metaball expression. In the example shown in FIG. 10, the metaball expression is shown two-dimensionally for convenience, but actually, the concentration distribution is in a three-dimensional space.
メタボール表現における等濃度曲面が対象物体の推定形状(表面形状)を表す。例えば、適宜な閾値βを設定し、式(19)により対象物体の推定形状Vを得ることができる。 The isodensity curved surface in the metaball representation represents the estimated shape (surface shape) of the target object. For example, an appropriate threshold value β is set, and the estimated shape V of the target object can be obtained by Expression (19).
図11を参照して、対象物体のメタボール表現から、対象物体の推定形状を得る様子について説明する。図11は、メタボール表現から推定形状を得る様子を示した図である。
図11はメタボール表現において設定した、ある等濃度曲面(左図の破線)の内部および境界を抽出することで、図11の右図のような対象物体の推定形状を得ることができる。なお、式(19)の操作は、通常、従来のCG(Computer Graphics)ソフトウェアで実行することができる。
With reference to FIG. 11, how to obtain the estimated shape of the target object from the metaball representation of the target object will be described. FIG. 11 is a diagram showing how the estimated shape is obtained from the metaball representation.
FIG. 11 shows the estimated shape of the target object as shown in the right diagram of FIG. 11 by extracting the inside and boundary of a certain isoconcentration curved surface (broken line in the left diagram) set in the metaball representation. Note that the operation of equation (19) can usually be executed by conventional CG (Computer Graphics) software.
図1に戻って、形状推定装置10の構成について説明を続ける。
モルフォロジ処理手段5は、メタボール生成手段4によって生成された対象物体の3次元形状データを調整し、出力手段6に出力する。
Returning to FIG. 1, the description of the configuration of the
The
メタボール表現の性質として、前記した閾値β、濃度を表す関数b(X,Y,Z;X0,Y0,Z0、h)、および関数hの選び方によっては、実際の物体形状よりも拡大もしくは縮小された推定形状が得られてしまう場合がある。モルフォロジ処理手段5は、メタボール表現に対して、3次元の多値モルフォロジ処理を適用することで推定形状を収縮もしくは膨張し、対象物体の実形状に近づけるための修正手段である。 Depending on the property of the metaball expression, the threshold value β, the function b (X, Y, Z; X 0 , Y 0 , Z 0 , h) representing the density, and the method of selecting the function h are larger than the actual object shape. Alternatively, a reduced estimated shape may be obtained. The morphology processing means 5 is a correction means for contracting or expanding the estimated shape by applying a three-dimensional multi-value morphology process to the metaball representation so that it approximates the actual shape of the target object.
ここで、モルフォロジ処理手段5への入力濃度関数をB(X,Y,Z)、モルフォロジ処理手段5からの出力濃度関数をB’(X,Y,Z)とする。収縮のためのモルフォロジ処理は、式(20)に示すように、ある注目位置の周囲に設定される一定領域内の最小入力濃度を、当該注目位置の出力濃度とする。 Here, the input density function to the morphology processing means 5 is B (X, Y, Z) and the output density function from the morphology processing means 5 is B '(X, Y, Z). In the morphological processing for contraction, as shown in Expression (20), the minimum input density within a certain region set around a certain target position is set as the output density of the target position.
ここで、EはStructual Elementと称される領域形状であり、例えば、式(21)に示すように、半怪ρの球を用いることができる。 Here, E is a region shape called Structural Element, and for example, as shown in Equation (21), a half-phantom ρ sphere can be used.
一方、膨張のためのモルフォロジ処理は、式(22)に示すように、ある注目位置の周囲に設定される一定領域内の最大入力濃度を、当該注目位置の出力濃度とする。 On the other hand, in the morphology processing for expansion, as shown in Expression (22), the maximum input density within a certain region set around a certain target position is set as the output density of the target position.
このように、モルフォロジ処理によって、メタボール生成手段4によって生成された対象物体の推定形状の拡大又は縮小を修正(調整)した3次元形状データを生成することができる。
As described above, three-dimensional shape data in which the expansion or reduction of the estimated shape of the target object generated by the
出力手段6は、モルフォロジ処理手段5によって修正された、対象物体の3次元形状データを出力するための出力インターフェースである。
これによって、例えば、図示しない画像表示装置などに出力して、推定された形状を表示して確認することができる。
The
Thus, for example, the estimated shape can be displayed and confirmed by outputting to an image display device (not shown).
なお、本実施形態では、形状推定装置10のシルエット抽出手段2及びパーティクルフィルタ手段3は、専用のハードウェアによって構成するようにしたが、一般的なコンピュータを、シルエット抽出手段2及びパーティクルフィルタ手段3として機能するプログラムによって動作させることで実現することもできる。また、形状推定装置10は、メタボール生成手段4及びモルフォロジ処理手段を含めた各手段として機能するプログラムを結合して動作させることで実現することもできる。
In this embodiment, the
[形状推定装置の動作]
次に、図12を参照(適宜図1乃至図3参照)して、図1に示した形状推定装置10の動作について説明する。図12は、図1に示した形状推定装置の処理の流れを示したフローチャートである。
[Operation of shape estimation device]
Next, the operation of the
まず、形状推定装置10は、カメラCn(例えば、図2のC1,C2)等によって対象物体を撮影して得られた画像を入力画像I1〜INとして、撮影時のカメラパラメータCP1〜CPNと共に入力手段11〜1Nを介して入力する(ステップS11)。
First, the
入力された入力画像I1〜INは、それぞれ対応するシルエット抽出手段21〜2NによってシルエットS1〜SNが抽出される(ステップS12)。 From the input images I 1 to I N , silhouettes S 1 to S N are extracted by the corresponding silhouette extraction means 2 1 to 2 N (step S 12).
次に、パーティクルフィルタ手段3によって、シルエット抽出手段21〜2Nで抽出されたシルエットS1〜SN及び入力手段11〜1Nを介して入力されたカメラパラメータCP1〜CPNに基づいて、複数のパーティクルを用いた対象物体の形状推定を行う(ステップS13)。
Then, the particle filter unit 3, based on the
そして、メタボール生成手段4によって、パーティクルフィルタ手段3で推定された対象物体の形状を表すパーティクル群を、メタボール表現に変換し、対象物体の形状データを生成する(ステップS14)。
Then, the
メタボール生成手段4で生成された対象物体の形状データは、モルフォロジ処理手段5によって、モルフォロジ処理が施されて、その形状の修正が行われ(ステップS15)、出力手段6を介して出力される(ステップS16)。
The shape data of the target object generated by the
形状推定装置10は、処理すべき次の画像の入力があるかどうかを確認し(ステップS17)、画像がある場合は(ステップS17でYes)、ステップS11に戻って対象物体の形状推定を繰り返し実行し、パーティクル群の状態ベクトルsm及び重み係数wmの更新を続ける。一方、次の画像の入力がない場合は(ステップS17でNo)、処理を終了する。
The
なお、図12に示したフォローチャートでは、ステップS13において、パーティクルフィルタ手段3が出力したパーティクル群に基づいて、ステップS14〜ステップS16の処理を行った後に、次の画像に基づくステップS11〜ステップS13の処理を行うようにしたが、ステップS13において、パーティクルフィルタ手段3がパーティクル群を出力した後に、メタボール生成手段4によるステップS14の処理を進めると共に、ステップS11に戻り、並行して次の画像に基づく処理を行うようにしてもよい。
In the follow chart shown in FIG. 12, in step S13, after the processing of step S14 to step S16 is performed based on the particle group output by the particle filter unit 3, steps S11 to S13 based on the next image are performed. In step S13, after the particle filter unit 3 outputs the particle group in step S13, the process of step S14 by the
[パーティクルフィルタ手段の動作]
次に、図13を参照(適宜図3参照)して、図3に示したパーティクルフィルタ手段3の動作について説明する。図13は、図3に示したパーティクルフィルタ手段の処理の流れを示したフローチャートである。
なお、図13に示したフローチャートは、図12に示したフローチャートのステップS13に対応する。
[Operation of particle filter means]
Next, the operation of the particle filter means 3 shown in FIG. 3 will be described with reference to FIG. FIG. 13 is a flowchart showing the flow of processing of the particle filter means shown in FIG.
Note that the flowchart shown in FIG. 13 corresponds to step S13 of the flowchart shown in FIG.
まず、パーティクルフィルタ手段3は、パーティクル生成手段21によって、対象物体の存在候補領域に所定数(M個)の、パラメータを初期化したパーティクルを生成し、スイッチ22をパーティクル生成手段21側に接続して、生成したパーティクルを加重演算手段232に供給する(ステップS31)。
なお、所定数のパーティクルの供給が完了すると、スイッチ22の接続を加重演算手段231側に切り替えておく。
First, the particle filter unit 3 uses the
Incidentally, when the supply of the predetermined number of particles is complete, keep switching the connection of the
パーティクルフィルタ手段3は、加重演算手段232によって、入力されたパーティクルの重み係数wmを更新(重み係数変更工程)し、更新したパーティクルを次段の加重演算手段233(不図示)に出力する(ステップS322)。そして、順次、n番目の加重演算手段23nによって、前段のn−1番目の加重演算手段23n−1から入力されたパーティクルの重み係数wmを更新し、更新したパーティクルを次段の加重演算手段23n+1に出力する。
最後段の加重演算手段23Nによって、パーティクルの重み係数wmを更新すると(ステップS32N)、M個のパーティクル群PAを、メタボール生成手段4(図1参照)に出力する(ステップS33)と共に、再サンプリング手段24に出力する。
なお、ここでは、パーティクルフィルタ手段3から出力されるパーティクル群は、加重演算手段23Nによって出力されるパーティクル群PAとしたが、再サンプリング手段24によって出力されるパーティクル群PBとしてもよい。その場合には、パーティクル群の出力(ステップS33)は、再サンプリング(ステップS34)の後に行うようにすればよい。
Particle filter means 3, by a
By a weighted
Here, the particle group to be output from the particle filter unit 3 has been a particle group P A output by the weighting calculation means 23 N, may be a particle group P B output by the resampling means 24. In that case, the output of the particle group (step S33) may be performed after resampling (step S34).
続いて、パーティクルフィルタ手段3は、再サンプリング手段24によって、加重演算手段23Nで重み係数wmを更新されたパーティクル群を再サンプリングし(ステップS34)、再サンプリングしたパーティクル群を遅延手段25に出力する。 Subsequently, the particle filter means 3 resamples the particle group whose weight coefficient w m has been updated by the weight calculation means 23 N by the re-sampling means 24 (step S34), and sends the re-sampled particle group to the delay means 25. Output.
パーティクルフィルタ手段3は、遅延手段25によって、次の画像入力があるまでパーティクルの処理を待機し、タイミングを調整して状態遷移手段26にパーティクルを出力する(ステップS35)。 The particle filter means 3 waits for the processing of the particles until the next image input by the delay means 25, adjusts the timing, and outputs the particles to the state transition means 26 (step S35).
そして、状態遷移手段26によって、パーティクルの状態ベクトルを遷移させて(ステップS36)、状態ベクトルを遷移させたパーティクルを加重演算手段231に出力する。
Then, the state changing means 26, by transitioning the state vector of the particle (Step S36), and outputs the particles which transits the state vector to the
ステップS31において、パーティクル生成手段21で生成されたパーティクルは、ここまでで、処理が一巡したことになる。そして、次の入力画像に基づいて、二巡目の処理に進む。
ステップS36において状態遷移手段26で状態ベクトルを遷移されたパーティクルは、二巡目以降は、加重演算手段231から加重演算手段23Nによって、順次パーティクルの重み係数wmが更新され(ステップS321〜S32N)、パーティクル群PAを出力する(ステップS33)。そして、再サンプリング手段24によって、パーティクル群を再サンプリングし(ステップS34)、遅延手段25によって、パーティクルの処理のタイミングを調整し(ステップS35)、状態遷移手段26によって、パーティクルの状態ベクトルを遷移する(ステップS36)。
以下、新たな入力画像があると、ステップS321からステップS36を繰り返す。
In step S31, the particles generated by the particle generating means 21 have been processed once. Then, based on the next input image, the process proceeds to the second round.
For the particles whose state vectors have been changed by the state transition means 26 in step S36, the weight coefficient w m of the particles is sequentially updated by the weight calculation means 23 1 to the weight calculation means 23 N after the second round (step S32 1 ~S32 N), and it outputs the particle group P a (step S33). Then, the
Hereinafter, when there is a new input image, and repeats the step S36 from step S32 1.
ここで、入力画像を時系列で入力し、パーティクルフィルタ手段3によって、パーティクルの状態ベクトルsm及び重み係数wmの更新を繰り返し行うことにより、対象物体が移動又は変形する場合であっても、限られた個数のパーティクルを用いて当該対象物体の形状を効率的に推定することができる。 Here, even when the target object moves or deforms by inputting the input image in time series and repeatedly updating the particle state vector s m and the weighting factor w m by the particle filter unit 3, The shape of the target object can be efficiently estimated using a limited number of particles.
なお、加重演算手段231〜23Nは、パーティクルを個々に処理することができるため、M個のパーティクルのすべての処理を終えてから次段に出力するのではなく、処理が成された個々のパーティクルを順次出力し、直列に接続された加重演算手段231〜23Nによってパイプライン処理を行うようにしてもよい。
Since the weight calculation means 23 1 to 23 N can individually process the particles, each of the processed particles is not output to the next stage after all the M particles have been processed. The particles may be sequentially output, and the pipeline processing may be performed by the
[パーティクル生成手段の動作]
次に、図14を参照(適宜図4参照)して、図12に示したフローチャートのパーティクル生成(ステップS31)の手順の例について説明する。図14は、図12に示したフローチャートのパーティクル生成の詳細な手順を示したフローチャートである。
[Operation of particle generation means]
Next, an example of the procedure of particle generation (step S31) in the flowchart shown in FIG. 12 will be described with reference to FIG. 14 (refer to FIG. 4 as appropriate). FIG. 14 is a flowchart showing a detailed procedure of particle generation in the flowchart shown in FIG.
式(3)及び式(4)に基づくパーティクルの生成は、図14のフローチャートに示した手順により簡便に実行することもできる。
M個のパーティクルを生成するに際して、m(m=1,2,…,M)をパーティクルの番号とすると、まず、m=1として(ステップS51)、1番目のパーティクルから順次生成する。
The generation of particles based on the formula (3) and the formula (4) can be easily executed by the procedure shown in the flowchart of FIG.
When generating M particles, if m (m = 1, 2,..., M) is a particle number, first, m = 1 is set (step S51), and the particles are sequentially generated from the first particle.
1番目のパーティクルに対して、領域D内において一様で、かつ、領域D外において確率密度が0となる確率密度関数u(D)に従う乱数を生成し、生成した乱数値から3次元の座標(X,Y,Z)を構成して、座標の初期値の候補とする(ステップS52)。 For the first particle, a random number according to the probability density function u (D) that is uniform in the region D and has a probability density of 0 outside the region D is generated, and three-dimensional coordinates are generated from the generated random value. (X, Y, Z) are configured and set as candidates for initial values of coordinates (step S52).
次に、ステップS52でサンプリングした候補座標のシルエットS1に対応する画像面への投影変換(f1(X,Y,Z)、g1(X,Y,Z))を求め、シルエットS1の画素値S1(f1(X,Y,Z)、g1(X,Y,Z))を取得し、それをqとする(ステップS53)。 Next, the projection transformation (f 1 (X, Y, Z), g 1 (X, Y, Z)) onto the image plane corresponding to the silhouette S 1 of the candidate coordinates sampled in step S52 is obtained, and the silhouette S 1 Pixel value S 1 (f 1 (X, Y, Z), g 1 (X, Y, Z)) is acquired and set to q (step S53).
続いて、0以上1未満の一様乱数rを生成し(ステップS54)、ステップS53で取得したqとを比較する(ステップS55)。
qがrよりも大きい場合(ステップS55でYes)、ステップS52で生成した座標(X,Y,Z)を、1番目(m番目)のパーティクルの座標(Xm,Ym,Zm)の初期値として採用する(ステップS56)。
一方、qがr以下の場合(ステップS55でNo)、ステップS52に戻り、1番目(m番目)のパーティクルの座標の候補を再度生成する。
Subsequently, a uniform random number r of 0 or more and less than 1 is generated (step S54), and compared with q acquired in step S53 (step S55).
If q is larger than r in (Yes in step S55), the coordinates generated in step S52 (X, Y, Z), and first (m-th) of particles coordinates (X m, Y m, Z m) The initial value is adopted (step S56).
On the other hand, if q is equal to or smaller than r (No in step S55), the process returns to step S52, and the coordinate candidates of the first (mth) particle are generated again.
ステップS56で1番目(m番目)のパーティクルの座標の初期値が採用されると、そのパーティクルの番号mと生成すべきパーティクルの個数Mとを比較し(ステップS57)、mがMよりも小さい場合は(ステップS57でYes)、mをインクリメントし(ステップS58)、ステップS52に戻って、次のパーティクルに対する座標の初期値を決定する手順を順次実行する。そして、mがインクリメントされてMになるまでステップS52からステップS58の処理を繰り返す。
一方、mがM以上の場合(ステップS57でNo)、必要個数のパーティクルの座標の初期値の決定が完了したため、処理を終了する。
When the initial value of the coordinates of the first (m-th) particle is adopted in step S56, the particle number m is compared with the number M of particles to be generated (step S57), and m is smaller than M. In this case (Yes in step S57), m is incremented (step S58), and the process returns to step S52 to sequentially execute the procedure for determining the initial value of coordinates for the next particle. The processes from step S52 to step S58 are repeated until m is incremented to M.
On the other hand, if m is equal to or greater than M (No in step S57), the process ends because the determination of the initial values of the coordinates of the required number of particles has been completed.
以上の手順によって、M個のパーティクルの状態ベクトルsmの座標の初期値(Xm,Ym,Zm)が設定される。また、状態ベクトルsmが、座標(位置成分)以外の成分を含む場合は、それらの成分の一部又は全部の初期値を、所定の定数(例えば0)や乱数によって設定することができる。また、パーティクルの重み係数wmの初期値は、すべて均一の値(例えば、1/M)とする。 By the above procedure, the coordinate initial value of M particles in the state vector s m (X m, Y m , Z m) is set. The state vector s m is if it contains components other than the coordinate (position component), the initial values of some or all of the components, can be set by a predetermined constant (e.g., 0) and a random number. The initial values of the particle weighting coefficient w m are all uniform values (for example, 1 / M).
以上、説明したように、本発明による形状推定装置10は、入力画像In及び対応するカメラパラメータCPnに基づいて、対象物体の形状を推定することができる。
As described above, the
なお、対象物体が移動又は変形しない場合は、時系列で画像を入力する必要はなく、同じ画像を用いてパーティクルの状態ベクトルsm及び重み係数wmが収束するまでパーティクルフィルタ手段3による処理を繰り返すようにすればよい。 In the case where the target object does not move or deform, the time series is not necessary to input an image, the processing by the particle filter unit 3 to the state vector s m and the weighting factor w m for the particles to converge with the same image Repeat it.
また、状態ベクトルsmに適宜速度成分や加速度成分を導入し、時系列で入力される画像を用いてパーティクルフィルタ手段3による処理を繰り返すことにより、時々刻々移動又は変形する対象物体の、動きを含めた3次元形状の推定を行うことができる。
更に、パーティクルフィルタによって推定した3次元形状に関する情報をメタボール表現へ簡単に変換することができ、推定した3次元形状の外観を確認することができる。
Furthermore, by introducing appropriate velocity component and the acceleration component of the state vector s m, by repeating the processing by the particle filtering unit 3 by using the image input in time series, of the object to be momentarily moved or modified, the movement The included three-dimensional shape can be estimated.
Furthermore, information regarding the three-dimensional shape estimated by the particle filter can be easily converted into a metaball expression, and the appearance of the estimated three-dimensional shape can be confirmed.
2(21,22,…,2N) シルエット抽出手段
3 パーティクルフィルタ手段
4 メタボール生成手段
5 モルフォロジ処理手段
10 形状推定装置
21 パーティクル生成手段
23(231,232,…,23N) 加重演算手段(重み係数変更手段)
24 再サンプリング手段
26 状態遷移手段
CP1,CP2,…,CPN カメラパラメータ
D 領域(探索領域)
I1,I2,…,IN 入力画像
O 対象物体(オブジェクト)
O’ 対象物体像(映像オブジェクト)
P(P1,P2) パーティクル
PA,PB パーティクル群
S1,S2,…,SN シルエット
2 (2 1 , 2 2 ,..., 2 N ) Silhouette extraction means 3 Particle filter means 4 Metaball generation means 5 Morphology processing means 10
24 resampling means 26 state transition means CP 1, CP 2, ..., CP N camera parameters D region (search area)
I 1 , I 2 ,..., I N input image O Target object (object)
O 'Target object image (video object)
P (P 1, P 2) particles P A, P B particle group S 1, S 2, ..., S N silhouettes
Claims (6)
前記画像に含まれる前記映像オブジェクトの領域をシルエットとして抽出するシルエット抽出手段と、
2以上である所定数の前記パーティクルに対してパーティクルフィルタによる処理を行うパーティクルフィルタ手段と、
前記パーティクルフィルタ手段によって処理された前記所定数のパーティクルに基づいてメタボール表現による3次元形状モデルを生成するメタボール生成手段と、を備え、
前記パーティクルフィルタ手段は、前記オブジェクトを探索する予め定められた探索領域内を示す3次元座標を有する、前記所定数のパーティクルを生成するパーティクル生成手段と、
前記シルエット抽出手段によって抽出されたシルエットに基づいて、前記パーティクルの重み係数を変更する重み係数変更手段と、
前記重み係数変更手段によって重み係数を変更されたパーティクルを3次元座標について再サンプリングして前記所定数のパーティクルを再生成すると共に、前記再生成した前記所定数のパーティクルの重み係数を均一にする再サンプリング手段と、
前記再サンプリング手段によって再サンプリングされたパーティクルの状態ベクトルを遷移させる状態遷移手段と、を有し、
前記重み係数変更手段と前記再サンプリング手段と前記状態遷移手段とによる前記パーティクルに対する処理を繰り返すことを特徴とする形状推定装置。 A shape estimation device that estimates a three-dimensional shape of an object by a particle filter using particles that are information having a state vector including three-dimensional coordinates and a weighting factor based on a video object in an image in which the object is photographed Because
Silhouette extraction means for extracting a region of the video object included in the image as a silhouette;
Particle filter means for performing processing by a particle filter on a predetermined number of particles equal to or greater than 2,
Metaball generation means for generating a three-dimensional shape model by metaball expression based on the predetermined number of particles processed by the particle filter means,
The particle filter means has three-dimensional coordinates indicating a predetermined search area for searching for the object, and generates a predetermined number of particles;
Weight coefficient changing means for changing the weight coefficient of the particles based on the silhouette extracted by the silhouette extracting means;
The particles whose weighting factor has been changed by the weighting factor changing means are resampled with respect to the three-dimensional coordinates to regenerate the predetermined number of particles, and regenerate the weighting factor of the predetermined number of particles regenerated. Sampling means;
State transition means for transitioning the state vector of the particles resampled by the resampling means,
A shape estimation apparatus characterized by repeating the processing for the particles by the weight coefficient changing means, the resampling means, and the state transition means.
コンピュータを、
前記画像に含まれる前記映像オブジェクトの領域をシルエットとして抽出するシルエット抽出手段、
2以上である所定数の前記パーティクルに対してパーティクルフィルタによる処理を行うパーティクルフィルタ手段、
前記パーティクルフィルタ手段によって処理された前記所定数のパーティクルに基づいてメタボール表現による3次元形状モデルを生成するメタボール生成手段、
として機能させる形状推定プログラムであって、
前記パーティクルフィルタ手段は、前記オブジェクトを探索する予め定められた探索領域内を示す3次元座標を有する、前記所定数のパーティクルを生成するパーティクル生成手段、
前記シルエット抽出手段によって抽出されたシルエットに基づいて、前記パーティクルの重み係数を変更する重み係数変更手段、
前記重み係数変更手段によって重み係数を変更されたパーティクルを3次元座標について再サンプリングして前記所定数のパーティクルを再生成すると共に、前記再生成した前記所定数のパーティクルの重み係数を均一にする再サンプリング手段、
前記再サンプリング手段によって再サンプリングされたパーティクルの状態ベクトルを遷移させる状態遷移手段、を含み、
前記重み係数変更手段と前記再サンプリング手段と前記状態遷移手段とによる前記パーティクルに対する処理を繰り返すことを特徴とする形状推定プログラム。 In order to estimate the three-dimensional shape of the object by a particle filter using particles, which is information having a state vector including three-dimensional coordinates and a weighting coefficient, based on a video object in an image in which the object is photographed,
Computer
Silhouette extraction means for extracting a region of the video object included in the image as a silhouette;
Particle filter means for performing processing by a particle filter on a predetermined number of particles equal to or greater than 2,
Metaball generating means for generating a three-dimensional shape model by metaball expression based on the predetermined number of particles processed by the particle filter means;
A shape estimation program that functions as
The particle filter means has a three-dimensional coordinate indicating a predetermined search area for searching for the object, a particle generation means for generating the predetermined number of particles,
Weight coefficient changing means for changing the weight coefficient of the particles based on the silhouette extracted by the silhouette extracting means;
The particles whose weighting factor has been changed by the weighting factor changing means are resampled with respect to the three-dimensional coordinates to regenerate the predetermined number of particles, and regenerate the weighting factor of the predetermined number of particles regenerated. Sampling means,
State transition means for transitioning a state vector of particles resampled by the resampling means,
A shape estimation program that repeats processing on the particles by the weight coefficient changing means, the resampling means, and the state transition means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006234613A JP4690971B2 (en) | 2006-08-30 | 2006-08-30 | Shape estimation apparatus and shape estimation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006234613A JP4690971B2 (en) | 2006-08-30 | 2006-08-30 | Shape estimation apparatus and shape estimation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008059224A JP2008059224A (en) | 2008-03-13 |
JP4690971B2 true JP4690971B2 (en) | 2011-06-01 |
Family
ID=39241894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006234613A Expired - Fee Related JP4690971B2 (en) | 2006-08-30 | 2006-08-30 | Shape estimation apparatus and shape estimation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4690971B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5297727B2 (en) * | 2008-09-04 | 2013-09-25 | トヨタ自動車株式会社 | Robot apparatus and object position / orientation estimation method |
JP5444952B2 (en) * | 2009-08-28 | 2014-03-19 | 富士通株式会社 | Apparatus, method, and program for automatic generation of map by sensor fusion, and movement of moving object using such automatically generated map |
JP5493747B2 (en) * | 2009-11-13 | 2014-05-14 | 富士通株式会社 | Tracking method, monitoring system and program |
JP2011113177A (en) * | 2009-11-25 | 2011-06-09 | Kddi Corp | Method and program for structuring three-dimensional object model |
JP2022032776A (en) * | 2020-08-14 | 2022-02-25 | 富士通株式会社 | Image processing device and screen processing program |
JP7309132B1 (en) * | 2023-02-07 | 2023-07-18 | 株式会社ヘミボーラ | Image Synthesis Method in Chroma Key Processing |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339100A (en) * | 2004-05-26 | 2005-12-08 | Advanced Telecommunication Research Institute International | Body motion analysis device |
-
2006
- 2006-08-30 JP JP2006234613A patent/JP4690971B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339100A (en) * | 2004-05-26 | 2005-12-08 | Advanced Telecommunication Research Institute International | Body motion analysis device |
Also Published As
Publication number | Publication date |
---|---|
JP2008059224A (en) | 2008-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109387204B (en) | Mobile robot synchronous positioning and composition method facing indoor dynamic environment | |
KR101195942B1 (en) | Camera calibration method and 3D object reconstruction method using the same | |
CN110443892B (en) | Three-dimensional grid model generation method and device based on single image | |
US6124864A (en) | Adaptive modeling and segmentation of visual image streams | |
CN110163974B (en) | Single-image picture reconstruction method based on undirected graph learning model | |
CN108876814B (en) | Method for generating attitude flow image | |
CN110945565A (en) | Dense visual SLAM using probabilistic bin maps | |
US20060244757A1 (en) | Methods and systems for image modification | |
JP2007000205A (en) | Image processing apparatus, image processing method, and image processing program | |
JP4664838B2 (en) | Video object tracking device and video object tracking program | |
CN106934827A (en) | The method for reconstructing and device of three-dimensional scenic | |
JP4690971B2 (en) | Shape estimation apparatus and shape estimation program | |
CN113689539B (en) | Dynamic scene real-time three-dimensional reconstruction method based on implicit optical flow field | |
JP7294788B2 (en) | Classification of 2D images according to the type of 3D placement | |
CN113822993B (en) | Digital twinning method and system based on 3D model matching | |
CN113421328B (en) | Three-dimensional human body virtual reconstruction method and device | |
CN114782628A (en) | Indoor real-time three-dimensional reconstruction method based on depth camera | |
EP1445736B1 (en) | Method and system for providing a volumetric representation of a three-dimensional object | |
CN114339409A (en) | Video processing method, video processing device, computer equipment and storage medium | |
Taylor et al. | VR props: an end-to-end pipeline for transporting real objects into virtual and augmented environments | |
CN109785429A (en) | A kind of method and apparatus of three-dimensional reconstruction | |
EP3906530B1 (en) | Method for 3d reconstruction of an object | |
CN111531546A (en) | Robot pose estimation method, device, equipment and storage medium | |
Erol et al. | Visual Hull Construction Using Adaptive Sampling. | |
Narayan et al. | Optimized color models for high-quality 3d scanning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110218 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |