JP4978941B2 - Three-dimensional modeling apparatus, method and program - Google Patents
Three-dimensional modeling apparatus, method and program Download PDFInfo
- Publication number
- JP4978941B2 JP4978941B2 JP2009239372A JP2009239372A JP4978941B2 JP 4978941 B2 JP4978941 B2 JP 4978941B2 JP 2009239372 A JP2009239372 A JP 2009239372A JP 2009239372 A JP2009239372 A JP 2009239372A JP 4978941 B2 JP4978941 B2 JP 4978941B2
- Authority
- JP
- Japan
- Prior art keywords
- feature points
- dimensional
- target object
- feature point
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は三次元モデリング装置及び方法に関し、特に動画像データから三次元モデルを生成する技術に関する。 The present invention relates to a three-dimensional modeling apparatus and method, and more particularly to a technique for generating a three-dimensional model from moving image data.
バーチャルリアリティやインターネット、地図情報など種々の分野で三次元モデルデータが用いられている。 Three-dimensional model data is used in various fields such as virtual reality, the Internet, and map information.
下記の特許文献１、２には、対象オブジェクトの連続視点移動画像からカメラ位置・姿勢情報演算部にてその撮影を行ったカメラの位置・姿勢を算出し、算出した位置・姿勢情報とそれに対応する各画像とを対応付け、データベースに登録されている対象物の三次元形状モデルを読み出して、算出された位置・姿勢情報に基づいて三次元モデルをレンダリングして表示装置に表示する技術が開示されている。 In Patent Documents 1 and 2 below, the camera position / orientation information calculation unit calculates the position / orientation of the camera that has taken the image from the continuous viewpoint movement image of the target object, and the calculated position / orientation information and corresponding to it. Disclosed is a technique for associating each image to be read, reading out a three-dimensional shape model of an object registered in a database, rendering the three-dimensional model based on the calculated position / posture information, and displaying the same on a display device Has been.
また、下記の特許文献３には、対象物体の時系列画像（動画像）を取り込み、モデル作成を行う物体の表面を構成する特徴点を抽出し、抽出した特徴点同士の対応付けを行って、その特徴点群の位置座標情報から各特徴点の三次元位置情報を求める技術が開示されている。そして、三次元位置情報が求められた特徴点に基づいて物体の表面を構成する三次元パッチ群を生成し、対象物体のモデル情報として出力することが開示されている。 In Patent Document 3 below, a time-series image (moving image) of a target object is captured, feature points constituting the surface of the object to be modeled are extracted, and the extracted feature points are associated with each other. A technique for obtaining the three-dimensional position information of each feature point from the position coordinate information of the feature point group is disclosed. Then, it is disclosed that a three-dimensional patch group constituting the surface of the object is generated based on the feature point for which the three-dimensional position information is obtained, and is output as model information of the target object.
なお、特許文献４には複数台のカメラを用いて三次元モデルを生成することが開示されている。 Patent Document 4 discloses generating a three-dimensional model using a plurality of cameras.
さらに、非特許文献１には、対象物体の動きを算出するための因子分解法が開示されている。 Further, Non-Patent Document 1 discloses a factorization method for calculating the motion of a target object.
ところで、動画像データから三次元モデルを生成する場合、入力された動画像データを構成する各フレームにおいて、対象物体の表面を構成する特徴点同士を対応づけることが必要であるが、必ずしもあるフレームにおいて存在する特徴点が、別のフレームにおいても存在する保証はなく、特徴点同士の対応づけが出来ない場合が生じる。このような場合においても、簡易な方法でありながら、かつ、一定の精度で三次元モデルを生成できる技術が求められている。 By the way, when generating a three-dimensional model from moving image data, it is necessary to associate the feature points constituting the surface of the target object in each frame constituting the input moving image data. There is no guarantee that the feature points existing in the frame exist in other frames, and there is a case where the feature points cannot be associated with each other. Even in such a case, a technique capable of generating a three-dimensional model with a certain accuracy while being a simple method is required.
本発明の目的は、簡易に、かつ確実に動画像データから三次元モデルを生成することができる三次元モデリング装置及び方法並びにプログラムを提供することにある。 An object of the present invention is to provide a three-dimensional modeling apparatus, method, and program capable of easily and reliably generating a three-dimensional model from moving image data.
本発明は、対象物体の動画像データに基づいて該対象物体の三次元モデルを生成する三次元モデリング装置であって、前記動画像データから特徴点を抽出する手段と、抽出した特徴点を前記動画像データの各フレームにおいて追跡する手段と、追跡可能な特徴点の数が所定の閾値に達しない場合に、新たに前記動画像データから特徴点を抽出して追加し、追加した特徴点を追跡する手段と、追跡した特徴点の三次元位置情報を演算し、追加する前の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成し、かつ、追加した後の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成する手段と、生成された複数の部分三次元モデルを合成することで前記対象物体の三次元モデルを生成する手段とを有することを特徴とする。 The present invention is a three-dimensional modeling device that generates a three-dimensional model of a target object based on moving image data of the target object, the means for extracting feature points from the moving image data, and the extracted feature points A means for tracking in each frame of the moving image data, and when the number of feature points that can be tracked does not reach a predetermined threshold, a feature point is newly extracted from the moving image data and added. A means for tracking, 3D position information of the tracked feature points is calculated, a partial 3D model of the target object is generated using the 3D position information of the feature point group before the addition, and added Means for generating a partial three-dimensional model of the target object using the three-dimensional position information of the subsequent feature point group, and combining the generated partial three-dimensional models with the three-dimensional model of the target object Means to generate and Characterized in that it has.
また、本発明は、対象物体の動画像データに基づいて該対象物体の三次元モデルを生成する、コンピュータを用いた三次元モデリング方法であって、前記動画像データから特徴点を抽出して記憶装置に格納するステップと、抽出した特徴点を前記動画像データの各フレームにおいて追跡するステップと、追跡可能な特徴点の数が所定の閾値に達しているか否かを演算装置により判定し、達していないと判定した場合に、新たに前記動画像データから特徴点を抽出して追加し、追加した特徴点を追跡するステップと、演算装置により追跡した特徴点の三次元位置情報を演算し、追加する前の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成し、かつ、追加した後の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成するステップと、演算装置により生成された複数の部分三次元モデルを合成することで前記対象物体の三次元モデルを生成するステップとを有することを特徴とする。 The present invention is also a computer-based three-dimensional modeling method for generating a three-dimensional model of a target object based on the moving image data of the target object, wherein feature points are extracted from the moving image data and stored. A step of storing in the device; a step of tracking the extracted feature points in each frame of the moving image data; and a determination by the arithmetic device whether or not the number of feature points that can be tracked has reached a predetermined threshold. If it is determined that it is not, a step of newly extracting feature points from the moving image data and adding them, tracking the added feature points, and calculating the three-dimensional position information of the feature points tracked by the calculation device, A partial 3D model of the target object is generated using the 3D position information of the feature point group before addition, and the target object is used using the 3D position information of the feature point group after addition And having a step of generating a partial three-dimensional model, and generating a three-dimensional model of the object by combining a plurality of partial 3D model generated by the arithmetic unit.
また、本発明は、対象物体の動画像データに基づいて該対象物体の三次元モデルを生成するプログラムであって、前記プログラムは、コンピュータに対して、前記動画像データから特徴点を抽出して記憶装置に格納するステップと、抽出した特徴点を前記動画像データの各フレームにおいて追跡するステップと、追跡可能な特徴点の数が所定の閾値に達しているか否かを演算装置により判定し、達していないと判定した場合に、新たに前記動画像データから特徴点を抽出して追加し、追加した特徴点を追跡するステップと、演算装置により追跡した特徴点の三次元位置情報を演算し、追加する前の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成し、かつ、追加した後の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成するステップと、演算装置により生成された複数の部分三次元モデルを合成することで前記対象物体の三次元モデルを生成するステップを実行させることを特徴とする。 The present invention is also a program for generating a three-dimensional model of a target object based on moving image data of the target object, the program extracting feature points from the moving image data to a computer. A step of storing in a storage device; a step of tracking the extracted feature points in each frame of the moving image data; and determining whether or not the number of feature points that can be tracked has reached a predetermined threshold by an arithmetic unit; If it is determined that the feature point has not been reached, a new feature point is extracted from the moving image data and added, the added feature point is tracked, and the three-dimensional position information of the feature point tracked by the calculation device is calculated. Generating a partial three-dimensional model of the target object using the three-dimensional position information of the feature point group before the addition, and using the three-dimensional position information of the feature point group after the addition Generating a partial three-dimensional model of the elephant body, characterized in that to perform the step of generating a three dimensional model of the object by combining a plurality of partial 3D model generated by the arithmetic unit.
本発明によれば、簡易に、かつ確実に動画像データから三次元モデルを生成することができる。 According to the present invention, a three-dimensional model can be generated easily and reliably from moving image data.
以下、図面に基づき本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１に、本実施形態における三次元モデリング装置を含むシステムの構成ブロック図を示す。システムは、画像入力装置１０、演算装置（あるいはコンピュータ）１２、表示装置１４から構成される。三次元モデリング装置は、演算装置（あるいはコンピュータ）１２として機能するユニットである。 FIG. 1 shows a block diagram of a system including a three-dimensional modeling apparatus according to this embodiment. The system includes an image input device 10, an arithmetic device (or computer) 12, and a display device 14. The three-dimensional modeling device is a unit that functions as an arithmetic device (or computer) 12.
画像入力装置１０は、対象物体を撮影して動画像データを入力する装置である。画像入力装置１０の一例はデジタルビデオカメラであるが、これに限定されるものではない。動画像データを取得できる装置であれば任意の装置でよく、動画撮影機能を有するデジタルスチルカメラや携帯電話、携帯情報機器等も含まれる。インターネット上で提供されている動画像データであってもよい。画像入力装置１０は、入力した動画像データを演算装置１２に出力する。 The image input device 10 is a device that captures a target object and inputs moving image data. An example of the image input device 10 is a digital video camera, but is not limited thereto. Any device can be used as long as it can acquire moving image data, and includes a digital still camera having a moving image shooting function, a mobile phone, a portable information device and the like. It may be moving image data provided on the Internet. The image input device 10 outputs the input moving image data to the arithmetic device 12.
演算装置１２は、画像入力装置１０からの動画像データを入力する。演算装置１２は、データ入力部１２ａ、特徴点抽出・追跡部１２ｂ、特徴点集合分割部１２ｃ、三次元位置復元部１２ｄ、テクスチャ作成部１２ｅ、部分立体統合部１２ｆ及び立体とテクスチャの関連付け部１２ｇを有する。演算装置１２は、これらの機能ブロックにより動画像データから三次元モデルデータを生成し、表示装置１４に出力する。演算装置１２における処理の詳細については後述する。 The arithmetic device 12 inputs moving image data from the image input device 10. The arithmetic device 12 includes a data input unit 12a, a feature point extraction / tracking unit 12b, a feature point set division unit 12c, a three-dimensional position restoration unit 12d, a texture creation unit 12e, a partial solid integration unit 12f, and a solid and texture association unit 12g. Have The arithmetic device 12 generates three-dimensional model data from the moving image data using these functional blocks and outputs it to the display device 14. Details of the processing in the arithmetic unit 12 will be described later.
表示装置１４は、演算装置１２からの三次元モデルデータを表示する。表示装置１４は、演算装置１２として機能するコンピュータに設けられたディスプレイであってもよく、演算装置１２として機能するコンピュータとは別個のディスプレイであってもよい。 The display device 14 displays the 3D model data from the arithmetic device 12. The display device 14 may be a display provided in a computer that functions as the arithmetic device 12, or may be a display that is separate from the computer that functions as the arithmetic device 12.
図２に、本実施形態における演算装置１２の処理フローチャートを示す。 FIG. 2 shows a processing flowchart of the arithmetic device 12 in the present embodiment.
演算装置１２のデータ入力部１２ａは、画像入力装置１０から動画像データを入力して特徴点抽出・追跡部１２ｂに供給する。 The data input unit 12a of the arithmetic device 12 inputs moving image data from the image input device 10 and supplies it to the feature point extraction / tracking unit 12b.
特徴点抽出・追跡部１２ｂは、動画像データから特徴点を抽出し、動画像データを構成する各フレームにおいて、抽出した特徴点を追跡する（Ｓ１０１）。特徴点の追跡とは、各フレームにおいて特徴点同士を対応づけることを意味し、対応づけられた各特徴点の位置座標情報を解析することで各特徴点の三次元位置情報を求めることができる。特徴点は、各フレームにおいて他の点から明確に識別し得る点であり、一般的には画像内のエッジ部分や高周波部分が該当する。エッジ部分や高周波部分を抽出するためのフィルタリグ処理は公知である。各フレームにおいて抽出された特徴点群は、演算装置１２のワーキングメモリに格納される。そして、各フレームにおいて抽出された特徴点群の対応づけを行うことで特徴点を追跡する。対応づけは、例えば対応づけられるべき特徴点の組を選択し、特徴点を含む局所領域を切り出してこれらの相関値を演算する。演算して得られた相関値が一定値以上であり、しかも最大となる組を対応づけの求まった組として決定する。 The feature point extraction / tracking unit 12b extracts feature points from the moving image data and tracks the extracted feature points in each frame constituting the moving image data (S101). Feature point tracking means that feature points are associated with each other in each frame, and the three-dimensional position information of each feature point can be obtained by analyzing the position coordinate information of each associated feature point. . A feature point is a point that can be clearly identified from other points in each frame, and generally corresponds to an edge portion or a high-frequency portion in an image. Filter rig processing for extracting edge portions and high frequency portions is known. The feature point group extracted in each frame is stored in the working memory of the arithmetic unit 12. Then, the feature points are tracked by associating the feature point groups extracted in each frame. In association, for example, a set of feature points to be associated is selected, a local region including the feature points is cut out, and these correlation values are calculated. A pair having a correlation value obtained by calculation that is equal to or greater than a certain value and having the maximum value is determined as a pair for which correspondence is obtained.
一方、動画像データを構成する各フレームにおける対象物体の姿勢変化に起因して、対応する特徴点が全てのフレームにおいて存在するとは限らず、あるフレームにおいて対応する特徴点が消失する場合もあり得る。例えば、第ｋ番目フレーム、第ｋ＋１番目のフレームにおいては存在していたある特徴点が、次の第ｋ＋２番目のフレームにおいては対象物体の影の部分あるいは裏側に存在するために消失してしまう場合もあり得る。このような場合、特徴点の追跡はその時点で不可能となり、追跡できる特徴点の数が少なくなると、三次元モデリングの精度が著しく低下してしまい、あるいは三次元モデリング自体が不可能となる。 On the other hand, due to the posture change of the target object in each frame constituting the moving image data, the corresponding feature point does not necessarily exist in all frames, and the corresponding feature point may disappear in a certain frame. . For example, a feature point that existed in the k-th frame and the (k + 1) -th frame disappears because it exists in the shadow portion or the back side of the target object in the next k + 2-th frame. There is also a possibility. In such a case, the tracking of feature points becomes impossible at that time, and if the number of feature points that can be tracked decreases, the accuracy of the three-dimensional modeling significantly decreases, or the three-dimensional modeling itself becomes impossible.
そこで、特徴点抽出・追跡部１２ｂは、追跡可能な特徴点の数を常にカウントし、所定の閾値以上であるか否かを判定することで、追跡する特徴点を新規に追加する必要があるか否かを判定する（Ｓ１０２）。閾値は、システムが自動的に設定してもよく、ユーザが任意に設定することもできる。三次元モデリングすべき対象物体が複雑な形状を有するほど、閾値は大きく設定するのが好適である。このため、あるフレームにおいて対象物体の輪郭に基づいて対象物体の形状の複雑さを簡易に判定し、この複雑さに応じて自動的に閾値を増減設定してもよい。 Therefore, the feature point extraction / tracking unit 12b needs to add a new feature point to be tracked by always counting the number of feature points that can be tracked and determining whether or not the feature point is greater than or equal to a predetermined threshold. Is determined (S102). The threshold value may be automatically set by the system or arbitrarily set by the user. The threshold value is preferably set to be larger as the target object to be three-dimensionally modeled has a more complicated shape. For this reason, the complexity of the shape of the target object may be easily determined based on the contour of the target object in a certain frame, and the threshold value may be automatically increased or decreased according to this complexity.
以下、特徴点を新規に追加する場合としない場合とに分けて処理を説明する。 Hereinafter, the process will be described separately for the case where a feature point is newly added and the case where a feature point is not newly added.
＜特徴点を追加しない場合＞
Ｓ１０２の処理でＮと判定された場合、すなわち、追跡可能な特徴点がしきい値以上存在している場合、特徴点抽出・追跡部１２ｂは、追跡した特徴点群を三次元位置復元部１２ｄ及びテクスチャ作成部１２ｅに供給する。
<When no feature points are added>
If N is determined in the processing of S102, that is, if there are traceable feature points or more, the feature point extraction / tracking unit 12b converts the tracked feature point group into the three-dimensional position restoration unit 12d. And supplied to the texture creating unit 12e.
三次元位置復元部１２ｄは、追跡した特徴点群から、対象物体の三次元形状を復元するために用いる特徴点群を抽出する（Ｓ１０３）。復元するために用いる特徴点群は、追跡した特徴点群の全てでもよく、あるいは特定の判断基準に従って選択した特徴点群でもよい。三次元位置復元部１２ｄは、次に抽出した特徴点群のうち近傍の３つを選択し、選択した３つの特徴点を頂点とする三角形を形成する（Ｓ１０４）。三角形を形成するには、公知のドロネー三角形分割アルゴリズムを用いることができる。特徴点群を追跡し、これらの三次元位置を復元することができたとしても、点の間にどのような平面が存在しているかの情報が欠落しているため、それは三次元上に分布する点の集合でしかなく、三次元物体として表示することはできない。三次元物体として表示するためには、点の間に存在している平面の情報を得る必要がある。そこで、特徴点に対してドロネー三角形分割アルゴリズムを適用し、その三角形が復元後の三次元物体において平面を構成するとみなすものである。各フレーム間の特徴点同士の対応関係は特徴点追跡処理により明らかとなっているので、三角形分割は任意の１フレームについて行えばよい。例えば、各フレームにおいてドロネー三角形分割アルゴリズムを適用して三角形に分割して三角形の面積を算出し、面積が最大となるフレームの画像を選択する。面積が最大となるフレームの画像を選択する意義については後述する。そして、因子分解法により対象物体の三次元形状を復元する（Ｓ１０５）。因子分解法は公知であり、特開平１０−３２０５８８号公報にも記載されている。その内容について簡単に説明すると、対象物体が動画入力装置１０から十分遠方にあって正射影の条件を満たすものとし、第ｆ番目のフレームにおけるｐ番目の特徴点の位置を（Ｘｆｐ，Ｙｆｐ）とし、フレーム総数をＦ、特徴点の組の数をＰとし、第ｆ番目のフレームのｐ番目の特徴点群の重心位置を（Ａｆ，Ｂｆ）とすると、これらは、
Ａｆ＝１／Ｐ・ΣＸｆｐ
Ｂｆ＝１／Ｐ・ΣＹｆｐ
である。ここで、Σはｐ＝１からＰまでの加算である。次に、これらの座標間の差をとって、
Ｘ’ｆｐ＝Ｘｆｐ−Ａｆ
Ｙ’ｆｐ＝Ｙｆｐ−Ｂｆ
とすると、計測行列Ｗは、
Ｗ＝ＭＳ
と２つの行列の積の形に分解する。ここで、
Ｍ＝（ｘ１，・・・，ｘＦ，ｙ１，・・・，ｙＦ）Ｔ
は２Ｆ×３の行列であり、
Ｓ＝（ｓ１，ｓ２，・・・，ｓＰ）
は３×Ｐの行列である。成分ｓｐがｐ番目の特徴点の三次元位置（Ｘｐ，Ｙｐ，Ｚｐ）である。
The three-dimensional position restoration unit 12d extracts a feature point group used for restoring the three-dimensional shape of the target object from the tracked feature point group (S103). The feature point group used for restoration may be all of the tracked feature point groups, or may be a feature point group selected according to a specific determination criterion. The three-dimensional position restoring unit 12d selects three neighboring points from the extracted feature point group, and forms a triangle having the selected three feature points as vertices (S104). A known Delaunay triangulation algorithm can be used to form the triangle. Even if the feature point group can be tracked and these three-dimensional positions can be restored, information about what planes exist between the points is missing, so it is distributed in three dimensions. It is only a set of points to be displayed and cannot be displayed as a three-dimensional object. In order to display as a three-dimensional object, it is necessary to obtain information on a plane existing between points. Therefore, the Delaunay triangulation algorithm is applied to the feature points, and the triangles are regarded as constituting a plane in the restored three-dimensional object. Since the correspondence between the feature points between the frames has been clarified by the feature point tracking process, the triangulation may be performed for any one frame. For example, the Delaunay triangulation algorithm is applied to each frame to divide it into triangles, calculate the area of the triangle, and select the image of the frame that maximizes the area. The significance of selecting the image of the frame with the largest area will be described later. Then, the three-dimensional shape of the target object is restored by a factorization method (S105). The factorization method is known and is also described in JP-A-10-320588. The contents will be briefly described. It is assumed that the target object is sufficiently far from the moving image input apparatus 10 and satisfies the conditions of orthographic projection, and the position of the p-th feature point in the f-th frame is (Xfp, Yfp). If the total number of frames is F, the number of sets of feature points is P, and the center of gravity of the p-th feature point group of the f-th frame is (Af, Bf), these are
Af = 1 / P · ΣXfp
Bf = 1 / P · ΣYfp
It is. Here, Σ is an addition from p = 1 to P. Next, take the difference between these coordinates,
X′fp = Xfp−Af
Y′fp = Yfp−Bf
Then, the measurement matrix W is
And the product of two matrices. here,
M = (x1,..., XF, y1,..., YF) T
Is a 2F × 3 matrix,
S = (s1, s2,..., SP)
Is a 3 × P matrix. The component sp is the three-dimensional position (Xp, Yp, Zp) of the p-th feature point.
もちろん、因子分解法は一例にすぎず、特徴点の三次元位置を算出するための任意の方法を用いることが可能である。 Of course, the factorization method is only an example, and any method for calculating the three-dimensional position of the feature point can be used.
三次元形状を復元した後、立体とテクスチャの関連付け部１２ｇは、復元された三次元形状とテクスチャ作成部１２ｅで作成されたテクスチャとを関連づける（テクスチャのマッピング）ことで対象物体の三次元モデリングが完了する。テクスチャ作成部１２ｅは、動画像の適当なフレームから、三角形分割に従って三角形を切り出すことで行う。この際、斜めから見えている、つまり三角形の面積が小さいフレームから画像を切り出してテクスチャマッピングを行うと、小さな面積の画像が大きく引き伸ばされ、表示結果が不自然となる。これを回避するために、テクスチャの作成にはできるだけ正面から特徴点を捉えている、つまり三角形の面積が大きい画像を利用することが好適である。ここに、三角形の面積が最大となるフレームを選択する意義がある。 After restoring the three-dimensional shape, the three-dimensional and texture associating unit 12g associates the restored three-dimensional shape with the texture created by the texture creating unit 12e (texture mapping), thereby performing the three-dimensional modeling of the target object. Complete. The texture creation unit 12e performs this by cutting a triangle from an appropriate frame of the moving image according to the triangulation. At this time, if an image is cut out from a frame that is viewed obliquely, that is, a triangle has a small area, and texture mapping is performed, the image with a small area is greatly stretched, resulting in an unnatural display result. In order to avoid this, it is preferable to use an image in which feature points are captured from the front as much as possible, that is, an image having a large triangular area. Here, it is meaningful to select a frame having the maximum triangular area.
＜特徴点を追加する場合＞
Ｓ１０２の処理でＹと判定された場合、すなわち、追跡可能な特徴点がしきい値以上存在していない場合であって、特徴点抽出・追跡部１２ｂが新たに特徴点を追加した場合、特徴点集合分割部１２ｃは、追加される前の既に存在していた特徴点群（旧特徴点群）と、新規に追加した特徴点を含む特徴点群（新特徴点群）とに分類する（Ｓ１０６）。
<When adding feature points>
When it is determined as Y in the process of S102, that is, when there are no traceable feature points or more and a feature point extraction / tracking unit 12b newly adds a feature point, The point set dividing unit 12c classifies into a feature point group that has already existed before being added (old feature point group) and a feature point group that includes newly added feature points (new feature point group) ( S106).
図３に、特徴点追跡及び追加のフローチャートを示す。まず、最初のフレームの画像と特徴点を取得する（Ｓ２０１）。次に、取得した特徴点をその後のフレームにおいて追跡する（Ｓ２０２）。そして、新しい特徴点を追加すべきか否かを判定する（Ｓ２０３）。この判定は、追跡している特徴点があるフレームにおいて消失したか否か、及び追跡可能な特徴点がしきい値以上あるか否かで判定する。新しい特徴点を追加すべきと判定した場合、特徴点抽出・追跡部１２ｂは、当該フレームにおいて新たな特徴点を一つまたは複数追加する（Ｓ２０４）。また、特徴点集合分割部１２ｃは、特徴点群を、追加される前の特徴点群と、新たに追加された特徴点を含む特徴点群とに分類（分割）する。以上の処理を全てのフレームについて繰り返し実行する（Ｓ２０６，Ｓ２０７）。なお、Ｓ２０１、Ｓ２０２、Ｓ２０６、Ｓ２０７の各処理は、特徴点を追加しない場合にも同様に実行されることは言うまでもない。 FIG. 3 shows a flowchart of feature point tracking and addition. First, an image and feature points of the first frame are acquired (S201). Next, the acquired feature points are tracked in subsequent frames (S202). Then, it is determined whether or not a new feature point should be added (S203). This determination is made based on whether or not the feature point being tracked has disappeared in a certain frame, and whether or not the feature point that can be tracked is greater than or equal to a threshold value. When it is determined that a new feature point should be added, the feature point extraction / tracking unit 12b adds one or more new feature points in the frame (S204). In addition, the feature point set dividing unit 12c classifies (divides) the feature point group into a feature point group before being added and a feature point group including the newly added feature point. The above processing is repeated for all frames (S206, S207). Needless to say, the processes of S201, S202, S206, and S207 are executed in the same manner even when no feature points are added.
図４に、図３におけるＳ２０４の処理、すなわち新しい特徴点を追加する処理の詳細フローチャートを示す。まず、特徴点として適していると思われる点を仮特徴点として画像から取得する（Ｓ３０１）。具体的には、画像のエッジ部分や高周波部分、孤立部分等である。次に、仮特徴点を既存の特徴点との間の最短距離でソートし（Ｓ３０２）、特徴点との距離が最大となる仮特徴点を特徴点として追加する（Ｓ３０３）。要するに、仮特徴点と既存の特徴点との距離を全て加算し、加算して得られる距離が最も大きく、全ての特徴点かから距離的に最も離間している仮特徴点を選択して新たな特徴点とする。以上の処理を特徴点の数が必要な数に達するまで繰り返し実行する（Ｓ３０４，Ｓ３０５）。 FIG. 4 shows a detailed flowchart of the process of S204 in FIG. 3, that is, a process of adding a new feature point. First, a point that seems to be suitable as a feature point is acquired from the image as a temporary feature point (S301). Specifically, an edge portion, a high frequency portion, an isolated portion, or the like of an image. Next, the temporary feature points are sorted by the shortest distance from the existing feature points (S302), and the temporary feature points having the maximum distance from the feature points are added as feature points (S303). In short, add all the distances between the temporary feature points and the existing feature points, and select the temporary feature points that are the longest distance from all the feature points and select the new ones. This feature point. The above processing is repeated until the number of feature points reaches the required number (S304, S305).
具体的に説明すると、以下のとおりである。既存の特徴点をＰｉとし、仮特徴点（複数）をＰとする。仮特徴点毎に評価値Ｓ＝Σ｜Ｐ−Ｐｉ｜を算出し、評価値Ｓが最大となる仮特徴点Ｐを新たな特徴点とする。既存の特徴点Ｓｉに新たに特徴点としたＰを加えた個数がしきい値に満たない場合、さらに別の仮特徴点（複数）Ｑを抽出し、仮特徴点毎に評価値Ｓ’＝Σ｜Ｑ−Ｐｉ’｜を算出する。ここで、Ｐｉ’はＰｉとＰを含むものである。評価値Ｓ’が最大となる仮特徴点Ｑを新たな特徴点とする。追加すべき新たな特徴点を、既存の特徴点からの距離が最大となるように選択するのは、特徴点は三次元モデリングを行う際の基準となるポイントであり、互いに離間している方が三次元モデリングの精度を確保できるからである。 Specifically, it is as follows. An existing feature point is set as Pi, and a temporary feature point (a plurality) is set as P. The evaluation value S = Σ | P−Pi | is calculated for each temporary feature point, and the temporary feature point P having the maximum evaluation value S is set as a new feature point. If the number of the existing feature points Si plus P as a new feature point is less than the threshold value, another temporary feature point Q is extracted, and the evaluation value S ′ = for each temporary feature point Σ | Q−Pi ′ | is calculated. Here, Pi ′ includes Pi and P. The temporary feature point Q having the maximum evaluation value S ′ is set as a new feature point. The new feature points to be added are selected so that the distance from the existing feature points is maximized. The feature points are the reference points for 3D modeling and are separated from each other. This is because the accuracy of three-dimensional modeling can be secured.
再び図２に戻り、以上のようにして新たな特徴点を追加し、特徴点群を新旧に分類（分割）した後、新旧それぞれの特徴点群を用いてＳ１０３〜Ｓ１０５と同様の処理を実行して三次元形状を復元する（Ｓ１０７〜Ｓ１０９）。すなわち、例えば最初のフレームから第ｍ番目のフレームまでの特徴点がＳ１〜Ｓ１００であるとし、第ｍ＋１番目のフレームから最後のフレームまでの特徴点がＳ３１〜Ｓ１３０であるとすると（Ｓ１０１〜Ｓ１３０が新たに追加された特徴点群）、Ｓ１〜Ｓ１００の特徴点群で部分三次元形状を復元し、Ｓ３１〜Ｓ１３０の特徴点群で部分三次元形状を復元する。三次元位置復元部１２ｄは、各特徴点群毎に復元した部分三次元形状を部分立体統合部１２ｆに供給する。 Returning to FIG. 2 again, adding new feature points as described above, classifying the feature point group into new and old (dividing), and then executing the same processing as S103 to S105 using the old and new feature point groups The three-dimensional shape is restored (S107 to S109). That is, for example, if the feature points from the first frame to the mth frame are S1 to S100, and the feature points from the (m + 1) th frame to the last frame are S31 to S130 (S101 to S130 are The newly added feature point group), the partial three-dimensional shape is restored with the feature point group of S1 to S100, and the partial three-dimensional shape is restored with the feature point group of S31 to S130. The three-dimensional position restoration unit 12d supplies the partial three-dimensional shape restored for each feature point group to the partial three-dimensional integration unit 12f.
部分立体統合部１２ｆは、複数の部分三次元形状を合成して一つの三次元形状を形成する（Ｓ１１０）。上記の例に則して説明すると、特徴点群Ｓ１〜Ｓ１００を用いて復元された部分三次元形状と、特徴点群Ｓ３１〜Ｓ１３０を用いて復元された部分三次元形状とを合成する。合成する際には、複数の部分三次元形状において重複する特徴点の対応づけを行い、その三次元位置を整合させる。整合の手法は種々であり、いずれかの特徴点の位置を基準として他方の特徴点の位置を合わせる、あるいはそれぞれの位置の中間値を採用する、重複する特徴点間の距離の二乗が最小となるように位置を合わせる等である。 The partial three-dimensional integration unit 12f combines a plurality of partial three-dimensional shapes to form one three-dimensional shape (S110). If it demonstrates in accordance with said example, the partial three-dimensional shape decompress | restored using feature point group S1-S100 and the partial three-dimensional shape decompress | restored using feature point group S31-S130 will be synthesize | combined. When combining, feature points that overlap in a plurality of partial three-dimensional shapes are associated with each other and their three-dimensional positions are matched. There are various matching methods. The position of one feature point is used as a reference, the other feature point is aligned, or the intermediate value of each position is used, and the square of the distance between overlapping feature points is minimized. And so on.
このように、本実施形態では、対象物体の動画像データから特徴点を抽出し、特徴点を各フレーム間で追跡することで対象物体の三次元モデリングを作成する際に、特徴点が追跡できなくなった場合に、一定の基準の下で特徴点を新たに追加して追跡を可能とするとともに、特徴点を追加した場合に特徴点群を新旧に分類（分割）し、新旧それぞれの特徴点群を用いて部分三次元形状を復元し、その後に復元した複数の部分三次元形状を合成することで対象物体の三次元形状を作成するものであり、簡易でありながら高精度で任意の対象物体の三次元モデルを生成できる。 As described above, in this embodiment, feature points are extracted from moving image data of a target object, and feature points can be tracked when creating a three-dimensional modeling of the target object by tracking the feature points between frames. If there are no feature points, a new feature point can be added and tracked under certain criteria. When feature points are added, the feature points are classified (divided) into old and new features. A 3D shape of a target object is created by reconstructing a partial 3D shape using a group and then combining the restored partial 3D shapes. A three-dimensional model of an object can be generated.
図５に、本実施形態における特徴点追跡処理を模式的に示す。図５（ａ）は第ｋ番目のフレーム、図５（ｂ）は第ｋ＋１番目のフレーム、図５（ｃ）は第ｋ＋２番目のフレームを示す。各図において、白丸が特徴点を表す。特徴点は、例えば対象物体が飛行体の場合には、飛行体の先端や翼の胴体接合部、翼の先端部等に設定される。飛行体の左翼の先端部に設定された特徴点に着目すると、図５（ａ）〜（ｃ）の全てのフレームにおいて存在するため、これを追跡することは可能である。しかしながら、飛行体の右翼の先端部に着目すると、図５（ａ）、（ｂ）のフレームでは追跡することが可能であるものの、図５（ｃ）のフレームでは図中矢印及び破線で示すように飛行体の裏側に存在するため追跡が不可能となる。右翼の胴体接合部等も同様である。 FIG. 5 schematically shows the feature point tracking process in the present embodiment. FIG. 5A shows the k-th frame, FIG. 5B shows the (k + 1) -th frame, and FIG. 5 (c) shows the k + 2-th frame. In each figure, white circles represent feature points. For example, when the target object is a flying object, the feature points are set at the tip of the flying object, the fuselage joint of the wing, the tip of the wing, or the like. If attention is paid to the feature point set at the tip of the left wing of the flying object, it exists in all the frames in FIGS. 5A to 5C, and can be tracked. However, focusing on the tip of the right wing of the flying object, although it can be traced in the frames of FIGS. 5 (a) and 5 (b), it is indicated by the arrows and broken lines in the frame of FIG. 5 (c). However, it cannot be tracked because it exists behind the aircraft. The same applies to the right wing fuselage joint.
図６に、本実施形態における特徴点追加処理を模式的に示す。図６（ａ）は第ｋ番目のフレーム、図６（ｂ）は第ｋ＋１番目のフレーム、図６（ｃ）は第ｋ＋２番目のフレームを示す。各図において、白丸が特徴点を表す。図５（ｃ）に示すように、追跡できる特徴点のいくつかが消失するため、新たに特徴点を追加する必要が生じる。図６（ｃ）に、新たに追加した特徴点群を符号１００で示す。飛行体の先端の屈曲部や後部のエンジン部等に新たな特徴点が設定される。これらは、図５（ａ）、（ｂ）では存在していないか、あるいは存在していても他の部位との識別が明瞭でない部分である。新たに特徴点を追加することで、画像データが存在する任意の部分の三次元形状化が可能となることが理解されよう。 FIG. 6 schematically shows the feature point addition processing in the present embodiment. 6A shows the k-th frame, FIG. 6B shows the (k + 1) -th frame, and FIG. 6 (c) shows the k + 2-th frame. In each figure, white circles represent feature points. As shown in FIG. 5C, since some of the traceable feature points disappear, it is necessary to newly add feature points. In FIG. 6C, a newly added feature point group is denoted by reference numeral 100. New feature points are set in the bent part at the tip of the flying object, the engine part in the rear part, and the like. These are portions that do not exist in FIGS. 5A and 5B, or are not clearly distinguished from other parts even if they exist. It will be understood that by adding a new feature point, it is possible to form a three-dimensional shape in an arbitrary portion where image data exists.
図２〜図４に示す処理は、コンピュータに記憶されたプログラムを順次読み出して実行することで実現できる。データ入力部１２ａはコンピュータの入力インタフェースで実現でき、特徴点抽出・追跡部１２ｂ、特徴点集合分割部１２ｃ、三次元位置復元部１２ｄ、テクスチャ作成部１２ｅ、部分立体統合部１２ｆ、立体とテクスチャの関連付け部１２ｇはいずれもコンピュータのＣＰＵで実現できる。コンピュータにはワーキングメモリが搭載され、ワーキングメモリに抽出した特徴点を格納して、各フレーム間の追跡や特徴点の分類を実行し、分類した特徴点毎の部分三次元形状の作成や格納、複数の部分三次元形状の読み出しと合成を実行する。 The processing shown in FIGS. 2 to 4 can be realized by sequentially reading and executing a program stored in the computer. The data input unit 12a can be realized by an input interface of a computer, and a feature point extraction / tracking unit 12b, a feature point set division unit 12c, a three-dimensional position restoration unit 12d, a texture creation unit 12e, a partial solid integration unit 12f, a solid and a texture The associating unit 12g can be realized by a CPU of a computer. The computer is equipped with a working memory, and the extracted feature points are stored in the working memory, tracking between each frame and classification of the feature points are performed, and creation and storage of partial 3D shapes for each classified feature point. A plurality of partial three-dimensional shapes are read and combined.
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、種々の変更が可能である。 As mentioned above, although embodiment of this invention was described, this invention is not limited to this, A various change is possible.
例えば、本実施形態では、追跡可能な特徴点の数が所定の閾値に達しない場合に新たな特徴点を追加しているが、合成すべき部分三次元形状との重複する特徴点数が一定値に達しない場合において特徴点を新たに追加してもよい。複数の部分三次元形状の合成精度を確保するためである。 For example, in this embodiment, a new feature point is added when the number of traceable feature points does not reach a predetermined threshold, but the number of feature points that overlap with the partial three-dimensional shape to be synthesized is a constant value. If the value does not reach, a new feature point may be added. This is to ensure the synthesis accuracy of a plurality of partial three-dimensional shapes.
１０ 画像入力装置、１２ 演算装置、１４ 表示装置、１００ 新たに追加された特徴点。 10 image input device, 12 computing device, 14 display device, 100 newly added feature points.
Claims (7)
前記動画像データから特徴点を抽出する手段と、
抽出した特徴点を前記動画像データの各フレームにおいて追跡する手段と、
追跡可能な特徴点の数が所定の閾値に達しない場合に、新たに前記動画像データから特徴点を抽出して追加し、追加した特徴点を追跡する手段と、
追跡した特徴点の三次元位置情報を演算し、追加する前の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成し、かつ、追加した後の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成する手段と、
生成された複数の部分三次元モデルを合成することで前記対象物体の三次元モデルを生成する手段と、
を有することを特徴とする三次元モデリング装置。 A three-dimensional modeling device that generates a three-dimensional model of a target object based on moving image data of the target object,
Means for extracting feature points from the moving image data;
Means for tracking the extracted feature points in each frame of the moving image data;
Means for newly extracting and adding feature points from the moving image data when the number of traceable feature points does not reach a predetermined threshold, and tracking the added feature points;
Computes the 3D position information of the tracked feature points, generates a partial 3D model of the target object using the 3D position information of the feature points before the addition, and adds the feature points after the addition Means for generating a partial three-dimensional model of the target object using the three-dimensional position information of
Means for generating a three-dimensional model of the target object by combining a plurality of generated partial three-dimensional models;
A three-dimensional modeling apparatus characterized by comprising:
新たに前記動画像データから抽出され追加される特徴点は、既存の全ての特徴点からの距離が最大となるように抽出されることを特徴とする三次元モデリング装置。 The apparatus of claim 1.
A feature point newly extracted and added from the moving image data is extracted so as to maximize the distance from all existing feature points.
生成された複数の部分三次元モデルの合成では、三次元モデルを構成する特徴点のうち互いに重複する特徴点同士を整合させることを特徴とする三次元モデリング装置。 The apparatus of claim 1.
A three-dimensional modeling apparatus characterized in that, in the synthesis of a plurality of generated partial three-dimensional models, feature points that overlap each other among feature points constituting the three-dimensional model are matched.
前記動画像データから特徴点を抽出して記憶装置に格納するステップと、
抽出した特徴点を前記動画像データの各フレームにおいて追跡するステップと、
追跡可能な特徴点の数が所定の閾値に達しているか否かを演算装置により判定し、達していないと判定した場合に、新たに前記動画像データから特徴点を抽出して追加し、追加した特徴点を追跡するステップと、
演算装置により追跡した特徴点の三次元位置情報を演算し、追加する前の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成し、かつ、追加した後の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成するステップと、
演算装置により生成された複数の部分三次元モデルを合成することで前記対象物体の三次元モデルを生成するステップと、
を有することを特徴とする三次元モデリング方法。 A three-dimensional modeling method using a computer that generates a three-dimensional model of a target object based on moving image data of the target object,
Extracting feature points from the moving image data and storing them in a storage device;
Tracking the extracted feature points in each frame of the video data;
Whether or not the number of traceable feature points has reached a predetermined threshold value is determined by the arithmetic unit, and when it is determined that the number has not reached, a new feature point is extracted from the moving image data and added. Tracking the feature points
After calculating the three-dimensional position information of the feature point tracked by the calculation device, generating the partial three-dimensional model of the target object using the three-dimensional position information of the feature point group before the addition, and after adding Generating a partial three-dimensional model of the target object using the three-dimensional position information of a feature point group;
Generating a three-dimensional model of the target object by combining a plurality of partial three-dimensional models generated by an arithmetic device;
A three-dimensional modeling method characterized by comprising:
新たに前記動画像データから抽出され追加される特徴点は、既存の全ての特徴点からの距離が最大となるように抽出されることを特徴とする三次元モデリング方法。 The method of claim 4, wherein
A feature point newly extracted and added from the moving image data is extracted so as to maximize the distance from all existing feature points.
生成された複数の部分三次元モデルの合成では、三次元モデルを構成する特徴点のうち互いに重複する特徴点同士を整合させることを特徴とする三次元モデリング方法。 The method of claim 4, wherein
In the synthesis of a plurality of generated partial 3D models, a 3D modeling method characterized by matching mutually overlapping feature points among the feature points constituting the 3D model.
前記動画像データから特徴点を抽出して記憶装置に格納するステップと、
抽出した特徴点を前記動画像データの各フレームにおいて追跡するステップと、
追跡可能な特徴点の数が所定の閾値に達しているか否かを演算装置により判定し、達していないと判定した場合に、新たに前記動画像データから特徴点を抽出して追加し、追加した特徴点を追跡するステップと、
演算装置により追跡した特徴点の三次元位置情報を演算し、追加する前の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成し、かつ、追加した後の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成するステップと、
演算装置により生成された複数の部分三次元モデルを合成することで前記対象物体の三次元モデルを生成するステップ
を実行させることを特徴とするプログラム。 A program for generating a three-dimensional model of a target object based on moving image data of the target object, the program for a computer,
Extracting feature points from the moving image data and storing them in a storage device;
Tracking the extracted feature points in each frame of the video data;
Whether or not the number of traceable feature points has reached a predetermined threshold value is determined by the arithmetic unit, and when it is determined that the number has not reached, a new feature point is extracted from the moving image data and added. Tracking the feature points
After calculating the three-dimensional position information of the feature point tracked by the calculation device, generating the partial three-dimensional model of the target object using the three-dimensional position information of the feature point group before the addition, and after adding Generating a partial three-dimensional model of the target object using the three-dimensional position information of a feature point group;
A program for executing a step of generating a three-dimensional model of the target object by combining a plurality of partial three-dimensional models generated by an arithmetic device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009239372A JP4978941B2 (en) | 2009-10-16 | 2009-10-16 | Three-dimensional modeling apparatus, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009239372A JP4978941B2 (en) | 2009-10-16 | 2009-10-16 | Three-dimensional modeling apparatus, method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011086164A JP2011086164A (en) | 2011-04-28 |
| JP4978941B2 true JP4978941B2 (en) | 2012-07-18 |
Family
ID=44079054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009239372A Expired - Fee Related JP4978941B2 (en) | 2009-10-16 | 2009-10-16 | Three-dimensional modeling apparatus, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4978941B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6934887B2 (en) * | 2015-12-31 | 2021-09-15 | エムエル ネザーランズ セー．フェー． | Methods and systems for real-time 3D capture and live feedback with monocular cameras |
| CN112026178B (en) | 2019-06-04 | 2022-03-29 | 先临三维科技股份有限公司 | Scanning control method, device and system, storage medium and processor |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3512919B2 (en) * | 1995-09-18 | 2004-03-31 | 株式会社東芝 | Apparatus and method for restoring object shape / camera viewpoint movement |
| JP3548652B2 (en) * | 1996-07-24 | 2004-07-28 | 株式会社東芝 | Apparatus and method for restoring object shape |
| JP4065611B2 (en) * | 1998-09-28 | 2008-03-26 | 住友電気工業株式会社 | 3D map creation method |
| JP2000194863A (en) * | 1998-12-28 | 2000-07-14 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional structure acquisition/restoration method and device and storage medium recording three- dimensional structure acquisition/restoration program |
| JP2001245323A (en) * | 2000-02-29 | 2001-09-07 | Minolta Co Ltd | Three-dimensional input method and device |
| JP2006252275A (en) * | 2005-03-11 | 2006-09-21 | Japan Science & Technology Agency | Restoration system of camera motion and object shape |
| JP2007004578A (en) * | 2005-06-24 | 2007-01-11 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for acquiring three-dimensional shape and recording medium for program |
| JP5087264B2 (en) * | 2005-12-08 | 2012-12-05 | 株式会社トプコン | Image processing apparatus and method |
| JP2007292657A (en) * | 2006-04-26 | 2007-11-08 | Nippon Telegr & Teleph Corp <Ntt> | Camera motion information acquiring apparatus, camera motion information acquiring method, and recording medium |
-
2009
- 2009-10-16 JP JP2009239372A patent/JP4978941B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011086164A (en) | 2011-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4473754B2 (en) | Virtual fitting device | |
| US11721114B2 (en) | Method, system, and device of generating a reduced-size volumetric dataset | |
| US8055061B2 (en) | Method and apparatus for generating three-dimensional model information | |
| US8487926B2 (en) | Method and apparatus for generating 3D image using 2D photograph images | |
| US11037325B2 (en) | Information processing apparatus and method of controlling the same | |
| CN106570507A (en) | Multi-angle consistent plane detection and analysis method for monocular video scene three dimensional structure | |
| JP2016099982A (en) | Behavior recognition device, behaviour learning device, method, and program | |
| CN104732203A (en) | Emotion recognizing and tracking method based on video information | |
| JP5795250B2 (en) | Subject posture estimation device and video drawing device | |
| Thomas et al. | A flexible scene representation for 3d reconstruction using an rgb-d camera | |
| Kazemi et al. | Real-time face reconstruction from a single depth image | |
| Leizea et al. | Real-time deformation, registration and tracking of solids based on physical simulation | |
| JP2018113021A (en) | Information processing apparatus and method for controlling the same, and program | |
| CN105809664B (en) | Method and device for generating three-dimensional image | |
| JP2010211732A (en) | Object recognition device and method | |
| JP4978941B2 (en) | Three-dimensional modeling apparatus, method and program | |
| JP5518677B2 (en) | Virtual information giving apparatus and virtual information giving program | |
| EP3723365A1 (en) | Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium | |
| JP4714050B2 (en) | 3D shape model generation system | |
| Niemirepo et al. | Open3DGen: open-source software for reconstructing textured 3D models from RGB-D images | |
| JP2011022066A (en) | Method of measuring position and attitude of three-dimensional object | |
| KR100922544B1 (en) | Live video compositing system by using realtime camera tracking and its method | |
| JP6641313B2 (en) | Region extraction device and program | |
| US20190377935A1 (en) | Method and apparatus for tracking features | |
| JP6948363B2 (en) | Information processing equipment, information processing methods, and programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120410 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150427 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |