JP7229102B2 - Three-dimensional measurement device using images, three-dimensional measurement method using images, and three-dimensional measurement program using images - Google Patents
Three-dimensional measurement device using images, three-dimensional measurement method using images, and three-dimensional measurement program using images Download PDFInfo
- Publication number
- JP7229102B2 JP7229102B2 JP2019105107A JP2019105107A JP7229102B2 JP 7229102 B2 JP7229102 B2 JP 7229102B2 JP 2019105107 A JP2019105107 A JP 2019105107A JP 2019105107 A JP2019105107 A JP 2019105107A JP 7229102 B2 JP7229102 B2 JP 7229102B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- auxiliary
- camera
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
本発明は、画像を用いた三次元計測の技術に関する。 The present invention relates to three-dimensional measurement technology using images.
画像を用いて植物の三次元形状に係るデータを取得し、その成長過程を三次元的に把握する技術が知られている。例えば、特許文献１には、計測対象物である植物を回転させながら植物の写真撮影を行い、得られた複数の撮影画像から被写体（植物）の三次元モデルを得る技術が記載されている。
A technique is known for acquiring data relating to the three-dimensional shape of a plant using an image and three-dimensionally ascertaining the growth process of the plant. For example,
植物の茎のような立体物を対象とした場合、ステレオ画像のマッチング点の誤差が生じる問題がある。図１には、上記の問題が生じる原理が概念的に示されている。●点は、カメラ１とカメラ２から撮影したステレオ画像から求めた計測対象物上のマッチング点である。これは理想的な場合であるが、実際には、△点や□点でマッチングが取れてしまう場合がある。△点や□点は計測対象物の特徴点ではないので、△点や□点はステレオ画像上の特徴点の誤対応点となる。この誤対応点は、ノイズとなる。
When a three-dimensional object such as a plant stem is targeted, there is a problem that an error occurs in matching points of stereo images. FIG. 1 conceptually shows the principle that causes the above problem. The ● points are matching points on the object to be measured obtained from the stereo images captured by the
本発明は、写真を用いた三次元計測において、ステレオ画像上での計測対象物の縁の部分や背面における誤対応点の発生を抑えることを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to suppress the occurrence of false corresponding points on the edge portion and back surface of a measurement object on a stereo image in three-dimensional measurement using photographs.
本発明は、異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得部と、前記ステレオ画像において対応する特徴点を特定する対応点特定部と、前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択部と、前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得部と、前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定部とを備え、前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測装置である。 The present invention provides a stereo image acquisition unit that obtains stereo images of an object to be photographed from different first and second viewpoints, a corresponding point identification unit that identifies corresponding feature points in the stereo images, and the first Auxiliary viewpoint selection unit that selects a first auxiliary viewpoint from the side of the viewpoint away from the second viewpoint, and selects a second auxiliary viewpoint from the side of the first viewpoint that is distant from the second viewpoint. an auxiliary image obtaining unit that obtains a first auxiliary image obtained by photographing the object to be photographed from the first auxiliary viewpoint and a second auxiliary image obtained by photographing the object to be photographed from the second auxiliary viewpoint; a mask area setting unit that sets, as a mask area, an area that is a shadow of the subject when viewed from a first auxiliary viewpoint and is not a shadow of the subject when viewed from the second auxiliary viewpoint; The three-dimensional measuring apparatus uses an image in which the feature points to be measured are restricted in the mask area.
本発明において、前記第２の補助視点が前記第２の視点の前記第１の視点から離れる側から選択される態様が挙げられる。本発明において、前記マスク領域は、前記第１の補助視点と前記第１の補助視点から見た前記撮影対象の縁の部分とを結ぶ第１の方向線と、第２の補助視点と前記第２の補助視点から見た前記第１の補助視点からは死角となる前記撮影対象の縁の部分とを結ぶ第２の方向線との交点の前記第１の視点から見た後方であって、前記第１の方向線と前記第２の方向線で囲まれる領域である態様が挙げられる。本発明において、前記マスク領域において、前記ステレオ画像における対応点の特定が禁止されている態様が挙げられる。 In the present invention, there is a mode in which the second auxiliary viewpoint is selected from the side of the second viewpoint away from the first viewpoint. In the present invention, the mask area includes a first direction line that connects the first auxiliary viewpoint and the edge portion of the imaging target viewed from the first auxiliary viewpoint, a second auxiliary viewpoint, and the second auxiliary viewpoint. 2, the rear of the point of intersection with a second direction line connecting the edge portion of the object to be photographed which is a blind spot from the first auxiliary viewpoint viewed from the first auxiliary viewpoint, An aspect is given in which the area is surrounded by the first direction line and the second direction line. In the present invention, there is an aspect in which specification of corresponding points in the stereo image is prohibited in the mask region.
本発明は、異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得ステップと、前記ステレオ画像において対応する特徴点を特定する対応点特定ステップと、前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択ステップと、前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得ステップと、前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定ステップとを有し、前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測方法としても把握できる。 The present invention comprises a stereo image obtaining step of obtaining stereo images of an object to be photographed from different first and second viewpoints, a corresponding point identifying step of identifying corresponding feature points in the stereo images, and the first Auxiliary viewpoint selection step of selecting a first auxiliary viewpoint from the side of the viewpoint away from the second viewpoint and selecting a second auxiliary viewpoint from the side of the second viewpoint of the first viewpoint an auxiliary image obtaining step of obtaining a first auxiliary image obtained by photographing the object to be photographed from the first auxiliary viewpoint and a second auxiliary image obtained by photographing the object to be photographed from the second auxiliary viewpoint; a mask area setting step of setting a mask area that is a shadow of the subject when viewed from a first auxiliary viewpoint and is not a shadow of the subject when viewed from the second auxiliary viewpoint; It can also be understood as a three-dimensional measurement method using an image in which the corresponding feature points are restricted in the mask area.
本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得ステップと、前記ステレオ画像において対応する特徴点を特定する対応点特定ステップと、前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択ステップと、前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得ステップと、前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定ステップとを実行させ、前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測用プログラムとして把握することもできる。 The present invention is a program that is read and executed by a computer, and corresponds to a stereo image acquisition step of obtaining stereo images of an object to be photographed from different first and second viewpoints by the computer, and the stereo images. a corresponding point identifying step of identifying feature points; selecting a first auxiliary viewpoint from a side of the first viewpoint away from the second viewpoint; an auxiliary viewpoint selection step of selecting a second auxiliary viewpoint; and a first auxiliary image obtained by photographing the photographing object from the first auxiliary viewpoint and a second auxiliary viewpoint photographing the photographing object from the second auxiliary viewpoint. and an auxiliary image obtaining step of obtaining an auxiliary image of and masking an area that is a shadow of the subject when viewed from the first auxiliary viewpoint and is not a shadow of the subject when viewed from the second auxiliary viewpoint. It can also be understood as a three-dimensional measurement program using an image in which a mask region setting step for setting a region is executed, and the corresponding feature points are restricted in the mask region.
本発明によれば、写真を用いた三次元計測において、ステレオ画像上での計測対象物の縁の部分における誤対応点の発生が抑えられる。 According to the present invention, in three-dimensional measurement using photographs, occurrence of false corresponding points in the edge portion of the measurement object on the stereo image can be suppressed.
１．原理
（初めに）
図１の問題が発生するのは、以下の理由による。図１における●点は、カメラ２から見て計測対象物の縁の部分である。この縁の部分では、背面の画像情報の影響を受け、分離に誤差が生じる。この結果、奥行き方向の情報が紛れ込むことによる△点での誤マッチングや背面の□点での誤マッチングが生じる。
1. Principle (Introduction)
The problem in FIG. 1 occurs for the following reasons. ● points in FIG. This edge portion is affected by the image information on the back side, and an error occurs in the separation. As a result, erroneous matching at the Δ point and erroneous matching at the □ point on the back surface occur due to the information in the depth direction being mixed.
図１の問題を抑制するために、図２に示すように、ステレオ画像におけるマッチングを制限する周辺マスク１０を設定する。図２には、カメラ１とカメラ２で計測対象物３０を撮影しステレオ画像を得、このステレオ画像からステレオ画像間で対応する特徴点（●印の点）をステレオマッチング点（対応点ともいう）として求める場合が示されている。
To suppress the problem of FIG. 1, we set up a
周辺マスク１０を設定することで、その領域でのマッチングが制限（この場合は禁止）される。これにより、背面２０の存在の影響等により生じる△点や□点で示される誤マッチング点の発生が抑制される。
Setting the
（周辺マスクの設定の原理）
周辺マスク１０は、以下のようにして設定される。まず、ステレオ画像を撮影するカメラ１とカメラ２の外側（両サイド）からカメラ３とカメラ４の１組のカメラを選択する。カメラ３とカメラ４は、周辺マスク１０を設定するために選択される。
(Principle of peripheral mask setting)
The
ここで、カメラ１，カメラ２，カメラ３，カメラ４のそれぞれは、計測対象物３０を視界に納め、各カメラの撮影画像には、計測対象物３０が写っている（但し、見る角度が異なっている）。また、カメラ１，カメラ２，カメラ３およびカメラ４は、同一平面上に位置している。
Here, each of
まず、カメラ３が撮影した計測対象物３０におけるステレオマッチング点（特定された対応点）●より外側（カメラ１から見てカメラ３の側）の縁と、カメラ３の位置（投影原点（視点））とを結ぶ方向線４１を設定する。また、カメラ４が撮影した計測対象物３０におけるステレオマッチング点●に最も近い縁と、カメラ４の位置（投影原点（視点））とを結ぶ方向線４２を設定する。
First, the edge of the outside (on the camera 3 side as seen from the camera 1) of the stereo matching point (identified corresponding point) on the
そして、方向線４１と４２が交差する点の後方（カメラ１およびカメラ２から見た遠方）で方向線４１，４２に囲まれる領域を周辺マスク１０として設定する。周辺マスク１０は、カメラ４から見て計測対象物３０の影（背後）であり、且つ、カメラ３から見て計測対象物３０の影（背後）でない領域である。
Then, an area surrounded by the direction lines 41 and 42 behind the point where the direction lines 41 and 42 intersect (far from the
以下、カメラ３，４の位置について説明する。まず、カメラ２から撮影した画像を利用して周辺マスク１０を設定することは適切でない。なぜなら、カメラ２の画像では、計測対象物３０の縁部分の分離が明確にできず、それ故に誤マッチング点である△点や□点が生じるが、この問題はカメラ２の画像を用いて周辺マスクを設定した場合も発生する。そのため、カメラ２の画像を利用した場合、誤マッチング点△や□を排除する周辺マスクは設定できない。
The positions of the
図３には、図２のカメラ３はそのままに、カメラ４としてカメラ２の画像を利用して周辺マスク１０を設定した場合が示されている。この場合、カメラ１から見て、マッチング点●の後方での周辺マスク１０の設定ができず、△点や□点を排除するマスクは設定できない。この問題は、原理的にカメラ１より左側でカメラ４を選択した場合に発生する。よって、カメラ４をカメラ１より左側（カメラ２の側）から選択するのは適切でない。以上のことから、カメラ４は、カメラ２の右側（カメラ１と反対の側）から選択するのが適切となる。
FIG. 3 shows a case where the
図４には、図２のカメラ４はそのままで、カメラ３をカメラ２の右側から選択した場合が示されている。この場合、カメラ２から見た●点の背後がカメラ３，４から見えず死角になるので、△点や□点を排除するマスクは設定できない。よって、カメラ３をカメラ２より右側（カメラ１と反対の側）から選択するのは適切でない。
FIG. 4 shows a case where camera 3 is selected from the right side of
図５には、カメラ３をカメラ１とカメラ２の間から選択した場合が示されている。ステレオ画像の組の選択において、隣接するカメラ位置でなく、カメラ１とカメラ２の間にカメラがある場合は、カメラ４をカメラ１とカメラ２の間から選択することも可能である。図５には、この場合が示されている。
FIG. 5 shows the case where camera 3 is selected between
ただし、オクル―ジョンを極力避け、またマッチング精度を高める場合、隣接するカメラ位置がステレオ画像を撮影した１組のカメラとして選択される。この場合、カメラ１とカメラ２の間にカメラはないので、図５の状況は実現できない。
However, in order to avoid occlusion as much as possible and improve matching accuracy, adjacent camera positions are selected as a set of cameras that capture stereo images. In this case, since there is no camera between
図５の場合、カメラ２から見て、●点の後方（背後）に周辺マスク１０を設定できる。よって、カメラ３はカメラ２よりも左側（カメラ１の側）から選択すればよいことが結論される。
In the case of FIG. 5, the
以上まとめると、カメラ１とカメラ２から撮影したステレオ画像における対応点を求める場合、カメラ４をカメラ２のカメラ１と反対の側から選択し、カメラ３をカメラ２のカメラ１の側から選択することで、カメラ３とカメラ４の撮影画像を用いた周辺マスク１０が作成できる。
In summary, when obtaining corresponding points in stereo images taken from
周辺マスクの使い方としては、
（１）周辺マスクからの対応点の特定を禁止する。
（２）対応点の特定は禁止しないが、周辺マスクでマスクされる領域における対応点の特定の優先度を下げる。
（３）対応点の特定の有無を判定する条件の一つとして、周辺マスクを利用する。
As for how to use the peripheral mask,
(1) Prohibit specification of corresponding points from the peripheral mask.
(2) Specifying corresponding points is not prohibited, but the priority of specifying corresponding points in the area masked by the peripheral mask is lowered.
(3) A peripheral mask is used as one of the conditions for determining whether or not corresponding points are specified.
また、３台以上のカメラを用いてステレオ画像を構成する場合は、基線上の両端のカメラに対して上記の条件を適用する。また、ここでは、左右にカメラが配列した場合を例に挙げ説明したが、ステレオカメラの配列方向は、上下や斜めであってもよい。 Moreover, when constructing a stereo image using three or more cameras, the above conditions are applied to the cameras at both ends on the base line. Also, here, the case where the cameras are arranged horizontally has been described as an example, but the arrangement direction of the stereo cameras may be vertically or obliquely.
また、本発明の原理は、下記両方の場合に適用できる。
（１）１台のカメラで回転する計測対象物を撮影し、計測対象物を異なる複数の視点から撮影した複数の画像を得る場合（勿論、複数のカメラで撮影してもよい）。
（２）カメラを移動させながら計測対象物を複数回撮影し、計測対象物を異なる複数の視点から撮影した複数の画像を得る場合（例えば、航空写真測量の場合）。
Also, the principles of the present invention are applicable in both cases.
(1) A case in which a single camera captures images of a rotating measurement object and obtains a plurality of images of the measurement object captured from a plurality of different viewpoints (of course, multiple cameras may capture images).
(2) A case in which a plurality of images of the object to be measured are taken from a plurality of different viewpoints by photographing the object to be measured while moving the camera (for example, in the case of aerial photogrammetry).
また、車の衝突防止技術等でステレオ写真測量の原理を用いた対象物の三次元情報を取得する技術があるが、この技術に本発明を利用することもできる。 In addition, there is a technology for acquiring three-dimensional information of an object using the principle of stereo photogrammetry, such as a vehicle collision prevention technology, and the present invention can also be applied to this technology.
２．全体の構成
図６には、植物１２０の三次元データを得るための三次元計測システム１００が示されている。三次元計測システム１００は、土台１１１、土台１１１上でモータ等の駆動手段により回転する回転台１１２を備えている。回転台１１２の上には、三次元計測の計測対象物である植物１２２が載せられている。
2. Overall Configuration FIG. 6 shows a three-
土台１１１、回転台１１２および三次元計測システム１００の背面は、植物１２０の色とは異なる色（この例では青）に着色されている。この色は、植物１２０と色彩が違うモノトーンの色が望ましい。例えば、植物１２０が緑系の色の場合、青、黄色、黒、白といった植物１２０と異なるモノトーンの色が選択される。物１２０は、鉢１２４に植えられており、鉢１２４には、識別用の２次元バーコード表示１２５が表示されている。
The
土台１１１および回転台１１２の各部の寸法は予め既知のデータとして取得されている。回転台１１２の上面には、基準点となるターゲット１１３の表示が行なわれている。ターゲット１１３は、３箇所以上の複数が配置されている。ターゲット１１３は、２次元コードが付されたコード化ターゲットであり、それぞれが個別に識別可能とされている。また、各ターゲットの回転台１１２における位置は予め調べられ、既知となっている。
The dimensions of each part of the
回転台１１２の上面には、画像マッチング用の識別部材であるランダムドット柱１２１～１２３が固定されている。ランダムドット柱１２１～１２３は、長手形状を有する板状の部材であり、回転台１１２から鉛直上方に延在し、表面にランダムドットパターンが表示されている。ランダムドット柱１２１～１２３の表面には、ランダムドットパターンの他に、識別コードが表示されており、各識別コードは個別に識別できるようにされている。ランダムドット柱として、円柱や多角柱（例えば、四角柱や五角柱）を用いることもできる。
Random dot
ランダムドット柱の数を４本以上としてもよい。ただし、ランダムドット柱は、カメラ１３１～１３３と計測対象物である植物１２２との間に位置するので、その数が多すぎると、カメラ１３１～１３３による植物１２２の撮影に支障が生じる。
The number of random dot columns may be four or more. However, since the random dot columns are positioned between the
ランダムドット柱１２１～１２３の回転台１１２に対する位置関係は既知であり、またランダムドット柱１２１～１２３の寸法（幅、長さ、厚さ）も既知である。ランダムドット柱１２１～１２３の寸法は既知であるので、ランダムドット柱１２１～１２３はスケールとしても利用される。回転台１１２上に定規を配置する方法や回転台１１２上にスケールを表示する形態も可能である。なお、計測対象物である植物１２０の上端より上方にランダムドット柱１２１～１２３の先端が位置するように、ランダムドット柱１２１～１２３の長手方向の寸法が（鉛直方向の寸法）が設定されている。また、上方から見て、ランダムドット柱１２１～１２３により計測対象物（植物１２０）が囲まれるように、ランダムドット柱１２１～１２３が配置されている。これは、ランダムドット柱の数を増やした場合も同様である。
The positional relationship of the random dot columns 121-123 with respect to the
ランダムドットパターンは、丸形状のドットが規則性なくランダムに分布しているドットパターンである。ランダムドットパターンに関する技術は、例えば、特開平１１－３９５０５号公報、特開平１０－９７６４１号公報、電子情報通信学会研究報告．ＣＯＭＰ，コンビュテーション１１２（２４），５１－５８，２０１２－０５－０７等に記載されている。ランダムドットパターンの色は、モノトーンであってもよいし、多色であってもよい。この例では、白の下地に黒のランダムドットパターンを表示している。 A random dot pattern is a dot pattern in which circular dots are randomly distributed without regularity. Techniques related to random dot patterns are disclosed, for example, in Japanese Patent Application Laid-Open Nos. 11-39505, 10-97641, and Institute of Electronics, Information and Communication Engineers Research Report. COMP, Combation 112(24), 51-58, 2012-05-07, etc. The color of the random dot pattern may be monotone or multicolor. In this example, a black random dot pattern is displayed on a white background.
回転台１１２の周囲には、カメラ１３１～１３３が配置されている。カメラ１３１～１３３は、土台１１１に対して固定されており、回転する回転台１１２およびその上の植物１２０を特定の時間間隔で繰り返し撮影する。カメラの数は、少なくとも１台あればよいが、複数を配置し、植物１２０に対してなるべく死角が生じないようにその数と位置を設定することが望ましい。カメラ１３１～１３３は、デジタルカメラであり、撮影した画像のデータ（画像データ）は、三次元計測装置２００に送られる。
回転台１１２を回転させながら、土台１１１に固定されたカメラ１３１～１３３から、植物１２０を連続して撮影する。これにより、植物１２０を周囲の多数のカメラ位置（視点）から撮影した多数の画像が得られる。この際、隣接するカメラ位置からの画像で撮影範囲が一部重複するようにする。
The
上記の撮影を行った場合、計測対象物である植物１２０を周囲から撮影した複数の撮影画像が得られる。ここで、隣接する視点（カメラ位置）から撮影した画像が一部重複するようにする。例えば、回転台１１２が１回転する間に植物１２０に向けた１台のカメラから７２枚の撮影を行う場合を考える。この場合、回転台１１２に固定された座標系で考えると、回転台１１２の回転中心を中心とする円周上で、３６０°／７２＝５°刻みに視点の位置（カメラ位置）を少しずつずらして撮影した７２枚の画像が得られる。
When the above photographing is performed, a plurality of photographed images obtained by photographing the surroundings of the
３．三次元計測装置
計測対象物である植物１２０の三次元モデルの作成は、公知の三次元写真測量の原理に基づき行われる。三次元計測装置２００は、汎用のＰＣ（パーソナルコンピュータ）を利用して構成されている。三次元計測装置２００は、カメラ１３１～１３３が撮影した画像のデータに基づき、植物１２０の三次元モデルを作成する。また、三次元計測装置２００は、モータ駆動装置１４０に制御信号を送り、回転台１１２の回転制御を行う。また、三次元計測装置２００は、カメラ１３１～１３３の撮影タイミングの制御を行う。
3. Three-Dimensional Measuring Apparatus A three-dimensional model of the
三次元計測装置２００は、ＣＰＵ、メモリデバイス、各種のインターフェースを備えたコンピュータであり、汎用あるいは専用のハードウェアによって構成することができる。三次元計測装置２００を構成する汎用のハードウェアとしては、ＰＣ以外にＷＳ（ワークステーション）が挙げられる。これらコンピュータに三次元計測装置２００の機能を実現する動作プログラムをインストールし、後述する各機能部の機能をソフトウェア的に実現する。
The three-
なお、三次元計測装置２００の一部または全部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部を組み合わせてもよい。
Part or all of the three-
例えば、図示する各機能部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）に代表されるＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などの電子回路やプロセッサにより構成される。また、一部の機能を専用のハードウェアで構成し、他の一部を汎用のマイコンにより構成することも可能である。 For example, each functional unit shown in the figure is composed of electronic circuits and processors such as PLDs (Programmable Logic Devices) represented by CPUs (Central Processing Units), ASICs (Application Specific Integrated Circuits), and FPGAs (Field Programmable Gate Arrays). be. It is also possible to configure part of the functions with dedicated hardware and configure the other part with a general-purpose microcomputer.
また、三次元計測装置２００の機能をサーバで実行し、該サーバにインターネットを介して接続したＰＣ、タブレット、スマートフォン等を操作インターフェース端末として利用する形態も可能である。
It is also possible to use a PC, tablet, smart phone, or the like connected to the server via the Internet as an operation interface terminal, with the functions of the three-
三次元計測装置２００は、画像データ受付部２１０、カメラ位置選択部２２０、ステレオ画像選択部２２１、ターゲット検出部２４０、外部標定要素算出部２４５、背面除去部２４７、特徴点抽出部２５０、周辺マスク作成用カメラ位置選択部２５１、周辺マスク作成用ステレオ画像取得部２５２、周辺マスク作成部２５３、対応点特定部２６０、三次元座標算出部２７０、三次元モデル作成部２８０、記憶部２９０、回転制御部２９５、撮影タイミング制御部２９６、バンドル調整計算部２９７を備える。また、三次元計測装置２００は、外部の機器との間でデータのやり取りを行うインターフェース機能、操作者による操作を受け付けるユーザインターフェース機能を有する。これらは、利用するＰＣのインターフェースを用いている。
The three-
画像データ受付部２１０は、カメラ１３１～１３３が撮影した画像のデータ（画像データ）を受け付け、それを三次元計測装置１００の内部に取り込む。
The image
カメラ位置選択部２２０は、交会法により計算されるカメラ位置の候補を選択する。カメラ位置の選択時は、交会法によるカメラ位置の計算前の状態であり、正確なカメラ位置の座標は不明である。しかしながら、回転台１１２の回転制御とカメラ１３１～１３３の撮影タイミングの制御の内容から、回転台１１２に対するカメラ１３１～１３３の大凡の位置が特定でき、またそこで撮影された画像は選択できる。この処理がカメラ位置選択部２２０で行われる。
The camera
例えば、回転台１１２の回転位置は、ロータリーエンコーダ―等により検出されるので、時間軸上における回転台１１２の回転位置を知ることができる。この情報と撮影時刻のデータとから、撮影時の回転台１１２に対するカメラ位置を知ることができる。例えば、図１１に例示するように計測対象物（回転台）を囲む４箇所のカメラ位置(1),(9),(17),(25)を選択する。ただし、このカメラ位置は概略の位置であり、その精度は三次元写真測量に利用できるレベルにはない。
For example, since the rotational position of the
ステレオ画像選択部２２１は、異なる視点から重複する場所を撮影した２枚以上の画像をステレオ画像として選択する。例えば、図１１（Ｂ）の(1)と(5)の位置から回転台１１２および計測対象物である植物１２０を撮影した画像がステレオ画像として選択される。ステレオ画像は、基本２枚一組であるが、３枚以上を１組としてステレオ画像を構成することもできる。なお、画像には、少なくとも回転台１１２、計測対象物である植物１２０およびランダムドット柱１２１～１２３の少なくとも１本が写っている必要がある。
The stereo
ターゲット検出部２４０は、カメラ１３１～１３３が撮影した画像に写ったターゲット１１３を検出する。予めターゲット１１３の画像は取得されており、それをリファレンスとして撮影画像中からターゲット１１３の抽出が行なわれる。ターゲット１１３は識別でき、また回転台１１２における位置は既知なので、ターゲット検出部２４０により、複数あるターゲット１１３それぞれの位置が検出される。
The
外部標定要素算出部２４５は、撮影画像中の特徴点（特徴点抽出部２５０が抽出した特徴点）を利用して、図６のカメラ１３１～１３３の外部標定要素（位置と姿勢）を後方交会法により算出する。図８（Ａ）には、後方交会法の原理が示されている。後方交会法とは、未知点から３つ以上の既知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置を定める方法である。後方交会法としては、単写真標定、ＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｍｅｔｈｏｄ）が挙げられる。交会法については、基礎測量学（電気書院：２０１０／４発行）ｐ １８２，ｐ１８４に記載されている。また、特開２０１３－１８６８１６号公報には交会法に関して具体的な計算方法の例が示されている。
The exterior orientation
以下、具体的な計算の一例を説明する。ここでは、回転台１１２を回転させ、９０°回転する前と後の異なる２つのタイミングでカメラ１３２による回転台１１２の撮影を行うとする。９０°の回転の制御は、回転制御部２９５で行われ、撮影タイミングの制御は、撮影タイミング制御部２９６で行われる。なお、この例では、定速で回転を継続し、上方から見て９０°異なる角度位置で撮影が行われるように、回転台１１２の回転とカメラ１３２の撮影のタイミングが制御される。
An example of specific calculation will be described below. Here, it is assumed that the
この場合、回転台１１２に固定した座標系で考えると、図１１の位置(1)と(9)から撮影した撮影画像が得られる。この２枚の撮影画像をステレオ画像とし、そこからの特徴点の抽出、抽出した特徴点の当該ステレオ画像間でのマッチング（対応関係の特定）を行う。特徴点の抽出は、特徴点抽出部２５０で行われ、対応点の特定は対応点特定部２６０で行われる。
In this case, if the coordinate system fixed to the
ステレオ画像間での特徴点の対応関係を特定したら、図８（Ａ）の後方交会法を用いて当該ステレオ画像を撮影したカメラ位置を算出する。ここでカメラ位置は、回転台１１２の回転中心を原点とし、回転台１１２に固定されたローカル座標系で記述される。
After specifying the correspondence of the feature points between the stereo images, the position of the camera that captured the stereo images is calculated using the posterior resection method of FIG. 8(A). Here, the camera position is described in a local coordinate system fixed to the
例えば、以下のような方法により、図１１のカメラ位置(1)と(9)におけるカメラの外部標定要素（姿勢と位置）が求められる。まず、回転台１１２の上面は平面であり、そこから取得される特徴点は当該平面上に位置している。また、ランダムドット柱１２１～１２３表面のランダムドットは鉛直面上に分布している。この拘束条件から、相互標定により、相対三次元モデルにおけるカメラ位置(1)と(9)における位置と姿勢が求まる。
For example, the exterior orientation parameters (attitude and position) of the camera at camera positions (1) and (9) in FIG. 11 are obtained by the following method. First, the upper surface of the
例えば、ステレオ画像で対応するランダムドット柱１２１～１２３のドットから得た特徴点の中から、図８（Ａ）のＰ１，Ｐ２，Ｐ３を選択する。ここで、Ｐ１，Ｐ２，Ｐ３は鉛直面上に分布するという拘束条件が課せられる。そして、Ｐ１，Ｐ２，Ｐ３の画面中における位置をｐ１，ｐ２，ｐ３とした場合に、Ｐ１とｐ１、Ｐ２とｐ２、Ｐ３とｐ３を結ぶ３つの方向線を設定する。この場合、この３本の方向線の交点Ｏが当該画像を撮影したカメラ１３２の位置（投影中心）となる。また、点Ｏと画面の中心を結ぶ方向線の延長方向がカメラ１３２の光軸方向となり、カメラ１３２の向き（姿勢）が求まる。
For example, P 1 , P 2 , and P 3 in FIG. 8A are selected from the feature points obtained from the dots of the corresponding
この段階でＰ１，Ｐ２，Ｐ３の絶対位置関係は未知なので、この場合における図８（Ａ）の三次元モデルは相対三次元モデルとなる。この相対三次元モデルを得る処理が相互標定である。 Since the absolute positional relationship of P 1 , P 2 and P 3 is unknown at this stage, the three-dimensional model of FIG. 8A in this case is a relative three-dimensional model. Relative orientation is the process of obtaining this relative three-dimensional model.
ここで、Ｐ１とＰ２がランダムドット柱１２１の上辺の端点であれば、回転台１１２に固定されたローカル座標系におけるそれら端点の座標は既知であるので、上記相対三次元モデルにスケールが与えられる。こうして絶対標定が行なわれ、当該座標系におけるカメラの外部標定要素が判明する。この方法において、複数あるターゲット１１３の位置情報を併用することもできる。
Here, if P1 and P2 are the endpoints of the upper side of the
また、３つ以上のターゲット１１３の位置情報から各カメラ位置におけるカメラの外部標定要素を求めることもできる。例えば、図１１の(1)位置から３つのターゲット１１３が見えているとする。この場合、Ｐ１，Ｐ２，Ｐ３をこれら３つのターゲット１１３の位置とすると、Ｐ１，Ｐ２，Ｐ３の位置は既知なので、点Ｏの座標が求まる。また、点Ｏと画面の中心を結ぶ方向からカメラの姿勢が判明する。こうして、３つのターゲット１１３が見えている(1)の位置におけるカメラの外部標定要素が判る。
It is also possible to obtain exterior orientation parameters of the camera at each camera position from the position information of three or
また、カメラ位置が判れば、図８（Ｂ）の前方交会法により、多数存在する位置が既知でない特徴点の当該座標系（回転台１１２に固定されたローカル座標系）における位置も計算できる。そして、多数の特徴点の位置が判れば、それらの位置に基づく図８（Ａ）の後方交会法によるカメラ位置の算出も行われる。 Also, if the camera position is known, the positions of many feature points whose positions are not known in the coordinate system (the local coordinate system fixed to the turntable 112) can be calculated by the anterior resection method of FIG. 8B. Then, if the positions of many feature points are known, the camera position is calculated by the posterior resection method of FIG. 8(A) based on those positions.
実際には、上述した一連の方法によるカメラ１３１～１３３の外部標定要素の算出のための数式は、多数の特徴点の座標も含めた多数の行列要素を有した計算式となる。この計算式において、未知数が収束するまで繰り返し計算が行なわれることで、カメラ１３１～１３３の外部標定要素が求められる。また、適切なタイミングでバンドル調整計算部２９７によるバンドル調整計算が行なわれ、誤差の最小化が行なわれる。
Actually, the formula for calculating the exterior orientation parameters of the
背面除去部２４７は、撮影した画像中から被計測対象となる背面を除去する。この背面の除去は、色の差を利用して行われる。この技術については、特開２０１８－１９７６８５号公報に記載されている。
The back
特徴点抽出部２５０は、カメラ１３１～１３３が撮影した画像の中から特徴点を抽出する。特徴点は、周囲から区別できる点であり、例えば、エッジ部分、更には周囲と色彩や明度が異なっている部分等が特徴点として抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。
The feature
周辺マスク作成用カメラ位置選択部２５１は、周辺マスクの作成に必要なカメラ視点（カメラ位置）を選択する。例えば、図２のカメラ３とカメラ４のカメラ位置の選択が周辺マスク作成用カメラ位置選択部２５１で行われる。周辺マスク作成用ステレオ画像取得部２５２は、周辺マスクの作成に必要なステレオ画像を取得する。例えば、図２のカメラ３が計測対象物３０を撮影した画像とカメラ４が計測対象物３０を撮影した画像の取得が周辺マスク作成用ステレオ画像取得部２５２で行われる。
The peripheral mask creation camera position selection unit 251 selects a camera viewpoint (camera position) necessary for creating a peripheral mask. For example, selection of the camera positions of camera 3 and
周辺マスク作成部２５３は、図２～図５に関連して説明した方法により、周辺マスクを作成する。対応点特定部２６０は、異なる視点から撮影した２枚以上の画像中でそれぞれ個別に抽出された特徴点の対応関係を特定する。すなわち、一方の画像中で抽出された特徴点と同じ特徴点を他方の画像中で特定する。この特徴点の対応関係を特定する処理は、例えば、Ｆｅａｔｕｒｅ－Ｂａｓｅｄ（特徴抽出）法としてのＳＩＦＴやＳＵＲＦ、Ｋａｚｅ、……や、Ａｒｅａ‐Ｂａｓｅｄ（面積相関）法としてのテンプレートマッチングを用いて行われる。テンプレートマッチングとしては、残差逐次検定法（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、相互相関係数法などが挙げられる。対応点の特定は、基本２枚の画像や２つの点群位置データを対象に行われるが、３枚以上の画像や３つ以上の点群位置データを対象として行うこともできる。
The peripheral
複数の画像間の対応関係を求める技術については、例えば特開２０１３－１７８６５６号公報や特開２０１４－３５７０２号公報に記載されている技術を利用することができる。なお、特開２０１３－１７８６５６号公報や特開２０１４－３５７０２号公報には、特徴点の抽出に係る技術、特徴点の三次元位置を求める技術についても記載されており、これらの技術は、本願明細書中で説明する技術に利用できる。 As for the technology for obtaining the correspondence between a plurality of images, for example, the technology described in JP-A-2013-178656 and JP-A-2014-35702 can be used. In addition, Japanese Patent Application Laid-Open Nos. 2013-178656 and 2014-35702 also describe techniques for extracting feature points and techniques for obtaining three-dimensional positions of feature points. It can be used for the techniques described in the specification.
三次元座標算出部２７０は、特徴点抽出部１５０が画像中から抽出した特徴点の三次元位置を前方交会法により算出する。対象物を構成する多数の特徴点の三次元位置を算出することで、当該対象物を三次元座標が特定された点の集合として把握可能な点群位置データが得られる。更には、この点群位置データに基づき三次元モデルを作成することができる。
The three-dimensional coordinate
図８（Ｂ）には、前方交会法の原理が示されている。前方交会法では、異なる複数点（図８（Ｂ）の場合は、Ｏ１とＯ２の２点）から未知点Ｐへ向かう方向を観測して、それらの方向線の交点として未知点Ｐの位置を求める。 FIG. 8(B) shows the principle of anterior resection. In the anterior resection method, the direction toward the unknown point P is observed from a plurality of different points (two points O1 and O2 in the case of FIG. 8B), and the intersection of those direction lines is the unknown point P. find the position.
図８（Ｂ）には、異なるカメラ位置Ｏ１とＯ２から外部標定要素が既知のカメラを用いて重複する領域を撮影した場合が示されている。ここで、一方の画像における未知点Ｐの画面座標がｐ１であり、他方の画像における未知点Ｐの画面座標がｐ２である。カメラ位置Ｏ１とＯ２は既知であり、またそれらの位置におけるカメラの姿勢も既知であるので、Ｏ１とｐ１を結ぶ方向線とＯ２とｐ２を結ぶ方向線の交点Ｐの座標が計算できる。 FIG. 8(B) shows the case where the overlapping area is photographed from different camera positions O1 and O2 using cameras with known exterior orientation parameters. Here, the screen coordinates of the unknown point P in one image are p1 , and the screen coordinates of the unknown point P in the other image are p2 . Since the camera positions O1 and O2 are known, and the camera postures at those positions are also known, the coordinates of the intersection point P of the direction line connecting O1 and p1 and the direction line connecting O2 and p2 are can be calculated.
三次元モデル作成部２８０は、多数の撮影画像を解析することで得られた三次元点群位置データに基づいて三次元モデルを作成する。例えば、得られた多数の特徴点の三次元座標からなる三次元点群位置データを用いてｔｉｎ（不整三角形網）を作成し、撮影対象物の三次元モデルの作成が行われる。点群位置データに基づいて三次元モデルを作成する技術に関しては、例えば、ＷＯ２０１１／０７０９２７号公報、特開２０１２－２３０５９４号公報、特開２０１４―３５７０２号公報に記載されている。利用する三次元座標系としては、例えば回転台１１２に固定され、回転台１１２の回転中心の位置を原点としたローカル座標が用いられる。
The three-dimensional
記憶部２９０は、三次元計測装置２００で利用される各種のデータ、動作プログラム、動作の結果得られた各種のデータ等を記憶する。記憶部２９０の他に外部の記憶装置（外付けハードディスク装置やデータ記憶用サーバ等）を用いることも可能である。
The
回転制御部２９５は、回転台１１２を回転させるモータ（図示せず）を駆動するモータ駆動装置１４０（図６参照）に制御信号を送り、モータの動作制御を行う。回転制御部２９５の機能により、回転台１１２の回転のタイミングや回転速度の設定が行われる。回転台１１２の回転は、ロータリーエンコーダにより検出され、この検出値に基づき回転制御部２９５は回転台１１２の回転を制御する。
The
撮影タイミング制御部２９６は、カメラ１３１，１３２，１３３に撮影タイミングを決める制御信号を送り、撮影動作の制御を行う。カメラ１３１，１３２，１３３は、撮影タイミング制御部２９６に制御されて、回転する回転台１１２およびその上に配置された植物１２０の撮影を行う。例えば、回転台１１２を５～１０回転／分の回転速度で回転させ、その際にカメラ１３１，１３２，１３３のそれぞれは、０．１～０．５秒間隔で繰り返し静止画像の撮影を行う。
The shooting
４．処理の一例
以下、回転台１１２上の植物１２０の点群位置データを得、更にこの点群位置データに基づき植物１２０の三次元モデルを作成する処理の一例を説明する。以下の処理は、三次元計測システム１００を用いて行われる。以下に説明する処理を実行するプログラムは、記憶部２９０に記憶され、三次元計測装置２００によって実行される。当該プログラムは、適当な記憶媒体や記憶サーバ等に記憶され、そこから提供される形態も可能である。
4. Example of Processing Hereinafter, an example of processing for obtaining point group position data of the
（撮影）
まず、回転台１１２とランダムドット柱１２１～１２３が写るようにカメラ１３１～１３３の位置と姿勢を設定する。その上で撮影を行う。撮影は、計測対象の植物１２０を載せた回転台１１２を等速で回転させながら、特定の時間間隔でカメラ１３１～１３３により行う。
(photograph)
First, the positions and attitudes of the
撮影は、例えば、回転台１１２が等速で１回転する間に等時間間隔で７２枚の静止画像が撮影される条件、すなわち５°異なる角度から７２回撮影する条件で行う。この場合、３台のカメラ１３１～１３３から７２枚×３＝２１６枚の画像が撮影される。この画像データは、三次元計測装置２００に送られ、画像データ受付部２１０で受け付けられる。画像データ受付部２１０で受け付けられた画像データは、記憶部２９０に記憶される。回転速度やシャッター間隔は、植物の種類や取得したい点群密度に対応させて任意に設定できる。
The photographing is performed, for example, under the condition that 72 still images are photographed at equal time intervals while the
植物１２０を撮影した画像データを得たら、各撮影画像から背面を除去する処理を行う。この処理は、図７の背面除去部２４７で行われる。
After obtaining the image data of the photographed
こうして、鉛直上方から見て、周囲３６０°を等間隔に７２分割した方向からの３組（７２×３＝２１６枚）の撮影画像が得られる。以下、この２１６枚の画像を基に処理を行う。この２１６枚の画像は、計測対象物である植物１２０を囲む円周上の等角な７２カ所の位置（カメラ位置）（上下３段で計２１６枚）から植物１２０を撮影した画像となる。
In this way, three sets (72.times.3=216 images) of photographed images are obtained from directions obtained by equally dividing the circumference of 360.degree. Processing is performed based on these 216 images. These 216 images are images of the
（カメラ位置の特定）
まず、計測対象物を囲むカメラ位置を求める。カメラ位置の特定に係る処理は、カメラ１３１～１３３のそれぞれにおいて行われる。まず、図１１に示す手法を用いて等角な角度位置にある複数箇所のカメラ位置を算出する。例えば、図１１には等角な４箇所のカメラ位置の選択を２回に別けて行う場合が示されている。
(Identification of camera position)
First, the camera positions surrounding the object to be measured are obtained. The processing related to specifying the camera position is performed in each of the cameras 131-133. First, using the method shown in FIG. 11, camera positions at a plurality of equiangular angular positions are calculated. For example, FIG. 11 shows a case in which four equiangular camera positions are selected twice.
図１１に示す処理の手順の一例を示す。まず、図１１に示すような上方見て角度位置が９０°異なる４箇所のカメラ位置(1),(9),(17),(25)を選択する（ステップＳ１０１）。この段階でのカメラ位置の選択は、回転台１１２の回転位置とカメラ１３１～１３３の撮影タイミングに基づき行われる。この処理は、図７のカメラ位置選択部２２０で行われる。なお、きりの良い位置にカメラ位置がない場合は、最も近い位置のカメラ位置が選択される。
FIG. 11 shows an example of the procedure of the processing shown in FIG. First, as shown in FIG. 11, four camera positions (1), (9), (17), and (25) with different angular positions by 90° are selected (step S101). The selection of the camera position at this stage is performed based on the rotational position of the
次に、ステップＳ１０１で選択された位置から撮影した画像の中からステレオ画像を選択する（ステップＳ１０２）。この場合、カメラ位置で考えて、(1)と(9)、(9)と(17)、(17)と(25)というように、隣接するカメラ位置がステレオ画像のカメラ位置として選択される。この処理は、図７のステレオ画像選択部２２１で行われる。なお、この段階で背面の除去を行ってもよい。
Next, a stereo image is selected from the images taken from the position selected in step S101 (step S102). In this case, considering the camera positions, adjacent camera positions such as (1) and (9), (9) and (17), (17) and (25) are selected as the camera positions of the stereo image. . This process is performed by the stereo
次に、選択されたステレオ画像からの特徴点の抽出（ステップＳ１０３）を行う。この処理は、特徴点抽出部２５０で行われる。ここで抽出される特徴点には、植物１２０、回転台１１２およびランダムドット柱１２１～１２３の特徴点が含まれる。次に、ステレオ画像間における特徴点の対応関係の特定（ステレオマッチング）を行う（ステップＳ１０４）。また、ステレオ画像間における共通に写っているターゲット１１３の検出を行う(ステップＳ１０５)。
Next, feature points are extracted from the selected stereo image (step S103). This processing is performed by the feature
次に、対応関係を特定した特徴点を用いた後方交会法により、ステップＳ１０１で選択したカメラと特徴点の相対位置関係を算出する相互標定を行う（Ｓ１０６）。またこの際、同時にステレオ画像に写った対応点とカメラ位置の相対位置関係が前方交会法を用いて特定される。 Next, relative orientation for calculating the relative positional relationship between the camera selected in step S101 and the feature points is performed by the backward resection method using the feature points for which the corresponding relationships are specified (S106). At this time, at the same time, the relative positional relationship between the corresponding points captured in the stereo image and the camera position is specified using the anterior resection method.
次に、ステップＳ１０６で求められた相対位置関係に特徴点から得られるスケールやターゲット１１３の位置から実寸法が与えられ、絶対標定が行なわれる（ステップＳ１０７）。この処理により、カメラの外部標定要素（位置と姿勢）とステップＳ１０４で対応関係が特定された特徴点の位置が求まる。最後にバンドル調整計算を行ない誤差の最小化を行う（ステップＳ１０８）。
Next, the relative positional relationship obtained in step S106 is given the actual size from the scale obtained from the feature points and the position of the
Ｓ１０６～Ｓ１０８の処理は、図７の外部標定要素算出部２４５、三次元座標算出部２７０およびバンドル調整計算部２９７で行なわれる。以上の処理により、図１１（Ａ）のカメラ位置(1),(9),(17),(25)が算出される。以上の処理は、カメラ１３１～１３３のそれぞれにおいて行われる。
The processing of S106 to S108 is performed by the exterior
以上の処理を繰り返すことで、徐々にカメラ位置を増やしながらのカメラ位置の算出が全ての画像を対象として行われる。例えば、図１１（Ａ）に係るＳ１０１～Ｓ１０６の処理が行なった後、図１１（Ｂ）に示すように、新たな４箇所のカメラ位置に関してＳ１０１～１０６の処理を繰り返す。この場合、新たに求めるカメラ位置が図１１（Ｂ）に示す(5),(13),(21),(29)である。 By repeating the above processing, the camera positions are calculated for all images while gradually increasing the camera positions. For example, after performing the processing of S101 to S106 in FIG. 11A, as shown in FIG. 11B, the processing of S101 to S106 is repeated for four new camera positions. In this case, the newly obtained camera positions are (5), (13), (21), and (29) shown in FIG. 11(B).
この場合、図１１（Ａ）に示す(1),(9),(17),(25)のカメラ位置を初期値として、新たなカメラ位置(5),(13),(21),(29)が計算される。この際、初期値として扱われるカメラ位置(1),(9),(17),(25)は再計算される。 In this case, the camera positions (1), (9), (17), and (25) shown in FIG. 29) is calculated. At this time, camera positions (1), (9), (17), and (25) treated as initial values are recalculated.
上記の処理では、既に求められているカメラ位置を初期値として、その時点で対象となっている全てのカメラ位置の計算を行う。この計算は、カメラ位置を増やしながら最終的に全ての画像が対象となるように、繰り返し行われる。こうして、全ての画像におけるカメラ位置を算出する。 In the above processing, the camera positions that have already been obtained are used as initial values, and all the camera positions that are the target at that time are calculated. This calculation is repeated with increasing camera positions until all images are covered. In this way, camera positions in all images are calculated.
（計測対象物の三次元計測）
全ての画像における回転台１１２に対するカメラ位置を求めたら、今度は隣接するカメラ位置でステレオ画像を構成し、当該ステレオ画像から抽出される特徴点の三次元座標位置を算出する。この際、図１１の処理で求めた粗な点群の位置データも利用される。図１０は、この処理のフローチャートの一例である。
(Three-dimensional measurement of measurement object)
After obtaining the camera positions with respect to the
処理が開始されると、隣接または近接する視点位置（カメラ位置）から植物１２０を撮影した２枚の画像をステレオ画像として選択する（ステップＳ２０１）。選択の候補となる画像は、カメラ１３１～１３３が撮影した合計２１６枚の画像である。この処理は、ステレオ画像選択部２２１で行われる。選択する２枚の画像は、異なるカメラが撮影したものであってもよい。なお、重複した対象を撮影した３枚状以上の画像をステレオ画像として選択することもできる。
When the process is started, two images obtained by photographing the
次に、ステップＳ２０１で選択したステレオ画像において、背面を除去する処理を行う（ステップＳ２０２）この処理は、図７の背面除去部２４７で行われる（ステップＳ２０２）。次に、背面を除去したステレオ画像からの特徴点の抽出を行う（ステップＳ２０３）。この処理は、図７の特徴点抽出部２５０で行われる。
Next, in the stereo image selected in step S201, processing for removing the back surface is performed (step S202). This processing is performed by the back
次に、周辺マスクの作成に利用する画像を取得するためのカメラの位置を選択する（ステップＳ２０４）。この処理では、ステップＳ２０１で選択したステレオ画像を得たカメラ位置の両側から一組のカメラ位置を選択する。例えば、図２のカメラ１とカメラ２の画像がステップＳ２０１で選択された場合、その両サイドのカメラ３とカメラ４の位置がステップＳ２０４で選択される。
Next, the position of the camera for acquiring the image used for creating the peripheral mask is selected (step S204). In this process, a pair of camera positions are selected from both sides of the camera position from which the stereo image selected in step S201 was obtained. For example, when the images of
次に、ステップＳ２０４で選択したカメラ位置から撮影した画像を周辺マスク作成用ステレオ画像として取得する（ステップＳ２０５）。例えば、図２のカメラ３とカメラ４が撮影した計測対象物３０の画像がステップＳ２０５で取得される。
Next, an image captured from the camera position selected in step S204 is obtained as a stereo image for peripheral mask creation (step S205). For example, images of the
次に、図２～図５に示す原理を利用して周辺マスクを作成する（ステップＳ２０６）。この際、背面の除去を行うことで得られる計測対象物の画像のエッジ部分の情報を利用して、図２～図５に示す原理を利用した周辺マスクの作成を行う。例えば、図２には、周辺マスク１０が設定される例が示されている。
Next, a peripheral mask is created using the principle shown in FIGS. 2 to 5 (step S206). At this time, information on the edge portion of the image of the object to be measured obtained by removing the back surface is used to create a peripheral mask using the principles shown in FIGS. For example, FIG. 2 shows an example in which a
次に、ステップＳ２０３で抽出した特徴点のステレオ画像間での対応関係の特定を行う（ステップＳ２０７）。この処理は、図７の対応点特定部２６０で行われる。この処理では、ステップＳ２０６で作成した周辺マスクでマスクされる領域では対応点の特定が禁止される。つまり、ステップＳ２０６で作成した周辺マスクの領域では、対応点の特定は行わない。
Next, the correspondence between the stereo images of the feature points extracted in step S203 is identified (step S207). This process is performed by the corresponding
例えば、図２には、周辺マスク１０が設定され、そこからのカメラ１とカメラ２のステレオ画像からの対応点の特定が禁止された例が示されている。この例によれば、周辺マスク１０を利用することで、図１の△点や□点で示される誤対応点の検出が防止される。
For example, FIG. 2 shows an example in which a
また、ステレオ画像中からのターゲット１１３の検出を行う（ステップＳ２０８）。この処理はターゲット検出部２４０で行われる。ターゲットの検出はステップＳ２０２～Ｓ２０８の間で行えばよい。
Also, the
次に、ステップＳ２０７でステレオ画像間での対応関係が特定された特徴点の三次元位置の算出を行う（ステップＳ２０９）。この際、図１１の処理で位置を特定した特徴点を初期値として用いる。この処理は、三次元座標算出部２７０で行われる。特徴点の三次元位置は、回転台１１２に固定された座標系での座標として算出される。この位置が特定された特徴点が三次元点群となり、植物１２０の点群位置データが得られる。
Next, the three-dimensional position of the feature point for which the correspondence between the stereo images has been specified in step S207 is calculated (step S209). At this time, the feature points whose positions are specified in the process of FIG. 11 are used as initial values. This processing is performed by the three-dimensional coordinate
次に、ステップＳ２０１の前段階に戻り、ステップＳ２０１以下の処理が繰り返される。例えば、カメラＮ、カメラＮ＋１、カメラＮ＋２、カメラＮ＋３・・・・と並んでいる場合に、カメラＮとカメラＮ＋１の撮影画像をステレオ画像とした図１０の処理、カメラＮ＋１とカメラＮ＋２の撮影画像をステレオ画像とした図１０の処理、カメラＮ＋２とカメラＮ＋３の撮影画像をステレオ画像とした図１０の処理、・・・を全ての画像を対象に順次行う。 Next, the process returns to the previous stage of step S201, and the processes after step S201 are repeated. For example, when camera N, camera N+1, camera N+2, camera N+3, . 10 for stereo images, the processing for FIG. 10 for stereo images taken by cameras N+2 and N+3, . . . are sequentially performed on all images.
新たな組み合わせのステレオ画像が選択されると、その段階で未知の対応点（ステレオ画像を構成する画像の中で対応する未知な特徴点）が抽出され、その位置が算出される。この処理を繰り返すことで、利用する全ての画像から順次選択されたステレオ画像中で共通する特徴点の三次元位置の算出が行われる。こうして、三次元計測の対象である植物１２０を、三次元座標が判明した点の集合として捉えた点群位置データが得られる。
When a new combination of stereo images is selected, unknown corresponding points (corresponding unknown feature points in the images forming the stereo image) are extracted at that stage, and their positions are calculated. By repeating this process, the three-dimensional positions of common feature points in stereo images sequentially selected from all images to be used are calculated. In this way, point group position data is obtained in which the
植物１２０の点群位置データ得たら、それに基づき植物１２０の三次元モデルを作成する。この処理は、既知の処理であるので説明は省略する。三次元モデルの作成については、例えば、国際公開番号ＷＯ２０１１/０７０９２７号公報、特開２０１２－２３０５９４号公報、特開２０１４－３５７０２号公報等に記載されている。
After obtaining the point group position data of the
（むすび）
以上述べた実施形態では、異なる第１の視点（図２のカメラ２）および第２の視点（図２のカメラ１）から重複する撮影対象（図２の計測対象物３０）を撮影したステレオ画像を得る画像データ受付部２１０（図７参照）と、前記ステレオ画像において対応する特徴点を特定する対応点検出部２６０（図７参照）と、前記第１の視点（図２のカメラ２）の前記第２の視点（図２のカメラ１）から離れる側からの第１の補助視点（図２のカメラ４）の選択、および前記第１の視点（図２のカメラ２）の前記第２の視点（図２のカメラ１）の側からの第２の補助視点（図２のカメラ３）の選択を行う補助視点選択部（周辺マスク作成用カメラ位置選択部２５１）と、前記第１の補助視点（図２のカメラ４）から前記撮影対象を撮影した第１の補助画像（図２のカメラ４が撮影した画像）と前記第２の補助視点（図２のカメラ３）から前記撮影対象を撮影した第２の補助画像（図２のカメラ３が撮影した画像）とを取得する補助画像取得部（周辺マスク作成用ステレオ画像取得部２５２）と、前記第１の補助視点（図２のカメラ４）から見て前記撮影対象（計測対象物３０）の影となり、且つ、前記第２の補助視点（図２のカメラ３）から見て前記撮影対象（計測対象物３０）の影とならない領域をマスクする周辺マスク１０を作成する周辺マスク作成部２５３とを備え、前記周辺マスク１０でマスクされる領域における前記対応する特徴点の特定が制限される三次元計測装置２００が示されている。
(Conclusion)
In the above-described embodiment, stereo images of overlapping imaging targets (
三次元計測装置２００では、周辺マスクを用いることで、図２の△点や□点といったカメラ１とカメラ２の撮影画像から得られるステレオ画像間での誤対応点の検出が防止される。
In the three-
（その他）
回転台１１２の回転を精密に制御し、撮影時に回転を停止し、静止させた状態とする態様も可能である。例えば撮影時に長い露光時間が必要な場合や、対象が振動により生じた揺れが収束するまでに、この手法を利用することができる。また、計測の対象は植物に限定されない。
(others)
It is also possible to control the rotation of the
計測対象を回転させずに固定し、計測対象に向けたカメラを円周上で移動させつつ撮影を行ってもよい。この場合、カメラが移動する円周の中心を基準にカメラの角度位置が把握される。また、計測対象とカメラの位置関係を相対的に固定してもよい。この場合、計測対象を中心とした円周上に多数のカメラを配置した状態とし、各カメラ位置からの撮影を行う。この場合、カメラが配置された円周の中心を基準に角度位置が把握される。 Alternatively, the object to be measured may be fixed without being rotated, and the camera directed toward the object to be measured may be moved on the circumference of the circle while shooting. In this case, the angular position of the camera is grasped with reference to the center of the circumference along which the camera moves. Also, the positional relationship between the measurement target and the camera may be relatively fixed. In this case, a large number of cameras are arranged on the circumference of the object to be measured, and images are taken from each camera position. In this case, the angular position is grasped with reference to the center of the circumference where the camera is arranged.
本発明は、図６の形態に限定されず、ステレオ画像を用いた三次元計測の技術に広く適用できる。 The present invention is not limited to the form of FIG. 6, and can be widely applied to three-dimensional measurement techniques using stereo images.
１０…周辺マスク、２０…背面、３０…計測対象物、４１…方向線、４２…方向線、１００…３Ｄ計測システム、１１１…土台、１１２…回転台、１１３…ターゲット、１２０…測定対象物である植物、１２１～１２３…ランダムドット柱、１２４…鉢、１２５…２次元バーコード表示、１３１～１３３…カメラ、２００…ＰＣを利用した３Ｄ計測処理装置。
10... Peripheral mask, 20... Back surface, 30... Measurement object, 41... Direction line, 42... Direction line, 100... 3D measurement system, 111... Base, 112... Rotary table, 113... Target, 120... Measurement object
Claims (6)
前記ステレオ画像において対応する特徴点を特定する対応点特定部と、
前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択部と、
前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得部と、
前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定部と
を備え、
前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測装置。 a stereo image acquisition unit that obtains stereo images of a subject photographed from different first and second viewpoints;
a corresponding point identifying unit that identifies corresponding feature points in the stereo image;
Auxiliary for selecting a first auxiliary viewpoint from a side of the first viewpoint away from the second viewpoint and selecting a second auxiliary viewpoint from the second viewpoint side of the first viewpoint a viewpoint selection unit;
an auxiliary image obtaining unit that obtains a first auxiliary image obtained by photographing the object to be photographed from the first auxiliary viewpoint and a second auxiliary image obtained by photographing the object to be photographed from the second auxiliary viewpoint;
a mask area setting unit that sets, as a mask area, an area that is a shadow of the imaging target when viewed from the first auxiliary viewpoint and is not a shadow of the imaging target when viewed from the second auxiliary viewpoint;
A three-dimensional measuring apparatus using an image in which the identification of the corresponding feature points is restricted in the mask area.
前記第１の補助視点と前記第１の補助視点から見た前記撮影対象の縁の部分とを結ぶ第１の方向線と、
第２の補助視点と前記第２の補助視点から見た前記第１の補助視点からは死角となる前記撮影対象の縁の部分とを結ぶ第２の方向線と
の交点の前記第１の視点から見た後方であって、前記第１の方向線と前記第２の方向線で囲まれる領域である請求項１または２に記載の画像を用いた三次元計測装置。 The mask area is
a first direction line connecting the first auxiliary viewpoint and an edge portion of the imaging target viewed from the first auxiliary viewpoint;
The first viewpoint at the intersection of the second direction line connecting the second auxiliary viewpoint and the edge portion of the object to be photographed, which is a blind spot from the first auxiliary viewpoint viewed from the second auxiliary viewpoint. 3. The three-dimensional measuring apparatus using an image according to claim 1 or 2, which is a rearward area viewed from above and surrounded by the first direction line and the second direction line.
前記ステレオ画像において対応する特徴点を特定する対応点特定ステップと、
前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択ステップと、
前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得ステップと、
前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定ステップと
を有し、
前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測方法。 a stereo image acquisition step of obtaining stereo images of an object photographed from different first and second viewpoints;
a corresponding point identification step of identifying corresponding feature points in the stereo image;
Auxiliary for selecting a first auxiliary viewpoint from a side of the first viewpoint away from the second viewpoint and selecting a second auxiliary viewpoint from the second viewpoint side of the first viewpoint a viewpoint selection step;
an auxiliary image obtaining step of obtaining a first auxiliary image obtained by photographing the object to be photographed from the first auxiliary viewpoint and a second auxiliary image obtained by photographing the object to be photographed from the second auxiliary viewpoint;
a mask area setting step of setting, as a mask area, an area that is a shadow of the imaging target when viewed from the first auxiliary viewpoint and is not a shadow of the imaging target when viewed from the second auxiliary viewpoint;
A three-dimensional measurement method using an image in which the identification of the corresponding feature points is restricted in the mask area.
コンピュータに
異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得ステップと、
前記ステレオ画像において対応する特徴点を特定する対応点特定ステップと、
前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択ステップと、
前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得ステップと、
前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定ステップと
を実行させ、
前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測用プログラム。 A program that is read and executed by a computer,
a stereo image acquisition step of obtaining stereo images of an object to be photographed from different first and second viewpoints in a computer;
a corresponding point identification step of identifying corresponding feature points in the stereo image;
Auxiliary for selecting a first auxiliary viewpoint from a side of the first viewpoint away from the second viewpoint and selecting a second auxiliary viewpoint from the second viewpoint side of the first viewpoint a viewpoint selection step;
an auxiliary image obtaining step of obtaining a first auxiliary image obtained by photographing the object to be photographed from the first auxiliary viewpoint and a second auxiliary image obtained by photographing the object to be photographed from the second auxiliary viewpoint;
a mask area setting step of setting, as a mask area, an area that is a shadow of the subject when viewed from the first auxiliary viewpoint and is not a shadow of the subject when viewed from the second auxiliary viewpoint;
A program for three-dimensional measurement using an image in which the identification of the corresponding feature points is restricted in the mask area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019105107A JP7229102B2 (en) | 2019-06-05 | 2019-06-05 | Three-dimensional measurement device using images, three-dimensional measurement method using images, and three-dimensional measurement program using images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019105107A JP7229102B2 (en) | 2019-06-05 | 2019-06-05 | Three-dimensional measurement device using images, three-dimensional measurement method using images, and three-dimensional measurement program using images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020197493A JP2020197493A (en) | 2020-12-10 |
| JP7229102B2 true JP7229102B2 (en) | 2023-02-27 |
Family
ID=73649560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019105107A Active JP7229102B2 (en) | 2019-06-05 | 2019-06-05 | Three-dimensional measurement device using images, three-dimensional measurement method using images, and three-dimensional measurement program using images |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7229102B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007327938A (en) | 2006-05-10 | 2007-12-20 | Topcon Corp | Image processing device and method therefor |
| JP2011141710A (en) | 2010-01-07 | 2011-07-21 | National Institute Of Information & Communication Technology | Device, method and program for estimating depth |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09231371A (en) * | 1996-02-21 | 1997-09-05 | Canon Inc | Picture information input device and its method |
-
2019
- 2019-06-05 JP JP2019105107A patent/JP7229102B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007327938A (en) | 2006-05-10 | 2007-12-20 | Topcon Corp | Image processing device and method therefor |
| JP2011141710A (en) | 2010-01-07 | 2011-07-21 | National Institute Of Information & Communication Technology | Device, method and program for estimating depth |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020197493A (en) | 2020-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5480914B2 (en) | Point cloud data processing device, point cloud data processing method, and point cloud data processing program | |
| CN113379822B (en) | Method for acquiring 3D information of target object based on pose information of acquisition equipment | |
| US9697607B2 (en) | Method of estimating imaging device parameters | |
| US6917702B2 (en) | Calibration of multiple cameras for a turntable-based 3D scanner | |
| US9443308B2 (en) | Position and orientation determination in 6-DOF | |
| CN109584307B (en) | System and method for improving calibration of intrinsic parameters of a camera | |
| JP5620200B2 (en) | Point cloud position data processing device, point cloud position data processing method, point cloud position data processing system, and point cloud position data processing program | |
| CN106530358A (en) | Method for calibrating PTZ camera by using only two scene images | |
| WO2010004466A1 (en) | Three dimensional mesh modeling | |
| EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
| JP6898776B2 (en) | 3D measuring device | |
| JP2010287174A (en) | Furniture simulation method, device, program, recording medium | |
| CN112686950B (en) | Pose estimation method, pose estimation device, terminal equipment and computer readable storage medium | |
| JP2017003525A (en) | Three-dimensional measuring device | |
| JP2010133752A (en) | Shape measuring device and program | |
| US6178392B1 (en) | Method for combining the computer models of two surfaces in 3-D space | |
| JP2004280776A (en) | Method for determining shape of object in image | |
| JPH0766436B2 (en) | 3D model construction device using continuous silhouette images | |
| JP7229102B2 (en) | Three-dimensional measurement device using images, three-dimensional measurement method using images, and three-dimensional measurement program using images | |
| CN111553944A (en) | Method and device for determining camera layout position, terminal equipment and storage medium | |
| JP7242431B2 (en) | Three-dimensional measuring device, three-dimensional measuring method and three-dimensional measuring program | |
| CN114494316A (en) | Corner marking method, parameter calibration method, medium, and electronic device | |
| JP2003067726A (en) | Solid model generation system and method | |
| JP7251631B2 (en) | Template creation device, object recognition processing device, template creation method, object recognition processing method, and program | |
| Rao et al. | Inferring plane orientation from a single motion blurred image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190613 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220311 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7229102 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |