JP2020197493A - Three-dimensional measurement device using image, three-dimensional measurement method using image, and three-dimensional measurement program using image - Google Patents

Three-dimensional measurement device using image, three-dimensional measurement method using image, and three-dimensional measurement program using image Download PDF

Info

Publication number
JP2020197493A
JP2020197493A JP2019105107A JP2019105107A JP2020197493A JP 2020197493 A JP2020197493 A JP 2020197493A JP 2019105107 A JP2019105107 A JP 2019105107A JP 2019105107 A JP2019105107 A JP 2019105107A JP 2020197493 A JP2020197493 A JP 2020197493A
Authority
JP
Japan
Prior art keywords
viewpoint
auxiliary
camera
image
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019105107A
Other languages
Japanese (ja)
Other versions
JP7229102B2 (en
Inventor
篤司 林
Tokuji Hayashi
篤司 林
高地　伸夫
Nobuo Takachi
伸夫 高地
七夕　高也
Takaya Tanabata
高也 七夕
祥子 磯部
Sachiko Isobe
祥子 磯部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kazusa DNA Research Institute Foundation
Original Assignee
Kazusa DNA Research Institute Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kazusa DNA Research Institute Foundation filed Critical Kazusa DNA Research Institute Foundation
Priority to JP2019105107A priority Critical patent/JP7229102B2/en
Publication of JP2020197493A publication Critical patent/JP2020197493A/en
Application granted granted Critical
Publication of JP7229102B2 publication Critical patent/JP7229102B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

To suppress occurrence of an erroneous corresponding point at an edge portion of a measurement object on a stereo image in three-dimensional measurement.SOLUTION: A three-dimensional measurement device 200 includes: an image data reception section 210 that obtains a stereo image from different first and second viewpoints; a corresponding point detection section 260 that identifies a corresponding feature point in the stereo image; a camera position selection section 251 for creating a peripheral mask, which performs selection of a first viewpoint's first auxiliary viewpoint from a side leaving from the second viewpoint and selection a second auxiliary viewpoint from a side approaching to the second viewpoint; a stereo image acquisition section 252 for creating the peripheral mask, which acquires first and second auxiliary images photographed from the first and second auxiliary viewpoints; and a peripheral mask creation section 253 that creates the peripheral mask which becomes a shadow of an object to be photographed when viewed from the first auxiliary viewpoint and does not become the shadow of the object to be photographed when viewed from the second auxiliary viewpoint. The three-dimensional measurement device uses an image in which identification of the corresponding feature point in an area masked by the peripheral mask is restricted.SELECTED DRAWING: Figure 7

Description

本発明は、画像を用いた三次元計測の技術に関する。 The present invention relates to a technique for three-dimensional measurement using an image.

画像を用いて植物の三次元形状に係るデータを取得し、その成長過程を三次元的に把握する技術が知られている。例えば、特許文献１には、計測対象物である植物を回転させながら植物の写真撮影を行い、得られた複数の撮影画像から被写体（植物）の三次元モデルを得る技術が記載されている。 There is known a technique for acquiring data on the three-dimensional shape of a plant using an image and grasping the growth process in three dimensions. For example, Patent Document 1 describes a technique of taking a picture of a plant while rotating a plant as a measurement object and obtaining a three-dimensional model of a subject (plant) from a plurality of obtained captured images.

特開２０１８−１９７６８５号公報JP-A-2018-197685

植物の茎のような立体物を対象とした場合、ステレオ画像のマッチング点の誤差が生じる問題がある。図１には、上記の問題が生じる原理が概念的に示されている。●点は、カメラ１とカメラ２から撮影したステレオ画像から求めた計測対象物上のマッチング点である。これは理想的な場合であるが、実際には、△点や□点でマッチングが取れてしまう場合がある。△点や□点は計測対象物の特徴点ではないので、△点や□点はステレオ画像上の特徴点の誤対応点となる。この誤対応点は、ノイズとなる。 When targeting a three-dimensional object such as a plant stem, there is a problem that an error occurs in the matching point of the stereo image. FIG. 1 conceptually shows the principle that causes the above problem. ● The points are matching points on the measurement object obtained from the stereo images taken by the cameras 1 and 2. This is an ideal case, but in reality, matching may be achieved at points △ and □. Since the Δ and □ points are not the feature points of the object to be measured, the Δ and □ points are erroneous correspondence points of the feature points on the stereo image. This miscorrespondence point becomes noise.

本発明は、写真を用いた三次元計測において、ステレオ画像上での計測対象物の縁の部分や背面における誤対応点の発生を抑えることを目的とする。 An object of the present invention is to suppress the occurrence of erroneous correspondence points on the edge portion and the back surface of a measurement object on a stereo image in three-dimensional measurement using a photograph.

本発明は、異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得部と、前記ステレオ画像において対応する特徴点を特定する対応点特定部と、前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択部と、前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得部と、前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定部とを備え、前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測装置である。 The present invention includes a stereo image acquisition unit that obtains a stereo image obtained by photographing a photographing target from different first viewpoints and a second viewpoint, a corresponding point specifying unit that specifies a corresponding feature point in the stereo image, and the first. Auxiliary viewpoint selection unit that selects the first auxiliary viewpoint from the side away from the second viewpoint and the selection of the second auxiliary viewpoint from the side of the second viewpoint of the first viewpoint. An auxiliary image acquisition unit that acquires a first auxiliary image obtained by photographing the photographing object from the first auxiliary viewpoint and a second auxiliary image obtained by photographing the photographing object from the second auxiliary viewpoint, and the above. The correspondence is provided with a mask area setting unit that sets a region that is a shadow of the shooting target when viewed from the first auxiliary viewpoint and is not a shadow of the shooting target when viewed from the second auxiliary viewpoint as a mask area. This is a three-dimensional measuring device using an image in which the identification of feature points is limited in the mask region.

本発明において、前記第２の補助視点が前記第２の視点の前記第１の視点から離れる側から選択される態様が挙げられる。本発明において、前記マスク領域は、前記第１の補助視点と前記第１の補助視点から見た前記撮影対象の縁の部分とを結ぶ第１の方向線と、第２の補助視点と前記第２の補助視点から見た前記第１の補助視点からは死角となる前記撮影対象の縁の部分とを結ぶ第２の方向線との交点の前記第１の視点から見た後方であって、前記第１の方向線と前記第２の方向線で囲まれる領域である態様が挙げられる。本発明において、前記マスク領域において、前記ステレオ画像における対応点の特定が禁止されている態様が挙げられる。 In the present invention, there is an embodiment in which the second auxiliary viewpoint is selected from the side of the second viewpoint away from the first viewpoint. In the present invention, the mask region includes a first direction line connecting the first auxiliary viewpoint and the edge portion of the imaging target viewed from the first auxiliary viewpoint, a second auxiliary viewpoint, and the first. The point of intersection with the second direction line connecting the edge portion of the object to be imaged, which is a blind spot from the first auxiliary viewpoint seen from the second auxiliary viewpoint, is behind the first viewpoint. An embodiment in which the region is surrounded by the first direction line and the second direction line can be mentioned. In the present invention, there is an embodiment in which the identification of the corresponding point in the stereo image is prohibited in the mask region.

本発明は、異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得ステップと、前記ステレオ画像において対応する特徴点を特定する対応点特定ステップと、前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択ステップと、前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得ステップと、前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定ステップとを有し、前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測方法としても把握できる。 The present invention includes a stereo image acquisition step of obtaining a stereo image obtained by capturing a shooting target from different first viewpoints and a second viewpoint, a corresponding point specifying step of specifying a corresponding feature point in the stereo image, and the first. Auxiliary viewpoint selection step of selecting a first auxiliary viewpoint from a side away from the second viewpoint of the viewpoint and selecting a second auxiliary viewpoint from the side of the second viewpoint of the first viewpoint. And the auxiliary image acquisition step of acquiring the first auxiliary image obtained by photographing the photographing object from the first auxiliary viewpoint and the second auxiliary image obtained by photographing the imaged object from the second auxiliary viewpoint, and the above. It has a mask area setting step of setting a region that is a shadow of the imaged object when viewed from the first auxiliary viewpoint and is not a shadow of the imaged object when viewed from the second auxiliary viewpoint as a mask area. It can also be grasped as a three-dimensional measurement method using an image in which the identification of the corresponding feature point is limited in the mask region.

本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得ステップと、前記ステレオ画像において対応する特徴点を特定する対応点特定ステップと、前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択ステップと、前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得ステップと、前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定ステップとを実行させ、前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測用プログラムとして把握することもできる。 The present invention is a program to be read and executed by a computer, and corresponds to a stereo image acquisition step of obtaining a stereo image obtained by capturing a shooting target from a different first viewpoint and a second viewpoint by the computer, and the stereo image. The corresponding point identification step for specifying the feature point, the selection of the first auxiliary viewpoint from the side of the first viewpoint away from the second viewpoint, and the side of the second viewpoint of the first viewpoint. Auxiliary viewpoint selection step for selecting the second auxiliary viewpoint, the first auxiliary image obtained by photographing the photographing object from the first auxiliary viewpoint, and the second auxiliary image obtained by photographing the photographing object from the second auxiliary viewpoint. Masks the auxiliary image acquisition step for acquiring the auxiliary image of the above, and the area that is the shadow of the shooting target when viewed from the first auxiliary viewpoint and is not the shadow of the shooting target when viewed from the second auxiliary viewpoint. It is also possible to execute the mask area setting step for setting the area and grasp the identification of the corresponding feature points as a three-dimensional measurement program using an image in which the identification of the corresponding feature points is restricted in the mask area.

本発明によれば、写真を用いた三次元計測において、ステレオ画像上での計測対象物の縁の部分における誤対応点の発生が抑えられる。 According to the present invention, in three-dimensional measurement using a photograph, it is possible to suppress the occurrence of erroneous correspondence points at the edge portion of the measurement object on the stereo image.

誤対応点が発生する原理を示す図である。It is a figure which shows the principle that an erroneous correspondence point occurs. 発明の原理を示す図である。It is a figure which shows the principle of the invention. 発明の原理を示す図である。It is a figure which shows the principle of the invention. 発明の原理を示す図である。It is a figure which shows the principle of the invention. 発明の原理を示す図である。It is a figure which shows the principle of the invention. 実施形態の概念図である。It is a conceptual diagram of an embodiment. 実施形態のブロック図である。It is a block diagram of an embodiment. 後方交会法の原理を示す図（Ａ）と前方交会法の原理を示す図（Ｂ）である。It is a figure (A) which shows the principle of a rear association method and a figure (B) which shows the principle of a forward association method. 処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the processing procedure. 処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the processing procedure. カメラ位置を求める原理を示す図である。It is a figure which shows the principle of finding a camera position.

１．原理
（初めに）
図１の問題が発生するのは、以下の理由による。図１における●点は、カメラ２から見て計測対象物の縁の部分である。この縁の部分では、背面の画像情報の影響を受け、分離に誤差が生じる。この結果、奥行き方向の情報が紛れ込むことによる△点での誤マッチングや背面の□点での誤マッチングが生じる。 1. 1. Principle (Introduction)
The problem shown in FIG. 1 occurs for the following reasons. The ● point in FIG. 1 is the edge of the object to be measured when viewed from the camera 2. This edge portion is affected by the image information on the back surface, and an error occurs in the separation. As a result, erroneous matching at the △ point and erroneous matching at the □ point on the back surface occur due to the information in the depth direction being mixed in.

図１の問題を抑制するために、図２に示すように、ステレオ画像におけるマッチングを制限する周辺マスク１０を設定する。図２には、カメラ１とカメラ２で計測対象物３０を撮影しステレオ画像を得、このステレオ画像からステレオ画像間で対応する特徴点（●印の点）をステレオマッチング点（対応点ともいう）として求める場合が示されている。 In order to suppress the problem of FIG. 1, as shown in FIG. 2, a peripheral mask 10 that limits matching in a stereo image is set. In FIG. 2, the measurement object 30 is photographed by the camera 1 and the camera 2 to obtain a stereo image, and the feature points (points marked with ●) corresponding between the stereo images are referred to as stereo matching points (corresponding points). ) Is shown.

周辺マスク１０を設定することで、その領域でのマッチングが制限（この場合は禁止）される。これにより、背面２０の存在の影響等により生じる△点や□点で示される誤マッチング点の発生が抑制される。 By setting the peripheral mask 10, matching in that area is restricted (prohibited in this case). As a result, the occurrence of erroneous matching points indicated by points Δ and □ caused by the presence of the back surface 20 and the like is suppressed.

（周辺マスクの設定の原理）
周辺マスク１０は、以下のようにして設定される。まず、ステレオ画像を撮影するカメラ１とカメラ２の外側（両サイド）からカメラ３とカメラ４の１組のカメラを選択する。カメラ３とカメラ４は、周辺マスク１０を設定するために選択される。 (Principle of setting peripheral mask)
The peripheral mask 10 is set as follows. First, a pair of cameras, the camera 3 and the camera 4, is selected from the outside (both sides) of the camera 1 and the camera 2 for capturing a stereo image. The camera 3 and the camera 4 are selected to set the peripheral mask 10.

ここで、カメラ１，カメラ２，カメラ３，カメラ４のそれぞれは、計測対象物３０を視界に納め、各カメラの撮影画像には、計測対象物３０が写っている（但し、見る角度が異なっている）。また、カメラ１，カメラ２，カメラ３およびカメラ４は、同一平面上に位置している。 Here, each of the camera 1, the camera 2, the camera 3, and the camera 4 puts the measurement object 30 in the field of view, and the measurement object 30 is reflected in the captured image of each camera (however, the viewing angle is different). ing). Further, the camera 1, the camera 2, the camera 3 and the camera 4 are located on the same plane.

まず、カメラ３が撮影した計測対象物３０におけるステレオマッチング点（特定された対応点）●より外側（カメラ１から見てカメラ３の側）の縁と、カメラ３の位置（投影原点（視点））とを結ぶ方向線４１を設定する。また、カメラ４が撮影した計測対象物３０におけるステレオマッチング点●に最も近い縁と、カメラ４の位置（投影原点（視点））とを結ぶ方向線４２を設定する。 First, the stereo matching point (specified corresponding point) in the measurement object 30 photographed by the camera 3 ● The edge outside (the side of the camera 3 when viewed from the camera 1) and the position of the camera 3 (projection origin (viewpoint)). ) Is set as the direction line 41. Further, a direction line 42 connecting the edge closest to the stereo matching point ● in the measurement object 30 photographed by the camera 4 and the position (projection origin (viewpoint)) of the camera 4 is set.

そして、方向線４１と４２が交差する点の後方（カメラ１およびカメラ２から見た遠方）で方向線４１，４２に囲まれる領域を周辺マスク１０として設定する。周辺マスク１０は、カメラ４から見て計測対象物３０の影（背後）であり、且つ、カメラ３から見て計測対象物３０の影（背後）でない領域である。 Then, the area surrounded by the direction lines 41 and 42 behind the point where the direction lines 41 and 42 intersect (far from the camera 1 and the camera 2) is set as the peripheral mask 10. The peripheral mask 10 is a region that is a shadow (behind) of the measurement object 30 when viewed from the camera 4 and is not a shadow (behind) of the measurement object 30 when viewed from the camera 3.

以下、カメラ３，４の位置について説明する。まず、カメラ２から撮影した画像を利用して周辺マスク１０を設定することは適切でない。なぜなら、カメラ２の画像では、計測対象物３０の縁部分の分離が明確にできず、それ故に誤マッチング点である△点や□点が生じるが、この問題はカメラ２の画像を用いて周辺マスクを設定した場合も発生する。そのため、カメラ２の画像を利用した場合、誤マッチング点△や□を排除する周辺マスクは設定できない。 The positions of the cameras 3 and 4 will be described below. First, it is not appropriate to set the peripheral mask 10 using the image taken from the camera 2. This is because, in the image of the camera 2, the edge portion of the measurement object 30 cannot be clearly separated, and therefore, the △ point and the □ point, which are erroneous matching points, occur. It also occurs when a mask is set. Therefore, when the image of the camera 2 is used, the peripheral mask that excludes the erroneous matching points Δ and □ cannot be set.

図３には、図２のカメラ３はそのままに、カメラ４としてカメラ２の画像を利用して周辺マスク１０を設定した場合が示されている。この場合、カメラ１から見て、マッチング点●の後方での周辺マスク１０の設定ができず、△点や□点を排除するマスクは設定できない。この問題は、原理的にカメラ１より左側でカメラ４を選択した場合に発生する。よって、カメラ４をカメラ１より左側（カメラ２の側）から選択するのは適切でない。以上のことから、カメラ４は、カメラ２の右側（カメラ１と反対の側）から選択するのが適切となる。 FIG. 3 shows a case where the peripheral mask 10 is set by using the image of the camera 2 as the camera 4 while keeping the camera 3 of FIG. 2 as it is. In this case, when viewed from the camera 1, the peripheral mask 10 behind the matching point ● cannot be set, and the mask that excludes the Δ and □ points cannot be set. In principle, this problem occurs when the camera 4 is selected on the left side of the camera 1. Therefore, it is not appropriate to select the camera 4 from the left side (the side of the camera 2) of the camera 1. From the above, it is appropriate to select the camera 4 from the right side of the camera 2 (the side opposite to the camera 1).

図４には、図２のカメラ４はそのままで、カメラ３をカメラ２の右側から選択した場合が示されている。この場合、カメラ２から見た●点の背後がカメラ３，４から見えず死角になるので、△点や□点を排除するマスクは設定できない。よって、カメラ３をカメラ２より右側（カメラ１と反対の側）から選択するのは適切でない。 FIG. 4 shows a case where the camera 4 of FIG. 2 is left as it is and the camera 3 is selected from the right side of the camera 2. In this case, since the back of the ● point seen from the camera 2 cannot be seen from the cameras 3 and 4, and becomes a blind spot, a mask for excluding the △ point and the □ point cannot be set. Therefore, it is not appropriate to select the camera 3 from the right side of the camera 2 (the side opposite to the camera 1).

図５には、カメラ３をカメラ１とカメラ２の間から選択した場合が示されている。ステレオ画像の組の選択において、隣接するカメラ位置でなく、カメラ１とカメラ２の間にカメラがある場合は、カメラ４をカメラ１とカメラ２の間から選択することも可能である。図５には、この場合が示されている。 FIG. 5 shows a case where the camera 3 is selected from between the camera 1 and the camera 2. In selecting a set of stereo images, if the camera is located between the camera 1 and the camera 2 instead of the adjacent camera positions, the camera 4 can be selected from between the camera 1 and the camera 2. FIG. 5 shows this case.

ただし、オクル―ジョンを極力避け、またマッチング精度を高める場合、隣接するカメラ位置がステレオ画像を撮影した１組のカメラとして選択される。この場合、カメラ１とカメラ２の間にカメラはないので、図５の状況は実現できない。 However, in order to avoid occlusion as much as possible and to improve the matching accuracy, the adjacent camera positions are selected as a set of cameras that have taken stereo images. In this case, since there is no camera between the camera 1 and the camera 2, the situation shown in FIG. 5 cannot be realized.

図５の場合、カメラ２から見て、●点の後方（背後）に周辺マスク１０を設定できる。よって、カメラ３はカメラ２よりも左側（カメラ１の側）から選択すればよいことが結論される。 In the case of FIG. 5, when viewed from the camera 2, the peripheral mask 10 can be set behind (behind) the point. Therefore, it is concluded that the camera 3 may be selected from the left side (the side of the camera 1) of the camera 2.

以上まとめると、カメラ１とカメラ２から撮影したステレオ画像における対応点を求める場合、カメラ４をカメラ２のカメラ１と反対の側から選択し、カメラ３をカメラ２のカメラ１の側から選択することで、カメラ３とカメラ４の撮影画像を用いた周辺マスク１０が作成できる。 In summary, when finding the corresponding points in the stereo images taken from the camera 1 and the camera 2, the camera 4 is selected from the side opposite to the camera 1 of the camera 2, and the camera 3 is selected from the side of the camera 1 of the camera 2. This makes it possible to create a peripheral mask 10 using the images taken by the cameras 3 and 4.

周辺マスクの使い方としては、
（１）周辺マスクからの対応点の特定を禁止する。
（２）対応点の特定は禁止しないが、周辺マスクでマスクされる領域における対応点の特定の優先度を下げる。
（３）対応点の特定の有無を判定する条件の一つとして、周辺マスクを利用する。 As for how to use the peripheral mask,
(1) It is prohibited to specify the corresponding points from the peripheral mask.
(2) Although identification of the corresponding points is not prohibited, the priority of specifying the corresponding points in the area masked by the peripheral mask is lowered.
(3) A peripheral mask is used as one of the conditions for determining whether or not a corresponding point is specified.

また、３台以上のカメラを用いてステレオ画像を構成する場合は、基線上の両端のカメラに対して上記の条件を適用する。また、ここでは、左右にカメラが配列した場合を例に挙げ説明したが、ステレオカメラの配列方向は、上下や斜めであってもよい。 When a stereo image is composed by using three or more cameras, the above conditions are applied to the cameras at both ends on the baseline. Further, although the case where the cameras are arranged on the left and right is described as an example here, the arrangement direction of the stereo cameras may be up and down or diagonally.

また、本発明の原理は、下記両方の場合に適用できる。
（１）１台のカメラで回転する計測対象物を撮影し、計測対象物を異なる複数の視点から撮影した複数の画像を得る場合（勿論、複数のカメラで撮影してもよい）。
（２）カメラを移動させながら計測対象物を複数回撮影し、計測対象物を異なる複数の視点から撮影した複数の画像を得る場合（例えば、航空写真測量の場合）。 Moreover, the principle of the present invention can be applied to both of the following cases.
(1) When a rotating measurement object is photographed by one camera and a plurality of images obtained by photographing the measurement object from a plurality of different viewpoints are obtained (of course, the measurement object may be photographed by a plurality of cameras).
(2) When the object to be measured is photographed a plurality of times while moving the camera to obtain a plurality of images of the object to be measured from a plurality of different viewpoints (for example, in the case of aerial photogrammetry).

また、車の衝突防止技術等でステレオ写真測量の原理を用いた対象物の三次元情報を取得する技術があるが、この技術に本発明を利用することもできる。 In addition, there is a technique for acquiring three-dimensional information of an object using the principle of stereo photogrammetry in a vehicle collision prevention technique or the like, and the present invention can also be used for this technique.

２．全体の構成
図６には、植物１２０の三次元データを得るための三次元計測システム１００が示されている。三次元計測システム１００は、土台１１１、土台１１１上でモータ等の駆動手段により回転する回転台１１２を備えている。回転台１１２の上には、三次元計測の計測対象物である植物１２２が載せられている。 2. 2. Overall Configuration FIG. 6 shows a three-dimensional measurement system 100 for obtaining three-dimensional data of the plant 120. The three-dimensional measurement system 100 includes a base 111 and a turntable 112 that is rotated on the base 111 by a driving means such as a motor. A plant 122, which is a measurement object for three-dimensional measurement, is placed on the turntable 112.

土台１１１、回転台１１２および三次元計測システム１００の背面は、植物１２０の色とは異なる色（この例では青）に着色されている。この色は、植物１２０と色彩が違うモノトーンの色が望ましい。例えば、植物１２０が緑系の色の場合、青、黄色、黒、白といった植物１２０と異なるモノトーンの色が選択される。物１２０は、鉢１２４に植えられており、鉢１２４には、識別用の２次元バーコード表示１２５が表示されている。 The back surface of the base 111, the turntable 112, and the three-dimensional measurement system 100 is colored in a color different from the color of the plant 120 (blue in this example). This color is preferably a monotone color different from that of the plant 120. For example, when the plant 120 has a greenish color, a monotone color different from the plant 120 such as blue, yellow, black, and white is selected. The object 120 is planted in a pot 124, and a two-dimensional bar code display 125 for identification is displayed on the pot 124.

土台１１１および回転台１１２の各部の寸法は予め既知のデータとして取得されている。回転台１１２の上面には、基準点となるターゲット１１３の表示が行なわれている。ターゲット１１３は、３箇所以上の複数が配置されている。ターゲット１１３は、２次元コードが付されたコード化ターゲットであり、それぞれが個別に識別可能とされている。また、各ターゲットの回転台１１２における位置は予め調べられ、既知となっている。 The dimensions of each part of the base 111 and the turntable 112 have been acquired as known data in advance. The target 113, which is a reference point, is displayed on the upper surface of the turntable 112. A plurality of targets 113 are arranged at three or more locations. The target 113 is a coded target to which a two-dimensional code is attached, and each of them can be individually identified. Further, the position of each target on the turntable 112 has been investigated in advance and is known.

回転台１１２の上面には、画像マッチング用の識別部材であるランダムドット柱１２１〜１２３が固定されている。ランダムドット柱１２１〜１２３は、長手形状を有する板状の部材であり、回転台１１２から鉛直上方に延在し、表面にランダムドットパターンが表示されている。ランダムドット柱１２１〜１２３の表面には、ランダムドットパターンの他に、識別コードが表示されており、各識別コードは個別に識別できるようにされている。ランダムドット柱として、円柱や多角柱（例えば、四角柱や五角柱）を用いることもできる。 Random dot columns 121 to 123, which are identification members for image matching, are fixed to the upper surface of the turntable 112. The random dot columns 121 to 123 are plate-shaped members having a longitudinal shape, extend vertically upward from the turntable 112, and a random dot pattern is displayed on the surface thereof. In addition to the random dot pattern, an identification code is displayed on the surfaces of the random dot columns 121 to 123 so that each identification code can be individually identified. As the random dot column, a cylinder or a polygonal column (for example, a square column or a pentagonal column) can also be used.

ランダムドット柱の数を４本以上としてもよい。ただし、ランダムドット柱は、カメラ１３１〜１３３と計測対象物である植物１２２との間に位置するので、その数が多すぎると、カメラ１３１〜１３３による植物１２２の撮影に支障が生じる。 The number of random dot columns may be four or more. However, since the random dot pillars are located between the cameras 131 to 133 and the plant 122 which is the measurement target, if the number of the random dot pillars is too large, the camera 131 to 133 will hinder the photographing of the plant 122.

ランダムドット柱１２１〜１２３の回転台１１２に対する位置関係は既知であり、またランダムドット柱１２１〜１２３の寸法（幅、長さ、厚さ）も既知である。ランダムドット柱１２１〜１２３の寸法は既知であるので、ランダムドット柱１２１〜１２３はスケールとしても利用される。回転台１１２上に定規を配置する方法や回転台１１２上にスケールを表示する形態も可能である。なお、計測対象物である植物１２０の上端より上方にランダムドット柱１２１〜１２３の先端が位置するように、ランダムドット柱１２１〜１２３の長手方向の寸法が（鉛直方向の寸法）が設定されている。また、上方から見て、ランダムドット柱１２１〜１２３により計測対象物（植物１２０）が囲まれるように、ランダムドット柱１２１〜１２３が配置されている。これは、ランダムドット柱の数を増やした場合も同様である。 The positional relationship of the random dot columns 121 to 123 with respect to the turntable 112 is known, and the dimensions (width, length, thickness) of the random dot columns 121 to 123 are also known. Since the dimensions of the random dot columns 121 to 123 are known, the random dot columns 121 to 123 are also used as scales. A method of arranging a ruler on the turntable 112 or a form of displaying a scale on the turntable 112 is also possible. The longitudinal dimension (vertical dimension) of the random dot columns 121 to 123 is set so that the tips of the random dot columns 121 to 123 are located above the upper end of the plant 120, which is the measurement target. There is. Further, the random dot pillars 121 to 123 are arranged so that the measurement target (plant 120) is surrounded by the random dot pillars 121 to 123 when viewed from above. This also applies when the number of random dot columns is increased.

ランダムドットパターンは、丸形状のドットが規則性なくランダムに分布しているドットパターンである。ランダムドットパターンに関する技術は、例えば、特開平１１−３９５０５号公報、特開平１０−９７６４１号公報、電子情報通信学会研究報告．ＣＯＭＰ，コンビュテーション１１２（２４），５１−５８，２０１２−０５−０７等に記載されている。ランダムドットパターンの色は、モノトーンであってもよいし、多色であってもよい。この例では、白の下地に黒のランダムドットパターンを表示している。 The random dot pattern is a dot pattern in which round dots are randomly distributed without regularity. Techniques related to random dot patterns are described in, for example, JP-A-11-39505, JP-A-10-97641, and Research Report of the Institute of Electronics, Information and Communication Engineers. It is described in COMP, Commutation 112 (24), 51-58, 2012-05-07 and the like. The color of the random dot pattern may be monotone or multicolored. In this example, a black random dot pattern is displayed on a white background.

回転台１１２の周囲には、カメラ１３１〜１３３が配置されている。カメラ１３１〜１３３は、土台１１１に対して固定されており、回転する回転台１１２およびその上の植物１２０を特定の時間間隔で繰り返し撮影する。カメラの数は、少なくとも１台あればよいが、複数を配置し、植物１２０に対してなるべく死角が生じないようにその数と位置を設定することが望ましい。カメラ１３１〜１３３は、デジタルカメラであり、撮影した画像のデータ（画像データ）は、三次元計測装置２００に送られる。 Cameras 131 to 133 are arranged around the turntable 112. The cameras 131 to 133 are fixed to the base 111, and repeatedly photograph the rotating turntable 112 and the plant 120 on the base at specific time intervals. The number of cameras may be at least one, but it is desirable to arrange a plurality of cameras and set the number and position so as not to cause a blind spot with respect to the plant 120 as much as possible. The cameras 131 to 133 are digital cameras, and the captured image data (image data) is sent to the three-dimensional measuring device 200.

回転台１１２を回転させながら、土台１１１に固定されたカメラ１３１〜１３３から、植物１２０を連続して撮影する。これにより、植物１２０を周囲の多数のカメラ位置（視点）から撮影した多数の画像が得られる。この際、隣接するカメラ位置からの画像で撮影範囲が一部重複するようにする。 While rotating the turntable 112, the plants 120 are continuously photographed from the cameras 131 to 133 fixed to the base 111. As a result, a large number of images of the plant 120 taken from a large number of surrounding camera positions (viewpoints) can be obtained. At this time, the shooting range is partially overlapped with the images from the adjacent camera positions.

上記の撮影を行った場合、計測対象物である植物１２０を周囲から撮影した複数の撮影画像が得られる。ここで、隣接する視点（カメラ位置）から撮影した画像が一部重複するようにする。例えば、回転台１１２が１回転する間に植物１２０に向けた１台のカメラから７２枚の撮影を行う場合を考える。この場合、回転台１１２に固定された座標系で考えると、回転台１１２の回転中心を中心とする円周上で、３６０°／７２＝５°刻みに視点の位置（カメラ位置）を少しずつずらして撮影した７２枚の画像が得られる。 When the above shooting is performed, a plurality of shot images of the plant 120, which is the measurement target, taken from the surroundings can be obtained. Here, the images taken from the adjacent viewpoints (camera positions) are partially overlapped. For example, consider a case where 72 images are taken from one camera directed at the plant 120 while the turntable 112 makes one rotation. In this case, considering the coordinate system fixed to the turntable 112, the position of the viewpoint (camera position) is gradually changed in 360 ° / 72 = 5 ° increments on the circumference centered on the rotation center of the turntable 112. 72 images taken with a shift can be obtained.

３．三次元計測装置
計測対象物である植物１２０の三次元モデルの作成は、公知の三次元写真測量の原理に基づき行われる。三次元計測装置２００は、汎用のＰＣ（パーソナルコンピュータ）を利用して構成されている。三次元計測装置２００は、カメラ１３１〜１３３が撮影した画像のデータに基づき、植物１２０の三次元モデルを作成する。また、三次元計測装置２００は、モータ駆動装置１４０に制御信号を送り、回転台１１２の回転制御を行う。また、三次元計測装置２００は、カメラ１３１〜１３３の撮影タイミングの制御を行う。 3. 3. Three-dimensional measuring device The three-dimensional model of the plant 120, which is the object to be measured, is created based on the known principle of three-dimensional photogrammetry. The three-dimensional measuring device 200 is configured by using a general-purpose PC (personal computer). The three-dimensional measuring device 200 creates a three-dimensional model of the plant 120 based on the data of the images taken by the cameras 131 to 133. Further, the three-dimensional measuring device 200 sends a control signal to the motor driving device 140 to control the rotation of the turntable 112. In addition, the three-dimensional measuring device 200 controls the shooting timing of the cameras 131 to 133.

三次元計測装置２００は、ＣＰＵ、メモリデバイス、各種のインターフェースを備えたコンピュータであり、汎用あるいは専用のハードウェアによって構成することができる。三次元計測装置２００を構成する汎用のハードウェアとしては、ＰＣ以外にＷＳ（ワークステーション）が挙げられる。これらコンピュータに三次元計測装置２００の機能を実現する動作プログラムをインストールし、後述する各機能部の機能をソフトウェア的に実現する。 The three-dimensional measuring device 200 is a computer provided with a CPU, a memory device, and various interfaces, and can be configured by general-purpose or dedicated hardware. Examples of general-purpose hardware constituting the three-dimensional measuring device 200 include WS (workstation) in addition to the PC. An operation program that realizes the functions of the three-dimensional measuring device 200 is installed in these computers, and the functions of each functional unit described later are realized by software.

なお、三次元計測装置２００の一部または全部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部を組み合わせてもよい。 A part or all of the three-dimensional measuring device 200 may be configured by a dedicated arithmetic circuit. Further, the functional unit configured by software may be combined with the functional unit configured by a dedicated arithmetic circuit.

例えば、図示する各機能部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）に代表されるＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などの電子回路やプロセッサにより構成される。また、一部の機能を専用のハードウェアで構成し、他の一部を汎用のマイコンにより構成することも可能である。 For example, each functional unit shown in the figure is a PLD (Programmable Logic) typified by a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a PLD (Programmable Logic) electronic circuit. To. It is also possible to configure some functions with dedicated hardware and other parts with a general-purpose microcomputer.

また、三次元計測装置２００の機能をサーバで実行し、該サーバにインターネットを介して接続したＰＣ、タブレット、スマートフォン等を操作インターフェース端末として利用する形態も可能である。 It is also possible to execute the function of the three-dimensional measuring device 200 on a server and use a PC, tablet, smartphone or the like connected to the server via the Internet as an operation interface terminal.

三次元計測装置２００は、画像データ受付部２１０、カメラ位置選択部２２０、ステレオ画像選択部２２１、ターゲット検出部２４０、外部標定要素算出部２４５、背面除去部２４７、特徴点抽出部２５０、周辺マスク作成用カメラ位置選択部２５１、周辺マスク作成用ステレオ画像取得部２５２、周辺マスク作成部２５３、対応点特定部２６０、三次元座標算出部２７０、三次元モデル作成部２８０、記憶部２９０、回転制御部２９５、撮影タイミング制御部２９６、バンドル調整計算部２９７を備える。また、三次元計測装置２００は、外部の機器との間でデータのやり取りを行うインターフェース機能、操作者による操作を受け付けるユーザインターフェース機能を有する。これらは、利用するＰＣのインターフェースを用いている。 The three-dimensional measuring device 200 includes an image data reception unit 210, a camera position selection unit 220, a stereo image selection unit 221 and a target detection unit 240, an external control element calculation unit 245, a back surface removal unit 247, a feature point extraction unit 250, and a peripheral mask. Camera position selection unit 251 for creation, stereo image acquisition unit 252 for peripheral mask creation, peripheral mask creation unit 253, corresponding point identification unit 260, 3D coordinate calculation unit 270, 3D model creation unit 280, storage unit 290, rotation control A unit 295, a shooting timing control unit 296, and a bundle adjustment calculation unit 297 are provided. Further, the three-dimensional measuring device 200 has an interface function for exchanging data with an external device and a user interface function for accepting an operation by an operator. These use the interface of the PC to be used.

画像データ受付部２１０は、カメラ１３１〜１３３が撮影した画像のデータ（画像データ）を受け付け、それを三次元計測装置１００の内部に取り込む。 The image data receiving unit 210 receives image data (image data) taken by the cameras 131 to 133, and takes the data into the three-dimensional measuring device 100.

カメラ位置選択部２２０は、交会法により計算されるカメラ位置の候補を選択する。カメラ位置の選択時は、交会法によるカメラ位置の計算前の状態であり、正確なカメラ位置の座標は不明である。しかしながら、回転台１１２の回転制御とカメラ１３１〜１３３の撮影タイミングの制御の内容から、回転台１１２に対するカメラ１３１〜１３３の大凡の位置が特定でき、またそこで撮影された画像は選択できる。この処理がカメラ位置選択部２２０で行われる。 The camera position selection unit 220 selects a camera position candidate calculated by the association method. When the camera position is selected, it is the state before the calculation of the camera position by the association method, and the exact coordinates of the camera position are unknown. However, from the contents of the rotation control of the turntable 112 and the control of the shooting timing of the cameras 131 to 133, the approximate position of the cameras 131 to 133 with respect to the turntable 112 can be specified, and the image shot there can be selected. This process is performed by the camera position selection unit 220.

例えば、回転台１１２の回転位置は、ロータリーエンコーダ―等により検出されるので、時間軸上における回転台１１２の回転位置を知ることができる。この情報と撮影時刻のデータとから、撮影時の回転台１１２に対するカメラ位置を知ることができる。例えば、図１１に例示するように計測対象物（回転台）を囲む４箇所のカメラ位置(1),(9),(17),(25)を選択する。ただし、このカメラ位置は概略の位置であり、その精度は三次元写真測量に利用できるレベルにはない。 For example, since the rotation position of the turntable 112 is detected by a rotary encoder or the like, the rotation position of the turntable 112 on the time axis can be known. From this information and the data of the shooting time, the camera position with respect to the turntable 112 at the time of shooting can be known. For example, as illustrated in FIG. 11, four camera positions (1), (9), (17), and (25) surrounding the measurement object (turntable) are selected. However, this camera position is an approximate position, and its accuracy is not at a level that can be used for three-dimensional photogrammetry.

ステレオ画像選択部２２１は、異なる視点から重複する場所を撮影した２枚以上の画像をステレオ画像として選択する。例えば、図１１（Ｂ）の(1)と(5)の位置から回転台１１２および計測対象物である植物１２０を撮影した画像がステレオ画像として選択される。ステレオ画像は、基本２枚一組であるが、３枚以上を１組としてステレオ画像を構成することもできる。なお、画像には、少なくとも回転台１１２、計測対象物である植物１２０およびランダムドット柱１２１〜１２３の少なくとも１本が写っている必要がある。 The stereo image selection unit 221 selects two or more images obtained by photographing overlapping locations from different viewpoints as stereo images. For example, an image obtained by photographing the turntable 112 and the plant 120 as a measurement object from the positions (1) and (5) in FIG. 11B is selected as a stereo image. The stereo image is basically a set of two images, but a stereo image can also be composed of three or more images as a set. It should be noted that the image needs to show at least one of the turntable 112, the plant 120 to be measured, and the random dot columns 121 to 123.

ターゲット検出部２４０は、カメラ１３１〜１３３が撮影した画像に写ったターゲット１１３を検出する。予めターゲット１１３の画像は取得されており、それをリファレンスとして撮影画像中からターゲット１１３の抽出が行なわれる。ターゲット１１３は識別でき、また回転台１１２における位置は既知なので、ターゲット検出部２４０により、複数あるターゲット１１３それぞれの位置が検出される。 The target detection unit 240 detects the target 113 captured in the image captured by the cameras 131 to 133. The image of the target 113 has been acquired in advance, and the target 113 is extracted from the captured image using the image as a reference. Since the target 113 can be identified and the position on the turntable 112 is known, the target detection unit 240 detects the position of each of the plurality of targets 113.

外部標定要素算出部２４５は、撮影画像中の特徴点（特徴点抽出部２５０が抽出した特徴点）を利用して、図６のカメラ１３１〜１３３の外部標定要素（位置と姿勢）を後方交会法により算出する。図８（Ａ）には、後方交会法の原理が示されている。後方交会法とは、未知点から３つ以上の既知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置を定める方法である。後方交会法としては、単写真標定、ＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｍｅｔｈｏｄ）が挙げられる。交会法については、基礎測量学（電気書院：２０１０／４発行）ｐ １８２，ｐ１８４に記載されている。また、特開２０１３−１８６８１６号公報には交会法に関して具体的な計算方法の例が示されている。 The external orientation element calculation unit 245 uses the feature points (feature points extracted by the feature point extraction unit 250) in the captured image to rearwardly meet the external orientation elements (position and orientation) of the cameras 131 to 133 in FIG. Calculated by the method. FIG. 8 (A) shows the principle of the backward association method. The posterior association method is a method of observing directions from an unknown point toward three or more known points and determining the position of the unknown point as an intersection of those direction lines. Examples of the posterior association method include a single photo orientation and a DLT method (Direct Liner Translation Method). The association method is described in Basic Surveying (Denki Shoin: published on April 4, 2010) p182, p184. Further, Japanese Patent Application Laid-Open No. 2013-186816 provides an example of a specific calculation method regarding the association method.

以下、具体的な計算の一例を説明する。ここでは、回転台１１２を回転させ、９０°回転する前と後の異なる２つのタイミングでカメラ１３２による回転台１１２の撮影を行うとする。９０°の回転の制御は、回転制御部２９５で行われ、撮影タイミングの制御は、撮影タイミング制御部２９６で行われる。なお、この例では、定速で回転を継続し、上方から見て９０°異なる角度位置で撮影が行われるように、回転台１１２の回転とカメラ１３２の撮影のタイミングが制御される。 An example of a specific calculation will be described below. Here, it is assumed that the turntable 112 is rotated and the camera 132 takes a picture of the turntable 112 at two different timings before and after the rotation by 90 °. The rotation of 90 ° is controlled by the rotation control unit 295, and the shooting timing is controlled by the shooting timing control unit 296. In this example, the rotation of the turntable 112 and the shooting timing of the camera 132 are controlled so that the rotation is continued at a constant speed and the shooting is performed at different angle positions by 90 ° when viewed from above.

この場合、回転台１１２に固定した座標系で考えると、図１１の位置(1)と(9)から撮影した撮影画像が得られる。この２枚の撮影画像をステレオ画像とし、そこからの特徴点の抽出、抽出した特徴点の当該ステレオ画像間でのマッチング（対応関係の特定）を行う。特徴点の抽出は、特徴点抽出部２５０で行われ、対応点の特定は対応点特定部２６０で行われる。 In this case, considering the coordinate system fixed to the turntable 112, captured images taken from the positions (1) and (9) of FIG. 11 can be obtained. These two captured images are used as stereo images, feature points are extracted from the stereo images, and the extracted feature points are matched between the stereo images (identification of correspondence). The feature point extraction is performed by the feature point extraction unit 250, and the corresponding point is specified by the corresponding point specifying unit 260.

ステレオ画像間での特徴点の対応関係を特定したら、図８（Ａ）の後方交会法を用いて当該ステレオ画像を撮影したカメラ位置を算出する。ここでカメラ位置は、回転台１１２の回転中心を原点とし、回転台１１２に固定されたローカル座標系で記述される。 After identifying the correspondence between the feature points between the stereo images, the camera position at which the stereo image was taken is calculated using the backward interaction method shown in FIG. 8 (A). Here, the camera position is described in a local coordinate system fixed to the turntable 112 with the rotation center of the turntable 112 as the origin.

例えば、以下のような方法により、図１１のカメラ位置(1)と(9)におけるカメラの外部標定要素（姿勢と位置）が求められる。まず、回転台１１２の上面は平面であり、そこから取得される特徴点は当該平面上に位置している。また、ランダムドット柱１２１〜１２３表面のランダムドットは鉛直面上に分布している。この拘束条件から、相互標定により、相対三次元モデルにおけるカメラ位置(1)と(9)における位置と姿勢が求まる。 For example, the external orientation elements (posture and position) of the camera at the camera positions (1) and (9) in FIG. 11 can be obtained by the following method. First, the upper surface of the turntable 112 is a flat surface, and the feature points acquired from the flat surface are located on the flat surface. Random dots on the surfaces of the random dot columns 121 to 123 are distributed on the vertical plane. From this constraint condition, the positions and orientations of the camera positions (1) and (9) in the relative three-dimensional model can be obtained by mutual orientation.

例えば、ステレオ画像で対応するランダムドット柱１２１〜１２３のドットから得た特徴点の中から、図８（Ａ）のＰ１，Ｐ２，Ｐ３を選択する。ここで、Ｐ１，Ｐ２，Ｐ３は鉛直面上に分布するという拘束条件が課せられる。そして、Ｐ１，Ｐ２，Ｐ３の画面中における位置をｐ１，ｐ２，ｐ３とした場合に、Ｐ１とｐ１、Ｐ２とｐ２、Ｐ３とｐ３を結ぶ３つの方向線を設定する。この場合、この３本の方向線の交点Ｏが当該画像を撮影したカメラ１３２の位置（投影中心）となる。また、点Ｏと画面の中心を結ぶ方向線の延長方向がカメラ１３２の光軸方向となり、カメラ１３２の向き（姿勢）が求まる。 For example, P 1 , P 2 , and P 3 of FIG. 8A are selected from the feature points obtained from the dots of the corresponding random dot columns 121 to 123 in the stereo image. Here, the constraint condition that P 1 , P 2 , and P 3 are distributed on the vertical plane is imposed. Then, the position in the screen of P 1, P 2, P 3 when the p 1, p 2, p 3 , P 1 and p 1, P 2 and p 2, P 3 and p 3 three connecting the Set the direction line. In this case, the intersection O of these three direction lines is the position (projection center) of the camera 132 that captured the image. Further, the extension direction of the direction line connecting the point O and the center of the screen is the optical axis direction of the camera 132, and the direction (attitude) of the camera 132 can be obtained.

この段階でＰ１，Ｐ２，Ｐ３の絶対位置関係は未知なので、この場合における図８（Ａ）の三次元モデルは相対三次元モデルとなる。この相対三次元モデルを得る処理が相互標定である。 Since the absolute positional relationship of P 1 , P 2 , and P 3 is unknown at this stage, the three-dimensional model of FIG. 8 (A) in this case is a relative three-dimensional model. The process of obtaining this relative three-dimensional model is mutual orientation.

ここで、Ｐ１とＰ２がランダムドット柱１２１の上辺の端点であれば、回転台１１２に固定されたローカル座標系におけるそれら端点の座標は既知であるので、上記相対三次元モデルにスケールが与えられる。こうして絶対標定が行なわれ、当該座標系におけるカメラの外部標定要素が判明する。この方法において、複数あるターゲット１１３の位置情報を併用することもできる。 Here, if P 1 and P 2 are the end points of the upper side of the random dot column 121, the coordinates of those end points in the local coordinate system fixed to the turntable 112 are known, so that the relative three-dimensional model has a scale. Given. Absolute orientation is performed in this way, and the external orientation element of the camera in the coordinate system is known. In this method, the position information of a plurality of targets 113 can be used together.

また、３つ以上のターゲット１１３の位置情報から各カメラ位置におけるカメラの外部標定要素を求めることもできる。例えば、図１１の(1)位置から３つのターゲット１１３が見えているとする。この場合、Ｐ１，Ｐ２，Ｐ３をこれら３つのターゲット１１３の位置とすると、Ｐ１，Ｐ２，Ｐ３の位置は既知なので、点Ｏの座標が求まる。また、点Ｏと画面の中心を結ぶ方向からカメラの姿勢が判明する。こうして、３つのターゲット１１３が見えている(1)の位置におけるカメラの外部標定要素が判る。 It is also possible to obtain the external orientation element of the camera at each camera position from the position information of three or more targets 113. For example, suppose that three targets 113 are visible from the position (1) in FIG. In this case, assuming that P 1 , P 2 , and P 3 are the positions of these three targets 113, since the positions of P 1 , P 2 , and P 3 are known, the coordinates of the point O can be obtained. In addition, the posture of the camera can be determined from the direction connecting the point O and the center of the screen. In this way, the external orientation element of the camera at the position (1) where the three targets 113 are visible can be known.

また、カメラ位置が判れば、図８（Ｂ）の前方交会法により、多数存在する位置が既知でない特徴点の当該座標系（回転台１１２に固定されたローカル座標系）における位置も計算できる。そして、多数の特徴点の位置が判れば、それらの位置に基づく図８（Ａ）の後方交会法によるカメラ位置の算出も行われる。 Further, if the camera position is known, the positions of the feature points whose existing positions are unknown in the coordinate system (local coordinate system fixed to the rotating table 112) can be calculated by the forward interaction method of FIG. 8 (B). Then, if the positions of a large number of feature points are known, the camera positions are also calculated by the backward interaction method of FIG. 8A based on those positions.

実際には、上述した一連の方法によるカメラ１３１〜１３３の外部標定要素の算出のための数式は、多数の特徴点の座標も含めた多数の行列要素を有した計算式となる。この計算式において、未知数が収束するまで繰り返し計算が行なわれることで、カメラ１３１〜１３３の外部標定要素が求められる。また、適切なタイミングでバンドル調整計算部２９７によるバンドル調整計算が行なわれ、誤差の最小化が行なわれる。 Actually, the mathematical formula for calculating the external orientation elements of the cameras 131 to 133 by the above-mentioned series of methods is a calculation formula having a large number of matrix elements including the coordinates of a large number of feature points. In this calculation formula, the external orientation elements of the cameras 131 to 133 are obtained by repeating the calculation until the unknowns converge. In addition, the bundle adjustment calculation unit 297 performs the bundle adjustment calculation at an appropriate timing to minimize the error.

背面除去部２４７は、撮影した画像中から被計測対象となる背面を除去する。この背面の除去は、色の差を利用して行われる。この技術については、特開２０１８−１９７６８５号公報に記載されている。 The back surface removing unit 247 removes the back surface to be measured from the captured image. This back surface removal is done using the color difference. This technique is described in JP-A-2018-197685.

特徴点抽出部２５０は、カメラ１３１〜１３３が撮影した画像の中から特徴点を抽出する。特徴点は、周囲から区別できる点であり、例えば、エッジ部分、更には周囲と色彩や明度が異なっている部分等が特徴点として抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。 The feature point extraction unit 250 extracts feature points from the images taken by the cameras 131 to 133. The feature points are points that can be distinguished from the surroundings. For example, an edge portion and a portion having a color or brightness different from the surroundings are extracted as feature points. The feature points are extracted by software processing. Derivative filters such as Sobel, Laplacian, Pruwitt, and Roberts are used to extract the feature points.

周辺マスク作成用カメラ位置選択部２５１は、周辺マスクの作成に必要なカメラ視点（カメラ位置）を選択する。例えば、図２のカメラ３とカメラ４のカメラ位置の選択が周辺マスク作成用カメラ位置選択部２５１で行われる。周辺マスク作成用ステレオ画像取得部２５２は、周辺マスクの作成に必要なステレオ画像を取得する。例えば、図２のカメラ３が計測対象物３０を撮影した画像とカメラ４が計測対象物３０を撮影した画像の取得が周辺マスク作成用ステレオ画像取得部２５２で行われる。 The camera position selection unit 251 for creating a peripheral mask selects a camera viewpoint (camera position) necessary for creating a peripheral mask. For example, the camera positions of the cameras 3 and 4 in FIG. 2 are selected by the peripheral mask creating camera position selection unit 251. The stereo image acquisition unit 252 for creating a peripheral mask acquires a stereo image necessary for creating a peripheral mask. For example, the stereo image acquisition unit 252 for creating a peripheral mask acquires an image in which the camera 3 in FIG. 2 captures the measurement object 30 and an image in which the camera 4 captures the measurement object 30.

周辺マスク作成部２５３は、図２〜図５に関連して説明した方法により、周辺マスクを作成する。対応点特定部２６０は、異なる視点から撮影した２枚以上の画像中でそれぞれ個別に抽出された特徴点の対応関係を特定する。すなわち、一方の画像中で抽出された特徴点と同じ特徴点を他方の画像中で特定する。この特徴点の対応関係を特定する処理は、例えば、Ｆｅａｔｕｒｅ−Ｂａｓｅｄ（特徴抽出）法としてのＳＩＦＴやＳＵＲＦ、Ｋａｚｅ、……や、Ａｒｅａ‐Ｂａｓｅｄ（面積相関）法としてのテンプレートマッチングを用いて行われる。テンプレートマッチングとしては、残差逐次検定法（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、相互相関係数法などが挙げられる。対応点の特定は、基本２枚の画像や２つの点群位置データを対象に行われるが、３枚以上の画像や３つ以上の点群位置データを対象として行うこともできる。 The peripheral mask creating unit 253 creates a peripheral mask by the method described in relation to FIGS. 2 to 5. Corresponding point specifying unit 260 specifies the correspondence relationship of the feature points extracted individually in two or more images taken from different viewpoints. That is, the same feature points as the feature points extracted in one image are specified in the other image. The process of specifying the correspondence between the feature points is performed by using, for example, SIFT, SURF, Kaze, ... As the Feature-Based (feature extraction) method, or template matching as the Area-Based (area correlation) method. Be surfed. Examples of template matching include a residual sequential test method (SSDA: Sequential Similarity Detection Algorithm), a mutual correlation coefficient method, and the like. The corresponding points are specified for basically two images and two point cloud position data, but can also be performed for three or more images and three or more point cloud position data.

複数の画像間の対応関係を求める技術については、例えば特開２０１３−１７８６５６号公報や特開２０１４−３５７０２号公報に記載されている技術を利用することができる。なお、特開２０１３−１７８６５６号公報や特開２０１４−３５７０２号公報には、特徴点の抽出に係る技術、特徴点の三次元位置を求める技術についても記載されており、これらの技術は、本願明細書中で説明する技術に利用できる。 As a technique for obtaining a correspondence relationship between a plurality of images, for example, the techniques described in JP2013-178656A and JP2014-35702 can be used. Japanese Patent Application Laid-Open No. 2013-178656 and Japanese Patent Application Laid-Open No. 2014-35702 also describe a technique for extracting feature points and a technique for obtaining a three-dimensional position of feature points. It can be used for the techniques described in the specification.

三次元座標算出部２７０は、特徴点抽出部１５０が画像中から抽出した特徴点の三次元位置を前方交会法により算出する。対象物を構成する多数の特徴点の三次元位置を算出することで、当該対象物を三次元座標が特定された点の集合として把握可能な点群位置データが得られる。更には、この点群位置データに基づき三次元モデルを作成することができる。 The three-dimensional coordinate calculation unit 270 calculates the three-dimensional position of the feature points extracted from the image by the feature point extraction unit 150 by the forward interaction method. By calculating the three-dimensional positions of a large number of feature points constituting the object, it is possible to obtain point cloud position data in which the object can be grasped as a set of points whose three-dimensional coordinates are specified. Furthermore, a three-dimensional model can be created based on this point cloud position data.

図８（Ｂ）には、前方交会法の原理が示されている。前方交会法では、異なる複数点（図８（Ｂ）の場合は、Ｏ１とＯ２の２点）から未知点Ｐへ向かう方向を観測して、それらの方向線の交点として未知点Ｐの位置を求める。 FIG. 8B shows the principle of the forward association method. In the forward intersection method, the direction toward the unknown point P is observed from a plurality of different points (in the case of FIG. 8B, two points O 1 and O 2 ), and the intersection of those direction lines is the unknown point P. Find the position.

図８（Ｂ）には、異なるカメラ位置Ｏ１とＯ２から外部標定要素が既知のカメラを用いて重複する領域を撮影した場合が示されている。ここで、一方の画像における未知点Ｐの画面座標がｐ１であり、他方の画像における未知点Ｐの画面座標がｐ２である。カメラ位置Ｏ１とＯ２は既知であり、またそれらの位置におけるカメラの姿勢も既知であるので、Ｏ１とｐ１を結ぶ方向線とＯ２とｐ２を結ぶ方向線の交点Ｐの座標が計算できる。 FIG. 8B shows a case where overlapping areas are photographed from different camera positions O 1 and O 2 using a camera having known external orientation elements. Here, the screen coordinates of the unknown point P in one image are p 1 , and the screen coordinates of the unknown point P in the other image are p 2 . Since the camera positions O 1 and O 2 are known, and the attitude of the camera at those positions is also known, the coordinates of the intersection P of the direction line connecting O 1 and p 1 and the direction line connecting O 2 and p 2 are known. Can be calculated.

三次元モデル作成部２８０は、多数の撮影画像を解析することで得られた三次元点群位置データに基づいて三次元モデルを作成する。例えば、得られた多数の特徴点の三次元座標からなる三次元点群位置データを用いてｔｉｎ（不整三角形網）を作成し、撮影対象物の三次元モデルの作成が行われる。点群位置データに基づいて三次元モデルを作成する技術に関しては、例えば、ＷＯ２０１１／０７０９２７号公報、特開２０１２−２３０５９４号公報、特開２０１４―３５７０２号公報に記載されている。利用する三次元座標系としては、例えば回転台１１２に固定され、回転台１１２の回転中心の位置を原点としたローカル座標が用いられる。 The three-dimensional model creation unit 280 creates a three-dimensional model based on the three-dimensional point cloud position data obtained by analyzing a large number of captured images. For example, a triangulated irregular network is created using the three-dimensional point cloud position data consisting of the three-dimensional coordinates of a large number of obtained feature points, and a three-dimensional model of the object to be photographed is created. Techniques for creating a three-dimensional model based on point cloud position data are described in, for example, WO2011 / 070927, JP2012-230594, and 2014-35702. As the three-dimensional coordinate system to be used, for example, local coordinates fixed to the turntable 112 and having the position of the rotation center of the turntable 112 as the origin are used.

記憶部２９０は、三次元計測装置２００で利用される各種のデータ、動作プログラム、動作の結果得られた各種のデータ等を記憶する。記憶部２９０の他に外部の記憶装置（外付けハードディスク装置やデータ記憶用サーバ等）を用いることも可能である。 The storage unit 290 stores various data used in the three-dimensional measuring device 200, an operation program, various data obtained as a result of the operation, and the like. In addition to the storage unit 290, an external storage device (external hard disk device, data storage server, etc.) can also be used.

回転制御部２９５は、回転台１１２を回転させるモータ（図示せず）を駆動するモータ駆動装置１４０（図６参照）に制御信号を送り、モータの動作制御を行う。回転制御部２９５の機能により、回転台１１２の回転のタイミングや回転速度の設定が行われる。回転台１１２の回転は、ロータリーエンコーダにより検出され、この検出値に基づき回転制御部２９５は回転台１１２の回転を制御する。 The rotation control unit 295 sends a control signal to a motor drive device 140 (see FIG. 6) that drives a motor (not shown) that rotates the turntable 112, and controls the operation of the motor. The rotation control unit 295 functions to set the rotation timing and rotation speed of the turntable 112. The rotation of the turntable 112 is detected by the rotary encoder, and the rotation control unit 295 controls the rotation of the turntable 112 based on the detected value.

撮影タイミング制御部２９６は、カメラ１３１，１３２，１３３に撮影タイミングを決める制御信号を送り、撮影動作の制御を行う。カメラ１３１，１３２，１３３は、撮影タイミング制御部２９６に制御されて、回転する回転台１１２およびその上に配置された植物１２０の撮影を行う。例えば、回転台１１２を５〜１０回転／分の回転速度で回転させ、その際にカメラ１３１，１３２，１３３のそれぞれは、０．１〜０．５秒間隔で繰り返し静止画像の撮影を行う。 The shooting timing control unit 296 sends a control signal for determining the shooting timing to the cameras 131, 132, and 133 to control the shooting operation. The cameras 131, 132, and 133 are controlled by the photographing timing control unit 296 to photograph the rotating turntable 112 and the plant 120 arranged on the rotating table 112. For example, the turntable 112 is rotated at a rotation speed of 5 to 10 rotations / minute, and at that time, each of the cameras 131, 132, and 133 repeatedly takes a still image at intervals of 0.1 to 0.5 seconds.

４．処理の一例
以下、回転台１１２上の植物１２０の点群位置データを得、更にこの点群位置データに基づき植物１２０の三次元モデルを作成する処理の一例を説明する。以下の処理は、三次元計測システム１００を用いて行われる。以下に説明する処理を実行するプログラムは、記憶部２９０に記憶され、三次元計測装置２００によって実行される。当該プログラムは、適当な記憶媒体や記憶サーバ等に記憶され、そこから提供される形態も可能である。 4. Example of Processing Hereinafter, an example of processing for obtaining point cloud position data of the plant 120 on the turntable 112 and further creating a three-dimensional model of the plant 120 based on the point cloud position data will be described. The following processing is performed using the three-dimensional measurement system 100. The program that executes the process described below is stored in the storage unit 290 and executed by the three-dimensional measuring device 200. The program is stored in an appropriate storage medium, storage server, or the like, and can be provided from there.

（撮影）
まず、回転台１１２とランダムドット柱１２１〜１２３が写るようにカメラ１３１〜１３３の位置と姿勢を設定する。その上で撮影を行う。撮影は、計測対象の植物１２０を載せた回転台１１２を等速で回転させながら、特定の時間間隔でカメラ１３１〜１３３により行う。 (photograph)
First, the positions and orientations of the cameras 131 to 133 are set so that the turntable 112 and the random dot columns 121 to 123 are captured. Then shoot. The photographing is performed by the cameras 131 to 133 at specific time intervals while rotating the turntable 112 on which the plant 120 to be measured is placed at a constant speed.

撮影は、例えば、回転台１１２が等速で１回転する間に等時間間隔で７２枚の静止画像が撮影される条件、すなわち５°異なる角度から７２回撮影する条件で行う。この場合、３台のカメラ１３１〜１３３から７２枚×３＝２１６枚の画像が撮影される。この画像データは、三次元計測装置２００に送られ、画像データ受付部２１０で受け付けられる。画像データ受付部２１０で受け付けられた画像データは、記憶部２９０に記憶される。回転速度やシャッター間隔は、植物の種類や取得したい点群密度に対応させて任意に設定できる。 The shooting is performed, for example, under the condition that 72 still images are taken at equal time intervals while the turntable 112 makes one rotation at a constant speed, that is, under the condition that 72 times are taken from different angles of 5 °. In this case, 72 images × 3 = 216 images are taken from the three cameras 131 to 133. This image data is sent to the three-dimensional measuring device 200 and received by the image data receiving unit 210. The image data received by the image data receiving unit 210 is stored in the storage unit 290. The rotation speed and shutter interval can be arbitrarily set according to the type of plant and the density of the point cloud to be acquired.

植物１２０を撮影した画像データを得たら、各撮影画像から背面を除去する処理を行う。この処理は、図７の背面除去部２４７で行われる。 After obtaining the image data obtained by photographing the plant 120, a process of removing the back surface from each photographed image is performed. This process is performed by the back surface removing portion 247 of FIG.

こうして、鉛直上方から見て、周囲３６０°を等間隔に７２分割した方向からの３組（７２×３＝２１６枚）の撮影画像が得られる。以下、この２１６枚の画像を基に処理を行う。この２１６枚の画像は、計測対象物である植物１２０を囲む円周上の等角な７２カ所の位置（カメラ位置）（上下３段で計２１６枚）から植物１２０を撮影した画像となる。 In this way, when viewed from above vertically, three sets (72 × 3 = 216 images) of captured images from the direction in which the circumference 360 ° is divided into 72 at equal intervals can be obtained. Hereinafter, processing is performed based on these 216 images. These 216 images are images of the plant 120 taken from 72 equiangular positions (camera positions) (a total of 216 images in the upper and lower three stages) on the circumference surrounding the plant 120 as the measurement target.

（カメラ位置の特定）
まず、計測対象物を囲むカメラ位置を求める。カメラ位置の特定に係る処理は、カメラ１３１〜１３３のそれぞれにおいて行われる。まず、図１１に示す手法を用いて等角な角度位置にある複数箇所のカメラ位置を算出する。例えば、図１１には等角な４箇所のカメラ位置の選択を２回に別けて行う場合が示されている。 (Specification of camera position)
First, the camera position surrounding the measurement object is obtained. The processing related to the identification of the camera position is performed in each of the cameras 131 to 133. First, the camera positions at a plurality of locations at equiangular angular positions are calculated using the method shown in FIG. For example, FIG. 11 shows a case where four equiangular camera positions are selected in two steps.

図１１に示す処理の手順の一例を示す。まず、図１１に示すような上方見て角度位置が９０°異なる４箇所のカメラ位置(1),(9),(17),(25)を選択する（ステップＳ１０１）。この段階でのカメラ位置の選択は、回転台１１２の回転位置とカメラ１３１〜１３３の撮影タイミングに基づき行われる。この処理は、図７のカメラ位置選択部２２０で行われる。なお、きりの良い位置にカメラ位置がない場合は、最も近い位置のカメラ位置が選択される。 An example of the processing procedure shown in FIG. 11 is shown. First, four camera positions (1), (9), (17), and (25) whose angle positions differ by 90 ° when viewed upward as shown in FIG. 11 are selected (step S101). The camera position is selected at this stage based on the rotation position of the turntable 112 and the shooting timing of the cameras 131 to 133. This process is performed by the camera position selection unit 220 of FIG. If there is no camera position at a well-defined position, the closest camera position is selected.

次に、ステップＳ１０１で選択された位置から撮影した画像の中からステレオ画像を選択する（ステップＳ１０２）。この場合、カメラ位置で考えて、(1)と(9)、(9)と(17)、(17)と(25)というように、隣接するカメラ位置がステレオ画像のカメラ位置として選択される。この処理は、図７のステレオ画像選択部２２１で行われる。なお、この段階で背面の除去を行ってもよい。 Next, a stereo image is selected from the images taken from the position selected in step S101 (step S102). In this case, considering the camera position, adjacent camera positions such as (1) and (9), (9) and (17), (17) and (25) are selected as the camera positions of the stereo image. .. This process is performed by the stereo image selection unit 221 of FIG. The back surface may be removed at this stage.

次に、選択されたステレオ画像からの特徴点の抽出（ステップＳ１０３）を行う。この処理は、特徴点抽出部２５０で行われる。ここで抽出される特徴点には、植物１２０、回転台１１２およびランダムドット柱１２１〜１２３の特徴点が含まれる。次に、ステレオ画像間における特徴点の対応関係の特定（ステレオマッチング）を行う（ステップＳ１０４）。また、ステレオ画像間における共通に写っているターゲット１１３の検出を行う(ステップＳ１０５)。 Next, feature points are extracted from the selected stereo image (step S103). This process is performed by the feature point extraction unit 250. The feature points extracted here include the feature points of the plant 120, the turntable 112, and the random dot columns 121 to 123. Next, the correspondence between the feature points between the stereo images is specified (stereo matching) (step S104). In addition, the target 113 that is commonly captured between the stereo images is detected (step S105).

次に、対応関係を特定した特徴点を用いた後方交会法により、ステップＳ１０１で選択したカメラと特徴点の相対位置関係を算出する相互標定を行う（Ｓ１０６）。またこの際、同時にステレオ画像に写った対応点とカメラ位置の相対位置関係が前方交会法を用いて特定される。 Next, mutual orientation is performed to calculate the relative positional relationship between the camera selected in step S101 and the feature points by the backward interaction method using the feature points for which the correspondence relationship is specified (S106). At this time, at the same time, the relative positional relationship between the corresponding point captured in the stereo image and the camera position is specified by using the forward interaction method.

次に、ステップＳ１０６で求められた相対位置関係に特徴点から得られるスケールやターゲット１１３の位置から実寸法が与えられ、絶対標定が行なわれる（ステップＳ１０７）。この処理により、カメラの外部標定要素（位置と姿勢）とステップＳ１０４で対応関係が特定された特徴点の位置が求まる。最後にバンドル調整計算を行ない誤差の最小化を行う（ステップＳ１０８）。 Next, the actual dimensions are given from the scale obtained from the feature points and the position of the target 113 to the relative positional relationship obtained in step S106, and absolute localization is performed (step S107). By this process, the positions of the external orientation elements (position and orientation) of the camera and the feature points whose correspondence is specified in step S104 can be obtained. Finally, the bundle adjustment calculation is performed to minimize the error (step S108).

Ｓ１０６〜Ｓ１０８の処理は、図７の外部標定要素算出部２４５、三次元座標算出部２７０およびバンドル調整計算部２９７で行なわれる。以上の処理により、図１１（Ａ）のカメラ位置(1),(9),(17),(25)が算出される。以上の処理は、カメラ１３１〜１３３のそれぞれにおいて行われる。 The processing of S106 to S108 is performed by the external orientation element calculation unit 245, the three-dimensional coordinate calculation unit 270, and the bundle adjustment calculation unit 297 of FIG. 7. By the above processing, the camera positions (1), (9), (17), and (25) in FIG. 11 (A) are calculated. The above processing is performed in each of the cameras 131 to 133.

以上の処理を繰り返すことで、徐々にカメラ位置を増やしながらのカメラ位置の算出が全ての画像を対象として行われる。例えば、図１１（Ａ）に係るＳ１０１〜Ｓ１０６の処理が行なった後、図１１（Ｂ）に示すように、新たな４箇所のカメラ位置に関してＳ１０１〜１０６の処理を繰り返す。この場合、新たに求めるカメラ位置が図１１（Ｂ）に示す(5),(13),(21),(29)である。 By repeating the above processing, the calculation of the camera position while gradually increasing the camera position is performed for all the images. For example, after the processing of S101 to S106 according to FIG. 11A is performed, the processing of S101 to 106 is repeated with respect to the four new camera positions as shown in FIG. 11B. In this case, the newly obtained camera positions are (5), (13), (21), and (29) shown in FIG. 11 (B).

この場合、図１１（Ａ）に示す(1),(9),(17),(25)のカメラ位置を初期値として、新たなカメラ位置(5),(13),(21),(29)が計算される。この際、初期値として扱われるカメラ位置(1),(9),(17),(25)は再計算される。 In this case, the camera positions (1), (9), (17), and (25) shown in FIG. 29) is calculated. At this time, the camera positions (1), (9), (17), and (25) treated as initial values are recalculated.

上記の処理では、既に求められているカメラ位置を初期値として、その時点で対象となっている全てのカメラ位置の計算を行う。この計算は、カメラ位置を増やしながら最終的に全ての画像が対象となるように、繰り返し行われる。こうして、全ての画像におけるカメラ位置を算出する。 In the above process, the camera positions already obtained are set as initial values, and all the target camera positions at that time are calculated. This calculation is repeated while increasing the camera position so that all the images are finally targeted. In this way, the camera positions in all the images are calculated.

（計測対象物の三次元計測）
全ての画像における回転台１１２に対するカメラ位置を求めたら、今度は隣接するカメラ位置でステレオ画像を構成し、当該ステレオ画像から抽出される特徴点の三次元座標位置を算出する。この際、図１１の処理で求めた粗な点群の位置データも利用される。図１０は、この処理のフローチャートの一例である。 (Three-dimensional measurement of the object to be measured)
After obtaining the camera positions with respect to the turntable 112 in all the images, a stereo image is constructed at the adjacent camera positions, and the three-dimensional coordinate positions of the feature points extracted from the stereo images are calculated. At this time, the position data of the coarse point cloud obtained by the process of FIG. 11 is also used. FIG. 10 is an example of a flowchart of this process.

処理が開始されると、隣接または近接する視点位置（カメラ位置）から植物１２０を撮影した２枚の画像をステレオ画像として選択する（ステップＳ２０１）。選択の候補となる画像は、カメラ１３１〜１３３が撮影した合計２１６枚の画像である。この処理は、ステレオ画像選択部２２１で行われる。選択する２枚の画像は、異なるカメラが撮影したものであってもよい。なお、重複した対象を撮影した３枚状以上の画像をステレオ画像として選択することもできる。 When the process is started, two images of the plant 120 taken from adjacent or close viewpoint positions (camera positions) are selected as stereo images (step S201). The images that are candidates for selection are a total of 216 images taken by the cameras 131 to 133. This process is performed by the stereo image selection unit 221. The two images to be selected may be taken by different cameras. It is also possible to select three or more images of overlapping objects as stereo images.

次に、ステップＳ２０１で選択したステレオ画像において、背面を除去する処理を行う（ステップＳ２０２）この処理は、図７の背面除去部２４７で行われる（ステップＳ２０２）。次に、背面を除去したステレオ画像からの特徴点の抽出を行う（ステップＳ２０３）。この処理は、図７の特徴点抽出部２５０で行われる。 Next, in the stereo image selected in step S201, a process of removing the back surface is performed (step S202). This process is performed by the back surface removing unit 247 of FIG. 7 (step S202). Next, feature points are extracted from the stereo image with the back surface removed (step S203). This process is performed by the feature point extraction unit 250 of FIG. 7.

次に、周辺マスクの作成に利用する画像を取得するためのカメラの位置を選択する（ステップＳ２０４）。この処理では、ステップＳ２０１で選択したステレオ画像を得たカメラ位置の両側から一組のカメラ位置を選択する。例えば、図２のカメラ１とカメラ２の画像がステップＳ２０１で選択された場合、その両サイドのカメラ３とカメラ４の位置がステップＳ２０４で選択される。 Next, the position of the camera for acquiring the image used for creating the peripheral mask is selected (step S204). In this process, a set of camera positions is selected from both sides of the camera position obtained from the stereo image selected in step S201. For example, when the images of the camera 1 and the camera 2 of FIG. 2 are selected in step S201, the positions of the cameras 3 and the camera 4 on both sides thereof are selected in step S204.

次に、ステップＳ２０４で選択したカメラ位置から撮影した画像を周辺マスク作成用ステレオ画像として取得する（ステップＳ２０５）。例えば、図２のカメラ３とカメラ４が撮影した計測対象物３０の画像がステップＳ２０５で取得される。 Next, the image taken from the camera position selected in step S204 is acquired as a stereo image for creating a peripheral mask (step S205). For example, the images of the measurement object 30 taken by the camera 3 and the camera 4 in FIG. 2 are acquired in step S205.

次に、図２〜図５に示す原理を利用して周辺マスクを作成する（ステップＳ２０６）。この際、背面の除去を行うことで得られる計測対象物の画像のエッジ部分の情報を利用して、図２〜図５に示す原理を利用した周辺マスクの作成を行う。例えば、図２には、周辺マスク１０が設定される例が示されている。 Next, a peripheral mask is created using the principle shown in FIGS. 2 to 5 (step S206). At this time, the peripheral mask is created by using the principle shown in FIGS. 2 to 5 by utilizing the information of the edge portion of the image of the measurement object obtained by removing the back surface. For example, FIG. 2 shows an example in which the peripheral mask 10 is set.

次に、ステップＳ２０３で抽出した特徴点のステレオ画像間での対応関係の特定を行う（ステップＳ２０７）。この処理は、図７の対応点特定部２６０で行われる。この処理では、ステップＳ２０６で作成した周辺マスクでマスクされる領域では対応点の特定が禁止される。つまり、ステップＳ２０６で作成した周辺マスクの領域では、対応点の特定は行わない。 Next, the correspondence between the stereo images of the feature points extracted in step S203 is specified (step S207). This process is performed by the corresponding point specifying unit 260 in FIG. 7. In this process, identification of the corresponding point is prohibited in the area masked by the peripheral mask created in step S206. That is, the corresponding points are not specified in the peripheral mask area created in step S206.

例えば、図２には、周辺マスク１０が設定され、そこからのカメラ１とカメラ２のステレオ画像からの対応点の特定が禁止された例が示されている。この例によれば、周辺マスク１０を利用することで、図１の△点や□点で示される誤対応点の検出が防止される。 For example, FIG. 2 shows an example in which a peripheral mask 10 is set and identification of corresponding points from the stereo images of the camera 1 and the camera 2 from the peripheral mask 10 is prohibited. According to this example, by using the peripheral mask 10, it is possible to prevent the detection of the erroneous correspondence points indicated by the points Δ and □ in FIG.

また、ステレオ画像中からのターゲット１１３の検出を行う（ステップＳ２０８）。この処理はターゲット検出部２４０で行われる。ターゲットの検出はステップＳ２０２〜Ｓ２０８の間で行えばよい。 In addition, the target 113 is detected from the stereo image (step S208). This process is performed by the target detection unit 240. The target may be detected between steps S202 and S208.

次に、ステップＳ２０７でステレオ画像間での対応関係が特定された特徴点の三次元位置の算出を行う（ステップＳ２０９）。この際、図１１の処理で位置を特定した特徴点を初期値として用いる。この処理は、三次元座標算出部２７０で行われる。特徴点の三次元位置は、回転台１１２に固定された座標系での座標として算出される。この位置が特定された特徴点が三次元点群となり、植物１２０の点群位置データが得られる。 Next, the three-dimensional position of the feature point whose correspondence relationship between the stereo images is specified in step S207 is calculated (step S209). At this time, the feature point whose position is specified by the process of FIG. 11 is used as an initial value. This process is performed by the three-dimensional coordinate calculation unit 270. The three-dimensional position of the feature point is calculated as the coordinates in the coordinate system fixed to the turntable 112. The feature point whose position is specified becomes a three-dimensional point cloud, and the point cloud position data of the plant 120 can be obtained.

次に、ステップＳ２０１の前段階に戻り、ステップＳ２０１以下の処理が繰り返される。例えば、カメラＮ、カメラＮ＋１、カメラＮ＋２、カメラＮ＋３・・・・と並んでいる場合に、カメラＮとカメラＮ＋１の撮影画像をステレオ画像とした図１０の処理、カメラＮ＋１とカメラＮ＋２の撮影画像をステレオ画像とした図１０の処理、カメラＮ＋２とカメラＮ＋３の撮影画像をステレオ画像とした図１０の処理、・・・を全ての画像を対象に順次行う。 Next, the process returns to the previous stage of step S201, and the processes of step S201 and subsequent steps are repeated. For example, when the camera N, the camera N + 1, the camera N + 2, the camera N + 3, ..., And so on, the processing of FIG. The process of FIG. 10 in which the camera N + 2 and the camera N + 3 are taken as a stereo image, the process of FIG.

新たな組み合わせのステレオ画像が選択されると、その段階で未知の対応点（ステレオ画像を構成する画像の中で対応する未知な特徴点）が抽出され、その位置が算出される。この処理を繰り返すことで、利用する全ての画像から順次選択されたステレオ画像中で共通する特徴点の三次元位置の算出が行われる。こうして、三次元計測の対象である植物１２０を、三次元座標が判明した点の集合として捉えた点群位置データが得られる。 When a new combination of stereo images is selected, unknown corresponding points (corresponding unknown feature points in the images constituting the stereo image) are extracted at that stage, and their positions are calculated. By repeating this process, the three-dimensional positions of common feature points in the stereo images sequentially selected from all the images to be used are calculated. In this way, point cloud position data is obtained in which the plant 120, which is the target of the three-dimensional measurement, is captured as a set of points whose three-dimensional coordinates are known.

植物１２０の点群位置データ得たら、それに基づき植物１２０の三次元モデルを作成する。この処理は、既知の処理であるので説明は省略する。三次元モデルの作成については、例えば、国際公開番号ＷＯ２０１１/０７０９２７号公報、特開２０１２−２３０５９４号公報、特開２０１４−３５７０２号公報等に記載されている。 Once the point cloud position data of the plant 120 is obtained, a three-dimensional model of the plant 120 is created based on the data. Since this process is a known process, the description thereof will be omitted. The creation of the three-dimensional model is described in, for example, International Publication Nos. WO2011 / 070927, JP2012-230594, JP2014-35702, and the like.

（むすび）
以上述べた実施形態では、異なる第１の視点（図２のカメラ２）および第２の視点（図２のカメラ１）から重複する撮影対象（図２の計測対象物３０）を撮影したステレオ画像を得る画像データ受付部２１０（図７参照）と、前記ステレオ画像において対応する特徴点を特定する対応点検出部２６０（図７参照）と、前記第１の視点（図２のカメラ２）の前記第２の視点（図２のカメラ１）から離れる側からの第１の補助視点（図２のカメラ４）の選択、および前記第１の視点（図２のカメラ２）の前記第２の視点（図２のカメラ１）の側からの第２の補助視点（図２のカメラ３）の選択を行う補助視点選択部（周辺マスク作成用カメラ位置選択部２５１）と、前記第１の補助視点（図２のカメラ４）から前記撮影対象を撮影した第１の補助画像（図２のカメラ４が撮影した画像）と前記第２の補助視点（図２のカメラ３）から前記撮影対象を撮影した第２の補助画像（図２のカメラ３が撮影した画像）とを取得する補助画像取得部（周辺マスク作成用ステレオ画像取得部２５２）と、前記第１の補助視点（図２のカメラ４）から見て前記撮影対象（計測対象物３０）の影となり、且つ、前記第２の補助視点（図２のカメラ３）から見て前記撮影対象（計測対象物３０）の影とならない領域をマスクする周辺マスク１０を作成する周辺マスク作成部２５３とを備え、前記周辺マスク１０でマスクされる領域における前記対応する特徴点の特定が制限される三次元計測装置２００が示されている。 (Conclusion)
In the above-described embodiment, stereo images obtained by capturing overlapping imaging objects (measurement object 30 in FIG. 2) from different first viewpoints (camera 2 in FIG. 2) and second viewpoints (camera 1 in FIG. 2). The image data receiving unit 210 (see FIG. 7), the corresponding point detecting unit 260 (see FIG. 7) for specifying the corresponding feature points in the stereo image, and the first viewpoint (camera 2 in FIG. 2). The selection of the first auxiliary viewpoint (camera 4 in FIG. 2) from the side away from the second viewpoint (camera 1 in FIG. 2), and the second in the first viewpoint (camera 2 in FIG. 2). An auxiliary viewpoint selection unit (camera position selection unit 251 for creating a peripheral mask) for selecting a second auxiliary viewpoint (camera 3 in FIG. 2) from the viewpoint (camera 1 in FIG. 2) and the first auxiliary viewpoint (camera position selection unit 251 in FIG. 2). The shooting target is captured from the first auxiliary image (the image taken by the camera 4 in FIG. 2) and the second auxiliary viewpoint (camera 3 in FIG. 2) obtained by shooting the shooting target from the viewpoint (camera 4 in FIG. 2). An auxiliary image acquisition unit (stereo image acquisition unit 252 for creating a peripheral mask) that acquires a second auxiliary image (an image taken by the camera 3 in FIG. 2) and the first auxiliary viewpoint (camera in FIG. 2). A region that is a shadow of the imaging target (measurement object 30) when viewed from 4) and is not a shadow of the imaging target (measurement object 30) when viewed from the second auxiliary viewpoint (camera 3 in FIG. 2). A three-dimensional measuring device 200 is shown that includes a peripheral mask creating unit 253 that creates a peripheral mask 10 that masks the peripheral mask 10 and limits identification of the corresponding feature points in a region masked by the peripheral mask 10.

三次元計測装置２００では、周辺マスクを用いることで、図２の△点や□点といったカメラ１とカメラ２の撮影画像から得られるステレオ画像間での誤対応点の検出が防止される。 In the three-dimensional measuring device 200, by using the peripheral mask, it is possible to prevent the detection of erroneous correspondence points between the stereo images obtained from the images captured by the camera 1 and the camera 2, such as the Δ points and the □ points in FIG.

（その他）
回転台１１２の回転を精密に制御し、撮影時に回転を停止し、静止させた状態とする態様も可能である。例えば撮影時に長い露光時間が必要な場合や、対象が振動により生じた揺れが収束するまでに、この手法を利用することができる。また、計測の対象は植物に限定されない。 (Other)
It is also possible to precisely control the rotation of the turntable 112, stop the rotation at the time of shooting, and make the rotation stand stationary. For example, this method can be used when a long exposure time is required at the time of shooting or until the shaking caused by the vibration of the object converges. Moreover, the target of measurement is not limited to plants.

計測対象を回転させずに固定し、計測対象に向けたカメラを円周上で移動させつつ撮影を行ってもよい。この場合、カメラが移動する円周の中心を基準にカメラの角度位置が把握される。また、計測対象とカメラの位置関係を相対的に固定してもよい。この場合、計測対象を中心とした円周上に多数のカメラを配置した状態とし、各カメラ位置からの撮影を行う。この場合、カメラが配置された円周の中心を基準に角度位置が把握される。 The measurement target may be fixed without being rotated, and shooting may be performed while moving the camera toward the measurement target on the circumference. In this case, the angular position of the camera is grasped with reference to the center of the circumference in which the camera moves. Further, the positional relationship between the measurement target and the camera may be relatively fixed. In this case, a large number of cameras are arranged on the circumference centered on the measurement target, and shooting is performed from each camera position. In this case, the angular position is grasped with reference to the center of the circumference on which the camera is arranged.

本発明は、図６の形態に限定されず、ステレオ画像を用いた三次元計測の技術に広く適用できる。 The present invention is not limited to the form shown in FIG. 6, and can be widely applied to a technique for three-dimensional measurement using a stereo image.

１０…周辺マスク、２０…背面、３０…計測対象物、４１…方向線、４２…方向線、１００…３Ｄ計測システム、１１１…土台、１１２…回転台、１１３…ターゲット、１２０…測定対象物である植物、１２１〜１２３…ランダムドット柱、１２４…鉢、１２５…２次元バーコード表示、１３１〜１３３…カメラ、２００…ＰＣを利用した３Ｄ計測処理装置。 10 ... peripheral mask, 20 ... back, 30 ... measurement object, 41 ... direction line, 42 ... direction line, 100 ... 3D measurement system, 111 ... base, 112 ... turntable, 113 ... target, 120 ... measurement object A plant, 121-123 ... random dot pillar, 124 ... pot, 125 ... two-dimensional barcode display, 131-133 ... camera, 200 ... 3D measurement processing device using a PC.

Claims (6)

異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得部と、
前記ステレオ画像において対応する特徴点を特定する対応点特定部と、
前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択部と、
前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得部と、
前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定部と
を備え、
前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測装置。 A stereo image acquisition unit that obtains stereo images of the object to be photographed from different first viewpoints and second viewpoints,
A corresponding point identification unit that specifies a corresponding feature point in the stereo image,
Assistance in selecting a first auxiliary viewpoint from a side away from the second viewpoint of the first viewpoint and selecting a second auxiliary viewpoint from the side of the second viewpoint of the first viewpoint. Viewpoint selection section and
An auxiliary image acquisition unit that acquires a first auxiliary image obtained by photographing the photographing object from the first auxiliary viewpoint and a second auxiliary image obtained by photographing the photographing object from the second auxiliary viewpoint.
A mask area setting unit for setting a region that is a shadow of the shooting target when viewed from the first auxiliary viewpoint and is not a shadow of the shooting target when viewed from the second auxiliary viewpoint is provided as a mask area.
A three-dimensional measuring device using an image in which identification of the corresponding feature point is limited in the mask region. 前記第２の補助視点が前記第２の視点の前記第１の視点から離れる側から選択される請求項１に記載の画像を用いた三次元計測装置。 The three-dimensional measuring device using the image according to claim 1, wherein the second auxiliary viewpoint is selected from the side of the second viewpoint away from the first viewpoint. 前記マスク領域は、
前記第１の補助視点と前記第１の補助視点から見た前記撮影対象の縁の部分とを結ぶ第１の方向線と、
第２の補助視点と前記第２の補助視点から見た前記第１の補助視点からは死角となる前記撮影対象の縁の部分とを結ぶ第２の方向線と
の交点の前記第１の視点から見た後方であって、前記第１の方向線と前記第２の方向線で囲まれる領域である請求項１または２に記載の画像を用いた三次元計測装置。 The mask area is
A first direction line connecting the first auxiliary viewpoint and the edge portion of the imaging target as seen from the first auxiliary viewpoint, and
The first viewpoint at the intersection of the second auxiliary viewpoint and the second direction line connecting the edge portion of the imaging target, which is a blind spot from the first auxiliary viewpoint as viewed from the second auxiliary viewpoint. The three-dimensional measuring device using the image according to claim 1 or 2, which is a region seen from the rear and surrounded by the first direction line and the second direction line. 前記マスク領域において、前記ステレオ画像における対応点の特定が禁止されている請求項１〜３のいずれか一項に記載の画像を用いた三次元計測装置。 A three-dimensional measuring device using the image according to any one of claims 1 to 3, wherein identification of a corresponding point in the stereo image is prohibited in the mask area. 異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得ステップと、
前記ステレオ画像において対応する特徴点を特定する対応点特定ステップと、
前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択ステップと、
前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得ステップと、
前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定ステップと
を有し、
前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測方法。 A stereo image acquisition step of obtaining a stereo image of an object to be captured from different first viewpoints and second viewpoints,
A corresponding point identification step for specifying a corresponding feature point in the stereo image,
Assistance in selecting a first auxiliary viewpoint from a side away from the second viewpoint of the first viewpoint and selecting a second auxiliary viewpoint from the side of the second viewpoint of the first viewpoint. Viewpoint selection step and
An auxiliary image acquisition step of acquiring a first auxiliary image obtained by photographing the photographing object from the first auxiliary viewpoint and a second auxiliary image obtained by photographing the photographing object from the second auxiliary viewpoint.
It has a mask area setting step of setting a region that is a shadow of the shooting target when viewed from the first auxiliary viewpoint and is not a shadow of the shooting target when viewed from the second auxiliary viewpoint as a mask area.
A three-dimensional measurement method using an image in which identification of the corresponding feature point is limited in the mask region. コンピュータに読み取らせて実行させるプログラムであって、
コンピュータに
異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得ステップと、
前記ステレオ画像において対応する特徴点を特定する対応点特定ステップと、
前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択ステップと、
前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得ステップと、
前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定ステップと
を実行させ、
前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測用プログラム。 A program that is read and executed by a computer
A stereo image acquisition step of obtaining a stereo image of an object to be photographed from a different first viewpoint and a second viewpoint on a computer, and
A corresponding point identification step for specifying a corresponding feature point in the stereo image,
Assistance in selecting a first auxiliary viewpoint from a side away from the second viewpoint of the first viewpoint and selecting a second auxiliary viewpoint from the side of the second viewpoint of the first viewpoint. Viewpoint selection step and
An auxiliary image acquisition step of acquiring a first auxiliary image obtained by photographing the photographing object from the first auxiliary viewpoint and a second auxiliary image obtained by photographing the photographing object from the second auxiliary viewpoint.
A mask area setting step of setting a region that is a shadow of the shooting target when viewed from the first auxiliary viewpoint and is not a shadow of the shooting target when viewed from the second auxiliary viewpoint is executed as a mask area.
A three-dimensional measurement program using an image in which identification of the corresponding feature point is restricted in the mask region.
JP2019105107A 2019-06-05 2019-06-05 Three-dimensional measurement device using images, three-dimensional measurement method using images, and three-dimensional measurement program using images Active JP7229102B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019105107A JP7229102B2 (en) 2019-06-05 2019-06-05 Three-dimensional measurement device using images, three-dimensional measurement method using images, and three-dimensional measurement program using images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019105107A JP7229102B2 (en) 2019-06-05 2019-06-05 Three-dimensional measurement device using images, three-dimensional measurement method using images, and three-dimensional measurement program using images

Publications (2)

Publication Number Publication Date
JP2020197493A true JP2020197493A (en) 2020-12-10
JP7229102B2 JP7229102B2 (en) 2023-02-27

Family

ID=73649560

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019105107A Active JP7229102B2 (en) 2019-06-05 2019-06-05 Three-dimensional measurement device using images, three-dimensional measurement method using images, and three-dimensional measurement program using images

Country Status (1)

Country Link
JP (1) JP7229102B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09231371A (en) * 1996-02-21 1997-09-05 Canon Inc Picture information input device and its method
JP2007327938A (en) * 2006-05-10 2007-12-20 Topcon Corp Image processing device and method therefor
JP2011141710A (en) * 2010-01-07 2011-07-21 National Institute Of Information & Communication Technology Device, method and program for estimating depth

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09231371A (en) * 1996-02-21 1997-09-05 Canon Inc Picture information input device and its method
JP2007327938A (en) * 2006-05-10 2007-12-20 Topcon Corp Image processing device and method therefor
JP2011141710A (en) * 2010-01-07 2011-07-21 National Institute Of Information & Communication Technology Device, method and program for estimating depth

Also Published As

Publication number Publication date
JP7229102B2 (en) 2023-02-27

Similar Documents

Publication Publication Date Title
JP5480914B2 (en) Point cloud data processing device, point cloud data processing method, and point cloud data processing program
US9443308B2 (en) Position and orientation determination in 6-DOF
US9697607B2 (en) Method of estimating imaging device parameters
CN113379822B (en) Method for acquiring 3D information of target object based on pose information of acquisition equipment
JP5465128B2 (en) Point cloud position data processing device, point cloud position data processing system, point cloud position data processing method, and point cloud position data processing program
JP4885584B2 (en) Rangefinder calibration method and apparatus
EP1986154A1 (en) Model-based camera pose estimation
JP2012057960A (en) Point group position data processor, point group position data processing method, point group position data processing system, and point group position data processing program
JP6898776B2 (en) 3D measuring device
JP4836086B2 (en) 3D shape detector
JP2017003525A (en) Three-dimensional measuring device
JP2010133752A (en) Shape measuring device and program
JP2003042732A (en) Apparatus, method and program for measurement of surface shape as well as surface-state mapping apparatus
Hafeez et al. 3D surface reconstruction of smooth and textureless objects
JPH0766436B2 (en) 3D model construction device using continuous silhouette images
JP7229102B2 (en) Three-dimensional measurement device using images, three-dimensional measurement method using images, and three-dimensional measurement program using images
WO2020240949A1 (en) Three-dimensional measurement device, three-dimensional measurement method, and three-dimensional measurement program
JP2003042730A (en) Apparatus and method for measurement of surface shape as well as surface-state mapping apparatus
JP2004170277A (en) 3-dimensional measurement method, 3-dimensional measurement system, image processing apparatus, and computer program
JP2020187557A (en) Temperature image display device, temperature image display system and temperature image display program
JP2005292027A (en) Processor and method for measuring/restoring three-dimensional shape
EP4131155A1 (en) Point cloud data processing device, point cloud data processing method, and program
JP7376201B1 (en) Information processing system, information processing method and program
Wu et al. Pedestrian height estimation and 3D reconstruction using pixel-resolution mapping method without special patterns
Liebold et al. Integrated Georeferencing of LIDAR and Camera Data acquired from a moving platform

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230214

R150 Certificate of patent or registration of utility model

Ref document number: 7229102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150