WO2006082773A1 - 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム - Google Patents

対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム Download PDF

Info

Publication number
WO2006082773A1
WO2006082773A1 PCT/JP2006/301422 JP2006301422W WO2006082773A1 WO 2006082773 A1 WO2006082773 A1 WO 2006082773A1 JP 2006301422 W JP2006301422 W JP 2006301422W WO 2006082773 A1 WO2006082773 A1 WO 2006082773A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
feature
point cloud
geometric transformation
software program
Prior art date
Application number
PCT/JP2006/301422
Other languages
English (en)
French (fr)
Inventor
Kouichi Konno
Tadahiro Fujimoto
Tetsuji Konno
Norishige Chiba
Original Assignee
Iwate University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iwate University filed Critical Iwate University
Publication of WO2006082773A1 publication Critical patent/WO2006082773A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Definitions

  • the present invention relates to an object measurement method for obtaining three-dimensional shape data of an object by measuring the object from a plurality of directions using a range sensor, and a computer software program for executing the object measurement method About.
  • range sensor is one of effective means for restoring a building in a real space on a virtual space.
  • the range sensor is a measuring device for measuring the distance in the depth direction from the sensor position to each point on the object surface as digital data.
  • Range Sensor force By obtaining an image containing distance information, the object shape can be acquired as a point cloud in 3D space.
  • the point cloud from which the range sensor force is also obtained has a problem related to occlusion.
  • the problem related to occlusion is a problem in which part of the imaging target is hidden behind other parts depending on the imaging direction and cannot be acquired as point cloud data.
  • One way of thinking to solve the occlusion problem is to measure multiple different potential forces and integrate them by aligning them in 3D space.
  • the coordinates of the obtained point cloud are directly used to calculate and align the optimum position between the point clouds, and indirectly using feature points and feature lines.
  • a method for aligning the position by applying position calculation has been proposed.
  • optimal alignment is performed by directly using the coordinates of the point cloud.
  • a standard for alignment such as a point or a surface is required, and there is a drawback that a marker must be arranged as a standard point. When using this marker, it is necessary to impose conditions so that the same markers measured from other directions match and calculate the alignment.
  • the method of positioning based on feature points and feature quantities is a method of grouping point clouds on the same plane with tolerances and dividing the point clouds into regions. Then, a geometric feature line is extracted from the intersecting line between planes, and alignment is performed using the normal vector and the feature line of the plane.
  • a direction solid or feature line is used as a reference point. Based on this feature quantity, no marker is required for alignment, which is effective when expressing parts or objects where the marker cannot be placed.
  • an object of the present invention is to provide a measurement method capable of aligning images even when a sampling interval by a range sensor is wide and accurately measuring an object having a complicated shape. is there.
  • a range sensor is used to measure an object from a plurality of different directions, and each of the objects to the measurement point of the object is measured.
  • a new technique for solving the above-described problems is provided by extracting feature amounts by a technique different from the conventional technique. That is, in one embodiment of the present invention, first, an edge-detected image is created from a point group that is a three-dimensional coordinate value having a correspondence relationship with each pixel of a distance image obtained by measurement, and a feature line is created. To extract. Next, the extracted feature lines are line-divided in a three-dimensional space. In the final alignment, pairs that correspond to each other obtained from different directions are selected in 3D space, and the optimal geometric transformation is obtained by error evaluation.
  • a feature line that has been differentiated by a tolerant modeling method that considers an allowable error is used. Use. Also, with this method, many feature lines can be extracted even when the sampling interval is wide, and alignment is also possible. Therefore, there are advantages such as being able to measure over a wide range and requiring less measurement data.
  • a computer software program for measuring a three-dimensional shape of an object using a computer system, the storage medium being stored in the storage medium.
  • the computer system is configured to generate point cloud data including distance information in the back direction to the measurement point of the object based on information obtained by measuring the object from a plurality of directions using a range sensor.
  • a group data acquisition unit and a storage unit stored in the storage medium causing the computer system to process the point group data, and connecting point groups having a difference in distance between adjacent points in a depth direction of a predetermined value or more.
  • a feature line acquisition unit that detects the edge; a feature line processing unit that is stored in the storage medium and causes the computer system to convert the edge into a feature line; and the storage Stored in the body, this having the computer system, wherein each point cloud data, by Align with the detected characteristic line, the geometric conversion output portion for outputting the geometric transformation of the object, the A computer software program is provided.
  • a computer software program capable of executing the method according to the first aspect is provided.
  • FIG. 1 is a layout diagram of range sensors according to an embodiment of the present invention.
  • the imaging object 1 is a gate of a Japanese temple.
  • the 1st-4th range sensors 2a-2d are arranged so that this imaging subject 1 can be imaged from a different imaging direction.
  • Each range sensor 2a to 2d is connected to the object imaging system 4 of this embodiment.
  • the range sensor in this embodiment includes a three-dimensional laser scanner, and is configured to acquire data on the distance in the depth direction to the surface of the object by detecting the laser reflected by the object to be imaged. is there.
  • the range sensor may be a currently known one, or it may be a V range sensor that will be used in the future if it has the same function! /.
  • FIG. 2 is a schematic configuration diagram showing the object imaging system 4.
  • a program storage unit 10 and a data storage unit 11 are connected to a bus 9 to which a CPU 5, a RAM 6, a range sensor interface 7, an input / output device 8 such as a keyboard and a mouse are connected. It becomes.
  • the program storage unit includes a basic program 12 such as an OS, a point cloud data acquisition unit 13 that receives image signals from the range sensors 2a to 2d and outputs point cloud data, and an edge from each point cloud data
  • a feature line acquisition unit 14 that identifies a point cloud to be obtained and obtains a feature line of each point cloud data
  • a feature line processing unit 15 that converts this feature line into a line segment in a three-dimensional space and integrates and optimizes it 15
  • a registration processing unit 16 that performs alignment between the line groups obtained by different range sensors using the feature line, and a geometry that outputs geometric conversion of each point cloud data based on the alignment.
  • a conversion output unit 17 And processed by each of these components.
  • the point cloud data, feature line data, and geometric transformation data are stored in the data storage unit 11.
  • the program storage unit 10 and the data storage unit 11 which are actually a general-purpose computer may be an external storage device such as a hard disk.
  • Each of the constituent elements 13 to 17 is stored in the program storage unit 10 in the form of computer software, and is appropriately called and executed on the RAM 6 by the CPU 5 so as to function as the constituent elements of the present invention.
  • FIG. 3 is a flowchart showing this processing step.
  • S1 to S6 in the figure correspond to the following steps S1 to S6.
  • the point cloud data acquisition unit 4 uses the first and second range sensors 2a and 2b to measure the imaging target 1 from different directions to obtain point cloud data (step Sl).
  • the point cloud has a correspondence between each pixel of the image obtained from the range sensors 2a and 2b and the three-dimensional coordinate value.
  • edge detection is also performed for the point cloud data force (step S2).
  • This edge detection is performed by detecting a step whose distance in the depth direction is greater than or equal to a threshold value between adjacent points. This method is called a depth edge method in the present invention.
  • the conventional feature detection method in image processing is a pattern matching method.
  • feature lines When feature lines are extracted based on this method, feature lines that characterize the shape due to fine irregularities on the surface of the shape are used. In some cases, necessary feature lines may not be extracted successfully due to noise.
  • This feature detection is performed by adjusting the threshold value. At this time, the more the characteristic lines are extracted by adjusting the threshold value, the more noise is generated. In addition, if the generation of noise is suppressed by reducing the threshold, etc., the number of extracted feature lines is reduced, and features that match from different directions can be obtained. The possibility becomes low.
  • a feature line is obtained using information in the depth direction. That is, in the present invention, DepthEdge is defined. Depth Edge is a feature line corresponding to a portion where the difference in the depth value of adjacent pixels is large. Since the position (ix, jy) of each pixel corresponds to one point (x, y, z) of the point cloud, the feature line acquisition unit 14 determines the z value of the three-dimensional coordinate value corresponding to each pixel. Edges are detected by applying a threshold value to. Figure 4 shows the image obtained in this way.
  • the feature line processing unit 15 differentiates the feature line (step 3).
  • Point cloud force The extracted feature lines are expressed in units of pixels and depth values on the image. Therefore, this feature line is converted to a line segment in the three-dimensional space by the processing described below.
  • Cd the number of connected pixels in four directions, Cd (l ⁇ d ⁇ 4), is given to each pixel as an element that determines the line segment.
  • the four directions are directions rotated 45 degrees from the right direction on the two-dimensional image to the lower left.
  • Cd for each direction d is the number of pixels connected in that direction and the number of points that make up the line segment.
  • the feature line processing unit 15 determines Cd of each pixel by applying the following algorithm.
  • P (ix + 1, jy) be the pixel to be referenced, and similarly determine the number of connected components of the right adjacent pixel and the distance between two points in the three-dimensional space. If the pixel of interest P (ix + n, jy) is the right component SO of the right adjacent pixel, or the distance Dv between the two points is greater than the threshold Dis If not, the number of connected components is not added and the line segment creation is also terminated. At this time, the points P (ix, jy) and P (ix + n, jy) are the end points of the line segment L1. The number of points composing the line segment is the number of connected components of P (ix + n, jy). In this case, it is (n + 1). A new edge pixel is searched and the same process is repeated.
  • the line segmentation in one direction described in (1), (2), and (3) is applied to all four directions to perform line segmentation of feature lines.
  • the obtained line segment information is stored in the data storage unit 11 as feature line data.
  • the feature line processing unit 15 performs integration of the converted line segments (step S4).
  • the line segment created above does not extract the force in a certain direction on the image, so in the case of line segments A, B, C, and D shown in FIG. It is created as a continuous line segment.
  • the feature line processing unit 15 derives an infinite straight line in a three-dimensional space on which the line segments are placed in order to integrate the line segments A, B, C, and D into one line segment, and to add any two lines Judgment is made as to whether or not the minute satisfies the following two conditions at the same time, and if so, the two line segments are integrated.
  • the line segments L1 and L2 are formed in the radius R from the infinite straight line L12 (t) on which the two line segments are put together in the three-dimensional space. When all the points to be present exist.
  • the feature line processing unit 15 derives an infinite straight line in the three-dimensional space by the following method. In other words, first, let L (t) be an infinite straight line on which a point on the line travels, and let d (Pi, L (t)) be the distance from any point that makes up the line segment to L (t). Then we define an infinite straight line that minimizes the distance between the infinite straight line (t) and the point group Pi with error.
  • this embodiment introduces an evaluation expression (EL) that represents the sum of squares of the distance between the infinite line and the point group, as shown in Expression (1).
  • n is the number of points constituting the line segment.
  • the feature line processing unit 15 calculates an approximate solution by the least square method and determines an infinite straight line L (t) that minimizes EL.
  • the initial value of L (t) uses the slope of a straight line connecting the midpoint of the line segment and the end points of the line segment. After integrating the line segments, there are many line segments with very few points. In this case, it is difficult to determine whether the force is a line segment effective for alignment or invalid noise. Therefore, in the present invention, the line segments are arranged in descending order on the basis of the number of points constituting the line segment, and the top dozens are used for alignment.
  • the feature line processing unit 15 performs line segment optimization processing (step S5).
  • the alignment method according to the present invention it is required that some line segments selected from the line segment group more accurately represent the feature of the shape. Therefore, the line segment used for alignment is optimized by integrating it with other adjacent edge points.
  • the number of vertices constituting the line segment increases. Specifically, optimization is performed according to the following procedure.
  • the alignment processing unit 16 uses the obtained line segment to generate a plurality of sensor positions.
  • the relative positional relationship between the point clouds that also acquired the placement force is derived (step S6).
  • This alignment is performed sequentially between two sets of line segments. That is, first, alignment is performed between line segments obtained from any two directions, the two line segments are combined, and then one line segment group is selected from the remaining directions, and alignment and composition are performed. Go.
  • the line segment group obtained from each direction includes an allowable error and a sufficient number of line segments cannot be obtained, the line segment group from the two directions can be successfully obtained. It is often difficult to find the corresponding line pair itself. Therefore, in the present invention, at least two pairs of line segments to be selected are selected. However, choose so that the pairs are not parallel. Also, for example, a line segment that appears differently depending on the measurement direction, such as a line segment corresponding to a silhouette of a thick cylinder in the central axis direction, should not be used as an object for alignment. Next, the evaluation value based on the correspondence relationship in the three-dimensional space of the line segment other than the selected line segment pair is also calculated, and the geometric transformation is determined in consideration of the value. In the registration algorithm of the present invention, the optimum geometric transformation of the selected line segment pair is determined by repeating the following four steps.
  • Step A Initial position setting
  • Step B Determination of rotational movement transformation
  • Step C Determine translation translation
  • Step D Post-alignment evaluation
  • Steps A, B, and C have weighting parameters (described later). Based on the evaluation of Step D, the optimal weighting parameters are obtained by repeating Step A to Step D. After all geometric transformations have been determined, the line segments are aligned from two directions using the geometric transformations (Step E). Hereinafter, each step will be described in detail based on the flowchart of FIG.
  • Newton's method is used as a method for solving an equation formulated by the least square method.
  • the solution may diverge depending on the initial value. Therefore, in this step, two sets are selected from N pairs as preprocessing for determining the conversion of rotational movement and parallel movement, and the initial position is set so that they approach each other. Setting the initial position prevents the solution from diverging.
  • the algorithm for setting the initial position determines the right-handed coordinate axes in the two measurement directions and applies the affine transformation to match the two coordinate axes.
  • the coordinate axis determination method is defined as follows. In other words, two line segment pairs DL and DL used for alignment measured from one direction are represented by DL (t)
  • the origin G of the coordinate axis is the intersection of two straight lines or the closest point. So
  • the direction is the Z axis, and finally the direction of the outer product of the V and Z axes is the X axis.
  • step B conversion is determined so that each pair of line segments selected for alignment is parallel.
  • the rotation angles of each axis are R, R, and R, and the rotation is performed using the respective rotation matrices.
  • L (t), L (t) be an infinite straight line with a pair of line segments.
  • Equation (4) The conditional expression in which two infinite straight lines are parallel is given by Equation (4).
  • Equation (4) A transformation that minimizes Equation (4) is obtained by the method of least squares.
  • the error evaluation function is used in the same way.
  • Equation (11) the error evaluation function ET is expressed by Equation (11).
  • Each alignment step uses a weighting parameter, and is set by evaluating a line segment after alignment.
  • the weighting parameters ex and ⁇ are used.
  • this parameter first, set all parameters to 0.5 as initial values.
  • the optimal parameter values are determined by repeatedly applying the following algorithm in the order of parameters a and ⁇ .
  • the parameter ⁇ is described, but the same applies to j8.
  • Parameter is selected and the value is set as a new initial value.
  • ⁇ is a minute value.
  • the geometric transformation output unit 17 outputs the initial position setting, the rotational movement transformation, and the translational transformation obtained by the alignment processing unit as a geometric transformation.
  • the label Point cloud data acquired by a range sensor can be integrated as a single 3D image data.
  • the geometric transformation output unit 17 outputs three-dimensional image data obtained by converting the point cloud data obtained by the four range sensors by the geometric transformation.
  • the south gate of the outer wall which was reconstructed in 1997, was measured on the site of Morioka Sashinami Castle in Iwate Prefecture.
  • the restored outer south gate is a large gate next to Heijo and Ruins Suzakumon Gate in Nara, Nara Prefecture, with a frontage of 15m and a height of 11.1m.
  • LMS-Z210 manufactured by RIEGL was used as the device used.
  • the main specifications of LMS-Z210 are as follows.
  • the range sensor can output three types of images.
  • Distance image showing the distance from the range sensor to the building in RGB.
  • Received light intensity image showing the light intensity reflection intensity of the point irradiated with laser in gray scale.
  • Color image showing the RGB of the laser irradiation point.
  • the range sensor can output 3D coordinate values corresponding to each pixel of the image as a point cloud.
  • FIG. 10 and FIG. 11 show the results of applying the method of measuring the front side of the south gate from the front and the right side and dividing the feature line proposed in this embodiment, respectively.
  • the black line in the figure is a line segment.
  • FIGS. 12 (a) and 12 (b) show examples before and after applying optimization after segmenting feature lines. However, each line segment was inversely transformed onto a 2D image. Looking at the area surrounded by the dotted line in Fig. 12 (b), it can be seen that the length of the line segment has increased.
  • a method of aligning point clouds obtained by measuring from a plurality of directions has been proposed.
  • edge detection was performed using point clouds, and feature lines were extracted as edge portions.
  • the feature line was converted to a line segment that allowed for tolerance by using a threshold in 3D space.
  • the line segment was optimized using the edge detection image.
  • the alignment algorithm is divided into four stages: initial position setting, determination of rotational movement conversion, determination of parallel movement conversion, and evaluation after alignment.
  • the line segment pair is automatically selected.
  • the operator may manually determine the line segment to be the characteristic line to be aligned !, .
  • the power of using four range sensors is not limited to this.
  • One range sensor may be placed in four locations in order to acquire an image.
  • the number is not limited to four, but may be two or more.
  • FIG. 1 is a schematic diagram showing a device configuration according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing the same schematic configuration.
  • FIG. 3 is a flowchart showing the same processing.
  • FIG. 4 is a view showing the same Depth-Edge image.
  • FIG. 5 is a diagram showing the direction of connected pixels.
  • FIG. 6 is a schematic diagram for explaining processing of the same discontinuous line segment.
  • FIG. 7 is a schematic diagram for explaining the process of integration of the same line segment.
  • FIG. 8 is a flowchart showing alignment between the same point groups.
  • FIG. 9 is a schematic diagram for explaining alignment of two line segments.
  • FIG. 10 is a schematic diagram for explaining line segments of the same feature line.
  • FIG. 11 is a schematic diagram for explaining line segments of the same feature line.
  • FIG. 12 is a schematic diagram for explaining optimization of the same line segment.
  • FIG. 13 is a schematic diagram showing a line segment after the same alignment.
  • FIG. 14 is a schematic diagram showing a point group after the same alignment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【解決課題】　レンジセンサによるサンプリング間隔が広い場合でも、画像同士の位置合わせが可能であり、複雑な形状の対象物を正確に計測する。 【解決手段】　ａ）レンジセンサを用い、異なる複数の方向から対象物を計測し、夫々について対象物の測定点までの奥行き方向の距離の情報を含む点群データを生成する工程と、ｂ）前記各点群データを処理し、隣り合う点同士の奥行き方向の距離の差が所定以上の点群を連結してエッジとして検出する工程と、ｃ）前記エッジを特徴線に変換する工程と、ｄ）前記各点群データを、前記検出した特徴線を用いて位置合わせすることで、前記対象物の幾何変換を出力する工程と、を有する。

Description

明 細 書
対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状 を計測するためのコンピュータソフトウェアプログラム
技術分野
[0001] この発明は、レンジセンサを用いて対象物を複数の方向から計測することで、当該 対象物の三次元形状データを得る対象物測定方法およびそれを実行するためのコ ンピュータソフトウエアプログラムに関する。
背景技術
[0002] 一般に、実空間の建造物を仮想空間上に復元する有効な手段の一つとして、レン ジセンサの利用が挙げられる。レンジセンサは、センサ位置から物体表面の各点まで の奥行き方向の距離をデジタルデータとして測定するための測定装置である。レンジ センサ力 距離の情報を含んだ画像を得ることで、物体形状を 3次元空間上の点群 として獲得することができる。
[0003] ところで、レンジセンサ力も得られた点群には、ォクルージョンに関する問題がある ことが知られている。ォクルージョンに関する問題とは、撮像方向により、撮像対象の 一部が他の部分の陰に隠れてしまい，点群データとして獲得することができない問題 をいう。ォクルージョンの問題を解決するための一つの考え方として、複数の異なる 位置力 対象物の測定を行い、それらを 3次元空間上で位置合わせすることにより統 合することが考免られる。
[0004] この位置合わせの手法として、得られた点群の座標を直接利用して、点群間の最 適な位置を計算し位置を合わせる手法と、特徴点や特徴線を用いて間接的に位置 計算を適用して位置を合わせる手法が従来提案されている。点群を直接利用して位 置を計算する手法においては、点群の座標を直接利用して最適な位置合わせを行う 。このため、点や面等のように位置合わせの基準になるものが必要となり、通常は基 準点としてマーカーを配置しなければならないという欠点がある。このマーカーを用 いる場合、他の方向から測定した同一のマーカー同士が一致するように条件を課し、 位置合わせを計算する必要がある。 [0005] 一方、特徴点や特徴量に基づ!/ヽた位置合わせを行う手法は、許容誤差を持った同 一平面上にのる点群をグループィ匕して点群を領域分けし、平面同士の交線から幾何 学的な特徴線を抽出し、平面の法線ベクトルと特徴線を用いて位置合わせを行うも のである。ここで特徴量を用いて位置合わせを行う場合は、基準点として方向べタト ルゃ特徴線等を用いる。この特徴量に基づ 、た位置合わせではマーカーを必要とし ないために、マーカーを配置できないような部分や対象物を表現する際に有効であ る。
発明の開示
発明が解決しょうとする課題
[0006] ところで、上記特徴線を用いた位置合わせは、はっきりした直線的な特徴を持つォ フィスビルのような建造物や対象物については有効であるものの、寺社や教会のよう な多数の凹凸等の複雑な形状を有する対象物には有効でないという問題がある。
[0007] すなわち、この手法では、点群の測定誤差が大きい場合や、サンプリング間隔が形 状の複雑度に比べて広い場合など、意図した平面形状が得られないときには、領域 の分け方が変化し、その結果得られる特徴線も変化してしまう。このような場合、複数 の方向力 取得した点群力 特徴線を求めた場合に、それぞれの点群力 得られる 特徴線が 3次元空間上で一致するものとはならな 、。例えば測定した方向のサンプリ ング間隔が広い場合、実際の表面形状にある細力な凹凸の部分が領域分けされず、 抽出される特徴線が少なくなる。このまま位置合わせを行うと、一致する特徴線が少 なくなり、位置合わせが不可能になる場合がある。一方、サンプリング間隔を狭くして しまうと測定データ多くなり、コンピュータで扱えるデータ量を超えてしまうなどの問題 が生じたり、広い範囲の測定が行えない等の問題がある。
[0008] 従って、この発明の目的は、レンジセンサによるサンプリング間隔が広い場合でも、 画像同士の位置合わせが可能であり、複雑な形状の対象物を正確に計測できる計 測方法を提供することにある。
課題を解決するための手段
[0009] 上記目的を達成するため、この発明の第 1の主要な観点によれば、レンジセンサを 用い、異なる複数の方向から対象物を計測し、夫々について対象物の測定点までの 奥行き方向の距離の情報を含む点群データを生成する工程と、前記各点群データ を処理し、隣り合うピクセル同士の奥行き方向の距離の差が所定以上の点群を連結 してエッジとして検出する工程と、前記各点群データを、前記検出したエッジを用い て位置合わせすることで、前記対象物の幾何学形状を出力する工程とを有すること を特徴とする対象物測定方法が提供される。
[0010] 本発明によれば、従来の手法とは異なる手法によって特徴量を抽出することによつ て、前述の問題点を解決する新しい手法が提供される。すなわち、本発明の一実施 形態では、まず初めに、測定して得られる距離画像の各ピクセルとの対応関係を持 つた 3次元座標値である点群から、エッジ検出した画像を作成し特徴線を抽出する。 次に、抽出した特徴線を 3次元空間上で線分化する。最終的な位置合わせでは、異 なる方向から得られた互いに対応する線分どうしが 3次元空間上で重なるようなペア を選択し、最適な幾何変換を誤差評価により求める。
[0011] 本発明によれば、形状の表面が粗い建造物や、精度の悪いデータに対しても位置 合わせ可能とするために、許容誤差を考慮するトレラントモデリング手法で線分化し た特徴線を用いる。また本手法では、サンプリング間隔が広い場合でも多くの特徴線 を抽出可能であり、位置合わせも可能である。そのため、広範囲にわたって測定可能 であることや、測定データが少なくて済む等の利点がある。
[0012] また、本発明の第 2の主要観点によれば、コンピュータシステムを用いて対象物の 三次元形状を計測するためのコンピュータソフトウェアプログラムであって、記憶媒体 と、この記憶媒体に格納され、前記コンピュータシステムに、レンジセンサを用い異な る複数の方向から対象物を計測された情報に基づいて、対象物の測定点までの奥 行き方向の距離の情報を含む点群データを生成させる点群データ取得部と、この記 憶媒体に格納され、前記コンピュータシステムに、前記各点群データを処理させ、隣 り合う点同士の奥行き方向の距離の差が所定以上の点群を連結してエッジとして検 出させる特徴線取得部と、この記憶媒体に格納され、前記コンピュータシステムに、 前記エッジを特徴線に変換させる特徴線処理部と、この記憶媒体に格納され、前記 コンピュータシステムに、前記各点群データを、前記検出した特徴線を用いて位置合 わせすることで、前記対象物の幾何変換を出力させる幾何変換出力部と、を有するこ とを特徴とするコンピュータソフトウェアプログラムが提供される。
[0013] このような構成によれば、上記第 1の観点に係る方法を実行できるコンピュータソフ トウエアプログラムが提供される。
[0014] なお、本発明の他の特徴と顕著な効果は、次の実施形態を参照することで、当業 者に明らかとなる。
発明を実施するための最良の形態
[0015] 以下、本発明の一実施形態を、実在する建造物や地形等を 3次元データ化する場 合を例にとって説明する。
[0016] 図 1は、本発明の一実施形態におけるレンジセンサの配置図である。
[0017] この実施形態では、撮像対象物 1は日本の寺院の門である。そして、この撮像対象 物 1を異なる撮像方向から撮像できるように、第 1〜第 4のレンジセンサ 2a〜2dが配 置されている。各レンジセンサ 2a〜2dは、この実施形態の対象物撮像システム 4に 接続されている。この実施形態におけるレンジセンサは、三次元レーザースキャナを 備え、撮像対象物で反射したレーザを検出することで、対象物表面までの奥行き方 向の距離のデータを取得できるように構成されたものである。レンジセンサは、現在 公知のものでよぐまた、同様の機能を有するものであれば将来利用されることになる Vヽかなるレンジセンサであってもよ!/、。
[0018] 図 2は、この対象物撮像システム 4を示す概略構成図である。
[0019] このシステム 4では、 CPU5、 RAM6,レンジセンサ用インタフェース 7、キーボード やマウス等の入出力デバイス 8が接続されてなるバス 9に、プログラム格納部 10とデ ータ格納部 11が接続されてなる。
[0020] プログラム格納部は、 OS等の基本プログラム 12と、レンジセンサ 2a〜2dからの画 像信号を受け取り点群データを出力する点群データ取得部 13と、各点群データから エッジを構成する点群を特定し、各点群データの特徴線を得る特徴線取得部 14と、 この特徴線を三次元空間上の線分に変換し、これを統合'最適化する特徴線処理部 15と、この特徴線を利用して異なるレンジセンサで得た線群同士の位置合わせを行 う位置合わせ処理部 16と、前記位置合わせに基づ 、て各点群データの幾何変換を 出力する幾何変換出力部 17と、を有する。そして、これらの各構成要素により処理さ れた点群データ、特徴線データ及び幾何変換データは、前記データ格納部 11に格 納されるようになって 、る。
[0021] なお、このシステム 4は、実際には汎用コンピュータでよぐ前記プログラム格納部 1 0やデータ格納部 11は、ハードディスク等の外部記憶装置でよい。前記各構成要素 13〜17は、コンピュータソフトウェアの形で前記プログラム格納部 10に格納され、上 記 CPU5によって適宜 RAM6上に呼び出され実行されることで、本発明の構成要素 として機能するようになって 、る。
[0022] 以下、このシステムの構成を、その動作と共に説明する。図 3は、この処理工程を示 すフローチャートである。なお、図中の S1〜S6は、以下のステップ S1〜S6に対応す る。
[0023] 点群データの取得
[0024] 前記点群データ取得部 4は、第 1、第 2のレンジセンサ 2a, 2bを用いて、撮像対象 1 を異なる方向から測定し点群データを得る (ステップ Sl)。点群は、レンジセンサ 2a, 2bから得られる画像の各ピクセルと 3次元座標値との対応関係を持つ。
[0025] 特徼線の柚出
[0026] 次に特徴線取得部 14力 前記点群データから特徴線を抽出する。
[0027] この場合、まず、点群データ力もエッジ検出を行う（ステップ S2)。このエッジ検出は 、隣り合う点間で奥行き方向の距離の段差が閾値以上のものを検出することで行う。 この方法を、本発明では、 Depth Edge法と呼ぶ。
[0028] すなわち、特徴線を利用して画像間の位置合わせを行う場合、測定したそれぞれ の方向から、 3次元空間上で一致する特徴線ができるだけ多く得られることが望まし い。しかし、従来の画像処理における特徴検出方法は、パターンマッチングによる方 法であり、この方法をもとに特徴線を抽出した場合、形状の表面にある細かな凹凸等 により、その形状を特徴付ける特徴線にノイズが発生するため、必要な特徴線がうま く抽出されない場合も生じる。この特徴検出は閾値を調整することで行うが、このとき 、閾値を調整して多くの特徴線を抽出するようにするほど、ノイズの発生は顕著となる 。また、閾値を小さくするなどして逆にノイズの発生を抑えるようにした場合には、抽 出される特徴線の数が減少し、異なる方向からの特徴線で一致するものが得られる 可能性が低くなつてしまう。
[0029] これに対して本発明では、ノイズの発生をできるだけ抑え、かつ、異なる方向力もの 特徴線で一致するもの、特に、位置合わせに有用なものができるだけ多く得られるよ う、点群の奥行き方向の情報を用いて特徴線を求める。すなわち、本発明では、 Dep thEdgeを定義する。 Depth Edgeは隣接するピクセルの奥行き値の差分が大きな 部分に対応する特徴線である。各ピクセルの位置 (ix、 jy)は点群の 1点 (x、 y、 z)に対 応しているため、前記特徴線取得部 14は、各ピクセルに対応する三次元座標値の z 値に対して閾値を適用することでエッジを検出する。図 4は、このようにして得られた 画像である。
[0030] 特徼線の線分化
[0031] 次に、特徴線処理部 15は、前記特徴線を線分化する (ステップ 3)。
[0032] 点群力 抽出した特徴線は、画像上のピクセルと奥行き値を単位として表現されて いる。そこで、以下に述べる処理により、この特徴線を 3次元空間上での線分に変換 する。ここでは、線分を決定する要素として四方向の連結ピクセル数 Cd(l≤d≤4)を 各ピクセルに与える。四方向とは図 5に示すように、 2次元画像上での右方向から左 斜め下まで 45度づっ回転した方向である。各方向 dに対する Cdは、その方向に連 続するピクセルの数であり、線分を構成する点の数となる。前記特徴線処理部 15は、 次のアルゴリズムを適用することにより、各ピクセルの Cdを決定する。
[0033] (1) 初めに Cdの初期化を行う。あるピクセル P(ix、 jy)がエッジ部分であれば、そのす ベての方向 dについて Cd= lとし、そうでなければ Cd=0とする。
[0034] (2) 画像の左上隅のピクセル力も Cdを探索する。例えば d= l、つまり探索方向を右 側としたときに、あるピクセル P(ix、 jy)力も線分 L1の作成を開始し、線分の端点とす る。そして P(ix、 jy)の右側に隣接するピクセル P(ix+ 1、 jy)の連結成分数を C'lとす る。このとき、 C'lの数が 1であり、 3次元空間上での 2点間の距離 Dvが閾値 Disよりも 短 、場合、 C' 1 = 1 + C1とし、着目して!/、るピクセル P(ix、 jy)の C1を 0とする。
[0035] (3) 次に参照するピクセルを P(ix+ l、jy)とし、同様に右隣ピクセルの連結成分数と 3次元空間上での 2点間距離を判定していく。もし、注目しているピクセル P(ix+n、 j y)の右隣ピクセルの連結成分数力 SOだったり、 2点間の距離 Dvが閾値 Disよりも大き い場合には、連結成分数の加算は行わず、線分作成も終了する。このとき点 P(ix、 jy )、 P(ix+n、 jy)を線分 L1の端点とする。また、線分を構成する点の数は P(ix+n、 jy) の連結成分数となり、この場合は (n+ 1)個となる。そして、新たなエッジ部分のピクセ ルを探索し、同様の処理を繰り返し行う。
[0036] 以下同様に、（1)、（2)、（3)で述べた一方向での線分ィ匕アルゴリズムを四方向全てに 適用することで、特徴線の線分化を行う。求められた線分の情報は特徴線データとし てデータ格納部 11に格納される。
[0037] 線分の統合化
[0038] 次に、特徴線処理部 15は、特徴線カゝら変換した線分の統合ィ匕を行う（ステップ S4)
[0039] すなわち、上記で作成した線分は、画像上において一定方向の成分し力抽出されな いので、図 6に示した線分 A、 B、 C、 Dのような場合には、不連続な線分として作成さ れてしまう。前記特徴線処理部 15は、線分 A、 B、 C、 Dを統合して一つの線分とする ために、線分が乗る 3次元空間上の無限直線を導出し、任意の 2つの線分が次に述 ベる 2つの条件を同時に満たす力否かを判断し、満たす場合その 2つの線分を統合 する。
[0040] (1) その 2つの線分 Ll、 L2が、一方の線分を構成する点 Piが他方のいずれかの点 と画像上で 8方向近傍に隣接し、さらに 3次元空間上での 2点間の距離が閾値 Disよ りも小さい場合。
[0041] (2) 図 7に示すように、 3次元空間上で二つの線分をまとめた新たな線分がのる無限 直線 L12 (t)から半径 R内に線分 L1と L2を構成する全ての点が存在する場合。
[0042] 上記 2つの条件を満たす場合、特徴線処理部 15は、以下の方法で 3次元空間上 の無限直線を導出する。すなわち、まず、線分上の点がのる無限直線を L (t)とし、線 分を構成する任意の点 から L (t)までの距離を d(Pi、 L (t))とする。そして、無限直 線し (t)と誤差のある点群 Piとの距離が最小になるような無限直線を定義する。
[0043] この定義のため、この実施形態では、式（1)に示すような、無限直線と点群の距離 の二乗和を表す評価式 (EL)を導入する。
[数 1]
Figure imgf000010_0001
[0044] ここで、 nは線分を構成する点の数である。特徴線処理部 15は、最小二乗法により 近似解を算出して、 ELを最小にする無限直線 L (t)を決定するものである。 L (t)の初 期値は線分の中点と、線分の端点を結んだ直線の傾きを用いる。線分を統合化した 後には、構成する点の数が非常に少ない線分も多数存在する。この場合、位置合わ せに有効な線分である力、または無効なノイズであるかの判断が難しい。そこで本発 明では、線分を構成する点の数を基準として、線分を降順に並べ、上位の数十個を 位置合わせに用いる。
[0045] このようにして統合ィ匕された線分の情報は、特徴線データとしてデータ格納部 11に 格納される。
[0046] 線分の最谪化
[0047] 次に、特徴線処理部 15は、線分の最適化処理を行う（ステップ S5)。
[0048] 本発明における位置合わせ手法では、線分群の中から選択した幾つかの線分が、 より正確に形状の特徴を表していることが求められる。そこで位置合わせに用いる線 分について、隣接する他のエッジ部分の点との統合ィ匕により、線分の最適化を実現 する。
[0049] 線分を最適化した後には、線分を構成する頂点数が増加する。具体的には以下の 手順で最適化を行う。
[0050] (1) Depth Edge画像上で線分 Lを構成する全ての点 Piに隣接するエッジ部分の 中で、 2点間の距離が最も近い点 P'を探索する。
[0051] (2) 点 P'を含めた新しい線分 L'がのる無限直線 L' (t)から、半径 R内に L'を構成する 全ての点が存在するならば、点 P'を線分 Lに加える。
[0052] (1)、（2)の操作を隣接するエッジ部分が無くなるまで線分毎に繰り返し行う。
[0053] このようにして、線分の最適化が行われ、その情報は特徴線データとして前記デー タ格納部 11に格納される。
[0054] 位置合わせ
[0055] 次に、位置合わせ処理部 16が、上記で求められた線分を利用し、複数のセンサ位 置力も獲得した点群どうしの相対的な位置関係を導出する (ステップ S6)。
[0056] この位置合わせは、逐次的に二組の線分群の間で行う。すなわち、はじめに任意 の二方向から得られる線分群間で位置合わせを行い、その二つの線分群を合成し、 その後、残りの方向の線分群から一つずつを選び、位置合わせと合成を行っていく。
[0057] 二方向からの線分群に関する位置合わせでは、一方の座標系を他方の座標系に 移す 3次元幾何変換を考え、二方向からの線分群間で対応する線分同士が 3次元 空間上でできるだけ一致するような最適な幾何変換を求める。具体的には、線分べ ァに対する誤差評価関数を定義し、その値が最小となる幾何変換を最小二乗法によ り求める。このとき、一般には、できるだけ多くの線分ペアを選んだほうが精度の高い 位置合わせが可能であると言える。
[0058] しかし、先に述べたように、各方向から得られる線分群が許容誤差を含み、かつ、 十分な数の線分が得られない場合には、二方向からの線分群間でうまく対応する線 分ペアを見つけること自体が困難である場合が多い。そこで本発明では、選択する 線分のペアを最低二組選択する。ただし、ペア同士が平行にならないように選択する 。また、例えば、太い円柱の中心軸方向のシルエットに対応する線分のように、測定 方向によって出現の仕方が異なる線分は、位置合わせの対象としては用いな 、よう にする。次に、選択した線分ペア以外の線分間の 3次元空間上での対応関係に基づ く評価値も算出し、その値も考慮に入れた幾何変換の決定を行う。本発明の位置合 わせアルゴリズムでは、選択した線分ペアの最適な幾何変換を以下の 4段階のステツ プを繰り返すことにより決定する。
[0059] ステップ A.初期位置設定
[0060] ステップ B.回転移動変換の決定
[0061] ステップ C.平行移動変換の決定
[0062] ステップ D.位置合わせ後の評価
[0063] また、ステップ A、 B、 Cでは重み付けのパラメータ（後述）を持つ。そして、ステップ D の評価に基づき、ステップ Aからステップ Dを繰り返すことで最適な重み付けのパラメ ータを求める。全ての幾何変換を決定した後はその幾何変換を用いて、二方向から の線分群の位置合わせを行う（ステップ E)。 [0064] 以下、図 8のフローチャートに基づいて各工程を詳しく説明する。
[0065] STEP A:初期位置設定
[0066] 本実施例では最小二乗法により定式化された方程式の解法として Newton法を利 用する。しかし Newton法では、初期値によっては解が発散してしまうことがある。そ こでこのテツプでは、回転移動、及び平行移動の変換を決定する前処理として N個 のペアから二組選び、それらが近づくように初期位置を設定する。初期位置を設定 することによって、解の発散を防ぐ。初期位置を設定するアルゴリズムは、二つの測 定方向にそれぞれ右手系の座標軸を決定し、ァフィン変換を適用して二つの座標軸 を一致させる。
[0067] 座標軸の決定手法は以下のように定義される。すなわち、一つの方向から測定した 位置合わせに用いる二組の線分ペア DL、DLがそれぞれのる無限直線を DL (t)
1 2 1
、 DL (t)とする。このとき、座標軸の原点 Gを 2直線の交点、または最近点とする。そ
2
して、 Y軸を直線 DL (t)の傾き Vとする。次に Vと直線 DL (t)の傾き Vの外積の方
1 1 1 2 2
向を Z軸とし、最後に Vと Z軸との外積の方向を X軸とする。
[0068] 以上の操作を、もう一方の方向から得られた二つの線分に対しても行い、最後に各 座標軸が一致するようにァフィン変換を行う。
[0069] STEP B :回転移動栾椽の決定
[0070] このステップ Bでは、位置合わせに選択した線分の各ペアがそれぞれ平行となるよ うな変換を決定する。一方力も測定したときのセンサの位置を原点とした座標系にお いて、各軸の回転角度を R、 R、 Rとし、それぞれの回転行列を用いて回転移動を 行う。
[0071] 選択した複数の線分ペアにお!、て、一組の線分がのる無限直線を L (t)、 L (t)と
1 2 し、無限直線 Lが通る点を Pとする。無限直線 L (t)と L (t)を平行にする場合を考え
1 1 2
る。上述したように、無限直線 L (t)上の点 Pから L (t)までの距離は d(P、L (t))で表
1 2
される。よって、回転後の線分の端点 P'、 P'力 L (t)までの距離、及び点 P'力
1 2 2 0 遠くに離れた点 P'、 P'力も L (t)までの距離を用いて式 (2)、（3)を定義する。図 9より
3 4 2
二つの無限直線が平行である条件式は式 (4)となる。
[数 2]
Figure imgf000013_0001
[数 3]
Figure imgf000013_0002
[数 4]
DR = D、 -Dつ =0 (4)
[0072] よって、誤差評価関数 ERは式 (5)となる。
[数 5]
(5)
JV ゾ =o
[0073] ただし、重み付けのパラメータ (Xは式 (6)を満たす。
[数 6]
N-\
∑ ゾ =1 {0≤ a j <1J (6)
j=0
[0074] 式 (4)を最小にする変換を最小二乗法により求める。次の平行移動の変換を決定す る場合にも、誤差評価関数を用いて同様に求める。
[0075] STEP C:平行移動栾椽の決定
[0076] 本ステップでは平行移動を行い、線分 Ll、 L2がそれぞれのる無限直線 L (t)、L (
1 2 t)間の距離を最短にするような変換を決定する。平行移動量を T、 T、 Tとすると、 変換後の点 p'は次のようになる。
[数 7]
[0077] 図 9に示すように、 とする。上記と同
Figure imgf000013_0003
様に、 V (t)上の点 P'、 P'、 P'、 P'を用いて、位置合わせに選択したペア間の距
1 1 2 3 4
離が最小となる条件式は式 (10)となる。 [数 8]
Α=| Λ,^))+ Λ, ) (8)
[数 9]
Figure imgf000014_0001
[数 10]
DT = D, +D, = (10)
[0078] よって、誤差評価関数 ETは式 (11)となる。
[数 11]
Figure imgf000014_0002
[0079] ただし、重み付けのパラメータ j8は式 (12)を満たす。
[数 12]
(12)
ノ =0
[0080] STEP D:位置合わせ後の評価
[0081] 位置合わせの各ステップでは重み付けのパラメータを用いており、位置合わせ後の 線分を評価することにより設定する。
[0082] この評価ステップでは、まず初めに、位置合わせを行う二つの線分群から考えうる 全てのペアについて、一組ずつ線分間を誤差評価する。このとき、各ステップで求め た幾何変換に対応する誤差評価値の総和を、式 (13)で定義される Eとする。
[数 13]
E = ER+ET (1 3)
[0083] そして、誤差評価値の総和 Eを基に、以下の二つの基準値を用いて位置合わせ後 の線分を評価する。
[0084] (1)考えうる全てのペアにおいて、一致するペアの総数 (cnt)。ただし、ある一組のぺ ァに対する誤差評価の総和 E'が閾値 EmAx以下であれば、そのペアが一致してい ると判断する。 [0085] (2)上記で幾何変換を決定する際に、式 (13)で定義される、位置合わせに用いた N組 の線分ペアを誤差評価した総和 E。
[0086] 重み付けパラメータの設定法
[0087] 上記では重み付けのパラメータ ex、 βを用いた。このパラメータの具体的な設定法 としては、まず始めに、初期値として全パラメータの値を 0.5とする。次に、パラメータ a、 βの順に、以下のアルゴリズムを繰り返し適用することにより、最適なパラメータ値 を決定していく。なお、以下では、パラメータ αについて記しているが、 j8についても 同様である。
[0088] (1) α =0.5として前記ステップ A〜Dを一度行い、初期値となる EOと cntOを導出す る。
[0089] (2) 式 (14)、及び式 (15)で定義される α と α 〖こついて、一致するペア数 cnt、 cnt
1 2 1 2 及び誤差評価値の総和 E、 Eを求める。ただし、 Δ aを刻み幅とし、 kは反復回数で
1 2
ある。
[数 14]
Figure imgf000015_0001
[数 15]
a2 = a ~ ( ) ( 1 5 ) [0090] (3) 初期値である cntと、（2)で求めた cnt、 cntを比較し、最もペア数が多い場合
0 1 2
のパラメータを選び、その値を新たな初期値とする。
[0091] (4) もしも、初期値が更新されないか、 a 、 a について式 (16)を満たす場合は終了
1 2
し、そうでなければ kを一つ増やし本節の処理 (2)へ進む。
[数 16]
Figure imgf000015_0002
[0092] ただし、 σは微小値とする。
[0093] 幾何栾椽の出力
[0094] ついで、前記幾何変換出力部 17が、前記位置合わせ処理部で求めた初期位置設 定、回転移動変換及び平行移動変換を幾何変換として出力する。このことで、前記レ ンジセンサで取得した点群データを一つの三次元画像データとして統合することが できる。なお、この実施形態においては、この幾何変換出力部 17は、上記 4つのレン ジセンサで得た点群データを前記幾何変換で変換した後の三次元画像データを出 力するようになっている。
実施例 1
[0095] 以下、その実施例を説明する。
[0096] 1 翻織
[0097] この実施例においては、岩手県盛岡巿志波城跡にある、平成 9年に復元が完成し た外郭南門を計測した。復元された外郭南門は、奈良県奈良巿にある平城身や跡 朱雀門に次ぐ大規模な門であり、間口が 15m、高さが 11.1mある。
[0098] 使用機器は、 RIEGL社製の LMS- Z210を用いた。 LMS— Z210の主なスペック は以下の通りである。
[0099] 測定距離範囲 :2π！〜 350m
[0100] ラインスキャニング範囲: ±40度
[0101] フレームスキャニング範囲: 0度〜 333度
[0102] 2 測定データ
[0103] レンジセンサは 3種類の画像を出力することができる。レンジセンサから建造物まで の距離を RGBで表示した距離画像。レーザを照射した点の光度反射強度をグレー スケールで表示した受光強度画像。レーザ照射点の RGBを表示したカラー画像。ま た、レンジセンサは画像の各ピクセルに対応した 3次元座標値を点群として出力する ことができる。
[0104] 3 薩菓
[0105] 図 10と図 11では、外郭南門の表側を正面と右側から測定し、本実施形態で提案し た特徴線を線分化する手法を適用した結果をそれぞれ示す。図中の黒線は線分で ある。
[0106] 線分ィ匕に用いた閾値は、 Dis = 2.0、 R= 1.0とした。図から分かるように、形状の輪 郭ゃ壁の端などのはっきりとした特徴線が線分ィ匕されている。
[0107] 図 12 (a)、 (b)では、特徴線を線分ィ匕した後、最適化を適用する前後の例を示す。 ただし、各線分は 2次元画像上に逆変換した。図 12 (b)の点線で囲まれた領域に注 目すると、線分の長さが増加しているのが分かる。
[0108] 図 10と図 11に示した線分を用いて、位置合わせを行った結果を図 13、図 14に示 す。ただし、一致すると予想されるペアが少な力 たために、幾何変換を決定する際 に用いたペアを二組とし、手動で選択した。図 13では位置合わせ後の線分を示し、 黒い線分、白い線分はそれぞれ正面と右側力も測定したときの線分である。また、線 が太い部分は選択した線分である。図 14では位置合わせ後の点群を示した。位置 合わせが完了するまでに約 9秒力かった。
[0109] 本発明では、複数方向から測定して得られた点群を位置合わせする手法を提案し た。まず、点群を用いてエッジ検出を行い、特徴線をエッジ部分として抽出した。そし て、その特徴線を 3次元空間上で閾値を用いることにより、許容誤差を考慮した線分 に変換した。また、線分はエッジ検出画像を用いて最適化した。最後に、位置が合う と予想される線分のペアを選択し、それらが最適な位置に移されるような幾何変換を 自動的に求めることで位置合わせを実現した。位置合わせのアルゴリズムは初期位 置設定、回転移動変換の決定、平行移動変換の決定、位置合わせ後の評価の 4段 階に分けられる。
[0110] なお、本発明は、上記一実施形態に限定されるものではなぐ発明の要旨を変更し な!ヽ範囲で種々変形可能である。
[0111] 例えば、上記一実施形態では、線分ペアの自動選択するようにしているが、ォペレ ータが位置合わせを行う特徴線となる線分を手動で決定するようにしてもよ!、。また、 上記の例では、レンジセンサを 4つ利用した力 これに限定されるものではなぐ 1つ のレンジセンサを順に 4つの場所に配置して画像を取得するようにしてもょ 、。また、 数も 4つに限定されず、 2つ以上であればよい。
図面の簡単な説明
[0112] [図 1]本発明の一実施形態に係る機器構成を示す模式図。
[図 2]同じぐ概略構成を示す模式図。
[図 3]同じぐ処理を示すフローチャート。
[図 4]同じぐ Depth— Edge画像を示す図。 [図 5]同じぐ連結ピクセルの方向を示す図。
[図 6]同じぐ不連続な線分の処理を説明するための模式図。
[図 7]同じぐ線分の統合ィ匕の処理を説明するための模式図。
[図 8]同じぐ点群同士の位置合わせを示すフローチャート。
[図 9]同じぐ 2つの線分の位置合わせを説明するための模式図。
[図 10]同じぐ特徴線の線分ィ匕を説明するための模式図。
[図 11]同じぐ特徴線の線分ィ匕を説明するための模式図。
[図 12]同じぐ線分の最適化を説明するための模式図。
[図 13]同じぐ位置合わせ後の線分を示す模式図。
[図 14]同じぐ位置合わせ後の点群を示す模式図。
符号の説明
1…撮像対象物
2a〜2d…第 1〜第 4のレンジセンサ
4…対象物撮像システム
5- --CPU
6· -RAM
7…レンジセンサ用 IF
8…入出力デバイス
9· ··バス
10…プログラム格納部
11…データ格納部
12· ··基本プログラム
13· ··点群データ取得部
14…特徴線取得部
15…特徴線処理部
16· ··位置合わせ処理部
17· ··幾何変換出力部

Claims

請求の範囲
[1] a) レンジセンサを用い、異なる複数の方向から対象物を計測し、夫々について対 象物の測定点までの奥行き方向の距離の情報を含む点群データを生成する工程と b) 前記各点群データを処理し、隣り合う点同士の奥行き方向の距離の差が所定 以上の点群を連結してエッジとして検出する工程と、
c) 前記エッジを特徴線に変換する工程と、
d) 前記各点群データを、前記検出した特徴線を用いて位置合わせすることで、前 記対象物の幾何変換を出力する工程と、
を有することを特徴とする対象物測定方法。
[2] 請求項 1記載の方法において、
前記 (c)工程は、複数のエッジ力 ある直線に対して閾値以内で一致する場合には 、それらのエッジを統合ィ匕して 1本の特徴線に変換するものである
ことを特徴とする方法。
[3] 請求項 1記載の方法において、
前記 (d)工程は、
2方向から取得したそれぞれの特徴線の集合に対して、同一の位置における特徴 線であるかどうかを探索する工程と、
前記で得られた特徴線のペアから、位置合わせのための幾何変換を演算する工程 と、
を有することを特徴とする方法。
[4] 請求項 1記載の方法において、
前記 (d)工程は、前記異なる複数の方向から計測した対象物のデータに、前記幾 何変換を適用して三次元形状データを生成する工程を有するものであることを特徴と する方法。
[5] コンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソ フトウェアプログラムであって、
記憶媒体と、 この記憶媒体に格納され、前記コンピュータシステムに、レンジセンサを用い異なる 複数の方向から対象物を計測された情報に基づいて、対象物の測定点までの奥行 き方向の距離の情報を含む点群データを生成させる点群データ取得部と、
この記憶媒体に格納され、前記コンピュータシステムに、前記各点群データを処理 させ、隣り合う点同士の奥行き方向の距離の差が所定以上の点群を連結してエッジ として検出させる特徴線取得部と、
この記憶媒体に格納され、前記コンピュータシステムに、前記エッジを特徴線に変 換させる特徴線処理部と、
この記憶媒体に格納され、前記コンピュータシステムに、前記各点群データを、前 記検出した特徴線を用いて位置合わせすることで、前記対象物の幾何変換を出力さ せる幾何変換出力部と、
を有することを特徴とするコンピュータソフトウェアプログラム。
[6] 請求項 5記載のコンピュータソフトウェアプログラムにおいて、
前記特徴線取得部は、複数のエッジが、ある直線に対して閾値以内で一致する場 合には、それらのエッジを統合ィ匕して 1本の特徴線に変換するものである
ことを特徴とするコンピュータソフトウェアプログラム。
[7] 請求項 5記載のコンピュータソフトウェアプログラムにおいて、
前記幾何変換出力部は、
2方向から取得したそれぞれの特徴線の集合に対して、同一の位置における特徴 線であるかどうかを探索し、得られた特徴線のペアから、位置合わせのための幾何変 換を演算するものであることを特徴とするコンピュータソフトウェアプログラム。
[8] 請求項 5記載のコンピュータソフトウェアプログラムにおいて、
前記幾何変換出力部は、前記異なる複数の方向から計測した対象物のデータに、 前記幾何変換を適用して三次元形状データを生成する工程を有するものであること を特徴とするコンピュータソフトウェアプログラム。
PCT/JP2006/301422 2005-02-04 2006-01-30 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム WO2006082773A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005028425A JP2006214893A (ja) 2005-02-04 2005-02-04 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム
JP2005-028425 2005-02-04

Publications (1)

Publication Number Publication Date
WO2006082773A1 true WO2006082773A1 (ja) 2006-08-10

Family

ID=36777157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/301422 WO2006082773A1 (ja) 2005-02-04 2006-01-30 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム

Country Status (2)

Country Link
JP (1) JP2006214893A (ja)
WO (1) WO2006082773A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017006577A1 (ja) * 2015-07-03 2017-11-24 三菱電機株式会社 ３次元点群選択装置および３次元点群選択方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442304B2 (en) * 2008-12-29 2013-05-14 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
US8780172B2 (en) 2009-01-27 2014-07-15 Telefonaktiebolaget L M Ericsson (Publ) Depth and video co-processing
JP5385105B2 (ja) * 2009-11-25 2014-01-08 Ｋｄｄｉ株式会社 画像検索方法およびシステム
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
US9208571B2 (en) * 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
JP5577312B2 (ja) * 2011-09-20 2014-08-20 株式会社パスコ データ解析装置、データ解析方法、及びプログラム
JP6286902B2 (ja) * 2013-07-10 2018-03-07 株式会社Ihi 解析装置及び流体解析手法
JP6910820B2 (ja) * 2017-03-02 2021-07-28 株式会社トプコン 点群データ処理装置、点群データ処理方法、点群データ処理用プログラム
WO2019032588A1 (en) * 2017-08-11 2019-02-14 Zoox, Inc. CALIBRATION AND LOCATION OF VEHICLE SENSOR
US11175132B2 (en) 2017-08-11 2021-11-16 Zoox, Inc. Sensor perturbation
US20210341581A1 (en) * 2018-09-06 2021-11-04 Nec Corporation Processing device, system, method, and non-transitory computer readable medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196319A (ja) * 1997-12-26 1999-07-21 Minolta Co Ltd 撮像装置
JP3178205B2 (ja) * 1993-12-20 2001-06-18 ミノルタ株式会社 画像入力システム
JP2004265396A (ja) * 2003-02-13 2004-09-24 Vingo:Kk 映像生成システム及び映像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3178205B2 (ja) * 1993-12-20 2001-06-18 ミノルタ株式会社 画像入力システム
JPH11196319A (ja) * 1997-12-26 1999-07-21 Minolta Co Ltd 撮像装置
JP2004265396A (ja) * 2003-02-13 2004-09-24 Vingo:Kk 映像生成システム及び映像生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017006577A1 (ja) * 2015-07-03 2017-11-24 三菱電機株式会社 ３次元点群選択装置および３次元点群選択方法

Also Published As

Publication number Publication date
JP2006214893A (ja) 2006-08-17

Similar Documents

Publication Publication Date Title
WO2006082773A1 (ja) 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム
CN110443836B (zh) 一种基于平面特征的点云数据自动配准方法及装置
Yang et al. Terrestrial laser scanning technology for deformation monitoring and surface modeling of arch structures
Rabbani et al. An integrated approach for modelling and global registration of point clouds
Garcia et al. A combined temporal tracking and stereo-correlation technique for accurate measurement of 3D displacements: application to sheet metal forming
Lee et al. Skeleton-based 3D reconstruction of as-built pipelines from laser-scan data
Zhang et al. A 3D reconstruction method for pipeline inspection based on multi-vision
Pottmann et al. Industrial geometry: recent advances and applications in CAD
EP0526881B1 (en) Three-dimensional model processing method, and apparatus therefor
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
Sohn et al. Extraction of buildings from high resolution satellite data
Ge et al. Surface-based matching of 3D point clouds with variable coordinates in source and target system
Wu et al. Integrated point and edge matching on poor textural images constrained by self-adaptive triangulations
Kaneko et al. Robust matching of 3D contours using iterative closest point algorithm improved by M-estimation
Akca Matching of 3D surfaces and their intensities
CN112233249B (zh) 基于密集点云的b样条曲面拟合方法及装置
Zhao et al. Automated recognition and measurement based on three-dimensional point clouds to connect precast concrete components
Teutsch Model-based analysis and evaluation of point sets from optical 3D laser scanners
Hu et al. An automatic 3D registration method for rock mass point clouds based on plane detection and polygon matching
Jiang OpenCorr: An open source library for research and development of digital image correlation
Ozbay et al. A hybrid method for skeleton extraction on Kinect sensor data: Combination of L1-Median and Laplacian shrinking algorithms
Torabi et al. A new methodology in fast and accurate matching of the 2D and 3D point clouds extracted by laser scanner systems
CN115019010A (zh) 一种基于三维激光扫描+bim技术的隧道结构病害展示方法
Baráth et al. Optimal multi-view surface normal estimation using affine correspondences
CN115311314A (zh) 一种线激光轮廓数据的重采样方法、***和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06712565

Country of ref document: EP

Kind code of ref document: A1

WWW Wipo information: withdrawn in national office

Ref document number: 6712565

Country of ref document: EP