JP6149561B2

JP6149561B2 - Evaluation method and evaluation apparatus

Info

Publication number: JP6149561B2
Application number: JP2013146529A
Authority: JP
Inventors: 健太郎溝内; 肇坂野
Original assignee: IHI Corp
Current assignee: IHI Corp
Priority date: 2013-07-12
Filing date: 2013-07-12
Publication date: 2017-06-21
Anticipated expiration: 2033-07-12
Also published as: JP2015018484A

Description

本発明は、計測対象の３次元位置を計測する３次元計測装置と、３次元計測装置により計測されたデータから物体を切り出すアルゴリズムとの最適な組み合わせを導き出す評価方法および評価装置に関する。 The present invention relates to an evaluation method and an evaluation apparatus for deriving an optimal combination of a three-dimensional measurement apparatus that measures a three-dimensional position of a measurement target and an algorithm that extracts an object from data measured by the three-dimensional measurement apparatus.

従来、任意の３次元計測装置で計測されたデータから各物体の切り出し（セグメンテーション）を行うアルゴリズムを選択または開発する場合、当該データに対して複数のアルゴリズムをそれぞれ適応して、それぞれのアルゴリズムの正解率をユーザが目視により確認していた。したがって、その目視に膨大な時間を要していた。 Conventionally, when selecting or developing an algorithm for segmenting each object from data measured by an arbitrary three-dimensional measuring device, a plurality of algorithms are applied to the data, and the correct answer of each algorithm is selected. The user confirmed the rate visually. Therefore, it took an enormous amount of time for visual inspection.

一方で、３次元計測装置で計測されるデータの解像度を高くすると、それだけアルゴリズムの正解率は高くなるものの、高解像度の計測を実現する３次元計測装置の価格も高まり、金銭的な負担が増大する。 On the other hand, increasing the resolution of the data measured by the 3D measurement device increases the accuracy rate of the algorithm, but the price of the 3D measurement device that realizes high-resolution measurement also increases, increasing the financial burden. To do.

ところで、画像のシミュレーションにおいては、入力された画像データに応じて、プリンタ等の画像形成装置の動きを予測して擬似的に動作させることで、画像形成装置に最適なアルゴリズムを得ようとするものが提案されている（例えば、特許文献１参照）。 By the way, in image simulation, an attempt is made to obtain an optimal algorithm for an image forming apparatus by predicting the movement of an image forming apparatus such as a printer in accordance with input image data and operating it in a pseudo manner. Has been proposed (see, for example, Patent Document 1).

特許第４７４８６６６号公報Japanese Patent No. 4748666

上述した特許文献１で提案された技術は、２次元の画像データに対してシミュレーションを行なっており、３次元計測装置で計測される３次元の計測データをシミュレーションすることはできない。 The technique proposed in Patent Document 1 described above performs simulation on two-dimensional image data, and cannot simulate three-dimensional measurement data measured by a three-dimensional measurement apparatus.

したがって、ユーザのニーズにマッチする３次元計測装置とアルゴリズムとの組み合わせを容易に得られる方法が望まれる。 Therefore, a method that can easily obtain a combination of a three-dimensional measuring apparatus and an algorithm that matches the needs of the user is desired.

そこで、本発明は、複数の３次元計測装置と複数のアルゴリズムとの組み合わせの中から最適な組み合わせを容易に得られるようにすることを目的とする評価方法および評価装置を提供する。 Therefore, the present invention provides an evaluation method and an evaluation apparatus for the purpose of easily obtaining an optimal combination from a combination of a plurality of three-dimensional measurement apparatuses and a plurality of algorithms.

上記課題を解決するために、本発明の評価方法は、計測対象の３次元位置が示されたマスタデータを取得するデータ取得ステップと、前記マスタデータから、複数の３次元計測装置の仕様それぞれに基づいて、該マスタデータより低精度の複数の模擬データを生成する模擬データ生成ステップと、前記マスタデータに対して、前記計測対象から各物体を切り出す既知の基準アルゴリズムを実行して演算結果を算出し、基準値とする基準アルゴリズム実行ステップと、前記複数の模擬データそれぞれに対して、前記計測対象から各物体を切り出す複数の評価アルゴリズムをそれぞれ実行して、該複数の模擬データと、該複数の評価アルゴリズムとの全ての組合せについて演算結果を算出し、評価値とする評価アルゴリズム実行ステップと、前記基準アルゴリズム実行ステップで算出された基準値と、前記評価アルゴリズム実行ステップで検出された評価値とを比較し、該基準値に対する該評価値の正解率を算出する結果比較ステップと、を有する。 In order to solve the above problems, an evaluation method of the present invention includes a data acquisition step for acquiring master data indicating a three-dimensional position of a measurement target, and each of the specifications of a plurality of three-dimensional measurement devices from the master data. Based on the simulation data generation step for generating a plurality of simulation data with lower accuracy than the master data, and a calculation result is calculated by executing a known reference algorithm for cutting out each object from the measurement target for the master data A reference algorithm execution step as a reference value, and a plurality of evaluation algorithms for cutting out each object from the measurement target for each of the plurality of simulation data, respectively, and the plurality of simulation data and the plurality of simulation data The calculation result is calculated for all combinations with the evaluation algorithm, and an evaluation algorithm execution step as an evaluation value; With a reference value calculated in a quasi-algorithm executing step, compares the evaluation value detected by the evaluation algorithm executing step, a result comparison step of calculating the accuracy rate of the evaluation value with respect to the reference value.

また、前記模擬データ生成ステップでは、前記マスタデータから複数の模擬データを生成する際に使用される複数の３次元計測装置の計測態様に関するパラメータである装置パラメータを変更させて、複数の模擬データを生成し、前記評価アルゴリズム実行ステップでは、前記模擬データ生成ステップにより前記装置パラメータが変更されて前記複数の模擬データが生成される度に、該複数の模擬データのそれぞれに対して、前記複数の評価アルゴリズムをそれぞれ実行することで、該複数の模擬データと、該複数の評価アルゴリズムの全ての組合せについて演算結果を算出するようにしてもよい。 Further, in the simulation data generation step, a plurality of simulation data is obtained by changing device parameters that are parameters relating to measurement modes of a plurality of three-dimensional measurement devices used when generating a plurality of simulation data from the master data. Generating and evaluating the plurality of evaluation data for each of the plurality of simulation data each time the plurality of simulation data is generated by changing the apparatus parameter in the simulation data generation step. By executing each algorithm, calculation results may be calculated for all combinations of the plurality of simulated data and the plurality of evaluation algorithms.

また、前記評価アルゴリズム実行ステップでは、前記複数の評価アルゴリズムに用いられるパラメータである演算パラメータを変更し、変更した演算パラメータを用いた複数の評価アルゴリズムを、前記複数の模擬データのそれぞれに対して実行することで、前記複数の模擬データと、パラメータが変更された複数の評価アルゴリズムの全ての組合せについて演算結果を算出するようにしてもよい。 Further, in the evaluation algorithm execution step, calculation parameters that are parameters used for the plurality of evaluation algorithms are changed, and a plurality of evaluation algorithms using the changed calculation parameters are executed for each of the plurality of simulated data. Thus, calculation results may be calculated for all combinations of the plurality of simulated data and a plurality of evaluation algorithms whose parameters are changed.

前記結果比較ステップでは、前記基準値に基づいて前記マスタデータで一の物体として切り出された基準領域に対応する前記模擬データの比較領域において、前記評価値に基づいて複数の物体が切り出されたと判断された場合、該複数の物体について該比較領域外の物体と同一の物体として切り出されたかを判断し、該複数の物体のいずれかが、該比較領域外の物体と同一の物体として切り出されたと判断される場合には前記正解率を減算し、該複数の物体のいずれもが該比較領域外の物体とは異なる物体として切り出されたと判断される場合には該正解率を減算しないようにしてもよい。 In the result comparison step, it is determined that a plurality of objects are cut out based on the evaluation value in the comparison area of the simulated data corresponding to the reference area cut out as one object in the master data based on the reference value. If it is determined that the plurality of objects are cut out as the same object as the object outside the comparison region, and any of the plurality of objects is cut out as the same object as the object outside the comparison region When it is determined, the accuracy rate is subtracted, and when it is determined that any of the plurality of objects is cut out as an object different from the object outside the comparison region, the accuracy rate is not subtracted. Also good.

また、本発明の評価装置は、計測対象の３次元位置が示されたマスタデータを取得するデータ取得部と、前記マスタデータから、複数の３次元計測装置の仕様それぞれに基づいて、該マスタデータより低精度の複数の模擬データを生成する模擬データ生成部と、前記マスタデータに対して、前記計測対象から各物体を切り出す既知の基準アルゴリズムを実行して演算結果を算出し、基準値とする基準アルゴリズム実行部と、前記複数の模擬データそれぞれに対して、前記計測対象から各物体を切り出す複数の評価アルゴリズムをそれぞれ実行して、該複数の模擬データと、該複数の評価アルゴリズムとの全ての組合せについて演算結果を算出し、評価値とする評価アルゴリズム実行部と、前記基準アルゴリズム実行部で算出された基準値と、前記評価アルゴリズム実行部で検出された評価値とを比較し、該基準値に対する該評価値の正解率を算出する結果比較部と、を備える。 The evaluation apparatus of the present invention includes a data acquisition unit that acquires master data indicating a three-dimensional position of a measurement target, and the master data based on each of the specifications of a plurality of three-dimensional measurement apparatuses from the master data. A simulation data generation unit that generates a plurality of simulation data with lower accuracy and a known reference algorithm for cutting out each object from the measurement target are executed on the master data to calculate a calculation result to be a reference value For each of the plurality of simulation data, a plurality of evaluation algorithms for cutting out each object from the measurement target are executed for each of the plurality of simulation data and all of the plurality of evaluation algorithms. An operation result is calculated for the combination, and an evaluation algorithm execution unit as an evaluation value, a reference value calculated by the reference algorithm execution unit, Comparing the evaluation value detected by the serial evaluation algorithm execution unit, and a result comparison unit for calculating the accuracy rate of the evaluation value with respect to the reference value.

本発明によれば、複数の３次元計測装置と複数のアルゴリズムとの組み合わせの中から最適な組み合わせを容易に得られるようにすることが可能となる。 According to the present invention, it is possible to easily obtain an optimal combination from a combination of a plurality of three-dimensional measurement apparatuses and a plurality of algorithms.

（ａ）は、評価装置の概略的な構成を示した機能ブロック図である。（ｂ）は、データ記憶部のデータ構成を示す図である。(A) is the functional block diagram which showed the schematic structure of the evaluation apparatus. (B) is a figure which shows the data structure of a data storage part. マスタデータの計測点により形成される３次元空間に対して、模擬計測装置パラメータに基づく模擬計測範囲、および、環境データに基づく散乱体を配置する過程を示す説明図である。It is explanatory drawing which shows the process which arrange | positions the scatterer based on the simulated measurement range based on a simulated measurement apparatus parameter, and environmental data with respect to the three-dimensional space formed of the measurement point of master data. 模擬計測範囲の模擬測距値を算出する過程を説明する図である。It is a figure explaining the process of calculating the simulated distance value of the simulated measurement range. （ａ）は、３次元計測装置により３次元位置が計測される計測対象を示す図である。（ｂ）は、計測対象が３次元計測装置により計測されることで得られたマスタデータの計測点を示す図である。(A) is a figure which shows the measurement object from which a three-dimensional position is measured with a three-dimensional measuring apparatus. (B) is a figure which shows the measurement point of the master data obtained by measuring a measurement object with a three-dimensional measuring apparatus. マスタデータから模擬計測装置パラメータに基づいて生成された模擬データの模擬計測範囲を示す図である。It is a figure which shows the simulation measurement range of the simulation data produced | generated based on the simulation measurement apparatus parameter from master data. 模擬データにおける比較領域内の模擬計測範囲の評価値の一例を示す図である。It is a figure which shows an example of the evaluation value of the simulation measurement range in the comparison area in simulation data. 評価処理の流れを説明したフローチャートである。It is the flowchart explaining the flow of the evaluation process. 模擬データ生成処理の流れを説明したフローチャートである。It is a flowchart explaining the flow of the simulation data generation process. 基準値算出処理の流れを説明したフローチャートである。It is a flowchart explaining the flow of the reference value calculation process. 評価値算出処理の流れを説明したフローチャートである。It is the flowchart explaining the flow of the evaluation value calculation process.

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiments are merely examples for facilitating the understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.

（評価装置）
図１は、評価装置１００の構成を示した図である。図１（ａ）は、評価装置１００の概略的な構成を示した機能ブロック図である。図１（ｂ）は、データ記憶部１１６のデータ構成を示す図である。図１（ａ）に示すように、評価装置１００は、外部Ｉ／Ｆ（インターフェイス）部１１０、ＣＰＵ（Central Processing Unit）１１２、メモリ部１１４、データ記憶部１１６を含む構成とされ、外部Ｉ／Ｆ部１１０を介して３次元計測装置１０２が接続される。 (Evaluation equipment)
FIG. 1 is a diagram illustrating a configuration of the evaluation apparatus 100. FIG. 1A is a functional block diagram illustrating a schematic configuration of the evaluation apparatus 100. FIG. 1B is a diagram illustrating a data configuration of the data storage unit 116. As shown in FIG. 1A, the evaluation apparatus 100 includes an external I / F (interface) unit 110, a CPU (Central Processing Unit) 112, a memory unit 114, and a data storage unit 116. A three-dimensional measuring apparatus 102 is connected via the F unit 110.

ＣＰＵ１１２は、評価装置１００全体を統括制御する。メモリ部１１４は、プログラム等が格納されたＲＯＭ(Read Only Memory)、および、ワークエリアとしてのＲＡＭ(Random Access Memory)からなる。データ記憶部１１６は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などで構成される。 The CPU 112 performs overall control of the entire evaluation apparatus 100. The memory unit 114 includes a ROM (Read Only Memory) in which programs and the like are stored, and a RAM (Random Access Memory) as a work area. The data storage unit 116 includes, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like.

図１（ｂ）に示すように、データ記憶部１１６は、マスタデータ１４０、複数の模擬計測装置パラメータ１４２（１４２ａ〜１４２ｎ）、環境データ１４４、複数の模擬データ１４６（１４６ａ〜１４６ｎ）、基準アルゴリズム１４８、複数の評価アルゴリズム１５０（１５０ａ〜１５０ｎ）が記憶される。なお、各データの内容について、詳しくは後述する。 As shown in FIG. 1B, the data storage unit 116 includes master data 140, a plurality of simulated measurement device parameters 142 (142a to 142n), environmental data 144, a plurality of simulated data 146 (146a to 146n), and a reference algorithm. 148, a plurality of evaluation algorithms 150 (150a to 150n) are stored. The details of each data will be described later.

図１（ａ）に戻って、３次元計測装置１０２は、例えば、垂直方向および水平方向にそれぞれ０．００９度のピッチで全方位に対してレーザを発射する３次元のレーザスキャナが適応される。なお、３次元計測装置１０２の計測誤差は±２ｍｍである。 Returning to FIG. 1A, the three-dimensional measuring apparatus 102 is, for example, a three-dimensional laser scanner that emits laser beams in all directions at a pitch of 0.009 degrees in the vertical and horizontal directions. . The measurement error of the three-dimensional measuring apparatus 102 is ± 2 mm.

３次元計測装置１０２は、垂直方向あるいは水平方向にそれぞれ１ピッチずつ変化させた方向にレーザを順に発射し、各方向において計測対象の計測点で反射されたレーザを受信する。そして、３次元計測装置１０２は、レーザの発射から受信までの時間に基づいて、レーザを発射した方向での計測点までの距離を算出する。そして、３次元計測装置１０２は、レーザを発射した方向および算出された距離に基づいて、計測点の３次元位置（ｘ座標、ｙ座標、ｚ座標）を算出するとともに、受信したレーザの強度に基づいて反射強度を算出する。 The three-dimensional measurement apparatus 102 sequentially emits lasers in the directions changed by one pitch in the vertical direction or the horizontal direction, and receives the laser reflected at the measurement point to be measured in each direction. Then, the three-dimensional measurement apparatus 102 calculates the distance to the measurement point in the direction in which the laser is emitted based on the time from laser emission to reception. The three-dimensional measuring device 102 calculates the three-dimensional position (x coordinate, y coordinate, z coordinate) of the measurement point based on the direction in which the laser is emitted and the calculated distance, and sets the received laser intensity. Based on this, the reflection intensity is calculated.

その後、３次元計測装置１０２は、全ての方向での計測点の３次元位置および反射強度の算出が終了すると、全ての計測点についての行番号（垂直方向の番号）、列番号（水平方向の番号）、ｘ座標、ｙ座標、ｚ座標および反射強度が示されたマスタデータ１４０を生成する。なお、行番号は、水平面を基準として、垂直方向に１ピッチずれる毎に１ずつ増加される番号であり、列番号は、所定の垂直面を基準として、水平方向に１ピッチずれる毎に１ずつ増加される番号である。また、マスタデータ１４０には、各計測点について、ＲＧＢ等の色彩の情報が示されていてもよい。 After that, when the calculation of the three-dimensional position and the reflection intensity of the measurement points in all directions is completed, the three-dimensional measurement apparatus 102 performs row number (vertical number) and column number (horizontal direction) for all measurement points. Number), x coordinate, y coordinate, z coordinate and reflection data are generated. The row number is a number that is incremented by 1 every 1 pitch in the vertical direction with reference to the horizontal plane, and the column number is 1 by 1 in the horizontal direction with respect to the predetermined vertical surface. It is a number that is incremented. The master data 140 may also indicate color information such as RGB for each measurement point.

したがって、この３次元計測装置１０２は、約４００００点（垂直方向）×約４００００点（水平方向）の計測点の３次元位置および反射強度が計測された高精細なマスタデータ１４０を生成することができる。 Therefore, the three-dimensional measurement apparatus 102 can generate high-definition master data 140 in which the three-dimensional positions and reflection intensities of measurement points of about 40000 points (vertical direction) × about 40000 points (horizontal direction) are measured. it can.

ＣＰＵ１１２は、メモリ部１１４のＲＯＭに格納された評価プログラムをＲＡＭに展開して評価処理を実行する際、マスタデータ取得部１２０、模擬データ生成部１２２、基準アルゴリズム実行部１２４、評価アルゴリズム実行部１２６、結果比較部１２８、結果出力部１３０として機能する。また、模擬データ生成部１２２は、模擬計測範囲決定部１２２ａ、環境処理部１２２ｂ、測距値模擬部１２２ｃおよび模擬データ記憶部１２２ｄとして機能する。 When the CPU 112 expands the evaluation program stored in the ROM of the memory unit 114 to the RAM and executes the evaluation process, the master data acquisition unit 120, the simulated data generation unit 122, the reference algorithm execution unit 124, and the evaluation algorithm execution unit 126 are executed. , Function as a result comparison unit 128 and a result output unit 130. The simulated data generation unit 122 functions as a simulated measurement range determination unit 122a, an environment processing unit 122b, a distance measurement value simulation unit 122c, and a simulation data storage unit 122d.

マスタデータ取得部１２０は、３次元計測装置１０２で生成されたマスタデータ１４０を取得し、当該マスタデータ１４０をデータ記憶部１１６に記憶する。 The master data acquisition unit 120 acquires the master data 140 generated by the three-dimensional measurement apparatus 102 and stores the master data 140 in the data storage unit 116.

図２は、マスタデータ１４０の計測点２００により形成される３次元空間に対して、模擬計測装置パラメータ１４２に基づく模擬計測範囲２１０、および、環境データ１４４に基づく散乱体２２０を配置する過程を示す説明図である。図２（ａ）は、マスタデータ１４０の各計測点２００を示す図である。図２（ｂ）は、マスタデータ１４０の各計測点２００により形成される３次元空間に対して、模擬計測装置パラメータ１４２に基づく模擬計測範囲２１０を配置した図である。図２（ｃ）は、マスタデータ１４０の計測点２００により形成される３次元空間に対して、模擬計測装置パラメータ１４２に基づく模擬計測範囲２１０、および、環境データ１４４に基づく散乱体２２０を配置した図である。 FIG. 2 shows a process of arranging the simulated measurement range 210 based on the simulated measurement apparatus parameter 142 and the scatterer 220 based on the environment data 144 with respect to the three-dimensional space formed by the measurement point 200 of the master data 140. It is explanatory drawing. FIG. 2A is a diagram showing each measurement point 200 of the master data 140. FIG. 2B is a diagram in which a simulated measurement range 210 based on the simulated measurement apparatus parameter 142 is arranged in a three-dimensional space formed by each measurement point 200 of the master data 140. In FIG. 2C, the simulated measurement range 210 based on the simulated measurement device parameter 142 and the scatterer 220 based on the environment data 144 are arranged in the three-dimensional space formed by the measurement point 200 of the master data 140. FIG.

模擬計測範囲決定部１２２ａは、データ記憶部１１６に記憶されたマスタデータ１４０および模擬計測装置パラメータ１４２を読み出す。ここで、模擬計測装置パラメータ１４２は、例えば下記表１および表２に示すように、模擬の対象となる３次元計測装置（以下、これを模擬計測装置とも呼ぶ）の仕様、すなわち、視界、計測点ピッチ、計測点数、計測誤差、スポット径等の装置パラメータが、模擬計測装置毎に複数設けられ、各装置パラメータが予め設定された範囲内において変更可能となっている。なお、以下では、表１に示す模擬計測装置の仕様を模擬計測装置パラメータ１４２ａとし、表２に示す模擬計測装置の仕様を模擬計測装置パラメータ１４２ｂとして説明する。 The simulated measurement range determination unit 122a reads the master data 140 and the simulated measurement device parameter 142 stored in the data storage unit 116. Here, as shown in Table 1 and Table 2 below, for example, the simulation measurement device parameter 142 is a specification of a three-dimensional measurement device to be simulated (hereinafter also referred to as a simulation measurement device), that is, field of view, measurement. A plurality of device parameters such as a point pitch, the number of measurement points, a measurement error, and a spot diameter are provided for each simulated measurement device, and each device parameter can be changed within a preset range. In the following description, the specification of the simulated measurement device shown in Table 1 will be described as a simulated measurement device parameter 142a, and the specification of the simulated measurement device shown in Table 2 will be described as a simulated measurement device parameter 142b.

なお、表２における計測点ピッチのΔθは、水平方向および垂直方向のピッチ角度である。また、表１および表２において、スポット径を円形としているが、楕円形状としてもよい。

In Table 2, Δθ of the measurement point pitch is a pitch angle in the horizontal direction and the vertical direction. In Tables 1 and 2, the spot diameter is circular, but may be elliptical.

模擬計測範囲決定部１２２ａは、マスタデータ１４０の計測点２００により形成される３次元空間に対して、模擬計測装置で計測されるであろう模擬計測範囲２１０（２１０ａ、２１０ｂ、・・・）の数および方向（範囲）を模擬計測装置パラメータ１４２ａに基づいて決定する。 The simulated measurement range determination unit 122a has a simulated measurement range 210 (210a, 210b,...) That will be measured by the simulated measurement device for the three-dimensional space formed by the measurement points 200 of the master data 140. The number and direction (range) are determined based on the simulated measurement device parameter 142a.

そして、模擬計測範囲決定部１２２ａは、図２（ａ）に示すマスタデータ１４０の計測点２００（２００_１１、２００_１２、・・・、２００_２１、・・・、２００_ｉｊ、・・・）により形成される３次元空間に対して、図２（ｂ）に示すように、決定された数および方向に模擬計測範囲２１０（２１０ａ、２１０ｂ、・・・）を配置する。なお、３次元計測装置１０２は、模擬計測装置よりもピッチが狭く、かつ、スポット径が小さい仕様であるため、計測点２００が模擬計測範囲２１０のスポット内に複数含まれることになる。 The simulated measurement range determining unit 122a, the measurement point ₂₀₀ of the master data 140 shown in FIG. _{2 (a) (200 11,} 200 12, ···, 200 21, ···, 200 ij, ···) by As shown in FIG. 2B, simulated measurement ranges 210 (210a, 210b,...) Are arranged in the determined number and direction with respect to the formed three-dimensional space. Since the three-dimensional measuring apparatus 102 has a specification with a narrower pitch and a smaller spot diameter than the simulated measuring apparatus, a plurality of measurement points 200 are included in the spots of the simulated measuring range 210.

環境処理部１２２ｂは、空間中にある雨、雪、塵等の計測環境を再現するために、環境データ１４４に基づき、マスタデータ１４０に対して雨、雪、塵等の散乱体２２０を付加する。環境データ１４４には、雨、雪、塵等の散乱体２２０が配置される３次元位置、個数、大きさ、レーザの反射率等のパラメータが記憶される。 The environment processing unit 122b adds a scatterer 220 such as rain, snow, and dust to the master data 140 based on the environment data 144 in order to reproduce the measurement environment such as rain, snow, and dust in the space. . The environment data 144 stores parameters such as a three-dimensional position where the scatterer 220 such as rain, snow, and dust is arranged, the number, size, and laser reflectance.

具体的には、環境処理部１２２ｂは、データ記憶部１１６に予め記憶された環境データ１４４を読み出し、図２（ｃ）に示すように、マスタデータ１４０の計測点２００により形成される３次元空間に対して、環境データ１４４に示された３次元位置に散乱体２２０（２２０ａ〜２２０ｆ）を配置する（図２（ｃ）中、△で表す。）。 Specifically, the environment processing unit 122b reads the environment data 144 stored in advance in the data storage unit 116, and a three-dimensional space formed by the measurement points 200 of the master data 140 as shown in FIG. On the other hand, the scatterers 220 (220a to 220f) are arranged at the three-dimensional positions indicated in the environment data 144 (represented by Δ in FIG. 2C).

これにより、例えば、模擬計測範囲２１０ａのスポット内には、計測点２００_２３、２００_３２、２００_３３、２００_３４、２００_４３、および散乱体２２０ａが配置されることになる。 Thereby, for example, the measurement points 200 ₂₃ , 200 ₃₂ , 200 ₃₃ , 200 ₃₄ , 200 ₄₃ , and the scatterer 220a are arranged in the spot of the simulated measurement range 210a.

図３は、模擬計測範囲２１０ａの模擬測距値を算出する過程を説明する図である。測距値模擬部１２２ｃは、模擬計測範囲２１０内に配置された計測点２００および散乱体２２０に基づいて、模擬計測範囲２１０の基準となる位置（以下、基準位置とも呼ぶ）からの距離を算出する。 FIG. 3 is a diagram illustrating a process of calculating a simulated distance value in the simulated measurement range 210a. The distance measurement simulation unit 122c calculates a distance from a reference position (hereinafter also referred to as a reference position) of the simulated measurement range 210 based on the measurement points 200 and the scatterers 220 arranged in the simulated measurement range 210. To do.

例えば、模擬計測範囲２１０ａのスポット内に配置された計測点２００_２３、２００_３２、２００_３３、２００_３４、２００_４３、および散乱体２２０ａが図３（ａ）に示すような基準位置からの距離（時間）分布であったとする。すなわち、基準位置に近い順に散乱体２２０ａ、計測点２００_２３、２００_３３、２００_３２、２００_３４、２００_４３が並んでおり、また、計測点２００_２３、２００_３３および２００_３２が近接しており、計測点２００_３４および２００_４３が近接していたとする。 For example, the measurement points 200 ₂₃ , 200 ₃₂ , 200 ₃₃ , 200 ₃₄ , 200 ₄₃ , and the scatterer 220a arranged in the spot of the simulated measurement range 210a are distances from the reference position as shown in FIG. Time) distribution. That is, the scatterer 220a, the measurement points 200 ₂₃ , 200 ₃₃ , 200 ₃₂ , 200 ₃₄ , and 200 ₄₃ are arranged in order from the reference position, and the measurement points 200 ₂₃ , 200 _33, and 200 ₃₂ are close to each other, Assume that measurement points 200 ₃₄ and 200 ₄₃ are close to each other.

この場合、測距値模擬部１２２ｃは、図３（ｂ）に示すように、模擬計測範囲２１０ａのスポット内に配置される計測点２００_２３、２００_３２、２００_３３、２００_３４、２００_４３、および散乱体２２０ａの距離を模擬計測装置の計測誤差に基づいて前後に移動させ、反射強度に基づいた大きさに対して、ガウシアン分布に従った誤差が付加されたガウス分布２５０ａ〜２５０ｆを算出する。なお、計測点２００_２３、２００_３２、２００_３３、２００_３４、２００_４３、および散乱体２２０ａの距離を移動させる量は、例えば、模擬計測装置の測距精度が１ｃｍである場合、σ＝１ｃｍのガウス型擬似乱数を生成して決定するが、他の誤差モデルにより決定してもよい。 In this case, as shown in FIG. 3B, the distance measurement value simulation unit 122c includes measurement points 200 ₂₃ , 200 ₃₂ , 200 ₃₃ , 200 ₃₄ , 200 ₄₃ , and the like arranged in the spot of the simulated measurement range 210a. The distance of the scatterer 220a is moved back and forth based on the measurement error of the simulation measuring device, and Gaussian distributions 250a to 250f in which an error according to the Gaussian distribution is added to the magnitude based on the reflection intensity are calculated. Note that the amount by which the distance between the measurement points 200 ₂₃ , 200 ₃₂ , 200 ₃₃ , 200 ₃₄ , 200 ₄₃ , and the scatterer 220a is moved is, for example, σ = 1 cm when the distance measurement accuracy of the simulated measurement apparatus is 1 cm. A Gaussian pseudorandom number is generated and determined, but may be determined by another error model.

次に、測距値模擬部１２２ｃは、図３（ｃ）に示すように、ガウス分布２５０ａ〜２５０ｆを合成し、その結果として、ガウス分布２５０ｂ〜２５０ｄが合成された合成分布２６０ａ、ガウス分布２５０ｅ〜２５０ｆが合成された合成分布２６０ｂを算出する。 Next, as shown in FIG. 3C, the distance measurement value simulation unit 122c combines the Gaussian distributions 250a to 250f, and as a result, the combined distribution 260a and the Gaussian distribution 250e obtained by combining the Gaussian distributions 250b to 250d. A combined distribution 260b obtained by combining ˜250f is calculated.

そして、測距値模擬部１２２ｃは、ガウス分布２５０ａ、合成分布２６０ａおよび２６０ｂを、模擬計測装置が反射光としてレーザを受信できるとされる閾値αと比較する。測距値模擬部１２２ｃは、図３（ｄ）に示すように、合成分布２６０ａおよび２６０ｂにおける閾値α以上である範囲をパルス状に抽出し、抽出したパルス状の範囲を、模擬計測装置で計測される模擬距離２７０ａおよび２７０ｂとして算出する。 Then, the distance measurement value simulation unit 122c compares the Gaussian distribution 250a and the combined distributions 260a and 260b with a threshold value α at which the simulated measurement device can receive a laser as reflected light. As shown in FIG. 3D, the distance measurement value simulation unit 122c extracts a range that is equal to or greater than the threshold value α in the combined distributions 260a and 260b in a pulse shape, and measures the extracted pulse-shaped range using a simulation measurement device. Calculated as simulated distances 270a and 270b.

なお、図３（ｄ）においては、模擬計測装置が、計測対象で反射されたレーザを複数回にわたって受信できるマルチエコー対応である場合を想定しており、２つの模擬距離２７０ａおよび２７０ｂが算出された。しかしながら、模擬計測装置が、計測対象で反射されたレーザを一回のみ受信できるシングルエコーのみに対応する場合、閾値α以上である合成分布２６０ａおよび２６０ｂのうちの最も距離が基準となる位置に近い合成分布２６０ａのパルス状の範囲だけが模擬距離２７０ａとして算出されるようにしてもよい。 In FIG. 3D, it is assumed that the simulated measurement apparatus is compatible with multi-echo that can receive the laser reflected from the measurement object a plurality of times, and two simulated distances 270a and 270b are calculated. It was. However, when the simulated measurement apparatus supports only a single echo that can receive the laser reflected by the measurement object only once, the distance of the combined distributions 260a and 260b that is equal to or greater than the threshold value α is closest to the reference position. Only the pulsed range of the combined distribution 260a may be calculated as the simulated distance 270a.

測距値模擬部１２２ｃは、全ての模擬計測範囲２１０について模擬距離２７０を算出する。模擬データ記憶部１２２ｄは、模擬計測範囲２１０の方向、および測距値模擬部１２２ｃにより算出された模擬距離２７０を関連付け、全ての模擬計測範囲２１０の方向および模擬距離２７０が関連付けられた模擬データ１４６を生成し、データ記憶部１１６に記憶する。 The distance measurement value simulation unit 122 c calculates the simulation distance 270 for all the simulation measurement ranges 210. The simulated data storage unit 122d associates the direction of the simulated measurement range 210 and the simulated distance 270 calculated by the measured distance value simulation unit 122c, and the simulated data 146 associates all the simulated measurement range 210 directions and simulated distances 270. Is generated and stored in the data storage unit 116.

模擬データ生成部１２２は、全ての模擬計測装置パラメータ１４２について模擬データ１４６を生成し、データ記憶部１１６に記憶する。 The simulation data generation unit 122 generates simulation data 146 for all the simulation measurement device parameters 142 and stores them in the data storage unit 116.

このようにして、模擬データ生成部１２２は、３次元計測装置１０２から取得したマスタデータ１４０に基づいて、複数の模擬計測装置で計測されるであろう模擬データ１４６を同一環境下で容易に生成することができる。 In this way, the simulation data generation unit 122 easily generates simulation data 146 that will be measured by a plurality of simulation measurement devices based on the master data 140 acquired from the three-dimensional measurement device 102 in the same environment. can do.

ここで、図４（ａ）は、３次元計測装置１０２により３次元位置が計測される計測対象を示す図である。図４（ｂ）は、図４（ａ）に示す計測対象が３次元計測装置１０２により計測されることで得られたマスタデータ１４０の計測点２００を示す図である。図５（ａ）は、図４（ｂ）に示すマスタデータ１４０から模擬計測装置パラメータ１４２ａに基づいて生成された模擬データ１４６ａの模擬計測範囲２１０を示す図である。図５（ｂ）は、図４（ｂ）に示すマスタデータ１４０から模擬計測装置パラメータ１４２ｂに基づいて生成された模擬データ１４６ｂの模擬計測範囲２１０を示す図である。 Here, FIG. 4A is a diagram illustrating a measurement target whose three-dimensional position is measured by the three-dimensional measurement apparatus 102. FIG. 4B is a diagram illustrating measurement points 200 of the master data 140 obtained by measuring the measurement target illustrated in FIG. 4A by the three-dimensional measurement apparatus 102. FIG. 5A is a diagram showing the simulated measurement range 210 of the simulated data 146a generated from the master data 140 shown in FIG. 4B based on the simulated measurement device parameter 142a. FIG. 5B is a diagram illustrating the simulated measurement range 210 of the simulated data 146b generated based on the simulated measurement device parameter 142b from the master data 140 illustrated in FIG. 4B.

図４（ｂ）に示すように、３次元計測装置１０２では高精細なマスタデータ１４０が生成されていることがわかる。また、図５（ａ）および図５（ｂ）に示すように、評価装置１００により、マスタデータ１４０から模擬計測装置パラメータ１４２ａおよび１４２ｂに基づいて生成された模擬データ１４６ａおよび１４６ｂは、模擬計測装置の仕様に合った計測対象の３次元位置が精度よく模擬できていることがわかる。 As shown in FIG. 4B, it can be seen that high-definition master data 140 is generated in the three-dimensional measuring apparatus 102. Further, as shown in FIGS. 5A and 5B, the simulation data 146a and 146b generated from the master data 140 based on the simulation measurement device parameters 142a and 142b by the evaluation device 100 are the simulation measurement device. It can be seen that the three-dimensional position of the measurement target that meets the specifications can be accurately simulated.

このように、模擬データ生成部１２２は、３次元計測装置１０２から取得したマスタデータ１４０に基づいて、複数の模擬計測装置で計測されるであろう模擬データ１４６を同一環境下で容易に、かつ精度よく生成することができる。 As described above, the simulation data generation unit 122 can easily execute the simulation data 146 that is to be measured by a plurality of simulation measurement devices based on the master data 140 acquired from the three-dimensional measurement device 102 in the same environment, and It can be generated with high accuracy.

基準アルゴリズム実行部１２４は、データ記憶部１１６からマスタデータ１４０、および、３次元計測装置で計測された３次元位置を示す複数の計測点を物体単位で切り出す（セグメンテーション）際に使用される既知の基準アルゴリズム１４８を読み出す。そして、基準アルゴリズム実行部１２４は、マスタデータ１４０に対して基準アルゴリズム１４８を実行し、マスタデータ１４０の各計測点２００同士がその距離や色調等によってグループ化され、同一のグループに含まれる全ての計測点２００に対して同一の値が関連付けされる。すなわち、マスタデータ１４０の各計測点２００を同一の値が関連付けられたセグメントごとに分割することになり、セグメントそれぞれが物体として切り出されることになる。基準アルゴリズム実行部１２４は、このような演算結果を基準値としてメモリ部１１４に記憶する。演算結果として得られる基準値は、マスタデータ１４０が高解像度であるため、精度よく物体が切り出されており、後述する評価アルゴリズムの指標として使用される。なお、基準アルゴリズム１４８は、例えば、ＰＣＬ（Point Cloud Library）により提供されているEuclidean Cluster Extractionや、Region growing segmentationのような、一般に広く使用されて性能が既知となったアルゴリズムが適応される。 The reference algorithm execution unit 124 uses the master data 140 from the data storage unit 116 and a plurality of measurement points indicating the three-dimensional position measured by the three-dimensional measurement apparatus to be used for segmenting each object. The reference algorithm 148 is read. Then, the reference algorithm execution unit 124 executes the reference algorithm 148 on the master data 140, and the measurement points 200 of the master data 140 are grouped according to the distance, color tone, and the like, and all of the measurement points 200 included in the same group are included. The same value is associated with the measurement point 200. That is, each measurement point 200 of the master data 140 is divided for each segment associated with the same value, and each segment is cut out as an object. The reference algorithm execution unit 124 stores such a calculation result in the memory unit 114 as a reference value. Since the master data 140 has a high resolution, the reference value obtained as the calculation result is an object cut out with high accuracy and is used as an index of an evaluation algorithm described later. As the reference algorithm 148, for example, an algorithm that has been widely used and whose performance is known, such as Euclidean Cluster Extraction provided by PCL (Point Cloud Library) and Region growing segmentation, is applied.

評価アルゴリズム実行部１２６は、複数の模擬データ１４６（１４６ａ〜１４６ｎ）の中から例えば模擬データ１４６ａをデータ記憶部１１６から読み出す。また、評価アルゴリズム実行部１２６は、複数の評価アルゴリズム１５０（１５０ａ〜１５０ｎ）の中から例えば評価アルゴリズム１５０ａをデータ記憶部１１６から読み出す。 The evaluation algorithm execution unit 126 reads, for example, the simulation data 146a from the data storage unit 116 from the plurality of simulation data 146 (146a to 146n). Further, the evaluation algorithm execution unit 126 reads, for example, the evaluation algorithm 150a from the data storage unit 116 among the plurality of evaluation algorithms 150 (150a to 150n).

ここで、評価アルゴリズム１５０は、３次元計測装置で計測された３次元位置を示す複数の計測点を切り出すアルゴリズムである。また、評価アルゴリズム１５０は、評価対象となるアルゴリズムであり、ユーザが開発したアルゴリズム、任意の論文等を通じて発表されたアルゴリズム等が適応される。また、評価アルゴリズム１５０は、複数の演算パラメータが外部から読み込めるようになっている。 Here, the evaluation algorithm 150 is an algorithm that cuts out a plurality of measurement points indicating the three-dimensional position measured by the three-dimensional measurement apparatus. The evaluation algorithm 150 is an algorithm to be evaluated, and an algorithm developed by a user, an algorithm published through an arbitrary paper, or the like is applied. The evaluation algorithm 150 can read a plurality of calculation parameters from the outside.

評価アルゴリズム実行部１２６は、模擬データ１４６ａに対して評価アルゴリズム１５０ａを実行し、模擬データ１４６ａの模擬計測範囲２１０同士がその距離や色調等によってグループ化され、同一のグループに含まれる全ての模擬計測範囲２１０に対して同一の値が関連付けられる。すなわち、模擬データ１４６ａの各模擬計測範囲２１０を同一の値が関連付けられたセグメントごとに分割することになり、セグメントそれぞれが物体として切り出されることになる。評価アルゴリズム実行部１２６は、このような演算結果を評価値としてメモリ部１１４に記憶する。 The evaluation algorithm execution unit 126 executes the evaluation algorithm 150a on the simulated data 146a, and the simulated measurement ranges 210 of the simulated data 146a are grouped according to their distance, color tone, etc., and all simulated measurements included in the same group The same value is associated with the range 210. That is, each simulation measurement range 210 of the simulation data 146a is divided for each segment associated with the same value, and each segment is cut out as an object. The evaluation algorithm execution unit 126 stores such a calculation result in the memory unit 114 as an evaluation value.

評価アルゴリズム実行部１２６は、模擬データ１４６ａに対する評価アルゴリズム１５０ａの評価値を算出すると、複数の評価アルゴリズム１５０（１５０ａ〜１５０ｎ）の中から例えば評価アルゴリズム１５０ｂをデータ記憶部１１６から読み出す。そして、評価アルゴリズム実行部１２６は、模擬データ１４６ａに対して評価アルゴリズム１５０ｂを実行して評価値を算出すると、算出した評価値をメモリ部１１４に記憶する。 When the evaluation algorithm execution unit 126 calculates the evaluation value of the evaluation algorithm 150a for the simulation data 146a, the evaluation algorithm execution unit 126 reads, for example, the evaluation algorithm 150b from the data storage unit 116 from the plurality of evaluation algorithms 150 (150a to 150n). When the evaluation algorithm execution unit 126 calculates the evaluation value by executing the evaluation algorithm 150b on the simulation data 146a, the evaluation algorithm execution unit 126 stores the calculated evaluation value in the memory unit 114.

このように、評価アルゴリズム実行部１２６は、模擬データ１４６ａに対して、複数の評価アルゴリズム１５０の全てを順に実行して評価値を算出し、算出した評価値をメモリ部１１４に記憶する。 As described above, the evaluation algorithm execution unit 126 calculates the evaluation value by sequentially executing all of the plurality of evaluation algorithms 150 on the simulation data 146a, and stores the calculated evaluation value in the memory unit 114.

次に、評価アルゴリズム実行部１２６は、複数の模擬データ１４６の中から例えば模擬データ１４６ｂをデータ記憶部１１６から読み出す。そして、評価アルゴリズム実行部１２６は、模擬データ１４６ｂに対して、複数の評価アルゴリズム１５０の全てを順に実行して評価値を算出し、算出した評価値をメモリ部１１４に記憶する。 Next, the evaluation algorithm execution unit 126 reads, for example, the simulated data 146b from the data storage unit 116 from the plurality of simulated data 146. Then, the evaluation algorithm execution unit 126 calculates all the evaluation values by sequentially executing all of the plurality of evaluation algorithms 150 on the simulation data 146b, and stores the calculated evaluation values in the memory unit 114.

その後、評価アルゴリズム実行部１２６は、複数の模擬データ１４６のうちの評価値が算出されていない１つの模擬データ１４６をデータ記憶部１１６から順に読み出していき、読み出した模擬データ１４６に対して、複数の評価アルゴリズム１５０の全てを順に実行して評価値を算出し、算出した評価値をメモリ部１１４に記憶する。 Thereafter, the evaluation algorithm execution unit 126 sequentially reads one simulation data 146 for which the evaluation value is not calculated from the plurality of simulation data 146 from the data storage unit 116, and the plurality of simulation data 146 is read with respect to the read simulation data 146. All of the evaluation algorithms 150 are sequentially executed to calculate an evaluation value, and the calculated evaluation value is stored in the memory unit 114.

このように、評価アルゴリズム実行部１２６は、複数の模擬データ１４６と、複数の評価アルゴリズム１５０との全ての組み合わせについて評価値を算出する。 In this way, the evaluation algorithm execution unit 126 calculates evaluation values for all combinations of the plurality of simulation data 146 and the plurality of evaluation algorithms 150.

結果比較部１２８は、基準アルゴリズム実行部１２４により演算結果として得られる基準値をメモリ部１１４から読み出し、基準値により示される、物体毎に切り分けられたマスタデータ１４０の計測点２００のうち、検査対象とされる所定の物体に対応する値が関連付けられた計測点２００のみが含まれる検査領域３００（図４（ｂ）を参照）を設定する。 The result comparison unit 128 reads out the reference value obtained as the calculation result by the reference algorithm execution unit 124 from the memory unit 114, and among the measurement points 200 of the master data 140 separated for each object indicated by the reference value, An inspection region 300 (see FIG. 4B) including only the measurement point 200 associated with a value corresponding to a predetermined object is set.

そして、結果比較部１２８は、マスタデータ１４０における検査領域３００の３次元座標に基づき、模擬データ１４６における検査領域３００に対応する比較領域３１０（図５（ａ）においては比較領域３１０ａ、図５（ｂ）においては比較領域３１０ｂとして示す）を設定し、当該比較領域３１０内の模擬計測範囲２１０の評価値を抽出する。 Then, the result comparison unit 128 is based on the three-dimensional coordinates of the inspection area 300 in the master data 140, and the comparison area 310 corresponding to the inspection area 300 in the simulated data 146 (the comparison area 310a in FIG. b) is set as a comparison area 310b), and the evaluation value of the simulated measurement range 210 in the comparison area 310 is extracted.

図６は、模擬データ１４６ｂにおける比較領域３１０ｂ内の模擬計測範囲２１０の評価値の一例を示す図である。図６においては、基準値と評価値とが同一の値、すなわち、比較領域３１０ｂ内の模擬計測範囲２１０のうち、検査領域３００内の計測点２００と同一の物体が切り出されたとされる模擬計測範囲２１０、すなわち同一のセグメントに分類されたとされる模擬計測範囲２１０を白丸で示す。また、基準値と評価値が異なった値、すなわち、比較領域３１０ｂ内の模擬計測範囲２１０のうち、検査領域３００内の計測点２００と異なった物体が切り出されたとされる模擬計測範囲２１０、すなわち異なったセグメントに分類されたとされる模擬計測範囲２１０を黒丸で示す。 FIG. 6 is a diagram illustrating an example of an evaluation value of the simulated measurement range 210 in the comparison area 310b in the simulated data 146b. In FIG. 6, the simulated measurement in which the reference value and the evaluation value are the same value, that is, the same object as the measurement point 200 in the inspection region 300 is cut out of the simulated measurement range 210 in the comparison region 310 b. A range 210, that is, a simulated measurement range 210 that is assumed to be classified into the same segment is indicated by a white circle. Further, the simulated measurement range 210 in which an object different from the measurement point 200 in the inspection region 300 is cut out of the values different from the reference value and the evaluation value, that is, the simulated measurement range 210 in the comparison region 310b. A simulated measurement range 210 that is classified into different segments is indicated by a black circle.

図６に示すように、比較領域３１０ｂ内には１３個の模擬計測範囲２１０が含まれており、そのうち９個の模擬計測範囲２１０の評価値が基準値と同一で、４個の模擬計測範囲２１０の評価値が基準値と異なったとする。 As shown in FIG. 6, 13 simulation measurement ranges 210 are included in the comparison area 310b, and the evaluation values of nine simulation measurement ranges 210 are the same as the reference values, and four simulation measurement ranges are included. Assume that the evaluation value 210 is different from the reference value.

この場合、結果比較部１２８は、評価値と基準値とが同一である模擬計測範囲２１０の数である９を、比較領域３１０ｂ内に含まれる模擬計測範囲２１０の総数である１３で除算し、その結果得られる値である９／１３を正解率として算出する。 In this case, the result comparison unit 128 divides 9 which is the number of simulated measurement ranges 210 in which the evaluation value and the reference value are the same by 13 which is the total number of simulated measurement ranges 210 included in the comparison region 310b. 9/13 which is a value obtained as a result is calculated as a correct answer rate.

結果比較部１２８は、複数の模擬データ１４６と、複数の評価アルゴリズム１５０との全ての組み合わせについて正解率を算出する。 The result comparison unit 128 calculates the correct answer rate for all combinations of the plurality of simulation data 146 and the plurality of evaluation algorithms 150.

表３は、複数の模擬データ１４６と、複数の評価アルゴリズム１５０との全ての組み合わせによる正解率を示す表である。表３に示すように、結果出力部１３０は、複数の模擬データ１４６と、複数の評価アルゴリズム１５０との全ての組み合わせについて正解率を評価結果として表示部（図示せず）等に出力する。

Table 3 is a table showing the correct answer rate by all combinations of the plurality of simulation data 146 and the plurality of evaluation algorithms 150. As shown in Table 3, the result output unit 130 outputs the correct answer rate as an evaluation result for all combinations of the plurality of simulation data 146 and the plurality of evaluation algorithms 150 to a display unit (not shown) or the like.

また、結果出力部１３０は、複数の模擬データ１４６と、複数の評価アルゴリズム１５０との全ての組み合わせについての正解率のうち、最も正解率が高かった組み合わせを選択する。そして、結果出力部１３０は、選択した正解率がユーザの指定する値（例えば、０．９以上）を満たしている場合には、その正解率が得られた模擬データ１４６ｂおよび評価アルゴリズム１５０ｂの組み合わせを最適結果として出力する。 In addition, the result output unit 130 selects a combination having the highest accuracy rate among the accuracy rates for all combinations of the plurality of simulation data 146 and the plurality of evaluation algorithms 150. If the selected correct answer rate satisfies a value specified by the user (for example, 0.9 or more), the result output unit 130 combines the simulation data 146b and the evaluation algorithm 150b from which the correct answer rate is obtained. Is output as the optimum result.

なお、正解率は、評価値と基準値とが同一である模擬計測範囲２１０の数を、比較領域３１０ｂ内に含まれる模擬計測範囲２１０の総数で除算することで算出した。しかしながら、例えば、評価値と基準値とが同一である模擬計測範囲２１０と同じセグメントに分類された模擬計測範囲２１０が比較領域３１０外にも存在する場合、同じセグメントが他の物体を侵食したとして正解率を減ずるようにしてもよい。また、複数物体を別のセグメントに分離できていることを確認し、一切分類せずに全部の模擬計測範囲２１０が同じセグメントとなり正解率が１００％になるのを防止するため、比較領域３１０を複数用意して、それらを統合した正解率を定義してもよい。 The correct answer rate was calculated by dividing the number of simulated measurement ranges 210 in which the evaluation value and the reference value are the same by the total number of simulated measurement ranges 210 included in the comparison area 310b. However, for example, when the simulated measurement range 210 classified into the same segment as the simulated measurement range 210 having the same evaluation value and reference value is also present outside the comparison region 310, the same segment erodes another object. The correct answer rate may be reduced. In addition, in order to confirm that a plurality of objects can be separated into different segments, and to prevent all the simulated measurement ranges 210 from becoming the same segment without being classified at all, the comparison area 310 is set to be 100%. You may prepare multiple and define the correct answer rate which united them.

このように、評価装置１００では、高精細のマスタデータ１４０に対して既知の基準アルゴリズム１４８を実行することにより基準値を算出する。また、評価装置１００では、複数の模擬データ１４６のそれぞれに対して、複数の評価アルゴリズム１５０をそれぞれ実行することにより、複数の模擬データ１４６と、複数の評価アルゴリズム１５０との全ての組み合わせについて評価値を算出する。その後、評価装置１００では、基準値に基づいて評価値の正解率を算出することで、最も正解率の高い模擬データ１４６と評価アルゴリズム１５０との組み合わせを最適結果として検出することができる。 As described above, the evaluation apparatus 100 calculates the reference value by executing the known reference algorithm 148 on the high-definition master data 140. Further, in the evaluation apparatus 100, the evaluation values are obtained for all combinations of the plurality of simulation data 146 and the plurality of evaluation algorithms 150 by executing the plurality of evaluation algorithms 150 for each of the plurality of simulation data 146. Is calculated. Thereafter, the evaluation apparatus 100 can detect the combination of the simulation data 146 having the highest accuracy rate and the evaluation algorithm 150 as the optimum result by calculating the accuracy rate of the evaluation value based on the reference value.

一方で、選択した正解率がユーザの指定する値を満たしていない場合、模擬データ生成部１２２は、複数の模擬計測装置パラメータ１４２をそれぞれ調整する。すなわち、模擬データ生成部１２２は、データ記憶部１１６に記憶された模擬計測装置パラメータ１４２のうちの、例えば計測点数、計測ピッチ等を予め設定された範囲内で変更し、変更した複数の模擬計測装置パラメータ１４２を用いて、再度、複数の模擬データ１４６を生成する。 On the other hand, when the selected accuracy rate does not satisfy the value specified by the user, the simulated data generation unit 122 adjusts the plurality of simulated measurement device parameters 142, respectively. That is, the simulation data generation unit 122 changes, for example, the number of measurement points, the measurement pitch, and the like, among the simulation measurement device parameters 142 stored in the data storage unit 116, within a preset range, and changes the plurality of simulation measurements. A plurality of simulation data 146 is generated again using the apparatus parameter 142.

また、評価アルゴリズム実行部１２６は、複数の評価アルゴリズム１５０の演算パラメータをそれぞれ調整する。すなわち、評価アルゴリズム実行部１２６は、データ記憶部１１６に記憶された評価アルゴリズム１５０の演算パラメータを、予め設定された範囲内で変更し、演算パラメータを変更した評価アルゴリズム１５０を用いて、再度生成された複数の模擬データ１４６の評価値を算出する。 Further, the evaluation algorithm execution unit 126 adjusts the operation parameters of the plurality of evaluation algorithms 150, respectively. In other words, the evaluation algorithm execution unit 126 changes the calculation parameter of the evaluation algorithm 150 stored in the data storage unit 116 within a preset range, and is generated again using the evaluation algorithm 150 in which the calculation parameter is changed. Evaluation values of the plurality of simulated data 146 are calculated.

結果比較部１２８は、再度生成された複数の模擬データ１４６と、演算パラメータが変更された複数の評価アルゴリズム１５０との全ての組み合わせについて算出された評価値の正解率を算出する。また、結果出力部１３０は、算出された正解率を出力するとともに、最も正解率が高かった組み合わせの正解率がユーザの指定する値を満たすか判断する。そして、最も正解率が高かった組み合わせの正解率がユーザの指定する値を満たしていない場合には、最も正解率が高かった組み合わせの正解率がユーザの指定する値を満たすまで、予め設定された範囲内で、模擬計測装置パラメータ１４２が変更され、評価アルゴリズム１５０の演算パラメータが変更される。そして、模擬データ１４６の生成、評価値の算出、正解率の算出、結果の出力が繰り返し行われる。 The result comparison unit 128 calculates the accuracy rate of the evaluation values calculated for all combinations of the plurality of simulated data 146 generated again and the plurality of evaluation algorithms 150 in which the operation parameters are changed. In addition, the result output unit 130 outputs the calculated accuracy rate, and determines whether the accuracy rate of the combination having the highest accuracy rate satisfies the value specified by the user. And when the correct answer rate of the combination with the highest correct answer rate does not satisfy the value specified by the user, it is preset until the correct answer rate of the combination with the highest correct answer rate satisfies the value specified by the user. Within the range, the simulation measurement device parameter 142 is changed, and the calculation parameter of the evaluation algorithm 150 is changed. Then, generation of simulated data 146, calculation of an evaluation value, calculation of a correct answer rate, and output of results are repeatedly performed.

これにより、評価装置１００は、ユーザの指定する値を満たす正解率が得られるまで、予め設定された範囲内において模擬計測装置パラメータ１４２と評価アルゴリズム１５０の演算パラメータを変更していくことで、ユーザの指定する値を満たす正解率が得られた模擬データ１４６と評価アルゴリズム１５０との組み合わせを容易に検出することができる。 Thereby, the evaluation apparatus 100 changes the simulation measurement apparatus parameter 142 and the calculation parameters of the evaluation algorithm 150 within the preset range until a correct answer rate satisfying the value specified by the user is obtained, thereby allowing the user to It is possible to easily detect the combination of the simulation data 146 and the evaluation algorithm 150 in which the accuracy rate satisfying the value specified by is obtained.

（評価処理）
続いて、上記評価装置１００を利用した評価処理（評価方法）について説明する。 (Evaluation process)
Then, the evaluation process (evaluation method) using the said evaluation apparatus 100 is demonstrated.

図７は、評価処理の流れを説明したフローチャートである。図８は、模擬データ生成処理の流れを説明したフローチャートである。図９は、基準値算出処理の流れを説明したフローチャートである。図１０は、評価値算出処理の流れを説明したフローチャートである。なお、図８に示す模擬データ生成処理、図９に示す基準値算出処理、図１０に示す評価値算出処理は、図７に示す評価処理のサブルーチンである。 FIG. 7 is a flowchart illustrating the flow of the evaluation process. FIG. 8 is a flowchart illustrating the flow of the simulation data generation process. FIG. 9 is a flowchart illustrating the flow of the reference value calculation process. FIG. 10 is a flowchart illustrating the flow of the evaluation value calculation process. The simulated data generation process shown in FIG. 8, the reference value calculation process shown in FIG. 9, and the evaluation value calculation process shown in FIG. 10 are subroutines of the evaluation process shown in FIG.

図７に示すように、ＣＰＵ１１２は、模擬計測装置パラメータ１４２において変更可能な範囲を設定する（ステップＳ１００）。 As shown in FIG. 7, the CPU 112 sets a changeable range in the simulated measurement apparatus parameter 142 (step S100).

次に、ＣＰＵ１１２は、模擬データ１４６を生成する模擬データ生成処理を実行する（ステップＳ１０２）。なお、模擬データ生成処理の詳細については後述する。 Next, the CPU 112 executes a simulation data generation process for generating the simulation data 146 (step S102). The details of the simulation data generation process will be described later.

次に、ＣＰＵ１１２は、マスタデータ１４０に対して基準アルゴリズム１４８を実行して基準値を算出する基準値算出処理を実行する（ステップＳ１０４）。なお、基準値算出処理の詳細については後述する。 Next, the CPU 112 executes a reference value calculation process for calculating a reference value by executing the reference algorithm 148 on the master data 140 (step S104). Details of the reference value calculation process will be described later.

次に、ＣＰＵ１１２は、模擬データ１４６に対して評価アルゴリズム１５０を実行して評価値を算出する評価値算出処理を実行する（ステップＳ１０６）。なお、評価値算出処理の詳細については後述する。 Next, the CPU 112 executes an evaluation value calculation process for calculating an evaluation value by executing the evaluation algorithm 150 on the simulation data 146 (step S106). Details of the evaluation value calculation process will be described later.

次に、ＣＰＵ１１２は、上記ステップＳ１０４の基準値算出処理で算出された基準値により示される、物体毎に切り分けられたマスタデータ１４０の計測点２００に基づいて、検査対象とされる所定の物体に対応する計測点２００が含まれる検査領域３００を設定する。そして、ＣＰＵ１１２は、模擬データ１４６に対して検査領域３００に対応する比較領域３１０を設定し、当該比較領域３１０内の模擬計測範囲２１０の評価値を抽出する。ＣＰＵ１１２は、評価値が基準値と同一である模擬計測範囲２１０の数を、比較領域３１０ｂ内に含まれる模擬計測範囲２１０の総数で除算した正解率を算出する（ステップＳ１０８）。 Next, the CPU 112 determines a predetermined object to be inspected based on the measurement point 200 of the master data 140 divided for each object indicated by the reference value calculated in the reference value calculation process in step S104. An inspection region 300 including the corresponding measurement point 200 is set. Then, the CPU 112 sets a comparison area 310 corresponding to the inspection area 300 with respect to the simulation data 146 and extracts an evaluation value of the simulation measurement range 210 in the comparison area 310. The CPU 112 calculates a correct answer rate obtained by dividing the number of simulated measurement ranges 210 whose evaluation values are the same as the reference value by the total number of simulated measurement ranges 210 included in the comparison area 310b (step S108).

ＣＰＵ１１２は、複数の模擬データ１４６と、複数の評価アルゴリズム１５０との全ての組み合わせの正解率のうちの最大の値をとる正解率がユーザの指定する値を満たす最適結果があるかを判断する（ステップＳ１１０）。その結果、最大の値をとる正解率がユーザの指定する値を満たす最適結果であると判断した場合（ステップＳ１１０においてＹＥＳ）、ＣＰＵ１１２は、当該評価処理を終了する。 The CPU 112 determines whether there is an optimum result in which the correct answer rate that takes the maximum value among the correct answer rates of all combinations of the plurality of simulation data 146 and the plurality of evaluation algorithms 150 satisfies the value specified by the user ( Step S110). As a result, when it is determined that the correct answer rate that takes the maximum value is the optimum result that satisfies the value specified by the user (YES in step S110), the CPU 112 ends the evaluation process.

一方、最大の値をとる正解率がユーザの指定する値を満たす最適結果でないと判断した場合（ステップＳ１１０においてＮＯ）、ＣＰＵ１１２は、模擬計測装置パラメータ１４２を変更し（ステップＳ１１２）、また、評価アルゴリズム１５０の演算パラメータを変更し（ステップＳ１１４）、ステップＳ１０２の処理に戻る。 On the other hand, when it is determined that the correct answer rate at which the maximum value is obtained is not the optimum result satisfying the value specified by the user (NO in step S110), the CPU 112 changes the simulated measurement device parameter 142 (step S112) and evaluates it. The calculation parameter of the algorithm 150 is changed (step S114), and the process returns to step S102.

（模擬データ生成処理）
図８に示すように、ＣＰＵ１１２は、３次元計測装置１０２からマスタデータ１４０を取得し（ステップＳ２００）、データ記憶部１１６から模擬計測装置パラメータ１４２を読み出す（ステップＳ２０２）。そして、ＣＰＵ１１２は、マスタデータ１４０の計測点２００により形成される３次元空間に対して、模擬計測装置で計測されるであろう模擬計測範囲２１０の数および方向（範囲）を決定する（ステップＳ２０４）。 (Simulation data generation process)
As shown in FIG. 8, the CPU 112 acquires the master data 140 from the three-dimensional measurement apparatus 102 (step S200), and reads the simulated measurement apparatus parameter 142 from the data storage unit 116 (step S202). Then, the CPU 112 determines the number and direction (range) of the simulated measurement ranges 210 that will be measured by the simulated measurement device with respect to the three-dimensional space formed by the measurement points 200 of the master data 140 (step S204). ).

また、ＣＰＵ１１２は、データ記憶部１１６から環境データ１４４を読み出し（ステップＳ２０６）、マスタデータ１４０の計測点２００により形成される３次元空間に対して、散乱体２２０を配置する（ステップＳ２０８）。 Further, the CPU 112 reads the environmental data 144 from the data storage unit 116 (step S206), and places the scatterer 220 in the three-dimensional space formed by the measurement point 200 of the master data 140 (step S208).

その後、ＣＰＵ１１２は、模擬計測範囲２１０のスポット内に配置される計測点２００および散乱体２２０の距離を基準とした、模擬計測装置パラメータ１４２の計測誤差に応じたガウス分布２５０を算出し、当該ガウス分布２５０を合成した合成分布２６０を算出する。そして、ＣＰＵ１１２は、合成分布２６０と閾値αとを比較して模擬計測範囲２１０の模擬距離２７０を算出する（ステップＳ２１０）。そして、ＣＰＵ１１２は、模擬計測範囲２１０の方向および模擬距離２７０が関連付けられた模擬データ１４６を生成し、データ記憶部１１６に記憶する（ステップＳ２１２）。 Thereafter, the CPU 112 calculates a Gaussian distribution 250 corresponding to the measurement error of the simulated measurement device parameter 142 with reference to the distance between the measurement point 200 and the scatterer 220 arranged in the spot of the simulated measurement range 210, and the Gaussian concerned. A combined distribution 260 obtained by combining the distributions 250 is calculated. Then, the CPU 112 compares the composite distribution 260 with the threshold value α to calculate the simulated distance 270 of the simulated measurement range 210 (step S210). Then, the CPU 112 generates simulated data 146 in which the direction of the simulated measurement range 210 and the simulated distance 270 are associated, and stores them in the data storage unit 116 (step S212).

ＣＰＵ１１２は、まだ模擬データ１４６が生成されていない次の模擬計測装置パラメータ１４２があるか判断する（ステップＳ２１４）。その結果、次の模擬計測装置パラメータ１４２があると判断した場合（ステップＳ２１４においてＹＥＳ）、ＣＰＵ１１２は、ステップＳ２０２の処理に戻り、次の模擬計測装置パラメータ１４２がなくなるまでステップＳ２０２〜Ｓ２１４の処理を繰り返す。 The CPU 112 determines whether there is a next simulation measurement device parameter 142 for which simulation data 146 has not yet been generated (step S214). As a result, when it is determined that there is the next simulated measurement device parameter 142 (YES in step S214), the CPU 112 returns to the process of step S202, and performs the processing of steps S202 to S214 until the next simulated measurement device parameter 142 disappears. repeat.

一方、ＣＰＵ１１２は、次の模擬計測装置パラメータ１４２がないと判断した場合（ステップＳ２１４においてＮＯ）、ＣＰＵ１１２は、模擬データ生成処理を終了する。 On the other hand, when CPU 112 determines that there is no next simulation measurement device parameter 142 (NO in step S214), CPU 112 ends the simulation data generation process.

（基準値算出処理）
図９に示すように、ＣＰＵ１１２は、データ記憶部１１６からマスタデータ１４０を読み出し（ステップＳ３００）、また、データ記憶部１１６から基準アルゴリズム１４８を読み出す（ステップＳ３０２）。そして、ＣＰＵ１１２は、マスタデータ１４０に対して基準アルゴリズム１４８を実行し（ステップＳ３０４）、その結果得られる基準値をメモリ部１１４に記憶し（ステップＳ３０６）、当該基準値算出処理を終了する。 (Reference value calculation process)
As shown in FIG. 9, the CPU 112 reads the master data 140 from the data storage unit 116 (step S300), and reads the reference algorithm 148 from the data storage unit 116 (step S302). Then, the CPU 112 executes the reference algorithm 148 on the master data 140 (step S304), stores the reference value obtained as a result in the memory unit 114 (step S306), and ends the reference value calculation process.

（評価値算出処理）
図１０に示すように、ＣＰＵ１１２は、データ記憶部１１６から模擬データ１４６を読み出し（ステップＳ４００）、また、データ記憶部１１６から評価アルゴリズム１５０を読み出す（ステップＳ４０２）。そして、ＣＰＵ１１２は、模擬データ１４６に対して評価アルゴリズム１５０を実行し（ステップＳ４０４）、その結果得られる評価値をメモリ部１１４に記憶する（ステップＳ４０６）。 (Evaluation value calculation process)
As shown in FIG. 10, the CPU 112 reads the simulation data 146 from the data storage unit 116 (step S400), and reads the evaluation algorithm 150 from the data storage unit 116 (step S402). Then, the CPU 112 executes the evaluation algorithm 150 on the simulation data 146 (step S404), and stores the evaluation value obtained as a result in the memory unit 114 (step S406).

ＣＰＵ１１２は、次の評価アルゴリズム１５０があるかを判断し（ステップＳ４０８）、次の評価アルゴリズム１５０があると判断した場合（ステップＳ４０８においてＹＥＳ）、ステップＳ４０２の処理に戻る。一方、次の評価アルゴリズム１５０がないと判断した場合（ステップＳ４０８においてＮＯ）、ＣＰＵ１１２は、次の模擬データ１４６があるかを判断する（ステップＳ４１０）。ＣＰＵ１１２は、次の模擬データ１４６があると判断した場合（ステップＳ４１０においてＹＥＳ）、ステップＳ４００の処理に戻り、次の模擬データ１４６がないと判断した場合（ステップＳ４１０においてＮＯ）、当該評価値算出処理を終了する。 The CPU 112 determines whether or not there is the next evaluation algorithm 150 (step S408). If it is determined that there is the next evaluation algorithm 150 (YES in step S408), the process returns to step S402. On the other hand, if it is determined that there is no next evaluation algorithm 150 (NO in step S408), CPU 112 determines whether there is next simulation data 146 (step S410). When CPU 112 determines that there is next simulation data 146 (YES in step S410), the process returns to step S400, and when it is determined that there is no next simulation data 146 (NO in step S410), the evaluation value is calculated. The process ends.

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Is done.

なお、上述した実施形態においては、模擬計測範囲２１０のスポット内に配置される計測点２００および散乱体２２０の距離を基準とした、反射強度に応じたガウス分布２５０を算出するようにした。しかしながら、模擬計測範囲２１０のスポット内に配置される計測点２００および散乱体２２０のうち、当該スポットの中心に近いほどガウス分布２５０の大きさを大きくするようにしてもよい。これにより、スポット内での光量分布をより反映した模擬距離２７０を算出することができる。 In the embodiment described above, the Gaussian distribution 250 corresponding to the reflection intensity is calculated based on the distance between the measurement point 200 and the scatterer 220 arranged in the spot of the simulated measurement range 210. However, among the measurement points 200 and the scatterers 220 arranged in the spot of the simulated measurement range 210, the Gaussian distribution 250 may be increased as it is closer to the center of the spot. Thereby, the simulated distance 270 more reflecting the light quantity distribution in the spot can be calculated.

また、上述した実施形態においては、模擬計測範囲２１０のスポット内に配置される計測点２００および散乱体２２０の距離を基準とした、反射強度に応じたガウス分布２５０を算出し、当該ガウス分布２５０を合成した合成分布２６０を算出し、合成分布２６０と閾値αとを比較して模擬計測範囲２１０の模擬距離２７０を算出するようにした。しかしながら、模擬計測範囲２１０のスポット内に配置される計測点２００および散乱体２２０のうち、最も距離が短い計測点２００または散乱体２２０までの距離を模擬距離２７０とするようにしてもよい。また、模擬計測範囲２１０のスポット内に配置される計測点２００および散乱体２２０のうち、最もスポットの中心に近い計測点２００または散乱体２２０までの距離を模擬距離２７０とするようにしてもよい。 In the above-described embodiment, the Gaussian distribution 250 corresponding to the reflection intensity is calculated based on the distance between the measurement point 200 and the scatterer 220 arranged in the spot of the simulated measurement range 210, and the Gaussian distribution 250 is calculated. The combined distribution 260 is calculated, and the combined distribution 260 and the threshold value α are compared to calculate the simulated distance 270 of the simulated measurement range 210. However, the distance to the measurement point 200 or the scatterer 220 having the shortest distance among the measurement points 200 and the scatterer 220 arranged in the spot of the simulated measurement range 210 may be the simulated distance 270. Further, among the measurement points 200 and the scatterers 220 arranged in the spot of the simulated measurement range 210, the distance to the measurement point 200 or the scatterer 220 closest to the center of the spot may be set as the simulated distance 270. .

また、上述した実施形態においては、模擬計測範囲２１０のスポット内に配置される計測点２００および散乱体２２０のガウス分布２５０を算出し、ガウス分布２５０を合成することで合成分布２６０を算出するようにした。しかしながら、模擬計測範囲２１０のスポット内に配置される計測点２００および散乱体２２０を矩形状分布とし、または、模擬計測装置において想定される波形形状分布とし、当該矩形状分布または波形形状分布を合成することで合成分布を算出するようにしてもよい。 In the above-described embodiment, the Gaussian distribution 250 of the measurement points 200 and the scatterers 220 arranged in the spot of the simulated measurement range 210 is calculated, and the combined distribution 260 is calculated by combining the Gaussian distribution 250. I made it. However, the measurement points 200 and the scatterers 220 arranged in the spot of the simulated measurement range 210 have a rectangular distribution, or a waveform shape distribution assumed in the simulated measurement apparatus, and the rectangular distribution or the waveform shape distribution is synthesized. By doing so, the composite distribution may be calculated.

また、上述した実施形態においては、３次元計測装置１０２が模擬計測装置より高解像度で計測対象の３次元位置を計測できるようにした。しかしながら、３次元計測装置１０２が高解像度の３次元位置を計測できない場合、計測対象を複数計測し、それらを合成することで高解像度のマスタデータを生成するようにしてもよい。 In the above-described embodiment, the three-dimensional measurement apparatus 102 can measure the three-dimensional position of the measurement target with higher resolution than the simulated measurement apparatus. However, when the three-dimensional measuring apparatus 102 cannot measure a high-resolution three-dimensional position, high-resolution master data may be generated by measuring a plurality of measurement targets and combining them.

また、上述した実施形態においては、３次元計測装置１０２が模擬計測装置より高解像度で計測対象の３次元位置を計測してマスタデータ１４０を生成するようにした。しかしながら、３次元コンピュータグラフィックスソフトを用いて、仮想空間を定義し、仮想空間内で仮想物体を配置し、レイトレージングなどのシミュレーションによりマスタデータを生成するようにしてもよい。 In the above-described embodiment, the three-dimensional measurement apparatus 102 measures the three-dimensional position of the measurement target with higher resolution than the simulated measurement apparatus and generates the master data 140. However, a virtual space may be defined using three-dimensional computer graphics software, a virtual object may be arranged in the virtual space, and master data may be generated by simulation such as ray tracing.

また、上述した実施形態においては、マスタデータ１４０から模擬計測装置パラメータ１４２に基づいて模擬データ１４６を生成するようにした。しかしながら、３次元コンピュータグラフィックスソフトを用いて、仮想空間を定義し、仮想空間内で仮想物体を配置し、レイトレージングなどのシミュレーションによりマスタデータよりも低精度な模擬データを生成するようにしてもよい。 In the above-described embodiment, the simulation data 146 is generated from the master data 140 based on the simulation measurement device parameter 142. However, it is also possible to define a virtual space using 3D computer graphics software, place a virtual object in the virtual space, and generate simulated data with lower accuracy than the master data by simulation such as ray tracing. Good.

また、上述した実施形態においては、最も正解率が高かった模擬データ１４６および評価アルゴリズム１５０の組み合わせの正解率がユーザの指定する値を満たしていない場合には、模擬計測装置パラメータ１４２、および、評価アルゴリズム１５０の演算パラメータを変更するようにした。しかしながら、最も正解率が高かった組み合わせの正解率がユーザの指定する値を満たしていない場合には、模擬計測装置パラメータ１４２、および、評価アルゴリズム１５０の演算パラメータの一方だけを変更するようにしてもよく、また、変更しないで最も正解率の高い模擬データ１４６および評価アルゴリズム１５０の組み合わせを最適結果として出力するようにしてもよい。 In the above-described embodiment, when the correct answer rate of the combination of the simulation data 146 and the evaluation algorithm 150 having the highest correct answer rate does not satisfy the value specified by the user, the simulated measurement device parameter 142 and the evaluation The calculation parameter of the algorithm 150 is changed. However, if the correct answer rate of the combination with the highest correct answer rate does not satisfy the value specified by the user, only one of the simulated measurement device parameter 142 and the operation parameter of the evaluation algorithm 150 may be changed. Alternatively, the combination of the simulation data 146 and the evaluation algorithm 150 having the highest accuracy rate without changing may be output as the optimum result.

また、上述した実施形態においては、検査領域３００内の計測点２００の基準値と同一の値となる模擬計測範囲２１０の数を、比較領域３１０内の模擬計測範囲２１０の総数で除算することで正解率を算出するようにした。しかしながら、比較領域３１０内の模擬計測範囲２１０が異なる複数の評価値に分割されており、複数の物体であると判断される場合において、当該複数の物体が、比較領域３１０外の他の物体として切り出されていないと判断される場合には正解率を減算せず、他の物体として切り出されたと判断される場合には正解率を減算するようにしてもよい。例えば、異なる２つの物体が隣接している場合において、一方の物体に対して比較領域３１０が設定され、当該比較領域３１０内において、模擬計測範囲２１０が複数の評価値（複数のセグメント）に分割されていても、その複数の評価値の全てが、比較領域３１０外の他方の物体とされる評価値と異なる場合には、正しく物体が検出されていると判断して正解率を減算しない。すなわち、異なる複数の評価値を、一方の物体とされる同一の値に置換して正解率を算出する。これに対して、複数の評価値のいずれかが、他方の物体とされる評価値と同じ値である場合には正解率を減算する。この場合には、他方の物体と検出された評価値以外の評価値を一方の物体とされる同一の値に置換してもよい。 In the above-described embodiment, the number of simulated measurement ranges 210 having the same value as the reference value of the measurement point 200 in the inspection region 300 is divided by the total number of simulated measurement ranges 210 in the comparison region 310. The accuracy rate was calculated. However, when the simulated measurement range 210 in the comparison region 310 is divided into a plurality of different evaluation values and is determined to be a plurality of objects, the plurality of objects are used as other objects outside the comparison region 310. If it is determined that the object is not cut out, the correct answer rate may not be subtracted, and if it is determined that the object is cut out as another object, the correct answer rate may be subtracted. For example, when two different objects are adjacent to each other, the comparison area 310 is set for one object, and the simulated measurement range 210 is divided into a plurality of evaluation values (a plurality of segments) in the comparison area 310. Even if all of the plurality of evaluation values are different from the evaluation value set as the other object outside the comparison region 310, it is determined that the object is correctly detected, and the accuracy rate is not subtracted. That is, the correct answer rate is calculated by replacing a plurality of different evaluation values with the same value as one object. On the other hand, when any one of the plurality of evaluation values is the same value as the evaluation value for the other object, the accuracy rate is subtracted. In this case, an evaluation value other than the other object and the detected evaluation value may be replaced with the same value as one object.

本発明は、計測対象の３次元位置を計測する３次元計測装置と、３次元計測装置により計測されたデータから物体を切り出すアルゴリズムとの最適な組み合わせを導き出す評価方法および評価装置に利用することができる。 The present invention can be used in an evaluation method and an evaluation apparatus for deriving an optimal combination of a three-dimensional measurement apparatus that measures a three-dimensional position of a measurement target and an algorithm that extracts an object from data measured by the three-dimensional measurement apparatus. it can.

１００評価装置
１０２３次元計測装置
１１２ＣＰＵ
１２０マスタデータ取得部
１２２模擬データ生成部
１２２ａ模擬計測範囲決定部
１２２ｂ環境処理部
１２２ｃ測距値模擬部
１２２ｄ模擬データ記憶部
１２４基準アルゴリズム実行部
１２６評価アルゴリズム実行部
１２８結果比較部 100 Evaluation Device 102 3D Measurement Device 112 CPU
120 Master Data Acquisition Unit 122 Simulated Data Generation Unit 122a Simulated Measurement Range Determination Unit 122b Environment Processing Unit 122c Ranging Value Simulation Unit 122d Simulated Data Storage Unit 124 Reference Algorithm Execution Unit 126 Evaluation Algorithm Execution Unit 128 Result Comparison Unit

Claims

計測対象の３次元位置が示されたマスタデータを取得するデータ取得ステップと、
前記マスタデータから、複数の３次元計測装置の仕様それぞれに基づいて、該マスタデータより低精度の複数の模擬データを生成する模擬データ生成ステップと、
前記マスタデータに対して、前記計測対象から各物体を切り出す既知の基準アルゴリズムを実行して演算結果を算出し、基準値とする基準アルゴリズム実行ステップと、
前記複数の模擬データそれぞれに対して、前記計測対象から各物体を切り出す複数の評価アルゴリズムをそれぞれ実行して、該複数の模擬データと、該複数の評価アルゴリズムとの組合せについて演算結果を算出し、評価値とする評価アルゴリズム実行ステップと、
前記基準アルゴリズム実行ステップで算出された基準値と、前記評価アルゴリズム実行ステップで検出された評価値とを比較し、該基準値に対する該評価値の正解率を算出する結果比較ステップと、
を有することを特徴とする評価方法。 A data acquisition step of acquiring master data indicating the three-dimensional position of the measurement target;
From the master data, based on the specifications of a plurality of three-dimensional measurement devices, a simulation data generation step for generating a plurality of simulation data with lower accuracy than the master data;
A reference algorithm execution step for calculating a calculation result by executing a known reference algorithm for cutting out each object from the measurement target with respect to the master data, and a reference value,
For each of the plurality of simulation data, execute a plurality of evaluation algorithms for cutting out each object from the measurement target, and calculate a calculation result for the combination of the plurality of simulation data and the plurality of evaluation algorithms, An evaluation algorithm execution step as an evaluation value;
A result comparison step of comparing the reference value calculated in the reference algorithm execution step with the evaluation value detected in the evaluation algorithm execution step, and calculating a correct answer rate of the evaluation value with respect to the reference value;
The evaluation method characterized by having.

前記模擬データ生成ステップでは、
前記マスタデータから複数の模擬データを生成する際に使用される複数の３次元計測装置の計測態様に関するパラメータである装置パラメータを変更させて、複数の模擬データを生成し、
前記評価アルゴリズム実行ステップでは、
前記模擬データ生成ステップにより前記装置パラメータが変更されて前記複数の模擬データが生成される度に、該複数の模擬データのそれぞれに対して、前記複数の評価アルゴリズムをそれぞれ実行することで、該複数の模擬データと、該複数の評価アルゴリズムとの組合せについて演算結果を算出する
ことを特徴とする請求項１に記載の評価方法。 In the simulated data generation step,
Changing a device parameter that is a parameter relating to a measurement mode of a plurality of three-dimensional measurement devices used when generating a plurality of simulation data from the master data, and generating a plurality of simulation data;
In the evaluation algorithm execution step,
By executing the plurality of evaluation algorithms for each of the plurality of simulation data each time the plurality of simulation data is generated by changing the device parameter in the simulation data generation step, 2. The evaluation method according to claim 1, wherein a calculation result is calculated for a combination of the simulated data and the plurality of evaluation algorithms.

前記評価アルゴリズム実行ステップでは、
前記複数の評価アルゴリズムに用いられるパラメータである演算パラメータを変更し、変更した演算パラメータを用いた複数の評価アルゴリズムを、前記複数の模擬データのそれぞれに対して実行することで、前記複数の模擬データと、パラメータが変更された複数の評価アルゴリズムとの組合せについて演算結果を算出する
ことを特徴とする請求項１または２に記載の評価方法。 In the evaluation algorithm execution step,
The plurality of simulation data is changed by changing calculation parameters that are parameters used for the plurality of evaluation algorithms, and executing a plurality of evaluation algorithms using the changed calculation parameters for each of the plurality of simulation data. The calculation result is calculated for a combination of a plurality of evaluation algorithms whose parameters have been changed. The evaluation method according to claim 1 or 2, wherein:

前記結果比較ステップでは、
前記基準値に基づいて前記マスタデータで一の物体として切り出された基準領域に対応する前記模擬データの比較領域において、前記評価値に基づいて複数の物体が切り出されたと判断された場合、該複数の物体について該比較領域外の物体と同一の物体として切り出されたかを判断し、該複数の物体のいずれかが、該比較領域外の物体と同一の物体として切り出されたと判断される場合には前記正解率を減算し、該複数の物体のいずれもが該比較領域外の物体とは異なる物体として切り出されたと判断される場合には該正解率を減算しないことを特徴とする請求項１〜３のいずれか１項に記載の評価方法。 In the result comparison step,
When it is determined that a plurality of objects are cut out based on the evaluation value in the comparison area of the simulated data corresponding to the reference area cut out as one object in the master data based on the reference value, If the object is cut out as the same object as the object outside the comparison area, and if any of the plurality of objects is cut out as the same object as the object outside the comparison area, The accuracy rate is subtracted, and the accuracy rate is not subtracted when it is determined that any of the plurality of objects is cut out as an object different from the object outside the comparison region. 4. The evaluation method according to any one of 3 above.

計測対象の３次元位置が示されたマスタデータを取得するデータ取得部と、
前記マスタデータから、複数の３次元計測装置の仕様それぞれに基づいて、該マスタデータより低精度の複数の模擬データを生成する模擬データ生成部と、
前記マスタデータに対して、前記計測対象から各物体を切り出す既知の基準アルゴリズムを実行して演算結果を算出し、基準値とする基準アルゴリズム実行部と、
前記複数の模擬データそれぞれに対して、前記計測対象から各物体を切り出す複数の評価アルゴリズムをそれぞれ実行して、該複数の模擬データと、該複数の評価アルゴリズムとの組合せについて演算結果を算出し、評価値とする評価アルゴリズム実行部と、
前記基準アルゴリズム実行部で算出された基準値と、前記評価アルゴリズム実行部で検出された評価値とを比較し、該基準値に対する該評価値の正解率を算出する結果比較部と、
を備えることを特徴とする評価装置。 A data acquisition unit for acquiring master data indicating a three-dimensional position of the measurement target;
From the master data, based on the specifications of a plurality of three-dimensional measuring devices, a simulation data generation unit that generates a plurality of simulation data with lower accuracy than the master data,
For the master data, a known reference algorithm that cuts out each object from the measurement target is executed to calculate a calculation result, and a reference algorithm execution unit serving as a reference value;
For each of the plurality of simulation data, execute a plurality of evaluation algorithms for cutting out each object from the measurement target, and calculate a calculation result for the combination of the plurality of simulation data and the plurality of evaluation algorithms, An evaluation algorithm execution unit as an evaluation value;
A result comparison unit that compares the reference value calculated by the reference algorithm execution unit with the evaluation value detected by the evaluation algorithm execution unit, and calculates a correct answer rate of the evaluation value with respect to the reference value;
An evaluation apparatus comprising: