JP7238676B2 - Displacement distribution measuring device, displacement distribution measuring method, and control program for displacement distribution measuring device - Google Patents
Displacement distribution measuring device, displacement distribution measuring method, and control program for displacement distribution measuring device Download PDFInfo
- Publication number
- JP7238676B2 JP7238676B2 JP2019142751A JP2019142751A JP7238676B2 JP 7238676 B2 JP7238676 B2 JP 7238676B2 JP 2019142751 A JP2019142751 A JP 2019142751A JP 2019142751 A JP2019142751 A JP 2019142751A JP 7238676 B2 JP7238676 B2 JP 7238676B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- missing
- pattern image
- displacement distribution
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Strength Of Materials By Application Of Mechanical Stress (AREA)
Description
本発明は、変位分布計測装置、変位分布計測方法、及び変位分布計測装置の制御プログラムに関する。 The present invention relates to a displacement distribution measuring device, a displacement distribution measuring method, and a control program for the displacement distribution measuring device.
物体の表面の変位を計測する種々の技術が知られている。
例えば、特許文献１には、変位計測装置が、所定の位置に設けられた変位計測用の格子を含む変位計測用画像を撮影する撮影部と、変位計測用画像から格子の領域を検出して該格子領域の画像を抽出する格子領域検出部と、抽出した格子領域の画像に対してサンプリングモアレ法により格子領域の画像に対するモアレの位相分布を導出する位相分布導出部と、位相分布から求められた所定の位置における変位前後の位相差と、予め定められた格子ピッチとから所定の位置における変位を決定する変位決定部と、を備えた技術が開示されている。
Various techniques are known for measuring the displacement of the surface of an object.
For example, in Patent Document 1, a displacement measuring device includes an imaging unit that captures a displacement measuring image including a displacement measuring grid provided at a predetermined position, and detects a grid region from the displacement measuring image. a grid area detection unit for extracting an image of the grid area; a phase distribution derivation unit for deriving a moire phase distribution for the image of the grid area by a sampling moire method for the extracted image of the grid area; and a displacement determination unit that determines the displacement at the predetermined position from the phase difference before and after the displacement at the predetermined position and the predetermined grating pitch.
しかしながら、特許文献１に記載の変位計測装置では、格子領域の画像に対するモアレの位相分布を導出し、位相分布から求められた所定の位置における変位前後の位相差と、予め定められた格子ピッチとから所定の位置における変位を決定する。よって、撮影画像中の格子パターンに対応する格子領域の一部が欠落している場合には、モアレの位相分布を導出することができない可能性があり、所定の位置における変位を決定することができない可能性がある。格子領域の一部が欠落する原因の例として、測定対象への格子パターン転写の失敗、孔等の構造的欠損がある対象の測定、カメラの設定ミス等が挙げられる。 However, in the displacement measuring apparatus described in Patent Document 1, the phase distribution of moire for the image of the grating area is derived, and the phase difference before and after the displacement at the predetermined position obtained from the phase distribution, the predetermined grating pitch, and the to determine the displacement at the given position. Therefore, if a part of the lattice area corresponding to the lattice pattern in the captured image is missing, it may not be possible to derive the moiré phase distribution, and it is difficult to determine the displacement at the predetermined position. may not be possible. Examples of the cause of missing part of the grid area include failure in transferring the grid pattern to the measurement target, measurement of a target with structural defects such as holes, and camera setting errors.
本発明は、このような事情に鑑みなされたものであり、撮影画像中の格子等のパターンの一部が欠落した場合であっても、物体の表面の変位分布を算出可能な変位分布計測装置、変位分布計測方法、及び変位分布計測装置の制御プログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and is a displacement distribution measuring apparatus capable of calculating the displacement distribution of the surface of an object even when a part of the pattern such as a grid in the photographed image is missing. , a displacement distribution measuring method, and a control program for a displacement distribution measuring apparatus.
本発明の第１の態様は、物体の表面に形成されたパターンの画像に基いて、前記物体の表面の変位分布を計測する変位分布計測装置であって、前記パターンの画像を示すパターン画像を生成する撮像部と、前記パターン画像が前記パターン画像の一部が欠落した欠落領域を含む場合に、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成する補完部と、前記補完画像に基づき、前記物体の表面の変位分布を算出する算出部と、を備える、変位分布計測装置に関する。 A first aspect of the present invention is a displacement distribution measuring device for measuring a displacement distribution on a surface of an object based on an image of a pattern formed on the surface of the object, wherein a pattern image representing the image of the pattern is provided. an imaging unit for generating; a complementing unit for generating a complemented image by complementing the pattern image corresponding to the missing region when the pattern image includes a missing region in which a part of the pattern image is missing; and a calculator for calculating the displacement distribution of the surface of the object based on the image.
本発明の第２の態様は、物体の表面に形成されたパターンの画像に基いて、前記物体の表面の変位分布を計測する変位分布計測方法であって、前記パターンの画像を示すパターン画像を生成する撮像ステップと、前記パターン画像が前記パターン画像の一部が欠落した欠落領域を含む場合に、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成する補完ステップと、前記補完画像に基づき、前記物体の表面の変位分布を算出する算出ステップと、を含む、変位分布計測方法に関する。 A second aspect of the present invention is a displacement distribution measuring method for measuring a displacement distribution on a surface of an object based on an image of a pattern formed on the surface of the object. an imaging step of generating; a complementing step of complementing the pattern image corresponding to the missing region to generate a complemented image when the pattern image includes a missing region in which a part of the pattern image is missing; and a calculation step of calculating the displacement distribution of the surface of the object based on the image.
本発明の第３の態様は、コンピュータを備え、物体の表面に形成されたパターンの画像に基いて、前記物体の表面の変位分布を計測する変位分布計測装置の制御プログラムであって、前記コンピュータを、前記パターンの画像を示すパターン画像を生成する撮像部、前記パターン画像が前記パターン画像の一部が欠落した欠落領域を含む場合に、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成する補完部、及び、前記補完画像に基づき、前記物体の表面の変位分布を算出する算出部、として機能させる、変位分布計測装置の制御プログラムに関する。 A third aspect of the present invention is a control program for a displacement distribution measuring device comprising a computer and measuring a displacement distribution on the surface of the object based on an image of a pattern formed on the surface of the object, wherein the computer an imaging unit for generating a pattern image representing an image of the pattern, and when the pattern image includes a missing area in which a part of the pattern image is missing, the pattern image corresponding to the missing area is complemented. The present invention relates to a control program for a displacement distribution measuring device that functions as a complementing unit that generates an image and a calculating unit that calculates the displacement distribution of the surface of the object based on the complemented image.
本発明の第１の態様によれば、パターン画像が前記パターン画像の一部が欠落した欠落領域を含む場合に、補完部が、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成し、算出部が、前記補完画像に基づき、前記物体の表面の変位分布を算出する。
したがって、パターン画像の一部が欠落した場合であっても、物体の表面の変位分布を算出できる。
According to the first aspect of the present invention, when a pattern image includes a missing region in which a part of the pattern image is missing, the complementing unit complements the pattern image corresponding to the missing region to generate a complemented image. A calculation unit calculates the displacement distribution of the surface of the object based on the complementary image.
Therefore, even if part of the pattern image is missing, the displacement distribution of the surface of the object can be calculated.
本発明の第２の態様によれば、パターン画像が前記パターン画像の一部が欠落した欠落領域を含む場合に、補完ステップにおいて、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成し、算出ステップにおいて、前記補完画像に基づき、前記物体の表面の変位分布を算出する。
したがって、パターン画像の一部が欠落した場合であっても、物体の表面の変位分布を算出できる。
According to the second aspect of the present invention, when the pattern image includes a missing area in which a part of the pattern image is missing, in the complementing step, the pattern image corresponding to the missing area is complemented to obtain a complemented image. In a calculating step, a displacement distribution of the surface of the object is calculated based on the complemented image.
Therefore, even if part of the pattern image is missing, the displacement distribution of the surface of the object can be calculated.
本発明の第３の態様によれば、パターン画像が前記パターン画像の一部が欠落した欠落領域を含む場合に、補完部が、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成し、算出部が、前記補完画像に基づき、前記物体の表面の変位分布を算出する。
したがって、パターン画像の一部が欠落した場合であっても、物体の表面の変位分布を算出できる。
According to the third aspect of the present invention, when a pattern image includes a missing region in which a part of the pattern image is missing, the complementing unit complements the pattern image corresponding to the missing region to generate a complemented image. A calculation unit calculates the displacement distribution of the surface of the object based on the complementary image.
Therefore, even if part of the pattern image is missing, the displacement distribution of the surface of the object can be calculated.
以下、図面を参照して本発明の実施形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
［１．共通の構成］
［１－１．引張試験機の構成］
図１は、本発明の実施形態に係る引張試験機１の構成の一例を示す図である。
本発明の実施形態の引張試験機１は、試験対象ＴＰに試験力Ｆを与えて、試料の引張強度、降伏点、伸び、絞りなどの機械的性質を測定する材料試験を行う。試験力Ｆは、引張力である。
引張試験機１は、試験対象の材料である試験対象ＴＰに試験力Ｆを与えて引張試験を行う引張試験機本体２と、引張試験機本体２による引張試験動作を制御する制御ユニット４と、を備える。
なお、引張試験機１は、「材料試験機」の一例に対応する。試験対象ＴＰは、「物体」の一例に対応する。
[1. Common configuration]
[1-1. Configuration of tensile tester]
FIG. 1 is a diagram showing an example of the configuration of a tensile tester 1 according to an embodiment of the present invention.
A tensile tester 1 according to an embodiment of the present invention applies a test force F to a test target TP to perform a material test for measuring mechanical properties such as tensile strength, yield point, elongation, and reduction of area of a sample. The test force F is the tensile force.
The tensile tester 1 includes a
Note that the tensile tester 1 corresponds to an example of a "material testing machine". A test target TP corresponds to an example of an "object".
試験機本体２は、テーブル２６と、このテーブル２６上に鉛直方向を向く状態で回転可能に立設された一対のねじ棹２８、２９と、これらのねじ棹２８、２９に沿って移動可能なクロスヘッド１０と、このクロスヘッド１０を移動させて試験対象ＴＰに負荷を与える負荷機構１２と、ロードセル１４と、を備える。ロードセル１４は、試験対象ＴＰに与えられる引張荷重である試験力Ｆを測定し、試験力測定信号ＳＧ１を出力するセンサである。
The testing machine
負荷機構１２は、各ねじ棹２８、２９の下端部に連結されるウォーム減速機１６、１７と、各ウォーム減速機１６、１７に連結されるサーボモータ１８と、ロータリエンコーダ２０と、を備える。ロータリエンコーダ２０は、サーボモータ１８の回転量を測定し、回転量に応じたパルス数の回転測定信号ＳＧ２を制御ユニット４に出力するセンサである。
そして負荷機構１２は、ウォーム減速機１６、１７を介して、一対のねじ棹２８、２９にサーボモータ１８の回転を伝達し、各ねじ棹２８、２９が同期して回転することにより、クロスヘッド１０がねじ棹２８、２９に沿って昇降する。
The
The
クロスヘッド１０には、試験対象ＴＰの上端部を把持するための上つかみ具２１が付設され、テーブル２６には、試験対象ＴＰの下端部を把持するための下つかみ具２２が付設されている。試験機本体２は、引張試験の際、試験対象ＴＰの両端部をこれらの上つかみ具２１及び下つかみ具２２により把持した状態で、制御ユニット４の制御に従って、クロスヘッド１０を上昇させることにより、試験対象ＴＰに試験力Ｆを与える。
The
試験対象ＴＰには、変位センサ１５が配置される。試験対象ＴＰは、例えば、中央がくびれて形成されたダンベル型試験対象が用いられる。変位センサ１５は、試験対象ＴＰの１対の標点の間の距離を測定することによって、伸び計測値ＥＤを測定し、伸び測定信号ＳＧ３を出力するセンサである。１対の標点は、試験対象ＴＰがくびれた領域の上部と下部とに配置される。
A
制御ユニット４は、統括制御装置３０と、表示装置３２と、試験プログラム実行装置３４と、を備える。
統括制御装置３０は、当該試験機本体２を中枢的に制御する装置であり、試験機本体２との間で信号を送受信可能に接続される。試験機本体２から受信する信号は、ロードセル１４が出力する試験力測定信号ＳＧ１、ロータリエンコーダ２０が出力する回転測定信号ＳＧ２、変位センサ１５が出力する伸び測定信号ＳＧ３、及び制御や試験に要する適宜の信号などである。
表示装置３２は、統括制御装置３０から入力される信号に基づいて各種情報を表示する装置であり、例えば、統括制御装置３０は、引張試験の間、伸び測定信号ＳＧ３に基づいて試験対象ＴＰの伸びの測定値である伸び計測値ＥＤを表示装置３２に表示する。また、例えば、統括制御装置３０は、引張試験の間、回転測定信号ＳＧ２に基づくクロスヘッド１０の変位を示す変位計測値ＸＤを表示装置３２に表示する。
The
The integrated
The
引張試験プログラム実行装置３４は、引張試験の試験条件といった各種設定パラメータの設定操作や実行指示操作などのユーザ操作を受け付け、統括制御装置３０に出力する機能や、試験力計測値ＦＤのデータを解析する機能などを備えた装置である。
本発明の実施形態の引張試験プログラム実行装置３４はコンピュータを備え、このコンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサと、ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)やＲＡＭ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)などのメモリデバイスと、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などのストレージ装置と、統括制御装置３０や各種の周辺機器などを接続するためのインターフェース回路と、を備える。そして、プロセッサがメモリデバイス又はストレージ装置に記憶されたコンピュータプログラムである引張試験プログラムを実行することで、上述の各種の機能を実現する。
The tensile test
The tensile test
次いで、本発明の実施形態の統括制御装置３０について、更に詳述する。統括制御装置３０は、信号入出力ユニット４０と、制御回路ユニット５０と、を備える。
信号入出力ユニット４０は、試験機本体２との間で信号を送受する入出力インターフェース回路を構成するものであり、本発明の実施形態では、第１センサアンプ４２と、第２センサアンプ４５と、カウンタ回路４３と、サーボアンプ４４とを有する。
第１センサアンプ４２は、ロードセル１４が出力する試験力測定信号ＳＧ１を増幅して制御回路ユニット５０に出力する増幅器である。第２センサアンプ４５は、変位センサ１５が出力する伸び測定信号ＳＧ３を増幅して制御回路ユニット５０に出力する増幅器である。
カウンタ回路４３は、ロータリエンコーダ２０が出力する回転測定信号ＳＧ２のパルス数を計数し、サーボモータ１８の回転量、すなわちサーボモータ１８の回転によって昇降するクロスヘッド１０の変位計測値ＸＤを示す変位測定信号Ａ３を制御回路ユニット５０にデジタル信号で出力する。サーボアンプ４４は、制御回路ユニット５０の制御に従って、サーボモータ１８を制御する装置である。
Next, the
The signal input/
The
The
制御回路ユニット５０は、通信部５１と、フィードバック制御部５２を備える。
制御回路ユニット５０は、ＣＰＵやＭＰＵなどのプロセッサと、ＲＯＭやＲＡＭなどのメモリデバイスと、ＨＤＤやＳＳＤなどのストレージ装置と、信号入出力ユニット４０とのインターフェース回路と、引張試験プログラム実行装置３４と通信する通信装置と、表示装置３２を制御する表示制御回路と、各種の電子回路と、を備えたコンピュータを備える。また、制御回路ユニット５０のプロセッサがメモリデバイス又はストレージ装置に記憶された制御プログラムを実行することで、図１に示す各機能部を実現する。
また、信号入出力ユニット４０のインターフェース回路にはＡ／Ｄ変換器が設けられており、アナログ信号の試験力測定信号ＳＧ１及び伸び測定信号ＳＧ３がＡ／Ｄ変換器によってデジタル信号に変換される。
なお、制御回路ユニット５０は、コンピュータに限らず、ＩＣチップやＬＳＩなどの集積回路といった１又は複数の適宜の回路によって構成されてもよい。
The
The
An interface circuit of the signal input/
Note that the
通信部５１は、試験プログラム実行装置３４との間で通信し、試験条件の設定や各種設定パラメータの設定値、引張試験の実行指示や中断指示などを試験プログラム実行装置３４から受信する。また、通信部５１は、伸び測定信号ＳＧ３に基づく伸び計測値ＥＤ、及び試験力測定信号ＳＧ１に基づく試験力計測値ＦＤを適宜のタイミングで試験プログラム実行装置３４に送信する。また、通信部５１は、回転測定信号ＳＧ２に基づく変位計測値ＸＤを適宜のタイミングで試験プログラム実行装置３４に送信する。
The
フィードバック制御部５２は、試験機本体２のサーボモータ１８をフィードバック制御して引張試験を実行する。フィードバック制御部５２は、サーボモータ１８のフィードバック制御を実行する回路である。
フィードバック制御部５２が位置制御を実行する場合には、フィードバック制御部５２は、例えば、ロードセル１４が出力する試験力計測値ＦＤについて位置制御を実行する。この場合には、フィードバック制御部５２は、試験力計測値ＦＤを試験力目標値ＦＴに一致させるように変位計測値ＸＤの指令値ｄＸを演算し、当該指令値ｄＸを示す指令信号Ａ４をサーボアンプ４４に出力する。なお、試験力目標値ＦＴは、試験力計測値ＦＤの目標値を示す。
なお、「位置制御」とは、センサ等によって測定された検出値を、その目標値に一致させるように制御することを示す。
The
When the
Note that "position control" means controlling a detected value measured by a sensor or the like so as to match its target value.
なお、位置制御を実行する場合について説明するが、フィードバック制御部５２が速度制御を実行してもよい。「速度制御」とは、センサ等によって測定された検出値の単位時間当たりの変化量を、その目標値に一致させるように制御することを示す。
Although the case where position control is performed will be described, the
［１－２．変位分布計測装置の構成］
図２は、本発明の実施形態に係る変位分布計測装置２００の構成の一例を示す平面図である。図２に示すように、変位分布計測装置２００は、カメラ６と、第１制御部８と、第２制御部７と、を備える。
[1-2. Configuration of Displacement Distribution Measuring Device]
FIG. 2 is a plan view showing an example of the configuration of the displacement
試験対象ＴＰの特定面ＴＰ１には、パターンＰＴＮが形成されている。特定面ＴＰ１は、試験対象ＴＰのカメラ６に近接する側の面を示す。試験対象ＴＰのカメラ６に近接する側は、図２では下側を示す。パターンＰＴＮについては、後述にて図４を参照して説明する。
A pattern PTN is formed on the specific surface TP1 of the test object TP. A specific plane TP1 indicates the side of the test target TP that is close to the
カメラ６は、第１制御部８の指示に従って、パターンＰＴＮの画像を示すパターン画像ＰＮを生成する。カメラ６は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、及び、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）等のイメージセンサーを備える。パターン画像ＰＮについては、後述にて図４を参照して説明する。
The
カメラ６の撮影方向Ｃ６が、試験対象ＴＰの幅方向の中央を通り、試験対象ＴＰの特定面ＴＰ１と直行するようにカメラ６が配置される。試験対象ＴＰの幅方向は、図２の左右方向を示す。撮影方向Ｃ６は、カメラ６の撮影範囲の中心を示す。
The
第１制御部８は、変位分布計測装置２００の動作を制御する。また、第１制御部８は、制御回路ユニット５０と通信可能に構成され、制御回路ユニット５０からの指示に従って、カメラ６の動作を制御する。具体的には、第１制御部８は、制御回路ユニット５０からの指示に従って、カメラ６の撮影タイミングを決定する。第１制御部８の構成については、後述にて図３を参照して詳細に説明する。
The
第２制御部７は、学習済モデルＭＤを生成し、生成した学習済モデルＭＤを第１制御部８に送信する。学習済モデルＭＤについては、後述にて図３を参照して詳細に説明する。
The
［１－３．第１制御部及び第２制御部の構成］
図３は、本発明の実施形態に係る第１制御部８及び第２制御部７の各々の構成の一例を示す図である。
図３に示すように、第１制御部８は、撮像部８１１と、補完部８１２と、算出部８１３と、学習済モデル記憶部８１４と、を備える。
また、第１制御部８は、ＣＰＵやＭＰＵ等の第１プロセッサ８１Ａと、ＲＯＭやＲＡＭ等の第１メモリデバイス８１Ｂと、ＨＤＤやＳＳＤ等の第１ストレージ装置８１Ｃと、制御回路ユニット５０及び第２制御部７の各々と通信する第１通信装置８１Ｄと、各種の電子回路と、を備えたパーソナルコンピュータで構成される。また、第１制御部８の第１プロセッサ８１Ａが第１メモリデバイス８１Ｂ又は第１ストレージ装置８１Ｃに記憶された第１制御プログラムを実行することで、図３に示す各機能部を実現する。第１プロセッサ８１Ａは、「コンピュータ」の一例に対応する。第１制御プログラムは、「制御プログラム」の一例に対応する。
[1-3. Configuration of first control unit and second control unit]
FIG. 3 is a diagram showing an example of the configuration of each of the
As shown in FIG. 3 , the
The
なお、第１制御部８は、パーソナルコンピュータに限らず、ＩＣチップやＬＳＩなどの集積回路といった１又は複数の適宜の回路によって構成されてもよい。また、第１制御部８は、例えば、タブレット端末、又はスマートフォンとして構成されてもよい。
また、第１制御部８は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等、プログラムされたハードウェアを備えてもよい。また、第１制御部８は、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）－ＦＰＧＡを備えてもよい。
Note that the
The
撮像部８１１は、カメラ６にパターンＰＴＮを撮像させて、パターンＰＴＮの画像を示すパターン画像ＰＮを生成する。具体的には、撮像部８１１は、制御回路ユニット５０からの指示に従って、パターン画像ＰＮを生成する。
また、撮像部８１１は、所定時間毎にパターン画像ＰＮを生成する。所定時間は、例えば、０．０１秒である。具体的には、引張試験機１が引張試験の実行を開始してから、引張試験の実行を終了するまでの間において、撮像部８１１は、所定時間毎にパターン画像ＰＮを生成する。
The
Further, the
［補完部８１２の第１実施形態］
第１実施形態に係る補完部８１２は、パターン画像ＰＮがパターン画像ＰＮの一部が欠落した欠落領域ＨＬを含む場合に、欠落領域ＨＬに対応するパターン画像ＰＮを補完して全体補完画像ＰＣを生成する。全体補完画像ＰＣは、欠落領域ＨＬに対応するパターン画像ＰＮを補完したパターン画像ＰＮの全体の画像を示す。全体補完画像ＰＣは、「補完画像」の一例に対応する。
また、補完部８１２は、欠落領域ＨＬを含むパターン画像ＰＮの情報と、欠落領域ＨＬに対応するパターン画像ＰＮが補完された全体補完画像ＰＣの情報とを対応付けた学習データＤＬに基づき生成された学習済モデルＭＤ、を備える。
また、補完部８１２は、欠落領域ＨＬを含むパターン画像ＰＮの情報を、学習済モデルＭＤに入力し、欠落領域ＨＬに対応する欠落補完画像ＰＣＨの情報を、学習済モデルＭＤから出力させる。欠落補完画像ＰＣＨは、欠落領域ＨＬに対応するパターン画像ＰＮを示す。
また、補完部８１２は、欠落領域ＨＬを含むパターン画像ＰＮと、欠落領域ＨＬに対応する欠落補完画像ＰＣＨと、を合成することによって、全体補完画像ＰＣを生成する。
また、補完部８１２は、撮像部８１１がパターン画像ＰＮを生成する度に、全体補完画像ＰＣを生成する。
第１実施形態に係る補完部８１２については、後述にて図１０～図１４を参照して詳細に説明する。
[First embodiment of complementing unit 812]
The
Further, the
Further, the
Further, the
Also, the
The
算出部８１３は、全体補完画像ＰＣに基づき、試験対象ＴＰの表面の変位分布を算出する。算出部８１３については、後述にて、図４～図５を参照して詳細に説明する。
The
学習済モデル記憶部８１４は、第２制御部７によって生成された学習済モデルＭＤを記憶する。
The learned
図３に示すように、第２制御部７は、決定部７１１と、生成部７１２と、学習部７１３と、学習データ記憶部７１４と、学習済モデル記憶部７１５と、を備える。
また、第２制御部７は、ＣＰＵやＭＰＵ等の第２プロセッサ７１Ａと、ＲＯＭやＲＡＭ等の第２メモリデバイス７１Ｂと、ＨＤＤやＳＳＤ等の第２ストレージ装置７１Ｃと、第１制御部８と通信する第２通信装置７１Ｄと、各種の電子回路と、を備えたパーソナルコンピュータで構成される。また、第２制御部７の第２プロセッサ７１Ａが第２メモリデバイス７１Ｂ又は第２ストレージ装置７１Ｃに記憶された第２制御プログラムを実行することで、図３に示す各機能部を実現する。
As shown in FIG. 3 , the
The
なお、第２制御部７は、パーソナルコンピュータに限らず、ＩＣチップやＬＳＩなどの集積回路といった１又は複数の適宜の回路によって構成されてもよい。また、第２制御部７は、例えば、タブレット端末、又はスマートフォンとして構成されてもよい。
また、第２制御部７は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等、プログラムされたハードウェアを備えてもよい。また、第２制御部７は、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）－ＦＰＧＡを備えてもよい。
The
The
決定部７１１は、欠落領域ＨＬの位置ＰＳ及びサイズＳＺをランダムに決定する。欠落領域ＨＬの位置ＰＳは、欠落領域ＨＬのパターン画像ＰＮにおける位置を示す。サイズＳＺの最大値は、例えば、パターン画像ＰＮの面積の１／１０とする。サイズＳＺの最小値は、例えば、パターン画像ＰＮの面積の１／１０００とする。すなわち、決定部７１１は、サイズＳＺを、パターン画像ＰＮの面積の１／１０００からパターン画像ＰＮの面積の１／１０までの間でランダムに決定する。
The
生成部７１２は、学習データＤＬを構成する欠落領域ＨＬを含むパターン画像ＰＮを、欠落領域ＨＬを含まないパターン画像ＰＮから欠落領域ＨＬに対応する画像を切り取ることによって生成する。
また、生成部７１２は、決定部７１１が決定した位置ＰＳ及びサイズＳＺの所定形状の欠落領域ＨＬを含むパターン画像ＰＮを生成する。本実施形態では、所定形状は、矩形形状を含む。
The
The
学習部７１３は、生成部７１２によって生成された欠落領域ＨＬを含むパターン画像ＰＮの情報と、パターン画像ＰＮが補完された全体補完画像ＰＣの情報とを対応付けた学習データＤＬに基づき機械学習を実行し、学習済モデルＭＤを生成する。
全体補完画像ＰＣは、本発明の実施形態では、欠落領域ＨＬを含まないパターン画像ＰＮに対応する。すなわち、学習部７１３は、欠落領域ＨＬを含むパターン画像ＰＮの情報と、欠落領域ＨＬを含まないパターン画像ＰＮの情報とを対応付けた学習データＤＬに基づき機械学習を実行する。
具体的には、機械学習は、ｐｉｘ２ｐｉｘを用いたディープラーニングによって実行した。「ｐｉｘ２ｐｉｘ」とは、２０１４年に、Ｂｅｒｋｅｌｅｙ ＡＩ Ｒｅｓｅａｒｃｈ （ＢＡＩＲ） Ｌａｂｏｒａｔｏｒｙ, ＵＣ ＢｅｒｋｅｌｅｙのＰｈｉｌｌｉｐ Ｉｓｏｌａ等によって発表された「Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎａｌ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」という論文で提案されたアルゴリズムである。ｐｉｘ２ｐｉｘは、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ） という手法を用いて画像処理を行うことが特徴である。
この論文には、ｐｉｘ２ｐｉｘを用いた欠落画像の補完等の種々の画像処理が紹介されている。
学習データＤＬは、例えば、６０個であった。
The
The overall complemented image PC corresponds to the pattern image PN that does not include the missing area HL in the embodiment of the present invention. That is, the
Specifically, machine learning was performed by deep learning using pix2pix. “pix2pix” is an algorithm proposed in a paper entitled “Image-to-Image Translation with Conditional Adversarial Networks” published by Phillip Isola et al. of Berkeley AI Research (BAIR) Laboratory, UC Berkeley in 2014. Pix2pix is characterized by performing image processing using a technique called GAN (Generative Adversarial Network).
This paper introduces various image processing such as complementing missing images using pix2pix.
The number of learning data DL was 60, for example.
学習データ記憶部７１４は、学習データＤＬを記憶する。
The learning
学習済モデル記憶部７１５は、学習済モデルＭＤを記憶する。
The learned
［１－４．算出部による変位分布の算出方法］
次に、図４及び図５を参照して、算出部８１３による試験対象ＴＰの表面の変位分布の算出方法について説明する。
図４は、本発明の実施形態に係るパターン画像ＰＮの一例を示す図である。図４の左側のパターン画像ＰＮ１は、初期状態の試験対象ＴＰのパターンＰＴＮの一例を示す。パターンＰＴＮは、格子状のパターンＰＴＮを示す。すなわち、パターン画像ＰＮ１には、正方形状の黒塗り画像Ｑｉｊ（ｉ＝１～ｎ，ｊ＝１～８）が左右方向及び上下方向に等間隔で配置されている。
黒塗り画像Ｑｉｊのサイズは、例えば１辺が１ｍｍの正方形である。黒塗り画像Ｑｉｊは、左右方向及び上下方向に、例えば１ｍｍ間隔で配置される。
[1-4. Displacement distribution calculation method by calculation unit]
Next, a method of calculating the displacement distribution of the surface of the test object TP by the
FIG. 4 is a diagram showing an example of the pattern image PN according to the embodiment of the invention. The pattern image PN1 on the left side of FIG. 4 shows an example of the pattern PTN of the test target TP in the initial state. A pattern PTN indicates a grid-like pattern PTN. That is, in the pattern image PN1, square black-painted images Qij (i=1 to n, j=1 to 8) are arranged at regular intervals in the horizontal and vertical directions.
The size of the black-painted image Qij is, for example, a square with a side of 1 mm. The black-painted images Qij are arranged at intervals of, for example, 1 mm in the horizontal direction and the vertical direction.
本発明の実施形態では、黒塗り画像Ｑｉｊのサイズは、例えば１辺が１ｍｍの正方形であるが、１辺が１ｍｍより大きい正方形、例えば、１辺が１．２ｍｍの正方形、１辺が１．５ｍｍの正方形、１辺が２ｍｍの正方形等でもよい。また、黒塗り画像Ｑｉｊのサイズは、１辺が１ｍｍより小さい正方形、例えば、１辺が０．８ｍｍの正方形、１辺が０．５ｍｍの正方形、１辺が０．３ｍｍの正方形等でもよい。 In the embodiment of the present invention, the size of the blackened image Qij is, for example, a square with a side of 1 mm, but a square with a side larger than 1 mm, for example, a square with a side of 1.2 mm and a side of 1.2 mm. A square of 5 mm, a square of 2 mm on each side, or the like may be used. Also, the size of the black-painted image Qij may be a square with one side smaller than 1 mm, for example, a square with one side of 0.8 mm, a square with one side of 0.5 mm, or a square with one side of 0.3 mm.
また、本発明の実施形態では、黒塗り画像Ｑｉｊは、左右方向及び上下方向に、例えば１ｍｍ間隔で配置されるが、黒塗り画像Ｑｉｊが、左右方向及び上下方向に、１ｍｍより大きい間隔で配置されてもよい。黒塗り画像Ｑｉｊが、左右方向及び上下方向に、例えば、１．２ｍｍ間隔、１．５ｍｍ間隔、２ｍｍ間隔等で配置されてもよい。また、黒塗り画像Ｑｉｊが、左右方向及び上下方向に、１ｍｍより小さい間隔で配置されてもよい。黒塗り画像Ｑｉｊが、左右方向及び上下方向に、例えば、０．８ｍｍ間隔、０．５ｍｍ間隔、０．３ｍｍ間隔等で配置されてもよい。 In addition, in the embodiment of the present invention, the black-painted images Qij are arranged at intervals of, for example, 1 mm in the horizontal direction and the vertical direction. may be The black-painted images Qij may be arranged at intervals of 1.2 mm, 1.5 mm, 2 mm, etc. in the horizontal direction and the vertical direction. Also, the black-painted images Qij may be arranged at intervals of less than 1 mm in the horizontal direction and the vertical direction. The black-painted images Qij may be arranged at intervals of 0.8 mm, 0.5 mm, 0.3 mm, etc. in the horizontal direction and the vertical direction.
図４の右側のパターン画像ＰＮ２は、試験対象ＴＰが上下方向に伸びた状態におけるパターンＰＴＮの一例を示す。すなわち、パターン画像ＰＮ２には、方形状の黒塗り画像Ｒｉｊ（ｉ＝１～ｎ，ｊ＝１～８）が左右方向及び上下方向に略等間隔で配置されている。 A pattern image PN2 on the right side of FIG. 4 shows an example of the pattern PTN in a state where the test object TP is vertically extended. That is, in the pattern image PN2, rectangular black-painted images Rij (i=1 to n, j=1 to 8) are arranged at approximately equal intervals in the horizontal and vertical directions.
図５は、本発明の実施形態に係る算出部８１３の変位分布算出処理の一例を示す図である。図５では、算出部８１３は、例えば、Ｘ軸方向の変位量を算出する。変位量の基準点は、最も上端に位置する黒塗り画像Ｑ１４、又は黒塗り画像Ｒ１４の中心である。すなわち、黒塗り画像Ｒｉ４（ｉ＝２～ｎ）と黒塗り画像Ｒ１４との間隔を、黒塗り画像Ｑｉ４（ｉ＝２～ｎ）と黒塗り画像Ｑ１４との間隔とを比較することによって、Ｘ軸方向の変位量を算出する。
FIG. 5 is a diagram showing an example of displacement distribution calculation processing of the
図５の最も上のグラフＧ１１は、Ｘ軸方向の輝度Ｂの変化を正弦波近似したグラフである。グラフＧ１１の横軸は、Ｘ軸であり、縦軸は、輝度Ｂである。黒塗り画像Ｒｉ４では輝度Ｂが低く、黒塗り画像Ｒｉ４と隣接する黒塗り画像Ｒ（ｉ＋１）４との間では、輝度Ｂが高い。したがって、Ｘ軸方向の輝度Ｂの変化は、図略の矩形状のグラフで表される。
グラフＧ１１は、黒塗り画像Ｒｉ４と隣接する黒塗り画像Ｒ（ｉ＋１）４との間で、矩形状のグラフを正弦波で近似したグラフである。パターン画像ＰＮが、パターン画像ＰＮ１である場合には、パターン画像ＰＮ１において黒塗り画像Ｑｉ４は、等間隔に形成されているため、グラフＧ１１は、正弦波になる。
The uppermost graph G11 in FIG. 5 is a sine wave approximation of the change in luminance B in the X-axis direction. The horizontal axis of the graph G11 is the X-axis, and the vertical axis is the brightness B. FIG. The brightness B is low in the black-painted image Ri4, and the brightness B is high between the black-painted image Ri4 and the adjacent black-painted image R(i+1)4. Therefore, the change in luminance B in the X-axis direction is represented by an unillustrated rectangular graph.
A graph G11 is a graph obtained by approximating a rectangular graph with a sine wave between the black-painted image Ri4 and the adjacent black-painted image R(i+1)4. When the pattern image PN is the pattern image PN1, the black-painted images Qi4 are formed at equal intervals in the pattern image PN1, so the graph G11 becomes a sine wave.
図５の上から２番目のグラフＧ１２は、グラフＧ１１の位相を示すグラフである。グラフＧ１２の横軸は、Ｘ軸であり、縦軸は、位相Ｑである。位相Ｑは、－πから＋πまでの間で変化する。したがって、グラフＧ１２は、鋸刃状のグラフになる。すなわち、グラフＧ１２では、Ｘ座標の増加に伴って、位相が－πから＋πまで直線状に増加し、位相が＋πに到達した位置で、位相が－πにステップ状に減少する。 The second graph G12 from the top in FIG. 5 is a graph showing the phase of the graph G11. The horizontal axis of the graph G12 is the X axis, and the vertical axis is the phase Q. As shown in FIG. The phase Q varies between -π and +π. Therefore, the graph G12 becomes a serrated graph. That is, in graph G12, as the X coordinate increases, the phase increases linearly from -π to +π, and when the phase reaches +π, the phase decreases stepwise to -π.
図５の最も下側のグラフＧ１３は、図５の上から２番目のグラフＧ１２に対して、位相接続を行った後のグラフを示す。グラフＧ１３の横軸は、Ｘ軸であり、縦軸は、位相φである。グラフＧ１２では、位相が＋πに到達した位置で位相が－πにステップ状に減少するが、グラフＧ１３では、位相のステップ状の変化をさせないように、位相が＋πから－πに減少する度に、位相を２×πだけ増加する。その結果，グラフＧ１３では、Ｘ座標の増加に伴って位相φが直線状に増加する。 A graph G13 at the bottom of FIG. 5 shows a graph after performing phase unwrapping on the second graph G12 from the top of FIG. The horizontal axis of the graph G13 is the X axis, and the vertical axis is the phase φ. In the graph G12, the phase decreases stepwise to -π at the position where the phase reaches +π, but in the graph G13, every time the phase decreases from +π to -π , increases the phase by 2×π. As a result, in the graph G13, the phase φ increases linearly as the X coordinate increases.
グラフＧ１４は、パターン画像ＰＮ２に対応する。グラフＧ１４は、グラフＧ１３と比較して傾斜が小さい。すなわち、グラフＧ１３では、位相φが２×πだけ変化するためのＸ軸の座標の差が距離Ｌ１であるのに対して、グラフＧ１４では、位相φが２×πだけ変化するためのＸ軸の座標の差が距離Ｌ２である。距離Ｌ２は、距離Ｌ１より大きい。距離Ｌ２と距離Ｌ１との差は、変位ΔＬを示す。
このようにして、算出部８１３は、試験対象ＴＰの表面の変位分布を算出することができる。
A graph G14 corresponds to the pattern image PN2. Graph G14 has a smaller slope than graph G13. That is, in the graph G13, the distance L1 is the difference in the X-axis coordinates for the phase φ to change by 2×π, whereas in the graph G14, the X-axis coordinate for the phase φ to change by 2×π is L1. is the distance L2. Distance L2 is greater than distance L1. The difference between the distance L2 and the distance L1 indicates the displacement .DELTA.L.
In this manner, the
［１－５．欠陥領域を含む場合の課題］
図６は、本発明の実施形態に係る欠落領域ＨＬを含むパターン画像ＰＮ３の一例を示す図である。図６に示すパターン画像ＰＮ３は、試験対象ＴＰが上下方向に伸びた状態におけるパターンＰＴＮの一例を示す。すなわち、パターン画像ＰＮ３には、方形状の黒塗り画像Ｓｉｊ（ｉ＝１～ｎ，ｊ＝１～８）が左右方向及び上下方向に略等間隔で配置されている。
[1-5. Issues when defect areas are included]
FIG. 6 is a diagram showing an example of the pattern image PN3 including the missing area HL according to the embodiment of the present invention. A pattern image PN3 shown in FIG. 6 shows an example of the pattern PTN in a state where the test object TP is vertically extended. That is, in the pattern image PN3, rectangular black-painted images Sij (i=1 to n, j=1 to 8) are arranged at approximately equal intervals in the horizontal and vertical directions.
また、パターン画像ＰＮ３には、欠落領域ＨＬが形成されている。欠落領域ＨＬは、パターン画像ＰＮ３の一部が欠落した領域を示す。図６に示す欠落領域ＨＬは、円形状に形成される。欠落領域ＨＬによって、４つの黒塗り画像Ｓｉｊ（ｉ＝５～６，ｊ＝４～５）が欠落している。Ｘ軸上においては、黒塗り画像Ｓ５４と黒塗り画像Ｓ６４とが欠落している。 A missing area HL is formed in the pattern image PN3. A missing area HL indicates an area where a part of the pattern image PN3 is missing. The missing region HL shown in FIG. 6 is formed in a circular shape. Four black-painted images Sij (i=5 to 6, j=4 to 5) are missing due to the missing area HL. The black-painted image S54 and the black-painted image S64 are missing on the X-axis.
図７は、欠落領域ＨＬを含むパターン画像ＰＮ３に対して本発明の実施形態に係る変位分布算出処理を実行する場合の課題の一例を示す図である。
図７の最も上のグラフＧ２１は、Ｘ軸方向の輝度Ｂの変化を正弦波近似したグラフである。グラフＧ２１の横軸は、Ｘ軸であり、縦軸は、輝度Ｂである。欠落領域ＨＬでは、黒塗り画像Ｓ５４と黒塗り画像Ｓ６４とが欠落しているため、輝度Ｂが、例えば試験対象ＴＰを構成する材料の色に対応する。そこで、欠落領域ＨＬでは、輝度Ｂが不規則に変化している。その結果、欠落領域ＨＬでは、正弦波近似をすることができない。
FIG. 7 is a diagram showing an example of a problem when performing the displacement distribution calculation process according to the embodiment of the present invention on the pattern image PN3 including the missing area HL.
Graph G21 at the top of FIG. 7 is a graph obtained by sine wave approximation of the change in brightness B in the X-axis direction. The horizontal axis of graph G21 is the X-axis, and the vertical axis is luminance B. FIG. In the missing area HL, the black-painted image S54 and the black-painted image S64 are missing, so the brightness B corresponds to, for example, the color of the material that constitutes the test object TP. Therefore, in the missing area HL, the brightness B varies irregularly. As a result, sine wave approximation cannot be performed in the missing region HL.
図７の上から２番目のグラフＧ２２は、グラフＧ２１の位相を示すグラフである。グラフＧ２２の横軸は、Ｘ軸であり、縦軸は、位相Ｑである。位相Ｑは、－πから＋πまでの間で変化する。欠落領域ＨＬでは、輝度Ｂが不規則に変化しているため、位相Ｑも、－πから＋πまでの間で変化しているが、鋸刃状のグラフにはなっていない。 The second graph G22 from the top in FIG. 7 is a graph showing the phase of the graph G21. The horizontal axis of the graph G22 is the X axis, and the vertical axis is the phase Q. As shown in FIG. The phase Q varies between -π and +π. In the missing region HL, the luminance B varies irregularly, so the phase Q also varies between -π and +π, but the graph does not have a sawtooth shape.
図７の最も下側のグラフＧ２３は、図７の上から２番目のグラフＧ２２に対して、位相接続を行った後のグラフを示す。グラフＧ２３の横軸は、Ｘ軸であり、縦軸は、位相φである。グラフＧ２２では、位相が＋πに到達した位置で位相が－πにステップ状に減少するが、グラフＧ２３では、位相のステップ状の変化をさせないように、位相が＋πから－πに減少する度に、位相を２×πだけ増加する。その結果，グラフＧ２３では、Ｘ座標の増加に伴って位相φが増加する。ただし、グラフＧ２３において欠落領域ＨＬでは、Ｘ座標の増加に伴って位相φが不規則に変化しながら増加している。グラフＧ１３では、Ｘ座標の増加に伴って位相φが直線状に増加するのに対して、グラフＧ２３は、Ｘ座標の増加に伴って位相φが直線状には増加しない。そこで、このままでは、算出部８１３は、試験対象ＴＰの表面の変位分布を算出することができないことになる。
本発明の実施形態では、この課題を解消するために、補完部８１２が、欠落領域ＨＬに対応するパターン画像ＰＮを補完して全体補完画像ＰＣを生成する。算出部８１３は、全体補完画像ＰＣに基づき、試験対象ＴＰの表面の変位分布を算出する。
A graph G23 at the bottom of FIG. 7 shows a graph after performing phase unwrapping on the second graph G22 from the top of FIG. The horizontal axis of the graph G23 is the X axis, and the vertical axis is the phase φ. In graph G22, the phase decreases stepwise to -π at the position where the phase reaches +π, but in graph G23, every time the phase decreases from +π to -π , increases the phase by 2×π. As a result, in the graph G23, the phase φ increases as the X coordinate increases. However, in the missing region HL in the graph G23, the phase φ increases while irregularly changing as the X coordinate increases. In the graph G13, the phase φ increases linearly as the X coordinate increases, whereas in the graph G23, the phase φ does not linearly increase as the X coordinate increases. Therefore, in this state, the
In the embodiment of the present invention, in order to solve this problem, the
［１－６．学習データ］
図８は、本発明の第１実施形態に係る学習済モデルＭＤを生成する学習データＤＬの一例を示す図である。
学習データＤＬは、欠落領域ＨＬを含むパターン画像ＰＮの情報と、欠落領域ＨＬを含まないパターン画像ＰＭの情報とを対応付けたものである。欠落領域ＨＬを含むパターン画像ＰＮを、以下の説明では、欠落画像ＰＮと記載する場合がある。
欠落領域ＨＬを含まないパターン画像ＰＭは、撮像部８１１によって生成される。欠落画像ＰＮは、生成部７１２によって欠落領域ＨＬを含まないパターン画像ＰＭから生成される。
[1-6. learning data]
FIG. 8 is a diagram showing an example of learning data DL for generating a trained model MD according to the first embodiment of the present invention.
The learning data DL is obtained by associating the information of the pattern image PN including the missing area HL with the information of the pattern image PM not including the missing area HL. A pattern image PN including a missing region HL may be referred to as a missing image PN in the following description.
A pattern image PM that does not include the missing area HL is generated by the
図８の最も上段の左側に配置されたパターン画像ＰＭは、欠落領域ＨＬを含まないパターン画像ＰＭの一例を示す。パターン画像ＰＭは、横長の矩形状の画像であって、正方形状の黒塗り画像が左右方向及び上下方向に等間隔で配置されている。
図８の最も上段の右側に配置された欠落画像ＰＮは、欠落領域ＨＬを含むパターン画像の一例を示す。パターン画像ＰＭの左側の上下方向中央部に矩形形状の欠落領域ＨＬを配置することによって、欠落画像ＰＮが生成されている。
The pattern image PM arranged on the left side of the uppermost row in FIG. 8 shows an example of the pattern image PM that does not include the missing area HL. The pattern image PM is a horizontally long rectangular image, and square black-painted images are arranged at equal intervals in the horizontal direction and the vertical direction.
A missing image PN arranged on the right side of the uppermost row in FIG. 8 shows an example of a pattern image including a missing region HL. A missing image PN is generated by arranging a rectangular missing region HL in the vertical central portion on the left side of the pattern image PM.
図８の上から２段目の左側に配置されたパターン画像ＰＭは、欠落領域ＨＬを含まないパターン画像ＰＭの一例を示す。パターン画像ＰＭは、正方形状の画像であって、正方形状の黒塗り画像が左右方向及び上下方向に等間隔で配置されている。黒塗り画像のサイズは、図８の最も上段の左側に配置されたパターン画像ＰＭの黒塗り画像のサイズより小さい。
図８の上から２段目の右側に配置された欠落画像ＰＮは、欠落領域ＨＬを含むパターン画像の一例を示す。パターン画像ＰＭの右端の上下方向中央部に矩形形状の欠落領域ＨＬを配置することによって、欠落画像ＰＮが生成されている。
The pattern image PM arranged on the left side of the second row from the top in FIG. 8 shows an example of the pattern image PM that does not include the missing area HL. The pattern image PM is a square-shaped image, and square-shaped black-painted images are arranged at regular intervals in the horizontal direction and the vertical direction. The size of the black-painted image is smaller than the size of the black-painted image of the pattern image PM arranged on the uppermost left side in FIG.
A missing image PN arranged on the right side of the second row from the top in FIG. 8 shows an example of a pattern image including a missing region HL. A missing image PN is generated by arranging a rectangular missing region HL in the vertical central portion of the right end of the pattern image PM.
図８の上から３段目の左側に配置されたパターン画像ＰＭは、欠落領域ＨＬを含まないパターン画像ＰＭの一例を示す。パターン画像ＰＭは、縦長の矩形状の画像であって、正方形状の黒塗り画像が左右方向及び上下方向に等間隔で配置されている。黒塗り画像のサイズは、図８の最も上段の左側に配置されたパターン画像ＰＭの黒塗り画像のサイズより小さく、図８の上から２段目の左側に配置されたパターン画像ＰＭの黒塗り画像のサイズより大きい。
図８の上から３段目の右側に配置された欠落画像ＰＮは、欠落領域ＨＬを含むパターン画像の一例を示す。欠落画像ＰＮの左側の上部に縦長の楕円形状の欠落領域ＨＬを配置することによって、欠落画像ＰＮが生成されている。
The pattern image PM arranged on the left side of the third row from the top in FIG. 8 shows an example of the pattern image PM that does not include the missing area HL. The pattern image PM is a vertically long rectangular image, and square black-painted images are arranged at equal intervals in the horizontal direction and the vertical direction. The size of the black-painted image is smaller than the size of the black-painted image of the pattern image PM arranged on the left side of the uppermost row in FIG. Larger than the image size.
A missing image PN arranged on the right side of the third row from the top in FIG. 8 shows an example of a pattern image including a missing region HL. A missing image PN is generated by arranging a vertically long elliptical missing area HL on the upper left side of the missing image PN.
図８を参照して説明したように、生成部７１２は、決定部７１１が決定した位置ＰＳ及びサイズＳＺの所定形状の欠落画像ＰＮを生成する。所定形状は、矩形形状を含む。すなわち、欠落領域ＨＬを含まないパターン画像ＰＭが１枚あれば、複数の欠落画像ＰＮを生成できる。例えば、位置ＰＳとして９箇所の位置のいずれかを選択し、サイズＳＺとして、４種類のサイズのいずれかを選択する場合には、３６枚（＝９×４）の欠落画像ＰＮを生成できる。
したがって、生成部７１２は、決定部７１１が決定した位置ＰＳ及びサイズＳＺの所定形状の欠落画像ＰＮを生成することによって、多数の欠落画像ＰＮを生成できる。
As described with reference to FIG. 8, the
Therefore, the generating
また、学習済モデルＭＤは、欠落画像ＰＮの情報が入力された場合に、全体補完画像ＰＣの情報を出力するように学習部７１３によって機械学習される。全体補完画像ＰＣは、欠落領域ＨＬを含まないパターン画像ＰＭに対応する。
Also, the learned model MD is machine-learned by the
［１－７．第２制御部の処理］
図９は、本発明の実施形態に係る第２制御部７の処理の一例を示すフローチャートである。なお、学習データ記憶部７１４には、欠落領域ＨＬを含まない複数のパターン画像ＰＭが予め記憶されている。
まず、ステップＳ１０１において、第２制御部７は、学習データ記憶部７１４からパターン画像ＰＭを読み出す。
次に、ステップＳ１０３において、決定部７１１は、欠落領域ＨＬの位置ＰＳ及びサイズＳＺを決定する。
次に、ステップＳ１０５において、生成部７１２は、パターン画像ＰＭに基づいて、決定部７１１が決定した位置ＰＳ及びサイズＳＺの所定形状の欠落領域ＨＬを含む欠落画像ＰＮを生成する。所定形状は、例えば矩形形状である。
次に、ステップＳ１０７において、生成部７１２は、欠落画像ＰＮとパターン画像ＰＭとを対応付けて、学習データ記憶部７１４に記憶する。
[1-7. Processing of the second control unit]
FIG. 9 is a flow chart showing an example of processing of the
First, in step S<b>101 , the
Next, in step S103, the determining
Next, in step S105, the
Next, in step S<b>107 , the
次に、ステップＳ１０９において、決定部７１１は、サイズＳＺの決定を終了するか否かを判定する。
サイズＳＺの決定を終了しないと決定部７１１が判定した場合（ステップＳ１０９；ＮＯ）には、処理がステップＳ１０３に戻る。サイズＳＺの決定を終了すると決定部７１１が判定した場合（ステップＳ１０９；ＹＥＳ）には、処理がステップＳ１１１に進む。
そして、ステップＳ１１１において、決定部７１１は、位置ＰＳの決定を終了するか否かを判定する。
位置ＰＳの決定を終了しないと決定部７１１が判定した場合（ステップＳ１１１；ＮＯ）には、処理がステップＳ１０３に戻る。位置ＰＳの決定を終了すると決定部７１１が判定した場合（ステップＳ１１１；ＹＥＳ）には、処理がステップＳ１１３に進む。
そして、ステップＳ１１３において、第２制御部７は、学習データ記憶部７１４からのパターン画像ＰＭの読み出しを終了するか否かを判定する。
学習データ記憶部７１４からのパターン画像ＰＭの読み出しを終了しないと第２制御部７が判定した場合（ステップＳ１１３；ＮＯ）には、処理がステップＳ１０１に戻る。学習データ記憶部７１４からのパターン画像ＰＭの読み出しを終了すると第２制御部７が判定した場合（ステップＳ１１３；ＹＥＳ）には、処理がステップＳ１１５に進む。
そして、ステップＳ１１５において、学習部７１３が、学習データ記憶部７１４に記憶された学習データＤＬに基づき機械学習を実行し、学習済モデルＭＤを生成し、生成した学習済モデルＭＤを学習済モデル記憶部７１５に記憶し、処理が終了する。
Next, in step S109, the
When the determining
Then, in step S111, the
When the determining
Then, in step S113, the
When the
Then, in step S115, the
［１－８．補完部の処理における第１の例］
図１０は、本発明の第１実施形態に係る補完部８１２の処理の第１の例を示す図である。
補完部８１２は、欠落領域ＨＬを含むパターン画像ＰＮの情報を、学習済モデルＭＤに入力し、欠落領域ＨＬを含まないパターン画像ＰＭの情報を、学習済モデルＭＤから出力させる。
そして、補完部８１２は、パターン画像ＰＭから欠落領域ＨＬに対応する欠落補完画像ＰＣＨを切り出す切出処理を実行する。
次に、補完部８１２は、欠落補完画像ＰＣＨと、欠落領域ＨＬを含むパターン画像ＰＮと、を合成することによって、全体補完画像ＰＣを生成する。
このようにして、補完部８１２は、全体補完画像ＰＣを生成する。
[1-8. First example in the processing of the complementing unit]
FIG. 10 is a diagram showing a first example of processing of the
The
Then, the
Next, the
Thus, the
なお、パターン画像ＰＭを全体補完画像ＰＣとして用いない理由は、欠落領域ＨＬ以外の領域においてパターン画像が歪んでいるパターン画像ＰＭが、学習済モデルＭＤから出力される場合があるからである。
このような場合であっても、補完部８１２は、欠落補完画像ＰＣＨと、欠落領域ＨＬを含むパターン画像ＰＮと、を合成することによって、全体補完画像ＰＣを生成するため、歪んだパターン画像ＰＭが全体補完画像ＰＣに含まれることを抑制できる。
The reason why the pattern image PM is not used as the overall complement image PC is that the pattern image PM whose pattern image is distorted in areas other than the missing area HL may be output from the learned model MD.
Even in such a case, the
［１－９．補完部の処理における第２の例］
図１１は、本発明の第１実施形態に係る補完部８１２の処理の第２の例を示す図である。第２の例では、図１１に示すように、撮像部８１１が、欠落領域ＨＬを含むパターン画像ＰＮを生成する度に、補完部８１２は、図１０を参照して説明した処理を実行する。
[1-9. Second example of the processing of the complementing unit]
FIG. 11 is a diagram showing a second example of processing of the
撮像部８１１は、例えば、時間Ｔ１と時間Ｔ２と時間Ｔ３とにおいて、欠落領域ＨＬを含むパターン画像ＰＮを生成する。時間Ｔ１において生成されるパターン画像ＰＮをパターン画像ＰＫ１と記載する場合がある。時間Ｔ２において生成されるパターン画像ＰＮをパターン画像ＰＫ２と記載する場合がある。時間Ｔ３において生成されるパターン画像ＰＮをパターン画像ＰＫ３と記載する場合がある。時間Ｔ１と時間Ｔ２との間は、所定時間であり、時間Ｔ２と時間Ｔ３との間は、所定時間である。所定時間は、例えば０．０１秒である。
The
補完部８１２は、欠落領域ＨＬを含むパターン画像ＰＫ１の情報を、学習済モデルＭＤに入力し、欠落領域ＨＬを含まないパターン画像ＰＭ１の情報を、学習済モデルＭＤから出力させる。
そして、補完部８１２は、パターン画像ＰＭ１から欠落領域ＨＬに対応する欠落補完画像ＰＣＨ１を切り出す切出処理を実行する。
次に、補完部８１２は、欠落補完画像ＰＣＨ１と、欠落領域ＨＬを含むパターン画像ＰＫ１と、を合成することによって、全体補完画像ＰＣ１を生成する。
The
Then, the
Next, the
また、補完部８１２は、欠落領域ＨＬを含むパターン画像ＰＫ２の情報を、学習済モデルＭＤに入力し、欠落領域ＨＬを含まないパターン画像ＰＭ２の情報を、学習済モデルＭＤから出力させる。
そして、補完部８１２は、パターン画像ＰＭ２から欠落領域ＨＬに対応する欠落補完画像ＰＣＨ２を切り出す切出処理を実行する。
次に、補完部８１２は、欠落補完画像ＰＣＨ２と、欠落領域ＨＬを含むパターン画像ＰＫ２と、を合成することによって、全体補完画像ＰＣ２を生成する。
Further, the
Then, the
Next, the
また、補完部８１２は、欠落領域ＨＬを含むパターン画像ＰＫ３の情報を、学習済モデルＭＤに入力し、欠落領域ＨＬを含まないパターン画像ＰＭ３の情報を、学習済モデルＭＤから出力させる。
そして、補完部８１２は、パターン画像ＰＭ３から欠落領域ＨＬに対応する欠落補完画像ＰＣＨ３を切り出す切出処理を実行する。
次に、補完部８１２は、欠落補完画像ＰＣＨ３と、欠落領域ＨＬを含むパターン画像ＰＫ３と、を合成することによって、全体補完画像ＰＣ３を生成する。
Further, the
Then, the
Next, the
上記第２の例における第１制御部８の処理を説明する。
図１２は、第２の例における第１制御部８の処理の一例を示すフローチャートである。
まず、ステップＳ２０１において、第１制御部８は、引張試験機１が引張試験を開始したか否かを判定する。
引張試験機１が引張試験を開始していないと第１制御部８が判定した場合（ステップＳ２０１；ＮＯ）には、処理が待機状態になる。引張試験機１が引張試験を開始したと第１制御部８が判定した場合（ステップＳ２０１；ＹＥＳ）には、処理がステップＳ２０３に進む。
そして、ステップＳ２０３において、撮像部８１１は、撮像タイミングであるか否かを判定する。撮像タイミングは、カメラ６が撮像を実行するタイミングを示す。
撮像タイミングではないと撮像部８１１が判定した場合（ステップＳ２０３；ＮＯ）には、処理が待機状態になる。撮像タイミングであると撮像部８１１が判定した場合（ステップＳ２０３；ＹＥＳ）には、処理がステップＳ２０５に進む。
そして、ステップＳ２０５において、撮像部８１１が、カメラ６にパターンＰＴＮを撮像させて、パターンＰＴＮの画像を示すパターン画像ＰＮを生成する。
The processing of the
FIG. 12 is a flow chart showing an example of processing of the
First, in step S201, the
When the
Then, in step S203, the
When the
Then, in step S205, the
次に、ステップＳ２０７において、第１制御部８は、パターン画像ＰＮが欠落領域ＨＬを含むか否かを判定する。
パターン画像ＰＮが欠落領域ＨＬを含まないと第１制御部８が判定した場合（ステップＳ２０７；ＮＯ）には、処理がステップＳ２１５に進む。パターン画像ＰＮが欠落領域ＨＬを含むと第１制御部８が判定した場合（ステップＳ２０７；ＹＥＳ）には、処理がステップＳ２０９に進む。
そして、ステップＳ２０９において、補完部８１２は、欠落領域ＨＬを含むパターン画像ＰＮの情報を、学習済モデルＭＤに入力し、欠落領域ＨＬを含まないパターン画像ＰＭの情報を、学習済モデルＭＤから出力させる。
次に、ステップＳ２１１において、補完部８１２は、パターン画像ＰＭから欠落領域ＨＬに対応する欠落補完画像ＰＣＨを切り出す切出処理を実行する。
次に、ステップＳ２１３において、補完部８１２は、欠落補完画像ＰＣＨと、欠落領域ＨＬを含むパターン画像ＰＮと、を合成することによって、全体補完画像ＰＣを生成する。
Next, in step S207, the
When the
Then, in step S209, the
Next, in step S211, the
Next, in step S213, the
次に、ステップＳ２１５において、算出部８１３は、全体補完画像ＰＣに基づき、試験対象ＴＰの表面の変位分布を算出する。
次に、ステップＳ２１７において、第１制御部８は、引張試験機１が引張試験を終了したか否かを判定する。
引張試験機１が引張試験を終了していないと第１制御部８が判定した場合（ステップＳ２１７；ＮＯ）には、処理がステップＳ２０３に戻る。引張試験機１が引張試験を終了したと第１制御部８が判定した場合（ステップＳ２１７；ＹＥＳ）には、処理が終了する。
Next, in step S215, the
Next, in step S217, the
When the
ステップＳ２０５が「撮像ステップ」の一例に対応する。ステップＳ２０９、ステップＳ２１１及びステップＳ２１３が、「補完ステップ」の一例に対応する。ステップＳ２１５が「算出ステップ」の一例に対応する。 Step S205 corresponds to an example of the "imaging step". Steps S209, S211 and S213 correspond to an example of the "complementary step". Step S215 corresponds to an example of the "calculation step".
［１－１０．補完部の処理における第３の例］
図１３は、本発明の第１実施形態に係る補完部８１２の処理の第３の例を示す図である。第３の例では、撮像部８１１が、欠落領域ＨＬを含むパターン画像ＰＮを初めて生成したときに限って、補完部８１２は、図１０を参照して説明した処理を実行する。
[1-10. Third example of the processing of the complementing unit]
FIG. 13 is a diagram showing a third example of processing of the
撮像部８１１は、例えば、時間Ｔ１と時間Ｔ２と時間Ｔ３とにおいて、欠落領域ＨＬを含むパターン画像ＰＮを生成する。時間Ｔ１において生成されるパターン画像ＰＮをパターン画像ＰＫ１と記載する場合がある。時間Ｔ２において生成されるパターン画像ＰＮをパターン画像ＰＫ２と記載する場合がある。時間Ｔ３において生成されるパターン画像ＰＮをパターン画像ＰＫ３と記載する場合がある。時間Ｔ１と時間Ｔ２との間は、所定時間であり、時間Ｔ２と時間Ｔ３との間は、所定時間である。所定時間は、例えば、０．０１秒である。
The
補完部８１２は、欠落領域ＨＬ１を含むパターン画像ＰＫ１の情報を、学習済モデルＭＤに入力し、欠落領域ＨＬを含まないパターン画像ＰＭ１の情報を、学習済モデルＭＤから出力させる。
そして、補完部８１２は、パターン画像ＰＭ１から欠落領域ＨＬ１に対応する欠落補完画像ＰＣＨ１を切り出す切出処理を実行する。
次に、補完部８１２は、欠落補完画像ＰＣＨ１と、欠落領域ＨＬ１を含むパターン画像ＰＫ１と、を合成することによって、全体補完画像ＰＣ１を生成する。
The
Then, the
Next, the
また、補完部８１２は、パターン画像ＰＫ１に含まれる欠落領域ＨＬ１と、パターン画像ＰＫ２に含まれる欠落領域ＨＬ２とに基づき、欠落補完画像ＰＣＨ１に対して射影変換を実行して、欠落補完画像ＰＣＨ２を生成する。具体的には、補完部８１２は、欠落補完画像ＰＣＨ２のサイズが、欠落領域ＨＬ２のサイズと一致するように、欠落補完画像ＰＣＨ１に対して射影変換を実行して、欠落補完画像ＰＣＨ２を生成する。
パターン画像ＰＫ１は、「第１のパターン画像」の一例に対応する。パターン画像ＰＫ２は、「第２のパターン画像」の一例に対応する。欠落補完画像ＰＣＨ１は、「第１の補完画像」の一例に対応する。欠落補完画像ＰＣＨ２は、「第２の補完画像」の一例に対応する。
そして、補完部８１２は、欠落補完画像ＰＣＨ２と、パターン画像ＰＫ２と、を合成することによって、全体補完画像ＰＣ２を生成する。
Further, the
The pattern image PK1 corresponds to an example of a "first pattern image". The pattern image PK2 corresponds to an example of a "second pattern image". Missing complement image PCH1 corresponds to an example of "first complement image". The missing complement image PCH2 corresponds to an example of a “second complement image”.
Then, the
また、補完部８１２は、パターン画像ＰＫ１に含まれる欠落領域ＨＬ１と、パターン画像ＰＫ３に含まれる欠落領域ＨＬ３とに基づき、欠落補完画像ＰＣＨ１に対して射影変換を実行して、欠落補完画像ＰＣＨ３を生成する。具体的には、補完部８１２は、欠落補完画像ＰＣＨ３のサイズが、欠落領域ＨＬ３のサイズと一致するように、欠落補完画像ＰＣＨ１に対して射影変換を実行して、欠落補完画像ＰＣＨ３を生成する。
パターン画像ＰＫ３は、「第２のパターン画像」の一例に対応する。欠落補完画像ＰＣＨ３は、「第２の補完画像」の一例に対応する。
そして、補完部８１２は、欠落補完画像ＰＣＨ３と、パターン画像ＰＫ３と、を合成することによって、全体補完画像ＰＣ３を生成する。
Further, the
The pattern image PK3 corresponds to an example of a "second pattern image". The missing complement image PCH3 corresponds to an example of a “second complement image”.
Then, the
上記第３の例における第１制御部８の処理を説明する。
図１４は、第３の例における第１制御部８の処理の一例を示すフローチャートである。
まず、ステップＳ３０１において、第１制御部８は、引張試験機１が引張試験を開始したか否かを判定する。
引張試験機１が引張試験を開始していないと第１制御部８が判定した場合（ステップＳ３０１；ＮＯ）には、処理が待機状態になる。引張試験機１が引張試験を開始したと第１制御部８が判定した場合（ステップＳ３０１；ＹＥＳ）には、処理がステップＳ３０３に進む。
そして、ステップＳ３０３において、撮像部８１１は、撮像タイミングであるか否かを判定する。撮像タイミングは、カメラ６が撮像を実行するタイミングを示す。
撮像タイミングではないと撮像部８１１が判定した場合（ステップＳ３０３；ＮＯ）には、処理が待機状態になる。撮像タイミングであると撮像部８１１が判定した場合（ステップＳ３０３；ＹＥＳ）には、処理がステップＳ３０５に進む。
そして、ステップＳ３０５において、撮像部８１１が、カメラ６にパターンＰＴＮを撮像させて、パターンＰＴＮの画像を示すパターン画像ＰＮを生成する。
The processing of the
FIG. 14 is a flowchart showing an example of processing of the
First, in step S301, the
When the
Then, in step S303, the
When the
Then, in step S305, the
次に、ステップＳ３０７において、第１制御部８は、パターン画像ＰＮが欠落領域ＨＬを含むか否かを判定する。
パターン画像ＰＮが欠落領域ＨＬを含まないと第１制御部８が判定した場合（ステップＳ３０７；ＮＯ）には、処理がステップＳ３２１に進む。パターン画像ＰＮが欠落領域ＨＬを含むと第１制御部８が判定した場合（ステップＳ３０７；ＹＥＳ）には、処理がステップＳ３０９に進む。
そして、ステップＳ３０９において、第１制御部８は、欠落補完画像ＰＣＨを生成済であるか否かを判定する。
欠落補完画像ＰＣＨを生成済ではないと第１制御部８が判定した場合（ステップＳ３０９；ＮＯＳ）には、処理がステップＳ３１１に進む。
そして、ステップＳ３１１において、補完部８１２は、欠落領域ＨＬを含むパターン画像ＰＮの情報を、学習済モデルＭＤに入力し、欠落領域ＨＬを含まないパターン画像ＰＭの情報を、学習済モデルＭＤから出力させる。
次に、ステップＳ３１３において、補完部８１２は、パターン画像ＰＭから欠落領域ＨＬに対応する欠落補完画像ＰＣＨを切り出す切出処理を実行する。そして、処理がステップＳ３１９に進む。
Next, in step S307, the
When the
Then, in step S309, the
When the
Then, in step S311, the
Next, in step S313, the
欠落補完画像ＰＣＨを生成済であると第１制御部８が判定した場合（ステップＳ３０９；ＹＥＳ）には、処理がステップＳ３１５に進む。
そして、ステップＳ３１５において、補完部８１２は、欠落領域ＨＬのサイズを取得する。
次に、ステップＳ３１７において、補完部８１２は、欠落領域ＨＬのサイズに基づき、欠落補完画像ＰＣＨに対して射影変換を実行して、欠落補完画像ＰＣＨを生成する。
次に、ステップＳ３１９において、補完部８１２は、欠落補完画像ＰＣＨと、欠落領域ＨＬを含むパターン画像ＰＮと、を合成することによって、全体補完画像ＰＣを生成する。
When the
Then, in step S315, the
Next, in step S317, the
Next, in step S319, the
次に、ステップＳ３２１において、算出部８１３は、全体補完画像ＰＣに基づき、試験対象ＴＰの表面の変位分布を算出する。
次に、ステップＳ３２３において、第１制御部８は、引張試験機１が引張試験を終了したか否かを判定する。
引張試験機１が引張試験を終了していないと第１制御部８が判定した場合（ステップＳ３２３；ＮＯ）には、処理がステップＳ３０３に戻る。引張試験機１が引張試験を終了したと第１制御部８が判定した場合（ステップＳ３２３；ＹＥＳ）には、処理が終了する。
Next, in step S321, the
Next, in step S323, the
When the
ステップＳ２０５が「撮像ステップ」の一例に対応する。ステップＳ３１１、ステップＳ３１３、ステップＳ３１５、ステップＳ３１７及びステップＳ３１９が、「補完ステップ」の一例に対応する。ステップＳ３２１が「算出ステップ」の一例に対応する。 Step S205 corresponds to an example of the "imaging step". Step S311, step S313, step S315, step S317 and step S319 correspond to an example of the "complementary step". Step S321 corresponds to an example of the "calculation step".
［補完部８１２の第２実施形態］
図１５は、補完部８１２の第２実施形態の一例を示す図である。
補完部８１２の第1実施形態では、補完部８１２が学習済モデルＭＤを用いて補完画像ＰＣを生成したが、補完部８１２の第２実施形態では、補完部８１２が学習済モデルＭＤを用いることなく補完画像ＰＣを生成する。
より詳細には、補完部８１２が、欠落領域ＨＬに対応するパターン画像ＰＮを補完して補完画像ＰＣを生成すればよい。
図１５に示すように、補完部８１２が、例えば、欠落領域ＨＬの周囲のパターン画像ＰＮから、欠落領域ＨＬと同一のサイズのパターン画像ＰＣＡをコピーする。そして、補完部８１２が、コピーしたパターン画像ＰＣＡを欠落領域ＨＬに嵌め込むことによって補完画像ＰＣを生成してもよい。
この処理において、コピーするパターン画像ＰＣＡを決定する処理は、ユーザからの操作に従って実行してもよい。
なお、パターン画像ＰＣＡは、欠落領域ＨＬに近接する位置からコピーすることが好ましい。この場合には、パターン画像ＰＣＡにおける変位が、欠落領域ＨＬにおけるパターン画像ＰＮの変位と近似するからである。
[Second Embodiment of Complementary Unit 812]
FIG. 15 is a diagram showing an example of the second embodiment of the
In the first embodiment of the
More specifically, the
As shown in FIG. 15, the
In this process, the process of determining the pattern image PCA to be copied may be executed according to the user's operation.
Note that the pattern image PCA is preferably copied from a position close to the missing area HL. This is because, in this case, the displacement in the pattern image PCA approximates the displacement in the pattern image PN in the missing area HL.
［６．態様と効果］
上述した実施形態及び変形例は、以下の態様の具体例であることが当業者により理解される。
[6. mode and effect]
It will be understood by those skilled in the art that the above-described embodiments and modifications are specific examples of the following aspects.
（第１項）
一態様に関わる変位分布計測装置は、物体の表面に形成されたパターンの画像に基いて、前記物体の表面の変位分布を計測する変位分布計測装置であって、前記パターンの画像を示すパターン画像を生成する撮像部と、前記パターン画像が前記パターン画像の一部が欠落した欠落領域を含む場合に、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成する補完部と、前記補完画像に基づき、前記物体の表面の変位分布を算出する算出部と、を備える、変位分布計測装置である。
(Section 1)
A displacement distribution measuring device according to one aspect is a displacement distribution measuring device for measuring a displacement distribution on a surface of an object based on an image of a pattern formed on the surface of the object, the displacement distribution measuring device comprising: a pattern image showing the image of the pattern; a complementing unit for generating a complementary image by complementing the pattern image corresponding to the missing region when the pattern image includes a missing region in which a part of the pattern image is missing; and a calculation unit that calculates the displacement distribution of the surface of the object based on the complementary image.
第１項に記載の変位分布計測装置によれば、パターン画像が前記パターン画像の一部が欠落した欠落領域を含む場合に、補完部が、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成し、算出部が、前記補完画像に基づき、前記物体の表面の変位分布を算出する。したがって、パターン画像の一部が欠落した場合であっても、物体の表面の変位分布を算出できる。 According to the displacement distribution measuring device according to item 1, when the pattern image includes a missing region in which a part of the pattern image is missing, the complementing unit complements the pattern image corresponding to the missing region. A complementary image is generated, and a calculation unit calculates the displacement distribution of the surface of the object based on the complementary image. Therefore, even if part of the pattern image is missing, the displacement distribution of the surface of the object can be calculated.
（第２項）
第１項に記載の変位分布計測装置において、前記補完部は、前記欠落領域を含む前記パターン画像の情報と、前記欠落領域に対応する前記パターン画像が補完された前記補完画像の情報とを対応付けた学習データに基づき生成された学習済モデル、を備える。
(Section 2)
In the displacement distribution measuring device according to item 1, the complementing unit associates information of the pattern image including the missing area with information of the complemented image obtained by complementing the pattern image corresponding to the missing area. and a trained model generated based on the attached training data.
第２項に記載の変位分布計測装置によれば、前記補完部は、前記欠落領域を含む前記パターン画像の情報と、前記欠落領域に対応する前記パターン画像が補完された前記補完画像の情報とを対応付けた学習データに基づき生成された学習済モデル、を備える。したがって、学習済モデルを用いて、前記補完画像を容易に求めることができる。 According to the displacement distribution measuring device according to the second aspect, the complementing unit includes information of the pattern image including the missing area, and information of the complemented image in which the pattern image corresponding to the missing area is complemented. and a trained model generated based on learning data associated with. Therefore, the complemented image can be easily obtained using the learned model.
（第３項）
第２項に記載の変位分布計測装置において、前記補完部は、前記欠落領域を含む前記パターン画像の情報を、前記学習済モデルに入力し、前記欠落領域に対応する前記補完画像の情報を、前記学習済モデルから出力させる。
(Section 3)
In the displacement distribution measuring device according to
第３項に記載の変位分布計測装置によれば、前記補完部は、前記欠落領域を含む前記パターン画像の情報を、前記学習済モデルに入力し、前記欠落領域に対応する前記補完画像の情報を、前記学習済モデルから出力させる。したがって、学習済モデルを用いて、前記欠落領域に対応する前記補完画像を容易に求めることができる。 According to the displacement distribution measuring device according to the third aspect, the complementing unit inputs the information of the pattern image including the missing region to the learned model, and the complemented image information corresponding to the missing region. is output from the learned model. Therefore, it is possible to easily obtain the complemented image corresponding to the missing region using the learned model.
（第４項）
第３項に記載の変位分布計測装置において、前記補完部は、前記欠落領域を含む前記パターン画像と、前記欠落領域に対応する前記補完画像と、を合成することによって、前記補完画像を生成する。
(Section 4)
In the displacement distribution measuring device according to item 3, the complementing unit generates the complementary image by synthesizing the pattern image including the missing region and the complementary image corresponding to the missing region. .
第４項に記載の変位分布計測装置によれば、前記補完部は、前記欠落領域を含む前記パターン画像と、前記欠落領域に対応する前記補完画像と、を合成することによって、前記補完画像を生成する。したがって、前記補完部は、正確な補完画像を生成できる。
According to the displacement distribution measuring device according to
（第５項）
第２項から第４項のいずれか１項に記載の変位分布計測装置において、前記撮像部は、所定時間毎に前記パターン画像を生成し、前記補完部は、前記撮像部が前記パターン画像を生成する度に、前記補完画像を生成する。
(Section 5)
In the displacement distribution measuring device according to any one of
第５項に記載の変位分布計測装置によれば、前記撮像部は、所定時間毎に前記パターン画像を生成し、前記補完部は、前記撮像部が前記パターン画像を生成する度に、前記補完画像を生成する。したがって、所定時間毎の変位分布を算出できる。 According to the displacement distribution measuring device according to item 5, the imaging unit generates the pattern image every predetermined time, and the complementing unit generates the pattern image each time the imaging unit generates the pattern image. Generate an image. Therefore, it is possible to calculate the displacement distribution for each predetermined time.
（第６項）
第５項に記載の変位分布計測装置において、前記補完部は、前記パターン画像が前記欠落領域を含む場合には、前記撮像部が前記パターン画像を生成する度に、前記欠落領域を含む前記パターン画像の情報を、前記学習済モデルに入力し、前記欠落領域に対応する前記補完画像の情報を前記学習済モデルから出力させることによって、前記補完画像を生成する。
(Section 6)
6. In the displacement distribution measuring device according to claim 5, when the pattern image includes the missing area, the complementing section adjusts the pattern including the missing area each time the imaging section generates the pattern image. The complemented image is generated by inputting image information into the trained model and causing the trained model to output information of the complemented image corresponding to the missing region.
第６項に記載の変位分布計測装置によれば、前記補完部は、前記撮像部が前記パターン画像を生成する度に、前記欠落領域を含む前記パターン画像の情報を、前記学習済モデルに入力し、前記欠落領域に対応する前記補完画像の情報を前記学習済モデルから出力させることによって、前記補完画像を生成する。したがって、前記撮像部が前記パターン画像を生成する度に、前記欠落領域に対応する前記補完画像の情報を前記学習済モデルから出力させることによって、前記補完画像を生成するため、正確な補完画像を生成できる。
According to the displacement distribution measuring device according to
（第７項）
第５項に記載の変位分布計測装置において、前記補完部は、前記パターン画像が前記欠落領域を含む場合に、前記欠落領域を含む第１の前記パターン画像の情報を、前記学習済モデルに入力し、前記欠落領域に対応する第１の前記補完画像の情報を前記学習済モデルから出力させることによって、前記補完画像を生成し、前記第１の前記パターン画像の後に、前記撮像部が第２の前記パターン画像を生成する度に、前記第２の前記パターン画像における前記欠落領域に対応する第２の前記補完画像を、前記欠落領域の変形に応じて前記第１の前記補完画像を射影変換することによって生成する。
(Section 7)
In the displacement distribution measuring device according to item 5, when the pattern image includes the missing region, the complementing unit inputs information of the first pattern image including the missing region to the learned model. and outputting the information of the first complementary image corresponding to the missing region from the learned model to generate the complementary image, and after the first pattern image, the imaging unit outputs the second each time the pattern image is generated, the second complement image corresponding to the missing area in the second pattern image is projectively transformed into the first complement image according to the deformation of the missing area generated by
第７項に記載の変位分布計測装置によれば、前記第１の前記パターン画像の後に、前記撮像部が第２の前記パターン画像を生成する度に、前記第２の前記パターン画像における前記欠落領域に対応する第２の前記補完画像を、前記欠落領域の変形に応じて前記第１の前記補完画像を射影変換することによって生成する。したがって、第２の前記補完画像を、前記欠落領域の変形に応じて前記第１の前記補完画像を射影変換することによって生成するため、簡素な処理で第２の前記補完画像を生成できる。
According to the displacement distribution measuring device according to
（第８項）
第１項から第７項のいずれか１項に記載の変位分布計測装置において、前記パターンは、格子状のパターンを示す。
(Section 8)
In the displacement distribution measuring device according to any one of items 1 to 7, the pattern is a lattice pattern.
第８項に記載の変位分布計測装置によれば、パターンは、格子状のパターンであるため、物体の表面の変位分布を容易に算出できる。 According to the displacement distribution measuring device according to the eighth aspect, since the pattern is a lattice pattern, the displacement distribution on the surface of the object can be easily calculated.
（第９項）
第８項に記載の変位分布計測装置において、前記算出部は、前記格子の間隔の変化量を算出することによって、前記物体の表面の変位分布を算出する。
(Section 9)
In the displacement distribution measuring device according to
第９項に記載の変位分布計測装置によれば、前記算出部は、前記格子の間隔の変化量を算出することによって、前記物体の表面の変位分布を算出する。したがって、前記物体の表面の変位分布を正確に算出できる。 According to the displacement distribution measuring device according to the ninth aspect, the calculation unit calculates the displacement distribution of the surface of the object by calculating the amount of change in the grid spacing. Therefore, the displacement distribution on the surface of the object can be accurately calculated.
（第１０項）
第１項から第９項のいずれか１項に記載の変位分布計測装置において、前記物体は、材料試験機によって変形される試験対象である。
(Section 10)
In the displacement distribution measuring device according to any one of items 1 to 9, the object is a test object that is deformed by a material testing machine.
第１０項に記載の変位分布計測装置によれば、前記物体は、材料試験機によって変形される試験材料であるため、材料試験機によって変形される試験材料の表面の変位分布を正確に算出できる。
According to the displacement distribution measuring device of
（第１１項）
第１０項に記載の変位分布計測装置において、前記材料試験機は、引張試験機であって、前記試験対象には、前記欠落領域として円形状の孔が形成される。
(Section 11)
In the displacement distribution measuring device according to
第１１項に記載の変位分布計測装置によれば、前記試験材料には、前記欠落領域として円形状の孔が形成される。このように、前記欠落領域が存在する場合であっても、補完部が、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成するため、材料試験機によって変形される試験材料の表面の変位分布を正確に算出できる。 According to the displacement distribution measuring device according to item 11, a circular hole is formed in the test material as the missing region. Thus, even if the missing area exists, the complementing unit complements the pattern image corresponding to the missing area to generate a complemented image, so that the test material deformed by the material testing machine The surface displacement distribution can be calculated accurately.
（第１２項）
第１項から第９項のいずれか１項に記載の変位分布計測装置において、前記物体は、橋梁を含む構造物である。
(Section 12)
In the displacement distribution measuring device according to any one of items 1 to 9, the object is a structure including a bridge.
第１２項に記載の変位分布計測装置によれば、前記物体は、橋梁を含む構造物であるため、橋梁を含む構造物の表面の変位分布を正確に算出できる。
According to the displacement distribution measuring device of
（第１３項）
一態様に関わる変位分布計測方法は、物体の表面に形成されたパターンの画像に基いて、前記物体の表面の変位分布を計測する変位分布計測方法であって、前記パターンの画像を示すパターン画像を生成する撮像ステップと、前記パターン画像が前記パターン画像の一部が欠落した欠落領域を含む場合に、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成する補完ステップと、前記補完画像に基づき、前記物体の表面の変位分布を算出する算出ステップと、を含む、変位分布計測方法である。
(Section 13)
A displacement distribution measuring method according to one aspect is a displacement distribution measuring method for measuring a displacement distribution on a surface of an object based on an image of a pattern formed on the surface of the object, the displacement distribution measuring method comprising: a pattern image showing the image of the pattern; when the pattern image includes a missing region in which a part of the pattern image is missing, a complementing step of complementing the pattern image corresponding to the missing region to generate a complemented image; and a calculation step of calculating the displacement distribution of the surface of the object based on the complemented image.
第１３項に記載の変位形状検出方法によれば、第１項に記載の変位分布計測装置と同様の効果を奏する。 According to the displacement shape detection method described in the thirteenth item, the same effects as those of the displacement distribution measuring device described in the first item can be obtained.
（第１４項）
一態様に関わる変位分布計測装置の制御プログラムは、コンピュータを備え、物体の表面に形成されたパターンの画像に基いて、前記物体の表面の変位分布を計測する変位分布計測装置の制御プログラムであって、前記コンピュータを、前記パターンの画像を示すパターン画像を生成する撮像部、前記パターン画像が前記パターン画像の一部が欠落した欠落領域を含む場合に、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成する補完部、及び、前記補完画像に基づき、前記物体の表面の変位分布を算出する算出部、として機能させる、変位分布計測装置の制御プログラムである。
(Section 14)
A control program for a displacement distribution measuring device according to one aspect is a control program for a displacement distribution measuring device that includes a computer and measures the displacement distribution on the surface of the object based on an image of a pattern formed on the surface of the object. an imaging unit for generating a pattern image representing an image of the pattern; A control program for a displacement distribution measuring device that functions as a complementing unit that complements and generates a complementary image, and a calculating unit that calculates the displacement distribution of the surface of the object based on the complementary image.
第１４項に記載の変位分布計測装置の制御プログラムによれば、第１項に記載の変位分布計測装置と同様の効果を奏する。 According to the control program for the displacement distribution measuring device according to the 14th item, the same effect as the displacement distribution measuring device according to the 1st item can be obtained.
［７．その他の実施形態］
本発明の実施形態では、物体が引張試験機１の試験対象ＴＰである場合について説明したが、物体が橋梁を含む構造物であってもよい。物体が橋梁である場合には、例えば、主桁の側面にパターンを形成する。この場合には、例えば、主桁の上下方向及び左右方向の変位分布を計測できる。
[7. Other embodiments]
Although the embodiment of the present invention describes the case where the object is the test target TP of the tensile tester 1, the object may be a structure including a bridge. If the object is a bridge, for example, the pattern is formed on the sides of the main girder. In this case, for example, vertical and horizontal displacement distributions of the main girder can be measured.
また、本発明の実施形態では、材料試験機が引張試験機１である場合について説明したが、本発明の実施形態はこれに限定されない。材料試験機が試験対象ＴＰに試験力を付与し、試験対象ＴＰを変形させて材料試験を行えばよい。例えば、材料試験機が、圧縮試験機、曲げ試験機、又はねじり試験機でもよい。 Also, in the embodiment of the present invention, the case where the material testing machine is the tensile tester 1 has been described, but the embodiment of the present invention is not limited to this. A material test may be performed by applying a test force to the test object TP by the material testing machine to deform the test object TP. For example, the materials tester may be a compression tester, bend tester, or torsion tester.
また、本発明の実施形態では、パターン画像ＰＮがパターン画像ＰＮの一部が欠落した欠落領域ＨＬを含む場合について説明したが、本発明の実施形態は、これに限定されない。例えば、試験対象ＴＰの一部に孔が形成されている形態でもよい。ＡＳＴＭ（Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｆｏｒ Ｔｅｓｔｉｎｇ ａｎｄ Ｍａｔｅｒｉａｌｓ）規格のＤ６４８４では、試験対象ＴＰの一部に孔が形成されている。 Further, in the embodiment of the present invention, the case where the pattern image PN includes the missing area HL in which a part of the pattern image PN is missing has been described, but the embodiment of the present invention is not limited to this. For example, a form in which a hole is formed in a part of the test target TP may be used. According to ASTM (American Society for Testing and Materials) standard D6484, a hole is formed in a part of the TP to be tested.
また、本発明の実施形態では、第１制御部８が、撮像部８１１、補完部８１２及び算出部８１３として機能する場合について説明したが、本発明の実施形態はこれに限定されない。制御回路ユニット５０が、撮像部８１１、補完部８１２及び算出部８１３のうちの少なくとも１つとして機能してもよい。例えば、制御回路ユニット５０が、撮像部８１１、補完部８１２及び算出部８１３として機能してもよい。
Also, in the embodiment of the present invention, the case where the
なお、本発明の実施形態に係る変位分布計測装置２００は、あくまでも本発明に係る変位分布計測装置の態様の例示であり、本発明の主旨を逸脱しない範囲において任意に変形および応用が可能である。
Note that the displacement
なお、本発明の実施形態では、「ｐｉｘ２ｐｉｘ」の学習アルゴリズムに基づき学習ステップを説明したが、ディープラーニングを用いないアルゴリズム、例えばＳＶＭ（Ｓａｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やユーザが学習パラメータを直接指定する機械学習でもよい。また、学習による推定ではなく、数理モデルにより定められる決定論的な推定方法を用いても良い。 In the embodiment of the present invention, the learning step has been described based on the "pix2pix" learning algorithm. good. Also, a deterministic estimation method determined by a mathematical model may be used instead of estimation by learning.
１ 引張試験機（材料試験機）
２ 引張試験機本体
４ 制御ユニット
６ カメラ
７ 第２制御部
８ 第１制御部
１０ クロスヘッド
１２ 負荷機構
１４ ロードセル
１５ サーボモータ
２０ ロータリエンコーダ
２１ 上つかみ具
２２ 下つかみ具
２６ テーブル
２８、２９ ねじ棹
３０ 統括制御装置
３２ 表示装置
３４ 試験プログラム実行装置
４０ 信号入出力ユニット
４２ センサアンプ
４３ カウンタ回路
４４ サーボアンプ
５０ 制御回路ユニット
２００ 変位分布計測装置
７１Ａ 第２プロセッサ
７１Ｂ 第２メモリデバイス
７１Ｃ 第２ストレージ装置
７１Ｄ 第２通信装置
７１１ 決定部
７１２ 生成部
７１３ 学習部
７１４ 学習データ記憶部
７１５ 学習済モデル記憶部
８１Ａ 第１プロセッサ（コンピュータ）
８１Ｂ 第１メモリデバイス
８１Ｃ 第１ストレージ装置
８１Ｄ 第１通信装置
８１１ 撮像部
８１２ 補完部
８１３ 算出部
８１４ 学習モデル記憶部
ＤＬ 学習データ
ＨＬ 欠落領域
ＭＤ 学習済モデル
ＰＣ、ＰＣ１、ＰＣ２、ＰＣ３ 全体補完画像（補完画像）
ＰＣＨ、ＰＣＨ１、ＰＣＨ２、ＰＣＨ３ 欠落補完画像
ＰＫ１、ＰＫ２、ＰＫ３ パターン画像
ＰＭ パターン画像
ＰＮ、ＰＮ１、ＰＮ２、ＰＮ３ パターン画像
ＰＳ 位置
ＰＴＮ パターン
Ｑｉｊ、Ｒｉｊ、Ｓｉｊ 黒塗り画像
ＳＺ サイズ
ＴＰ 試験対象
ＴＰ１ 特定面
1 Tensile tester (material tester)
2 Tensile test machine
81B First memory device 81C First storage device 81D
PCH, PCH1, PCH2, PCH3 Missing complement image PK1, PK2, PK3 Pattern image PM Pattern image PN, PN1, PN2, PN3 Pattern image PS Position PTN Pattern Qij, Rij, Sij Black-painted image SZ Size TP Test object TP1 Specific surface
Claims (14)
前記パターンの画像を示すパターン画像を生成する撮像部と、
前記パターン画像が前記パターン画像の一部が欠落した欠落領域を含む場合に、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成する補完部と、
前記補完画像に基づき、前記物体の表面の変位分布を算出する算出部と、
を備える、変位分布計測装置。 A displacement distribution measuring device for measuring a displacement distribution on a surface of an object based on an image of a pattern formed on the surface of the object,
an imaging unit that generates a pattern image representing an image of the pattern;
a complementing unit that complements the pattern image corresponding to the missing region to generate a complementary image when the pattern image includes a missing region in which a part of the pattern image is missing;
a calculation unit that calculates a displacement distribution of the surface of the object based on the complemented image;
A displacement distribution measuring device.
前記補完部は、前記撮像部が前記パターン画像を生成する度に、前記補完画像を生成する、請求項３又は請求項４のいずれか1項に記載の変位分布計測装置。 The imaging unit generates the pattern image every predetermined time,
5. The displacement distribution measuring device according to claim 3 , wherein the complementing section generates the complementary image each time the imaging section generates the pattern image.
前記パターン画像が前記欠落領域を含む場合に、前記欠落領域を含む第１の前記パターン画像の情報を、前記学習済モデルに入力し、前記欠落領域に対応する前記パターン画像を示す第１の前記欠落補完画像の情報を前記学習済モデルから出力させることによって、前記欠落補完画像を生成し、
前記第１の前記パターン画像の後に、前記撮像部が第２の前記パターン画像を生成する度に、前記第２の前記パターン画像における前記欠落領域に対応する前記パターン画像を示す第２の前記欠落補完画像を、前記欠落領域の変形に応じて前記第１の前記欠落補完画像を射影変換することによって生成する、請求項５に記載の変位分布計測装置。 The complementing unit
When the pattern image includes the missing area, information of the first pattern image including the missing area is input to the trained model, and the first pattern image representing the pattern image corresponding to the missing area is generated. generating the missing complement image by outputting information of the missing complement image from the learned model;
After the first pattern image, every time the imaging unit generates the second pattern image, the second missing pattern image showing the pattern image corresponding to the missing region in the second pattern image. 6. The displacement distribution measuring device according to claim 5, wherein a complemented image is generated by projectively transforming the first missing complemented image in accordance with deformation of the missing region.
前記パターンの画像を示すパターン画像を生成する撮像ステップと、
前記パターン画像が前記パターン画像の一部が欠落した欠落領域を含む場合に、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成する補完ステップと、
前記補完画像に基づき、前記物体の表面の変位分布を算出する算出ステップと、
を含む、変位分布計測方法。 A displacement distribution measuring method for measuring a displacement distribution on a surface of an object based on an image of a pattern formed on the surface of the object,
an imaging step of generating a pattern image representing an image of the pattern;
a complementing step of generating a complementary image by complementing the pattern image corresponding to the missing region when the pattern image includes a missing region in which a part of the pattern image is missing;
a calculation step of calculating a displacement distribution of the surface of the object based on the complemented image;
Displacement distribution measurement method, comprising:
前記コンピュータを、
前記パターンの画像を示すパターン画像を生成する撮像部、
前記パターン画像が前記パターン画像の一部が欠落した欠落領域を含む場合に、前記欠落領域に対応する前記パターン画像を補完して補完画像を生成する補完部、及び、
前記補完画像に基づき、前記物体の表面の変位分布を算出する算出部、
として機能させる、変位分布計測装置の制御プログラム。 A control program for a displacement distribution measuring device comprising a computer and measuring a displacement distribution on the surface of the object based on an image of a pattern formed on the surface of the object,
said computer,
an imaging unit that generates a pattern image representing the image of the pattern;
a complementing unit that complements the pattern image corresponding to the missing region to generate a complementary image when the pattern image includes a missing region in which a part of the pattern image is missing;
a calculation unit that calculates a displacement distribution of the surface of the object based on the complemented image;
A control program for a displacement distribution measuring device that functions as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019142751A JP7238676B2 (en) | 2019-08-02 | 2019-08-02 | Displacement distribution measuring device, displacement distribution measuring method, and control program for displacement distribution measuring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019142751A JP7238676B2 (en) | 2019-08-02 | 2019-08-02 | Displacement distribution measuring device, displacement distribution measuring method, and control program for displacement distribution measuring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021025845A JP2021025845A (en) | 2021-02-22 |
| JP7238676B2 true JP7238676B2 (en) | 2023-03-14 |
Family
ID=74664580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019142751A Active JP7238676B2 (en) | 2019-08-02 | 2019-08-02 | Displacement distribution measuring device, displacement distribution measuring method, and control program for displacement distribution measuring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7238676B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7338495B2 (en) * | 2020-01-31 | 2023-09-05 | 株式会社島津製作所 | Displacement distribution measuring device, displacement distribution measuring method, and control program for displacement distribution measuring device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018129036A (en) | 2016-12-21 | 2018-08-16 | ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ | Completion of image |
| WO2018211663A1 (en) | 2017-05-18 | 2018-11-22 | 株式会社Pfu | Measurement device, measurement method, determination method, and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH108264A (en) * | 1996-06-21 | 1998-01-13 | Furukawa Electric Co Ltd:The | Production of magnesium-containing aluminum alloy |
| JP2006078345A (en) * | 2004-09-09 | 2006-03-23 | Toyota Motor Corp | Mark setting method |
| JP6983402B2 (en) * | 2017-10-03 | 2021-12-17 | 国立研究開発法人産業技術総合研究所 | Strain distribution measurement method and its program that are not easily affected by dirt |
-
2019
- 2019-08-02 JP JP2019142751A patent/JP7238676B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018129036A (en) | 2016-12-21 | 2018-08-16 | ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ | Completion of image |
| WO2018211663A1 (en) | 2017-05-18 | 2018-11-22 | 株式会社Pfu | Measurement device, measurement method, determination method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021025845A (en) | 2021-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105818167B (en) | The method that hinged end effector is calibrated using long distance digital camera | |
| JP5567922B2 (en) | Image processing apparatus and control method thereof | |
| US9621793B2 (en) | Information processing apparatus, method therefor, and measurement apparatus | |
| US9118823B2 (en) | Image generation apparatus, image generation method and storage medium for generating a target image based on a difference between a grip-state image and a non-grip-state image | |
| US9230330B2 (en) | Three dimensional sensing method and three dimensional sensing apparatus | |
| US20180211138A1 (en) | Information processing device, information processing method, and storage medium | |
| EP3270104B1 (en) | Shape measuring apparatus and shape measuring method | |
| CN110225321B (en) | Training sample data acquisition system and method for trapezoidal correction | |
| JP7238676B2 (en) | Displacement distribution measuring device, displacement distribution measuring method, and control program for displacement distribution measuring device | |
| GB2577661A (en) | Determination of lithography effective dose uniformity | |
| JP2023088919A (en) | Measuring device and measuring method | |
| JP2020123244A5 (en) | ||
| JPWO2021106529A5 (en) | ||
| JP6772630B2 (en) | 3D measuring device and 3D object recognition method | |
| JP6115639B2 (en) | Information processing apparatus, inspection range calculation method, and program | |
| Eastwood et al. | Autonomous close-range photogrammetry using machine learning | |
| JP4871315B2 (en) | Compound eye photographing apparatus, control method therefor, and program | |
| JP2021061546A5 (en) | ||
| JP5770021B2 (en) | Book reading system and book reading method | |
| JP7338495B2 (en) | Displacement distribution measuring device, displacement distribution measuring method, and control program for displacement distribution measuring device | |
| CN112361982B (en) | Method and system for extracting three-dimensional data of large-breadth workpiece | |
| KR101089590B1 (en) | Method for processing multi-image and measurement device of three dimensional shape | |
| JP2023553004A (en) | Deep learning-based image augmentation for additive manufacturing | |
| TWI724594B (en) | Apparatus for three-dimensional measurement | |
| JP6127399B2 (en) | Stereo camera device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230213 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7238676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |