JP2017138288A - Image measurement device and program - Google Patents
Image measurement device and program Download PDFInfo
- Publication number
- JP2017138288A JP2017138288A JP2016021307A JP2016021307A JP2017138288A JP 2017138288 A JP2017138288 A JP 2017138288A JP 2016021307 A JP2016021307 A JP 2016021307A JP 2016021307 A JP2016021307 A JP 2016021307A JP 2017138288 A JP2017138288 A JP 2017138288A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- partial
- measurement
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、測定対象物を撮像して得られた画像に基づき、非接触で測定対象物の形状を測定する画像測定機及びプログラムに関する。 The present invention relates to an image measuring machine and a program for measuring the shape of a measurement object in a non-contact manner based on an image obtained by imaging the measurement object.
画像測定機は、測定対象物（以下「ワーク」という。）の画像を撮像し、当該画像を解析して、直線、円、多角形等の形状を抽出し、抽出した形状の距離、傾き、径、幅などの測定結果を得る装置である。 The image measuring machine captures an image of an object to be measured (hereinafter referred to as “work”), analyzes the image, extracts a shape such as a straight line, a circle, or a polygon, and extracts the distance, inclination, It is a device that obtains measurement results such as diameter and width.
ワークの大きさはさまざまであり、１回の撮像で撮像視野に収まりきらないワークを測定する場合には、ワーク全体がカバーされるように複数の部分画像を撮像し、当該複数の部分画像を貼り合わせることにより合成して１枚の全体画像を形成するイメージステッチと呼ばれる広視野化手法が一般に用いられる（例えば、特許文献１参照）。 The size of the workpiece varies, and when measuring a workpiece that does not fit in the imaging field of view in a single imaging, multiple partial images are captured so that the entire workpiece is covered, and the multiple partial images are captured. In general, a wide field-of-view technique called image stitching that forms a single whole image by combining them together is used (see, for example, Patent Document 1).
図２０は、イメージステッチを行う場合の画像測定方法を示す模式図である。平面を構成する測定機のステージ１００上にワークＷが載置され、当該平面において直交するＸ軸方向、Ｙ軸方向にステージ１００を順次移動させることにより、固定された撮像ユニット１２０をワークＷに対して相対的に移動させながら、複数の部分画像で測定範囲全体を網羅するよう部分画像の撮像を繰り返す。ステージ１００に対する撮像ユニット１２０の相対的移動は、ステージ１００を固定して撮像ユニット１２０を移動させることにより行っても構わない。 FIG. 20 is a schematic diagram illustrating an image measurement method when performing image stitching. A workpiece W is placed on a stage 100 of a measuring machine that constitutes a plane, and the stage 100 is sequentially moved in the X-axis direction and the Y-axis direction orthogonal to each other in the plane, whereby the fixed imaging unit 120 is placed on the workpiece W. While moving relatively, the partial image capturing is repeated so that the entire measurement range is covered with a plurality of partial images. The relative movement of the imaging unit 120 with respect to the stage 100 may be performed by moving the imaging unit 120 while fixing the stage 100.
図２０は、測定対象物をマトリックス状に３×３の９つの領域に分け、各領域を撮像した９枚の部分画像により撮像範囲全体の画像を形成する場合の撮像ユニット１２０の相対的移動経路を例示したものである。この場合、撮像ユニット１２０の撮像視野の中心位置（以下では測定位置という）が、各領域の中心に対応するＰ１→Ｐ２→…→Ｐ９の順に移動するように、ステージ１００を順次移動させる。ステージ１００は、各測定位置（Ｐ１〜Ｐ９）において停止し、各測定位置で停止した状態で、撮像ユニット１２０が部分画像の撮像を行う。撮像ユニット１２０は、撮像した部分画像を出力する際、撮像した順番を示す番号を付して出力する。また、撮像ユニット１２０が撮像した位置は撮像の都度、位置取得手段（図示略）が取得し、撮像した順番を示す番号と対応させて保持する。そして、全体画像形成手段（図示略）が、撮像した順番を示す番号をキーに各部分画像と各撮像位置とを対応させて貼り合わせることにより測定範囲全体をカバーする一枚の全体画像を形成する。 FIG. 20 shows the relative movement path of the imaging unit 120 when the measurement object is divided into nine 3 × 3 areas in a matrix and an image of the entire imaging range is formed by nine partial images obtained by imaging each area. Is illustrated. In this case, the stage 100 is sequentially moved so that the center position of the imaging field of the imaging unit 120 (hereinafter referred to as the measurement position) moves in the order of P1 → P2 →... → P9 corresponding to the center of each region. The stage 100 stops at each measurement position (P1 to P9), and the imaging unit 120 captures a partial image while stopped at each measurement position. When outputting the captured partial image, the imaging unit 120 attaches a number indicating the imaging order and outputs it. Further, the position captured by the imaging unit 120 is acquired by a position acquisition unit (not shown) every time an image is captured, and is stored in correspondence with a number indicating the order of imaging. Then, the whole image forming means (not shown) forms one whole image covering the whole measurement range by pasting each partial image and each imaging position in correspondence with each other using the number indicating the imaging order as a key. To do.
従来の方法では、画像を撮像する都度停止するため、イメージステッチに使用する複数の部分画像の撮像に必要な時間の短縮に限界がある。また、移動停止を何度も繰り返すことで、加減速時にワークがずれて、イメージステッチの精度が低下する恐れがある。 Since the conventional method stops every time an image is captured, there is a limit to shortening the time required for capturing a plurality of partial images used for image stitching. Further, if the movement stop is repeated many times, the workpiece may be displaced during acceleration / deceleration, and the accuracy of the image stitch may be reduced.
本発明の目的は、特別なハードウェアを使用することなく、かつ、低コストに、イメージステッチに使用する複数の部分画像をより速く撮像することを可能とするとともに、高精度なイメージステッチを可能とする画像測定機及びプログラムを提供することにある。 The object of the present invention is to enable a high-accuracy image stitching while enabling a plurality of partial images used for image stitching to be taken faster without using special hardware and at a low cost. An image measuring machine and a program are provided.
（１）本発明の画像測定機は、測定対象物を撮像する撮像手段と、測定対象物と撮像手段とを相対的に移動させる移動手段と、撮像手段が撮像した位置を取得する位置取得手段と、移動手段により撮像手段を測定対象物に対して一定速度で移動させながら撮像手段に測定対象物の部分画像を撮像させる制御手段と、撮像手段により撮像された複数の部分画像を、位置取得手段が取得した位置情報に基づき貼り合わせて測定対象物の全体画像を形成する全体画像形成手段と、を備え、全体画像形成手段は、複数の部分画像の貼り合わせに先立ち又は貼り合わせの後に、撮像手段のブレに基づく各部分画像のブレを除去する。
（２）このような画像のブレは、例えば、撮像手段の位置情報、既知のブレ方向及びブレ量に基づきMotion deblurring処理により除去するとよい。
(1) An image measuring machine according to the present invention includes an imaging unit that images a measurement object, a moving unit that relatively moves the measurement object and the imaging unit, and a position acquisition unit that acquires a position captured by the imaging unit. And a control unit that causes the imaging unit to capture a partial image of the measurement target while moving the imaging unit with respect to the measurement target by the moving unit, and a position acquisition of the plurality of partial images captured by the imaging unit. A whole image forming unit that forms a whole image of the measurement object by pasting based on the positional information acquired by the unit, and the whole image forming unit is prior to or after the pasting of the plurality of partial images. The blur of each partial image based on the blur of the imaging means is removed.
(2) Such image blur may be removed by motion deblurring processing based on, for example, position information of the imaging unit, known blur direction, and blur amount.
撮像手段を一定速度で移動させつつ撮像することで、全体画像の形成に必要な複数の部分画像の撮像を速やかに行うことができ、かつ、加減速する回数が減り動作が滑らかになることで、ワークのずれの発生を抑制することができる。また、撮像手段を移動させつつ撮像することで生じる画像のブレを除去することで、複数の部分画像を高精度に合成して全体画像を形成することができる。更に、露光時間を長くしても、これにより生じたブレも除去されるため、明るい画像を得ることができる。 By imaging while moving the imaging means at a constant speed, it is possible to quickly capture a plurality of partial images necessary for forming the entire image, and the number of times of acceleration / deceleration is reduced, and the operation is smoothed. The occurrence of workpiece displacement can be suppressed. Further, by removing the blurring of the image that occurs when the image pickup unit is moved, the whole image can be formed by combining a plurality of partial images with high accuracy. Further, even if the exposure time is extended, the blur caused by the exposure time is removed, so that a bright image can be obtained.
（３）撮像手段はローリングシャッター方式でシャッター動作を行い、全体画像形成手段は、複数の部分画像の貼り合わせに先立ち、部分画像内の撮像タイミングのずれに基づく各部分画像の歪みを除去する。（４）このような画像の歪みは、例えば、撮像手段の位置情報、ブランキングエリア、露光時間、動作クロック、移動速度、及び移動方向に基づき補正する。 (3) The imaging unit performs a shutter operation by a rolling shutter method, and the entire image forming unit removes distortion of each partial image based on a shift in imaging timing in the partial images prior to the joining of the plurality of partial images. (4) Such image distortion is corrected based on, for example, position information of the imaging unit, blanking area, exposure time, operation clock, moving speed, and moving direction.
ローリングシャッター方式の撮像手段を採用すると、部分画像内に撮像タイミングのずれが生じ、これに基づき画像の歪みが生じるため、これを除去することでローリングシャッター方式の撮像手段の場合にも、複数の部分画像を高精度に合成して全体画像を形成することができる。 When the rolling shutter type imaging means is adopted, the imaging timing shifts in the partial image, and based on this, the image is distorted. The entire image can be formed by combining the partial images with high accuracy.
（５）制御手段は、測定対象物をマトリックス状に分割した複数の領域について、撮像手段を最初の列から最後の列まで移動させて一行分の各領域の部分画像を撮像させ、続いて、次の行の最後の列から最初の列まで移動させて一行分の各領域の部分画像を撮像させ、再び最初の列から最後の列まで移動させて一行分の各領域の部分画像を撮像させる動作を、全ての領域の部分画像の撮像が終わるまで繰り返す制御を行う。 (5) The control means moves the imaging means from the first column to the last column for a plurality of areas obtained by dividing the measurement object in a matrix, and takes a partial image of each area for one row. Move from the last column of the next row to the first column to capture a partial image of each region for one row, and move again from the first column to the last column to capture a partial image of each region for one row Control is performed to repeat the operation until the capturing of partial images in all regions is completed.
測定対象物をマトリックス状に分割した複数の各領域の撮像は、撮像手段を最初の列から最後の列まで移動させて一行分の各領域の部分画像を撮像させ、続いて、次の行の最初の列から最後の列まで移動させて一行分の各領域の部分画像を撮像させる動作を、全ての領域の部分画像の撮像が終わるまで繰り返す制御を行うことによっても可能である。しかし、この制御によると、次の行の撮像にあたり撮像手段を最後の列から最初の列まで戻す必要がある。本発明の方法によれば、最後の列から最初の列に戻す過程を次の行の撮像に利用するため、撮像経路を短縮することができ、より速やかに複数の部分画像の撮像を行うことができる。 The imaging of each of the plurality of regions obtained by dividing the measurement object in a matrix form is performed by moving the imaging unit from the first column to the last column to capture a partial image of each region for one row, and then for the next row. It is also possible to repeat the operation of moving from the first column to the last column and capturing a partial image of each region for one row until the partial images of all regions are captured. However, according to this control, it is necessary to return the imaging means from the last column to the first column when imaging the next row. According to the method of the present invention, since the process of returning from the last column to the first column is used for imaging the next row, the imaging path can be shortened, and a plurality of partial images can be captured more quickly. Can do.
（１）〜（５）は、従来のハードウェアにより実現することができるため、低コストに実現することができる。 Since (1) to (5) can be realized by conventional hardware, it can be realized at low cost.
以下、本発明の実施形態を図面を参照しつつ説明する。図１は、画像測定機１の構成を示す斜視図である。画像測定機１は、ステージ１００と、位置取得手段１１０と、撮像ユニット１２０と、リモートボックス１３０と、コンピュータシステム１４０と、を備える。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a perspective view showing the configuration of the image measuring machine 1. The image measuring machine 1 includes a stage 100, a position acquisition unit 110, an imaging unit 120, a remote box 130, and a computer system 140.
ステージ１００は、その上面が水平面となるように配置され、当該上面にワーク（測定対象物）Ｗが載置される。ステージ１００の上面のうち少なくともワークＷが載置される部分は、ガラス等の光を透過する素材で形成される。ステージ１００は、図示されていないＸ軸駆動モータおよびＹ軸駆動モータにより駆動され、水平面と平行なＸ軸方向及びＹ軸方向に移動可能とされる。各軸の駆動モータに対する駆動制御信号は、後述のリモートボックス１３０やコンピュータシステム１４０から各軸の駆動モータへと与えられる。 The stage 100 is disposed such that the upper surface thereof is a horizontal plane, and a workpiece (measuring object) W is placed on the upper surface. Of the upper surface of the stage 100, at least a portion on which the workpiece W is placed is formed of a material that transmits light, such as glass. The stage 100 is driven by an X-axis drive motor and a Y-axis drive motor that are not shown, and is movable in the X-axis direction and the Y-axis direction parallel to the horizontal plane. A drive control signal for the drive motor of each axis is given to the drive motor of each axis from a remote box 130 or a computer system 140 described later.
図２は、撮像ユニット１２０の構成をステージ１００とともに示す模式図である。撮像ユニット１２０は、光学系１２２、撮像手段１２４、および光源１２６を備える。光学系１２２は、例えば複数のレンズ及び絞りを組み合わせてテレセントリック光学系を構成する。テレセントリック光学系では主光線が平行光とみなせるため、撮像した画像内における寸法がＺ軸方向（高さ方向）の位置に依存しない。このため、起伏（例えば段差や孔部等）があるワークＷを測定するのに好適である。光源１２６は、ワークＷの画像を撮像する際にコンピュータシステム１４０による制御の下、少なくともワークＷの撮像される部分に光を照射する。本実施形態では、光学系１２２を介してワークＷに対し上方（つまり撮像手段１２４側）から光を照射する落射照明用の光源１２６ａ、及びワークＷに対し下方（つまりステージ１００の裏側）から光を照射する透過照明用の光源１２６ｂを備える。撮像手段１２４は、例えばＣＣＤ、ＣＭＯＳ等の二次元イメージセンサである。撮像手段１２４の受光面には、光学系１２２によってワークＷの像が結像される。撮像手段１２４は、当該結像された像を撮像して、所定のフォーマットの画像データを出力する。この画像データには、画像を構成する画素の情報の他、少なくとも画像の撮影順を示すインデックスが含まれる。撮像ユニット１２０は、撮像手段１２４が出力する画像信号を、コンピュータシステム１４０に送信する。コンピュータシステム１４０と撮像ユニット１２０とは、例えばＵＳＢ（Universal Serial Bus）のような汎用の通信規格にて接続される。また、撮像ユニット１２０は１枚（１フレーム）の画像の撮像を完了するタイミングでトリガ信号をラッチ手段１１８に出力する。 FIG. 2 is a schematic diagram showing the configuration of the imaging unit 120 together with the stage 100. The imaging unit 120 includes an optical system 122, an imaging unit 124, and a light source 126. The optical system 122 constitutes a telecentric optical system by combining, for example, a plurality of lenses and an aperture. In the telecentric optical system, the principal ray can be regarded as parallel light, so the size in the captured image does not depend on the position in the Z-axis direction (height direction). For this reason, it is suitable for measuring the workpiece | work W with undulations (for example, a level | step difference, a hole, etc.). The light source 126 irradiates at least a portion to be imaged of the workpiece W under the control of the computer system 140 when capturing an image of the workpiece W. In the present embodiment, a light source 126a for epi-illumination that irradiates light from above (that is, the imaging unit 124 side) to the workpiece W via the optical system 122 and light from below (that is, the back side of the stage 100) to the workpiece W. Is provided with a light source 126b for transmitted illumination. The imaging means 124 is a two-dimensional image sensor such as a CCD or CMOS. An image of the workpiece W is formed on the light receiving surface of the imaging unit 124 by the optical system 122. The imaging unit 124 captures the formed image and outputs image data in a predetermined format. This image data includes at least an index indicating the shooting order of the images in addition to information on the pixels constituting the image. The imaging unit 120 transmits the image signal output from the imaging unit 124 to the computer system 140. The computer system 140 and the imaging unit 120 are connected by a general-purpose communication standard such as USB (Universal Serial Bus). In addition, the imaging unit 120 outputs a trigger signal to the latch unit 118 at a timing when imaging of one image (one frame) is completed.
撮像ユニット１２０は、図示されていないＺ軸駆動モータにより駆動され、Ｚ軸方向（すなわちステージ１００の上面に垂直な方向）に移動可能とされる。撮像ユニット１２０のＺ軸方向の位置を調整することにより、ピント調整が行われる。Ｚ軸駆動モータに対する駆動制御信号は、後述のリモートボックス１３０やコンピュータシステム１４０から与えられる。 The imaging unit 120 is driven by a Z-axis drive motor (not shown) and can move in the Z-axis direction (that is, the direction perpendicular to the upper surface of the stage 100). The focus adjustment is performed by adjusting the position of the imaging unit 120 in the Z-axis direction. A drive control signal for the Z-axis drive motor is given from a remote box 130 or a computer system 140 described later.
図３は、位置取得手段１１０の構成を示すブロック図である。位置取得手段１１０は、Ｘ軸エンコーダ１１２、Ｙ軸エンコーダ１１４、Ｚ軸エンコーダ１１６、及びラッチ手段１１８を備える。 FIG. 3 is a block diagram illustrating a configuration of the position acquisition unit 110. The position acquisition unit 110 includes an X-axis encoder 112, a Y-axis encoder 114, a Z-axis encoder 116, and a latch unit 118.
Ｘ軸エンコーダ１１２は、ステージ１００のＸ軸方向の位置座標を測定し出力する。Ｙ軸エンコーダ１１４は、ステージ１００のＹ軸方向の位置座標を測定し出力する。Ｚ軸エンコーダ１１６は、撮像ユニット１２０のＺ軸方向の位置座標を測定し出力する。各エンコーダは、目盛が刻まれたスケールとスケールの目盛を読み取るスケール読み取り部とを備える。スケールは各軸に沿ってステージ１００や撮像ユニット１２０の可動部分に取り付けられる。一方、スケール読み取り部は、非可動部分に配置される。 The X-axis encoder 112 measures and outputs the position coordinates of the stage 100 in the X-axis direction. The Y-axis encoder 114 measures and outputs the position coordinates of the stage 100 in the Y-axis direction. The Z-axis encoder 116 measures and outputs the position coordinates of the imaging unit 120 in the Z-axis direction. Each encoder includes a scale having a scale and a scale reading unit that reads the scale. The scale is attached to the movable part of the stage 100 and the imaging unit 120 along each axis. On the other hand, the scale reading unit is disposed in the non-movable part.
ラッチ手段１１８は、カウンタ１１８ａとバッファ１１８ｂとを備える。カウンタ１１８ａは外部からトリガ信号（例えばパルス信号）が供給されると、カウント値を１増加させる。なお、カウンタ１１８ａの値は、コンピュータシステム１４０の指示に基づき適宜リセットされる。バッファ１１８ｂは複数のアドレスの記憶領域を有し、トリガ信号が供給されたタイミングで、カウンタ１１８ａのカウント値に応じたアドレスの記憶領域に、各軸のエンコーダの出力値をラッチし、記憶する。トリガ信号は、例えば撮像手段１２４から、１枚の画像の撮像が完了するタイミングで供給されるようにするとよい。ラッチ手段１１８が保持する各軸の位置座標は、アドレス値（つまりカウント値）と対応付けられて、適宜、コンピュータシステム１４０に取り込まれる。コンピュータシステム１４０とラッチ手段１１８とは、例えばＵＳＢ（Universal Serial Bus）のような汎用の通信規格にて接続される。画像データと位置座標はそれぞれ別々にコンピュータシステム１４０に取り込まれるが、画像データには撮像順を示すインデックスが付され、位置座標には撮像順を示すカウント値が付されるため、非同期でコンピュータシステム１４０に取り込まれたとしても、取り込み後に対応付けることが可能である。 The latch means 118 includes a counter 118a and a buffer 118b. The counter 118a increases the count value by 1 when a trigger signal (for example, a pulse signal) is supplied from the outside. Note that the value of the counter 118 a is reset as appropriate based on an instruction from the computer system 140. The buffer 118b has a plurality of address storage areas, and latches and stores the output values of the encoders of the respective axes in the address storage area corresponding to the count value of the counter 118a at the timing when the trigger signal is supplied. The trigger signal may be supplied, for example, from the imaging unit 124 at a timing at which imaging of one image is completed. The position coordinate of each axis held by the latch unit 118 is associated with an address value (that is, a count value) and is taken into the computer system 140 as appropriate. The computer system 140 and the latch unit 118 are connected by a general-purpose communication standard such as USB (Universal Serial Bus). The image data and the position coordinates are separately taken into the computer system 140, but since the index indicating the imaging order is attached to the image data and the count value indicating the imaging order is attached to the position coordinates, the computer system is asynchronous. Even if it is captured in 140, it can be associated after capture.
図１に戻ると、リモートボックス１３０は、ステージ１００および撮像ユニット１２０の位置を設定するための操作手段であり、操作者による操作に応じて、有線または無線の通信によりＸ軸駆動モータ、Ｙ軸駆動モータ、およびＺ軸駆動モータに対する駆動制御信号を送信する。リモートボックス１３０は、ジョイスティック１３２とジョグシャトル１３４を備える。ジョイスティック１３２は、ステージ１００は、ステージ１００の位置を設定するための操作入力手段であり、リモートボックス１３０は、ジョイスティック１３２の傾斜方向に応じて、ステージ１００をＸ軸方向及びＹ軸方向に移動させるための駆動制御信号を送信する。ジョグシャトル１３４は、撮像ユニット１２０のＺ軸方向位置を設定するための操作入力手段であり、リモートボックス１３０は、ジョグシャトル１３４の回転方向、回転量、及び回転速度等に応じて、撮像ユニット１２０をＺ軸方向に移動させるための駆動制御信号を送信する。 Returning to FIG. 1, the remote box 130 is an operation means for setting the positions of the stage 100 and the imaging unit 120, and an X-axis drive motor, a Y-axis by wired or wireless communication according to an operation by the operator. Drive control signals for the drive motor and the Z-axis drive motor are transmitted. The remote box 130 includes a joystick 132 and a jog shuttle 134. The joystick 132 is an operation input unit for setting the position of the stage 100. The remote box 130 moves the stage 100 in the X-axis direction and the Y-axis direction according to the tilt direction of the joystick 132. A drive control signal is transmitted. The jog shuttle 134 is an operation input means for setting the position of the imaging unit 120 in the Z-axis direction, and the remote box 130 is controlled by the imaging unit 120 according to the rotation direction, rotation amount, rotation speed, and the like of the jog shuttle 134. Transmits a drive control signal for moving in the Z-axis direction.
コンピュータシステム１４０は、コンピュータ本体１４１、キーボード１４２、マウス１４３及びディスプレイ１４４を備える。図４は、コンピュータ本体１４１の構成を示すブロック図である。コンピュータ本体１４１は、制御の中心をなすＣＰＵ４０と、記憶部４１と、ワークメモリ４２と、インタフェース（図４において「ＩＦ」と示す。）４３、４４と、ディスプレイ１４４での表示を制御する表示制御部４５とを備える。 The computer system 140 includes a computer main body 141, a keyboard 142, a mouse 143, and a display 144. FIG. 4 is a block diagram illustrating a configuration of the computer main body 141. The computer main body 141 includes a CPU 40, a storage unit 41, a work memory 42, interfaces (indicated as “IF” in FIG. 4) 43 and 44, and display control for controlling display on the display 144. Part 45.
キーボード１４２又はマウス１４３から入力されるオペレータの指示情報は、インタフェース４３を介してＣＰＵ４０に入力される。インタフェース４４は、撮像ユニット１２０およびステージ１００と接続され、撮像ユニット１２０およびステージ１００に対しＣＰＵ４０からの各種制御信号を供給し、撮像ユニット１２０およびステージ１００から各種のステータス情報や測定結果を受信してＣＰＵ４０に入力する。 Operator instruction information input from the keyboard 142 or the mouse 143 is input to the CPU 40 via the interface 43. The interface 44 is connected to the imaging unit 120 and the stage 100, supplies various control signals from the CPU 40 to the imaging unit 120 and the stage 100, and receives various status information and measurement results from the imaging unit 120 and the stage 100. Input to the CPU 40.
表示制御部４５は、ディスプレイ１４４に撮像ユニット１２０で撮像した画像を表示する。また、表示制御部４５は、撮像ユニット１２０により撮像した画像の他、画像測定機１への制御指示を入力するためのインタフェースや撮像した画像を解析するためのツールのインタフェース等をディスプレイ１４４に表示する。 The display control unit 45 displays an image captured by the imaging unit 120 on the display 144. In addition to the image captured by the imaging unit 120, the display control unit 45 displays an interface for inputting a control instruction to the image measuring machine 1, a tool interface for analyzing the captured image, and the like on the display 144. To do.
ワークメモリ４２は、ＣＰＵ４０の各種処理のための作業領域を提供する。記憶部４１は、例えばハードディスクドライブやＲＡＭ等により構成され、ＣＰＵ４０により実行されるプログラム、撮像ユニット１２０で撮像して得られた画像データ等を格納する。 The work memory 42 provides a work area for various processes of the CPU 40. The storage unit 41 includes, for example, a hard disk drive, a RAM, and the like, and stores a program executed by the CPU 40, image data obtained by imaging with the imaging unit 120, and the like.
ＣＰＵ４０は、各インタフェースを介した各種入力情報、オペレータの指示や記憶部４１に格納された測定定義プログラム（パートプログラム）等に基づいて、撮像ユニット１２０、Ｘ軸駆動モータ、Ｙ軸駆動モータ、Ｚ軸駆動モータ等を制御し、撮像ユニット１２０の移動経路の設定、及び移動速度や露光時間の調整、光源１２６の光量の調整、撮像ユニット１２０による二次元画像の撮像、複数の部分画像を貼り合わせるイメージステッチ処理、撮像して得られた全体画像の解析等の各種の処理を実行する。 The CPU 40, based on various input information via each interface, an operator instruction, a measurement definition program (part program) stored in the storage unit 41, and the like, the imaging unit 120, the X-axis drive motor, the Y-axis drive motor, and the Z Control the shaft drive motor, etc., set the movement path of the imaging unit 120, adjust the moving speed and exposure time, adjust the light quantity of the light source 126, capture the two-dimensional image by the imaging unit 120, and paste a plurality of partial images Various processes such as an image stitch process and an analysis of an entire image obtained by imaging are executed.
以下では、上述の画像測定機１を用いて行う測定について説明する。 Below, the measurement performed using the above-mentioned image measuring machine 1 is demonstrated.
〔基本的な画像測定〕
はじめに、オペレータによるジョイスティック１３２の操作またはコンピュータシステム１４０による制御により、ワークＷが撮像視野内に入るようステージ１００を移動する。そして、ワークＷにピントが合うよう、撮像ユニット１２０のＺ軸方向位置を調節する。ピントをワークＷに合せた後、撮像手段１２４により測定用の画像を撮像する。このとき、撮像した画像とともに、Ｘ軸エンコーダ１１２およびＹ軸エンコーダ１１４が出力するステージ１００の座標が、コンピュータシステム１４０に取り込まれ、記憶部４１に格納される。具体的には、撮像手段１２４が１枚の画像の撮像を完了するタイミングでラッチ手段１１８に対するトリガ信号となるパルスを出力する。ラッチ手段１１８は、当該パルスの立ち上がり遷移のタイミングで（つまり、画像の撮像完了とほぼ同時に）、各軸の位置座標をラッチし保持する。コンピュータシステム１４０は、撮像手段１２４から画像信号を取り込むとともに、ラッチ手段１１８から画像を撮像したときの位置座標を取りこみ、両者を対応付けて記憶する。
[Basic image measurement]
First, the stage 100 is moved so that the workpiece W enters the imaging field of view by the operation of the joystick 132 by the operator or the control by the computer system 140. Then, the Z-axis direction position of the imaging unit 120 is adjusted so that the work W is in focus. After focusing on the workpiece W, an image for measurement is picked up by the image pickup means 124. At this time, along with the captured image, the coordinates of the stage 100 output by the X-axis encoder 112 and the Y-axis encoder 114 are captured by the computer system 140 and stored in the storage unit 41. Specifically, a pulse serving as a trigger signal for the latch unit 118 is output at a timing when the imaging unit 124 completes imaging of one image. The latch means 118 latches and holds the position coordinates of each axis at the rising transition timing of the pulse (that is, almost simultaneously with the completion of image capturing). The computer system 140 captures an image signal from the image capturing unit 124, captures the position coordinates when the image is captured from the latch unit 118, and stores both in association with each other.
コンピュータシステム１４０は、得られた測定用の画像を、当該画像を解析するための測定ツールのインタフェースとともに、ディスプレイ１４４に表示する。図５は、画面表示の例を示す図である。この画面表示は、コンピュータシステム１４０のＣＰＵ４０で実行されるプログラム（測定用アプリケーションソフトウェア）によってディスプレイ１４４に映し出される。 The computer system 140 displays the obtained measurement image on the display 144 together with a measurement tool interface for analyzing the image. FIG. 5 is a diagram illustrating an example of a screen display. This screen display is displayed on the display 144 by a program (measurement application software) executed by the CPU 40 of the computer system 140.
図５に示すように、プログラムの実行によってディスプレイ１４４にはメインウィンドウＭＷが表示される。また、メインウィンドウＭＷの中には複数のウィンドウ（第１ウィンドウＷ１〜第８ウィンドウＷ８）が表示される。メインウィンドウＭＷの上側には、メニューや各種操作及び設定のためのアイコンも表示される。なお、本実施形態では一例として８つのウィンドウを表示する例を示すが、必要に応じて８つ以外のウィンドウを表示してもよいし、ウィンドウの分割・統合・用途に応じた省略をしてもよい。また、各ウィンドウのレイアウトはオペレータの操作によって自由に変更することができる。 As shown in FIG. 5, a main window MW is displayed on the display 144 by executing the program. A plurality of windows (first window W1 to eighth window W8) are displayed in the main window MW. Menus and icons for various operations and settings are also displayed on the upper side of the main window MW. In this embodiment, an example in which eight windows are displayed is shown as an example. However, windows other than eight may be displayed as necessary, or may be omitted according to window division / integration / use. Also good. The layout of each window can be freely changed by the operation of the operator.
第１ウィンドウＷ１には、撮像ユニット１２０で取り込んだワークＷの画像ＷＧが表示される。オペレータは、例えばマウス１４３やリモートボックス１３０のジョイスティック１３２を操作することで第１ウィンドウＷ１に表示させるワークＷの画像ＷＧの位置を調整することができる。また、オペレータは、例えばマウス１４３によるアイコンの選択によって、ワークＷの画像ＷＧを拡大・縮小することもできる。 In the first window W1, an image WG of the workpiece W captured by the imaging unit 120 is displayed. The operator can adjust the position of the image WG of the work W displayed on the first window W1 by operating the mouse 143 or the joystick 132 of the remote box 130, for example. The operator can also enlarge / reduce the image WG of the workpiece W by selecting an icon with the mouse 143, for example.
第２ウィンドウＷ２には、オペレータによって選択可能な測定ツールのアイコンが表示される。測定ツールのアイコンは、ワークＷの画像ＷＧから測定ポイントを指定するための指定方法に対応して設けられている。測定ツールの具体例としては、直線のエッジ検出ツール、円形のエッジ検出ツール等が挙げられる。 In the second window W2, icons of measurement tools that can be selected by the operator are displayed. The measurement tool icon is provided corresponding to a designation method for designating a measurement point from the image WG of the workpiece W. Specific examples of the measurement tool include a straight edge detection tool and a circular edge detection tool.
第３ウィンドウＷ３には、オペレータによって選択可能なファンクションのアイコンが表示される。ファンクションのアイコンは、測定方法ごとに設けられている。例えば、１点の座標を測定する方法、直線の長さを測定する方法、円形を測定する方法、楕円形を測定する方法、角穴を測定する方法、長穴を測定する方法、ピッチを測定する方法、２つの線の交差を測定する方法などである。コンピュータシステム１４０は、オペレータの選択に従い、直線の長さ、直線間の距離、円の径などの寸法の測定や、真直度、真円度、平行度等の理想的な幾何形状からのずれ（狂い）の評価を行う。 In the third window W3, icons of functions that can be selected by the operator are displayed. A function icon is provided for each measurement method. For example, a method of measuring the coordinates of one point, a method of measuring the length of a straight line, a method of measuring a circle, a method of measuring an ellipse, a method of measuring a square hole, a method of measuring a slot, and measuring a pitch Or a method of measuring the intersection of two lines. The computer system 140 measures dimensions such as the length of straight lines, the distance between straight lines, the diameter of a circle, and the deviation from an ideal geometric shape such as straightness, roundness, parallelism, etc. Evaluate crazy.
第４ウィンドウＷ４には、測定に関する操作手順を表すガイダンスが表示される。 In the fourth window W4, guidance representing an operation procedure related to measurement is displayed.
第５ウィンドウＷ５には、撮像ユニット１２０からワークＷに照射する照明をコントロールするための各種スライダが表示される。オペレータは、このスライダを操作することで、ワークＷに対して所望の照明を当てることができる。 In the fifth window W5, various sliders for controlling the illumination irradiated from the imaging unit 120 to the work W are displayed. The operator can apply desired illumination to the workpiece W by operating this slider.
第６ウィンドウＷ６には、ステージ１００のＸＹ座標値が表示される。第６ウィンドウＷ６に表示されるＸＹ座標値は、所定の原点に対するステージ１００のＸ軸方向の座標及びＹ軸方向の座標である。 In the sixth window W6, the XY coordinate values of the stage 100 are displayed. The XY coordinate values displayed in the sixth window W6 are the X-axis direction coordinates and the Y-axis direction coordinates of the stage 100 with respect to a predetermined origin.
第７ウィンドウＷ７には、公差判定結果が表示される。すなわち、第７ウィンドウＷ７には、公差の判定を行うことができる測定方法を選択した場合に、その結果が表示される。 In the seventh window W7, the tolerance determination result is displayed. That is, in the seventh window W7, when a measurement method capable of determining tolerance is selected, the result is displayed.
第８ウィンドウＷ８には、測定結果が表示される。すなわち、第８ウィンドウＷ８には、所定の演算によって測定結果を得る測定方法が選択された場合に、その測定結果が表示される。なお、第７ウィンドウＷ７の交差判定結果及び第８ウィンドウＷ８の測定結果の表示の詳細は図示を省略する。 The measurement result is displayed in the eighth window W8. That is, in the eighth window W8, when a measurement method for obtaining a measurement result by a predetermined calculation is selected, the measurement result is displayed. The details of display of the intersection determination result of the seventh window W7 and the measurement result of the eighth window W8 are not shown.
〔イメージステッチ用の部分画像の撮像〕
撮像ユニット１２０による１回の撮像範囲よりも広い測定範囲を測定する場合、ステージ１００をＸＹ軸方向に順次移動させることにより撮像ユニット１２０をワークＷに対し相対的に移動させながら、複数の画像で測定範囲全体を網羅するよう撮像を繰り返し、このようにして得られた複数の画像を貼り合わせて測定範囲全体をカバーする一枚の大きな画像を合成するイメージステッチを行う。以下では、図６に示すように９枚の画像に分けて撮像範囲全体を撮像する場合を例に説明するが、貼り合わせる画像の数はこれに限定されないことは言うまでもない。
[Capturing partial images for image stitching]
When measuring a measurement range wider than a single imaging range by the imaging unit 120, the stage 100 is sequentially moved in the XY-axis direction to move the imaging unit 120 relative to the workpiece W while using a plurality of images. Image capturing is repeated so as to cover the entire measurement range, and a plurality of images obtained in this manner are bonded together to perform image stitching that combines a single large image that covers the entire measurement range. In the following, a case where the entire imaging range is imaged by dividing it into nine images as shown in FIG. 6 will be described as an example, but it goes without saying that the number of images to be combined is not limited to this.
コンピュータシステム１４０は、１回の撮像範囲よりも広い測定範囲を測定することが要求された場合に、自動的に、またはオペレータの操作に従い、イメージステッチにより要求の測定範囲を撮像するための複数の測定位置を決定する。複数の測定位置は、ある撮像位置での視野の５％程度が、隣接する測定領域での視野と重複するように決定するとよい。 When the computer system 140 is required to measure a measurement range wider than one imaging range, the computer system 140 automatically or according to the operation of the operator, a plurality of units for imaging the required measurement range by image stitching. Determine the measurement position. The plurality of measurement positions may be determined so that about 5% of the visual field at a certain imaging position overlaps with the visual field in the adjacent measurement region.
撮像ユニット１２０のワークＷに対する移動経路は、図２０に示す経路をとってもよいが、複数の画像を撮像するための時間が最短となるように決定するのが望ましい。図６は、測定対象物をマトリックス状に３×３の９つの領域に分け、各領域を撮像した９枚の部分画像により撮像範囲全体の画像を形成する場合における、撮像時間を最短化する経路を例示したものである。撮像ユニット１２０の撮像視野の中心位置（以下では測定位置という）が、各領域の中心に対応するＰ１→Ｐ２→…→Ｐ９の順に移動するように、ステージ１００を順次移動させる。ステージ１００は、各測定位置（Ｐ１〜Ｐ９）において停止し、各測定位置で停止した状態で、撮像ユニット１２０が部分画像の撮像を行う。 The moving path of the imaging unit 120 with respect to the workpiece W may take the path shown in FIG. 20, but it is desirable to determine the time for capturing a plurality of images to be the shortest. FIG. 6 shows a path for minimizing the imaging time when the measurement object is divided into nine 3 × 3 areas in a matrix and an image of the entire imaging range is formed by nine partial images obtained by imaging each area. Is illustrated. The stage 100 is sequentially moved so that the center position (hereinafter referred to as the measurement position) of the imaging field of the imaging unit 120 moves in the order of P1 → P2 →... → P9 corresponding to the center of each region. The stage 100 stops at each measurement position (P1 to P9), and the imaging unit 120 captures a partial image while stopped at each measurement position.
図６に示す経路をとる場合、撮像手段を最初の列から最後の列まで移動させて一行分の各領域の部分画像を撮像させ、続いて、次の行の最後の列から最初の列まで移動させて一行分の各領域の部分画像を撮像させ、再び最初の列から最後の列まで移動させて一行分の各領域の部分画像を撮像させる動作を、全ての領域の部分画像の撮像が終わるまで繰り返すように制御する。図２０に示す経路をとる場合、次の行の撮像にあたり撮像手段を最後の列から最初の列まで戻す必要があるが、図６に示す経路をとることで、最後の列から最初の列に戻す過程を次の行の撮像に利用するため、効率的に撮像することができ、より速やかに複数の部分画像の撮像を行うことができる。 When taking the path shown in FIG. 6, the imaging means is moved from the first column to the last column to capture partial images of each region for one row, and then from the last column of the next row to the first column. The operation of moving the partial image of each area for one row, moving again from the first column to the last column and imaging the partial image of each area for one row Control to repeat until finished. When the route shown in FIG. 20 is taken, it is necessary to return the imaging means from the last column to the first column for imaging of the next row, but by taking the route shown in FIG. 6, the last column changes to the first column. Since the returning process is used for imaging the next row, it is possible to efficiently capture images, and it is possible to capture a plurality of partial images more quickly.
各測定位置（Ｐ１〜Ｐ９）で撮像した各部分画像（ＩＭ１〜９）は、順次、コンピュータシステム１４０に取り込まれ、記憶部４１に格納される。なお、コンピュータシステム１４０に取り込まれる画像のデータには、撮像した順番に応じて番号が付されており、撮影された順番を特定可能とされる。 The partial images (IM1 to 9) captured at the measurement positions (P1 to P9) are sequentially taken into the computer system 140 and stored in the storage unit 41. It should be noted that the image data captured by the computer system 140 is numbered according to the order in which the images were taken, and the order in which the images were taken can be specified.
ラッチ手段１１８においては、イメージステッチ用の部分画像の撮影開始前に、カウンタ１１８ａのカウント値がリセットされる。そして、各測定位置Ｐ１，Ｐ２，…，Ｐ９において撮像が完了したタイミングで撮像ユニット１２０から供給されるトリガ信号に基づき、測定位置に応じたアドレスに、各軸の位置座標を記憶する。記憶した各測定位置の位置座標は、コンピュータシステム１４０に取り込まれ、別途取り込んだ各部分画像（ＩＭ１〜９）と対応付けて記憶部４１に格納される。 In the latch means 118, the count value of the counter 118a is reset before the start of capturing a partial image for image stitching. And the position coordinate of each axis | shaft is memorize | stored in the address according to a measurement position based on the trigger signal supplied from the imaging unit 120 at the timing when imaging was completed in each measurement position P1, P2, ..., P9. The stored position coordinates of each measurement position are captured by the computer system 140 and stored in the storage unit 41 in association with the separately captured partial images (IM1 to 9).
このように撮像ユニット１２０を移動させながら撮像することで、一連の画像取得の時間を短縮することができ、かつ、加減速する回数が減り動作が滑らかになることで、ワークのずれの発生を抑制することができる。移動させながらの撮像は、制御の変更により実現することができ特別なハードウェアは不要なため、低コストで実現することができる。 By taking an image while moving the imaging unit 120 in this way, the time for acquiring a series of images can be shortened, and the number of times of acceleration / deceleration is reduced, and the operation is smoothed, so that the shift of the workpiece can be prevented. Can be suppressed. Imaging while moving can be realized at a low cost because it can be realized by changing the control and no special hardware is required.
〔イメージステッチ処理〕
コンピュータシステム１４０は、上記のようにして撮像した各部分画像（ＩＭ１〜９）を貼り合わせて、測定範囲全体をカバーする一枚の全体画像を形成するイメージステッチ処理を行う。
[Image stitch processing]
The computer system 140 performs image stitching processing to form a single whole image that covers the entire measurement range by pasting the partial images (IM1 to IM9) captured as described above.
コンピュータシステム１４０は、各部分画像の貼り合わせに先立ち、貼り合わせた全体画像の画質劣化を抑制すべく、各部分画像に対して補正を行う。例えば、光学系の特性により生じる画像の歪曲誤差の補間、隣接する画像間における画素位置のずれの補間、隣接部の明るさの差を低減させるシェーディング処理、画像内の撮像タイミングのずれに基づく画像の歪みの除去、撮像手段のブレに基づく画像のぶれの除去等が挙げられる。 Prior to the pasting of the partial images, the computer system 140 corrects the partial images in order to suppress deterioration in the image quality of the pasted whole images. For example, interpolation of image distortion error caused by the characteristics of the optical system, interpolation of pixel position deviation between adjacent images, shading processing to reduce the difference in brightness of adjacent portions, image based on imaging timing deviation in the image For example, the removal of image distortion based on the blurring of the imaging means.
歪曲誤差の補間では、コンピュータシステム１４０は、予めキャリブレーションにより取得した歪曲補正パラメータを用いて、各部分画像（ＩＭ１〜９）について画像内の位置に応じて歪曲収差を相殺するようピクセル補間処理を行う。 In the interpolation of the distortion error, the computer system 140 performs pixel interpolation processing so as to cancel the distortion aberration according to the position in the image for each partial image (IM1 to 9) using the distortion correction parameter acquired in advance by calibration. Do.
隣接する画像間での画素位置のずれは、１画素に相当する視野内の領域のサイズとステージ１００の移動のピッチとが異なることによって生じる。例えば、縦１５３６ピクセル、横２０４８ピクセルの画素を有する撮像素子で縦２４ｍｍ、横３２ｍｍの視野を撮像する場合、１画素に相当する視野内の領域（ピクセルサイズ）は１辺が約１６μｍの正方形となる。一方、ステージ１００の移動は１画素相当の領域における１辺の長さとは一致しない場合が通常である。このため、ある測定位置で撮像した画像において１つの画素内に含まれている領域が、隣接する測定位置で撮像した画像においては複数の画素に跨がることが起こり得る。隣接する画像間で画素位置にずれがある場合には、単に画素を貼り合わせた場合、貼り合わせの境界部での誤差が大きくなるとともに、合成後の画像の画質が劣化する。そこで、コンピュータシステム１４０は、各画像の撮像位置とピクセルサイズとに基づき、各部分画像（ＩＭ１〜９）についてピクセル補完処理を行い、画素位置が一致するよう補正する。 The displacement of the pixel position between adjacent images is caused by the difference in the size of the area in the field of view corresponding to one pixel and the movement pitch of the stage 100. For example, when imaging a field of view of 24 mm in length and 32 mm in width with an image sensor having pixels of 1536 pixels in length and 2048 pixels in width, the region (pixel size) in the field of view corresponding to one pixel is a square having a side of about 16 μm. Become. On the other hand, the movement of the stage 100 is usually not the same as the length of one side in the area corresponding to one pixel. For this reason, a region included in one pixel in an image captured at a certain measurement position may straddle a plurality of pixels in an image captured at an adjacent measurement position. If there is a shift in the pixel position between adjacent images, if pixels are simply pasted together, the error at the boundary of the pasting increases and the image quality of the combined image deteriorates. Therefore, the computer system 140 performs pixel complementation processing on each partial image (IM1 to IM9) based on the imaging position and pixel size of each image, and corrects the pixel positions to match.
シェーディング処理では、コンピュータシステム１４０は、各部分画像（ＩＭ１〜９）についてシェーディング処理により、隣接する画像との貼り合わせの境界部付近における明るさの差を低減させる。これにより、イメージステッチ処理により得られる全体画像内における明るさ斑が軽減される。 In the shading process, the computer system 140 reduces the difference in brightness in the vicinity of the boundary portion between the adjacent images by shading process for each of the partial images (IM1 to IM9). Thereby, brightness spots in the entire image obtained by the image stitching process are reduced.
画像内の撮像タイミングのずれに基づく画像の歪みは、ローリングシャッター方式でシャッター動作を行う撮像手段１２４を使用した場合に問題となる。ローリングシャッター方式では、画像を上部から複数ブロックに分け、上部のブロックから順番に撮像していく方式であるため、上部のブロックと下部のブロックとで露光タイミングや読み出し時間のずれにより撮像された画像に歪みが生じる。図７、８は、ローリングシャッター方式でシャッター動作を行う撮像手段１２４を使用した場合に撮像された各部分画像（ＩＭ１〜９）の例である。図７は、撮像ユニット１２０を図２０に示す経路で移動しつつ撮像した場合、図８は、撮像ユニット１２０を図６に示す経路で移動しつつ撮像した場合を示したものである。いずれの場合も、ＩＭ１〜３、ＩＭ７〜９については、撮像ユニット１２０が紙面における右方向に相対的に移動しているため画像が右に傾いている。一方、ＩＭ４〜６については、図２０に示す経路をとる場合には撮像ユニット１２０が紙面における右方向に相対的に移動しているため図７に示すように画像が右に傾いているのに対し、図６に示す経路をとる場合には撮像ユニット１２０が紙面における左方向に相対的に移動しているため図８に示すように画像が左に傾いている。 The distortion of the image based on the deviation of the imaging timing in the image becomes a problem when the imaging unit 124 that performs the shutter operation by the rolling shutter method is used. In the rolling shutter method, an image is divided into a plurality of blocks from the top, and images are taken in order from the top block. Therefore, images captured by the upper block and the lower block due to differences in exposure timing and readout time. Distortion occurs. 7 and 8 are examples of the partial images (IM1 to 9) captured when the imaging unit 124 that performs the shutter operation by the rolling shutter method is used. FIG. 7 shows a case where the image pickup unit 120 is picked up while moving along the route shown in FIG. 20, and FIG. 8 shows a case where the image pickup unit 120 is picked up while moving along the route shown in FIG. In any case, for IM1 to IM3 and IM7 to IM9, the image is inclined to the right because the imaging unit 120 is relatively moved in the right direction on the paper surface. On the other hand, with respect to IM4 to 6, when the path shown in FIG. 20 is taken, the imaging unit 120 is relatively moved in the right direction on the paper surface, so that the image is inclined to the right as shown in FIG. On the other hand, when the path shown in FIG. 6 is taken, the image is tilted to the left as shown in FIG. 8 because the imaging unit 120 is relatively moved in the left direction on the paper surface.
そこで、例えば撮像手段の位置情報、ブランキングエリア、露光時間、動作クロック、移動速度、及び移動方向に基づき歪みを除去する。歪みの除去により、例えば、図７に示す各部分画像は図９に示すように、図８に示す各部分画像は図１０に示すように、傾きがそれぞれ補正される。 Therefore, for example, distortion is removed based on the position information of the imaging means, blanking area, exposure time, operation clock, moving speed, and moving direction. By removing the distortion, for example, each partial image shown in FIG. 7 is corrected as shown in FIG. 9, and each partial image shown in FIG. 8 is corrected as shown in FIG.
グローバルシャッター方式でシャッター動作を行う撮像手段１２４を使用して移動しながらの撮像をした場合でも、ローリングシャッター方式でシャッター動作を行う撮像手段１２４を使用して移動しながらの撮像をし上記のローリングシャッター補正をした場合でも、図９、図１０の各画像からわかるように、撮像画像にブレがある。これは、移動しながら撮像しているため、撮像ユニット１２０（撮像手段１２４）が振動してブレることによる。 Even when imaging is performed while moving using the imaging unit 124 that performs the shutter operation by the global shutter method, the above-described rolling is performed by performing imaging while moving by using the imaging unit 124 that performs the shutter operation by the rolling shutter method. Even when shutter correction is performed, the captured image is blurred as can be seen from the images in FIGS. This is because the image pickup unit 120 (image pickup means 124) vibrates and shakes because the image is taken while moving.
そこで、例えば撮像手段の位置情報、既知のブレ方向及びブレ量に基づきMotion deblurring処理（例えば参考文献１〜３参照）により画像のブレを除去する。ブレの除去により、例えば、図９に示す各部分画像は図１１に示すように、図１０に示す各部分画像は図１２に示すように、それぞれ画像が明瞭化される。
［参考文献]
１．Li Xu、Jiaya Jia、"Two-Phase Kernel Estimation for Robust Motion Deblurring"、インターネット<http://www.cse.cuhk.edu.hk/leojia/projects/robust_deblur/>
２．「Adobe Photoshop CC 手ぶれによるボケを補正」、アドビ、インターネット<https://helpx.adobe.com/jp/photoshop/how-to/camera-shake-reduction-photoshop.html>
３．Kadokura、「みんなのＩＴ活用術 [デジカメ画像修正ソフト]GIMPで手ぶれ写真を修整する」、はてな、インターネット<http://d.hatena.ne.jp/kadokura/20071010/p1>
Therefore, for example, image blur is removed by motion deblurring processing (for example, see References 1 to 3) based on the position information of the imaging unit, the known blur direction and blur amount. By removing the blur, for example, each partial image shown in FIG. 9 is clarified as shown in FIG. 11, and each partial image shown in FIG. 10 is clarified as shown in FIG.
[References]
1. Li Xu, Jiaya Jia, "Two-Phase Kernel Estimation for Robust Motion Deblurring", Internet <http://www.cse.cuhk.edu.hk/leojia/projects/robust_deblur/>
2. “Adobe Photoshop CC to compensate for camera shake”, Adobe, Internet <https://helpx.adobe.com/en/photoshop/how-to/camera-shake-reduction-photoshop.html>
3. Kadokura, “How to use IT for everyone [Digital camera image correction software] GIMP to correct camera shake photos”, Hatena, Internet <http://d.hatena.ne.jp/kadokura/20071010/p1>
また、ブレの除去処理を加えることで、露光時間を長くしても、これにより生じたブレも除去される。そのため、露光時間を長くすることで、ブレのない明るい画像を得ることができる。 Further, by adding a blur removal process, even if the exposure time is lengthened, the resulting blur is also removed. Therefore, a bright image without blur can be obtained by increasing the exposure time.
上記のような、各部分画像（ＩＭ１〜９）に対する補正により、高精度にイメージステッチを行うことができ、全体画像ＳＩＭにおける画質の劣化を抑制することができる。また、ソフトウェア上で行うため、特別なハードウェアは不要であり低コストで実現することができる。なお、Motion deblurring処理については、画像端部をより正確に処理するために画像の貼り合わせ後に行ってもよい。 By correcting the partial images (IM1 to IM9) as described above, image stitching can be performed with high accuracy, and deterioration of image quality in the entire image SIM can be suppressed. Further, since it is performed on software, no special hardware is required and it can be realized at low cost. Note that the motion deblurring process may be performed after the images are combined in order to more accurately process the edge of the image.
続いてコンピュータシステム１４０は、補正が行われた各部分画像を、ラッチ手段１１８に記憶された各部分画像（ＩＭ１〜９）が撮像されたときの撮像位置に基づいて、図１１に示す各部分画像については図１３に示すように、図１２に示す各部分画像については図１４に示すように、それぞれ貼り合わせて全体画像ＳＩＭを形成する。隣接する領域の部分画像間における重複部分の画素値は、一方の部分画像の値を用いる。なお、他の方法として、重複部分の画素値は、隣接する領域の部分画像間における平均値としてもよい。全体画像ＳＩＭの画像データは、各部分画像（ＩＭ１〜９）の画像群及び各部分画像（ＩＭ１〜９）を撮像した時の撮像情報（位置、露光時間、フォーカス、歪曲歪パラメータ等の補正データ等）と対応付けられ、記憶部４１に格納される。全体画像ＳＩＭの画像データは、ディスプレイへのプレビュー画像の表示、測定ツールの適用指示、報告書用の画像等に用いられる。一方、各部分画像は、後述するように、測定値の計算に用いられる。 Subsequently, the computer system 140 uses the partial images shown in FIG. 11 for the corrected partial images based on the imaging positions when the partial images (IM1 to 9) stored in the latch unit 118 are captured. As shown in FIG. 13 for the images and as shown in FIG. 14 for the partial images shown in FIG. 12, the entire image SIM is formed by pasting them together. The value of one partial image is used as the pixel value of the overlapping portion between the partial images in adjacent regions. As another method, the pixel value of the overlapping portion may be an average value between partial images in adjacent regions. The image data of the whole image SIM includes image data of each partial image (IM1 to 9) and correction information such as imaging information (position, exposure time, focus, distortion distortion parameter) when each partial image (IM1 to 9) is imaged. Etc.) and stored in the storage unit 41. The image data of the whole image SIM is used for display of a preview image on a display, a measurement tool application instruction, an image for a report, and the like. On the other hand, each partial image is used for calculation of measured values, as will be described later.
〔イメージステッチ処理後の測定・解析〕
コンピュータシステム１４０は、イメージステッチ処理により貼り合わせた全体画像ＳＩＭをワークの画像ＷＧとしてディスプレイ１４４における第１ウィンドウＷ１内に表示する。そして、オペレータによる操作を受け付け、操作に応じた測定を行う。以下では、円形のエッジを検出する測定ツールを用いて全体画像ＳＩＭ内の円形形状を検出し、検出した円の直径を測定する場合を例に説明する。
[Measurement and analysis after image stitch processing]
The computer system 140 displays the entire image SIM pasted by the image stitch processing in the first window W1 on the display 144 as a work image WG. And the operation by an operator is received and the measurement according to operation is performed. Hereinafter, a case where a circular shape in the entire image SIM is detected using a measurement tool that detects a circular edge and the diameter of the detected circle is measured will be described as an example.
オペレータは、第３ウィンドウＷ３に表示されたアイコンの中から、円形の測定を選択する。当該選択を受け、コンピュータシステム１４０は、円形の測定を行うための操作手順を示すガイダンスを第４ウィンドウＷ４に表示する。オペレータは、表示されたガイダンスに従い、第２ウィンドウＷ２に表示された形のエッジ検出ツールを選択し、図１５に示したように、第１ウィンドウＷ１に表示されている全体画像ＳＩＭの円形の形状を含んだ円環状のエッジ抽出領域を指定する。コンピュータシステム１４０は、図１６に示したように、全体画像ＳＩＭに対する単一のエッジ抽出領域を、各部分画像（ＩＭ１〜４、６〜９）に対する円弧形状のエッジ抽出領域に変換する。なお、部分画像ＩＭ５については、全体画像ＳＩＭに対し指定されたエッジ抽出領域に対応する領域を含まないので、エッジ抽出領域が設定されない。本例のように、全体画像ＳＩＭに対し指定されたエッジ抽出領域が複数の部分画像に跨るものである場合には、各部分画像におけるエッジ抽出領域は、互いに重複するように設定されるとよい。なお、全体画像ＳＩＭに対し指定されたエッジ抽出領域が１つの部分画像にのみ含まれる場合には、当該１つの部分画像に対してエッジ抽出領域が設定される。 The operator selects a circular measurement from the icons displayed in the third window W3. In response to the selection, the computer system 140 displays a guidance indicating an operation procedure for performing circular measurement on the fourth window W4. The operator selects the edge detection tool in the form displayed in the second window W2 according to the displayed guidance, and as shown in FIG. 15, the circular shape of the entire image SIM displayed in the first window W1. Specifies an annular edge extraction region that includes. As shown in FIG. 16, the computer system 140 converts a single edge extraction region for the entire image SIM into an arc-shaped edge extraction region for each partial image (IM1 to 4, 6 to 9). Note that the partial image IM5 does not include an area corresponding to the edge extraction area specified for the entire image SIM, and therefore no edge extraction area is set. As in this example, when the edge extraction region specified for the entire image SIM extends over a plurality of partial images, the edge extraction regions in the partial images may be set so as to overlap each other. . When the edge extraction area designated for the whole image SIM is included in only one partial image, the edge extraction area is set for the one partial image.
コンピュータシステム１４０は、各部分画像（ＩＭ１〜９）におけるエッジ抽出領域についてエッジ抽出処理を実行する。その結果、図１７に示したように、各部分画像（ＩＭ１〜９）においてエッジが検出される。コンピュータシステム１４０は、図１８に示したように、各部分画像（ＩＭ１〜９）で検出されたエッジを、全体画像ＳＩＭに重畳して、第１ウィンドウＷ１内に表示する。このとき、各部分画像（ＩＭ１〜９）で検出されたエッジ位置を、キャリブレーション時に取得した歪曲補正パラメータにて補正した上で、表示する。複数の部分画像の重複部分については、複数の部分画像でそれぞれ検出されたエッジが、重複して表示される。このため、貼り合わせ部分では、それ以外の部分より検出されるエッジの密度が高くなる場合がある。 The computer system 140 executes edge extraction processing for the edge extraction regions in the partial images (IM1 to IM9). As a result, as shown in FIG. 17, an edge is detected in each partial image (IM1-9). As shown in FIG. 18, the computer system 140 displays the edges detected in the partial images (IM1 to IM9) in the first window W1 while being superimposed on the whole image SIM. At this time, the edge position detected in each partial image (IM1 to IM9) is displayed after being corrected by the distortion correction parameter acquired at the time of calibration. For overlapping portions of a plurality of partial images, the edges detected in the plurality of partial images are displayed in an overlapping manner. For this reason, in the bonded portion, the density of edges detected from other portions may be higher.
オペレータが第４ウィンドウＷ４に表示された「確定」ボタンを選択すると、検出されたエッジが確定される。その後、コンピュータシステム１４０は、全ての部分画像（ＩＭ１〜９）で検出されたエッジに基づき計算を実行し、円の形状の測定結果（径、中心座標、真円度等）を第８ウィンドウＷ８に表示する。 When the operator selects the “OK” button displayed in the fourth window W4, the detected edge is fixed. Thereafter, the computer system 140 performs a calculation based on the edges detected in all the partial images (IM1 to IM9), and the measurement result of the shape of the circle (diameter, center coordinates, roundness, etc.) is displayed in the eighth window W8. To display.
以上で説明したように、本実施形態によれば、オペレータが全体画像ＳＩＭに対して測定ツールの適用を指示する操作を行うと、コンピュータシステム１４０が、当該操作によって指示された測定ツールを部分画像（ＩＭ１〜９）に対する測定ツールの適用指示へと分解して各部分画像（ＩＭ１〜９）に適用する。そして、各部分画像（ＩＭ１〜９）対して測定ツールを適用した結果を、集約して全体画像ＳＩＭ上に重畳して表示する。このような構成により、オペレータは、単一の測定画像に対して測定ツールを適用する場合と同様の操作により、差異を意識することなく、イメージステッチにより形成した全体画像に対して測定ツールを適用し、適用結果を見ることができる。また、測定ツールの適用は、貼り合わせる前の個々の部分画像に対して行われるため、貼り合わせることにより画質が劣化した画像に対して測定ツールを適用する場合と比べ高精度な測定結果を得ることができる。 As described above, according to the present embodiment, when the operator performs an operation for instructing application of the measurement tool to the entire image SIM, the computer system 140 displays the measurement tool instructed by the operation as a partial image. The measurement tool application instructions for (IM1-9) are decomposed and applied to the partial images (IM1-9). Then, the results of applying the measurement tool to each partial image (IM1-9) are aggregated and displayed superimposed on the entire image SIM. With such a configuration, the operator can apply the measurement tool to the entire image formed by image stitching without being aware of the difference by the same operation as when applying the measurement tool to a single measurement image. And you can see the application results. In addition, since the measurement tool is applied to individual partial images before being pasted together, the measurement result can be obtained with higher accuracy than when the measurement tool is applied to an image whose image quality has deteriorated by pasting. be able to.
〔実施形態の変形〕
本発明は上記の実施形態の例に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれる。
[Modification of Embodiment]
The present invention is not limited to the above-described embodiments, and modifications, improvements, and the like within the scope that can achieve the object of the present invention are included in the present invention.
例えば、上記の実施形態は２次元画像測定機の例であるが、３次元画像測定機やその他の種類の画像測定機においても本発明は適用可能である。 For example, the above embodiment is an example of a two-dimensional image measuring machine, but the present invention can also be applied to a three-dimensional image measuring machine or other types of image measuring machines.
ワークＷに対する照明は、落射照明と透過照明に限定されるものではなく、例えば、リング照明等であってもよい。 The illumination with respect to the workpiece W is not limited to the epi-illumination and the transmission illumination, and may be ring illumination, for example.
ワークＷと撮像ユニット１２０とは相対的に移動すればよいので、ステージ１００を固定し、撮像ユニット１２０がＸＹ方向に移動するように構成しても構わない。この場合には、位置取得手段は撮像ユニット１２０からＸＹ方向の位置座標を読み取る。 Since the work W and the imaging unit 120 may be moved relatively, the stage 100 may be fixed and the imaging unit 120 may be moved in the XY directions. In this case, the position acquisition unit reads the position coordinates in the XY directions from the imaging unit 120.
部分画像の撮像経路は、図６及び図２０に示した直線的な経路のみならず、例えば、円形のワークＷの場合には、図１９(a)に示すようならせん状の経路をとってもよい。この場合、マトリックス状に撮像領域を分割するのではなく、らせん状の経路にそって領域を分割するとよい。図１９(b)はらせん状の経路に沿って７分割して各部分画像を撮像した例である。この場合にも、上記のように各部分画像を補正してイメージステッチを行えばよい。これにより、より効率的に一連の画像を取得することができる。 The imaging path of the partial image is not limited to the linear path shown in FIGS. 6 and 20, but may be a spiral path as shown in FIG. 19A in the case of a circular workpiece W, for example. . In this case, it is preferable not to divide the imaging region in a matrix but to divide the region along a spiral path. FIG. 19B is an example in which each partial image is captured by dividing the image into seven along a spiral path. In this case as well, image stitching may be performed by correcting each partial image as described above. Thereby, a series of images can be acquired more efficiently.
例示した表示画面に示された各ウィンドウの表示形式や表示項目などは、上記説明に限定されるものではない。 The display format and display items of each window shown on the exemplified display screen are not limited to the above description.
上記の実施形態では、イメージステッチ処理を用いた測定をオペレータの操作により実行する場合を例に説明したが、予め用意した測定手順を規定するプログラム（パートプログラム）に従い、測定を行うようにしてもよい。 In the above embodiment, the case where the measurement using the image stitch process is executed by the operation of the operator has been described as an example. However, the measurement may be performed according to a program (part program) that prescribes a measurement procedure prepared in advance. Good.
測定の内容が上記実施形態で説明したものに限定されないことも当然である。例えば、エッジ検出の他、オートトレース、パターン検索、ワンクリック測定等の様々な測定についても、本発明を適用することが可能である。 Of course, the contents of the measurement are not limited to those described in the above embodiment. For example, in addition to edge detection, the present invention can be applied to various measurements such as auto-trace, pattern search, and one-click measurement.
前述の実施形態またはその具体例に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含有される。 Those in which those skilled in the art appropriately added, deleted, or changed the design of the above-described embodiments or specific examples thereof are also included in the scope of the present invention as long as they include the gist of the present invention. .
１ 画像測定機
４０ ＣＰＵ
４１ 記憶部
４２ ワークメモリ
４３、４４ インタフェース
４５ 表示制御部
１００ ステージ
１１０ 位置取得手段
１１２ Ｘ軸エンコーダ
１１４ Ｙ軸エンコーダ
１１６ Ｚ軸エンコーダ
１１８ ラッチ手段
１１８ａ カウンタ
１１８ｂ バッファ
１２０ 撮像ユニット
１２２ 光学系
１２４ 撮像手段
１２６、１２６ａ、１２６ｂ 光源
１３０ リモートボックス
１３２ ジョイスティック
１３４ ジョグシャトル
１４０ コンピュータシステム
１４１ コンピュータ本体
１４２ キーボード
１４３ マウス
１４４ ディスプレイ
Ｗ ワーク（測定対象物）
1 Image measuring machine 40 CPU
41 Storage Unit 42 Work Memory 43, 44 Interface 45 Display Control Unit 100 Stage 110 Position Acquisition Unit 112 X-axis Encoder 114 Y-axis Encoder 116 Z-axis Encoder 118 Latch Unit 118a Counter 118b Buffer 120 Imaging Unit 122 Optical System 124 Imaging Unit 126, 126a, 126b Light source 130 Remote box 132 Joystick 134 Jog shuttle 140 Computer system 141 Computer main body 142 Keyboard 143 Mouse 144 Display W Work (Measurement object)
Claims (6)
前記測定対象物と前記撮像手段とを相対的に移動させる移動手段と、
前記撮像手段が撮像した位置を取得する位置取得手段と、
前記移動手段により前記撮像手段を前記測定対象物に対して一定速度で移動させながら、前記撮像手段に前記測定対象物の部分画像を撮像させる制御手段と、
前記撮像手段により撮像された複数の前記部分画像を、前記位置取得手段が取得した位置情報に基づき貼り合わせて前記測定対象物の全体画像を形成する全体画像形成手段と、
を備え、
前記全体画像形成手段は、複数の前記部分画像の貼り合わせに先立ち又は貼り合わせの後に、前記撮像手段のブレに基づく前記部分画像のブレを除去することを特徴とする画像測定機。 An imaging means for imaging a measurement object;
Moving means for relatively moving the measurement object and the imaging means;
Position acquisition means for acquiring a position imaged by the imaging means;
Control means for causing the imaging means to take a partial image of the measurement object while moving the imaging means with respect to the measurement object by the moving means;
A plurality of the partial images picked up by the image pickup means, based on the position information acquired by the position acquisition means to form a whole image of the measurement object;
With
The overall image forming unit removes blurring of the partial image based on blurring of the imaging unit prior to or after pasting of the plurality of partial images.
前記全体画像形成手段は複数の前記部分画像の貼り合わせに先立ち、前記部分画像内の撮像タイミングのずれに基づく前記部分画像の歪みを除去する
ことを特徴とする請求項１又は２に記載の画像測定機。 The imaging means performs a shutter operation by a rolling shutter method,
3. The image according to claim 1, wherein the whole image forming unit removes distortion of the partial image based on a shift in imaging timing in the partial images prior to combining the plurality of partial images. Measuring machine.
A program for causing a computer to function as the control unit and the entire image forming unit according to any one of claims 1 to 5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016021307A JP2017138288A (en) | 2016-02-05 | 2016-02-05 | Image measurement device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016021307A JP2017138288A (en) | 2016-02-05 | 2016-02-05 | Image measurement device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017138288A true JP2017138288A (en) | 2017-08-10 |
Family
ID=59564931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016021307A Pending JP2017138288A (en) | 2016-02-05 | 2016-02-05 | Image measurement device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017138288A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019039851A (en) * | 2017-08-28 | 2019-03-14 | 株式会社トプコン | Photogrammetry system and photogrammetry method |
| JP2019124609A (en) * | 2018-01-17 | 2019-07-25 | 株式会社ミツトヨ | Three-d shape auto-tracing method and measuring machine |
| JP2020056635A (en) * | 2018-09-28 | 2020-04-09 | 株式会社ニコン | Shape measuring device, shape measuring method, and shape measuring program |
| CN112325766A (en) * | 2020-10-09 | 2021-02-05 | 宜兴高泰克精密机械有限公司 | Image measuring instrument convenient for workpiece moving and positioning |
| CN113375555A (en) * | 2018-07-02 | 2021-09-10 | 广西电网有限责任公司北海供电局 | Power line clamp measuring method and system based on mobile phone image |
| CN113744277A (en) * | 2020-05-29 | 2021-12-03 | 广州汽车集团股份有限公司 | Video jitter removal method and system based on local path optimization |
-
2016
- 2016-02-05 JP JP2016021307A patent/JP2017138288A/en active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019039851A (en) * | 2017-08-28 | 2019-03-14 | 株式会社トプコン | Photogrammetry system and photogrammetry method |
| JP7152137B2 (en) | 2017-08-28 | 2022-10-12 | 株式会社トプコン | Photogrammetry system and photogrammetry method |
| JP2019124609A (en) * | 2018-01-17 | 2019-07-25 | 株式会社ミツトヨ | Three-d shape auto-tracing method and measuring machine |
| CN113375555A (en) * | 2018-07-02 | 2021-09-10 | 广西电网有限责任公司北海供电局 | Power line clamp measuring method and system based on mobile phone image |
| JP2020056635A (en) * | 2018-09-28 | 2020-04-09 | 株式会社ニコン | Shape measuring device, shape measuring method, and shape measuring program |
| JP7318190B2 (en) | 2018-09-28 | 2023-08-01 | 株式会社ニコン | Shape measuring device, shape measuring method and shape measuring program |
| CN113744277A (en) * | 2020-05-29 | 2021-12-03 | 广州汽车集团股份有限公司 | Video jitter removal method and system based on local path optimization |
| CN112325766A (en) * | 2020-10-09 | 2021-02-05 | 宜兴高泰克精密机械有限公司 | Image measuring instrument convenient for workpiece moving and positioning |
| CN112325766B (en) * | 2020-10-09 | 2023-12-29 | 宜兴高泰克精密机械有限公司 | Image measuring instrument convenient for workpiece moving and positioning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2017138288A (en) | Image measurement device and program | |
| JP2017142245A (en) | Image measurement machine and program | |
| JP6132275B2 (en) | Size measuring apparatus and size measuring method | |
| KR100785594B1 (en) | Image process apparatus | |
| EP2549435B1 (en) | Segmentation of a depth map of printed circuit boards | |
| KR100817656B1 (en) | Image processing method, 3-dimension position measuring method, and image processing device | |
| JP6863954B2 (en) | Camera calibration device and camera calibration method | |
| US11189012B2 (en) | Arrangement having a coordinate measuring machine or microscope | |
| WO2017146202A1 (en) | Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method | |
| JP5911296B2 (en) | Image processing apparatus, imaging apparatus, microscope system, image processing method, and image processing program | |
| WO2017080294A1 (en) | Board card image splicing method and processing apparatus and system | |
| JPWO2008026722A1 (en) | 3D model data generation method and 3D model data generation apparatus | |
| JP6141084B2 (en) | Imaging device | |
| JP2013068617A (en) | Machine vision inspection system and method for determining position measurement result of the system | |
| US20190392607A1 (en) | Image processing apparatus, system, image processing method, article manufacturing method, and non-transitory computer-readable storage medium | |
| JP2012050013A (en) | Imaging apparatus, image processing device, image processing method, and image processing program | |
| JP6199000B2 (en) | Information processing device | |
| JP4788475B2 (en) | Image processing apparatus and image processing method | |
| JP6668095B2 (en) | Image measuring machine and program | |
| JP5740649B2 (en) | Image measuring apparatus, autofocus control method, and autofocus control program | |
| US11830177B2 (en) | Image processing apparatus, control method and non-transitory computer-readable recording medium therefor | |
| JP6012396B2 (en) | Image processing apparatus, image processing method, and program. | |
| JP3924576B2 (en) | Three-dimensional measurement method and apparatus by photogrammetry | |
| JP6545033B2 (en) | Three-dimensional temperature distribution display | |
| JP2021068929A (en) | Imaging apparatus and imaging method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191009 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191213 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200421 |