JP6577243B2 - Surface defect evaluation apparatus, surface defect inspection system, and surface defect inspection method - Google Patents
Surface defect evaluation apparatus, surface defect inspection system, and surface defect inspection method Download PDFInfo
- Publication number
- JP6577243B2 JP6577243B2 JP2015104562A JP2015104562A JP6577243B2 JP 6577243 B2 JP6577243 B2 JP 6577243B2 JP 2015104562 A JP2015104562 A JP 2015104562A JP 2015104562 A JP2015104562 A JP 2015104562A JP 6577243 B2 JP6577243 B2 JP 6577243B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- data
- shape
- surface defect
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明の実施形態は、表面欠陥評価装置、表面欠陥検査システムおよび表面欠陥検査方法に関する。 Embodiments described herein relate generally to a surface defect evaluation apparatus, a surface defect inspection system, and a surface defect inspection method.
発電プラントの多くの機器の検査では、目視検査、超音波探傷検査、渦流探傷検査(ECT:Eddy Current Testing)などの非破壊検査技術が用いられている。たとえば、ガスタービンの静翼の内在欠陥等については、超音波探傷検査や渦流探傷検査(ECT:Eddy Current Testing)による探傷検査が主に用いられている。 Non-destructive inspection techniques such as visual inspection, ultrasonic inspection, and eddy current inspection (ECT) are used in inspection of many devices in a power plant. For example, flaw detection by ultrasonic flaw detection or eddy current flaw inspection (ECT: Eddy Current Testing) is mainly used for internal defects of stationary blades of gas turbines.
この際、静翼の内在欠陥については、超音波探傷検査や渦流探傷検査により自動的に検出され、記録される。一方、表面のき裂や減肉などによる損傷等の欠陥(以下、表面欠陥という。)については、目視検査により手作業で記録されている。そのため、き裂発生時のき裂補修を含め、多大な補修時間およびコストが発生することになる。 At this time, the internal defect of the stationary blade is automatically detected and recorded by ultrasonic inspection or eddy current inspection. On the other hand, defects such as damage due to surface cracks or thinning (hereinafter referred to as surface defects) are manually recorded by visual inspection. Therefore, a great amount of repair time and cost are generated, including crack repair when a crack is generated.
表面欠陥を検出する方法として、画像処理による方法と形状データ比較による方法が知られている。形状データ比較による方法は、表面欠陥内部に計測点群が存在しない場合には、表面欠陥の検出漏れや途切れが発生する。また、高分解能な形状データを取得するためには、対象物に接近する必要があり、1回に計測できる範囲が狭まるため、計測時間を要するという課題もある。 As a method for detecting a surface defect, a method by image processing and a method by shape data comparison are known. In the method based on the shape data comparison, when a measurement point group does not exist inside the surface defect, a detection defect or interruption of the surface defect occurs. In addition, in order to acquire high-resolution shape data, it is necessary to approach the object, and the range that can be measured at one time is narrowed.
さらに、形状データを取得する方法は、基本的に三角測量の原理を用いることから、死角が発生することがあり、例えば表面欠陥輪郭の片側や端部が欠けたりするためこれを考慮する必要があるという課題がある。一方で、画像処理による方法は照明の影響により表面欠陥の認識が困難になる場合があり、表面欠陥検出漏れが生じる可能性がある。 Furthermore, since the method of acquiring shape data basically uses the principle of triangulation, a blind spot may occur. For example, one side or an end of a surface defect contour may be missing, which needs to be considered. There is a problem that there is. On the other hand, in the method based on image processing, it may be difficult to recognize surface defects due to the influence of illumination, which may cause surface defect detection omission.
上記のような、基準となる形状データと計測結果の形状データとの形状比較を行うためには、まず、位置調整を行う必要がある。この位置調整方法においては、経年的な変形によって、基準データと計測データの形状が異なることにより、位置調整のずれが生ずる。このため、表面欠陥検出位置が異なる点や表面欠陥ではない部分が検出される可能性がある。あるいは、減肉部分により変形がある部分は、広範囲で差異が生じ、位置調整に影響が生ずる。 In order to perform the shape comparison between the reference shape data and the measurement result shape data as described above, first, it is necessary to perform position adjustment. In this position adjustment method, the position adjustment shift occurs due to the difference in the shape of the reference data and the measurement data due to secular deformation. For this reason, there is a possibility that a point having a different surface defect detection position or a portion that is not a surface defect is detected. Or the part which has a deformation | transformation by a thinning part produces a difference in a wide range, and the position adjustment is affected.
また、広範囲に差異が生じることによって、表面欠陥が減肉部分に埋もれてしまい、検出できない点も課題として挙げられる。さらに、き裂には貫通部分も存在するため、開口しているき裂における種類に影響を受ける可能性がある。 Another problem is that the surface defect is buried in the thinned portion due to the difference in a wide range and cannot be detected. Furthermore, since there is a penetrating part in the crack, it may be affected by the type of the open crack.
そこで、表面欠陥検査において、検出率を高め、検査記録に記載すべきレベルの表面欠陥の寸法を測定可能とする自動的な検査を可能とすることを目的とする。 Therefore, an object of the present invention is to enable an automatic inspection that can increase the detection rate and measure the size of the surface defect at the level to be described in the inspection record in the surface defect inspection.
上述の目的を達成するため、本実施形態に係る表面欠陥評価装置は、画像取得部によって取得された検査対象とする対象物の外観の2次元的な画像と、形状計測部によって測定された前記対象物の3次元的な形状とを、入力として受け入れる入力部と、前記対象物に関する元々のデータであり経年的な変形や欠陥についての判断の基準となる基準外形データと測定された前記3次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記2次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、を備えることを特徴とする。
また、本実施形態に係る表面欠陥評価装置は、画像取得部によって取得された検査対象とする対象物の外観の2次元的な画像と、形状計測部によって測定された前記対象物の3次元的な形状とを、入力として受け入れる入力部と、前記対象物に関する元々のデータである基準外形データと測定された前記3次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記2次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、を備える表面欠陥評価装置であって、前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データ内のそれぞれの少なくとも3点を用いて、これらの対応付けにより位置調整を行うことを特徴とする。
また、本実施形態に係る表面欠陥評価装置は、画像取得部によって取得された検査対象とする対象物の外観の2次元的な画像と、形状計測部によって測定された前記対象物の3次元的な形状とを、入力として受け入れる入力部と、前記対象物に関する元々のデータである基準外形データと測定された前記3次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記2次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、を備える表面欠陥評価装置であって、前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データに基づく形状変化量が所定のしきい値以下となる領域から少なくとも3つの基準位置を設定することにより位置調整を行うことを特徴とする。
また、本実施形態に係る表面欠陥評価装置は、画像取得部によって取得された検査対象とする対象物の外観の2次元的な画像と、形状計測部によって測定された前記対象物の3次元的な形状とを、入力として受け入れる入力部と、前記対象物に関する元々のデータである基準外形データと測定された前記3次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記2次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、を備える表面欠陥評価装置であって、前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データの双方について形状が一致する領域をマッチングにより特定することを特徴とする。
In order to achieve the above-described object, the surface defect evaluation apparatus according to the present embodiment includes a two-dimensional image of the appearance of an object to be inspected acquired by the image acquisition unit, and the shape measured by the shape measuring unit. a three-dimensional shape of the object, an input unit that accepts as input, was measured to serving as a reference standard contour data of the determination in the Ah Ri secular variations or defects in the original data for the object the 3 Surface defects existing on the surface of the object based on the acquired image data and shape data, which are information on the two-dimensional image, after adjusting the position of the shape data that is information on the two-dimensional shape And an arithmetic unit that acquires information on the information.
In addition, the surface defect evaluation apparatus according to the present embodiment includes a two-dimensional image of the appearance of an object to be inspected acquired by the image acquisition unit, and a three-dimensional image of the object measured by the shape measurement unit. An input unit that accepts an arbitrary shape as an input, reference outline data that is original data regarding the object, and position adjustment of shape data that is information about the measured three-dimensional shape are acquired and acquired. A surface defect evaluation apparatus comprising: a calculation unit that acquires information on surface defects existing on the surface of the object based on image data that is information on the two-dimensional image and the shape data, In the position adjustment, the calculation unit uses at least three points in the shape data of the object and the reference outline data, and adjusts the position by matching these points. And performing.
In addition, the surface defect evaluation apparatus according to the present embodiment includes a two-dimensional image of the appearance of an object to be inspected acquired by the image acquisition unit, and a three-dimensional image of the object measured by the shape measurement unit. An input unit that accepts an arbitrary shape as an input, reference outline data that is original data regarding the object, and position adjustment of shape data that is information about the measured three-dimensional shape are acquired and acquired. A surface defect evaluation apparatus comprising: a calculation unit that acquires information on surface defects existing on the surface of the object based on image data that is information on the two-dimensional image and the shape data, In the position adjustment, the calculation unit may include at least three regions from which the shape change amount based on the shape data of the object and the reference outer shape data is a predetermined threshold value or less. And performing position adjustment by setting the reference position.
In addition, the surface defect evaluation apparatus according to the present embodiment includes a two-dimensional image of the appearance of an object to be inspected acquired by the image acquisition unit, and a three-dimensional image of the object measured by the shape measurement unit. An input unit that accepts an arbitrary shape as an input, reference outline data that is original data regarding the object, and position adjustment of shape data that is information about the measured three-dimensional shape are acquired and acquired. A surface defect evaluation apparatus comprising: a calculation unit that acquires information on surface defects existing on the surface of the object based on image data that is information on the two-dimensional image and the shape data, In the position adjustment, the calculation unit specifies a region in which the shape of both the shape data of the target object and the reference external shape data matches by matching. To.
また、本実施形態は、表面データ取得装置と表面欠陥評価装置とを備える表面欠陥検査システムであって、表面データ取得装置と表面欠陥評価装置とを備える表面欠陥検査システムであって、前記表面データ取得装置は、検査対象とする対象物の外観の2次元的な画像を取得する画像取得部と、前記対象物の3次元的な形状を取得する形状計測部と、を具備し、前記表面欠陥評価装置は、前記2次元的な画像と前記3次元的な形状を入力として受け入れる入力部と、前記対象物に関する元々のデータであり経年的な変形や欠陥についての判断の基準となる基準外形データと測定された前記3次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記2次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、を備えることを特徴とする。 Further, the present embodiment is a surface defect inspection system including a surface data acquisition device and a surface defect evaluation device, the surface defect inspection system including a surface data acquisition device and a surface defect evaluation device, wherein the surface data The acquisition apparatus includes an image acquisition unit that acquires a two-dimensional image of the appearance of an object to be inspected, and a shape measurement unit that acquires a three-dimensional shape of the object, and the surface defect evaluation device, the input section for receiving as input two-dimensional image and the three-dimensional shape, reference contour as a reference for determination of the Ah Ri secular variations or defects in the original data for the object The position adjustment of the shape data which is information about the data and the measured three-dimensional shape is performed, and the acquired image data which is information about the two-dimensional image and the shape data An arithmetic unit for obtaining the information relating to the surface defects present on the surface of the object Zui characterized in that it comprises a.
また、本実施形態に係る表面欠陥検査方法は、表面欠陥評価装置の入力部が、画像取得部により取得された対象とする対象物の外観の2次元的な画像を受け入れる画像受け入れステップと、前記入力部が、形状計測部により測定された前記対象物の3次元的な形状を受け入れる形状受け入れステップと、演算部が、前記対象物に関する元々のデータであり経年的な変形や欠陥についての判断の基準となる基準外形データと測定された前記3次元的な形状に関する情報である形状データの位置調整を実施する位置調整ステップと、前記演算部が、取得された前記2次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物に存在する表面欠陥に関する情報を取得する表面欠陥情報取得ステップと、を有することを特徴とする。 In the surface defect inspection method according to the present embodiment, the input unit of the surface defect evaluation apparatus accepts a two-dimensional image of the appearance of the target object acquired by the image acquisition unit; input unit, shape as receiving step of receiving the three-dimensional shape of the object measured by the measuring unit, calculation unit, judgment of Ah Ri secular variations or defects in the original data for the object information and the position adjustment step of adjusting the position of the shape data is the reference outline data and information relating to the measured the three-dimensional shape as a reference, the calculation unit relates the acquired two-dimensional images A surface defect information acquisition step for acquiring information on surface defects existing in the object based on the image data and the shape data. To.
本発明の実施形態によれば、表面欠陥検査において、検出率を高め、検査記録に記載すべきレベルの表面欠陥の寸法を測定可能とする自動的な検査が可能となる。 According to the embodiment of the present invention, in the surface defect inspection, it is possible to perform an automatic inspection which can increase the detection rate and measure the level of the surface defect to be described in the inspection record.
以下、図面を参照して、本発明の実施形態に係る表面欠陥評価装置、表面欠陥検査システムおよび表面欠陥検査方法について説明する。ここで、互いに同一または類似の部分には、共通の符号を付して、重複説明は省略する。ここで、検査のための測定の対象とする測定対象物を以下、対象物という。 Hereinafter, a surface defect evaluation apparatus, a surface defect inspection system, and a surface defect inspection method according to an embodiment of the present invention will be described with reference to the drawings. Here, the same or similar parts are denoted by common reference numerals, and redundant description is omitted. Here, a measurement object to be measured for inspection is hereinafter referred to as an object.
図1は、実施形態に係る表面欠陥評価装置の構成を示すブロック図である。欠陥測定システム500は、表面データ取得装置100、および表面欠陥評価装置400を有する。
FIG. 1 is a block diagram illustrating a configuration of the surface defect evaluation apparatus according to the embodiment. The
表面データ取得装置100は、画像を取得する画像取得部110、3次元形状データを取得する形状計測部120、および画像取得部110と形状計測部120を移動駆動するスキャン部130を有する。
The surface
画像取得部110は、撮像素子、レンズ光学系および照明光学系を備えたカメラを有する。画像取得部110は、対象物の画像を取得するものであり、線状領域の画像データ、あるいは線状ではない2次元的な領域(以下、矩形領域と呼ぶ)の画像データを取得する。
The
形状計測部120は、線状模様にたとえばレーザ光などの照射光を対象物に照射するレーザ照射部121、対象物に照射されたレーザの反射光を撮影するレーザ光撮影用カメラ122を有する。照射された線状模様を三角測量の原理で測定し、表面の凹凸形状を形状データとして取得する。以下、画像データと形状データを、外形データと総称する。
The
なお、上記は、線状領域の形状データを取得するカメラと照射光(レーザ光)の組合せによる光切断法を用いた装置の場合であるが、矩形領域の形状データを取得する2台以上のカメラによるステレオ視やレーザスキャナ等による方法でも良い。 The above is a case of a device using a light cutting method based on a combination of a camera that acquires shape data of a linear region and irradiation light (laser light), but two or more units that acquire shape data of a rectangular region. Stereo viewing with a camera or a laser scanner may be used.
スキャン部130は、移動駆動部131、回転駆動部132、および固定部133を有する。対象物としては、様々な形状が考えられるため、対象物の表面の全面を計測するために、移動駆動部131は、画像取得部110および形状計測部120のそれぞれの計測ヘッドを3軸方向に移動駆動する。回転駆動部132は、3軸のそれぞれを中心に回転駆動可能に構成されている。
The
固定部133は、対象物と、移動駆動部131および回転駆動部132とを、所定の相対的な位置関係に維持するために、対象物を固定する固定具を有する。スキャン部130は、たとえば測定開始時に設定された、表面データ取得装置100に関する座標の原点からの、移動量、回転量および現在位置を、画像取得部110および形状計測部120のそれぞれについて取得する。取得した結果は、表面欠陥評価装置400の入力部410に出力される。
The fixing
スキャン部130の移動駆動部131および回転駆動部132は、画像取得部110による画像データの光軸と、形状計測部120による形状計測データの光軸の双方を同一軸にする機能も有する。
The
表面欠陥評価装置400は、メモリ200、CPU300、入力部410、および出力部420を有する計算機システムである。CPU300は、計算機システムを制御する制御部310と、欠陥評価のための演算を実行する演算部320を有する。メモリ200は、表面データ取得装置100で取得された形状データを記憶する外形データ記憶部210と、演算部320での演算結果を記憶する演算結果記憶部220を有する。
The surface
入力部410は、表面データ取得装置100で取得された外形データを、計算機システムとして受け入れる。出力部420は、演算部320で実施した欠陥評価の結果を出力する。
The
なお、外形データ記憶部210は、表面データ取得装置100で取得された形状データ以外に、入力部410に外部入力された基準外形データ、スキャン部130から入力部410に入力された画像取得部110および形状計測部120の移動量、回転量および現在位置を記憶する。基準外形データは、対象物に関する元々の外形データであり、変形や欠陥についての判断の基準となるデータである。
In addition to the shape data acquired by the surface
図2は、実施形態に係る表面欠陥評価装置の演算部の構成を示すブロック図である。演算部320は、キャリブレーション部321、画像データ合成部322、形状データ合成部323、位置調整・面認識部324、補間部325、欠陥評価部330、および結果作成部340を有する。欠陥評価部330は、前処理部331、画像データ表面欠陥判別部332、形状データ表面欠陥判別部333、欠陥判定部334、および表面欠陥寸法推定部335を有する。以下、演算部320を構成する各要素について説明するが、それぞれの演算結果は、演算結果記憶部220に格納される。
FIG. 2 is a block diagram illustrating a configuration of a calculation unit of the surface defect evaluation apparatus according to the embodiment. The
キャリブレーション部321は、形状データと画像データとの対応関係を推定する。キャリブレーション部321について、画像取得部110の光軸と形状計測部120の光軸が一致しない場合と、画像取得部110の光軸と形状計測部120の光軸が一致する場合とについて、以下に説明する。図3は、実施形態に係る表面欠陥評価装置のキャリブレーション部によるキャリブレーションの内容を説明するための概念図である。
The
形状計測部120のレーザ照射部121から発せられるレーザ光は、微小角度に広がった面状であり、照射面Sに照射されると、レーザ光の照射部分は線状となる。このレーザ光の両側の直線部分をL1、L2とし、中心の直線をL0とする。また、照射面Sと直線L1、L2、L0との交点をそれぞれQ1、Q2、Q0とする。レーザ光の広がりの中心線、すなわち中心部Q0を通過する直線が、形状計測部120の光軸L0である。
The laser beam emitted from the
照射面S上の線分Q1−Q2の位置は、レーザ照射部121と既知の間隔dをもって配されているレーザ光撮影用カメラ122から線分Q1−Q2を見る角度θと、間隔dとから、対象物の座標位置ZLはd/tanθにより算出できる。移動駆動部131および回転駆動部132からの情報と、元々のレーザ照射部121とレーザ光撮影用カメラ122との相対的な位置とから、水平座標位置XおよびYが算出でき、この結果、間隔dが算出できる。
The position of the line segment Q1-Q2 on the irradiation surface S is determined from the angle θ at which the line segment Q1-Q2 is viewed from the laser
一方、画像取得部110は、測定対象との間に、レンズ111、全ミラー112、およびハーフミラー113を備える。照射面Sからの光は、ハーフミラー113で反射して方向を転換し、全ミラー112で反射し、レンズ111により焦点Fに集光される。この中で、レンズ111の中心を垂直に通過する光を逆に辿ったときの照射面Sに交差する直線A1が、画像取得部110の光軸A1である。
On the other hand, the
まず、画像取得部110の光軸A1と形状計測部120の光軸L0が一致しない場合は、画像取得部110の光軸A1と形状計測部120の光軸L0が一致しない場合の光学原点座標を設定する。たとえば、形状計測部120の光軸L0に基づいて光学原点座標を設定することでよい。
First, when the optical axis A1 of the
形状計測部120のレーザ光は、微細な広がり角度をもって帯状に延びており、その両側部L1、L2および中央部L0による画像上のレーザ光の両端部の点Q1、Q2と中央部の点Q0の座標位置を、対象物との相対位置が、位置A、位置Bおよび位置Cの場合において取得する。図3は、位置Aの場合を示す。この結果、Q1、Q0、Q2のそれぞれの座標位置が、位置A、B、Cについて得られる。
The laser beam of the
図4は、3つの位置を説明するための概念図であり、(a)は位置A、(b)は位置B、(c)は位置Cの場合を示す。位置Aにおける対象物の照射面S1上のレーザ光のL1との交点をQA1、L0との交点をQA0、L2との交点をQA2とする。また、画像上のこれらに相当する点をそれぞれPA1、PA0、PA2とする。 FIGS. 4A and 4B are conceptual diagrams for explaining the three positions. FIG. 4A shows the case of the position A, FIG. 4B shows the case of the position B, and FIG. The intersection of the laser beam L1 on the irradiation surface S1 of the object at the position A is QA1, the intersection with L0 is QA0, and the intersection with L2 is QA2. In addition, points corresponding to these on the image are referred to as PA1, PA0, and PA2, respectively.
同様に、位置Bにおける対象物の照射面S2上のレーザ光のL1との交点をQB1、L0との交点をQB0、L2との交点をQB2とする。また、画像上のこれらに相当する点をそれぞれPB1、PB0、PB2とする。また、位置Cにおける対象物の照射面S3上のレーザ光のL1との交点をQC1、L0との交点をQC0、L2との交点をQC2とする。また、画像上のこれらに相当する点をそれぞれPC1、PC0、PC2とする。 Similarly, the intersection of the laser beam L1 on the irradiation surface S2 of the object at position B is QB1, the intersection with L0 is QB0, and the intersection with L2 is QB2. Also, points corresponding to these on the image are PB1, PB0, and PB2, respectively. Further, the intersection point of the laser beam L1 on the irradiation surface S3 of the object at the position C is QC1, the intersection point with L0 is QC0, and the intersection point with L2 is QC2. In addition, points corresponding to these on the image are PC1, PC0, and PC2, respectively.
レーザ光のそれぞれの光線は直線的に進行することから、たとえば、QA1、QB1、QC1は同一直線状にある。また、QA2、QB2、QC2も同一直線状にある。画像上の点PA1、PB1、PC1も同一直線状にある。他の点についても同様である。 Since each light beam of the laser light travels linearly, for example, QA1, QB1, and QC1 are in the same straight line. QA2, QB2, and QC2 are also in the same straight line. The points PA1, PB1, and PC1 on the image are also collinear. The same applies to other points.
次の式(1)は、レーザ光の3次元上の座標(XQ、YQ、ZQ)と、画像上の2次元座標を3次元空間に投影した座標(XP、YP、ZP)との関係を示す。ここで、a11〜a33は回転変換成分である。 The following expression (1) is obtained by projecting the three-dimensional coordinates (X Q , Y Q , Z Q ) of the laser beam and the two-dimensional coordinates on the image onto the three-dimensional space (X P , Y P , Z P ). Here, a 11 ~a 33 is a rotational transformation component.
ここで、各回転変換成分は、次のように表される。
a11=cosω・cosκ
a12=−cosφ・sinκ
a13=sinφ
a21=cosω・sinκ+sinφ・cosκ
a22=cosω・cosκ+sinω・sinκ
a23=−sinω・cosφ
a31=sinω・sinκ−sinφ・cosκ
a32=sinω・cosκ+cosω・sinκ
a33=cosω・cosφ
Here, each rotation conversion component is expressed as follows.
a 11 = cosω · cosκ
a 12 = −cos φ · sin κ
a 13 = sinφ
a 21 = cosω · sinκ + sinφ · cosκ
a 22 = cosω · cosκ + sinω · sinκ
a 23 = −sin ω · cos φ
a 31 = sinω · sinκ−sinφ · cosκ
a 32 = sinω · cosκ + cosω · sinκ
a 33 = cosω · cosφ
前述のようにレーザ光の3次元上の座標(XQ、YQ、ZQ)は算出可能である。また、画像上の2次元座標(XP、YP、ZP)は、画像データから決められる値である。したがって、測定された9つの点のそれぞれについて、3次元上の座標(XQ、YQ、ZQ)および2次元座標(XP、YP、ZP)が与えられる。 As described above, the three-dimensional coordinates (X Q , Y Q , Z Q ) of the laser light can be calculated. The two-dimensional coordinates (X P , Y P , Z P ) on the image are values determined from the image data. Therefore, for each of the nine measured points, a three-dimensional coordinate (X Q , Y Q , Z Q ) and a two-dimensional coordinate (X P , Y P , Z P ) are given.
これらの値を用いて、式(1)について、最小二乗法などを用いて、回転変換成分a11〜a33を求めることができる。この結果、任意の点の座標位置を変換することが可能となる。 Using these values, the rotation transformation components a 11 to a 33 can be obtained for the expression (1) using the least square method or the like. As a result, the coordinate position of an arbitrary point can be converted.
また、位置Aでの点をQA1、QA0、QA2とし、位置Cでの点をQC1、QC0、QC2とすると、位置Aと位置Cとの間の任意の位置に関しての画像上の位置は、前述のように、直線関係にあることを利用して、内挿により求められる。なお、画像取得部110と形状計測部120の光学原点座標は、キャリブレーション精度に影響するため、レーザの分解能と画像の分解能のいずれか精度のよい方より、さらに精度よく設定されることが好ましい。
Also, assuming that the point at position A is QA1, QA0, QA2 and the point at position C is QC1, QC0, QC2, the position on the image regarding an arbitrary position between position A and position C is as described above. As described above, it is obtained by interpolation using the fact that there is a linear relationship. Note that the optical origin coordinates of the
次に、画像取得部110の光軸A1と形状計測部120の光軸L0が一致する場合を説明する。まず、形状計測部120により、画像上のレーザ光の点Q0、Q1、Q2の座標位置を位置A、BおよびCについて取得する。また、画像取得部110により、対応する点P0、点P1、および点P2を取得する。その後、平行移動量、回転量、スケールファクタを、次の式(2)、式(3)について最小二乗法などにより求める。
Next, a case where the optical axis A1 of the
ただし、X、Y、Zはレーザ光の3次元座標、x、yは画像上の2次元座標、Xm、Ym、Zmは平行移動量の3次元座標、a11〜a33は回転変換成分、cはスケールファクタである。 However, X, Y, Z three dimensional coordinates, x, y two-dimensional coordinates, Xm, Ym, Zm is the three-dimensional coordinates of parallel movement amount, a 11 ~a 33 is rotated transform components on the image of the laser beam, c is a scale factor.
また、位置A、B、Cにおいてそれぞれ求められた点P1、P2を、位置Aの場合を点P1A、点P2Aとし、位置Cの場合を点P1C、P2Cとすると、前述のように、それぞれの直線関係を用いて、画像上の点P1Aと点P1Cの間の画像上の座標値を直線式で補間することができる。同様に点P2Aと点P2Cの間の画像上の座標値も直線式で補間することができる。この手順により、一致しない場合の補間処理が実施される。 Further, if the points P1 and P2 respectively obtained at the positions A, B and C are the point P1A and the point P2A in the case of the position A and the points P1C and P2C in the case of the position C, respectively, as described above, Using the linear relationship, the coordinate value on the image between the point P1A and the point P1C on the image can be interpolated by a linear equation. Similarly, the coordinate value on the image between the points P2A and P2C can also be interpolated by a linear equation. By this procedure, an interpolation process in the case where they do not match is performed.
画像データ合成部322は、対象物表面の矩形領域もしくは線状領域を複数撮影した場合の画像データに基づいて、互いの対応点から平行移動量と回転量を演算し、求めた平行移動量と回転量を用いて画像を変換・合成する。以下、矩形領域を撮影した場合と、線状領域を撮影した場合に分けて説明する。
The image
図5は、実施形態に係る表面欠陥評価装置の画像データ合成部による画像データのデータ合成の内容を説明するための概念図であり、(a)は個別の矩形領域の画像データ、(b)はデータ合成を行った画像データである。図5(a)は、矩形領域を撮影した2つの画像F1、F2を示す。図5(a)に示すように、画像F1で、丸、正方形、三角形で示す部分K1、および画像F2で、丸、正方形、三角形で示す部分K2は共通である。図5(b)に示すように、画像F2を回転することにより、部分K1と部分K2は重なる。 FIG. 5 is a conceptual diagram for explaining the contents of image data composition by the image data composition unit of the surface defect evaluation apparatus according to the embodiment, where (a) is image data of individual rectangular areas, and (b). Is image data subjected to data synthesis. FIG. 5A shows two images F1 and F2 obtained by photographing a rectangular area. As shown in FIG. 5A, in the image F1, a portion K1 indicated by circles, squares, and triangles and a portion K2 indicated by circles, squares, and triangles in the image F2 are common. As shown in FIG. 5B, the portion K1 and the portion K2 overlap each other by rotating the image F2.
このように、異なる位置で撮影した2つの画像の互いに重なる領域において、一致あるいは近似する画素をテンプレートマッチングにより検索し、2つの画像間の対応する点を特定する。対応する点のそれぞれの座標に基づいて、次の式(4)により平行移動量と回転量を求める。 In this way, in a region where two images taken at different positions overlap each other, a matching or approximate pixel is searched by template matching, and a corresponding point between the two images is specified. Based on the coordinates of the corresponding points, the amount of translation and the amount of rotation are obtained by the following equation (4).
ここで、x、yは画像上の2次元座標、x’、y’は検索先の画像上の2次元座標、xm、ymは平行移動量の2次元座標、a11〜a22は回転変換成分である。 Here, x, 2-dimensional coordinates on the y image, x ', y' is 2-dimensional coordinates on the search destination of the image, x m, 2-dimensional coordinates of y m is the amount of parallel movement, a 11 ~a 22 is This is a rotation conversion component.
なお、式(4)の平行移動量と回転量を求めるため、図5(a)のそれぞれの画像において丸、四角、三角で示すように、最低でも3点以上の対応点を検索する必要がある。これにより、平行移動量と回転量から検索先の画像の座標を全て変換し、合成する。この手順を全ての連続画像について実施することで対象物表面を合成することができる。 In order to obtain the parallel movement amount and the rotation amount of Expression (4), it is necessary to search for at least three corresponding points in each image of FIG. 5A as indicated by circles, squares, and triangles. is there. As a result, all the coordinates of the search destination image are converted from the parallel movement amount and the rotation amount, and synthesized. The object surface can be synthesized by performing this procedure for all the continuous images.
また、図5(a)に示すような矩形領域を撮影した場合において、線状領域を抽出して合成する場合も可能であり、キャリブレーション結果の平行移動量と回転量から求めた画像上の補間直線式より、各画像から線状領域に対応する画素を抽出し、次の撮影画像から抽出した画素を並列することで合成画像を作成する。この手順を全ての連続画像について実施することで対象物表面を合成することができる。 In addition, when a rectangular area as shown in FIG. 5A is photographed, it is possible to extract a linear area and synthesize it. On the image obtained from the parallel movement amount and the rotation amount of the calibration result. A pixel corresponding to the linear region is extracted from each image by the interpolation linear equation, and a composite image is created by arranging the pixels extracted from the next photographed image in parallel. The object surface can be synthesized by performing this procedure for all the continuous images.
次に、線状領域を撮影した場合を説明する。図6は、画像データのデータ合成の内容を説明するための概念図であり、(a)は個別の線状領域の画像データ、(b)はデータ合成を行った画像データである。すなわち、(a)は、対象物へのレーザ照射位置G1〜G5を順次、ずらした場合の各画像データである。 Next, a case where a linear region is photographed will be described. 6A and 6B are conceptual diagrams for explaining the contents of data composition of image data. FIG. 6A shows image data of individual linear regions, and FIG. 6B shows image data subjected to data composition. That is, (a) is each image data when the laser irradiation positions G1 to G5 to the object are sequentially shifted.
画像データ合成部322は、スキャン部130の3軸の移動駆動部131および回転駆動部132から移動量と回転量をそれぞれ取得し、次の式(5)および式(6)に代入することにより、合成後の画像座標を得る。
The image
ただし、X、Y、Zはスキャン部130の3次元座標、x、yは画像上の2次元座標、Xm、Ym、Zmは平行移動量の3次元座標、a11〜a33は回転変換成分、cはスケールファクタである。
However, X, Y, Z three-dimensional coordinate of the
形状データ合成部323は、複数の形状データを3次元的に合成する。形状データ合成部323は、次の2つの形状データ合成方法のいずれかが可能に構成されている。なお、いずれも可能に構成されていてもよい。
The shape
形状データの第1の合成方法は以下のとおりである。まず、形状計測部120での測定により、対象物との距離を1計測あたり3点以上取得する。距離は、図3について説明したように、形状計測部120のレーザ照射部121とレーザ光撮影用カメラ122とを用いて測定、演算が可能である。具体的には、たとえば、まず、形状計測部120で測定し、任意の計測位置を原点として距離を演算する。
The first synthesis method of shape data is as follows. First, three or more distances per measurement are acquired from the measurement by the
次に、スキャン部130を移動、回転させるとともに、形状データ合成部323が、移動量および回転量をスキャン部130から受け取り、次の式(7)に示す座標変換式により、移動および回転後の計測位置を算出する。
Next, the
ここで、各回転変換成分は、次のように表される。
a11=cosω・cosκ
a12=−cosφ・sinκ
a13=sinφ
a21=cosω・sinκ+sinω・sinφ・cosκ
a22=cosω・cosκ−sinω・sinφ・sinκ
a23=−sinω・cosφ
a31=sinω・sinκ−cosω・sinφ・cosκ
a32=sinω・cosκ+cosω・sinφ・sinκ
a33=cosω・cosφ
Here, each rotation conversion component is expressed as follows.
a 11 = cosω · cosκ
a 12 = −cos φ · sin κ
a 13 = sinφ
a 21 = cosω · sinκ + sinω · sinφ · cosκ
a 22 = cosω · cosκ−sinω · sinφ · sinκ
a 23 = −sin ω · cos φ
a 31 = sinω · sinκ−cosω · sinφ · cosκ
a 32 = sinω · cosκ + cosω · sinφ · sinκ
a 33 = cosω · cosφ
ここで、X’、Y’、Z’は座標変換後の計測データ、Xm、Ym、Zmは移動駆動部131の移動量、X0、Y0、Z0はスキャン部130の基準位置、X、Y、Zは形状データの座標値、ω、φ、κはそれぞれ回転駆動部132のX軸、Y軸、Z軸まわりの回転角度である。
Here, X ′, Y ′, and Z ′ are measurement data after coordinate conversion, Xm, Ym, and Zm are movement amounts of the
移動と回転後の計測位置から、2つ目の形状計測データに基づいて任意の点を仮の原点とした計測位置との計測距離を求める。3つ目の距離についても同様に求める。これにより少なくとも9点の仮の原点との距離が求まる。この時、これら距離を拘束条件として、式(7)の逆変換により、各計測位置の形状計測データの座標値を求める。これにより、全ての計測位置における仮の原点を基準とした形状計測データの座標値を求めることが可能になる。 Based on the second shape measurement data, a measurement distance from a measurement position with an arbitrary point as a temporary origin is obtained from the measurement position after movement and rotation. The third distance is obtained in the same manner. As a result, distances from at least nine temporary origins are obtained. At this time, using these distances as constraint conditions, the coordinate values of the shape measurement data at each measurement position are obtained by inverse transformation of Equation (7). Thereby, it is possible to obtain the coordinate values of the shape measurement data with reference to the temporary origin at all measurement positions.
第2の形状合成方法は、スキャン部130の第1軸と定めた移動および回転駆動部132の基準位置を原点として、基準位置に対する距離を取得する。この時、基準位置を原点とするため、計測データに対して式(7)により座標変換する。この変換によりスキャン部130の原点と定めた位置に対する対象物の形状データを合成することが可能になる。
In the second shape synthesis method, the distance with respect to the reference position is obtained with the reference position of the movement and
位置調整・面認識部324は、以上のような形状合成手段により、1つの対象物に対する形状計測データの全面もしくは任意の面を1つの形状データに合成した結果を用いて、基準外形データと形状計測データの位置調整を実施する。また、基準外形データにあらかじめ面を識別するラベルを付加しておき、位置調整の際に形状データの座標と基準外形データの座標間の距離が一番近い点にラベルをコピーすることで面認識を行う。以上のように、位置調整・面認識部324は、位置調整機能と面認識機能とを有する。
The position adjustment /
まず、位置調整については、対象物の形状データと基準外形データについて、次の欠陥評価部330において同一箇所の形状を比較するために行うものである。位置調整・面認識部324は、以下の3つの機能を選択もしくは順次適用して位置調整が可能に構成されている。
First, the position adjustment is performed in order to compare the shape of the object in the next
位置調整の第1の機能は、対象物の形状が経年変化した場合に、対応可能な方法である。形状データと基準外形データ内のそれぞれの最低3点の基準位置を選択し、あるいは基準位置を含む周辺の形状特徴量を検出し、形状データと基準外形データとのマッチングにより基準位置を決定する。 The first function of position adjustment is a method that can cope with changes in the shape of the object over time. At least three reference positions in the shape data and the reference outline data are selected, or peripheral shape feature amounts including the reference position are detected, and the reference position is determined by matching the shape data with the reference outline data.
ここで、形状データと基準外形データのそれぞれの基準位置が必ずしも一致しない場合がある。そこで、補正的な処理として、選択した基準位置の点を含む周辺の形状データを形状特徴量として扱い、点の法線ベクトルやエッジとなる形状部分の座標値を求め、手動選択した点の位置を補正する。この補正した点を最低3点ずつ用いて形状データと基準外形データとの対応付けを行う。対応付けられたそれぞれの3点を用いて、次の式(8)に示す座標変換式にて、移動と回転により位置調整する。 Here, the reference positions of the shape data and the reference outer shape data may not always match. Therefore, as correction processing, the shape data of the surrounding area including the point at the selected reference position is treated as the shape feature value, the normal vector of the point and the coordinate value of the shape part that becomes the edge are obtained, and the position of the manually selected point Correct. The shape data and the reference outline data are associated with each other using at least three corrected points. Using each of the three points associated with each other, the position is adjusted by movement and rotation using the coordinate conversion formula shown in the following formula (8).
ここで、X’、Y’、Z’は座標変換後の形状データ、Xm、Ym、Zmは形状データの移動量、X、Y、Zは形状データの座標値である。また、各回転変換成分a11〜a33は、式(7)の注記と同様である。
Here, X ′, Y ′, and Z ′ are shape data after coordinate conversion, X m , Y m , and Z m are movement amounts of the shape data, and X, Y, and Z are coordinate values of the shape data. Each
式(8)について、基準位置について、形状データの変換後の座標と、基準外形データの座標値の差分が最小となるように、たとえば最小二乗法により移動量と回転量を求めればよい。 In Expression (8), for the reference position, the movement amount and the rotation amount may be obtained by, for example, the least square method so that the difference between the coordinates after conversion of the shape data and the coordinate value of the reference outer shape data is minimized.
位置調整の第2の機能は、経年変化により形状変形した場合に、経年変化の影響を受けない部分を用いる方法である。形状計測データと基準形状データから計測点や面の法線ベクトルや形状変化量の特徴量を演算処理により検出し、形状変化量が、任意に設定したしきい値以下の領域を、経年変化の影響を受けていない部分として、その領域から最低3点の基準位置を決定する。なお、位置調整は前述の式(8)を用い、同様の方法で移動量と回転量を求め、座標変換を行う。 The second function of the position adjustment is a method of using a portion that is not affected by the secular change when the shape is deformed due to the secular change. The measurement point and surface normal vectors and the feature quantity of the shape change amount are detected by calculation processing from the shape measurement data and the reference shape data, and the area where the shape change amount is below the arbitrarily set threshold is detected. At least three reference positions are determined from the area as unaffected parts. Note that the position adjustment uses the above-described equation (8), obtains the movement amount and the rotation amount by the same method, and performs coordinate conversion.
位置調整の第3の機能は、形状データと基準外形データの双方に対して、形状が一致する領域を特定し、最低3点の基準位置を決定する。形状が一致する領域を特定するために、形状データから法線ベクトルやエッジ形状を求める。求めた法線ベクトルやエッジ形状の演算データを双方の形状データに対して一致する領域をマッチングにより特定する。 The third function of position adjustment specifies a region where the shapes match for both shape data and reference outline data, and determines at least three reference positions. In order to specify a region having a matching shape, a normal vector and an edge shape are obtained from the shape data. A region where the obtained normal vector and edge shape calculation data coincide with both shape data is specified by matching.
得られた領域内から第1の機能と同様に、特定した領域内から点を選択し、位置調整は前記の式(8)を用い、同様の方法で移動量と回転量を求め、座標変換を行う。 In the same way as the first function, a point is selected from the specified area, the position adjustment is performed using the above equation (8), the movement amount and the rotation amount are obtained by the same method, and coordinate conversion is performed. I do.
なお、形状が一致する領域は可能な限り対象物の全域に分散していることが望ましいため、特定した領域の重心位置を求め、2つの領域の重心位置間距離に対して任意に設定したしき値により選択することでもよい。 Since it is desirable that the regions having the same shape are dispersed as much as possible across the entire object, the position of the center of gravity of the specified region is obtained and the threshold is arbitrarily set for the distance between the positions of the center of gravity of the two regions. You may select by a value.
位置調整・面認識部324は、以上の機能を用いて、次の欠陥評価部330による欠陥の特定のために、形状データと基準外形データの比較を可能とする位置調整を実施する。
The position adjustment /
次に、位置調整・面認識部324の面認識処理機能について説明する。面認識は、前述のように、基準外形データにあらかじめ面を識別するラベルを付加しておき、位置調整の際に、形状データの座標と基準外形データの座標間の距離が一番近い点にラベルをコピーすることで面認識を可能とするものである。また、形状データもしくは基準外形データに対して、最低3点から構成される三角面の法線ベクトルを求めることで、一意に決定されている各面の法線方向と比較し、同一もしくは近似する法線方向から面を認識する方法を用いてもよい。
Next, the surface recognition processing function of the position adjustment /
この面認識処理により、対象物に存在する平面や平面に直交する側面等の面を区別して識別することが可能である。面の区別の仕方は、例えばガスタービン静翼の場合、静翼面、左側面、右側面のそれぞれについて表裏面が存在するため、最低でも6つの面を区別して識別することとなる。 By this surface recognition processing, it is possible to distinguish and identify a surface such as a plane existing in the object or a side surface orthogonal to the plane. For example, in the case of a gas turbine stationary blade, since there are front and back surfaces for each of the stationary blade surface, the left side surface, and the right side surface, at least six surfaces are distinguished and identified.
また、位置調整・面認識部324は、対象物において設計上存在する特定形状、例えば、静翼面と側壁面の境界や、整流するための孔溝等を、欠陥と誤認識することを防ぐ処理機能を有する。具体的には、基準外形データもしくは設計図面データからテンプレートを作成し、形状データに対し、設計上存在する特定形状を検索する。これにより得られた領域をあらかじめ欠陥評価の対象外領域と設定する。
Further, the position adjustment /
補間部325は、画像データ合成部322により合成された画像データと、形状データ合成部323により合成された形状データとを、キャリブレーション部321の結果を用いて、平行移動量と回転量とを用いて同一座標系上の座標点として対応付け、画素と形状計測点間の座標点を補間する。
The
まず、キャリブレーション部321によるキャリブレーションで導出した画像上の点とレーザ光の対応する点とを関係づける前述の式(1)から、各画素の対応する3次元座標を一致させる。画像データと形状データの分解能が同じ場合には、各画素ごとにそのままのデータで一致させることができる。
First, the corresponding three-dimensional coordinates of each pixel are matched from the above-described equation (1) that relates the point on the image derived by the calibration by the
図7は、実施形態に係る表面欠陥評価装置の補間部による補間処理を説明するための概念図である。図7では、白丸Qで表示する箇所は画素に対応する。その中で、黒丸Pで表示する箇所は、形状データでの計測点でもある箇所を示す。たとえば、図7の上下方向の場合に示すように、画像データの分解能はσpに対し、形状データの分解能はσmと粗く、双方の分解能が一致しない場合には、細かい方の分解能、すなわちこの例では画像データの分解能σpを基準として、対応付けをすべき画素の間隔もしくは形状データの間隔についての対応付けを実施する。 FIG. 7 is a conceptual diagram for explaining the interpolation processing by the interpolation unit of the surface defect evaluation apparatus according to the embodiment. In FIG. 7, a portion displayed with a white circle Q corresponds to a pixel. Among them, a portion displayed by a black circle P indicates a portion that is also a measurement point in the shape data. For example, as shown in the case of the vertical direction in FIG. 7, the resolution of the image data is σ p and the resolution of the shape data is coarse σ m, and if both the resolutions do not match, the finer resolution, that is, In this example, with respect to the resolution σ p of the image data, association is performed for the interval between pixels to be associated or the interval between shape data.
形状データの分解能σmを画像データの分解能σpで除すると、対応すべき画素の間隔が得られる。例えば、画像データの分解能σpを0.1mm/pixel、形状データの分解能σmを0.4mmとすると、画素の間隔4pixelで対応ができることになる。そのため、対応できない画像データの画素2pixel分に相当する形状計測データが不足することになる。 By dividing the resolution σ m of the shape data by the resolution σ p of the image data, the interval between the pixels to be handled can be obtained. For example, if the resolution σ p of the image data is 0.1 mm / pixel and the resolution σ m of the shape data is 0.4 mm, the correspondence can be achieved with a pixel interval of 4 pixels. Therefore, there is a shortage of shape measurement data corresponding to 2 pixels of image data that cannot be handled.
そこで、補間する形状計測データの座標値は、次の式(9)に示す重み付き平均内挿法により求める。
Zp=(ΣwiZi)/(Σwi) …(9)
ここで、Zpは補間後の3軸のX、Y、Zのいずれかの座標値(画像データを補間した場合には、RGB色空間の輝度値)、wは重み、Zは補間前の座標値、iは補間する間隔の番号である。
Therefore, the coordinate value of the shape measurement data to be interpolated is obtained by the weighted average interpolation method shown in the following equation (9).
Z p = (Σw i Z i ) / (Σw i ) (9)
Here, Z p is
次に、欠陥評価部330を構成する前処理部331、画像データ表面欠陥判別部332、形状データ表面欠陥判別部333、欠陥判定部334、および表面欠陥寸法推定部335について順次説明する。
Next, the
前処理部331は、画像データと形状データの双方に共通する前処理を行う。具体的には、形状データ合成部323で合成した形状データと、当初の形状に関する基準外形データとに基づいて、形状が変化した領域の特定処理を実施する。
The
ここで、当初の形状から変化した領域の特定は、位置調整済みの形状データと基準外形データそれぞれの座標値の差分を求めることにより行う。差分が所定の値より大きな領域を変更領域と判定する。なお、設計上の形状から変更が明確な領域は、判定の対象外としてもよい。この特定された領域に対して、画像データ表面欠陥判別部332および形状データ表面欠陥判別部333が表面欠陥判別を行う。
Here, the area that has changed from the original shape is specified by obtaining the difference between the coordinate values of the position-adjusted shape data and the reference outline data. An area where the difference is larger than a predetermined value is determined as a change area. In addition, it is good also considering the area | region where a change is clear from the design shape as the object of determination. The image data surface
図8は、画像データ表面欠陥判別部の構成を示すブロック図である。画像データ表面欠陥判別部332は、画像データから欠陥の特徴量を演算し、画像データ上の欠陥の特徴量の集合領域を特定する。画像データ表面欠陥判別部332は、画像データ読み込み部332a、エッジ検出部332b、閉領域検出部332c、誤検出部分除去部332d、および欠陥領域連結部332eを有する。
FIG. 8 is a block diagram illustrating a configuration of the image data surface defect determination unit. The image data surface
画像データ読み込み部332aは、補間部325が対応付けし、補間を行った画像データを読み込む。エッジ検出部332bは、任意に設定した領域サイズに応じた小領域を画像データから抽出する。
The image
閉領域検出部332cは、画像データの小領域に対して欠陥エッジ検出処理を実施する。なお、小領域の抽出処理は必ずしも必要はないため、処理を省くことができる。欠陥エッジ検出処理は、注目した画素の輝度値を基に、隣接する4つもしくは8つの近傍の輝度値に対してエッジ検出フィルタ(例えば、ソーベルフィルタ)によりエッジ強度、濃度勾配を算出する。
The closed
また、エッジ強度に対して任意に設定したしきい値を用いた2値化処理により、エッジか否かを判別し、エッジ領域を検出する。また、濃度勾配結果とエッジ領域検出結果を用いて、隣接する画素間の内積により濃度勾配方向に同様の値を持つ画素を追跡する。画像上の欠陥は閉領域となることを利用して、追跡結果より閉領域(任意の出発点となる画素からどちらか一方の方向に追跡したときに同じ出発点の画素に戻ってくる)を検出する。 In addition, by binarization processing using a threshold value arbitrarily set for the edge strength, it is determined whether or not it is an edge, and an edge region is detected. Further, by using the density gradient result and the edge region detection result, pixels having similar values in the density gradient direction are traced by the inner product between adjacent pixels. Using the fact that defects on the image become closed regions, the closed region (returns to the pixel of the same starting point when tracking in either direction from the pixel that is an arbitrary starting point) from the tracking result To detect.
誤検出部分除去部332dは、閉領域検出部332cが検出した閉領域には、欠陥以外を含む可能性があるため、欠陥の領域と欠陥以外の領域を、画素の面積や閉領域の形状等の演算情報から判別し、誤検出部分を除去処理する。なお、この部分は、経験的な知見が有効であるため、結果を表示して、検査関係者が判断することでもよい。
The false detection
欠陥領域連結部332eは、2つ以上に分かれた閉領域を連結する。エッジ検出部332b、閉領域検出部332c、および誤検出部分除去部332dのそれぞれによる処理の結果、1つの欠陥が途切れた欠陥として認識される場合がある。そこで、閉領域の輪郭同士が、所定の画素距離以内であれば、輪郭の幅に合わせて欠陥として認識されていない空白領域を欠陥として特定する。
The defective
図9は、形状データ表面欠陥判別部の構成を示すブロック図である。形状データ表面欠陥判別部333は、位置調整した形状データと基準外形データの座標値を比較し、形状変化している領域を特定し、欠陥のエッジに囲まれた領域を特定する。形状データ表面欠陥判別部333は、形状データ読み込み部333a、小領域抽出部333b、深さ方向決定部333c、データ投影部333d、ノイズ除去部333e、エッジ検出部333f、閉領域検出部333g、誤検出部分除去部333h、および欠陥領域連結部333kを有する。
FIG. 9 is a block diagram illustrating a configuration of the shape data surface defect determination unit. The shape data surface
形状データ読み込み部333aは、補間部325にて対応付け、補間された形状データを読込む。小領域抽出部333bは、任意に設定した領域サイズに応じた小領域を形状計測データから抽出する。なお、小領域の抽出処理は必ずしも必要はないため、処理を省くことができる。
The shape
深さ方向決定部333cは、位置調整・面認識部324により位置調整され、面認識された面識別ラベルデータから欠陥の深さ方向となる方向を確認、決定する。
The depth
図10は、形状データ表面欠陥判別部の深さ方向決定部の機能を説明するための概念的斜視図である。図10は、ガスタービンの静翼の場合を例にとって示している。静翼面SFと静翼面SFに直交する左側面SLと右側面SRが表裏面にある。静翼面の内部方向をき裂深さ方向のZ軸マイナス向きとする。静翼面の左側面方向をY軸プラス向き、静翼面の右側面方向をY軸マイナス向き、残りの方向をX軸方向とする。すなわち、図10に示すように、静翼面はX、Y軸方向、流体の流れ方向はマイナスZ軸方向となる。 FIG. 10 is a conceptual perspective view for explaining the function of the depth direction determination unit of the shape data surface defect determination unit. FIG. 10 shows an example of a stationary blade of a gas turbine. Shizutsubasamen S F and Shizutsubasamen S left side perpendicular to F S L and the right side surface S R is in the front and back surfaces. The internal direction of the stator blade surface is the Z axis minus direction in the crack depth direction. The left side direction of the stationary blade surface is the Y axis plus direction, the right side surface direction of the stationary blade surface is the Y axis minus direction, and the remaining direction is the X axis direction. That is, as shown in FIG. 10, the stationary blade surface is in the X and Y axis directions, and the fluid flow direction is in the minus Z axis direction.
データ投影部333dは、形状計測データのZ軸方向の値を、画像の輝度に対応する輝度値として、データ投影する。いま、演算対象軸方向(Z軸マイナス方向)に直交する平面をx−y平面として、形状計測データのX座標を座標値投影データのx座標、Y座標を座標値投影データのy座標とする。Z座標を、画像の輝度に対応する輝度値としてデータ投影するものである。
The
ここで、X、Y座標は、スキャン部130が等間隔に移動駆動するのが通常であり、この場合は、得られた形状データのままでデータ投影が可能である。等間隔でない場合には、次の式(10)、(11)より、3次元座標を2次元座標に投影することでも対応可能である。
Here, the X and Y coordinates are usually driven and moved by the
ここで、X、Y、Zは形状データの3次元座標、x、yは投影データ上の2次元座標、a11〜a33は回転変換成分であり式(7)におけるものと同様である。また、cはスケールファクタである。なお、スケールファクタcは1として算出してもよく、画像データとのスケールを同一にする場合には、補間部325にて用いた画像データの分解能と、形状計測データの分解能との比率を与えてもよい。また、回転成分a11〜a33は基本的に直交座標系であるので、各成分の3軸の角度は回転していないものとして0を与える。
Here, X, Y, Z is 3-dimensional coordinates of the shape data, x, y are the same as those in the two-dimensional coordinates on the projection data, a 11 ~a 33 is a rotating conversion component (7). C is a scale factor. The scale factor c may be calculated as 1, and when the scale of the image data is the same, a ratio between the resolution of the image data used in the
ノイズ除去部33eは、座標値投影データに対して、座標値が特異な凹凸形状を構成する点を検出し、除去するものである。座標値投影データに対し、任意のサイズに設定した矩形領域を抽出し、矩形領域中心の注目座標の座標値とその周囲の座標値との分散値を算出する。算出した分散値が注目座標の周囲の座標値と任意に設定したしきい値以上である場合には、特異な凹凸形状を構成する点であると判別する。判別された点の座標値と周辺の座標値との個々の差分が任意に設定した距離以内である点の座標値のみ集約し、平均化することで特異な凹凸形状を持つ点を除去する。また、判別された点の周辺の分散値も高い場合は、特異な凹凸形状の集合であることから、前記の平均化するための点が存在しない可能性がある。この場合には、矩形領域サイズを大きくし前記の平均化処理をする方法と矩形領域内の座標値の中央値を採る方法のいずれかで特異な凹凸形状の点を除去する。 The noise removing unit 33e detects and removes points that form uneven shapes with unique coordinate values from the coordinate value projection data. A rectangular area set to an arbitrary size is extracted from the coordinate value projection data, and a variance value between the coordinate value of the target coordinate at the center of the rectangular area and the surrounding coordinate values is calculated. If the calculated dispersion value is equal to or greater than the coordinate value around the target coordinate and a threshold value arbitrarily set, it is determined that the point is a point that forms a unique uneven shape. Only the coordinate values of the points where the individual differences between the coordinate values of the determined points and the peripheral coordinate values are within the arbitrarily set distance are aggregated and averaged to remove the points having unique uneven shapes. Further, when the variance value around the determined point is also high, it is a set of unique uneven shapes, and there is a possibility that the above-mentioned point for averaging does not exist. In this case, a point with a peculiar uneven shape is removed by either the method of increasing the rectangular region size and performing the averaging process or the method of taking the median of the coordinate values in the rectangular region.
エッジ検出部333fは、エッジを検出し、欠陥の輪郭を推定する。具体的には、座標値投影データを用いて、注目した形状データの座標値に基づいて、隣接する4つの近傍箇所もしくは8つの近傍箇所の座標値に対して、エッジ検出フィルタ(例えば、ソーベルフィルタ)によりエッジ強度分布を作成する。このエッジ強度分布からしきい値以上のエッジ強度を欠陥の輪郭と認識する。しきい値は、対象物の表面状態により異なるため、部分計測して数値確認により設定する方法と、エッジ強度分布全体の標準偏差を求めしきい値とする方法のいずれかによる。 The edge detection unit 333f detects an edge and estimates a defect contour. Specifically, using the coordinate value projection data, an edge detection filter (for example, Sobel) is applied to the coordinate values of four neighboring locations or eight neighboring locations based on the coordinate values of the focused shape data. Edge strength distribution is created by a filter. From this edge intensity distribution, an edge intensity equal to or greater than a threshold value is recognized as a defect outline. Since the threshold value varies depending on the surface state of the object, it depends on one of a method of performing partial measurement and setting by numerical confirmation, and a method of obtaining the standard deviation of the entire edge intensity distribution as a threshold value.
ここで、対象物の表面状態によっては、孤立する突起状の形状部分が存在する可能性があり、欠陥の輪郭と認識された点の周囲8つの近傍箇所の輪郭点を数える。周囲8つの輪郭点数が任意に設定したしきい値(通常は、孤立点では1に設定)以下であれば、孤立点として除去する。 Here, depending on the surface state of the object, there may be an isolated protrusion-like shape portion, and the contour points at eight neighboring locations around the point recognized as the defect contour are counted. If the number of surrounding eight contour points is equal to or less than the arbitrarily set threshold value (usually set to 1 for isolated points), it is removed as an isolated point.
閉領域検出部333gは、輪郭点の集合が閉領域である場合には、欠陥として認識されるが、部分的に途切れた部分が存在すると、閉領域とはならず欠陥として認識されないため、検査記録に記載すべきき裂長さ以下の途切れた部分を連結する処理を加える。
When the set of contour points is a closed region, the closed
誤検出部分除去部333hは、閉領域検出部333gにて検出された領域が、誤検出された部分であるかを確認するため、欠陥の領域と欠陥以外の領域は、画素の面積や閉領域の形状等の演算情報から判別し、誤検出部分を除去処理する。
In order to confirm whether the region detected by the closed
欠陥領域連結部333kは、1つの欠陥が途切れた欠陥として認識する場合があるので、閉領域の輪郭間の距離が、任意に設定した画素距離以内であれば、輪郭の幅に合わせ欠陥として認識されていない空白領域を欠陥として認識し、2つ以上に分かれた閉領域を連結する。
Since the defect
欠陥判定部334は、画像データ表面欠陥判別部332および形状データ表面欠陥判別部333の双方の欠陥認識結果を用いて、欠陥であるか否かを判別する。ここでは、画像データの分解能が形状データの分解能より小さい場合について記載するが、逆の場合も同様の処理を実施することで判別が可能である。
The
画像データの分解能が小さい場合には、形状データの欠陥認識結果よりも小さな欠陥を検出可能であるが、誤検出を含む可能性がある。この画像データの欠陥認識結果に含まれる誤検出の可能性のある欠陥に対応するものが、形状計測データの欠陥認識の結果に存在しない場合は、誤検出欠陥として除去する。したがって、表面欠陥寸法推定部335は、画像データの欠陥認識結果と形状データの欠陥認識結果の論理積を求める。これにより一方に存在しない欠陥は除去し、欠陥認識結果の統合が並行して実施される。
When the resolution of the image data is small, it is possible to detect a defect smaller than the defect recognition result of the shape data, but there is a possibility that erroneous detection is included. When a defect corresponding to a possibility of erroneous detection included in the defect recognition result of the image data does not exist in the defect recognition result of the shape measurement data, it is removed as a false detection defect. Therefore, the surface defect
表面欠陥寸法推定部335は、欠陥の寸法を推定する。図11は、表面欠陥評価装置の表面欠陥寸法推定部の構成を示すブロック図である。表面欠陥寸法推定部335は、画像基準推定部335aと形状基準推定部335bとを有する。
The surface defect
画像基準推定部335aは、画像データからき裂の開始点と終端点を検出して欠陥の寸法を推定する。具体的には、まず、画像基準推定部335aは、画像データから欠陥と認識された領域の中心線を、細線化あるいは骨格化処理により求める。また、き裂領域の最外矩形を求め、き裂領域と矩形の接点を開始点もしくは終端点に相当する点から中心線として検出された端点まで延長する。これにより、開始点または終端点を決定する。ここで、複数個の開始点と終端点の候補が存在することになるため、すべての組合せの中で中心線上の距離が最も長い組み合わせをき裂の開始点と終端点とする。得られた開始点と終端点及びその両端点間の中心線の形状計測データと対応付けられた座標値を積算することで、欠陥の長さを求める。
The image
また、欠陥の幅は中心線に直交する垂線とき裂の輪郭の両接点の距離を開始点から終端点まで求め、その平均値、最大値、あるいは最小値のうち任意に選択した値を欠陥の幅として求める。ただし、欠陥に分岐点がある場合には、求めた欠陥の幅を長く求める可能性があるため、任意に設定した分岐点前後の区間を除外するか否かの選択が可能に構成されている。通常、この区間は検査記録に記載する最小欠陥幅に基づいて設定する。 In addition, the width of the defect is determined by calculating the distance between the start point and the end point of the contact point of the perpendicular line and the crack outline perpendicular to the center line, and selecting an average value, maximum value, or minimum value of the defect. Calculate as width. However, if there is a branch point in the defect, there is a possibility that the width of the obtained defect is long, so it is possible to select whether or not to exclude the section before and after the arbitrarily set branch point. . Usually, this section is set based on the minimum defect width described in the inspection record.
形状基準推定部335bは、形状データとの対応付けされた座標値から、欠陥の寸法を推定する。すなわち、形状計測データからき裂の開始点と終端点を検出して欠陥の寸法を推定する。
The shape
図12は、寸法測定処理を説明するための概念的斜視図である。まず、形状計測データから欠陥と認識された領域のき裂方向の中心線L0を、細線化や骨格化処理により求める。また、欠陥領域の最外の矩形Aを求め、欠陥領域と矩形Aの接点を開始点もしくは終端点に相当する点から中心線として検出された端点まで延長する。これにより、開始点または終端点が決定される。ここで、複数個の開始点と終端点の候補が存在することになるため、すべての組合せの中で中心線上の距離が最も長い組み合わせを欠陥の開始点と終端点とする。 FIG. 12 is a conceptual perspective view for explaining the dimension measurement process. First, the center line L0 in the crack direction of the region recognized as a defect from the shape measurement data is obtained by thinning or skeletonization processing. Further, the outermost rectangle A of the defect area is obtained, and the contact between the defect area and the rectangle A is extended from the point corresponding to the start point or the end point to the end point detected as the center line. Thereby, the start point or the end point is determined. Here, since there are a plurality of start point and end point candidates, the combination having the longest distance on the center line among all the combinations is set as the defect start point and end point.
得られた開始点と終端点及びその両端点間の中心線の形状計測データの座標値を積算することで、欠陥の長さが求められる。また、欠陥の幅も画像基準推定部335aの場合と同様に、中心線に直交する垂線とき裂の輪郭の両接点の距離を開始点から終端点まで求め、その平均値、最大値、最小値から任意に選択した値を欠陥の幅として求める。ただし、欠陥に分岐点がある場合には、求めた欠陥の幅が長く求まる可能性があるため、任意に設定した分岐点前後の区間を除外するか否かの選択はできる方法としている。通常、この区間は検査記録に記載する最小き裂幅に基づいて設定する。
By integrating the coordinate values of the shape measurement data of the center line between the obtained start and end points and both end points, the length of the defect is obtained. Similarly to the case of the image
結果作成部340は、欠陥評価部330での結果を用いて、欠陥長さおよび幅について所定のしきい値を超える値を、検査記録として記録するとともに、表示する画像を作成して、出力部420に出力する。
The
まず、結果作成部340は、検査記録として対象物の各面を2次元画像として記録するために、外形データ記憶部210に格納されている形状データおよび基準外形データのそれぞれに対して、形状データの座標値を用いてエッジとなる輪郭を検出する。さらに、検出した対象物の輪郭を3次元空間上の任意に指定した視点から2次元空間に投影した投影画像を作成する。
First, the
形状輪郭を検出する方法は、対象物の形状データと基準外形データのそれぞれに対して、エッジとなる形状変化点を法線ベクトルや形状勾配量(形状データの周辺の微分値)から検出する。検出された形状変化点を用いて、その変化点が連続する点のみを検出する。不連続となる場合には、任意に設定した形状変化点の連続点として判別可能として設定したしきい値以内であれば、連続点として検出する。この機能により、対象物の形状輪郭を検出する。 In the method of detecting a shape contour, a shape change point serving as an edge is detected from a normal vector and a shape gradient amount (a differential value around the shape data) for each of the shape data of the object and the reference shape data. Using the detected shape change points, only the points where the change points are continuous are detected. In the case of discontinuity, it is detected as a continuous point if it is within a threshold set as distinguishable as a continuous point of arbitrarily set shape change points. With this function, the shape contour of the object is detected.
次に、検出した対象物の輪郭を3次元空間上の任意に指定した視点から2次元空間に投影した投影画像を作成する。任意に指定する点は、例えば対象物の上面から見た状態や側面を見た状態であり、適宜視点は変えられるものとして、視点の座標値を入力する方法と、3次元空間上で任意の視点から対象物の形状データを確認できるモニタ表装置上で演算処理装置の入力補助装置であるマウスやキーボードで指定する方法である。 Next, a projection image is created by projecting the contour of the detected object onto a two-dimensional space from an arbitrarily designated viewpoint on the three-dimensional space. The points to be arbitrarily specified are, for example, the state viewed from the upper surface or the side surface of the object, and the viewpoint can be changed as appropriate. This is a method of designating with a mouse or a keyboard which is an input auxiliary device of the arithmetic processing unit on a monitor table device which can confirm the shape data of the object from the viewpoint.
さらに、以上の結果、記録すべき欠陥と判定された欠陥について、形状データと、以上により作成された投影画像とから、合成画像を作成する。また、個々の欠陥に対応した表面欠陥寸法推定部335により得られる欠陥長さ等の欠陥情報を、合成画像上に描画する。さらに、表面欠陥寸法推定部335により得られる欠陥長さ等の欠陥情報を形状データや合成画像とともに、対象物ごとに一元管理して演算結果記憶部220に格納する。
Further, as a result of the above, a composite image is created from the shape data and the projection image created as described above for the defect determined to be recorded. Further, the defect information such as the defect length obtained by the surface defect
図13は、実施形態に係る表面欠陥検査方法の全体の手順を示すフロー図である。 FIG. 13 is a flowchart showing an overall procedure of the surface defect inspection method according to the embodiment.
まず、キャリブレーション部321がキャリブレーションを行う(ステップS100)。すなわち、キャリブレーション部321が、形状データと画像データとの対応関係を推定する。
First, the
次に、表面データ取得装置100により、外形データを取得する(ステップS200)。すなわち、画像取得部110により画像データを、形状計測部120により形状データを取得する。
Next, external data is acquired by the surface data acquisition device 100 (step S200). That is, the
次に、データ合成を行う(ステップS300)。すなわち、画像データ合成部322が画像データの合成を行い、形状データ合成部323が形状データの合成を行う。次に、位置調整・面認識部324が、基準外形データと形状計測データの位置調整を実施する(ステップS400)。位置調整の後に、補間部325が、キャリブレーション部321の結果を用いて、画像データと形状データとを対応付け、画素と形状計測点間の座標点を補間する(ステップS500)。
Next, data composition is performed (step S300). That is, the image
次に、表面欠陥の判別を行う(ステップS600)。図14は、実施形態に係る表面欠陥検査方法の中の表面欠陥判別ステップS600の基本的な手順を示すフロー図である。 Next, the surface defect is determined (step S600). FIG. 14 is a flowchart showing a basic procedure of the surface defect determination step S600 in the surface defect inspection method according to the embodiment.
まず、欠陥評価部330の前処理部331が、画像データと形状データの双方に共通する前処理として、形状データ合成部323で合成した形状データと、当初の形状に関する基準外形データとに基づいて、形状が変化した領域の特定処理を実施する(ステップS610)。
First, the
次に、画像データ表面欠陥判別部332が、画像データに基づいて表面欠陥認識処理を行う(ステップS620)。図15は、実施形態に係る表面欠陥検査方法の中の表面欠陥判別ステップS600のうちの画像データからの表面欠陥認識処理S620の手順を示すフロー図である。
Next, the image data surface
まず、画像データ読み込み部332aが、外形データ記憶部210から画像データを読み込む(ステップS621)。次に、画像データ表面欠陥判別部332が設定領域を抽出し(ステップS622)、エッジ検出部332bがエッジ検出処理を行う(ステップS623)。
First, the image
次に、閉領域検出部332cが、欠陥の閉領域の検出をおこなう(ステップS624)。その後、誤検出部分除去部332dが、誤検出部分の除去処理を行う(ステップS625)。次に、画像データ表面欠陥判別部332は、すべての対象領域についての処理を完了したか否かを判定する(ステップS626)。完了していないと判定された場合(ステップS626 NO)は、ステップS622以降を繰り返す。完了していると判定された場合(ステップS626 YES)は、欠陥領域連結部332eが、欠陥領域の連結処理を行う(ステップS627)。
Next, the closed
また、図14において、形状データ表面欠陥判別部333が、形状データに基づいて欠陥認識処理を行う(ステップS630)。なお、ステップS620とステップS630の順序は問わない。並行に行ってもよい。
In FIG. 14, the shape data surface
図16は、実施形態に係る表面欠陥検査方法の中の表面欠陥判別ステップS600のうちの形状データからの表面欠陥認識処理S630の手順を示すフロー図である。 FIG. 16 is a flowchart showing a procedure of surface defect recognition processing S630 from shape data in the surface defect determination step S600 in the surface defect inspection method according to the embodiment.
まず、形状データ読み込み部333aが、外形データ記憶部210から形状データを読み込む(ステップS631)。小領域抽出部333bが設定領域を抽出し(ステップS632)、深さ方向決定部333cが設定領域の面情報の確認を行う(ステップS633)。
First, the shape
次に、データ投影部333dが、周方向に合わせたデータ投影処理を行う。また、ノイズ除去部333eが、ノイズ除去を行う(ステップS634)。その後、エッジ検出部333fがエッジ検出を行い(ステップS635)、閉領域検出部333gが欠陥の閉領域検出処理を行う(ステップS636)。また、誤検出部分除去部333hが、誤検出部分の除去処理を行う(ステップS637)。
Next, the
次に、形状データ表面欠陥判別部333は、すべての対象領域についての処理を完了したか否かを判定する(ステップS638)。完了していないと判定された場合(ステップS638 NO)は、ステップS632以降を繰り返す。完了していると判定された場合(ステップS638 YES)は、欠陥領域連結部333kが、欠陥領域の連結処理を行う(ステップS639)。
Next, the shape data surface
次に、欠陥判定部334は、画像データ表面欠陥判別部332および形状データ表面欠陥判別部333の双方の欠陥認識結果を用いて、欠陥であるか否かの判別、すなわち欠陥データの統合判別の処理を行う(ステップS640)。以上の表面欠陥判別(ステップS600)の後に、図13に示すように、表面欠陥寸法推定を行う(ステップS700)。この後に、結果作成部340が、表面欠陥寸法推定の結果に基づいて記録を作成する(ステップS800)。また、出力部420は、この結果を、表示あるいは印刷等により出力する。
Next, the
以上のような本実施形態によれば、表面欠陥検査において、画像データと形状データの両者に基づいて演算処理を行うことによって、検出率を高め、検査記録に記載すべきレベルの表面欠陥寸法を測定可能とする自動的な検査が可能となる。 According to the present embodiment as described above, in the surface defect inspection, by performing arithmetic processing based on both the image data and the shape data, the detection rate is increased, and the level of the surface defect size to be described in the inspection record is set. Automatic inspection that enables measurement is possible.
[その他の実施形態]
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。たとえば、実施形態では、表面欠陥寸法推定部335では、画像データでの欠陥認識結果と形状データでの欠陥認識結果の論理積により推定する場合を示したがこれに限定されない。たとえば、論理和、すなわち、画像データでの欠陥認識結果と形状データか欠陥認識結果のいずれかが欠陥と認識した場合は、欠陥と判定することとしてもよい。ただし、この場合は、いずれかのみの認識の結果であるという情報を付しておくことが、その後の調査のために有効である。
[Other Embodiments]
As mentioned above, although some embodiment of this invention was described, these embodiment is shown as an example and is not intending limiting the range of invention. For example, in the embodiment, the surface defect
また、各実施形態の特徴を組み合わせてもよい。さらに、これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Moreover, you may combine the characteristic of each embodiment. Furthermore, these embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
100…表面データ取得装置、110…画像取得部、111…レンズ、112…全ミラー、113…ハーフミラー、120…形状計測部、121…レーザ照射部、122…レーザ光撮影用カメラ、130…スキャン部、131…移動駆動部、132…回転駆動部、133…固定部、200…メモリ、210…外形データ記憶部、220…演算結果記憶部、300…CPU、310…制御部、320…演算部、321…キャリブレーション部、322…画像データ合成部、323…形状データ合成部、324…位置調整・面認識部、325…補間部、330…欠陥評価部、331…前処理部、332…画像データ表面欠陥判別部、332a…画像データ読み込み部、332b…エッジ検出部、332c…閉領域検出部、332d…誤検出部分除去部、332e…欠陥領域連結部、333…形状データ表面欠陥判別部、333a…形状データ読み込み部、333b…小領域抽出部、333c…深さ方向決定部、333d…データ投影部、333e…ノイズ除去部、333f…エッジ検出部、333g…閉領域検出部、333h…誤検出部分除去部、333k…欠陥領域連結部、334…欠陥判定部、335…表面欠陥寸法推定部、335a…画像基準推定部、335b…形状基準推定部、340…結果作成部、400…表面欠陥評価装置、410…入力部、420…出力部、500…欠陥測定システム
DESCRIPTION OF
Claims (12)
前記対象物に関する元々のデータであり経年的な変形や欠陥についての判断の基準となる基準外形データと測定された前記3次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記2次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、
を備えることを特徴とする表面欠陥評価装置。 An input unit that receives, as input, a two-dimensional image of the appearance of the object to be inspected acquired by the image acquisition unit, and a three-dimensional shape of the object measured by the shape measuring unit;
And adjusting the position of the shape data is information about the three-dimensional shape that has been determined serving as a reference standard contour data of the determination in the Ah Ri secular variations or defects in the original data for the object, obtains A calculation unit that acquires information on surface defects existing on the surface of the object based on image data that is information on the two-dimensional image and the shape data;
A surface defect evaluation apparatus comprising:
前記対象物に関する元々のデータである基準外形データと測定された前記3次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記2次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、
を備える表面欠陥評価装置であって、
前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データ内のそれぞれの少なくとも3点を用いて、これらの対応付けにより位置調整を行うことを特徴とする表面欠陥評価装置。 An input unit that receives, as input, a two-dimensional image of the appearance of the object to be inspected acquired by the image acquisition unit, and a three-dimensional shape of the object measured by the shape measuring unit;
Image data that is information related to the two-dimensional image obtained by adjusting the position of the reference outer shape data that is original data related to the object and the shape data that is information related to the measured three-dimensional shape. And a calculation unit that acquires information on surface defects existing on the surface of the object based on the shape data,
A surface defect evaluation apparatus comprising:
In the position adjustment, the arithmetic unit uses at least three points in the shape data of the object and the reference outline data, and performs position adjustment by associating them with each other. apparatus.
前記対象物に関する元々のデータである基準外形データと測定された前記3次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記2次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、
を備える表面欠陥評価装置であって、
前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データに基づく形状変化量が所定のしきい値以下となる領域から少なくとも3つの基準位置を設定することにより位置調整を行うことを特徴とする表面欠陥評価装置。 An input unit that receives, as input, a two-dimensional image of the appearance of the object to be inspected acquired by the image acquisition unit, and a three-dimensional shape of the object measured by the shape measuring unit;
Image data that is information related to the two-dimensional image obtained by adjusting the position of the reference outer shape data that is original data related to the object and the shape data that is information related to the measured three-dimensional shape. And a calculation unit that acquires information on surface defects existing on the surface of the object based on the shape data,
A surface defect evaluation apparatus comprising:
In the position adjustment, the calculation unit adjusts the position by setting at least three reference positions from a region where a shape change amount based on the shape data of the object and the reference outer shape data is a predetermined threshold value or less. The surface defect evaluation apparatus characterized by performing .
前記対象物に関する元々のデータである基準外形データと測定された前記3次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記2次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、 Image data that is information related to the two-dimensional image obtained by adjusting the position of the reference outer shape data that is original data related to the object and the shape data that is information related to the measured three-dimensional shape. And a calculation unit that acquires information on surface defects existing on the surface of the object based on the shape data,
を備える表面欠陥評価装置であって、 A surface defect evaluation apparatus comprising:
前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データの双方について形状が一致する領域をマッチングにより特定することを特徴とする表面欠陥評価装置。 In the position adjustment, the calculation unit specifies an area where the shapes of the shape data and the reference external shape data of the target object coincide with each other by matching.
前記画像取得部により取得する前記画像データの座標系と、前記形状計測部により測定する前記形状データの座標系との対応関係を導出するキャリブレーション部と、 A calibration unit for deriving a correspondence relationship between the coordinate system of the image data acquired by the image acquisition unit and the coordinate system of the shape data measured by the shape measurement unit;
前記キャリブレーション部で導出された対応関係を用いて、前記画像データは存在するが前記形状データが存在しない個所について、内挿により前記形状データを補間する補間部と、 An interpolation unit that interpolates the shape data by interpolation for a portion where the image data exists but the shape data does not exist, using the correspondence relationship derived by the calibration unit;
前記画像データに基づいて、表面欠陥を判別する画像データ表面欠陥判別部と、 Based on the image data, image data surface defect determination unit for determining surface defects;
前記形状データに基づいて、表面欠陥を判別する形状データ表面欠陥判別部と、 Based on the shape data, a shape data surface defect determination unit for determining surface defects;
前記画像データ表面欠陥判別部による判別結果と前記形状データ表面欠陥判別部による判別結果とに基づいて、表面欠陥の箇所を特定し、前記表面欠陥の箇所について寸法を推定する表面欠陥寸法推定部と、 A surface defect size estimation unit that identifies a surface defect location based on a determination result by the image data surface defect determination unit and a determination result by the shape data surface defect determination unit, and estimates a size of the surface defect location; ,
を有することを特徴とする請求項1ないし請求項7のいずれか一項に記載の表面欠陥評価装置。 The surface defect evaluation apparatus according to any one of claims 1 to 7, wherein the surface defect evaluation apparatus includes:
前記表面データ取得装置は、 The surface data acquisition device includes:
検査対象とする対象物の外観の2次元的な画像を取得する画像取得部と、 An image acquisition unit for acquiring a two-dimensional image of the appearance of an object to be inspected;
前記対象物の3次元的な形状を取得する形状計測部と、 A shape measuring unit for obtaining a three-dimensional shape of the object;
を具備し、 Comprising
前記表面欠陥評価装置は、 The surface defect evaluation apparatus is
前記2次元的な画像と前記3次元的な形状を入力として受け入れる入力部と、 An input unit that accepts the two-dimensional image and the three-dimensional shape as inputs;
前記対象物に関する元々のデータであり経年的な変形や欠陥についての判断の基準となる基準外形データと測定された前記3次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記2次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、 This is the original data related to the object and is obtained by adjusting the position of the reference external shape data which is the reference for the judgment of the deformation and defects over time and the shape data which is information about the measured three-dimensional shape. A calculation unit that acquires information on surface defects existing on the surface of the object based on image data that is information on the two-dimensional image and the shape data;
を備えることを特徴とする表面欠陥検査システム。 A surface defect inspection system comprising:
前記入力部が、形状計測部により測定された前記対象物の3次元的な形状を受け入れる形状受け入れステップと、 A shape receiving step in which the input unit receives a three-dimensional shape of the object measured by the shape measuring unit;
演算部が、前記対象物に関する元々のデータであり経年的な変形や欠陥についての判断の基準となる基準外形データと測定された前記3次元的な形状に関する情報である形状データの位置調整を実施する位置調整ステップと、 The calculation unit adjusts the position of the original shape data that is the original data regarding the target object and the reference shape data that is a criterion for the determination of deformation and defects over time and the information about the measured three-dimensional shape. A position adjustment step to be performed;
前記演算部が、取得された前記2次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物に存在する表面欠陥に関する情報を取得する表面欠陥情報取得ステップと、 A surface defect information acquisition step in which the arithmetic unit acquires information about a surface defect existing in the object based on the image data and the shape data which are information about the acquired two-dimensional image;
を有することを特徴とする表面欠陥検査方法。 A surface defect inspection method characterized by comprising:
キャリブレーション部が、前記画像取得部により取得する前記画像データの座標系と、前記形状計測部により測定する前記形状データの座標系との対応関係を導出するキャリブレーションステップと、 A calibration step for deriving a correspondence relationship between the coordinate system of the image data acquired by the image acquisition unit and the coordinate system of the shape data measured by the shape measurement unit;
補間部が、前記キャリブレーション部で導出された対応関係を用いて、前記画像データが存在しかつ前記形状データが存在しない個所について、内挿により前記形状データを補間する補間ステップと、 An interpolation step for interpolating the shape data by interpolation for a portion where the image data exists and the shape data does not exist, using the correspondence relationship derived by the calibration unit;
画像データ表面欠陥判別部が、前記画像データに基づいて、表面欠陥を判別する画像データ表面欠陥判別ステップと、 An image data surface defect determining unit, based on the image data, an image data surface defect determining step for determining a surface defect;
形状データ表面欠陥判別部が、前記形状データに基づいて、表面欠陥を判別する形状データ表面欠陥判別ステップと、 A shape data surface defect determination unit, based on the shape data, a shape data surface defect determination step for determining a surface defect;
表面欠陥寸法推定部が、前記画像データ表面欠陥判別部による判別結果と前記形状データ表面欠陥判別部による判別結果とに基づいて、表面欠陥の箇所を特定し、前記表面欠陥の箇所について寸法を推定する表面欠陥寸法推定ステップと、 The surface defect size estimation unit identifies a surface defect location based on the discrimination result by the image data surface defect discrimination unit and the discrimination result by the shape data surface defect discrimination unit, and estimates the size of the surface defect location A surface defect size estimation step,
を有することを特徴とする請求項11に記載の表面欠陥検査方法。 The surface defect inspection method according to claim 11, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015104562A JP6577243B2 (en) | 2015-05-22 | 2015-05-22 | Surface defect evaluation apparatus, surface defect inspection system, and surface defect inspection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015104562A JP6577243B2 (en) | 2015-05-22 | 2015-05-22 | Surface defect evaluation apparatus, surface defect inspection system, and surface defect inspection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016217940A JP2016217940A (en) | 2016-12-22 |
JP6577243B2 true JP6577243B2 (en) | 2019-09-18 |
Family
ID=57582015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015104562A Active JP6577243B2 (en) | 2015-05-22 | 2015-05-22 | Surface defect evaluation apparatus, surface defect inspection system, and surface defect inspection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6577243B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6624121B2 (en) * | 2017-02-27 | 2019-12-25 | Jfeスチール株式会社 | Steel plate shape straightening device |
CN113567459A (en) * | 2020-04-28 | 2021-10-29 | 宝山钢铁股份有限公司 | Two-dimensional and three-dimensional combined imaging detection system and method for surface of continuous casting billet |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007327836A (en) * | 2006-06-07 | 2007-12-20 | Olympus Corp | Appearance inspection apparatus and method |
US8179393B2 (en) * | 2009-02-13 | 2012-05-15 | Harris Corporation | Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment |
JP2012146132A (en) * | 2011-01-12 | 2012-08-02 | Osaka City Univ | Method for integrating three-dimensional data and two-dimensional data with each other, and watching system and monitoring system using the same |
JP5867787B2 (en) * | 2012-03-23 | 2016-02-24 | アイシン精機株式会社 | Defect extraction apparatus and defect extraction method |
-
2015
- 2015-05-22 JP JP2015104562A patent/JP6577243B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016217940A (en) | 2016-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7327857B2 (en) | Non-contact measurement method and apparatus | |
JP5911904B2 (en) | Accurate image acquisition on structured light systems for optical measurement of shape and position | |
US10704900B2 (en) | Detection device and detection method | |
US10958843B2 (en) | Multi-camera system for simultaneous registration and zoomed imagery | |
US20120256916A1 (en) | Point cloud data processing device, point cloud data processing method, and point cloud data processing program | |
US20070269103A1 (en) | Stereoscopic three-dimensional metrology system and method | |
US6674531B2 (en) | Method and apparatus for testing objects | |
WO2013061976A1 (en) | Shape inspection method and device | |
Rodríguez-Martín et al. | Procedure for quality inspection of welds based on macro-photogrammetric three-dimensional reconstruction | |
Rodríguez-Martín et al. | Macro-photogrammetry as a tool for the accurate measurement of three-dimensional misalignment in welding | |
JP2009250740A (en) | Image synthesizing method and visual inspecting device of tire | |
US20200219273A1 (en) | Surface roughness measurement | |
JP2015520359A (en) | Method for evaluating the centerline of an object of arbitrary shape | |
KR101090082B1 (en) | System and method for automatic measuring of the stair dimensions using a single camera and a laser | |
JP5913903B2 (en) | Shape inspection method and apparatus | |
TW201723422A (en) | Measuring system of specular object and measuring method thereof | |
US6618689B2 (en) | Method for the non-destructive inspection of wall strength | |
JP6577243B2 (en) | Surface defect evaluation apparatus, surface defect inspection system, and surface defect inspection method | |
Cuesta et al. | Influence of roughness on surface scanning by means of a laser stripe system | |
JP6784802B2 (en) | Crack inspection equipment and crack inspection method | |
Sansoni et al. | Design and development of a 3D system for the measurement of tube eccentricity | |
Pham et al. | A Mobile Vision-based System for Gap and Flush Measuring between Planar Surfaces using ArUco Markers | |
JP4062581B2 (en) | Region extraction method for fringe analysis | |
JP2018146401A (en) | Controller for inspection device, inspection device, method for controlling inspection device, and program | |
JP7399632B2 (en) | Photography processing device and photography processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20171201 Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20171201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190308 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190402 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190701 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6577243 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |