JP6410459B2 - Image inspection method and image inspection apparatus - Google Patents
Image inspection method and image inspection apparatus Download PDFInfo
- Publication number
- JP6410459B2 JP6410459B2 JP2014087947A JP2014087947A JP6410459B2 JP 6410459 B2 JP6410459 B2 JP 6410459B2 JP 2014087947 A JP2014087947 A JP 2014087947A JP 2014087947 A JP2014087947 A JP 2014087947A JP 6410459 B2 JP6410459 B2 JP 6410459B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- feature amount
- image
- value
- defective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
被検査物の外観を撮像して得た画像データに対する画像処理を介して被検査物の欠陥判定を行う画像検査方法、および画像検査装置に関するものである。 The present invention relates to an image inspection method and an image inspection apparatus for performing defect determination of an inspection object through image processing on image data obtained by imaging the appearance of the inspection object.
従来より、各種工業製品の製造において、被検査物を撮像して取得した画像データに対する画像処理に基づき、欠陥判定（良否判定）を行う検査技術が知られている。 2. Description of the Related Art Conventionally, in manufacturing various industrial products, an inspection technique for performing defect determination (good / bad determination) based on image processing on image data acquired by imaging an inspection object is known.
この種の画像検査（光学検査、外観検査などとも呼ばれる）における画像処理は、被検査物を撮像して取得した画像（濃淡画像）から欠陥（キズや変形）を抽出して良否判定を行う。例えば、被検査物の画像データ中の例えば画素の何らかの特性を表現する特徴量（輝度、濃淡値、エッジ強度など）を算出する一方、欠陥を弁別可能な特徴量に対応する閾値を作成しておき、この閾値を外れた特徴量を有する画素を欠陥部として抽出する。 Image processing in this type of image inspection (also referred to as optical inspection, appearance inspection, etc.) makes a pass / fail determination by extracting defects (scratches and deformation) from an image (grayscale image) acquired by imaging the inspection object. For example, while calculating a feature amount (luminance, gray value, edge strength, etc.) that expresses some characteristic of, for example, a pixel in the image data of the inspection object, a threshold value corresponding to the feature amount that can distinguish a defect is created. Then, a pixel having a feature amount outside this threshold is extracted as a defective portion.
しかし、実際に被検査物を撮像して取得した濃淡画像には、被検査物の外形や照明の写り込みなどの外乱情報が背景として存在する。このような外乱情報の誤抽出を抑制しつつ欠陥抽出感度を維持するには、例えば画素ごとに適切な閾値を設定することが重要となる。 However, disturbance information such as the external shape of the inspection object and the reflection of illumination is present in the grayscale image obtained by actually imaging the inspection object. In order to maintain the defect extraction sensitivity while suppressing such erroneous extraction of disturbance information, it is important to set an appropriate threshold value for each pixel, for example.
この課題を解決する方法として、例えば、下記の特許文献１は、被検査物を撮像して得た濃淡値の統計量を利用して画素ごとの閾値を生成する技術を開示している。特許文献１では、まず、予め用意した複数の良品サンプルの濃淡画像から同一座標の画素ごとに濃淡値の平均値および標準偏差を算出し、算出した平均値および標準偏差をパラメータとして画素ごとの閾値を算出する。そして、検査の際は、被検査物の濃淡画像の濃淡値を画素ごとに閾値と比較し、閾値外となった画素を欠陥部として抽出する。特許文献１では、このような画像処理によって背景の濃淡値の統計的な挙動に即した閾値を設定しようとしている。
As a method for solving this problem, for example, the following
特許文献１に開示された技術を、濃淡値以外の特徴量を用いるものとし、一般化すると、次のような検査手法が考えられる。まず、複数の良品サンプルの濃淡画像から欠陥部を強調し検出することができる特徴量として、例えば輝度、エッジ強度などの特徴量を画素ごとに算出する。次に、同一座標の画素ごとに算出された特徴量に対して統計量演算を行い、所定の統計量（例えば上記の平均値や標準偏差）を算出する。次に、それら統計量をパラメータとして欠陥部を強調する特徴量に対する閾値を画素ごとに生成する。そして、生成した閾値を用いて実際の被検査物を撮像した画像の画素を検査し、欠陥部位を検出する。
When the technique disclosed in
このような画像処理によれば、背景の特徴量の統計的な挙動に即した閾値を画素ごとに設定することが可能となり、閾値精度が向上する。その結果、背景の誤抽出を抑制しつつ、その他の画素では欠陥抽出能力を維持することができ、検査精度を向上できる、と考えられる。 According to such image processing, it is possible to set a threshold value corresponding to the statistical behavior of the background feature amount for each pixel, and the threshold accuracy is improved. As a result, it is considered that defect extraction capability can be maintained in other pixels while erroneous background extraction is suppressed, and inspection accuracy can be improved.
しかしながら、実際には、特許文献１で開示された技術の実施には、以下のような困難がある。すなわち、個体差や位置合わせ公差の影響で、同一座標の画素であっても、良品サンプルの濃淡画像ごとに濃淡値は異なる値となり、また異なる空間分布を示す。また、同じ理由から、同一座標の画素から算出される特徴量も異なる値となる。つまり、欠陥部を強調する特徴量に関する統計量（ないしはこれに基づき生成される閾値）に信頼性を持たせるためには、十分多い数の良品サンプルを撮像した濃淡画像が必要となる。しかし、例えば被検査物を撮像した画像の全画素領域に対して信頼性の閾値を生成するためには極めて多数の良品サンプルの濃淡画像を準備しなければならない、という問題がある。
However, in practice, the implementation of the technique disclosed in
本発明の課題は、上記の問題を解決し、複数の良品サンプルから欠陥判定を行うための特徴量閾値を生成するに際して、大量の良品サンプルを必要とせず、比較的少量の良品サンプルのみを用いて特徴量閾値を生成できるようにすることにある。 An object of the present invention is to solve the above-described problem and use a relatively small amount of non-defective samples without generating a large amount of non-defective samples when generating a feature amount threshold value for performing defect determination from a plurality of non-defective samples. The feature amount threshold value can be generated.
上記課題を解決するため、本発明においては、被検査物の画像データを取得して前記被検査物の欠陥判定を行う画像検査方法において、複数の良品サンプルの画像データの同一座標の画素の画素値と、前記同一座標の画素の周囲に位置する複数の画素の画素値とに対する統計量演算によって取得した第１の特徴量に基づき、画素ごとの特徴量閾値を生成する閾値生成工程と、前記被検査物の画像データを取得し、画素ごとに取得した第２の特徴量に基づいて、前記閾値生成工程で画素ごとに生成された前記特徴量閾値を補正する補正工程と、前記被検査物の画像データから取得した第１の特徴量と、前記補正工程にて補正された前記特徴量閾値とを比較して閾値を超えた画素を欠陥部位として抽出する欠陥抽出工程と、前記欠陥抽出工程により抽出された画素が構成する欠陥部位の特性に基づき前記被検査物の欠陥の有無を判定する欠陥判定工程と、を含むことを特徴とする。 To solve the above problems, the present invention, in the image inspecting method acquires image data of the object determining the defect of the inspection object, the pixels of the pixels in the same coordinates of the image data of a plurality of non-defective samples and values, based on the first feature amount acquired by the statistical amount calculation for the pixel values of a plurality of pixels located around the pixel of the same coordinate, and a threshold generation step of generating a feature value threshold for each pixel, the A correction step of acquiring image data of the object to be inspected, and correcting the feature amount threshold value generated for each pixel in the threshold value generation step based on a second feature amount acquired for each pixel; and the inspection object a first feature amount acquired from the image data of the defect extraction step of extracting a pixel exceeding the threshold value by comparing the corrected the feature amount threshold in said correction step as a defect site, the defect extraction step By Extracted pixels is characterized in that it comprises a determining defect determination step the presence or absence of a defect of the inspection object based on characteristics of the defect site configuration.
また、本発明においては、被検査物の画像データを取得して前記被検査物の欠陥判定を行う画像検査装置において、撮像対象物の画像データを取得する撮像手段と、前記撮像手段により撮像した複数の良品サンプルの画像データの同一座標の画素の画素値と、前記同一座標の画素の周囲に位置する複数の画素の画素値とに対する統計量演算によって取得した第１の特徴量に基づき、画素ごとの特徴量閾値を生成する制御装置と、前記特徴量閾値を記憶する記憶部と、を備え、前記制御装置は、前記撮像手段により撮像された被検査物の画像データより、画素ごとに取得した第２の特徴量に基づいて、前記記憶部に記憶された画素ごとの前記特徴量閾値を補正し、被検査物の画像データより取得した第１の特徴量と、前記補正された特徴量閾値とを比較して閾値を超えた画素を欠陥部位として抽出し、抽出された画素が構成する欠陥部位の特性に基づき前記被検査物の欠陥の有無を判定することを特徴とする。 In the present invention, an image inspection apparatus which performs defect determination acquired by the inspection object image data of the object to be inspected, imaging means for obtaining image data of an imaged object, captured by the image pickup means Based on the first feature amount acquired by the statistic calculation for the pixel value of the pixel at the same coordinate in the image data of the plurality of non-defective samples and the pixel value of the plurality of pixels located around the pixel at the same coordinate , and a control unit for generating a feature value threshold of each, and a storage unit for storing the feature amount threshold value, the control device, from the image data of the object imaged by the imaging means, obtained for each pixel Based on the second feature value, the feature value threshold value for each pixel stored in the storage unit is corrected, the first feature value obtained from the image data of the inspection object, and the corrected feature value Threshold By comparing the extracted pixels exceeding the threshold value as a defective portion, the extracted pixels and judging the presence or absence of a defect of the inspection object based on characteristics of the defect site configuration.
上記構成によれば、欠陥判定に必要な特徴量閾値の算出に必要な第１の特徴量に関する統計量は、複数の良品サンプルの画像の同一座標の画素および位置合わせ公差内の画素から算出された第１の特徴量を用いて算出される。すなわち、特定の画素に対して用いられる特徴量閾値は、当該画素の他、位置合わせ公差内の画素の第１の特徴量を参照して算出される。その結果、１枚の良品サンプルの画像の特定画素についての第１の特徴量に関する統計量に、従来手法で複数の良品サンプルの画像から算出していた値と同程度の信頼性を確保できる。従って、従来と同程度の信頼性を得るに充分な特徴量閾値を生成するために必要な良品サンプルの画像数を著しく減少させることができ、必要とする良品サンプル数を低減できる。 According to the above configuration, the statistical amount related to the first feature amount necessary for calculating the feature amount threshold necessary for defect determination is calculated from the pixels at the same coordinates and the pixels within the alignment tolerance of the images of the non-defective samples. It is calculated using the first feature amount. That is, the feature amount threshold value used for a specific pixel is calculated with reference to the first feature amount of the pixel within the alignment tolerance in addition to the pixel. As a result, it is possible to ensure the same degree of reliability as the value calculated from the images of a plurality of non-defective samples by the conventional method, for the statistical amount related to the first feature amount for the specific pixel of the image of the single non-defective sample. Therefore, it is possible to remarkably reduce the number of non-defective sample images necessary for generating a feature amount threshold sufficient to obtain the same level of reliability as in the past, and to reduce the number of required non-defective samples.
以下、添付図面を参照して本発明を実施するに好適な実施の形態につき説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described with reference to the accompanying drawings.
［第１実施形態］
＜全体構成＞
図１は、本発明を採用した画像処理を実施可能な画像検査装置の構成例を示している。画像処理を実行する演算部の後述の機能ブロック（図２）は、それぞれ専用のハードウェアで構成してもよいが、例えば図１に示すようにＣＰＵ（中央演算処理装置）などの演算制御手段で画像処理装置の各ハードウェアを構成することができる。図１の画像処理装置は、例えばＰＣ（パーソナルコンピュータ）の構成を利用して構成することができ、全体として演算部１３００（図２）のハードウェア構成に相当する。
[First Embodiment]
<Overall configuration>
FIG. 1 shows a configuration example of an image inspection apparatus capable of performing image processing employing the present invention. Functional blocks (FIG. 2), which will be described later, of the arithmetic unit that executes image processing may be configured by dedicated hardware, but for example, arithmetic control means such as a CPU (Central Processing Unit) as shown in FIG. Thus, each hardware of the image processing apparatus can be configured. The image processing apparatus in FIG. 1 can be configured using, for example, the configuration of a PC (personal computer), and corresponds to the hardware configuration of the arithmetic unit 1300 (FIG. 2) as a whole.
図１の画像処理装置は、内部バス２０００を介して接続されたＣＰＵ２１００、メモリ２２００を含む。メモリ２２００は、ＣＰＵ２１００のワークエリアなどとして用いられるＲＡＭ、ファームウェア、ブートローダや基本ＩＯプログラムなどを格納したＲＯＭなどの記憶領域を含む。
The image processing apparatus shown in FIG. 1 includes a
図１では、特に記憶装置２３００を図示してあるが、この記憶装置２３００は後述の記憶部１４００（図２）のハードウェア構成に相当する。記憶装置２３００の記憶領域は、例えば後述の取得された画像データを記憶する画像データ記憶部１４０１、算出した特徴量閾値を記憶する特徴量閾値記憶部１４０２、閾値を記憶する良否判定基準記憶部１４０３を構成する。また、記憶装置２３００には、後述の画像検査（画像処理）プログラムをＣＰＵ２１００が実行可能なデータ形式によって格納しておくことができる。記憶装置２３００は、例えばＨＤＤ、ＳＳＤのようないわゆる外部記憶装置（内蔵式か着脱式かを問わない）や、各種フラッシュメモリデバイス、あるいはこの種の記憶デバイスの任意の組合せによって構成することができる。
In FIG. 1, the
後述の画像検査プログラムは、ＣＰＵ２１００が実行可能なデータ形式で構成し、例えば記憶装置２３００に記憶しておき、必要に応じてメモリ２２００にロードし、ＣＰＵ２１００で実行される。これによって後述の演算部１３００（図２）の画像処理が実行される。
An image inspection program to be described later is configured in a data format that can be executed by the
また、図１の画像処理装置は、外部通信ポート２４００、を介して接続された外部接続機器２５００を含む。外部接続機器２５００には、例えば後述の被検査物を濃淡画像として撮像するカメラ１２００（図２）、被検査物の位置を調整する位置調整機構１１００（同）が含まれる。外部通信ポート２４００は、例えばＵＳＢインターフェースやＧＰＩＢインターフェースなど、外部接続機器２５００の接続に必要な任意の汎用インターフェースから構成される。
The image processing apparatus of FIG. 1 includes an
外部接続機器２５００のうち、カメラ１２００は、たとえばデジタルカメラ構成であり、画像検査を受ける被検査物の画像、また、画像検査のための閾値生成のために用いられる良品サンプルの画像を撮像するために用いられる。位置調整機構１１００は、たとえばコンベヤベルトやロボットアームのような任意の搬送機構から構成され、カメラ１２００前方の撮像可能領域中の所定位置に被検査物を位置決めすることができるよう構成される。
Among the externally connected
なお、図１の画像処理装置ハードウェアは、後述の第２および第３実施形態においても用いられる。特に、第２実施形態において、位置調整機構１１００はカメラ１２００前方の撮像可能領域中で同一の被検査物を摂動させて例えば同一の良品サンプルに対して異なる撮影条件で複数回の撮像を行うために利用される。
Note that the image processing apparatus hardware in FIG. 1 is also used in second and third embodiments described later. In particular, in the second embodiment, the
また、本実施形態（後述の第２、第３実施例においても同様）において、良品サンプルとは、被検査物と同じ物品を被検査物と同じように製造ないし組み上げ、目視検査などを経て良品と判定されたものを指す。また、ここでいう良品サンプルは、撮影した時に治具や原器などのように被検査物と同じ光学的特徴を有するが、材質や工作精度などが必ずしも被検査物と一致しないものも含む。本実施形態（後述の第２、第３実施例においても同様）の画像検査は上記のような良品サンプルのいずれにおいても好適に実施することができる。なお、以下では、簡略化のため上記の「良品サンプル」を指すものとして「良品」の略称も用いるものとする。また、「良品を撮像した濃淡画像」を指すものとして「良品画像」の略称も用いるものとする。 In this embodiment (the same applies to the second and third examples described later), the non-defective sample refers to a non-defective product that has been manufactured or assembled in the same manner as the inspected object and subjected to visual inspection. It is determined that. In addition, the non-defective sample herein includes the same optical characteristics as the object to be inspected, such as a jig or an original instrument, when the image is taken, but also includes a material or work accuracy that does not necessarily match the object to be inspected. The image inspection of the present embodiment (the same applies to the second and third examples described later) can be preferably performed on any of the above-mentioned non-defective samples. In the following, for the sake of simplicity, the abbreviation “non-defective product” is also used to indicate the above “non-defective sample”. In addition, the abbreviation “non-defective image” is also used to indicate “a gray-scale image obtained by capturing non-defective products”.
また、図１の画像処理装置には、表示部１５００、およびキーボードや任意のポインティングデバイスなどから構成された入力部１６００が設けられる。表示部１５００はＬＣＤパネルなどから構成されたディスプレイデバイスなどから構成される。これら表示部１５００、および入力部１６００は作業者（検査者）のためのユーザーインターフェース手段を構成する。
In addition, the image processing apparatus in FIG. 1 includes a
図２は、図１に示した画像処理装置ハードウェアを用いて画像検査（外観検査、光学検査）を行う場合の演算機能をブロック構成で示したものである。図２の構成は図１のハードウェアを用いた画像検査（外観検査、光学検査）装置の構成を示すものと考えてよい。また、図２の構成は図１のハードウェアを用いて実施される画像検査（外観検査、光学検査）方法の構成をブロック構成で示したものと考えてもよい。図２中では、既に図１において説明した部材（主にハードウェア）も図示してあるが、それらについては同一の参照符号を付してある。 FIG. 2 is a block diagram showing an arithmetic function when performing image inspection (appearance inspection, optical inspection) using the image processing apparatus hardware shown in FIG. The configuration of FIG. 2 may be considered to indicate the configuration of an image inspection (appearance inspection, optical inspection) apparatus using the hardware of FIG. The configuration of FIG. 2 may be considered as a block configuration of an image inspection (appearance inspection, optical inspection) method implemented using the hardware of FIG. In FIG. 2, the members (mainly hardware) already described in FIG. 1 are also shown, but these are denoted by the same reference numerals.
図２の機能構成は、被検査物１９００の位置を調整する位置調整機構１１００と、被検査物を濃淡画像として撮像するカメラ１２００を含む。また、図２の機能構成は、画像データを演算処理する演算部１３００と、画像データないし制御データを記憶する記憶部１４００から構成される。演算部１３００と記憶部１４００は、ハードウェア的には前述の図１の構成により実現される。
2 includes a
本実施形態では、演算部１３００と記憶部１４００には、次のような演算処理ブロックが含まれる。画像データ取得部１３０１は、カメラ１２００で撮像された濃淡画像を画像データとして取得する。具体的には、画像データ取得部１３０１は、カメラ１２００から入力した所定形式の画像データを画像データ記憶部１４０１に転送する処理を行う。画像データ記憶部１４０１は画像データ取得部１３０１を介して取得した画像データを記憶する。
In the present embodiment, the calculation unit 1300 and the storage unit 1400 include the following calculation processing blocks. The image
位置決め処理部１３１１は位置調整機構１１００と連動して被検査物１９００の位置調整を行う。位置決め処理部１３１１と位置調整機構１１００は後述の第２実施形態で利用される被検査物１９００の摂動制御も行えるよう構成される。この摂動制御の機能ブロックは図２では位置摂動部１３１２として示してある。
The
また、第１の特徴量選択受付部１３２１は、ユーザ（作業者ないし検査者）の選択操作を入力部１６００を介して入力する。本実施形態に係る画像処理では、閾値生成ないし閾値比較による画像検査において用いられる画像データの特徴量としては濃淡値の他、輝度やエッジ強度、高周波（ないし低周波）成分、などが考えられる。本実施形態では、ユーザ（作業者ないし検査者）は、これらのうちいずれの特徴量を用いるかを特徴量選択受付部１３２１を介して指定できるよう構成してある。
The first feature quantity
特徴量閾値算出部１３２２は、複数の良品の濃淡画像から第１の特徴量選択受付部１３２１を介して指定された第１の特徴量に対する閾値を画素ごとに生成する。特徴量閾値算出部１３２２により生成された特徴量閾値は特徴量閾値記憶部１４０２に記憶される。
The feature value threshold
また、被検査物の画像検査において、第１の特徴量算出部１３３１は、カメラ１２００で撮像し、画像データ取得部１３０１を介して画像データ記憶部１４０１に記憶された被検査物の濃淡画像から第１の特徴量を画素ごとに算出する。
Further, in the image inspection of the inspection object, the first feature
そして、比較抽出部１３３２は、第１の特徴量算出部１３３１で被検査物の濃淡画像から算出された第１の特徴量と、複数の良品の濃淡画像の画像処理に基づき特徴量閾値記憶部１４０２に記憶された特徴量閾値を画素ごとに比較する。この特徴量閾値は、上記の通り、予め複数の良品の濃淡画像の画像処理に基づき特徴量閾値算出部１３２２で生成し、特徴量閾値記憶部１４０２に記憶させておく。これにより、比較抽出部１３３２は閾値外であった画素を欠陥部として抽出することができる。
Then, the
欠陥特徴量算出部１３３３は、比較抽出部１３３２により抽出された欠陥部から欠陥特徴量を算出する。例えば、欠陥特徴量算出部１３３３はラベリング処理などを行って、比較抽出部１３３２により抽出された欠陥部に相当する画素群の連続性を解析する処理を行う。これにより、欠陥特徴量算出部１３３３は、例えば、１塊りの欠陥部として同定可能な欠陥候補画素群を単位として、その欠陥部を代表する欠陥特徴量を算出する。この特徴量は、基本的には、上述の特徴量閾値記憶部１４０２や比較抽出部１３３２などで記憶、ないし演算の対象とされた特徴量と同じ特徴量（濃淡値の他、輝度やエッジ強度など）が用いられる。
The defect feature
一方、良否判定基準記憶部１４０３には、欠陥特徴量算出部１３３３が算出した欠陥特徴量と比較可能な欠陥特徴量の種類とそれに対する閾値を記憶する。
On the other hand, the pass / fail judgment
そして、判定部１３３４は、特徴量閾値算出部１３２２が算出した欠陥特徴量と、良否判定基準記憶部１４０３に記憶されている対応する種類の欠陥特徴量閾値（良否判定基準）を比較する。これにより、判定部１３３４は被検査物１９００の良否判定を行うことができる。この良否判定の結果は、例えば表示部１５００などを用いて出力することができる。表示部１５００における良否判定結果の表示フォーマットは任意である。例えば、表示部１５００で、検出された欠陥部位を他の部分と異なる色や濃度によって可視表示したり、演算に係る閾値や画素（群）の特徴量を数値表示により出力したりすることが考えられる。
Then, the
以下、上記のように構成された本実施形態の動作につき、説明する。なお、本実施形態において、以上までの説明では、第１の特徴量（ないし特徴量閾値）しか登場していないが、これは、第１の特徴量以外に第２の特徴量（ないし特徴量閾値）を用いるよう構成された後述の第３実施形態の構成と区別するためである。 Hereinafter, the operation of the present embodiment configured as described above will be described. In the present embodiment, in the above description, only the first feature amount (or feature amount threshold value) appears, but this is not limited to the first feature amount but the second feature amount (or feature amount). This is for the purpose of distinguishing from the configuration of a later-described third embodiment configured to use (threshold).
図３は、画像検査の準備として、欠陥特徴量の検出に作用させる（第１の）特徴量閾値を生成する処理の流れを示している。 FIG. 3 shows a flow of processing for generating a (first) feature amount threshold value that acts on detection of a defect feature amount as preparation for image inspection.
図３のステップＳ３０１では、まずカメラ１２００によって複数の良品を撮像する。このとき、位置調整機構１１００および位置決め処理部１３１１によって被検査物である良品は位置合わせ済みであるものとする。複数の良品の濃淡画像は画像データ取得部１３０１によって取得され、画像データ記憶部１４０１に記憶される。なお、このとき用いられる複数の良品は、例えば熟練検査者による目視検査などによって予め選定されているものとする。
In step S301 in FIG. 3, first, a plurality of non-defective products are imaged by the
ここで図５は、カメラ１２００により撮像された画像を（例えばある走査線に沿って）１次元形式で表示したものである。図５において（Ａ）、（Ｃ）は濃淡表示によりカメラ１２００により撮像された画像を表示している。また、図５において（Ｂ）、（Ｄ）は（Ａ）、（Ｃ）に対応するスケールで横軸を座標（空間）方向に取ってカメラ１２００により撮像された画像を表示している（濃淡値断面図）。
Here, FIG. 5 shows an image captured by the
そして、図５（Ａ）、（Ｂ）は図３の（第１の）特徴量閾値の生成において撮像された良品の濃淡画像の一例である。また、後述の図５（Ｃ）、（Ｄ）は、画像検査において撮像された被検査物の濃淡画像の一例である。 5A and 5B are examples of non-defective gray images captured in the generation of the (first) feature amount threshold value in FIG. Further, FIGS. 5C and 5D described later are examples of gray images of the inspection object captured in the image inspection.
図５（Ａ）は、良品の濃淡画像の一例であり被検査物の外形や照明の写り込みなどの外乱情報である背景５１０ａが存在している（以下、簡略化のため被検査物の外形や照明の写り込みなどの外乱情報を総称して単に「背景」という）。座標５０１の画素は、背景５１０ａに位置する画素、また、座標５０２、５０３、５０４の画素は、背景５１０ａの近傍に位置する画素である。また、座標５０５の画素は背景５１０ａが存在しない画素である。図５（Ｂ）５２０は、図５（Ａ）の濃淡値断面を表している。
FIG. 5A is an example of a non-defective gray image, and there is a
次に、図３のステップＳ３０２において、第１の特徴量選択受付部１３２１は、欠陥部を強調する第１の特徴量としてユーザ（作業者ないし検査者）が入力部１６００を通して入力した選択情報を受け付ける。ここで選択される第１の特徴量は、欠陥部の強調に適した特徴量を任意に設定してよい。例えばＦＩＲフィルタを用いて算出される高周波成分でもよい。以下では、簡略化のため、第１の特徴量として濃淡値を選択した場合につき説明する。
Next, in step S302 in FIG. 3, the first feature quantity
次に、ステップＳ３０３では、予めステップＳ３０１において取得した複数の良品の濃淡画像から、特徴量閾値算出部１３２２は画像データ記憶部１４０１に記憶させる特徴量閾値を画素ごとに算出する。ここで算出された特徴量閾値は、特徴量閾値記憶部１４０２に記憶する。このステップＳ３０３における特徴量閾値を生成する画像処理については後で詳述する。
Next, in step S303, the feature value threshold
次に、ステップＳ３０４では、良否判定基準記憶部１４０３に、抽出された欠陥部が基準内か否かを判定するための欠陥特徴量の種類と閾値を設定、記憶する。ここで記憶させる欠陥特徴量の種類と閾値は例えば、面積が２０画素以上の欠陥部は不良とするといったものであるが、これに限定するものではない。被検査物ごとに適したものを任意に設定してよい。以上で、画像検査開始の準備が終了する。
In step S304, the defect feature quantity type and threshold value for determining whether or not the extracted defect part is within the reference are set and stored in the pass / fail judgment
＜ステップＳ３０３の詳細な説明＞
図１１は、図３のステップＳ３０３における特徴量閾値を生成する画像処理の流れを示している。
<Detailed Description of Step S303>
FIG. 11 shows a flow of image processing for generating a feature amount threshold value in step S303 of FIG.
図１１の画像処理においては、まずステップＳ３０３１において、複数の良品の濃淡画像から、第１の特徴量を画素ごとに算出する。ここでは、上記の通り、第１の特徴量として濃淡値を用いる。 In the image processing of FIG. 11, first, in step S3031, a first feature amount is calculated for each pixel from a plurality of non-defective gray images. Here, as described above, the gray value is used as the first feature amount.
次に、ステップＳ３０３２において、複数の良品画像から算出された第１の特徴量から、特徴量閾値の算出時に使用するパラメータを画素ごとに取得する。このとき、複数の良品画像において、注目画素と同一座標の画素から算出された第１の特徴量だけでなく、その周囲に存在する位置合わせ範囲内の画素から算出された第１の特徴量も考慮する。この位置合わせ範囲は、装置の位置決め精度やカメラの分解能に応じて設定される。 Next, in step S3032, a parameter used when calculating a feature amount threshold value is acquired for each pixel from the first feature amount calculated from a plurality of non-defective images. At this time, in the plurality of non-defective images, not only the first feature amount calculated from the pixel having the same coordinate as the target pixel but also the first feature amount calculated from the pixels within the alignment range existing around the target feature amount. Consider. This alignment range is set according to the positioning accuracy of the apparatus and the resolution of the camera.
次に、ステップＳ３０３２において画素ごとに取得したパラメータを用いて予め設定された計算式に基づき統計量演算を行ない、特徴量閾値を画素ごとに算出する（ステップＳ３０３３）。 Next, a statistic calculation is performed based on a preset formula using the parameters acquired for each pixel in step S3032, and a feature amount threshold value is calculated for each pixel (step S3033).
以上のようにして、良品サンプルの画像データの同一座標の画素の画素値と、同一座標の画素の位置決めの公差範囲内の画素の画素値とに対する統計量演算によって画素ごとに取得した第１の特徴量の統計量に基づき特徴量閾値を画素ごとに生成する。以下、上記のステップＳ３０３３において、特徴量閾値を生成するための統計量演算に用いる計算式の例をいくつか例示する。 As described above, the first value obtained for each pixel by the statistic calculation on the pixel value of the pixel at the same coordinate of the image data of the non-defective sample and the pixel value of the pixel within the positioning tolerance range of the pixel at the same coordinate. A feature amount threshold value is generated for each pixel based on the feature amount statistics. Hereinafter, in the above step S3033, some examples of calculation formulas used for the statistic calculation for generating the feature amount threshold are exemplified.
＜特徴量閾値を算出する計算式の例１＞
特徴量閾値Ｐは、例えばパラメータに平均値Ｍと標準偏差σを用い、次式（１）によって算出することができる。
<Example 1 of calculation formula for calculating the feature amount threshold>
The feature amount threshold P can be calculated by the following equation (1) using, for example, the average value M and the standard deviation σ as parameters.
以上の演算により、例えば図５（Ａ）の画像から、画素ごとに図５（Ｂ）に示すような閾値５３０を取得することができる。この計算を以下の具体例１で説明する。
Through the above calculation, for example, a
＜具体例１＞
図１２は、具体的な計算例を説明する。図１２（Ａ）は、良品（Ａ）の画像例、また図１２（Ｂ）は、別の良品（Ｂ）の画像例で、いずれも第１の特徴量に対応する画素値（例えば濃淡値）を１桝を１画素に対応させた方眼の形式で示している。以下では、簡略化のため、図１２（Ａ）、図１２（Ｂ）の２枚の良品画像から特徴量閾値Ｐを画素ごとに算出する例を示す。ここでは、第１の特徴量は画素値（例えば濃淡値）である。また、被検査物の位置合わせ範囲は、例えば注目画素からチェス盤距離で１画素の範囲とする。なお、このチェス盤距離で１画素の範囲は、図中の方眼において注目画素を距離１画素で取り囲む範囲で、斜め方向の距離１画素も含む全部で９画素の範囲である。
<Specific example 1>
FIG. 12 illustrates a specific calculation example. 12A is an image example of a non-defective product (A), and FIG. 12B is an image example of another good product (B), both of which are pixel values (for example, gray values) corresponding to the first feature amount. ) Is shown in the form of a grid in which 1 桝 corresponds to one pixel. In the following, for simplification, an example in which the feature amount threshold value P is calculated for each pixel from the two non-defective images in FIGS. 12A and 12B will be described. Here, the first feature amount is a pixel value (for example, a gray value). Further, the alignment range of the object to be inspected is, for example, a range of one pixel at a chessboard distance from the target pixel. It should be noted that the range of one pixel at this chessboard distance is a range that surrounds the pixel of interest with a distance of one pixel in the grid in the figure, and a total of nine pixels including a diagonal distance of one pixel.
閾値Ｐを算出する計算式としては、例えば平均値Ｍのみをパラメータとして用いた下記の式（２）を用いることが考えられる。 As a calculation formula for calculating the threshold value P, for example, the following formula (2) using only the average value M as a parameter may be used.
図１２（Ａ）、（Ｂ）では、注目する画素が左上から４行５列目の注目画素１３１ａ、１３１ｂである場合につき、閾値Ｐを算出する計算を考える。
In FIGS. 12A and 12B, calculation for calculating the threshold value P is considered when the pixel of interest is the pixel of
図１２（Ａ）において、注目画素１３１ａと、それを囲む位置合わせ範囲内の画素１３２ａの９個の画素値は、左から右に、また上から下の順で（０，１，１，１，２，２，２，３，３）となっている。
In FIG. 12A, the nine pixel values of the pixel of
また、図１２（Ｂ）において、注目画素１３１ｂと位置合わせ範囲内の画素１３２ｂの画素値は、左上から順に（２，２，１，３，３，２，３，３，２）となっている。
In FIG. 12B, the pixel values of the
図１２（Ａ）、（Ｂ）の１８画素の画素値の平均値は２であるので、式（２）より注目画素１３１ｃの閾値Ｐは２となる。この操作を全画素について行った結果は図１２（Ｃ）のようになる。図１２（Ｃ）は、上記の式（２）により、各画素ごとに算出した特徴量閾値Ｐの値を示している。
Since the average value of the pixel values of the 18 pixels in FIGS. 12A and 12B is 2, the threshold value P of the pixel of
＜特徴量閾値を算出する計算式の例２＞
なお、特徴量閾値Ｐを算出する式は、上記の式（１）、（２）に限定されるものではない。例えば、パラメータとして平均値Ｍと標準偏差σを用い、次式（３）によって算出してもよい。
<Example 2 of calculation formula for calculating the feature amount threshold value>
Note that the formula for calculating the feature amount threshold P is not limited to the above formulas (1) and (2). For example, the average value M and the standard deviation σ may be used as parameters, and may be calculated by the following equation (3).
＜特徴量閾値を算出する計算式の例３＞
あるいは、特徴量閾値Ｐは、例えば最大値をパラメータとして次式（４）のようにして算出してもよい。
<Example 3 of calculation formula for calculating the feature amount threshold value>
Alternatively, the feature amount threshold value P may be calculated as in the following equation (4), for example, using the maximum value as a parameter.
＜具体例２＞
図１３を用いて、上記の式（４）を用いて特徴量閾値Ｐを生成した場合の具体的な計算例を説明する。図１３（Ａ）は、良品Ａの画像例、また図１３（Ｂ）は、別の良品Ｂの画像例で、いずれも第１の特徴量に対応する画素値（例えば濃淡値）を１桝を１画素に対応させた方眼の形式で示している。以下では、簡略化のため、図１３（Ａ）、図１３（Ｂ）の２枚の良品画像から第１の特徴量閾値Ｐを画素ごとに算出する例を示す。ここでは、第１の特徴量は画素値（例えば濃淡値）である。また、被検査物の位置合わせ範囲は、例えば注目画素から市街地距離で１画素の範囲とする。なお、この市街地距離で１画素の範囲は、図中の方眼において注目画素を１画素の距離で取り囲む範囲で、斜め方向の１画素は含まない十字型の５画素の範囲である。
<Specific example 2>
A specific calculation example when the feature amount threshold value P is generated using the above equation (4) will be described with reference to FIG. 13A shows an image example of the non-defective product A, and FIG. 13B shows another image example of the non-defective product B. Each of the pixel values (for example, the gray value) corresponding to the first feature amount is 1 桝. Is shown in a grid format corresponding to one pixel. In the following, for simplification, an example in which the first feature amount threshold value P is calculated for each pixel from the two non-defective images in FIGS. 13A and 13B will be described. Here, the first feature amount is a pixel value (for example, a gray value). In addition, the alignment range of the object to be inspected is, for example, a range of one pixel from the target pixel to the city distance. Note that the range of one pixel at this urban distance is a range of five cross-shaped pixels that do not include one pixel in the oblique direction, and is a range that surrounds the target pixel at a distance of one pixel in the grid in the figure.
図１３では、注目する画素が左上から４行５列目の注目画素１４１ａである場合につき、閾値Ｐを算出する計算を考える。
In FIG. 13, a calculation for calculating the threshold value P is considered when the pixel of interest is the pixel of
図１３（Ａ）において、注目画素１４１ａと位置合わせ範囲内画素１４２ａの画素値は、上から下に、また左から右の順で（１，１，２，２，３）となっている。
In FIG. 13A, the pixel values of the
また、図１２（Ｂ）において、注目画素１４１ｂと位置合わせ範囲内画素１４２ｂの画素値は、上から下に、また左から右の順で（０，０，０，１，１）となっている。
In FIG. 12B, pixel values of the
図１３（Ａ）、（Ｂ）の１０画素の画素値の最大値は３であるので、式（４）より注目画素１４１ｃの閾値Ｐは３となる。この操作を全画素について行った結果は図１３（Ｃ）のようになる。
Since the maximum value of the pixel values of the 10 pixels in FIGS. 13A and 13B is 3, the threshold value P of the pixel of
＜特徴量閾値を算出する計算式の例３の別形態＞
特徴量閾値Ｐを、式（４）により第１の特徴量の最大値とする場合は、画素ごとの最大値合成処理とモルフォロジ処理で算出することができる。最大値合成処理とは、複数の画像間で同一座標の画素値を比較し、その最大値を出力する処理である。
<Another Form of Example 3 of Calculation Formula for Calculating Feature Threshold Value>
When the feature amount threshold P is set to the maximum value of the first feature amount according to the equation (4), it can be calculated by the maximum value synthesis process and the morphology process for each pixel. The maximum value composition processing is processing for comparing pixel values at the same coordinates between a plurality of images and outputting the maximum value.
また、モルフォロジ処理とは、注目画素とその近傍にある比較対象の画素に基づいた値が出力される画像処理方法の一つである。この注目画素とその近傍にある比較対象画素の位置関係を構造化要素と呼ぶ。例えば、構造化要素内の最大値を出力すれば多値膨張処理となり、最小値を出力すれば多値収縮処理となる。このような画素値の処理によって、小さな計算コスト（ないし計算資源）により式（４）の計算を実現することができる。 Morphology processing is one of image processing methods in which a value based on a pixel of interest and a comparison target pixel in the vicinity thereof is output. The positional relationship between the target pixel and the comparison target pixel in the vicinity thereof is called a structuring element. For example, if the maximum value in the structuring element is output, multi-value expansion processing is performed, and if the minimum value is output, multi-value contraction processing is performed. By processing such pixel values, the calculation of Expression (4) can be realized with a small calculation cost (or calculation resource).
＜具体例３＞
図１４は、図１３（Ａ）、（Ｂ）の場合と同じ２枚の良品画像（図１４（Ａ）、（Ｂ））を用い、画素ごとの最大値合成処理とモルフォロジ処理により特徴量閾値Ｐを生成した場合の具体的な計算例を説明する。図１３（Ａ）は、良品Ａの画像例、また図１３（Ｂ）は、別の良品Ｂの画像例で、いずれも第１の特徴量に対応する画素値（例えば濃淡値）を１桝を１画素に対応させた方眼の形式で示している。ここでは、図１３の場合と同様に図１４（Ａ）、図１４（Ｂ）の２枚の良品画像（図１３（Ａ）、（Ｂ）のものと同じ）から第１の特徴量閾値Ｐを画素ごとに算出する例を示す。ここでは、第１の特徴量は画素値（例えば濃淡値）である。また、位置合わせ範囲は、図１３の場合と同様、注目画素から市街地距離で１画素の範囲とし、閾値Ｐを算出する計算式は上記の式（４）とする。
<Specific example 3>
14 uses the same two non-defective images (FIGS. 14A and 14B) as in FIGS. 13A and 13B, and the feature amount threshold value by the maximum value synthesis process and the morphology process for each pixel. A specific calculation example when P is generated will be described. 13A shows an image example of the non-defective product A, and FIG. 13B shows another image example of the non-defective product B. Each of the pixel values (for example, the gray value) corresponding to the first feature amount is 1 桝. Is shown in a grid format corresponding to one pixel. Here, as in the case of FIG. 13, the first feature value threshold P is obtained from the two non-defective images in FIGS. 14A and 14B (the same as those in FIGS. 13A and 13B). An example of calculating for each pixel is shown. Here, the first feature amount is a pixel value (for example, a gray value). Similarly to the case of FIG. 13, the alignment range is a range of one pixel from the target pixel to the city distance, and the calculation formula for calculating the threshold value P is the above formula (4).
ここでは、まず良品画像（Ａ）と良品画像（Ｂ）を画素ごとに最大値合成した図１４（Ｃ）の画像を作成する。例えば左上から４行５列目の画素に注目した場合は、画素１５１ａと１５１ｂの画素値の最大値は２であるため、画素１５１ｃの画素値として２が出力されている。
Here, first, an image shown in FIG. 14C is created by synthesizing the maximum values of the good image (A) and the good image (B) for each pixel. For example, when attention is paid to the pixel in the fourth row and the fifth column from the upper left, since the maximum value of the pixel values of the
次に、最大値合成した図１４（Ｃ）の画像にモルフォロジ処理を行う。このときの構造化要素は位置合わせ範囲にあわせて設定される。この場合は図１４（Ｅ）のように、注目画素１５３ｅに対して比較対象画素１５４ｅを設定する。比較対象画素１５４ｅは、注目画素１５３ｅに対して市街地距離で１画素の範囲にある４つの画素である。ここで、例えば画素１５１ｃを構造化要素の注目画素とした場合は、その周囲の範囲１５２ｃが比較対象の画素となる。この構造化要素を用いてモルフォロジ処理を行い最大値を出力すると図１４（Ｄ）のような閾値分布が得られ、画素１５１ｄには閾値「３」が出力される。この図１４（Ｄ）の演算結果は図１３（Ｃ）と等価である。
Next, morphology processing is performed on the image of FIG. The structuring element at this time is set according to the alignment range. In this case, as shown in FIG. 14E, the
なお、以上では、簡略化のため１つの構造化要素を用いて１段階のモルフォロジ処理を行う例を示したが、モルフォロジ処理の中身は単独の多値膨張処理である必要はない。また、位置合わせ範囲に応じて複数の構造化要素と複数の条件の異なるモルフォロジ処理を組み合わせるようにしてもよい。 In the above, for the sake of simplification, an example in which one-stage morphological process is performed using one structuring element has been shown, but the contents of the morphological process need not be a single multi-value expansion process. Further, a plurality of structured elements and a plurality of morphological processes under different conditions may be combined according to the alignment range.
＜特徴量閾値生成に必要な良品画像数の低減＞
さて、位置合わせ範囲内の画素から算出される第１の特徴量は、別の良品画像の同一座標の画素から算出される第１の特徴量の近似値として考えることができる。このことを図６を用いて説明する。以下では、簡略化のため位置合わせ範囲を±１画素とする。
<Reduction of the number of non-defective images necessary for generating the feature threshold value>
Now, the first feature value calculated from the pixels within the alignment range can be considered as an approximate value of the first feature value calculated from the pixel of the same coordinate in another non-defective product image. This will be described with reference to FIG. In the following, the alignment range is set to ± 1 pixel for simplification.
図６（Ａ）は、例えば１走査線上の１次元形式を空間方向（横軸）に取り、ある良品の画像の濃淡値断面を示している。ここでは、横軸の中央付近にある座標５０３とその近傍画素の位置に相当する座標５０２、５０４を示してある。また、図６（Ｂ）は、図６（Ａ）を右方向に１画素変位させた濃淡値断面、図６（Ｃ）は、図６（Ａ）を左方向に１画素変位させた濃淡値断面である。ここで、座標５０３の位置合わせ公差内に位置する座標５０２および５０４の画素から算出される濃淡値は、また別の良品濃淡画像で座標５０３の画素から算出される濃淡値の近似値と考えることができる。
FIG. 6A shows a grayscale cross section of a good product image by taking a one-dimensional format on one scanning line in the spatial direction (horizontal axis), for example. Here, coordinates 503 near the center of the horizontal axis and coordinates 502 and 504 corresponding to the positions of the neighboring pixels are shown. 6B is a gray value cross section obtained by shifting one pixel in the right direction in FIG. 6A, and FIG. 6C is a gray value obtained by shifting one pixel in the left direction in FIG. 6A. It is a cross section. Here, the gray value calculated from the pixels of the
なぜなら図６（Ａ）の良品は、位置合わせ公差に起因して、図６（Ｂ）または図６（Ｃ）のように撮像される可能性があるためである。つまり、位置合わせ公差内の画素から算出される第１の特徴量を近似値として利用することで、１枚の良品画像からある画素から算出され得る第１の特徴量として複数の値を取得することができる。これにより、第１の特徴量に関する画素ごとの統計量に従来と同程度の信頼性を持たせることができ、例えば画素ごとの閾値生成のために読み取らなければならない濃淡画像数を従来方式よりも著しく減少させることができる。 This is because the non-defective product in FIG. 6A may be imaged as shown in FIG. 6B or FIG. 6C due to the alignment tolerance. That is, by using the first feature amount calculated from the pixels within the alignment tolerance as an approximate value, a plurality of values are acquired as the first feature amount that can be calculated from a certain pixel from a single good image. be able to. As a result, the statistics for each pixel relating to the first feature amount can be given the same level of reliability as in the past. For example, the number of grayscale images that must be read to generate a threshold value for each pixel is more than in the conventional method. Can be significantly reduced.
図４は、上記のようにして生成した特徴量閾値を用いた画像検査の制御手順の流れを示している。図４の処理では、予め図３、図１１〜図１４で説明した生成処理により生成した特徴量閾値が特徴量閾値記憶部１４０２が格納されているものとする。
FIG. 4 shows a flow of a control procedure of image inspection using the feature amount threshold generated as described above. In the process of FIG. 4, it is assumed that the feature amount threshold
図４のステップＳ４０１では、位置合わせの後、カメラ１２００で被検査物を撮像し、画像データ取得部１３０１を介してその被検査物の濃淡画像を取得する。ステップＳ４０２では、第１の特徴量算出部１３３１によって、被検査物の濃淡画像から第１の特徴量を画素ごとに算出する。
In step S401 of FIG. 4, after alignment, the inspection object is imaged by the
次にステップＳ４０３では、比較抽出部１３３２で特徴量閾値記憶部１４０２に格納されている閾値と、第１の特徴量算出部１３３１で算出された被検査物の第１の特徴量を画素ごとに比較する。これにより、閾値外であった画素を欠陥部（欠陥画素）として抽出する。
Next, in step S403, the threshold value stored in the feature value threshold
ここで、図５（Ｃ）は被検査物の濃淡画像の一例を示している。この画像では、背景５１０ｃと欠陥部５１１ｃが存在している。また、図５（Ｄ）は図５（Ｃ）は被検査物の濃淡値断面を１次元的に示している。
Here, FIG. 5C shows an example of a grayscale image of the inspection object. In this image, a
この図５（Ｃ）、（Ｄ）は、図４のステップＳ４０２で第１の特徴量として画素ごとに算出された濃淡値の断面５４０に対して、ステップＳ３０３で算出された特徴量閾値５３０（破線で表示）を重ねて表示したもの、と考えてよい。この例では、図５（Ｄ）の背景５１０ｄの部位は閾値内であるため抽出されないが、欠陥部５１１ｄは閾値外となっており、欠陥部位として抽出することができる。具体的には、欠陥部５１１ｄに相当する座標５０５の画素は、その特徴量、および特徴量閾値５３０の比較（ステップＳ４０３）によって、欠陥画素であると判定される。
FIGS. 5C and 5D show the feature value threshold value 530 (calculated in step S303 with respect to the
図４のステップＳ４０４以降では、上記のようにして抽出される欠陥部位を予め良否判定基準記憶部１４０３に記憶させておいた良否判定基準を用いて解析し、その被検査物（全体）を良品または不良品のいずれであるかを判定する。
In step S404 and subsequent steps in FIG. 4, the defective part extracted as described above is analyzed using the pass / fail judgment criteria stored in the pass / fail judgment
ステップＳ４０４では、欠陥特徴量算出部１３３３によって、比較抽出部１３３２で抽出された各欠陥部について、良否判定基準記憶部１４０３に記憶された種類の欠陥特徴量を算出する。例えば、欠陥部位は欠陥部位と判定された画素の集合と考えることができ、その欠陥部位を代表する欠陥特徴量を求め、良否判定基準との比較に用いることができる。欠陥特徴量としては、例えば欠陥部の面積を用いることができる。この欠陥部の面積は、例えば閾値判定により欠陥画素と判定された画素に対してラベリング処理などを行い、空間的に連続する欠陥部位を識別し、その欠陥部位の画素の数などを単位として求めることができる。
In step S <b> 404, the defect feature
ステップＳ４０５では、判定部１３３４によって、各欠陥部について欠陥特徴量算出部１３３３で算出した欠陥特徴量を良否判定基準記憶部１４０３に記憶された基準と比較し、致命的な欠陥の有無を判定する。そして、基準内であればその被検査物を良品と判定し（ステップＳ４０６ａ）、基準外の欠陥部が存在すれば不良品と判定する（ステップＳ４０６ｂ）。
In step S405, the
画像検査結果は例えば表示部１５００（あるいは不図示のプリンタなど）を用いて表示（印刷）出力することができる。その場合、例えばステップＳ４０５、Ｓ４０６ａ、Ｓ４０６ｂの判定結果に応じ、被検査物が良品または不良品のいずれかである旨の情報を出力する。また、ステップＳ４０３などにおいて検出した欠陥部位も同様に例えば表示部１５００（あるいは不図示のプリンタなど）を用いて表示（印刷）出力することができる。その場合、欠陥部位（の画素）を他の部分と異なる色や濃度によって可視表示したり、演算に係る閾値や画素（群）の特徴量を数値表示により出力したりする手法を用いることができる。 The image inspection result can be displayed (printed) and output using a display unit 1500 (or a printer (not shown), for example). In this case, for example, information indicating that the inspection object is either a non-defective product or a defective product is output according to the determination results of steps S405, S406a, and S406b. Similarly, the defective portion detected in step S403 can be displayed (printed) and output using, for example, the display unit 1500 (or a printer (not shown)). In that case, a technique can be used in which a defective part (pixel) is visually displayed with a color or density different from that of other parts, or a threshold value for calculation or a feature value of a pixel (group) is output by numerical display. .
以上のように、本実施形態によれば同一の良品画像の位置合わせ公差内の画素から算出される第１の特徴量を、例えば別の良品画像の同一座標の画素から算出される第１の特徴量の近似値として利用して、第１の特徴量に関する統計量を画素ごとに算出する。そして、この第１の特徴量に関する統計量を用いて、実際の被検査物から求めた第１の特徴量と比較するための特徴量閾値を生成することができる。つまり、第１の特徴量について当該画素から算出され得る値を、１枚の良品画像から複数取得し、それに基づいて特徴量閾値を生成することができる。 As described above, according to the present embodiment, the first feature amount calculated from the pixels within the alignment tolerance of the same non-defective image is, for example, the first feature amount calculated from the pixel at the same coordinate of another non-defective image. A statistical amount related to the first feature value is calculated for each pixel by using the approximate value of the feature value. And the feature-value threshold value for comparing with the 1st feature-value calculated | required from the actual to-be-inspected object can be produced | generated using the statistics regarding this 1st feature-value. That is, a plurality of values that can be calculated from the pixel for the first feature amount can be acquired from one good product image, and a feature amount threshold value can be generated based on the acquired value.
例えば、ある画素について生成すべき特徴量閾値を生成する場合、特許文献１のような従来技術では複数枚の良品画像の統計量を用いる必要があった。これに対して、本実施形態では、位置合わせ公差内の画素から算出される第１の特徴量を用いることにより、複数枚の良品画像の統計量を集めたのと同じ効果が得られる。すなわち、本実施形態によれば、位置合わせ公差内の画素から算出される第１の特徴量を用いることにより、ある画素の第１の特徴量、ないしはそれに基づき生成する特徴量閾値に従来と同程度の信頼性を付与することができる。
For example, when generating a feature amount threshold value to be generated for a certain pixel, it is necessary to use a statistical amount of a plurality of non-defective images in the related art as in
このため、従来と同程度の信頼性を有する画素ごとの特徴量閾値を生成するのに必要な良品の濃淡画像数を著しく減少させることができる。すなわち、本実施形態によれば、画像検査のため複数の良品サンプルから画素ごとに欠陥判定を行うための閾値を生成するに際して、大量の良品サンプルを必要とせず、比較的少量の良品サンプルのみを用いて閾値生成を行うことができる。 For this reason, it is possible to remarkably reduce the number of non-defective gray images necessary for generating a feature amount threshold value for each pixel having the same level of reliability as in the past. That is, according to the present embodiment, when generating a threshold value for performing defect determination for each pixel from a plurality of non-defective samples for image inspection, a large amount of non-defective samples is not required, and only a relatively small amount of non-defective samples is obtained. Threshold generation can be performed.
なお、本実施形態ないし後述の各実施形態の画像検査方法は、例えば工業製品などの生産ライン中において実施することができる。例えば、本実施形態ないし後述の各実施形態の画像検査方法を実施する装置は工業製品などの生産ラインの途中ないし終端に配置することができる。そして、本実施形態ないし後述の各実施形態の画像検査方法により欠陥なしと判定された被検査物のみを後流の組み立て工程ないし出荷工程に送るよう生産ラインを制御することができる。 In addition, the image inspection method of this embodiment thru | or each below-mentioned embodiment can be implemented in production lines, such as an industrial product, for example. For example, an apparatus for performing an image inspection method according to the present embodiment or each of the embodiments described later can be disposed in the middle or at the end of a production line for industrial products or the like. Then, the production line can be controlled so that only inspected objects determined as having no defect by the image inspection method of the present embodiment or each of the embodiments described later are sent to a downstream assembly process or shipping process.
［第２実施形態］
上記の第１実施形態では、例えば複数（例えばｎ個）の良品からそれぞれ良品画像を（ｎ枚）取得し、取得した複数（ｎ枚）の画像から特徴量閾値を生成する。しかしながら、特徴量閾値の生成のために必要な複数（ｎ枚）の画像は、同一の良品から取得することも考えられる。本実施形態では、位置摂動部１３１２による摂動制御を介して同一の良品から複数（ｎ枚）の良品画像を取得することにより、画像検査のために用意すべき良品の数を減少させる構成例につき説明する。
[Second Embodiment]
In the first embodiment, for example, (n) non-defective images are acquired from a plurality of (for example, n) non-defective products, and a feature amount threshold value is generated from the acquired (n) images. However, it is also conceivable to obtain a plurality (n) of images necessary for generating the feature amount threshold value from the same non-defective product. In the present embodiment, a configuration example in which the number of non-defective products to be prepared for image inspection is reduced by acquiring a plurality (n) of non-defective images from the same non-defective product through the perturbation control by the
本実施形態のハードウェアは、第１実施形態で示した図１と同じでよい。また、本実施形態において、図１に示した画像処理装置ハードウェアを用いて画像検査（外観検査、光学検査）を行う場合の演算機能をブロック構成は、第１実施形態で示した図２と同じでよい。 The hardware of this embodiment may be the same as that of FIG. 1 shown in the first embodiment. Further, in this embodiment, the block configuration of the calculation function when performing image inspection (appearance inspection, optical inspection) using the image processing apparatus hardware shown in FIG. 1 is the same as that in FIG. 2 shown in the first embodiment. It can be the same.
ただし、本実施形態では、第１実施形態では用いなかった位置摂動部１３１２によって被検査物の位置摂動を行い、画素ごとの閾値生成を行う。第１実施形態と異なるのは、被検査物１９００の位置合わせ後に、公差範囲内の任意位置に被検査物１９００を変位させながらカメラ１２００による撮像を行う点である。
However, in the present embodiment, the
図７は、本実施形態において、画像検査の準備として、欠陥特徴量の検出に作用させる（第１の）特徴量閾値を生成する処理の流れを示している。図７の特徴量閾値生成処理は、第１実施形態の図３に対応するものである。 FIG. 7 shows a flow of processing for generating a (first) feature amount threshold value that acts on detection of a defect feature amount as preparation for image inspection in the present embodiment. The feature amount threshold value generation process of FIG. 7 corresponds to FIG. 3 of the first embodiment.
第１実施形態の図３の処理との違いは、画像検査準備において複数の良品画像データを取得する際、実際に複数の異なる良品を用意して読み取るのではなく、同一の良品を１度ないし数度摂動させて、その同一の良品から２枚以上の画像を撮像する点にある。 The difference from the process of FIG. 3 in the first embodiment is that when acquiring a plurality of non-defective product image data in image inspection preparation, a plurality of non-defective products are not actually prepared and read, but the same non-defective product is read once or twice. The point is that two or more images are taken from the same non-defective product by being perturbed several times.
すなわち、図７のステップＳ３１１では、同一の良品を位置摂動部１３１２によって位置合わせ公差内の任意位置に１度ないし数度摂動、変位させ、その都度、同一の良品をカメラ１２００で撮像し、濃淡画像を取得する。例えば、位置合わせ公差内を１画素（ないし数画素）の範囲内とする。そして、最初の位置合わせおよび撮像の後、その範囲内で直交座標軸に沿って上下左右（東西南北）に適当な距離（１ないし数画素数分）、位置摂動部１３１２で摂動させれば、同じ良品からさらに４枚の画像を取得できる。
That is, in step S311 of FIG. 7, the same non-defective product is perturbed and displaced by 1 to several degrees at an arbitrary position within the alignment tolerance by the
図７のステップＳ３１１を除く処理ステップは、図３と同一のステップ番号で示しているように図３の場合と同様に実施することができる。例えば、特にステップＳ３０３の特徴量閾値生成においては、第１実施形態において式（１）〜（４）および図１１〜図１４で説明した全ての演算手法を用いることができる。その場合、上記のようにして位置摂動部１３１２の摂動制御を介して同じ良品から取得した複数（ｎ枚）の画像を第１実施形態において説明した（それぞれ別の良品から取得した）複数の良品画像の代りに用いて上述の演算手法を用いればよい。そして、実際の被検査物の画像検査は、図４のフローチャートに示した処理手順を用いれば良い。
Processing steps other than step S311 in FIG. 7 can be performed in the same manner as in FIG. 3, as indicated by the same step numbers as in FIG. For example, in particular, in the feature amount threshold value generation in step S303, all the calculation methods described in the expressions (1) to (4) and FIGS. 11 to 14 in the first embodiment can be used. In that case, a plurality of (n sheets) images acquired from the same non-defective product via the perturbation control of the
本実施形態によれば、同一の良品から、位置摂動部１３１２の摂動制御を介して複数の良品画像を取得し、欠陥特徴量の検出に作用させる（第１の）特徴量閾値を生成することができる。特徴量閾値の生成処理は、第１実施形態において説明した手法のいずれかを用いることができる。
According to the present embodiment, a plurality of non-defective images are acquired from the same non-defective product via the perturbation control of the
例えば、本実施形態では、特徴量閾値のために位置摂動部１３１２による摂動制御を介して同一の良品から例えばｎ枚の良品画像を取得することができる。一方、第１実施形態の演算処理がｎ枚の良品画像のためにｎ個の良品を用意することを前提とするなら、本実施形態によれば、１／ｎの個数の良品を用意するだけで第１実施形態とほぼ同等の信頼性を有する特徴量閾値を生成することができる。
For example, in the present embodiment, for example, n non-defective images can be acquired from the same non-defective product through the perturbation control by the
また、本実施形態では、位置摂動部１３１２による摂動制御を介して、位置合わせ公差内で被検査物を実際に摂動させて、その位置の被検査物から画像を取得する。このため、同一の良品を用いた場合でも、実際に被検査物の位置が変位した場合に生じる照明方向やカメラとの位置関係の変化が反映した複数の良品画像を取得し、欠陥特徴量の検出に作用させる（第１の）特徴量閾値を生成することができる。
In this embodiment, the inspection object is actually perturbed within the alignment tolerance through the perturbation control by the
このため、本実施形態によれば、撮像位置の変位に起因して同一座標の画素から算出される第１の特徴量の変化の影響も含めた統計量を画素ごとに算出することができる。その結果、撮像位置の変位に対応した特徴量閾値が設定可能となり、閾値設定精度が向上するという効果を得ることができる。 For this reason, according to the present embodiment, it is possible to calculate, for each pixel, a statistic including the influence of the change in the first feature amount calculated from the pixel at the same coordinate due to the displacement of the imaging position. As a result, it is possible to set a feature amount threshold corresponding to the displacement of the imaging position, and an effect of improving the threshold setting accuracy can be obtained.
例えば、本実施形態の制御は、被検査物の変位によって生じる照明方向やカメラとの位置関係の変化の影響を受けやすい（例えば深い凹凸を多数、撮像される面に有するなど）形状の被検査物の画像検査において好適に実施できる可能性がある。 For example, the control of the present embodiment is subject to an inspection of a shape that is easily affected by changes in the illumination direction or the positional relationship with the camera caused by the displacement of the inspection object (for example, having a large number of deep irregularities on the imaged surface) There is a possibility that it can be suitably performed in image inspection of objects.
［第３実施形態］
第１および第２実施例では、複数の良品画像から第１の特徴量を取得し、取得した第１の特徴量を用いた演算により画素ごとに特徴量閾値を生成する。この特徴量閾値は、被検査物の画像データから別途、第２の特徴量を取得し、この第２の特徴量を用いて、画像検査の目的に沿うより適切な値に補正することも考えられる。本実施形態では、このような特徴量閾値の補正技術につき説明する。
[Third Embodiment]
In the first and second embodiments, a first feature amount is acquired from a plurality of non-defective images, and a feature amount threshold value is generated for each pixel by calculation using the acquired first feature amount. It is also conceivable that this feature value threshold value is obtained separately from the image data of the object to be inspected, and the second feature value is used to correct the feature value to a more appropriate value for the purpose of the image inspection. It is done. In the present embodiment, such a feature amount threshold value correction technique will be described.
本実施形態のハードウェアは、第１実施形態で示した図１と同じでよい。また、図８は、本実施形態において、図１に示した画像処理装置ハードウェアを用いて画像検査（外観検査、光学検査）を行う場合の演算機能をブロック構成を示している。ただし、図８では形式上、第１実施形態の図２と同様に第２実施形態で用いた位置摂動部１３１２を図示しているが、本実施形態では、説明を容易にするため、この位置摂動部１３１２による摂動制御は利用することなく実施する画像検査制御につき説明する。
The hardware of this embodiment may be the same as that of FIG. 1 shown in the first embodiment. FIG. 8 shows a block configuration of a calculation function when performing image inspection (appearance inspection, optical inspection) using the image processing apparatus hardware shown in FIG. 1 in the present embodiment. However, although the
図８において、第１および第２実施形態と異なる点は、被検査物の濃淡画像から第２の特徴量を画素ごとに算出する第２の特徴量算出部１３２３と、第２の特徴量を用いて特徴量閾値を補正する特徴量閾値補正部１３２４とを有する点である。その他の機能ブロックは同一の参照符号を用いている通り、図２に示したものと同様でよい。
In FIG. 8, the difference from the first and second embodiments is that a second feature
以下、本実施形態の制御について、図９および図１０を用いて説明する。図９は、図４と同様のフローチャート形式で、本実施形態における被検査物の画像検査手順を示している。また、図１０は、本実施形態において処理される画像データの構造を模式的に示している。 Hereinafter, the control of this embodiment will be described with reference to FIGS. 9 and 10. FIG. 9 shows an image inspection procedure of the inspection object in the present embodiment in the same flowchart format as FIG. FIG. 10 schematically shows the structure of image data processed in the present embodiment.
図８の機能構成、および図９の制御手順において第１および第２実施形態の動作と異なる点は、第１に第２の特徴量算出部１３２３によって被検査物の濃淡画像から第２の特徴量を画素ごとに算出（ステップＳ４１１）する点にある。また、第２に、特徴量閾値補正部１３２４によって第１の特徴量閾値を第２の特徴量を用いて補正する（ステップＳ４１２）点にある。それ以外の処理ステップは、同一のステップ番号で示しているように図４の場合と同様に実施することができる。
The difference between the functional configuration of FIG. 8 and the control procedure of FIG. 9 from the operations of the first and second embodiments is that the second feature
第１および第２実施形態では、被検査物の外形や照明の写り込みなどの外乱情報である背景の誤抽出を防止するため、背景の近傍画素では特徴量閾値が過大に設定される傾向がある。その結果、背景の近傍画素では閾値の設定精度が低く、欠陥抽出感度が低くなる可能性がある。 In the first and second embodiments, in order to prevent erroneous background extraction, which is disturbance information such as the outer shape of the object to be inspected and the reflection of illumination, there is a tendency that the feature amount threshold is set excessively in the pixels near the background. is there. As a result, the threshold setting accuracy is low in pixels near the background, and the defect extraction sensitivity may be low.
例えば、図１０（Ａ）は被検査物の濃淡画像の一例を示しているが、同図の画像では背景１１０ａと欠陥部１１１ａが存在する。ここで、第１の特徴量としてエッジ強度が選択された場合に基づき、上記の欠陥抽出感度に関する問題につき考察する。
For example, FIG. 10A shows an example of a grayscale image of an inspection object. In the image of FIG. 10A, a
図１０（Ｂ）は、図１０（Ａ）の画像からステップＳ４０２で算出されたエッジ強度の断面に対して、例えば第１実施形態のステップＳ３０３で算出された特徴量閾値１３０を重ねて表示したものである。なお、図１０（Ｂ）において符号１２０は、被検査物から第１の特徴量として取得したエッジ強度信号の波形を示している。
FIG. 10B displays the
図１０（Ｂ）に示すように、特徴量閾値１３０の波形は、背景１１０ａの近傍座標１０２、１０３、１０４の画素に関して背景１１０ｂのピークよりも高い閾値を有している。そのため、このような特徴量閾値１３０（の波形）では、背景１１０ｂの誤抽出は抑制できるが、欠陥部１１１ｂを抽出することは困難である。
As shown in FIG. 10B, the waveform of the
一方、本実施形態によれば、まず被検査物の濃淡画像から第２の特徴量を画素ごとに算出する（図９のステップＳ４１１）。この第２の特徴量として、本実施形態では例えば空間周波数の低周波成分の情報を利用する。ただし、この第２の特徴量は、被検査物の画像データから取得可能であり、かつ背景が存在する画素は大きな値となり、欠陥部が存在する画素は小さな値となる性質の特徴量であれば、他の任意の特徴量を用いることができる。 On the other hand, according to the present embodiment, first, the second feature amount is calculated for each pixel from the grayscale image of the inspection object (step S411 in FIG. 9). As the second feature amount, in the present embodiment, for example, information on a low frequency component of a spatial frequency is used. However, the second feature amount can be obtained from the image data of the inspection object, and the feature amount has such a property that a pixel having a background has a large value and a pixel having a defective portion has a small value. For example, any other feature amount can be used.
本実施形態において、被検査物の濃淡画像から第２の特徴量として取得すべき低周波成分の情報は、例えば走査線方向の画素値（濃淡値、エッジ強度など）をローパスフィルタに通すことにより得られる。ローパスフィルタの通過特性は、被検査物、カメラ、照明系の特性により生じる背景の特性などに応じて予め適宜定めておけばよい。また、第２の特徴量として取得すべき低周波成分の情報は、ローパスフィルタ通過後の画像信号において、元の画素に対応する座標位置から画素ごとに取得することができる。 In this embodiment, the low-frequency component information to be acquired as the second feature amount from the grayscale image of the inspection object is obtained by, for example, passing a pixel value (grayscale value, edge strength, etc.) in the scanning line direction through a low-pass filter. can get. The pass characteristics of the low-pass filter may be appropriately determined in advance according to the characteristics of the background caused by the characteristics of the object to be inspected, the camera, and the illumination system. In addition, the low frequency component information to be acquired as the second feature amount can be acquired for each pixel from the coordinate position corresponding to the original pixel in the image signal after passing through the low-pass filter.
図１０（Ｃ）は、図１０（Ａ）に示した被検査物の濃淡画像から算出された低周波成分の断面を示している。図１０（Ａ）において、欠陥部１１１ａは背景１１０ａより面積が小さい。このため背景１１０ａの近傍に位置し、欠陥部１１１ａが存在する座標１０４の画素は、図１０（Ｃ）に示すように背景１１０ａが存在する座標１０２および１０３の画素より低周波成分が小さくなる。
FIG. 10C shows a cross section of a low-frequency component calculated from the grayscale image of the inspection object shown in FIG. In FIG. 10A, the
図１０（Ｃ）のような低周波成分の情報を用いて、図１０（Ｂ）の特徴量閾値１３０を図１０（Ｄ）に示すような波形の特徴量閾値１４０に補正することができる。なお、図１０（Ｄ）において符号１２０は、図１０（Ｂ）と同様に被検査物から第１の特徴量として取得したエッジ強度信号の波形を示している。
Using the low-frequency component information as shown in FIG. 10C, the
図１０（Ｄ）において、背景１１０ｄの２つのエッジ強度ピーク部分は補正された特徴量閾値１４０の波形以下にカバーされている。一方、欠陥部１１１ｄのエッジ強度ピーク部分では、低周波成分の情報により特徴量閾値１４０の値が図１０（Ｂ）よりも低く補正されているため、この欠陥部１１１ｄを正しく欠陥として抽出することができる。
In FIG. 10D, the two edge intensity peak portions of the
本実施形態の画像検査準備は、第１実施形態で説明した図３のように行う。図３の処理では、前述のようにステップＳ３０３において良品画像から画素ごとに特徴量閾値を取得し、特徴量閾値記憶部１４０２に記憶させておく。
Image inspection preparation of this embodiment is performed as shown in FIG. 3 described in the first embodiment. In the process of FIG. 3, as described above, a feature amount threshold value is acquired for each pixel from the non-defective image in step S303 and stored in the feature amount threshold
一方、特徴量閾値を補正する第２の特徴量は、上記のごとく図１０で説明した通り、実際に検査される被検査物の画像から取得する必要がある。従って、図９の画像検査処理では、ステップＳ４１１において被検査物の濃淡画像データから第２の特徴量として例えば低周波成分の情報を取得する。 On the other hand, as described above with reference to FIG. 10, the second feature value for correcting the feature value threshold value needs to be acquired from the image of the inspection object actually inspected. Therefore, in the image inspection process of FIG. 9, in step S411, for example, low frequency component information is acquired as the second feature amount from the grayscale image data of the inspection object.
そして、ステップＳ４１２において、特徴量閾値記憶部１４０２に画素ごとに記憶されている特徴量閾値を第２の特徴量を用いて補正する。この補正は、画素ごとに、記憶されている特徴量閾値に対して行うが、補正演算には例えば式（５）のような演算を用いることができる。
In step S412, the feature value threshold value stored for each pixel in the feature value threshold
式（５）において、Ｔａは補正後の閾値、Ｔｂは補正前の閾値、（Ｌ×ｓ１）の部分がＴｂに乗算される補正量である。また、Ｌは上記のようにして取得した第２の特徴量で、本実施形態においてはその画素の低周波成分に対応する画素値である。また、ｓ１は任意定数であり、本実施形態においては、低周波成分Ｌを０以上１以下にスケーリングするために濃淡画像の階調数の逆数を用いることが好適である。図９の他の処理ステップは、図４で説明した同一ステップ番号の処理ステップと同じであるから、ここでは詳細な説明は省略する。 In Expression (5), Ta is a threshold value after correction, Tb is a threshold value before correction, and a correction amount by which a portion of (L × s1) is multiplied by Tb. L is the second feature amount acquired as described above, and is a pixel value corresponding to the low-frequency component of the pixel in this embodiment. Further, s1 is an arbitrary constant, and in the present embodiment, it is preferable to use the reciprocal of the gradation number of the grayscale image in order to scale the low-frequency component L from 0 to 1. The other processing steps in FIG. 9 are the same as the processing steps having the same step numbers described in FIG. 4, and thus detailed description thereof is omitted here.
以上のようにして、画像検査処理において、被検査物の画像データから第２の特徴量として例えば低周波成分の情報を取得し、その値により良品から画素ごとに取得し、記憶させておいた特徴量閾値を補正することができる。これにより被検査物の外形や照明の写り込みなどの外乱情報である背景の誤抽出を防止し、確実な欠陥（良否）判定を行うことができる。 As described above, in the image inspection processing, for example, low-frequency component information is acquired as the second feature amount from the image data of the object to be inspected, and is acquired for each pixel from the non-defective product according to the value and stored. The feature amount threshold value can be corrected. As a result, it is possible to prevent erroneous extraction of the background, which is disturbance information such as the outer shape of the object to be inspected and the reflection of illumination, and to perform reliable defect (good or bad) determination.
図１０（Ｄ）に示した通り、本実施形態の処理によって背景１１０ｄの２つのエッジ強度ピーク部分は補正された特徴量閾値１４０の波形以下にカバーされ、誤抽出されることなく良品の特徴部分として検出することができる。一方、欠陥部１１１ｄのエッジ強度ピーク部分では、特徴量閾値１４０の値が低く補正され、この欠陥部１１１ｄを正しく欠陥として抽出することができる。
As shown in FIG. 10D, the two edge intensity peak portions of the
以上のように本実施形態によれば、被検査物から算出される第２の特徴量を用いることで、背景近傍の画素に設定される特徴量閾値を、背景が存在する画素と異なる値に補正することができる。これにより、本実施形態によれば、背景近傍の画素における閾値設定精度が向上し、かつ欠陥抽出感度を向上させ、より的確な画像検査が可能になる。 As described above, according to the present embodiment, by using the second feature amount calculated from the object to be inspected, the feature amount threshold set for the pixels near the background is set to a value different from that of the pixels in which the background exists. It can be corrected. Thereby, according to this embodiment, the threshold setting accuracy in the pixels near the background is improved, the defect extraction sensitivity is improved, and more accurate image inspection is possible.
以上、３つの実施形態を示したが、本発明の画像検査技術は、例えば任意の工業製品を撮像し、撮像した画像から欠陥（良否）判定を行う画像検査方法として、任意の画像検査装置において実施することができる。なお、上記各実施形態の画像処理および欠陥判定を行う画像検査（処理）装置のＣＰＵ２１００により実行される。従って上述した機能を実現するソフトウェアのプログラムを記録した記録媒体を画像検査装置に供給し、ＣＰＵ２１００が記録媒体に格納されたプログラムを読み出し実行することによって達成されるよう構成することができる。この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、プログラム自体、ないしそのプログラムを記録した記録媒体は本発明を構成することになる。
Although the three embodiments have been described above, the image inspection technique according to the present invention can be applied to an arbitrary image inspection apparatus as an image inspection method for imaging an arbitrary industrial product and determining a defect (good or bad) from the captured image. Can be implemented. It is executed by the
また、上記各実施形態では、コンピュータで読み取り可能な記録媒体が記憶装置２３００、または他の不図示の外部記憶デバイスであるものとして説明したが、本発明はこのような形態に限定されるものではない。本発明を実施するためのプログラムは、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、プログラムを供給するための記録媒体としては、着脱式のＨＤＤやＳＳＤ、光学ディスク、各種フラッシュメモリデバイスなど、任意の外部記憶デバイスを用いることができるのはいうまでもない。
In each of the above embodiments, the computer-readable recording medium has been described as the
１２００…カメラ、１４００…記憶部、１４０１…画像データ記憶部、１４０３…良否判定基準記憶部、１５００…表示部、１６００…入力部、１９００…被検査物、２０００…内部バス、２１００…ＣＰＵ、２２００…メモリ、２３００…記憶装置、２４００…外部通信ポート、２５００…外部接続機器 1200 ... Camera, 1400 ... Storage unit, 1401 ... Image data storage unit, 1403 ... Pass / fail judgment reference storage unit, 1500 ... Display unit, 1600 ... Input unit, 1900 ... Inspected object, 2000 ... Internal bus, 2100 ... CPU, 2200 ... Memory, 2300 ... Storage device, 2400 ... External communication port, 2500 ... Externally connected device
Claims (16)
複数の良品サンプルの画像データの同一座標の画素の画素値と、前記同一座標の画素の周囲に位置する複数の画素の画素値とに対する統計量演算によって取得した第１の特徴量に基づき、画素ごとの特徴量閾値を生成する閾値生成工程と、
前記被検査物の画像データを取得し、画素ごとに取得した第２の特徴量に基づいて、前記閾値生成工程で画素ごとに生成された前記特徴量閾値を補正する補正工程と、
前記被検査物の画像データから取得した第１の特徴量と、前記補正工程にて補正された前記特徴量閾値とを比較して閾値を超えた画素を欠陥部位として抽出する欠陥抽出工程と、
前記欠陥抽出工程により抽出された画素が構成する欠陥部位の特性に基づき前記被検査物の欠陥の有無を判定する欠陥判定工程と、を含むことを特徴とする画像検査方法。 In the image inspection method for acquiring the image data of the inspection object and determining the defect of the inspection object,
Based on the first feature amount acquired by the statistic calculation for the pixel value of the pixel at the same coordinate in the image data of the plurality of non-defective samples and the pixel value of the plurality of pixels located around the pixel at the same coordinate , A threshold generation step of generating a feature amount threshold for each ;
A correction step of acquiring image data of the inspection object and correcting the feature amount threshold generated for each pixel in the threshold generation step based on a second feature amount acquired for each pixel;
A defect extraction step of comparing the first feature amount acquired from the image data of the inspection object and the feature amount threshold value corrected in the correction step to extract a pixel exceeding the threshold value as a defect site;
A defect determination step of determining the presence / absence of a defect in the inspection object based on a characteristic of a defective portion formed by the pixel extracted by the defect extraction step.
撮像対象物の画像データを取得する撮像手段と、
前記撮像手段により撮像した複数の良品サンプルの画像データの同一座標の画素の画素値と、前記同一座標の画素の周囲に位置する複数の画素の画素値とに対する統計量演算によって取得した第１の特徴量に基づき、画素ごとの特徴量閾値を生成する制御装置と、
前記特徴量閾値を記憶する記憶部と、を備え、
前記制御装置は、前記撮像手段により撮像された被検査物の画像データより、画素ごとに取得した第２の特徴量に基づいて、前記記憶部に記憶された画素ごとの前記特徴量閾値を補正し、被検査物の画像データより取得した第１の特徴量と、前記補正された特徴量閾値とを比較して閾値を超えた画素を欠陥部位として抽出し、抽出された画素が構成する欠陥部位の特性に基づき前記被検査物の欠陥の有無を判定することを特徴とする画像検査装置。 In the image inspection apparatus for acquiring the image data of the inspection object and determining the defect of the inspection object,
Imaging means for obtaining image data of the imaging object;
The first obtained by a statistic calculation on the pixel value of the pixel of the same coordinate of the image data of the plurality of non-defective samples imaged by the imaging means and the pixel value of the pixel located around the pixel of the same coordinate based on the feature quantity, and a control unit for generating a feature amount threshold for each pixel,
A storage unit for storing the feature amount threshold,
Wherein the control device, from the image data of the object imaged by the imaging means, on the basis of the second feature amount acquired for each pixel, corrects the feature amount threshold value for each pixel stored in the storage unit Then, the first feature amount acquired from the image data of the object to be inspected is compared with the corrected feature amount threshold value, and a pixel exceeding the threshold value is extracted as a defective portion, and the defect formed by the extracted pixel An image inspection apparatus for determining the presence or absence of a defect of the inspection object based on a characteristic of a part.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014087947A JP6410459B2 (en) | 2014-04-22 | 2014-04-22 | Image inspection method and image inspection apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014087947A JP6410459B2 (en) | 2014-04-22 | 2014-04-22 | Image inspection method and image inspection apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015206702A JP2015206702A (en) | 2015-11-19 |
| JP6410459B2 true JP6410459B2 (en) | 2018-10-24 |
Family
ID=54603589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014087947A Active JP6410459B2 (en) | 2014-04-22 | 2014-04-22 | Image inspection method and image inspection apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6410459B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109580632B (en) * | 2018-11-23 | 2021-03-30 | 京东方科技集团股份有限公司 | Defect determination method, device and storage medium |
| CN116708764B (en) * | 2023-08-09 | 2023-11-24 | 苏州艾微视图像科技有限公司 | Inspection device and inspection method for camera internal parameters |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0633343A (en) * | 1992-07-13 | 1994-02-08 | Toyota Autom Loom Works Ltd | Cloth inspecting apparatus |
| JPH06160302A (en) * | 1992-11-17 | 1994-06-07 | Kawasaki Steel Corp | Method and apparatus for inspecting surface flaw of running strip |
| JP3577194B2 (en) * | 1997-05-07 | 2004-10-13 | シーケーディ株式会社 | Tablet appearance inspection method and tablet appearance inspection device |
| JP2002140695A (en) * | 2000-11-01 | 2002-05-17 | Omron Corp | Inspection method and its device |
| GB0324638D0 (en) * | 2003-10-22 | 2003-11-26 | Gore W L & Ass Uk | An on-line inspection system |
| JP4416827B1 (en) * | 2008-09-10 | 2010-02-17 | シャープ株式会社 | Evaluation apparatus, calibration method, calibration program, and recording medium |
| JP2010091360A (en) * | 2008-10-07 | 2010-04-22 | Yamatake Corp | Method and device for inspecting image |
| JP5956814B2 (en) * | 2012-04-20 | 2016-07-27 | 株式会社キーエンス | Appearance inspection apparatus, appearance inspection method, and computer program |
-
2014
- 2014-04-22 JP JP2014087947A patent/JP6410459B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015206702A (en) | 2015-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7881520B2 (en) | Defect inspection system | |
| JP5956814B2 (en) | Appearance inspection apparatus, appearance inspection method, and computer program | |
| WO2013187206A1 (en) | Image processing device, image processing method, and image processing program | |
| JP2008180696A (en) | Defect detector, defect detecting method, image sensor device, image sensor module, defect detecting program, and computer readable recording medium | |
| KR20130108413A (en) | Charged particle beam apparatus | |
| US11836961B2 (en) | Information processing apparatus, information processing method, and storage medium for determining whether a captured image of a subject is suitable for recognition processing | |
| KR101146081B1 (en) | Detection of macro-defects using micro-inspection inputs | |
| JP5660861B2 (en) | Foreign matter inspection method and foreign matter inspection apparatus on substrate | |
| JPWO2014013792A1 (en) | Noise evaluation method, image processing apparatus, imaging apparatus, and program | |
| JP4279833B2 (en) | Appearance inspection method and appearance inspection apparatus | |
| JP6045429B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
| JP6410459B2 (en) | Image inspection method and image inspection apparatus | |
| JP2009036582A (en) | Inspection method, inspection device and inspection program of plane display panel | |
| JP2006155579A (en) | Image processing method and image processing apparatus | |
| JP2023514944A (en) | Method and device for correction of ring artifacts in CT images and computer program medium | |
| JP7003669B2 (en) | Surface inspection equipment and surface inspection method | |
| JP6818263B2 (en) | Fracture surface analysis device and fracture surface analysis method | |
| JP2007057705A (en) | Inspection method and inspection apparatus of display panel | |
| JP4403036B2 (en) | Soot detection method and apparatus | |
| JP6114559B2 (en) | Automatic unevenness detector for flat panel display | |
| JP2011232302A (en) | Image inspection method and image inspection device | |
| JP2008096302A (en) | Defect inspection device | |
| JP4367474B2 (en) | Defect inspection equipment | |
| JP2006329898A (en) | Measuring method and device of surface distortion | |
| CN110288662A (en) | Display detection method and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170421 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180925 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6410459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |