JP6633435B2

JP6633435B2 - 欠陥検査装置、欠陥検査プログラム、欠陥検査方法

Info

Publication number: JP6633435B2
Application number: JP2016054047A
Authority: JP
Inventors: 藤田　稔; 稔藤田; 久典秦; 洸太福山; 克美前之園; 三雄小森
Original assignee: Toshiba Corp; Toshiba Digital Solutions Corp
Current assignee: Toshiba Corp; Toshiba Digital Solutions Corp
Priority date: 2016-03-17
Filing date: 2016-03-17
Publication date: 2020-01-22
Anticipated expiration: 2036-03-17
Also published as: JP2017167047A

Description

本発明の実施形態は、ワークに生じた欠陥を検査する技術に関する。

従来、製造ライン上を搬送されるワークに対して、その欠陥を検出するための検査が行われている。この検査によれば、ワークを撮像した撮像画像に対して、所定のアルゴリズムを適用して欠陥が検出される。

ワークの欠陥は、撮像画像において輝度のコントラストが周辺部と著しく異なる箇所であるものと、例えば、紙における油染みのように、輝度のコントラストは周辺部とほぼ同様であるが、色が周辺部と著しく異なるものがある。前者の欠陥はグレイスケール画像を用いて検出することができ、後者の欠陥はカラー画像から検出することができる。

また、関連する技術として、被検査物の幅方向における所定位置について得られる撮像データを所定数だけ加算して射影データを演算し、射影データに対して平滑化処理と正規化処理を行って、被検査物の幅方向についての背景明度を演算し、演算された背景明度を撮像データから差し引くことにより、撮像データから被検査物における幅方向の背景明度変動を除去する明暗検査装置、が知られている（特許文献１）。

特開２０００−３６０３３号公報

しかしながら、カラー画像に基づいて欠陥を検出する場合、このカラー画像の色相成分、彩度成分、明度成分のそれぞれについて、欠陥を検出するための画像処理を行う必要があり、欠陥検出に係る計算量が増大してしまう、という問題があった。

本発明の実施形態は、上述した問題点を解決するためになされたものであり、カラー画像に基づく欠陥検出の計算量を低減することができる技術を提供することを目的とする。

上述した課題を解決するため、本発明の実施形態は、カラーカメラにより撮像されたワークの撮像画像を取得する画像取得部と、前記撮像画像における複数の画素のＲＧＢ成分を順次取得し、該ＲＧＢ成分による明度と、該明度と前記ＲＧＢ成分のそれぞれとの色差と、前記明度と明度の時系列データに基づく閾値との比較結果とに基づく出力画素を算出して前記撮像画像に基づく処理画像を生成する画像処理部と、前記処理画像に基づいて前記ワークの欠陥を検出する欠陥検出部とを備える。

実施形態に係る欠陥検査装置が組み込まれた生産ラインを示す概略図である。欠陥検査装置の機能構成を示すブロック図である。欠陥検査装置の全体処理の動作を示すフローチャートである。画像生成処理の動作を示すフローチャートである。

以下、本発明の実施形態について図面を参照しつつ説明する。

まず、実施形態に係る欠陥検査装置が組み込まれた生産ラインについて説明する。図１は、実施形態に係る欠陥検査装置が組み込まれた生産ラインを示す概略図である。

図１に示すように、本実施形態に係る欠陥検査装置１０が組み込まれた生産ライン９は、製造工程から検査工程を経て評価工程まで、ワークを一方向に搬送し、製造工程においてワークを搬送方向に連続的に生産し、検査工程において欠陥検査を行い、評価工程において欠陥検査に基づく欠陥評価を行う。本実施形態においては、一定の幅を有し、一方向に延在する長尺の紙、フィルム、不織布、金属板などの無地物ロールであるウェブをワークとするが、欠陥検査装置１０はどのようなワークを検査対象としても良い。

生産ライン９は、検査工程において、製造工程により連続的に製造されたワークを搬送する複数の搬送用ロール９１、ワークの表面を撮像するカメラ９２、カメラ９２による撮像範囲を照らす照明９３を備える。カメラ９２は、カラー撮像を行うラインスキャンカメラとする。

カメラ９２により撮像された撮像画像は、欠陥検査装置１０によるワークの検査に用いられる２次元画像であり、評価工程において欠陥検査装置１０による検査結果に基づく欠陥評価がなされる。この欠陥評価によれば、ワークの搬送方向における所定の位置間隔毎に欠陥の有無の判定が行われ、欠陥を検出した場合には欠陥の位置、面積と後述するフィルタ強度及び特徴量とが算出されて後述する記憶装置に記憶される。

欠陥検査装置１０は、ハードウェアとして、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１、メモリ１２、記憶装置１３、カメラ９２との通信を行う外部Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１４を備える。ＣＰＵ１１及びメモリ１２は、協働して各種機能を実行し、記憶装置１３は各種機能により実行される処理に用いられる各種データを記憶する。

次に、欠陥検査装置の機能構成及び各種テーブルについて説明する。図２は、欠陥検査装置の機能構成を示すブロック図である。

欠陥検査装置１０は、機能として、画像取得部１０１、画像処理部１０２、欠陥検出部１０３、特徴量算出部１０４を備える。画像取得部１０１は、カメラ９２により撮像されたワークの撮像画像を取得する。画像処理部１０２は、画像取得部１０１により取得された撮像画像に基づいて後述する処理画像を生成する。欠陥検出部１０３は、画像処理部１０２により生成された処理画像に基づいて欠陥を検出する。特徴量算出部１０４は、撮像画像における、欠陥検出部１０３により検出された欠陥に対応する位置の特徴量を算出する。

次に、欠陥検査装置の動作について説明する。図３は、欠陥検査装置の全体処理の動作を示すフローチャートである。

図３に示すように、まず、画像取得部１０１がカメラ９２により撮像された撮像画像を取得し（Ｓ１０１）、この撮像画像に基づいて、画像処理部１０２が後述する画像生成処理を実行して処理画像を生成する（Ｓ１０２）。

次に、欠陥検出部１０３が処理画像に基づいて欠陥を検出して欠陥位置を特定する（Ｓ１０３）。ここで、欠陥検出部１０３は、処理画像に対して複数のフィルタ処理を行って欠陥が強調された複数のフィルタ画像を生成し、複数のフィルタ画像のそれぞれに対して２値化処理を行って複数の２値化画像を生成する。更に、欠陥検出部１０３は、複数の２値化画像のそれぞれに対してラベリング処理を行ってラベルを付与し、複数の２値化画像のそれぞれにおけるラベルを連結して統合したラベルを欠陥として抽出する。また、欠陥検出部１０３によるフィルタ処理の種類は、検出対象とする欠陥の種別に応じたものとすると良い。

次に、特徴量算出部１０４は、検出された欠陥毎に、欠陥の位置、面積（各ラベルの画素数）、欠陥検出部１０３によるフィルタ処理の強度、撮像画像における欠陥の特徴量、即ち２次元画像に付されたラベル位置に相当する撮像画像の領域について特徴量を算出する（Ｓ１０４）。ここで、算出される特徴量としては、ＲＧＢ値、ＲＧＢ値の平均値（輝度）、色相、明度、彩度などが挙げられ、これらは、欠陥に含まれる画素の平均として求められる。例えば、輝度が特徴量として算出される場合、欠陥に含まれる画素全てについて輝度を算出し、算出した全ての輝度の平均値が欠陥の特徴量となる。なお、特徴量算出部１０４により算出される特徴量の種類は、フィルタ処理と同様に、検出対象とする欠陥の種別に応じたものとすると良い。特徴量の算出後、再度、画像取得部１０１がカメラ９２により撮像された撮像画像を取得する（Ｓ１０１）。

次に、画像生成処理の動作について説明する。図４は、画像生成処理の動作を示すフローチャートである。

図４に示すように、まず、画像処理部１０２は、撮像画像中の全てのラスターを処理したか否かを判定する（Ｓ２０１）。

全てのラスターを処理していない場合（Ｓ２０１，NO）、画像処理部１０２は、ラスター順に撮像画像の画素を選択し（Ｓ２０２）、選択した画素のＲＧＢ成分を取得する（Ｓ２０３）。ここで、画像処理部１０２は、ＲＧＢ成分のそれぞれを、Ｉ_Ｒ（ｘ，ｙ），Ｉ_Ｇ（ｘ，ｙ），Ｉ_Ｂ（ｘ，ｙ）として取得する。なお、ｘは撮像画像の水平方向、ｙは撮像画像の垂直方向であり、Ｗを撮像画像の幅、Ｈを撮像画像の高さとした場合、０≦ｘ＜Ｗ，０≦ｙ＜Ｈである。

ＲＧＢ成分の取得後、画像処理部１０２は、選択中の画素について、明度を算出する（Ｓ２０４）。具体的には、明度をＩ_０（ｘ，ｙ）とした場合、明度Ｉ_０（ｘ，ｙ）は、Ｉ_０（ｘ，ｙ）＝（ｍａｘ（Ｉ_Ｒ（ｘ，ｙ），Ｉ_Ｇ（ｘ，ｙ），Ｉ_Ｂ（ｘ，ｙ））＋ｍｉｎ（Ｉ_Ｒ（ｘ，ｙ），Ｉ_Ｇ（ｘ，ｙ），Ｉ_Ｂ（ｘ，ｙ）））／２の式により求められる。

明度の算出後、画像処理部１０２は、選択中の画素について、３つの色差を算出する（Ｓ２０５）。ここで色差はＲ成分、Ｇ成分、Ｂ成分のそれぞれと明度との差の絶対値であり、具体的には、Ｒ成分色差、Ｇ成分色差、Ｂ成分色差をΔＲ（ｘ，ｙ），ΔＧ（ｘ，ｙ），ΔＢ（ｘ，ｙ）とした場合、それぞれ、ΔＲ（ｘ，ｙ）＝｜Ｒ（ｘ，ｙ）−Ｉ_０（ｘ，ｙ）｜、ΔＧ（ｘ，ｙ）＝｜Ｇ（ｘ，ｙ）−Ｉ_０（ｘ，ｙ）｜、ΔＢ（ｘ，ｙ）＝｜Ｂ（ｘ，ｙ）−Ｉ_０（ｘ，ｙ）｜の式により求められる。

色差の算出後、画像処理部１０２は、算出した明度Ｉ_０（ｘ，ｙ）が閾値としての平均明度Ｉａｖｅ（ｘ，ｙ）＋Ｔ１以上であるか否かを判定する（Ｓ２０６）。ここで、平均明度Ｉａｖｅ（ｘ，ｙ）は、画像生成処理が実行される毎に連続的に算出される明度の時系列データに基づく値であり、順次入力される撮像画像の各画素の明度の平均として算出される値であり、Ｔ１は、予め与えられる設定値である。なお、平均明度Ｉａｖｅ（ｘ，ｙ）は、時系列データのない初回の処理については現処理の明度Ｉ_０（ｘ，ｙ）、または、予め設定された初期値が用いられるものとする。

明度Ｉ_０（ｘ，ｙ）が閾値（Ｉａｖｅ（ｘ，ｙ）＋Ｔ１）以上である場合（Ｓ２０６，ＹＥＳ）、画像処理部１０２は、明度Ｉ_０（ｘ，ｙ）に３つの色差ΔＲ（ｘ，ｙ），ΔＧ（ｘ，ｙ），ΔＢ（ｘ，ｙ）を加算した出力画素Ｉ（ｘ，ｙ）を算出し（Ｓ２０７）、この出力画素Ｉ（ｘ，ｙ）を１つの濃度値を有する処理画像の画素とする。

一方、明度Ｉ_０（ｘ，ｙ）が閾値（Ｉａｖｅ（ｘ，ｙ）＋Ｔ１）以上でない場合（Ｓ２０６，ＮＯ）、画像処理部１０２は、明度Ｉ_０（ｘ，ｙ）から３つの色差ΔＲ（ｘ，ｙ），ΔＧ（ｘ，ｙ），ΔＢ（ｘ，ｙ）を減算した出力画素Ｉ（ｘ，ｙ）を算出し（Ｓ２０８）、この出力画素Ｉ（ｘ，ｙ）を１つの濃度値を有する処理画像の画素とする。

ステップＳ２０７またはステップＳ２０８の処理後、画像処理部１０２は、平均明度Ｉａｖｅ（ｘ，ｙ）をＩａｖｅ（ｘ，ｙ）＝Ｉａｖｅ（ｘ，ｙ）・ｐ＋Ｉ_０（ｘ，ｙ）・（１−ｐ）の式により更新する（Ｓ２０９）。ここで、ｐは、予め設定される設定値であり、０〜１に設定され、値が小さい程に更新値に与える現行の明度Ｉ_０（ｘ，ｙ）の影響が小さくなる。平均明度Ｉａｖｅ（ｘ，ｙ）の更新後、画像処理部１０２は、再度、撮像画像を構成する画素のうち、未選択の画素があるか否かを判定する（Ｓ２０１）。

また、ステップＳ２０１において、全てのラスターを処理した場合（Ｓ２０１，ＹＥＳ）、画像処理部１０２は、画像生成処理を終了する。

この画像生成処理によれば、明度の時系列データに基づく平均明度が通常のワークの地合の明度に近似し、この平均明度と画素の明度との比較結果によって、ＲＧＢ成分それぞれと明度との差に基づいた濃度を算出することにより、地合と異なる色が強調され、且つ１つの濃度値を有する処理画像を生成することができる。この処理画像によれば、ＲＧＢ成分として３つの濃度値を有する撮像画像を用いる場合と比較して、欠陥周辺の地合と色が異なる欠陥を検出する計算量を低減することができる。

本実施の形態において、欠陥検査プログラムは上述した欠陥検査装置の内部に予めインストールされているものとして記載したが、本発明における欠陥検査プログラムは記憶媒体に記憶されたものも含まれる。ここで記憶媒体とは、磁気テープ、磁気ディスク（ハードディスクドライブ等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ等、欠陥検査装置に対し脱着可能な媒体や、さらにネットワークを介することで伝送可能な媒体等、上述した欠陥検査装置としてのコンピュータで読み取りや実行が可能な全ての媒体をいう。

発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０欠陥検査装置、１０１画像取得部、１０２画像処理部、１０３欠陥検出部、１０４特徴量算出部。

Claims

カラーカメラにより撮像されたワークの撮像画像を取得する画像取得部と、
前記撮像画像における複数の画素のＲＧＢ成分を順次取得し、前記複数の画素のそれぞれを対象画素として、前記ＲＧＢ成分における最大値と最小値との平均として算出した明度と、該明度と前記ＲＧＢ成分のそれぞれとの差の絶対値である色差とを順次算出し、一対象画素について算出した対象明度と順次算出された明度の時系列データの平均値に基づく閾値とを比較し、該比較において、前記対象明度が前記閾値以上である場合、該対象明度に前記複数の色差の全てを加算し、前記対象明度が前記閾値より小さい場合、該対象明度から前記複数の色差の全てを減算して前記撮像画像に基づく処理画像を生成する画像処理部と、
前記処理画像に基づいて前記ワークの欠陥を検出する欠陥検出部と、
前記撮像画像に基づいて、前記欠陥検出部により検出された欠陥の特徴量を算出する特徴量算出部と
を備える欠陥検査装置。
カラーカメラにより撮像されたワークの撮像画像を取得し、
前記撮像画像における複数の画素のＲＧＢ成分を順次取得し、前記複数の画素のそれぞれを対象画素として、前記ＲＧＢ成分における最大値と最小値との平均として算出した明度と、該明度と前記ＲＧＢ成分のそれぞれとの差の絶対値である色差とを順次算出し、一対象画素について算出した対象明度と順次算出された明度の時系列データの平均値に基づく閾値とを比較し、該比較において、前記対象明度が前記閾値以上である場合、該対象明度に前記複数の色差の全てを加算し、前記対象明度が前記閾値より小さい場合、該対象明度から前記複数の色差の全てを減算して前記撮像画像に基づく処理画像を生成し、
前記処理画像に基づいて前記ワークの欠陥を検出し、
前記撮像画像に基づいて、前記検出された欠陥の特徴量を算出する
処理をコンピュータに実行させる欠陥検査プログラム。
コンピュータが、
カラーカメラにより撮像されたワークの撮像画像を取得し、
前記撮像画像における複数の画素のＲＧＢ成分を順次取得し、前記複数の画素のそれぞれを対象画素として、前記ＲＧＢ成分における最大値と最小値との平均として算出した明度と、該明度と前記ＲＧＢ成分のそれぞれとの差の絶対値である色差とを順次算出し、一対象画素について算出した対象明度と順次算出された明度の時系列データの平均値に基づく閾値とを比較し、該比較において、前記対象明度が前記閾値以上である場合、該対象明度に前記複数の色差の全てを加算し、前記対象明度が前記閾値より小さい場合、該対象明度から前記複数の色差の全てを減算して前記撮像画像に基づく処理画像を生成し、
前記処理画像に基づいて前記ワークの欠陥を検出し、
前記撮像画像に基づいて、前記検出された欠陥の特徴量を算出する欠陥検査方法。