JP2018112478A - 画像検査装置および画像検査方法 - Google Patents

画像検査装置および画像検査方法 Download PDF

Info

Publication number
JP2018112478A
JP2018112478A JP2017003107A JP2017003107A JP2018112478A JP 2018112478 A JP2018112478 A JP 2018112478A JP 2017003107 A JP2017003107 A JP 2017003107A JP 2017003107 A JP2017003107 A JP 2017003107A JP 2018112478 A JP2018112478 A JP 2018112478A
Authority
JP
Japan
Prior art keywords
image
unit
phase
inspection
complex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2017003107A
Other languages
English (en)
Inventor
井上 靖之
Yasuyuki Inoue
靖之 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Elemex Corp
Original Assignee
Ricoh Elemex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Elemex Corp filed Critical Ricoh Elemex Corp
Priority to JP2017003107A priority Critical patent/JP2018112478A/ja
Publication of JP2018112478A publication Critical patent/JP2018112478A/ja
Ceased legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

【課題】検査対象物の表面をより高精度に検査すること。【解決手段】実施形態の画像検査装置は、円周方向に所定周期で空間的に光の強度が変化するように照明部を制御する照明制御部と、前記照明部から出射された光の検査対象物での反射光を撮影して画像を取得するように撮像部を制御する撮影制御部と、空間的な光の強度の変化に応じた前記画像の輝度値と空間的な光の強度の変化に応じて前記所定周期で変化する複素参照信号との乗算値の、光の強度変化の円周方向一周分の積分値に基づく複素画像を算出する複素画像算出部と、前記複素画像から各画素の前記輝度値の位相を算出する位相算出部と、前記位相に基づいて前記検査対象物の表面を検査する検査部と、を備える。【選択図】図1

Description

本発明は、画像検査装置および画像検査方法に関する。
従来、検査対象物に光を照射し、当該検査対象物の表面からの反射光を撮影して画像データとして取得し、当該画像データの輝度値の変化等に基づいて検査対象物の表面を検査する技術が、提案されている。
特開2008−185479号公報
この種の技術では、検査対象物の表面をより高精度に検査することができれば有意義である。
実施形態の画像検査装置は、円周方向に所定周期で空間的に光の強度が変化するように照明部を制御する照明制御部と、前記照明部から出射された光の検査対象物での反射光を撮影して画像を取得するように撮像部を制御する撮影制御部と、空間的な光の強度の変化に応じた前記画像の輝度値と空間的な光の強度の変化に応じて前記所定周期で変化する複素参照信号との乗算値の、光の強度変化の円周方向一周分の積分値に基づく複素画像を算出する複素画像算出部と、前記複素画像から各画素の前記輝度値の位相を算出する位相算出部と、前記位相に基づいて前記検査対象物の表面を検査する検査部と、を備える。
図1は、実施形態の画像検査システムの模式的な構成図である。 図2は、実施形態の画像検査システムにおける照明装置の構成を示した模式的な例示図である。 図3(a)は、実施形態の検査対象物の撮像画像である。図3(b)は、図3(a)の撮像画像の一部を拡大した図である。 図4は、実施形態で用いる座標系である円座標の説明図である。 図5は、実施形態の検査対象物の一部に光を照射した様子を示す図である。 図6は、図5の点a、b、cにおける輝度値の変化の様子を示す模式図である。 図7は、実施形態の画像検査装置によって得られた強度画像である。 図8は、座標にしたがって変位する位相を示す図である。 図9は、実施形態の画像検査装置によって得られた処理結果画像である。 図10は、実施形態の画像検査装置による処理を示すフローチャートである。 図11は、実施形態の画像検査装置によって得られたツールマーク方向画像である。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成や制御、ならびに当該構成や制御によってもたらされる作用および結果(効果)は、一例である。本発明は、以下の実施形態に開示される構成や制御以外によっても実現可能であるとともに、基本的な構成や制御によって得られる種々の効果(派生的な効果も含む)を得ることが可能である。
まず、実施形態の画像検査システムの構成について説明する。図1は、実施形態の画像検査システムSの模式的な構成図である。画像検査システムSは、台5に載せられた検査対象物4(例えば金属製品)の被検査面4aを検査する。画像検査システムSは、被検査面4aを撮影した画像(データ)に対する演算処理により、被検査面4aにおける凹凸等の異常の有無を判定する。なお、以下において、画像とは、画像データを指し、具体的には、離散化された二次元の各点(各座標、各画素)での輝度値等のデータ群である。
ここで、本実施形態で例にとる検査対象物4について説明する。図3(a)は、実施形態の検査対象物4の撮像画像である。図3(b)は、図3(a)の撮像画像の一部を拡大した図である。図3(a)に示すように、検査対象物4は、上面視で円形の被検査面4aを有している。被検査面4aの中央の黒い部分は、検査対象外の領域である。以下、被検査面4aとは、その検査対象外の領域以外を指すものとする。
被検査面4aには、同心円状の多数のツールマーク(例えば旋盤等の加工機による切削痕)、および、ツールマークと異なる方向のキズ(図3(b)の領域1001内の右上がりの白い部分)がある。本実施形態では、当該キズを検出する場合を例にとる。なお、キズの方向がツールマークの方向と同じでないことを前提とする。また、キズは、引っ掻いたことにより生じたものでもよいし、あるいは、打痕でもよい。
図1に戻って、画像検査システムSは、画像検査装置1と、撮像部2と、照明装置3と、を備える。照明装置3について、図2も合わせて参照して説明する。図2(図1のA−A矢視方向で見た図)は、実施形態の画像検査システムSにおける照明装置3の構成を示した模式的な例示図である。照明装置3は、全体が円環状に構成されており、12個の発光部L1〜L12(以下、区別しないときは「発光部L」という。)を有する。照明装置3は、中心周りに開口部が設けられた円環状に構成されている。
図2に示すように、照明装置3は、12個の発光部(照明領域)が円環状に配置されることで構成されている。各発光部L1〜L12は、照明装置3における検査対象物4に面した部分が、円環の中心に対して等角度間隔(30度間隔)で12等分された領域に対応する。発光部L1〜L12の各々につき、同じ数(1つまたは複数)の光源が設けられている。これにより、実施形態では、各発光部L1〜L12が、それぞれ同一の光量の光を照射することが可能なように構成されている。これにより、発光部Lは、検査対象物4の方向に光を出射できる。
また、各発光部Lは、画像検査装置1の制御部14の制御にしたがって、個別に点灯消灯できるようになっている。
各発光部Lが光を出射すると、検査対象物4における対応する部分に光が照射される。例えば、発光部L2、L3、L4、L8、L9、L10が光を出射すると、図5に示すように、検査対象物4におけるそれらに対応する部分に光が照射される。各発光部Lは、例えば、複数のLED(Light Emitting Diode)により構成される。なお、各発光部Lは、OELD(Organic Electro Luminescent Display)のシートによって構成されてもよい。
図1に戻って、撮像部2は、照明装置3の中央の開口部を通して検査対象物4に臨み、照明装置3から出射され被検査面4aで反射した光を撮影する。撮像部2は、例えば、ディジタルカメラ(ディジタルスチルカメラ)であり、ディジタル画像、すなわち2次元の画素毎の輝度値(データ)を取得する。撮像部2は、例えば、CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサやCCD(Charge-Coupled Device)イメージセンサ等の撮像素子を有する。
次に、画像検査装置1について説明する。画像検査装置1は、コンピュータ装置であり、記憶部11、入力部12、表示部13、制御部14を有する。画像検査装置1は、外部装置(撮像部2、照明装置3等)との通信インタフェースも備えるが、図1での図示や説明を省略する。
記憶部11は、情報を記憶する手段であり、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。入力部12は、ユーザが情報を入力する手段であり、例えば、キーボードやマウスである。表示部13は、情報を表示する手段であり、例えば、LCD(Liquid Crystal Display)である。
制御部14は、例えばCPU(Central Processing Unit)や制御コントローラ等として構成される。制御部14は、照明制御部141、撮影制御部142、撮像画像取得部143、強度算出部144、複素復調演算部145、位相算出部146、振幅算出部147、異常判定部148、表示制御部149を備える。
照明制御部141は、円周方向に所定周期で空間的に光の強度が変化するように照明装置3(照明部)を制御する。照明制御部141は、例えば、照明装置3における12個の発光部L(図2)のうち6個ずつを次の点灯順1〜6で点灯させる。
(点灯順1)発光部L12、L1、L2、L6、L7、L8
(点灯順2)発光部L1、L2、L3、L7、L8、L9
(点灯順3)発光部L2、L3、L4、L8、L9、L10(図5)
(点灯順4)発光部L3、L4、L5、L9、L10、L11
(点灯順5)発光部L4、L5、L6、L10、L11、L12
(点灯順6)発光部L5、L6、L7、L11、L12、L1
撮影制御部142は、照明装置3から出射された光の検査対象物4での反射光を撮影して画像を取得するように撮像部2を制御する。具体的には、撮影制御部142は、照明制御部141が、上述の点灯順で発光部Lを点灯させた場合ごとに撮影を行うように撮像部2を制御する。なお、本実施形態の照明制御部141は、時間の遷移にしたがって、円周方向で、明暗が変化するように、点灯制御を行うこととした。
ここで、実施形態で用いる座標系について説明する。図4は、実施形態で用いる円座標の説明図である。本実施形態では、座標系として、動径方向をYとし、角度方向をXとする円座標を用いる。
次に、検査対象物4の撮像画像における各点(位置。座標)における輝度値の変化について説明する。図5は、実施形態の検査対象物4の一部に光を照射した様子を示す図である。図6は、図5の点a、b、cにおける輝度値の変化の様子を示す模式図である。
図5に示すように点a、b、cをとったものとする。その場合、照明装置3における発光部Lを点灯順1〜6で点灯させると、点a、b、cそれぞれの輝度値は、図6に示すように変化する。例えば、点aの輝度値の変化は、点灯順2で最高となり点灯順5で最低となるような正弦曲線(サインカーブ。余弦曲線と同様)として近似できる。また、点bの輝度値の変化は、点灯順3で最高となり点灯順6で最低となるような正弦曲線として近似できる。また、点cの輝度値の変化は、点灯順4で最高となり点灯順1で最低となるような正弦曲線として近似できる。
なお、ツールマークとキズはいずれも被検査面4aにおける溝(凹凸)という点で共通するが、ツールマークの方向は緩やかにしか変化しないのに対して、キズの方向はツールマークの方向と異なっている。したがって、画素単位で見た場合、キズがある部分の輝度値の変化の正弦曲線は、キズがない部分の輝度値の変化の正弦曲線に比べて、位相と、振幅の点で差が生じる。
また、ツールマークの深さ(凹凸の大きさ)は、加工機ごとに異なり、さらに、同じ加工機であっても刃先状態(刃先の鋭利さ)によって異なる。そして、ツールマークの深さは、輝度値の変化の正弦曲線の振幅に影響するが、位相には影響しない。
したがって、画素単位で輝度値の変化の正弦曲線の位相が局所的に変化している部分を特定することで、ツールマークの深さに関係なく(ツールマークがない場合も含む。)、キズを検出することができる。以下、そのための処理について詳述する。なお、キズを検出する場合、強度、位相、振幅のいずれか、あるいはそれらの2つ以上の組み合わせによって検出処理を構築することで、検出性能向上や過検出低減を図ることができる。本実施形態では、一例として、位相を使用する場合について説明する。撮像画像取得部143〜表示制御部149の説明は、後述する。
まず、照明装置3を点灯順1〜6で点灯させながら撮影された画像データに基づく画像処理について説明する。上述のように、照明装置3を点灯順1〜6で点灯させると、撮像画像における各点における輝度値の変化は、正弦曲線として近似できる。
上述したように、本実施形態では、照明装置3の光の強度(輝度値)は、円周方向に所定周期で空間的に変化している。このように空間的に光の周期的な強度変化が与えられた環境において、本実施形態では、点灯順ごとに撮像部2による撮影が実行される。
また、座標(m,n)の各画素における強度I(m,n)は、以下の式(1)で定義される。
ここで、「m」および「n」は、それぞれ、2次元の画像中に配置された画素の位置座標を示すパラメータである。A+Bcos(ωx+φ)は、各画素の輝度値(関数)である。φは、位相の遅れである。強度I(m,n)による画像を強度画像と呼ぶ。図7は、実施形態の画像検査装置1によって得られた強度画像である。図7に示す強度画像では、図3と同様、同心円状の多数のツールマーク、および、ツールマークと異なる方向のキズ(領域1002内の右上がりの白い部分)がある。
また、各画素における複素画像F(m,n)は、以下の式(2)で定義される。
ここで、「j」は、虚数単位(√(−1))である。「e−jωx」は、複素参照信号(複素指数関数)である。「ωx」は、複素参照信号の位相である。αは、任意に設定される分割数で、本実施形態では発光部Lによる点灯順1〜6の数に対応して「6」である。Tは、分割数αに応じて定まる増分である。なお、Tは、露光時間に比例する。
オイラーの公式により、複素参照信号「e−jωx」の実部はcosωxで、虚部は−sinωxである。複素画像F(m,n)は、各画素の輝度値(A+Bcos(ωx+φ))と複素参照信号e−jωxとの乗算値の、複素参照信号の一周期分の積分値に相当し、輝度値(A+Bcos(ωx+φ))の複素直交復調信号や、複素直交検波信号等とも称されうる。
式(2)において、各画素における複素画像F(m,n)の実部Fr(m,n)は、式(3)となり、虚部Fi(m,n)は、式(4)となる。
以下、各画素における複素画像F(m,n)に関して、虚部と実部の2乗和の平方根を「振幅」と称する。各画素における複素画像F(m,n)の振幅S(m,n)は、式(5)と定義され、位相P(m,n)は、式(6)と定義される。なお、振幅S(m,n)は、複素振幅画像とも称され、位相P(m,n)は、複素位相画像とも称されうる。
ここで、式(3),(4)から、以下の式(7),(8)が得られる。
よって、式(5),(6)から、以下の式(9),(10)が得られる。
式(10)から、複素画像F(m,n)の位相P(m,n)が輝度値L(m,n)の位相ωxの遅れφに対応していることがわかる。つまり、複素画像F(m,n)を算出し、さらにその位相P(m,n)を得ることにより、輝度値L(m,n)の位相ωxの遅れφを把握することができる。以下、位相P(m,n)を位相画像データともいう。
また、本実施形態では直接使わないが、式(9)から、複素画像F(m,n)の振幅S(m,n)が輝度値L(m,n)の振幅Bに対応していることがわかる。つまり、複素画像F(m,n)を算出し、さらにその振幅S(m,n)を得ることにより、輝度値L(m,n)の振幅Bを把握することができる。
次に、位相限定ラプラシアンを用いて、位相の分布の勾配に関する特徴を算出することで異常を検出する方法について説明する。
上記の式(10)からわかるように、位相画像データの各画素値(P(m,n))は、−π〜πの範囲に折りたたまれる。したがって、位相画像データの各画素値は、−πからπに、またはπから−πに不連続に変化しうる(位相ジャンプ)。このような位相ジャンプは、被検査面4aが、凹凸などの局所的な異常部分(キズ)を含まない平坦になっている場合でも、位相画像データ上にエッジとして現れる。
キズ等の異常部分における画素値の変化は、エッジにおける画素値の変化よりも小さい。したがって、位相画像データに対して閾値などを用いた通常の検出処理を行うだけでは、エッジがノイズとなって、異常部分を検出することが容易でない。
上述したように、ツールマークの方向は緩やかにしか変化しないので、ツールマークしかない部分では、隣接する画素ごとの位相の変化は一次関数的に緩やかにしか変化しない。ここで、図8は、座標にしたがって変位する位相を示す図である。ツールマークと異なる方向のキズがある部分では、図8の領域1100で示すように、位相が急峻に変化する。したがって、定常的な位相の変化を無視することができれば、位相が急峻に変化する異常部分(キズ)のみを容易に検出することができる。
そこで、本実施形態においては、位相限定ラプラシアンを用いた処理を行うことにより、上記の位相ジャンプと緩やかな変化の影響を無視した位相の分布の勾配に関する特徴を算出する。ここで、位相限定ラプラシアンとは、振幅および位相を含む複素数で表現される画像データ(以下、単に「画像データ」という。)のうち、振幅部分を無視した位相部分にのみ2階微分を施すための演算式であり、位相の定常的な変化を無視し、位相の急峻な変化を検出するための演算式である。
一例として、以下に示すラプラシアンフィルタ(A)に対応する位相限定ラプラシアンについて説明する。
このラプラシアンフィルタ(A)は、通常の実数の画素値を有する画像データにおいて、処理対象の画素の画素値と、処理対象の画素の周囲に隣接する8個の画素の画素値との差分をとるための、いわゆる8近傍ラプラシアンフィルタである。より具体的には、このラプラシアンフィルタ(A)は、通常の実数の画素値を有する画像データにおいて、処理対象の画素の画素値を8倍した値から、処理対象の画素の周囲に隣接する8個の画素の画素値の総和を引いた値を、処理対象の画素の新たな画素値とするためのフィルタである。
撮像部2によって得られる画像データの各画素値は、振幅および位相を含む複素指数関数で表現される。したがって、画像データの位相部分にこのラプラシアンフィルタ(A)に対応する処理を施したい場合、まず、処理対象の画素の画素値(gω(i,j)とする)の位相を8倍するために、処理対象の画素の画素値を8乗する必要がある。
そして、処理対象の画素の周囲に隣接する8個の画素の画素値gω(i−1,j−1),gω(i−1,j),gω(i−1,j+1),gω(i,j−1),gω(i,j+1),gω(i+1,j−1),gω(i+1,j),gω(i+1,j+1)の位相の総和を求めるために、これら8個の画素の画素値を全て掛け合わせる必要がある。
そして、処理対象の画素の画素値の位相を8倍にしたものと、処理対象の画素の周囲に隣接する8個の画素の位相の総和と、の差を求めるために、処理対象の画素の画素値を8乗したものを、処理対象の画素の周囲に隣接する8個の画素の画素値を掛け合わせたもので割る必要がある。
上記の3つの演算を式で表すと、下記の式(11)〜(13)のようになる。
ここで、式(11)においてgω(i,j)を8乗ではなく9乗している理由は、式(13)における乗算にgω(i,j)が含まれているからである。これにより、式(11)の値を式(12)の値で割った値の指数部分が、処理対象の画素の画素値gω(i,j)の位相を8倍にしたものと、処理対象の画素の周囲に隣接する8個の画素の位相の総和と、の差に対応する。なお、式(13)では、式(11)の値を式(12)の値で割った後、位相のみ(arg)を取り出している。
以上の式(11)〜(13)で示した位相限定ラプラシアンを用いた処理を、画像データの全画素について実行することにより、画像データから、2階微分が施された位相画像データを算出することができる。
なお、ラプラシアンフィルタは、ほかに、処理対象の画素と、処理対象の画素の上下および左右に隣接する4個の画素との差分をとるための、いわゆる4近傍ラプラシアンフィルタであってもよい。また、3×3のラプラシアンフィルタとは異なる、5×5のラプラシアンフィルタであってもよい。一般的なラプラシアンフィルタに対応する位相限定ラプラシアンは、下記の式(14)〜(16)で表される。
式(14)は、フィルタ係数が正となる画素の集合Pのそれぞれの画素値をフィルタ係数で重み付けしたものを掛け合わせる、すなわちフィルタ係数で重み付けした位相の総和をとるための式である。この式(14)において、M(k,l)は、処理対象の画素の位置を(i,j)とした場合における、位置(i+k,j+l)の画素に対応するフィルタ係数(正の値)である。
また、式(15)は、フィルタ係数が負となる画素の集合Nのそれぞれの画素値をフィルタ係数で重み付けしたものを掛け合わせる、すなわちフィルタ係数で重み付けした位相の総和をとるための式である。この式(15)において、N(k,l)は、処理対象の画素の位置を(i,j)とした場合における、位置(i+k,j+l)の画素に対応するフィルタ係数(負の値)の符号を反転させたものである。
そして、式(16)は、式(14)の値を式(15)の値で割ることにより、フィルタ係数が正となる画素の集合Pのフィルタ係数で重み付けした位相の総和と、フィルタ係数が負となる画素の集合Nのフィルタ係数で重み付けした位相の総和との差分をとり、その差分を取り出すための式である。
このようにして、位相画像データに対して位相限定ラプラシアンを用いることで、位相が急峻に変化する異常部分(キズ)のみを容易に検出することができる。
なお、位相限定ラプラシアンを用いた処理によって得たデータに対して、ソーベルフィルタを用いることで、異常部分をより強調することができる。ソーベルフィルタとは、1次微分を計算し、輪郭を検出するフィルタである。例えば、上方向のソーベルフィルタは、次の通りである。
同様にして、下方向、右方向、左方向、右下方向、右上方向、左下方向、左上方向のソーベルフィルタを用いることができる。また、上下左右の4方向同時のソーベルフィルタや、8方向同時のソーベルフィルタを用いてもよい。
位相画像データに対して位相限定ラプラシアンとソーベルフィルタによる処理を行うことで、図9のような画像を得ることができる。図9は、実施形態の画像検査装置1によって得られた処理結果画像である。図9の処理結果画像では、図3や図7と比較してわかるように、同心円状の多数のツールマークは現れず、ツールマークと異なる方向のキズ(領域1003内の右上がりの白い部分)だけが現れている。
図1に戻って、画像検査装置1の制御部14において、撮像画像取得部143は、撮像部2で撮影した画像から、各位置における輝度値L(m,n)を取得し、記憶部11に記憶する。
強度算出部144は、輝度値L(m,n)から強度I(m,n)を算出(設定)する。また、複素復調演算部145(複素画像算出部)は、輝度値L(m,n)および複素参照信号に基づいて、複素画像F(m,n)を算出する。より詳細には、複素復調演算部145は、空間的な光の強度の変化に応じた画像の輝度値と空間的な光の強度の変化に応じて所定周期で変化する複素参照信号との乗算値の、光の強度変化の円周方向一周分の積分値に基づく複素画像を算出する。複素参照信号は、記憶部11に記憶されているか、あるいは記憶部11に記憶されたデータに基づいて算出される。位相算出部146は、複素画像F(m,n)から位相P(m,n)を算出する。振幅算出部147は、複素画像F(m,n)から振幅S(m,n)を算出する。
異常判定部148(検査部)は、位相P(m,n)に基づいて検査対象物4の表面を検査する。例えば、異常判定部148(検査部)は、位相P(m,n)に基づいて検査対象物4の表面の異常の有無を判定する。その際、例えば、異常判定部148(検査部)は、は、位相P(m,n)に基づいて、位相限定ラプラシアンを用いた処理を行うことによって、検査対象物4の表面の異常の有無を判定する。また、異常判定部148(検査部)は、位相限定ラプラシアンを用いて得たデータに対して、ソーベルフィルタを用いた処理を行うことによって、検査対象物4の表面の異常の有無を判定する。表示制御部149は、異常判定部148による異常の判定の結果を示す画像を表示するよう、表示部13を制御する。
なお、制御部14による上述した演算処理や制御は、ソフトウエアによって実行されてもよいし、ハードウエアによって実行されてもよいし、それらの併用により実行されてもよい。ソフトウエアによる処理の場合にあっては、制御部14は、ROM、HDD、SSD等に記憶されたプログラムを読み出して実行する。この場合、プログラムには、制御部14に含まれる各部に対応するモジュールが含まれる。制御部14の全部あるいは一部がハードウエアによって構成される場合、制御部14には、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)等が含まれる。
図10は、実施形態の画像検査装置1による処理を示すフローチャートである。画像検査装置1による検査は、図10に示されるような手順で実行される。まず、照明制御部141は、照明装置3における所定の発光部L(例えば、点灯順1に対応する各発光部L)が点灯するように、照明装置3を制御する(ステップS1)。これを受けて、照明装置3における所定の発光部Lが光を出射する。
撮影制御部142は、撮影を行うように撮像部2を制御する(ステップS2)。これを受けて、撮像部2は、照明装置3から出射され被検査面4aで反射した光を撮影する。次に、撮像画像取得部143は、撮像部2で撮影した画像から、各点における輝度値L(m,n)(画像データ)を取得し、記憶部11に記憶する(ステップS3)。
1周期分の処理が終了していない場合(ステップS4でNo)、照明制御部141は、照明装置3における次の発光部L(例えば、点灯順2に対応する各発光部L)が点灯するように、照明装置3を制御する(ステップS5)。これを受けて、照明装置3における次の発光部Lが光を出射する。ステップS5の後、ステップS2に戻る。
1周期分の処理が終了した場合(ステップS4でYes)、ステップS6に進む。1周期分の処理が終了した場合とは、例えば、点灯順1〜6における撮影が終了した場合である。
次に、強度算出部144は、輝度値L(m,n)から強度I(m,n)を算出(設定)する(ステップS6)。次に、複素復調演算部145は、輝度値L(m,n)および複素参照信号に基づいて、複素画像F(m,n)を算出する(ステップS7)。次に、位相算出部146は、複素画像F(m,n)から位相P(m,n)を算出する(ステップS8)。
次に、振幅算出部147は、複素画像F(m,n)から振幅S(m,n)を算出する(ステップS9)。次に、異常判定部148は、位相P(m,n)に基づいて、被検査面4aにおける異常の有無を判定する(ステップS10)。異常判定部148は、例えば、上述した位相限定ラプラシアンとソーベルフィルタによる処理を用いて異常を判定する。次に、表示制御部149は、異常判定部148による異常の判定結果を示す画像を表示するよう、表示部13を制御する(ステップS11)。
このように、本実施形態の画像検査装置1によれば、照明装置3から出射する光の強度を円周方向に所定周期で空間的に変化させ、空間的に光の強度が変化するたびに撮像部2で取得した画像の輝度値と複素参照信号との乗算値の積分値に基づく複素画像を算出し、複素画像から各画素の輝度値の位相を算出し、その位相に基づいて検査対象物4の表面をより高精度に検査することができる。
例えば、上述したように、複素画像に含まれる複素位相画像(P(m,n))を得ることにより、輝度値L(m,n)の位相ωxの遅れφを把握することができ、それによって検査対象物4の表面をより高精度に検査することができる。
また、異常判定部148(検査部)は、輝度値の位相に基づいて、位相限定ラプラシアンを用いた処理を行うことによって、位相の定常的な変化を無視し、位相の急峻な変化を異常として検出することができる。
また、異常判定部148(検査部)は、位相限定ラプラシアンを用いた処理によって得たデータに対して、ソーベルフィルタを用いた処理を行うことによって、異常部分(キズ)をより強調することができる。
また、異常判定部148(検査部)による検査の結果を示す画像を表示部13に表示することで、ユーザは、キズ等を視認することができる。
また、全体が円環状で12個の発光部Lを有し、その12個の発光部Lの点灯消灯を個別に制御できる照明装置3を用いて、向かい合う発光部L同士を円周方向に順番(例えば点灯順1〜6の順番)に点灯させることで、検査対象物4の被検査面4aにおける各点に対し、光の入射角や入射方向、光源からの距離等の点でバランスよく光を照射することができ、良好な撮像画像を得ることができる。
従来技術では、検査対象物にツールマークとキズの両方がある場合、例えば、両者の輝度差によってキズのみを検出しようとするが、その方法では、両者にある程度以上の輝度差がないとキズを高精度で検出できない。一方、本実施形態の画像検査装置1では、両者の輝度差がなくても、ツールマークの方向は緩やかにしか変化しないことを利用して、ツールマークと異なる方向のキズを高精度で検出できる。
なお、画像検査装置1を用いて、ツールマークの方向を表すツールマーク方向画像を作成し、表示することもできる。図11は、実施形態の画像検査装置1によって得られたツールマーク方向画像である。光の照射方向の水平方向成分(例えば、図2の発光部L1の場合、真下よりやや左の方向)と平行な方向のツールマークは明暗の差が小さく、光の照射方向の水平方向成分と垂直な方向のツールマークは明暗の差が大きいので、ツールマークの方向は、位相の遅れφに90度を足したものとして定義できる。図11のツールマーク方向画像では、ツールマーク(およびキズ)の方向が同じものには同じ色を与えるようにして表示している。そして、図11の領域1004には、ツールマークと異なる方向のキズ(右上がりの白い部分)が現れている。
なお、上述した実施形態の画像検査装置1で実行される検査プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供可能である。
また、上述した実施形態の画像検査装置1で実行される検査プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した実施形態の画像検査装置1で実行される検査プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本発明のいくつかの実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態及び変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上述の実施形態では、ツールマークがある場合のキズの検出について説明したが、ツールマークがなくても、同様の処理でキズを検出することができる。
また、ツールマークの形状は、同心円状に限定されず、線状、うろこ状などであってもよい。ただし、ツールマーク同士が交差していないことが好ましい。
また、上述したように、ツールマークの深さ(凹凸の大きさ)は輝度値の変化の正弦曲線の振幅に影響する。したがって、画像検査装置1は、振幅を用いて、キズなどの異常判定ではなく、検査対象物4を加工した加工機の刃先状態(刃先の鋭利さ)を評価することもできる。
また、上述の実施形態では、画像検査装置1において、制御部14と撮像部2を別々に設けたが、制御部14と撮像部2を別々に設ける必要は無く、制御部14の少なくとも一部が撮像部2と一体に設けられたカメラを有する構成としてもよい。
また、照明装置3の12個の発光部Lのうち6個(向かい合う3個×2)ずつを所定の点灯順で点灯させるようにしたが、これに限定されず、4個(向かい合う2個×2)ずつや、8個(向かい合う4個×2)ずつを、所定の点灯順で点灯させるようにしてもよい。
また、照明装置3が有する発光部Lの数は、12個に限定されず、18個、24個等、別の個数であってもよい。
また、検査対象物4は、金属製品に限定されず、樹脂製品や、塗装を施した製品等、光をある程度反射するものであれば、何でもよい。
また、検査対象物4の表面に段差がある場合でも、段差の影響を受けずにキズを検出できることが、実験で判明している。
1…画像検査装置、2…撮像部、3…照明装置、4…検査対象物、4a…被検査面、5…台、11…記憶部、12…入力部、13…表示部、14…制御部、141…照明制御部、142…撮影制御部、143…撮像画像取得部、144…強度算出部、145…複素復調演算部(複素画像算出部)、146…位相算出部、147…振幅算出部、148…異常判定部(検査部)、149…表示制御部、S…画像検査システム。

Claims (8)

  1. 円周方向に所定周期で空間的に光の強度が変化するように照明部を制御する照明制御部と、
    前記照明部から出射された光の検査対象物での反射光を撮影して画像を取得するように撮像部を制御する撮影制御部と、
    空間的な光の強度の変化に応じた前記画像の輝度値と空間的な光の強度の変化に応じて前記所定周期で変化する複素参照信号との乗算値の、光の強度変化の円周方向一周分の積分値に基づく複素画像を算出する複素画像算出部と、
    前記複素画像から各画素の前記輝度値の位相を算出する位相算出部と、
    前記位相に基づいて前記検査対象物の表面を検査する検査部と、
    を備える画像検査装置。
  2. 前記複素画像は複素位相画像を含む、請求項1に記載の画像検査装置。
  3. 前記検査部は、前記位相に基づいて前記検査対象物の表面の異常の有無を判定する、請求項1または請求項2に記載の画像検査装置。
  4. 前記検査部は、前記位相に基づいて、位相限定ラプラシアンを用いた処理を行うことによって、前記検査対象物の表面の異常の有無を判定する、請求項3に記載の画像検査装置。
  5. 前記検査部は、位相限定ラプラシアンを用いた処理によって得たデータに対して、ソーベルフィルタを用いた処理を行うことによって、前記検査対象物の表面の異常の有無を判定する、請求項4に記載の画像検査装置。
  6. 前記検査部による検査の結果を示す画像を表示するように表示部を制御する表示制御部を、さらに備える、請求項1〜5のいずれか一項に記載の画像検査装置。
  7. 前記照明部は、全体が円環状に構成され、円周方向に複数の発光部が配置されており、
    前記照明制御部は、前記複数の発光部のうち向かい合う発光部同士を円周方向に順番に点灯させるように前記照明部を制御し、
    前記撮影制御部は、点灯する前記発光部が変わるたびに画像を取得するように前記撮像部を制御する、請求項1〜6のいずれか一項に記載の画像検査装置。
  8. 円周方向に所定周期で空間的に光の強度が変化するように照明部を制御する照明制御ステップと、
    前記照明部から出射された光の検査対象物での反射光を撮影して画像を取得するように撮像部を制御する撮影制御ステップと、
    空間的な光の強度の変化に応じた前記画像の輝度値と空間的な光の強度の変化に応じて前記所定周期で変化する複素参照信号との乗算値の、光の強度変化の円周方向一周分の積分値に基づく複素画像を算出する複素画像算出ステップと、
    前記複素画像から各画素の前記輝度値の位相を算出する位相算出ステップと、
    前記位相に基づいて前記検査対象物の表面を検査する検査ステップと、
    を含む画像検査方法。
JP2017003107A 2017-01-12 2017-01-12 画像検査装置および画像検査方法 Ceased JP2018112478A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017003107A JP2018112478A (ja) 2017-01-12 2017-01-12 画像検査装置および画像検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017003107A JP2018112478A (ja) 2017-01-12 2017-01-12 画像検査装置および画像検査方法

Publications (1)

Publication Number Publication Date
JP2018112478A true JP2018112478A (ja) 2018-07-19

Family

ID=62911215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017003107A Ceased JP2018112478A (ja) 2017-01-12 2017-01-12 画像検査装置および画像検査方法

Country Status (1)

Country Link
JP (1) JP2018112478A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112763493A (zh) * 2019-11-05 2021-05-07 华硕电脑股份有限公司 外观取像装置及包含其的外观检测装置
WO2021090827A1 (ja) * 2019-11-05 2021-05-14 株式会社小糸製作所 検査装置
JP2021076569A (ja) * 2019-11-05 2021-05-20 華碩電腦股▲ふん▼有限公司 外観イメージキャプチャ装置及びそれを含む外観検査装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0868967A (ja) * 1994-05-17 1996-03-12 Olympus Optical Co Ltd 画像処理方法及び画像処理装置
JPH1027212A (ja) * 1996-07-08 1998-01-27 Sumitomo Electric Ind Ltd 文字認識装置
JP2002202264A (ja) * 2000-12-27 2002-07-19 Toshiba Corp 外観検査方法および装置
JP2012021914A (ja) * 2010-07-15 2012-02-02 Keyence Corp 画像処理装置及び外観検査方法
JP2015040796A (ja) * 2013-08-22 2015-03-02 シャープ株式会社 欠陥検出装置
JP2015078960A (ja) * 2013-10-18 2015-04-23 リコーエレメックス株式会社 外観検査装置および外観検査方法
JP2015200632A (ja) * 2014-03-31 2015-11-12 国立大学法人 東京大学 検査システムおよび検査方法
US20160334340A1 (en) * 2014-01-22 2016-11-17 Tiama Method and device for the detection in particular of refracting defects

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0868967A (ja) * 1994-05-17 1996-03-12 Olympus Optical Co Ltd 画像処理方法及び画像処理装置
JPH1027212A (ja) * 1996-07-08 1998-01-27 Sumitomo Electric Ind Ltd 文字認識装置
JP2002202264A (ja) * 2000-12-27 2002-07-19 Toshiba Corp 外観検査方法および装置
JP2012021914A (ja) * 2010-07-15 2012-02-02 Keyence Corp 画像処理装置及び外観検査方法
JP2015040796A (ja) * 2013-08-22 2015-03-02 シャープ株式会社 欠陥検出装置
JP2015078960A (ja) * 2013-10-18 2015-04-23 リコーエレメックス株式会社 外観検査装置および外観検査方法
US20160334340A1 (en) * 2014-01-22 2016-11-17 Tiama Method and device for the detection in particular of refracting defects
JP2015200632A (ja) * 2014-03-31 2015-11-12 国立大学法人 東京大学 検査システムおよび検査方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112763493A (zh) * 2019-11-05 2021-05-07 华硕电脑股份有限公司 外观取像装置及包含其的外观检测装置
WO2021090827A1 (ja) * 2019-11-05 2021-05-14 株式会社小糸製作所 検査装置
JP2021076569A (ja) * 2019-11-05 2021-05-20 華碩電腦股▲ふん▼有限公司 外観イメージキャプチャ装置及びそれを含む外観検査装置
US11575814B2 (en) * 2019-11-05 2023-02-07 Asustek Computer Inc. Image capturing device and appearance inspecting device including the same

Similar Documents

Publication Publication Date Title
US10739272B2 (en) Inspection system and inspection method
US10724960B2 (en) Inspection system and inspection method
JP6745173B2 (ja) 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2015232484A (ja) 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN112033965B (zh) 基于差分图像分析的3d弧形表面缺陷检测方法
JP6317725B2 (ja) 取得された画像内のクラッタを決定するためのシステム及び方法
JP2018112478A (ja) 画像検査装置および画像検査方法
JP6756417B1 (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
CN107271445B (zh) 一种缺陷检测方法及装置
JP2012047673A (ja) 検査装置及び検査方法
JP6278842B2 (ja) 検査装置、検査方法およびプログラム
JP6045429B2 (ja) 撮像装置、画像処理装置及び画像処理方法
JP2021056182A (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
JP6425406B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2010197201A (ja) Mtf測定用チャート、mtf測定装置およびmtf測定プログラム
JP6368593B2 (ja) 画像処理プログラム、情報処理システム、画像処理方法
JP6381262B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6927294B2 (ja) 計測装置、計測方法及び計測プログラム
JP2013509641A (ja) 非線形勾配補償を使用してデータを処理する方法及びシステム
JP2008015714A (ja) 画像処理方法および画像処理装置、並びに光学装置
JP2019091308A (ja) 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ
JP2008275392A (ja) 3次元形状計測方法および装置
JP6703415B2 (ja) 検査装置及び検査方法
JP2007285753A (ja) 欠陥検出方法および欠陥検出装置
US10891782B2 (en) Determining illumination direction with three-dimensional illumination charts

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20211221