JP7393737B2 - 画像検査装置及び画像検査方法 - Google Patents

画像検査装置及び画像検査方法 Download PDF

Info

Publication number
JP7393737B2
JP7393737B2 JP2020032240A JP2020032240A JP7393737B2 JP 7393737 B2 JP7393737 B2 JP 7393737B2 JP 2020032240 A JP2020032240 A JP 2020032240A JP 2020032240 A JP2020032240 A JP 2020032240A JP 7393737 B2 JP7393737 B2 JP 7393737B2
Authority
JP
Japan
Prior art keywords
image
unit
shape information
shape
striped pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020032240A
Other languages
English (en)
Other versions
JP2021135200A (ja
Inventor
泰之 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2020032240A priority Critical patent/JP7393737B2/ja
Publication of JP2021135200A publication Critical patent/JP2021135200A/ja
Application granted granted Critical
Publication of JP7393737B2 publication Critical patent/JP7393737B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像検査装置及び画像検査方法に関する。
従来、光源から物体に光を照射して像を投影し、投影した像を撮影することにより得られた画像を用いて物体の形状の計測を行う技術が知られている。例えば、特許文献1には、物体面に格子像を投影し、格子像における特定の周波数成分の位相を求め、その位相を用いて物体面の位置を計測する技術が記載されている。
国際公開第2016/001985号
位相シフト法を用いる方法も知られているが、位相シフト法では複数の画像を撮影する必要がある。一方、特許文献1に記載の技術では、1枚の画像で物体の形状を計測することができるため、複数の画像を撮影する必要がある位相シフト法に比べて、計測にかかる時間が短縮される。
しかしながら、特許文献1に記載の技術では、物体の表面に投影される格子像のピッチが均一であることが前提となっている。このため、特許文献1に記載の技術では、像を投影する光源あるいは像を撮影するためのカメラなど、計測に用いられる装置の配置の自由度が低い。
そこで、本発明は、1枚の画像の撮影による対象物の検査に用いられる装置を、より自由に配置することを可能とする画像検査装置及び画像検査方法を提供することを目的とする。
本発明の一態様に係る画像検査装置は、均一なピッチを有する縞パターンの光を対象物に照射し、縞パターンの画像を対象物に投影する投影部と、対象物に投影された縞パターンの画像を撮影する撮影部と、画像に含まれる縞パターンから抽出される画像特徴に基づいて、対象物の形状情報を算出する形状情報算出部と、形状情報に基づき対象物を検査する検査部と、を備え、画像に含まれる縞パターンは、不均一なピッチを有する。
この態様によれば、1枚の画像の撮影により対象物を検査することができる。また、対象物に投影される縞パターンのピッチが不均一な状態を維持したまま、投影部及び撮影部の配置を適宜変更することができる。このため、均一なピッチを有する縞パターンの画像が対象物に投影される場合よりも、対象物の検査に用いられる装置の配置がより自由になる。
上記態様において、検査部は、対象物における異常の位置を検出してもよい。
この態様によれば、より詳細に対象物を検査することが可能となる。
上記態様において、形状情報算出部は、縞パターンの画像における複数の位置の各々に対応する形状情報を算出し、算出した形状情報を二次元でマッピングすることにより第1形状画像を生成してもよい。
この態様によれば、形状情報を用いることにより、より適切な検査を行うことが可能になる。
上記態様において、検査部は、特定の物品の形状を二次元で表現した第2形状画像と、第1形状画像とに基づき、対象物の異常を検出してもよい。
この態様によれば、より適切に対象物を検査することができる。
上記態様において、第1形状画像及び第2形状画像の位置ずれを補正する補正部を、さらに備えしてもよい。
この態様によれば、補正前の第1形状画像及び第2形状画像に位置ずれがある場合にも、検査部は、適切に対象物を検査することが可能になる。
上記態様において、検査部は、第1形状画像に含まれる形状情報を閾値と比較して2値化し、第1形状画像における2値のうちのいずれかに対応する面積に基づいて、対象物を検査してもよい。
この態様によれば、検査部は、より適切に対象物を検査することが可能となる。
上記態様において、投影部は、拡散光を照射する平板状の照明であり、縞パターンの光を対象物に照射してもよい。
この態様によれば、より簡便に縞パターンの光を照射することが可能になる。
上記態様において、投影部は、縞の方向が互いに異なる複数の縞パターンの光を対象物に照射し、撮影部は、複数の縞パターンのそれぞれの画像を撮影し、形状情報算出部は、複数の縞パターンのそれぞれの画像について形状情報を算出して、算出した複数の縞パターンの形状情報を合成し、検査部は、合成された形状情報に基づき対象物を検査してもよい。
この態様によれば、検査部は、複数の縞パターンの画像に基づく形状情報を用いることができるため、より適切な対象物の検査を行うことができる。
本発明の他の態様に係る画像検査方法は、均一なピッチを有する縞パターンの光を対象物に照射し、縞パターンの画像を対象物に投影することと、対象物に投影された縞パターンの画像を撮影することと、画像における縞パターンから抽出される画像特徴に基づいて、対象物の形状情報を算出することと、形状情報に基づき対象物を検査することと、を含み、画像に含まれる縞パターンは、不均一なピッチを有する。
この態様によれば、1枚の画像の撮影により対象物を検査することができる。また、対象物に投影される縞パターンのピッチが不均一な状態を維持したまま、投影部及び撮影部の配置を適宜変更することができる。このため、均一なピッチを有する縞パターンの画像が対象物に投影される場合よりも、対象物の検査に用いられる装置の配置がより自由になる。
本発明によれば、1枚の画像の撮影による対象物の検査に用いられる装置を、より自由に配置することを可能とする画像検査装置及び画像検査方法を提供することができる。
本発明の一実施形態に係る画像検査装置の構成を示す図である。 撮影部が撮影する縞パターンの画像の一例を示す図である。 処理部の構成の一例を示す機能ブロック図である。 本発明の一実施形態に係る形状情報算出部の構成を示す機能ブロック図である。 ピッチ推定部が図2に示した画像にピッチ推定処理を行うことにより生成した、ピッチ分布画像を示す図である。 位相算出部が図5に示したピッチ分布画像を用いて生成した、位相分布を示す第1位相画像を示す図である。 位相接続部が図6に示した第1位相画像の位相を接続することにより生成される、第2位相画像を示す図である。 角度算出部が形状情報を算出する方法について説明するための図である。 画像生成部が算出された角度Ψを二次元でマッピングすることにより生成した形状画像を示す図である。 検査部が図9に示した形状画像に含まれる角度Ψを2値化することにより生成した、2値画像を示す図である。 本実施形態に係る処理部の物理的構成を示す図である。 本実施形態に係る画像検査装置の処理を示すフローチャートである。 図12に示す処理におけるステップS170の形状情報算出処理を示すフローチャートである。 図12に示す処理におけるステップS190の検査処理を示すフローチャートである。 第2実施形態に係る処理部の構成を示す機能ブロック図である。 差分値Δφを二次元でマッピングすることにより得られる差分画像である。 第3実施形態に係る画像検査装置の構成を示す図である。
添付図面を参照して、本発明の好適な実施形態について説明する。
[第1実施形態]
図1は、第1実施形態に係る画像検査装置1の構成を示す図である。図1に示すように、第1実施形態に係る画像検査装置1は、主として、投影部10、撮影部20及び処理部30を備える。
投影部10は、光を照射する各種の公知の照明である。第1実施形態では、投影部10は、拡散光を照射する平板状の照明である。投影部10は、均一なピッチを有する縞パターンの光を対象物40に照射し、縞パターンの画像を対象物40に投影する。本実施形態では、投影部10は、正弦波の縞パターンの光を照射するものとして説明するが、これに限定されるものではない。また、縞パターンのピッチは、対象物40などに応じて適宜変更することができる。
対象物40は、検査の対象となる物品であり、例えばガラスなどであって良い。また、対象物40の表面には、欠陥以外の急峻な凹凸が含まれず、模様などが付されていないことが好ましい。
投影部10は、平板の面に対して垂直な方向(矢印14の方向)に光を照射する。このとき、投影部10の面に平行な方向(矢印12の方向)と対象物40の表面に接する方向(矢印41の方向)が平行であるとき、対象物40の表面には均一なピッチを有する縞パターンの画像が投影される。本実施形態では、矢印12の方向が、矢印41の方向に対して傾いているため、対象物40に投影される縞パターンは、不均一なピッチを有している。
撮影部20は、画像を撮影する各種の公知のカメラで構成されている。撮影部20は、対象物40に投影された縞パターンの画像を撮影する。撮影部20は、撮影した画像のデータ(以下、「画像データ」と称する。)を処理部30に伝達する。
図2は、撮影部20が撮影する縞パターンの画像の一例を示す図である。図2に示す画像500に含まれる縞パターンは、矢印502で示された方向に変化している。また、縞パターンのピッチは不均一となっている。具体的には、矢印502の方向に進むにつれて、ピッチが大きくなっている。例えば、左側の矢印506で示されたピッチよりも、右側の矢印508で示されたピッチの方が大きくなっている。
また、対象物の表面において、破線で囲まれた領域504に線状のへこみがある。本実施形態では、このへこみが対象物の欠陥であるものとして説明する。
処理部30は、撮影部20が取得した画像データを用いて形状情報を算出し、形状情報に基づき対象物40を検査する。処理部30の機能については、図3を参照して詳細に説明する。
図3は、処理部30の構成の一例を示す機能ブロック図である。図3に示すように、処理部30は、画像取得部310、形状情報算出部320、検査部330及び記憶部340を備える。
画像取得部310は、撮影部20から画像データを取得する。画像取得部310は、取得した画像データを形状情報算出部320及び記憶部340に伝達する。
形状情報算出部320は、画像に含まれる縞パターンから抽出される画像特徴に基づいて、対象物40の形状情報を算出する。形状情報は、対象物40の表面の形状に関する情報である。また、第1実施形態において、画像特徴は、対象物の画像に含まれる縞パターンの位相である。図4を参照して、形状情報算出部320の機能についてより詳細に説明する。
図4は、第1実施形態に係る形状情報算出部320の構成を示す機能ブロック図である。図4に示すように、形状情報算出部320は、ピッチ推定部322、位相算出部324、位相接続部326、角度算出部328及び画像生成部329を備える。
ピッチ推定部322は、画像に含まれる複数の画素の各々に対応するピッチを推定するピッチ推定処理を行う。具体的には、ピッチ推定部322は、まず、複数の画素の1つを抽出する。ピッチ推定部322は、抽出した画素を中心として、縞パターンが変化する方向(例えば、図2に示す画像500では左右の方向)に複数の画素が並んだ画素群を抽出する。ピッチ推定部322は、この画素群の画素値により表現された縞のピッチを、抽出した画素に対応するピッチとして推定する。このとき、ピッチ推定部322は、ピッチが異なる複数の正弦波の各々と画素群との相関係数を算出する。ピッチ推定部322は、算出した相関係数に応じて、画素群の画素値により表現された縞のピッチを、複数の正弦波のいずれかのピッチとして推定する。ピッチ推定部322は、このようなピッチ推定処理を複数の画素の各々について行うことで、画像のピッチ分布を生成する。
図5は、ピッチ推定部322が図2に示した画像500にピッチ推定処理を行うことにより生成した、ピッチ分布画像510を示す図である。ピッチ分布画像510では、ピッチが大きいほど画素が白くなっている。したがって、右側ほどピッチが大きくなっている。
位相算出部324は、画像に含まれる画素に対応する位相を算出する位相算出処理を行う。具体的には、位相算出部324は、ピッチ分布画像510に含まれる複数の画素の1つを抽出する。位相算出部324は、さらに、抽出した画素に対応する推定されたピッチに応じた数の画素が縞パターンの変化する方向に並んだ画素群を抽出する。位相算出部324は、抽出した画素群に対して画素値を離散フーリエ変換することで得られる所定の周波数成分(例えば基本周波数)の位相を算出する。位相算出部324は、複数の画素の各々について、位相算出処理を行うことにより、位相分布を生成する。
図6は、位相算出部324が図5に示したピッチ分布画像510を用いて生成した、位相分布を示す第1位相画像520を示す図である。第1位相画像520における色の濃さは位相の大きさ(-π~+π)を示している。図6に示すように、左右の方向(すなわち、縞パターンの変化する方向)に沿って移動すると、黒い部分(位相:-π)と白い部分(位相:+π)との間には境界が生じている。
位相接続部326は、第1位相画像520における位相の境界を接続する。より具体的には、位相接続部326は、位相が+πから-πに変化する度に、+2πだけ位相を足すことにより、位相が不連続となっている境界を接続する。これにより、位相が連続的にマッピングされた第2位相画像530が生成される。
図7は、位相接続部326が図6に示した第1位相画像520の位相を接続することにより生成される、第2位相画像530を示す図である。第2位相画像530における色の濃さは、位相の大きさを示している。図7に示しように、第2位相画像530では、位相が滑らかに接続されている。
角度算出部328は、第2位相画像530における位相を後述する角度に変換する。図8を参照して、角度算出部328が角度を算出する方法について説明する。
ここでは、投影部10は、ピッチPを有する正弦波の縞パターンを対象物の表面に投影しているものとする。まず、凹凸のない平らな対象物の表面44に縞パターンの画像が投影される場合について説明する。このとき、撮影部20は、対象物の表面44に投影された縞パターンの画像を撮影する。
撮影部20の光軸26は、対象物の表面44で正反射し、光軸18が投影部10の点Oに到達するものとする。撮影部20のレンズ24から対象物の表面44までの距離はW、対象物の表面44から投影部10の点Oまでの距離はVである。投影部10のX軸方向は、投影部10の平面に平行で、縞パターンの位相が変化する方向である。投影部10のZ軸方向は、投影部10の平面に垂直な方向である。対象物の表面44で正反射した光軸18は、Z軸と角度θで交わる。また、撮影部20の素子上にu軸があり、撮影部の焦点距離をfとする。
このとき、投影部10の座標Xと撮影部20の座標uとの関係は次の式(1)で表される。
Figure 0007393737000001
ここで、座標uの画素において観測される縞パターンの位相をφとすると、投影部10の座標Xと位相φの間には、X=φP/2πの関係がある。この関係を式(1)に代入すると、次の式(2)が導かれる。
Figure 0007393737000002
座標uと位相φとの関係を求める方法は、観測された複数の座標uと位相φとの組み合わせから、最小二乗法等を用いて近似する方法がある。この方法の考えを採用する場合には、位相φは、定数A、B及びCにより、分数の関数を用いた次の式(3)で表される。
Figure 0007393737000003
次に、対象物の表面に欠陥が生じており、表面の法線方向が角度Ψだけ傾いている場合について説明する。この場合、対象物の表面46で反射する光軸17の方向は、表面44が平らである場合に比べて2Ψだけ傾いている。これにより、投影部10の座標uで観測される縞パターンの位置は、対象物の表面44が平らである場合と比べて距離dxだけずれ、観測される位相φ’は、次の式(4)で表される。
Figure 0007393737000004
上の式(4)を角度Ψについて解くと、次の式(5)が導かれる。
Figure 0007393737000005
撮影部20の座標uにおける縞パターンの位相φ’を観測し、式(5)を用いることにより、対象物の欠陥の表面46における角度Ψを取得することができる。
本実施形態では、角度算出部328は、ここで説明した方法により、第2位相画像530に含まれる複数の位相の各々に対応する角度Ψを算出する。本実施形態では、角度Ψが形状情報であるものとして説明する。
なお、角度算出部328が座標uと位相φとの関係を求める方法は、上述した方法に限らず、上の式(2)に各パラメータを入力することで求める方法であってもよい。
画像生成部329は、算出された形状情報を二次元でマッピングすることにより形状画像(第1形状画像)を生成する。本実施形態では、画像生成部329は、算出された角度Ψを二次元でマッピングすることにより形状画像を生成する。
図9は、画像生成部329が算出された角度Ψを二次元でマッピングすることにより生成した形状画像540を示す図である。図9では、角度Ψが大きいほど画素が白くなっている。特に、破線の四角で囲まれた領域542において、画素が白くなっている。この領域542は、図2に示した画像500における領域504に含まれるへこみの部分に対応している。
検査部330は、形状情報に基づき対象物を検査する。本実施形態では、まず、検査部330は、形状画像に含まれる角度Ψの各々と閾値Tとを比較して2値化する。具体的には、検査部330は、角度Ψが閾値T以上である画素を白に変換し、角度Ψが閾値T未満である画素を黒に変換することにより、2値画像を生成する。
図10は、検査部330が図9に示した形状画像540に含まれる角度Ψを2値化することにより生成した、2値画像550を示す図である。上述したように、白い領域は閾値T以上の角度Ψに対応し、黒い領域は閾値T未満である角度Ψに対応している。白い領域が広くなるほど、対象物に欠陥が存在している可能性が高いと考えられる。
本実施形態では、検査部330は、白い領域の面積に基づいて対象物を検査する。より具体的には、検査部330は、白い領域の面積と閾値とを比較し、比較結果に基づき対象物を検査することができる。例えば、検査部330は、白い領域の面積が閾値A以上である場合には、対象物に欠陥が存在すると判定する。一方、検査部330は、白い領域の面積が閾値A未満である場合には、対象物に欠陥が存在しないと判定することができる。
記憶部340は、処理部30による処理に関わる各種の情報を記憶する。例えば、記憶部340は、画像取得部310が取得した画像データ、形状情報算出部320が算出した形状情報及び検査部330が検査した結果などの各種の情報を記憶する。記憶部340が記憶している情報は、必要に応じて形状情報算出部320及び検査部330により参照される。
図11は、本実施形態に係る処理部30の物理的構成を示す図である。処理部30は、演算部に相当するCPU(Central Processing Unit)30aと、記憶部340に相当するRAM(Random Access Memory)30bと、記憶部340に相当するROM(Read only Memory)30cと、通信部30dと、入力部30eと、表示部30fと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では処理部30が一台のコンピュータで構成される場合について説明するが、処理部30は、複数のコンピュータが組み合わされて実現されてもよい。また、図11で示す構成は一例であり、処理部30はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
CPU30aは、RAM30b又はROM30cに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。CPU30aは、縞パターンの光が照射された対象物の画像に基づいて、対象物の検査を行うプログラム(画像検査プログラム)を実行する演算部である。CPU30aは、入力部30eや通信部30dから種々のデータを受け取り、データの演算結果を表示部30fに表示したり、RAM30bに格納したりする。
RAM30bは、記憶部340のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。RAM30bは、CPU30aが実行するプログラム、対象物の画像といったデータを記憶してよい。なお、これらは例示であって、RAM30bには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
ROM30cは、記憶部340のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ROM30cは、例えば画像検査プログラムや、書き換えが行われないデータを記憶してよい。
通信部30dは、処理部30を他の機器に接続するインターフェースである。通信部30dは、インターネット等の通信ネットワークに接続されてよい。
入力部30eは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
表示部30fは、CPU30aによる演算結果を視覚的に表示するものであり、例えば、LCD(Liquid Crystal Display)により構成されてよい。表示部30fは、撮影した対象物の画像を表示してよい。
画像検査プログラムは、RAM30bやROM30c等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部30dにより接続される通信ネットワークを介して提供されてもよい。処理部30では、CPU30aが画像検査プログラムを実行することにより、図3及び図4を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、処理部30は、CPU30aとRAM30bやROM30cが一体化したLSI(Large-Scale Integration)を備えていてもよい。
以上、本実施形態に係る画像検査装置1の構成及び機能について説明した。次に、図12~図14を参照して、本実施形態に係る画像検査装置1の処理について説明する。図12は、本実施形態に係る画像検査装置1の処理を示すフローチャートである。また、図13は、図12に示す処理におけるステップS170の形状情報算出処理を示すフローチャートである。さらに、図14は、図12に示す処理におけるステップS190の検査処理を示すフローチャートである。以下、図12~図14に沿って、画像検査装置1の処理について説明する。
まず、投影部10が、対象物40に縞パターンの光を照射する(ステップS110)。これにより、対象物に縞パターンの画像が投影される。次いで、撮影部20が、対象物40に投影された縞パターンの画像を撮影する(ステップS130)。
次いで、画像取得部310は、撮影部20から画像データを取得する(ステップS150)。次いで、形状情報算出部320は、形状画像生成処理を行う(ステップS170)。具体的には、処理部30は、画像データに基づき形状情報を算出して、形状画像を生成する。図12を参照して、形状画像生成処理についてより詳細に説明する。
図12は、形状情報算出処理の手順を示すフローチャートである。まず、ピッチ推定部322は、画像データに対してピッチ推定処理を行い、ピッチ分布画像を生成する(ステップS171)。次いで、位相算出部324は、ピッチ分布画像に基づき、第1位相画像を生成する(ステップS173)。次いで、位相接続部326は、第1位相画像について位相接続を行うことにより、第2位相画像を生成する(ステップS175)。次いで、角度算出部328は、第2位相画像に基づき、形状情報として角度Ψを算出する(ステップS177)。次いで、画像生成部329は、算出された角度Ψを二次元でマッピングすることにより、形状画像を生成する(ステップS179)。形状画像が生成されると、形状情報算出処理が終了する。
図12に戻って、画像検査装置1の処理の続きを説明する。ステップS170において形状画像生成処理が行われると、検査部330は、検査処理を行う(ステップS190)。図14を参照して、検査処理についてより詳細に説明する。
まず、検査部330は、図10を参照して説明したように、白い領域と黒い領域で形成された2値画像を生成する(ステップS191)。次いで、検査部330は、白い領域の面積が閾値以上であるか否かを判定する(ステップS193)。白い領域の面積が閾値以上であると判定された場合には(ステップS193:YES)、検査部330は、対象物に欠陥があると判定する(ステップS195)。一方、白い領域の面積が閾値以上であると判定された場合には(ステップS193:NO)、検査部330は、対象物に欠陥がないと判定する(ステップS197)。検査部330が対象物の欠陥の有無を判定すると、図11に示す処理は終了する。
以上、第1実施形態について説明した。本実施形態によれば、対象物40に投影される画像に含まれる縞パターンが不均一なピッチを有するように、投影部10及び撮影部20が配置されている。このため、均一なピッチを有する縞パターンの画像が対象物40に投影される場合と比べて、投影部10及び撮影部20の配置がより自由になる。この結果、対象物40を検査する位置に応じて、投影部10及び撮影部20を所望の位置に配置することが簡便となる。例えば、投影部10の平面に平行な方向(図1の矢印12の方向)と対象物40の表面に平行な方向(図1の矢印41の方向)が異なるように投影部10を配置できる。従って、本実施形態に係る画像検査装置1によれば、特許文献1に記載の技術に比べて、投影部10をより自由に配置することが可能になっている。
また、本実施形態では、1枚の画像を用いることで対象物40を検査することができる。このため、短時間で対象物40を検査することが可能となる。このため、本実施形態に係る画像検査装置1によれば、複数の画像を撮影するよりも短時間で対象物を検査することが可能になる。
さらに、本実施形態に係る画像検査装置1によれば、対象物40に存在する緩やかな欠陥も検出することが可能である。
本実施形態では、検査部330は、対象物の表面の角度Ψを形状情報として用いることで対象物を検査する。これに限らず、検査部330は、縞パターンから抽出される画像特徴に基づく、各種の形状情報を用いて対象物を検査することができる。具体的には、検査部330は、縞パターンの位相に基づく各種の形状情報を用いて対象物を検査することができる。
例えば、形状情報算出部320は、位相接続部326が生成した第2位相分布の位相φ’(u)に対して微分を行い、微分値dφ’(u)/duを形状情報として算出することができる。検査部330は、例えば、閾値を超える微分値dφ’(u)/duが存在する場合には、対象物に欠陥があると判定することができる。なお、形状情報算出部320は、位相φ’(u)の微分を行う前に、第2位相分布に前処理としてガウシアンフィルタなどの空間フィルタによる平滑化を行い、特定の幅を有する領域における位相φ’(u)の微分を行ってもよい。
また、後述するように、形状情報算出部320は、位相φ’(u)と平坦な表面に投影された縞パターンの位相φ(u)との差分値を形状情報として算出することもできる。
本実施形態では、画像生成部329は、角度Ψを二次元でマッピングすることで形状画像を生成するものとして説明した。これに限らず、画像生成部329は、角度Ψに対して空間フィルタをかけることにより形状画像を生成してもよい。例えば、画像生成部329は、ラプラシアンオブガウシアンなどの空間フィルタを用いて、特定の周波数帯域の縞パターンの画像を選択的に生成することができる。検査部330は、このようにして生成された形状情報が閾値を超える場合には、対象物に欠陥が存在すると判定してもよい。
また、形状情報算出部320は、対象物の表面が凸面である場合と凹面である場合とで、角度Ψの符号が反対であることを利用して、凸面及び凹面のいずれかの角度Ψを選択的に取得してもよい。
また、本実施形態では、検査部330は、対象物の欠陥の有無を判定するものとして説明した。検査部330は、さらに、対象物に存在する欠陥(異常)の位置を検出してもよい。例えば、検査部330は、図10に示した2値画像550における白い領域の位置を欠陥の位置として検出してもよい。
[第2実施形態]
第2実施形態では第1実施形態と共通の事柄についての記述を省略し、異なる点についてのみ説明する。上記実施形態では、主に、検査部330は角度Ψを用いて対象物を検査するものとして説明した。第2実施形態では、検査部330は、角度Ψを用いずに、位相接続部326が生成した位相に基づく形状情報により対象物を検査する。
図15は、第2実施形態に係る処理部31の構成を示す機能ブロック図である。第2実施形態に係る処理部31は、第1実施形態に係る処理部30が備える画像取得部310、形状情報算出部320、検査部330及び記憶部340に加えて、補正部350を備える。
補正部350は、画像の位置ずれを補正する。より具体的には、補正部350は、形状情報算出部320により生成された第1形状画像(本実施形態では、第2位相画像)及び後述する第2形状画像の位置ずれを補正する。これにより、補正前の第1形状画像及び第2形状画像に位置ずれが生じている場合にも、検査部330は適切に対象物を検査することが可能になる。
第2実施形態では、予め良品であることが分かっている物品の形状を二次元で表現した形状画像(「第2形状画像」とも称する。)が用意されている。用意された第2形状画像は、記憶部340に記憶されている。本実施形態では、第2形状画像は、欠陥のない平坦の物品に縞パターンが投影された場合の縞パターンの位相φを、二次元でマッピングすることにより生成された画像である。
本実施形態では、検査部330は、位相接続部326により生成された第2位相画像を第1形状画像として用いる。検査部330は、第2位相画像及び第2形状画像に基づき、対象物を検査する。例えば、形状情報算出部320は、第2位相画像の位相φ’と第2形状画像の位相φとの差分値Δφを算出する。図16は、差分値Δφを二次元でマッピングすることにより得られる差分画像560である。差分値Δφが大きい領域ほど、白く表示されている。検査部330は、例えば、差分画像に閾値以上である差分値Δφが含まれる場合には、対象物に欠陥がないと判定してもよい。
検査部330が第1形状画像と第2形状画像とを比較する際に、予め、補正部350が第1形状画像及び第2形状画像の位置ずれを補正してよい。これにより、補正前の第1形状画像及び第2形状画像が位置ずれを有している場合であっても、検査部330が適切に対象物を検査することが可能になる。
なお、検査部330は、必要に応じて、第1形状画像を射影変換してもよい。対象物の表面がほぼ平面であると仮定すると、縞パターンの射影変換パラメータを推定することも可能である。射影変換パラメータを推定する方法には、投影される縞パターンの上に、特定のパターンを重ねて投影する方法が挙げられる。また、射影変換パラメータを推定する方法は、対象物の形状情報(例えば、対象物の輪郭など)を用いる方法であってもよい。
以上、第2実施形態について説明した。
(補足)
本実施形態では、検査部330は、位相接続部326により位相接続されることで生成された第2位相画像の位相φ’と欠陥のない平坦の物品に縞パターンが投影された場合の位相φとの差分値を用いて検査するものとして説明した。これに限らず、検査部330は、位相接続部326により位相接続される前の第1位相画像と、欠陥のない平坦の物品に縞パターンが投影された場合の位相との差分値を用いて検査してもよい。
本実施形態では、検査部330は、対象物の位相値φ’と良品の位相値φとの差分値Δφを用いて、対象物を検査するものとして説明した。これに限らず、検査部330は、対象物の表面の角度Ψと良品の表面の角度との差分を用いて、対象物を検査してもよい。
また、本実施形態では、検査部330は、欠陥のない物品の形状画像と、対象物に投影された縞パターンの画像に基づく形状画像とを比較して対象物を検査するものとして説明した。これに限らず、検査部330は、欠陥を有する物品の形状画像と、対象物に投影された縞パターンの画像に基づく形状画像とを比較して対象物を検査してもよい。
[第3実施形態]
図17は、第3実施形態に係る画像検査装置2の構成を示す図である。図17に示す画像検査装置2は、図1に示した画像検査装置1と異なり、反射板19をさらに備える。投影部10は、反射板19に縞パターンの光を反射させて対象物40に縞パターンの画像を投影する。この場合にも、投影部10は、反射板19を介して、対象物40の表面にピッチが不均一な縞パターンの画像を投影することができる。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素及びその配置、材料、条件、形状、サイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
上記実施形態では、主に、投影部10が1つの縞パターンの光を対象物40に照射するものとして説明した。これに限らず、投影部10は、縞の方向が互いに異なる複数の縞パターンの光を対象物40に照射してもよい。例えば、投影部10は、例えば画像を表示可能なディスプレイにより、縞の方向が互いに90°異なる2つの縞パターンの光を順番に対象物40に照射してもよい。形状情報算出部320は、複数の縞パターンのそれぞれの画像について形状情報を算出して、算出した前記複数の縞パターンの形状情報を合成することができる。検査部330は、合成された形状情報に基づき対象物40を検査することにより、より精度よく対象物40を検査することができる。
[附記]
均一なピッチを有する縞パターンの光を対象物に照射し、縞パターンの画像を対象物に投影する投影部(10)と、
前記対象物に投影された縞パターンの画像を撮影する撮影部(20)と、
前記画像に含まれる縞パターンから抽出される画像特徴に基づいて、前記対象物の形状情報を算出する形状情報算出部(320)と、
前記形状情報に基づき前記対象物を検査する検査部(330)と、を備え、
前記画像に含まれる縞パターンは、不均一なピッチを有する、
画像検査装置(1,2)。
1,2…画像検査装置、10…投影部、20…撮影部、30,31…処理部、40…対象物、310…画像取得部、320…形状情報算出部、329…画像生成部、330…検査部、350…補正部、500…画像、520…第1位相画像、530…第2位相画像、540…形状画像

Claims (9)

  1. 均一なピッチを有する縞パターンの光を対象物に照射し、縞パターンの画像を対象物に投影する投影部と、
    前記対象物に投影された縞パターンの画像を撮影する撮影部と、
    前記画像に含まれる縞パターンから抽出される画像特徴に基づいて、前記対象物の形状情報を算出する形状情報算出部と、
    前記形状情報に基づき前記対象物を検査する検査部と、を備え、
    前記画像に含まれる縞パターンは、前記対象物の平らな表面において不均一なピッチを有する、
    画像検査装置。
  2. 前記検査部は、前記対象物における異常の位置を検出する、
    請求項1に記載の画像検査装置。
  3. 前記形状情報算出部は、前記縞パターンの画像における複数の位置の各々に対応する形状情報を算出し、算出した形状情報を二次元でマッピングすることにより第1形状画像を生成する、
    請求項1又は2に記載の画像検査装置。
  4. 前記検査部は、特定の物品の形状を二次元で表現した第2形状画像と、前記第1形状画像とに基づき、前記対象物の異常を検出する、
    請求項3に記載の画像検査装置。
  5. 前記第1形状画像及び前記第2形状画像の位置ずれを補正する補正部を、さらに備える、
    請求項4に記載の画像検査装置。
  6. 前記検査部は、前記第1形状画像に含まれる形状情報を閾値と比較して2値化し、前記第1形状画像における前記2値のうちのいずれかに対応する面積に基づいて、前記対象物を検査する、
    請求項3に記載の画像検査装置。
  7. 前記投影部は、拡散光を照射する平板状の照明であり、前記縞パターンの光を前記対象物に照射する、
    請求項1から6のいずれか1項に記載の画像検査装置。
  8. 前記投影部は、縞の方向が互いに異なる複数の縞パターンの光を前記対象物に照射し、
    前記撮影部は、前記複数の縞パターンのそれぞれの画像を撮影し、
    前記形状情報算出部は、前記複数の縞パターンのそれぞれの画像について形状情報を算出して、算出した前記複数の縞パターンの形状情報を合成し、
    前記検査部は、合成された形状情報に基づき前記対象物を検査する、
    請求項1から7のいずれか1項に記載の画像検査装置。
  9. 均一なピッチを有する縞パターンの光を対象物に照射し、縞パターンの画像を対象物に投影することと、
    前記対象物に投影された前記縞パターンの画像を撮影することと、
    前記画像における前記縞パターンから抽出される画像特徴に基づいて、前記対象物の形状情報を算出することと、
    前記形状情報に基づき前記対象物を検査することと、を含み、
    前記画像に含まれる縞パターンは、前記対象物の平らな表面において不均一なピッチを有する、
    画像検査方法。
JP2020032240A 2020-02-27 2020-02-27 画像検査装置及び画像検査方法 Active JP7393737B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020032240A JP7393737B2 (ja) 2020-02-27 2020-02-27 画像検査装置及び画像検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020032240A JP7393737B2 (ja) 2020-02-27 2020-02-27 画像検査装置及び画像検査方法

Publications (2)

Publication Number Publication Date
JP2021135200A JP2021135200A (ja) 2021-09-13
JP7393737B2 true JP7393737B2 (ja) 2023-12-07

Family

ID=77660997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020032240A Active JP7393737B2 (ja) 2020-02-27 2020-02-27 画像検査装置及び画像検査方法

Country Status (1)

Country Link
JP (1) JP7393737B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384436B2 (ja) * 2021-08-20 2023-11-21 株式会社ニューギン 遊技機
JP7384435B2 (ja) * 2021-08-20 2023-11-21 株式会社ニューギン 遊技機
JP7384437B2 (ja) * 2021-08-20 2023-11-21 株式会社ニューギン 遊技機

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098163A (ja) 2004-09-29 2006-04-13 Dainippon Screen Mfg Co Ltd 欠陥検出装置および欠陥検出方法
JP2010243296A (ja) 2009-04-03 2010-10-28 Omron Corp 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
JP2010271316A (ja) 2009-05-21 2010-12-02 Koh Young Technology Inc 形状測定装置および形状測定方法
JP2011064482A (ja) 2009-09-15 2011-03-31 Kurabo Ind Ltd 高速三次元計測装置及び高速三次元計測方法
JP2012021909A (ja) 2010-07-15 2012-02-02 Keyence Corp 画像処理装置及び外観検査方法
JP2015172487A (ja) 2014-03-11 2015-10-01 国立大学法人 和歌山大学 形状計測装置および形状計測方法
JP2018189497A (ja) 2017-05-08 2018-11-29 国立大学法人福井大学 特徴量を用いた3次元計測方法およびその装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098163A (ja) 2004-09-29 2006-04-13 Dainippon Screen Mfg Co Ltd 欠陥検出装置および欠陥検出方法
JP2010243296A (ja) 2009-04-03 2010-10-28 Omron Corp 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
JP2010271316A (ja) 2009-05-21 2010-12-02 Koh Young Technology Inc 形状測定装置および形状測定方法
JP2011064482A (ja) 2009-09-15 2011-03-31 Kurabo Ind Ltd 高速三次元計測装置及び高速三次元計測方法
JP2012021909A (ja) 2010-07-15 2012-02-02 Keyence Corp 画像処理装置及び外観検査方法
JP2015172487A (ja) 2014-03-11 2015-10-01 国立大学法人 和歌山大学 形状計測装置および形状計測方法
JP2018189497A (ja) 2017-05-08 2018-11-29 国立大学法人福井大学 特徴量を用いた3次元計測方法およびその装置

Also Published As

Publication number Publication date
JP2021135200A (ja) 2021-09-13

Similar Documents

Publication Publication Date Title
JP7393737B2 (ja) 画像検査装置及び画像検査方法
US10282855B2 (en) Determining object properties with respect to particular optical measurement
US6735745B2 (en) Method and system for detecting defects
JP2021185499A (ja) 多層構造体の層間のオーバレイを測定する技法
US20080298672A1 (en) System and method for locating a three-dimensional object using machine vision
EP3594618B1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and program
JP6436141B2 (ja) X線検査装置およびその制御方法
JP2009198440A (ja) 補正パターン画像生成装置、パターン検査装置および補正パターン画像生成方法
JP6519265B2 (ja) 画像処理方法
JP4112812B2 (ja) パターン評価方法、パターン評価装置およびコンピュータ読み取り可能な記録媒体
JP2013504752A (ja) 非接触物体検査
JP2013186100A (ja) 形状検査方法およびその装置
JP6303867B2 (ja) 基板検査装置及びその制御方法
JP5385703B2 (ja) 検査装置、検査方法および検査プログラム
US20130223723A1 (en) Pattern measuring apparatus, and pattern measuring method and program
TWI583920B (zh) 光滑物體的量測系統及其量測方法
JP4970569B2 (ja) パターン検査装置およびパターン検査方法
Marrugo et al. Fourier transform profilometry in LabVIEW
JP6778338B2 (ja) 半導体ウエハを検査するための技法
JP2012093234A (ja) 三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム
Liu et al. A method to reduce the systematic error of line-structured light sensors based on light plane correction
US20180158205A1 (en) Apparatus and method for generating three-dimensional information
JP5445848B2 (ja) 物体形状評価装置
JP2009192483A (ja) 三次元形状計測方法および三次元形状計測装置
JP7219034B2 (ja) 三次元形状測定装置及び三次元形状測定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231109

R150 Certificate of patent or registration of utility model

Ref document number: 7393737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150