JP2018136913A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2018136913A JP2018136913A JP2017160011A JP2017160011A JP2018136913A JP 2018136913 A JP2018136913 A JP 2018136913A JP 2017160011 A JP2017160011 A JP 2017160011A JP 2017160011 A JP2017160011 A JP 2017160011A JP 2018136913 A JP2018136913 A JP 2018136913A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- tool
- loop
- image
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】複数のワークに対して画像処理による検査を行う場合においても、画像処理フローの作成作業や編集作業を容易にすることが可能な画像処理装置を提供する。【解決手段】複数のワークが含まれたワーク画像に対して、複数の画像処理ツールが組み合わされた画像処理フローに基づいて画像処理を実行する画像処理装置であって、前記画像処理フローは、前記ワーク画像に含まれる複数のワークのそれぞれに対して、画像処理ツールの組み合わせを順次適用するループ処理を行うループツールを有することを特徴とする。【選択図】図2
Description
本発明は、ワークを撮像して得られたワーク画像に対して画像処理を実行する画像処理装置に関するものである。
検査対象物(以下、ワーク)の検査において当該ワークを撮像部により撮影し、撮影されたワーク画像に対して画像処理を行うことで、製品の良否判定等の検査を行う画像処理装置が提案されている(例えば、特許文献1参照)。この特許文献1に開示されている画像処理装置では、ワーク画像に対して、ユーザーにより選択された複数の画像処理ツールにより構成された画像処理フローに基づいて画像処理が行われる。
しかしながら、従来では、撮像部の撮影視野内にある複数のワーク、つまり、ワーク画像に含まれる複数のワークについて検査を行う場合、ワーク毎に複数の画像処理ツールを組み合わせて個別に画像処理フローを作成する必要があった。このため、当該画像処理フローの作成作業にその分の手間を要するという課題があった。また、例えば画像処理フロー内の一部の画像処理ツールについて設定等を変更する等のように、一度作成した画像処理フローを編集する場合、各ワークに対応する画像処理フローのそれぞれについて編集作業を行わなければならない。さらには、組み合わせる画像処理ツールの数が多くなると、その分、画像処理アプリケーションに係るユーザーインターフェースにおいて各画像処理ツールに対応するアイコン(以下、画像処理アイコン)が数多く表示されることになり、ユーザーにとっては画像処理フロー全体を見渡すことが難しくなるおそれがあった。また、複数の画像処理ツールを1つのアイコンで簡易的に表示させることも考えられるが、この場合、このアイコンによりどのような画像処理が行われるのかがユーザーにとって分かりにくくなるおそれがあった。このため、ユーザーの作業負担が大きく、メンテナンス性が悪いという課題があった。
本発明は、このような事情に鑑みてなされたものであり、その目的は、複数のワークに対して画像処理による検査を行う場合においても、画像処理フローの作成作業や編集作業を容易にすることが可能な画像処理装置を提供することにある。
本発明の画像処理装置は、上記目的を達成するために提案されたものであり、複数のワークが含まれたワーク画像に対して、複数の画像処理ツールが組み合わされた画像処理フローに基づいて画像処理を実行する画像処理装置であって、
前記画像処理フローは、前記ワーク画像に含まれる複数のワークのそれぞれに対して、画像処理ツールの組み合わせを順次適用するループ処理を行うループツールを有することを特徴とする。
前記画像処理フローは、前記ワーク画像に含まれる複数のワークのそれぞれに対して、画像処理ツールの組み合わせを順次適用するループ処理を行うループツールを有することを特徴とする。
本発明によれば、画像処理フローが、複数のワークのそれぞれに対して画像処理ツールの組み合わせを順次適用するループ処理を行うループツールを有することにより、各ワークについてそれぞれ画像処理フローを個別に作成する必要がなく、画像処理フローの作成作業がより容易となる。また、例えば画像処理フロー内の一部の画像処理ツールについて設定等を変更する等のように、一度作成した画像処理フローを編集する場合においても、1つの画像処理フローについて編集を行えば、当該編集後の画像処理フローが各ワークについて同様に適用されることになる。その結果、ユーザーにとって作業の負担が軽減され、メンテナンス性が向上する。
また、上記構成において、前記画像処理フローは、ワーク画像に含まれる所定のワークを検出するサーチツールを画像処理ツールとして含み、
前記ループツールは、前記サーチツールによるワークの検出数に対応する回数だけ前記ループ処理を行う構成を採用することができる。
前記ループツールは、前記サーチツールによるワークの検出数に対応する回数だけ前記ループ処理を行う構成を採用することができる。
この構成によれば、サーチツールによるワークの検出数に対応する回数だけループ処理が自動的に実行されるので、ユーザーによる設定作業が不要となる。
また、上記構成において、前記ループツールによる前記ループ処理の実行回数は、ユーザーにより設定される構成を採用することもできる。
この構成によれば、ループ処理の実行回数についてユーザーが所望とする回数に設定することができる。
さらに、上記構成において、前記画像処理フローは、ワーク画像に含まれる所定のワークを検出するサーチツールを画像処理ツールとして含み、
前記ループツールによる前記ループ処理の実行回数について、前記サーチツールで検出されたワークの検出数に基づく自動設定、または、ユーザーによる設定の何れかを選択可能である構成を採用することもできる。
前記ループツールによる前記ループ処理の実行回数について、前記サーチツールで検出されたワークの検出数に基づく自動設定、または、ユーザーによる設定の何れかを選択可能である構成を採用することもできる。
この構成によれば、ループ処理の実行回数について検査用途等に応じてより適した設定を選択することができる。
また、上記構成において、前記画像処理フローは、ワーク画像に含まれる所定のワークを検出するサーチツールを画像処理ツールとして含み、
前記ループツールは、前記サーチツールにより検出されたワークの中から一部のワークに対して選択的に前記ループ処理を行うモードを有する構成を採用することが望ましい。
前記ループツールは、前記サーチツールにより検出されたワークの中から一部のワークに対して選択的に前記ループ処理を行うモードを有する構成を採用することが望ましい。
この構成によれば、サーチツールにより検出されるワークの数がより多い場合においても、所謂抜き取り検査のように、検出されたワークのうちの一部のワークのみにループ処理が選択的に適用されるので、その分、処理時間を削減することが可能となる。
この構成において、前記ループツールは、前記サーチツールにより検出されたワークの中から一定の個数間隔で検査対象のワークの選択を行う構成を採用することができる。
この構成によれば、検出されたワークの中から一定の個数間隔で検査対象のワークの選択を行うので、より簡単な設定で抜き取り検査を行うことが可能となる。
また、上記構成において、前記ループツールは、前記サーチツールにより検出されたワークの中から検査対象とするワークを選択するための選択エリアを前記ワーク画像に分散させて設定し、当該選択エリア内に含まれるワークを検査対象のワークとして選択する構成を採用することもできる。
この構成によれば、検出されたワークの中から選択エリア内に含まれるワークを検査対象のワークとして選択することにより、ワークの位置に基づく形状や寸法等のばらつきを考慮してより偏りなくワークの検査を行うことが可能となる。
さらに、上記構成において、前記画像処理フローは、第1のループツールと第2のループツールを有し、
前記第1のループツールにより実行される第1のループ処理は、前記第2のループツールにより実行される第2のループ処理を包含する構成を採用することができる。
前記第1のループツールにより実行される第1のループ処理は、前記第2のループツールにより実行される第2のループ処理を包含する構成を採用することができる。
この構成によれば、例えば、検出されたワークが検査対象となる部位を複数有している場合に、各部位の検査を第2のループツールにより実行される第2のループ処理で行うようにすることができる。これにより、画像処理フロー内に第2のループツールを追加するという簡単な作業でワークが有する複数の部位の検査を行うことが可能となる。
上記構成において、画像処理ツールに対応する画像処理アイコンを表示装置に表示させるアイコン表示手段を有し、
前記アイコン表示手段は、複数の画像処理ツールの組み合わせから構成される画像処理グループに対応するグループアイコンを前記表示装置に表示させることが可能に構成されたことが望ましい。
前記アイコン表示手段は、複数の画像処理ツールの組み合わせから構成される画像処理グループに対応するグループアイコンを前記表示装置に表示させることが可能に構成されたことが望ましい。
この構成によれば、複数の画像処理ツールの組み合わせから構成される画像処理グループが一つのグループアイコンで表示されるので、画像処理グループを構成する各画像処理ツールの画像処理アイコンが個別に表示される場合と比較して、複数の画像処理ツールの組み合わせからなる画像処理グループであることをユーザーが認識しやすくすることができる。また、表示装置における限られた表示領域を有効に使用することが可能となる。
また、上記構成において、前記アイコン表示手段は、前記ループツール及び当該ループツールにより前記ループ処理が行われる複数の画像処理ツールを含む前記画像処理グループに対応する前記グループアイコンを表示させることが可能に構成されたことが望ましい。
この構成によれば、ループツールによりループ処理が行われる画像処理グループであることをユーザーがより認識しやすくすることができる。
また、上記構成において、前記アイコン表示手段は、前記画像処理グループに対応する前記グループアイコンを表示させるまとめ表示状態と、当該画像処理グループに含まれる各画像処理ツールに対応する各画像処理アイコンを並べて表示させる展開表示状態と、に切り替えることが可能に構成されたことが望ましい。
この構成によれば、まとめ表示状態と展開表示状態とに切り替えることができるので、表示領域を有効に使用したり、又は、画像処理グループを構成する各画像処理ツールを確認したり、等、ユーザーの必要に応じた表示を行うことができる。
さらに、上記構成において、前記アイコン表示手段は、前記まとめ表示状態において、当該グループアイコンの静止画を表示させる静止画表示状態と、前記画像処理グループに含まれる画像処理ツールに対応する画像処理アイコンを前記静止画に替えて順次表示する動画表示状態と、に切り替えることが可能に構成されたことが望ましい。
この構成によれば、まとめ表示状態において静止画表示状態と動画表示状態とに切り替えることができるので、静止画表示状態とすることにより画像処理装置の負荷を抑制したり、又は、動画表示状態とすることにより限られた表示領域を有効に使用しつつ画像処理グループを構成する各画像処理ツールをユーザーが容易に確認したりすることができる。
さらに、上記構成において、前記アイコン表示手段は、前記動画表示状態において、前記画像処理グループに含まれる画像処理ツールのうちの一部に対応する画像処理アイコンを選択して表示させることが可能に構成されたことが望ましい。
この構成によれば、動画表示状態において、画像処理グループに含まれる画像処理ツールのうちの一部に対応する画像処理アイコンを選択して表示させることにより、動画表示状態における画像処理装置の負荷をより低減することが可能となる。
また、上記構成において、前記画像処理グループを編集する編集モードを有し、
前記編集モードは、前記画像処理アイコンを追加または削除することにより、前記画像処理グループを編集することが可能に構成されたことが望ましい。
前記編集モードは、前記画像処理アイコンを追加または削除することにより、前記画像処理グループを編集することが可能に構成されたことが望ましい。
この構成によれば、画像処理アイコンを追加または削除することにより、前記画像処理グループを編集することが可能であるため、より簡単かつより直感的に画像処理グループの編集作業を行うことが可能となる。
そして、上記構成において、前記編集モードは、編集された前記画像処理グループを前記画像処理ツールの一つとして登録することが可能に構成されたことが望ましい。
この構成によれば、編集された前記画像処理グループを前記画像処理ツールの一つとして登録することにより、一度編集された画像処理グループを繰り返し利用することができるため、ユーザーの利便性が向上する。
以下、本発明を実施するための形態を、添付図面を参照して説明する。なお、以下に述べる実施の形態では、本発明の好適な具体例として種々の限定がされているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
図1は、本発明に係る画像処理装置の一形態を示すブロック図である。本実施形態における画像処理装置10は、XYステージ2、撮影装置3、コンピューター6、表示装置7、および入力装置8等を備えている。ワーク1(図2等参照)は、例えば、ネジや歯車等の金属加工品、もしくは、フレキシブル基板、液晶パネル(TFTパネル)、半導体ウェハ等の種々の検査対象物(オブジェクト)である。ワーク1は、本実施形態においては、XYステージ2上に載置され、第1の方向(X方向)と当該第1の方向に直交する第2の方向(Y方向)に移動可能に構成されている。なお、XYステージ2に限られず、例えば、ベルトコンベアーのように撮影装置3の下方にワーク1を順次搬送可能な構成を採用することもできる。
撮影装置3は、ワーク1を光学的に拡大して欠陥を検出するのに十分な倍率を備えたレンズあるいは顕微鏡からなる光学系や、当該光学系により拡大されたワーク1の像を受光して電気信号に変換するCCD等を備えている。この撮影装置3は、XYステージ2上のワーク1を撮影し、撮影した像を画像データに変換してコンピューター6に出力する。コンピューター6は、撮影装置3を制御し、当該撮影装置3から得られた撮影画像に基づき、ワーク1について画像処理により形状・寸法等の測定や欠陥の検出等の検査を行う。表示装置7は、コンピューター6に接続された液晶ディスプレイなどの表示装置である。入力装置8は、例えば、キーボードやマウス等からなり、ユーザーの操作を受けて当該操作に基づく操作信号をコンピューター6に出力する。
本実施形態におけるコンピューター6は、演算部11および記憶部12を備えている。記憶部12は、例えばハードディスクドライブから構成され、この記憶部12には、オペレーションシステム、画像処理アプリケーションを含む各種アプリケーションプログラム、画像処理用データ等が記憶されている。そして、演算部11は、図示しないCPU、ROM、RAM等を有しており、記憶部12に記憶されたオペレーションシステムに従い、画像処理などの各種の処理を行う。また、演算部11は、画像入力手段13および画像処理手段14を備えている。画像入力手段13には、撮影装置3で撮像されたワーク1の撮影画像データが入力される。当該撮影画像データは、ワーク画像として記憶部12に記憶される。
画像処理手段14は、ワーク画像(撮影画像)に対して後述する画像処理フロー(画像処理レシピ)を構成する画像処理ツールを順次実行することにより、ワーク画像から所定のワーク1を検出したり、検出したワーク1の寸法等を測定したり、ワーク1の欠陥を検出したりする。画像処理フローは、ユーザーにより各種の画像処理ツールが組み合わされて生成されるものである。また、本実施形態における画像処理手段14は、本発明におけるアイコン表示手段として機能し、後述するように、各種画像処理ツールに対応する画像処理アイコン23やグループアイコン25等を表示装置7に表示させたりする。
図2及び図3は、演算部11により実行される画像処理アプリケーションに係るユーザーインターフェース17の表示例を説明する図であり、図2は画像処理ツールのグループ(画像処理グループ)に対応する各画像処理ツールの各画像処理アイコン23が個別に並べて表示された状態(展開表示状態)、図3は画像処理グループが1つのグループアイコン25で表示された状態(まとめ表示状態)をそれぞれ示している。本実施形態におけるユーザーインターフェース17には、作業領域18、設定領域19、及び画像処理フロー表示領域21等の表示領域、及び、スクロールバー22等が設けられている。作業領域18は、撮影装置3から入力されたワーク画像が表示され、画像処理ツールによって画像処理が行われる様子が表示される領域である。設定領域19は、画像処理全般の設定等を行ったり、各種画像処理ツールについて個別に設定や調整を行ったり、その他、設定値や計測数値等が表示されたりする領域である。
画像処理フロー表示領域21には、各種画像処理ツールに対応するサムネイル画像からなる画像処理アイコン23が所定の順序で表示される。この画像処理フロー表示領域21に表示される画像処理アイコン23は、ユーザーによって選択される。すなわち、ユーザーが必要な画像処理ツールを順次登録する際に、各画像処理ツールに対応する画像処理アイコン23が生成されて画像処理フロー表示領域21に表示される。画像処理アイコン23は、サムネイル画像には限られず、例えば、対応する画像処理ツールを特徴化した画像等を採用することもできる。
本実施形態において、画像処理アイコン23は、画面の横方向に並べて表示される。また、画像処理フロー表示領域21の下方には、当該画像処理フロー表示領域21に沿って画面横方向にスライド可能なスクロールバー22が表示されている。スクロールバー22は、例えば、入力装置8の一種である図示しないマウスを介してユーザーがスライド操作することにより、画像処理フロー表示領域21の表示を横方向にスクロールさせることが可能に構成されている。図2に示される表示例では、画像処理フロー表示領域21に合計6つの画像処理アイコン23a〜23fが表示されているが、画像処理フローを構成する画像処理ツールの数が7つ以上ある場合には、スクロールバー22を横方向(例えば、図2における右方向)にスライドさせることにより、図2の状態で表示されていない他の画像処理アイコン23を画像処理フロー表示領域21に表示させることができる。本実施形態においては、画像処理アイコン23a〜23fの他に、3つの画像処理アイコン23g〜23h(図3参照)が1つの画像処理フローに含まれている。そして、これらの画像処理ツールの組み合わせが、一連の画像処理フローを構成する。なお、画像処理フロー表示領域21の位置や、画像処理アイコン23の並設方向、表示される画像処理アイコン23の数等は例示したものには限られず、例えば、ユーザーインターフェース17の左右のいずれ一側に画像処理フロー表示領域21が設けられ、画像処理アイコン23が縦方向に並べられる構成を採用することもできる。この場合、スクロールバー22も画面縦方向にスライドさせるような構成となる。
本実施形態において、図2の画像処理フロー表示領域21に表示されている画像処理アイコン23のうち、左から2番目の画像処理アイコン23bから6番目(右端)の画像処理アイコン23fまでの各画像処理ツールは一つのグループ(画像処理グループ)を構成している。この画像処理グループは、複数の画像処理ツールの組み合わせからなり、画像処理プログラムに予め用意されているものや、後述する編集モードにおいてユーザーにより任意に選択された画像処理ツールより構成されるものなどがある。本実施形態においては、図2に示されるように、画像処理グループの先頭の画像処理アイコン23bと最後尾の画像処理アイコン23fとを結ぶ破線よりなるグループ標示24により、これらの画像処理ツールが1つの画像処理グループであることが示されている。なおグループ標示24は、例示した態様には限られず、例えば、画像処理グループを構成する各画像処理アイコン23を1つの枠で囲ったり、該当する画像処理アイコン23の背景色を他の画像処理アイコン23の背景色とは異ならせたり、等のように、画像処理ツールが1つの画像処理グループであることをユーザーが判別可能な標示であれば種々の態様のグループ標示24を採用することができる。
図2に示されるように、画像処理グループに対応する各画像処理アイコン23が個別に並べて表示された状態は、本発明における展開表示状態である。また、本実施形態においては、図3に示されるように、上記画像処理グループに対応する各画像処理アイコン23が1つのグループアイコン25で代表して表示された、本発明におけるまとめ表示状態に切り替えることができるように構成されている。すなわち、例えば、展開表示状態における画像処理グループの各画像処理アイコン23の何れかにポインターを配置してマウスのダブルクリック操作をすることにより、まとめ表示状態に切り替えられ、図3に示されるように、画像処理グループの各画像処理アイコン23の替わりに1つのグループアイコン25が表示される。同様に、まとめ表示状態におけるグループアイコン25をダブルクリック操作することにより、図2に示されるような展開表示状態に切り替えることができる。まとめ表示状態では、複数の画像処理ツールの組み合わせから構成される画像処理グループが一つのグループアイコン25で表示されるので、画像処理グループを構成する各画像処理ツールの画像処理アイコンが個別に表示される展開表示状態と比較して、複数の画像処理ツールの組み合わせからなる画像処理グループであることをユーザーが認識しやすい。また、限られた表示領域を有効に使用することが可能となる。一方、展開表示状態では、画像処理グループがどの画像処理ツールから構成されているのかについてユーザーがより正確に把握することができる。そして、このようなまとめ表示状態と展開表示状態とを切り替えることができるので、表示領域を有効に使用したり、又は、画像処理グループを構成する各画像処理ツールを確認したり、等のように、ユーザーの必要に応じた表示を行うことができる。さらに、まとめ表示状態では、グループアイコン25をシングルクリック操作することにより、動画表示が可能に構成されている。この点の詳細については後述する。
図4から図6は、編集モード(ユーザー作成/編集モード)の作業画面の表示例を示す図である。この編集モードは、画像処理フローや、これに含まれる画像処理グループを編集(作成)する際に画像処理プログラムにより実行されるモードである。この編集モードの作業画面は、上記ユーザーインターフェース17の設定領域19に表示されてもよいし、ユーザーインターフェース17とは別の画面として表示されてもよい。作業画面の上段は、画像処理プログラムに登録されている各種画像処理ツールの画像処理アイコン23が表示される領域(ツールリスト領域)である。また、作業画面の下段は、ユーザーが画像処理フローを構成する画像処理ツールを順次登録して作成したり、グループアイコンを作成又は編集したりする領域(ユーザー作成/編集領域)である。すなわち、ユーザーは、ツールリスト領域に表示されている画像処理アイコン23を選択してユーザー作成/編集領域に順次追加することにより画像処理フローを作成することができる。また、作成した画像処理フローについて画像処理ツールを新たに追加したり、既に登録されている画像処理ツールを削除したりすることも可能である。同様にして、ユーザー作成/編集領域において画像処理ツールを追加したり削除したりすることで画像処理グループを編集することができる。このように、画像処理アイコン23を追加または削除することにより、画像処理グループを作成/編集することが可能であるため、より簡単かつより直感的に画像処理グループの作成/編集作業を行うことが可能となる。なお、ツールリストの表示領域、及び、ユーザー作成/編集の表示領域には、それぞれスクロールバー26a,26bがそれぞれ設けられている。各表示領域に画像処理アイコン23を表示しきれない場合には、スクロールバー26a,26bを縦方向(図における上下方向)にスライドさせて、表示領域における表示を上下方向にスクロールさせることにより、それまで表示領域に表示されていなかった他の画像処理アイコン23を当該表示領域に表示させることができる。勿論、スクロールバー26a,26bは、縦方向にスライドさせるものには限られず、上記スクロールバー22のように、横方向にスライドさせて、表示領域の表示を横方向にスクロールさせる構成を採用することもできる。
画像処理グループを作成する場合、例えば、ツールリスト領域に表示されている10種類の画像処理ツールA〜Jの中から、実行する順番に画像処理ツールを選択して、それぞれの画像処理アイコン23をユーザー作成/編集領域に表示させる。例えば、ツールリスト領域に表示されている画像処理ツールをシングルクリック操作したり、或は、ドラッグアンドドロップ操作したりすることで、ツールリスト領域に表示されている画像処理ツールの画像処理アイコン23をユーザー作成/編集領域に表示させることができる。図4の例では、画像処理ツールB、画像処理ツールC、画像処理ツールG、画像処理ツールH、及び画像処理ツールJの順に選択されて、ユーザー作成/編集領域に各画像処理ツールに対応する画像処理アイコン23が表示されている。この画像処理グループを作成する場合においても、上記のように、ダブルクリック操作により展開表示状態(図4)とまとめ表示状態(図5)とに切り替えることが可能である。また、まとめ表示状態におけるグループアイコン25は、後述する動画表示も可能である。そして、図6に示されるように、作成又は編集された画像処理グループは、ツールリスト領域に画像処理ツールの一つとして登録することができる。これにより、他の画像処理ツールと同様に、画像処理フローを作成する際に、いつでも画像処理グループのグループアイコン25を選択して利用することが可能となる。このように、一度編集された画像処理グループを繰り返し利用することができるため、ユーザーの利便性が向上する。
図7は、グループアイコン25の動画表示状態について説明する遷移図である。上述したように、本実施形態におけるグループアイコン25は、画像処理グループを構成する各画像処理ツールの各画像処理アイコン23を、先頭の画像処理ツールの画像処理アイコン23が最も手前に配置されるように重ね合わせて斜視図のように表示した構成となっている。この状態では先頭の画像処理ツールに対応する画像処理アイコン23しかユーザーが視認できないため、画像処理グループがどのような画像処理ツールから構成されているのかを把握しにくい。また、展開表示状態では、画像処理グループを構成する各画像処理ツールの画像処理アイコンが個別に表示されるため、表示領域が見にくくなる場合がある。このため、本実施形態においては、まとめ表示状態において、グループアイコン25の静止画が表示された状態(静止画表示状態)で当該グループアイコン25を例えばシングルクリック操作することにより、当該静止画に替えて、画像処理グループを構成する各画像処理ツールの各画像処理アイコン23を順次表示する所謂コマ送りのような動画表示を行うことが可能となっている。この動画表示状態では、上記のグループアイコン25の場合、一定の間隔(例えば、1秒ごと)に、画像処理ツールB→画像処理ツールC→画像処理ツールG→画像処理ツールH→画像処理ツールJの順に、最も手前の画像処理アイコン23の表示が変化する。これにより、展開表示状態にしなくても、画像処理グループがどのような画像処理ツールから構成されているのかをユーザーが容易に把握することが可能となる。また、この動画表示状態の状態でグループアイコン25を再度シングルクリック操作することにより、先頭の画像処理ツールの画像処理アイコン23が最も手前に配置された静止画表示状態に切り替えることができる。
このように、まとめ表示状態において静止画表示状態と動画表示状態とに切り替えることができるので、静止画表示状態とすることによりコンピューター6の負荷を抑制したり、又は、動画表示状態とすることにより限られた表示領域を有効に使用しつつ画像処理グループを構成する各画像処理ツールをユーザーが容易に確認したりすることができる。なお、動画表示状態は、必ずしも画像処理グループを構成する全ての画像処理ツールの画像処理アイコン23を表示させる必要はなく、例えば、画像処理グループを構成する画像処理ツールの中から特徴的な画像処理ツールの画像処理アイコン23を選択的に表示させたり、又は、画像処理アイコン23を1つ置き又は複数置きで表示させたりしてもよい。この場合も動画表示状態におけるコンピューター6への負荷をより低減することが可能となる。また、動画表示状態において各画像処理アイコン23を順次表示する間隔(表示スピード)を任意に変更する構成を採用することもできる。
図8は、編集モードにおいてグループアイコン25の編集を行う際の作業画面の表示例を示す図である。画像処理グループには、さらに同一又は異なる画像処理グループを含ませることができる。図8の例では、グループアイコン25(1)に対応する画像処理グループがユーザー作成/編集領域において展開表示されており、ユーザーはこの展開表示状態で画像処理グループを構成する画像処理ツールの追加・削除ができる。そして、当該画像処理グループには、グループアイコン25(2)に対応する画像処理グループが2つ含まれている。このように、画像処理グループに同一又は異なる画像処理グループを含ませることにより、当該画像処理グループを階層構造にすることも可能である。
図9から図16は、グループアイコン25の他の表示例について説明する図である。以上においては、画像処理グループを構成する各画像処理ツールの画像処理アイコン23を重ね合わせて斜視図のように表示した構成のグループアイコン25を例示したが、これには限られず、他の画像処理アイコン23と区別できるものであれば種々の態様を採用することができる。例えば、図9に示されるように、グループアイコン25であることを強調する枠(以下、強調枠)で当該グループアイコン25を囲った表示とすることもできる。この場合、より分かりやすいように強調枠に色を付けるようにしてもよい。
また、例えば、図10及び図11に示されるように、画像処理グループを構成する画像処理ツールの数を示す数字をグループアイコン25に併記することにより、画像処理グループに係るグループアイコン25であることを示すと共に、当該画像処理グループを構成する画像処理ツールの数を示すようにすることもできる。図10の例では、グループアイコン25の本体よりも小さい小枠が当該グループアイコン25の右下の角部に重ねて表示され、当該小枠内に画像処理ツールの数を示す数字「5」が表記(併記)されている。図11の例では、グループアイコン25の本体の左上に外れた位置に小枠が設けられており、当該小枠内に画像処理ツールの数を示す数字「5」が表記されている。このように、グループアイコン25に画像処理ツールの数を示す数字を併記する構成では、画像処理ツールの各画像処理アイコン23を単に重ね合わせて表示する構成と比較して、画像処理グループを構成する画像処理ツールの数が多い場合においてもグループアイコン25の表示サイズが大きくなることが抑制される。
また、図12に示されるように、強調枠及び小枠の両方を組み合わせる構成を採用することも可能である。図12の例では、グループアイコン25の本体が白抜きの強調枠で囲まれると共に、当該グループアイコン25の本体の右下に外れた位置に小枠が設けられており、当該小枠内に画像処理ツールの数を示す数字「5」が表記されている。これにより、画像処理グループに対応するグループアイコン25であることをユーザーがより認識しやすくなる。なお、小枠の位置については、図10から図12で例示したものには限られず、隣り合う他の画像処理アイコン23等と干渉しない位置であれば任意の位置に表示することができる。また、画像処理ツールの数が認識できるものであればよいので、画像処理ツールの数を示す数字のみが表記されていればよく、必ずしも小枠は表示されなくてもよい。さらに、小枠の形状は四角形に限られず、円形等のように、数字を表記可能な種々の形状を採用することができる。
図13及び図14に示される例は、画像処理グループを構成する各画像処理ツールの各画像処理アイコン23を重ね合わせて表示した構成である。すなわち、図13に示されるグループアイコン25は、画像処理グループを構成する各画像処理ツールの各画像処理アイコン23を重ね合わせたものを斜め右から見たような構成となっている。また、図14に示されるグループアイコン25は、画像処理グループを構成する各画像処理ツールの各画像処理アイコン23を重ね合わせたものを斜め上方から見たような構成となっている。このように、画像処理ツールの各画像処理アイコン23を重ね合わせて表示した構成では、画像処理グループに係るグループアイコン25であることをユーザーがより直感的に認識することができる。
また、図15に示されるように、グループアイコン25を立体形状とすることもできる。この場合、画像処理グループを構成する画像処理ツールの数が分かりやすいように、立体形状とされたグループアイコン25の本体に画像処理ツールの数を示す数字を併記する構成を採用することが望ましい。また、例えば、図16に示されるように、通常の画像処理アイコン23とは全く異なる形状を採用することも可能である。図16に示されるグループアイコン25は、オペレーションシステム等で採用されているような所謂フォルダーアイコンに似た形状を有し、当該グループアイコン25本体に画像処理ツールの数を示す数字が併記された構成となっている。すなわち、図16に示されるグループアイコン25は、フォルダー内に画像処理グループを構成する画像処理ツールが含まれていることを示した形状となっている。このように、通常の画像処理アイコン23とは全く異なる形状とすることにより、画像処理グループに係るグループアイコン25であることをユーザーがより直感的に認識することができる。
次に、各種画像処理ツールの具体例について説明する。
図2に示される実施形態において、上記画像処理フローを構成する画像処理ツールのうち、先頭(画像処理フロー表示領域21における左端)の画像処理アイコン23aに対応する画像処理ツールは、例えば、画像入力手段13により入力されたワーク画像を二値化する二値化処理ツールである。二値化処理されたワーク画像は、記憶部12に記憶され、画像処理手段14によって適宜読みだされる。また、本実施形態においては、この二値化処理ツールの後に続いて、画像処理アイコン23a〜23fに対応する各画像処理ツールで構成される画像処理グループが実行される。以下においては、当該画像処理グループを構成する画像処理ツールについて説明する。
図2に示される実施形態において、上記画像処理フローを構成する画像処理ツールのうち、先頭(画像処理フロー表示領域21における左端)の画像処理アイコン23aに対応する画像処理ツールは、例えば、画像入力手段13により入力されたワーク画像を二値化する二値化処理ツールである。二値化処理されたワーク画像は、記憶部12に記憶され、画像処理手段14によって適宜読みだされる。また、本実施形態においては、この二値化処理ツールの後に続いて、画像処理アイコン23a〜23fに対応する各画像処理ツールで構成される画像処理グループが実行される。以下においては、当該画像処理グループを構成する画像処理ツールについて説明する。
図17は、画像処理ツールの一種であるパターンサーチツールの処理について説明する図(作業領域18における表示例)である。
本実施形態において、画像処理グループを構成する複数の画像処理ツールのうちの先頭(画像処理フロー表示領域21における左から2番目)の画像処理アイコン23bに対応する画像処理ツールは、ワーク画像に含まれる所定形状のワーク1を検出するパターンサーチツール(本発明におけるサーチツールに相当)である。図17の例では、ワーク1a〜1dの合計4種類のワーク1がワーク画像に含まれている。また、これらのワーク1のうちの一種であるワーク1aは、合計5個含まれている。そして、パターンサーチツールは、検査対象となるワーク1の基準画像に基づき、ワーク画像に含まれる複数のワーク1の中から当該基準画像のワークと形状が一致すると認められるワーク1を検出する。基準画像は、ワーク1の種類ごとに予め登録されている良否判定のための画像であり、記憶部12等に記憶されている。パターンサーチツールにおいて、ワーク画像から所定形状のワーク1が検出されると、図17に示されるように、検出されたワーク1に重ねて枠状の検出標示28が表示される。なお、検出標示28に関し、枠状に限られず、種々の標示を採用することができる。
本実施形態において、画像処理グループを構成する複数の画像処理ツールのうちの先頭(画像処理フロー表示領域21における左から2番目)の画像処理アイコン23bに対応する画像処理ツールは、ワーク画像に含まれる所定形状のワーク1を検出するパターンサーチツール(本発明におけるサーチツールに相当)である。図17の例では、ワーク1a〜1dの合計4種類のワーク1がワーク画像に含まれている。また、これらのワーク1のうちの一種であるワーク1aは、合計5個含まれている。そして、パターンサーチツールは、検査対象となるワーク1の基準画像に基づき、ワーク画像に含まれる複数のワーク1の中から当該基準画像のワークと形状が一致すると認められるワーク1を検出する。基準画像は、ワーク1の種類ごとに予め登録されている良否判定のための画像であり、記憶部12等に記憶されている。パターンサーチツールにおいて、ワーク画像から所定形状のワーク1が検出されると、図17に示されるように、検出されたワーク1に重ねて枠状の検出標示28が表示される。なお、検出標示28に関し、枠状に限られず、種々の標示を採用することができる。
このように、基準画像に基づき複数のワーク1が検出された場合、パターンサーチツールは、検出された各ワーク1に対し、例えば通し番号等からなるインデックスをそれぞれ割り振ることで、同一種類(同一形状)の複数のワーク1がそれぞれ識別されるようになっている。すなわち、例えば、ワーク画像に含まれる5個のワーク1aに対し、それぞれ1番〜5番の通し番号がインデックスとして付与される。なお、図17において、符号に添えられている()内に示される数字がインデックスである(以下、同様)。勿論、インデックスとしては、通し番号に限られず、複数のワーク1をそれぞれ識別することが可能なものであれば、例えばアルファベットや記号等の種々のインデックスを採用することができる。
また、パターンサーチツールでは、検出されたワーク1について、座標情報(絶対値または基準画像に対する相対値)、および基準画像と比較したときの角度情報が取得される。そして、パターンサーチツールでは、当該パターンサーチツールの後に続く画像処理ツールが行われる対象となる対象ワーク(代表オブジェクト)が、上記インデックスにより指定される。この対象ワークを指定するインデックス(以下、対象指定インデックス)は、初期値として例えば1に設定される。この対象指定インデックスは、後述するループツールにより値が変更されるようになっている。また、対象指定インデックスの初期値については、任意の値に変更することができる。
図18は、パターンサーチツールにおいて行われる位置ずれ補正について説明する図である。
基準画像では、基準となるワーク(以下、基準ワーク)に対して各画像処理ツールで検査を行うための領域(以下、検査領域)が予め設定されている。図18の例では、基準画像のワークと、これに対する検査領域を示す標示の一例として枠状の領域標示27′とが、それぞれ破線で示されている。ここで、パターンサーチツールによって検出されたワーク1は、基準ワークに対して座標や角度が異なる場合があるため、これに応じて検査領域も基準の検査領域からずれることになる(図18では、パターンサーチツールによって検出されたワーク1の例としてワーク1aが図示されている)。このため、パターンサーチツールでは、検出されたワーク1の個々の座標情報および角度情報に基づき、検査領域の位置ずれが補正される。図18においては、位置ずれが補正された領域標示27が、ワーク1aに重ねて表示されている。なお、ワーク1に設定される検査領域の位置や形状や個数等については画像処理ツールによってそれぞれ異なる。
基準画像では、基準となるワーク(以下、基準ワーク)に対して各画像処理ツールで検査を行うための領域(以下、検査領域)が予め設定されている。図18の例では、基準画像のワークと、これに対する検査領域を示す標示の一例として枠状の領域標示27′とが、それぞれ破線で示されている。ここで、パターンサーチツールによって検出されたワーク1は、基準ワークに対して座標や角度が異なる場合があるため、これに応じて検査領域も基準の検査領域からずれることになる(図18では、パターンサーチツールによって検出されたワーク1の例としてワーク1aが図示されている)。このため、パターンサーチツールでは、検出されたワーク1の個々の座標情報および角度情報に基づき、検査領域の位置ずれが補正される。図18においては、位置ずれが補正された領域標示27が、ワーク1aに重ねて表示されている。なお、ワーク1に設定される検査領域の位置や形状や個数等については画像処理ツールによってそれぞれ異なる。
本実施形態において、画像処理グループを構成する画像処理ツールのうち、上記パターンサーチの後に続く、画像処理アイコン23c〜23eに対応する各画像処理ツールは、周知の種々の検査・測定用の画像処理ツールが組み合わされたものである。具体的には、画像処理アイコン23c〜23eに対応する各画像処理ツールは、パターンサーチにより検出されたワーク1のうちの対象指定インデックスで指定される対象ワークについて、例えば、検査領域で指定された2点間の距離を計測する画像処理ツールや、傷、バリ、あるいは欠け等の欠陥を検出する画像処理ツール等である。これらの画像処理ツールは、並べられた順に(図2の例では、画像処理アイコン23の並設方向の左側から右側に向けて)順次実行されていく。組み合わせる画像処理ツールの種類や数は、画像処理フローを構成する画像処理ツールを順次登録する際にユーザーにより選択される。
ここで、従来ではこれらの画像処理ツールの組み合わせからなる画像処理フローやその中に含まれる画像処理グループに関し、検査対象となるワークが複数ある場合には、各ワークについてそれぞれ個別に画像処理フローや画像処理グループが作成されていた。このため、検査対象のワークの数が多いほど、画像処理フローや画像処理グループの作成作業の手間が増加するという問題があった。また、例えば画像処理フローや画像処理グループ内の一部の画像処理ツールについて設定を変更する等のように、一度作成した画像処理フローを編集する場合、各ワークの画像処理フローや画像処理グループのそれぞれについて編集作業を行わなければならないという問題があった。本発明に係る画像処理装置10では、複数の検査対象のワークについて、画像処理フローや画像処理グループを構成する画像処理ツールを同様に順次適用するループツールを備えることにより上記問題を解決している。
本実施形態において、画像処理グループを構成する画像処理ツールのうち、最後尾の画像処理アイコン23fに対応する画像処理ツールがループツールである。このループツールは、画像処理フロー又は画像処理グループを構成する各画像処理ツールの組み合わせを、複数の検査対象のワーク1について順次繰り返し実行させるループ処理を行う画像処理ツールである。ループツールでは、繰り返しの先頭となる画像処理ツールをループ先として指定することができる。本実施形態においては、画像処理グループの先頭のパターンサーチツールがループ先として指定されている。これにより、指定された画像処理ツールから、ループツールの1つ前の画像処理ツールまでの各画像処理ツールの組み合わせが繰り返し実行される(すなわち、ループ処理が行われる)。つまり、本実施形態における画像処理グループは、各ワークに対してループ処理をそれぞれ実行する画像処理ツールから構成されている。そして、この画像処理グループがグループアイコン25で表示されることにより、ループツールによりループ処理が行われる画像処理グループであることをユーザーがより認識しやすくすることができる。
上述したように、パターンサーチツールによって検出されたワーク1には、インデックスがそれぞれ割り振られるので、ループツールは、ループ処理が繰り返される毎に対象指定インデックスの値を変えるように構成されている。すなわち、ループツールは、対象指定インデックスの値を、例えば初期値から1ずつ加算していく。これにより、ループツールによりループ処理が繰り返される毎に対象ワークが順次変わり、複数のワーク1に対してそれぞれ画像処理グループの各画像処理ツールが順次同様に適用されることになる。そして、パターンサーチツールにより検出されたワーク1の検出数に対応する回数だけループ処理が繰り返される。このように、ワーク1の検出数に対応する回数だけループ処理が自動的に実行されるので、ループ処理の実行回数(以下、ループ回数)についてユーザーによる設定作業が不要となる。なお、ループ回数については、後述するように設定を変更することが可能である。また、ループツールは、ループ処理における各画像処理ツールの結果をワーク1毎に対応付けて記憶部12等に保存する機能を有する。これにより、ループツールによりループ処理が繰り返される際に、各ワーク1の検査・測定の結果が上書きされることなく取得・保存される。
上記のループツールによるループ回数に関し、自動設定またはユーザーによる設定の何れかを選択することも可能となっている。これにより、ループ回数について、検査用途等に応じてより適した設定を選択することができる。ループ回数は、上記の対象指定インデックスの最大値によって規定される。ループ回数について自動設定が選択された場合、対象指定インデックスの値が最大となるまでループ処理が自動的に繰り返される。なお、この自動設定に関し、ユーザーは、パターンサーチツールによるワーク1の検出数の最大値(最大検出数)を設定することができる。この最大検出数が設定された場合において、パターンサーチツールの検出数が最大検出数を超えたときには、当該超えた分のワーク1については検出されなかったものとして扱われる。また、最大検出数が設定された場合において、パターンサーチツールの検出数が最大検出数に満たないときには、当該検出数が最大検出数として扱われる(最大検出数が変更される)。そして、ループ回数について自動設定が選択された場合、対象指定インデックスの最大値は、上記の最大検出数に自動的に設定される。例えば、ワーク画像に同種のワーク1が100個含まれる場合において、パターンサーチツールによる最大検出数を50個に設定することもできる。これにより、対象指定インデックスの最大値が50に設定され、検出されたワーク1に対して対象指定インデックスが最大値である50となるまでループ処理が繰り返される。また、最大検出数を特定しないようにすることもできる。これにより、上記のようにパターンサーチツールよって検出されたワーク1の検出数が100個の場合には、対象指定インデックスの最大値が検出数に対応する100に設定され、検出されたワーク1に対して対象指定インデックスが最大値である100となるまでループ処理が繰り返される。
また、ユーザーによる設定の場合、ユーザーは、ループ回数を所望とする回数に設定することができる。ユーザーによりループ回数が設定されると、対象指定インデックスの最大値が、当該設定されたループ回数に対応する値に設定される。なお、ユーザーにより設定されたループ回数がパターンサーチツールによる検出数を上回った場合には、対象指定インデックスの最大値は、上記の検出数に自動的に調整される。この場合、ユーザーに対してその旨を報知して確認させる表示が行われるようにしてもよい。
以下、図19〜図22を参照しつつ、ループ処理について説明する。なお、以下においては、上記の最大検出数およびループ回数の設定は無いものとして説明する。
画像処理フローが開始されると、まず、パターンサーチツールにより、ワーク画像から基準画像に基づく形状のワーク1が検出され、検出標示28が各ワークに重ねて表示される。図19に示される例では、合計4つのワーク1a(1)〜1a(4)が検出され、それぞれに枠状の検出標示28a〜28dが表示されている。上述したように、パターンサーチツールにより検出されたワーク1には、それぞれ個別のインデックスが付与される。すなわち、図19の例では、検出されたワーク1a(1)〜1a(4)には、通し番号1〜4からなるインデックスが付与されている。ここで、本実施形態において、対象指定インデックスは初期値として1が設定されている。図19に示されるように、この対象指定インデックスに対応する(1)が割り振られたワーク1a(1)の検出標示28aのみが太枠で示されている。また、パターンサーチツールでは、上述したように、検出されたワーク1の個々の座標情報および角度情報に基づき、検査領域の位置ずれがそれぞれ補正される。
画像処理フローが開始されると、まず、パターンサーチツールにより、ワーク画像から基準画像に基づく形状のワーク1が検出され、検出標示28が各ワークに重ねて表示される。図19に示される例では、合計4つのワーク1a(1)〜1a(4)が検出され、それぞれに枠状の検出標示28a〜28dが表示されている。上述したように、パターンサーチツールにより検出されたワーク1には、それぞれ個別のインデックスが付与される。すなわち、図19の例では、検出されたワーク1a(1)〜1a(4)には、通し番号1〜4からなるインデックスが付与されている。ここで、本実施形態において、対象指定インデックスは初期値として1が設定されている。図19に示されるように、この対象指定インデックスに対応する(1)が割り振られたワーク1a(1)の検出標示28aのみが太枠で示されている。また、パターンサーチツールでは、上述したように、検出されたワーク1の個々の座標情報および角度情報に基づき、検査領域の位置ずれがそれぞれ補正される。
続いて、対象指定インデックスに対応するワーク1(ワーク1a(1))について、画像処理フローにおけるパターンサーチツールの後に続く画像処理ツールの組み合わせが順次実行される。例えば、図20に示されるように、領域標示27で指定された2点間の距離を計測する画像処理ツール等の各種画像処理が順次実行される。図20の例では、一対の領域標示27xで特定される2点間の距離、および、一対の領域標示27yで特定される2点間の距離がそれぞれ測定され、各々の測定結果が取得される。上述したように、各画像処理ツールで取得された測定・検査結果の情報は、例えばワーク1のインデックスに対応付けられて記憶部12等に保存される。
ループツールの1つ前まで画像処理ツールが実行された後、続いてループツールが実行されることにより、繰り返しの先頭となる画像処理ツールとして指定されているパターンサーチツールに戻り、以降の処理が繰り返される。この際、ループツールにより対象指定インデックスの値が変更される。すなわち、現状設定されている対象指定インデックスの値(1)に1が加算されて、当該対象指定インデックスの値が(2)に更新される。そして、画像処理フローの先頭に戻り、パターンサーチツールにより、ワーク画像から基準画像に基づく形状のワーク1が検出される。そして、ループツールにより対象指定インデックスが変更されているので、図21に示されるように、変更された対象指定インデックスに対応する(2)が割り振られたワーク1a(2)の検出標示28bのみが太枠で示される。また、検出されたワーク1の個々の座標情報および角度情報に基づき、検査領域の位置ずれがそれぞれ補正される。そして、対象指定インデックスが(1)で指定されるワーク1a(1)の場合と同様に、新たに対象指定インデックス(2)により指定されるワーク1a(2)について、図22に示されるように、パターンサーチツールの後に続く各種の画像処理ツールの組み合わせが順次実行される。そして、ループツールが実行される毎に、対象指定インデックスが変更され、残りのワーク1a(3),1a(4)についても同様にして、画像処理フローを構成している画像処理ツールの組み合わせが順次実行される(すなわち、ループ処理が実行される)。
以上のように、本発明に係る画像処理装置10では、複数の検査対象のワーク1について、画像処理フローやこれに含まれる画像処理グループを構成する画像処理ツールを同様に順次適用するループツールを備えることにより、各ワーク1についてそれぞれ画像処理フローや画像処理グループを個別に作成する必要がなく、画像処理フロー等の作成作業がより容易となる。また、例えば画像処理フローや画像処理グループ内の一部の画像処理ツールについて設定等を変更する等のように、一度作成した画像処理フロー等を編集する場合においても、1つの画像処理フローや画像処理グループについて編集を行えば、当該編集後の画像処理フローや画像処理グループによるループ処理が各ワーク1について同様に適用されることになる。その結果、ユーザーにとって作業の負担が軽減され、メンテナンス性が向上する。
次に、本発明の他の実施形態について説明する。
図23は、本発明の第2の実施形態について説明する図である。
本実施形態においては、ワーク画像に対してパターンサーチツールにより検出されるワーク1の数がより多くなっている。この場合、パターンサーチツールにより検出されたワーク1の全てについてループ処理が同様に適用されると、その分、多くの時間を要することになる。このため、ループツールでは、パターンサーチツールにより検出された複数のワーク1のうちの一部のワーク1に対して選択的にループ処理を適用するモードに設定することができる。より具体的には、上記の対象指定インデックスの値の更新時の加算値を1よりも大きい値に設定することにより、検出されたワーク1の中から一定の個数間隔で検査対象のワーク1が選択されてループ処理が適用されるようになっている。例えば、図23に示される例のように、パターンサーチツールにより合計17個のワーク1a(1)〜1a(17)が検出された場合(基準画像と一致しないワーク1bについては非検出)において、対象指定インデックスの初期値が「1」、尚且つ、ループツールによる対象指定インデックスの値の更新時の加算値が「2」に設定されているときには、インデックス(1)が付与されたワーク1から順に1つ置きに(1個間隔で)奇数番号のインデックスが付与されたワーク1aに対してループ処理が順次適用される。同様に、対象指定インデックスの初期値が「2」、尚且つ、ループツールによる対象指定インデックスの値の更新時の加算値が「2」に設定されているときには、インデックス(2)が付与されたワーク1から順に1つ置きに(1個間隔で)偶数番号のインデックスが付与されたワーク1aに対してループ処理が順次適用される。さらに、パターンサーチツールによるワーク1の検出数がより多い場合には、ループツールによる対象指定インデックスの値の更新時の加算値を例えば「4」等のように任意に設定することができる。この場合、3つ間隔でワーク1aに対してループ処理が順次適用される。これにより、パターンサーチツールにより検出されるワーク1の数がより多い場合においても、所謂抜き取り検査のように検出されたワーク1のうちの一部のワーク1のみにループ処理を適用することができるので、その分、処理時間を削減することが可能となる。また、本実施形態においては、検出されたワークの中から一定の個数間隔で検査対象のワークの選択を行うので、より簡単な設定で抜き取り検査を行うことが可能となる。なお、その他の構成については、上記第1の実施形態と同様である。
図23は、本発明の第2の実施形態について説明する図である。
本実施形態においては、ワーク画像に対してパターンサーチツールにより検出されるワーク1の数がより多くなっている。この場合、パターンサーチツールにより検出されたワーク1の全てについてループ処理が同様に適用されると、その分、多くの時間を要することになる。このため、ループツールでは、パターンサーチツールにより検出された複数のワーク1のうちの一部のワーク1に対して選択的にループ処理を適用するモードに設定することができる。より具体的には、上記の対象指定インデックスの値の更新時の加算値を1よりも大きい値に設定することにより、検出されたワーク1の中から一定の個数間隔で検査対象のワーク1が選択されてループ処理が適用されるようになっている。例えば、図23に示される例のように、パターンサーチツールにより合計17個のワーク1a(1)〜1a(17)が検出された場合(基準画像と一致しないワーク1bについては非検出)において、対象指定インデックスの初期値が「1」、尚且つ、ループツールによる対象指定インデックスの値の更新時の加算値が「2」に設定されているときには、インデックス(1)が付与されたワーク1から順に1つ置きに(1個間隔で)奇数番号のインデックスが付与されたワーク1aに対してループ処理が順次適用される。同様に、対象指定インデックスの初期値が「2」、尚且つ、ループツールによる対象指定インデックスの値の更新時の加算値が「2」に設定されているときには、インデックス(2)が付与されたワーク1から順に1つ置きに(1個間隔で)偶数番号のインデックスが付与されたワーク1aに対してループ処理が順次適用される。さらに、パターンサーチツールによるワーク1の検出数がより多い場合には、ループツールによる対象指定インデックスの値の更新時の加算値を例えば「4」等のように任意に設定することができる。この場合、3つ間隔でワーク1aに対してループ処理が順次適用される。これにより、パターンサーチツールにより検出されるワーク1の数がより多い場合においても、所謂抜き取り検査のように検出されたワーク1のうちの一部のワーク1のみにループ処理を適用することができるので、その分、処理時間を削減することが可能となる。また、本実施形態においては、検出されたワークの中から一定の個数間隔で検査対象のワークの選択を行うので、より簡単な設定で抜き取り検査を行うことが可能となる。なお、その他の構成については、上記第1の実施形態と同様である。
図24は、本発明に係る第3の実施形態について説明する図である。
本実施形態においては、ワーク画像についてパターンサーチツールにより検出されるワーク1の数が多数である場合において、検出されたワーク1のうちの一部のワーク1のみに画像処理フローを適用する点で上記第2の実施形態と共通している。一方で、検出された位置(座標)に基づくワーク1の形状・寸法等のばらつきの特性を考慮して、ワーク画像について検査対象とするワーク1を特定するための選択エリアが分散して複数設定され、当該選択エリアに含まれるワーク1が検査対象とされる点で第2の実施形態と異なっている。図24の例では、シリコンウェハー(シリコン単結晶基板)30から複数の部品が個々に切り出される構成において、当該シリコンウェハー30に部品となる領域(以下、部品領域)が、同図において破線で示される縦横の切断予定線によって複数区画されている。本実施形態における画像処理装置10では、シリコンウェハー30に区画された部品領域がそれぞれワーク1として検査対象とされる。シリコンウェハー30の外周の一部には、当該シリコンウェハー30の所定の面方位を示すオリエンテーションフラット(以下、オリフラ)OFが形成されている。また、切断予定線は、部品領域(ワーク1)の外縁に沿って形成された複数の凹部、貫通孔、あるいは溝等のような、シリコンウェハー30の切断・分割のきっかけとなる脆弱部である。
本実施形態においては、ワーク画像についてパターンサーチツールにより検出されるワーク1の数が多数である場合において、検出されたワーク1のうちの一部のワーク1のみに画像処理フローを適用する点で上記第2の実施形態と共通している。一方で、検出された位置(座標)に基づくワーク1の形状・寸法等のばらつきの特性を考慮して、ワーク画像について検査対象とするワーク1を特定するための選択エリアが分散して複数設定され、当該選択エリアに含まれるワーク1が検査対象とされる点で第2の実施形態と異なっている。図24の例では、シリコンウェハー(シリコン単結晶基板)30から複数の部品が個々に切り出される構成において、当該シリコンウェハー30に部品となる領域(以下、部品領域)が、同図において破線で示される縦横の切断予定線によって複数区画されている。本実施形態における画像処理装置10では、シリコンウェハー30に区画された部品領域がそれぞれワーク1として検査対象とされる。シリコンウェハー30の外周の一部には、当該シリコンウェハー30の所定の面方位を示すオリエンテーションフラット(以下、オリフラ)OFが形成されている。また、切断予定線は、部品領域(ワーク1)の外縁に沿って形成された複数の凹部、貫通孔、あるいは溝等のような、シリコンウェハー30の切断・分割のきっかけとなる脆弱部である。
このように、シリコンウェハー30に複数のワーク1としての部品領域が設定される構成では、当該シリコンウェハー30における位置によって特性が変わる場合がある。例えば、シリコンウェハー30のより端部(より外周側)に位置するワーク1と、シリコンウェハー30のより中央部に位置するワーク1とでは、形状や寸法等が微妙に異なる場合がある。このため、本実施形態におけるループツールでは、検出された位置に基づくワーク1の形状や特性等のばらつきを考慮した検査モードを選択することが可能となっている。この検査モードでは、図24に示されるように、パターンサーチツールにより検出された複数のワーク1の位置(座標)に基づき複数の選択エリア31が分散して設定される。この選択エリア31が設定される位置や数は、パターンサーチツールにより検出されるワーク1の数や分布に応じて、できるだけ偏りないように設定される。そして、選択エリア31の範囲に全体が含まれるワーク1(図24中、ハッチングで示されるワーク1)が、画像処理フローを適用する検査対象として選択される。この場合、ループツールによりループ処理が繰り返される毎に、選択エリア31により選択された各ワーク1のインデックスを順次指定するように対象指定インデックスが更新される。本実施形態の構成によれば、ワーク1の位置に基づく形状や寸法等のばらつきを考慮してより偏りなくワーク1の抜き取り検査を行うことが可能となる。なお、その他の構成については、上記第1の実施形態と同様である。
図25は、本発明に係る第4の実施形態について説明する図である。なお、同図において、上段が作業領域18における画像であり、下段がアイコン表示領域に表示された画像処理アイコン23である。
本実施形態は、画像処理フローや画像処理グループに複数のループツールが設けられている点で上記各実施形態と異なっている。本実施形態においては、図25に例示されているように、パターンサーチツールにより検出されたワーク1が、検査対象となる部位を複数有している。すなわち、図25の例では、歯車からなるワーク1が、検査対象部位として複数(例えば11本)の歯33を有しており、これらの歯33についてそれぞれ画像処理ツールによる欠陥検出等を順次同様に行うことが考えられる。本実施形態において、画像処理フローやや画像処理グループを構成する画像処理ツールのうち、先頭の画像処理アイコン23aに対応する画像処理ツールは、上述したようにワーク画像に含まれる所定形状のワーク1を検出するパターンサーチツールであり、その次の画像処理アイコン23bに対応する画像処理ツールは、パターンサーチツールにより検出されたワーク1について、検査対象部位を検出するパーツサーチツールである。その後に続く画像処理アイコン23cおよび23dに対応する画像処理ツールは、例えば欠陥検出等を行う画像処理ツールである。
本実施形態は、画像処理フローや画像処理グループに複数のループツールが設けられている点で上記各実施形態と異なっている。本実施形態においては、図25に例示されているように、パターンサーチツールにより検出されたワーク1が、検査対象となる部位を複数有している。すなわち、図25の例では、歯車からなるワーク1が、検査対象部位として複数(例えば11本)の歯33を有しており、これらの歯33についてそれぞれ画像処理ツールによる欠陥検出等を順次同様に行うことが考えられる。本実施形態において、画像処理フローやや画像処理グループを構成する画像処理ツールのうち、先頭の画像処理アイコン23aに対応する画像処理ツールは、上述したようにワーク画像に含まれる所定形状のワーク1を検出するパターンサーチツールであり、その次の画像処理アイコン23bに対応する画像処理ツールは、パターンサーチツールにより検出されたワーク1について、検査対象部位を検出するパーツサーチツールである。その後に続く画像処理アイコン23cおよび23dに対応する画像処理ツールは、例えば欠陥検出等を行う画像処理ツールである。
本実施形態において、画像処理アイコン23eおよび23fに対応する画像処理ツールは、いずれもループツールである。このうち、画像処理アイコン23fに対応するループツールは、第1のループツールとして機能し、本実施形態においては、先頭のパターンサーチツールがループ先として指定されている。これにより、パターンサーチツールから、第1のループツールの1つ前の画像処理ツール(本実施形態では、以下の第2のループツール)までの各画像処理ツールが繰り返し実行される。以下、このループをメインループ(本発明における第1のループ処理に相当)と称する。また、画像処理アイコン23eに対応するループツールは、第2のループツールとして機能し、本実施形態においては、パーツサーチツールがループ先として指定されている。これにより、パーツサーチツールから、第2のループツールの1つ前の画像処理ツールまでの各画像処理ツールが繰り返し実行される。以下、このループをサブループ(本発明における第2のループ処理に相当)と称する。
パーツサーチツールは、対象指定インデックスで指定されているワーク1について、基準画像の検査対象部位と形状が一致すると判定した検査対象部位を検出し、検出された検査対象部位にそれぞれ個別のインデックスを付与する。図25の例では、対象指定インデックスで指定されているワーク1b(1)についての検査対象部位として検出された複数の歯33にそれぞれ1番〜11番の通し番号がインデックスとして付与されている。そして、第2のループツールは、サブループが繰り返される毎に検査対象部位を指定する部位指定インデックスの値を変えるように構成されている。すなわち、第2のループツールは、部位指定インデックスの値を例えば初期値から1ずつ加算していく。これにより、第2のループツールによりサブループが繰り返される毎に部位指定インデックスで指定される検査対象部位が順次変わり、複数の検査対象部位に対してそれぞれサブループ内の画像処理ツールの組み合わせが順次同様に適用されることになる。そして、部位指定インデックスの値がパーツサーチツールによる検出数に対応する値となるまでサブループが繰り返される。勿論、本実施形態においても、パーツサーチツールにより検出された複数の検査対象部位のうちの一部にサブループを適用するモードを選択できるようにしてもよい。そして、対象指定インデックスで指定されているワーク1について各検査対象部位に対する検査が行われてサブループから抜けた後、第1のループツールによりメインループが実行されることにより、パターンサーチツールにより検出された他のワーク1についても同様にして画像処理ツールが順次実行される。すなわち、第1のループツールにより実行されるメインループ(第1のループ処理)は、第2のループツールにより実行されるサブループ(第2のループ処理)を包含する。本実施形態の構成によれば、画像処理フローや画像処理グループ内に第2のループツールを追加するという簡単な作業でワーク1が有する複数の部位の検査が可能となる。なお、本実施形態においては、画像処理フロー等に第1のループツールと第2のループツールの2つのループツールが設けられた例を示したが、これには限られず、ワーク1が複数種類の検査対象部位を有する場合には、それに応じて3つ以上のループツールを設けてもよい。すなわち、メインループが複数のサブループを包含してもよい。この場合、各サブループがそれぞれ独立したループ処理を行ってもよいし、サブループ内に他のサブループが包含されてもよい。その他の構成については上記第1の実施形態と同様である。
なお、本発明は、上記した実施形態に限定されるものではなく、特許請求の範囲の記載に基づいて種々の変形が可能である。要するに、ワークを撮影して得られた撮影画像(ワーク画像)に対して種々の画像処理ツールにより画像処理を行う構成であって、複数のワークに対して画像処理フローを構成する画像処理ツールをそれぞれ実行するものであれば、種々の画像処理装置に適用することが可能である。
1…ワーク,2…XYステージ,3…撮影装置,6…コンピューター,7…表示装置,8…入力装置,10…画像処理装置,11…演算部,12…記憶部,13…画像入力手段,14…画像処理手段,17…ユーザーインターフェース,18…作業領域,19…設定領域,20…強調処理領域,21…アイコン表示領域,22…スクロールバー,23…画像処理アイコン,24…グループ標示,25…グループアイコン,26…スクロールバー,27…領域標示,28…検出標示,30…シリコンウェハー,31…選択エリア,33…歯
Claims (15)
- 複数のワークが含まれたワーク画像に対して、複数の画像処理ツールが組み合わされた画像処理フローに基づいて画像処理を実行する画像処理装置であって、
前記画像処理フローは、前記ワーク画像に含まれる複数のワークのそれぞれに対して、画像処理ツールの組み合わせを順次適用するループ処理を行うループツールを有することを特徴とする画像処理装置。 - 前記画像処理フローは、ワーク画像に含まれる所定のワークを検出するサーチツールを画像処理ツールとして含み、
前記ループツールは、前記サーチツールによるワークの検出数に対応する回数だけ前記ループ処理を行うことを特徴とする請求項1に記載の画像処理装置。 - 前記ループツールによる前記ループ処理の実行回数は、ユーザーにより設定されることを特徴とする請求項1に記載の画像処理装置。
- 前記画像処理フローは、ワーク画像に含まれる所定のワークを検出するサーチツールを画像処理ツールとして含み、
前記ループツールによる前記ループ処理の実行回数について、前記サーチツールで検出されたワークの検出数に基づく自動設定、または、ユーザーによる設定の何れかを選択可能であることを特徴とする請求項1に記載の画像処理装置。 - 前記画像処理フローは、ワーク画像に含まれる所定のワークを検出するサーチツールを画像処理ツールとして含み、
前記ループツールは、前記サーチツールにより検出されたワークの中から一部のワークに対して選択的に前記ループ処理を行うモードを有することを特徴とする請求項1に記載の画像処理装置。 - 前記ループツールは、前記サーチツールにより検出されたワークの中から一定の個数間隔で検査対象のワークの選択を行うことを特徴とする請求項5に記載の画像処理装置。
- 前記ループツールは、前記サーチツールにより検出されたワークの中から検査対象とするワークを選択するための選択エリアを前記ワーク画像に分散させて設定し、当該選択エリア内に含まれるワークを検査対象のワークとして選択することを特徴とする請求項5に記載の画像処理装置。
- 前記画像処理フローは、第1のループツールと第2のループツールを有し、
前記第1のループツールにより実行される第1のループ処理は、前記第2のループツールにより実行される第2のループ処理を包含することを特徴とする請求項1から請求項7の何れか一項に記載の画像処理装置。 - 画像処理ツールに対応する画像処理アイコンを表示装置に表示させるアイコン表示手段を有し、
前記アイコン表示手段は、複数の画像処理ツールの組み合わせから構成される画像処理グループに対応するグループアイコンを前記表示装置に表示させることが可能に構成されたことを特徴とする請求項1から請求項8の何れか一項に記載の画像処理装置。 - 前記アイコン表示手段は、前記ループツール及び当該ループツールにより前記ループ処理が行われる複数の画像処理ツールを含む前記画像処理グループに対応する前記グループアイコンを表示させることが可能に構成されたことを特徴とする請求項9に記載の画像処理装置。
- 前記アイコン表示手段は、前記画像処理グループに対応する前記グループアイコンを表示させるまとめ表示状態と、当該画像処理グループに含まれる各画像処理ツールに対応する各画像処理アイコンを並べて表示させる展開表示状態と、に切り替えることが可能に構成されたことを特徴とする請求項9又は請求項10に記載の画像処理装置。
- 前記アイコン表示手段は、前記まとめ表示状態において、当該グループアイコンの静止画を表示させる静止画表示状態と、前記画像処理グループに含まれる画像処理ツールに対応する画像処理アイコンを前記静止画に替えて順次表示する動画表示状態と、に切り替えることが可能に構成されたことを特徴とする請求項11に記載の画像処理装置。
- 前記アイコン表示手段は、前記動画表示状態において、前記画像処理グループに含まれる画像処理ツールのうちの一部に対応する画像処理アイコンを選択して表示させることが可能に構成されたことを特徴とする請求項12に記載の画像処理装置。
- 前記画像処理グループを編集する編集モードを有し、
前記編集モードは、前記画像処理アイコンを追加または削除することにより、前記画像処理グループを編集することが可能に構成されたことを特徴とする請求項9から請求項13の何れか一項に記載の画像処理装置。 - 前記編集モードは、編集された前記画像処理グループを前記画像処理ツールの一つとして登録することが可能に構成されたことを特徴とする請求項14に記載の画像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017029698 | 2017-02-21 | ||
JP2017029698 | 2017-02-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018136913A true JP2018136913A (ja) | 2018-08-30 |
Family
ID=63367014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017160011A Pending JP2018136913A (ja) | 2017-02-21 | 2017-08-23 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018136913A (ja) |
-
2017
- 2017-08-23 JP JP2017160011A patent/JP2018136913A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7394926B2 (en) | Magnified machine vision user interface | |
US11520472B2 (en) | Inspection program editing environment including integrated alignment program planning and editing features | |
JP4629118B2 (ja) | 欠陥検査装置およびこの欠陥検査装置に用いるパラメータ調整方法。 | |
US20190137409A1 (en) | Information processing apparatus, information processing method and program | |
JP5953842B2 (ja) | 画像検査方法および検査領域設定方法 | |
TWI752317B (zh) | 顯示裝置之顯示方法 | |
JP6355411B2 (ja) | エッジ検出方法 | |
JP4641924B2 (ja) | 半導体検査装置及び半導体検査方法 | |
JP2014093094A (ja) | 自動パラメータ設定選択肢を含むエッジ測定ビデオツール及びインタフェース | |
JP4668059B2 (ja) | 目視検査支援装置、目視検査支援プログラムおよびそのプログラムを記録した記録媒体 | |
JP2011222636A (ja) | 検査装置,検査方法、及び欠陥座標補正方法 | |
US9972079B2 (en) | Wafer appearance inspection apparatus | |
CN105277175B (zh) | 图像测量设备及显示测量结果的方法 | |
TWI615768B (zh) | 檢測設備之操作方法 | |
US10986761B2 (en) | Board inspecting apparatus and board inspecting method using the same | |
US20220335585A1 (en) | Set up of a visual inspection process | |
JP4929133B2 (ja) | 検査支援システム | |
JP2007103645A (ja) | パターン検査方法 | |
JP2018136913A (ja) | 画像処理装置 | |
AU2013350323A1 (en) | Method for detection of faults on circuit boards | |
JP2018091771A (ja) | 検査方法、事前画像選別装置及び検査システム | |
JP6293453B2 (ja) | エッジ測定ビデオツールパラメータ設定ユーザインタフェース | |
JP2009224476A (ja) | 欠陥関連性表示装置、基板検査装置、および欠陥関連性表示方法 | |
JP2006300935A (ja) | Xyzステージの側方片寄りを決定するための方法 | |
JP7207948B2 (ja) | 外観検査方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20180910 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190402 |