JP7257750B2 - 光検査システム用支援装置 - Google Patents

Description

本発明は、製品等のワークに光を照射してこれを撮像し、その画像処理によってワークの表面等に係る検査を自動で行う光検査システムに用いられる支援装置（光検査システム用支援装置）に関するものである。

この種の光検査システムにおいては、例えば検査対象となるワークに対し、その表面傷などが可及的明瞭となるような光を照射し、その照明条件下で撮像したワークの画像データを処理して、ワークの良否等を自動判定するようにしてある。

また、近年では、特許文献１に示すように、その自動判定部分において、ＡＩなどの機械学習が用いられるようになってきている。ＡＩ等によれば、自動判定ができず、人間の目視検査に頼らざるを得ないものにも適用できるとか、自動判定ではどうしても安全サイドに偏り、目視であれば合格品が不合格品となって歩留まりを上げられないなどといった不具合を解決できると期待されている。

特開２０１８－０４０７９２号公報

ところで、ＡＩ等の機械学習において、その判定精度を向上させるには、照明条件をできるだけ最適化しなければならないし、その最適化された照明条件下でのできるだけ多くの学習が必要となる。

しかしながら、例えば、既存の光検査システムに、このような機械学習機能を導入しようとした場合、学習させる期間が必要であるから、その期間中は、一時的にせよ、光検査システムを停止しなければならない。また、機械学習に適した照明条件の設定に手間取るなどして停止期間が長期間に亘る恐れもある。

さらにいえば、新たな光検査システムを構築する場合であっても、光検査システムの構築後、照明条件を合わせ、機械学習させなければならないので、システムの稼働までに時間がかかることが予想される。

本発明は、上記問題点に鑑みなされたものであって、光検査システムにおける照明の最適化と学習を、光検査システムそのものを使用することなく、これとは別に、かつ簡便に行うことができるようにすることをその主たる所期課題とするものである。

すなわち本発明にかかる光検査システム用支援装置は、所定の照明条件で照明されたワークを撮像し、この撮像によって得られたワークの画像データを、所定の検査アルゴリズムにしたがって検査し、その検査結果を出力する光検査システムに利用されるものである。

そして、検査結果が既知である既知ワークを交換可能に支持するワーク支持機構と、既知ワークに検査光を照射する光照射装置と、前記所定の照明条件となるように、前記光照射装置を支持する光照射装置支持機構と、前記光照射装置によって照明された前記既知ワークを撮像する撮像装置と、前記既知ワークの検査結果を入力する入力装置と、前記撮像装置によって撮像された既知ワークの画像データを、前記入力装置で入力された検査結果に紐づけて格納する画像格納部とを備えていることを特徴とする。

このようなものであれば、光検査システムを用いることなく、それと同等の照明条件下、既知ワークを種々交換して撮像することにより、検査アルゴリズムを学習するための画像データを蓄積することができる。このことにより、光検査システムへの機械学習機能の導入を短時間に、かつ簡便にできるようになる。

また、例えば画像データからの学習結果をみて、学習のためのよりよい照明条件を探索することもでき、これを光検査システムにフィードバックして、その照明条件を改善することも可能になる。

前記照明条件を種々実現できるようにするには、前記光照射装置支持機構が、光照射装置を交換可能、かつ、姿勢変更及び／又は位置変更可能に支持するものであり、光照射装置の姿勢及び／又は位置の設定によって、前記所定の照明条件が実現されるように構成してあるものが好ましい。

ワークの位置や姿勢も変更可能にして、前記照明条件の設定自由度を上げるには、前記ワーク支持機構が、前記既知ワークを姿勢変更及び／又は位置変更可能に支持するものであることが望ましい。

同様の理由から、前記撮像装置を、姿勢変更及び／又は位置変更可能に支持する撮像装置支持機構をさらに備えているものであれば、なお好ましい。

光照射装置や撮像装置の相対的な位置及び／又は姿勢の設定精度や再現性を担保するには、枠材を組み合わせてなる枠構造体をさらに備え、該枠構造体によって光照射装置及び撮像装置が支持されているものが好適である。

光検査システムでの検査アルゴリズムを予め確定させるには、前記画像格納部に格納されている既知ワークの画像データとその検査結果とに基づいて、前記検査アルゴリズムを学習によって取得する学習部をさらに備えているものが望ましい。

このように構成した本発明によれば、光検査システムを用いることなく、それと同等の照明条件下、既知ワークを種々交換して撮像することにより、検査アルゴリズムを学習するための画像データを蓄積することができる。このことにより、光検査システムへの機械学習機能の導入を短時間に、かつ簡便にできるようになる。

本発明の一実施形態における光検査システムを示す模式図。 同実施形態における光検査システム用支援装置を示す模式図。

以下に本発明の一実施形態について図面を参照して説明する。

本実施形態に係る光検査システム用支援装置１００は、工場等において製造される製品Ｗ（以下、ワークＷともいう。）を撮像し、この撮像によって得られたワーク画像データを、所定の検査アルゴリズムにしたがって検査し、その検査結果を出力する光検査システム２００（図１参照）に利用されるものである。
そこで、まずは、光検査システム１００について簡単に説明する。

＜光検査システムの説明＞
この光検査システムは、図１に示すように、工場等において製造されるワークＷを例えばインラインで次々表面検査するものであって、ワークＷを搬送する搬送装置２０３上に設けられて該ワークＷに検査光を照射する照明装置２０１と、該照明装置２０１によって照明されているワークＷを撮像する撮像装置２０２と、該撮像装置２０２で撮像されたワークＷの画像データに基づいてそのワークＷを検査し、その検査結果を出力する情報処理装置２０６とを備えている。

前記照明装置２０１はＬＥＤを光源とするものである。なお、その明るさ（光強度）や照明タイミングは、同図に示す照明装置コントローラ２０５から出力される照明指令信号によって制御される。

前記撮像装置２０２は、ラインセンサを用いたものも考えられるが、ここでは例えばエリアセンサを用いたものであり、撮像によってワークＷの二次元画像データを得ることができる。なお、その撮像タイミングやシャッタスピード、絞りなどは、同図に示す撮像装置コントローラ２０４から出力される撮像指令信号によって制御される。

この実施形態では、照明装置コントローラ２０５と撮像装置コントローラ２０４とがローカル通信を行って、撮像タイミングと照明タイミングとが同期するように構成してある。

前記情報処理装置２０６は、撮像装置２０２で撮像されたワークＷの画像データに所定の処理（例えば二値化など）を施す画像処理部２６１と、該画像処理部２６１によって処理が施された処理後の画像データを所定の項目に照らして検査し、その結果（例えばワークＷが合格か不合格かなど）を出力する判定部２６２とを備えたものである。この判定部２６２による検査は、所定の検査アルゴリズムにしたがって行われる。この検査アルゴリズムは、例えば機械学習によって得られたものであり、メモリの所定領域に設定されたアルゴリズム格納部２６３に格納されている。

なお、画像処理部２６１は存在せず、撮像装置２０２から送られてきた原画像データに基づいて判定部２６２が検査する場合もある。

＜光検査システム用支援装置の説明＞
次に、光検査システム用支援装置１００について説明する。

このものは、図２に示すように、筐体１と、この筐体１内に設けられたワーク支持機構２、光照射装置３、光照射装置支持機構４、撮像装置５及び撮像装置支持機構６と、筐体１外に設けられた光照射装置コントローラ７、撮像装置コントローラ８、入力装置１０及び情報処理装置９とを備えたものである。
これら各部について、以下順に説明する。

前記筐体１は、直方体状をなすものであり、枠材を組み合わせてなる枠構造体１１と、この枠構造体１１の外周に貼設されて外部の光を遮断する外壁１２とを有したものである。

前記ワーク支持機構２は、ここでは、水平板状の固定ステージ２１を備えたものであり、この固定ステージ２１上に、検査結果（ここでは良否の二値結果）が既知である既知ワークＷ１を交換可能に、かつ、その位置を変更可能に載置できるようにしてある。そのために、前記外壁１２の一部には、既知ワークＷ１を取り換えて固定ステージ２１上に載置するための図示しない開閉扉が設けてある。なお、この固定ステージ２１に代えてＸＹＺステージにするなどして、既知ワークＷ１を移動できるようにしてもよいし、既知ワークＷ１を把持する把持機構を設け、この把持機構により、既知ワークＷ１を姿勢変更可能に把持させるようにしてもよい。

前記光照射装置３は、ここでは、前記光検査システム２００で用いられる照明装置２０１と同等のものである。なお、この光照射装置３は、前記照明装置２０１と同等の光質（輝度、波長スペクトル、検査光の広がり角等）を得られるものであれば、他の機種でも構わない。また、後述するが、光照射装置支持機構４の調整などによってワークとの距離を変えるなどし、光検査システム２００と同等の照明条件が得られるのであれば、光質の異なるものでも構わない。

前記光照射装置支持機構４は、光照射装置３を異なる種類に交換可能に、かつ位置変更及び姿勢変更可能に支持するものである。

具体的に説明すると、この光照射装置支持機構４は、枠構造体１１を構成する中間梁１１１に対し、左右方向に水平移動可能に垂下させた複数（ここでは一対の）垂下支持体４１を備えたものである。

各垂下支持体４１は、前記中間梁１１１から垂下する柱状乃至板状をなす第１支持材４１１と、該第１支持材４１１にそれぞれ垂直移動可能に設けられた柱状乃至板状をなす第２支持材４１２と、この第２支持材４１２の先端部（下端部）に設けられて前記光照射装置３を回転可能に把持する把持構造４１３とを備えている。

そして、この実施形態では、各垂下支持体４１にそれぞれスポット照明タイプの光照射装置３を支持させて、既知ワークＷを互いに逆方向斜め上から照明するようにしてある。

なお、例えばリング照明装置や面照明装置などのように、平面的に大型の光照射装置の場合は、各垂下支持体４１によって、１つの光照射装置の対向辺部を把持するようにしてもよい。またそのために、把持構造４１３を別種のものに取り換え可能に構成してもよい。
さらに、異なる種類の光照射装置を支持するために、構造が異なる光照射装置支持機構４を枠構造体１１に共通に取り付けられるようにしてもよい。そのためには、枠構造体１１に光照射装置支持機構４を取り付けるための取付構造を共通化しておけばよい。

前記撮像装置５は、前記光検査システム２００で用いられる撮像装置２０２と同等ものである。もちろん、前記光検査システム２００で用いられる撮像装置２０２と同等の機能を有するのであれば、他の機種でも構わない。

前記撮像装置支持機構６は、撮像装置５を取り換え可能に支持するものであり、この実施形態では、枠構造体１１の天井梁１１２の中央部分から懸架させた懸架支持体６１を備えている。そして、この懸架支持体６１の先端部に設けた把持機構によって、撮像装置５の撮像面が、下方の固定ステージ２１の中央部分に向くように、該撮像装置５を支持している。

光照射装置コントローラ７は、前記光検査システム２００で用いられる照明装置コントローラ２０５と同様であり、また、撮像装置コントローラ８は、前記光検査システム２００で用いられる撮像装置コントローラ２０４と同様なので、それらの説明は省略する。

前記入力装置１０は、筐体１内に載置されて撮像される既知ワークＷ１の情報をオペレータが入力するためのものである。入力される既知ワークＷ１の情報とは、ここでは、既知ワークＷ１の検査結果プロパティであり、既知ワークＷ１が合格品であるか不合格品であるか（良否）の二値である。

この実施形態では、この入力装置１０が、２つのスイッチ１０ａ、１０ｂから構成されている。一方は良品の場合に押すスイッチ１０ａであり、他方は不良品の場合に押すスイッチ１０ｂである。

なお、入力装置１０は、このようなスイッチ１０ａ、１０ｂに限られず、例えばコンピュータのディスプレイ上にスイッチバーを表示してこれを選択入力できるようにしたものでもよい。また、検査結果プロパティは、合否のような二値のもののみならず、例えば、１０段階評価などのようなものでも構わない。その場合は入力装置１０で数値が入力される。

前記情報処理装置９は、ＣＰＵ、メモリ、通信ポート、Ｉ／Ｏポートなどを備えた、いわゆるコンピュータである。そして、メモリに記憶された所定のプログラムに従ってＣＰＵやその周辺機器が協動することにより、前記撮像装置５によって撮像された既知ワークＷ１の画像データに対し、光検査システム２００と同等な画像処理を施す画像処理部９１と、該画像処理部９１によって処理された画像データを、前記入力装置１０で入力された検査結果プロパティに紐づける紐付部９２と、画像データとこれに紐づけられた検査結果プロパティとを格納する画像格納部９３としての機能を発揮する。

なお、この情報処理装置９は、物理的に一体である必要はなく、遠隔地にある複数のコンピュータから構成されていてもよい。例えばクラウドなどの仮想空間にメモリを設けるなどしても構わない。

次に、この光検査装置支援システム１００の動作及び効果を簡単に説明する。

オペレータは、光照射装置３の種類を選定するとともに、その位置や姿勢を調整して、光検査システム２００と同等な照明条件を設定する。その照明条件下、既知ワークＷ１を撮像する。その直前又は直後に、既知ワークＷ１の検査プロパティである良であるか否であるかをスイッチ１０ａ、１０ｂを押下することによって、情報処理装置９に伝達する。

情報処理装置９は、撮像装置５から原画像データを受信して、それに画像処理を施し、その処理後の画像データを、前記入力装置１０で入力された検査結果プロパティに紐づけて格納する。

このことにより、多数の画像データとそれぞれの検査結果プロパティからなる教師情報を得ることができる。

この教師情報を、例えば汎用パソコンなどのコンピュータに送り、そのコンピュータに学習機能（学習部）を設けておいて、そこで、入力を画像データ、出力を検査結果として、その間の相関を示す検査アルゴリズムをＡＩなどの機械学習によって習得させる。なお、周知のようにこの検査アルゴリズムはＡＩによって習得されたものであり、その詳細はブラックボックスである。

この検査アルゴリズムを、光検査システム２００に移植すれば、光検査システム２００を用いることなく学習させることができるので、光検査システム２００への機械学習機能の導入を短時間に、かつ簡便に行えるようになる。

また、例えば画像データからの学習結果をみて、学習のためのよりよい照明条件を探索することもでき、これを光検査システムにフィードバックして、その照明条件を改善することも可能になる。

なお、本発明は前記実施形態に限られるものではない。

例えば、前記実施形態では、前記画像格納部９３に格納されている既知ワークＷ１の画像データとその検査結果とに基づいて、前記検査アルゴリズムを学習によって取得する学習部を、汎用パソコンなどの別のコンピュータに設けていたが、この光検査アシステム用支援装置の情報処理装置９に、前記学習部を設けても構わない。

また、画像処理部９１は必ずしも必要なく、その場合は紐付部９２は、撮像装置の原画像データと検査プロパティとを紐づけ、これらが画像格納部９３に格納されることになる。

また、光照射装置支持機構４や撮像装置支持機構６の構成は、前記実施形態に限られず、その機能についても、例えば、ロボットアームなどを用いて、より高い自由度（例えば、位置について３自由度、姿勢について３自由度）で光照射装置３や撮像装置５を支持できるようにしたり、あるいは、より簡便な機構にすべく、それよりも低い自由度（固定も含む）の構成でも構わない。

また、筐体１の外壁１２は必ずしも必要なく、枠構造体１１のみで構成してもよい。また、光検査システムでの、照明装置以外からの周囲光を再現すべく、別途照明装置を、例えば枠構造体１１に取り付けられるようにしてもよい。

その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能である。

２００・・・光検査システム
１００・・・光検査システム用支援装置
Ｗ１・・・既知ワーク
１・・・筐体
２・・・ワーク支持機構
３・・・光照射装置
４・・・光照射装置支持機構
５・・・撮像装置
６・・・撮像装置支持機構
９３・・・画像格納部
１０・・・入力装置

Claims (5)

1. 照明装置を用いて所定の照明条件で照明されたワークを撮像し、この撮像によって得られたワークの画像データを、所定の検査アルゴリズムにしたがって検査し、その検査結果を出力する光検査システムに利用されるものであって、当該光検査システムとは別に設けられたものであり、
   検査結果が既知である既知ワークを交換可能に支持するワーク支持機構と、
   既知ワークに検査光を照射する光照射装置と、
   前記光照射装置を、交換可能、かつ、姿勢変更及び／又は位置変更可能に支持するものであり、前記光照射装置の姿勢及び／又は位置の設定によって、前記光検査システムにおける前記照明装置を用いた前記所定の照明条件を再現できるように構成された光照射装置支持機構と、
   前記光照射装置によって照明された前記既知ワークを撮像する撮像装置と、
   前記既知ワークの検査結果を入力する入力装置と、
   前記撮像装置によって前記既知ワークが撮像される度に、当該画像データを、前記入力装置で入力された検査結果に紐づけて格納する画像格納部とを備えていることを特徴とする光検査システム用支援装置。
2. 前記ワーク支持機構が、前記既知ワークを姿勢変更及び／又は位置変更可能に支持するものである請求項１記載の光検査システム用支援装置。
3. 前記撮像装置を、姿勢変更及び／又は位置変更可能に支持する撮像装置支持機構をさらに備えている請求項１又は２記載の光検査システム用支援装置。
4. 枠材を組み合わせてなる枠構造体をさらに備え、該枠構造体によって光照射装置及び撮像装置が支持されている請求項１乃至３いずれか記載の光検査システム用支援装置。
5. 前記画像格納部に格納されている既知ワークの画像データとその検査結果とに基づいて、前記検査アルゴリズムを学習によって取得する学習部をさらに備えている請求項１乃至４いずれか記載の光検査システム用支援装置。

Images