JP2019095238A - 画像処理システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 照明条件が異なる複数の照明光をそれぞれ照射された検査対象を撮像して画像処理を行う場合に、構成部品の数を低減できる画像処理システム、画像処理方法、及びプログラムを提供する。
【解決手段】 第１照明装置２１及び第２照明装置２２は、ＬＥＤ９２に対する照明条件が互いに異なる各照明光Ｌｔ１，Ｌｔ２をＬＥＤ９２にそれぞれ照射する。画像処理装置１１は、ライン画像の情報を受け取って画像処理を行う。そして、第１照明装置２１及び第２照明装置２２は、ＬＥＤ９２に対して、互いに異なる発光タイミングで各照明光Ｌｔ１，Ｌｔ２をそれぞれ繰り返し照射する。撮像装置３は、第１照明装置２１及び第２照明装置２２の各発光タイミングに同期してＬＥＤ９２を撮像する。
【選択図】図１

Description

本発明は、一般に画像処理システム、画像処理方法、及びプログラムに関する。

従来、半導体ウェハを対象物とした暗視野照明による欠陥検査装置がある（例えば、特許文献１参照）。この従来の欠陥検査装置では、一対の照明部が互いに異なる光学条件（例えば照射角度、偏光状態、波長等が異なる）の照明光を対象物に照射する。一対の照明部の各々から出射される照明光によって、対象物から散乱光がそれぞれ発生する。そして、従来の欠陥検査装置は、一対の光学系及び一対の検出部を備えており、一対の光学系は、対象物から垂直方向への散乱光を結像させる上方検出系、及び斜方向への散乱光を結像させる斜方検出系である。一対の検出部は、それぞれの検出光学系により結像された光学像を受光し、画像信号に変換する。そして、画像処理部は、画像信号に対して信号処理を施して、対象物の欠陥を抽出する。

特開２０１０−１７５２７０号公報

上述の特許文献１は、一対の検出部、及び一対の光学系を備えており、構成部品の数が比較的多くなっていた。

本発明の目的は、照明条件が異なる複数の照明光をそれぞれ照射された検査対象を撮像して画像処理を行う場合に、構成部品の数を低減できる画像処理システム、画像処理方法、及びプログラムを提供することにある。

本発明の一態様に係る画像処理システムは、撮像装置と、複数の照明装置と、画像処理装置と、を備える。前記撮像装置は、相対位置が変化する対象物をラインセンサによって撮像したライン画像の情報を生成する。前記複数の照明装置は、前記対象物に対する照明条件が互いに異なる各照明光を前記対象物にそれぞれ照射する。前記画像処理装置は、前記ライン画像の情報を受け取って画像処理を行う。そして、前記複数の照明装置は、前記対象物に対して、互いに異なる発光タイミングで前記各照明光をそれぞれ繰り返し照射する。前記撮像装置は、前記複数の照明装置の各発光タイミングに同期して前記対象物を撮像する。

本発明の一態様に係る画像処理方法は、撮像ステップと、照明ステップと、画像処理ステップと、を備える。前記撮像ステップは、相対位置が変化する対象物をラインセンサによって撮像したライン画像の情報を生成する。前記照明ステップは、前記対象物に対する照明条件が互いに異なる各照明光を前記対象物にそれぞれ照射する。前記画像処理ステップは、前記ライン画像の情報を受け取って画像処理を行う。そして、前記照明ステップは、前記対象物に対して、互いに異なる発光タイミングで前記各照明光をそれぞれ繰り返し照射する。前記撮像ステップは、前記各照明光の発光タイミングに同期して前記対象物を撮像する。

本発明の一態様に係るプログラムは、コンピュータシステムに、上述の画像処理方法を実行させる。

以上説明したように、本発明は、照明条件が異なる複数の照明光をそれぞれ照射された検査対象を撮像して画像処理を行う場合に、構成部品の数を低減できるという効果がある。

図１は、実施形態の画像処理システムの構成を示すブロック図である。 図２は、同上の画像処理システムで用いられる基板ユニットを示す上面図である。 図３は、同上の画像処理システムの検査対象であるＬＥＤを示す上面図である。 図４は、同上の画像処理システムの一部を示す斜視図である。 図５Ａは、同上のＬＥＤの欠陥凹部を示す概略断面図である。図５Ｂは、同上のＬＥＤを撮像した連結画像の概略を示す図である。図５Ｃは、同上のＬＥＤを図５Ｂとは異なる照明条件で撮像した連結画像の概略を示す図である。 図６Ａは、同上のＬＥＤの表面汚れを示す概略断面図である。図６Ｂは、同上のＬＥＤを撮像した連結画像の概略を示す図である。図６Ｃは、同上のＬＥＤを図６Ｂとは異なる照明条件で撮像した連結画像の概略を示す図である。 図７Ａは、同上の画像処理システムの第１ライン画像及び第２ライン画像を時系列に沿って前後方向に連結した連結画像を示す図である。図７Ｂは、図７Ａの連結画像の一部領域を拡大した図である。 図８Ａは、同上の画像処理システムの第１ライン画像に基づく補正画像を示す図である。図８Ｂは、第２ライン画像に基づく補正画像を示す図である。 図９Ａは、同上の画像処理システムの第１画像を示す図である。図９Ｂは、第２画像を示す図である。 図１０Ａは、同上の画像処理システムの第３画像を示す図である。図１０Ｂは、平滑化処理を施された第３画像を示す図である。 図１１は、実施形態の画像処理方法を示すフローチャートである。

以下の実施形態は、一般に画像処理システム、画像処理方法、及びプログラムに関する。より詳細に、以下の実施形態は、対象物に対して互いに異なる照明条件の照明光をそれぞれ照射し、各照明光を照射された対象物を撮像して画像処理を行う画像処理システム、画像処理方法、及びプログラムに関する。

本実施形態の検査システムは、コンピュータを用いた画像処理技術により、対象物の欠けなどの凹凸を強調した画像を生成して、対象物の欠け（対象物の欠けの有無、欠けの程度など）を検査する。対象物は、回路基板上に実装されている部品を想定している。なお、画像処理の対象物は、回路基板上に実装されている部品以外であってもよく、対象物の種類、形状などは特定の種類、形状などに限定されない。なお、以下の説明では、特に断りのない限り、図４において、前後、左右、上下の各方向が規定されている。

図１は、本実施形態の画像処理システムＩＰＳ１のブロック構成を示す。画像処理システムＩＰＳ１は、コンピュータシステム１と、２つの照明装置である第１照明装置２１及び第２照明装置２２と、１つの撮像装置３と、を主構成として備える。なお、画像処理システムＩＰＳ１は、搬送装置４、表示装置５をさらに備えることが好ましい。

そして、画像処理システムＩＰＳ１は、図２に示す基板ユニット９に実装されているＬＥＤ（Light Emitting Diode）９２を対象物とする。基板ユニット９は、回路基板９１、ＬＥＤ（Light Emitting Diode）９２を有している。回路基板９１は長尺の矩形板形状であり、回路基板９１の表面９１１には、複数のＬＥＤ９２が回路基板９１の長手方向に沿って一列に実装されている。また、回路基板９１には、ＬＥＤ９２以外の素子（例えばコネクタ９３など）が実装されていてもよい。

図３は、ＬＥＤ９２の上面図を示す。ＬＥＤ９２は、四角体のパッケージ９２１内にＬＥＤチップが実装されている。パッケージ９２１の上面９２２は浅い窪み９２３が形成されている。パッケージ９２１の表面が欠けていると、パッケージ９２１の表面のキズとして凹部が形成される。そこで、画像処理システムＩＰＳ１は、ＬＥＤ９２（パッケージ９２１）の上面９２２のキズとなる凹部（欠陥凹部）を強調する画像（第３画像）を生成する。さらに、画像処理システムＩＰＳ１は、パッケージ９２１の欠陥凹部が強調された画像に基づいて、ＬＥＤ９２の外観検査を行うことが好ましい。

具体的に、本実施形態の画像処理システムＩＰＳ１では、以下の画像処理方法を実行する。

まず、基板ユニット９は、搬送装置４によって撮像装置３の下方を、後方から前方に向かう進行方向Ｘ１に移動し、撮像装置３による撮像処理が行われる。

搬送装置４は、例えばベルトコンベア装置で構成されている。搬送装置４は、モータ、プーリ、コンベアベルトなどを備えており、モータの回転駆動力がプーリなどを介してコンベアベルトに伝達される。搬送装置４の上面にはコンベアベルトが露出しており、コンベアベルト上に載置された基板ユニット９は、進行方向Ｘ１に一定速度で進む。コンベアベルト上の基板ユニット９の長さ方向（基板ユニット９の長手方向）は前後方向に沿っており、回路基板９１の表面９１１は上方向を向いている。

また、基板ユニット９が固定されて、撮像装置３が進行方向Ｘ１（あるいは進行方向Ｘ１の逆方向）に移動する構成でもよい。

なお、基板ユニット９の長さ方向の一端側（進行方向Ｘ１）は前方向であり、基板ユニット９の長さ方向の他端側（進行方向Ｘ１の反対方向）が後方向になる。また、基板ユニット９の幅方向の一端側が右方向であり、基板ユニット９の幅方向の他端側が左方向である。また、基板ユニット９の厚み方向の一端側が上方向であり、基板ユニット９の厚み方向の他端側が下方向である。

そして、画像処理システムＩＰＳ１は、進行方向Ｘ１に一定速度で進む基板ユニット９に対して、以下の画像処理を行う。

まず、第１照明装置２１、第２照明装置２２、及び撮像装置３は、搬送装置４の上方において進行方向Ｘ１に並んで配置されている。そして、第１照明装置２１は、撮像装置３より前側に位置し、第２照明装置２２は、撮像装置３より後側に位置している。すなわち、前から後に向かって、第１照明装置２１、撮像装置３、第２照明装置２２の順に位置する。

第１照明装置２１は、図１、図４に示すように帯状の照明光Ｌｔ１を照射するバータイプの照明装置であり、帯状の照明光Ｌｔ１を出射する長尺の発光面２１１を有する。第１照明装置２１から出射される照明光Ｌｔ１の照射領域は、照明光Ｌｔ１の光軸Ｋ１を法線とする面において細長い帯状（バー形状）になる。第１照明装置２１は、進行方向Ｘ１に移動する基板ユニット９に向かって後斜め下方（例えば、水平面に対する入射角θ１が４５°になるように）に照明光Ｌｔ１を照射する。さらに、第１照明装置２１は、上下方向から見て、照明光Ｌｔ１の照射領域の長手方向が進行方向Ｘ１に直交するように配置される。すなわち、基板ユニット９が進行方向Ｘ１に移動している場合、上下方向から見て、照明光Ｌｔ１の照射領域の長手方向（発光面２１１の長手方向）は、基板ユニット９の長さ方向（前後方向）に対して直交しており、基板ユニット９の幅方向（左右方向）に沿っている。そして、図１に示すように、第１照明装置２１の光軸Ｋ１が回路基板９１の表面９１１に交わる点を交点Ｑ１とする。

第２照明装置２２は、図１、図４に示すように帯状の照明光Ｌｔ２を照射するバータイプの照明装置であり、帯状の照明光Ｌｔ２を出射する長尺の発光面２２１を有する。第２照明装置２２から出射される照明光Ｌｔ２の照射領域は、照明光Ｌｔ２の光軸Ｋ２を法線とする面において細長い帯状になる。第２照明装置２２は、進行方向Ｘ１に移動する基板ユニット９に向かって前斜め下方（例えば、水平面に対する入射角θ２が４５°になるように）に照明光Ｌｔ２を照射する。さらに、第２照明装置２２は、上下方向から見て、照明光Ｌｔ２の照射領域の長手方向が進行方向Ｘ１に直交するように配置される。すなわち、基板ユニット９が進行方向Ｘ１に移動している場合、上下方向から見て、照明光Ｌｔ２の照射領域の長手方向（発光面２２１の長手方向）は、基板ユニット９の長さ方向（前後方向）に対して直交しており、基板ユニット９の幅方向（左右方向）に沿っている。そして、図１に示すように、第２照明装置２２の光軸Ｋ２は、交点Ｑ１で回路基板９１の表面９１１に交わる。

上述のように、第１照明装置２１が照明光Ｌｔ１を照射する方向と、第２照明装置２２が照明光Ｌｔ２を照射する方向とは、進行方向Ｘ１において互いに反対方向になる。

なお、ＬＥＤ９２の厚みは薄く、交点Ｑ１は、光軸Ｋ１，Ｋ２がＬＥＤ９２（パッケージ９２１）の表面に交わる点であるとみなすこともできる。また、交点Ｑ１は、パッケージ９２１の上面に形成されてもよい。また、上述の入射角θ１、θ２の関係は、θ１＝θ２であればよく、入射角θ１、θ２は４５°以外であってもよい。

撮像装置３は、ラインセンサ３１と、マウントアダプタ３２と、レンズ３３とを備えているカメラである（図１、図４参照）。ラインセンサ３１には、マウントアダプタ３２を介してレンズ３３が取り付けられている。ラインセンサ３１は、ＣＣＤ（Charged Coupled Devices）、またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの複数の撮像素子を有しており、複数の撮像素子は、左右方向にライン状に配置されている。そして、レンズ３３を介して集光された光をラインセンサ３１の撮像素子が受光することで、ラインセンサ３１が白黒（またはカラー）の静止画を撮像する。ラインセンサ３１が撮像した画像は、基板ユニット９の前後方向の一部が写っているライン画像であり、ライン画像の撮像範囲は、進行方向Ｘ１に直交（交差）する左右方向（第２方向）に延びる長尺形状になる。また、ライン画像は、各画素の濃淡値が例えば２５６段階に設定された濃淡画像である。なお、本実施形態において、暗い画素は濃淡値が低く、明るい画素は濃淡値が高くなる。また、本実施形態の撮像装置３の仕様は、画像分解能：０．０２ｍｍ／ｐｉｘであるが、この仕様に限定されない。

そして、本実施形態の撮像装置３は、撮像装置３の左右方向の撮像範囲に、回路基板９１上のＬＥＤ９２が収まるように配置されており、ＬＥＤ９２の前後方向の一部がライン画像に写る。

そして、図１に示すように、撮像装置３の光軸Ｋ３は鉛直方向に沿っており、交点Ｑ１で回路基板９１の表面９１１に交わる。なお、ＬＥＤ９２の厚みは薄く、交点Ｑ１は、光軸Ｋ３がＬＥＤ９２（パッケージ９２１）の表面に交わる点であるとみなすこともできる。

したがって、撮像装置３は、基板ユニット９に照射された照明光Ｌｔ１が基板ユニット９の表面９１１で拡散反射した拡散反射光Ｌｔ１１を受光することができる。撮像装置３は、受光した拡散反射光Ｌｔ１１から濃淡画像の情報を生成し、この濃淡画像の情報をライン画像（第１ライン画像）の情報としてコンピュータシステム１へ出力する。

また、撮像装置３は、基板ユニット９に照射された照明光Ｌｔ２が基板ユニット９の表面９１１で拡散反射した拡散反射光Ｌｔ２１を受光することができる。撮像装置３は、受光した拡散反射光Ｌｔ２１から濃淡画像の情報を生成し、この濃淡画像の情報をライン画像（第２ライン画像）の情報としてコンピュータシステム１へ出力する。

上述の第１照明装置２１、第２照明装置２２の各発光タイミング、及び撮像装置３の撮像タイミングは、コンピュータシステム１によって決定され、コンピュータシステム１から第１照明装置２１、第２照明装置２２、及び撮像装置３にそれぞれ指示される。

本実施形態では、コンピュータシステム１からの指示によって、撮像装置３（ラインセンサ３１）は、進行方向Ｘ１に移動する基板ユニット９の前端から後端までを所定の撮像周期で撮像し、撮像した一連の複数のライン画像をコンピュータシステム１へ出力する。

コンピュータシステム１は、画像処理用のプログラムを実行することで、基板ユニット９のライン画像の情報に対して、画像処理を施す。さらに、コンピュータシステム１は、画像処理用のプログラムを実行することで、基板ユニット９のライン画像の情報を用いて基板ユニット９の外観検査を行うことが好ましい。

コンピュータシステム１は、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステム１のメモリに記録されたプログラム（画像処理用のプログラム）をプロセッサが実行することによって、本開示における後述の画像処理装置１１の機能が実現される。プログラムは、コンピュータシステム１のメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよいし、コンピュータシステム１で読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステム１のプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１乃至複数の電子回路で構成される。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。

そして、コンピュータシステム１は、画像処理用のプログラムを実行することで画像処理装置１１として機能する。

画像処理装置１１は、機器制御部１１１、画像取得部１１２、画像分類部１１３、画像補正部１１４、第１処理部１１５、第２処理部１１６、画像平滑部１１７、検査部１１８、出力部１１９を備える。

機器制御部１１１は、第１照明装置２１、第２照明装置２２の各発光タイミング、及び撮像装置３の撮像タイミングを、第１照明装置２１、第２照明装置２２、及び撮像装置３にそれぞれ指示する。

具体的に、機器制御部１１１は、撮像装置３の撮像タイミングの周期（撮像周期）を、基板ユニット９の移動速度、撮像装置３の撮像範囲などに基づいて、ＬＥＤ９２の前端から後端までの全体が複数のライン画像に分割されて写るように設定している。例えば、一連の複数のライン画像を時系列に沿って前後方向に連結すると、ＬＥＤ９２の前端から後端までの全体が写った濃淡画像になる。なお、以降の説明では、一連の複数のライン画像が時系列に沿って連結された１つの濃淡画像を、連結画像と呼ぶ。

また、機器制御部１１１は、第１照明装置２１及び第２照明装置２２の各発光タイミングを交互に設定しており、撮像装置３の撮像タイミング毎に、第１照明装置２１と第２照明装置２２とが交互に発光する。この場合、第１照明装置２１の発光タイミングである第１発光タイミングの周期は、撮像周期の２倍であり、第２照明装置２２の発光タイミングである第２発光タイミングの周期も、撮像周期の２倍になる。

すなわち、撮像装置３は、交互に発生する第１照明装置２１の第１発光タイミング及び第２照明装置２２の第２発光タイミングに同期して、ＬＥＤ９２を撮像する。あるいは、第１照明装置２１及び第２照明装置２２は、撮像装置３の撮像タイミングに同期して交互に発光するともいえる。

そして、第１照明装置２１が発光する第１発光タイミングに撮像装置３が撮像したライン画像を第１ライン画像とし、第２照明装置２２が発光する第２発光タイミングに撮像装置３が撮像したライン画像を第２ライン画像とする。この場合、撮像装置３は、第１ライン画像及び第２ライン画像の各情報を交互に出力する。

画像取得部１１２は、撮像装置３から有線伝送路または無線伝送路を介して、第１ライン画像及び第２ライン画像の各情報を交互に受け取る。すなわち、画像取得部１１２は、撮像周期毎に交互に撮像された第１ライン画像及び第２ライン画像の各情報を、撮像装置３から受け取る。画像取得部１１２は、第１ライン画像及び第２ライン画像の各情報を、を時系列に沿って受け取ることで、ＬＥＤ９２の前端から後端までを小領域に分割して撮像した一連の複数のライン画像（第１ライン画像及び第２ライン画像）の情報を受け取ることができる。

ここで、画像取得部１１２が受け取った一連の複数のライン画像の情報は、第１照明装置２１の発光時に撮像された第１ライン画像の情報と、第２照明装置２２の発光時に撮像された第２ライン画像の情報とが、時系列に交互に存在する。そして、ＬＥＤ９２に凹凸部が存在する場合、第１照明装置２１の照明光Ｌｔ１が照射された凹凸と、第２照明装置２２の照明光Ｌｔ２が照射された凹凸部とでは、凹凸部によって生じる影の方向が反対方向になる。

図５Ａに示すように、ＬＥＤ９２の上面９２２に下方向に窪んだ凹部である欠陥凹部８１が存在すると仮定する。そして、第１照明装置２１が発光を維持し、第２照明装置２２が消灯を維持している状態で、撮像装置３が上述の撮像周期毎に繰り返し撮像した場合、撮像された一連の複数のライン画像を時系列に沿って前後方向に連結すると、図５Ｂに示す連結画像Ｇ１が生成される。また、第１照明装置２１が消灯を維持し、第２照明装置２２が発光を維持している状態で、撮像装置３が上述の撮像周期毎に繰り返し撮像した場合、撮像された一連の複数のライン画像を時系列に沿って前後方向に連結すると、図５Ｃに示す連結画像Ｇ２が生成される。

第１照明装置２１が発光し、第２照明装置２２が消灯している状態では、欠陥凹部８１内の後部には、第１照明装置２１の照明光Ｌｔ１が照射される。しかし、欠陥凹部８１内の前部に向かう照明光Ｌｔ１はＬＥＤ９２の上面９２２によって遮られるので、欠陥凹部８１内の前部には、照明光Ｌｔ１が照射されず、影ができている。したがって、連結画像Ｇ１では、ＬＥＤ９２の上面９２２が写ったＬＥＤ領域６０内に、欠陥凹部８１内の前部が暗領域６１として写っている。

第１照明装置２１が消灯し、第２照明装置２２が発光している状態では、欠陥凹部８１内の前部には、第２照明装置２２の照明光Ｌｔ２が照射される。しかし、欠陥凹部８１内の後部に向かう照明光Ｌｔ２はＬＥＤ９２の上面９２２によって遮られるので、欠陥凹部８１内の後部には、照明光Ｌｔ２が照射されず、影ができている。したがって、連結画像Ｇ２では、ＬＥＤ９２の上面９２２が写ったＬＥＤ領域６０内に、欠陥凹部８１内の後部が暗領域６２として写っている。

上述のように、第１照明装置２１のみが発光しているときに欠陥凹部８１が撮像された画像と、第２照明装置２２のみが発光しているときに欠陥凹部８１が撮像された画像とでは、欠陥凹部８１内に生じる影の写り具合が変わる。

次に、図６Ａに示すようにＬＥＤ９２の上面９２２に、微細な粒子などによる暗色の汚れが表面汚れ８２として付着していると仮定する。そして、第１照明装置２１が発光を維持し、第２照明装置２２が消灯を維持している状態で、撮像装置３が上述の撮像周期毎に繰り返し撮像した場合、撮像された一連の複数のライン画像を時系列に沿って前後方向に連結すると、図６Ｂに示す連結画像Ｇ３が生成される。また、第１照明装置２１が消灯を維持し、第２照明装置２２が発光を維持している状態で、撮像装置３が上述の撮像周期毎に繰り返し撮像した場合、撮像された一連の複数のライン画像を時系列に沿って前後方向に連結すると、図６Ｃに示す連結画像Ｇ４が生成される。

第１照明装置２１が発光し、第２照明装置２２が消灯している状態では、表面汚れ８２には、第１照明装置２１の照明光Ｌｔ１が照射される。しかし、照明光Ｌｔ１の大部分は、暗色の表面汚れ８２に吸収される。したがって、連結画像Ｇ３では、ＬＥＤ９２の上面９２２が写ったＬＥＤ領域６０内に、表面汚れ８２のほぼ全領域が暗領域６３として写っている。

第１照明装置２１が消灯し、第２照明装置２２が発光している状態では、表面汚れ８２の上面には、第２照明装置２２の照明光Ｌｔ２が照射される。しかし、照明光Ｌｔ２の大部分は、暗色の表面汚れ８２に吸収される。したがって、連結画像Ｇ４では、ＬＥＤ９２の上面９２２が写ったＬＥＤ領域６０内に、表面汚れ８２のほぼ全領域が暗領域６４として写っている。

上述のように、第１照明装置２１及び第２照明装置２２の各発光状態が変わっても、表面汚れ８２が撮像された画像における表面汚れ８２の写り具合は殆ど変わらない。すなわち、第１照明装置２１のみが発光しているときに表面汚れ８２が撮像された画像と、第２照明装置２２のみが発光しているときに表面汚れ８２が撮像された画像とでは、表面汚れ８２の写り具合は殆ど同じである。

そして、画像処理装置１１は、欠陥凹部８１及び表面汚れ８２を撮像した際に画像上に生じる上述の差異を利用することで、欠陥凹部８１が表面汚れ８２に比べて強調されたＬＥＤ９２の画像（第３画像）を生成することができる。

図７Ａは、複数の第１ライン画像Ｇ５１及び複数の第２ライン画像Ｇ５２を時系列に沿って前後方向に連結した連結画像Ｇ５を示す。図７Ｂは、連結画像Ｇ５の一部領域Ａ１を拡大した図である。なお、連結画像Ｇ５は、画像処理装置１１では実際に生成されない画像であるが、本実施形態の説明のために示している。もちろん、連結画像Ｇ５は、画像処理装置１１で実際に生成されてもよい。

連結画像Ｇ５では、四角形状のＬＥＤ領域Ｒ５０にＬＥＤ９２のパッケージ９２１の上面９２２が写っている。ＬＥＤ領域Ｒ５０の後方には、第１照明装置２１の発光時に生じる影が写り、第２照明装置２２の発光時に明るくなる明暗領域Ｒ５１が位置している。ＬＥＤ領域Ｒ５０の前方には、第２照明装置２２の発光時に生じる影が写り、第１照明装置２１の発光時に明るくなる明暗領域Ｒ５２が位置している。また、ＬＥＤ領域Ｒ５０の左方には、ＬＥＤ９２を回路基板９１に実装するための半田が写った半田領域Ｒ５３が位置し、ＬＥＤ領域Ｒ５０の右方には、ＬＥＤ９２を回路基板９１に実装するための半田が写った半田領域Ｒ５４が位置している。

連結画像Ｇ５では、第１照明装置２１が発光し、第２照明装置２２が消灯している状態で撮像された第１ライン画像Ｇ５１と、第１照明装置２１が消灯し、第２照明装置２２が発光している状態で撮像された第２ライン画像Ｇ５２とが、時系列に沿って交互に連結されている。そして、第１ライン画像Ｇ５１と第２ライン画像Ｇ５２とでは、ＬＥＤ９２の凹凸によって生じる影の方向は、前後方向において互いに逆になる。したがって、明暗領域Ｒ５１では、濃淡値が比較的低い複数の暗画素で主に構成された第１ライン画像Ｇ５１と、濃淡値が比較的高い複数の明画素で主に構成された第２ライン画像Ｇ５２とが交互に配置されている。また、明暗領域Ｒ５２では、濃淡値が比較的高い複数の明画素で主に構成された第１ライン画像Ｇ５１と、濃淡値が比較的低い複数の暗画素で主に構成された第２ライン画像Ｇ５２とが交互に配置されている。

なお、以降の説明において、濃淡画像内で濃淡値が比較的高い画素を明画素と呼び、濃淡画像内で濃淡値が比較的低い画素を暗画素と呼ぶ。

上述のように、ＬＥＤ９２の凹凸によって前後方向に生じる影の情報は、第１ライン画像Ｇ５１と第２ライン画像Ｇ５２とでは互いに異なって現れる。そこで、画像分類部１１３は、画像取得部１１２が取得した一連の複数のライン画像の情報を、第１ライン画像のグループである第１グループと、第２ライン画像のグループである第２グループとのいずれかに分類する。画像分類部１１３は、画像取得部１１２が取得した一連の複数のライン画像の情報を、それぞれのライン画像の情報を受信した順番、第１発光タイミング及び第２発光タイミングに基づいて、第１グループまたは第２グループに分類することができる。

また、撮像装置３は、第１ライン画像の情報及び第２ライン画像の情報のそれぞれに、第１ライン画像の情報及び第２ライン画像を識別するための識別情報を付加して出力してもよい。この場合、画像分類部１１３は、ライン画像に付加されている識別情報に基づいて、画像取得部１１２が取得した一連の複数のライン画像の情報を分類することができる。

画像補正部１１４は、第１グループの複数の第１ライン画像Ｇ５１に基づいて、図８Ａに示す補正画像Ｇ６を生成する。補正画像Ｇ６は、第１グループの複数の第１ライン画像Ｇ５１を時系列に沿って前後方向に並べ、複数の第１ライン画像Ｇ５１の各間に、第２ライン画像Ｇ５２の代わりに補完画像Ｇ５１０を配置した濃淡画像である。補完画像Ｇ５１０は、前後方向に隣接する一対の第１ライン画像Ｇ５１から生成される。例えば、補完画像Ｇ５１０は、前後方向に隣接する一対の第１ライン画像Ｇ５１の平均画像であり、一対の第１ライン画像Ｇ５１をそれぞれ構成する各画素の濃淡値の平均値が、補完画像Ｇ５１０を構成する各画素の濃淡値になる。そして、補完画像Ｇ５１０は、一対の第１ライン画像Ｇ５１の間に嵌め込まれる。したがって、補正画像Ｇ６は、第１照明装置２１が発光を維持し、第２照明装置２２が消灯を維持している状態で、撮像装置３が撮像周期毎に繰り返し撮像した複数のライン画像を時系列に沿って前後方向に連結した連結画像に相当する。すなわち、補正画像Ｇ６は、図７Ａの連結画像Ｇ５から第２ライン画像Ｇ５２が間引かれた画像に、複数の補完画像Ｇ５１０を補完した濃淡画像になる。

上述のように生成された補正画像Ｇ６では、四角形状のＬＥＤ領域Ｒ６０にＬＥＤ９２のパッケージ９２１の上面９２２が写っており、ＬＥＤ領域Ｒ６０は、複数の明画素で主に構成されている。但し、ＬＥＤ９２の上面９２２には浅い窪み９２３が形成されているので、ＬＥＤ領域Ｒ６０内の前側は、ＬＥＤ領域Ｒ６０内の後側に比べると、明画素に対する暗画素の割合が大きくなる。ＬＥＤ領域Ｒ６０の後方には、第１照明装置２１の発光時に生じる影が写る影領域Ｒ６１が位置する。この影領域Ｒ６１は、補完画像Ｇ５１０で補完されていることによって、複数の暗画素で主に構成されている。ＬＥＤ領域Ｒ６０の前方には、第１照明装置２１からの照明光Ｌｔ１が照射された領域が写る照射領域Ｒ６２が位置する、この照射領域Ｒ６２は、補完画像Ｇ５１０で補完されていることによって、複数の明画素で主に構成されている。また、ＬＥＤ領域Ｒ６０の左方には、半田領域Ｒ６３が位置し、ＬＥＤ領域Ｒ６０の右方には、半田領域Ｒ６４が位置している。半田領域Ｒ６３，Ｒ６４は、複数の暗画素で主に構成されている。

また、画像補正部１１４は、第２グループの複数の第２ライン画像Ｇ５２に基づいて、図８Ｂに示す補正画像Ｇ７を生成する。補正画像Ｇ７は、第２グループの複数の第２ライン画像Ｇ５２を時系列に沿って前後方向に並べ、複数の第２ライン画像Ｇ５２の各間に、第１ライン画像Ｇ５１の代わりに補完画像Ｇ５２０を配置した濃淡画像である。補完画像Ｇ５２０は、前後方向に隣接する一対の第２ライン画像Ｇ５２から生成される。例えば、補完画像Ｇ５２０は、前後方向に隣接する一対の第２ライン画像Ｇ５２の平均画像であり、一対の第２ライン画像Ｇ５２をそれぞれ構成する各画素の濃淡値の平均値が、補完画像Ｇ５２０を構成する各画素の濃淡値になる。そして、補完画像Ｇ５２０は、一対の第２ライン画像Ｇ５２の間に嵌め込まれる。したがって、補正画像Ｇ７は、第１照明装置２１が消灯を維持し、第２照明装置２２が発光を維持している状態で、撮像装置３が撮像周期毎に繰り返し撮像した複数のライン画像を時系列に沿って前後方向に連結した連結画像に相当する。すなわち、補正画像Ｇ７は、図７Ａの連結画像Ｇ５から第１ライン画像Ｇ５１が間引かれた画像に、複数の補完画像Ｇ５２０を補完した濃淡画像になる。

上述のように生成された補正画像Ｇ７では、四角形状のＬＥＤ領域Ｒ７０にＬＥＤ９２のパッケージ９２１の上面９２２が写っており、ＬＥＤ領域Ｒ７０は、複数の明画素で主に構成されている。但し、ＬＥＤ９２の上面９２２には浅い窪み９２３が形成されているので、ＬＥＤ領域Ｒ７０内の後側は、ＬＥＤ領域Ｒ７０内の前側に比べると、明画素に対する暗画素の割合が大きくなる。ＬＥＤ領域Ｒ７０の前方には、第２照明装置２２の発光時に生じる影が写る影領域Ｒ７２が位置する。この影領域Ｒ７２は、補完画像Ｇ５２０で補完されていることによって、複数の暗画素で主に構成されている。ＬＥＤ領域Ｒ７０の前方には、第２照明装置２２からの照明光Ｌｔ２が照射された領域が写る照射領域Ｒ７１が位置する、この照射領域Ｒ７１は、補完画像Ｇ５２０で補完されていることによって、複数の明画素で主に構成されている。また、ＬＥＤ領域Ｒ７０の左方には、半田領域Ｒ７３が位置し、ＬＥＤ領域Ｒ７０の右方には、半田領域Ｒ７４が位置している。半田領域Ｒ７３，Ｒ７４は、複数の暗画素で主に構成されている。

このように、第１照明装置２１及び第２照明装置２２が交互に発光し、撮像装置３は、第１照明装置２１及び第２照明装置２２の各発光タイミングを撮像タイミングとしている。したがって、画像処理装置１１は、異なる２つの照明条件下でＬＥＤ９２を撮像した第１ライン画像Ｇ５１及び第２ライン画像Ｇ５２を交互に取得できる。すなわち、画像処理システムＩＰＳ１は、異なる２つの照明条件下でＬＥＤ９２を撮像した第１ライン画像Ｇ５１及び第２ライン画像Ｇ５２を生成するために、１台の撮像装置３を備えていればよい。

そして、第１処理部１１５は、補正画像Ｇ６，Ｇ７の同一座標における各画素の濃淡値を互いに比較する。

そして、第１処理部１１５は、第１グループの補正画像Ｇ６と第２グループの補正画像Ｇ７との差分画像を、図９Ａに示す第１画像Ｇ８として生成する。具体的に、第１処理部１１５は、補正画像Ｇ６及び補正画像Ｇ７の同一座標における各画素の濃淡値の差分絶対値を求める。補正画像Ｇ６の画素数及び補正画像Ｇ７の画素数は互いに同じであり、第１処理部１１５は、補正画像Ｇ６及び補正画像Ｇ７の全ての画素について、濃淡値の差分絶対値を求める。そして、第１処理部１１５は、補正画像Ｇ６及び補正画像Ｇ７の同一座標における各画素の濃淡値の差分絶対値を濃淡値とする複数の画素によって、第１画像Ｇ８を生成する。

すなわち、第１画像Ｇ８は、補正画像Ｇ６及び補正画像Ｇ７を合成して、補正画像Ｇ６と補正画像Ｇ７との差異を明画素として強調した濃淡画像になる。この結果、照明光Ｌｔ１または照明光Ｌｔ２によって影ができる箇所が第１画像Ｇ８に写っている場合、当該箇所は、第１画像Ｇ８において明るい領域になる。一方、照明光Ｌｔ１または照明光Ｌｔ２によって影ができない箇所が第１画像Ｇ８に写っている場合、当該箇所は、第１画像Ｇ８において暗い領域になる。

したがって、第１画像Ｇ８では、欠陥凹部８１（図５Ａ参照）が表面汚れ８２（図６Ａ参照）に比べて明るく写り、表面汚れ８２が欠陥凹部８１に比べて暗く写る。第１画像Ｇ８では、四角形状のＬＥＤ領域Ｒ８０にＬＥＤ９２のパッケージ９２１の上面９２２が写っており、ＬＥＤ領域Ｒ８０は、複数の暗画素で主に構成されている。ＬＥＤ領域Ｒ８０の後方には、第１照明装置２１の発光時に生じる影が写り、第２照明装置２２の発光時に明るくなる明暗領域Ｒ８１が位置している。ＬＥＤ領域Ｒ８０の前方には、第１照明装置２１の発光時に明るくなり、第２照明装置２２の発光時に生じる影が写る明暗領域Ｒ８２が位置している。明暗領域Ｒ８１，Ｒ８２のそれぞれは、複数の明画素で主に構成されている。また、ＬＥＤ領域Ｒ８０の左方には、半田領域Ｒ８３が位置し、ＬＥＤ領域Ｒ８０の右方には、半田領域Ｒ８４が位置している。半田領域Ｒ８３，Ｒ８４は、複数の暗画素で主に構成されている。

また、第１処理部１１５は、補正画像Ｇ６及び補正画像Ｇ７を比較し、補正画像Ｇ６及び補正画像Ｇ７の同一座標における各画素のうち、より低い輝度（最も低い輝度）を示す濃淡値の画素を当該座標の画素とした濃淡画像を、図９Ｂに示す第２画像Ｇ９として生成する。具体的に、第１処理部１１５は、補正画像Ｇ６及び補正画像Ｇ７の同一座標における各画素の濃淡値を比較する。そして、第１処理部１１５は、同一座標における各画素のうち濃淡値が低い方の画素を選択し、この濃淡値が低い方の画素を当該座標における画素とする。第１処理部１１５は、補正画像Ｇ６及び補正画像Ｇ７の全画素について上述の比較、選択の各処理を行う。第１処理部１１５は、濃淡値が低い方の画素を座標毎に選択し、濃淡値が低い方の画素を各座標に配置することで、第２画像Ｇ９を生成する。

すなわち、第２画像Ｇ９は、補正画像Ｇ６及び補正画像Ｇ７を合成して、第１グループの補正画像Ｇ６及び第２グループの補正画像Ｇ７の少なくとも一方において暗くなる領域を強調した濃淡画像になる。この結果、照明光Ｌｔ１または照明光Ｌｔ２によって影ができる箇所、及び光を吸収する箇所が第２画像Ｇ９に写っている場合、当該箇所は、第２画像Ｇ９において暗い領域になる。

したがって、第２画像Ｇ９では、欠陥凹部８１（図５Ａ参照）及び表面汚れ８２（図６Ａ参照）は、暗く写る。第２画像Ｇ９では、四角形状のＬＥＤ領域Ｒ９０にＬＥＤ９２のパッケージ９２１の上面９２２が写っており、ＬＥＤ領域Ｒ９０は、複数の明画素で主に構成されている。ＬＥＤ領域Ｒ９０の後方には、第１照明装置２１の発光時に生じる影が写り、第２照明装置２２の発光時に明るくなる明暗領域Ｒ９１が位置している。第１照明装置２１の発光時に明るくなり、第２照明装置２２の発光時に生じる影が写る明暗領域Ｒ９２が位置している。明暗領域Ｒ９１，Ｒ９２のそれぞれは、複数の暗画素で主に構成されている。また、ＬＥＤ領域Ｒ９０の左方には、半田領域Ｒ９３が位置し、ＬＥＤ領域Ｒ９０の右方には、半田領域Ｒ９４が位置している。半田領域Ｒ９３，Ｒ９４は、複数の暗画素で主に構成されている。

第２処理部１１６は、第１画像Ｇ８と第２画像Ｇ９との差分画像を、ＬＥＤ９の凹凸を強調した第３画像Ｇ１０（図１０Ａ参照）として生成する。具体的に、第２処理部１１６は、第２画像Ｇ９の各画素の濃淡値から第１画像Ｇ８の各画素の濃淡値を引くことで、第１画像Ｇ８及び第２画像Ｇ９の同一座標における各画素の濃淡値の差分値を求める。第１画像Ｇ８の画素数及び第２画像Ｇ９の画素数は互いに同じであり、第２処理部１１６は、第１画像Ｇ８及び第２画像Ｇ９の全ての画素について、濃淡値の差分値を求める。そして、第２処理部１１６は、第１画像Ｇ８及び第２画像Ｇ９の同一座標における各画素の濃淡値の差分値を濃淡値とする複数の画素によって、第３画像Ｇ１０を生成する。第３画像Ｇ１０では、差分絶対値ではなく、差分値を用いており、差分値がマイナスになる場合には、差分値を０（ゼロ）に置き換える。この結果、第３画像Ｇ１０は、以下の特徴を有する。

まず、第１画像Ｇ８において欠陥凹部８１が写っている箇所は、明るく写っており、複数の明画素で主に構成されている。また、第２画像Ｇ９において欠陥凹部８１が写っている箇所は、影によって暗く写っており、複数の暗画素で主に構成されている。

一方、第１画像Ｇ８において、表面汚れ８２が写っている各箇所は、凹凸が少ないために暗く写っており、複数の暗画素で主に構成されている。また、第２画像Ｇ９において表面汚れ８２が写っている箇所は、表面汚れ８２自体の色によって暗く写っており、複数の暗画素で主に構成されている。

したがって、第２画像Ｇ９の各画素の濃淡値から第１画像Ｇ８の各画素の濃淡値を引く差分処理によって、第３画像Ｇ１０において欠陥凹部８１が写っている箇所では、第２画像Ｇ９の各画素の濃淡値からの低下幅が比較的大きくなる。また、上述の差分処理によって、第３画像Ｇ１０において表面汚れ８２が写っている箇所では、第２画像Ｇ９の各画素の濃淡値からの低下幅が比較的小さくなる。

すなわち、第３画像Ｇ１０において欠陥凹部８１が写っている箇所では、各画素の濃淡値がより低くなり、第３画像Ｇ１０において欠陥凹部８１はより暗く写っている。また、第３画像Ｇ１０において表面汚れ８２が写っている箇所では、第２画像Ｇ９において表面汚れ８２が写っている箇所に比べて濃淡値の低下幅が小さく、第３画像Ｇ１０において表面汚れ８２は欠陥凹部８１より明るく写っている。

図１０Ａに示す第３画像Ｇ１０では、四角形状のＬＥＤ領域Ｒ１００にＬＥＤ９２のパッケージ９２１の上面９２２が写っており、ＬＥＤ領域Ｒ１００の四辺付近は、複数の明画素で主に構成されている。ＬＥＤ領域Ｒ１００の後方には、第１照明装置２１の発光時に生じる影が写り、第２照明装置２２の発光時に明るくなる明暗領域Ｒ１０１が位置している。ＬＥＤ領域Ｒ１００の前方には、第２照明装置２２の発光時に生じる影が写り、第１照明装置２１の発光時に明るくなる明暗領域Ｒ１０２が位置している。明暗領域Ｒ１０１，Ｒ１０２のそれぞれは、複数の暗画素で主に構成されている。また、ＬＥＤ領域Ｒ１００の左方には、半田領域Ｒ１０３が位置し、ＬＥＤ領域Ｒ１００の右方には、半田領域Ｒ１０４が位置している。半田領域Ｒ１０３，Ｒ１０４は、複数の暗画素で主に構成されている。

そして、ＬＥＤ領域Ｒ１００では、左前の角部に周囲より暗く写った欠陥領域Ｒ１０５、Ｒ１０６が存在している。すなわち、この欠陥領域Ｒ１０５、Ｒ１０６が、欠陥凹部８１に対応する。このように、第３画像Ｇ１０では、欠陥領域Ｒ１０５、Ｒ１０６が濃淡値が周囲に比べて著しく低い暗画素として、表面汚れ８２が写っている箇所と比較しても強調されており、後段の検査部１１８による検査精度（欠陥領域の検出精度）が向上する。

そして、検査部１１８は、第３画像Ｇ１０に基づいて、ＬＥＤ９２の外観検査を行う。具体的に、検査部１１８は、画像認識処理として、ディープラーニング（Deep Learning）による認識アルゴリズムを実行する。この認識アルゴリズムは、予め、多層構造のニューラルネットワークを用いて、ＬＥＤ９２の画像データ（正常品、欠陥品の各画像データ）などを学習モデルとするディープラーニングによって構築される。そして、膨大な数の学習モデル用いたディープラーニングによって、ＬＥＤ９２の欠陥凹部８１を認識するための特徴量が抽出され、認識アルゴリズムが構築される。検査部１１８は、ディープラーニングによる認識アルゴリズムを実行することで、第３画像Ｇ１０から欠陥領域Ｒ１０５，Ｒ１０６を抽出する。

あるいは、検査部１１８は、画像認識処理として、テンプレートマッチングを用いた認識アルゴリズムを実行してもよい。この場合、検査部１１８は、正常なＬＥＤ９２の画像をテンプレート画像とし、テンプレート画像を第３画像Ｇ１０と比較することで、画像認識処理を行う。

なお、検査部１１８は、上述の画像認識処理を行う前に、第３画像Ｇ１０に対して二値化処理及び微分処理の少なくとも一方を施して、ＬＥＤ領域Ｒ１００のエッジ、またはエッジより少し大きい領域を抽出し、ＬＥＤ領域Ｒ１００を含む抽出領域内の画像を画像認識処理の対象としてもよい。

出力部１１９は、検査部１１８の検査結果、検査経過などの各情報を含む画像データを作成し、表示装置５へ出力する。表示装置５は、受信した画像データに基づいて、検査部１１８の検査結果、検査経過などの各情報を表示する。

また、画像処理装置１１は、画像平滑部１１７を備えることが好ましい。画像平滑部１１７は、第３画像Ｇ１０におけるグラデーションなどのノイズを低減する。画像平滑部１１７は、図１０Ｂに示すような、第３画像Ｇ１０からノイズを低減した第３画像Ｇ１０ａを出力する。

本実施形態では、ＬＥＤ９２のパッケージ９２１の上面９２２には浅い窪み９２３が形成されており（図３参照）、この窪み９２３によって、進行方向Ｘ１に沿って濃淡値が変化するグラデーションが画像内に発生しやすい。そこで、画像平滑部１１７を例えばクロスメディアンフィルタで構成することで、特に進行方向Ｘ１に沿って濃淡値が変化するグラデーションによるノイズを低減することができる。クロスメディアンフィルタは、対象画素を中心とする行方向の複数画素の各濃淡値の中央値と、対象画素を中心とする列方向の複数画素の各濃淡値の中央値との二乗和平方根を、対象画素の濃淡値とする。なお、画像平滑部１１７は、クロスメディアンフィルタで以外であってもよく、特定のフィルタに限定されない。

上述の画像処理装置１１による画像処理方法をまとめると、図１１のフローチャートのようになる。

まず、撮像装置３との相対位置が変化するＬＥＤ９２をラインセンサ３１によって撮像したライン画像の情報を生成する（撮像ステップＳ１）。また、ＬＥＤ９２に対して互いに異なる方向から各照明光Ｌｔ１，Ｌｔ２をそれぞれ照射する（照明ステップＳ２）。そして、ライン画像の情報を受け取って画像処理を行う（画像処理ステップＳ３）。そして、照明ステップＳ２は、ＬＥＤ９２に対して、互いに異なる発光タイミングで各照明光Ｌｔ１，Ｌｔ２をそれぞれ繰り返し照射する。また、撮像ステップＳ１は、複数の照明光Ｌｔ１，Ｌｔ２の各発光タイミングに同期してＬＥＤ９２を撮像する。

なお、上述の実施形態では、ＬＥＤ９２に対する照明光Ｌｔ１，Ｌｔ２の各照射方向を、第１照明装置２１、第２照明装置２２の各照明条件としている。しかし、第１照明装置２１、第２照明装置２２の各照明条件は、照明光の波長、強度、偏光状態などのいずれかであってもよい。すなわち、第１照明装置２１、第２照明装置２２の各照明条件が互いに異なっていればよい。

また、照明装置の数を３台以上として、照明条件を３つ以上としてもよい。この場合、画像処理装置１１は、３つ以上の照明条件にそれぞれ対応する補正画像を生成し、各補正画像の差分処理及び各画素の濃淡値の比較処理などを行って、第１画像及び第２画像を上記同様に生成できる。そして、画像処理装置１１は、第１画像及び第２画像から上記同様に第３画像を生成できる。

上述の実施形態に係る第１の態様の画像処理システムＩＰＳ１は、撮像装置３と、第１照明装置２１及び第２照明装置２２（複数の照明装置）と、画像処理装置１１と、を備える。撮像装置３は、相対位置が変化するＬＥＤ９２（対象物）をラインセンサ３１によって撮像したライン画像（第１ライン画像Ｇ５１及び第２ライン画像Ｇ５２）の情報を生成する。第１照明装置２１及び第２照明装置２２は、ＬＥＤ９２に対する照明条件が互いに異なる各照明光Ｌｔ１，Ｌｔ２をＬＥＤ９２にそれぞれ照射する。画像処理装置１１は、前記ライン画像の情報を受け取って画像処理を行う。そして、第１照明装置２１及び第２照明装置２２は、ＬＥＤ９２に対して、互いに異なる発光タイミングで各照明光Ｌｔ１，Ｌｔ２をそれぞれ繰り返し照射する。撮像装置３は、第１照明装置２１及び第２照明装置２２の各発光タイミングに同期してＬＥＤ９２を撮像する。

すなわち、画像処理システムＩＰＳ１では、照明条件が互いに異なる複数の照明光Ｌｔ１，Ｌｔ２を、互いに異なる発光タイミングでＬＥＤ９２に照射している。そして、撮像装置３は、複数の照明光Ｌｔ１，Ｌｔ２の各照射タイミングに同期してＬＥＤ９２を撮像する。したがって、画像処理システムＩＰＳ１は、１つの撮像装置３が撮像したライン画像に基づいて、撮像時の照明条件が互いに異なる複数の画像に画像処理を施すことができる。この結果、照明条件が異なる複数の照明光をそれぞれ照射された検査対象を撮像して画像処理を行う場合に、構成部品の数を低減できる。

例えば、比較例として、照明装置及び撮像装置の組を複数組備えて、各組の照明装置の照明条件を互いに異ならせるシステム構成が挙げられる。この場合、各組の照明装置が常に発光を維持することによって、照明条件が異なる複数の照明光をそれぞれ照射されたＬＥＤ９２を撮像して画像処理を行うことができる。しかしながら、この比較例では、複数の照明装置が必要であり、上述の画像処理システムＩＰＳ１に比べて、部品点数（撮像装置の台数）が多くなってしまう。

また、実施形態に係る第２の態様の画像処理システムＩＰＳ１では、第１の態様において、前記照明条件は、ＬＥＤ９２に対する照明方向であり、第１照明装置２１及び第２照明装置２２は、各照明光Ｌｔ１，Ｌｔ２を互いに異なる方向からＬＥＤ９２にそれぞれ照射することが好ましい。

したがって、画像処理システムＩＰＳ１は、照明方向によって影の発生形態が互いに異なる複数の画像を用いて、画像処理を行うことができる。

また、実施形態に係る第３の態様の画像処理システムＩＰＳ１では、第１または第２の態様において、第１照明装置２１及び第２照明装置２２が決められた順序でそれぞれ発光するように、第１照明装置２１及び第２照明装置２２の各発光タイミングの周期が設定されていることが好ましい。

したがって、ＬＥＤ９２に照射される照明光の照明条件が周期的に決められた順序で切り換わるので、画像処理システムＩＰＳ１は、時系列に沿って受け取った一連の複数のライン画像のそれぞれの照明条件を容易に識別できる。

また、実施形態に係る第４の態様の画像処理システムＩＰＳ１では、第３の態様において、画像処理装置１１は、画像分類部１１３と、画像補正部１１４と、第１処理部１１５と、第２処理部１１６と、を備えることが好ましい。画像分類部１１３は、撮像装置３が撮像した複数の前記ライン画像を、第１照明装置２１及び第２照明装置２２にそれぞれ対応するグループのいずれかに分類する。画像補正部１１４は、複数のグループのそれぞれに対応する補正画像Ｇ６，Ｇ７として、複数のグループのそれぞれに属するライン画像（第１ライン画像Ｇ５１及び第２ライン画像Ｇ５２）を用いてＬＥＤ９２が写った各濃淡画像を生成する。第１処理部１１５は、複数のグループの各補正画像Ｇ６，Ｇ７の差分画像を第１画像Ｇ８として生成する。また、第１処理部１１５は、複数のグループの各補正画像Ｇ６，Ｇ７を比較し、各補正画像Ｇ６，Ｇ７の同一座標の複数の画素のうち最も暗い輝度を示す濃淡値の画素を当該座標の画素とした濃淡画像を第２画像Ｇ９として生成する。第２処理部１１６は、第１画像Ｇ８と第２画像Ｇ９との差分画像を、ＬＥＤ９２の凹部（欠陥凹部８１）を強調した第３画像Ｇ１０として生成する。

したがって、画像処理システムＩＰＳ１では、ＬＥＤ９２の欠陥凹部８１とＬＥＤ９２の表面汚れ８２とが、第３画像Ｇ１０において容易に識別される。

また、実施形態に係る第５の態様の画像処理システムＩＰＳ１では、第４の態様において、画像補正部１１４は、複数のグループのそれぞれにおいて、撮像装置３の撮像タイミングの時系列に沿って並んだ２つ以上のライン画像の各間を補完することで、補正画像Ｇ６，Ｇ７を生成することが好ましい。

したがって、画像処理システムＩＰＳ１では、間引かれたライン画像に基づいて、ＬＥＤ９２の全体が写った濃淡画像を補正画像Ｇ６，Ｇ７として生成することができる。

また、実施形態に係る第６の態様の画像処理システムＩＰＳ１では、第４または第５の態様において、第３画像Ｇ１０に対して平滑化処理を行う画像平滑部１１７をさらに備えることが好ましい。

したがって、画像処理システムＩＰＳ１は、第３画像Ｇ１０からノイズを低減することができる。

また、実施形態に係る第７の態様の画像処理システムＩＰＳ１では、第６の態様において、画像平滑部１１７は、クロスメディアンフィルタであることが好ましい。

したがって、画像処理システムＩＰＳ１は、進行方向Ｘ１に沿って濃淡値が変化するグラデーションによるノイズを第３画像Ｇ１０から低減することができる。

また、実施形態に係る第８の態様の画像処理システムＩＰＳ１では、第４乃至第７の態様のいずれか一つにおいて、画像処理装置１１は、第３画像Ｇ１０に基づいて、ＬＥＤ９２の欠け（欠陥凹部８１）の検査を行う検査部１１８をさらに備えることが好ましい。

したがって、画像処理システムＩＰＳ１は、ＬＥＤ９２の欠けの有無、欠けの程度を判断して、ＬＥＤ９２の外観検査を行うことができる。

また、実施形態に係る第９の態様の画像処理システムＩＰＳ１では、第４乃至第８の態様のいずれか一つにおいて、複数の照明装置は、第１照明装置２１及び第２照明装置２２で構成される。そして、第１照明装置２１及び第２照明装置２２が交互に発光するように、第１照明装置２１の発光タイミングである第１発光タイミング及び第２照明装置２２の発光タイミングである第２発光タイミングが交互に設定されていることが好ましい。

したがって、画像処理システムＩＰＳ１は、２つの照明装置（第１照明装置２１及び第２照明装置２２）を用いて、互いに異なる２つの照明条件下で撮像された各画像に画像処理を施すことができる。この結果、照明条件が異なる２つの照明光をそれぞれ照射された検査対象を撮像して画像処理を行う場合に、構成部品の数を低減できる。

また、実施形態に係る第１０の態様の画像処理システムＩＰＳ１では、第９の態様において、第１照明装置２１の照射方向と第２照明装置２２の照射方向とは、前記相対位置の変化方向（進行方向Ｘ１）に沿って互いに反対方向であることが好ましい。

したがって、画像処理システムＩＰＳ１は、ＬＥＤ９２の欠陥凹部８１による画像上の特徴と、ＬＥＤ９２の表面汚れ８２による画像上の特徴とを容易に識別できる。

また、実施形態に係る第１１の態様の画像処理システムＩＰＳ１では、第１乃至第１０の態様のいずれか一つにおいて、撮像装置３とＬＥＤ９２との相対位置は、進行方向Ｘ１（第１方向）に沿って変化する。そして、ライン画像の撮像範囲は、進行方向Ｘ１に交差する第２方向に延びる長尺形状であることが好ましい。

したがって、画像処理システムＩＰＳ１は、ラインセンサ３１を用いた画像処理を精度よく行うことができる。

上述の実施形態に係る第１２の態様の画像処理方法は、撮像ステップＳ１と、照明ステップＳ２と、画像処理ステップＳ３と、を備える。撮像ステップＳ１は、相対位置が変化するＬＥＤ９２をラインセンサ３１によって撮像したライン画像（第１ライン画像Ｇ５１及び第２ライン画像Ｇ５２）の情報を生成する。照明ステップＳ２は、ＬＥＤ９２に対する照明条件が互いに異なる各照明光Ｌｔ１，Ｌｔ２をＬＥＤ９２にそれぞれ照射する。画像処理ステップＳ３は、ライン画像の情報を受け取って画像処理を行う。そして、照明ステップＳ２は、ＬＥＤ９２に対して、互いに異なる発光タイミングで各照明光Ｌｔ１，Ｌｔ２をそれぞれ繰り返し照射する。撮像ステップＳ１は、各照明光Ｌｔ１，Ｌｔ２の発光タイミングに同期してＬＥＤ９２を撮像する。

したがって、画像処理方法は、画像処理システムＩＰＳ１と同様に、照明条件が異なる複数の照明光をそれぞれ照射された検査対象を撮像して画像処理を行う場合に、構成部品の数を低減できる。

上述の実施形態に係る第１３の態様のプログラムは、コンピュータシステム１に、第１２の態様の画像処理方法を実行させる。

したがって、プログラムは、上述の画像処理方法と同様に、照明条件が異なる複数の照明光をそれぞれ照射された検査対象を撮像して画像処理を行う場合に、構成部品の数を低減できる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

ＩＰＳ１ 画像処理システム
１ コンピュータシステム
１１ 画像処理装置
１１３ 画像分類部
１１４ 画像補正部
１１５ 第１処理部
１１６ 第２処理部
１１７ 画像平滑部
１１８ 検査部
２１ 第１照明装置
２２ 第２照明装置
３ 撮像装置
３１ ラインセンサ
８１ 欠陥凹部
９２ ＬＥＤ（対象物）
Ｘ１ 進行方向（相対位置の変化方向）
Ｌｔ１，Ｌｔ２ 照明光
Ｇ５１ 第１ライン画像（ライン画像）
Ｇ５２ 第２ライン画像（ライン画像）
Ｇ６，Ｇ７ 補正画像
Ｇ８ 第１画像
Ｇ９ 第２画像
Ｇ１０ 第３画像
Ｓ１ 撮像ステップ
Ｓ２ 照明ステップ
Ｓ３ 画像処理ステップ

Claims (13)

1. 相対位置が変化する対象物をラインセンサによって撮像したライン画像の情報を生成する撮像装置と、
   前記対象物に対する照明条件が互いに異なる各照明光を前記対象物にそれぞれ照射する複数の照明装置と、
   前記ライン画像の情報を受け取って画像処理を行う画像処理装置と、を備え、
   前記複数の照明装置は、前記対象物に対して、互いに異なる発光タイミングで前記各照明光をそれぞれ繰り返し照射し、
   前記撮像装置は、前記複数の照明装置の各発光タイミングに同期して前記対象物を撮像する
   ことを特徴とする画像処理システム。
2. 前記照明条件は、前記対象物に対する照明方向であり、
   前記複数の照明装置は、前記各照明光を互いに異なる方向から前記対象物にそれぞれ照射する
   ことを特徴とする請求項１記載の画像処理システム。
3. 前記複数の照明装置が決められた順序でそれぞれ発光するように、前記複数の照明装置の前記各発光タイミングの周期が設定されていることを特徴とする請求項１または２記載の画像処理システム。
4. 前記画像処理装置は、
   前記撮像装置が撮像した複数の前記ライン画像を、前記複数の照明装置にそれぞれ対応するグループのいずれかに分類する画像分類部と、
   前記複数のグループのそれぞれに対応する補正画像として、前記複数のグループのそれぞれに属する前記ライン画像を用いて前記対象物が写った各濃淡画像を生成する画像補正部と、
   前記複数のグループの各補正画像の差分画像を第１画像として生成し、前記複数のグループの各補正画像を比較し、前記各補正画像の同一座標の複数の画素のうち最も暗い輝度を示す濃淡値の画素を当該座標の画素とした濃淡画像を第２画像として生成する第１処理部と、
   前記第１画像と前記第２画像との差分画像を、前記対象物の凹部を強調した第３画像として生成する第２処理部と、を備える
   ことを特徴とする請求項３記載の画像処理システム。
5. 前記画像補正部は、前記複数のグループのそれぞれにおいて、前記撮像装置の撮像タイミングの時系列に沿って並んだ２つ以上の前記ライン画像の各間を補完することで、前記補正画像を生成することを特徴とする請求項４記載の画像処理システム。
6. 前記第３画像に対して平滑化処理を行う画像平滑部をさらに備えることを特徴とする請求項４または５記載の画像処理システム。
7. 前記画像平滑部は、クロスメディアンフィルタであることを特徴とする請求項６記載の画像処理システム。
8. 前記画像処理装置は、前記第３画像に基づいて、前記対象物の欠けの検査を行う検査部をさらに備えることを特徴とする請求項４乃至７のいずれか一項に記載の画像処理システム。
9. 前記複数の照明装置は、第１照明装置及び第２照明装置で構成され、
   前記第１照明装置及び前記第２照明装置が交互に発光するように、前記第１照明装置の前記発光タイミングである第１発光タイミング及び前記第２照明装置の前記発光タイミングである第２発光タイミングが交互に設定されている
   ことを特徴とする請求項４乃至８のいずれか一項に記載の画像処理システム。
10. 前記第１照明装置の照射方向と前記第２照明装置の照射方向とは、前記相対位置の変化方向に沿って互いに反対方向であることを特徴とする請求項９記載の画像処理システム。
11. 前記撮像装置と前記対象物との前記相対位置は、第１方向に沿って変化し、
    前記ライン画像の撮像範囲は、前記第１方向に交差する第２方向に延びる長尺形状である
    ことを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理システム。
12. 相対位置が変化する対象物をラインセンサによって撮像したライン画像の情報を生成する撮像ステップと、
    前記対象物に対する照明条件が互いに異なる各照明光を前記対象物にそれぞれ照射する照明ステップと、
    前記ライン画像の情報を受け取って画像処理を行う画像処理ステップと、を備え、
    前記照明ステップは、前記対象物に対して、互いに異なる発光タイミングで前記各照明光をそれぞれ繰り返し照射し、
    前記撮像ステップは、前記各照明光の発光タイミングに同期して前記対象物を撮像する
    ことを特徴とする画像処理方法。
13. コンピュータシステムに、請求項１２記載の画像処理方法を実行させることを特徴とするプログラム。