以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
まず、本発明における異物検出の原理について説明する。
図1(A)に示す撮像素子10は、例えば撮像素子パッケージ(後述)に収容されており、撮像素子10の受光面10Aの前面側にカバーガラス12が配置されている。撮像素子10の受光面10A、カバーガラス12の表面(前面12A及び背面12B)には、埃塵が付着する等によって異物が存在する場合があり、同図(A)では、それらの全ての表面部分に異物G1、G2、G3が存在している場合を例示している。
ここで、撮像素子10の受光面10A上の水平方向(横方向)にX軸、垂直方向(縦方向)にY軸(紙面に垂直)をとり、受光面10Aに対して垂直方向にZ軸をとるものとし、撮像素子10の光軸OをZ軸に平行であるものとする。また、撮像素子10の受光面10Aとカバーガラス12の前面12A及び背面12Bは、略平行となるように配置されている。
このような撮像素子10及びカバーガラス12の異物検出において、まず、同図(A)のように光軸O(Z軸)に平行な平行光を照明光として撮像素子10の受光面10Aに照射する。即ち、撮像素子10の受光面10Aに対して垂直に入射する平行光を照明光として照射する。平行光は、例えば、点光源20から放射状に出射されて拡散する拡散光をコリメータレンズ30で平行光にすることによって得られる。レーザ光源を用いて平行光を照射するようにしてもよい。
このとき撮像素子10の受光面10Aには、異物に遮られずに照明光が照射される明領域と、異物の陰となって照明光が照射されない暗領域とが生じる。暗領域のXY座標値の範囲は、それを形成した異物のXY座標値の範囲と一致している。同図(A)には、異物G1〜G3の各々の陰となって照明光が照射されない暗領域g11〜g13が示されており、それらの暗領域g11〜g13のXY座標値の範囲(大きさ及び形状)は、異物G1〜G3の各々のXY座標値の範囲(大きさ及び形状)と一致している。
この同図(A)に示す照明状態を以下、基準の照明状態(第1の照明状態)というものとすると、その基準の照明状態において撮像素子10により受光面10A上の像を撮像すると、同図(B)のような撮影画像P1が得られる。撮影画像P1上の各点には受光面10Aの対応点と同じXY座標値を割り当てるものとすると、受光面10Aにおける明領域内のXY座標値と一致する撮影画像P1上のXY座標値の範囲の画素は明るく、撮影画像P1上に明領域を形成する。一方、受光面10Aにおける暗領域内のXY座標値と一致する撮影画像P1上のXY座標値の範囲の画素は暗く、撮影画像P1上に暗領域を形成する。同図(B)には、異物G1〜G3の各々により形成された受光面10A上の暗領域g11〜g13に対応する撮影画像P1上の暗領域h1〜h3が示されている。
したがって、この撮影画像P1において、画素値が所定の閾値よりも小さくなる暗領域のXY座標値の範囲を検出することによって、受光面10A上に形成された暗領域のXY座標値の範囲が検出され、XYZ座標空間において異物が存在するXY座標値の範囲が特定される。なお、撮影画像への影響を考慮しなければならない程のZ軸方向の厚さを有する異物が存在することは稀であるため、本明細書では、異物のZ軸方向の厚みは極めて薄いもの(無いもの)として扱うことにする。
次に、XYZ座標空間における異物のZ座標値(受光面10Aからの距離)を特定するために照明状態を変えて撮像素子10の受光面10A上の像を撮像する。第1の異物検出方法では、図1(A)の基準の照明状態に対して、図2(A)のような照明状態(第2の照明状態)に切り替える。この第2の照明状態では、点光源20から放射状に出射されて拡散する拡散光をそのまま照明光として撮像素子10の受光面10Aに照射する。なお、点光源の位置は図1(A)と同じである必要はない。また、点光源20は、後述のように絞りを使用して形成することができるが、発光面が極めて小さい光源を用いてもよい。
このとき撮像素子10の受光面10Aには、点光源20から出射された照明光が異物に遮られずに照射される明領域と、点光源20から放出された照明光が異物に遮られて照明光が照射されない暗領域とが生じる。同図(A)には、異物G1〜G3の各々の陰となって照明光が照射されない暗領域g21〜g23が示されている。
この状態において撮像素子10により受光面10Aの像を撮像すると、同図(B)のような撮影画像P2が得られる。この撮影画像P2においても、受光面10Aにおける明領域に対応する撮影画像P2上のXY座標値の範囲の画素は明るく、撮影画像P2上に明領域を形成する。一方、受光面10Aにおける暗領域に対応する撮影画像P2上のXY座標値の範囲の画素は暗くなり、撮影画像P2上に暗領域を形成する。同図(B)には、異物G1〜G3の各々により形成された受光面10A上の暗領域g21〜g23に対応する撮影画像P2上の暗領域i1〜i3が示されている。
ここで、受光面10Aにおける暗領域の大きさ、即ち、撮影画像P2における暗領域の大きさは、XYZ座標空間において異物が存在する位置のZ座標値によって異なる。即ち、図3に示すように撮像素子10の受光面10AのZ座標値をZ0(例えば0)、点光源20のZ座標値をZS、異物Gが存在する位置のZ座標値をZG、異物GのX軸方向の大きさをWGとすると、その異物Gによって受光面10A(及び撮影画像P2)に形成される暗領域gのX軸方向の大きさWiは、次式(1)、
Wi=(ZS−Z0)・WG/(ZS−ZG)・・・(1)
により求められる。Y軸方向に関しても同様の式が成り立つ。
したがって、異物Gが受光面10Aから遠い程、異物Gが受光面10A(及び撮影画像P2)に形成する暗領域gは大きくなる。その異物により受光面10A(及び撮影画像P2)に形成される暗領域gの大きさ(面積S)は、異物Gのそのものの大きさ(面積SG)、即ち、その異物により撮影画像P1に形成される暗領域の大きさ(面積SG)よりも大きく、その拡大率K(=S/SG)は、異物Gが受光面10Aから遠い程、大きくなる。
ここで拡大率Kは、上式(1)に基づき次式(2)、
K=S/SG=(ZS−Z0)2/(ZS−ZG)2・・・(2)
により導かれる。
また、Z座標値Z0、ZSは既知の値であるため、拡大率Kから異物が存在する位置のZ座標値ZGを特定することができるが、異物GのZ座標値ZGは、受光面10AのZ座標値Z0、カバーガラス12の前面12AのZ座標値Z1、背面12BのZ座標値Z2のうちのいずれかに限られているため、拡大率Kは、3通りの値のうちのいずれかに近い値となる。即ち、異物Gが受光面10Aに存在する場合の拡大率KをK0、異物Gがカバーガラス12の前面12Aに存在する場合の拡大率KをK1、異物Gがカバーガラス12の背面12Bに存在する場合の拡大率KをK2とすると、各々、以下の値となる。
K0=(ZS−Z0)2/(ZS−Z0)2=1
K1=(ZS−Z0)2/(ZS−Z1)2
K2=(ZS−Z0)2/(ZS−Z2)2
(K0<K2<K1)
そこで、まず、撮影画像P2において、画素値が所定の閾値よりも小さくなる暗領域のXY座標値の範囲を検出し、検出した暗領域に対して、同一の異物により形成された撮影画像P1上の暗領域を対応付ける。例えば、1つのみの異物が存在する場合には、撮影画像P1、P2上の暗領域も1つであるため、それらを対応付け、複数の異物が存在する場合には、撮影画像P2上の各暗領域に対して最も近接する撮影画像P1上の暗領域を対応付けるようにすればよい。また、複数の異物の各々によって形成される撮影画像P1上の各暗領域の配列と、各異物に対応する撮影画像P2上の各暗領域の配列とは一致しているため、その配列により同一の異物に対応する撮影画像P1上の暗領域と、撮影画像P2上の暗領域とを対応付けることもできる。これによって、図4に示すように撮影画像P2上に例示されている暗領域i1〜i3の各々と、撮影画像P1上に例示されている暗領域h1〜h3の各々とが同一の異物G1〜G3によって形成された暗領域として対応付けられる。
続いて、撮影画像P2上の各暗領域について、撮影画像P2上の暗領域の面積Sと、その暗領域に対応する撮影画像P1上の暗領域の面積SGとから拡大率Kを求める。そして、撮影画像P2(又は撮影画像P1)上の各暗領域の拡大率Kについて、上記拡大率K0〜K2のうちの最も近い値となるものを検出する。その結果、拡大率K0(1)が最も近い値となった暗領域については、その暗領域を形成した異物が受光面10Aの位置(Z座標値Z0)に存在するものと特定することができる。例えば、図1(B)、図2(B)、図4に例示されている撮影画像P1の暗領域h1に対する撮影画像P2の暗領域i1の拡大率Kは拡大率K0に最も近い値となり、その暗領域h1、i1を形成した異物G1は受光面10A上の位置に存在するものと特定される。
拡大率K1が最も近い値となった暗領域については、その暗領域を形成した異物がカバーガラス12の前面12Aの位置(Z座標値Z1)に存在するものと特定することができる。例えば、図1(B)、図2(B)、図4に例示されている撮影画像P1の暗領域h2に対する撮影画像P2の暗領域i2の拡大率Kは拡大率K1に最も近い値となり、その暗領域h2、i2を形成した異物G2はカバーガラス12の前面12A上の位置に存在するものと特定される。
拡大率K2が最も近い値となった暗領域については、その暗領域を形成した異物がカバーガラス12の背面12Bの位置(Z座標値Z2)に存在するものと特定することができる。例えば、図1(B)、図2(B)、図4に例示されている撮影画像P1の暗領域h3に対する撮影画像P2の暗領域i3の拡大率Kは拡大率K2に最も近い値となり、その暗領域h3、i3を形成した異物G3はカバーガラス12の背面12B上の位置に存在するものと特定される。
以上により、撮像素子10の受光面10Aとカバーガラス12の前面12A及び背面12Bのうちの異物が存在する表面を特定することができると共にその表面における異物の位置座標の範囲を特定することができ、異物の3次元的な位置、大きさ、形状を特定することができる。
なお、暗領域から求めた拡大率Kに対して上式(2)を用いて、異物が存在する位置のZ座標値を求めてもよい。また、拡大率Kとして、異物が形成する撮影画像P2上の暗領域の面積を撮影画像P1上の暗領域の面積で割った値としたが、面積の代わりに、暗領域の特定方向(X軸方向やY軸方向)の最大幅等の長さとして拡大率を求めてもよい。
次に、第2の異物検出方法について説明すると、第1の異物検出方法と同様に、図1(A)の基準の照明状態において撮影画像P1を撮像すると、図5(A)のような照明状態(第3の照明状態)に切り替える。この第3の照明状態では、図5(A)のように光軸Oに対して所定角度斜めとなる方向の平行光を照明光として撮像素子10の受光面10Aに照射する。例えば、XZ座標面を入射面として平行光を所定の入射角θで受光面10Aに照射する。この平行光は、図1(A)における点光源20及びコリメータレンズ30の光軸O′(平行光の進行方向に一致)を撮像素子10の光軸Oに対して斜めに傾斜させることによって得られる。
このとき撮像素子10の受光面10Aには、異物に遮られずに照明光が照射される明領域と異物の陰となって照明光が照射されない暗領域とが生じる。同図(A)には、図1(A)等にも示した異物G1〜G3の各々の陰となって照明光が照射されない暗領域g31〜g33が示されている。なお、基準の照明状態の場合と同様に、暗領域のXY座標値の範囲は、それを形成した異物のXY座標値の範囲と一致している。
この状態において撮像素子10により受光面10Aの像を撮像すると、同図(B)のような撮影画像P3が得られる。同図(B)には、異物G1〜G3の各々により形成された受光面10A上の暗領域g31〜g33に対応する撮影画像P3上の暗領域j1〜j3が示されている。
ここで、受光面10Aにおける暗領域の位置、即ち、撮影画像P3における暗領域の位置は、同一の異物によって撮影画像P1上に形成された暗領域の位置に対して、異物が存在する位置のZ座標値に応じた分だけX軸方向にシフトする。そのシフト量ΔXは、図6に示すように、受光面10AのZ座標値をZ0、異物Gが存在する位置のZ座標値をZG、平行光の傾斜角度(受光面10Aへの入射角)をθとすると、次式(3)、
ΔX=(ZG−Z0)・tanθ・・・(3)
により求められる。
したがって、異物Gが受光面10Aから遠い程、シフト量ΔXが大きくなる。
また、θ、Z0は既知の値であるため、シフト量ΔXから異物が存在する位置のZ座標値ZGを特定することができるが、異物GのZ座標値ZGは、受光面10AのZ座標値Z0、カバーガラス12の前面12AのZ座標値Z1、背面12BのZ座標値Z2のうちのいずれかに限られているため、シフト量ΔXは、3通りの値のうちのいずれかに近い値となる。即ち、異物Gが受光面10Aに存在する場合のシフト量ΔXをΔX0、異物Gがカバーガラス12の前面12Aに存在する場合のシフト量ΔXをΔX1、異物Gがカバーガラス12の背面12Bに存在する場合のシフト量ΔXをΔX2とすると、各々、以下の値となる。
ΔX0=(Z0−Z0)・tanθ=0
ΔX1=(Z1−Z0)・tanθ
ΔX2=(Z2−Z0)・tanθ
(ΔX0<ΔX2<ΔX1)
そこで、まず、撮影画像P3において、画素値が所定の閾値よりも小さくなる暗領域のXY座標値の範囲を検出し、検出した暗領域に対して、同一の異物により形成された撮影画像P1上の暗領域を対応付ける。この対応付けは、上記第1の異物検出方法と同様に行うことができる。これによって、図7に示すように撮影画像P3上に例示されている暗領域j1〜j3の各々と、撮影画像P1上に例示されている暗領域h1〜h3の各々とが同一の異物G1〜G3によって形成された暗領域として対応付けられる。
続いて、撮影画像P3上の各暗領域について、撮影画像P1上の対応する暗領域の位置に対するX軸方向のシフト量ΔXを求める。そして、撮影画像P2(又は撮影画像P1)上の各暗領域のシフト量ΔXについて、上記シフト量ΔX0〜ΔX2のうちの最も近い値となるものを検出する。その結果、シフト量ΔX0が最も近い値となった暗領域については、その暗領域を形成した異物が受光面10Aの位置(Z座標値Z0)に存在するものと特定することができる。例えば、図1(B)、図5(B)、図7に例示されている撮影画像P1の暗領域h1に対する撮影画像P3の暗領域j1のシフト量ΔXはシフト量ΔX0(0)に最も近い値となり、その暗領域h1、j1を形成した異物G1は受光面10A上の位置に存在するものと特定される。
シフト量ΔX1が最も近い値となった暗領域については、その暗領域を形成した異物がカバーガラス12の前面12Aの位置(Z座標値Z1)に存在するものと特定することができる。例えば、図1(B)、図5(B)、図7に例示されている撮影画像P1の暗領域h2に対する撮影画像P3の暗領域j2のシフト量ΔXはシフト量ΔX1に最も近い値となり、その暗領域h2、j2を形成した異物G2はカバーガラス12の前面12A上の位置に存在するものと特定される。
シフト量ΔX2が最も近い値となった暗領域については、その暗領域を形成した異物がカバーガラス12の背面12Bの位置(Z座標値Z2)に存在するものと特定することができる。例えば、図1(B)、図5(B)、図7に例示されている撮影画像P1の暗領域h3に対する撮影画像P3の暗領域j3のシフト量ΔXはシフト量ΔX2に最も近い値となり、その暗領域h3、j3を形成した異物G3はカバーガラス12の背面12B上の位置に存在するものと特定される。
以上により、撮像素子10の受光面10Aとカバーガラス12の前面12A及び背面12Bのうちの異物が存在する表面を特定することができると共にその表面における異物の位置座標の範囲を特定することができ、異物の3次元的な位置、大きさ、形状を特定することができる。
図8は、本発明に係る異物検出装置の全体構成を示した構成図であり、上記の第1及び第2の異物検出方法による異物検出を実施可能にする異物検出装置の構成図である。
同図に示すように、異物検出装置は、撮像素子パッケージ装着部50(単に装着部50という)と、光源部60と、制御・検出部80とから構成されている。
装着部50は、所定の製品に組み込む前の撮像素子パッケージ2を検査対象として着脱可能に装着するための構成部であり、例えば制御・検出部80からの信号線が接続された接続端子を有し、それらの接続端子を撮像素子パッケージ2の対応する接続端子14B、14B・・・に接続した状態で保持するソケットである。
撮像素子パッケージ2は、例えば、CCDやCMOSのような撮像素子(チップ)10、凹状の収容部14Aを有するパッケージ本体14、収容部14Aの開口を塞ぐカバーガラス12等を備えて構成されている。なお、同図における撮像素子パッケージ2の撮像素子10、カバーガラス12は、図1、2、4等に示した撮像素子10、カバーガラス12に相当する。
撮像素子10は、パッケージ本体14の収容部14Aに収容されると共に、受光面10Aを収容部14Aの開口側に向けて固定されている。パッケージ本体14には収容部14Aから連通して外部に露呈する接続端子(ピン)14B、14B、・・・が設けられており、それらの接続端子14Bと、撮像素子10上のボンディングパッドとがワイヤボンディング等によりボンディングされている。そして、収容部14Aの開口を塞ぐようにカバーガラス12がパッケージ本体14に貼り付けられて収容部14A内が密封(封止)されている。
装着部50は、このような撮像素子パッケージ2の撮像素子10の受光面10Aを光源部60側に向けた状態で保持している。なお、以下、同図の構成図の説明において撮像素子パッケージ2という場合には装着部50に装着されている検査対象の撮像素子パッケージ2を示すものとする。
光源部60は、撮像素子パッケージ2に対して、照明光を照射するための構成部であり、図1(A)、図2(A)、図5(A)に示したものに相当する点光源20及びコリメータレンズ30と、照明状態を変更するための駆動機構66とから構成されている。
点光源20は、点とみなせる十分小さな領域からコリメータレンズ30側に放射状に拡散する拡散光を出射する光源であり、例えば、任意の発光面積を有する光源(ランプ)62と、円形の微小な開口(孔)を有する絞り(又はアパ−チェー)64とから構成されている。これにより、光源62から出射された光のうち、絞り64の開口を通過した光が、開口の位置を点光源の位置として放射状に拡散する拡散光としてコリメータレンズ30に入射する。
コリメータレンズ30は、点光源20からの拡散光を平行光にするためのレンズであり、点光源20から出射された光を平行光の照明光として撮像素子パッケージ2(撮像素子10の受光面10A)に照射する。
駆動機構66は、光源部60の照明状態を変更するための手段である。本装置において、上述の第1の異物検出方法を採用する場合には、駆動機構66は、点光源20から出射されて撮像素子パッケージ2に照射される照明光が通過する光路に対してコリメータレンズ30を挿抜する機構を示す。このとき、図1(A)の基準の照明状態とする場合には、駆動機構66は、図8のようにコリメータレンズ30を光路上に挿入した状態に設定する。なお、図8において、コリメータレンズ30から出射された平行光が進行する方向に平行な光源部60の光軸O′は撮像素子パッケージ2の撮像素子10の光軸Oに平行に配置されており、光源部60から照明光として出射された平行光は、撮像素子10の光軸Oに対して平行で、且つ、受光面10Aに垂直に照射される状態となっている。
一方、図2(A)の第2の照明状態とする場合、駆動機構66は、図9のようにコリメータレンズ30を光路上から抜出(退避)させた状態に設定する。これにより、図1(A)に示したように撮像素子パッケージ2の撮像素子10の受光面10Aに対して垂直に入射する平行光を照明光として光源部60から照射する基準の照明状態と、図2(A)に示したように撮像素子10の受光面10Aに対して点光源20から放射状に拡散する拡散光を照明光として光源部60から照射する第2の照明状態とで切り替えることができる。
これに対して、本装置において、上述の第2の異物検出方法を採用する場合には、駆動機構66は、例えば撮像素子10の付近に位置する光軸Oに直交する軸を中心にして光源部60(点光源20及びコリメータレンズ30)を一体的に回動させる機構を示す。このとき、図1(A)の基準の照明状態とする場合には、駆動機構66は、図8のように光源部60の光軸O′を、撮像素子10の光軸Oに平行にした状態に設定する。
一方、図5(A)の第3の照明状態とする場合には、駆動機構66は、図10のように光源部60の光軸O′を、撮像素子10の光軸Oに対して所定角度傾斜させた状態に設定する。これにより、図1(A)に示したように撮像素子パッケージ2の撮像素子10の受光面10Aに対して垂直に入射する平行光を照明光として光源部60から照射する基準の照明状態と、図5(A)に示したように撮像素子10の受光面10Aに対して斜めに入射する平行光を照射光として光源部60から照射する第3の照明状態とで切り替えることができる。
なお、駆動機構66において、光源部60と撮像素子パッケージ2との間の距離を可変する機構を設けてもよい。また、駆動機構66による光源部60の照明状態の切り替えは手動(手動力)で行うものであっても良いが、本実施の形態ではモータを駆動して電動で行うものとする。
制御・検出部80は、光源部60の制御、撮像素子パッケージ2の撮像素子10の制御、データ処理などを実施する。これらの制御、処理を行うために、制御・検出部80は、システム制御部100、操作部82、表示部84、光源制御部86、撮像素子駆動部88、画像取込部90、画像メモリ92、異物検出部94、異物情報記憶部96等で構成されている。
制御・検出部80における各構成部は、各構成部にシステムバス101を介して接続されたシステム制御部100により統括的に制御されて動作するようになっており、システム制御部100は、操作部82に対して行われた使用者の操作を検出し、その操作にしたがって各種処理を実行すると共に各構成部に所要の処理を実行させるようになっている。また、表示部84には、使用者に対して必要な操作を案内する案内情報や、異物検出の結果情報等を表示させるようになっている。
光源部60の制御は、システム制御部100からの制御信号にしたがって光源制御部86を介して行われるようになっており、光源62への電力の供給のオン/オフを切り替えることにより、光源62の点灯/消灯の切り替えが行われる。また、駆動機構66のモータを制御することにより、光源部60の上記のような照明状態の切り替えが行われるようになっている。なお、光源62の点灯と消灯は、操作部82の操作によって行えるようにしても良いし、装置全体の電源のオン/オフに連動させるようにしてもよい。また、光源部60の照明状態の切り替えは、一連の異物検査の作業を使用者が手動で行う場合には操作部82の操作にしたがって行われ、一連の異物検査の作業を自動で行う場合には自動実行プログラムにしたがって行われるようになっている。
撮像素子パッケージ2の撮像素子10の制御は、システム制御部100からの制御信号にしたがって撮像素子駆動部88を介して行われるようになっており、撮像素子10の撮像動作(露光と蓄積電荷の吐き出し)に必要な駆動パルス等を撮像素子駆動部88から装着部50の接続端子を介して撮像素子パッケージ2の撮像素子10に与えることで、撮像素子10に撮像動作を行わせるようにしている。これによって、撮像素子10の受光面10A上の像が各画素の受光素子で光電変換されて、各画素の画素信号が撮像信号として撮像素子10から出力されるようになっている。
撮像素子10から出力された撮像信号は、装着部50の接続端子を介して画像取込部90により取り込まれるようになっている。画像取込部90では、撮像素子10からの撮像信号に対して所要のアナログ処理(ノイズ除去等)が施された後、アナログ信号からデジタル信号へと変換される。そして、システムバス101を介して画像メモリ92に撮影画像の画像データとして記憶されるようになっている。
これにより、図1の基準の照明状態、図2の第2の照明状態、図5の第3の照明状態において撮像素子10の受光面10Aの像を撮像した撮影画像P1、P2、P3を取得することができる。なお、これらの撮像素子10の撮像動作、撮影画像の取得は、一連の異物検査の作業を使用者が手動で行う場合に操作部82の操作(シャッター操作)にしたがって行われ、一連の異物検査の作業を自動で行う場合には自動実行プログラムにしたがって行われるようになっている。
異物検出部94は、システム制御部100からの指示にしたがって異物検出の処理を実行する。異物検出部94における異物検出の処理は、画像メモリ92に記憶された撮影画像を読み込んで、上述の第1又は第2の異物検出方法で示した異物検出にしたがった処理を実行し、撮像素子パッケージ2の撮像素子10の受光面10A、カバーガラス12の表面(前面12A及び背面12B)に存在する異物を検出して、その異物の位置、大きさ、形状を特定する。そして、特定した異物の位置、大きさ、形状を示す異物情報を異物情報記憶部96に記憶させる。
なお、異物情報記憶部96に記憶させた異物情報は、検査対象の撮像素子パッケージ2をデジタルカメラ等の製品に組み込んだ際に、その製品で利用できるように製品内のメモリに書き込まれる。そのため、そのメモリにデータを書き込む装置と、本装置との間でデータ通信可能にして異物情報記憶部96に記憶した異物情報を転送できるようにすることが望ましい。ただし、本装置で得た異物情報を、検査対象の撮像素子パッケージを組み込む製品のメモリを書き込むための手段はこれに限らずどのような方法であってもよい。
上記異物検出装置における異物検出の一連の作業及び処理の手順について、第1の異物検出方法を用いて自動で異物検出を行う場合(異物検出の自動実行処理を行う場合)を示した図11のフローチャートを用いて説明する。
ステップS10では、まず、検査対象の撮像素子パッケージ2を装着部50に装着する。そして、ステップS12に移行する。
ステップS12では、使用者が操作部82の操作によって異物検出の自動実行を指示する。これにより、ステップS14に移行すると共に、以後、自動実行プログラムにしたがってシステム制御部100により異物検出の一連の作業、処理が実行される。
ステップS14では、光源部60を図1(A)及び図8に示した基準の照明状態に設定し、光源62を点灯させる。そして、ステップS16に移行する。
ステップS16では、撮像素子パッケージ2の撮像素子10を撮像動作させ、受光面10Aの像を撮像した撮影画像P1を取得し画像メモリ92に記憶させる。そして、ステップS18に移行する。なお、ここで取得した撮影画像P1は、図1(B)に示した撮影画像P1に相当する。
ステップS18では、光源部60を図2(A)及び図9に示した第2の照明状態に設定する。そして、ステップS20に移行する。
ステップS20では、撮像素子パッケージ2の撮像素子10を撮像動作させ、受光面10Aの像を撮像した撮影画像P2を取得し画像メモリ92に記憶させる。そして、ステップS22に移行する。なお、ここで取得した撮影画像P2は、図2(B)に示した撮影画像P2に相当する。
ステップS22では、画像メモリ92に記憶された撮影画像P1、P2を異物検出部94に読み込ませて、以後、異物検出部94における異物検出処理を実行させる。まず、撮影画像P1、P2の各々において異物によって生じた暗領域を検出する。そして、ステップS24に移行する。
ステップS24では、撮影画像P1において検出された暗領域と、撮影画像P2において検出された暗領域とにおいて、同一の異物によって生じた暗領域の対応付けを行う。そして、ステップS26に移行する。
ステップS26では、撮影画像P1、P2の対応付けられた暗領域に基づいて、異物ごとに上述の拡大率Kを算出する。そして、ステップS28に移行する。
ステップS28では、ステップS26で算出された拡大率Kに基づいて、撮像素子10の受光面10Aとカバーガラス12の前面12A及び背面12Bのうちの異物が存在する表面を特定すると共にその表面における異物の位置座標の範囲を特定し、各異物の3次元的な位置、大きさ、形状を特定する。そしてステップS30に移行する。
ステップS30では、ステップS28により特定された各異物の位置等を示す異物情報を異物情報記憶部96に記憶させ、異物検出の自動実行処理を終了する。なお、異物情報を表示部84に表示させてもよい。
以上の異物検出の自動実行処理は、第1の異物検出方法を用いた場合を示すものであるが、第2の異物検出方法を用いる場合にも、上記フローチャートと略同様の手順で異物検出の作業及び処理が行われる。ただし、ステップS18において、光源部60を第2の照明状態に設定する代わりに、図5(A)及び図10に示した第3の照明状態に設定し、ステップS20において取得した撮影画像P2を図5(B)の撮影画像P3に相当する撮影画像として取得して画像メモリ92に記憶させる。そして、ステップS26において、拡大率Kを算出する代わりに、シフト量ΔXを算出し、ステップS28において、そのシフト量に基づいて各異物の位置等を特定する。
また、一連の異物検出の作業を使用者が手動で行う場合には、図11のフローチャートのうち、ステップS12における移動検出の自動実行を指示することなく、ステップS14〜ステップS20の処理を操作部82からの指示によって行わせた後、ステップS22〜ステップS30までの異物検出部94による異物検出処理を操作部82からの指示によって開始させるようにすればよい。
以上の異物検出装置によれば、撮像素子パッケージ2の撮像素子10の受光面10A、カバーガラス12の前面12A、カバーガラス12の背面12Bのいずれかに異物が存在する場合に、その異物が撮像素子10の受光面10A上のどの位置の前方に存在するかだけでなく、受光面10Aからの距離も特定して異物の3次元的な位置、大きさ、形状を特定することができる。即ち、撮像素子10の受光面10Aとカバーガラス12の前面12A及び背面12Bのうちの異物が存在する表面を特定することができると共にその表面における異物の位置座標の範囲を特定することができる。
撮像素子パッケージ2を製品に組み込んだ場合に、その異物が撮像素子10により撮像した撮影画像に欠陥領域を形成するものとして悪影響を及ぼすが、その影響度は、撮像素子パッケージ2の前方に配置される光学系の状態(焦点距離、絞り値等)や、異物の大きさ等だけでなく、異物が存在する位置の受光面10Aからの距離によっても異なる。そのため、欠陥領域の画像を周辺部の画像等を用いて補正する場合に、異物が存在する位置の受光面10Aからの距離が不明な状態であると、光学系の状態に応じて適切に補正することができない。
一方、上記の異物検出装置のように異物の3次元的な位置、大きさ、形状を特定し、その情報を撮像素子パッケージ2を組み込んだ製品において利用することによって、撮像素子パッケージ2の前方に配置される光学系の状態に応じて異物が撮影画像に与える影響を適切に把握することができ、異物により撮影画像に形成される欠陥領域の画像を適切に補正することができるようになる。例えば、撮像素子パッケージ2の前方に配置される光学系に絞りが含まれている場合に、絞り値が小さいとき(絞りの開口量が大きいとき)には、撮像素子10の受光面10Aから遠い異物(カバーガラス12の前面12Aに存在する異物)が撮影画像に与える影響はほとんどなく、欠陥領域の画像の補正を行う場合にはその異物を考慮しないものとすることができる。一方、絞り値が大きいとき(絞りの開口量が小さいとき)には、撮像素子10の受光面10Aから遠い異物(カバーガラス12の前面12Aに存在する異物)であっても、撮影画像に与える影響が大きくなり、欠陥領域の画像の補正を行う場合にはその異物も考慮するものと判断することができる。そして、その際に異物によって形成された欠陥領域を、その異物の3次元的な位置、大きさ、形状を考慮して(また、光学系の状態を考慮して)正確に把握して欠陥領域の画像を適切に補正することができるようになる。
以上、上記実施の形態では、第1の異物検出方法における第2の照明状態と、第2の異物検出方法における第3の照明状態において、前者では点光源20の所定位置に配置したときの撮影画像P2に基づいて、後者では平行光を所定の角度で照射したときの撮影画像P3に基づいて異物の位置、大きさ、形状(以下、異物の位置等という)を特定するようにしたが、受光面10Aから異なる距離に存在する複数の異物による受光面10A上の暗領域が重なってしまう等の原因によって適切に異物の位置等を検出することができない場合がある。
そこで、前者の場合には点光源20の位置を変えられるようにして複数の異物による暗領域が重ならない点光源20の位置で撮影画像P2を取得するようにしてもよい。また、点光源20の位置を予め決められた複数の位置の各々に配置したときの撮影画像P2を取得し、各々の撮影画像P2(及び基準の照明状態での撮影画像P1)に基づいて異物の位置等を特定し、それらを統合して全ての異物の位置等を特定するようにしてもよい。
また、後者の場合には受光面10Aに平行光を照射する角度を変えられるようにして複数の異物による暗領域が重ならない平行光の角度で撮影画像P2を取得するようにしてもよい。また、平行光を照射する角度を予め決められた複数の角度の各々に設定したときの撮影画像P3を取得し、各々の撮影画像P3(及び基準の照明状態での撮影画像P1)に基づいて異物の位置等を特定し、それらを統合して全ての異物の位置等を特定するようにしてもよい。
また、上記実施の形態では、図1(A)、図8に示した基準の照明状態において平行光を撮像素子10の受光面10Aに対して垂直に照射させるものとしたが、第1及び第2の異物検出方法のいずれにおいても、基準の照明状態として必ずしも平行光を受光面10Aに対して垂直に照射する必要はない。即ち、基準の照明状態において平行光を受光面10Aに対して斜めに照射した場合であっても、そのときに撮影した撮影画像P1の暗領域のXY座標値の範囲を検出することによって、その暗領域を形成した異物が、受光面10Aより前方の位置であって、受光面10A上の暗領域の範囲を平行光の方向に延ばしたときの領域内(受光面上の暗領域を範囲に対して平行光の方向となる領域内)に暗領域と同一の大きさ及び形状の異物として存在することを特定することができる。
そして、第1の異物検出方法では、上記撮影画像P1と第2の照明状態で撮影した撮影画像P2を用いて上述の拡大率Kを求めることによって異物が存在する位置の受光面10Aからの距離を特定することができる。したがって、これらの特定した内容から、異物の3次元的な位置、大きさ、形状を特定することができる。
また、第2の異物検出方法では、上記撮影画像P1と、基準の照明状態の平行光とは異なる角度で受光面10Aに平行光を照射する第3の照明状態で撮影した撮影画像P3を用いて上述のシフト量ΔXを求めることによって、撮影画像P1により特定した異物が存在し得る領域内のどの範囲に異物が存在するかを特定することができる。即ち、撮影画像P1から得られる受光面10A上の暗領域の範囲に対して基準の照明状態における平行光の方向となる領域と、撮影画像P3から得られる受光面10A上の暗領域の範囲に対して第3の照明状態における平行光の方向となる領域とが交わる領域をシフト量ΔXから求めることができ、その交わる領域に異物が存在する。したがって、異物の3次元的な位置、大きさ、形状を特定することができる。
また、上記実施の形態では、製品に組み込む前の撮像素子パッケージを異物検出の対象としたが、製品に組み込んだ後の撮像素子パッケージであっても、上記のような基準の照明状態と第2の照明状態とで切り替えて、又は、基準の照明状態と第3の照明状態とで切り替えて撮像素子の受光面を照明できるようにし、また、撮像素子で撮像した撮影画像を製品から異物検出装置に取り込めるようにして異物検出の処理を実行するようにすれば、異物検出の対象とすることができる。
また、上記実施の形態では、撮像素子パッケージを異物検出の対象としたが、撮像素子の受光面の前方にカバーガラスが配置されている構造のものであれば、上記実施の形態と同様にして受光面やカバーガラスの表面に存在する異物を検出することができ、異物検出の対象とすることができる。