JP2013093685A

JP2013093685A - 撮像装置

Info

Publication number: JP2013093685A
Application number: JP2011233630A
Authority: JP
Inventors: Eiichiro Yamada; 英一郎山田; Tatsuhiko Saito; 達彦齋藤
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2011-10-25
Filing date: 2011-10-25
Publication date: 2013-05-16
Also published as: US20130100320A1; EP2587795A2; EP2587795A3

Abstract

【課題】より確実に撮像素子の欠陥画素の撮像データの値を補正することができる撮像装置を提供する。
【解決手段】撮像装置１０は、制御部１１、撮像素子１２、メモリ１３および補正部１５を備える。メモリ１３は、各々一定時間である複数の期間それぞれにおいて一定の第一光量レベルの光を撮像素子１２の各画素に入射させたときに撮像素子１２から出力された各画素の撮像データにおいて、複数の画素のうちの或る画素の複数の期間それぞれの撮像データのばらつきが所定値以上である場合に、その画素を欠陥画素として特定する情報を記憶している。補正部１４は、複数の画素のうち欠陥画素に隣接する良好画素の撮像データに基づいて該欠陥画素のデータを求める。
【選択図】図２

Description

本発明は、撮像装置に関するものである。

撮像装置は、２次元配列された複数の画素を有し各画素の撮像データを出力する撮像素子を備える。このような撮像装置において、撮像素子の複数の画素のうち何れかの画素が欠陥画素であると、その欠陥画素の撮像データは異常な値となる。そこで、撮像装置を工場から出荷する段階で、撮像素子を検査することで複数の画素の中から欠陥画素を見出して、その欠陥画素を特定する情報を撮像装置のメモリに記憶させておき、撮像装置を使用する段階では、メモリに記憶された欠陥画素に隣接する良好画素の撮像データを用いて欠陥画素の撮像データを補間する処理が行われる（特許文献１参照）。このような処理が行われることにより、欠陥画素に起因する画質劣化が低減される。

特開２００７−１２４０５６号公報

ところで、撮像素子の欠陥画素は同一露光条件であっても撮像データの値が変動する場合があり、このような場合には欠陥画素を見逃す虞があることを、本発明者は見出した。

本発明は、上記問題点を解消する為になされたものであり、より確実に撮像素子の欠陥画素の撮像データの値を補正することができる撮像装置を提供することを目的とする。

本発明の撮像装置は、(1) ２次元配列された複数の画素を有し各画素の撮像データを出力する撮像素子と、(2) 複数の画素のうち欠陥画素を特定する情報が記憶されたメモリと、(3) 撮像素子から出力された各画素の撮像データに基づいて、メモリに記憶された欠陥画素のデータを求める補正部と、を備えることを特徴とする。さらに、本発明の撮像装置では、(a) メモリが、各々一定時間である複数の期間それぞれにおいて一定の第一光量レベルの光を撮像素子の各画素に入射させたときに撮像素子から出力された各画素の撮像データにおいて、複数の画素のうちの或る画素の複数の期間それぞれの撮像データのばらつきが所定値以上である場合に、その画素を欠陥画素として特定する情報を記憶し、(b) 補正部が、複数の画素のうち欠陥画素に隣接する良好画素の撮像データに基づいて該欠陥画素のデータを求めることを特徴とする。ここで、「複数の期間それぞれの撮像データのばらつき」とは「複数の期間それぞれの撮像データの最大値と最小値の差」または「複数の期間それぞれの撮像データの標準偏差」を意味する。

本発明の撮像装置では、メモリが、複数の画素の複数の期間の撮像データの平均値に対して、複数の画素のうちの或る画素の複数の期間の撮像データの平均値が所定値以上異なっている場合に、その画素を欠陥画素として特定する情報を記憶しているのが好適である。また、メモリが、各々一定時間である複数の期間それぞれにおいて第一光量レベルとは異なる一定の第二光量レベルの光を撮像素子の各画素に入射させたときに撮像素子から出力された各画素の撮像データにおいて、複数の画素の複数の期間の撮像データの平均値に対して、複数の画素のうちの或る画素の複数の期間の撮像データの平均値が所定値以上異なっている場合に、その画素を欠陥画素として特定する情報を記憶しているのが好適である。

本発明の撮像装置では、補正部が、複数の画素のうち欠陥画素に隣接する全ての良好画素の撮像データの平均値を該欠陥画素のデータとするのが好適である。補正部が、複数の画素のうち欠陥画素に隣接し欠陥画素を挟む二つの良好画素の撮像データの平均値を該欠陥画素のデータとするのも好適である。補正部が、複数の画素のうち欠陥画素に対し左右方向に隣接する良好画素の撮像データの平均値を該欠陥画素のデータとするのも好適である。また、補正部が、複数の画素のうち欠陥画素に対し上下方向に隣接する良好画素の撮像データの平均値を該欠陥画素のデータとするのも好適である。

本発明によれば、より確実に撮像素子の欠陥画素の撮像データの値を補正することができる。

本実施形態の撮像装置１０および検査装置２０を備える検査システム１の構成を示す図である。本実施形態の撮像装置１０の構成を示す図である。欠陥画素判定部２１による欠陥画素の判定の方法を説明するフローチャートである。撮像素子１２の複数の画素のうち３×３個の画素を示す図である。ラインセンサ式ハイパースペクトル撮像装置１０Ａの構成を示す図である。

以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は、本実施形態の撮像装置１０および検査装置２０を備える検査システム１の構成を示す図であって、工場出荷時に撮像装置１０の撮像素子１２を検査する際の構成を示す。また、図２は、本実施形態の撮像装置１０の構成を示す図であって、撮像装置１０を使用する際の構成を示す。撮像装置１０は、制御部１１、撮像素子１２、メモリ１３、補正部１４、画像用インターフェース部１５および制御信号用インターフェース部１６を備える。また、検査装置２０は欠陥画素判定部２１を備える。

検査段階（図１）では、撮像装置１０の制御部１１は、２次元配列された複数の画素を有する撮像素子１２から出力された各画素の撮像データを入力して、その各画素の撮像データを画像用インターフェース部１５へ出力する。画像用インターフェース部１５は、制御部１１から受け取った各画素の撮像データを、検査装置２０の欠陥画素判定部２１へ出力する。

検査装置２０の欠陥画素判定部２１は、撮像装置１０の画像用インターフェース部１５から受け取った各画素の撮像データに基づいて、撮像装置１０の撮像素子１２の欠陥画素を判定し、その欠陥画素を特定する欠陥画素情報を撮像装置１０の制御信号用インターフェース部１６へ出力する。撮像装置１０の制御信号用インターフェース部１６は、検査装置２０の欠陥画素判定部２１から受け取った欠陥画素情報を制御部１１に与える。制御部１１は、その欠陥画素情報をメモリ１３に記憶させる。

使用段階（図２）では、不揮発性のメモリ１３は、撮像素子１２の複数の画素のうち欠陥画素を特定する情報を既に記憶している。制御部１１は、外部から制御信号用インターフェース部１６を経て入力される制御信号を受け取り、この制御信号に基づいて動作する。制御部１１は、撮像素子１２から出力された各画素の撮像データを入力して、その各画素の撮像データを補正部１４へ出力する。

補正部１４は、撮像素子１２から出力された各画素の撮像データを制御部１１から受け取り、また、撮像素子１２の欠陥画素を特定する情報をメモリ１３から受け取る。そして、補正部１４は、撮像素子１２から出力された各画素の撮像データに基づいて欠陥画素のデータを求める。具体的には、補正部１４は、複数の画素のうち欠陥画素に隣接する良好画素の撮像データに基づいて該欠陥画素のデータを求める。そして、補正部１４は、その求めた欠陥画素のデータを良好画素の撮像データとともに画像用インターフェース部１５から外部へ出力する。

次に、検査装置２０の欠陥画素判定部２１による欠陥画素の判定の方法について説明するとともに、撮像装置１０のメモリ１３に記憶される欠陥画素情報について説明する。図３は、欠陥画素判定部２１による欠陥画素の判定の方法を説明するフローチャートである。

ステップＳ１０では、撮像素子１２の露光時間が所定時間（例えば１〜９ｍｓ）に設定される。ステップＳ１１では、設定された露光時間で複数回（例えば１００回）第一光量レベルの光が撮像素子１２の各画素に入射され、そのときに撮像素子１２から出力された各画素の撮像データが制御部１１により取得され欠陥画素判定部２１に与えられる。このときの第一光量レベルは完全な遮光レベルであってもよい。ステップＳ１２では、欠陥画素判定部２１により、各画素について撮像データの最大値と最小値との差が所定値（例えば２００count）以上であるか否かが判断され、そのうちの或る画素(ｘ,ｙ)について撮像データの最大値と最小値との差が所定値以上である場合に該画素(ｘ,ｙ)が欠陥画素であると判定され、ステップＳ２１において欠陥画素(ｘ,ｙ)が特定される。

ステップＳ１３では、欠陥画素判定部２１により、全画素の全ての撮像データの平均値が求められ、また、各画素毎の撮像データの平均値が求められる。ステップＳ１４では、欠陥画素判定部２１により、全画素の全ての平均値に対して各画素毎の平均値が所定値（例えば４σcount）以上異なっているか否かが判断され、全画素の全ての平均値に対して或る画素(ｘ,ｙ)の平均値が所定値以上異なっている場合に該画素(ｘ,ｙ)が欠陥画素であると判定され、ステップＳ２１において欠陥画素(ｘ,ｙ)が特定される。

ステップＳ１５では、設定された露光時間で複数回（例えば１００回）第二光量レベルの光が撮像素子１２の各画素に入射され、そのときに撮像素子１２から出力された各画素の撮像データが制御部１１により取得され欠陥画素判定部２１に与えられる。このときの第二光量レベルは第一光量レベルと異なる。ステップＳ１６では、欠陥画素判定部２１により、ステップＳ１５で取得された全画素の全ての撮像データの平均値が求められ、また、各画素毎の期間の撮像データの平均値が求められる。ステップＳ１７では、欠陥画素判定部２１により、ステップＳ１６で求められた全画素の全ての平均値に対して各画素毎の平均値が所定値（例えば４σcount）以上異なっているか否かが判断され、全画素の全ての平均値に対して或る画素(ｘ,ｙ)の平均値が所定値以上異なっている場合に該画素(ｘ,ｙ)が欠陥画素であると判定され、ステップＳ２１において欠陥画素(ｘ,ｙ)が特定される。

ステップＳ１８では、ステップＳ１５〜Ｓ１７の処理が所定回数繰り返されたか否かが判断される。未だ所定回数に達していない場合には、光量レベルが他のレベルに設定されてステップＳ１５〜Ｓ１７の処理が行われる。所定回数に達していればステップＳ２２に進む。ステップＳ２２では、ステップＳ２１で欠陥画素に特定されなかった他の画素が正常画素であると指定される。撮像装置１０のメモリ１３は、ステップＳ２１で特定された欠陥画素の情報を記憶する。

本実施形態では、このようにして欠陥画素を特定して欠陥画素情報をメモリ１３により記憶しておくことで、より確実に撮像素子１２の欠陥画素の撮像データの値を補正することができる。

次に、検査装置２０の補正部１４による欠陥画素のデータの補正の方法について説明する。図４は、撮像素子１２の複数の画素のうち３×３個の画素を示す図である。ここでは、３×３個の画素Ｐ_1,1〜Ｐ_3,3のうち画素Ｐ_1,2，Ｐ_2,2，Ｐ_3,1が欠陥画素（図中で×印）であるとし、他の画素が良好画素（図中で○印）であるとして、中央に位置する欠陥画素Ｐ_2,2のデータの補正の方法について説明する。また、画素Ｐ_x,yのデータをＤ_x,yと表す。

補正部１４による第一の補正方法では、欠陥画素Ｐ_2,2に対して上下，左右または斜めの方向に隣接する各良好画素のデータの平均値として、欠陥画素Ｐ_2,2のデータＤ_2,2が求められる。すなわち、第一の補正方法では欠陥画素Ｐ_2,2のデータＤ_2,2は下記（１）式で求められる。
Ｄ_2,2＝(Ｄ_1,1＋Ｄ_1,3＋Ｄ_2,1＋Ｄ_2,3＋Ｄ_3,2＋Ｄ_3,3)／６ …（１）

補正部１４による第二の補正方法では、欠陥画素Ｐ_2,2に対して上下，左右または斜めの方向に隣接し欠陥画素Ｐ_2,2を挟む各良好画素のデータの平均値として、欠陥画素Ｐ_2,2のデータＤ_2,2が求められる。すなわち、第二の補正方法では欠陥画素Ｐ_2,2のデータＤ_2,2は下記（２）式で求められる。
Ｄ_2,2＝(Ｄ_1,1＋Ｄ_2,1＋Ｄ_2,3＋Ｄ_3,3)／４ …（２）

補正部１４による第三の補正方法では、欠陥画素Ｐ_2,2に対して左右方向に隣接する各良好画素のデータの平均値として、欠陥画素Ｐ_2,2のデータＤ_2,2が求められる。すなわち、第三の補正方法では欠陥画素Ｐ_2,2のデータＤ_2,2は下記（３）式で求められる。
Ｄ_2,2＝(Ｄ_2,1＋Ｄ_2,3)／２ …（３）

補正部１４による第四の補正方法では、欠陥画素Ｐ_2,2に対して上下方向に隣接する各良好画素のデータの平均値として、欠陥画素Ｐ_2,2のデータＤ_2,2が求められる。すなわち、第四の補正方法では欠陥画素Ｐ_2,2のデータＤ_2,2は下記（４）式で求められる。
Ｄ_2,2＝Ｄ_3,2 …（４）

上記の第三の補正方法および第四の補正方法は、撮像装置１０がラインセンサ式ハイパースペクトル撮像装置である場合に好適である。図５は、ラインセンサ式ハイパースペクトル撮像装置１０Ａの構成を示す図である。このラインセンサ式ハイパースペクトル撮像装置１０Ａは、前述した撮像装置１０の構成に加えて分光器１７をも備える。

分光器１７は、測定対象物２の表面のうち或るｙ方向位置においてｘ方向に延在するストライプ状の視野領域３から発した光を受光し、その光を分光して、その分光後の光を撮像素子１２の撮像面上に入射させる。撮像素子１２は、例えば、ｘ方向に３２０画素を有し、ｙ方向に２３７画素を有する。撮像素子１２の撮像面上におけるｘ方向位置は、視野領域３におけるｘ方向位置に対応する。撮像素子１２の撮像面上におけるｙ方向位置は波長に対応する。測定対象物２がｙ方向に移動することで、ラインセンサ式ハイパースペクトル撮像装置１０Ａは、測定対象物２の表面の各位置から発した光のスペクトルを測定することができる。

このようなラインセンサ式ハイパースペクトル撮像装置１０Ａにおいて、欠陥画素に対してｘ方向に隣接する各良好画素のデータの平均値として該欠陥画素のデータを求める第三の補正方法を採用することにより、波長分解能の低減を抑制することができる。また、欠陥画素に対してｙ方向に隣接する各良好画素のデータの平均値として該欠陥画素のデータを求める第四の補正方法を採用することにより、位置分解能の低減を抑制することができる。

１…検査システム、１０，１０Ａ…撮像装置、１１…制御部、１２…撮像素子、１３…メモリ、１４…補正部、１５…画像用インターフェース部、１６…制御信号用インターフェース部、１７…分光器、２０…検査装置、２１…欠陥画素判定部。

Claims

２次元配列された複数の画素を有し各画素の撮像データを出力する撮像素子と、
前記複数の画素のうち欠陥画素を特定する情報が記憶されたメモリと、
前記撮像素子から出力された各画素の撮像データに基づいて、前記メモリに記憶された欠陥画素のデータを求める補正部と、
を備える撮像装置であって、
前記メモリが、各々一定時間である複数の期間それぞれにおいて一定の第一光量レベルの光を前記撮像素子の各画素に入射させたときに前記撮像素子から出力された各画素の撮像データにおいて、前記複数の画素のうちの或る画素の前記複数の期間それぞれの撮像データのばらつきが所定値以上である場合に、その画素を欠陥画素として特定する情報を記憶しており、
前記補正部が、前記複数の画素のうち前記欠陥画素に隣接する良好画素の撮像データに基づいて該欠陥画素のデータを求める、
ことを特徴とする撮像装置。
前記メモリが、
前記複数の画素の前記複数の期間の撮像データの平均値に対して、前記複数の画素のうちの或る画素の前記複数の期間の撮像データの平均値が所定値以上異なっている場合に、その画素を欠陥画素として特定する情報を記憶している、
ことを特徴とする請求項１に記載の撮像装置。
前記メモリが、
各々一定時間である複数の期間それぞれにおいて前記第一光量レベルとは異なる一定の第二光量レベルの光を前記撮像素子の各画素に入射させたときに前記撮像素子から出力された各画素の撮像データにおいて、
前記複数の画素の前記複数の期間の撮像データの平均値に対して、前記複数の画素のうちの或る画素の前記複数の期間の撮像データの平均値が所定値以上異なっている場合に、その画素を欠陥画素として特定する情報を記憶している、
ことを特徴とする請求項１に記載の撮像装置。
前記補正部が、前記複数の画素のうち前記欠陥画素に隣接する全ての良好画素の撮像データの平均値を該欠陥画素のデータとする、
ことを特徴とする請求項１に記載の撮像装置。
前記補正部が、前記複数の画素のうち前記欠陥画素に隣接し前記欠陥画素を挟む二つの良好画素の撮像データの平均値を該欠陥画素のデータとする、
ことを特徴とする請求項１に記載の撮像装置。
前記補正部が、前記複数の画素のうち前記欠陥画素に対し左右方向に隣接する良好画素の撮像データの平均値を該欠陥画素のデータとする、
ことを特徴とする請求項１に記載の撮像装置。
前記補正部が、前記複数の画素のうち前記欠陥画素に対し上下方向に隣接する良好画素の撮像データの平均値を該欠陥画素のデータとする、
ことを特徴とする請求項１に記載の撮像装置。