JP6701025B2 - データ処理装置、データ処理方法、プログラム - Google Patents

Description

本発明は、データ処理装置、データ処理方法、プログラムに関する。

デジタルカメラ等の撮像センサに配置されている複数の画素の中には、様々な理由により正しく画素データを生成できない不良画素（以下、キズ画素と表記する。）となってしまったものがある。このキズ画素は、製造工程等で生じた初期的なキズ画素（以下、工程キズ画素と表記する。）と、製品出荷後に発生した後発的なキズ画素（以下、後キズ画素と表記する。）と、に分けられる。これらのキズ画素の画像データを補正する際には、キズ画素の位置を表す情報を含むキズデータを用いた画像処理が行われる。キズデータが有するキズ画素の位置は、キズ画素間の相対距離で表すことができる。ただし、距離の値を表すビット数には制限がある。このため、そのビット数で表せる最大の相対距離内にキズ画素が存在しないときには、疑似的なキズ画素（以下、ダミーキズ画素と表記する。）を挟むようにし、そのダミーキズ画素からキズ画素までの間の相対距離により、キズ画素の位置が表される。

また、工程キズ画素と後キズ画素の二つのキズデータは、統合されて一つのキズデータとして扱われることがある。二つのキズデータを統合して一つのキズデータとした場合、統合後のキズデータに含まれるキズ画素位置の情報（相対距離）が前述した最大相対距離内であっても、統合後のキズデータの中に統合前のダミーキズ画素のキズデータが残ってしまう場合がある。この問題に対し、例えば特許文献１に記載の技術では、相対距離による位置情報を一旦絶対位置（座標位置）に展開して重畳したあと、相対距離による位置情報に変換することで、不要なダミーキズを統合後に残さないようにしている。

特開２０１１−８２６３４号公報

しかしながら、特許文献１に記載の方法では、不要なダミーキズを統合後に残さないようにするために、キズデータ統合の際に、相対距離により表される位置情報を、一旦、撮像センサにおける画素配列上の絶対位置（座標位置）情報に変換する必要がある。このため、その位置情報変換の際の情報展開やその展開後のデータを保持するためのＲＡＭが必要になる。

そこで、本発明は、相対距離による位置情報を絶対位置（座標位置）に展開するような処理を要することなく、不要なダミーキズ画素を残さずにキズデータの統合を可能にすることを目的とする。

本発明は、不良画素の位置を不良画素間の有限の相対距離で各々表した第１，第２のキズデータを、前記第３のキズデータとして統合する統合処理手段と、前記第３のキズデータが不良画素間を中継するために挿入されたダミーキズデータである場合、前記ダミーキズデータの前記相対距離と、直前に統合された第３のキズデータの前記相対距離とに基づいて、前記ダミーキズデータを前記第３のキズデータとして統合するか否か判定し、統合しないと判定した場合には前記ダミーキズデータを前記第３のキズデータから除外する除外手段と、を有することを特徴とする。

本発明によれば、相対距離による位置情報を絶対位置（座標位置）に展開するような処理を要することなく、不要なダミーキズ画素を残さずにキズデータの統合が可能となる。

本実施形態の撮像装置の概略構成例を示す図である。 第１の実施形態に係るキズデータ統合部の構成例を示す図である。 第１の実施形態に係るキズデータ統合処理のフローチャートである。 第１の実施形態に係る統合前後のキズ配置とキズデータ例を示す図である。 第１の実施形態に係る統合前後のキズデータの説明に用いる図である。 第２の実施形態に係るキズデータ統合部の構成例を示す図である。 第２の実施形態に係るキズデータ統合処理のフローチャートである。 第２の実施形態に係る統合前後のキズ配置とキズデータ例を示す図である。 第２の実施形態に係る統合前後のキズデータの説明に用いる図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
＜第１の実施形態＞
図１は、本発明のデータ処理装置が適用される一例としての撮像装置の概略的な内部構成例を示す図である。本実施形態の撮像装置は、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどに適用可能である。

図１において、本実施形態の撮像装置は、レンズ１０１、撮像素子１０２、Ａ／Ｄ変換器１０３、キズデータ生成部１０５、工程キズデータ保持部１１１、キズデータ統合部１０８、統合キズデータ保持部１１２、画像処理部１１０を有する。

レンズ１０１は、撮像光学系のレンズであり、被写体等の光学像を撮像素子１０２の撮像センサ上に結像させる。撮像素子１０２は、ＣＣＤやＣＭＯＳ等からなる撮像センサとその周辺回路を有して構成されており、レンズ１０１により撮像センサ上に結像された光学像を電気信号（撮像信号）に変換してＡ／Ｄ変換器１０３に出力する。Ａ／Ｄ変換器１０３は、撮像素子１０２にて取得されて供給された撮像信号を、デジタル画像データ（以下、画像データ１０４と表記する。）に変換する。Ａ／Ｄ変換器１０３から出力された画像データ１０４は、画像処理部１１０とキズデータ生成部１０５に送られる。

ここで、撮像素子１０２の撮像センサには複数の画素が二次元配置されており、それら複数の画素の中には、正しく画素データを生成できない不良画素（キズ画素）となってしまったものがある。キズ画素には、例えば製品出荷後に宇宙線、静電破壊等の外部要因や経時変化等に起因して後発的に生ずる第１のキズ画素（後キズ画素）と、撮像センサの製造工程等の初期段階で生じた第２のキズ画素（工程キズ画素）とがある。また、工程キズ画素は、製造工程等で生じたキズ画素であるため、製品出荷前の検査等によりそのキズ画素の位置、キズ画素の状態や種類等が予め判っている。

キズデータ生成部１０５は、画像データ１０４から後キズ画素のキズデータである第１のキズデータ（以下、後キズデータ１０６と表記する。）を生成する。具体的には、キズデータ生成部１０５は、画像データ１０４の各画素データの中で、周囲の画素と著しく信号レベルの異なる（例えば周囲の画素との間の信号レベル差が閾値を超える）画素を、後キズ画素として検出する。そして、キズデータ生成部１０５は、検出した後キズ画素に対応した後キズデータ１０６を生成する。

後キズデータ１０６は、撮像センサにおけるキズ画素の位置情報の他、キズ画素の状態や種類、ＩＳＯ感度やシャッター速度、温度等のパラメータ等の情報を含むデータである。本実施形態において、キズ画素の位置情報は、不良画素間（キズ画素間）の相対距離により表現される。また、キズ画素間の相対距離は、撮像センサから例えばラスタスキャン順のような所定の方向及び順序で各画素データが読み出される際の、読み出し画素数に相当する情報となされている。すなわち、撮像センサからラスタスキャン順に順次読み出しが行われる各画素のうち、或るキズ画素から次のキズ画素までの間の画素数が、キズ画素間の相対距離を表す情報となされる。ただし、実際には相対距離（画素数）の値を表す際に用いられるビット数には制限があり、そのためキズ画素間の相対距離も有限の距離しか表すことができない。例えば、距離を１６ｂｉｔのデータで表すような場合、その１６ｂｉｔで表せる範囲は"０〜６５５３５"の有限範囲となり、相対距離もその有限の範囲内でしか表すことができない。したがって、キズ画素間の相対距離が有限範囲を超えるような場合には、例えばそれらキズ画素間に中継点となるダミーキズ画素を挿入するようにして、各キズ画素間の相対距離が有限範囲を超えないようにしている。以下、ダミーキズ画素のキズデータをダミーキズデータと表記する。キズデータ生成部１０５は、前述のようにして生成した後キズデータ１０６（ダミーキズデータを挿入した場合にはそれも含む）を、キズデータ統合部１０８に送る。

工程キズデータ保持部１１１は、例えば不揮発性メモリからなり、製造工程等において生じた既知の工程キズ画素のキズデータである第２のキズデータ（以下、工程キズデータ１０７と表記する。）を保持している。工程キズデータ１０７は、前述の後キズデータ１０６の場合と同様に、キズ画素の位置が、キズ画素間の画素数に相当する相対距離として表されている。また、工程キズデータ１０７においても、前述の後キズデータ１０６と同様、キズ画素間の相対距離が有限範囲を超えるような場合には、キズ画素間に中継点となるダミーキズ画素が挿入されて、キズ画素間の相対距離が有限範囲内に収まるようになされる。工程キズデータ保持部１１１は、それら工程キズ画素の位置（相対距離の情報）等を含む工程キズデータ１０７（ダミーキズデータが挿入されている場合にはそれも含む）を保持している。

キズデータ統合部１０８には、前述したキズデータ生成部１０５から出力された後キズデータ１０６と、工程キズデータ保持部１１１から読み出された工程キズデータ１０７とが供給される。そして、キズデータ統合部１０８は、後キズデータ１０６と工程キズデータ１０７とを統合（マージ）して第３のキズデータ（以下、統合キズデータ１０９と表記する。）を生成する。なお、本実施形態におけるキズデータの統合（マージ）とは、後キズデータ１０６と工程キズデータ１０７の両方を合わせたキズデータを生成することである。ただし、本実施形態の場合、詳細は後述するが、キズデータ統合部１０８は、統合の対象になっているキズデータがダミーキズデータである場合には、そのダミーキズデータが不要なダミーキズデータであるか否かを判定する。そして、キズデータ統合部１０８は、ダミーキズデータが不要なダミーキズデータであると判定した場合には、そのダミーキズデータを、統合キズデータ１０９として統合する対象から除外する。キズデータ統合部１０８の、より詳細な構成及び動作は後述する。このようにしてキズデータ統合部１０８にて生成された統合キズデータ１０９は、統合キズデータ保持部１１２に送られて保持される。

統合キズデータ保持部１１２は、画像処理部１１０からの要求に応じて、保持している統合キズデータ１０９を読み出して画像処理部１１０に供給する。
画像処理部１１０は、統合キズデータ保持部１１２から読み出された統合キズデータ１０９を用いて、画像データ１０４のキズ画素に対するキズ補正処理を行う。具体的には、画像処理部１１０は、統合キズデータ１０９に含まれている位置情報（相対距離の情報）を基に、キズ画素の位置（画像データ１０４の中のキズ画素の画素データ）を特定する。さらに、画像処理部１１０は、統合キズデータ１０９に含まれている、キズ画素の状態や種類、ＩＳＯ感度、シャッター速度、温度等のパラメータの情報を用いて、キズ画素に対してキズ補間処理を行うかどうかを判断する。そして、画像処理部１１０は、特定したキズ画素についてキズ補間処理を行うと判断した場合、そのキズ画素の画素データに対してキズ補正処理を行う。具体的には、画像処理部１１０は、撮像センサに二次元配置されている各画素のなかで、キズ画素に対する周囲の画素の画素データ（キズ画素の周囲の正常な画素の画素データ）を用いて、そのキズ画素に対する補間等を行うようなキズ補正処理を行う。このようにして画像処理部１１０によりキズ補正等の画像処理がなされた画像データは、図示しない表示部や符号化部、記録部等に送られる。これら表示部や符号化部、記録部等の説明は省略する。

図２は、図１のキズデータ統合部１０８の詳細な構成例を示す図である。
キズデータ統合部１０８は、距離更新部２０１、距離比較部２０２、統合対象選択部２０５、不要ダミーキズ判定部２０７を有して構成されている。

距離更新部２０１には、前述のキズデータ生成部１０５にて生成された後キズデータ１０６と、工程キズデータ保持部１１１から読み出された工程キズデータ１０７とが、入力される。距離更新部２０１は、詳細は後述するが、距離比較部２０２による相対距離の比較結果に基づいて、後キズデータ１０６に含まれる相対距離と工程キズデータ１０７に含まれる相対距離の何れか一方に対して更新処理を行う。距離更新部２０１における相対距離の情報更新処理の詳細は後述する。距離更新部２０１により、何れか一方の相対距離が更新された後キズデータ２０３と工程キズデータ２０４は、統合対象選択部２０５と距離比較部２０２とに送られる。

距離比較部２０２は、距離更新部２０１から供給された後キズデータ２０３に含まれる相対距離と工程キズデータ２０４に含まれる相対距離とを比較する。距離比較部２０２における相対距離の比較処理の詳細は後述する。距離比較部２０２は、それら相対距離の比較結果の情報を、統合対象選択部２０５と不要ダミーキズ判定部２０７とに送り、また、距離更新部２０１にフィードバックする。

統合対象選択部２０５は、距離比較部２０２からの比較結果の情報に基づき、距離更新部２０１から供給された後キズデータ２０３と工程キズデータ２０４を適宜選択して、統合対象キズデータ２０６として出力する。本実施形態の場合、統合対象選択部２０５が統合処理手段に相当し、キズデータ統合部１０８から出力される統合キズデータ１０９は、統合対象選択部２０５により選出された統合対象キズデータ２０６により生成されることになる。ただし、本実施形態の場合、統合対象選択部２０５から選出された統合対象キズデータ２０６がダミーキズデータである場合には、後述する不要ダミーキズ判定部２０７において、そのダミーキズデータが不要なダミーキズデータであるか否か判定される。統合対象選択部２０５における統合対象キズデータ２０６の選出処理の詳細は後述する。統合対象選択部２０５により選出された統合対象キズデータ２０６は、不要ダミーキズ判定部２０７に送られる。

不要ダミーキズ判定部２０７は、距離比較部２０２による比較結果の情報と、統合対象選択部２０５により選出された統合対象キズデータ２０６に含まれる情報とを基に、その統合対象キズデータ２０６が統合後に不要なダミーキズデータであるか否か判定する。そして、不要ダミーキズ判定部２０７は、統合対象キズデータ２０６が不要なダミーキズデータであると判定した場合には、その統合対象キズデータ２０６（ダミーキズデータ）を、統合対象キズデータから除外する。不要ダミーキズ判定部２０７における判定処理及び不要ダミーキズデータの除外処理の詳細は後述する。この不要ダミーキズ判定部２０７により除外されなかった全ての統合対象キズデータが、統合キズデータ１０９として、図２のキズデータ統合部１０８から出力され、図１の統合キズデータ保持部１１２に保持される。

図３は、図２に示したキズデータ統合部１０８で行われる処理のフローチャートである。図３のフローチャートに示した処理は、本実施形態に係るプログラムを、例えばＣＰＵが実行することにより実現されてもよい。本実施形態に係るプログラムは、例えば不図示のＲＯＭ等に予め用意されていてもよく、また不図示の外部記憶媒体から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりして、不図示のＲＡＭ等にロードされてもよい。これらのことは後述する他のフローチャートにおいても同様である。なお、図３の各処理のステップＳ３０１〜ステップＳ３１４はＳ３０１〜Ｓ３１４と略記する。また、以下の説明では、後キズデータ１０６（２０３）をキズデータＡ、その相対距離を相対距離ａとし、工程キズデータ１０７（２０４）をキズデータＢ、その距離情報を相対距離ｂ、統合キズデータ１０９をキズデータＭとする。

キズデータ統合部１０８は、Ｓ３０１においてキズデータＡ（後キズデータ１０６）とキズデータＢ（工程キズデータ１０７）とが入力されると、それらキズデータＡ，Ｂを、距離更新部２０１を介して距離比較部２０２に送る。Ｓ３０１の後、キズデータ統合部１０８は、Ｓ３０２に処理を進める。

Ｓ３０２では、距離比較部２０２は、キズデータＡの相対距離ａと、キズデータＢの相対距離ｂとを比較し、相対距離ａが相対距離ｂ以下であるか否か判定する。距離比較部２０２において相対距離ａが相対距離ｂ以下であると判定された場合（Ｙｅｓ）、キズデータ統合部１０８の処理は、Ｓ３０３に進む。一方、距離比較部２０２において相対距離ａが相対距離ｂより大きいと判定された場合（Ｎｏ）、キズデータ統合部１０８の処理は、Ｓ３０４に進む。Ｓ３０３とＳ３０４は、統合対象選択部２０５により行われる処理である。

Ｓ３０３では、統合対象選択部２０５は、キズデータＡを統合対象キズデータとして選択し、一方、Ｓ３０４では、統合対象選択部２０５は、キズデータＢを統合対象キズデータとして選択する。これらＳ３０３、Ｓ３０４の後、キズデータ統合部１０８は、Ｓ３０５に処理を進める。Ｓ３０５は、不要ダミーキズ判定部２０７により行われる処理である。

Ｓ３０５では、不要ダミーキズ判定部２０７は、距離比較部２０２による比較結果は相対距離ａと相対距離ｂが等しい距離（同一距離）であったかどうか判定する。不要ダミーキズ判定部２０７は、相対距離ａと相対距離ｂが等しい距離であった場合（Ｙｅｓ）にはＳ３０８に処理を進める。一方、不要ダミーキズ判定部２０７は、相対距離ａと相対距離ｂが異なる距離であった場合（Ｎｏ）にはＳ３０６に処理を進める。

Ｓ３０６では、不要ダミーキズ判定部２０７は、Ｓ３０３又はＳ３０４で選択された統合対象キズデータがダミーキズデータであるか否かを判定する。不要ダミーキズ判定部２０７は、統合対象キズデータがダミーキズデータである場合（Ｙｅｓ）にはＳ３０７に処理を進め、一方、ダミーキズデータでない場合（Ｎｏ）にはＳ３０８に処理を進める。

Ｓ３０７では、不要ダミーキズ判定部２０７は、Ｓ３０３又はＳ３０４で選択された統合対象キズデータ（つまりダミーキズデータ）を、統合対象キズデータとして出力せずに破棄する。Ｓ３０７の後、キズデータ統合部１０８は、Ｓ３０９に処理を進める。

Ｓ３０８では、不要ダミーキズ判定部２０７は、Ｓ３０３又はＳ３０４で選択された統合対象キズデータ（つまりダミーキズデータではないキズデータ）を、統合対象キズデータとして残して出力する。Ｓ３０８の後、キズデータ統合部１０８は、Ｓ３０９に処理を進める。

Ｓ３０９では、キズデータ統合部１０８は、全てのキズデータＡ及びＢに対する統合処理が完了したか否かを判定する。キズデータ統合部１０８は、全てのキズデータＡ，Ｂに対する統合処理が完了したと判定した場合（Ｙｅｓ）には図３のフローチャートの処理を終了する。一方、キズデータ統合部１０８は、全てのキズデータＡ，Ｂに対する統合処理が完了していない（キズデータが未だ残っている）と判定した場合（Ｎｏ）には、Ｓ３１０の処理に進む。Ｓ３１０は、距離更新部２０１にて行われる処理である。

Ｓ３１０では、距離更新部２０１は、距離比較部２０２による比較結果は相対距離ａが相対距離ｂ以下であったかどうか判定する。距離更新部２０１は、相対距離ａが相対距離ｂ以下であった場合（Ｙｅｓ）には、Ｓ３１１に処理を進める。一方、距離更新部２０１は、相対距離ａが相対距離ｂより大きかった場合（Ｎｏ）には、Ｓ３１３に処理を進める。

Ｓ３１１では、距離更新部２０１は、Ｓ３０２〜Ｓ３０４で統合対象として選択されなかった方のキズデータの相対距離を、統合対象として選択されたキズデータの相対距離分だけ差し引いた値により更新する。すなわち、Ｓ３１１に進んだ場合、相対距離が大きかったために統合対象として選択されなかった方のキズデータはキズデータＢであり、一方、相対距離が小さいため選択された統合対象キズデータはキズデータＡである。したがって、この場合の距離更新部２０１は、キズデータＢの相対距離ｂの値を、キズデータＡの相対距離ａの値分だけ差し引いた値により更新する。Ｓ３１１の後、キズデータ統合部１０８は、Ｓ３１２に処理を進める。Ｓ３１２では、キズデータ統合部１０８は、次のキズデータ（この場合は次のキズデータＡ）が入力されて、このキズデータＡを、距離更新部２０１を介して距離比較部２０２に送る。Ｓ３１２の後、キズデータ統合部１０８は、Ｓ３０２の処理に戻る。

Ｓ３１３では、距離更新部２０１は、Ｓ３０２〜Ｓ３０４で統合対象として選択されなかった方のキズデータの相対距離を、統合対象として選択されたキズデータの相対距離分だけ差し引いた値で更新する。すなわち、Ｓ３１３に進んだ場合、統合対象として選択されなかったのはキズデータＡであり、一方、選択された統合対象キズデータはキズデータＢである。したがって、この場合の距離更新部２０１は、キズデータＡの相対距離ａの値を、キズデータＢの相対距離ｂの分だけ差し引いた値により更新する。Ｓ３１３の後、キズデータ統合部１０８は、Ｓ３１４に処理を進める。Ｓ３１４では、キズデータ統合部１０８は、次のキズデータ（この場合は次のキズデータＢ）が入力されて、このキズデータＢを、距離更新部２０１を介して距離比較部２０２に送る。Ｓ３１４の後、キズデータ統合部１０８は、Ｓ３０２の処理に戻る。

なお、Ｓ３０５とＳ３０６の処理は入れ替えられてもよい。この場合、Ｓ３０５において統合対象キズデータがダミーキズデータであるか否かの判定が行われ、Ｓ３０６において相対距離ａと相対距離ｂの値が等しいか否かの判定が行われる。そして、Ｓ３０５において、統合対象キズデータがダミーキズデータであると判定された場合にＳ３０６の処理に進み、一方、ダミーキズデータでないと判定された場合にＳ３０８の処理に進む。また、Ｓ３０６において、相対距離ａと相対距離ｂの値が等しい場合にはＳ３０８の処理に進み、等しくない（異なる）場合にはＳ３０７の処理に進む。

図４（ａ），図４（ｂ）は、キズデータ統合部１０８で行われる統合処理前後のキズデータの状態の一例を示す図である。
図４（ａ）は、撮像センサの二次元画素配置に対応させた状態で、キズデータＡのキズ画素ｘＡの位置と、キズデータＢのキズ画素ｘＢの位置と、統合キズデータＭの統合キズ画素ｘＡ，ｘＢの位置の例を表している。また、図４（ａ）の例には、ダミーキズデータのダミーキズ画素ｄの位置も含まれている。

図４（ｂ）は、キズデータＡ，キズデータＢ，統合キズデータＭの各キズ画素ｘＡ，ｘＢ，ｄにそれぞれ対応したキズデータの一例を表している。図４（ｂ）の例えばキズデータ"０３＿Ａ"は、キズ画素の種別が後キズ画素であり、相対距離ａが前述したラスタスキャン順において直前に読み出されたキズ画素との間で画素数"３"に相当する距離であることを示している。同様に、図４（ｂ）の例えばキズデータ"０１＿Ｂ"は、キズ画素の種別が工程キズ画素であり、相対距離ｂが前述のラスタスキャン順において直前に読み出されたキズ画素との間で画素数"１"に相当する距離であることを示している。また、図４（ｂ）の例えばキズデータ"１５＿Ｄ"は、キズ画素の種別がダミーキズ画素であり、相対距離がラスタスキャン順において直前に読み出されたキズ画素との間で画素数"１５"に相当する距離であることを示している。他の各キズデータについても同様である。なお、前述したラスタスキャン順で最初のキズ画素の相対距離は、ラスタスキャン順に読み出される最初の画素（始点座標の画素）からの距離により表される。

これら図４（ａ），図４（ｂ）に示すように、統合キズデータＭのキズ画素ｘＡ，ｘＢ，ｄは、キズデータＡのキズ画素ｘＡと、キズデータＢのキズ画素ｘＢと、ダミーキズデータのダミーキズ画素ｄとが統合されたものとなる。

図５（ａ）〜図５（ｃ）は、図４（ａ）及び図４（ｂ）に示したキズデータの例を挙げて、キズデータ統合部１０８で行われる相対距離の情報更新処理の一例の説明に用いる図である。
図５（ａ）はキズデータＡの各キズ画素に対応したキズデータ例を、図５（ｂ）はキズデータＢの各工程キズ画素に対応したキズデータ例を、図５（ｃ）は統合キズデータＭの各統合キズ画素に対応したキズデータ例を示している。これら各キズデータには、ダミーキズデータのダミーキズ画素に対応したキズデータも含まれている。図５（ａ）〜図５（ｃ）の各キズデータの並び順は、前述したラスタスキャン順に対応している。また、図５（ａ）〜図５（ｃ）の例えばキズデータ"０３＿Ａ"，"０１＿Ｂ"，"１５＿Ｄ"等は、図４（ｂ）で説明したのと同様である。

キズデータ統合部１０８では、先ず、キズデータＡの先頭のキズデータ５０１の相対距離と、キズデータＢの先頭のキズデータ５０２の相対距離とを、距離比較部２０２により比較する。そして、キズデータ統合部１０８は、距離比較部２０２による比較の結果、相対距離が小さい（短い）方のキズデータを、統合対象選択部２０５により統合対象キズデータとして選択する。図４（ａ），図４（ｂ）及び図５（ａ）〜図５（ｃ）の例では、キズデータＡの先頭のキズデータ５０１（０３＿Ａ）は、相対距離の値が"０３"（画素数"３"に相当する距離）である。一方、キズデータＢの先頭のキズデータ５０２（０１＿Ｂ）は、相対距離の値が"０１"（画素数"１"に相当する距離）である。そして、これらの相対距離を比較すると、相対距離が小さいのはキズデータ５０２（０１＿Ｂ）の方である。このため、キズデータ統合部１０８では、統合対象選択部２０５において、キズデータＢのキズデータ５０２（０１＿Ｂ）を、統合対象キズデータとして選択する。また、この統合対象キズデータとして選択されたキズデータ５０２は、キズデータＢであってダミーキズデータではない。このため、不要ダミーキズ判定部２０７は、このキズデータ５０２を統合キズデータＭとして出力する。これにより、統合キズデータＭの先頭のキズデータは、キズデータ５０２（０１＿Ｂ）となる。

次に、キズデータ統合部１０８は、統合対象として選択された側（この場合はキズデータＢ側）については、ラスタスキャン順の次のキズデータを読み込むようにする。すなわち、図４（ａ），図４（ｂ）及び図５（ｂ）の例では、統合対象として選択されたキズデータＢにおいてラスタスキャン順で次のキズデータ５０４は、キズデータ"０５＿Ｂ"となる。一方、キズデータ統合部１０８は、統合対象として選択されなかった側（この場合はキズデータＡ側）のキズデータの相対距離を、統合対象として選択されたキズデータの相対距離との差分の値により更新する。この例では、統合対象として選択されなかったキズデータＡのキズデータ５０１（０３＿Ａ）は相対距離の値が"０３"で、統合対象として選択されたキズデータＢのキズデータ５０２（０１＿Ｂ）は相対距離の値が"０１"である。そして、それらキズデータ５０１（０３＿Ａ）の相対距離の値"０３"とキズデータ５０２（０１＿Ｂ）の相対距離の値"０１"との差分は、"０３"−"０１"＝"０２"となる。したがって、統合対象として選択されなかった側のキズデータＡにおいて、ラスタスキャン順で次のキズデータ５０３は、キズデータ"０２＿Ａ"に更新される。

以下同様の処理が繰り返され、例えば、距離比較部２０２によるキズデータＡのキズデータ５０５（１３＿Ａ）の相対距離とキズデータＢのキズデータ５０６（００＿Ｄ）の相対距離の比較が行われる段階まで進んだとする。図５（ａ），図５（ｂ）の例では、キズデータ５０５（１３＿Ａ）の相対距離の値が"１３"で、キズデータ５０６（００＿Ｄ）の相対距離の値が"００"である。このため、統合対象選択部２０５では、キズデータ５０６（００＿Ｄ）が統合対象キズデータとして選択されることになる。また、これらキズデータ５０５（１３＿Ａ）とキズデータ５０６（００＿Ｄ）の相対距離の値は"１３"と"００"であり等しくない。ただし、キズデータ５０６は、統合対象選択部２０５において統合対象キズデータとして選択されたものではあるが、ダミーキズデータ"００＿Ｄ"である。したがって、この場合、不要ダミーキズ判定部２０７は、ダミーキズデータ"００＿Ｄ"を統合せずに破棄して出力無し５０７とする。

その後は、前述同様に、キズデータ統合部１０８は、統合対象に選択されなかった側（この場合はキズデータＢ側）については、ラスタスキャン順の次のキズデータを読み込むようにする。すなわち、統合対象に選択された側のキズデータＢにおいて、ラスタスキャン順で次のキズデータ５０９は、キズデータ"１５＿Ｂ"となる。一方、キズデータ統合部１０８は、統合対象に選択されなかったキズデータＡのキズデータ５０８は、統合対象に選択された側のキズデータ５０６（００＿Ｄ）の相対距離の値"００"との差分の値（１３−００＝１３）により更新されたデータとなされる。この例の場合、統合対象に選択されなかったキズデータＡのキズデータ５０５の相対距離の値は"１３"で、統合対象に選択されたキズデータＢのキズデータ５０６の相対距離の値は"００"である。したがって、統合対象に選択されなかった側のキズデータＡにおいて、ラスタスキャン順で次のキズデータ５０８は、キズデータ"１３＿Ａ"となる。これ以降は前述同様であるためその説明は省略する。

以上説明したように、第１の実施形態では、撮像センサのキズ画素位置がキズ画素間の相対距離で表され、キズ画素間の相対距離が所定ビット数で表せる有限範囲を超える場合にはその有限範囲内の相対距離で表せるダミーキズ画素が挿入される。また、本実施形態の撮像装置は、キズデータＡとキズデータＢの相対距離の比較結果に基づいて、統合対象キズデータを選択し、さらに統合対象キズデータがダミーキズデータかどうか判定する。そして、本実施形態の撮像装置は、キズデータＡとキズデータＢの相対距離が等しくなく、統合対象キズデータがダミーキズデータである場合には、ダミーキズデータを統合キズデータＭとして統合せずに破棄するようにしている。これにより、本実施形態の撮像装置では、例えば、相対距離による位置情報を絶対位置（座標位置）に展開するような処理を要することなく、不要なダミーキズ画素を残さずにキズデータの統合が可能となっている。

＜第２の実施形態＞
以下、第２の実施形態について説明する。なお、第２の実施形態において、撮像装置の概略構成は図１と同様であり、それらの説明は省略する。
第２の実施形態では、ダミーキズデータの破棄を行った場合に、相対距離の情報更新を、ダミーキズデータの破棄直前のキズ画素位置に基づいて行うことが、第１の実施形態とは異なる。

図６は、第２の実施形態の場合のキズデータ統合部１０８の詳細な構成例を示す図である。なお、図６において、図２の構成と概ね同じものには、図２の各参照符号と同じ参照符号を付している。例えば、距離更新部２０１、距離比較部２０２、統合対象選択部２０５、不要ダミーキズ判定部２０７、後キズデータ１０６及び２０３、工程キズデータ１０７及び２０４、統合対象キズデータ２０６、統合キズデータ１０９は、図２の例と同様である。

図６の例において、距離情報保持部６０１は、不要ダミーキズ判定部２０７で統合対象キズデータ２０６が不要なダミーキズデータであると判定されて破棄された場合、その統合対象キズデータ２０６（ダミーキスデータ）に含まれる相対距離の情報を保持する。

距離調整部６０２は、距離情報保持部６０１に保持されている相対距離の情報（不要ダミーキズ判定部２０７で破棄されたダミーキズデータの相対距離の情報）を基に、統合対象キズデータ２０６の相対距離を調整する。具体的には、距離調整部６０２は、統合対象キズデータ２０６の相対距離の値に対し、直前の統合処理の際に距離情報保持部６０１に保持された相対距離の値（つまりダミーキズデータの相対距離の値）を加算するような調整処理を行う。なお、ここでは直前に破棄されたキズデータの相対距離の値を加算する調整処理を例に挙げているが、その他にも、他の調整方法を用いてもよい。第２の実施形態の場合、距離調整部６０２により相対距離の調整がなされた後の統合対象キズデータ６０３が、不要ダミーキズ判定部２０７に供給される。

図７は、第２の実施形態のキズデータ統合部１０８で行われる処理のフローチャートである。なお、図７のフローチャートにおいて、Ｓ３０１〜Ｓ３１４の各処理は、前述した図３のフローチャートのＳ３０１〜Ｓ３１４と同様の処理であるため、それらの説明は省略する。

第２の実施形態の場合、不要ダミーキズ判定部２０７は、Ｓ３０６において統合対象キズデータがダミーキズデータであると判定し、Ｓ３０７においてそのダミーキズデータを破棄した場合、Ｓ７０１の処理に進む。Ｓ７０１では、不要ダミーキズ判定部２０７は、そのダミーキズデータの相対距離の情報を距離情報保持部６０１に保持させる。

また第２の実施形態のキズデータ統合部１０８において、Ｓ３０３とＳ３０４の後は、Ｓ７０２の処理に進む。Ｓ７０２の処理は距離調整部６０２において行われる処理である。Ｓ７０２では、距離調整部６０２は、距離情報保持部６０１に保持された情報を基に、直前の統合処理で出力無し（前述の図５（ｃ）で例示したような出力無し５０７）になされたか否か判定する。すなわち、距離情報保持部６０１に相対距離の情報が保持されていれば、直前の統合処理が出力無しであったと判定できる。そして、距離調整部６０２は、直前の統合処理が出力無しであった場合（Ｙｅｓ）にはＳ７０３に処理を進める。一方、出力が有った場合（Ｎｏ）には、キズデータ統合部１０８の処理は前述したＳ３０５の処理に進む。

Ｓ７０３では、距離調整部６０２は、距離情報保持部６０１に保持されている相対距離の値を、統合対象キズデータの相対距離に加算した後、Ｓ３０８に処理を進める。これ以降の処理は前述した図３のフローチャートと同様であるため説明を省略する。

図８（ａ）と図８（ｂ）は、第２の実施形態において、キズデータ統合部１０８で行われる統合処理前後のキズデータの状態の一例を示した図である。図８（ａ）は、前述した図４（ａ）と同様に、キズデータＡのキズ画素ｘＡ、キズデータＢのキズ画素ｘＢ、統合キズデータＭの統合キズ画素ｘＡ，ｘＢ、ダミーキズデータのダミーキズ画素ｄの位置の例を表している。図８（ｂ）は、前述の図４（ｂ）と同様に、キズデータＡ，キズデータＢ，統合キズデータＭの各キズ画素ｘＡ，ｘＢ，ｄにそれぞれ対応したキズデータの一例を表している。

第２の実施形態においても、前述同様に、図８（ａ），図８（ｂ）に示した統合キズデータＭのキズ画素ｘＡ，ｘＢ，ｄは、キズデータＡのキズ画素ｘＡとキズデータＢのキズ画素ｘＢとダミーキズデータのダミーキズ画素ｄとを統合したものとなる。各キズ画素ｘＡ，ｘＢ，ｄ、各キズデータは図４（ａ），図４（ｂ）で説明したものと同様であるため、詳細な説明は省略する。

図９（ａ）〜図９（ｃ）は、図８（ａ）及び図８（ｂ）に示したキズデータの例において、第２の実施形態のキズデータ統合部１０８で行われる相対距離の調整処理と更新処理の一例の説明に用いる図である。図９（ａ）は、前述の図５（ａ）と同様に、キズデータＡの各キズ画素に対応したキズデータ例を示している。また、図９（ｂ）は、図５（ｂ）と同様に、キズデータＢの各工程キズ画素に対応したキズデータ例を、図９（ｃ）は、図５（ｃ）と同様に、統合キズデータＭの各統合キズ画素に対応したキズデータ例を示している。これら各キズデータには、ダミーキズデータのダミーキズ画素に対応したキズデータも含まれている。

図９（ａ）〜図９（ｃ）の例において、例えば、距離比較部２０２によるキズデータＡのキズデータ９０１（１３＿Ｄ）の相対距離と、キズデータＢのキズデータ９０２（１５＿Ｄ）の相対距離の比較が行われる段階まで進んでいるとする。この例の場合、キズデータＡのキズデータ９０１（１３＿Ｄ）と、キズデータＢのキズデータ９０２（１５＿Ｄ）とは、共にダミーキズデータである。またこの例の場合、キズデータ９０１（１３＿Ｄ）の相対距離の値が"１３"で、キズデータ９０２（１５＿Ｄ）の相対距離の値が"１５"であるため、統合対象選択部２０５では、キズデータ９０１（１３＿Ｄ）が統合対象キズデータとして選択される。ただし、キズデータ９０１（１３＿Ｄ）はダミーキズデータであり、また、キズデータ９０１（１３＿Ｄ）の相対距離とキズデータ９０２（１５＿Ｄ）の相対距離とは異なる。このため、不要ダミーキズ判定部２０７では、キズデータ９０１（１３＿Ｄ）が破棄されて出力無し９０３となされる。ここで、第２の実施形態の場合、不要ダミーキズ判定部２０７は、その破棄したダミーキズデータ（キズデータ９０１（１３＿Ｄ））の相対距離の値"１３"の情報を、距離情報保持部６０１に保持させる。

次の統合処理として、キズデータ統合部１０８では、距離比較部２０２によるキズデータＡのキズデータ９０４（０４＿Ａ）の相対距離と、キズデータＢのキズデータ９０５（０２＿Ｄ）の相対距離との比較が行われる。この場合、キズデータ９０４（０４＿Ａ）の相対距離の値が"０４"で、キズデータ９０５（０２＿Ｄ）の相対距離の値が"０２"であるため、統合対象選択部２０５では、キズデータ９０５（０２＿Ｄ）が統合対象キズデータとして選択される。ただしこの場合、直前の統合処理においてキズデータが破棄されて出力無し９０３となっている。このため、距離調整部６０２は、キズデータ９０５（０２＿Ｄ）の相対距離の値"０２"に対し、直前に距離情報保持部６０１に保持されたキズデータ９０１（１３＿Ｄ）の相対距離の値"１３"を加算した値"１５"を、相対距離の情報とする。これにより、距離調整部６０２からは、キズデータ９０５（０２＿Ｄ）の相対距離が値"１５"に調整された新たなキズデータ"１５＿Ｄ"が、統合対象キズデータとして不要ダミーキズ判定部２０７に送られる。このときの不要ダミーキズ判定部２０７は、距離調整部６０２による相対距離の調整がなされた後の統合対象キズデータ９０６（１５＿Ｄ）を、統合キズデータＭとして出力する。

その後、距離比較部２０２において、キズデータＡのキズデータ９０７（１２＿Ａ）の相対距離と、キズデータＢのキズデータ９０８（１３＿Ｄ）の相対距離の比較が行われる段階まで進んだとする。また、直前の統合処理ではキズデータが破棄されて出力無しとなっており、距離情報保持部６０１には直前の距離情報として、例えばキズデータ９０９（０２＿Ｄ）の値"０２"が保持されているとする。この例の場合、キズデータ９０７（１２＿Ａ）の相対距離が"１２"で、キズデータ９０８（１３＿Ｄ）の相対距離が"１３"であるため、統合対象選択部２０５では、キズデータ９０７（１２＿Ａ）が統合対象キズデータとして選択される。またこの例の場合、直前の統合処理ではキズデータが破棄されて出力無しとなっている。このため、距離調整部６０２は、キズデータ９０７（１２＿Ａ）の相対距離の値"１２"に対し、直前に距離情報保持部６０１に保持されたキズデータ９０９（０２＿Ｄ）の相対距離の値"０２"を加算した値"１４"を、相対距離の情報とする。これにより、距離調整部６０２からは、キズデータ９０７（１２＿Ａ）の相対距離が値"１４"に調整された新たなキズデータ"１４＿Ａ"が、統合対象キズデータとして不要ダミーキズ判定部２０７に送られる。このときの不要ダミーキズ判定部２０７は、距離調整部６０２による相対距離の調整がなされた後の統合対象キズデータ９１０（１４＿Ａ）を、統合キズデータＭとして出力する。これ以降の説明は省略する。

以上説明したように、第２の実施形態では、統合処理の際にダミーキズデータが破棄された場合には、そのダミーキスデータの相対距離の情報を保持し、その保持した情報を用いて、次に選択された統合対象キズデータの相対距離の情報を調整している。これにより、第２の実施形態によれば、不要なダミーキズ画素を残さずにキズデータの統合が可能になるだけでなく、破棄されたダミーキズデータの相対距離を考慮した統合キズデータの生成が可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０２ 撮像素子、１０５ キズデータ生成部、１０８ キズデータ統合部、１１０ 画像処理部、２０１ 距離更新部、２０２ 距離比較部、２０５ 統合対象選択部、２０７ 不要ダミーキズ判定部、６０１ 距離情報保持部、６０２ 距離調整部

Claims (13)

1. 不良画素の位置を不良画素間の有限の相対距離で各々表した第１，第２のキズデータを、第３のキズデータとして統合する統合処理手段と、
   前記第３のキズデータが不良画素間を中継するために挿入されたダミーキズデータである場合、前記ダミーキズデータの前記相対距離と、直前に統合された第３のキズデータの前記相対距離とに基づいて、前記ダミーキズデータを前記第３のキズデータとして統合するか否か判定し、統合しないと判定した場合には前記ダミーキズデータを前記第３のキズデータから除外する除外手段と、
   を有することを特徴とするデータ処理装置。
2. 前記第１のキズデータは、撮像素子から入力された画像から検出された不良画素の位置を前記相対距離で表したキズデータであり、
   前記第２のキズデータは、既知の不良画素の位置を前記相対距離で表したキズデータであることを特徴とする請求項１に記載のデータ処理装置。
3. 前記第１のキズデータの相対距離と、前記第２のキズデータの相対距離とを、比較する比較手段を有し、
   前記統合処理手段は、前記比較の結果に基づき、前記第１のキズデータと第２のキズデータのうち前記相対距離の値が小さい方のキズデータを選択して、前記第３のキズデータとすることを特徴とする請求項１又は２に記載のデータ処理装置。
4. 前記除外手段は、前記比較の結果、前記第１のキズデータの相対距離と前記第２のキズデータの相対距離とが等しい距離である場合には、前記選択されたキズデータが前記ダミーキズデータであっても前記第３のキズデータから除外しないことを特徴とする請求項３に記載のデータ処理装置。
5. 前記除外手段は、前記第１のキズデータの相対距離と第２のキズデータの相対距離が異なる距離である場合には、前記選択したキズデータが前記ダミーキズデータであれば前記第３のキズデータから除外することを特徴とする請求項３又は４に記載のデータ処理装置。
6. 前記第１のキズデータと第２のキズデータのうち、前記第３のキズデータとして統合されなかった方のキズデータの前記相対距離の値を、前記第３のキズデータとして統合された方のキズデータの前記相対距離の値を基に更新する更新手段を有することを特徴とする請求項３乃至５の何れか１項に記載のデータ処理装置。
7. 前記比較手段は、前記第３のキズデータとして統合された方のキズデータの次のキズデータの前記相対距離と、前記値が更新されたキズデータの前記相対距離とを、比較することを特徴とする請求項６に記載のデータ処理装置。
8. 前記更新手段は、前記更新として、前記第３のキズデータとして統合された方のキズデータの前記相対距離の値から、前記第３のキズデータとして統合されなかった方のキズデータの前記相対距離の値を差し引くことを特徴とする請求項６又は７に記載のデータ処理装置。
9. 前記第３のキズデータから除外された前記ダミーキズデータの相対距離の値により、前記第３のキズデータとして統合された方のキズデータの次のキズデータの前記相対距離を調整する調整手段を有することを特徴とする請求項１乃至８の何れか１項に記載のデータ処理装置。
10. 前記調整手段は、前記調整として、前記第３のキズデータとして統合された方のキズデータの次のキズデータの前記相対距離の値に対し、前記第３のキズデータから除外された前記ダミーキズデータの相対距離の値を加算することを特徴とする請求項９に記載のデータ処理装置。
11. 前記第３のキズデータを基に、撮像素子から入力された画像の前記不良画素の位置を特定して、前記不良画素のデータに対する補正処理を行う画像処理手段を有することを特徴とする請求項１乃至１０の何れか１項に記載のデータ処理装置。
12. 不良画素の位置を不良画素間の有限の相対距離で各々表した第１，第２のキズデータを、第３のキズデータとして統合するステップと、
    前記第３のキズデータが不良画素間を中継するために挿入されたダミーキズデータである場合、前記ダミーキズデータの前記相対距離と、直前に統合された第３のキズデータの前記相対距離とに基づいて、前記ダミーキズデータを前記第３のキズデータとして統合するか否か判定し、統合しないと判定した場合には前記ダミーキズデータを前記第３のキズデータから除外するステップと、
    を有することを特徴とするデータ処理装置のデータ処理方法。
13. コンピュータを、請求項１乃至１１の何れか１項に記載のデータ処理装置の各手段として機能させるためのプログラム。

Images