JP2011530881A - 不良ピクセルクラスタ検出 - Google Patents

Abstract

不良ピクセルクラスタ検出のシステムおよび方法が開示される。特定の実施形態では、画像データを受信するために結合され、不良ピクセルクラスタ検出プロセスを実行するように適合された不良ピクセル補正モジュールを備えるシステムが開示される。該不良ピクセル補正モジュールは、２つのテストピクセルが、周囲ピクセルのグループの代表値をしきい値よりも多い量だけ超える値を有するかどうかを決定するためのロジックを含む。該しきい値はテーブルルックアップを介して決定される。
【選択図】 図２

Description

本開示は、一般に不良ピクセルクラスタ検出に関する。

技術の進歩により、コンピューティングデバイスは、より小型でより強力になった。例えば、現在、小型で軽量な、ユーザが容易に持ち運べるポータブルワイヤレス電話、携帯情報端末（ＰＤＡ）、ページングデバイスなどのワイヤレスコンピューティングデバイスを含む様々なポータブルパーソナルコンピューティングデバイスが存在する。より具体的には、セルラー電話やインターネットプロトコル（ＩＰ）電話などのポータブルワイヤレス電話は、ボイスおよびデータパケットをワイヤレスネットワークを介して伝達することができる。さらに、多くのそのようなワイヤレス電話は、その中に組み込まれた他のタイプのデバイスを含む。例えば、ワイヤレス電話は、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレーヤをも含むことができる。また、そのようなワイヤレス電話は、ウェブブラウザアプリケーションなど、インターネットにアクセスするために使用できるソフトウェアアプリケーションを含む実行可能な命令を処理することができる。従って、これらのワイヤレス電話はかなりの計算能力を含むことができる。

デジタル信号プロセッサ（ＤＳＰ）、画像プロセッサ、および他の処理デバイスは、デジタルカメラを含むポータブルパーソナルコンピューティングデバイス、あるいはデジタルカメラによってキャプチャされた画像またはビデオデータを表示するポータブルパーソナルコンピューティングデバイス中で頻繁に使用される。そのような処理デバイスを利用して、ビデオおよびオーディオ機能を与え、画像データなどの受信データを処理するか、または他の機能を実行することができる。

画像データは、画像アレイの１つまたは複数の故障セル、ダスト、カメラレンズ上の擦り傷または他の収差、または他の原因に起因することがある不正確な値を有する単一のピクセルまたはピクセルのクラスタを含むことがある。そのような不良ピクセルまたは欠陥ピクセルは検出及び補正されて、表示される画像の品質を改善することができる。しかしながら、ポータブルコンピューティングデバイス中の不良ピクセルクラスタの正確な検出および補正は、利用可能な処理リソースによって制限され得る。

特定の実施形態では、画像データを受信するために結合され、不良ピクセルクラスタ検出プロセスを実行するように適合された不良ピクセル補正モジュールを含むシステムが開示される。該不良ピクセル補正モジュールは、２つのテストピクセルが、周囲ピクセルのグループの代表値をしきい値よりも多い量だけ超える値を有するかどうかを決定するためのロジックを含む。該しきい値はテーブルルックアップ（table lookup）を介して決定される。

別の特定の実施形態では、第１のテストピクセルと第２のテストピクセルとが、いつ上限を上回る値または下限を下回る値を有するかを決定することによって、画像データ中の不良ピクセルクラスタを検出するように適合された信号プロセッサを含むシステムが開示される。該上限および該下限は、該第１のテストピクセルと該第２のテストピクセルとを囲む少なくとも８個のピクセルのグループのピクセル値に基づいて決定される。該信号プロセッサは、該検出された不良ピクセルクラスタに対応する修正ピクセル値を有する処理済み画像データを生成するようにさらに適合される。本システムはまた、該処理済み画像データを受信し、該処理済み画像データを表示デバイスに提供するために結合された表示コントローラを含む。

別の特定の実施形態では、方法が開示される。本方法は、画像データを受信することと、該画像データの第１のテストピクセルを選択することとを含む。該第１のテストピクセルは第１のテストピクセル値を有する。本方法は、該画像データの第２のテストピクセルを選択することも含む。該第２のテストピクセルは第２のテストピクセル値を有し、該第２のテストピクセルは該第１のテストピクセルに対して隣接するか、または対角にある。本方法は、周囲ピクセルのグループを評価することに基づいて、該第１のテストピクセルと該第２のテストピクセルとが不良ピクセルクラスタを形成するかどうかを決定することをさらに含む。該周囲ピクセルのグループの各ピクセルは、該第１のテストピクセルまたは該第２のテストピクセルに対して最近傍である。該周囲ピクセルのグループの少なくとも第１のピクセルは該第１のテストピクセルに対して最近傍ではなく、該周囲ピクセルのグループの少なくとも第２のピクセルは該第２のピクセルに対して最近傍ではない。

別の特定の実施形態では、本方法は、画像データを受信すること、および該画像データの第１のテストピクセルを選択することとを含み、ここで該第１のテストピクセルは第１のテストピクセル値を有する。本方法はまた、該第１のテストピクセルの最近傍ピクセルを含む周囲ピクセルの少なくとも第１のグループに基づいて、該第１のテストピクセルが不良ピクセルクラスタの一部であるかどうかを決定するために該第１のテストピクセルをテストすることを含む。該第１のテストピクセルが該周囲ピクセルの第１のグループに基づいて評価された後、本方法は、ピクセルの拡大されたグループのピクセル値に基づいて、該第１のテストピクセルが不良ピクセルであるかどうかを決定することを含む。該ピクセルの拡大されたグループは、該最近傍ピクセルのうちの少なくともいくつかを含み、該第１のテストピクセルに対して最近傍ではないピクセルをさらに含む。

該不良ピクセルクラスタ検出方法の実施形態によって提供される１つの特定の利点は、ポータブルコンピューティングデバイスにおいて実行できる比較的少数の処理ステップを用いた不良ピクセルと不良ピクセルクラスタとの効率的な検出である。

本開示の他の態様、利点、および特徴は、図面の簡単な説明、発明を実施するための形態、および特許請求の範囲を含む、本出願全体の検討の後に明らかになろう。

不良ピクセルクラスタ検出モジュールを有する画像処理システムを含むシステムの特定の例示的な実施形態のブロック図。 不良ピクセルクラスタを検出するシステムの第１の例示的な実施形態のデータフロー図。 不良ピクセルクラスタを検出するシステムの第２の例示的な実施形態のデータフロー図。 不良ピクセルクラスタを検出する方法の第１の例示的な実施形態のフローチャート。 不良ピクセルクラスタを検出する方法の第２の例示的な実施形態のフローチャート。 不良ピクセルクラスタを検出する方法の第３の例示的な実施形態のフローチャート。 不良ピクセルクラスタ検出モジュールを含むデバイスの特定の実施形態のブロック図。 不良ピクセルクラスタ検出モジュールを含むポータブル通信デバイスのブロック図。

図１は、不良ピクセルクラスタ検出および補正モジュールを有する画像処理システムを含むシステムの特定の例示的な実施形態のブロック図である。システム１００は、画像処理システム１３０に結合された画像キャプチャデバイス１０１を含む。画像処理システム１３０は画像記憶デバイス１４０に結合される。画像処理システム１３０は、画像キャプチャデバイス１０１から画像データ１０９を受信し、周囲ピクセルのグループに基づいて画像データ１０９の不良ピクセルクラスタを検出し、補正するように構成される。一般に、システム１００は、比較的限定された処理リソースを用いてリアルタイム画像処理を実行するように構成されたポータブル電子デバイス中に実装され得る。

特定の実施形態では、画像キャプチャデバイス１０１は、ビデオカメラまたはスチルカメラなどのカメラである。画像キャプチャデバイス１０１は、フォーカシングモジュール１０４と露光モジュール１０６とに応答するレンズ１０２を含む。センサ１０８は、レンズ１０２を介して光を受け取り、レンズ１０２を介して受け取った画像に応答して画像データ１０９を生成するために結合される。フォーカシングモジュール１０４は、センサ１０８に応答することができ、レンズ１０２のフォーカシングを自動的に制御するように適合できる。露光モジュール１０６はまた、センサ１０８に応答でき、画像の露光を制御するように適合し得る。特定の実施形態では、センサ１０８は、隣接する検出器が光の異なる色を検出するように配置された、複数の検出器またはピクセルウェルを含む。例えば、各検出器が赤、緑、または青の入射光を受け取るように受け取った光はフィルタリングされる。

画像キャプチャデバイス１０１は、画像データ１０９を画像処理システム１３０に提供するために結合される。画像処理システム１３０は、図２〜図８に関して説明されるように、周囲ピクセルのグループに基づいて不良ピクセルクラスタを検出するように構成された不良ピクセルクラスタ検出および補正モジュール１１０を含む。画像処理システム１３０はまた、不良ピクセルクラスタ検出および補正モジュール１１０から受信した処理済み画像データに対してデモザイク演算を実行するためのデモザイクモジュール１１２を含む。色補正モジュール１１４は、デモザイクされた画像データに対して色補正を実行するように構成される。ガンマモジュール１１６は、色補正モジュール１１４から受信したデータからガンマ補正データを生成するように構成される。色変換モジュール１１８は、ガンマ補正画像データに対して色空間変換を実行するために結合される。圧縮および記憶モジュール１２０は、色変換モジュール１１８の出力を受信し、圧縮出力データを画像記憶デバイス１４０に記憶するために結合される。画像記憶デバイス１４０は、１つまたは複数の表示バッファ、レジスタ、キャッシュ、フラッシュメモリ要素、ハードディスク、他の記憶デバイス、またはそれらの任意の組合せなどの任意のタイプの記憶媒体を含むことができる。

動作中、不良ピクセルクラスタ検出および補正モジュール１１０は、入力画像データ１０９の不良ピクセルクラスタを検出し、補正することができる。例えば、不良ピクセルクラスタは、ピクセル感度の増加または減少、センサ１０８のピクセルウェルへの電流漏れ、レンズ１０２とセンサ１０８との間の粉塵、または他の原因によって生じることがあり得る。入力画像データ１０９の周囲ピクセルの１つまたは複数のグループに基づいて不良ピクセルクラスタを検出することにより、正確な不良ピクセルクラスタ検出を用いた効率的な画像処理が可能になる。

図２は、不良ピクセルクラスタを検出するシステムの第１の例示的な実施形態のデータフロー図である。特定の実施形態では、システム２００は、図１の不良ピクセルクラスタ検出および補正モジュール１１０中に実装され得る。画像データ２０２は不良ピクセル検出モジュール２０４に与えられる。しきい値ルックアップテーブル２０６は、また不良ピクセル検出モジュール２０４にとってアクセス可能である。特定のピクセルと周囲ピクセルの１つまたは複数のグループとの比較に基づいて、第１のパターン２２０、第２のパターン２３０、第３のパターン２４０、第４のパターン２５０、または第５のパターン２６０などに従って、不良ピクセル検出モジュール２０４は、特定のピクセルが孤立した不良ピクセルまたは不良ピクセルクラスタの一部であることを決定し、エラー（error）信号２１１を生成し得る。エラー信号２１１は、不良ピクセル補正モジュール２１２に提供され得る。

画像データ２０２は、インデックス値１〜５を有する行および列に整列されたピクセルデータを含むものとして示される。画像データ２０２は、不良ピクセル検出のために処理されているより大きい画像の一部分を表す。（行，列）＝（３，３）における中心ピクセルは、垂直に、水平に、および対角的に中心ピクセルに隣接する８個の影つきピクセルとして示される８個の最近傍２１６を有する。画像データ２０２のすべてのピクセルは、クラスタ２１４を形成する「Ａ」と標示された中心ピクセルと、「Ｂ」と標示された（３，２）におけるピクセルとを除いて、「ｘ」と標示されている。第１の実施形態では、「Ａ」および「Ｂ」と標示されたピクセルは、それぞれ「ｘ」と標示されたピクセルのうちの最小値よりも小さいピクセル値を有し、クラスタ２１４はコールドクラスタと呼ばれる。別の実施形態では、「Ａ」および「Ｂ」と標示されたピクセルは、それぞれ「ｘ」と標示されたピクセルのうちの最大値よりも大きいピクセル値を有し、クラスタ２１４はホットクラスタと呼ばれる。

特定の実施形態では、画像データ２０２の各ピクセルの値はピクセルの輝度または強度レベルを示す。例えば、各ピクセルは、画像センサの対応する検出器セルにおいて受け取った光を表す。ピクセルの強度は、対応する検出器セルにおいて受け取った光の相対量を数値として示す。ピクセル強度を０〜２５５のレンジ内などの数として表し、０はピクセルロケーションにおいて光がないことを示し、２５５はピクセルロケーションにおける光の最大量を表す。さらに、特定の実施形態では、ピクセル強度値は、赤、緑、青のカラーチャネルなど、対応する状態またはカラーチャネルに関連する。ただし、他の実施形態では、ピクセル値は、カラーチャネルに関連する強度レベルを示さず、代わりに色相、彩度、および明度（ＨＳＶ）データなどの他のピクセルデータを示すことができる。

特定の実施形態では、パターン２２０、２３０、２４０、および２５０は、画像データ２０２の「Ａ」と標示されたピクセルなどのテスト中のピクセルと比較するために、影つき円として示された周囲ピクセルのグループを示す。例えば、第１のパターン２２０は、第１のテストピクセル２２２と、第１のテストピクセル２２２に隣接する第２のテストピクセル２２４と、周囲ピクセルの第１のグループ２２６とを含む。周囲ピクセルの第１のグループ２２６は、第１のテストピクセル２２２と第２のテストピクセル２２４との周りに矩形パターンを形成する１０個のピクセルを含む。第２のパターン２３０は、第１のテストピクセル２３２と、第１のテストピクセル２３２に対して対角にある第２のテストピクセル２３４と、周囲ピクセルの第２のグループ２３６とを含む。周囲ピクセルの第２のグループ２３６は、第１のテストピクセル２３２と第２のテストピクセル２３４との周りに不規則な六角パターンを形成する８個のピクセルを含む。第３のパターン２４０は、第１のテストピクセル２４２と、第１のテストピクセル２４２に隣接する第２のテストピクセル２４４と、周囲ピクセルの第３のグループ２４６とを含む。第４のパターン２５０は、第１のテストピクセル２５２と、第１のテストピクセル２５２に対して対角にある第２のテストピクセル２５４と、周囲ピクセルの第４のグループ２５６とを含む。

周囲ピクセルの各グループ２２６、２３６、２４６、および２５６の各ピクセルは、それぞれ第１のテストピクセル２２２、２３２、２４２、または２５２、またはそれぞれ第２のテストピクセル２２４、２３４、２４４、または２５４のうちの少なくとも１つに対して最近傍である。さらに、周囲ピクセルの各グループ２２６、２３６、２４６、および２５６の少なくとも第１のピクセルは、それぞれ第１のテストピクセル２２２、２３２、２４２、または２５２に対して最近傍ではなく、周囲ピクセルのグループの少なくとも第２のピクセルは、それぞれ第２のテストピクセル２２４、２３４、２４４、または２５４に対して最近傍ではない。例えば、周囲ピクセルの第１のグループ２２６は、第２のテストピクセル２２４に対して最近傍であり、第１のテストピクセル２２２に対して最近傍ではない３つのピクセル２２８を含む。周囲ピクセルの第１のグループ２２６はまた、第１のテストピクセル２２２に対して最近傍であり、第２のテストピクセル２２４に対して最近傍ではない３つのピクセル２２９を含む。別の例として、周囲ピクセルの第２のグループ２３６は、第２のテストピクセル２３４に対して最近傍であり、第１のテストピクセル２３２に対して最近傍ではない３つのピクセル２３８を含む。周囲ピクセルの第２のグループ２３６はまた、第１のテストピクセル２３２に対して最近傍であり、第２のテストピクセル２３４に対して最近傍ではない３つのピクセル２３９を含む。

不良ピクセル検出モジュール２０４は、第１のパターン２２０を使用して、第１のテストピクセル２２２と第２のテストピクセル２２４との値を周囲ピクセルロケーションの第１のグループ２２６中のピクセルの値と比較することによって、テストピクセル２２２および２２４に対応する画像データ２０２中のピクセルが不良ピクセルクラスタまたは「二重不良」クラスタを形成するかどうかを決定するように構成される。同様に、不良ピクセル検出モジュール２０４は、第２のパターン２３０を使用して、第１のテストピクセル２３２と第２のテストピクセル２３４との値を周囲ピクセルの第２のグループ２３６のピクセルの値と比較することによって、ピクセル２３２および２３４が画像データ２０２中の不良ピクセルクラスタを形成するかどうかを決定するように構成される。不良ピクセル検出モジュール２０４はまた、第３のパターン２４０を使用して、第１のテストピクセル２４２と第２のテストピクセル２４４との値を周囲ピクセルの第３のグループ２４６のピクセルの値と比較することによって、ピクセル２４２および２４４が画像データ２０２中の不良ピクセルクラスタを形成するかどうかを決定するように構成される。不良ピクセル検出モジュール２０４は、第４のパターン２５０を使用して、第１のテストピクセル２５２と第２のテストピクセル２５４との値を周囲ピクセルの第４のグループ２５６のピクセルの値と比較することによって、ピクセル２５２および２５４が画像データ２０２中の不良ピクセルクラスタを形成するかどうかを決定するようにさらに構成される。

さらに、第５のパターン２６０は、不良ピクセル検出モジュール２０４によって使用され、テスト中のピクセルが孤立した不良ピクセルまたは「単一不良」ピクセルであるかどうかを決定するために、画像データ２０２の「Ａ」と標示されたピクセルなどのテスト中のピクセルと比較するためのピクセルのグループ２６６を選択することができる。不良ピクセル検出モジュール２０４は、周囲ピクセルのグループ２２０、２３０、２４０、または２５０とは異なるピクセルの拡大されたグループ２６６のピクセル値に基づいて、第１のテストピクセル２６２が不良ピクセルであるかどうかを決定することができる。不良ピクセル検出モジュール２０４は、第１のテストピクセル２６２が不良ピクセルであるかどうかを決定するために、第１のテストピクセル値を、第１のテストピクセル２６２から外側に放射状に一様に離間した１６の方向に沿って第１のテストピクセル２６２に最も近い各ピクセルの値と比較することができる。ピクセルの拡大されたグループ２６６は、第１のテストピクセルに対して最近傍であるピクセルと、第１のテストピクセル２６２に対して最近傍ではない少なくとも２つのピクセルとを含む。例えば、ピクセルの拡大されたグループ２６６は、第１のテストピクセル２６２において交差する実質的に一様に離間した８個のライン２７０〜２７７に沿って第１のテストピクセル２６２に最も近い各ピクセルを含む。ライン２７０、２７２、２７４、および２７６に沿った、拡大されたピクセルのグループ２６６中のピクセルは、第１のテストピクセル２６２に対して最近傍であるが、ライン２７１、２７３、２７５、および２７７に沿ったピクセルは第１のテストピクセル２６２に対して最近傍ではない。

エラー信号２１１に基づいて、不良ピクセル補正モジュール２１２は、不良ピクセルクラスタのピクセルの値、または個々の不良ピクセルの値を修正するように構成できる。例えば、クラスタ２１４が不良ピクセルクラスタとして識別されたとき、不良ピクセルクラスタ補正モジュール２１２は、クラスタ２１４の各ピクセルの値を、ホットクラスタの場合は周囲ピクセルのグループ２２６、２３６、２４６、２５６、または２６６の最大値に、あるいはコールドクラスタの場合は最小値に設定することができる。他の例として、最大値または最小値、中央値、平均値、あるいは周囲ピクセルに基づく他の代表的な値が使用され、クラスタ２１４の値を置換するかまたは決定することができる。

動作中、システム２００は、画像センサによってキャプチャされたか、メモリから検索されたか、あるいはワイヤレスまたはワイヤライン送信を介して受信された画像データに対して、不良ピクセルクラスタ検出プロセスを実行することができる。システム２００は、ピクセルごとに画像データを移動し、各特定のピクセルにおいて、二重不良ピクセルおよび単一不良ピクセルを検出するために、特定のピクセルを中心とするピクセルのグループ２２６、２３６、２４６、２５６、および２６６に対応する画像データの周囲ピクセルの値を評価することができる。システム２００は、ホットピクセルクラスタを検出するための第１のパスと、コールドピクセルクラスタを検出するための第２のパスとを実行するか、または代替的に、ホットクラスタとコールドクラスタの両方の場合に、画像データを通る単一のパス中で検出プロセスを実行することができる。

不良ピクセル検出モジュール２０４は、各選択されたピクセルについて、パターン２２０、２３０、２４０、および２５０で表された近傍ピクセル値を評価することによって、選択されたピクセルが不良ピクセルクラスタの一部であるかどうかを決定することができる。例示するために第１のパターン２２０を使用すると、不良ピクセル検出モジュール２０４は、第１のパターン２２０の第１のテストピクセル２２２と第２のテストピクセル２２４とに対応する画像データ２０２中のピクセルの値を決定することができる。第１のテストピクセル２２２に対応する画像データ２０２中のピクセル「Ａ」は、値「Ｖ_A」を有し、第２のテストピクセル２２４に対応する画像データ２０２中のピクセル「Ｂ」は、値「Ｖ_B」を有する。不良ピクセル検出モジュール２０４は、値Ｖ_AまたはＶ_Bを、最大近傍ピクセル値、最小近傍ピクセル値、２番目に大きい近傍ピクセル値または２番目に小さい近傍ピクセル値、中央値、平均値、あるいは他の代表的な値など、近傍ピクセルから１つまたは複数の代表的な値と比較することができる。

例示的な実施形態では、不良ピクセル検出モジュール２０４は、周囲ピクセルの第１のグループ２２６に対応する画像データ２０２中のピクセルの値を決定し、周囲ピクセルの第１のグループ２２６の最大値Ｖ_upperから周囲ピクセルの第１のグループ２２６の最小値Ｖ_lowerまでの順序付けられた周囲値のセット２９４を生成する。不良ピクセル検出モジュール２０４は、テストピクセル２２２および２２４のより低い値Ｖ_AまたはＶ_BをＶ_upperと比較することができる。テストピクセル２２２および２２４のより小さい値Ｖ_AまたはＶ_Bが、上限しきい値Ｔ_upper２９２よりも大きい量だけＶ_upperよりも大きいとき、テストピクセル２２２および２２４は、ホットクラスタであると決定される。同様に、不良ピクセル検出モジュール２０４は、テストピクセル２２２および２２４のより大きい値Ｖ_AまたはＶ_BをＶ_lowerと比較することができる。テストピクセル２２２および２２４のより大きい値Ｖ_AまたはＶ_Bが、下限しきい値Ｔ_lower２９６よりも大きい量だけＶ_lowerよりも小さいとき、テストピクセル２２２および２２４は、コールドクラスタであると決定される。テストピクセル２２２および２２４が不良ピクセルクラスタの一部であると決定されない場合、不良ピクセル検出モジュール２０４はパターン２３０、２４０、および２５０のそれぞれについて比較プロセスを反復することができる。

特定の実施形態では、上限しきい値Ｔ_upper２９２、下限しきい値Ｔ_lower２９６、またはその両方は、しきい値ルックアップテーブル２０６において１つまたは複数のルックアップ演算を実行することによって決定され得る。しきい値ルックアップテーブル２０６は、カラーチャネル、強度値、またはその両方に応じたしきい値に対応するデータを記憶することができる。不良ピクセル検出モジュール２０４は、１つまたは複数のテストピクセルカラーチャネルおよび強度値などのピクセルデータ２０５を使用して、１つまたは複数のテストピクセルのカラーチャネルおよび強度に基づいて決定されたしきい値２０７を返すしきい値ルックアップテーブル２０６においてルックアップ演算を実行する。例えば、しきい値２０７は、色、強度、またはその両方に応じて、色強度の変動を知覚する一般的な観察者の能力に相関する。特定の実施形態では、第１のテストピクセル２２２と第２のテストピクセル２２４とのうちのより大きい値に対応するしきい値２０７は、下限しきい値Ｔ_lower２９６として使用され、第１のテストピクセル２２２と第２のテストピクセル２２４とのうちのより小さい値に対応するしきい値２０７は、上限しきい値Ｔ_upper２９２として使用され得る。強度および色についての人間知覚に基づく、しきい値ルックアップテーブル２０６に記憶されるしきい値の例示的な例を表１〜表３に示す。３つのテーブル（表１〜表３）に示されるが、しきい値は、単一のテーブルまたはデータのセットとしてしきい値ルックアップテーブル２０６に記憶され得る。

第１のテストピクセル２２２および第２のテストピクセル２２４などのテストピクセルが不良ピクセルクラスタを形成すると決定したことに応答して、不良ピクセル検出モジュール２０４はエラー信号２１１を生成することができる。不良ピクセル補正モジュール２１２は、テストピクセル値を修正することによってエラー信号２１１に応答することができる。例えば、テストピクセル２２２および２２４が不良ピクセルクラスタを形成すると決定された場合、不良ピクセル補正モジュール２１２は、テストピクセル２２２および２２４がホットクラスタを形成するか、またはコールドクラスタを形成するかに基づいて、テストピクセル２２２および２２４の値を、周囲ピクセルの第１のグループ２２６の最大値Ｖ_upperまたは周囲ピクセルの第１のグループ２２６の最小値Ｖ_lowerに変更することができる。別の例として、不良ピクセル補正モジュール２１２は、テストピクセル２２２および２２４がホットクラスタを形成するか、またはコールドクラスタを形成するかに基づいて、視覚的に知覚できないか、または最小限に知覚可能である周囲ピクセルのグループからの実質的な最大偏差として、テストピクセル２２２および２２４の値を、最大値Ｖ_upper＋上限しきい値Ｔ_upper２９２、または最小値Ｖ_lower−下限しきい値Ｔ_lower２９６に等しい値に変更することができる。

第１のテストピクセル２２２と第２のテストピクセル２２４とが不良ピクセルクラスタを形成すると決定されなかったとき、不良ピクセル検出モジュール２０４は、パターン２３０、２４０および２５０を使用して同様のクラスタ検出分析を適用することによって、テスト中の特定のピクセルを処理し続けることができる。パターン２２０、２３０、２４０、または２５０のそれぞれを適用した後にテスト中の特定のピクセルが不良ピクセルクラスタを形成しないと決定された場合、不良ピクセル検出モジュール２０４は、第５のパターン２６０を適用して、ピクセルの拡大されたグループ２６６のピクセル値に基づいて、特定のピクセルが単一不良ピクセルであるかどうかを決定することができる。例えば、不良ピクセル検出モジュール２０４は、第１のテストピクセル２２２の値と、しきい値ルックアップテーブル２０６における第１のテストピクセル２２２に関連する色とを使用してルックアップ演算を開始し、その色と第１のピクセル２２２の値とに基づいて、しきい値ルックアップテーブル２０７からしきい値２０７を検索し、しきい値２０７を使用して第１のテストピクセル２２２の値をピクセルの拡大されたグループ２６６の代表的な値と比較することができる。ピクセルの拡大されたグループ２６６の代表的な値の例には、最大ピクセル値または２番目に大きいピクセル値、最小ピクセル値または次の最小ピクセル値、平均値、中央値、あるいはピクセルの拡大されたグループ２６６の他の代表的な値がある。

特定の実施形態では、不良ピクセル検出モジュール２０４は、テーブルルックアップ演算の頻度を減らすために、１つまたは複数のピクセルに対応する、返されたしきい値２０７を記憶またはキャッシュすることができる。例えば、パターン２２０、２３０、２４０、２５０、および２６０のそれぞれは、画像データ２０２中のピクセル「Ａ」など、テスト中の特定のピクセルに対応するしきい値を使用することができる。従って、テスト中の特定のピクセルに関連するしきい値を決定するために単一のルックアップ演算が実行され、テスト中のピクセルに対して返されたしきい値２０７は、パターン２２０、２３０、２４０、２５０、および２６０のそれぞれとともに使用するために記憶され得る。

テスト中の特定のピクセルに対する処理が完了し、その結果、特定のピクセルの値が修正されるか、あるいは特定のピクセルが不良ピクセルクラスタの一部または単一不良ピクセルではないと決定された後、システム２００は、画像データ２０２中の次のピクセルをテストすることに進むことができる。システム２００は、（場合によっては、エッジにあるまたはエッジ近くにあるピクセルを除外して）右から左におよび上から下になど、画像データを系統的にスキャンすることができるので、各特定のピクセルに適用される４つのクラスタパターン２２０、２３０、２４０、および２５０は、特定のピクセルの８個の最近傍２１６のすべてを含む不良ピクセルクラスタについてテストするのに十分である。詳細には、特定のピクセルの場合、前にスキャンされた行上の３つの最近傍ピクセルと、特定のピクセルと同じ行上の１つの最近傍とに対するクラスタテストが、特定のピクセルを含む不良クラスタについて前にテストされており、反復される必要はない。

従って、システム２００は、加算、減算、読取り、テーブルルックアップおよび比較など、単純な演算のみを使用して、ピクセル値を周囲ピクセルのグループ２２６、２３６、２４６、および２５６ならびにピクセルの拡大されたグループ２６６と比較することによって、特定のピクセルが不良クラスタの一部または単一不良ピクセルであるかどうかを決定することができる。特定の実施形態では、不良ピクセル検出モジュール２０４は、テスト中の各ピクセルについて合計約１０２個以下の演算を使用してパターン２２０、２３０、２４０、２５０、および２６０のすべてを適用することによって、画像データ２０２のピクセルをテストするように構成され得る。その結果、システム２００は、制限された処理リソースをもつ携帯デバイスまたはシステム中に実装でき、画像データ中の単一不良ピクセル、および二重不良ピクセルクラスタの速い検出および補正を行う。。

図３を参照すると、不良ピクセルクラスタを検出するシステムの第２の例示的な実施形態のデータフロー図が示され、概して３００で示される。例示的な実施形態では、システム３００は、図１の不良クラスタ検出および補正モジュール１１０中に実装され、図２のシステム２００の特定の実施形態を示す。システム３００は、入力データ３０２を受信し、不良ピクセルクラスタと単一不良ピクセルとを検出するためにパターン３２０、３３０、３４０、３５０、および３６０を適用し、エラー信号３０７を不良ピクセルクラスタ補正モジュール３０８に提供する不良ピクセル検出モジュール３０４を含む。パターン３２０〜３６０のそれぞれは、ピクセル３１０を中心とした画像の５×５サンプルを表す。

画像データ３０２は、交互の色またはカラーチャネルに対応するピクセルの行および列に配置されたピクセルの規則的アレイとして示される。一般的なバイエルモザイク（Bayer mosaic）構成では、列は、緑（Ｇ）ピクセルおよび青（Ｂ）ピクセルを有する列と、赤（Ｒ）ピクセルおよび緑（Ｇ）ピクセルを有する列との間で交互になる。中心ピクセル３１０は、０〜２５５の例示的なレンジのうちの最大値を表す値２５５を有する青ピクセルとして示される。また、中心ピクセル３１０は、値２４５を有する最近傍の青ピクセル３１２を含む不良ピクセルクラスタの一部であり、２４５は、丸で囲まれたピクセルとして示す８個の最近傍ピクセル３１４のうちの最大値である。周囲青ピクセルのグループ３１６は、中心ピクセル３１０とピクセル３１２とをそれぞれ囲む影つきピクセルとして示される。図示されるように、周囲ピクセルのグループ３１６は、中心ピクセル３１０が二重不良ピクセルクラスタの一部であるかどうかをテストするために画像データ３０２の青チャネルに適用されるパターン３３０に対応する。

特定の実施形態では、不良ピクセル検出器モジュール３０４は、パターン３２０、３３０、３４０、３５０、および３６０のそれぞれを画像データ３０２に色単位で適用することによって、画像データ３０２の特定のピクセルが不良ピクセルクラスタの一部または単一不良ピクセルであるかどうかを決定するように構成され得る。例えば、中心ピクセル３１０が青である場合、不良ピクセル検出器モジュール３０４は、パターン３２０、３３０、３４０、３５０、および３６０を中心ピクセル３１０に近接する青ピクセルのみに適用するように構成される。図示された実施形態では、不良ピクセル検出器モジュール３０４は、パターン３２０、３３０、３４０、３５０、および３６０を適用するときに非青ピクセルを無視する。

不良ピクセル検出器モジュール３０４は、パターン３２０、３３０、３４０、３５０、および３６０が適用されるテスト中の１つまたは複数のピクセルのカラーチャネルと強度とに基づいてしきい値を決定するために、ルックアップテーブル３０６を含むか、またはルックアップテーブル３０６にアクセスできる。ルックアップテーブル３０６は、人間視覚特性から導出されたしきい値を記憶することができるので、テスト中のピクセルのしきい値内の強度値を有するピクセルは、テスト中のピクセルと視覚的に区別されず、従って不良ピクセルではないとされ得る。例えば、ルックアップテーブル３０６は、表１、表２、表３、またはそれらの任意の組合せで示される値を記憶することができる。

同様の演算は、画像データ３０２の赤チャネルと緑チャネルとに対して実行され得る。他の実施形態では、画像データ３０２は、他の３色モザイク構成、４色モザイク構成、または他のモザイク構成など、他の色またはモザイクパターンを含むことができ、不良ピクセル検出器モジュール３０４は、青カラーチャネルに関して記述したように、パターン３２０、３３０、３４０、３５０、および３６０を個々のカラーチャネルに対応するピクセルに適用するように構成され得る。ただし、画像データがモザイクデータではない場合などの他の実施形態では、システム３００は、カラーチャネルについて調整することなしに、パターン３２０、３３０、３４０、３５０、および３６０を、受信した画像データに直接適用することができる。

図４は、不良ピクセルクラスタを検出する方法の第１の例示的な実施形態のフローチャートである。例示的な実施形態では、方法４００は、図１〜図３に示すシステムの１つまたは複数によって実行され得る。４０２において、画像データが受信される。例えば、図１のモジュール１１０、図２の２０４、または図３の３０４などの不良ピクセル検出モジュールにおいて画像データが受信される。４０４に移動し、ピクセルＰは、画像データ中の特定のピクセルに設定される。例えば、ピクセルＰは、テスト中のピクセルを示し、不良ピクセルおよび不良ピクセルクラスタを求めて画像データをスキャンする開始位置として、画像データの右下のコーナーに初期化され得る。

４０６に進んで、周囲ピクセルの第１のグループを使用して第１の不良クラスタテストが実行される。第１の不良クラスタテストは、ピクセルＰと隣接するピクセルとが不良クラスタを形成するかどうかをテストする。例えば、図２に示す周囲ピクセルの第１のグループ２２６を使用して第１の不良クラスタテストは実行され得る。４０８に進んで、第１の不良クラスタテストが不良クラスタを検出したかどうかの決定が行われる。４０８において、第１の不良クラスタテストが不良クラスタを検出したとき、４２６において、不良クラスタを形成する不良ピクセルの値が修正される。例えば、不良ピクセルの値は、最大値、最小値、中央値、平均値、または周囲ピクセルの第１のグループに基づいて決定可能な他のそのような代表値に設定され得る。別の例として、不良ピクセルの値は、周囲ピクセルの第１のグループの値に基づき、また、１つまたは複数のしきい値に基づく。１つまたは複数のしきい値は、あらかじめ決定されるか、あるいはピクセルＰのカラーチャネル、ピクセルＰの強度値、またはその両方に基づく。

４０８において、第１の不良クラスタテストが不良クラスタを検出しないとき、４１０において、第２の不良クラスタテストは、周囲ピクセルの第２のグループを使用して実行される。第２の不良クラスタテストは、ピクセルＰと対角ピクセルとが不良クラスタを形成するかどうかをテストし得る。例えば、第２の不良クラスタテストは、図２に示す周囲ピクセルの第２のグループ２３６を使用して実行される。４１２に進んで、第２の不良クラスタテストが不良クラスタを検出したかどうかの決定が行われる。４１２において、第２の不良クラスタテストが不良クラスタを検出するとき、４２６において、不良クラスタを形成する不良ピクセルの値が修正される。

４１２において、第２の不良クラスタテストが不良クラスタを検出しないとき、４１４において、第３の不良クラスタテストが、周囲ピクセルの第３のグループを使用して実行される。第３の不良クラスタテストは、ピクセルＰと別の隣接するピクセルとが不良クラスタを形成するかどうかをテストし得る。例えば、第３の不良クラスタテストは、図２に示す周囲ピクセルの第３のグループ２４６を使用して実行される。４１６に進んで、第３の不良クラスタテストが不良クラスタを検出したかどうかの決定が行われる。４１６において、第３の不良クラスタテストが不良クラスタを検出するとき、４２６において、不良クラスタを形成する不良ピクセルの値が修正される。

４１６において、第３の不良クラスタテストが不良クラスタを検出しないとき、４１８において、第４の不良クラスタテストが、周囲ピクセルの第４のグループを使用して実行される。第４の不良クラスタテストは、ピクセルＰと別の対角ピクセルとが不良クラスタを形成するかどうかをテストし得る。例えば、第４の不良クラスタテストは、図２に示す周囲ピクセルの第４のグループ２５６を使用して実行される。４２０に進んで、第４の不良クラスタテストが不良クラスタを検出したかどうかの決定が行われる。４２０において、第４の不良クラスタテストが不良クラスタを検出するとき、４２６において、不良クラスタを形成する不良ピクセルの値が修正される。

４２０において、第４の不良クラスタテストが不良クラスタを検出しないとき、４２２において、単一不良ピクセルテストが、周囲ピクセルの第５のグループを使用して実行される。単一不良ピクセルテストは、ピクセルＰが不良ピクセルであるかどうかをテストし得る。例えば、単一不良ピクセルテストは、図２に示す周囲ピクセルの拡大されたグループ２６６を使用して実行される。４２４に進んで、単一不良ピクセルテストは、ピクセルＰが不良ピクセルであることを検出したかどうかの決定が行われる。４２４において、単一不良ピクセルテストが不良ピクセルを検出するとき、４２６において、不良ピクセル（Ｐ）の値が修正される。

４２６において、ピクセルの値を修正した後に、または４２４において、不良ピクセルおよび不良クラスタが検出されなかったとき、４２８において、Ｐは、テストすべき次のピクセルにインクリメントされ、処理が４０６に戻り、第１の不良クラスタテストは、新しいピクセルＰについて周囲ピクセルの第１のグループを使用して実行される。

図４に示されるように、特定のピクセルＰについていずれかの不良ピクセルクラスタが検出された後に、ピクセルＰについて残りの不良クラスタテストおよび単一不良ピクセルテストは実行されない。例えば、図２のパターン２２０、２３０、２４０、２５０、および２６０を参照すると、周囲ピクセルのグループの最小値または最大値に等しくテストピクセルを補正することは、その後、他のパターンが（１つまたは複数の）補正された値を使用して不良ピクセルクラスタを検出しないことを保証する。

さらに、図４に示されるように、クラスタテストが実行され、ピクセルＰを含む不良クラスタが検出されなかった後に、単一不良ピクセルテストは特定のピクセルＰについて実行され得る。他の場合、特定の実施形態では、単一不良ピクセルテストは最初に実行され、ピクセルＰが不良クラスタの一部であるとき、ピクセルＰは、その最も近いと評価された近傍に対応する値を有するように「補正され得る」。最も近いと評価された近傍は不良ピクセルクラスタの他の不良ピクセルになるので、不良ピクセルクラスタは不良クラスタのままである。

図５は、不良ピクセルクラスタを検出する方法の第２の例示的な実施形態のフローチャートである。特定の実施形態では、方法５００は、図１〜図３に示されるシステムのいずれかによって実行され得る。５０２において、画像データが受信される。５０４に移動して、画像データの第１のテストピクセルが選択される。第１のテストピクセルは第１のテストピクセル値を有する。５０６に進んで、画像データの第２のテストピクセルが選択される。第２のテストピクセルは第２のテストピクセル値を有する。第２のテストピクセルは第１のテストピクセルに隣接するか、または第１のテストピクセルに対して対角である。

５０８に進んで、周囲ピクセルのグループに基づいて、第１のテストピクセルと第２のテストピクセルとが不良ピクセルクラスタを形成するかどうかの決定が行われる。周囲ピクセルのグループの各ピクセルは第１のテストピクセルまたは第２のテストピクセルのうちの少なくとも１つに対して最近傍であり、周囲ピクセルのグループの少なくとも第１のピクセルは第１のテストピクセルに対して最近傍ではなく、および周囲ピクセルのグループの少なくとも第２のピクセルは第２のピクセルに対して最近傍ではない。決定特定の実施形態では、周囲ピクセルのグループのうちの少なくとも２つのピクセルは、第１のテストピクセルに対して最近傍ではなく、周囲ピクセルのグループのうちの少なくとも２つのピクセルは、第２のテストピクセルに対して最近傍ではない。例えば、図２に示されるパターン２２０では、周囲ピクセルのグループ２２６のうちの３つのピクセル２２８は、第１のテストピクセル２２２に対して最近傍ではなく、周囲ピクセルのグループ２２６のうちの３つのピクセル２２９は、第２のテストピクセル２２４に対して最近傍ではない。

特定の実施形態では、第２のテストピクセルは第１のテストピクセルに隣接しており、周囲ピクセルのグループは、第１のテストピクセルと第２のテストピクセルとの周りに矩形パターンを形成する１０個のピクセルを含む。例えば、図２に示されるパターン２２０では、第２のテストピクセル２２４は第１のテストピクセル２２２に隣接しており、周囲ピクセルのグループ２２６は、第１のテストピクセル２２２と第２のテストピクセル２２４との周りに矩形パターンを形成する１０個のピクセルを含む。

別の特定の実施形態では、第２のテストピクセルは第１のテストピクセルに対して対角にあり、周囲ピクセルのグループは、第１のテストピクセルと第２のテストピクセルとの周りに不規則な六角パターンを形成する８個のピクセルを含む。例えば、図２に示されるパターン２３０では、第２のテストピクセル２３４は第１のテストピクセル２３２に対して対角であり、周囲ピクセルのグループ２３６は、第１のテストピクセル２３２と第２のテストピクセル２３４との周りに不規則な六角パターンを形成する８個のピクセルを含む。

特定の実施形態では、第１のテストピクセルと第２のテストピクセルとが不良ピクセルクラスタを形成するかどうかを決定することは、第１のピクセル値と第２のピクセル値とが、周囲ピクセルのグループの値をしきい値よりも多い量だけ超えるかどうかを決定することを含む。しきい値は、第１のテストピクセルのカラーチャネルと第１のテストピクセルの強度とに基づいて決定され得る。例えば、しきい値は、図２のしきい値ルックアップテーブル２０６または図３のルックアップテーブル３０６などのルックアップテーブルに記憶され得る。第１のテストピクセル値と第２のテストピクセル値とが、しきい値よりも多い量だけ周囲ピクセルのグループの最大ピクセル値よりも大きいとき、または第１のテストピクセル値と第２のテストピクセル値とが、しきい値よりも多い量だけ周囲ピクセルのグループの最小ピクセル値よりも小さいとき、第１のテストピクセルと第２のテストピクセルとは不良ピクセルクラスタであると決定され得る。

５１０に進んで、特定の実施形態では、第１のテストピクセルと第２のテストピクセルとが不良ピクセルクラスタを形成すると決定したことに応答して、エラー信号が生成される。５１２に移動して、特定の実施形態では、第１のテストピクセルと第２のテストピクセルとが不良ピクセルクラスタを形成すると決定したことに応答して、第１のテストピクセル値と第２のテストピクセル値とが修正される。

特定の実施例では、第１のテストピクセルが不良ピクセルクラスタの一部ではないと決定された後に、さらなる処理が実行され得る。例えば、図２に示されるピクセルの拡大されたグループ２６６などの周囲ピクセルのグループとは異なるピクセルの拡大されたグループのピクセル値に基づいて、第１のテストピクセルが不良ピクセルであるかどうかの決定が行われる。ピクセルの拡大されたグループは、ライン２７１、２７３、２７５、および２７７に沿ったピクセルなど、第１のテストピクセルに対して最近傍ではない少なくとも２つのピクセルを含み得る。ピクセルの拡大されたグループ２６６中に非最近傍ピクセルを含むことによって、第１のテストピクセルを含み、最近傍ピクセルを通るライン２７０、２７２、２７４、および２７６のうちの１つに沿って配向されたか、または非最近傍ピクセルを通るライン２７１、２７３、２７５、および２７７に沿って配向された、画像データ中に存在するエッジまたはラインなどの特徴が決定され得る。例えば、画像データ中にライン２７５に従う明るいラインが現れることにより、第１のテストピクセル２６２は、その最近傍と比較したとき、どの最近傍ピクセルよりも明るいので、不良ピクセルと見なされることがあり得る。ただし、ライン２７５に沿ったピクセルの拡大されたグループ２６６中の非最近傍ピクセルも明るくなり、従って第１のテストピクセル２６２が間違って不良ピクセルとして分類されることを防ぐ。

図６は、不良ピクセルクラスタを検出する方法の第３の例示的な実施形態のフローチャートである。特定の実施形態では、方法６００は、図１〜図３に示されるシステムのいずれかによって実行され得る。６０２において、画像データが受信される。６０４に移動して、画像データの第１のテストピクセルが選択される。第１のテストピクセルは第１のテストピクセル値を有する。

６０６に進んで、特定の実施形態では、第１のテストピクセルに関連する色がルックアップテーブルに与えられる。６０８に進んで、第１のピクセル値がルックアップテーブルに与えられる。６１０に移動して、色と第１のピクセル値とに基づいて、しきい値がルックアップテーブルから検索され得る。しきい値が使用されて、第１のテストピクセル値を周囲ピクセルの第１のグループおよびピクセルの拡大されたグループと比較する。

６１２に進んで、第１のテストピクセルの最近傍ピクセルを含む、周囲ピクセルの少なくとも第１のグループに基づいて、第１のテストピクセルが不良ピクセルクラスタの一部であるかどうかを決定するために第１のテストピクセルがテストされる。特定の実施形態では、第１のテストピクセルの値と第２のテストピクセルの値とがしきい値よりも多い値だけピクセル値のレンジ外にあるとき、第１のテストピクセルは、第２のテストピクセルとともに不良ピクセルクラスタを形成すると決定され、ここで、ピクセル値のレンジはピクセルの周囲グループの値に基づく。

第１のテストピクセルが不良ピクセルクラスタの一部ではないと決定された後、６１４において、ピクセルの拡大されたグループのピクセル値に基づいて、第１のテストピクセルが不良ピクセルであるかどうかの決定が行われる。ピクセルの拡大されたグループは、最近傍ピクセルの少なくともいくつか（すなわち、第１のテストピクセルに隣接するか、または対角である８個の最も近いピクセルのうちの少なくともいくつか）を含み、第１のテストピクセルに対して最近傍ではないピクセル（すなわち、第１のテストピクセルに隣接するか、または対角である８個の最も近いピクセルではないピクセル）をさらに含む。例えば、ピクセルの拡大されたグループは、図２に示されるピクセルの拡大されたグループ２６６のように、第１のテストピクセルにおいて交差する実質的に一様に離間した８個のラインに沿って第１のテストピクセルに最も近い各ピクセルを含み得る。

６１６において、第１のテストピクセルが不良ピクセルであるか、または不良クラスタの一部を形成すると決定することに応答して第１のテストピクセル値は修正され得る。

図７は、不良ピクセルクラスタ検出および補正モジュールを含むシステムの特定の実施形態のブロック図である。システム７００は、レンズ７６８に結合され、またポータブルマルチメディアデバイスのアプリケーションプロセッサチップセット７７０に結合された画像センサデバイス７２２を含む。画像センサデバイス７２２は、図１〜図３のシステムのうちの１つまたは複数を実装すること、図４〜図６の方法のいずれかまたはそれらの任意の組合せに従って動作することなどによって、周囲ピクセルのグループに基づいてクラスタおよび単一不良ピクセルを検出し、補正するための不良ピクセル検出および補正モジュール７６４を含む。

不良ピクセルクラスタ検出および補正モジュール７６４は、画像アレイ７６６の出力を受信し、画像データを不良ピクセルクラスタ検出および補正モジュール７６４に提供するために結合されたアナログデジタルコンバータ７２６などを介して、画像アレイ７６６から画像データを受信するために結合される。

不良ピクセルクラスタ検出および補正モジュール７６４は、２つのテストピクセルが周囲ピクセルのグループの値をしきい値よりも多い量だけ超える値を有するかどうかを決定することに基づいて、不良ピクセルクラスタ検出プロセスを実行するように適合される。ここで、しきい値はテーブルルックアップを介して決定される。テーブルルックアップは、ピクセル色とピクセル値とに少なくとも部分的に基づいて特定のしきい値を返すことができる。特定の実施形態では、図２に示されるパターン２２０、２３０、２４０、および２５０などにおいて、周囲ピクセルのグループは、２つのテストピクセルが互いに隣接するとき、２つのテストピクセルの周りに矩形パターンを形成する１０個のピクセルを含み、周囲ピクセルのグループは、２つのテストピクセルが互いに対角にあるとき、２つのテストピクセルの周りに不規則な六角パターンを形成する８個のピクセルを含む。

画像センサデバイス７２２はまた、プロセッサ７１０を含むことができる。特定の実施形態では、プロセッサ７１０は、不良ピクセルクラスタ補正モジュール７６４を実装するように構成される。別の実施形態では、不良ピクセルクラスタ検出および補正モジュール７６４は画像処理回路として実装される。

プロセッサ７１０はまた、図１のモジュール１１２〜１２０によって実行される演算のうちの１つまたは複数などの追加の画像処理演算を実行するように構成され得る。プロセッサ７１０は、さらなる処理、送信、記憶、表示、または任意のそれらの組合せのためのアプリケーションプロセッサチップセット７７０に、処理済み画像データを提供することができる。

図８は、不良ピクセルクラスタ検出モジュールを含むシステムの特定の実施形態のブロック図である。システム８００は、ポータブル電子デバイスにおいて実装され、メモリ８３２に結合されたデジタル信号プロセッサ（ＤＳＰ）などの信号プロセッサ８１０を含み得る。システム８００は、周囲ピクセルのグループに基づく不良ピクセルクラスタ検出モジュール８６４を含む。例示的な例では、周囲ピクセルのグループに基づく不良ピクセルクラスタ検出モジュール８６４は、図１〜図３のシステムのいずれかを含み、図４〜図６の方法のいずれかまたはそれらの任意の組合せに従って動作する。周囲ピクセルのグループに基づく不良ピクセルクラスタ検出モジュール８６４は、信号プロセッサ８１０中にあるか、または別個のデバイスとすることができる。

カメラインタフェース８６８は、信号プロセッサ８１０に結合され、また、ビデオカメラ８７０などのカメラに結合される。表示コントローラ８２６は、信号プロセッサ８１０と表示デバイス８２８とに結合される。コーダ／デコーダ（コーデック）８３４はまた、信号プロセッサ８１０に結合され得る。スピーカ８３６およびマイクロフォン８３８はコーデック８３４に結合され得る。ワイヤレスインタフェース８４０は、信号プロセッサ８１０とワイヤレスアンテナ８４２とに結合され得る。

特定の実施形態では、信号プロセッサ８１０は、周囲ピクセルのグループに基づく不良ピクセルクラスタ検出モジュール８６４を含み、第１のテストピクセルと第２のテストピクセルとが、いつ上限を上回る値を有するか、または下限を下回る値を有するかを決定することによって、画像データ中の不良ピクセルクラスタを検出するように適合され、上限および下限は、第１のテストピクセルと第２のテストピクセルとを囲む少なくとも８個のピクセルのグループのピクセル値に基づいて決定される。

上限は、しきい値を、少なくとも８個のピクセルのグループの最大ピクセル値に加算することによって決定され、下限は、少なくとも８個のピクセルのグループの最小ピクセル値からしきい値を減算することによって決定され得る。例えば、図２に関して説明したように、上限は、Ｖ_upperとＴ_upperとの和として決定される値であり、下限は、Ｖ_lower−Ｔ_lowerとして決定され得る。図２のパターン２２０に示すように、第１のテストピクセルが第２のテストピクセルに隣接するとき、少なくとも８個のピクセルのグループが、第１のテストピクセルと第２のテストピクセルとの周りに矩形パターンを形成することができる。信号プロセッサ８１０は、図２に示されるピクセルの拡大されたグループ２６６に関して説明したように、第１のテストピクセルが不良ピクセルであるかどうかを決定するために、第１のテストピクセル値を、第１のテストピクセルから外側に放射状に一様に離間した１６の方向に沿って第１のテストピクセルに最も近い各ピクセルの値と比較するようにさらに構成され得る。

信号プロセッサ８１０はまた、検出された不良ピクセルに対応する補正されたピクセル値を有する処理済み画像データを生成するように適合され得る。不良ピクセルクラスタを有する画像データは、例示的な、非限定的な例として、ビデオカメラ８７０からのビデオデータ、ワイヤレスインタフェース８４０を介したワイヤレス送信からの画像データ、またはユニバーサルシリアルバス（ＵＳＢ）インタフェース（図示せず）を介して結合された外部デバイスなどの他のソースからの画像データを含むことができる。

表示コントローラ８２６は、処理済み画像データを受信し、処理済み画像データを表示デバイス８２８に提供するように構成される。さらに、メモリ８３２は、処理済み画像データを受信し、記憶するように構成され、ワイヤレスインタフェース８４０は、アンテナ８４２を介した送信のために処理済み画像データを受信するように構成され得る。

特定の実施形態では、信号プロセッサ８１０、表示コントローラ８２６、メモリ８３２、コーデック８３４、ワイヤレスインタフェース８４０、およびカメラインタフェース８６８は、システムインパッケージまたはシステムオンチップデバイス８２２中に含まれる。特定の実施形態では、入力デバイス８３０および電源８４４はシステムオンチップデバイス８２２に結合される。さらに、特定の実施形態では、図８に示されるように、表示デバイス８２８、入力デバイス８３０、スピーカ８３６、マイクロフォン８３８、ワイヤレスアンテナ８４２、ビデオカメラ８７０、および電源８４４は、システムオンチップデバイス８２２の外部にある。ただし、表示デバイス８２８、入力デバイス８３０、スピーカ８３６、マイクロフォン８３８、ワイヤレスアンテナ８４２、ビデオカメラ８７０、および電源８４４のそれぞれは、インタフェースまたはコントローラなどのシステムオンチップデバイス８２２の構成要素に結合され得る。

当業者には、さらに、ここで開示された実施形態に関連して記述された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを言うまでもない。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップは、上記では概して、それらの機能に関して記述された。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、記述された機能を特定の適用例ごとに様々な方法で実装することができるが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈されるべきではない。

ここで開示された実施形態に関連して記述された方法またはアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施されることができる。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、または当技術で知られている記憶媒体の他の任意の形式に存在し得る。典型的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、および記憶媒体へ情報を書き込めるように、プロセッサに結合される。代替として、記憶媒体はプロセッサに不可欠であり得る。プロセッサおよび記憶媒体はＡＳＩＣ（application-specific integrated circuit）中に存在し得る。ＡＳＩＣは、コンピューティングデバイスまたはユーザ端末中に存在し得る。代替として、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末中に個別構成要素として存在し得る。

開示された実施形態の前述は、開示された実施形態を当業者が作成または使用できるように提供される。これらの実施形態の様々な変更は当業者には容易に明白となり、また、ここで定義される原理は、本開示の範囲から逸脱せずに他の実施形態に適用され得る。従って、本開示は、ここで示された実施形態に限定されることを意図するものではなく、次の特許請求の範囲によって定義される原理および新規の特徴と一致する可能な最も広い範囲まで許容されることを意図する。

Claims (25)

1. 画像データを受信することと、
   第１のテストピクセル値を有する、前記画像データの第１のテストピクセルを選択することと、
   第２のテストピクセル値を有する、前記画像データの第２のテストピクセルを選択することと、ここで前記第２のテストピクセルは前記第１のテストピクセルに隣接するか、または前記第２のテストピクセルは前記第１のテストピクセルに対して対角である、
   周囲ピクセルのグループに基づいて前記第１のテストピクセルと前記第２のテストピクセルとが不良ピクセルクラスタを形成するかどうかを決定することと、ここで前記周囲ピクセルのグループの各ピクセルは前記第１のテストピクセルまたは前記第２のテストピクセルのうちの少なくとも１つに対して最近傍であり、前記周囲ピクセルのグループの少なくとも第１のピクセルは前記第１のテストピクセルに対して最近傍ではなく、前記周囲ピクセルのグループの少なくとも第２のピクセルは前記第２のテストピクセルに対して最近傍ではない、
   を含む方法。
2. 前記周囲ピクセルのグループのうちの少なくとも２つのピクセルは前記第１のテストピクセルに対して最近傍ではなく、前記周囲ピクセルのグループのうちの少なくとも２つのピクセルは前記第２のテストピクセルに対して最近傍ではない、請求項１の方法。
3. 前記周囲ピクセルのグループのうちの３つのピクセルは前記第１のテストピクセルに対して最近傍ではなく、前記周囲ピクセルのグループのうちの３つのピクセルは前記第２のテストピクセルに対して最近傍ではない、請求項２の方法。
4. 前記第２のテストピクセルは前記第１のテストピクセルに隣接しており、前記周囲ピクセルのグループは、前記第１のテストピクセルと前記第２のテストピクセルとの周りに矩形パターンを形成する１０個のピクセルを含む、請求項３の方法。
5. 前記第２のテストピクセルは前記第１のテストピクセルに対して対角であり、前記周囲ピクセルのグループは、前記第１のテストピクセルと前記第２のテストピクセルとの周りに不規則な六角パターンを形成する８個のピクセルを含む、請求項３の方法。
6. 前記第１のテストピクセルが前記不良ピクセルクラスタの一部ではないと決定された後に、前記周囲ピクセルのグループとは異なるピクセルの拡大されたグループのピクセル値に基づいて、前記第１のテストピクセルが不良ピクセルであるかどうかを決定すること、ここで前記ピクセルの拡大されたグループは、前記第１のテストピクセルに対して最近傍ではない少なくとも２つのピクセルを含む、をさらに含む請求項１の方法。
7. 前記第１のテストピクセルと前記第２のテストピクセルとが前記不良ピクセルクラスタを形成するかどうかを決定することは、前記第１のピクセル値と前記第２のピクセル値とが前記周囲ピクセルのグループの代表的な値をしきい値よりも多い量だけ超えるかどうかを決定することを含む、ここで前記しきい値は、前記第１のテストピクセルのカラーチャネルと前記第１のテストピクセルの強度とに基づいて決定される、請求項６の方法。
8. 前記第１のテストピクセルと前記第２のテストピクセルとが前記不良ピクセルクラスタを形成するかどうかを決定することは、前記第１のテストピクセル値と前記第２のテストピクセル値とが、前記しきい値よりも多い量だけ前記周囲ピクセルのグループの最大ピクセル値よりも大きいかどうか、または前記第１のテストピクセル値と前記第２のテストピクセル値とが、前記しきい値よりも多い量だけ前記周囲ピクセルのグループの最小ピクセル値よりも小さいかどうかを決定することを含む、請求項７の方法。
9. 前記第１のテストピクセルと前記第２のテストピクセルとが前記不良ピクセルクラスタを形成すると決定したことに応答して、エラー信号を生成することと、
   前記第１のテストピクセル値と前記第２のテストピクセル値とを修正することと、
   をさらに含む、請求項１の方法。
10. 画像データを受信することと、
    第１のテストピクセル値を有する、前記画像データの第１のテストピクセルを選択することと、
    前記第１のテストピクセルの最近傍ピクセルを含む、周囲ピクセルの少なくとも第１のグループに基づいて、前記第１のテストピクセルが不良ピクセルクラスタの一部であるかどうかを決定するために前記第１のテストピクセルをテストすることと、
    前記周囲ピクセルの少なくとも第１のグループに基づいて、前記第１のテストピクセルが前記不良ピクセルクラスタの一部ではないと決定された後に、ピクセルの拡大されたグループのピクセル値に基づいて、前記第１のテストピクセルが不良ピクセルであるかどうかを決定することと、ここで前記ピクセルの拡大されたグループは、前記最近傍ピクセルのうちの少なくともいくつかを含み、前記第１のテストピクセルに対して最近傍ではないピクセルをさらに含む、
    を含む方法。
11. 前記ピクセルの拡大されたグループは、前記第１のテストピクセルにおいて交差する実質的に一様に離間した８個のラインに沿って前記第１のテストピクセルに最も近い各ピクセルを含む、請求項１０の方法。
12. 前記第１のテストピクセルに関連する色をルックアップテーブルに与えることと、
    前記第１のピクセル値を前記ルックアップテーブルに与えることと、
    前記色と前記第１のピクセル値とに基づいて前記ルックアップテーブルからしきい値を検索することと、
    をさらに含み、
    前記しきい値は、前記第１のテストピクセル値を前記周囲ピクセルの第１のグループおよび前記ピクセルの拡大されたグループと比較するために使用される、
    請求項１１の方法。
13. 前記第１のテストピクセル値と前記第２のテストピクセル値とが、前記しきい値よりも多い値だけピクセル値のレンジ外にあるとき、前記第１のテストピクセルは第２のテストピクセルとともに不良ピクセルクラスタを形成すると決定され、
    前記ピクセル値のレンジは前記ピクセルの周囲グループの値に基づく、請求項１２の方法。
14. 画像データを受信するために結合され、不良ピクセルクラスタ検出プロセスを実行するように適合された不良ピクセル補正モジュールを含み、
    前記不良ピクセル補正モジュールは、２つのテストピクセルが周囲ピクセルのグループの代表的な値をしきい値よりも多い量だけ超える値を有するかどうかを決定するためのロジックを含み、
    前記しきい値はテーブルルックアップを介して決定される、
    システム。
15. 前記テーブルルックアップは、ピクセル色とピクセル値とに少なくとも部分的に基づいて特定のしきい値を返す、請求項１４のシステム。
16. 前記周囲ピクセルのグループは、前記２つのテストピクセルが互いに隣接するとき、前記２つのテストピクセルの周りに矩形パターンを形成する１０個のピクセルを含み、
    前記周囲ピクセルのグループは、前記２つのテストピクセルが互いに対角にあるとき、前記２つのテストピクセルの周りに不規則な六角パターンを形成する８個のピクセルを含む、
    請求項１４のシステム。
17. 前記不良ピクセル補正モジュールは画像センサデバイス内にあり、
    前記画像センサデバイスは、画像アレイの出力を受信し、前記画像データを前記不良ピクセル補正モジュールに供給するために結合されたアナログデジタル変換器を含む、
    請求項１４のシステム。
18. 前記不良ピクセル補正モジュールを実装するために実行可能な命令を含むプロセッサをさらに備える、請求項１４のシステム。
19. 前記不良ピクセル補正モジュールは画像処理回路として実装される、請求項１４に記載のシステム。
20. 第１のテストピクセルと第２のテストピクセルとが、いつ上限を上回る値を有するか、または下限を下回る値を有するかを決定することによって、画像データ中の不良ピクセルクラスタを検出するように適合された信号プロセッサと、ここで前記上限と前記下限とは、前記第１のテストピクセルと前記第２のテストピクセルとを囲む少なくとも８個のピクセルのグループのピクセル値に基づいて決定され、
    前記信号プロセッサは、さらに、前記検出された不良ピクセルクラスタに対応する修正ピクセル値を有する処理済み画像データを生成するように適合され、
    前記処理済み画像データを受信し、前記処理済み画像データを表示デバイスに供給するために結合された表示コントローラと、
    を備えるシステム。
21. 前記上限は、前記少なくとも８個のピクセルのグループの最大ピクセル値にしきい値を加算することによって決定され、前記下限は、前記少なくとも８個のピクセルのグループの最小ピクセル値から前記しきい値を減算することによって決定される、請求項２０に記載のシステム。
22. 前記第１のテストピクセルが前記第２のテストピクセルに隣接するとき、前記少なくとも８個のピクセルのグループは、前記第１のテストピクセルと前記第２のテストピクセルとの周りに矩形パターンを形成する、請求項２１に記載のシステム。
23. 前記信号プロセッサは、さらに、前記第１のテストピクセルが不良ピクセルであるかどうかを決定するために、前記第１のテストピクセル値を、前記第１のテストピクセルから外側に放射状に一様に離間した１６の方向に沿って前記第１のテストピクセルに最も近い各ピクセルの値と比較するように構成された、請求項２０に記載のシステム。
24. 前記信号プロセッサに結合され、ビデオカメラに結合されるように構成されたカメラインタフェースをさらに備え、
    前記画像データは、前記カメラインタフェースを介して受信されたビデオデータを含む、請求項２０に記載のシステム。
25. 前記信号プロセッサに結合され、ワイヤレス通信を可能にするためにアンテナに結合されるように構成されたワイヤレスインタフェースをさらに備え、
    前記画像データは前記ワイヤレスインタフェースを介して受信される、請求項２０に記載のシステム。

Images