JP6415086B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

画像処理前のＲＡＷ画像が画素毎に異なる配色を有するものの処理例として、デジタルカメラの画像処理がある。例えば、デジタルカメラの画像処理では、光学情報を撮像素子（イメージセンサ）によって光電変換することで電気信号を得て、それをＡ／Ｄ変換（アナログ／デジタル変換）したデジタルデータとして画像処理することで、撮影画像として記録する。

デジタルカメラによるデジタルデータの画像処理では、入力される画素データの属性は、撮像素子の仕様に依る。例えば、画素毎の色配列の一例であるベイヤー配列は、撮像素子の受光部に格子状に配列されたＲ／Ｇｒ／Ｇｂ／Ｂ画素のカラーフィルタの配列に光学情報を通して各色情報を得るものである。以下、Ｒ画素とは赤色の情報を持つ画素、Ｂ画素とは青色の情報を持つ画素、Ｇ画素とは緑色の情報を持つ画素を示す。なお、ベイヤー配列の一画面中のＲ画素を持つ水平ライン上に存在するＧ画素をＧｒ画素として示し、Ｂ画素を持つ水平ライン上に存在するＧ画素をＧｂ画素として示す。

最近、画素毎にベイヤー配列とは異なる色配列情報を設定した撮像素子が実用化されている。例えば、特許文献１には、図９（Ａ）に示すようなＲＧＢ等の特定波長の光のみを透過させるフィルタの他に、ホワイト（Ｗ：Ｗｈｉｔｅ）画素として可視光域の光を広く透過するフィルタを配列に組み入れた画素配列を有する撮像素子が記載されている。

ベイヤー配列は、２×２画素を単位とした周期的な配列であり、縞模様等の処理に際してモアレや偽色を発生することがある。その対策として、撮像素子の前に光学ローパスフィルタを挿入することでモアレや偽色を抑圧する方法が採られるが、画像としての解像度が劣化する。ベイヤー配列の問題を解決するために、図９（Ｂ）に示すような画素配列を有する撮像素子が非特許文献１に掲載されている。図９（Ｂ）に示すような６×６の色配列では、ベイヤー配列に対して非周期性を高めた配列構成となりモアレを軽減することが可能となる。また、縦方向に必ずＲ画素、Ｇ画素、Ｂ画素が存在するために、偽色の発生を抑え、光学ローパスフィルタを不要にする効果がある。

特開２０１１−５５０３８号公報

"APS-Cサイズ 1630万画素 "X-Trans CMOS"、[online]、富士フイルム株式会社、[平成24年5月16日検索]、インターネット<URL:http://fujifilm.jp/personal/digitalcamera/x/fujifilm_x_pro1/features/index.html>

画素毎の色配列情報が、２次元配列の繰り返しパターンとなるような画像に対する画像処理では、画像データの同時化（デモザイク化、インターポレーション処理等と同義）前の処理における注目画素及び参照画素の色情報の把握が必要である。すなわち、対象となる画素が何色の画素であるかを把握する必要がある。ベイヤー配列の撮像素子により得られた画像データに対しては、２×２の色配列の繰り返しパターンであるので、注目画素の位置情報（又は色情報）が把握できれば、周辺の参照画素領域の色配列関係は容易に確定することができる。

しかしながら、図９（Ｂ）に示したような６×６の色情報配列では、画像処理の走査の進捗毎に注目画素及び参照画素の色情報配列の組み合わせは多数あり、確定することが困難である。画像データの同時化前に画素欠陥補正を実施する場合には、注目画素（欠陥画素）の補正値を生成するための参照画素領域が広ければ、それだけ処理実現の難易度は増し、回路規模の増大（高コスト化）や、設計期間の長期化、処理スループットの低下につながる。

本発明の目的は、色配列情報が繰り返しパターンとなる画像に対する画像処理において、画像処理の走査の進捗に応じた参照範囲の色配列を得ることが可能な画像処理装置を提供することである。

本発明に係る画像処理装置は、光学情報を光電変換して電気信号を得る撮像素子の画素配列で繰り返される色配列情報の最小パターンを保持する第１のレジスタと、行方向及び列方向の２次元配列構造を有し、前記第１のレジスタが保持する最小パターンの前記色配列情報を基に、注目画素と当該注目画素に対する画像処理で参照する参照画素とが含まれる参照範囲の色配列情報を保持する第２のレジスタと、前記注目画素に応じて前記第２のレジスタが保持する色配列情報を更新させる制御手段と、前記第２のレジスタが保持する前記色配列情報を基に画素を選択し、前記注目画素に対する画像処理を施す処理手段とを有し、前記制御手段は、前記画像処理の水平方向の走査進捗毎に前記第２のレジスタが保持する前記色配列情報を行方向にシフトさせ、前記画像処理の垂直方向の走査進捗毎に、前記第２のレジスタが保持する前記色配列情報を列方向にシフトさせるよう制御し、前記色配列情報のシフト制御ではバレルシフタを用いて前記色配列情報を巡回させることを特徴とする。

本発明によれば、色配列情報が繰り返しパターンとなる画像に対する画像処理において、画像処理の走査の進捗に応じた参照範囲の色配列情報を容易に得ることができる。

本発明の実施形態による画像処理装置を有する撮像装置の構成例を示す図である。 本実施形態による傷補正処理部の構成例を示す図である。 データ転送Ｉ／Ｆのタイミングチャートである。 データ転送Ｉ／Ｆの回路実装例を示す図である。 パターンレジスタにおけるデータ格納イメージを説明するための図である。 運用レジスタにおけるデータ格納イメージを説明するための図である。 本実施形態における運用レジスタの格納データの状態遷移を示す図である。 運用レジスタの制御に係る信号の駆動例を示すタイミングチャートである。 撮像素子における色配列情報の例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態による画像処理装置を有する撮像装置（デジタルカメラ）の構成例を示すブロック図である。なお、図１においては、撮像装置（デジタルカメラ）が有する構成のうち静止画処理に係る機能部を示している。

ＣＰＵ（中央演算処理装置）１００は、図示しないＲＯＭ（Read Only Memory）等に格納されたプログラムを読み出して実行することにより、撮像装置全体の制御を司る。ＣＰＵ１００は、例えば同期信号生成部１０１に対して、処理フレームの周期に関する設定をするとともに、実行の開始を指示する。同期信号生成部１０１は、ＦＩＦＯ（First In First Out）１０６に対するデジタルデータの取り込みタイミングの供給や、タイミングパルス発生部１０２に対するタイミングの供給を行う。これらタイミングは、フレームデータの水平切り替え（水平同期信号）、及び垂直切り替え（垂直同期信号）を含む。

撮像処理部１０３は、２次元配列の繰り返しパターンとなる色配列でカラーフィルタが配置され、光学情報を電気信号に光電変換する撮像素子を有する。撮像処理部１０３は、電荷の蓄積と電荷（又は電位）の転送を行うが、そのタイミングはタイミングパルス発生部１０２から受信する。

アナログ処理部１０４は、光電変換して得た電荷を電位に変換した後の処理（相関二重サンプリングやゲイン調整等）を行う。Ａ／Ｄ変換（アナログ／デジタル変換）部１０５は、クランプしたアナログ信号を基準電位にあわせてデジタル化する。タイミングパルス発生部１０２は、これらアナログ処理部１０４やＡ／Ｄ変換部１０５に対するタイミングの供給も行う。最近は、カラムＡ／Ｄ方式のセンサーが実用化されており、そのような撮像手段では撮像素子の出力をＡ／Ｄ変換処理するところ（図１に示した１０３〜１０５）までがオン・チップで行われる等、センサデバイスの高集積化が進んでいる。

ＦＩＦＯ１０６は、データ転送タイミングの緩衝用バッファである。タイミングの調整は、フレーム処理中のブランキング期間を当てにする。シェーディング補正部１０７は、撮像信号転送路中のアンプの特性の影響を抑制したり、撮像部の諸特性（色シェーディング等）の影響を低減したりするための、フレームデータ内のシェーディング補正を実行する。

傷補正処理部１０８は、本実施形態における画像処理装置の一例であり、画素欠陥（欠陥画素、傷画素）の補正処理を実行する。画素欠陥には、白点や黒点となってしまう固定パターンの傷の他、感度に依存する傷やゆらぎをもつ傷等があるが、本実施形態において傷補正処理部１０８が対象とする画素欠陥（傷）は任意である。

ホワイトバランス（ＷＢ）処理部１０９は、色画像受信時における各色画素間でのゲインの調整（ホワイトバランス調整）を行う。画素補間部１１０は、各色データの同時化処理（デモザイク、インターポレーション等）を行う。例えば、画素補間部１１０は、同時化処理を行いＲ／Ｇ／Ｂそれぞれのプレーンを生成する。

色差信号処理部１１１は、Ｒ／Ｇ／Ｂそれぞれの信号から色差信号（Ｃｒ，Ｃｂの信号）を生成する。ここで、色差信号Ｃｒ（Ｃｂ）は、Ｒ−Ｙ（Ｂ−Ｙ，Ｙは輝度を示す）で定義されるが、人間の被視感度曲線（大まかには、Ｙ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂ）からＧを簡易輝度として、Ｒ−Ｇ（Ｂ−Ｇ）で運用しても良い。色γ処理部１１２は、得られた色信号に対してγ処理を施す。Ｃｈｒｏｍａ・ｋｎｅｅ処理部１１３は、色γ処理部１１２によるγ処理後の彩度ゲインを調整する。

輝度信号処理部１１４は、輝度信号を生成する。輝度γ処理部１１５は、得られた輝度信号に対してγ処理を施す。ここまでで生成された輝度信号及び色差信号（色信号）のそれぞれは、一時記憶部１１６に記憶される。一時記憶部１１６として、例えば高速に大量のデータを取り扱えるＳＤＲＡＭを用いても良い。記憶部コントローラ１１７は、一時記憶部１１６に対する書き込み制御や読み出し制御を行う。

図２は、本実施形態による画像処理装置としての傷補正処理部の構成例を示す図である。図２においては、傷補正処理部２００に加え、注目画素のデータの他に、参照画素を得るための参照ラインデータを傷補正処理部２００に提供するためのラインバッファ（２２１〜２２６）をあわせて示している。この傷補正処理部２００による画素欠陥（傷画素）の補正は、例えば、撮像装置における画像データの補正処理の一環として行われる。

傷補正処理部２００は、補正処理部２０１、フレーム制御部２０２、パターンレジスタ２０３、運用レジスタ２０４、スライスコントローラ２０５、バレルシフタ２０６、２０７、及び参照画像レジスタ２０９を有する。また、傷補正処理部２００は、ＡＮＤゲート（論理積演算回路）２１０、２１１、２１２、及びＯＲゲート（論理和演算回路）２１３を有する。

信号ＳＩＧ１００は入力データであり、信号ＳＩＧ１０７は入力データＳＩＧ１００が有効であることを示すバリッド（ｖａｌｉｄ）信号であり、信号ＳＩＧ１０８は、前段に対する入力データＳＩＧ１００の即時停止を要求するストップ（Ｓｔｏｐ）信号である。信号ＳＩＧ１２０は出力データであり、信号ＳＩＧ１２１は出力データＳＩＧ１２０が有効であることを示すバリッド（ｖａｌｉｄ）信号であり、信号ＳＩＧ１２２は、後段処理からの出力データＳＩＧ１２０の即時停止を要求するストップ（Ｓｔｏｐ）信号である。

ここで、傷補正処理部２００のデータ転送インタフェース（Ｉ／Ｆ）について、図３及び図４を参照して説明する。図３は、傷補正処理部２００のデータ転送Ｉ／Ｆを定義したものである。図３は、データ転送Ｉ／Ｆのタイミングチャートである。図３において、信号ＳＩＧ３０１は、同期回路のクロック＜ＣＬＫ＞（図２においては不図示）である。信号ＳＩＧ３０２は、データ有効を示すバリッド信号＜Ｖａｌｉｄ＞であり、傷補正処理部２００におけるデータ入力側では信号ＳＩＧ１０７、データ出力側では信号ＳＩＧ１２１が対応する。信号ＳＩＧ３０３は、転送データ＜Ｄａｔａ＞であり、傷補正処理部２００におけるデータ入力側では信号ＳＩＧ１００、データ出力側ではＳＩＧ１２０が対応する。信号ＳＩＧ３０４は、データ転送の即時停止を要求するストップ信号＜Ｓｔｏｐ＞であり、傷補正処理部２００におけるデータ入力側では信号ＳＩＧ１０８、データ出力側ではＳＩＧ１２２が対応する。

本実施形態では、バリッド信号ＳＩＧ３０２は、データが有効状態であるとき値“１”であり、データが無効状態であるとき値“０”であるとする。また、ストップ信号ＳＩＧ３０４は、転送データＳＩＧ３０３の即時停止が要求されている（有効状態である）とき値“１”であり、即時停止が要求されていていない（無効状態である）とき値“０”であるとする。

図４は、図３のＩ／Ｆをデータ転送Ｉ／Ｆに組み込んだ例を示す回路図である。図４には、前段モジュール４０１と後段モジュール４０２との間のデータ、バリッド信号、及びストップ信号のそれぞれの接続実装例を示している。前段モジュール４０１の内部ロジックは４０３であり、後段モジュール４０２の内部ロジックは４０４である。

ＡＮＤゲート４０５は、内部ロジック４０３の出力データが有効であることを示すバリッド信号を出力する際、後段モジュール４０２から即時停止の要求がある（ストップ信号ＳＩＧ３０４が値“１”である）場合にバリッド信号ＳＩＧ３０２を値“０”にする。バリッド信号ＳＩＧ３０２が他のモジュールにも並行して伝達される場合には、現在のデータが停止（無効）状態であることを示すことができる。ＡＮＤゲート４０６は、後段モジュール４０２からの即時停止の要求を前段に効率的に伝えるためのものである。前段モジュール４０１が有効なデータを転送していない場合には、後段からの停止要求に対しては反応する必要がないので、そのときは後段モジュール４０２からの即時停止の要求が伝達されないようにする。

ここで、前段モジュール４０１の出力データのＩ／Ｆに複数の後段モジュールが接続される場合には、データ及びバリッド信号はそのまま分配すれば良い。また、ストップ信号はＡＮＤゲート４０６の手前で、すべてのストップ信号のＯＲ（論理和）を取ってＡＮＤゲート４０６に入力すればよい。図２に示した構成において、ＡＮＤゲート２１０は、図４に示したＡＮＤゲート４０５と同様の機能を実現し、ＡＮＤゲート２１１は、図４に示したＡＮＤゲート４０６と同様の機能を実現する。

図２に戻り、傷補正処理部２００について説明する。本実施形態では、一例として傷補正処理部２００は、例えば注目画素（欠陥画素）と同色の幾つかの周辺参照画素をメディアンフィルタ処理（中央値を選択する処理）して得られた結果値で、注目画素の画素値を置換するようにして補正処理を行う。

参照画素レジスタ２０９には、補正対象となる注目画素（欠陥画素）を中心とした、Ｍ×Ｎ画素の範囲内のそれぞれの画素値が保持される。そのため、フレーム処理において中央となる、対象画素が存在するラインに対して上下の数ラインのデータも同期関係を保持して用意する必要がある。参照画素レジスタ２０９は、例えば各ラインのデータが保持されるフリップフロップ回路でシフトレジスタ構成を採ることで実現できる。

本実施形態では、Ｍ×Ｎの参照範囲を７×７として説明する。したがって、図２に示すように、参照画素レジスタ２０９への各ラインのデータ入力は、信号ＳＩＧ１００〜ＳＩＧ１０６のそれぞれ（７ライン分）である。補正対象となる注目画素（欠陥画素）のあるラインは、信号ＳＩＧ１０３のラインである。前段から入力される信号ＳＩＧ１００、及び１水平ライン分のデータを保持する水平ラインバッファ２０１〜２０６から入力される信号ＳＩＧ１０１〜ＳＩＧ１０６のそれぞれは、１画素分のデータのビット幅を有する。

本実施形態における参照画素レジスタ２０９は、傷補正処理を行う補正処理部２０１に対して７×７画素分のデータを１処理サイクル（同期回路であれば１クロック相当）で送出する。図２に示した信号ＳＩＧ１１０〜ＳＩＧ１１６のそれぞれは、各ラインのデータを示す。したがって、例えば参照画素レジスタ２０９の出力データ信号のひとつである信号ＳＩＧ１１０のデータ幅は７画素分のデータのビット幅を有する。信号ＳＩＧ１１１〜ＳＩＧ１１６についても同様である。

信号ＳＩＧ１００〜ＳＩＧ１０６により供給される参照画素データは、バリッド信号ＳＩＧ１０７が値“１”の状態時に参照画素レジスタ２０９に取り込まれる。参照画素レジスタ２０９における取り込み指示ステータスは、ＡＮＤゲート２１２の出力、すなわち前段からのバリッド信号ＳＩＧ１０７と前段へのストップ信号ＳＩＧ１０８との関係から成る。

フレーム制御部２０２は、有効データ数をカウントすることでフレームの処理状態を監視し、参照画素に対する運用レジスタ２０４の状態を更新する。また、フレーム制御部２０２は、傷補正処理部２００全体のレイテンシも考慮した後段へのバリッド信号も生成する。生成されたバリッド信号ＳＩＧ１３５は、ＡＮＤゲート２１０を介して後段へのバリッド信号ＳＩＧ１２１として送出される。なお、ＡＮＤゲート２１０を介した後段へのバリッド信号ＳＩＧ１２１の送出は、後段からの即時停止の要求、すなわちストップ信号ＳＩＧ１２２の状態を鑑みて行われる。

運用レジスタ２０４は、行方向及び列方向の２次元配列構造を有し、フレーム毎に画像処理の開始時にパターンレジスタ２０３に保持されている内容をロードする。ここで、第１のレジスタとしてのパターンレジスタ２０３と、第２のレジスタとしての運用レジスタ２０４との格納データ数は等価ではない。例えば、本実施形態のように運用レジスタ２０４は、パターンレジスタ２０３より多くの配列要素を有しており、運用レジスタ２０４側の範囲が広い場合には、パターンレジスタ２０３の内容を一巡させ巡回させるような関係で運用レジスタ２０４内に展開する。パターンレジスタ２０３には、２次元配列の繰り返しパターンである撮像素子における色配列情報の最小パターン（基本単位となって繰り返される色配列情報のパターン）が保持されている。

スライスコントローラ２０５は、運用レジスタ２０４内のデータ更新を行単位や列単位で一括りにして制御する。運用レジスタ２０４は、スライスコントローラ２０５のデータロード指示に従い、ＲＯＷ方向及びＣＯＬＵＭＮ方向の少なくとも一方に、行単位や列単位でデータの格納位置を更新する。スライスコントローラ２０５の入出力信号の振舞いの詳細は、図８を用いて後述する。列（ＣＯＬＵＭＮ）方向のバレルシフタ２０６、行（ＲＯＷ）方向のバレルシフタ２０７は、運用レジスタ２０４でのデータのシフト制御の結果、シフト方向にはみ出たデータをシフト起点側の不足データに補充する。

図５（Ａ）〜図５（Ｃ）は、パターンレジスタ２０３におけるデータ格納イメージを説明するための図である。本実施形態では、６×６の色配列の構成を有する場合を一例として示す。図５（Ａ）には、パターンレジスタ２０３のレジスタ配列を示している。パターンレジスタ２０３の格納データを２次元の配列に図示し、左上を基点として枠内にその位置関係を数字で表記している。水平方向及び垂直方向とも、基点を０として、数字右側を水平方向の推移、左側を垂直方向の推移として表記している。つまり、表記“００”が上左端、表記“０５”が上右端、表記“５０”が下左端、表記“５５”が下右端となる。図５（Ｂ）には、撮像素子の色配列パターンをパターンレジスタ２０３の対応する格納位置に表記した画素の色配列を示している。この図示した色配列の繰り返しが、撮像素子面一面の色配列を構成する。

図５（Ｃ）は、パターンレジスタ２０３への色番号格納結果を示す図である。ハード化したパターンレジスタに色情報である｛Ｒ，Ｇ，Ｂ｝情報を数値として格納するよう、ここでは色番号として、｛０（＝Ｇ），１（＝Ｒ），２（＝Ｂ）｝を定義している。図２に示したパターンレジスタ１０３には、同様の数値が格納される。図５（Ｃ）に示した例では、パターンレジスタ２０３の上左端配列“００”にはＧ画素対応として値“０”が、その右隣の画素配列“０１”にはＲ画素対応として値“１”が、レジスタ値として格納される。他の配列も同様に各色配列パターンに対応した色番号が格納される。

図６（Ａ）〜図６（Ｄ）は、運用レジスタ２０４におけるデータ格納イメージを説明するための図である。本実施形態では、７×７の参照画素範囲に対応する運用レジスタ２０４を一例として示す。図６（Ａ）には、運用レジスタ２０４のレジスタ配列を示している。運用レジスタ２０４の格納データを２次元の配列に図示し、左上を基点として枠内にその位置関係を数字で表記している。水平方向及び垂直方向とも、基点を０として、数字右側を水平方向の推移、左側を垂直方向の推移として表記している。つまり、表記“００”が上左端、表記“０６”が上右端、表記“６０”が下左端、表記“６６”が下右端となる。

図６（Ｂ）には、運用レジスタ２０４へのパターンレジスタ２０３の内容の反映イメージを示している。運用レジスタ２０４へのパターンレジスタ２０３の内容の反映は、運用レジスタ２０４内のすべて要素（配列）を埋めるよう行う。この処理は、フレーム走査の開始時に一度行えば良い。フレーム処理途中における運用レジスタ２０４の状態の更新は、パターンレジスタ２０３の参照を必要とせず、バレルシフタ２０６、２０７の出力値でデータを更新することで行うことができる。

フレーム走査の開始指示は、フレーム制御部２０２から信号ＳＩＧ１３１、及び信号ＳＩＧ１３６を介して運用レジスタ２０４へと伝達する。この処理を運用レジスタ２０４の初期化と定義すると、運用レジスタ２０４の初期化は、１フレーム処理の終了時点において実施しても良い。ただし、フレーム処理先頭では図１に示したＣＰＵ１００からの初期化指示信号（図２に示した信号ＳＩＧ１０９）を受信するなどしてイベントを生成する必要がある。

本実施形態では、パターンレジスタ２０３を６×６の２次元配列として、運用レジスタ２０４を７×７の２次元配列としている。したがって、パターンレジスタ２０３の内容を運用レジスタ２０４に反映する時には、パターンレジスタ２０３からの不足分は、パターンレジスタ２０３の内容を巡回させて運用レジスタ２０４に格納する。例えば、図６（Ａ）に示したｈｐｏｓ＝６の列にはｈｐｏｓ＝０の列と同様の内容が展開される。また、撮像素子の上左端からの配列が、パターンレジスタ２０３のどの位置かによって、運用レジスタ２０４に展開されるパターンレジスタ値の内容は決まる。図６（Ｂ）に示す例は、図６（Ａ）の表記“０１”の位置の情報を上左端として７×７配列に展開した内容である。

図６（Ｃ）には、図６（Ｂ）に示したパターンレジスタ２０３の反映結果である画素の色配列の内容の反映イメージを示している。そして、図６（Ｄ）には、図６（Ｃ）に示した色配列の内容反映結果に色番号定義｛０（＝Ｇ），１（＝Ｒ），２（＝Ｂ）｝を適用し数値を格納した状態の運用レジスタ２０４への色番号格納例を示している。

図６（Ｄ）において９００〜９０６は、列単位にまとまったレジスタを扱う場合のイメージである。例えば、図６（Ｄ）における９００は、ｃｏｌｕｍｎ＿０列単位として図６（Ａ）におけるレジスタ配列｛“００”，“１０”，“２０”，“３０”，“４０”，“５０”，“６０”｝のそれぞれの格納データを指す。同様に、図６（Ｄ）において９１０〜９１６は、行単位にまとまったレジスタを扱う場合のイメージである。例えば、図６（Ｄ）における９１０はｒｏｗ＿０行単位として図６（Ａ）におけるレジスタ配列｛“００”，“０１”，“０２”，“０３”，“０４”，“０５”，“０６”｝のそれぞれの格納データを指す。

本実施形態では、図６（Ｄ）に示した運用レジスタ２０４の更新内容を、図２に示した信号ＳＩＧ１３４を介して補正処理部２０１へと伝達する。補正処理部２０１は、運用レジスタ２０４の内容を基に、現在の注目画素及び参照画素の色配列情報を取得し、注目画素と同色画素のデータを参照して補正処理を行って補正結果を得る。現在の注目画素が欠陥画素であるか否かの情報は、例えばフレーム制御部２０２に欠陥画素の位置情報を入力しても良い（Ｉ／Ｆは不図示。この場合、ＣＰＵ５００から送信することが可能）。また、例えば画素データの特定の値（最大値や最小値等）に画素欠陥を示す意味を与えても良い（その場合、データ値のデコードが必要。不図示）。

本実施形態では、スライスコントローラ２０５からの指示に従って、フレームにおける画像処理の進捗過程で、運用レジスタ２０４におけるデータの格納状態は、図７（Ａ）〜図７（Ｄ）に示す単位でシフト（更新）していく。図７（Ａ）〜図７（Ｄ）は、本実施形態における７×７配列の運用レジスタ２０４の格納データの状態遷移を示す図である。図７（Ａ）及び図７（Ｃ）が水平走査方向への状態遷移を示し、図７（Ｂ）及び図７（Ｄ）が垂直走査方向への状態遷移を示している。

フレーム制御部２０２は、水平１画素の走査毎（水平方向の走査進捗毎）に水平１画素処理完了のステータス信号ＳＩＧ１３２を、スライスコントローラ１０５に出力する。スライスコントローラ１０５は、運用レジスタ２０４に対してバレルシフタ２０６の出力結果を保持するようロード信号ＳＩＧ１３９を出力する。これにより、図６（Ｄ）に示したｃｏｌｕｍｎ＿０群９００の内容は直前のｃｏｌｕｍｎ＿１群９０１の内容で更新され、ｃｏｌｕｍｎ＿１群９０１の内容は直前のｃｏｌｕｍｎ＿２群９０２の内容で更新される。また、ｃｏｌｕｍｎ＿２群９０２〜ｃｏｌｕｍｎ＿５群９０５の内容も同様に、直前のｃｏｌｕｍｎ＿３群９０３〜ｃｏｌｕｍｎ＿６群９０６の内容で更新され、そしてｃｏｌｕｍｎ＿６群９０６の内容は直前のｃｏｌｕｍｎ＿１群９０１の内容で更新される。図７（Ｃ）は、この様子を図示している。

フレーム走査中に水平１ライン分の走査を完了したとき（垂直方向の走査進捗毎に）、フレーム制御部２０２は水平走査完了のステータス信号ＳＩＧ１３３を、スライスコントローラ１０５に出力する。スライスコントローラ１０５は、運用レジスタ２０４に対してバレルシフタ２０６、２０７の出力結果をそれぞれ複数回保持することで、次ライン先頭の処理状態に初期化するようロード信号ＳＩＧ１３９、ＳＩＧ１４０のそれぞれを複数サイクルに亘り出力する。これにより、例えば図６（Ｄ）に示したｒｏｗ＿０群９１０の内容は直前のｒｏｗ＿１群９１１の内容で更新され、ｒｏｗ＿１群９１１の内容は直前のｒｏｗ＿２群９１２の内容で更新される。また、ｒｏｗ＿２群９１２〜ｒｏｗ＿５群９１５の内容も同様に、直前のｒｏｗ＿３群９１３〜ｒｏｗ＿６群９１６の内容で更新され、そしてｒｏｗ＿６群９１６の内容は直前のｒｏｗ＿１群９１１の内容で更新される。図７（Ｄ）は、この様子を図示している。

図８は、運用レジスタ２０４の制御に係る信号の駆動例を示すタイミングチャートである。図８において、信号ＳＩＧ１３１〜ＳＩＧ１４０のそれぞれは２値のデジタル情報を伝達し、値“０”はｉｄｌｅ状態であり、値“１”で要求イベントやロードステータスを伝達するよう図示している。

信号ＳＩＧ１０９は、ＣＰＵ１００からのフレーム処理開始要求である。この要求を基に、フレーム制御部２０２の初期化、及び運用レジスタ２０４の初期化を開始する。フレーム制御部２０２は、運用レジスタ２０４の初期化のため、信号ＳＩＧ１３１のイベントをスライスコントローラ２０５に送出する。図８に示した期間Ａは、運用レジスタ２０４の初期化フェイズである。この期間Ａの動作について説明する。

スライスコントローラ２０５は、信号ＳＩＧ１３１のイベント（図示の例ではハイパルス）を受信すると、運用レジスタ２０４に対して信号ＳＩＧ１３６のイベントを送出する。信号ＳＩＧ１３６のイベント（図示の例ではハイパルス）は、運用レジスタ２０４にパターンレジスタ２０３の内容をコピー（ロード）するための要求イベントである。運用レジスタ２０４は、信号ＳＩＧ１３６のイベントを受信すると、運用レジスタ２０４内の配列要素“００”を上左端とした６×６の配列（“５５”が下右端）の範囲を、パターンレジスタ２０３の値で更新する。

スライスコントローラ２０５は、信号ＳＩＧ１３６のイベントを送出した後、信号ＳＩＧ１３７のイベントを発生する。運用レジスタ１０４は、信号ＳＩＧ１３７のイベントを受けてｃｏｌｕｍｎ＿６に該当する配列部のみバレルシフタ２０６の出力値に更新する。このときのバレルシフタ２０６の列方向遷移は、図７（Ａ）に示すものとなる。スライスコントローラ２０５は、信号ＳＩＧ１３７のイベントを送出した後、信号ＳＩＧ１３８のイベントを発生する。運用レジスタ１０４は、信号ＳＩＧ１３８のイベントを受けてｒｏｗ＿６に該当する配列部のみバレルシフタ２０７出力値に更新する。このときのバレルシフタ２０７の行方向遷移は、図７（Ｂ）に示すものとなる。

このとき、運用レジスタ２０４の全配列は、パターンレジスタ２０３を７×７の配列に拡張した状態で格納されている。その後、実際のフレームデータ先頭の配列位置に運用レジスタ２０４のパターンを巡回させることで、初期化は完了する。信号ＳＩＧ１３９は、運用レジスタ２０４の列方向シフト要求ステータスである。この信号ＳＩＧ１３９による列シフトは、図７（Ｃ）に示したような遷移をとる（ｃｏｌｕｍｎ＿６はそのときのｃｏｌｕｍｎ＿１の状態で更新される）。また、信号ＳＩＧ１４０は、運用レジスタ２０４の行方向シフト要求ステータスである。この信号ＳＩＧ１４０による行シフトは、図７（Ｄ）に示したような遷移をとる（ｒｏｗ＿６はそのときのｒｏｗ＿１の状態で更新される）。

図８に示した期間Ｂ及び期間Ｄは、フレーム処理中の１ラインの処理の実行期間を指す。本実施形態における傷補正処理部２００が、前段に対する即時停止の要求が無い状態で前段からのデータＳＩＧ１００及び値“１”のバリッド信号ｖａｌｉｄを受信した時、フレーム制御部２０２は、スライスコントローラ２０５に信号ＳＩＧ１３２を送出する。信号ＳＩＧ１３２が値“１”の状態で、水平方向に（画素単位に）データ処理が進んでいることを示す。このとき、スライスコントローラ２０５は、運用レジスタ２０４に対してロード信号ＳＩＧ１３９を送出（値“１”でロード）する。

運用レジスタ２０４、図示しないクロックを基にした同期回路であり、ロード信号ＳＩＧ１３９を受信したクロックサイクル毎に、バレルシフタ２０６の出力をロードする。バレルシフタ２０６は、前述したように列単位（図６（Ｄ）に示した９００，９０１，９０２，９０３，９０４，９０５，９０６）でレジスタ内の配列データをシフトするものである。

図８に示した期間Ｃ及び期間Ｅは、フレーム処理中の１ライン処理完了時の運用レジスタ２０４の更新処理の実行期間を指す。フレーム処理中、１ライン分の水平走査が完了すると、フレーム制御部２０２は、信号ＳＩＧ１３３によりライン完了イベントを送出する。スライスコントローラ２０５は、信号ＳＩＧ１３３のイベントを受信すると、列単位のデータ配列をライン先頭の処理位置に戻すよう、信号ＳＩＧ１３９のロードイベントを複数回発生する。この複数回のイベントは、｛水平画素数 ｍｏｄ 運用レジスタ配列数｝の結果値（水平画素数を運用レジスタ配列数で除したときの余り）であり、固定値として扱える。本実施形態では、運用レジスタ２０４の配列は７×７としているので、もし水平画素数が３０００であれば（３０００ ｍｏｄ ７＝４）となり、列方向へ３回のシフトをする（７−４＝３）ことで、ライン先頭時の列状態となる。

スライスコントローラ２０５は、続いて信号ＳＩＧ１４０のイベントを発生する。ライン処理の完了時には、図７（Ｄ）に示したように運用レジスタ２０４の行方向のシフトを行う。撮像素子を垂直方向に読み飛ばさなければ、該行シフトのイベントは１回（同期回路として１サイクル）分で良い。

フレーム処理の完了時に、フレーム制御部２０２によって信号ＳＩＧ１３１のイベントを発生することで、期間Ａの処理を実施できる。そうすれば、ＣＰＵ１００からの初期化指示がなくても、次フレーム処理のための待機状態を作り出せる。また、図２に示した信号ＳＩＧ１２５は前段への即時停止の要求するストップ信号である。図８に示した期間Ａ、期間Ｃ、期間Ｅのそれぞれの期間中において、図３に示した信号ＳＩＧ３０４の値“１”の状態のようにして、前段の処理に対して後段への有効データの転送を中止するよう要求を出す。この即時停止の要求（信号ＳＩＧ１２５）は、後段からのストップ信号（ＡＮＤゲート２１１の出力）とＯＲ（論理和演算）されて前段へと伝達される。また、内部でＡＮＤゲート２１２を介してフレーム制御部２０２へと伝達されるので、コンビネーションロジックとしてループしないよう、ＡＮＤゲート２１２の出力はフレーム制御部２０２内においてフリップフロップ等でクロック同期されている。

図８に示した例では、後段からの即時停止の要求はないもの（信号ＳＩＧ１２２が常に値“０”の状態）として、説明を簡略化している。例えば、図８に示した期間Ｂや期間Ｄにおいて即時停止の要求がある場合には、前段からのバリッド信号ＳＩＧ１０７の状態がＡＮＤゲート２１２によりマスクされるので、信号ＳＩＧ１３２，ＳＩＧ１３９の状態が取り下げられる。

このように、参照画素が必要な画像処理において、撮像素子の色配列情報を保持するパターンレジスタ２０３と、パターンレジスタ２０３を基に参照範囲の色配列関係を注目画素の位置の変更に応じて追従していく運用レジスタ２０４とをシステム構成に組み込む。これにより、ベイヤー配列とは異なる２次元配列での繰り返しパターンを有する色配列であっても、処理の進捗に応じた参照画素の色配列を容易に得ることができ、任意の繰り返しパターンの画素配列（色配列）を持つ撮像データの処理遂行が可能となる。なお、前述した説明では、パターンレジスタ２０３を６×６の２次元配列として、運用レジスタ２０４を７×７の２次元配列としているが、これは一例であり、本発明は、これに限定されるものではない。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：ＣＰＵ １０３：撮像処理部 １０８、２００：傷補正処理部 ２０１：補正処理部 ２０２：フレーム制御部 ２０３：パターンレジスタ ２０４：運用レジスタ ２０５：スライスコントローラ ２０６、２０７：バレルシフタ ２０９：参照画素レジスタ

Claims (10)

1. 光学情報を光電変換して電気信号を得る撮像素子の画素配列で繰り返される色配列情報の最小パターンを保持する第１のレジスタと、
   行方向及び列方向の２次元配列構造を有し、前記第１のレジスタが保持する最小パターンの前記色配列情報を基に、注目画素と当該注目画素に対する画像処理で参照する参照画素とが含まれる参照範囲の色配列情報を保持する第２のレジスタと、
   前記注目画素に応じて前記第２のレジスタが保持する色配列情報を更新させる制御手段と、
   前記第２のレジスタが保持する前記色配列情報を基に画素を選択し、前記注目画素に対する画像処理を施す処理手段とを有し、
   前記制御手段は、前記画像処理の水平方向の走査進捗毎に前記第２のレジスタが保持する前記色配列情報を行方向にシフトさせ、前記画像処理の垂直方向の走査進捗毎に、前記第２のレジスタが保持する前記色配列情報を列方向にシフトさせるよう制御し、前記色配列情報のシフト制御ではバレルシフタを用いて前記色配列情報を巡回させることを特徴とする画像処理装置。
2. 前記制御手段は、画像処理の走査により前記注目画素の位置が変更する毎に、前記第２のレジスタに保持する前記色配列情報の格納位置をシフトさせるように制御することを特徴とする請求項１記載の画像処理装置。
3. Ｍ×Ｎ画素で繰り返される色配列を有する画像の前記Ｍ×Ｎ画素の色配列情報を保持する第１のレジスタと、
   前記第１のレジスタが保持する前記Ｍ×Ｎ画素の色配列情報を基に、注目画素と当該注目画素に対する画像処理で参照する参照画素とが含まれる参照範囲の色配列情報を保持する第２のレジスタと、
   前記注目画素に応じて前記第２のレジスタが保持する色配列情報を更新させる制御手段と、
   前記第２のレジスタが保持する前記色配列情報を基に画素を選択し、前記注目画素に対する画像処理を施す処理手段とを有し、
   前記第１のレジスタ及び前記第２のレジスタは、２次元配列に前記色配列情報を保持するレジスタであり、
   前記第２のレジスタは、前記第１のレジスタより多くの配列要素を有し、
   前記第１のレジスタが保持する前記Ｍ×Ｎ画素の色配列情報を巡回させ、前記第２のレジスタに前記参照範囲の色配列情報を保持させることを特徴とする画像処理装置。
4. 前記第２のレジスタは、行方向及び列方向の２次元配列構造を有し、
   前記制御手段は、前記画像処理の水平方向の走査進捗毎に前記第２のレジスタが保持する前記色配列情報を行方向にシフトさせ、前記画像処理の垂直方向の走査進捗毎に、前記第２のレジスタが保持する前記色配列情報を列方向にシフトさせるよう制御することを特徴とする請求項３記載の画像処理装置。
5. 前記制御手段は、前記第２のレジスタが保持する前記色配列情報のシフト制御ではバレルシフタを用いて前記色配列情報を巡回させることを特徴とする請求項４記載の画像処理装置。
6. 前記画像処理は画素欠陥の補正であり、
   前記注目画素は欠陥画素であり、
   前記参照画素は少なくとも前記欠陥画素の補正に用いられる画素を含む範囲の画素配列であることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 光学情報を光電変換して電気信号を得る撮像素子の画素配列で繰り返される色配列情報の最小パターンを保持する第１のレジスタと、行方向及び列方向の２次元配列構造を有し、前記第１のレジスタが保持する最小パターンの前記色配列情報を基に、注目画素と当該注目画素に対する画像処理で参照する参照画素とが含まれる参照範囲の色配列情報を保持する第２のレジスタとを有する画像処理装置の画像処理方法であって、
   前記第１のレジスタが保持する最小パターンの前記色配列情報を基に、前記第２のレジスタに前記参照範囲の色配列情報を保持させ、前記第２のレジスタに色配列情報を保持させた後、前記注目画素に応じて前記第２のレジスタが保持する色配列情報を更新させる制御工程と
   前記第２のレジスタが保持する前記色配列情報を基に画素を選択し、前記注目画素に対する画像処理を施す処理工程とを有し、
   前記制御工程では、前記画像処理の水平方向の走査進捗毎に前記第２のレジスタが保持する前記色配列情報を行方向にシフトさせ、前記画像処理の垂直方向の走査進捗毎に、前記第２のレジスタが保持する前記色配列情報を列方向にシフトさせるよう制御し、前記色配列情報のシフト制御ではバレルシフタを用いて前記色配列情報を巡回させることを特徴とする画像処理方法。
8. 光学情報を光電変換して電気信号を得る撮像素子の画素配列で繰り返される色配列情報の最小パターンを保持する第１のレジスタと、行方向及び列方向の２次元配列構造を有し、前記第１のレジスタが保持する最小パターンの前記色配列情報を基に、注目画素と当該注目画素に対する画像処理で参照する参照画素とが含まれる参照範囲の色配列情報を保持する第２のレジスタとを有する画像処理装置の画像処理方法をコンピュータに実行させるプログラムであって、
   前記第１のレジスタが保持する最小パターンの前記色配列情報を基に、前記第２のレジスタに前記参照範囲の色配列情報を保持させる第１のステップと、
   前記第２のレジスタに色配列情報を保持させた後、前記注目画素に応じて前記第２のレジスタが保持する色配列情報を更新させる第２のステップと
   前記第２のレジスタが保持する前記色配列情報を基に画素を選択し、前記注目画素に対する画像処理を施す第３のステップとをコンピュータに実行させ、
   前記第２のステップでは、前記画像処理の水平方向の走査進捗毎に前記第２のレジスタが保持する前記色配列情報を行方向にシフトさせ、前記画像処理の垂直方向の走査進捗毎に、前記第２のレジスタが保持する前記色配列情報を列方向にシフトさせるよう制御し、前記色配列情報のシフト制御ではバレルシフタを用いて前記色配列情報を巡回させる処理をコンピュータに実行させるためのプログラム。
9. それぞれ２次元配列に色配列情報を保持するレジスタであって、Ｍ×Ｎ画素で繰り返される色配列を有する画像の前記Ｍ×Ｎ画素の色配列情報を保持する第１のレジスタと、前記第１のレジスタより多くの配列要素を有し、前記第１のレジスタが保持する前記Ｍ×Ｎ画素の色配列情報を基に、注目画素と当該注目画素に対する画像処理で参照する参照画素とが含まれる参照範囲の色配列情報を保持する第２のレジスタとを有する画像処理装置の画像処理方法であって、
   前記第１のレジスタが保持する前記Ｍ×Ｎ画素の色配列情報を基に、前記第２のレジスタに前記参照範囲の色配列情報を保持させ、前記第２のレジスタに色配列情報を保持させた後、前記注目画素に応じて前記第２のレジスタが保持する色配列情報を更新させる制御工程と、
   前記第２のレジスタが保持する前記色配列情報を基に画素を選択し、前記注目画素に対する画像処理を施す処理工程とを有し、
   前記制御工程では、前記第１のレジスタが保持する前記Ｍ×Ｎ画素の色配列情報を巡回させ、前記第２のレジスタに前記参照範囲の色配列情報を保持させることを特徴とする画像処理方法。
10. それぞれ２次元配列に色配列情報を保持するレジスタであって、Ｍ×Ｎ画素で繰り返される色配列を有する画像の前記Ｍ×Ｎ画素の色配列情報を保持する第１のレジスタと、前記第１のレジスタより多くの配列要素を有し、前記第１のレジスタが保持する前記Ｍ×Ｎ画素の色配列情報を基に、注目画素と当該注目画素に対する画像処理で参照する参照画素とが含まれる参照範囲の色配列情報を保持する第２のレジスタとを有する画像処理装置の画像処理方法をコンピュータに実行させるプログラムであって、
    前記第１のレジスタが保持する前記Ｍ×Ｎ画素の色配列情報を基に、前記第２のレジスタに前記参照範囲の色配列情報を保持させる第１のステップと、
    前記第２のレジスタに色配列情報を保持させた後、前記注目画素に応じて前記第２のレジスタが保持する色配列情報を更新させる第２のステップと、
    前記第２のレジスタが保持する前記色配列情報を基に画素を選択し、前記注目画素に対する画像処理を施す第３のステップとをコンピュータに実行させ、
    前記第１のステップでは、前記第１のレジスタが保持する前記Ｍ×Ｎ画素の色配列情報を巡回させ、前記第２のレジスタに前記参照範囲の色配列情報を保持させる処理をコンピュータに実行させるためのプログラム。

Images