JP5555076B2 - 撮像装置、画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像データに対してクロスフィルター処理を行う撮像装置、画像処理装置及び画像処理方法に関する。

デジタルカメラ等の撮像装置で被写体を撮影するときに、レンズと被写体との間にクロスフィルターと呼ばれる光学フィルターを挿入することで、高輝度被写体の周辺にクロスパターン（十字のパターン）が追加されたような写真を撮影することができることが知られている。このような特殊効果を得ることができるフィルターとしては、クロスパターンを生じさせるフィルターの他に、クロスパターンを２つ重ねたような８本線のパターンを生じさせるフィルターや、６本線のパターンを生じるフィルター等も存在する。

近年の撮像装置では、撮影により得られた画像データの高輝度部（輝点）に上記のようなパターンを描画することで、光学フィルターを用いて撮影したのと同等のクロスフィルター効果を有する画像を作成する機能（以降、クロスフィルター処理機能と言う）を持つものもある。例えば、特許文献１では、輝度がある閾値を超える高輝度部（輝点）を画像データ中から検索し、検索した輝点の周辺をさらに検索して光源と考えられる領域の中心を算出し、この中心にクロスのパターンを描画することでクロスフィルター効果を有する画像を作成するようにしている。また、特許文献２では、撮影画像における高輝度部を検索し、高輝度部に係数を乗算しながら位置をずらして加算することでクロスフィルター効果を有する画像を作成するようにしている。

特許第４２０７１２４号公報 特公平７−１１３９６１号公報

上述したように、従来のクロスフィルター処理においては、画像データ中の高輝度部を検索し、この高輝度部の近傍にクロスパターンを描画することで、クロスフィルター効果を有する画像を生成している。このように、クロスフィルター処理を行うためには、輝点の検索を行う必要がある。ここで、昨今の撮像装置では画素数が増大してきている。この画素数の増大の影響により、画像データに対する検索が必要な処理は、通常の処理と比較して処理時間が長くなる傾向にある。即ち、クロスフィルター処理にかかる処理時間は、通常の処理の処理時間に対して長くなっている。

本発明は、上記の事情に鑑みてなされたもので、輝点の検索を効率良く行って処理時間を短縮してクロスフィルター処理を行うことが可能な撮像装置、画像処理装置及び画像処理方法を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の撮像装置は、被写体像を撮像して撮像データを生成する撮像部と、前記撮像データを画像処理して画像データを生成する画像処理部と、前記画像データをリサイズするリサイズ処理部と、前記リサイズ処理部によるリサイズにより得られた縮小画像データ中の離散的な複数の座標に位置する画素の中から、輝度値が所定の閾値を越える画素を抽出する輝点抽出部と、前記画像データに合成するためのパターンを記憶するパターン記憶部と、前記パターン記憶部に記憶されているパターンから前記離散的な複数の座標の離散度合いに応じて合成用パターンを生成する合成用パターン生成部と、前記輝点抽出部により抽出された画素の座標に基づいて、前記画像データに前記合成用パターンを合成するパターン合成部とを具備することを特徴する。

本発明では、画素単位での輝点検索を行うことでクロスフィルター処理の高速化が可能となる。また、輝点検索を離散的な座標に位置する画素単位で行うことでさらに処理時間を短縮することができる。

本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示す図である。 パターンデータの例を示す図である。 図１で示したデジタルカメラのメイン動作を示すフローチャートである。 動画処理について示すフローチャートである。 静止画処理について示すフローチャートである。 再生処理について示すフローチャートである。 本発明の第１の実施形態における画像処理について示すフローチャートである。 現像処理について示すフローチャートである。 輝点検索処理について示すフローチャートである。 本発明の実施形態における輝度検出画像データの取得手法について説明するための図である。 本発明の第１の実施形態におけるパターン変更処理について示すフローチャートである。 パターン合成処理について示すフローチャートである。 本発明の第２の実施形態における画像処理について示すフローチャートである。 本発明の第２の実施形態におけるパターン変更処理について示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示す図である。図１に示すデジタルカメラは、交換式レンズ１００と、カメラ本体２００とを有するレンズ交換式デジタルカメラの例を示している。ただし、以下に説明する本発明の実施形態に係る技術はコンパクト式デジタルカメラや携帯電話、携帯情報端末、ゲーム機器等にも適用可能である。

交換式レンズ１００は、レンズ１０１と、絞り１０２と、ドライバ１０３と、レンズマイクロコンピュータ１０４と、フラッシュ（Ｆｌａｓｈ）メモリ１０５と、を有している。交換式レンズ１００がカメラ本体２００に装着された際に、交換式レンズ１００のレンズマイクロコンピュータ１０４は、インターフェイス（Ｉ/Ｆ）１０６を介してカメラ本体２００のマイクロコンピュータ２１７と通信自在に接続される。

レンズ１０１は、フォーカスレンズやズームレンズ等の１つ以上のレンズから構成されており、図示しない被写体からの光学像（被写体像）を撮像素子２０２に集光させる。絞り１０２は、撮像素子２０２に集光される被写体像の光量を調節する。
ドライバ１０３は、モータ等を有して構成されている。ドライバ１０３は、レンズマイクロコンピュータ１０４の制御の下、レンズ１０１を構成するフォーカスレンズやズームレンズをその光軸方向に駆動させる。また、ドライバ１０３は、レンズマイクロコンピュータ１０４の制御の下、絞り１０２を開閉させる。

レンズマイクロコンピュータ１０４は、カメラ本体２００のマイクロコンピュータ２１７の制御に従って、交換式レンズ１００の動作を制御する。また、レンズマイクロコンピュータ１０４は、Ｆｌａｓｈメモリ１０５に記憶されているレンズ情報をマイクロコンピュータ２１７に送信することも行う。Ｆｌａｓｈメモリ１０５は、レンズ１０１の収差といったレンズ情報等の交換式レンズ１００の各種動作に必要な情報を記憶している。

カメラ本体２００は、メカシャッタ２０１と、撮像素子２０２と、アナログ処理部２０３と、アナログ/デジタル（Ａ/Ｄ）変換部２０４と、バス２０５と、ＳＤＲＡＭ２０６と、画像処理部２０７と、ＡＥ処理部２０８と、ＡＦ処理部２０９と、輝点抽出部２１０と、パターン合成部２１１と、画像圧縮展開部２１２と、メモリインターフェイス（Ｉ/Ｆ）２１３と、記録媒体２１４と、表示ドライバ２１５と、表示部２１６と、マイクロコンピュータ２１７と、操作部２１８と、フラッシュ（Ｆｌａｓｈ）メモリ２１９と、を有している。

メカシャッタ２０１は、撮像素子２０２の光電変換面を遮光状態又は露出状態とすることで撮像素子２０２の露光時間を調節する機械的機構である。
撮像素子２０２は、被写体像を電気信号に変換するための光電変換面を有している。光電変換面は、２次元平面状に配列された複数のフォトダイオードと、フォトダイオードの前面に設けられたカラーフィルターと、を有して構成されている。カラーフィルターは、例えば原色系ベイヤ配列のカラーフィルターである。このような撮像素子２０２は、レンズ１０１を介して集光された被写体像を撮像し、被写体像を電気信号（以降、アナログ撮像信号と言う）として出力する。ここで、撮像素子２０２はＣＭＯＳ方式の撮像素子でもＣＣＤ方式の撮像素子でも良い。また、撮像素子２０２は、露光時間を電子的に制御する電子シャッタ機能を有していることが望ましい。

アナログ処理部２０３は、撮像素子２０２から出力されたアナログ撮像信号に対して各種のアナログ処理を行う。このアナログ処理としては、例えば、リセットノイズの低減処理、波形整形処理、ゲイン制御処理が含まれる。Ａ/Ｄ変換部２０４は、アナログ処理部２０３から出力されたアナログ撮像信号をデジタル信号（以降、撮像データと言う）に変換する。撮像データは、画像処理部２０７による画像処理前のデジタル画像であり、ＲＡＷデータとも呼ばれる。

バス２０５は、カメラ本体２００の内部で発生した各種のデータを転送するための転送路である。ＳＤＲＡＭ２０６は、カメラ本体２００内部で発生した各種のデータを一時的に記憶するための記憶部である。
画像処理部２０７は、撮像データに対する各種の画像処理を行って画像データを生成する。画像処理部２０７は、オプティカルブラック（ＯＢ）減算部２０７１と、ホワイトバランス（ＷＢ）補正部２０７２と、同時化処理部２０７３と、カラーマトリクス演算部２０７４と、ガンマ・色再現処理部２０７５と、エッジ強調処理部２０７６と、ノイズ低減（ＮＲ）処理部２０７７と、ローパスフィルター（ＬＰＦ）処理部２０７８と、リサイズ処理部２０７９とを有している。

ＯＢ減算部２０７１は、撮像データにおける暗電流成分の影響を除去するためのＯＢ減算を行う。ＷＢ補正部２０７２は、撮像データの色バランスを補正するＷＢ補正処理を行う。同時化処理部２０７３は、１画素が１つの色成分に対応している撮像データを、１画素が３つの色成分に対応している撮像データに変換する同時化処理を行う。カラーマトリクス演算部２０７４は、撮像データ全体の色相や彩度の調節を行う。ガンマ・色再現処理部２０７５は、撮像データに対するガンマ変換処理、色再現処理を行う。エッジ強調処理部２０７６は、撮像データにおけるエッジ成分を強調するエッジ強調処理を行う。ＮＲ処理部２０７７は、撮像データにおけるノイズ成分を除去するＮＲ処理を行う。

本実施形態では、ＯＢ減算部２０７１、ＷＢ補正部２０７２、同時化処理部２０７３、カラーマトリクス演算部２０７４、ガンマ・色再現処理部２０７５、エッジ強調処理部２０７６及びＮＲ処理部２０７７による処理が施された撮像データを画像データと言うこととする。

ＬＰＦ処理部２０７８は、ＯＢ減算部２０７１、ＷＢ補正部２０７２、同時化処理部２０７３、カラーマトリクス演算部２０７４、ガンマ・色再現処理部２０７５、エッジ強調処理部２０７６及びＮＲ処理部２０７７による一連の処理を経て生成された画像データにおける高周波成分を除去するＬＰＦ処理を行う。リサイズ処理部２０７９は、ＬＰＦ処理部２０７８でＬＰＦ処理がなされた画像データに対してリサイズ処理を行う。

ＡＥ処理部２０８は、撮像データを用いて被写体輝度を算出する。さらに、ＡＥ処理部２０８は、算出した被写体輝度に応じて、撮影時における撮像素子２０２の感度（ＩＳＯ感度）、撮影時における絞り１０２の開放量（絞り値）、撮影時における撮像素子２０２の露光時間（シャッタ速）を決定する。なお、被写体輝度は、撮像データから算出するだけでなく、例えば専用の測光センサで測定するようにしても良い。ＡＦ処理部２０９は、撮像データから高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してＡＦ用の合焦評価値を取得する。

輝点抽出部２１０は、画像処理部２０７で得られた画像データにおける高輝度画素（輝点）を抽出する。パターン合成部２１１は、輝点抽出部２１０による輝点の抽出結果に応じて、画像処理部２０７で得られた画像データに合成用パターンを合成することで画像データにクロスフィルター効果を与える。なお、輝点抽出部２１０及びパターン合成部２１１の動作の詳細については後述する。

画像圧縮展開部２１２は、画像の記録時においては、画像処理部２０７における画像処理によって得られた画像データに対してＪＰＥＧ方式等の静止画圧縮処理又はＭＰＥＧ方式等の動画圧縮処理を施す。また、画像圧縮展開部２１２は、画像の再生時においては、圧縮処理が施された画像データに対して展開（伸張）処理を施す。メモリＩ/Ｆ２１３は、マイクロコンピュータ２１７等が記録媒体２１４にアクセスするためのインターフェイスである。記録媒体２１４は、例えばカメラ本体２００に着脱自在になされたメモリカードであって、画像圧縮展開部２１２によって圧縮された画像データを含む画像ファイル等が記録される。

表示ドライバ２１５は、画像処理部２０７で得られた画像データ又は画像圧縮展開部２１２で伸張された画像データを映像信号に変換して表示部２１６に出力する。表示部２１６は、例えば液晶ディスプレイ（ＬＣＤ）であり、表示ドライバ２１５からの映像信号に基づく画像を表示する。

マイクロコンピュータ２１７は、メカシャッタ２０１や撮像素子２０２の動作制御等のカメラ本体２００の各種シーケンスを統括的に制御する。また、マイクロコンピュータ２１７は、交換式レンズ１００の装着時には交換式レンズ１００の動作も制御する。マイクロコンピュータ２１７には、操作部２１８と、Ｆｌａｓｈメモリ２１９とが接続されている。

操作部２１８は、例えば電源ボタン、レリーズボタン、再生ボタン、動画ボタン、各種入力キー等の操作部材である。操作部２１８は、タッチパネル等で構成されていても良い。ユーザにより操作部２１８の操作がなされると、マイクロコンピュータ２１７は、操作部２１８の操作に対応したシーケンスを実行する。

Ｆｌａｓｈメモリ２１９は、例えばホワイトバランス補正用のホワイトバランスゲイン、カラーマトリクス演算用のカラーマトリクス係数、ガンマ変換用のガンマテーブルといった画像処理部２０７の動作に必要なパラメータ等の、カメラ本体２００の動作に必要な各種のパラメータを記憶している。また、Ｆｌａｓｈメモリ２１９は、マイクロコンピュータ２１７が実行する種々のプログラムも記憶している。

さらに、本実施形態において、Ｆｌａｓｈメモリ２１９は、パターン記憶部としての機能も有し、パターン合成部２１１において合成用パターンを生成するために必要なパターンを示すデータ（パターンデータ）も記憶している。Ｆｌａｓｈメモリ２１９に記憶させるパターンとしては、例えば図２（ａ）で示すようなクロスパターンがある。クロスパターンは中心部から放射状に伸びる複数の直線から構成されたパターンである。例えば図２（ａ）で示すクロスパターンは、中央部から伸びる４本の直線で構成されている。そして、クロスパターンを構成する４本の直線は、それぞれ、中央部からの距離に応じて輝度値が低下するとともに線の太さが細くなっている。

ここで、クロスパターンを構成する直線の本数は４本に限るものではなく、任意の複数本で良い。例えば、図２（ｂ）で示すスノークロスパターンのように、中央部から伸びる６本の直線でパターンを構成するようにしても良いし、図２（ｃ）で示すサニークロスパターンのように、中央部から伸びる８本の直線でパターンを構成するようにしても良い。また、直線の他に曲線を含めるようにしてパターンを構成するようにしても良い。例えば、図２（ｄ）で示すような星型のパターンや、図２（ｅ）で示すようなハート型のパターン等、各種の形状のパターンをＦｌａｓｈメモリ２１９に記憶させるようにして良い。さらに、図２（ａ）〜図２（ｅ）で示したパターンを示すパターンデータは、図２（ａ）〜図２（ｅ）で示したパターンを含む矩形データとして構成しておいても良い。

以下、図１で示したデジタルカメラの動作について説明する。図３は、図１で示したデジタルカメラのメイン動作を示すフローチャートである。図３の動作は、例えばユーザによって操作部２１８の電源ボタンが押される等して、デジタルカメラの電源がオンされた場合に行われる。

電源投入後等において、マイクロコンピュータ２１７は、まず、自身が有するレジスタに設定されている記録中フラグをＯｆｆにする（ステップＳ１０１）。記録中フラグは、動画記録中であるか否かを示すフラグである。記録中フラグがＯｆｆになっている間は、動画記録中でないことを示す。一方、記録中フラグがＯｎになっている間は、動画記録中であることを示す。

次に、マイクロコンピュータ２１７は、ユーザによって操作部２１８の再生ボタンが押されたか否かを判定する（ステップＳ１０２）。ステップＳ１０２の判定において、再生ボタンが押された場合に、マイクロコンピュータ２１７は、再生処理を実行する（ステップＳ１０３）。再生処理の詳細については後述する。

再生処理の実行後又はステップＳ１０２の判定において再生ボタンが押されていない場合に、マイクロコンピュータ２１７は、ユーザによって操作部２１８の動画ボタンが押されたか否かを判定する（ステップＳ１０４）。ステップＳ１０４の判定において、動画ボタンが押された場合に、マイクロコンピュータ２１７は、記録中フラグを反転させる（ステップＳ１０５）。即ち、マイクロコンピュータ２１７は、記録中フラグがＯｆｆの場合にはＯｎに、Ｏｎの場合にはＯｆｆにする。

記録中フラグの反転後又はステップＳ１０５の判定において動画ボタンが押されていない場合に、マイクロコンピュータ２１７は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ１０６）。ステップＳ１０６の判定において、記録中フラグがＯｎである場合に、マイクロコンピュータ２１７は、動画処理を実行する（ステップＳ１０７）。動画処理の詳細については後述する。

また、ステップＳ１０６の判定において、記録中フラグがＯｆｆである場合に、マイクロコンピュータ２１７は、ユーザによって操作部２１８のレリーズボタンが半押しされてレリーズボタンの状態がＯｆｆ状態から１ｓｔレリーズスイッチのＯｎ状態に遷移したか否かを判定する（ステップＳ１０８）。ステップＳ１０８の判定において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移した場合に、マイクロコンピュータ２１７は、ＡＦ処理を行う（ステップＳ１０９）。ＡＦ処理において、マイクロコンピュータ２１７は、ＡＦ処理部２０９により合焦評価値を取得させる。そして、マイクロコンピュータ２１７は、ＡＦ処理部２０９で取得された合焦評価値により、撮像データにおけるコントラストを評価しつつ、レンズ１０１のフォーカスレンズを微少量ずつ駆動させるようにレンズマイクロコンピュータ１０４に指示する。その後、マイクロコンピュータ２１７は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させるようにレンズマイクロコンピュータ１０４に指示する。このようなＡＦ処理は、所謂コントラスト方式のＡＦ処理である。ＡＦ処理として位相差ＡＦ処理を用いるようにしても良い。

また、図３の例におけるＡＦ処理は、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移したタイミングにおいて実行されるものである。即ち、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移しないタイミング、例えば、レリーズボタンの状態がＯｆｆ状態のままである場合、１ｓｔレリーズスイッチのＯｎ状態のままである場合、後述する２ｎｄレリーズスイッチのＯｎ状態のままである場合等では、ＡＦ処理は実行されない。

また、ステップＳ１０８の判定において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移していない場合に、マイクロコンピュータ２１７は、ユーザによって操作部２１８のレリーズボタンが全押しされてレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態となっているか否かを判定する（ステップＳ１１０）。ステップＳ１１０の判定において、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態である場合に、マイクロコンピュータ２１７は、静止画処理を実行する（ステップＳ１１１）。静止画処理の詳細については後述する。

図３の例における静止画処理は、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態である間は実行されるものである。例えば、１枚の静止画像が記録された後であってもレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態であれば、次の静止画撮影を実行する。

ステップＳ１１０の判定において、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態でない場合に、マイクロコンピュータ２１７は、ステップＳ１０７の動画処理を実行する。
ステップＳ１０７、Ｓ１０９、Ｓ１１１の後、マイクロコンピュータ２１７は、ユーザによって操作部２１８の電源ボタンが押される等してデジタルカメラの電源がオフされたか否かを判定する（ステップＳ１１２）。ステップＳ１１２の判定において、デジタルカメラの電源がオフされていない場合に、マイクロコンピュータ２１７は、ステップＳ１０２以後の処理を実行する。一方、ステップＳ１１２の判定において、デジタルカメラの電源がオフされた場合に、マイクロコンピュータ２１７は、図３の処理を終了させる。

図４は、動画処理について示すフローチャートである。図４において、マイクロコンピュータ２１７は、まず、ＡＥ処理を実行する（ステップＳ２０１）。ＡＥ処理において、マイクロコンピュータ２１７は、ＡＥ処理部２０８によって、ＩＳＯ感度、絞り値、シャッタ速を決定させる。ＡＥ処理の後、マイクロコンピュータ２１７は、撮影処理を実行する（ステップＳ２０２）。撮影処理において、マイクロコンピュータ２１７は、ＩＳＯ感度に応じてアナログ処理部２０３におけるゲイン制御量（増幅率）を設定するとともに、絞り値をレンズマイクロコンピュータ１０４に送信する。レンズマイクロコンピュータ１０４による制御による絞り１０２の駆動と同期して、マイクロコンピュータ２１７は、シャッタ速に応じて撮像素子２０２の電子シャッタ機能を動作させて撮像素子２０２の露光量を制御する。撮像素子２０２の露光により得られた撮像データはＳＤＲＡＭ２０６に記憶される。

撮影処理の後、マイクロコンピュータ２１７は、撮影処理の結果としてＳＤＲＡＭ２０６に記憶された撮像データに対する画像処理を実行するための制御を行う（ステップＳ２０３）。この画像処理の詳細については後述する。
画像処理の後、マイクロコンピュータ２１７は、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データを再生するように表示ドライバ２１５に指示する。この指示を受けて表示ドライバ２１５は、ＳＤＲＡＭ２０６から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２１６に出力する。表示部２１６は、この映像信号に基づいて画像を再生する（ステップＳ２０４）。

続いて、マイクロコンピュータ２１７は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ２０５）。ステップＳ２０５の判定において、記録中フラグがＯｆｆである場合に、マイクロコンピュータ２１７は、図４の処理を終了させる。この場合、撮影により得られた画像（動画像）が表示部２１６に表示されるのみとなる。このようにして表示部２１６に表示される動画像は、静止画撮影前の構図確認等に用いられるライブビュー画像として利用される。

また、ステップＳ２０５の判定において、記録中フラグがＯｎである場合に、マイクロコンピュータ２１７は、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データを動画ファイルとして記録する処理を行う（ステップＳ２０６）。まず、マイクロコンピュータ２１７は、動画ファイルの記録画質等に応じて、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データに対するリサイズ処理を実行するようにリサイズ処理部２０７９に指示する。その後、マイクロコンピュータ２１７は、リサイズ処理の結果としてＳＤＲＡＭ２０６に記憶された画像データに対する動画圧縮処理を実行するように画像圧縮展開部２１２に指示する。この指示を受けて画像圧縮展開部２１２は、記録する動画像ファイルの形式に応じた圧縮処理を行い、圧縮した画像データをＳＤＲＡＭ２０６に記憶させる。その後、マイクロコンピュータ２１７は、画像圧縮展開部２１２により圧縮された画像データをＳＤＲＡＭ２０６から読み出し、読み出した画像データに所定のヘッダ情報を付与した動画ファイルを作成する、又は既存の動画ファイルに画像データを追記し、作成した動画ファイルを記録媒体２１４に記録する。動画ファイルの記録後、マイクロコンピュータ２１７は、図４の処理を終了させる。

図５は、静止画処理について示すフローチャートである。図５において、マイクロコンピュータ２１７は、まず、撮影処理を実行する（ステップＳ３０１）。撮影処理において、マイクロコンピュータ２１７は、図４のステップＳ２０１のＡＥ処理において決定されたＩＳＯ感度、絞り値、シャッタ速に応じて撮像素子２０２の露光を行う。即ち、マイクロコンピュータ２１７は、ＩＳＯ感度に応じてアナログ処理部２０３におけるゲイン制御量（増幅率）を設定するとともに、絞り値をレンズマイクロコンピュータ１０４に送信する。レンズマイクロコンピュータ１０４による制御による絞り１０２の駆動と同期して、マイクロコンピュータ２１７は、シャッタ速に応じてメカシャッタ２０１を動作させて撮像素子２０２の露光量を制御する。

撮影処理の後、マイクロコンピュータ２１７は、撮影の結果としてＳＤＲＡＭ２０６に記憶された撮像データに対する画像処理を実行するための制御を行う（ステップＳ３０２）。この画像処理は、動画処理の際の画像処理と同一である。詳細については後述する。

画像処理の後、マイクロコンピュータ２１７は、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データを再生するように表示ドライバ２１５に指示する。この指示を受けて表示ドライバ２１５は、ＳＤＲＡＭ２０６から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２１６に出力する。表示部２１６は、この映像信号に基づいて画像を再生する（ステップＳ３０３）。

続いて、マイクロコンピュータ２１７は、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データを静止画ファイルとして記録する処理を行う（ステップＳ３０４）。まず、マイクロコンピュータ２１７は、静止画ファイルの記録画質等に応じて、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データに対するリサイズ処理を実行するようにリサイズ処理部２０７９に指示する。その後、マイクロコンピュータ２１７は、リサイズ処理の結果としてＳＤＲＡＭ２０６に記憶された画像データに対する静止画圧縮処理を実行するように画像圧縮展開部２１２に指示する。この指示を受けて画像圧縮展開部２１２は、ＪＰＥＧ方式等の静止画圧縮処理を行い、圧縮した画像データをＳＤＲＡＭ２０６に記憶させる。その後、マイクロコンピュータ２１７は、画像圧縮展開部２１２により圧縮された画像データをＳＤＲＡＭ２０６から読み出し、読み出した画像データに所定のヘッダ情報を付与した静止画ファイルを作成し、作成した静止画ファイルを記録媒体２１４に記録する。静止画ファイルの記録後、マイクロコンピュータ２１７は、図５の処理を終了させる。

図６は、再生処理について示すフローチャートである。図６において、マイクロコンピュータ２１７は、ユーザによって操作部２１８の入力キーが操作されてファイルの選択がなされたか否かを判定する（ステップＳ４０１）。ステップＳ４０１の判定において、ファイルの選択がなされていない場合、マイクロコンピュータ２１７は、ステップＳ４０１の判定を行いつつ、待機する。また、ステップＳ４０１の判定において、ファイルの選択がなされた場合に、マイクロコンピュータ２１７は、選択されたファイルが動画ファイルであるか否かを判定する（ステップＳ４０２）。

ステップＳ４０２の判定において、選択されたファイルが動画ファイルである場合に、マイクロコンピュータ２１７は、動画ファイルのヘッダ情報を参照して動画像ファイルを構成する画像データの数（フレーム数）を取得する（ステップＳ４０３）。次に、マイクロコンピュータ２１７は、表示部２１６に表示させるべき画像データのフレーム番号を示す変数Ｎを１（最初のフレームを示す値）にリセットする（ステップＳ４０４）。その後、マイクロコンピュータ２１７は、選択された動画ファイルのＮフレーム目の画像データを展開するように画像圧縮展開部２１２に指示する（ステップＳ４０５）。この指示を受けて画像圧縮展開部２１２は、選択された動画像ファイルを展開し、展開の結果として得られた動画像ファイルのＮフレーム目の画像データをＳＤＲＡＭ２０６に記憶させる。

画像データが展開された後、マイクロコンピュータ２１７は、ＳＤＲＡＭ２０６に記憶されたＮフレーム目の画像データを再生するように表示ドライバ２１５に指示する。この指示を受けて表示ドライバ２１５は、ＳＤＲＡＭ２０６から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２１６に出力する。表示部２１６は、この映像信号に基づいて画像を再生する（ステップＳ４０６）。Ｎフレーム目に対応した画像の表示後、マイクロコンピュータ２１７は、Ｎに１を加算する（ステップＳ４０７）。その後、マイクロコンピュータ２１７は、Ｎがフレーム数以下であるか否かを判定する（ステップＳ４０８）。ステップＳ４０８の判定において、Ｎがフレーム数以下である、即ち最終フレーム目までの画像表示が終了していない場合に、マイクロコンピュータ２１７は、処理をステップＳ４０５に戻して、次のフレームの画像表示を行う。一方、ステップＳ４０８の判定において、Ｎがフレーム数を越えた場合に、マイクロコンピュータ２１７は、図６の処理を終了させる。

また、ステップＳ４０２の判定において、選択されたファイルが動画ファイルでない、即ち静止画ファイルである場合に、マイクロコンピュータ２１７は、選択された静止画ファイルを展開するように画像圧縮展開部２１２に指示する（ステップＳ４０９）。この指示を受けて画像圧縮展開部２１２は、選択された静止画ファイルを展開し、展開の結果として得られた画像データをＳＤＲＡＭ２０６に記憶させる。

画像データが展開された後、マイクロコンピュータ２１７は、ＳＤＲＡＭ２０６に記憶された画像データを再生するように表示ドライバ２１５に指示する。この指示を受けて表示ドライバ２１５は、ＳＤＲＡＭ２０６から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２１６に出力する。表示部２１６は、この映像信号に基づいて画像を再生する（ステップＳ４１０）。その後、マイクロコンピュータ２１７は、図６の処理を終了させる。

図７は、画像処理について示すフローチャートである。図７において、マイクロコンピュータ２１７は、まず、撮影処理の結果としてＳＤＲＡＭ２０６に記憶された撮像データに対して通常画像処理用の画像処理パラメータを用いた現像処理を実行するように画像処理部２０７に指示する。この指示を受けて、画像処理部２０７は、通常画像処理用の画像処理パラメータをＦｌａｓｈメモリ２１９から読み込む（ステップＳ５０１）。通常画像処理用の画像処理パラメータの読み込み後、画像処理部２０７は、通常画像処理用の画像処理パラメータを用いてＳＤＲＡＭ２０６に撮像データに対する現像処理を実行し、通常画像処理用の画像処理パラメータを用いた現像処理の結果として得られた画像データ（以下、通常画像データと言う）を、ＳＤＲＡＭ２０６における撮像データの記憶領域とは別の記憶領域に記憶させる（ステップＳ５０２）。現像処理の詳細については後述する。

ここで、通常画像処理用の画像処理パラメータとしては、例えばＷＢ補正に用いられるＷＢゲイン、カラーマトリクス演算に用いられるカラーマトリクス、ガンマ変換処理に用いられるガンマテーブル、ＮＲ低減処理に用いられるＮＲパラメータ、が含まれる。

通常画像処理用の画像処理パラメータを用いた現像処理の後、マイクロコンピュータ２１７は、画像処理モードとしてクロスフィルターモードが設定されているか否かを判定する（ステップＳ５０３）。画像処理モードは、例えば操作部２１８の入力キーの操作によって設定することができる。なお、クロスフィルターモードの設定の際には、通常画像データ中の輝点に対応した画素に合成するパターンの形状を例えば図２（ａ）〜図２（ｅ）の中から選択しておく。

ステップＳ５０３の判定において、画像処理モードとしてクロスフィルターモードが設定されていない場合に、マイクロコンピュータ２１７は、図７の処理を終了させる。一方、ステップＳ５０３の判定において、画像処理モードとしてクロスフィルターモードが設定されている場合に、マイクロコンピュータ２１７は、撮影処理の結果としてＳＤＲＡＭ２０６に記憶された撮像データに対してクロスフィルター処理を施すように画像処理部２０７に指示する。この指示を受けて、画像処理部２０７は、輝度検出画像処理用の画像処理パラメータをＦｌａｓｈメモリ２１９から読み込む（ステップＳ５０４）。輝度検出画像処理用の画像処理パラメータの読み込み後、画像処理部２０７は、輝度検出画像処理用の画像処理パラメータを用いてＳＤＲＡＭ２０６に記憶された撮像データに対する現像処理を実行し、輝度検出画像処理用の画像処理パラメータを用いた現像処理の結果として得られた画像データ（以下、輝度検出画像データと言う）を、ＳＤＲＡＭ２０６における通常画像データの記憶領域とは別の記憶領域に記憶させる（ステップＳ５０５）。輝度検出画像処理用の画像処理パラメータを用いた現像処理は、現像処理に使用する画像処理パラメータを輝度検出画像処理用の画像処理パラメータとするだけで、処理内容はステップＳ５０２の処理と同様である。詳細については後述する。

輝度検出画像処理用の画像処理パラメータも通常画像処理用の画像処理パラメータと同様に、ＷＢゲイン、カラーマトリクス、ガンマテーブル、ＮＲパラメータが含まれる。ただし、輝度検出画像処理用の画像処理パラメータは、ガンマテーブルとＮＲパラメータとが通常画像処理用の画像処理パラメータと異なっている。輝度検出画像処理用のガンマテーブルは、通常画像処理用の画像処理パラメータに比べて低輝度側をより圧縮する特性を有しているものとする。このような輝度検出画像処理用のガンマテーブルでガンマ変換を行った場合には撮像データにおける低輝度部が０になり易くなる。また、ＮＲパラメータとしては、コアリング閾値や孤立点判定用閾値等がある。コアリング閾値は、細かなノイズを抑えるためのコアリング処理に用いるある所定の範囲を持った閾値である。コアリング処理では、コアリング閾値内の画素値を有する画素の画素値をある一定の値（例えばコアリング閾値の中央値）とする。孤立点判定用閾値は、周辺画素と画素値が異なる孤立点を判定するための閾値である。孤立点は、周辺画素の画素値を用いた補間処理によって除去される。輝度検出画像処理においては、通常画像処理に比べてノイズを低減できたほうが良いので、コアリング閾値は大きくし、孤立点と判定する閾値は小さくする。

輝度検出画像処理パラメータを用いた現像処理の後、マイクロコンピュータ２１７は、輝度検出画像処理用の画像処理パラメータを用いた現像処理の結果としてＳＤＲＡＭ２０６に記憶された輝度検出画像データに対してＬＰＦ処理を実行するように画像処理部２０７に指示する。この指示を受けて画像処理部２０７は、ＳＤＲＡＭ２０６から輝度検出画像データを読み出し、読み出した輝度検出画像データに対してＬＰＦ処理部２０７８によってＬＰＦ処理を施し、ＬＰＦ処理後の輝度検出画像データをＳＤＲＡＭ２０６に記憶させる（ステップＳ５０６）。ステップＳ５０６のＬＰＦ処理は、後述する輝点検索処理の際の輝点の範囲を広げる目的で行う。ＬＰＦ処理を行っておくことで、輝点検索処理の際に輝点の未検出が起こる可能性を低減できる。また、ノイズや孤立点をより低減させるため誤検出を防ぐことができる。

続いて、マイクロコンピュータ２１７は、輝点検索の際の離散ステップを変更する（ステップＳ５０７）。離散ステップは、輝点検索処理において輝度検出画像データ中の離散的な座標での輝点検索を行うために設定するものである。即ち、離散ステップは、輝度検出画像中の離散的な複数の座標の離散度合いを示す変数であって、画像データの水平方向の離散ステップｗと、画像データの垂直方向の離散ステップｈとを有している。これら水平・垂直の離散ステップは、例えば画像処理の速度を速くしたい場合には大きくし、画像処理後の画像の高画質が要求されている場合には小さくする。したがって、例えば、動画処理時には、静止画処理時よりも離散ステップを大きくする。

離散ステップを変更した後、マイクロコンピュータ２１７は、変更した離散ステップを輝点抽出部２１０に入力して輝点抽出部２１０に輝点検索処理の実行を指示する。これを受けて、輝点抽出部２１０は、輝点検索処理を行う（ステップＳ５０８）。輝点検索処理の終了後、マイクロコンピュータ２１７は、パターン変更処理を行うようにパターン合成部２１１に指示する（ステップＳ５０９）。パターン変更処理の後、マイクロコンピュータ２１７は、パターン合成処理を行うようにパターン合成部２１１に指示する（ステップＳ５１０）。ステップＳ５０８〜ステップＳ５１０の各処理の詳細については後述する。パターン合成処理の後、マイクロコンピュータ２１７は、図７の処理を終了させる。

図８は、現像処理について示すフローチャートである。図８において、画像処理部２０７は、ＯＢ減算部２０７１によりＯＢ減算処理を行う（ステップＳ６０１）。ＯＢ減算処理において、ＯＢ減算部２０７１は、入力された撮像データからオプティカルブラック（ＯＢ）値を減算することで撮像データにおける暗電流成分を除去する。ＯＢ減算の後、画像処理部２０７は、ＷＢ補正部２０７２によりＷＢ補正処理を行う（ステップＳ６０２）。ＷＢ補正処理において、ＷＢ補正部２０７２は、入力された撮像データの色成分毎にＷＢゲインを乗じることで撮像データの色バランスを補正する。ＷＢ補正の後、画像処理部２０７は、同時化処理部２０７３により同時化処理を行う（ステップＳ６０３）。同時化処理において、同時化処理部２０７３は、入力された撮像データを、補間処理を用いて同時化する。これにより、１画素が原色系ベイヤ配列に対応した１つの色成分を有している撮像データを１画素がＲＧＢ３つの色成分を有する撮像データに変換する。

同時化処理の後、画像処理部２０７は、カラーマトリクス演算部２０７４によってカラーマトリクス演算を行う（ステップＳ６０４）。カラーマトリクス演算において、カラーマトリクス演算部２０７４は、入力された撮像データの各画素にカラーマトリクス係数を乗じることで撮像データの色を変換する。カラーマトリクス演算の後、画像処理部２０７は、ガンマ・色再現処理部２０７５によりガンマ変換処理を行う（ステップＳ６０５）。ガンマ変換処理において、ガンマ・色再現処理部２０７５は、入力された撮像データをマイクロコンピュータ２１７によって設定されたガンマテーブルを用いてガンマ変換する。ガンマ変換処理の後、画像処理部２０７は、ガンマ・色再現処理部２０７５により色補正処理を行う（ステップＳ６０６）。色補正処理において、ガンマ・色再現処理部２０７５は、入力された撮像データの各画素に輝度・色差変換マトリクス係数を乗じることでＲＧＢ３つの色成分を有する撮像データを輝度（Ｙ）・色差（Ｃｂ、Ｃｒ）データに変換する。そして、ガンマ・色再現処理部２０７５は、色差データに彩度補正係数、色相補正係数を乗じることで撮像データの色補正を行う。

色補正処理の後、画像処理部２０７は、エッジ強調処理部２０７６によりエッジ強調処理を行う（ステップＳ６０７）。エッジ強調処理において、エッジ強調処理部２０７６は、入力された輝度データに対してバンドパスフィルター処理を施して撮像データにおけるエッジ成分を抽出し、抽出したエッジ成分にエッジ強調量に応じた係数を乗じる。そして、エッジ強調処理部２０７６は、係数を乗じたエッジ成分をもとの輝度データに加算することで撮像データのエッジ成分を強調する。エッジ強調処理の後、画像処理部２０７は、ＮＲ処理部２０７７によりＮＲ処理を行う（ステップＳ６０８）。ＮＲ処理において、ＮＲ処理部２０７７は、入力された輝度データに対して上述したようなコアリング処理等を施して撮像データにおけるノイズ成分を低減させる。

ＮＲ処理の後、画像処理部２０７は、一連の現像処理によって得られた画像データをＳＤＲＡＭ２０６に記憶させた後、図８の処理を終了させる。
ここで、図８の処理の順番は、一例であって適宜変更可能である。例えば、ＷＢ補正処理の前に同時化処理を行ったり、ガンマ変換処理の前に輝度・色差データへの変換を行ったりしても良い。また、輝度・色差データへの変換は必ずしも行わなくとも良い。

図９は、輝点検索処理について示すフローチャートである。ここで、以下の説明に先立って、輝度検出画像の水平方向画素数をＷ、垂直方向画素数をＨと定義する。例えば、図１０で示す輝度検出画像データは、Ｗ＝８、Ｈ＝４の例を示している。
図９において、輝点抽出部２１０は、まず、輝度検出画像データにおいて輝点検索の対象となる画素の座標を示す変数Ｘ、Ｙ（Ｘは水平位置、Ｙは垂直位置を示す）のそれぞれを１に初期化する（ステップＳ７０１）。座標（Ｘ，Ｙ）＝（１，１）は、例えば輝度検出画像データにおける左上端の画素であることを示している。

変数Ｘ、Ｙに１を設定した後、輝点抽出部２１０は、ＬＰＦ処理の結果としてＳＤＲＡＭ２０６に記憶された輝度検出画像データを取得する（ステップＳ７０２）。
ここで、図８の現像処理では、輝度データと色差データとを有する輝度検出画像データが生成されるようになっている。しかしながら、図９で説明する輝点検索処理は輝度データに対して行う処理である。したがって、ステップＳ７０２の処理の際には、輝度データのみを取得すれば良く、色差データについては取得する必要がない。このため、輝度検出画像処理パラメータを用いた現像処理の時点で色差データを生成しないようにしても良い。また、輝度データへの変換を行わなかった場合には、ＲＧＢデータ（例えばＧデータ）を輝度データの代わりに用いる。

また、本実施形態では、輝度検出画像データを取得する際、ｐ個の画素の輝度データをまとめてＳＤＲＡＭ２０６から取得する。このｐ個の画素は、例えば、図１０の太線枠で示す、座標（Ｘ，Ｙ）の輝度データを含んで右方向に配列されるｐ個の画素である。図１０はｐが４の例を示しているがｐは４に限るものではない。

ＳＤＲＡＭ２０６からｐ個の画素の輝度データを取得した後、輝点抽出部２１０は、取得したｐ個の画素の輝度データが示す輝度値Ｄｙｄ（Ｘ，Ｙ）が０を超えているか否かを判定する（ステップＳ７０３）。なお、ステップＳ７０３の例では０としているが、必ずしも０とすることはなく、所定の低輝度閾値で良い。

ステップＳ７０３の判定において、Ｄｙｄ（Ｘ，Ｙ）が０を超えている場合には、取得したｐ個の画素の輝度データの少なくとも何れかが０でないことを示している。この場合に、輝点抽出部２１０は、ｐ個の画素のうちで輝点検索の対象となっている画素を示す変数Ｂを１に初期化する（ステップＳ７０４）。なお、Ｂ＝１は、ｐ個の画素のうちの左端の画素を示している。そして、Ｂが増加する毎に輝点検索の対象となっている画素が輝度検出画像データの右方向にずれていく。

続いて、輝点抽出部２１０は、Ｂに水平方向の離散ステップｗを加算する（ステップ７０５）。その後、輝点抽出部２１０は、座標（Ｘ，Ｙ）の画素の輝度データが示す輝度値Ｄｙ（Ｘ，Ｙ）が所定の高輝度閾値Ｔｈを超えているか否かを判定する（ステップＳ７０６）。

ステップＳ７０５の判定において、輝度値Ｄｙ（Ｘ，Ｙ）が所定の閾値Ｔｈを超えている場合には、座標（Ｘ，Ｙ）の画素が輝点であると判定する。この場合に、輝点抽出部２１０は、輝度値Ｄｙ（Ｘ，Ｙ）を輝点の輝度値としてＳＤＲＡＭ２０６に記憶させるとともに、座標（Ｘ，Ｙ）を輝点位置としてＳＤＲＡＭ２０６に記憶させる（ステップＳ７０７）。その後、輝点抽出部２１０は、通常画像データにおける座標（Ｘ，Ｙ）の画素の色から輝点位置における光源色を特定する。そして、輝点抽出部２１０は、特定した光源色を、ステップＳ７０７で記憶させた輝度値Ｄｙ（Ｘ，Ｙ）及び輝点位置（Ｘ，Ｙ）と関連付けてＳＤＲＡＭ２０６に記憶させる（ステップＳ７０８）。ここで、座標（Ｘ，Ｙ）の画素の色は、例えば通常画像データの座標（Ｘ，Ｙ）における画素の色差データから彩度及び色相を算出することによって特定できる。この他、輝度及び色差データからＲＧＢデータを算出する等して光源色の特定を行っても良い。

光源色の判定の後、輝点抽出部２１０は、Ｘに水平方向の離散ステップｗを加算する（ステップ７０９）。続いて、輝点抽出部２１０は、Ｂがｐを超えたか否かを判定する（ステップＳ７１０）。
ステップＳ７１０の判定において、Ｂがｐを超えていない場合には処理がステップＳ７０５に戻る。この場合、輝点抽出部２１０は、ステップＳ７０２において取得したｐ個の画素のうち、それまで輝点検索の対象であった座標に位置する画素からｗ画素だけ右方向にずれた座標に位置する画素に対する輝点検索を行う。例えば、図１０は、ｗ＝２の例を示している。この場合、例えば画素Ｙ１１（Ｘ＝１、Ｙ＝１の画素）に対する輝点検索処理の後は、画素Ｙ１３（Ｘ＝３、Ｙ＝１の画素）に対する輝点検索を行う。このようにしてＢがｐを超えるまではｗ画素ずつ間隔を空けた座標に位置する画素に対する輝点検索が順次行われる。

ステップＳ７０３の判定において、Ｄｙｄ（Ｘ，Ｙ）が０である場合、ステップＳ７０６の判定処理を行うまでもなく、取得したｐ個の画素が何れも輝点ではないと判定できる。したがって、この場合には、次のｐ個の画素の輝度データに対する輝点検索を行うべく、輝点抽出部２１０は、Ｘにｐを加算する（ステップＳ７１１）。

ステップＳ７１０の判定においてＢがｐを超えた場合又はステップＳ７１１の後、輝点抽出部２１０は、ＸがＷ以下であるか否かを判定する（ステップＳ７１２）。ステップＳ７１２の判定において、ＸがＷ以下である場合には輝度検出画像データの１行分の画素に対する輝点検索が終了していないことを示す。この場合には、処理がステップＳ７０２に戻る。

また、ステップＳ７１２の判定において、ＸがＷを越えた場合には輝度検出画像データの１行分の画素に対する輝点検索が終了したことを示す。この場合に、輝点抽出部２１０は、Ｙに垂直方向の離散ステップｈを加算するとともに、Ｘに１を設定する（ステップ７１３）。続いて、輝点抽出部２１０は、ＹがＨ以下であるか否かを判定する（ステップＳ７１４）。ステップＳ７１４の判定において、ＹがＨ以下である場合には輝度検出画像データの全画素に対する輝点検索が終了していないことを示す。この場合には、処理がステップＳ７０２に戻る。この場合、輝点抽出部２１０は、現在の輝点検索の対象となっている行から離散ステップｈだけ下方向に離れた行の最初のｐ個の画素の輝度データをＳＤＲＡＭ２０６から取得して輝点検索処理を行う。例えば、図１０は、ｈ＝１の例を示している。この場合、例えば画素Ｙ１５〜Ｙ１８に対する輝点検索処理の後は、画素Ｙ２１〜Ｙ２４に対する輝点検索処理を行う。

一方、ステップＳ７１４の判定において、ＹがＨを越えた場合には輝度検出画像データの全画素に対する輝点検索処理が終了したことを示す。この場合に、輝点抽出部２１０は、図９の処理を終了させる。
図１１は、パターン変更処理について示すフローチャートである。ここで、図１１以後の説明において、輝点の輝度値Ｄｙ（Ｘ，Ｙ）、輝点位置（Ｘ，Ｙ）及び光源色をまとめて輝点情報と言うこととする。図１１において、合成用パターン生成部としての機能も有するパターン合成部２１１は、ユーザによって選択されたパターンに対応したパターンデータをＦｌａｓｈメモリ２１９から取得する（ステップＳ８０１）。続いて、パターン合成部２１１は、図５のステップＳ５０７で設定された離散ステップに従って、パターンデータを構成するラインの太さを変更することで合成用パターンデータを生成する（ステップＳ８０２）。その後、パターン合成部２１１は、図１１の処理を終了させる。ここで、合成用パターンデータを構成するラインの太さは、離散ステップが大きいほど、即ち輝点検索を行った画素の間隔が広いほど太くする。例えば、水平方向の離散ステップが、ｗであればパターンデータの幅を（ｗ−１）列分長くする。同様に、垂直方向の離散ステップが、ｈであればパターンデータの高さを（ｈ−１）列分長くする。図１０の例であれば、パターンデータの幅を１列分太くするとともに、パターンデータの高さについては変更しない。

図１２は、パターン合成処理について示すフローチャートである。図１２において、パターン合成部２１１は、何番目の輝点情報を読み出すのかを示す変数Ｎを１にリセットする（ステップＳ９０１）。続いて、パターン合成部２１１は、Ｎ番目の輝点情報をＳＤＲＡＭ２０６から取得する（ステップＳ９０２）。その後、パターン合成部２１１は、ステップＳ９０２で取得した輝度値Ｄｙ（Ｘ，Ｙ）に応じたゲインを合成用パターンデータの各画素に乗じる（ステップＳ９０３）。このゲインは、例えば輝度値Ｄｙ（Ｘ，Ｙ）が大きいほど１．０に近い値とし、輝度値Ｄｙ（Ｘ，Ｙ）が小さいほど０に近い値とする。このようなゲインを合成用パターンデータに乗じることで、輝点の輝度に応じた輝度を有する合成用パターンデータを作成することが可能である。

合成用パターンに輝度値Ｄｙ（Ｘ，Ｙ）に応じたゲインを乗じた後、パターン合成部２１１は、合成用パターンの色をステップＳ９０２で取得した光源色に変更する（ステップＳ９０４）。続いて、パターン合成部２１１は、通常画像データに合成用パターンデータを合成する（ステップＳ９０５）。この際、パターン合成部２１１は、合成用パターンデータにおける中心と通常画像データにおける座標（Ｘ，Ｙ）に対応した画素位置とを一致させるようにして合成を行う。

合成用パターンを合成した後、パターン合成部２１１は、Ｎに１を加える（ステップＳ９０６）。続いて、パターン合成部２１１は、Ｎが輝度情報の数Ｃ以下であるか否かを判定する（ステップＳ９０７）。ステップＳ９０７の判定において、ＮがＣ以下である場合には処理がステップＳ９０２に戻る。この場合には、次の輝点に対するパターン合成が行われる。一方、ステップＳ９０７の判定において、ＮがＣを越えた場合に、パターン合成部２１１は、図１２の処理を終了させる。

以上説明したように、本実施形態においては、画像処理モードとしてクロスフィルターモードが設定された場合にはクロスフィルター処理が行われる。そして、クロスフィルター処理における輝点検索処理の際に、本実施形態では、離散ステップｗ、ｈに応じた離散的な座標においてステップＳ７０６〜Ｓ７０８で示す画素単位の輝点検索を行うようにしている。これにより、輝点検索の対象となる画素の数を減らして輝点検索処理における処理時間を短縮することが可能である。また、画素単位の輝点検索を行うに先立って、ステップＳ７０３においてｐ画素まとめての輝度の判定を行い、ｐ画素の輝度データが何れも０であった場合にステップＳ７０６〜Ｓ７０８で示す輝点検索を省略することで、さらに処理時間を短縮することが可能である。また、これを利用して輝度検出画像処理用のガンマテーブルの特性を通常画像処理用の画像処理パラメータに比べて低輝度側をより圧縮する特性とすることで、処理時間のさらなる短縮が期待される。

また、本実施形態では、離散ステップｗ、ｈに応じた離散的な座標においてステップＳ７０６〜Ｓ７０８で示す輝点検索を行うようにしているので、各離散的な座標の間の座標に位置する画素については輝点であるか否かの判定を行うことができない。これに対し、本実施形態では、輝点検索処理に先立ってＬＰＦ処理を実行している。ＬＰＦ処理を行うことにより、輝度検出画像データにおける輝度値の変化がなだらかなものとなるので、離散的な座標に輝点検索を行うようにしても輝点が未検索となる可能性を低減できる。

ここで、上述の輝点検索処理中では、離散ステップｗ、ｈを固定としているが、必ずしも離散ステップｗ、ｈを固定とする必要はない。例えば、輝度検出画像の１行分の画素に対する輝点検索が終了する毎に離散ステップｗを変更する等しても良い。
また、上述の輝点検索処理においては、説明を簡単にするために、輝度値Ｄｙ（Ｘ，Ｙ）が閾値Ｔｈを越えている画素を全て別の光源に基づく輝点とみなして合成用パターンデータの合成を行っている。実際には、輝度検出画像データ中で複数の輝点が連続して検索される場合、それらの輝点は同一の光源に基づく輝点である可能性が高い。このため、輝度値Ｄｙ（Ｘ，Ｙ）が閾値Ｔｈを越えている画素が連続して検索されるような場合には、これらの画素を１つの輝点であると考えることが望ましい。

このような処理を行う場合、図９の輝点検索処理において、輝度値Ｄｙ（Ｘ，Ｙ）が閾値Ｔｈを越えている画素が連続して検索されたときには、それらの画素を含む領域（輝点領域）の中心位置を上述した輝点位置（Ｘ，Ｙ）とし、この位置の輝度値Ｄｙ（Ｘ，Ｙ）を輝点の輝度値とする。また、輝点領域の水平方向長さ（水平方向画素数）と垂直方向長さ（垂直方向画素数）の平均を輝点サイズとしておく。輝点サイズに応じて、図１１のパターン変更処理において合成用パターンデータのリサイズ処理を行うことにより、輝点サイズに応じた大きさの合成用パターンデータを合成することが可能である。また、上述したように、本実施形態では、離散ステップｗ、ｈに応じて合成用パターンデータのラインの太さを変更しているので、離散的な輝点検索によるクロスフィルター効果のむらも生じない。

さらに、上述の光源色検索の例では、説明を簡単にするために、輝点と考えられる座標（Ｘ，Ｙ）に位置する画素の色のみで光源色の特定を行う例を示している。しかしながら、実際には、座標（Ｘ，Ｙ）に位置する画素の周囲の画素を含めて光源色の特定を行うことが望ましい。この場合には、例えば、座標（Ｘ，Ｙ）に位置する画素の色（彩度・色相又はＲＧＢデータ）に対し、色の変化が所定以上となるまで座標（Ｘ，Ｙ）の周囲の画素の色を検索し、色の変化が所定以上となったとき（彩度が所定以上となったとき、又はＲＧＢデータの何れかが所定以下となったとき）に色の検索を終了させてその位置の画素の色を光源色とする。この他、色の変化が所定範囲内である画素領域の色の平均を光源色とする等しても良い。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、輝点検索処理を第１の実施形態よりもさらに高速に行うための変形例である。なお、以下においては第１の実施形態と相違する部分についてのみ説明する。即ち、第２の実施形態においては、画像処理及びパターン変更処理が第１の実施形態と異なる。

図１３は、第２の実施形態における画像処理について示すフローチャートである。ここで、図１３のステップＳ１００１〜Ｓ１００６までの処理は、図７のステップ５０１〜Ｓ５０６の処理と同様であるので説明を省略する。
図１３のステップＳ１００６において、画像処理部２０７におけるＬＰＦ処理が行われた後、マイクロコンピュータ２１７は、ＬＰＦ処理の結果としてＳＤＲＡＭ２０６に記憶された輝度検出画像データに対して縮小処理を実行するように画像処理部２０７に指示する。この指示を受けて、画像処理部２０７は、ＳＤＲＡＭ２０６から輝度検出画像データを読み出し、読み出した輝度検出画像データに対してリサイズ処理部２０７９によって縮小処理を施し、縮小処理後の輝度検出画像データをＳＤＲＡＭ２０６に記憶させる（ステップＳ１００７）。

続いて、マイクロコンピュータ２１７は、輝点検索の際の離散ステップを変更する（ステップＳ１００８）。この離散ステップの変更の処理は第１の実施形態で説明したものと同様である。離散ステップを変更した後、マイクロコンピュータ２１７は、変更した離散ステップを輝点抽出部２１０に入力して輝点抽出部２１０に輝点検索処理の実行を指示する。これを受けて、輝点抽出部２１０は、輝点検索処理を行う（ステップＳ１００９）。この輝点検索処理の具体的な処理の内容は第１の実施形態で説明したものと同様である。ただし、第２の実施形態においては、縮小処理後の輝度検出画像データに対して輝点検索処理を行う点が異なる。

輝点検索処理の終了後、マイクロコンピュータ２１７は、パターン変更処理を行うようにパターン合成部２１１に指示する（ステップＳ１０１０）。詳細については後述するが、第２の実施形態においては、離散ステップに応じてパターンデータのラインの太さを変更するのに加えて、ステップＳ１００７におけるリサイズ処理の際のリサイズ率（縮小率）に応じて合成用パターンデータの縮小処理を行う点が第１の実施形態と異なる。パターン変更処理の後、マイクロコンピュータ２１７は、パターン合成処理を行うようにパターン合成部２１１に指示する（ステップＳ１０１１）。第２の実施形態におけるパターン合成処理は具体的な処理の内容は第１の実施形態で説明したものと同様である。ただし、第２の実施形態においては、パターン変更処理において縮小処理が施されたパターンデータを、縮小処理後の輝度検出画像データと同じサイズを有する単色（例えば黒一色）の合成用画像データと合成する点が異なる。なお、合成用画像データは、Ｆｌａｓｈメモリ２１９に記憶しておく。

パターン合成処理の後、マイクロコンピュータ２１７は、パターン合成処理の結果としてＳＤＲＡＭ２０６に記憶されたパターン合成後縮小画像データに対して拡大処理を実行するように画像処理部２０７に指示する。この指示を受けて、画像処理部２０７は、ＳＤＲＡＭ２０６からパターン合成後縮小画像データを読み出し、読み出した縮小画像データを通常画像データと同サイズに拡大するようにリサイズ処理部２０７９によって拡大処理を施し、拡大処理によって得られたパターン合成後拡大画像データをＳＤＲＡＭ２０６に記憶させる（ステップＳ１０１２）。その後、マイクロコンピュータ２１７は、パターン合成後拡大画像データを通常画像データに合成するようにパターン合成部２１１に指示する（ステップＳ１０１３）。これを受けて、パターン合成部２１１は、ＳＤＲＡＭ２０６に記憶させたパターン合成後拡大画像データと通常画像データとを読み出し、読み出したパターン合成後拡大画像データと通常画像データとを合成する。この際、パターン合成部２１１は、パターン合成後拡大画像データにおける中心と通常画像データにおける輝点位置（Ｘ，Ｙ）に対応した画素位置とを一致させるようにして合成を行う。この後、パターン合成処理の後、マイクロコンピュータ２１７は、図１３の処理を終了させる。

図１４は、第２の実施形態におけるパターン変更処理について示すフローチャートである。ここで、図１４のステップＳ１２０１〜Ｓ１２０２までの処理は、図１１のステップ８０１〜Ｓ８０２の処理と同様であるので説明を省略する。
ステップＳ１２０２において、パターンデータを構成するラインの太さを変更した後、パターン合成部２１１は、輝度検出画像データの縮小率に従って合成用パターンデータを縮小する（ステップＳ１２０３）。その後、パターン合成部２１１は、図１４の処理を終了させる。

以上説明したように、本実施形態では、輝度検出画像データに対して縮小処理を施してから輝点検索処理を行うようにしているので、第１の実施形態よりもさらに処理時間を短縮することが可能である。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述の実施形態では、クロスフィルター処理をデジタルカメラにおいて行っている。これに対し、例えばデジタルカメラで得られた画像ファイルに対し、デジタルカメラとは別の画像処理装置においてクロスフィルター処理を行うような場合であっても本実施形態の技術を適用することができる。
また、図１で示した構成において、輝点検出部２１０の機能をマイクロコンピュータ２１７に持たせたり、パターン合成部２１１の機能を画像処理部２０７に持たせたりしても良い。さらには、輝点検出部２１０の機能をプログラムによって実現するようにしても良い。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…交換式レンズ、１０１…レンズ、１０２…絞り、１０３…ドライバ、１０４…レンズマイクロコンピュータ、１０５…フラッシュ（Ｆｌａｓｈ）メモリ、１０６…インターフェイス（Ｉ/Ｆ）、２００…カメラ本体、２０１…メカシャッタ、２０２…撮像素子、２０３…アナログ処理部、２０４…アナログ/デジタル（Ａ/Ｄ）変換部、２０５…バス、２０６…ＳＤＲＡＭ、２０７…画像処理部、２０８…ＡＥ処理部、２０９…ＡＦ処理部、２１０…輝点抽出部、２１１…パターン合成部、２１２…画像圧縮展開部、２１３…メモリインターフェイス（Ｉ/Ｆ）、２１４…記録媒体、２１５…表示ドライバ、２１６…表示部、２１７…マイクロコンピュータ、２１８…操作部、２１９…フラッシュ（Ｆｌａｓｈ）メモリ、２０７１…オプティカルブラック（ＯＢ）減算部、２０７２…ホワイトバランス（ＷＢ）補正部、２０７３…同時化処理部、２０７４…カラーマトリクス演算部、２０７５…ガンマ・色再現処理部、２０７６…エッジ強調処理部、２０７７…ノイズ低減（ＮＲ）処理部、２０７８…ローパスフィルター（ＬＰＦ）処理部、２０７９…リサイズ処理部

Claims (9)

1. 被写体像を撮像して撮像データを生成する撮像部と、
   前記撮像データを画像処理して画像データを生成する画像処理部と、
   前記画像データをリサイズするリサイズ処理部と、
   前記リサイズ処理部によるリサイズにより得られた縮小画像データ中の離散的な複数の座標に位置する画素の中から、輝度値が所定の閾値を越える画素を抽出する輝点抽出部と、
   前記画像データに合成するためのパターンを記憶するパターン記憶部と、
   前記パターン記憶部に記憶されているパターンから前記離散的な複数の座標の離散度合いに応じて合成用パターンを生成する合成用パターン生成部と、
   前記輝点抽出部により抽出された画素の座標に基づいて、前記画像データに前記合成用パターンを合成するパターン合成部と、
   を具備することを特徴する撮像装置。
2. 前記縮小画像データと同一のサイズを有する合成用画像データを記憶する合成用画像記憶部をさらに具備し、
   前記パターン合成部は、前記輝点抽出部で抽出された画素の座標に対応する前記合成用画像データ上の座標に前記合成用パターンを合成してパターン合成後画像データを生成し、
   前記リサイズ処理部は、前記パターン合成後画像データを拡大してパターン合成後拡大画像データを生成し、
   前記パターン合成部は、さらに、前記パターン合成後拡大画像データを前記画像データに合成することを特徴とする請求項１に記載の撮像装置。
3. 前記離散的な複数の座標は、前記画像データにおいて所定数の画素分ずつの間隔を空けた複数の座標であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記パターンは、直線又は曲線を含んで構成され、
   前記合成用パターン生成部は、前記座標の間隔が広いほど前記パターンにおける直線又は曲線の幅を太くすることを特徴とする請求項３に記載の撮像装置。
5. 前記合成用パターン生成部は、前記縮小画像データを生成する際の縮小率が大きいほど、生成する前記合成用パターンのサイズを小さくすることを特徴とする請求項１又は２に記載の撮像装置。
6. 前記パターンは中央部から伸びる複数の直線から構成され、前記パターンにおける複数の直線は中央部からの距離に応じて輝度値が変化することを特徴とする請求項１乃至５の何れかに記載の撮像装置。
7. 前記パターンにおける複数の直線は中央部からの距離に応じて輝度値が低下していることを特徴とする請求項６に記載の撮像装置。
8. 入力された画像データをリサイズするリサイズ処理部と、
   前記リサイズ処理部によるリサイズにより得られた縮小画像データ中の離散的な複数の座標に位置する画素の中から、輝度値が所定の閾値を越える画素を抽出する輝点抽出部と、
   前記画像データに合成するためのパターンを記憶するパターン記憶部と、
   前記パターン記憶部に記憶されているパターンから前記離散的な複数の座標の離散度合いに応じて合成用パターンを生成する合成用パターン生成部と、
   前記輝点抽出部により抽出された画素の座標に基づいて、前記画像データに前記合成用パターンを合成するパターン合成部と、
   を具備することを特徴する画像処理装置。
9. 入力された画像データをリサイズし、
   前記リサイズにより得られた縮小画像データ中の離散的な複数の座標に位置する画素の中から、輝度値が所定の閾値を越える画素を抽出し、
   前記画像データに合成するためのパターンから前記離散的な複数の座標の離散度合いに応じて合成用パターンを生成し、
   前記抽出された画素の座標に基づいて、前記画像データに前記合成用パターンを合成する、
   ことを特徴する画像処理方法。

Images