以下、図面を参照して本発明の実施形態を説明する。
[第1の実施形態]
まず、本発明の第1の実施形態について説明する。図1は、本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示す図である。図1に示すデジタルカメラは、交換式レンズ100と、カメラ本体200とを有するレンズ交換式デジタルカメラの例を示している。ただし、以下に説明する本発明の実施形態に係る技術はコンパクト式デジタルカメラや携帯電話、携帯情報端末、ゲーム機器等にも適用可能である。
交換式レンズ100は、レンズ101と、絞り102と、ドライバ103と、レンズマイクロコンピュータ104と、フラッシュ(Flash)メモリ105と、を有している。交換式レンズ100がカメラ本体200に装着された際に、交換式レンズ100のレンズマイクロコンピュータ104は、インターフェイス(I/F)106を介してカメラ本体200のマイクロコンピュータ217と通信自在に接続される。
レンズ101は、フォーカスレンズやズームレンズ等の1つ以上のレンズから構成されており、図示しない被写体からの光学像(被写体像)を撮像素子202に集光させる。絞り102は、撮像素子202に集光される被写体像の光量を調節する。
ドライバ103は、モータ等を有して構成されている。ドライバ103は、レンズマイクロコンピュータ104の制御の下、レンズ101を構成するフォーカスレンズやズームレンズをその光軸方向に駆動させる。また、ドライバ103は、レンズマイクロコンピュータ104の制御の下、絞り102を開閉させる。
レンズマイクロコンピュータ104は、カメラ本体200のマイクロコンピュータ217の制御に従って、交換式レンズ100の動作を制御する。また、レンズマイクロコンピュータ104は、Flashメモリ105に記憶されているレンズ情報をマイクロコンピュータ217に送信することも行う。Flashメモリ105は、レンズ101の収差といったレンズ情報等の交換式レンズ100の各種動作に必要な情報を記憶している。
カメラ本体200は、メカシャッタ201と、撮像素子202と、アナログ処理部203と、アナログ/デジタル(A/D)変換部204と、バス205と、SDRAM206と、画像処理部207と、AE処理部208と、AF処理部209と、輝点抽出部210と、パターン合成部211と、画像圧縮展開部212と、メモリインターフェイス(I/F)213と、記録媒体214と、表示ドライバ215と、表示部216と、マイクロコンピュータ217と、操作部218と、フラッシュ(Flash)メモリ219と、を有している。
メカシャッタ201は、撮像素子202の光電変換面を遮光状態又は露出状態とすることで撮像素子202の露光時間を調節する機械的機構である。
撮像素子202は、被写体像を電気信号に変換するための光電変換面を有している。光電変換面は、2次元平面状に配列された複数のフォトダイオードと、フォトダイオードの前面に設けられたカラーフィルターと、を有して構成されている。カラーフィルターは、例えば原色系ベイヤ配列のカラーフィルターである。このような撮像素子202は、レンズ101を介して集光された被写体像を撮像し、被写体像を電気信号(以降、アナログ撮像信号と言う)として出力する。ここで、撮像素子202はCMOS方式の撮像素子でもCCD方式の撮像素子でも良い。また、撮像素子202は、露光時間を電子的に制御する電子シャッタ機能を有していることが望ましい。
アナログ処理部203は、撮像素子202から出力されたアナログ撮像信号に対して各種のアナログ処理を行う。このアナログ処理としては、例えば、リセットノイズの低減処理、波形整形処理、ゲイン制御処理が含まれる。A/D変換部204は、アナログ処理部203から出力されたアナログ撮像信号をデジタル信号(以降、撮像データと言う)に変換する。撮像データは、画像処理部207による画像処理前のデジタル画像であり、RAWデータとも呼ばれる。
バス205は、カメラ本体200の内部で発生した各種のデータを転送するための転送路である。SDRAM206は、カメラ本体200内部で発生した各種のデータを一時的に記憶するための記憶部である。
画像処理部207は、撮像データに対する各種の画像処理を行って画像データを生成する。画像処理部207は、オプティカルブラック(OB)減算部2071と、ホワイトバランス(WB)補正部2072と、同時化処理部2073と、カラーマトリクス演算部2074と、ガンマ・色再現処理部2075と、エッジ強調処理部2076と、ノイズ低減(NR)処理部2077と、ローパスフィルター(LPF)処理部2078と、リサイズ処理部2079とを有している。
OB減算部2071は、撮像データにおける暗電流成分の影響を除去するためのOB減算を行う。WB補正部2072は、撮像データの色バランスを補正するWB補正処理を行う。同時化処理部2073は、1画素が1つの色成分に対応している撮像データを、1画素が3つの色成分に対応している撮像データに変換する同時化処理を行う。カラーマトリクス演算部2074は、撮像データ全体の色相や彩度の調節を行う。ガンマ・色再現処理部2075は、撮像データに対するガンマ変換処理、色再現処理を行う。エッジ強調処理部2076は、撮像データにおけるエッジ成分を強調するエッジ強調処理を行う。NR処理部2077は、撮像データにおけるノイズ成分を除去するNR処理を行う。
本実施形態では、OB減算部2071、WB補正部2072、同時化処理部2073、カラーマトリクス演算部2074、ガンマ・色再現処理部2075、エッジ強調処理部2076及びNR処理部2077による処理が施された撮像データを画像データと言うこととする。
LPF処理部2078は、OB減算部2071、WB補正部2072、同時化処理部2073、カラーマトリクス演算部2074、ガンマ・色再現処理部2075、エッジ強調処理部2076及びNR処理部2077による一連の処理を経て生成された画像データにおける高周波成分を除去するLPF処理を行う。リサイズ処理部2079は、LPF処理部2078でLPF処理がなされた画像データに対してリサイズ処理を行う。
AE処理部208は、撮像データを用いて被写体輝度を算出する。さらに、AE処理部208は、算出した被写体輝度に応じて、撮影時における撮像素子202の感度(ISO感度)、撮影時における絞り102の開放量(絞り値)、撮影時における撮像素子202の露光時間(シャッタ速)を決定する。なお、被写体輝度は、撮像データから算出するだけでなく、例えば専用の測光センサで測定するようにしても良い。AF処理部209は、撮像データから高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してAF用の合焦評価値を取得する。
輝点抽出部210は、画像処理部207で得られた画像データにおける高輝度画素(輝点)を抽出する。パターン合成部211は、輝点抽出部210による輝点の抽出結果に応じて、画像処理部207で得られた画像データに合成用パターンを合成することで画像データにクロスフィルター効果を与える。なお、輝点抽出部210及びパターン合成部211の動作の詳細については後述する。
画像圧縮展開部212は、画像の記録時においては、画像処理部207における画像処理によって得られた画像データに対してJPEG方式等の静止画圧縮処理又はMPEG方式等の動画圧縮処理を施す。また、画像圧縮展開部212は、画像の再生時においては、圧縮処理が施された画像データに対して展開(伸張)処理を施す。メモリI/F213は、マイクロコンピュータ217等が記録媒体214にアクセスするためのインターフェイスである。記録媒体214は、例えばカメラ本体200に着脱自在になされたメモリカードであって、画像圧縮展開部212によって圧縮された画像データを含む画像ファイル等が記録される。
表示ドライバ215は、画像処理部207で得られた画像データ又は画像圧縮展開部212で伸張された画像データを映像信号に変換して表示部216に出力する。表示部216は、例えば液晶ディスプレイ(LCD)であり、表示ドライバ215からの映像信号に基づく画像を表示する。
マイクロコンピュータ217は、メカシャッタ201や撮像素子202の動作制御等のカメラ本体200の各種シーケンスを統括的に制御する。また、マイクロコンピュータ217は、交換式レンズ100の装着時には交換式レンズ100の動作も制御する。マイクロコンピュータ217には、操作部218と、Flashメモリ219とが接続されている。
操作部218は、例えば電源ボタン、レリーズボタン、再生ボタン、動画ボタン、各種入力キー等の操作部材である。操作部218は、タッチパネル等で構成されていても良い。ユーザにより操作部218の操作がなされると、マイクロコンピュータ217は、操作部218の操作に対応したシーケンスを実行する。
Flashメモリ219は、例えばホワイトバランス補正用のホワイトバランスゲイン、カラーマトリクス演算用のカラーマトリクス係数、ガンマ変換用のガンマテーブルといった画像処理部207の動作に必要なパラメータ等の、カメラ本体200の動作に必要な各種のパラメータを記憶している。また、Flashメモリ219は、マイクロコンピュータ217が実行する種々のプログラムも記憶している。
さらに、本実施形態において、Flashメモリ219は、パターン記憶部としての機能も有し、パターン合成部211において合成用パターンを生成するために必要なパターンを示すデータ(パターンデータ)も記憶している。Flashメモリ219に記憶させるパターンとしては、例えば図2(a)で示すようなクロスパターンがある。クロスパターンは中心部から放射状に伸びる複数の直線から構成されたパターンである。例えば図2(a)で示すクロスパターンは、中央部から伸びる4本の直線で構成されている。そして、クロスパターンを構成する4本の直線は、それぞれ、中央部からの距離に応じて輝度値が低下するとともに線の太さが細くなっている。
ここで、クロスパターンを構成する直線の本数は4本に限るものではなく、任意の複数本で良い。例えば、図2(b)で示すスノークロスパターンのように、中央部から伸びる6本の直線でパターンを構成するようにしても良いし、図2(c)で示すサニークロスパターンのように、中央部から伸びる8本の直線でパターンを構成するようにしても良い。また、直線の他に曲線を含めるようにしてパターンを構成するようにしても良い。例えば、図2(d)で示すような星型のパターンや、図2(e)で示すようなハート型のパターン等、各種の形状のパターンをFlashメモリ219に記憶させるようにして良い。さらに、図2(a)〜図2(e)で示したパターンを示すパターンデータは、図2(a)〜図2(e)で示したパターンを含む矩形データとして構成しておいても良い。
以下、図1で示したデジタルカメラの動作について説明する。図3は、図1で示したデジタルカメラのメイン動作を示すフローチャートである。図3の動作は、例えばユーザによって操作部218の電源ボタンが押される等して、デジタルカメラの電源がオンされた場合に行われる。
電源投入後等において、マイクロコンピュータ217は、まず、自身が有するレジスタに設定されている記録中フラグをOffにする(ステップS101)。記録中フラグは、動画記録中であるか否かを示すフラグである。記録中フラグがOffになっている間は、動画記録中でないことを示す。一方、記録中フラグがOnになっている間は、動画記録中であることを示す。
次に、マイクロコンピュータ217は、ユーザによって操作部218の再生ボタンが押されたか否かを判定する(ステップS102)。ステップS102の判定において、再生ボタンが押された場合に、マイクロコンピュータ217は、再生処理を実行する(ステップS103)。再生処理の詳細については後述する。
再生処理の実行後又はステップS102の判定において再生ボタンが押されていない場合に、マイクロコンピュータ217は、ユーザによって操作部218の動画ボタンが押されたか否かを判定する(ステップS104)。ステップS104の判定において、動画ボタンが押された場合に、マイクロコンピュータ217は、記録中フラグを反転させる(ステップS105)。即ち、マイクロコンピュータ217は、記録中フラグがOffの場合にはOnに、Onの場合にはOffにする。
記録中フラグの反転後又はステップS105の判定において動画ボタンが押されていない場合に、マイクロコンピュータ217は、現在、動画記録中であるか否か、即ち記録中フラグがOnであるか否かを判定する(ステップS106)。ステップS106の判定において、記録中フラグがOnである場合に、マイクロコンピュータ217は、動画処理を実行する(ステップS107)。動画処理の詳細については後述する。
また、ステップS106の判定において、記録中フラグがOffである場合に、マイクロコンピュータ217は、ユーザによって操作部218のレリーズボタンが半押しされてレリーズボタンの状態がOff状態から1stレリーズスイッチのOn状態に遷移したか否かを判定する(ステップS108)。ステップS108の判定において、レリーズボタンの状態が1stレリーズスイッチのOn状態に遷移した場合に、マイクロコンピュータ217は、AF処理を行う(ステップS109)。AF処理において、マイクロコンピュータ217は、AF処理部209により合焦評価値を取得させる。そして、マイクロコンピュータ217は、AF処理部209で取得された合焦評価値により、撮像データにおけるコントラストを評価しつつ、レンズ101のフォーカスレンズを微少量ずつ駆動させるようにレンズマイクロコンピュータ104に指示する。その後、マイクロコンピュータ217は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させるようにレンズマイクロコンピュータ104に指示する。このようなAF処理は、所謂コントラスト方式のAF処理である。AF処理として位相差AF処理を用いるようにしても良い。
また、図3の例におけるAF処理は、レリーズボタンの状態が1stレリーズスイッチのOn状態に遷移したタイミングにおいて実行されるものである。即ち、レリーズボタンの状態が1stレリーズスイッチのOn状態に遷移しないタイミング、例えば、レリーズボタンの状態がOff状態のままである場合、1stレリーズスイッチのOn状態のままである場合、後述する2ndレリーズスイッチのOn状態のままである場合等では、AF処理は実行されない。
また、ステップS108の判定において、レリーズボタンの状態が1stレリーズスイッチのOn状態に遷移していない場合に、マイクロコンピュータ217は、ユーザによって操作部218のレリーズボタンが全押しされてレリーズボタンの状態が2ndレリーズスイッチのOn状態となっているか否かを判定する(ステップS110)。ステップS110の判定において、レリーズボタンの状態が2ndレリーズスイッチのOn状態である場合に、マイクロコンピュータ217は、静止画処理を実行する(ステップS111)。静止画処理の詳細については後述する。
図3の例における静止画処理は、レリーズボタンの状態が2ndレリーズスイッチのOn状態である間は実行されるものである。例えば、1枚の静止画像が記録された後であってもレリーズボタンの状態が2ndレリーズスイッチのOn状態であれば、次の静止画撮影を実行する。
ステップS110の判定において、レリーズボタンの状態が2ndレリーズスイッチのOn状態でない場合に、マイクロコンピュータ217は、ステップS107の動画処理を実行する。
ステップS107、S109、S111の後、マイクロコンピュータ217は、ユーザによって操作部218の電源ボタンが押される等してデジタルカメラの電源がオフされたか否かを判定する(ステップS112)。ステップS112の判定において、デジタルカメラの電源がオフされていない場合に、マイクロコンピュータ217は、ステップS102以後の処理を実行する。一方、ステップS112の判定において、デジタルカメラの電源がオフされた場合に、マイクロコンピュータ217は、図3の処理を終了させる。
図4は、動画処理について示すフローチャートである。図4において、マイクロコンピュータ217は、まず、AE処理を実行する(ステップS201)。AE処理において、マイクロコンピュータ217は、AE処理部208によって、ISO感度、絞り値、シャッタ速を決定させる。AE処理の後、マイクロコンピュータ217は、撮影処理を実行する(ステップS202)。撮影処理において、マイクロコンピュータ217は、ISO感度に応じてアナログ処理部203におけるゲイン制御量(増幅率)を設定するとともに、絞り値をレンズマイクロコンピュータ104に送信する。レンズマイクロコンピュータ104による制御による絞り102の駆動と同期して、マイクロコンピュータ217は、シャッタ速に応じて撮像素子202の電子シャッタ機能を動作させて撮像素子202の露光量を制御する。撮像素子202の露光により得られた撮像データはSDRAM206に記憶される。
撮影処理の後、マイクロコンピュータ217は、撮影処理の結果としてSDRAM206に記憶された撮像データに対する画像処理を実行するための制御を行う(ステップS203)。この画像処理の詳細については後述する。
画像処理の後、マイクロコンピュータ217は、画像処理の結果としてSDRAM206に記憶された画像データを再生するように表示ドライバ215に指示する。この指示を受けて表示ドライバ215は、SDRAM206から画像データを読み出し、読み出した画像データを映像信号に変換して表示部216に出力する。表示部216は、この映像信号に基づいて画像を再生する(ステップS204)。
続いて、マイクロコンピュータ217は、現在、動画記録中であるか否か、即ち記録中フラグがOnであるか否かを判定する(ステップS205)。ステップS205の判定において、記録中フラグがOffである場合に、マイクロコンピュータ217は、図4の処理を終了させる。この場合、撮影により得られた画像(動画像)が表示部216に表示されるのみとなる。このようにして表示部216に表示される動画像は、静止画撮影前の構図確認等に用いられるライブビュー画像として利用される。
また、ステップS205の判定において、記録中フラグがOnである場合に、マイクロコンピュータ217は、画像処理の結果としてSDRAM206に記憶された画像データを動画ファイルとして記録する処理を行う(ステップS206)。まず、マイクロコンピュータ217は、動画ファイルの記録画質等に応じて、画像処理の結果としてSDRAM206に記憶された画像データに対するリサイズ処理を実行するようにリサイズ処理部2079に指示する。その後、マイクロコンピュータ217は、リサイズ処理の結果としてSDRAM206に記憶された画像データに対する動画圧縮処理を実行するように画像圧縮展開部212に指示する。この指示を受けて画像圧縮展開部212は、記録する動画像ファイルの形式に応じた圧縮処理を行い、圧縮した画像データをSDRAM206に記憶させる。その後、マイクロコンピュータ217は、画像圧縮展開部212により圧縮された画像データをSDRAM206から読み出し、読み出した画像データに所定のヘッダ情報を付与した動画ファイルを作成する、又は既存の動画ファイルに画像データを追記し、作成した動画ファイルを記録媒体214に記録する。動画ファイルの記録後、マイクロコンピュータ217は、図4の処理を終了させる。
図5は、静止画処理について示すフローチャートである。図5において、マイクロコンピュータ217は、まず、撮影処理を実行する(ステップS301)。撮影処理において、マイクロコンピュータ217は、図4のステップS201のAE処理において決定されたISO感度、絞り値、シャッタ速に応じて撮像素子202の露光を行う。即ち、マイクロコンピュータ217は、ISO感度に応じてアナログ処理部203におけるゲイン制御量(増幅率)を設定するとともに、絞り値をレンズマイクロコンピュータ104に送信する。レンズマイクロコンピュータ104による制御による絞り102の駆動と同期して、マイクロコンピュータ217は、シャッタ速に応じてメカシャッタ201を動作させて撮像素子202の露光量を制御する。
撮影処理の後、マイクロコンピュータ217は、撮影の結果としてSDRAM206に記憶された撮像データに対する画像処理を実行するための制御を行う(ステップS302)。この画像処理は、動画処理の際の画像処理と同一である。詳細については後述する。
画像処理の後、マイクロコンピュータ217は、画像処理の結果としてSDRAM206に記憶された画像データを再生するように表示ドライバ215に指示する。この指示を受けて表示ドライバ215は、SDRAM206から画像データを読み出し、読み出した画像データを映像信号に変換して表示部216に出力する。表示部216は、この映像信号に基づいて画像を再生する(ステップS303)。
続いて、マイクロコンピュータ217は、画像処理の結果としてSDRAM206に記憶された画像データを静止画ファイルとして記録する処理を行う(ステップS304)。まず、マイクロコンピュータ217は、静止画ファイルの記録画質等に応じて、画像処理の結果としてSDRAM206に記憶された画像データに対するリサイズ処理を実行するようにリサイズ処理部2079に指示する。その後、マイクロコンピュータ217は、リサイズ処理の結果としてSDRAM206に記憶された画像データに対する静止画圧縮処理を実行するように画像圧縮展開部212に指示する。この指示を受けて画像圧縮展開部212は、JPEG方式等の静止画圧縮処理を行い、圧縮した画像データをSDRAM206に記憶させる。その後、マイクロコンピュータ217は、画像圧縮展開部212により圧縮された画像データをSDRAM206から読み出し、読み出した画像データに所定のヘッダ情報を付与した静止画ファイルを作成し、作成した静止画ファイルを記録媒体214に記録する。静止画ファイルの記録後、マイクロコンピュータ217は、図5の処理を終了させる。
図6は、再生処理について示すフローチャートである。図6において、マイクロコンピュータ217は、ユーザによって操作部218の入力キーが操作されてファイルの選択がなされたか否かを判定する(ステップS401)。ステップS401の判定において、ファイルの選択がなされていない場合、マイクロコンピュータ217は、ステップS401の判定を行いつつ、待機する。また、ステップS401の判定において、ファイルの選択がなされた場合に、マイクロコンピュータ217は、選択されたファイルが動画ファイルであるか否かを判定する(ステップS402)。
ステップS402の判定において、選択されたファイルが動画ファイルである場合に、マイクロコンピュータ217は、動画ファイルのヘッダ情報を参照して動画像ファイルを構成する画像データの数(フレーム数)を取得する(ステップS403)。次に、マイクロコンピュータ217は、表示部216に表示させるべき画像データのフレーム番号を示す変数Nを1(最初のフレームを示す値)にリセットする(ステップS404)。その後、マイクロコンピュータ217は、選択された動画ファイルのNフレーム目の画像データを展開するように画像圧縮展開部212に指示する(ステップS405)。この指示を受けて画像圧縮展開部212は、選択された動画像ファイルを展開し、展開の結果として得られた動画像ファイルのNフレーム目の画像データをSDRAM206に記憶させる。
画像データが展開された後、マイクロコンピュータ217は、SDRAM206に記憶されたNフレーム目の画像データを再生するように表示ドライバ215に指示する。この指示を受けて表示ドライバ215は、SDRAM206から画像データを読み出し、読み出した画像データを映像信号に変換して表示部216に出力する。表示部216は、この映像信号に基づいて画像を再生する(ステップS406)。Nフレーム目に対応した画像の表示後、マイクロコンピュータ217は、Nに1を加算する(ステップS407)。その後、マイクロコンピュータ217は、Nがフレーム数以下であるか否かを判定する(ステップS408)。ステップS408の判定において、Nがフレーム数以下である、即ち最終フレーム目までの画像表示が終了していない場合に、マイクロコンピュータ217は、処理をステップS405に戻して、次のフレームの画像表示を行う。一方、ステップS408の判定において、Nがフレーム数を越えた場合に、マイクロコンピュータ217は、図6の処理を終了させる。
また、ステップS402の判定において、選択されたファイルが動画ファイルでない、即ち静止画ファイルである場合に、マイクロコンピュータ217は、選択された静止画ファイルを展開するように画像圧縮展開部212に指示する(ステップS409)。この指示を受けて画像圧縮展開部212は、選択された静止画ファイルを展開し、展開の結果として得られた画像データをSDRAM206に記憶させる。
画像データが展開された後、マイクロコンピュータ217は、SDRAM206に記憶された画像データを再生するように表示ドライバ215に指示する。この指示を受けて表示ドライバ215は、SDRAM206から画像データを読み出し、読み出した画像データを映像信号に変換して表示部216に出力する。表示部216は、この映像信号に基づいて画像を再生する(ステップS410)。その後、マイクロコンピュータ217は、図6の処理を終了させる。
図7は、画像処理について示すフローチャートである。図7において、マイクロコンピュータ217は、まず、撮影処理の結果としてSDRAM206に記憶された撮像データに対して通常画像処理用の画像処理パラメータを用いた現像処理を実行するように画像処理部207に指示する。この指示を受けて、画像処理部207は、通常画像処理用の画像処理パラメータをFlashメモリ219から読み込む(ステップS501)。通常画像処理用の画像処理パラメータの読み込み後、画像処理部207は、通常画像処理用の画像処理パラメータを用いてSDRAM206に撮像データに対する現像処理を実行し、通常画像処理用の画像処理パラメータを用いた現像処理の結果として得られた画像データ(以下、通常画像データと言う)を、SDRAM206における撮像データの記憶領域とは別の記憶領域に記憶させる(ステップS502)。現像処理の詳細については後述する。
ここで、通常画像処理用の画像処理パラメータとしては、例えばWB補正に用いられるWBゲイン、カラーマトリクス演算に用いられるカラーマトリクス、ガンマ変換処理に用いられるガンマテーブル、NR低減処理に用いられるNRパラメータ、が含まれる。
通常画像処理用の画像処理パラメータを用いた現像処理の後、マイクロコンピュータ217は、画像処理モードとしてクロスフィルターモードが設定されているか否かを判定する(ステップS503)。画像処理モードは、例えば操作部218の入力キーの操作によって設定することができる。なお、クロスフィルターモードの設定の際には、通常画像データ中の輝点に対応した画素に合成するパターンの形状を例えば図2(a)〜図2(e)の中から選択しておく。
ステップS503の判定において、画像処理モードとしてクロスフィルターモードが設定されていない場合に、マイクロコンピュータ217は、図7の処理を終了させる。一方、ステップS503の判定において、画像処理モードとしてクロスフィルターモードが設定されている場合に、マイクロコンピュータ217は、撮影処理の結果としてSDRAM206に記憶された撮像データに対してクロスフィルター処理を施すように画像処理部207に指示する。この指示を受けて、画像処理部207は、輝度検出画像処理用の画像処理パラメータをFlashメモリ219から読み込む(ステップS504)。輝度検出画像処理用の画像処理パラメータの読み込み後、画像処理部207は、輝度検出画像処理用の画像処理パラメータを用いてSDRAM206に記憶された撮像データに対する現像処理を実行し、輝度検出画像処理用の画像処理パラメータを用いた現像処理の結果として得られた画像データ(以下、輝度検出画像データと言う)を、SDRAM206における通常画像データの記憶領域とは別の記憶領域に記憶させる(ステップS505)。輝度検出画像処理用の画像処理パラメータを用いた現像処理は、現像処理に使用する画像処理パラメータを輝度検出画像処理用の画像処理パラメータとするだけで、処理内容はステップS502の処理と同様である。詳細については後述する。
輝度検出画像処理用の画像処理パラメータも通常画像処理用の画像処理パラメータと同様に、WBゲイン、カラーマトリクス、ガンマテーブル、NRパラメータが含まれる。ただし、輝度検出画像処理用の画像処理パラメータは、ガンマテーブルとNRパラメータとが通常画像処理用の画像処理パラメータと異なっている。輝度検出画像処理用のガンマテーブルは、通常画像処理用の画像処理パラメータに比べて低輝度側をより圧縮する特性を有しているものとする。このような輝度検出画像処理用のガンマテーブルでガンマ変換を行った場合には撮像データにおける低輝度部が0になり易くなる。また、NRパラメータとしては、コアリング閾値や孤立点判定用閾値等がある。コアリング閾値は、細かなノイズを抑えるためのコアリング処理に用いるある所定の範囲を持った閾値である。コアリング処理では、コアリング閾値内の画素値を有する画素の画素値をある一定の値(例えばコアリング閾値の中央値)とする。孤立点判定用閾値は、周辺画素と画素値が異なる孤立点を判定するための閾値である。孤立点は、周辺画素の画素値を用いた補間処理によって除去される。輝度検出画像処理においては、通常画像処理に比べてノイズを低減できたほうが良いので、コアリング閾値は大きくし、孤立点と判定する閾値は小さくする。
輝度検出画像処理パラメータを用いた現像処理の後、マイクロコンピュータ217は、輝度検出画像処理用の画像処理パラメータを用いた現像処理の結果としてSDRAM206に記憶された輝度検出画像データに対してLPF処理を実行するように画像処理部207に指示する。この指示を受けて画像処理部207は、SDRAM206から輝度検出画像データを読み出し、読み出した輝度検出画像データに対してLPF処理部2078によってLPF処理を施し、LPF処理後の輝度検出画像データをSDRAM206に記憶させる(ステップS506)。ステップS506のLPF処理は、後述する輝点検索処理の際の輝点の範囲を広げる目的で行う。LPF処理を行っておくことで、輝点検索処理の際に輝点の未検出が起こる可能性を低減できる。また、ノイズや孤立点をより低減させるため誤検出を防ぐことができる。
続いて、マイクロコンピュータ217は、輝点検索の際の離散ステップを変更する(ステップS507)。離散ステップは、輝点検索処理において輝度検出画像データ中の離散的な座標での輝点検索を行うために設定するものである。即ち、離散ステップは、輝度検出画像中の離散的な複数の座標の離散度合いを示す変数であって、画像データの水平方向の離散ステップwと、画像データの垂直方向の離散ステップhとを有している。これら水平・垂直の離散ステップは、例えば画像処理の速度を速くしたい場合には大きくし、画像処理後の画像の高画質が要求されている場合には小さくする。したがって、例えば、動画処理時には、静止画処理時よりも離散ステップを大きくする。
離散ステップを変更した後、マイクロコンピュータ217は、変更した離散ステップを輝点抽出部210に入力して輝点抽出部210に輝点検索処理の実行を指示する。これを受けて、輝点抽出部210は、輝点検索処理を行う(ステップS508)。輝点検索処理の終了後、マイクロコンピュータ217は、パターン変更処理を行うようにパターン合成部211に指示する(ステップS509)。パターン変更処理の後、マイクロコンピュータ217は、パターン合成処理を行うようにパターン合成部211に指示する(ステップS510)。ステップS508〜ステップS510の各処理の詳細については後述する。パターン合成処理の後、マイクロコンピュータ217は、図7の処理を終了させる。
図8は、現像処理について示すフローチャートである。図8において、画像処理部207は、OB減算部2071によりOB減算処理を行う(ステップS601)。OB減算処理において、OB減算部2071は、入力された撮像データからオプティカルブラック(OB)値を減算することで撮像データにおける暗電流成分を除去する。OB減算の後、画像処理部207は、WB補正部2072によりWB補正処理を行う(ステップS602)。WB補正処理において、WB補正部2072は、入力された撮像データの色成分毎にWBゲインを乗じることで撮像データの色バランスを補正する。WB補正の後、画像処理部207は、同時化処理部2073により同時化処理を行う(ステップS603)。同時化処理において、同時化処理部2073は、入力された撮像データを、補間処理を用いて同時化する。これにより、1画素が原色系ベイヤ配列に対応した1つの色成分を有している撮像データを1画素がRGB3つの色成分を有する撮像データに変換する。
同時化処理の後、画像処理部207は、カラーマトリクス演算部2074によってカラーマトリクス演算を行う(ステップS604)。カラーマトリクス演算において、カラーマトリクス演算部2074は、入力された撮像データの各画素にカラーマトリクス係数を乗じることで撮像データの色を変換する。カラーマトリクス演算の後、画像処理部207は、ガンマ・色再現処理部2075によりガンマ変換処理を行う(ステップS605)。ガンマ変換処理において、ガンマ・色再現処理部2075は、入力された撮像データをマイクロコンピュータ217によって設定されたガンマテーブルを用いてガンマ変換する。ガンマ変換処理の後、画像処理部207は、ガンマ・色再現処理部2075により色補正処理を行う(ステップS606)。色補正処理において、ガンマ・色再現処理部2075は、入力された撮像データの各画素に輝度・色差変換マトリクス係数を乗じることでRGB3つの色成分を有する撮像データを輝度(Y)・色差(Cb、Cr)データに変換する。そして、ガンマ・色再現処理部2075は、色差データに彩度補正係数、色相補正係数を乗じることで撮像データの色補正を行う。
色補正処理の後、画像処理部207は、エッジ強調処理部2076によりエッジ強調処理を行う(ステップS607)。エッジ強調処理において、エッジ強調処理部2076は、入力された輝度データに対してバンドパスフィルター処理を施して撮像データにおけるエッジ成分を抽出し、抽出したエッジ成分にエッジ強調量に応じた係数を乗じる。そして、エッジ強調処理部2076は、係数を乗じたエッジ成分をもとの輝度データに加算することで撮像データのエッジ成分を強調する。エッジ強調処理の後、画像処理部207は、NR処理部2077によりNR処理を行う(ステップS608)。NR処理において、NR処理部2077は、入力された輝度データに対して上述したようなコアリング処理等を施して撮像データにおけるノイズ成分を低減させる。
NR処理の後、画像処理部207は、一連の現像処理によって得られた画像データをSDRAM206に記憶させた後、図8の処理を終了させる。
ここで、図8の処理の順番は、一例であって適宜変更可能である。例えば、WB補正処理の前に同時化処理を行ったり、ガンマ変換処理の前に輝度・色差データへの変換を行ったりしても良い。また、輝度・色差データへの変換は必ずしも行わなくとも良い。
図9は、輝点検索処理について示すフローチャートである。ここで、以下の説明に先立って、輝度検出画像の水平方向画素数をW、垂直方向画素数をHと定義する。例えば、図10で示す輝度検出画像データは、W=8、H=4の例を示している。
図9において、輝点抽出部210は、まず、輝度検出画像データにおいて輝点検索の対象となる画素の座標を示す変数X、Y(Xは水平位置、Yは垂直位置を示す)のそれぞれを1に初期化する(ステップS701)。座標(X,Y)=(1,1)は、例えば輝度検出画像データにおける左上端の画素であることを示している。
変数X、Yに1を設定した後、輝点抽出部210は、LPF処理の結果としてSDRAM206に記憶された輝度検出画像データを取得する(ステップS702)。
ここで、図8の現像処理では、輝度データと色差データとを有する輝度検出画像データが生成されるようになっている。しかしながら、図9で説明する輝点検索処理は輝度データに対して行う処理である。したがって、ステップS702の処理の際には、輝度データのみを取得すれば良く、色差データについては取得する必要がない。このため、輝度検出画像処理パラメータを用いた現像処理の時点で色差データを生成しないようにしても良い。また、輝度データへの変換を行わなかった場合には、RGBデータ(例えばGデータ)を輝度データの代わりに用いる。
また、本実施形態では、輝度検出画像データを取得する際、p個の画素の輝度データをまとめてSDRAM206から取得する。このp個の画素は、例えば、図10の太線枠で示す、座標(X,Y)の輝度データを含んで右方向に配列されるp個の画素である。図10はpが4の例を示しているがpは4に限るものではない。
SDRAM206からp個の画素の輝度データを取得した後、輝点抽出部210は、取得したp個の画素の輝度データが示す輝度値Dyd(X,Y)が0を超えているか否かを判定する(ステップS703)。なお、ステップS703の例では0としているが、必ずしも0とすることはなく、所定の低輝度閾値で良い。
ステップS703の判定において、Dyd(X,Y)が0を超えている場合には、取得したp個の画素の輝度データの少なくとも何れかが0でないことを示している。この場合に、輝点抽出部210は、p個の画素のうちで輝点検索の対象となっている画素を示す変数Bを1に初期化する(ステップS704)。なお、B=1は、p個の画素のうちの左端の画素を示している。そして、Bが増加する毎に輝点検索の対象となっている画素が輝度検出画像データの右方向にずれていく。
続いて、輝点抽出部210は、Bに水平方向の離散ステップwを加算する(ステップ705)。その後、輝点抽出部210は、座標(X,Y)の画素の輝度データが示す輝度値Dy(X,Y)が所定の高輝度閾値Thを超えているか否かを判定する(ステップS706)。
ステップS705の判定において、輝度値Dy(X,Y)が所定の閾値Thを超えている場合には、座標(X,Y)の画素が輝点であると判定する。この場合に、輝点抽出部210は、輝度値Dy(X,Y)を輝点の輝度値としてSDRAM206に記憶させるとともに、座標(X,Y)を輝点位置としてSDRAM206に記憶させる(ステップS707)。その後、輝点抽出部210は、通常画像データにおける座標(X,Y)の画素の色から輝点位置における光源色を特定する。そして、輝点抽出部210は、特定した光源色を、ステップS707で記憶させた輝度値Dy(X,Y)及び輝点位置(X,Y)と関連付けてSDRAM206に記憶させる(ステップS708)。ここで、座標(X,Y)の画素の色は、例えば通常画像データの座標(X,Y)における画素の色差データから彩度及び色相を算出することによって特定できる。この他、輝度及び色差データからRGBデータを算出する等して光源色の特定を行っても良い。
光源色の判定の後、輝点抽出部210は、Xに水平方向の離散ステップwを加算する(ステップ709)。続いて、輝点抽出部210は、Bがpを超えたか否かを判定する(ステップS710)。
ステップS710の判定において、Bがpを超えていない場合には処理がステップS705に戻る。この場合、輝点抽出部210は、ステップS702において取得したp個の画素のうち、それまで輝点検索の対象であった座標に位置する画素からw画素だけ右方向にずれた座標に位置する画素に対する輝点検索を行う。例えば、図10は、w=2の例を示している。この場合、例えば画素Y11(X=1、Y=1の画素)に対する輝点検索処理の後は、画素Y13(X=3、Y=1の画素)に対する輝点検索を行う。このようにしてBがpを超えるまではw画素ずつ間隔を空けた座標に位置する画素に対する輝点検索が順次行われる。
ステップS703の判定において、Dyd(X,Y)が0である場合、ステップS706の判定処理を行うまでもなく、取得したp個の画素が何れも輝点ではないと判定できる。したがって、この場合には、次のp個の画素の輝度データに対する輝点検索を行うべく、輝点抽出部210は、Xにpを加算する(ステップS711)。
ステップS710の判定においてBがpを超えた場合又はステップS711の後、輝点抽出部210は、XがW以下であるか否かを判定する(ステップS712)。ステップS712の判定において、XがW以下である場合には輝度検出画像データの1行分の画素に対する輝点検索が終了していないことを示す。この場合には、処理がステップS702に戻る。
また、ステップS712の判定において、XがWを越えた場合には輝度検出画像データの1行分の画素に対する輝点検索が終了したことを示す。この場合に、輝点抽出部210は、Yに垂直方向の離散ステップhを加算するとともに、Xに1を設定する(ステップ713)。続いて、輝点抽出部210は、YがH以下であるか否かを判定する(ステップS714)。ステップS714の判定において、YがH以下である場合には輝度検出画像データの全画素に対する輝点検索が終了していないことを示す。この場合には、処理がステップS702に戻る。この場合、輝点抽出部210は、現在の輝点検索の対象となっている行から離散ステップhだけ下方向に離れた行の最初のp個の画素の輝度データをSDRAM206から取得して輝点検索処理を行う。例えば、図10は、h=1の例を示している。この場合、例えば画素Y15〜Y18に対する輝点検索処理の後は、画素Y21〜Y24に対する輝点検索処理を行う。
一方、ステップS714の判定において、YがHを越えた場合には輝度検出画像データの全画素に対する輝点検索処理が終了したことを示す。この場合に、輝点抽出部210は、図9の処理を終了させる。
図11は、パターン変更処理について示すフローチャートである。ここで、図11以後の説明において、輝点の輝度値Dy(X,Y)、輝点位置(X,Y)及び光源色をまとめて輝点情報と言うこととする。図11において、合成用パターン生成部としての機能も有するパターン合成部211は、ユーザによって選択されたパターンに対応したパターンデータをFlashメモリ219から取得する(ステップS801)。続いて、パターン合成部211は、図5のステップS507で設定された離散ステップに従って、パターンデータを構成するラインの太さを変更することで合成用パターンデータを生成する(ステップS802)。その後、パターン合成部211は、図11の処理を終了させる。ここで、合成用パターンデータを構成するラインの太さは、離散ステップが大きいほど、即ち輝点検索を行った画素の間隔が広いほど太くする。例えば、水平方向の離散ステップが、wであればパターンデータの幅を(w−1)列分長くする。同様に、垂直方向の離散ステップが、hであればパターンデータの高さを(h−1)列分長くする。図10の例であれば、パターンデータの幅を1列分太くするとともに、パターンデータの高さについては変更しない。
図12は、パターン合成処理について示すフローチャートである。図12において、パターン合成部211は、何番目の輝点情報を読み出すのかを示す変数Nを1にリセットする(ステップS901)。続いて、パターン合成部211は、N番目の輝点情報をSDRAM206から取得する(ステップS902)。その後、パターン合成部211は、ステップS902で取得した輝度値Dy(X,Y)に応じたゲインを合成用パターンデータの各画素に乗じる(ステップS903)。このゲインは、例えば輝度値Dy(X,Y)が大きいほど1.0に近い値とし、輝度値Dy(X,Y)が小さいほど0に近い値とする。このようなゲインを合成用パターンデータに乗じることで、輝点の輝度に応じた輝度を有する合成用パターンデータを作成することが可能である。
合成用パターンに輝度値Dy(X,Y)に応じたゲインを乗じた後、パターン合成部211は、合成用パターンの色をステップS902で取得した光源色に変更する(ステップS904)。続いて、パターン合成部211は、通常画像データに合成用パターンデータを合成する(ステップS905)。この際、パターン合成部211は、合成用パターンデータにおける中心と通常画像データにおける座標(X,Y)に対応した画素位置とを一致させるようにして合成を行う。
合成用パターンを合成した後、パターン合成部211は、Nに1を加える(ステップS906)。続いて、パターン合成部211は、Nが輝度情報の数C以下であるか否かを判定する(ステップS907)。ステップS907の判定において、NがC以下である場合には処理がステップS902に戻る。この場合には、次の輝点に対するパターン合成が行われる。一方、ステップS907の判定において、NがCを越えた場合に、パターン合成部211は、図12の処理を終了させる。
以上説明したように、本実施形態においては、画像処理モードとしてクロスフィルターモードが設定された場合にはクロスフィルター処理が行われる。そして、クロスフィルター処理における輝点検索処理の際に、本実施形態では、離散ステップw、hに応じた離散的な座標においてステップS706〜S708で示す画素単位の輝点検索を行うようにしている。これにより、輝点検索の対象となる画素の数を減らして輝点検索処理における処理時間を短縮することが可能である。また、画素単位の輝点検索を行うに先立って、ステップS703においてp画素まとめての輝度の判定を行い、p画素の輝度データが何れも0であった場合にステップS706〜S708で示す輝点検索を省略することで、さらに処理時間を短縮することが可能である。また、これを利用して輝度検出画像処理用のガンマテーブルの特性を通常画像処理用の画像処理パラメータに比べて低輝度側をより圧縮する特性とすることで、処理時間のさらなる短縮が期待される。
また、本実施形態では、離散ステップw、hに応じた離散的な座標においてステップS706〜S708で示す輝点検索を行うようにしているので、各離散的な座標の間の座標に位置する画素については輝点であるか否かの判定を行うことができない。これに対し、本実施形態では、輝点検索処理に先立ってLPF処理を実行している。LPF処理を行うことにより、輝度検出画像データにおける輝度値の変化がなだらかなものとなるので、離散的な座標に輝点検索を行うようにしても輝点が未検索となる可能性を低減できる。
ここで、上述の輝点検索処理中では、離散ステップw、hを固定としているが、必ずしも離散ステップw、hを固定とする必要はない。例えば、輝度検出画像の1行分の画素に対する輝点検索が終了する毎に離散ステップwを変更する等しても良い。
また、上述の輝点検索処理においては、説明を簡単にするために、輝度値Dy(X,Y)が閾値Thを越えている画素を全て別の光源に基づく輝点とみなして合成用パターンデータの合成を行っている。実際には、輝度検出画像データ中で複数の輝点が連続して検索される場合、それらの輝点は同一の光源に基づく輝点である可能性が高い。このため、輝度値Dy(X,Y)が閾値Thを越えている画素が連続して検索されるような場合には、これらの画素を1つの輝点であると考えることが望ましい。
このような処理を行う場合、図9の輝点検索処理において、輝度値Dy(X,Y)が閾値Thを越えている画素が連続して検索されたときには、それらの画素を含む領域(輝点領域)の中心位置を上述した輝点位置(X,Y)とし、この位置の輝度値Dy(X,Y)を輝点の輝度値とする。また、輝点領域の水平方向長さ(水平方向画素数)と垂直方向長さ(垂直方向画素数)の平均を輝点サイズとしておく。輝点サイズに応じて、図11のパターン変更処理において合成用パターンデータのリサイズ処理を行うことにより、輝点サイズに応じた大きさの合成用パターンデータを合成することが可能である。また、上述したように、本実施形態では、離散ステップw、hに応じて合成用パターンデータのラインの太さを変更しているので、離散的な輝点検索によるクロスフィルター効果のむらも生じない。
さらに、上述の光源色検索の例では、説明を簡単にするために、輝点と考えられる座標(X,Y)に位置する画素の色のみで光源色の特定を行う例を示している。しかしながら、実際には、座標(X,Y)に位置する画素の周囲の画素を含めて光源色の特定を行うことが望ましい。この場合には、例えば、座標(X,Y)に位置する画素の色(彩度・色相又はRGBデータ)に対し、色の変化が所定以上となるまで座標(X,Y)の周囲の画素の色を検索し、色の変化が所定以上となったとき(彩度が所定以上となったとき、又はRGBデータの何れかが所定以下となったとき)に色の検索を終了させてその位置の画素の色を光源色とする。この他、色の変化が所定範囲内である画素領域の色の平均を光源色とする等しても良い。
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。第2の実施形態は、輝点検索処理を第1の実施形態よりもさらに高速に行うための変形例である。なお、以下においては第1の実施形態と相違する部分についてのみ説明する。即ち、第2の実施形態においては、画像処理及びパターン変更処理が第1の実施形態と異なる。
図13は、第2の実施形態における画像処理について示すフローチャートである。ここで、図13のステップS1001〜S1006までの処理は、図7のステップ501〜S506の処理と同様であるので説明を省略する。
図13のステップS1006において、画像処理部207におけるLPF処理が行われた後、マイクロコンピュータ217は、LPF処理の結果としてSDRAM206に記憶された輝度検出画像データに対して縮小処理を実行するように画像処理部207に指示する。この指示を受けて、画像処理部207は、SDRAM206から輝度検出画像データを読み出し、読み出した輝度検出画像データに対してリサイズ処理部2079によって縮小処理を施し、縮小処理後の輝度検出画像データをSDRAM206に記憶させる(ステップS1007)。
続いて、マイクロコンピュータ217は、輝点検索の際の離散ステップを変更する(ステップS1008)。この離散ステップの変更の処理は第1の実施形態で説明したものと同様である。離散ステップを変更した後、マイクロコンピュータ217は、変更した離散ステップを輝点抽出部210に入力して輝点抽出部210に輝点検索処理の実行を指示する。これを受けて、輝点抽出部210は、輝点検索処理を行う(ステップS1009)。この輝点検索処理の具体的な処理の内容は第1の実施形態で説明したものと同様である。ただし、第2の実施形態においては、縮小処理後の輝度検出画像データに対して輝点検索処理を行う点が異なる。
輝点検索処理の終了後、マイクロコンピュータ217は、パターン変更処理を行うようにパターン合成部211に指示する(ステップS1010)。詳細については後述するが、第2の実施形態においては、離散ステップに応じてパターンデータのラインの太さを変更するのに加えて、ステップS1007におけるリサイズ処理の際のリサイズ率(縮小率)に応じて合成用パターンデータの縮小処理を行う点が第1の実施形態と異なる。パターン変更処理の後、マイクロコンピュータ217は、パターン合成処理を行うようにパターン合成部211に指示する(ステップS1011)。第2の実施形態におけるパターン合成処理は具体的な処理の内容は第1の実施形態で説明したものと同様である。ただし、第2の実施形態においては、パターン変更処理において縮小処理が施されたパターンデータを、縮小処理後の輝度検出画像データと同じサイズを有する単色(例えば黒一色)の合成用画像データと合成する点が異なる。なお、合成用画像データは、Flashメモリ219に記憶しておく。
パターン合成処理の後、マイクロコンピュータ217は、パターン合成処理の結果としてSDRAM206に記憶されたパターン合成後縮小画像データに対して拡大処理を実行するように画像処理部207に指示する。この指示を受けて、画像処理部207は、SDRAM206からパターン合成後縮小画像データを読み出し、読み出した縮小画像データを通常画像データと同サイズに拡大するようにリサイズ処理部2079によって拡大処理を施し、拡大処理によって得られたパターン合成後拡大画像データをSDRAM206に記憶させる(ステップS1012)。その後、マイクロコンピュータ217は、パターン合成後拡大画像データを通常画像データに合成するようにパターン合成部211に指示する(ステップS1013)。これを受けて、パターン合成部211は、SDRAM206に記憶させたパターン合成後拡大画像データと通常画像データとを読み出し、読み出したパターン合成後拡大画像データと通常画像データとを合成する。この際、パターン合成部211は、パターン合成後拡大画像データにおける中心と通常画像データにおける輝点位置(X,Y)に対応した画素位置とを一致させるようにして合成を行う。この後、パターン合成処理の後、マイクロコンピュータ217は、図13の処理を終了させる。
図14は、第2の実施形態におけるパターン変更処理について示すフローチャートである。ここで、図14のステップS1201〜S1202までの処理は、図11のステップ801〜S802の処理と同様であるので説明を省略する。
ステップS1202において、パターンデータを構成するラインの太さを変更した後、パターン合成部211は、輝度検出画像データの縮小率に従って合成用パターンデータを縮小する(ステップS1203)。その後、パターン合成部211は、図14の処理を終了させる。
以上説明したように、本実施形態では、輝度検出画像データに対して縮小処理を施してから輝点検索処理を行うようにしているので、第1の実施形態よりもさらに処理時間を短縮することが可能である。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述の実施形態では、クロスフィルター処理をデジタルカメラにおいて行っている。これに対し、例えばデジタルカメラで得られた画像ファイルに対し、デジタルカメラとは別の画像処理装置においてクロスフィルター処理を行うような場合であっても本実施形態の技術を適用することができる。
また、図1で示した構成において、輝点検出部210の機能をマイクロコンピュータ217に持たせたり、パターン合成部211の機能を画像処理部207に持たせたりしても良い。さらには、輝点検出部210の機能をプログラムによって実現するようにしても良い。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。