JP6548141B2 - 画像検出装置、画像検出方法及び画像検出プログラム - Google Patents

Description

本発明は、画像内の画像劣化の検出範囲を設定する画像検出範囲設定装置、画像検出範囲設定方法、画像検出範囲設定プログラム、並びに画像内の画像劣化を検出する画像検出装置に関する。

撮像素子の画素ピッチと同程度以上の高周波成分を含む被写体を撮像すると、偽色（色モアレ）等のモアレが発生して、撮影画像が劣化することが知られている。そこで、この種の偽色を除去するための種々の技術が提案されている。例えば特許文献１に、撮影画像内に発生する偽色を検出することが可能な撮影装置の具体的構成が記載されている。

特許文献１に記載の撮影装置は、合焦状態の被写体を撮像し、次いで、非合焦状態の被写体を撮像する。非合焦状態の撮影画像では、被写体のコントラストが低下して高周波成分が低減されるため、合焦状態の撮影画像に発生していた偽色も低減される。そこで、特許文献１に記載の撮影装置は、合焦状態、非合焦状態の各撮影画像を複数のブロックに分割し、分割されたブロック毎に色差信号の差分値を演算し、差分値の大きいブロックを偽色が発生しているブロックとして検出する。

特開２０１１−１０９４９６号公報

このように、特許文献１に記載の撮影装置では、偽色を検出するため、画像の全域に亘って色差信号の差分値が演算される。そのため、偽色の検出に時間が掛かるという問題が指摘される。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、画像劣化の検出に掛かる時間を抑えるのに好適な画像検出範囲設定装置、画像検出範囲設定方法、画像検出範囲設定プログラム及び画像検出装置を提供することである。

本発明の一実施形態に係る画像検出範囲設定装置は、画像内の合焦情報に基づいて少なくとも１つの合焦領域を検出する合焦領域検出手段と、画像内で発生する画像劣化の検出範囲を合焦領域検出手段により検出された各合焦領域を基準とする所定の範囲に設定する検出範囲設定手段とを備える。

本発明の一実施形態によれば、画像劣化の検出範囲が画像全域ではなく、画像劣化が発生している可能性の高い合焦領域を基準とする所定の範囲に設定される。そのため、画像劣化の検出精度が保たれつつ画像劣化の検出処理速度が向上する。

また、本発明の一実施形態において、画像劣化の検出範囲は、例えば、基準となる合焦領域及び該合焦領域を取り囲む所定の周辺領域よりなる。

また、本発明の一実施形態に係る画像検出範囲設定装置は、走査者の操作を受け付ける操作手段と、受け付けられた操作者の操作に従って画像劣化の検出範囲を変更する検出範囲変更手段とを備える構成としてもよい。

また、本発明の一実施形態において、検出範囲変更手段は、基準となる合焦領域の中心又は検出範囲の中心に対して操作者の操作に従って該検出範囲の大きさを変更する構成としてもよい。

また、本発明の一実施形態において、画像劣化の検出範囲の形状は、例えば、検出範囲変更手段による大きさの変更の前後で相似形を保つ。

また、本発明の一実施形態に係る画像検出範囲設定装置は、画像劣化の検出範囲の大きさを示す指標を表示する指標表示手段を備える構成としてもよい。指標表示手段は、例えば、画像劣化の検出範囲の大きさの変更に応じて指標の表示を変化させる。

また、本発明の一実施形態に係る画像検出装置は、上記の画像検出範囲設定装置と、画像検出範囲設定装置により設定された検出範囲において画像劣化の検出を行う画像検出手段とを備える。

また、本発明の一実施形態において、画像検出手段は、撮像条件の異なる少なくとも一対の画像を取得し、取得された対となる画像に基づいて検出範囲での画像劣化の検出を行う構成としてもよい。

また、本発明の一実施形態において、画像検出手段は、対となる画像間で同一の被写体が写る合焦領域を判別し、判別された同一の被写体が写る合焦領域を基準とする検出範囲について対となる画像に基づく画像劣化の検出を行う構成としてもよい。

また、本発明の一実施形態において、画像検出手段は、対となる画像に基づいて所定の閾値判定を行い、閾値判定の結果に基づいて画像劣化の検出を行う構成としてもよい。この構成において、上記閾値は、操作者の操作に従って設定変更可能であってもよい。

また、本発明の一実施形態に係る画像検出範囲設定方法は、画像内の合焦情報に基づいて少なくとも１つの合焦領域を検出する段階と、画像内で発生する画像劣化の検出範囲を検出された各合焦領域を基準とする所定の範囲に設定する検出範囲設定段階とを含む。

また、本発明の一実施形態に係る画像検出範囲設定プログラムは、上記の画像検出範囲設定方法をコンピュータに実行させるためのものである。

本発明の一実施形態によれば、画像劣化の検出に掛かる時間を抑えるのに好適な画像検出範囲設定装置、画像検出範囲設定方法、画像検出範囲設定プログラム及び画像検出装置が提供される。

本発明の実施形態の撮影装置の構成を示すブロック図である。 本発明の実施形態の撮影装置に備えられる像振れ補正装置の構成を概略的に示す図である。 本発明の実施形態の撮影装置に備えられる像振れ補正装置の構成を概略的に示す図である。 本発明の実施形態におけるＬＰＦ駆動の説明を補助する図である。 本発明の実施形態におけるシステムコントローラによる偽色検出フローを示す図である。 本発明の実施形態において撮影される被写体に関する図である。 本発明の実施形態において撮影される被写体に関する図である。 本発明の実施形態の色空間内においてプロットされる各色差信号を示す図である。 本発明の実施形態において撮影される被写体を示す図（図９（ａ））と、撮影装置が備えるＬＣＤの表示画面に表示されるライブビューを示す図（図９（ｂ）及び図９（ｃ））である。 本発明の実施形態において偽色検出の対象となる偽色検出対象画素を示す図である。

以下、本発明の実施形態の撮影装置について図面を参照しながら説明する。以下においては、本発明の一実施形態として、デジタル一眼レフカメラについて説明する。なお、撮影装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置に置き換えてもよい。

［撮影装置１全体の構成］
図１は、本実施形態の撮影装置１の構成を示すブロック図である。図１に示されるように、撮影装置１は、システムコントローラ１００、操作部１０２、駆動回路１０４、撮影レンズ１０６、絞り１０８、シャッタ１１０、像振れ補正装置１１２、信号処理回路１１４、画像処理エンジン１１６、バッファメモリ１１８、カード用インタフェース１２０、ＬＣＤ（Liquid Crystal Display）制御回路１２２、ＬＣＤ１２４、ＲＯＭ（Read Only Memory）１２６、ジャイロセンサ１２８、加速度センサ１３０、地磁気センサ１３２及びＧＰＳ（Global Positioning System）センサ１３４を備えている。なお、撮影レンズ１０６は複数枚構成であるが、図１においては便宜上一枚のレンズとして示す。また、撮影レンズ１０６の光軸ＡＸと同じ方向をＺ軸方向と定義し、Ｚ軸方向と直交し且つ互いに直交する二軸方向をそれぞれＸ軸方向（水平方向）、Ｙ軸方向（垂直方向）と定義する。

操作部１０２には、電源スイッチやレリーズスイッチ、撮影モードスイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが操作されると、図示省略されたバッテリから撮影装置１の各種回路に電源ラインを通じて電源供給が行われる。

システムコントローラ１００は、ＣＰＵ（Central Processing Unit）及びＤＳＰ（Digital Signal Processor）を含む。システムコントローラ１００は電源供給後、ＲＯＭ１２６にアクセスして制御プログラムを読み出してワークエリア（不図示）にロードし、ロードされた制御プログラムを実行することにより、撮影装置１全体の制御を行う。

レリーズスイッチが操作されると、システムコントローラ１００は、例えば、固体撮像素子１１２ａ（後述の図２参照）により撮像された画像に基づいて計算された測光値や、撮影装置１に内蔵された露出計（不図示）で測定された測光値に基づき適正露出が得られるように、駆動回路１０４を介して絞り１０８及びシャッタ１１０を駆動制御する。より詳細には、絞り１０８及びシャッタ１１０の駆動制御は、プログラムＡＥ（Automatic Exposure）、シャッタ優先ＡＥ、絞り優先ＡＥなど、撮影モードスイッチにより指定されるＡＥ機能に基づいて行われる。また、システムコントローラ１００はＡＥ制御と併せてＡＦ（Autofocus）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、像面位相差検出方式、コントラスト検出方式等が適用される。また、ＡＦモードには、複数の測距エリアを用いた多点測距モード、全画面の距離情報に基づく全画面測距モード等がある。システムコントローラ１００は、ＡＦ結果に基づいて駆動回路１０４を介して撮影レンズ１０６を駆動制御し、撮影レンズ１０６の焦点を調整する。なお、この種のＡＥ及びＡＦの構成及び制御については周知であるため、ここでの詳細な説明は省略する。

図２及び図３は、像振れ補正装置１１２の構成を概略的に示す図である。図２及び図３に示されるように、像振れ補正装置１１２は、固体撮像素子１１２ａを備えている。被写体からの光束は、撮影レンズ１０６、絞り１０８、シャッタ１１０を通過して固体撮像素子１１２ａの受光面１１２ａａにて受光される。なお、固体撮像素子１１２ａの受光面１１２ａａは、Ｘ軸及びＹ軸を含むＸＹ平面である。固体撮像素子１１２ａは、透過波長選択素子としてベイヤ型画素配置のカラーフィルタを有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１１２ａは、受光面１１２ａａ上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。なお、固体撮像素子１１２ａは、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１１２ａはまた、補色系フィルタを搭載したものであってもよいし、画素毎に何れかのカラーフィルタを配置していれば、ベイヤ配列等の周期的なカラー配列を有するフィルタである必要はない。

信号処理回路１１４は、固体撮像素子１１２ａより入力される画像信号に対してクランプ、デモザイク（色補間）等の所定の信号処理を施して、画像処理エンジン１１６に出力する。画像処理エンジン１１６は、信号処理回路１１４より入力される画像信号に対してマトリクス演算、Ｙ／Ｃ分離、ホワイトバランス等の所定の信号処理を施して輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを生成し、ＪＰＥＧ（Joint Photographic Experts Group）等の所定のフォーマットで圧縮する。バッファメモリ１１８は、画像処理エンジン１１６による処理の実行時、処理データの一時的な保存場所として用いられる。また、撮影画像の保存形式は、ＪＰＥＧ形式に限らず、最小限の画像処理（例えばクランプ）しか施されないＲＡＷ形式であってもよい。

カード用インタフェース１２０のカードスロットには、メモリカード２００が着脱可能に差し込まれている。

画像処理エンジン１１６は、カード用インタフェース１２０を介してメモリカード２００と通信可能である。画像処理エンジン１１６は、生成された圧縮画像信号（撮影画像データ）をメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存する。

また、画像処理エンジン１１６は、生成された輝度信号Ｙ、色差信号Ｃｂ、Ｃｒをフレームメモリ（不図示）にフレーム単位でバッファリングする。画像処理エンジン１１６は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットのビデオ信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２は、画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御する。これにより、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。ユーザは、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで撮影されたリアルタイムのスルー画（ライブビュー）を、ＬＣＤ１２４の表示画面を通じて視認することができる。

画像処理エンジン１１６は、ユーザにより撮影画像の再生操作が行われると、操作により指定された撮影画像データをメモリカード２００又は内蔵メモリより読み出して所定のフォーマットの画像信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２が画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御することで、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。

［振れ補正部材の駆動に関する説明］
像振れ補正装置１１２は、振れ補正部材を駆動させる。本実施形態において、振れ補正部材は、固体撮像素子１１２ａである。なお、振れ補正部材は、固体撮像素子１１２ａに限らず、撮影レンズ１０６内に含まれる一部のレンズなど、光軸ＡＸを基準として物理的に動かされることにより、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置をシフトさせることが可能な別の構成であってもよく、又は、これらと固体撮像素子１１２ａのうち２つ以上の部材を組み合わせた構成であってもよい。

像振れ補正装置１１２は、像振れを補正するために振れ補正部材を光軸ＡＸと直交する平面内（すなわち、ＸＹ平面内）で微小に駆動（振動）させるだけでなく、被写体像が画素ピッチ分ぼかされることによる光学的なローパスフィルタ（ＬＰＦ：Low Pass Filter）効果（偽色等のモアレの軽減）が得られるように振れ補正部材を光軸ＡＸと直交する平面内で微小に駆動（微小回転）させる。以下、説明の便宜上、振れ補正部材を像振れ補正で駆動させることを「像振れ補正駆動」と記し、振れ補正部材を光学的なＬＰＦと同様の効果が得られるように駆動させることを「ＬＰＦ駆動」と記す。

（像振れ補正駆動に関する説明）
ジャイロセンサ１２８は、像振れ補正を制御するための情報を検出するセンサである。具体的には、ジャイロセンサ１２８は、撮影装置１に加わる二軸周り（Ｘ軸周り、Ｙ軸周り）の角速度を検出し、検出された二軸周りの角速度をＸＹ平面内（換言すると、固体撮像素子１１２ａの受光面１１２ａａ内）の振れを示す振れ検出信号としてシステムコントローラ１００に出力する。

図２及び図３に示されるように、像振れ補正装置１１２は、撮影装置１が備えるシャーシ等の構造物に固定された固定支持基板１１２ｂを備えている。固定支持基板１１２ｂは、固体撮像素子１１２ａが搭載された可動ステージ１１２ｃをスライド可能に支持している。

可動ステージ１１２ｃと対向する固定支持基板１１２ｂの面上には、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵが取り付けられている。また、固定支持基板１１２ｂには、磁性体であるヨークＹ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵが取り付けられている。ヨークＹ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵはそれぞれ、固定支持基板１１２ｂから可動ステージ１１２ｃを回り込んで磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵと対向する位置まで延びた形状を持ち、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵとの間に磁気回路を構成する。また、可動ステージ１１２ｃには、駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵが取り付けられている。駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵが磁気回路の磁界内において電流を受けることにより、駆動力が発生する。可動ステージ１１２ｃ（固体撮像素子１１２ａ）は、発生した駆動力により、固定支持基板１１２ｂに対してＸＹ平面内で微小に駆動される。

対応する磁石、ヨーク及び駆動用コイルはボイスコイルモータを構成する。以下、便宜上、磁石Ｍ_ＹＲ、ヨークＹ_ＹＲ及び駆動用コイルＣ_ＹＲよりなるボイスコイルモータに符号ＶＣＭ_ＹＲを付し、磁石Ｍ_ＹＬ、ヨークＹ_ＹＬ及び駆動用コイルＣ_ＹＬよりなるボイスコイルモータに符号ＶＣＭ_ＹＬを付し、磁石Ｍ_ＸＤ、ヨークＹ_ＸＤ及び駆動用コイルＣ_ＸＤよりなるボイスコイルモータに符号ＶＣＭ_ＸＤを付し、磁石Ｍ_ＸＵ、ヨークＹ_ＸＵ及び駆動用コイルＣ_ＸＵよりなるボイスコイルモータに符号ＶＣＭ_ＸＵを付す。

各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ（駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ）は、システムコントローラ１００の制御下でＰＷＭ（Pulse Width Modulation）駆動される。ボイスコイルモータＶＣＭ_ＹＲとＶＣＭ_ＹＬは、固体撮像素子１１２ａの下方であって、水平方向（Ｘ軸方向）に所定の間隔を空けて並べて配置されており、ボイスコイルモータＶＣＭ_ＸＤとＶＣＭ_ＸＵは、固体撮像素子１１２ａの側方であって、垂直方向（Ｙ軸方向）に所定の間隔を空けて並べて配置されている。

固定支持基板１１２ｂ上であって駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵの各近傍位置には、ホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵが取り付けられている。ホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵはそれぞれ、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵの磁力を検出して、可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＸＹ平面内の位置を示す位置検出信号をシステムコントローラ１００に出力する。具体的には、ホール素子Ｈ_ＹＲ及びＨ_ＹＬにより可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＹ軸方向位置及び傾き（回転）が検出され、ホール素子Ｈ_ＸＤ及びＨ_ＸＵにより可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＸ軸方向位置及び傾き（回転）が検出される。

システムコントローラ１００は、ボイスコイルモータ用のドライバＩＣを内蔵している。システムコントローラ１００は、ジャイロセンサ１２８より出力される振れ検出信号及びホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵより出力される位置検出信号に基づいて、ドライバＩＣの定格電力（許容電力）を超えない範囲内において各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ（駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ）に流す電流のバランスを崩さないようにデューティ比を計算する。システムコントローラ１００は、計算されたデューティ比で各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵに駆動電流を流し、固体撮像素子１１２ａを像振れ補正駆動する。これにより、固体撮像素子１１２ａが重力や外乱等に抗して規定の位置に保持されつつ固体撮像素子１１２ａの受光面１１２ａａ上での像振れが補正（別の言い方によれば、受光面１１２ａａ上での被写体像の入射位置が振れないように固体撮像素子１１２ａの位置が調整）される。

（ＬＰＦ駆動に関する説明）
次に、ＬＰＦ駆動に関する説明を行う。本実施形態において、像振れ補正装置１１２は、ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵに所定の駆動電流を流すことにより、一回の露光期間に対して、ＸＹ平面内において所定の軌跡を描くように可動ステージ１１２ｃ（固体撮像素子１１２ａ）を駆動して、被写体像を固体撮像素子１１２ａの検出色（Ｒ、Ｇ又はＢ）の異なる複数の画素に入射させる。これにより、光学的なＬＰＦと同様の効果が得られる。

図４（ａ）、図４（ｂ）は、ＬＰＦ駆動の説明を補助する図である。同図に示されるように、固体撮像素子１１２ａの受光面１１２ａａ上には、複数の画素ＰＩＸが所定の画素ピッチＰでマトリックス状に並べて配置されている。説明の便宜上、同図の各画素ＰＩＸについて、前面に配置されたフィルタ色に対応させて符号（Ｒ、Ｇ、Ｂの何れか１つ）を付す。

図４（ａ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする正方形軌跡を描くように駆動される例を示す。この正方形軌跡は、例えば固体撮像素子１１２ａの画素ピッチＰを一辺とした正方形の閉じた経路とすることができる。図４（ａ）の例では、固体撮像素子１１２ａは、Ｘ軸方向とＹ軸方向とに１画素ピッチＰ単位で交互に且つ正方形経路となるように駆動される。

図４（ｂ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする回転対称な円形軌跡を描くように駆動される例を示す。この円形軌跡は、例えば固体撮像素子１１２ａの画素ピッチＰの√２／２倍を半径ｒとする円形の閉じた経路とすることができる。

なお、画素ピッチＰを含む駆動軌跡の情報は、システムコントローラ１００の内部メモリ又はＲＯＭ１２６に予め保持されている。

図４（ａ）（又は図４（ｂ））に例示されるように、露光期間中、固体撮像素子１１２ａが駆動軌跡の情報に基づいて所定の正方形軌跡（又は円形軌跡）を描くように駆動されると、被写体像が４つのカラーフィルタＲ、Ｇ、Ｂ、Ｇ（４つ（二行二列）の画素ＰＩＸ）に均等に入射される。これにより、光学的なＬＰＦと同等の効果が得られる。すなわち、何れのカラーフィルタ（画素ＰＩＸ）に入射された被写体像も、その周辺のカラーフィルタ（画素ＰＩＸ）に必ず入射されるため、恰も光学的なＬＰＦを被写体像が通過したときと同等の効果（偽色等のモアレの軽減）が得られる。

なお、ユーザは、操作部１０２を操作することにより、像振れ補正駆動、ＬＰＦ駆動のそれぞれのオン／オフを切り替えることができる。

［偽色の検出に関する説明］
次に、本実施形態において撮影画像内に発生する、モアレの一種である偽色を検出する方法について説明する。図５は、システムコントローラ１００により実行される偽色検出フローを示す。図５に示される偽色検出フローは、例えば、レリーズスイッチが押された時点で開始される。

［図５のＳ１１（状態の判定）］
本処理ステップＳ１１では、撮影装置１が静止状態であるか否かが判定される。例示的には、ジャイロセンサ１２８より入力される振れ検出信号のうち一定周波数以上の信号成分の振幅が一定期間継続してある閾値以内に収まる場合に静止状態と判定される。撮影装置１の静止状態として、典型的には、撮影装置１が三脚に固定された状態が挙げられる。なお、静止状態を含めた撮影装置１の姿勢はジャイロセンサ１２８に代えて、加速度センサ１３０、地磁気センサ１３２、ＧＰＳセンサ１３４など、他のセンサより出力される情報を用いて検出されてもよい。また、検出精度を向上させるため、例えばセンサ・フュージョン技術を適用し、これらのセンサより出力される情報が複合的に用いられるようにしてもよい。

撮影装置１が低速シャッタスピード設定下の手持ち撮影状態など、静止状態にない場合は、手振れ（あるいは被写体ぶれ）による被写体のボケに起因して偽色がそもそも発生し難い。従って、本実施形態では、撮影装置１が静止状態である（すなわち、偽色が発生しやすい状態である）と判定された場合に限り（Ｓ１１：ＹＥＳ）、撮影画像内の偽色を検出すべく、処理ステップＳ１２（第一画像の撮影）以降が実行される。撮影装置１が静止状態にない場合は、処理ステップＳ１２（第一画像の撮影）以降が実行されないため、システムコントローラ１００の処理負荷が軽減される。処理ステップＳ１２（第一画像の撮影）以降が実行されない旨は、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。なお、撮影画像内の偽色の検出を重視したい場合は、撮影装置１が静止状態であるか否かに拘わらず処理ステップＳ１２（第一画像の撮影）以降が実行されてもよい。この場合、処理ステップＳ１２（第一画像の撮影）以降が実行される旨は、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。また、静止状態の判定閾値は撮影装置１に設定されたシャッタスピードに応じて変更されてもよい。

［図５のＳ１２（第一画像の撮影）］
図９（ａ）は、撮影される被写体の全体を示す。また、図６（ａ）、図７（ａ）は、図９（ａ）に示される被写体の一部（例えば人物が着用している衣服のしわ）であって、それぞれ異なる部分を拡大して示す図である。図６（ａ）に示される被写体は、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同ピッチで明暗が交互に現れる斜め縞模様であり、図７（ａ）に示される被写体は、画素ピッチＰと同ピッチで明暗が交互に現れる縦縞模様である。説明の便宜上、図６（ａ）に示される被写体のうち太実線で囲まれた６×６マスの被写体を「斜め縞被写体６ａ」と記し、図７（ａ）に示される被写体のうち太実線で囲まれた６×６マスの被写体を「縦縞被写体７ａ」と記す。

本処理ステップＳ１２では、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで被写体画像（第一画像）が撮影される。ここでは、斜め縞被写体６ａと縦縞被写体７ａの何れにもピントが合っているものとする。

図６（ｂ）、図７（ｂ）はそれぞれ、固体撮像素子１１２ａの各画素ＰＩＸに取り込まれる斜め縞被写体６ａ、縦縞被写体７ａを模式的に示す図であり、固体撮像素子１１２ａの受光面１１２ａａを被写体側から正面視した図である。図６（ｂ）及び図７（ｂ）では、図４と同様に、各画素ＰＩＸについて、前面に配置されたフィルタ色に対応させて符号（Ｒ、Ｇ、Ｂの何れか１つ）を付す。図６（ｂ）、図７（ｂ）の各図中、黒塗りの画素ＰＩＸは、縞模様の暗部分を取り込んだことを示し、白塗りの画素ＰＩＸは、縞模様の明部分を取り込んだことを示す。また、説明の便宜上、図６（ｂ）、図７（ｂ）の各図に画素のアドレス（数字１〜８、符号イ〜チ）を付す。なお、厳密には、撮影レンズ１０６の結像作用によって、被写体は上下左右が反転した状態で固体撮像素子１１２ａ上に結像される。一例として、「斜め縞被写体６ａ」の左上角の部分は、固体撮像素子１１２ａ上では右下角の部分として結像する。しかし、本実施形態では、説明の煩雑化を避けるため、「斜め縞被写体６ａ」の左上角の部分は、図６（ｂ）の左上角の部分に対応するものとして説明する。

［図５のＳ１３（第一の合焦エリア情報の保存）］
図９（ｂ）に、処理ステップＳ１２（第一画像の撮影）における第一画像の撮影の際にＬＣＤ１２４の表示画面に表示されるライブビューを例示する。システムコントローラ１００は、第一画像の撮影の際、ＡＦ結果（画像内の合焦情報）に基づいてピントが合っているとみなせる範囲（合焦エリアであり、例示的には被写界深度に収まる範囲）を検出し、検出された合焦エリア（図９（ｂ）の例では、符号ＦＡ１〜ＦＡ７）をライブビューにＯＳＤ（On Screen Display）で表示する。本処理ステップＳ１３では、第一画像の撮影時における合焦エリアの情報（以下、「第一の合焦エリア情報」と記す。）が例えばシステムコントローラ１００の内部メモリに保存される。

［図５のＳ１４（固体撮像素子１１２ａのシフト）］
本処理ステップＳ１４は、可動ステージ１１２ｃが駆動されて、固体撮像素子１１２ａが１画素分の距離だけ右方向（図６のＸ軸の矢じり側の方向）にシフトされる。

［図５のＳ１５（第二画像の撮影）］
本処理ステップＳ１５においても、第一画像撮影時のＡＥ制御及びＡＦ制御に基づいて被写体画像（第二画像）が撮影される。第二画像の撮影完了後、第一画像と第二画像を用いた偽色検出処理を開始する旨が撮影者に告知されてもよい。

図６（ｃ）、図７（ｃ）はそれぞれ、図６（ｂ）、図７（ｂ）と同様の図であり、固体撮像素子１１２ａの各画素ＰＩＸの取り込まれる斜め縞被写体６ａ、縦縞被写体７ａを模式的に示す。図６、図７の各図（ｂ）、（ｃ）に示されるように、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置は、処理ステップＳ１４（固体撮像素子１１２ａのシフト）における固体撮像素子１１２ａのシフト量に応じて（受光面１１２ａａ上で左方向に１画素分の距離だけ）シフトする。

附言するに、本処理ステップＳ１５における撮影条件は、処理ステップＳ１２（第一画像の撮影）における撮影時に対して、固体撮像素子１１２ａが１画素分の距離だけ右方向にシフトされた点以外は同一である。そのため、第二画像は、実質的に、第一画像に対して１画素分右方向にシフトした範囲を撮影したものとなっている。図６、図７の各図（ｂ）、（ｃ）から判るように、第二画像において、被写体は、第一画像に対して全体的に１画素分の距離だけ左方向にシフトした位置に写る。

［図５のＳ１６（第二の合焦エリア情報の保存）］
図９（ｃ）に、処理ステップＳ１５（第二画像の撮影）における第二画像の撮影の際にＬＣＤ１２４の表示画面に表示されるライブビューを例示する。システムコントローラ１００は、第二画像の撮影の際、ＡＦ結果（画像内の合焦情報）に基づいて合焦エリアを検出し、検出された合焦エリア（図９（ｃ）の例では、符号ＦＡ１’〜ＦＡ７’）をライブビューにＯＳＤで表示する。本処理ステップＳ１６では、第二画像の撮影時における合焦エリアの情報（以下、「第二の合焦エリア情報」と記す。）が例えばシステムコントローラ１００の内部メモリに保存される。

処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像、処理ステップＳ１５（第二画像の撮影）にて撮影された第二画像の何れの画像信号も、上述した信号処理（クランプ、デモザイク、マトリクス演算、Ｙ／Ｃ分離、ホワイトバランス等）が施されて、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換される。以下、説明の便宜上、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像の色差信号（Ｃｂ、Ｃｒ）を「第一色差信号」と記し、処理ステップＳ１５（第二画像の撮影）にて撮影された第二画像の色差信号（Ｃｂ、Ｃｒ）を「第二色差信号」と記す。また、「注目画素」とは、少なくともデモザイク処理された後の各画像の画素を指すものとする。

［図５のＳ１７（電気的なＬＰＦ処理）］
本実施形態では、詳しくは後述するが、第一色差信号と第二色差信号との信号差分値や信号加算値に基づいて偽色の発生が検出される。しかし、コントラストの高いエッジ部分では、偽色が発生していなくても、第一色差信号と第二色差信号との信号差分値が大きくなることがある。この場合、エッジ部分において偽色が発生していると誤検出される虞がある。また、詳しくは後述するが、信号差分値や信号加算値の演算に用いられる第一色差信号と第二色差信号は、同一の被写体像を写す画素の色差信号ではあるが、処理ステップＳ１４（固体撮像素子１１２ａのシフト）にて固体撮像素子１１２ａがシフトされたことが原因で、それぞれ、アドレスが異なる画素を用いてデモザイク処理されている。そのため、第一色差信号と第二色差信号は、同一の被写体像を写す画素の色差信号であるにも拘わらず色情報が極僅かに異なる場合がある。そこで、本処理ステップＳ１７では、画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）に対してＬＰＦ処理が施される。ＬＰＦ処理によって画像がぼかされることで、エッジ部分における偽色の誤検出が抑えられると共に第一色差信号と第二色差信号との色情報の誤差が抑えられる。

［図５のＳ１８（アドレスの変換）］
本処理ステップＳ１８では、偽色の検出精度を向上させるため、同一の被写体像が同一アドレスの画素に入射されたものとして処理されるように、処理ステップＳ１５（第二画像の撮影）にて撮影された第二画像を構成する各画素のアドレスが、処理ステップＳ１４（固体撮像素子１１２ａのシフト）における固体撮像素子１１２ａのシフト量（換言すると、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置のシフト量）に応じて変換される。

一例として、図６（ｃ）の画素ＰＩＸｂのアドレス（ハ，２）は、被写体像の入射位置のシフト量に応じて右方向に１画素シフトしたときに位置する画素、すなわち、画素ＰＩＸｂと同一の被写体像を取り込む画素ＰＩＸａ（図６（ｂ）参照）と同一のアドレス（ニ，２）に変換される。

［図５のＳ１９（合焦エリアのペアリング）］
本処理ステップＳ１９では、第一及び第二の合焦エリア情報に基づいて、処理ステップＳ１２（第一画像の撮影）における第一画像の撮影時の合焦エリア（ここでは、図９（ｂ）に示される合焦エリアＦＡ１〜ＦＡ７）と、処理ステップＳ１５（第二画像の撮影）における第二画像の撮影時の合焦エリア（ここでは、図９（ｃ）に示される合焦エリアＦＡ１’〜ＦＡ７’）とのペアリングが行われる。具体的には、合焦エリアＦＡ１〜ＦＡ７と合焦エリアＦＡ１’〜ＦＡ７’との間で共通（同一）の被写体像が写る合焦エリアが判別され、判別された共通の被写体像が写る合焦エリア同士がペアリングされる。より詳細には、合焦エリア間で共通の被写体像が写る画素を所定数以上含む合焦エリアのペアが、同一の被写体像が写る合焦エリアとしてペアリングされる。

図９（ｂ）及び図９（ｃ）の例では、合焦エリアＦＡ１とＦＡ１’がペアリングされ、合焦エリアＦＡ２とＦＡ２’がペアリングされ、合焦エリアＦＡ３とＦＡ３’がペアリングされ、合焦エリアＦＡ４とＦＡ４’がペアリングされ、合焦エリアＦＡ５とＦＡ５’がペアリングされる。

［図５のＳ２０（偽色検出対象画素の設定）］
本処理ステップＳ２０では、処理ステップＳ１９（合焦エリアのペアリング）におけるペアリング結果に基づいて偽色検出の対象となる画素（以下、「偽色検出対象画素」と記す。）が設定される。図１０に、偽色検出対象画素を例示する。図１０中、破線の矩形領域が合焦エリアであり、合焦エリアを囲う実線の矩形領域が偽色を検出する偽色検出範囲である。この偽色検出範囲に含まれる画素が偽色検出対象画素である。すなわち、図１０の例では、処理ステップＳ１９（合焦エリアのペアリング）にて合焦エリアＦＡ１’〜ＦＡ５’とペアリングされた合焦エリアＦＡ１〜ＦＡ５内の各画素及び各合焦エリアＦＡ１〜ＦＡ５を取り囲む所定数の周辺画素（以下、「第一画像の偽色検出対象画素」と記す。）と、第二画像において第一画像の偽色検出対象画素と同一アドレスの画素（以下、「第二画像の偽色検出対象画素」と記す。）が偽色検出対象画素として設定される。

一般に、合焦状態の被写体はコントラストが高く、高周波成分を含むものが多い。そのため、合焦状態の被写体では偽色が発生しやすい。一方、非合焦状態の被写体はコントラストが低く、高周波成分を含むものが少ない。そのため、非合焦状態の被写体では偽色が発生し難い。そこで、本処理ステップＳ２０では、偽色検出対象画素を、全ての有効画素とせず、偽色が発生している可能性の高い合焦エリア及びその周辺の画素に絞り込む。これにより、偽色の検出精度が保たれつつ偽色検出の処理速度が向上する。

他方の画像撮影時の合焦エリアとの間で共通（同一）の被写体像が写らない合焦エリア（すなわちペアリングされなかった合焦エリア）では、他方の画像撮影時に対して合焦状態が変化している可能性が高い。このような合焦エリアに写る被写体は、他方の画像撮影時に像振れした状態で撮像されている可能性が高い。そのため、このような合焦エリア内の各画素では、偽色が発生していなくても第一色差信号と第二色差信号との信号差分値が大きくなり、偽色が発生していると誤検出される虞がある。そこで、本処理ステップＳ２０では、このような合焦エリア内の各画素を偽色検出対象画素から除外している。これにより、偽色の検出精度が向上する。

なお、ユーザは、操作部１０２を操作することにより、各合焦エリアを基準とする偽色検出範囲の形状や大きさを変更したり、位置を微調整したりすることができる。例示的には、偽色検出範囲は、ユーザによる操作に従い、基準となる合焦エリアの中心又は該偽色検出範囲の中心に対して、形状を保ちつつ（相似形を保ちつつ）大きさのみが変更される。また、偽色検出範囲は、形状を保ちつつＬＣＤ１２４の表示画面の内側に向かって優先的に拡がるように大きさが変更されてもよい。また、ＬＣＤ１２４の表示画面（又は画像）の中央寄りに位置する所定の範囲は、合焦エリアであるか否かに拘わらず、常時、偽色検出範囲に設定されてもよい。また、ＬＣＤ１２４の表示画面（又は画像）の中央寄りの被写体を含む合焦エリアに対応する偽色検出範囲は、他の偽色検出範囲に対して優先的に拡大するように（操作量に対する拡大率が他の偽色検出範囲よりも大きく設定されたうえで）大きさが変更されてもよい。また、偽色検出範囲は、距離的に近い被写体を含む合焦エリアに対応するものほど優先的に拡大するように（操作量に対する拡大率が大きく設定されたうえで）大きさが変更されてもよい。

偽色検出範囲が拡げられるほど広い範囲に亘って偽色が検出されるため偽色の検出精度が向上し、偽色検出範囲が狭められるほど偽色検出対象画素の数が減少するため偽色検出の処理速度が向上する。図９、図１０の各図に示されるように、ライブビューには枠サイズ調整バーＢ１がＯＳＤで表示される。枠サイズ調整バーＢ１の表示は、ユーザによる偽色検出範囲の変更操作量（偽色検出範囲の大きさ）に応じて変化する。ユーザは、枠サイズ調整バーＢ１を通じて現在の偽色検出範囲の大きさが大きい（すなわち、検出精度重視）か又は小さい（すなわち、検出速度重視）かを把握することができる。

［図５のＳ２１（色差信号の差分値の演算）］
斜め縞被写体６ａ及び縦縞被写体７ａは、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同ピッチの高周波成分を含む。そのため、斜め縞被写体６ａ及び縦縞被写体７ａの画像信号が処理ステップＳ１２（第一画像の撮影）、処理ステップＳ１５（第二画像の撮影）においてデモザイク処理されると、偽色が発生する。

具体的には、図６（ｂ）の例では、Ｇ成分の画素ＰＩＸの輝度が高く、Ｒ及びＢ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＧ成分が支配的となって、斜め縞被写体６ａに緑色の偽色が発生する。一方、図６（ｃ）の例では、図６（ｂ）の例とは反対に、Ｒ及びＢ成分の画素ＰＩＸの輝度が高く、Ｇ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＲ及びＢ成分が支配的となって、斜め縞被写体６ａに紫色の偽色が発生する。

また、図７（ｂ）の例では、Ｂ成分の画素ＰＩＸの輝度が高く、Ｒ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＢとＧとの混色成分となって、青と緑との中間色（例えばシアン色中心の近傍色）の偽色が発生する。一方、図７（ｃ）の例では、図７（ｂ）の例とは反対に、Ｒ成分の画素ＰＩＸの輝度が高く、Ｂ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＲとＧとの混色成分となって、赤と緑の中間色（橙色中心の近傍色）の偽色が発生する。

図８は、Ｃｂ、Ｃｒの二軸で定義される色空間を示す。図８中、符号６ｂは、図６（ｂ）の例において注目画素で発生する緑色の偽色に対応するプロットであり、符号６ｃは、図６（ｃ）の例において注目画素で発生する紫色の偽色に対応するプロットであり、符号７ｂは、図７（ｂ）の例において注目画素で発生する青と緑との中間色の偽色に対応するプロットであり、符号７ｃは、図７（ｃ）の例において注目画素で発生する赤と緑の中間色の偽色に対応するプロットである。下記は、各プロットの座標情報を示す。なお、原点Ｏは座標（０,０）である。
プロット６ｂ：（Ｃｂ，Ｃｒ）＝（−Ｍ，−Ｎ）
プロット６ｃ：（Ｃｂ，Ｃｒ）＝（Ｍ，Ｎ）
プロット７ｂ：（Ｃｂ，Ｃｒ）＝（Ｍ’，−Ｎ’）
プロット７ｃ：（Ｃｂ，Ｃｒ）＝（−Ｍ’＋α，Ｎ’＋β）
但し、Ｍ，Ｎ，Ｍ’，Ｎ’，α，βは何れも正数である。

図８に示されるように、本実施形態では、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同程度の高周波成分の被写体像を取り込んだときに発生する偽色の色自体が、受光面１１２ａａ上での被写体像の入射位置をシフトさせることによって変化することを利用して偽色が発生する箇所（注目画素）を検出している。より詳細には、高周波成分の被写体像が取り込まれる注目画素において、第一色差信号と第二色差信号が持つ色情報が互いに補色の関係となる部分を、偽色が発生する部分であると判断し検出している。

本実施形態では、上記の補色関係を得るべく、受光面１１２ａａ上での被写体像の入射位置が左方向（水平の画素の並び方向）に１画素分シフト（固体撮像素子１１２ａが被写体像に対して右方向に１画素分シフト）されているが、本発明はこれに限らない。シフト方向は、例示的には、右方向（水平の画素の並び方向）であってもよく、又は、上方向（垂直な画素の並び方向）、下方向（垂直な画素の並び方向）、右上、右下、左上、左下の各斜め方向（水平、垂直の各並び方向に対して４５度をなす方向）など、画素配置に応じた他の方向であってもよいし、併用してもよい。また、シフト距離は、例示的には、３画素分、５画素分など、他の奇数画素分の距離であってもよく、また、半画素分又は半画素分＋奇数画素分（例えば１．５画素分、２．５画素分等）であってもよく（すなわち、ｎ画素分又は（ｍ＋０．５）画素分（但し、ｎ＝奇数の自然数，ｍ＝０又は奇数の自然数）の何れかであればよく）、シフト駆動する機構の精度に応じて選択できることもできる。また、シフト距離は、撮影対象の被写体や撮影条件によっては、偶数画素分及びその近傍（例えば１．９〜２．１画素分等）以外の距離であればよい。これらの量（方向及び距離）で受光面１１２ａａ上での被写体像の入射位置がシフトされる場合も、高周波成分の被写体像が取り込まれる（偽色が発生する）注目画素において、第一色差信号と第二色差信号が持つ色情報が互いに補色の関係となることから、偽色の発生が検出できる。

本処理ステップＳ２１では、処理ステップＳ２０（偽色検出対象画素の設定）にて設定されたアドレスが同一の偽色検出対象画素毎に、第一色差信号と第二色差信号との差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が演算される。具体的には、本処理ステップＳ２１では、第一色差信号のＣｂ、ＣｒをそれぞれＣｂ１、Ｃｒ１と定義し、これと同一アドレスの第二色差信号のＣｂ、ＣｒをそれぞれＣｂ２、Ｃｒ２と定義した場合に、差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が次式により演算される。
Ｃｂ_ｓｕｂ＝Ｃｂ１−Ｃｂ２
Ｃｒ_ｓｕｂ＝Ｃｒ１−Ｃｒ２

［図５のＳ２２（第一の距離情報の演算）］
本処理ステップＳ２２では、処理ステップＳ２０（偽色検出対象画素の設定）にて設定されたアドレスが同一の偽色検出対象画素毎に、第一色差信号と第二色差信号との色空間内での距離（第一の距離情報Saturation__sub）が次式により演算される。
Saturation__sub＝√（Ｃｂ_ｓｕｂ ^２＋Ｃｒ_ｓｕｂ ^２）

第一の距離情報Saturation__subは、図８の各プロット対（プロット６ｂとプロット６ｃ、プロット７ｂとプロット７ｃ）の例でそれぞれ、２√（Ｍ^２＋Ｎ^２）、√｛（−２Ｍ’＋α）^２＋（２Ｎ’＋β）^２｝となる。

図８の各プロット対の位置関係から把握されるように、第一色差信号と第二色差信号が持つ色情報が強い補色関係にあるほど第一の距離情報Saturation__subが大きくなり、第一色差信号と第二色差信号が持つ色情報が補色関係にない（例えば同様の色相である）ほど第一の距離情報Saturation__subが小さくなる。すなわち、第一の距離情報Saturation__subは、偽色発生領域でなければ理想的にはゼロであり、偽色が強く発生する偽色発生領域ほど大きくなる。

［図５のＳ２３（色差信号の加算値の演算）］
本処理ステップＳ２３では、処理ステップＳ２０（偽色検出対象画素の設定）にて設定されたアドレスが同一の偽色検出対象画素毎に、第一色差信号と第二色差信号との加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が演算される。

具体的には、本処理ステップＳ２３では、暫定加算値（Ｃｂ_ａｄｄ，Ｃｒ_ａｄｄ）が次式により演算される。
Ｃｂ_ａｄｄ＝Ｃｂ１＋Ｃｂ２
Ｃｒ_ａｄｄ＝Ｃｒ１＋Ｃｒ２

次いで、暫定加算値の平均値（Ｃｂ_ｍｅａｎ，Ｃｒ_ｍｅａｎ）が次式により演算される。
Ｃｂ_ｍｅａｎ＝Ｃｂ_ａｄｄ／２
Ｃｒ_ｍｅａｎ＝Ｃｒ_ａｄｄ／２

次いで、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が次式により演算される。
Ｃｂ’_ａｄｄ＝Ｃｂ_ａｄｄ−Ｃｂ_ｍｅａｎ
Ｃｒ’_ａｄｄ＝Ｃｒ_ａｄｄ−Ｃｒ_ｍｅａｎ

［図５のＳ２４（第二の距離情報の演算）］
本処理ステップＳ２４では、処理ステップＳ２０（偽色検出対象画素の設定）にて設定されたアドレスが同一の偽色検出対象画素毎に、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）に基づいて色空間内における第二の距離情報Saturation__addが次式により演算される。
Saturation__add＝√（Ｃｂ’_ａｄｄ ^２＋Ｃｒ’_ａｄｄ ^２）

第二の距離情報Saturation__addは、図８の各プロット対（プロット６ｂとプロット６ｃ、プロット７ｂとプロット７ｃ）の例でそれぞれ、ゼロ、√（α^２＋β^２）となる。

ここで、第一、第二の各色差信号は、画像撮影時の光源、露出条件、ホワイトバランス等の影響を受けて変化する。しかし、第一、第二の各色差信号が同じように変化するため、色空間内における互いの相対距離（すなわち、第一の距離情報Saturation__sub）は変化が少ない。

一方、第二の距離情報Saturation__addは、第一、第二の各色差信号が画像撮影時の光源、露出条件、ホワイトバランス等の影響を受けて色空間の原点Ｏの位置に対して変化すると、大きく変化する。そこで、処理ステップＳ２３（色差信号の加算値の演算）では、第二の距離情報Saturation__addを暫定加算値（Ｃｂ_ａｄｄ，Ｃｒ_ａｄｄ）を用いて即座には演算せず、上記影響による原点Ｏに対する位置の変化を相殺又は軽減すべく（上記影響により、原点Ｏから離れた第一色差信号と第二色差信号との中点を原点Ｏに近付けるべく）、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が演算されている。

図８の各プロット対の位置関係から把握されるように、第一色差信号と第二色差信号が持つ色情報が補色関係にある場合は、互いの符号が逆となることから加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が小さくなって、第二の距離情報Saturation__addが小さくなる。また、強い補色関係であるほど第二の距離情報Saturation__addが小さくなって、理想的にはゼロとなる。一方、第一色差信号と第二色差信号が持つ色情報が補色関係にない（例えば同様の色相である）場合は、互いの符号が同一となることから、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が大きくなって、第二の距離情報Saturation__addが大きくなる。すなわち、第二の距離情報Saturation__addは、偽色発生領域でなければ大きくなり、偽色発生領域であれば小さくなる。

［図５のＳ２５（輝度信号の差分値の演算）］
説明の便宜上、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像の輝度信号Ｙを「第一輝度信号」と記し、処理ステップＳ１５（第二画像の撮影）にて撮影された第二画像の輝度信号Ｙを「第二輝度信号」と記す。本処理ステップＳ２５では、処理ステップＳ２０（偽色検出対象画素の設定）にて設定されたアドレスが同一の偽色検出対象画素毎に、第一輝度信号と第二輝度信号との差分値Ｙ_ｄｉｆｆが演算される。具体的には、本処理ステップＳ２５では、第一輝度信号をＹ１と定義し、第二輝度信号をＹ２と定義した場合に、差分値Ｙ_ｄｉｆｆが次式により演算される。
Ｙ_ｄｉｆｆ＝｜Ｙ１−Ｙ２｜

［図５のＳ２６（偽色発生領域の判定）］
本処理ステップＳ２６では、処理ステップＳ２０（偽色検出対象画素の設定）にて設定されたアドレスが同一の偽色検出対象画素毎に、偽色発生領域であるか否かが判定される。具体的には、次の条件（１）〜（３）が全て満たされる場合に、当該画素が偽色発生領域であると判定される。

・条件（１）
上述したように、第一の距離情報Saturation__subが大きいほど第一色差信号と第二色差信号が持つ色情報が強い補色関係となることから、当該画素が偽色発生領域である可能性が高い。そこで、条件（１）は次のように規定される。
条件（１）：Saturation__sub≧閾値Ｔ１

・条件（２）
上述したように、第二の距離情報Saturation__addが小さいほど第一色差信号と第二色差信号が持つ色情報が強い補色関係となることから、当該画素が偽色発生領域である可能性が高い。そこで、条件（２）は次のように規定される。
条件（２）：Saturation__add≦閾値Ｔ２

処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像と処理ステップＳ１５（第二画像の撮影）にて撮影された第二画像の一方だけで大きな像振れが発生した場合を考える。この場合、第一色差信号と第二色差信号との差分が大きくなって、偽色が誤検出される虞がある。そこで、条件（３）は次のように規定される。
条件（３）：Ｙ_ｄｉｆｆ≦閾値Ｔ３

すなわち、差分値Ｙ_ｄｉｆｆが閾値Ｔ３よりも大きい場合は、上記の誤検出の虞があることから、当該画素に対する偽色の検出が行われない（当該画素が偽色発生領域でないものとして処理される。）。

なお、条件（１）と条件（２）は、当該画素が偽色発生領域であるか否かを直接的に判定する条件となっている。そこで、別の実施形態では、条件（１）と条件（２）の少なくとも一方が満たされる場合に、当該画素が偽色発生領域であると判定されるようにしてもよい。

また、ユーザは、操作部１０２を操作して閾値Ｔ１〜Ｔ３を設定変更することにより、偽色の検出感度を変更することができる。図９、図１０の各図に示されるように、ライブビューには検出感度調整バーＢ２がＯＳＤで表示される。検出感度調整バーＢ２の表示は、ユーザによる閾値Ｔ１〜Ｔ３の設定変更内容に応じて変化する。ユーザは、検出感度調整バーＢ２を通じて現在の偽色の検出感度を把握することができる。

［図５のＳ２７（偽色の検出）］
本処理ステップＳ２７では、偽色の有無が検出される。例示的には、処理ステップＳ２６（偽色発生領域の判定）において偽色発生領域と判定された画素数（又は全有効画素数のうち偽色発生領域と判定された画素の割合）が所定の閾値以上である場合に、偽色有りという検出結果となり（Ｓ２７：ＹＥＳ）、該画素数（又は割合）が所定の閾値未満である場合に、偽色無しという検出結果となる（Ｓ２７：ＮＯ）。

［図５のＳ２８（撮影画像の保存）］
本処理ステップＳ２８は、処理ステップＳ２７（偽色の検出）にて偽色無しという検出結果が得られた場合（Ｓ２７：ＮＯ）に実行される。本処理ステップＳ２８では、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像及び処理ステップＳ１５（第二画像の撮影）にて撮影された第二画像について偽色が検出されなかったとして、その少なくとも一方がメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存される。この時点で撮影動作が完了した旨が撮影者に告知されてもよい。特に、処理ステップＳ１５（第二画像の撮影）で第一画像と第二画像を用いた偽色検出処理を開始する旨が撮影者に告知されている場合には、撮影動作が完了したことが撮影者に伝わる。これにより、撮影者は次の作業、例えば撮影装置１の状態（セッティング）の変更に進むことができる。

［図５のＳ２９（ＬＰＦ駆動下での撮像）］
本処理ステップＳ２９は、処理ステップＳ２７（偽色の検出）にて偽色有りという検出結果が得られた場合（Ｓ２７：ＹＥＳ）に実行される。本処理ステップＳ２９では、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像及び処理ステップＳ１５（第二画像の撮影）にて撮影された第二画像について偽色が検出されたことから、ＬＰＦ駆動が実行される。既にＬＰＦ駆動下での撮像が行われていた場合は、より強い光学的なＬＰＦ効果（偽色等のモアレの軽減）が得られるように、固体撮像素子１１２ａの駆動周期（回転周期）や駆動振幅（回転半径）が調整される。すなわち、偽色を軽減するためのより有利な撮影条件に変更される。そのうえで、被写体の撮像（第三画像の撮影）が行われる。つまり、偽色が検出された場合には第三画像の撮影が行われる。そのため、処理ステップＳ１５（第二画像の撮影）にて偽色検出処理を開始する旨が撮影者に告知されている場合、撮影者は第三画像の撮影が完了するまで、撮影装置１の状態（セッティング）を維持することができる。

本実施形態によれば、偽色検出対象画素が、全ての有効画素ではなく、偽色が発生している可能性の高い合焦エリア及びその周辺の画素に絞り込まれる。これにより、偽色の検出精度が保たれつつ偽色検出の処理速度が向上する。また、本実施形態によれば、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置をシフトさせることにより、画素ピッチＰと同程度以上の高周波成分の被写体像が取り込まれた場合に、異なる偽色（互いに補色の関係となる偽色）が発生し、差分の大きい画像が生成される構成となっている。偽色の検出に差分の大きい画像が用いられることから、偽色が精度良く検出される。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

上記の実施形態では、ＬＰＦ駆動を実行することにより、画像全体に対して光学的に偽色の除去を施しているが、本発明はこれに限らない。偽色は、画像処理を用いて除去されてもよい。画像処理の場合は、偽色を画像全体に限らず局所的に（例えば偽色発生領域と判定された画素毎に）除去することもできる。また、偽色発生領域を示す情報を第一画像（第二画像）と関連付けて保存しておけば、仮に別端末（コンピューターなど）によって手作業で偽色補正をする場合でも、作業者は、当該情報に基づいて偽色発生領域を容易に発見することができる。そのため、画像全体から偽色発生領域を探す手間が軽減される。

上記の実施形態では、処理ステップＳ１２（第一画像の撮影）における第一画像の撮影時の合焦エリアＦＡ１〜ＦＡ５を基準に偽色検出対象画素が設定されているが、本発明はこれに限らない。例えば、処理ステップＳ１５（第二画像の撮影）における第二画像の撮影時の合焦エリアＦＡ１’〜ＦＡ５’を基準に偽色検出対象画素が設定されてもよい。

また、上記の実施形態では、ペアリングされた合焦エリア内の各画素だけでなく該合焦エリアを取り囲む所定数の周辺画素が偽色検出対象画素として設定されているが、本発明はこれに限らない。例えば、ペアリングされた合焦エリア内の各画素だけが偽色検出対象画素として設定されてもよい。

１ 撮影装置
１００ システムコントローラ
１０２ 操作部
１０４ 駆動回路
１０６ 撮影レンズ
１０８ 絞り
１１０ シャッタ
１１２ 像振れ補正装置
１１２ａ 固体撮像素子
１１２ａａ （固体撮像素子の）受光面
１１２ｂ 固定支持基板
１１２ｃ 可動ステージ
１１４ 信号処理回路
１１６ 画像処理エンジン
１１８ バッファメモリ
１２０ カード用インタフェース
１２２ ＬＣＤ制御回路
１２４ ＬＣＤ
１２６ ＲＯＭ
１２８ ジャイロセンサ
２００ メモリカード
Ｃ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ 駆動用コイル
Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵ ホール素子
Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵ 磁石
ＰＩＸ 画素
ＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ ボイスコイルモータ
Ｙ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵ ヨーク

Claims (10)

1. 画像内の合焦情報に基づいて少なくとも１つの合焦領域を検出する合焦領域検出手段と、
   前記画像内で発生する画像劣化の検出範囲を前記検出された各合焦領域を基準とする所定の範囲に設定する検出範囲設定手段と、
   前記設定された検出範囲において画像劣化の検出を行う画像検出手段と、
   を備え、
   前記画像検出手段は、
   撮像条件の異なる少なくとも一対の画像を取得し、
   取得された対となる画像に基づいて前記検出範囲での画像劣化の検出を行う、
   画像検出装置。
2. 前記検出範囲は、
   前記基準となる合焦領域及び該合焦領域の周辺領域よりなる、
   請求項１に記載の画像検出装置。
3. 操作者の操作を受け付ける操作受付手段と、
   受け付けられた操作者の操作に従って前記検出範囲を変更する検出範囲変更手段と、
   を備える、
   請求項１又は請求項２に記載の画像検出装置。
4. 前記検出範囲変更手段は、
   前記基準となる合焦領域の中心又は前記検出範囲の中心に対して前記操作に従って該検出範囲の大きさを変更する、
   請求項３に記載の画像検出装置。
5. 前記検出範囲の形状は、
   前記検出範囲変更手段による大きさの変更の前後で相似形を保つ、
   請求項４に記載の画像検出装置。
6. 前記検出範囲の大きさを示す指標を表示する指標表示手段
   を備え、
   前記指標表示手段は、
   前記検出範囲の大きさの変更に応じて前記指標の表示を変化させる、
   請求項４又は請求項５に記載の画像検出装置。
7. 前記画像検出手段は、
   前記対となる画像間で同一の被写体が写る合焦領域を判別し、
   判別された同一の被写体が写る合焦領域を基準とする検出範囲について前記対となる画像に基づく画像劣化の検出を行う、
   請求項１から請求項６の何れか一項に記載の画像検出装置。
8. 前記画像検出手段は、
   前記対となる画像に基づいて所定の閾値判定を行い、
   前記閾値判定の結果に基づいて画像劣化の検出を行い、
   前記閾値判定に用いられる閾値は、
   操作者の操作に従って設定変更可能である、
   請求項１から請求項７の何れか一項に記載の画像検出装置。
9. 画像内の合焦情報に基づいて少なくとも１つの合焦領域を検出する段階と、
   前記画像内で発生する画像劣化の検出範囲を前記検出された各合焦領域を基準とする所定の範囲に設定する検出範囲設定段階と、
   前記設定された検出範囲において画像劣化の検出を行う画像検出段階と、
   を含み、
   前記画像検出段階にて、
   撮像条件の異なる少なくとも一対の画像を取得し、
   取得された対となる画像に基づいて前記検出範囲での画像劣化の検出を行う、
   画像検出方法。
10. 請求項９に記載の画像検出方法をコンピュータに実行させるための画像検出プログラム。

Images