JP7294392B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

従来技術は、動作モードに応じて各処理ブロックに対する供給電源を制御し、消費電力を低減する（たとえば、下記特許文献１を参照）。しかしながら、当該従来技術は、使用しない回路への電源供給を遮断することで消費電力を削減する。したがって、モニタリング動作中の電力削減や動画記録中の電力削減が不十分である。

特開２００９－２３２００３号公報

本願において一側面として開示される撮像装置は、被写体を撮像して画像データを生成する撮像素子と、前記撮像素子によって生成された画像データをデータ処理する際の消費電力が異なる複数のデータ処理部と、動画の記録または表示の動作中に、表示デバイスに表示される前記動画を構成する画像の拡大表示状態に基づいて前記複数のデータ処理部のうち特定のデータ処理部を選択する選択部と、前記選択部によって選択された特定のデータ処理部が動作する第１状態に制御し、前記複数のデータ処理部のうち前記特定のデータ処理部以外の他のデータ処理部を動作しない第２状態に制御する動作制御部と、を有する。

図１は、撮像装置の概略構成例を示す横断面図である。 図２は、撮像装置のブロック構成例を示すブロック構成図である。 図３は、活性化状態および非活性化状態の一例を示す説明図である。 図４は、デモザイク処理とラインメモリとの関係を示す説明図である。 図５は、部分拡大表示領域を含む１フレーム分の画像データでのデモザイク処理の選択例を示す説明図である。 図６は、撮像装置によるデモザイク処理の選択制御処理手順例１を示すフローチャートである。 図７は、撮像装置によるデモザイク処理の選択制御処理手順例２を示すフローチャートである。

＜撮像装置の概略構成例＞
図１は、撮像装置の概略構成例を示す横断面図である。撮像装置１００は、レンズ部１０１およびカメラボディ１０２のうち少なくともカメラボディ１０２を有する。レンズ部１０１は、カメラボディ１０２に着脱可能な交換式レンズである。撮像装置１００は、レンズ部１０１とカメラボディ１０２とが着脱不可能な一体型でもよい。

レンズ部１０１は、撮像光学系１１１と、絞り１１２と、駆動制御部１１３と、レンズ側マウント部１１４と、を有する。撮像光学系１１１は、レンズ１１１ａと、ズーミング用レンズ１１１ｂと、フォーカシング用レンズ１１１ｃと、を含む。絞り１１２は、撮像光学系１１１の光軸１０３に沿って配置されている。

絞り１１２は、光量およびボケ量調整のために光軸１０３中心に開口径が可変な開口を形成する。レンズ側マウント部１１４は、ボディ側マウント部１２４に着脱可能である。レンズ側マウント部１１４は、電気接点１１５を有する。電気接点１１５は、駆動制御部１１３に電気的に接続されている。レンズ側マウント部１１４とボディ側マウント部１２４との装着により、電気接点１１５は、カメラボディ１０２の電気接点１２５と電気的に接続される。

駆動制御部１１３は、不図示のレンズ側プロセッサ、メモリ、および駆動制御回路を含み、撮像光学系１１１を駆動制御する。具体的には、たとえば、駆動制御部１１３は、電気接点１１５，１２５を介してカメラボディ１０２側のシステム制御部１２９と電気的に接続される。

駆動制御部１１３は、レンズ情報をシステム制御部１２９に送信し、制御情報をシステム制御部１２９と送受信する。レンズ情報とは、撮像光学系１１１の光学特性に関する情報である。制御情報とは、ズーミング用レンズ１１１ｂ、フォーカシング用レンズ１１１ｃおよび絞り１１２を駆動するための情報である。

駆動制御部１１３内のプロセッサは、撮像光学系１１１の焦点調節を行うために、カメラボディ１０２内のシステム制御部１２９から送信される制御情報（たとえば、フォーカシング用レンズ駆動コマンド）に基づいて、駆動制御部１１３内の駆動制御回路にフォーカシング用レンズ１１１ｃの駆動制御を実行させる。

駆動制御部１１３のプロセッサは、ズーミング調節を行うために、システム制御部１２９から送信される制御情報（たとえば、ズーミング用レンズ駆動コマンド）に基づいて、駆動制御部１１３内の駆動制御回路にズーミング用レンズ１１１ｂの駆動制御を実行させる。駆動制御部１１３のプロセッサは、絞り１１２の開口径調節を行うために、カメラボディ１０２内のシステム制御部１２９から送信される制御情報（たとえば、絞り駆動コマンド）に基づいて絞り１１２の駆動制御を駆動制御部１１３内の駆動制御回路に実行させる。

カメラボディ１０２は、レリーズボタン（シャッターボタンともいう）１２０と、シャッター１２１と、ファインダ１２２と、操作部１２３と、ボディ側マウント部１２４と、電気接点１２５と、表示デバイス１２６と、撮像素子１２７と、画像処理部１２８と、システム制御部１２９と、記録媒体１３０と、バッテリ１３１と、を有する。

レリーズボタン１２０は、シャッター１２１を開閉制御するためのデバイスである。レリーズボタン１２０は、たとえば、２段階押下式である。レリーズボタン１２０が半押しされることでシャッター１２１が開放されて、オートフォーカスと露出計が作動する。レリーズボタン１２０がさらに押し込まれて全押し状態となることでシャッター１２１が閉鎖される。

シャッター１２１は、撮像素子１２７の手前に設けられ、開放時に被写体光を撮像素子１２７に出射し、閉鎖時に被写体光を遮光する。なお、シャッター１２１は、レンズ部１０１に設けられてもよい。

ファインダ１２２は、被写体像を閲覧可能な表示デバイスである。ファインダ１２２が光学式ファインダである場合、ユーザは、レンズ部１０１から得られた被写体像をファインダ１２２から観察可能である。ファインダ１２２が電子式ファインダである場合、ユーザは、撮像素子１２７からのＲＡＷデータを画像処理部１２８で画像処理した被写体画像をファインダ１２２から閲覧可能である。

操作部１２３は、撮像装置１００に対し、各種操作をするためのボタンやスイッチ、ダイヤルなどの物理的なデバイスである。操作部１２３は、タッチパネルでもよい。

ボディ側マウント部１２４は、レンズ側マウント部１１４に着脱可能である。ボディ側マウント部１２４は、電気接点１２５を有する。レンズ側マウント部１１４とボディ側マウント部１２４との装着により、電気接点１２５は、レンズ部１０１の電気接点１１５と電気的に接続される。

表示デバイス１２６は、撮像素子１２７からのＲＡＷデータを画像処理部１２８で画像処理した画像（静止画、動画、ライブビュー画像を含む）、上述したレンズ情報、そのほか、撮影に関するアイコンや文字情報などを表示するデバイスである。

撮像素子１２７は、レンズ部１０１の撮像光学系１１１から出射された光束（撮像視野内の光束）を受光する。撮像素子１２７は、画像生成のための画素信号を出力する各画素を有する。各画素は、入射された光束を光電変換して画素信号を生成する。撮像素子１２７は、各画素の画素信号からなるＲＡＷデータを画像処理部１２８に出力する。ＲＡＷデータも画像データの一例である。

画像処理部１２８は、撮像素子１２７からのＲＡＷデータを画像処理し、画像処理された画像データ（たとえば、ＪＰＥＧ形式）を表示デバイス１２６および記録媒体１３０に出力する。また、ファインダ１２２が電子式ファインダである場合、画像処理部１２８は、被写体像を縮小してファインダ１２２に出力する。画像処理部１２８の詳細については図２で説明する。

システム制御部１２９は、撮像装置１００を統括制御する。具体的には、たとえば、システム制御部１２９は、駆動制御部１１３、レリーズボタン１２０、操作部１２３、バッテリ１３１からの制御指示に従って、撮像装置１００を制御する。

記録媒体１３０は、カメラボディ１０２に着脱可能であり、画像データを記録する。なお、記録媒体１３０は、カメラボディ１０２に内蔵されていてもよい。

バッテリ１３１は、撮像装置１００内の各部に電力供給する。バッテリ１３１は、着脱型でもよく内蔵型でもよい。図１では、簡略化のため画像処理部１２８にのみ電力供給しているが、システム制御部１２９、撮像素子１２７、ファインダ１２２、表示デバイス１２６、記録媒体１３０にも電力供給する。

＜撮像装置１００のブロック構成例＞
図２は、撮像装置１００のブロック構成例を示すブロック構成図である。本実施例では、撮像装置１００は、動画の記録動作中または画像の表示動作中におけるデモザイク処理を低品質化する。動画の記録動作中とは、撮像素子１２７から得られた時系列なフレーム群（画像データ群）を記録媒体１３０に記録する期間である。画像の表示動作中とは、撮像素子１２７から得られた時系列なフレーム群（画像データ群）の画像を表示デバイス１２６（または電子式ファインダ）に表示している期間である。

具体的には、撮像装置１００は、第１デモザイク処理部２０３および第２デモザイク処理部２０４のうち、デモザイク処理が低品質となるデモザイク処理部を選択する。低品質となるデモザイク処理部は、高品質なデモザイク処理部よりも回路規模が小さいため消費電力が低い。

したがって、消費電力が抑制される。以下、第１デモザイク処理部２０３を高品質（すなわち、高消費電力）なデータ処理部とし、第２デモザイク処理部２０４を第１デモザイク処理部２０３よりも低品質（すなわち、第１デモザイク処理部２０３よりも低消費電力）なデータ処理部として、各ブロックについて詳細に説明する。

システム制御部１２９は、検出部２００を有する。検出部２００は、記録媒体１３０への動画の記録動作中または表示デバイス１２６への画像（静止画、動画、ライブビュー画像を含む）の表示動作中における選択契機を検出する。選択契機は、デモザイク処理を低品質化、すなわち、低消費電力化するためのトリガである。選択契機の具体例については後述する。

画像処理部１２８は、画像前処理部２０１と、選択部２０２と、第１デモザイク処理部２０３と、第２デモザイク処理部２０４と、ラインメモリ２０５と、動作制御部２０６と、画像後処理部２０７と、を有する。選択部２０２は、切替部２３１と決定部２３２とを含む。動作制御部２０６は、電力制御部２６１と信号制御部２６２とを含む。

なお、検出部２００や画像処理部１２８内の各ブロック（ラインメモリ２０５除く）は、具体的には、たとえば、集積回路で設計することによりハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することによりソフトウェアで実現してもよい。

画像前処理部２０１は、撮像素子１２７からのＲＡＷデータを前処理する。具体的には、たとえば、画像前処理部２０１は、ＲＡＷデータのＲ（赤）、Ｇ（緑）、Ｂ（青）の感度調整、ホワイトバランス調整、ノイズ除去、オートフォーカス用の評価値の生成を実行する。

選択部２０２は、動画の記録または表示の動作中における選択契機に基づいて、複数のデータ処理部のうち特定のデータ処理部を選択する。具体的には、たとえば、あるフレームの画像データのデータ処理中に、特定のデータ処理部を選択して、切り替えることになる。ここで、特定のデータ処理部とは、複数のデータ処理部のうち最も低品質（低消費電力）のデータ処理部であり、上述の例では、第２デモザイク処理部２０４である。具体的には、たとえば、選択部２０２は、切替部２３１と、決定部２３２と、を含む。

切替部２３１は、複数のデータ処理部のうちいずれか１つのデータ処理部に画像データを出力可能に切り替える。切替部２３１は、スイッチング回路であり、画像前処理部２０１からの画像データの出力経路を、決定部２３２からの切替指示で指示された出力先となるデータ処理部に切り替える。

決定部２３２は、選択契機に基づいて、特定のデータ処理部を画像データの出力先に決定する。そして、選択部２０２は、特定のデータ処理部を出力先とする切替指示を切替部２３１に与え、切替部２３１を制御して当該切替指示で指示された出力先となるデータ処理部に切り替える。

なお、選択部２０２は、決定部２３２によって決定された特定のデータ処理部が、活性化状態のデータ処理部、すなわち、現在動作中のデータ処理部である場合、切替部２３１を切り替えない。具体的には、たとえば、特定のデータ処理部が、現在動作中の第２デモザイク処理部２０４である場合、切替部２３１を切り替える必要がないため、切り替えない。これにより、切替部２３１の切替試行を抑制することができ、低消費電力化を図ることができる。

第１デモザイク処理部２０３および第２デモザイク処理部２０４はともに、デモザイク処理を実行する。上述したように、第１デモザイク処理部２０３は高品質（すなわち、高消費電力）なデータ処理部であり、第２デモザイク処理部２０４は第１デモザイク処理部２０３よりも低品質（すなわち、第１デモザイク処理部２０３よりも低消費電力）なデータ処理部である。

第１デモザイク処理部２０３は、第２デモザイク処理部２０４に比べて、色補間に用いる周辺画素が多く、したがって、計算量が増大する。このため、第１デモザイク処理部２０３は、第２デモザイク処理部２０４に比べてフリップフロップなどの回路規模が多くなり、消費電力が第２デモザイク処理部２０４よりも増加する。なお、本例では、複数のデータ処理部として、第１デモザイク処理部２０３および第２デモザイク処理部２０４を例に挙げたが、３個以上の電力消費量が異なるデモザイク処理部を用いてもよい。

動作制御部２０６は、選択部２０２によって選択された特定のデータ処理部を活性化状態に制御し、複数のデータ処理部のうち特定のデータ処理部以外の他のデータ処理部を非活性化状態に制御する。上記の例では、特定のデータ処理部が第２デモザイク処理部２０４であるため、第２デモザイク処理部２０４が活性化状態となり、他のデータ処理部である第１デモザイク処理部２０３が非活性化状態となる。

図３は、活性化状態および非活性化状態の一例を示す説明図である。図３では、第１デモザイク処理部２０３を例に挙げて説明するが、第２デモザイク処理部２０４も同様である。活性化状態とは、画像データが与えられることでデモザイク処理が実行可能な状態であり、具体的には、たとえば、電力が供給されている状態（電力供給ＯＮ）、クロック信号が供給されている状態（クロック信号ＯＮ）、または、画像データのデータ信号が抑止されていない状態、すなわち、抑止制御信号を供給しない状態（抑止制御信号ＯＦＦ）である。

一方、非活性化状態とは、画像データが与えられてもデモザイク処理が実行不可能な状態であり、具体的には、たとえば、電力が供給されていない状態（電力供給ＯＦＦ）、クロック信号が供給されていない状態（クロック信号ＯＦＦ）、または、画像データのデータ信号が抑止されている状態、すなわち、抑止制御信号を供給する状態（抑止制御信号ＯＮ）である。

画像データの抑止とは、画像データのデータ信号がリセットされた状態である。具体的には、たとえば、フリップフロップ回路ＦＦの前段に設けられた抑止回路３００は、選択部２０２から抑止制御信号を入力した場合にデータ信号の遷移を抑止して、抑止したデータ信号をＦＦに出力する。一方、抑止回路３００は、抑止制御信号が入力されていない場合にデータ信号の遷移を抑止せずに、そのままフリップフロップ回路ＦＦに出力する。

図２に戻り、動作制御部２０６は、電力制御部２６１と、信号制御部２６２と、を含む。電力制御部２６１は、バッテリ１３１から第１デモザイク処理部２０３および第２デモザイク処理部２０４への電力供給を制御する。具体的には、たとえば、電力制御部２６１は、上記の例では、特定のデータ処理部（第２デモザイク処理部２０４）に電力供給し、他のデータ処理部（第１デモザイク処理部２０３）への電力供給を停止する。

信号制御部２６２は、第１デモザイク処理部２０３および第２デモザイク処理部２０４へのクロック信号または抑止制御信号を制御する。具体的には、たとえば、信号制御部２６２は、上記の例では、特定のデータ処理部（第２デモザイク処理部２０４）にクロック信号を供給し、他のデータ処理部（第１デモザイク処理部２０３）へのクロック信号の供給を停止する。または、信号制御部２６２は、上記の例では、特定のデータ処理部（第２デモザイク処理部２０４）に抑止制御信号の供給を停止し、他のデータ処理部（第１デモザイク処理部２０３）への抑止制御信号を供給する。

動作制御部２０６において、電力供給、クロック信号供給、および抑止制御信号の供給の動作制御のうちいずれを適用するかは、撮像装置１００の設計時、または、撮像装置１００の出荷後においてユーザ設定により決定すればよい。

電力制御部２６１を用いる場合、信号制御部２６２よりも消費電力の抑制効果が得られる。一方、信号制御部２６２で抑止制御信号を用いる場合、いずれのデモザイク処理部にも電力およびクロック信号が供給されているため、抑止制御の解除後の復帰動作が電力制御部２６１やクロック信号制御の場合に比べて速い。また、信号制御部２６２でクロック信号を用いる場合、クロック信号の供給が停止されるため、抑止制御に比べて低消費電力となり、かつ、電力は供給されているため、クロック信号供給後の復帰動作が電力制御の場合に比べて速い。

また、動作制御部２０６は、電力制御部２６１および信号制御部２６２の両方を実装してもよく、いずれか一方を実装してもよい。また、信号制御部２６２は、クロック信号の供給制御および抑止制御信号の供給制御のうち少なくともいずれか一方を実装してもよい。

ラインメモリ２０５は、たとえば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成され、第１デモザイク処理部２０３のワークエリアとして使用される。図２では、第２デモザイク処理部２０４は、ラインメモリ２０５に接続されていないが、第２デモザイク処理部２０４もラインメモリ２０５を用いてもよい。

図４は、デモザイク処理とラインメモリ２０５との関係を示す説明図である。（Ａ）は、第１デモザイク処理部２０３は第１ラインメモリ２５１にアクセス可能であり、第２デモザイク処理部２０４は、第１ラインメモリ２５１よりもメモリ容量が小さい第２ラインメモリ２５２にアクセス可能な例である。

（Ｂ）は、第１デモザイク処理部２０３および第２デモザイク処理部２０４がラインメモリ２０５に接続される例である。この場合、第１デモザイク処理部２０３は、第１メモリ領域２７１にアクセス可能であり、第２デモザイク処理部２０４は、第１メモリ領域２７１よりもメモリ容量が小さい第２メモリ領域２７２にアクセス可能である。

図２に戻り、画像後処理部２０７は、デモザイク処理された画像データの収差補正やアップサンプリング処理、手振れ補正、顔認識処理などの後処理を実行する。なお、顔認識処理は、画像前処理部２０１で実行されてもよく、デモザイク処理と並列に実行されてもよい。

つぎに、動画の記録または表示の動作中における選択契機と動作制御の関係について具体的に列挙して説明する。

（１）選択契機：撮像素子１２７の感度
操作部１２３からの設定またはシステム制御部１２９による自動設定により撮像素子１２７の感度（たとえば、ＩＳＯ感度）が感度しきい値よりも高くなったことを、検出部２００が検出する選択契機とする。感度が感度しきい値よりも高い場合の画像の画質は、感度が感度しきい値以下の画像の画質よりも悪い。

したがって、撮像素子１２７の感度（たとえば、ＩＳＯ感度）が感度しきい値よりも高くなったことを選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、撮像素子１２７の感度（たとえば、ＩＳＯ感度）が感度しきい値以下となったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

（２）選択契機：絞り値
操作部１２３からの設定またはシステム制御部１２９による自動設定により、被写体からの光を通過させる撮像光学系１１１の絞り値が所定絞り値以下となったことを、検出部２００が検出する選択契機とする。絞り値が所定絞り値以下（開放寄り）となった場合、被写界深度が浅くなり、ピントが合わない領域が多く含まれる可能性が高い。ピントが合わない領域が多い被写体に対して高品質なデモザイク処理が無駄になる可能性が高い。

したがって、絞り値が所定絞り値以下となったことを選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、絞り値が所定絞り値よりも大きくなったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

（３）選択契機：合焦動作の開始
レリーズボタン１２０の半押しまたはシステム制御部１２９による自動設定（たとえば、セルフタイマ撮影）により、被写体に対する合焦動作の開始を、検出部２００が検出する選択契機とする。被写体に対する合焦動作を開始した段階では、被写体に合焦していないため、合焦していない被写体に対して高品質なデモザイク処理をするのは無駄である。

したがって、被写体に対する合焦動作の開始を選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、合焦動作の開始以降に合焦を検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

（４）選択契機：表示デバイス１２６の表示解像度
操作部１２３からの設定またはシステム制御部１２９による自動設定により、表示デバイス１２６の表示解像度が所定解像度以下となったことを、検出部２００が検出する選択契機とする。表示解像度が所定解像度以下となった場合、高品質なデモザイク処理をするのは無駄である。したがって、表示解像度が所定解像度以下となったことを選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。

なお、表示解像度が所定解像度よりも高くなったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。また、表示デバイス１２６と電子ファインダ１２２とで解像度が異なり、かつ、一方（たとえば、電子ファインダ１２２）の解像度が相対的に低い場合に、たとえば、電子ファインダ１２２にユーザの顔が接近することで、表示先が表示デバイス１２６から電子ファインダ１２２に切り替わった場合にも、検出部２００が検出する選択契機としてもよい。

（５）選択契機：フレームレート
操作部１２３からの設定またはシステム制御部１２９による自動設定により、表示デバイス１２６のフレームレートが所定フレームレート以上となったことを、検出部２００が検出する選択契機とする。フレームレートが所定フレームレート以上となった場合、時間方向のフレーム数が、所定フレームレート未満の場合のフレーム数よりも多くなり、所定フレームレート未満の場合に比べて１フレーム内の画像の品質を低下させても問題ない。

したがって、フレームレートが所定フレームレート以上となったことを選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、フレームレートが所定フレームレート未満になったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

（６）選択契機：縮小表示
操作部１２３からの設定またはシステム制御部１２９による自動設定により、表示デバイス１２６の表示画面の少なくとも一部の領域における拡大表示が終了したことを、検出部２００が検出する選択契機とする。拡大表示の終了、すなわち、拡大表示から縮小された場合、縮小後の画像の品質を低下させても問題ない。したがって、拡大表示の終了がしたことを選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、拡大表示の開始を検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

なお、上述において、拡大も縮小もしない等倍（１倍）表示を基準として、１倍よりも大きい倍率の場合を拡大表示、１倍未満の倍率の場合を縮小表示とする。たとえば、倍率が１倍より大きい場合は、第１デモザイク処理部２０３が選択され、倍率が１倍の場合は、第２デモザイク処理部２０４が選択され、倍率が１倍未満の場合は不図示の第３もデモザイク処理部（第２デモザイク処理部２０４よりも低品質で低消費電力）が選択される。

また、検出部２００による拡大終了の検出前の倍率と比較して相対的に拡大終了後の倍率が小さければ、縮小表示であるとして、選択契機としてもよい。また、検出部２００による縮小表示終了の検出前の倍率と比較して相対的に縮小終了後の倍率が大きければ、拡大表示であるとして、第１デモザイク処理部２０３を選択する選択契機としてもよい。

（７）選択契機：電池残量
バッテリ１３１の電池残量が所定残量以下となったことを、検出部２００が検出する選択契機とする。電池残量が所定残量以下となった場合、電力消費をできる限り抑制する必要がある。したがって、電池残量が所定残量以下となったことを選択契機とする。これにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、バッテリ１３１への充電やバッテリ１３１の交換により電池残量が所定残量よりも多くなったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

（８）選択契機：画像データの飽和
画像データに飽和状態となった領域が存在すること、たとえば、隣接しあう所定数以上の画素集合が飽和状態となったことを、検出部２００が検出する選択契機とする。たとえば、画像データ内のある領域において特定の色の彩度が高くなりすぎて階調差が所定値以内となる場合、飽和状態となる。飽和状態において高品質なデモザイク処理をするのは無駄である。

したがって、画像データに飽和状態となった領域が存在することを選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、画像データに飽和状態となった領域が存在しなくなったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

（９）選択契機：手振れ量
撮像装置１００の手振れ量が所定手振れ量以上であることを、検出部２００が検出する選択契機とする。手振れ量が所定手振れ量以上となった場合、手振れの影響により表示画像の品質が悪くなるため、所定手振れ量未満の場合に比べて画像の品質を低下させても問題ない。したがって、手振れ量が所定手振れ量以上となったことを選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、手振れ量が所定手振れ量未満になったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

（１０）選択契機：特定のオブジェクト
画像データに特定のオブジェクトが存在しないことを、検出部２００が検出する選択契機とする。ここで、特定のオブジェクトには、たとえば、人物の顔がある。人物の顔は、画像処理部１２８の顔認識処理により認識される。また、撮像装置１００にあらかじめ特定のオブジェクトのテンプレート（登録した特定の顔、建物、動物など）が用意されている場合、当該テンプレートに対応するオブジェクトである。特定のオブジェクトが存在しない場合、特定のオブジェクトを撮影しようとしていたユーザにとっては、無駄な画像データとなる。

したがって、画像データに特定のオブジェクトが存在しないことを選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、画像データに特定のオブジェクトが存在することを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

（１１）選択契機：レリーズボタン１２０
レリーズボタン１２０の操作期間外であることを、検出部２００が検出する選択契機とする。レリーズボタン１２０の操作期間とは、レリーズボタン１２０の半押し（オートフォーカスと露出計が作動）から全押し（シャッター１２１を切る）までの期間である。レリーズボタン１２０の操作期間外では、ライブビュー画像が表示デバイス１２６に表示されている状態であり、レリーズボタン１２０の操作によって取得される画像データよりもデモザイク処理が低品質でも問題はない。

したがって、レリーズボタン１２０の操作期間外であることを選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、レリーズボタン１２０の操作期間であることを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

（１２）選択契機：レンズ駆動
被写体からの光を通過させるレンズの駆動を、検出部２００が検出する選択契機とする。ここでのレンズの駆動とは、具体的には、たとえば、フォーカシング用レンズ１１１ｃの駆動である。フォーカシング用レンズ１１１ｃの駆動中は、被写体に合焦していないため、デモザイク処理が低品質でも問題はない。

したがって、被写体からの光を通過させるレンズの駆動を選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、被写体からの光を通過させるレンズの駆動停止を検出部２００が検出した場合、被写体に合焦したとして、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

（１２）表示デバイス１２６での動画の表示動作中に、表示デバイス１２６の表示画面内の特定のオブジェクトが存在することを、検出部２００が検出する選択契機とする。表示画面内の特定のオブジェクトとは、たとえば、操作部１２３により入力可能なメニュー表示や、撮影のためのグリッド表示、水準器表示である。表示画面内の特定のオブジェクトは、ライブビュー画像の一部に、または、ライブビュー画像に重畳して表示されてもよい。表示画面内の特定のオブジェクトが存在する場合、ユーザは、ライブビュー画像よりも表示画面内の特定のオブジェクトに注目する傾向があるため、デモザイク処理が低品質でも問題はない。

したがって、表示デバイス１２６の表示画面内の特定のオブジェクトが存在することを選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、表示デバイス１２６の表示画面内の特定のオブジェクトが存在しないことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

（１３）表示デバイス１２６の表示画面内での部分拡大表示
表示デバイス１２６での動画の表示動作中に、表示デバイス１２６の表示画面内の部分拡大表示領域が存在しないことを、検出部２００が検出する選択契機とする。部分拡大表示領域とは、表示画面の全体である表示領域のうち、操作部１２３の操作により部分的に拡大表示された領域である。たとえば、ユーザが表示領域内のある領域についてフォーカス調整をしたい場合に、当該領域を部分拡大表示する。部分拡大表示領域は、連続するフレームにおいて同一領域とする。

この場合、撮像装置１００は、現フレームの時間的に先行する先行フレームにおける部分拡大表示領域を保持しておき、現フレームにおいて当該部分拡大表示領域でのデモザイク処理を高品質とし、部分拡大表示領域外の領域のデモザイク処理を低品質とする。より具体的には、画像データをラインごとにデモザイク処理する場合、あるラインにおいて部分拡大表示領域の区間では、第１デモザイク処理が選択され、部分拡大表示領域外の区間では、第２デモザイク処理が選択される。

図５は、部分拡大表示領域を含む１フレーム分の画像データでのデモザイク処理の選択例を示す説明図である。表示領域となるフレーム５００は、先行フレームで規定された部分拡大表示領域５０１を有する。ここで、デモザイク処理は、ラインごとに走査方向の画素順に実行されるものとする。あるラインＬの区間Ａ、Ｃの画素列は、非部分拡大表示領域（等倍の表示領域）５０２に含まれ、ラインＬの区間Ｂの画素列は、部分拡大表示領域５０１に含まれる。区間Ａは非部分拡大表示領域５０２であるため、検出部２００は、区間Ａの先頭画素ｅ１を第２デモザイク処理部２０４を選択する選択契機として検出し、選択部２０２は、区間Ａにおいて先頭画素ｅ１から第２デモザイク処理部２０４でデモザイク処理を実行する。

つぎに、区間Ａの末尾画素ｅ２のデモザイク処理が終了すると、検出部２００は、区間Ｂの先頭画素ｅ３を第１デモザイク処理部２０３を選択する選択契機として検出し、選択部２０２は、区間Ｂにおいて先頭画素ｅ３から第１デモザイク処理部２０３でデモザイク処理を実行する。

つぎに、区間Ｂの末尾画素ｅ４のデモザイク処理が終了すると、検出部２００は、区間Ｃの先頭画素ｅ５を第１デモザイク処理部２０３を選択する選択契機として検出し、選択部２０２は、区間Ｃにおいて先頭画素ｅ５から第２デモザイク処理部２０４でデモザイク処理を実行する。

ユーザは、部分拡大表示領域５０１に注目するため、非部分拡大表示領域５０２を低品質としても問題ない。これにより、非部分拡大表示領域５０２では第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制され、部分拡大表示領域５０１では、非部分拡大表示領域５０２よりもデモザイク処理が高品質となる。なお、デモザイク処理により、部分拡大表示領域５０１よりも１回り（所定画素分）小さい領域の現像結果が拡大表示されてもよい。

（１４）選択契機：レンズの収差補正量
被写体からの光を通過させるレンズ部１０１の収差補正量が所定収差補正量以上であることを、検出部２００が検出する選択契機とする。収差補正量が所定収差補正量以上となった場合、収差補正量にしたがって画像品質の劣化が大きくなる。このため、収差補正量が所定収差補正量以上となった場合、デモザイク処理をあえて低品質とすれば、収差補正に起因する画像品質の劣化が、ユーザにとって顕著にならない可能性がある。

したがって、収差補正量が所定収差補正量以上となったことを選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、収差補正量が所定収差補正量未満になったことを検出部２００が検出した場合、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

（１５）選択契機：セルフタイマ動作中
一定時間の経過により前記被写体を撮像して画像データを取得するセルフタイマの動作中を、検出部２００が検出する選択契機とする。セルフタイマの動作中は、ライブビュー画像が表示されている場合があるが、ライブビュー画像を観察する者が少ないため、デモザイク処理が低品質でも問題はない。

したがって、セルフタイマの動作中を選択契機とすることにより、第２デモザイク処理部２０４が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、セルフタイマの動作終了時を検出部２００が検出した場合、撮影（画像データの取得）されるため、第１デモザイク処理部２０３が選択され、高品質なデモザイク処理が実行される。

なお、消費電力を低下させる選択契機と消費電力を上昇させる選択契機とが競合した場合、消費電力を低下させる選択契機を優先して、第２デモザイク処理部２０４を選択するようにしてもよい。この場合、消費電力を上昇させる選択契機と競合した場合に優先させる、消費電力を低下させる選択契機（たとえば、上記（７）の電池残量）をあらかじめ決定部２３２に設定しておき、消費電力を低下させる選択契機により第２デモザイク処理部２０４がデモザイク処理を実行中に、検出部２００が消費電力を上昇させる選択契機を検出しても、選択部２０２は、消費電力を上昇させる選択契機を選択しない。これにより、低消費電力を優先してデモザイク処理を実行することができる。

＜デモザイク処理の選択制御処理手順例＞
図６は、撮像装置１００によるデモザイク処理の選択制御処理手順例１を示すフローチャートである。図６は、１フレームのデモザイク処理中にデモザイク処理部を切り替える選択制御処理を示す。なお、ここでは、例として、初期状態において切替部２３１が接続される出力先は、第１デモザイク処理部２０３とする。また、図６では、動作制御部２０６として信号制御部２６２のクロック供給制御を適用する場合について説明するが、抑止制御信号や電力制御部２６１による電力供給制御を適用する場合も同様である。

まず、画像処理部１２８は、１フレーム分のＲＡＷデータを撮像素子１２７から入力する（ステップＳ６０１）。画像処理部１２８は、入力されたＲＡＷデータについて画像前処理部２０１により画像前処理を実行し、画像前処理された画像データを所定数のライン（たとえば、１ライン）ずつ切替部２３１に出力する（ステップＳ６０２）。

つぎに、システム制御部１２９は、検出部２００により、上述した（１）～（１５）の消費電力を低下させる選択契機を検出したか否かを判断する（ステップＳ６０３）。検出していない場合（ステップＳ６０３：Ｎｏ）、ステップＳ６０９に移行する。一方、検出した場合（ステップＳ６０３：Ｙｅｓ）、画像処理部１２８は、選択部２０２内の決定部２３２により、特定のデモザイク処理部を、画像前処理部２０１からの画像データの出力先に決定する（ステップＳ６０４）。

そして、画像処理部１２８は、選択部２０２により、切替部２３１の切り替えが必要であるか否かを判断する（ステップＳ６０５）。すなわち、選択部２０２は、現在動作状態のデモザイク処理部と、今回決定された特定のデモザイク処理部とが異なるか否かを判断する。異なる場合は、切り替えが必要であり、同一である場合は、切り替えが不要である。

切替が不要である場合（ステップＳ６０５：Ｎｏ）、ステップＳ６０９に移行する。一方、切替が必要である場合（ステップＳ６０５：Ｙｅｓ）、選択部２０２は、切替部２３１の出力先が、特定のデモザイク処理部（たとえば、第２デモザイク処理部２０４）となるように切替部２３１を切り替える（ステップＳ６０６）。

そして、画像処理部１２８は、動作制御部２０６内の信号制御部２６２により、特定のデモザイク処理部へのクロック信号の供給を開始し（ステップＳ６０７）、特定のデモザイク処理部以外の他のデモザイク処理部（たとえば、第１デモザイク処理部２０３）へのクロック信号の供給を停止し（ステップＳ６０８）、特定のデモザイク処理部によりデモザイク処理を実行する（ステップＳ６０９）。これにより、他のデモザイク処理部がデモザイク処理を実行する場合に比べて、消費電力の低下を図ることができる。

このあと、画像処理部１２８は、画像後処理部２０７により画像後処理を実行し（ステップＳ６１０）、画像後処理後の画像データにより、表示デバイス１２６に表示画像を出力する（ステップＳ６１１）。動画の記録中である場合は、画像処理部１２８は、画像後処理後の画像データを記録媒体１３０に記録する（ステップＳ６１１）。これにより、１フレーム分の処理が終了する（ステップＳ６１２）。

このように、選択制御処理手順例１によれば、動画記録中またはライブビュー画像の表示中における選択契機に応じて低消費電力である特定のデモザイク処理部を動作状態とし、より消費電力が高い他のデモザイク処理部を非動作状態とするため、動画の記録動作中または画像の表示動作中における消費電力の低減化を図ることができる。

図７は、撮像装置１００によるデモザイク処理の選択制御処理手順例２を示すフローチャートである。図７は、１フレームのデモザイク処理中に、次に撮像素子１２７から得られるフレームに対するデモザイク処理部を切り替える選択制御処理を示す。これにより、フレーム単位でデモザイク処理の品質を切り替えることができるため、１フレーム中において、高品質なデモザイク処理の処理結果と低品質なデモザイク処理の処理結果との混在を抑制することができる。

なお、図６と同様、例として、初期状態において切替部２３１が接続される出力先は、第１デモザイク処理部２０３とする。また、図６と同様、動作制御部２０６として信号制御部２６２のクロック供給制御を適用する場合について説明するが、抑止制御信号や電力制御部２６１による電力供給制御を適用する場合も同様である。なお、図６で用いた処理と同一処理については同一ステップ番号を付し、その説明を省略する。

ステップＳ６０５において、切替必要と判断された場合（ステップＳ６０５：Ｙｅｓ）、画像処理部１２８は、切替予約フラグＦをＦ＝１に設定する（ステップＳ７０１）。切替予約フラグＦとは、次のフレームに対して切替部２３１の切り替えを予約するためのフラグである。Ｆ＝１が予約有りを示し、Ｆ＝０が予約なしを示す。

切替予約フラグＦをＦ＝１に設定後（ステップＳ７０１）、画像処理部１２８は、ステップＳ６０９～Ｓ６１１を実行し、その後、すなわち、１フレーム分の出力または記録の終了後に切替予約フラグＦを参照し、切替予約フラグＦがＦ＝１であるか否かを判断する（ステップＳ７０２）。切替予約フラグＦがＦ＝１でない場合（ステップＳ７０２：Ｎｏ）、ステップＳ６１３に移行する。一方、切替予約フラグＦがＦ＝１である場合（ステップＳ７０２：Ｙｅｓ）、画像処理部１２８は、次のフレームのために、動作制御部２０６内の信号制御部２６２により、特定のデモザイク処理部へのクロック信号の供給を開始する（ステップＳ６０７）。

また、画像処理部１２８は、選択部２０２により、切替部２３１の出力先が、特定のデモザイク処理部（たとえば、第２デモザイク処理部２０４）となるように切替部２３１を切り替え、切替予約フラグＦをリセット（Ｆ＝０）する（ステップＳ７０３）。そして、画像処理部１２８は、特定のデモザイク処理部以外の他のデモザイク処理部が次のフレームでは動作しないため、特定のデモザイク処理部以外の他のデモザイク処理部（たとえば、第１デモザイク処理部２０３）へのクロック信号の供給を停止する（ステップＳ６０８）。そして、１フレーム分の処理が終了する（ステップＳ６１２）。これにより、他のデモザイク処理部がデモザイク処理を実行する場合に比べて、動画の記録動作中または画像の表示動作中における消費電力の低下を図ることができる。

このように、フレームの入力中に次のフレームでのデモザイク処理部の切替の有無をあらかじめ判断しておき、当該フレームの画像処理の終了後、次のフレームの画像処理前の間に、デモザイク処理の選択制御（ステップＳ６０７、Ｓ７０３、Ｓ６０８）を実行する。したがって、フレーム単位でデモザイク処理の品質を切り替えることができ、１フレーム中において、高品質なデモザイク処理の処理結果と低品質なデモザイク処理の処理結果との混在を抑制することができる。これにより、たとえば、高品質な画像に低品質な処理結果が含まれないことになる。したがって、動画の記録動作中または画像の表示動作中における消費電力の低減化と高品質画像の維持とを両立することができる。

なお、上述した撮像装置１００は、デジタルカメラ（レンズ交換式一眼レフカメラ、レンズ交換式ミラーレスカメラ、コンパクトデジタルカメラ、デジタルビデオカメラを含む）を例に挙げて説明したが、カメラを有するスマートフォン、タブレット、ドローン、車両のドライブレコーダや、監視カメラにも適用可能である。

また、上述した撮像装置１００の処理の一部または全部をソフトウェアで実現する場合、ダウンロードサーバに記憶されたプログラムを撮像装置１００にダウンロードし、ダウンロードしたプログラムを撮像装置１００内のプロセッサが実行してもよい。

１００ 撮像装置、１０１ レンズ部、１０２ カメラボディ、１１１ 撮像光学系、１１１ レンズ部１０１ 撮像光学系、１１３ 駆動制御部、１２０ レリーズボタン、１２１ シャッター、１２２ ファインダ、１２３ 操作部、１２６ 表示デバイス、１２７ 撮像素子、１２８ 画像処理部、１２９ システム制御部、１３０ 記録媒体、１３１ バッテリ、２００ 検出部、２０１ 画像前処理部、２０２ 選択部、２０３ 第１デモザイク処理部、２０４ 第２デモザイク処理部、２０５ ラインメモリ、２０６ 動作制御部、２０７ 画像後処理部、２３１ 切替部、２３２ 決定部、２６１ 電力制御部、２６２ 信号制御部

Claims (7)

1. 被写体を撮像して画像データを生成する撮像素子と、
   前記撮像素子によって生成された画像データをデータ処理する際の消費電力が異なる複数のデータ処理部と、
   動画の記録または表示の動作中に、表示デバイスに表示される前記動画を構成する画像の拡大表示状態に基づいて前記複数のデータ処理部のうち特定のデータ処理部を選択する選択部と、
   前記選択部によって選択された特定のデータ処理部が動作する第１状態に制御し、前記複数のデータ処理部のうち前記特定のデータ処理部以外の他のデータ処理部を動作しない第２状態に制御する動作制御部と、
   を有する、撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記選択部は、
   前記複数のデータ処理部のうちいずれか１つのデータ処理部に前記画像データを出力可能に切り替える切替部と、
   前記選択部は、前記動画の記録または表示の動作中に、前記特定のデータ処理部を前記画像データの出力先に決定する決定部と、を有し、
   前記決定部によって決定された前記特定のデータ処理部が前記画像データの出力先となるように前記切替部を切り替える、撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記選択部は、
   前記複数のデータ処理部のうちいずれか１つのデータ処理部に前記画像データを出力可能に切り替える切替部と、
   前記選択部は、前記動画の記録または表示の動作中に、前記特定のデータ処理部を、前記画像データの出力後に前記撮像素子から出力される次の画像データの出力先に決定する決定部と、を有し、
   前記第１状態のデータ処理部が前記画像データについてのデータ処理を終了した後に、前記決定部によって決定された前記特定のデータ処理部が前記次の画像データの出力先となるように前記切替部を切り替える、撮像装置。
4. 請求項２または３に記載の撮像装置であって、
   前記選択部は、前記決定部によって決定された前記特定のデータ処理部が、前記第１状態のデータ処理部である場合、前記切替部を切り替えない、撮像装置。
5. 請求項１に記載の撮像装置であって、
   前記動作制御部は、前記特定のデータ処理部に動作クロック信号を供給することにより、前記特定のデータ処理部を前記第１状態に制御し、前記他のデータ処理部に動作クロック信号を供給しないことにより、前記他のデータ処理部を前記第２状態に制御する、撮像装置。
6. 請求項１に記載の撮像装置であって、
   前記動作制御部は、前記特定のデータ処理部に電力供給することにより、前記特定のデータ処理部を前記第１状態に制御し、前記他のデータ処理部に電力供給しないことにより、前記他のデータ処理部を前記第２状態に制御する、撮像装置。
7. 請求項１に記載の撮像装置であって、
   前記動作制御部は、前記特定のデータ処理部への前記画像データの入力を許可することにより、前記特定のデータ処理部を前記第１状態に制御し、前記他のデータ処理部への前記画像データの信号遷移を抑止することにより、前記他のデータ処理部を前記第２状態に制御する、撮像装置。

Images