JP2015233270A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】視差像を取得可能な撮像素子を有し、視差量の算出を可能としながら送信または記録するデータ量を削減することの可能な撮像装置およびその制御方法を提供する。
【解決手段】画像信号のうち、複数の光電変換部から得られる画像信号については画素ごとに加算し、画素あたり１つの信号とした第１画像信号と、複数の光電変換部を有する画素の１つ以上の光電変換部から得られる画像信号を加算しない第２画像信号のうち、第２画像信号については、一部が出力されるように選択する。
【選択図】図４

Description

本発明は、撮像装置及びその制御方法に関し、特に複数の光電変換部が設けられた画素を有する撮像素子を用いる撮像装置およびその制御方法に関する。

結像光学系の射出瞳の異なる部分領域を通過した光束を別個の光電変換部で受光するように構成された画素を有する撮像素子が知られている。このような画素は、視差のある２つの画像信号（以下Ａ像、Ｂ像と呼ぶ）を取得するために用いられる。Ａ像とＢ像の位相差を求めることで、位相差検出方式の焦点検出を行うことができる。また、Ａ像とＢ像から距離画像を作成することもできる。

Ａ像およびＢ像の応用例として、Ａ像とＢ像とから撮像画像の小領域ごとにデフォーカス量を求め、デフォーカス量に応じた画像処理を施したり（特許文献１）、デフォーカス量の分布を求めて記録したり（特許文献２）することが知られている。

特開２００８−１５７５４号公報 特開２００９−１２４３１３号公報

撮像画像の小領域ごとにデフォーカス量を算出するには、図２に示したような、複数の光電変換部を有する画素を撮像素子に多く設ける必要がある。しかし、デフォーカス量の算出処理負荷が増大し、特に動画撮影時の様に撮影間隔が短い場合にはリアルタイムでデフォーカス量を算出するのが困難になる場合がある。

また、画素ごとの、より精密なデフォーカス量及び距離情報を取得するために、高度な画像処理が必要となることがある。例えば、相関値が最大となる位相差（シフト量）をＡ像とＢ像の位相差または視差量として求めるのが一般的だが、被写体が周期的なテクスチャを有する場合は、異なる複数のシフト量に対して相関値が高くなるため、正しい値の算出が難しくなる場合がある。また、Ａ像とＢ像の一方のみにしか映っていない領域が存在する場合、その領域に対する位相差または視差量を求めることができない。

このように、膨大な計算を行わなければならない場合、撮像装置の処理能力では、動画撮影時や連写撮影時におけるリアルタイム処理が困難である。また、回路規模等の問題で複雑処理を実行するためのハードウェアが撮像装置に実装できない場合もある。このような場合、撮像装置からＡ像、Ｂ像の画像信号を出力して外部装置で位相差や視差量の算出、距離画像の生成などを行ったり、記録されたＲＡＷデータに対して撮像装置や外部装置で同様の処理を行ったりする必要がある。

ただし、外部装置にＡ像およびＢ像の画像信号を出力する場合、例えば撮像素子の各画素でＡ像およびＢ像を得る場合には２倍の画素数に相当するデータ量を送信しなければならない。また、一旦記録して後で画像処理を行う場合にも、記憶容量を節約する必要がある。従って、視差量を算出することを可能にしながら送信または記録するデータ量を削減する技術が必要である。

本発明はこのような課題に鑑みなされたものであり、視差像を取得可能な撮像素子を有し、視差量の算出を可能としながら送信または記録するデータ量を削減することの可能な撮像装置およびその制御方法の提供を目的とする。

上述の目的は、複数の光電変換部を含む画素を複数有する撮像素子から読み出された画像信号を取得する取得手段と、複数の光電変換部から得られる画像信号を、画素ごとに加算して第１画像信号を生成する第１生成手段と、複数の光電変換部から得られる画像信号のうち、画素ごとに少なくとも一つ以上の画像信号を加算せずに第２画像信号を生成する第２生成手段と、第１画像信号及び第２画像信号の少なくともいずれかが予め定めた条件を満たす場合に、出力すべき第２画像信号を選択する選択手段と、選択手段が選択した第２画像信号を出力する出力手段と、を有することを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、視差像を取得可能な撮像素子を有する撮像装置およびその制御方法において、視差像のデータを効率よく外部に送信可能とすることができる。

本発明の実施形態に係る画像処理システムの構成を示すブロック図 第１実施形態における視差量検出用画素の構成および撮像素子の画素配列の例を示す図 第１実施形態におけるデジタルカメラの動作を説明するためのフローチャート 第１実施形態における画像信号送信部の動作を模式的に示す図 第１実施形態における画像信号送信部の動作のフローチャート 図５の動作により画像信号送信部が出力する画像信号の例を示す図 第１実施形態における、外部装置から受信した距離情報を用いた動作のフローチャート 第１実施形態における記録後画像処理のフローチャート 第２実施形態における視差量検出用画素の構成例を示す図 第２実施形態におけるデジタルカメラの動作を説明するためのフローチャート 第２実施形態における画像信号送信部が出力する画像信号を示す図 第３および第４実施形態における画像信号送信部の動作のフローチャート 第４実施形態における画像信号送信部の動作を説明するための図 第５実施形態における画像信号送信部の動作を説明するための図 第６実施形態に係る画像処理システムの構成を示すブロック図 第６実施形態における撮像装置および外部装置の動作を説明するためのフローチャート

●（第１実施形態）
以下、本発明の例示的な実施形態について、図面を参照しながら説明する。なお、以下では本発明を撮像装置の一例としてのデジタルカメラに適用した実施形態を説明するが、本発明は、カメラを備えた任意の電子機器において実施することができる。

図１は、本実施形態に係る画像処理システムを構成するデジタルカメラと外部装置の機能構成例を示すブロック図である。デジタルカメラ１２０は、光学系１００、撮像部１０１、画像信号生成部１０２、視差量算出部１０３、画像信号送信部１０４、画像処理部１０５、記録部１０６、表示部１０７、距離情報受信部１０８を有する。なお、実施形態に直接関連しない、デジタルカメラが通常有する構成については図示していない。

制御部１１０は例えばプログラマブルプロセッサ（ＭＰＵ）を有し、不揮発性メモリに記憶されたプログラムをＭＰＵで実行して各機能ブロックを制御することにより、以下に説明する実施形態に係る動作を含めたデジタルカメラ１２０の処理を実現する。制御部１１０はＲＡＭのような揮発性メモリを備え、プログラムの実行などに用いる。また、不揮発性メモリには各種の設定値やＧＵＩデータなども記憶されている。

光学系１００は結像光学系であり、フォーカスレンズや、絞り兼用シャッターなどが含まれる。制御部１１０はフォーカスレンズを駆動して光学系１００の合焦距離を制御したり、絞り兼用シャッターの開口径や開閉動作を制御したりする。

撮像部１０１は、光学系１００が撮像面に結像した被写体像を光電変換して、被写体像を表す電気信号（画像信号）にする撮像素子を有する。なお、「画像信号」とは１回の撮影で各画素から得られる信号（画素信号）の集まりである。画像信号生成部１０２は、撮像部１０１から受信した画像信号をそのまま出力したり、複数の画像信号を合成して出力したりすることができる。視差量算出部１０３は、画像信号生成部１０２から受信した複数の画像信号の視差量を算出する。画像信号送信部１０４は、画像信号生成部１０２からの画像信号と、視差量算出部１０３から視差量の情報とを受信し、出力する画像信号または画像信号の一部を選択することができる。

画像信号送信部１０４は有線通信インタフェースおよび無線通信インタフェースの少なくとも一方を備え、画像信号や視差量の情報を、デジタルカメラ１２０と通信可能に接続された外部装置１５０や記録部１０６に出力する。外部装置１５０は例えばパーソナルコンピュータやクラウドコンピュータ等、デジタルカメラ１２０よりも処理能力の高い装置である。

画像処理部１０５は、画像信号生成部１０２から受信した画像信号や、記録部１０６で記憶装置もしくは着脱可能な記録媒体に記録された画像信号に対し、予め定められた画像処理を適用する。予め定められた画像処理には、例えばホワイトバランス処理や、ノイズ低減処理、エッジ強調処理、ガンマ処理等の現像処理や、ぼかし処理等が含まれるが、他の画像処理が含まれてもよい。

記録部１０６は、画像処理部１０５で現像された画像信号や、画像信号送信部１０４が出力した画像信号等を、制御部１１０の制御に従ってハードディスクや半導体メモリなどの内蔵記憶装置や、着脱可能な記録媒体に記録する。また、記録部１０６は、記録された画像信号を制御部１１０の制御に従って読み出すことができる。

表示部１０７は、画像処理部１０５で現像した画像信号や、記録部１０６で記録された画像信号を表示する。表示部１０７はまた、ユーザがデジタルカメラ１２０に各種の指示や設定を行うためのＵＩを表示する。

距離情報受信部１０８は、有線通信インタフェースおよび無線通信インタフェースの少なくとも一方を備え、外部装置１５０が算出した距離情報を受信して、距離情報や距離情報に基づく情報を制御部１１０に供給する。

操作部１１１は、ユーザがデジタルカメラ１２０に撮影準備指示や撮影指示を始めとした各種の指示を与えたり、各種の設定を行ったりするための入力デバイス群であり、ボタン、スイッチ、タッチパネルなどを含む。

なお、光学系１００、表示部１０７および操作部１１１を除く各機能ブロックの少なくとも一部については、制御部１１０がソフトウェア的に実現してもよい。また、複数の機能ブロックが１つのハードウェアで実現されてもよい。

外部装置１５０はデジタルカメラ１２０と通信可能な任意の電子機器、例えば汎用コンピュータであってよく、送受信部１５１を通じてデジタルカメラ１２０と通信可能に接続される。ＭＰＵ１５２は送受信部１５１を通じてデジタルカメラ１２０から画像信号などを受信し、予め定められた方法で距離情報を算出し、送受信部１５１を通じて距離情報をデジタルカメラ１２０に送信する。なお、ＭＰＵ１５２はＲＡＭとＲＯＭを内蔵し、デジタルカメラ１２０との通信や距離情報の算出に係る処理を実施するためのプログラムはＲＯＭに記憶されているものとする。もちろん、ハードディスクドライブなどの記憶装置からプログラムをＲＡＭに読み込んで実施してもよい。

図２（ａ）は、本実施形態の撮像部１０１が有する、視差像の取得が可能な画素（視差検出用画素）の構成例を示している。画素にはマイクロレンズ２０３と、２つの光電変換部または受光素子２０４、２０５が設けられており、受光素子２０４は射出瞳領域２０１を通過した光束を、受光素子２０５は射出瞳領域２０２を通過した光束を、それぞれ受光する。受光素子２０４で得られる画像信号をＡ像、受光素子２０５で得られる画像信号をＢ像とすると、Ａ像とＢ像は視差像となる。複数の画素から得られるＡ像とＢ像の位相差を求めることで、位相差検出方式の焦点検出を行うことができる。また、Ａ像とＢ像から距離画像を作成することもできる。

図２（ａ）のように画素の光電変換部が水平方向に分割（配置）されている場合、Ａ像とＢ像とから水平方向の視差量を求めることができる。光電変換部が垂直方向に分割された画素を設ければ、Ａ像とＢ像とから垂直方向の視差量を求めることができる。なお、図２（ａ）では画素の光電変換部が２等分された構成を示したが、３つ以上に分割することも可能である。例えば、垂直方向および水平方向でそれぞれ２等分した４つの光電変換部を１つの画素が有してもよい。ただし、以下では説明および理解を容易にするため、本実施形態の撮像部１０１が有する視差検出用画素は、いずれも水平方向に２等分された光電変換部を有するものとする。

図２（ｂ）は、本実施形態の撮像部１０１の画素配列例を示す模式図であり、画素領域の一部を抜き出して示している。図２（ｂ）に示すように、本実施形態の撮像部１０１は、すべての画素が図２（ａ）の構成を有する視差検出用画素である。従って、１度の撮影により、同一構成（水平方向ｎ画素×垂直方向ｍ画素）のＡ像ならびにＢ像の画像信号を取得することができる。なお、撮像部１０１の全画素が視差検出用画素であることは必須でなく、特定の領域のみに視差検出用画素を配置した構成であってもよい。

次に、本実施形態のデジタルカメラ１２０の撮影時におけるＡ像およびＢ像の画像信号に対する処理動作について、図３（ａ）のフローチャートを用いて説明する。この処理は、例えば操作部１１１から撮影開始指示が与えられ、制御部１１０が光学系１００の絞り兼用シャッターを制御して撮像部１０１を露光し、撮像部１０１の各画素からＡ像およびＢ像の画像信号を読み出した後に実施される。

Ｓ４０１で画像信号生成部１０２は、撮像部１０１から読み出された画像信号を受信する。受信する画像信号は、撮像部１０１の各画素の受光素子２０４，２０５から独立して読み出された信号群からなる、Ａ像とＢ像のＲＡＷ画像信号である。例えば撮像部１０１がベイヤー配列のカラーフィルタを有する場合、Ａ像、Ｂ像ともベイヤー配列のＲＡＷ画像信号である。

Ｓ４０２で画像信号生成部１０２は、Ａ像とＢ像のＲＡＷ画像信号を、同じ画素から読み出された信号を加算することによって合成し、合成後の画像信号（第１画像信号）を画像処理部１０５と画像信号送信部１０４に送信する。同じ画素が有する受光素子２０４，２０５の出力を加算すると、加算信号は画素全体で受光した信号となり、分割されていない光電変換部を有する、通常の画素の出力と見なすことができる。従って、合成後の画像信号を基本画像信号として、表示や記録に用いることができる。

画像処理部１０５は受信した基本画像信号に対して前述のような現像処理を適用する。また、記録や表示に特有の処理を適用した後、記録部１０６および表示部１０７へ送信する。記録に特有な処理は例えば符号化処理や、データファイル生成処理（ファイルヘッダの生成ならびに付加など）である。また表示に特有な処理は、表示部１０７の解像度に応じたリサイズ処理などである。画像処理部１０５のこれらの処理は、通常のデジタルカメラにおいて行われる処理と同様であるため、これ以上の説明は省略する。

Ｓ４０３で視差量算出部１０３は、Ａ像とＢ像の画像信号を受信する。Ａ像とＢ像の画像信号は、撮像部１０１から直接受信しても良いし、画像信号生成部１０２を経由して受信してもよい。そして、Ｓ４０４で視差量算出部１０３は、受信したＡ像とＢ像の画像信号を用いて視差量を算出する。

視差量の算出方法は特に制限はなく、一般的に位相差検出方式の自動焦点検出で行われるような、相関量が最大となるシフト量から視差量として求める方法であってよい。具体的には、水平方向における所定の複数画素から得られるＡ像とＢ像について、一方を他方に対して相対的にシフトさせ、異なるシフト量に対する相関値を算出する。そして、Ａ像とＢ像の相関が最も高くなるシフト量から視差量を算出すればよい。

しかしながら、例えば画像を小領域に分割し、各小領域で視差量を求める場合や、動画撮影等、高フレームレートでの撮影時には、各フレーム（撮影された画像）についてリアルタイムで視差量を算出することが困難になりうる。このような場合、精度は低くなるが、より計算量の少ない簡易的な方法で視差量を算出してもよい。例えば、Ａ像とＢ像とをシフトさせずに、Ａ像とＢ像の対応する小領域ごとに画素の差分和を算出し、差分和が大きい領域ほど大きな視差量を割り当てるようにしてもよい。あるいは、視差量を算出する領域を少なくして計算量を削減してもよい。視差量算出部１０３は、算出した視差量を画像信号送信部１０４に送信する。

視差量算出部１０３は少なくとも２種類の、負荷の異なる視差量の算出が可能であり、どの方法で視差量を算出するかは、制御部１１０が決定して視差量算出部１０３に設定するように構成することができる。決定方法に特に制限は無いが、例えば制御部１１０は視差量算出部１０３の負荷が所定レベルを超えた場合や、撮影条件が連写や動画撮影のように時系列的に画像信号が読み出される場合は負荷の小さな方法で算出することを決定することができる。これらは単なる例示であり、他の条件を用いたり、３段階以上の判定を行ったりしてもよい。

Ｓ４０５で画像信号送信部１０４は、画像信号生成部１０２がＳ４０２で生成した基本画像信号と、視差量算出部１０３がＳ４０４で算出した視差量とを受信する。画像信号送信部１０４（領域選択手段）は、外部装置１５０および記録部１０６に出力する画像信号あるいは画像領域を選択する（Ｓ４０６）。そして画像信号送信部１０４は、選択した画像信号に視差量検出画素に関する情報を付加してパーソナルコンピュータやクラウドコンピュータ等の外部装置１５０や記録部１０６に出力する（Ｓ４０７）。なお、出力先の外部装置１５０は予め設定されているものとする。また、記録部１０６は、画像信号送信部１０４から出力された画像信号の全てあるいはその一部を記録する。

視差量検出画素に関する情報とは、画像信号が視差量検出画素から生成されたものであるか否かの情報、どの瞳領域を透過した光を受光した画素から生成された画像信号であるかの情報である。本実施形態の場合、基本画像信号には、視差量検出画素から生成されたものであるという情報と、Ａ像用受光素子から生成された画像信号とＢ像用受光素子から生成された画像信号を加算した画像信号であるという情報を付加する。Ｂ像の画像信号（第２画像信号）には、画像信号には視差量検出画素から生成されたものであるという情報と、Ｂ像用受光素子から生成された画像信号であるという情報を付加する。本実施形態では全ての画素が視差量算出用画素であるとして説明を行っているが、撮像素子が複数有する画素の一部が視差量検出用画素である場合は、視差量検出用画素の位置情報も付加すればよい。

視差量検出用画素に関する情報は、外部装置１５０で視差量を算出する際や、記録されたデータからデジタルカメラ１２０（視差量算出部１０３）で視差量を算出する際に用いられる。例えば記録または送信された画像信号がＡ像とＢ像を合成した基本画像信号とＢ像の画像信号であることが分かれば、後の処理で基本画像信号からＢ像の画像信号を減算することによりＡ像の画像信号を生成することができる。そして、生成されたＡ像の画像信号と、受信した（読み出した）Ｂ像の画像信号とから視差量を算出することができる。また、撮像素子の中の画素の中の一部が視差量検出用画素である場合は、視差量検出用画素の位置が分かれば、視差量検出用画素位置のみで視差量算出の処理を行うことができる。

以上の動作を、撮像部１０１によって撮影を行うごとに（１フレームごとに）実行する。なお、「フレーム」は１回の撮影で得られる画像を意味し、動画像を構成する画像に限らず、連写時に各撮影で得られる画像など、静止画に対しても用いる。

Ｓ４０６において画像信号送信部１０４が行う選択処理について、図３（ｂ）及び図４を用いてさらに説明する。図３（ｂ）に示すフローチャートは、画像信号送信部１０４が１フレームごとに実施する動作を示している。

Ｓ５０１において画像信号送信部１０４は、前フレームで算出された視差量と、現フレームで算出された視差量の変化が閾値以上かを判断する。閾値は、撮影シーンから決定しても良いし、撮影時の絞り値によって決めてもよい。また、視差量の前のフレームからの変化を算出する場合、画面の中央や主要被写体が存在する領域における視差量の変化に大きい重みを与えてもよい。画像信号送信部１０４は、視差量の変化が閾値以上の場合はＳ５０２へ、そうでない場合はＳ５０３へ処理を進める。

Ｓ５０２で画像信号送信部１０４は、Ｂ像の画像信号の送信を決定する。一方、Ｓ５０３で画像信号送信部１０４は、Ａ像とＢ像を合成した画像信号（基本画像信号）の送信を決定する。例えば距離画像を外部装置１５０で生成する場合や、撮影後にデジタルカメラ１２０で作成する場合、視差量を算出するのに必要な分の情報があれば良いため、前フレームから視差量に変化のない（あるいは少ない）フレームを送る必要はない。

そのため、このように前フレームからの視差量の変化が大きいフレームのみ、基本画像信号に加えてＢ像の画像信号を送信するようにして、送信データ量を削減する。また、前フレームからの視差量の変化ではなく、前回Ｂ像を送信したときのフレームからの視差量の変化が閾値以上の場合にＢ像を送信対象としたり、現フレームの視差量が閾値以上の場合にＢ像を送信対象としたりすることもできる。このように、Ｂ像については、予め定めた条件を満たす場合に一部または全部を送信対象として選択することにより、Ｂ像の送信データ量を削減することができる。

図４（ａ）〜（ｄ）は、画像信号送信部１０４がＳ４０６で送信対象として選択し、Ｓ４０７で出力する画像信号の例を時系列で示した模式図である。各枠内に送信される画像信号の種類とフレーム番号を示している。例えばフレーム１、５、７、１０において前フレームからの視差量の変化が大きいと判定された場合、図４（ａ）のような送信が行われる。

あるいは、図４（ｂ）に示すように、予め定めた周期で間欠的にＢ像を送信するようにしてもよい。Ｂ像を送信する周期は、例えば画像信号送信部１０４から画像信号を外部装置１５０に送信する際の送信レートの上限に応じて決めることができる。

図４（ｃ）は、図４（ａ）に示す画像信号の出力を行った際の視差量の算出方法を模式的に示している。基本画像信号はＡ像とＢ像の画像信号の加算結果であるから、基本画像信号とＢ像の画像信号とからＡ像の画像信号を求めることができる。従って、Ｂ像の画像信号が送信されるフレーム１、５、７、１０については視差量を算出することができる。Ｂ像の画像信号が送信されないフレームについては、図４（ｃ）に点線で示すように、直前および直後に算出された視差量を補間して算出すればよい。あるいは、Ｂ像の画像信号が送信されないフレームは前フレームからの視差量の変化が小さいフレームであるから、直前もしくは直後に算出された視差量をそのまま用いてもよい。

また、図３（ｂ）と図４を用いた説明では、前フレームからの視差量の変化が大きいフレームについてＢ像の全体を送信対象として選択する構成であったが、Ｂ像の一部領域を送信するようにしてもよい。この場合のＳ４０６における画像信号送信部１０４の動作を、図５及び図６を用いて説明する。

Ｓ７０１で画像信号送信部１０４は、基本画像信号が表す画像の領域を選択する。この領域は、画像を格子状に分割した領域の１つでもよいし、その他の任意の手法を用いて画像を分割した領域の１つでもよい。次に、Ｓ７０２で画像信号送信部１０４は、Ｓ７０１で選択した領域について、前フレームとの視差量の差分を算出する。

画像信号送信部１０４は、差分量が閾値以上の場合はＳ７０３へ、そうでない場合はＳ７０４へ処理を進める。なお、１フレーム目の場合はＳ７０３へ処理を進める。Ｓ７０３で画像信号送信部１０４は、Ｓ７０１で選択した領域のＢ像の画像信号の送信を決定する。Ｓ７０４で画像信号送信部１０４は、基本画像信号の全領域に対して処理を行ったかどうか判定し、未処理の領域があれば処理をＳ７０１へ戻し、次の画像領域について処理する。一方、全領域を処理し終えた場合、画像信号送信部１０４は、処理をＳ７０５へ進め、基準画像信号の送信を決定する。

図６（ａ）は、図５に示した選択処理を行った場合に画像信号送信部１０４が出力する画像信号の例を模式的に示す図である。図で実線の枠で示す、前フレームからの視差量の変化が大きい画像領域のみＢ像の画像信号を送信する。あるいは、図６（ｂ）に示すように送信するＢ像の画像領域を周期的に変えてもよい。図６に示すように、Ｂ像の一部のみについて画像信号が送信される場合、画像信号送信部１０４は、視差量検出用画素に関する情報に、画像の分割規則に関する情報と、送信されている領域を特定する情報とを含める。なお、フレーム全体で評価した視差量が所定フレーム連続して大きい場合に、視差量の評価単位を小領域に変更して、データ量を削減するように構成してもよい。

このようにして画像信号送信部１０４から出力した画像信号は、パーソナルコンピュータやクラウドコンピュータ等の外部装置１５０で処理され、距離情報が算出される。外部装置１５０では、受信した画像信号から例えば図４（ｃ）に関して説明したように視差量を算出し、デジタルカメラ１２０に距離情報として返送する。外部装置１５０は画像信号とともに送信される視差量検出用画素に関する情報から、Ｂ像の画像信号がどのように送信されているのかに基づいて視差量を算出することができる。外部装置１５０では視差量算出部１０３よりも精度の高い視差量が演算できる。

なお、外部装置１５０はデジタルカメラ１２０から画像信号を受け取って距離情報を算出し、デジタルカメラ１２０に送り返すアプリケーションが動作する任意の電子機器であってよく、例えばパーソナルコンピュータのような汎用コンピュータである。基本的に外部装置１５０はデジタルカメラ１２０よりも処理能力が高い。

なお、図６に示したように一部領域についてのみＢ像の画像信号が送信される場合、外部装置１５０は画像信号が送信されなかった領域についての視差量を予め定められた方法で算出することができる。例えば、その領域について時間的に前後で直近に算出された視差量を補間してもよいし、直前に算出された視差量をそのまま用いてもよい。

距離情報受信部１０８は、外部装置１５０で算出した距離情報を受信する。距離情報は、画像信号送信部１０４が外部装置１５０へ送信した画像信号を用いて算出したものである。距離情報とは、例えば画素毎に距離の情報を持った距離画像や、視差量、デフォーカス量等である。本実施形態では、距離情報が視差量であるとする。

図７に示すフローチャートは、外部装置１５０で算出された距離情報をデジタルカメラ１２０が利用してフォーカス制御する際の動作例を示している。
Ｓ９０１で距離情報受信部１０８が外部装置から距離情報（ここでは視差量）を受信する。なお、外部装置１５０から距離情報を受信する場合、距離情報の種類や内容は予め設定されていてもよいし、外部装置１５０がそれらの情報を距離情報とともに通知するように構成してもよい。ここでは一例として、外部装置１５０が画像を格子状に分割した小領域ごとの視差量（シフト量）を算出しているものとする。

Ｓ９０２で距離情報受信部１０８は、受信した視差量をデフォーカス量に変換する。光学系１００のフォーカスレンズ位置などの光学パラメータ、撮像部１０１が有する撮像素子の画素ピッチを用いて、視差量をデフォーカス量に変換することができる。距離情報受信部１０８は、光学パラメータや画素ピッチに加え、デフォーカス量を求める領域の情報を制御部１１０から取得する。デフォーカス量を求める領域は例えば、設定されている焦点検出領域の位置と大きさに関する情報であってよい。焦点検出領域は、ユーザが設定したものであってもよいし、顔検出のような被写体検出の結果に基づいて決定された主被写体領域であってもよい。

Ｓ９０３で距離情報受信部１０８は、算出したデフォーカス量を制御部１１０に送信する。そしてＳ９０４で制御部１１０は、受信したデフォーカス量に応じて光学系１００の有するフォーカスレンズを駆動し、フォーカス制御を行う。

例えば動画撮影中は、図３（ａ）で説明した送信処理と、図７で説明したフォーカス制御処理を継続的に行い、動画の記録とフォーカス制御を行う。なお、本実施形態では、距離情報受信部１０８で視差量からデフォーカス量を算出する構成を説明した。しかし、デジタルカメラ１２０の光学パラメータや画素ピッチなど、視差量からデフォーカス量を得るために必要な情報を外部装置１５０に予め登録しておいたり、画像信号とともに送信したりして、外部装置１５０でデフォーカス量の算出まで行ってもよい。この場合、距離情報受信部１０８は、受信したデフォーカス量を制御部１１０に送信し、制御部１１０が必要な領域のデフォーカス量を選択してフォーカスレンズを駆動すればよい。
このように、外部装置１５０には視差量の算出に用いるべき範囲で視差像のデータを送信することで、送信データ量を削減した、効率のよいデータ送信が可能になる。

また、デジタルカメラ１２０の記録部１０６が記録した、基本画像信号とＢ像の画像信号を用いて、デフォーカス量に応じた画像処理を基本画像信号に適用するなどの画像処理を撮影後にデジタルカメラ１２０で実行することも可能である。

図８は、記録部１０６で記録された画像信号を用いた、記録後画像処理の動作を示すフローチャートである。この処理は、記録後に操作部１１１を通じて与えられるユーザの指示に応じて実施されてもよいし、デジタルカメラ１２０の処理負荷が閾値以下に軽減したなどの予め定められた条件が満たされたことに応じて自動で実施されてもよい。

Ｓ１００１で制御部１１０は、記録部１０６に記録されている画像信号のうち、画像処理の対象となる基本画像信号と、対応づけて記録されているＢ像の画像信号とを読み出して、画像処理部１０５へ送信する。

Ｓ１００２で画像処理部１０５は視差量を算出する。画像処理部１０５は、視差量算出部１０３のような動画撮影時や連写撮影時のフレームレートで処理を行うための簡易的な処理に比べてより高度な視差量算出処理が可能である。視差量は例えば小領域ごとに求めてもよいし、画素単位で求めてもよい。

Ｓ１００３で画像処理部１０５は、基本画像信号の現像処理を行う。現像処理とは、ホワイトバランス処理や、ノイズ低減処理、エッジ強調処理、ガンマ処理等である。現像処理後の画像は、ＹＵＶ４２２やＲＧＢ３プレーン形式となる。

Ｓ１００４で画像処理部１０５は、現像後の基本画像信号に対し、Ｓ１００２で算出した視差量を用いた画像処理を適用する。画像処理の種類に制限はないが、例えばぼかし処理であってよい。ぼかし処理は、例えば特許文献１に記載されているように、視差量に応じてぼかしの程度を変化させるような処理であってよい。このように、動画撮影時や連写撮影時のフレームレートで複雑なアルゴリズムの処理を行うことができなくとも、記録部１０６に視差量の算出に十分な画像信号を記録しておくことで、撮影後に精度の高い視差量の算出、及びそれを応用した画像処理が可能となる。

以上説明したように、本実施形態によれば、視差像を取得可能な撮像素子を有するデジタルカメラにおいて、視差量の算出を可能としながら送信または記録するデータ量を削減することができる。そのため、外部装置を用いてリアルタイム処理を実現したり、記録媒体の容量を節約できたりする。

なお、記録部１０６で記録するデータについては、例えば画像信号のデータを全て保存しておきたい場合、図４（ｄ）のようにＡ像とＢ像をそれぞれ毎フレーム出力するようにしてもよい。

また、外部装置１５０との通信回線の速度などに応じて、外部装置１５０に送信する画像信号について解像度を落としたり、フレーム全体ではなく焦点検出領域に対応する部分だけについて上述した処理を適用して送信するようにしてもよい。

●（第２実施形態）
以下、本発明の第２実施形態について、図面を参照しながら説明する。
本実施形態は、撮像素子の各画素が垂直および水平方向にそれぞれ２等分された受光素子（光電変換領域）を有するように構成されている点で第１実施形態と異なる。図９は本実施形態の撮像素子の１画素を光学系１００側から見た状態を模式的に示している。画素には１つのマイクロレンズ１１００と、４つの受光素子（光電変換領域）１１０１〜１１０４とを有している。受光素子１１０１〜１１０４は、それぞれが異なる瞳領域を透過した光を受光し、１度の撮像によりＡ像、Ｂ像、Ｃ像、Ｄ像の４枚の画像信号を取得することができる。

図９のように視差量検出用画素の受光素子１１０１〜１１０４が水平、垂直方向に配置されている場合、Ａ像とＢ像、またはＣ像とＤ像から水平方向の視差量を求めることができる。また、Ａ像とＣ像、またはＢ像とＤ像から垂直方向の視差量を求めることができる。

本実施形態のデジタルカメラ１２０の撮影時におけるＡ像およびＢ像の画像信号に対する処理動作について、図１０（ａ）のフローチャートを用いて説明する。なお、図１に示す構成のデジタルカメラで実施するものとし、第１実施形態と異なる動作について重点的に説明する。

Ｓ１２０１で画像信号生成部１０２は、撮像部１０１から読み出された画像信号を受信する。受信する画像信号は、撮像部１０１の各画素の受光素子１１０１〜１１０４から独立して読み出された信号群からなる、Ａ像〜Ｄ像のＲＡＷ画像信号である。例えば撮像部１０１がベイヤー配列のカラーフィルタを有する場合、Ａ〜Ｄ像ともベイヤー配列のＲＡＷ画像信号である。

Ｓ１２０２で画像信号生成部１０２は、Ａ像〜Ｄ像のＲＡＷ画像信号を、同じ画素から読み出された信号を加算することによって合成し、合成後の画像信号を画像処理部１０５と画像信号送信部１０４に送信する。同じ画素が有する受光素子１１０１〜１１０４の出力を加算すると、加算信号は画素全体で受光した信号となり、分割されていない光電変換部を有する、通常の画素の出力と見なすことができる。従って、合成後の画像信号を基本画像信号として、表示や記録に用いることができる。画像処理部１０５は受信した基本画像信号に対して第１実施形態と同様の現像処理を適用する。また、記録や表示に特有の処理を適用した後、記録部１０６および表示部１０７へ送信する。

Ｓ１２０３で視差量算出部１０３は、Ａ像〜Ｄ像の画像信号を受信する。Ａ像〜Ｄ像の画像信号は、撮像部１０１から直接受信しても良いし、画像信号生成部１０２を経由して受信してもよい。そして、Ｓ１２０４で視差量算出部１０３は、受信したＡ像〜Ｄ像の画像信号を用いて視差量を算出する。

視差量は第１実施形態と同様の方法で算出すればよい。算出する視差量は、Ａ像とＢ像、またはＣ像とＤ像から算出した水平方向の視差量でもよいし、Ａ像とＣ像、またはＢ像とＤ像から算出した垂直方向の視差量でもよい。あるいは、水平方向の視差量と垂直方向の視差量の合計でもよい。

Ｓ１２０５で画像信号送信部１０４は、画像信号生成部１０２がＳ１２０２で生成した基本画像信号と、視差量算出部１０３がＳ１２０４で算出した視差量とを受信する。画像信号送信部１０４は、外部装置１５０に出力する画像信号あるいは画像領域を選択する（Ｓ１２０６）。そして、画像信号送信部１０４は、選択した画像信号に視差量検出画素に関する情報を付加してパーソナルコンピュータやクラウドコンピュータ等の外部装置１５０や記録部１０６に出力する（Ｓ１２０７）。

視差量検出画素に関する情報とは、画像信号が視差量検出画素から生成されたものであるか否かの情報、どの瞳領域を透過した光を受光した画素から生成された画像信号であるかの情報である。本実施形態の場合、基本画像信号には、視差量検出画素から生成されたものであるという情報と、Ａ像〜Ｄ像用受光素子から生成された画像信号を加算した画像信号であるという情報を付加する。Ｂ像の画像信号には、画像信号には視差量検出画素から生成されたものであるという情報と、Ｂ像用受光素子から生成された画像信号であるという情報を付加する。Ｃ像、Ｄ像の画像信号についてもＢ像の画像信号と同様の情報を付加する。本実施形態では全ての画素が視差量算出用画素であるとして説明を行っているが、撮像素子の中の画素の中の一部が視差量検出用画素である場合は、視差量検出用画素の位置情報も付加すればよい。

視差量検出用画素に関する情報は、外部装置１５０で視差量を算出する際や、記録されたデータからデジタルカメラ１２０（視差量算出部１０３）で視差量を算出する際に用いられる。例えば記録または送信された画像信号がＡ像〜Ｄ像を合成した基本画像信号とＢ像〜Ｄ像の画像信号であることが分かれば、後の処理で基本画像信号からＢ像〜Ｄ像の画像信号を減算することによりＡ像の画像信号を生成することができる。そして、生成されたＡ像の画像信号と、受信した（読み出した）Ｂ像〜Ｄ像の画像信号とを用いて視差量を算出することができる。また、撮像素子の中の画素の中の一部が視差量検出用画素である場合は、視差量検出用画素の位置が分かれば、視差量検出用画素位置のみで視差量算出の処理を行うことができる。

Ｓ１２０６において画像信号送信部１０４が行う選択処理について、図１０（ｂ）及び図１１を用いてさらに説明する。図１０（ｂ）に示すフローチャートは、画像信号送信部１０４が１フレームごとに実施する動作を示している。

Ｓ１３０１において画像信号送信部１０４は、前フレームで算出された視差量と、現フレームで算出された視差量の変化が閾値以上かを判断する。閾値は、撮影シーンから決定しても良いし、撮影時の絞り値によって決めてもよい。また、視差量の前のフレームからの変化を算出する場合、画面の中央や主要被写体が存在する領域における視差量の変化に大きい重みを与えてもよい。画像信号送信部１０４は、視差量の変化が閾値以上の場合はＳ１３０２へ、そうでない場合はＳ１３０３へ処理を進める。

Ｓ１３０２で画像信号送信部１０４は、Ｂ像〜Ｄ像の画像信号の送信を決定する。一方、Ｓ１３０３で画像信号送信部１０４は、Ａ像〜Ｄ像を合成した画像信号（基本画像信号）の送信を決定する。例えば距離画像を外部装置１５０で生成する場合や、撮影後にデジタルカメラ１２０で作成する場合、視差量を算出するのに必要な分の情報があれば良いため、前フレームから視差量に変化のない（あるいは少ない）フレームを送る必要はない。そのため、このように前フレームからの視差量の変化が大きいフレームのみ、基本画像信号に加えてＢ像〜Ｄ像の画像信号を送信するようにして、送信データ量を削減する。

図１１（ａ）は、画像信号送信部１０４がＳ１２０６で送信対象として選択し、Ｓ１２０７で出力する画像信号の例を時系列で示した模式図である。各枠内に送信される画像信号の種類とフレーム番号を示している。例えばフレーム１、４、７、１０において前フレームからの視差量の変化が大きいと判定された場合、図１１（ａ）のような送信が行われる。

あるいは、図１１（ｂ）に示すように周期的にＢ像〜Ｄ像を送信するようにしてもよい。Ｂ像〜Ｄ像を送信する周期は、例えば画像信号送信部１０４から画像信号を外部装置１５０に送信する際の送信レートの上限に応じて決めることができる。また、前フレームからの視差量の変化ではなく、前回Ｂ像（Ｃ像、Ｄ像）を送信したときのフレームからの視差量の変化が閾値以上の場合にＢ像（Ｃ像、Ｄ像）を送信対象としてもよい。あるいは、現フレームの視差量が閾値以上の場合にＢ像（Ｃ像、Ｄ像）を送信対象としたりすることもできる。

このように、視差量検出用画素が異なる瞳領域を透過した光をそれぞれ受光する４つの受光素子を有する場合にも、第１実施形態と同様の効果が得られる。

●（第３実施形態）
以下、本発明の第３実施形態について、図面を参照しながら説明する。
本実施形態は、第１実施形態とは異なる外部装置１５０への送信データ量の削減方法に関する。例えば、デジタルカメラを三脚に取り付けて撮影する場合、視差量、すなわち距離情報が変化するのは移動被写体の領域に限られる。このように、撮影画像中で距離情報が変化する領域が限定される場合、距離情報が変化する領域についてのみＢ像を外部装置へ送信すればよい。

このような原理に基いて画像信号送信部１０４が行う動作（Ｓ４０６で行う選択処理に相当）を図１２（ａ）のフローチャートを用いて説明する。
Ｓ１２０１において画像信号送信部１０４は、画像信号の中から領域を選択する。ここで選択する領域は、例えば１フレーム分の画像信号を水平および垂直に分割したブロック状の領域（分割領域）であってよい。また、最終的に全ての分割領域がＳ１２０１で選択されれば選択順序は任意であるが、例えば、左端の分割領域から右端の分割領域まで順に選択する動作を、上から下に繰り返すことができる。

次にＳ１２０２において画像信号送信部１０４は、選択した領域内の画像の変化量を算出する。変化量とは、例えば画像信号値（輝度値や色差値）のヒストグラムにおける前フレーム内の同位置の分割領域の画像との差や、前後のフレームから求めた動きベクトルの大きさなどであってよい。あるいは、より簡易な方法で得られる、画像の変化量に依存する他の特徴量であってもよい。また、この変化量は、画像信号送信部１０４で算出してもよいし、階調制御の際に算出したヒストグラムや動画符号化の際に用いる動きベクトル等、他の目的で画像処理部１０５で算出した特徴量を流用してもよい。

そして、画像信号送信部１０４は、選択した領域内の画像の変化量が閾値以上か否かを判定し、閾値以上の場合にはＳ１２０３に、閾値未満の場合にはＳ１２０４に、それぞれ処理を進める。その結果、画像信号送信部１０４は、画像の変化量が閾値以上の領域についてはＢ像とＡ＋Ｂ像を、画像の変化量が閾値未満の領域についてはＡ＋Ｂ像を、それぞれ送信すべき信号として決定する。

Ｓ１２０５で画像信号送信部１０４は、１フレーム分の分割領域全てについて処理したか判定し、未処理の分割領域があればＳ１２０１から処理を繰り返す。１フレーム分の分割領域全てについて、送信すべき信号を決定したら、画像信号送信部１０４は選択処理を終了する。

第１実施形態では、視差量の差分が閾値以上の領域について、Ｂ像を外部装置に送信するものとした。しかし、デジタルカメラ側で視差量が算出できない場合、本実施形態のように画像の変化量を表す他の特徴量が閾値以上の領域について、Ｂ像を外部装置に送信するものと決定することができる。

なお、デジタルカメラを三脚に取り付けて撮影しても、絞りや焦点距離（画角）などの撮像条件が変化した場合は、動体領域以外でも視差量が変化しうる。よって、撮像条件が変化したフレームについては、必ずＢ像を送信するように決定してもよい。このような原理に基いて画像信号送信部１０４が行う動作（Ｓ４０６で行う選択処理に相当）を図１２（ｂ）のフローチャートを用いて説明する。

Ｓ１３０１において画像信号送信部１０４は、視差量の変化に関連する撮像条件が前フレームから変化したか否かを判定する。視差量の変化に関連する撮像条件とは、例えば絞り値や、焦点距離（画角）などである。

そして、画像信号送信部１０４は、視差量の変化に関連する撮像条件が前フレームから変化していればＳ１３０２に、変化していなければＳ１３０３に、それぞれ処理を進める。その結果、画像信号送信部１０４は、視差量の変化に関連する撮像条件が前フレームから変化していればＢ像とＡ＋Ｂ像を、視差量の変化に関連する撮像条件が前フレームから変化していなければＡ＋Ｂ像を、現フレームおいて送信すべき信号として決定する。

図１２（ｂ）の選択処理は、他の実施形態と組み合わせることができる。例えば、図３（ｂ）に示した処理おいてＳ５０１でＮＯと判定された場合に、図１２（ｂ）の処理を実行するように構成することができる。また、図１２（ａ）に示した処理を行う前に図１２（ｂ）の処理を行い、Ｓ１３０１でＮＯと判定された場合に、Ｓ１２０１からの処理を実行するように構成することができる。

図１２（ｂ）の処理を含めることにより、送信データ量を削減するとともに、後で距離情報の取得が不可能な状況になることを防止することができる。

本実施形態によれば、距離情報が変化する領域についてのみＢ像を外部装置へ送信することで、視差像を取得可能な撮像素子を有するデジタルカメラにおいて、視差量の算出を可能としながら送信または記録するデータ量を削減することができる。そのため、外部装置を用いてリアルタイム処理を実現したり、記録媒体の容量を節約できたりする。

また、視差量の変化に関連する撮像条件が前フレームから変化していれば、フレーム全体についてＢ像を外部装置に送信するようにすることで、送信データ量を削減するとともに、後で距離情報の取得が不可能な状況になることを防止することができる。

●（第４実施形態）
以下、本発明の第４実施形態について、図面を参照しながら説明する。
本実施形態は、送信する画像信号（ＲＡＷ）を圧縮（符号化）することにより送信データ量を削減する手法である。例えば外部装置１５０に画像信号を送信する場合、送信前に画像信号に対して符号化処理等の圧縮処理を適用することでデータ量を削減することが考えられる。しかし、ＪＰＥＧ方式など、画像の高周波成分を削減する圧縮処理を適用した場合、圧縮処理時に失われた高周波成分が外部装置でＡ＋Ｂ像とＢ像から算出する視差量の精度を低下させうる。そのため、本実施形態では、Ａ＋Ｂ像とＢ像を送信する場合には圧縮処理を適用せず、Ａ＋Ｂ像のみを送信する場合には圧縮処理を適用することで、送信データ量の削減と、外部装置における視差量の算出精度の低下抑制とを両立させる。

このような本実施形態の処理を、図１３（ａ）のフローチャートを用いて説明する。まず画像信号送信部１０４は、Ａ＋Ｂ像のみを送信するか、Ａ＋Ｂ像とＢ像の両方を送信するかを決定する。送信する画像信号の決定方法は、これまでに説明した方法のいずれかを用いることができる。

Ｓ１４０１で画像信号送信部１０４は、送信対象の領域（１フレーム全体もしくは部分領域）が、Ａ＋Ｂ像のみを送信する領域か、Ａ＋Ｂ像とＢ像の両方を送信する領域かを判定する。Ａ＋Ｂ像をのみを送信する領域と判定されれば、画像信号送信部１０４（画像信号圧縮手段）は処理をＳ１４０２へ進め、Ａ＋Ｂ像にデータ量を圧縮する処理を適用し、Ｓ１４０３で圧縮されたＡ＋Ｂ像を外部装置に送信する。Ｓ１４０２で適用する圧縮処理に特に制限は無く、任意の方法を用いることができる。また、画像信号送信部１０４内に圧縮処理用の回路を備えるようにしてもよい。

一方、Ｓ１４０１でＡ＋Ｂ像とＢ像の両方を送信する領域と判定された場合、画像信号送信部１０４は処理をＳ１４０４へと進め、Ａ＋Ｂ像とＢ像に圧縮処理を適用せず、非圧縮の状態で外部装置１５０に送信する。

図１３（ｂ）は、フレーム単位で送信すべき信号を決定する場合、図１３（ａ）の処理によって送信されるデータの例を模式的に示している。

なお、外部装置１５０で視差量を精度よく算出する必要があるか否かに応じて、図１３（ａ）の処理を実行するか否かを動的に切り替えてもよい。すなわち、外部装置１５０で精度のよい視差量の算出が必要ない場合は、全てのフレームについて常に圧縮処理を適用し、外部装置１５０で精度のよい視差量の算出が必要な場合は、Ａ＋Ｂ像だけを送信するフレームについて圧縮処理を適用すればよい。

●（第５実施形態）
以下、本発明の第５実施形態について、図面を参照しながら説明する。
現像処理に用いられる基本画像信号のＡ＋Ｂ像に対し、Ｂ像の画像信号は主に視差量の算出に用いられる。よって、精度の高い視差量の算出が不要の場合は、Ｂ像の画像信号を縮小することで、送信データ量を削減することができる。

撮像素子の光電変換部が図２のように水平方向にのみ分割されている場合、Ａ像とＢ像の相関が最も高くなる水平方向のシフト量から視差量を算出するため、水平方向の解像度が高い（画素数が多い）ほど視差量の算出精度が向上する。

従って、視差量の算出精度の低下を抑制しつつ、Ｂ像の送信データ量を削減するには、算出するシフト量の方向と異なる方向（ここでは例えば垂直方向）について主に縮小（削減）すればよい。縮小処理は、画像信号生成部１０２あるいは画像信号送信部１０４で行えばよい。

図１４に、Ｂ像信号の縮小方法の例を示す。図１４（ａ）は、Ａ＋Ｂ像の解像度（水平方向ｎ画素×垂直方向ｍ画素）に対し、Ｂ像の解像度を垂直方向に半分（水平方向ｎ画素×垂直方向ｍ／２画素）にする例を示している。この縮小処理では、水平方向の解像度を保ちつつ、Ｂ像の送信データ量を半分に削減可能である。

図１４（ｂ）は、垂直方向にのみ光電変換部が分割されている場合に、Ａ＋Ｂ像の解像度（水平方向ｎ画素×垂直方向ｍ画素）に対し、Ｂ像の解像度を水平方向に半分（水平方向ｎ／２画素×垂直方向ｍ画素）にする例を示している。この縮小処理では、垂直方向の解像度を保ちつつ、Ｂ像の送信データ量を半分に削減可能である。

このように、光電変換部の分割方向（瞳分割方向）と異なる（例えば直交する）方向にＢ像の画像信号を縮小することにより、算出される視差量の精度低下を抑制しつつ、外部装置に送信するＢ像の画像データ量を削減することができる。
なお、精度の高い視差量の算出が不要の場合は、図１４（ｃ）に示すように、光電変換部の分割方向にもＢ像を縮小してもよいし、縮小方向の画素数（解像度）が１／２未満となるように縮小してもよい。

なお、画像信号の縮小方法に特に制限はないが、例えば隣接する複数の画像信号を加算して１つの画素値を得る方法や、所定の間隔で画像信号を間引く方法などを例示できる。隣接する複数の画像信号を加算する方法では信号量が増加するため、暗い被写体を撮像するシーン等でも有用である。一方で、画像信号を加算することによって、解像度が低下する場合があるため、この低下が好ましくない場合は所定の間隔で画像信号を間引くことができる。

●（第６実施形態）
以下、本発明の第６実施形態について、図面を参照しながら説明する。
本実施形態のデジタルカメラは、外部装置の要求に対してＡ＋Ｂ像およびＢ像の画像信号を送信する機能を有する。図１５は、本実施形態に係る画像処理システムを構成するデジタルカメラと外部装置の機能構成例を示すブロック図である。画像処理システムを構成する機能ブロック１６００〜１６５２は図１の１００〜１５２と同様であるが、本実施形態では、外部装置１６５０の送受信部１６５１からデジタルカメラ１６２０の画像信号送信部１６０４への信号線が追加されている。また、デジタルカメラ１６２０の記録部１６０６から外部装置１６５０の送受信部１６５１への信号線が追加されている。さらに、画像処理部１６０６から画像信号送信部１６０４への信号線が追加されている。

図１６（ａ）は、デジタルカメラ１６２０が、外部装置１６５０の要求に対して画像信号を送信する処理を説明するフローチャートである。
まず、Ｓ１７０１でデジタルカメラ１６２０の画像信号送信部１６０４が、Ａ＋Ｂ像とＢ像の要求信号を外部装置１６５０の送受信部１６５１から受信する。Ａ＋Ｂ像とＢ像の要求信号では、送信レートやＢ像のデータ削減要否および方法などが指定される。要求信号の生成処理の詳細については、図１６（ｂ）を用いて後で説明する。

次に、Ｓ１７０２で画像信号送信部１６０４は、要求されたＡ＋Ｂ像の画像信号を外部装置１６５０の送受信部１６５１へ送信する。次いでＳ１７０３で画像信号送信部１６０４は、要求されたＢ像の画像信号を外部装置１６５０の送受信部１６５１へ送信する。以上のＳ１７０１〜Ｓ１７０３の処理を、Ｓ１７０４において撮影終了と判定されるまで画像信号送信部１６０４は繰り返し実行する。

次に、図１６（ｂ）のフローチャートを用いて、外部装置１６５０の送受信部１６５１からのＡ＋Ｂ像とＢ像の要求信号の送信処理に関して説明する。
まず、Ｓ１７１１にて外部装置の送受信部１６５１は、デジタルカメラ１６２０と外部装置１６５０との間における通信速度を決定する。通信速度とは、デジタルカメラ１６２０と外部装置１６５０の間で単位時間あたりに送信可能な最大データ量を示す。例えば、通信速度はデジタルカメラ１６２０と外部装置１６５０の間の通信環境や、デジタルカメラ１６２０と外部装置１６５０がサポートする通信プロトコルに依存する。また、外部装置１６５０がクラウド上の画像処理サーバであった場合、通信速度は外部装置１６５０の通信混雑状況や画像処理能力にも依存しうる。

送受信部１６５１は、予め定められた、通信速度を決定するための複数のパラメータに関する値の組み合わせに応じて、通信速度を決定することができる。複数のパラメータに関する値の組み合わせと、対応する通信速度との関係を予めテーブル形式などで記憶しておき、決定時におけるパラメータ値の組み合わせを用いてテーブルを参照することで通信速度を決定すればよい。もちろん、他の方法で通信速度を決定してもよい。

次にＳ１７１２で送受信部１６５１は、Ｓ１７１１で決定した通信速度から、Ａ＋Ｂ像とＢ像の要求内容を決定する。例えば、デジタルカメラ１６２０から、撮像したＡ＋Ｂ像とＢ像を、データ量を削減せずに毎フレーム送信したとしても、Ｓ１７１１で決定した通信速度を超えないとする。この場合、送受信部１６５１は、全フレームかつ全領域のＡ＋Ｂ像とＢ像を要求内容として決定し、対応する要求信号を送信する（Ｓ１７１３）ことができる。しかし、データ量を削減しないとＳ１７１１で決定した通信速度を超える場合、送受信部１６５１は、送信データ量の削減を指示する要求信号を送信する（Ｓ１７１３）。

例えば、外部装置１６５０は通信の確立時にデジタルカメラ１６２０から能力情報を取得する。この能力情報には、デジタルカメラ１６２０における動画の撮影フレームレートや解像度に関する情報や、デジタルカメラ１６２０が実施可能なデータ量の削減方法と実現可能な削減量または削減割合に関する情報が含まれている。あるいは、外部装置１６５０にデジタルカメラの機種情報と能力情報とを対応付けて記憶しておき、デジタルカメラ１６２０から取得した機種情報から能力情報を取得してもよい。

そして、送受信部１６５１は、Ｓ１７１１で決定した通信速度Ｈと、能力情報から得られる単位時間あたりの最大データ量Ｍ（全フレームかつ全領域のＡ＋Ｂ像とＢ像を送信する場合の単位時間あたりのデータ量）とを比較する。そして、送受信部１６５１は、Ｍ＞Ｈであれば、Ｍ≦Ｈかつ必要な視差量の算出精度を満たすようなデータ量の削減方法を能力情報に基づいて決定する。

例えば送受信部１６５１は、要求信号において撮影フレームレートよりも低いフレームレートでＡ＋Ｂ像とＢ像を送信するように指示することができる。また、送受信部１６５１は、上述の実施形態の１つ以上の実行を指示することができる。送受信部１６５１は、デジタルカメラ１６２０における撮影が終了するまで、Ｓ１７１１〜Ｓ１７１３の処理を繰り返し実行する。

なお、外部装置１６５０に送信されなかったＡ＋Ｂ像とＢ像、あるいはその一部の画像領域の信号に関しては、デジタルカメラ１６２０の記録部１６０６に記録しておき、撮影終了後に外部装置１６５０の送受信部１６５１に送信するようにしてもよい。

また、全フレームかつ全画像領域についてＡ＋Ｂ像とＢ像の画像信号を送信しても通信速度を超えない場合であっても、Ｂ像の送信データ量を削減するようにしてもよい。例えば、外部装置において、人物の顔領域やその他の主要被写体のみについて視差量（距離情報）が必要な場合、必要な領域についてのみＢ像の画像信号の送信を要求する要求信号を撮像装置に送信すればよい。

同様に、全フレームかつ全画像領域についてＡ＋Ｂ像とＢ像の画像信号を送信しても通信速度を超えない場合であっても、外部装置の画像処理の目的（アプリケーション等）に応じてＢ像の画像信号の解像度を低下させるように要求してもよい。精度の良い距離情報が必要な場合はＢ像の画像信号の解像度を低下させず、精度の良い距離情報が必要ない場合は、第４〜第５実施形態で説明したようにＢ像の画像信号の解像度を低下させるように要求する要求信号を送信することができる。

なお、上述した実施形態は単なる例示であり、特許請求の範囲に規定された範囲内で様々な変更を行うことができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００…光学系、１０１…撮像部、１０２…画像信号生成部、１０３…視差量算出部、１０４…画像信号送信部、１０５…画像処理部、１０６…記録部、１０７…表示部、１０８…距離情報受信部

Claims (15)

1. 複数の光電変換部を含む画素を複数有する撮像素子から読み出された画像信号を取得する取得手段と、
   前記複数の光電変換部から得られる画像信号を、画素ごとに加算して第１画像信号を生成する第１生成手段と、
   前記複数の光電変換部から得られる画像信号のうち、画素ごとに少なくとも一つ以上の画像信号を加算せずに第２画像信号を生成する第２生成手段と、
   前記第１画像信号および前記第２画像信号の少なくともいずれかが予め定めた条件を満たす場合に、出力すべき第２画像信号を選択する選択手段と、
   前記選択手段が選択した第２画像信号を出力する出力手段と、を有することを特徴とする撮像装置。
2. 前記取得手段が取得する画像信号が、動画もしくは連写撮影に係る画像信号であることを特徴とする請求項１記載の撮像装置。
3. 前記複数の光電変換部は光学系の射出瞳の異なる領域を通過した光束をそれぞれ受光し、
   前記複数の光電変換部から得られる画像信号を用いて視差量又はでフォーカス量を算出する算出手段を有し、
   前記選択手段は、前記視差量が予め定めた条件を満たす場合に、出力すべき前記第２画像信号を選択することを特徴とする請求項１または２に記載の撮像装置。
4. 前記選択手段は、前記第２画像信号を予め定めた周期で、間欠的に選択することを特徴とする請求項１または２に記載の撮像装置。
5. 前記第１画像信号および前記第２画像信号の少なくともいずれかの画像信号より被写体の特徴量を検出する検出手段と、
   前記選択手段は、前記特徴量が予め定めた条件を満たす場合に、出力すべき前記第２画像信号を選択することを特徴とする請求項１または２に記載の撮像装置。
6. 前記特徴量は、画像信号値のヒストグラムあるいは動きベクトルであることを特徴とする請求項５に記載の撮像装置。
7. 前記選択手段は、撮像条件が変化が予め定めた条件を満たす場合に、出力すべき前記第２画像信号を選択することを特徴とする請求項１または２に記載の撮像装置。
8. 前記撮像条件は、絞り、あるいは焦点距離であることを特徴とする請求項７に記載の撮像装置。
9. さらに、画像信号のデータ量を圧縮する圧縮手段を有し、前記第１画像信号と前記第２画像信号の少なくとも一方のデータ量を前記圧縮手段で圧縮して出力することを特徴とする請求項１または２に記載の撮像装置。
10. 前記第１画像信号と前記第２画像信号とを選択して出力する際は、前記第１画像信号と前記第２画像信号のデータ量を圧縮しないことを特徴とする請求項９に記載の撮像装置。
11. さらに、画像信号の解像度を落とす縮小手段を有し、前記第２画像信号の解像度を前記縮小手段で落として出力することを特徴とする請求項１または２に記載の撮像装置。
12. 前記画素において前記複数の光電変換部が配置される方向と異なる方向における前記第２画像信号の解像度を前記縮小手段で落として出力を行うことを特徴とする請求項１１に記載の撮像装置。
13. さらに、前記第２画像信号の少なくとも一部の領域を選択する領域選択手段を有し、
    前記領域選択手段で選択された前記第２画像信号の領域を出力することを特徴とする請求項１または２に記載の撮像装置。
14. 前記出力手段が、前記撮像装置と通信可能な外部装置に、前記第１画像信号と、前記選択手段が選択した第２画像信号とを出力し、
    前記撮像装置が
    前記外部装置から前記撮像装置を制御するための情報を受信する受信手段と、
    前記受信手段が受信した距離情報に基づいて前記撮像装置の制御を行う制御手段と、
    をさらに有することを特徴とする請求項１から１３のいずれか１項に記載の撮像装置。
15. 複数の光電変換部を含む画素を複数有する撮像素子から読み出された画像信号を取得する取得ステップと、
    前記複数の光電変換部から得られる画像信号を、画素ごとに加算して第１画像信号を生成する第１生成ステップと、
    前記複数の光電変換部から得られる画像信号のうち、画素ごとに少なくとも一つ以上の画像信号を加算せずに第２画像信号を生成する第２生成ステップと、
    前記第１画像信号および前記第２画像信号の少なくともいずれかが予め定めた条件を満たす場合に、出力すべき第２画像信号を選択する選択ステップと、
    前記選択ステップで選択された第２画像信号を出力する出力ステップと、を有することを特徴とする撮像装置の制御方法。

Images