JP2015128256A - 画像処理装置、画像処理方法、撮像装置および撮像素子 - Google Patents

Abstract

【課題】静止画の撮影時にユーザに対して与えるストレスを低減することが可能な技術を提供する。【解決手段】撮像素子１０における第１の領域から出力された第１の画像信号に基づいて第１の動画データを生成する動画生成部２１と、前記第１の画像信号と前記撮像素子における第２の領域から出力された第２の画像信号との合成信号に基づいて静止画データを生成する静止画生成部２２と、を備える、画像処理装置２０が提供される。【選択図】図４

Description

本発明は、画像処理装置、画像処理方法、撮像装置および撮像素子に関する。

近年、ミラーレスなどのコンパクトカメラがカメラ市場において活性化されている。ミラーレスカメラはカメラ内部にＯｐｔｉｃａｌ Ｖｉｅｗ Ｆｉｎｄｅｒのためのミラーを備えていないため、コンパクト化が実現されている。Ｏｐｔｉｃａｌ Ｖｉｅｗ Ｆｉｎｄｅｒの代わりに、ミラーレスカメラは、イメージセンサ（Ｉｍａｇｅ Ｓｅｎｓｏｒ）からの動画出力を用いるＥｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒを備えるのが一般的である。

かかる一般的なミラーレスカメラにおいては、例えば、静止画を撮影するための操作がなされると、動画データを生成するモード（以下、単に「Ｌｉｖｅ Ｖｉｅｗ Ｍｏｄｅ」とも言う。）から静止画データを生成するモード（以下、単に「静止画生成モード」とも言う。）に動作モードが切り替えられる。動画データと静止画データとを生成する技術には様々な技術が開示されている（例えば、特許文献１参照。）。

特開２０１２−９９１６号公報

しかしながら、動作モードの切り替え時においては、静止画データのもとになる電気信号を得るための露出時間が必要となる。そのため、少なくともこれらの露出時間には動画データが生成されなくなり、Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒに動画データが表示されない現象（以下、「Ｄｉｓｐｌａｙ Ｂｌａｃｋ ｏｕｔ」とも言う。）が生じ得る。以下、Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒに動画データが表示されない時間をブランク時間とも言う。

このようなブランク時間は、静止画データを撮影するための操作を行うユーザに対して大きなストレスを与えてしまう可能性がある。さらに、Ｌｉｖｅ Ｖｉｅｗ Ｍｏｄｅにおいて生成される動画データよりも静止画生成モードにおいて生成される静止画データのほうが大きなデータ量であるのが一般的である。そのため、静止画データのデータ量が大きくなるほどブランク時間は長くなりやすくなり、静止画を撮影するための操作を行うユーザに対してさらに大きなストレスを与えてしまう可能性がある。

そこで、本発明は、静止画の撮影時にユーザに対して与えるストレスを低減することが可能な技術を提供する。

本発明のある実施形態によれば、撮像素子における第１の領域から出力された第１の画像信号に基づいて第１の動画データを生成する動画生成部と、前記第１の画像信号と前記撮像素子における第２の領域から出力された第２の画像信号との合成信号に基づいて静止画データを生成する静止画生成部と、を備える、画像処理装置が提供される。

かかる構成によれば、静止画生成モードにおいては、第１の領域から電気信号の読み出しがなされればよいため、ライブビューモードの最中に第２の領域に対して静止画データのもとになる電気信号を得るための露出を行うことが可能となる。したがって、少なくとも静止画のもとになる電気信号を得るための露出時間待たされることがなくなり、静止画データの撮影時にユーザに対して与えるストレスを低減することが可能となる。

前記動画生成部は、前記第２の画像信号に基づいて第２の動画データを生成してよい。かかる構成によれば、静止画生成モードにおいても生成された第２の動画データをリアルタイムに表示するライブビュー表示を行うことが可能となる。

例えば、前記動画生成部は、前記第２の画像信号から加算平均により前記第１の領域に対応する画像信号を生成信号として生成し、前記生成信号に基づいて前記第２の動画データを生成してよい。かかる構成によれば、簡易に第２の動画データを生成することが可能である。

また、前記動画生成部は、前記第１の画像信号と前記生成信号とに基づいて補間信号を生成し、前記補間信号に基づいて前記第２の動画データを生成してよい。かかる構成によれば、補間信号に基づいた第２の動画データが生成されるため、より高精度な第２の動画データが生成され得る。

前記静止画生成部は、前記補間信号と前記第２の画像信号とに基づいて、前記静止画データを生成してよい。かかる構成によれば、より高精度な静止画データが生成され得る。

前記画像処理装置は、前記第１の動画データと前記第２の動画データとを表示させる表示制御部を備えてよい。かかる構成によれば、前記第１の動画データと前記第２の動画データとをユーザに閲覧させることが可能となる。

本発明の別の実施形態によれば、撮像素子における第１の領域から出力された第１の画像信号に基づいて第１の動画データを生成するステップと、前記第１の画像信号と前記撮像素子における第２の領域から出力された第２の画像信号との合成信号に基づいて静止画データを生成するステップと、を含む、画像処理方法が提供される。

かかる方法によれば、静止画生成モードにおいては、第１の領域から電気信号の読み出しがなされればよいため、ライブビューモードの最中に第２の領域に対して静止画データのもとになる電気信号を得るための露出を行うことが可能となる。したがって、少なくとも静止画のもとになる電気信号を得るための露出時間待たされることがなくなり、静止画データの撮影時にユーザに対して与えるストレスを低減することが可能となる。

本発明の別の実施形態によれば、第１の画像信号を出力する第１の領域および第２の画像信号を出力する第２の領域を備える、撮像素子と、前記第１の画像信号に基づいて第１の動画データを生成する動画生成部と、前記第１の画像信号と前記第２の画像信号との合成信号に基づいて静止画データを生成する静止画生成部と、を備える、画像処理装置と、を有する、撮像装置が提供される。

かかる構成によれば、静止画生成モードにおいては、第１の領域から電気信号の読み出しがなされればよいため、ライブビューモードの最中に第２の領域に対して静止画データのもとになる電気信号を得るための露出を行うことが可能となる。したがって、少なくとも静止画のもとになる電気信号を得るための露出時間待たされることがなくなり、静止画データの撮影時にユーザに対して与えるストレスを低減することが可能となる。

本発明の別の実施形態によれば、各々が複数の光電変換素子を含んで構成される第１の領域および第２の領域を有する撮像素子であって、前記第１の領域は、第１の画像信号を出力し、前記第２の領域は、第２の画像信号を出力し、前記第１の画像信号に基づいて第１の動画データが生成され、前記第１の画像信号と前記第２の画像信号との合成信号に基づいて静止画データが生成される、撮像素子が提供される。

かかる構成によれば、静止画生成モードにおいては、第１の領域から電気信号の読み出しがなされればよいため、ライブビューモードの最中に第２の領域に対して静止画データのもとになる電気信号を得るための露出を行うことが可能となる。したがって、少なくとも静止画のもとになる電気信号を得るための露出時間待たされることがなくなり、静止画データの撮影時にユーザに対して与えるストレスを低減することが可能となる。

以上説明したように、本発明によれば、静止画の撮影時にユーザに対して与えるストレスを低減することが可能である。

（ａ）は一般的な技術における静止画生成モードの読み出し対象素子群の例を示し、（ｂ）は一般的な技術におけるＬｉｖｅ Ｖｉｅｗ Ｍｏｄｅの読み出し対象素子群の例を示す図である。 一般的な技術における動作モード切り替え時の動作を説明するための図である。 一般的な技術における動作シーケンスの例を示す図である。 本発明の実施形態に係る撮像装置の構成例を示す図である。 同実施形態に係る撮像素子の構成例を示す図である。 （ａ）は同実施形態における静止画生成モードの読み出し対象素子群の例を示し、（ｂ）は同実施形態におけるＬｉｖｅ Ｖｉｅｗ Ｍｏｄｅの読み出し対象素子群の例を示す図である。 同実施形態における動作モード切り替え時の露光動作を説明するための図である。 同実施形態における動作モード切り替え時の合成動作を説明するための図である。 同実施形態における動作シーケンスの例を示す図である。 同実施形態における静止画連続撮影時の動作モード切り替え時の合成動作を説明するための図である。 同実施形態における静止画生成モードの動画生成動作の例を説明するための図である。 同実施形態における静止画生成モードの動画生成動作の変形例を説明するための図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

（一般的な技術）
まず、一般的な技術について説明する。一般的な撮像素子は、複数の光電変換素子を含んだイメージセンサを備えている。イメージセンサは、外部からの光を結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換する。イメージセンサから読み出された電気信号は、静止画生成モードにおいては静止画データの生成に用いられ、Ｌｉｖｅ Ｖｉｅｗ Ｍｏｄｅにおいては動画データの生成に用いられる。

Ｌｉｖｅ Ｖｉｅｗ Ｍｏｄｅと静止画生成モードとの切り替えのタイミングは特に限定されないが、例えば、Ｌｉｖｅ Ｖｉｅｗ Ｍｏｄｅから静止画生成モードへの動作モードの切り替えは、静止画データを撮影するための操作がユーザによってなされた場合に行われ得る。また、静止画データのもとになる電気信号の読み出しが終わると、静止画生成モードからＬｉｖｅ Ｖｉｅｗ Ｍｏｄｅへの動作モードの切り替えが行われ得る。

図１（ａ）は、一般的な技術における静止画生成モードの読み出し対象素子群の例を示し、図１（ｂ）は、一般的な技術におけるＬｉｖｅ Ｖｉｅｗ Ｍｏｄｅの読み出し対象素子群の例を示す図である。図１（ａ）および図１（ｂ）には、静止画生成モードおよびＬｉｖｅ Ｖｉｅｗ Ｍｏｄｅそれぞれにおける読み出し対象素子群の例がＲＧＢ要素によって示されている。

一般的な技術においては、図１（ａ）に示すように、静止画生成モードでは、イメージセンサのすべての光電変換素子から電気信号の読み出しがなされる。このようにして読み出された電気信号は静止画データの生成に用いられる。一方、図１（ｂ）に示すように、Ｌｉｖｅ Ｖｉｅｗ Ｍｏｄｅでは、イメージセンサの一部（第０行、第３行、第６行、・・・）の光電変換素子から電気信号の読み出しがなされる。このようにして読み出された電気信号は動画データの生成に用いられる。

図２は、一般的な技術における動作モード切り替え時の動作を説明するための図である。図２には、「Ｌｉｖｅ Ｖｉｅｗ」および「Ｓｔｉｌｌ」が示されている。本明細書において、「Ｌｉｖｅ Ｖｉｅｗ」は、Ｌｉｖｅ Ｖｉｅｗ Ｍｏｄｅを示し、「Ｓｔｉｌｌ」は、静止画生成モードを示している。図２に示すように、静止画生成モードにおいては、イメージセンサのすべての光電変換素子から電気信号の読み出しがなされるため、Ｌｉｖｅ Ｖｉｅｗ Ｍｏｄｅの後に静止画データのもとになる電気信号を得るための露出時間が必要となる。

図３は、一般的な技術における動作シーケンスの例を示す図である。静止画生成モードにおいては、イメージセンサのすべての光電変換素子から電気信号の読み出しがなされるため、Ｌｉｖｅ Ｖｉｅｗ Ｍｏｄｅの後に静止画データのもとになる電気信号を得るための露出時間が必要となる。また、静止画生成モードにおいては、イメージセンサのすべての光電変換素子から電気信号の読み出しがなされるため、静止画データのもとになる電気信号が読み出された後に動画データのもとになる電気信号を得るための露出時間が必要となる。

したがって、図３に示すように、静止画データのもとになる電気信号を得るための露出時間、静止画データのもとになる電気信号を読み出すための読み出し時間および動画データのもとになる電気信号を得るための露出時間は、動画データが生成されないブランク時間となり得る。そして、これらの時間には、図３に示すように、Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒに動画データが表示されない「Ｄｉｓｐｌａｙ Ｂｌａｃｋ ｏｕｔ」が生じ得る。このようなブランク時間は、静止画を撮影するための操作を行うユーザに対して大きなストレスを与えてしまう可能性がある。

さらに、Ｌｉｖｅ Ｖｉｅｗ Ｍｏｄｅにおいて生成される動画データよりも静止画生成モードにおいて生成される静止画データのほうが大きなデータ量であるのが一般的である。そのため、静止画データのデータ量が大きくなるほどブランク時間は長くなりやすくなり、静止画を撮影するための操作を行うユーザに対してさらに大きなストレスを与えてしまう可能性がある。そこで、本明細書においては、静止画の撮影時にユーザに対して与えるストレスを低減することが可能な技術を提案する。

（本発明の実施形態に係る撮像装置）
続いて、本発明の実施形態について説明する。図４は、本発明の実施形態に係る撮像装置１の構成例を示す図である。図４に示すように、本発明の実施形態に係る撮像装置１は、レンズＬと、撮像素子１０と、制御部２０と、操作部３０と、表示部４０と、記憶部５０とを備える。制御部２０は、画像処理装置として機能し得る。以下、撮像装置１が有するこれらの構成について詳細に説明する。

撮像素子１０は、複数の光電変換素子を含んだイメージセンサを備えている。イメージセンサは、レンズＬを通して入力された光を結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換する。イメージセンサから読み出された電気信号は、静止画生成モードにおいては静止画データの生成に用いられ、Ｌｉｖｅ Ｖｉｅｗ Ｍｏｄｅにおいては動画データの生成に用いられる。撮像素子１０は、走査ラインごとに順次シャッタを切る方式（ローリングシャッタ方式）により駆動されてよい。

制御部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを有し、制御プログラムに基づいて、撮像装置１の各構成要素を制御したり、各種のデータ処理を実行したりする演算回路である。制御プログラムは、記憶部５０に格納されていてよい。制御部２０は、撮像素子１０から入力された電気信号（画像信号）をデジタル画像信号に変換し、そのデジタル画像信号に対して種々の画像処理を施して画像データを生成する。

ここで、制御部２０は、動画生成部２１、静止画生成部２２および表示制御部２３を備える。動画生成部２１は、Ｌｉｖｅ Ｖｉｅｗ Ｍｏｄｅにおいて動画データを生成する。また、静止画生成部２２は、静止画生成モードにおいて静止画データを生成して記憶部５０に記録する。表示制御部２３は、動画生成部２１によって生成された動画データをリアルタイムに表示するライブビュー表示を行う。また、表示制御部２３は、ユーザによって静止画データを表示させるための操作がなされた場合に、記憶部５０に記録された静止画データを表示することが可能である。これらの機能部については後に詳細に説明する。

操作部３０は、ユーザによる操作を受け付ける機能を有する。ユーザによる操作には、静止画を撮影するための操作が含まれてもよいし、静止画を連続撮影するための操作が含まれてもよい。操作部３０は、ボタンなどといった種々の操作部材を含んでもよいし、タッチパネルを含んでもよい。表示部４０は、表示制御部２３による制御に従って各種の画像データを表示することが可能である。記憶部５０は、制御部２０の制御に従って画像データを記憶したり、記憶している画像データを制御部２０の制御に従って出力したりする。記憶部５０は、不揮発性の記録媒体であってよい。

続いて、本発明に実施形態に係る撮像素子１０の詳細について説明する。図５は、本発明の実施形態に係る撮像素子１０の構成例を示す図である。図５に示すように、本発明の実施形態に係る撮像素子１０は、制御信号生成部１１と、イメージセンサ１２と、Ｃｏｌｕｍｎ Ｄｒｉｖｅｒ １３と、Ｒｏｗ Ｄｒｉｖｅｒ １４と、Ｄａｔａ Ｂｕｓ １５と、Ｌｉｖｅ Ｖｉｅｗ Ｂｕｆｆｅｒ １６と、Ｓｔｉｌｌ Ｂｕｆｆｅｒ １７と、合成部１８とを備える。以下、撮像素子１０が有するこれらの構成について説明する。

制御信号生成部１１は、電気信号の読み出し対象の光電変換素子を指定するための制御信号を生成する。Ｃｏｌｕｍｎ Ｄｒｉｖｅｒ １３は、制御信号生成部１１によって生成された制御信号に従って、電気信号を読み出す光電変換素子の垂直方向の位置を選択する。また、Ｒｏｗ Ｄｒｉｖｅｒ １４は、制御信号生成部１１によって生成された制御信号に従って、電気信号を読み出す光電変換素子の水平方向の位置を選択する。

イメージセンサ１２は、複数の光電変換素子を含んでおり、外部からの光を結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換する。Ｃｏｌｕｍｎ Ｄｒｉｖｅｒ １３によって垂直方向の位置が選択され、Ｒｏｗ Ｄｒｉｖｅｒ １４によって水平方向の位置が選択された光電変換素子は、Ｄａｔａ Ｂｕｓ １５に対して電気信号を出力する。Ｄａｔａ Ｂｕｓ １５は、イメージセンサ１２から出力された電気信号を一時的に記憶する。

ここで、制御信号生成部１１は、動作モードがＬｉｖｅ Ｖｉｅｗ Ｍｏｄｅである場合と静止画生成モードである場合とにおいて異なる光電変換素子群を指定するための制御信号を生成する。図６（ａ）は、本発明の実施形態における静止画生成モードの読み出し対象素子群の例を示している。また、図６（ｂ）は、本発明の実施形態におけるＬｉｖｅ Ｖｉｅｗ Ｍｏｄｅの読み出し対象素子群の例を示す図である。

図６（ａ）に示すように、動作モードが静止画生成モードである場合、イメージセンサ１２に含まれる第１の領域（第０行、第２行、第３行、第５行、第６行、・・・）を構成する光電変換素子群は第２の画像信号（以下、「静止画像信号」とも言う。）を出力する。ここで、第１の領域は、図６（ａ）に示したように水平方向のライン群であってもよいし、垂直方向のライン群であってもよいし、その他の領域であってもよい。

一方、図６（ｂ）に示すように、動作モードがＬｉｖｅ Ｖｉｅｗ Ｍｏｄｅである場合、イメージセンサ１２に含まれる第２の領域（第１行、第４行、第７行、・・・）を構成する光電変換素子群は第１の画像信号（以下、「ライブビュー画像信号」とも言う。）を出力する。ここで、第２の領域は、図６（ｂ）に示したように、イメージセンサ１２に含まれる複数の光電変換素子のうち、第１の領域（第０行、第２行、第３行、第５行、第６行、・・・）以外の領域であってよい。

図５に戻って説明を続ける。Ｌｉｖｅ Ｖｉｅｗ Ｂｕｆｆｅｒ １６は、Ｄａｔａ Ｂｕｓ １５から出力されたライブビュー画像信号を一時的に記憶する。また、Ｓｔｉｌｌ Ｂｕｆｆｅｒ １７は、Ｄａｔａ Ｂｕｓ １５から出力された静止画像信号を一時的に記憶する。合成部１８は、ライブビュー画像信号と静止画像信号とを合成して、静止画データのもとになる合成信号を生成する。なお、ライブビュー画像信号と静止画像信号との間においては時間差が生じ得るが、ライブビュー画像信号の時間変化に基づいて時間差による被写体のずれを画像処理によって補正することが可能である。

動画生成部２１は、動作モードがＬｉｖｅ Ｖｉｅｗ Ｍｏｄｅである場合、ライブビュー画像信号に基づいて第１の動画データを生成する。具体的には、動画生成部２１は、撮像素子１０から入力されたライブビュー画像信号をデジタル画像信号に変換し、そのデジタル画像信号に対して種々の画像処理を施して第１の動画データを生成する。種々の画像処理は特に限定されない。表示制御部２３は、このようにして生成された第１の動画データを表示部４０に表示させる。

静止画生成部２２は、動作モードが静止画生成モードである場合、ライブビュー画像信号と静止画像信号との合成信号に基づいて静止画データを生成する。具体的には、静止画生成部２２は、撮像素子１０から入力された静止画像信号をデジタル画像信号に変換し、そのデジタル画像信号に対して種々の画像処理を施して静止画データを生成する。種々の画像処理は特に限定されない。静止画生成部２２は、このようにして生成された静止画データを記憶部５０に記憶させる。

図７は、本発明の実施形態における動作モード切り替え時の露光動作を説明するための図である。図７に示すように、静止画生成モードにおいては、イメージセンサ１２の第１の領域（第０行、第２行、第３行、第５行、第６行、・・・）から電気信号の読み出しがなされればよいため、Ｌｉｖｅ Ｖｉｅｗ Ｍｏｄｅの最中に第２の領域（第１行、第４行、第７行、・・・）に対して静止画データのもとになる電気信号を得るための露出を行うことが可能となる。したがって、少なくとも静止画のもとになる電気信号を得るための露出時間待たされることがなくなり、静止画データの撮影時にユーザに対して与えるストレスを低減することが可能となる。

また、静止画生成モードにおいてイメージセンサ１２の一部から電気信号の読み出しがなされればよいため、イメージセンサ１２の全領域から電気信号の読み出しがなされる場合よりも、静止画生成モードにおける電気信号の読み出しに要する時間を低減することが可能となる。したがって、静止画データの撮影時にユーザに対して与えるストレスをさらに低減することが可能となる。

図８は、本発明の実施形態における動作モード切り替え時の合成動作を説明するための図である。図８に示すように、静止画生成モードにおいて、合成部１８は、第２の領域（第１行、第４行、第７行、・・・）から出力されたライブビュー画像信号と第１の領域（第０行、第２行、第３行、第５行、第６行、・・・）から出力された静止画像信号とを合成して、静止画データのもとになる合成信号を生成することが可能である。

図９は、本発明の実施形態における動作シーケンスの例を示す図である。図９を参照しても把握されるように、第２の領域（第１行、第４行、第７行、・・・）から電気信号の読み出しを行っている最中に第１の領域（第０行、第２行、第３行、第５行、第６行、・・・）に対して動画データのもとになる電気信号を得るための露出を行うことが可能となる。したがって、少なくとも動画データのもとになる電気信号を得るための露出時間待たされることがなくなり、ユーザに対して与えるストレスをさらに低減することが可能となる。

図１０は、本発明の実施形態における静止画連続撮影時の動作モード切り替え時の合成動作を説明するための図である。図１０に示すように、静止画連続撮影時においても、複数の静止画生成モードの間にＬｉｖｅ Ｖｉｅｗ Ｍｏｄｅがあれば、合成部１８は、そのＬｉｖｅ Ｖｉｅｗ Ｍｏｄｅにおいて第２の領域（第１行、第４行、第７行、・・・）から出力されたライブビュー画像信号と第１の領域（第０行、第２行、第３行、第５行、第６行、・・・）から出力された静止画像信号とを合成して、静止画データのもとになる合成信号を生成することが可能である。

また、表示制御部２３は、静止画生成モードにおいても動画データが生成された場合には、生成された動画データをリアルタイムに表示するライブビュー表示を行ってよい。そうすれば、静止画生成モードにおいてもライブビュー表示を行うことが可能である。例えば、動画生成部２１は、第１の領域（第０行、第２行、第３行、第５行、第６行、・・・）から出力された静止画像信号に基づいて第２の動画データを生成してよい。第２の動画データの生成はどのようにしてなされてもよいが、以下においてその一例について説明する。

図１１は、本発明の実施形態における静止画生成モードの動画生成動作の例を説明するための図である。図１１に示すように、動画生成部２１は、第１の領域（第０行、第２行、第３行、第５行、第６行、・・・）から出力された静止画像信号から加算平均により第２の領域（第１行、第４行、第７行、・・・）に対応する画像信号を生成信号として生成し、生成信号に基づいて第２の動画データを生成してよい。これにより、簡易に第２の動画データを生成することができる。図１１に示した例では、動画生成部２１は、２つの画素の加算平均によりその中間画素を算出している。

なお、このようにして生成された生成信号は、本来のライブビュー画像信号と時間差がないものの、画素の色が本来のライブビュー画像信号の色と異なってしまっている。そこで、動画生成部２１は、ライブビュー画像信号と生成信号とに基づいて補間信号を生成し、補間信号に基づいて第２の動画データを生成してもよい。以下においてその一例について説明する。

図１２は、本発明の実施形態における静止画生成モードの動画生成動作の変形例を説明するための図である。図１２には、画像データＩｍ１は、ライブビュー画像信号に基づく画像データを示しており、画像データＩｍ２は、生成信号に基づく画像データを示している。画像データＩｍ１の色は、本来のライブビュー画像信号の色に適用し得る。また、画像データＩｍ２の位置は、本来のライブビュー画像信号の位置に適用し得る。

そこで、動画生成部２１は、ライブビュー画像信号による色補間と生成信号によるフレーム補間とによって補間信号を生成し、補間信号に基づいて第２の動画データを生成してもよい。そうすれば、より高精度な第２の動画データが生成され得る。画像データＩｍ１０は、補間信号に基づく第２の動画データを示している。なお、静止画生成部２２は、このようにして生成された補間信号と静止画像信号とに基づいて、静止画データを生成してもよい。そうすれば、より高精度な静止画データが生成され得る。具体的には、静止画生成部２２は、補間信号と静止画像信号とを合成して静止画データを生成してもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

コンピュータに内蔵されるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのハードウェアを、上記した制御部２０（画像処理装置）が有する機能と同等の機能を発揮させるためのプログラムも提供され得る。また、かかるプログラムが記録された、コンピュータに読み取り可能な記録媒体も提供され得る。

１ 撮像装置
１０ 撮像素子
１１ 制御信号生成部
１２ イメージセンサ
１８ 合成部
２０ 制御部（画像処理装置）
２１ 動画生成部
２２ 静止画生成部
２３ 表示制御部
３０ 操作部
４０ 表示部
５０ 記憶部

Claims (9)

1. 撮像素子における第１の領域から出力された第１の画像信号に基づいて第１の動画データを生成する動画生成部と、
   前記第１の画像信号と前記撮像素子における第２の領域から出力された第２の画像信号との合成信号に基づいて静止画データを生成する静止画生成部と、
   を備える、画像処理装置。
2. 前記動画生成部は、前記第２の画像信号に基づいて第２の動画データを生成する、
   請求項１に記載の画像処理装置。
3. 前記動画生成部は、前記第２の画像信号から加算平均により前記第１の領域に対応する画像信号を生成信号として生成し、前記生成信号に基づいて前記第２の動画データを生成する、
   請求項２に記載の画像処理装置。
4. 前記動画生成部は、前記第１の画像信号と前記生成信号とに基づいて補間信号を生成し、前記補間信号に基づいて前記第２の動画データを生成する、
   請求項３に記載の画像処理装置。
5. 前記静止画生成部は、前記補間信号と前記第２の画像信号とに基づいて、前記静止画データを生成する、
   請求項４に記載の画像処理装置。
6. 前記画像処理装置は、前記第１の動画データと前記第２の動画データとを表示させる表示制御部を備える、
   請求項２に記載の画像処理装置。
7. 撮像素子における第１の領域から出力された第１の画像信号に基づいて第１の動画データを生成するステップと、
   前記第１の画像信号と前記撮像素子における第２の領域から出力された第２の画像信号との合成信号に基づいて静止画データを生成するステップと、
   を含む、画像処理方法。
8. 第１の画像信号を出力する第１の領域および第２の画像信号を出力する第２の領域を備える、撮像素子と、
   前記第１の画像信号に基づいて第１の動画データを生成する動画生成部と、
   前記第１の画像信号と前記第２の画像信号との合成信号に基づいて静止画データを生成する静止画生成部と、を備える、画像処理装置と、
   を有する、撮像装置。
9. 各々が複数の光電変換素子を含んで構成される第１の領域および第２の領域を有する撮像素子であって、
   前記第１の領域は、第１の画像信号を出力し、
   前記第２の領域は、第２の画像信号を出力し、
   前記第１の画像信号に基づいて第１の動画データが生成され、前記第１の画像信号と前記第２の画像信号との合成信号に基づいて静止画データが生成される、
   撮像素子。
   

Images