JP2010011124A

JP2010011124A - 撮像装置

Info

Publication number: JP2010011124A
Application number: JP2008168493A
Authority: JP
Inventors: Kosuke Nobuoka; 幸助信岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-06-27
Filing date: 2008-06-27
Publication date: 2010-01-14
Anticipated expiration: 2028-06-27
Also published as: JP5473260B2

Abstract

【課題】動画像に静止画像が混入して出力動画が不自然になることを防止する撮像装置を提供する。
【解決手段】不自然な動きが、ビデオカメラの使用者にとって検知しないか、または検知しても許容できる条件にあるかを撮像画像より評価し、静止画撮像駆動を混入するか、動画撮像駆動のままとするかを切り替える。
【選択図】図１

Description

本発明は、撮像装置に関する。

近年のビデオカメラなどの撮像装置は、テレビジョン規格に従った動画像の撮影及び記録と、テレビジョン規格の画素数より多い画素による静止画像の撮影及び記録を行う。また、撮像素子（イメージセンサー）の画素数は増加しているものの、動画像の撮影及び記録では、テレビジョン規格に従って少なくともフィールド周期で２次元画像を撮像素子から読み出す必要がある。このため、動画像の撮影及び記録では、切り出し読み、間引き読み、画素加算読みなどによって撮像素子からの読み出し画素数を減じると共に、読み出しチャネル数を増やすか読み出し速度を上げている。しかし、読み出しチャネル数の増加と読み出しの高速化は装置コストや消費電力を悪化させるため、動画撮影時に撮像素子からの読み出し画素数を減じる工夫を行っている。また、ビデオカメラ本体に、動画撮影と静止画撮作を切り替えるスイッチと、動画撮影用トリガ、静止画撮影用トリガを別に設ける場合もある。

一方、操作を簡略化してシャッターチャンスを逃さないために、動画撮影と静止画撮影の切り替えをなくし、動画撮影中に静止画撮影を行うことが提案されている（例えば、特許文献１を参照）。同公報は、動画像を生成するフィールドタイミングに連続したフィールドタイミングで静止画像を撮影及び記録すると共に、静止画を動画の形式に変換して静止画の欠落するフィールド期間を補っている。
特開２００１−３５２４８３号公報

しかし、特許文献１は、静止画撮影中に欠落する動画像を静止画像から形式変換して補うと、被写体が動きつづけている状態で静止画撮影する場合に、動画像の動きが不自然になるという問題がある。

そこで。本発明は、動画像に静止画像が混入して出力動画が不自然になることを防止する撮像装置を提供することを例示的な目的とする。

本発明の一側面としての撮像装置は、被写体を撮像する撮像素子と、前記撮像素子が撮像した画像をインタレース走査して電気信号に変換するように前記撮像素子を駆動する第１駆動信号を生成する第１駆動回路と、前記撮像素子が撮像した画像をプログレッシブ走査して電気信号に変換するように前記撮像素子を駆動する第２駆動信号を生成する第２駆動回路と、前記撮像素子の出力に動画用の信号処理を施して、インタレース走査に基づく第１映像信号を出力する動画信号処理回路と、前記動画信号処理回路の前記第１映像信号に基づいて、動画像の状態を表す評価値を生成する評価値生成部と、前記評価値生成部の前記評価値に基づいて、前記動画像において前記被写体の動きを検知した場合に前記撮像素子を動画用に駆動すべきと判定をし、前記動画像において前記被写体の動きを検知しない場合に前記撮像素子を静止画用に駆動すべきと判定をする画像評価部と、前記画像評価部が前記撮像素子を動画用に駆動すべきと判定をした場合に、動画撮影待機中、動画撮影中または動画撮影中に静止画記録が行われたことを表す第１状態信号を生成し、静止画記録が行われた場合に前記静止画記録が行われたことを表す第２状態信号を生成する選択回路と、前記選択回路の第１状態信号に基づいて前記第１駆動回路を選択し、前記選択回路の第２状態信号に基づいて前記第２駆動回路を選択する第１セレクタと、を有することを特徴とする。

本発明によれば、動画像に静止画像が混入して出力動画が不自然になることを防止する撮像装置を提供することができる。

図１は、本実施例のビデオカメラ（撮像装置）のブロック図である。

レンズ１を通して撮像素子（イメージセンサー）２に画像を結像し、撮像素子２が被写体を撮像して映像出力信号Ｓ２を出力する。撮像素子２には、撮像素子駆動回路Ｉ３が出力する垂直・水平同期信号Ｓ３又は撮像素子駆動回路ＩＩ４が出力する垂直・水平同期信号Ｓ４のいずれかがセレクタ５（第１セレクタ）の出力信号Ｓ５によって選択されて供給される。撮像素子駆動回路Ｉ３は、撮像素子２が撮像した画像をインタレース走査して電気信号に変換するように撮像素子２を駆動する垂直・水平同期信号Ｓ３（第１駆動信号）を生成する第１駆動回路である。撮像素子駆動回路ＩＩ４は、撮像素子２が撮像した画像をプログレッシブ走査して電気信号に変換するように撮像素子２を駆動する垂直・水平同期信号Ｓ４（第２駆動信号）を生成する第２駆動回路である。映像出力信号Ｓ２は、垂直・水平同期信号Ｓ３が撮像素子２に供給されればインタレース走査されたものとなり、垂直・水平同期信号Ｓ４が撮像素子２に供給されればプログレッシブ走査されたものとなる。

動画信号処理回路６は、撮像素子２の映像出力信号Ｓ２と選択回路１４の出力信号Ｓ１４を入力信号とし、撮像素子２の映像出力信号Ｓ２に動画用の信号処理を施して、インタレース走査に基づく動画像信号（第１映像信号）を出力信号Ｓ６として出力する。

動画記録処理回路７は、動画信号処理回路６の出力信号Ｓ６とＣＰＵ１３の出力信号Ｓ１３１を入力信号とし、動画像記録中の場合は動画記録用メディア１７に動画信号処理回路６の出力信号Ｓ６を記録し、それ以外の状態の時には何も処理を行わない。

動画表示処理回路８は、動画信号処理回路６の出力信号Ｓ６を入力信号とし、撮像装置に付属している表示部１８に動画信号処理回路６の出力信号Ｓ６を表示する処理を行う。動画表示処理回路８は、セレクタ５が撮像素子駆動回路Ｉ３とＩＩ４のいずれを選択しても、動画信号処理回路６の出力信号Ｓ６を表示する処理を行う。

走査線補間回路９は、動画信号処理回路６の出力信号Ｓ６を入力信号とする。走査線補間回路９は、インタレース走査の映像信号（第１映像信号）である動画信号処理回路６の出力信号Ｓ６に走査線を補間し、プログレッシブ走査の映像信号（第３映像信号）に変換して出力信号Ｓ９を出力する。

評価値生成部１５は、動画信号処理回路６の出力信号Ｓ６を入力信号とし、これに基づいて撮影動画像の状態を表す評価値Ｓ１５を生成する。

画像評価部１６は、評価値生成部１５の評価値Ｓ１５を入力信号とし、これに基づいて動画駆動判定と静止画駆動判定を表す撮像素子駆動の判定信号Ｓ１６を生成する。「動画駆動判定」とは、撮像素子２を動画用に駆動すべきとする判定であり、「静止画駆動判定」とは、撮像素子２を静止画用に駆動すべきとする判定である。具体的には、画像評価部１６は、動画像において一定方向への被写体のまとまった動きを検知した場合に撮像素子２を動画用に駆動すべきと判定（又は評価）する。また、画像評価部１６は、動画像において被写体の動きを検知しない場合に撮像素子２を静止画用に駆動すべきと判定する。

静止画信号処理回路１０は、撮像素子２の出力信号Ｓ２を入力信号とし、これに静止画用の信号処理を施して、プログレッシブ走査に基づく映像信号を出力信号Ｓ１０（第２映像信号）として出力する。

セレクタ１１（第２セレクタ）は、走査線補間回路９の出力信号Ｓ９と、静止画信号処理回路１０の出力信号Ｓ１０、選択回路１４の出力信号Ｓ１４を入力信号とする。セレクタ１１は、選択回路１４の出力信号Ｓ１４によって、走査線補間回路９の出力信号Ｓ９と静止画信号処理回路１０の出力信号Ｓ１０のどちらか一方を選択し、出力信号Ｓ１１として出力する。具体的には、セレクタ１１は、選択回路１４の信号０に応答して走査線補間回路９の第３映像信号を選択し、選択回路１４の信号１に応答して静止画信号処理回路１０の第２映像信号を選択する。

静止画記録処理回路１２は、セレクタ１１の出力信号Ｓ１１とＣＰＵ１３の出力信号Ｓ１３２を入力信号とする。静止画記録処理回路１２は、ＣＰＵ１３の出力信号Ｓ１３２が静止画記録状態である場合は静止画記録用メディア１９にセレクタ１１の出力信号Ｓ１１を記録し、それ以外の状態の時には何も処理を行わない。

ＣＰＵ（制御部）１３は、動画像記録中であるかどうか判定するための信号を出力信号Ｓ１３１として出力し、静止画記録が行われたかどうかを判定するための信号を出力信号Ｓ１３２として出力する。ＣＰＵ１３は、動画像記録中であるか静止画記録が行われたかどうかを操作部２０への入力によって判断する。操作部２０は、レリーフボタン、操作ダイヤル、各種ボタン、スイッチ、レバーを含み、撮影者が動画記録を行った場合や静止画記録を行った場合にＣＰＵ１３にその旨を通知する。

選択回路１４は、ＣＰＵ１３の出力信号Ｓ１３２と撮像素子駆動の判定信号Ｓ１６を入力信号とし、撮像素子２へ与える同期信号及び動画信号処理回路６の動作を決定する出力信号Ｓ１４を出力する。選択回路１４は、画像評価部１６が撮像素子２を動画用に駆動すべきと判定をした場合に、動画撮影待機中、動画撮影中または動画撮影中に静止画記録が行われたことを表す信号０（第１状態信号）を生成する。また、選択回路１４は、ＣＰＵ１３の出力信号Ｓ１３２が静止画記録が行われたことを表す場合に静止画記録が行われたことを表す信号０（第２状態信号）を生成する。

セレクタ５は、選択回路１４の信号０（第１状態信号）に基づいて撮像素子駆動回路Ｉ３を選択し、選択回路１４の信号１（第２状態信号）に基づいて撮像素子駆動回路ＩＩ４を選択する。これにより、動画像に静止画像が混入して出力動画が不自然になることを防止することができる。

図２は撮像素子２の構造の詳細を示す回路図で、説明の簡略化上、垂直４行、水平４列の１６画素のみを表示しているが、実際には垂直１０８０行、水平１９２０列の画素が存在する。

図２において、２０１は光電変換画素部であり、２０２がフォトダイオード、２０３が画素読み出しスイッチ、２０４が電荷電圧変換バッファである。このように、撮像素子２は複数の光電変換素子を有する。２０５−１〜２０５−４は１行目〜４行目の行選択線であり、５行目〜１０８０行目の行選択線の図示は省略している。２０６−１〜２０６−４は１列目から４列目の列信号線であり、５列目〜１９２０列目の列信号線は省略している。２０７−１〜２０７−４は１列目から４列目までの列選択スイッチであり、５列目〜１９２０列目の列選択スイッチの図示は省略している。２０８−１〜２０８−４は１列目から４列目の第１の水平キャパシタ群の選択スイッチであり、５列目〜１９２０列目の選択スイッチの図示は省略している。２０９−１〜２０９−４は１列目から４列目の第２の水平キャパシタ群の選択スイッチであり、５列目〜１９２０列目の選択スイッチの図示は省略している。２１０−１〜２１０−４は１列目から４列目の第１の水平キャパシタ群であり、５列目〜１９２０列目の第１の水平キャパシタ群の図示は省略している。２１１−１〜２１１−４は１列目から４列目の第２の水平キャパシタ群であり、５列目〜１９２０列目の第２の水平キャパシタ群の図示は省略している。２１２−１〜２１２−４は１列目から４列目の水平駆動スイッチであり、５列目〜１９２０列目の水平駆動スイッチの図示は省略している。２１３は垂直走査回路であり、２１４は水平走査回路である。２１５はセレクタ５を介して撮像素子駆動回路Ｉ３又は撮像素子駆動回路ＩＩ４から入力される垂直同期信号入力である。２１６はセレクタ５を介して撮像素子駆動回路Ｉ３又は撮像素子駆動回路ＩＩ４から入力される水平同期信号入力である。２１７は出力信号バッファであり、２１８は映像信号出力である。

撮像素子２は、セレクタ５を介して与えられる、撮像素子駆動回路Ｉ３又は撮像素子駆動回路ＩＩ４による同期信号に基づいて以下のように動作する。図３〜図６は、撮像素子２のタイミングチャートである。

まず、セレクタ５が撮像素子駆動回路Ｉ３を選択した場合、図３に示すように、垂直同期信号入力２１５からはフィールド駆動周期１６．７ｍｓｅｃ＝（１／５９．９６ｓｅｃ）間隔の垂直同期信号が与えられる。また、水平同期信号入力２１６からは、２９．７８μｓｅｃ＝（１６．７ｍｓｅｃ／５６０Ｈ）間隔の水平同期信号が与えられる。これにより、垂直ブランキング期間２０Ｈ分、垂直有効期間５４０Ｈ分の垂直駆動となる。

図３の第１フィールドにおいて、垂直走査回路２１３は、垂直ブランキング期間の後、１水平同期期間あたり行選択線が２行ずつ走査する。即ち、図３の１行目と２行目の行選択線２０５−１と２、３行目と４行目の行選択線２０５−３と４と続き、１０７９行目と１０８０行目の行選択線と走査する。

行選択線と水平走査回路２１４の詳細な動作を図４に示す。水平同期信号がアサートされると、続く時刻ｔ１〜ｔ２において、１行目の行選択線２０５−１がアサートされ、１行目の行選択線２０５−１に接続された１９２０個の光電変換素子からの光電変換信号が１９２０本の列信号線に一斉に読み出される。

図４に示すように、時刻ｔ１〜ｔ２において、列選択スイッチ２０７と第１の水平キャパシタ群の選択スイッチ２０８も同時にアサートされる。なお、図４において、２０７は、「２０７−１」、「２０７−２」・・・を代表するものとする。同様に、２０８は、「２０８−１」、「２０８−２」・・・を代表するものとする。２０９は、「２０９−１」、「２０９−２」・・・を代表するものとする。１行目の行選択線２０５−１に接続された１９２０個の光電変換素子からの光電変換信号は、第１の水平キャパシタ群（２１０−１など）に蓄積される。

次に、時刻ｔ３〜ｔ４において、２行目の行選択線２０５−２がアサートされ、２行目の行選択線２０５−２に接続された光電変換素子の光電変換信号が１９２０本の列信号線に読み出される。時刻ｔ３〜ｔ４において、列選択スイッチ２０７と、第２の水平キャパシタ群の選択スイッチ２０９も同時にアサートされる。このため、２行目の行選択線２０５−２に接続された１９２０個の光電変換素子からの光電変換信号は、第２の水平キャパシタ群（２１１−１など）に蓄積される。

次に、時刻ｔ５において、第１の水平キャパシタ群の選択スイッチ２０８と第２の水平キャパシタ群の選択スイッチ２０９が共にアサートされる。この結果、第１の水平キャパシタ群（２１０−１など）及び第２の水平キャパシタ群（２１１−１など）に保持されていた１行目の光電変換信号と２行目の光電変換信号が平均化される。

次に、時刻ｔ６〜ｔ７において、１９２０列分の水平駆動スイッチ（２１２−１など）が順にアサートされる。このため、出力信号バッファ２１７には１行目と２行目の１９２０個の光電変換素子出力を垂直に平均化した映像信号が通過し、映像信号出力２１８より出力される。時刻ｔ８以降は次の水平同期期間の動作となる（３行目の光電変換信号と４行目の光電変換信号の平均読み）。

図３の第２フィールドでは、垂直走査回路２１３において垂直ブランキング期間の後、１水平同期期間あたり行選択線が２行ずつ走査される。即ち、２行目と３行目の行選択線２０５−２と３、４行目の行選択線２０５−４と５行目の行選択線、１０８０行目と１０８１行目の行選択線（なお、１０８１行目の行選択線はダミー）と続く。これにより、隣接する垂直２ライン分の平均演算の組み合わせが変更される。これにより、第２フィールドは第１フィールドとインタレース走査の関係となる。

セレクタ５が撮像素子駆動回路ＩＩ４を選択した場合、図５に示すように、垂直同期信号入力２１５からはフィールド駆動周期の２倍である３３．４ｍｓｅｃ＝（１／２９．９７ｓｅｃ）間隔の垂直同期信号が与えられる。また、水平同期信号入力２１６からは、２９．７８μｓｅｃ＝（２９．９７ｍｓｅｃ／１１２０Ｈ）間隔の水平同期信号が与えられる。これにより、垂直ブランキング期間２０Ｈ分、垂直有効期間１０８０Ｈ分、ダミー期間２０Ｈ分の垂直駆動となる。

垂直走査回路２１３では、垂直ブランキング期間の後、１水平同期期間あたり行選択線が１行ずつアサートされ、１０８０行目の行選択線まで順に走査され、２フィールドの期間で全画素が駆動される。

行選択線と水平走査回路２１４の詳細な動作を図６に示す。水平同期信号がアサートされると、続く時刻ｔ１〜ｔ２において、１行目の行選択線２０５−１がアサートされ、列選択スイッチ２０７と第１の水平キャパシタ群の選択スイッチ２０８が同時アサートされる。これにより、１行目の行選択線２０５−１に接続された１９２０個の光電変換素子からの光電変換信号が、第１の水平キャパシタ群（２１０−１など）に蓄積される。

続く時刻ｔ３〜ｔ４及び時刻ｔ５においては何もアサートしないので動作は行わない。

次いで、時刻ｔ６〜ｔ７にかけて、１９２０列分の水平駆動スイッチ（２１２−１など）が順にアサートされる。このため、出力信号バッファ２１７には１行目の１９２０個の光電変換信号が通過し、映像信号出力２１８より出力される。時刻ｔ８以降は次の水平同期期間となる（２行目の光電変換信号の読み出し）。その結果、全画素をプログレッシブ読み出しした映像出力となる。

以上説明したように、撮像素子２は、セレクタ５の出力信号Ｓ５が撮像素子駆動回路Ｉ３の出力する垂直・水平同期信号Ｓ３である場合は、フィールド周期のインタレース走査の映像信号を出力信号Ｓ２として出力する。一方、撮像素子２は、セレクタ５の出力信号Ｓ５が撮像素子駆動回路ＩＩ４の出力する垂直・水平同期信号Ｓ４である場合は、フレーム周期のプログレッシブ走査の映像信号を出力信号Ｓ２として出力する。

選択回路１４の出力信号Ｓ１４が０である場合は、動画撮影待機中、動画撮影中または動画撮影中に静止画記録処理が行われたことを意味する。この場合、セレクタ５は、撮像素子２がフィールド周期のインタレース走査となるように、撮像素子駆動回路Ｉ３の出力する垂直・水平同期信号Ｓ３を出力信号Ｓ５として出力する。一方、選択回路１４の出力信号Ｓ１４が１である場合は、静止画撮影が行われたことを意味する。この場合、セレクタ５は、撮像素子２がフレーム周期のプログレッシブ走査となるように、撮像素子駆動回路ＩＩ４が出力する垂直・水平同期信号Ｓ４を出力信号Ｓ５として出力する。

動画信号処理回路６は、撮像素子２の映像出力信号Ｓ２と選択回路１４の出力信号Ｓ１４を入力信号とする。選択回路１４の出力信号Ｓ１４が０である場合は、動画信号処理回路６は、動画用のアパーチャ補正、ガンマ補正、輝度調整、ホワイトバランス等の処理を行い、動画記録のフォーマットの画角にリサイズ処理を行い、出力信号Ｓ６として出力する。一方、選択回路１４の出力信号Ｓ１４が１である場合は、動画信号処理回路６の出力信号Ｓ６は動画表示処理回路８に対してのみ有効となる。動画信号処理回路６は、撮像素子２の出力信号Ｓ２を動画像処理時と同じ画角となるようにリサイズ処理し、インタレース走査の映像信号として出力信号Ｓ６として出力する。あるいは、動画信号処理回路６は、静止画記録が行われたことを示す画像を出力信号Ｓ６として出力してもよい。

動画記録処理回路７は、ＣＰＵ１３の出力信号Ｓ１３１が１の時は動画像記録中であるため、動画像記録メディアに動画信号処理回路６の出力信号Ｓ６を記録する。また、動画記録処理回路７は、ＣＰＵ１３の出力信号Ｓ１３１が０の時は動画像を記録しない状態であるので、何も処理は行わない。

走査線補間回路９は、インタレース走査の走査線補間処理を行い、プログレッシブ走査の映像信号を出力信号Ｓ９として出力する。走査線補間処理は、例えば、入力信号を１フィールド遅延させるためのフィールドメモリを使用し、現フィールドと１フィールド前の情報から動き判定、斜め判定を行い、補間ライン信号を作成する。この補間ラインの信号と入力信号を出力することにより、プログレッシブ走査の映像信号を出力する。なお、この走査線補間処理は一例であり、複数フィールドを使用して補間信号を生成してもよい。

静止画信号処理回路１０は、撮像素子２の出力信号Ｓ２に対して、静止画用のアパーチャ補正、ガンマ補正、ホワイトバランス等の処理を行い、出力信号Ｓ１０として出力する。

セレクタ１１は、走査線補間回路９の出力信号Ｓ９と静止画信号処理回路１０の出力信号Ｓ１０のいずれか一方を選択して出力信号Ｓ１１として出力する。選択回路１４の出力信号Ｓ１４が０である場合は、セレクタ１１は、走査線補間回路９の出力信号Ｓ９を出力信号Ｓ１１として出力する。一方、選択回路１４の出力信号Ｓ１４が１である場合は、セレクタ１１は、静止画信号処理回路１０の出力信号Ｓ１０を出力信号Ｓ１１として出力する。

静止画記録処理回路１２は、セレクタ１１の出力信号Ｓ１１とＣＰＵ１３の出力信号Ｓ１３２を入力信号とする。ＣＰＵ１３の出力信号Ｓ１３２が１の時は静止画記録動作が行われたことを意味するので、静止画記録処理回路１２は、静止画記録メディアにセレクタ１１の出力信号Ｓ１１を記録する。ＣＰＵ１３の出力信号Ｓ１３２が０の時は静止画記録動作が行われていないということを意味するので、静止画記録処理回路１２は何も処理は行わない。

ＣＰＵ１３は、動画像記録中である場合は１を出力信号Ｓ１３１として出力し、動画像記録待機中である場合は０を出力信号Ｓ１３１として出力する。また、ＣＰＵ１３は、静止画記録が行われた場合は１を出力信号Ｓ１３２として出力し、静止画記録が行われていない場合は０を出力信号Ｓ１３２として出力する。

評価値生成部１５は、撮影動画像の状態を表す評価値Ｓ１５を生成する。図７は評価値生成部１５の構成の詳細のブロック図である。図７において、７０１は動画信号処理回路６の出力信号Ｓ６が入力される入力端子、７０２はフレームメモリ、７０３は動きベクトル検出回路、７０４は動きベクトル大きさヒストグラム生成回路、７０５は動きベクトル方向ヒストグラム生成回路である。７０６は領域別動きベクトル大きさヒストグラム生成回路、７０７は第１のヒストグラム判定回路、７０８は第２のヒストグラム判定回路、７０９は第３のヒストグラム判定回路、７１０は特定被写体検出回路、７１１は主被写体判定部である。７１２は輝度レベル評価値検出回路、７１３は被写体輝度判定部、７１４は色評価値検出回路、７１５は被写体色判定部である。

以下、評価値生成部１５の動作について説明する。入力端子７０１より入力された動画信号処理された映像信号Ｓ７０１は、フレームメモリ７０２と動きベクトル検出回路７０３と、特定被写体検出回路７１０と、輝度レベル評価値検出回路７１２と、色評価値検出回路７１４に入力される。

動きベクトル検出回路７０３は、フレームメモリ７０２により１フレーム遅延された映像信号Ｓ７０２と映像信号Ｓ７０１から動きベクトルを算出する。動きベクトルは、図８に示すように、撮影画角を縦・横１６分割、計２５６個の小ブロック毎に算出され、大きさと方向に分離される。この結果、各々２５６個の動きベクトルの大きさデータ群Ｓ７０３−１と、動きベクトルの方向データ群Ｓ７０３−２が生成される。動きベクトルの大きさデータ群Ｓ７０３−１は動きベクトル大きさヒストグラム生成回路７０４と、領域別動きベクトル大きさヒストグラム生成回路７０６に入力される。動きベクトルの方向データ群Ｓ７０３−２は、動きベクトル方向ヒストグラム生成回路７０５に入力される。

動きベクトル大きさヒストグラム生成回路７０４は、２５６個の動きベクトルの大きさデータ群Ｓ７０３−１から、図９に示すように、動きベクトル大きさヒストグラムデータＳ７０４を生成し、第１のヒストグラム判定回路７０７に入力する。

第１のヒストグラム判定回路７０７には、第１の動き大きさ検出閾値Ｓ７１６と第１の動き大きさ度数閾値Ｓ７１７も入力される。第１のヒストグラム判定回路７０７は、図９に示すように、所定の大きさの動きが検出されたブロックが所定の数以上存在するか否かを判定して第１の動き判定出力Ｓ７０７を出力する。動き判定出力Ｓ７０７がアサートされる状況では、撮影動画像の被写体が動いており、かつ、動きのある被写体が所定の面積で所定の大きさで動いていることが判別される。

動きベクトル方向ヒストグラム生成回路７０５は、２５６個の動きベクトルの方向データ群Ｓ７０３−２から、図１０に示すように、動きベクトル方向ヒストグラムデータＳ７０５を生成し、第２のヒストグラム判定回路７０８に入力する。

第２のヒストグラム判定回路７０８には、動き方向度数閾値Ｓ７１８も入力される。第２のヒストグラム判定回路７０８は、図１０に示すように、所定の方向の動きが検出されたブロックが所定の数以上存在するか否かを判定して第２の動き判定出力Ｓ７０８を出力する。判定出力Ｓ７０８がアサートされる状況では、撮影動画像の被写体が特定の方向に揃った動きをもつことが判別できる。

領域別動きベクトル大きさヒストグラム生成回路７０６には、２５６個の動きベクトルの大きさデータ群Ｓ７０３−１が入力される。同生成回路は、図１１に示すように、２５６個の動きベクトルを画面中心部と画面周辺部に分けて、各々の領域において動きベクトル大きさヒストグラムデータＳ７０６が生成し、第３のヒストグラム判定回路７０９に入力する。

第３のヒストグラム判定回路７０９には、第２の動き大きさ検出閾値Ｓ７１９と第２の動き大きさ度数閾値Ｓ７２０も入力される。第３のヒストグラム判定回路７０９は、図１２に示すように、画面中心部と周辺部毎に各々、所定の大きさの動きが検出されたブロックが所定の数以上存在するか否かを判定して周辺部のみに動きの存在が判定されたときに第３の動き判定出力Ｓ７０９を出力する。図１２（ａ）は周辺領域ヒストグラムを表し、図１２（ｂ）は中央領域ヒストグラムを表す。動き判定出力Ｓ７０９がアサートされる状況では、撮影動画像の被写体は比較的静止して背景に動きがあり、流し撮りしているものと判別できる。

特定被写体検出回路７１０は、入力された前記映像信号Ｓ７０１から、撮影動画像内に例えば、人の顔などの特定の特徴を持った被写体が、どの位置に存在するかを検出し、複数の被写***置情報Ｓ７１０を出力する。主被写体判定部７１１では、複数の被写***置情報Ｓ７１０から、特定の一つの被写体を決定し、主被写***置情報Ｓ７１１を出力する。主被写***置情報Ｓ７１１を参照すれば、特定の被写体が撮影動画像内に存在するか否かの判定が可能となる。

輝度レベル評価値検出回路７１２は、映像信号Ｓ７０１から、例えば、輝度信号を抽出し、撮影動画像の輝度信号に対し、例えば、画面を複数のブロック分けし、複数のブロック毎に輝度信号の積分値を生成するなどして輝度レベル評価値Ｓ７１２を生成する。輝度レベル評価値Ｓ７１２と被写体輝度判定レベルＳ７２１が被写体輝度判定部７１３に入力される。被写体輝度判定部７１３は、例えば、画面の中央部分の輝度評価値と被写体輝度判定レベルＳ７２１を比較して、被写体の輝度レベル判定結果Ｓ７１３を出力する。被写体の輝度レベル判定結果Ｓ７１３を参照すれば、被写体の明るさが被写体輝度判定レベルＳ７２１と比較してどのような値となっているかを判定することができる。

色評価値検出回路７１４は、映像信号Ｓ７０１から、例えば、色差信号を抽出し、撮影動画像の色差信号に対し、例えば、画面を複数のブロック分けし、複数のブロック毎に特定の値の色差信号のみを積分して特定色評価値Ｓ７１４を生成する。特定色評価値Ｓ７１４と被写体色判定レベルＳ７２２が７１５の被写体色判定部７１５に入力される。被写体色判定部７１５は、例えば、画面の中央部分に特定の色が集中しているかを判定し、被写体の色レベル判定結果Ｓ７１５を出力する。被写体の色レベル判定結果Ｓ７１５を参照すれば、被写体の色が特定の色差信号範囲に含まれるものであるかを判定することができる。

以上説明したように、評価値生成部１５からの評価値Ｓ１５は、第１〜第３の動き判定出力Ｓ７０７、Ｓ７０８、Ｓ７０９と、主被写***置情報Ｓ７１１と、被写体の輝度レベル判定結果Ｓ７１３と、被写体の色レベル判定結果Ｓ７１５から構成される。この結果、評価値Ｓ１５は、被写体の動き情報、特定の部位が存在するかどうかの情報、複数の被写体のうちの特定の被写体を識別する情報、被写体の輝度の情報、被写体の色の情報のうちの少なくとも一つを表す。

画像評価部１６は、評価値Ｓ１５に基づいて以下のように動画駆動判定と静止画駆動判定を行う。

まず、画像評価部１６は、第１の動き判定出力Ｓ７０７及び第２の動き判定出力Ｓ７０８から、撮影動画像内に所定の方向に固まった所定の大きさ以上の動きが検知される場合には動画駆動の判定信号Ｓ１６を生成する。これにより、見た目に検知されやすい被写体の大きなまとまった動きに対して不自然にならないように対応することができる。

また、画像評価部１６は、第３の動き判定出力Ｓ７０９から、撮影者が意図的に流し撮りしていると判定した場合（動画像の中心部にある被写体よりも周辺部に動きが大きいと判定した場合）、撮像素子２を静止画用に駆動すべきとの判定信号Ｓ１６を生成する。また、画像評価部１６は、主被写***置情報Ｓ７１１から、撮影動画像内に、被写体の顔などの特定の部位が存在すると判定した場合には、撮影者が意図する被写体を撮影しているとの前提によりの静止画用に駆動すべきとの判定信号Ｓ１６を生成する。これにより、見た目に検知されやすい被写体の大きなまとまった動きに不自然さが生じたとしても、それは撮影者の意図通りであるとの前提で対応する。

また、画像評価部１６は、被写体の輝度レベル判定結果Ｓ７１３により、被写体の輝度が閾値よりも低いと判定した場合に、静止画駆動の判定信号Ｓ１６を生成する。また、画像評価部１６は、被写体の色レベル判定結果Ｓ７１５により、被写体の色が黄色に近い（黄色を中心とする特定の色差範囲内にある）と判定した時は動画駆動の判定信号Ｓ１６を生成する。これにより、画像評価部１６は、被写体の動きに対しての不自然さが検知のし易さに応じて対応する。

画像評価部１６は、評価値Ｓ１５を構成するＳ７０７、Ｓ７０８、Ｓ７０９、Ｓ７１１、Ｓ７１３、Ｓ７１５に対して判定信号Ｓ１６を動画駆動か静止画駆動か一意に決定できない場合もある。この場合、所定の優先順位、多数決、公知の多変量解析結果、公知のニューラルネットワーク判定結果などを使用すればよい。

選択回路１４は、ＣＰＵ１３の出力信号Ｓ１３２と撮像素子駆動の判定信号Ｓ１６を入力信号とする。ＣＰＵ１３の出力信号Ｓ１３２が１（静止画記録）で判定信号Ｓ１６が動画駆動判定である場合は、選択回路１４の出力信号Ｓ１４は０となり、撮像素子２はインタレース走査のフィールド動画駆動で制御される。また、動画信号処理回路６はインタレース走査のフィールド動画用の画像処理が行われ、動画記録処理回路７と動画表示処理回路８にはフィールド動画像が供給される。また、セレクタ１１は走査線補間回路９の出力信号Ｓ９を静止画記録処理回路１２に伝達する。

また、ＣＰＵ１３の出力信号Ｓ１３２が１で撮像素子駆動の判定信号Ｓ１６が静止画駆動判定である場合は、選択回路１４の出力信号Ｓ１４は１となり、撮像素子２はプログレッシブ走査の静止画駆動で制御される。また、動画信号処理回路６の出力信号Ｓ６は動画表示処理回路８に対してのみ有効となり、撮像素子２の出力信号Ｓ２を動画像処理時と同じ画角となるようにリサイズ処理を行い、インタレース走査の映像信号として出力信号Ｓ６として出力する。または、静止画記録が行われた事を示す画像を出力信号Ｓ６として出力してもよい。静止画信号処理回路１０ではプログレッシブ走査で静止画用の画像処理が行われ、また、セレクタ１１は静止画信号処理回路１０の出力信号Ｓ１０を静止画記録処理回路１２に伝達する。

本実施例によれば、動画と静止画の両撮影の操作が簡略化されてシャッターチャンスを逃さないように動画撮影中に静止画撮影が行える。この場合、記録される静止画像において解像感の劣化を抑えることができる。また、表示及び記録される動画像に生ずる不自然な動きを、ビデオカメラの使用者が検知しない範囲か検知しても許容できる範囲に抑えることができる。

本実施例のビデオカメラのブロック図である。図１に示す撮像素子の構成の詳細を示す回路図である。図２に示す撮像素子のタイミングチャートである。図２に示す撮像素子のタイミングチャートである。図２に示す撮像素子のタイミングチャートである。図２に示す撮像素子のタイミングチャートである。図１に示す評価値生成部の構成の詳細を示すブロック図である。本実施例の動きベクトル検出の画像分割例である。本実施例の動きベクトル大きさヒストグラムの例である。本実施例の動きベクトル方向ヒストグラムの例である。本実施例の領域別動きベクトル大きさヒストグラムの例である。周辺領域ヒストグラムと中央領域ヒストグラムの例である。

符号の説明

２撮像素子
３撮像素子駆動回路Ｉ（第１駆動回路）
４撮像素子駆動回路ＩＩ（第２駆動回路）
５セレクタ（第１セレクタ）
６動画信号処理回路
７動画記録処理回路
８動画表示処理回路
９走査線補間回路
１０静止画信号処理回路
１１セレクタ（第２セレクタ）
１２静止画記録処理回路
１３ＣＰＵ（制御部）
１４選択回路
１５評価値生成部
１６画像生成部

Claims

被写体を撮像する撮像素子と、
前記撮像素子が撮像した画像をインタレース走査して電気信号に変換するように前記撮像素子を駆動する第１駆動信号を生成する第１駆動回路と、
前記撮像素子が撮像した画像をプログレッシブ走査して電気信号に変換するように前記撮像素子を駆動する第２駆動信号を生成する第２駆動回路と、
前記撮像素子の出力に動画用の信号処理を施して、インタレース走査に基づく第１映像信号を出力する動画信号処理回路と、
前記動画信号処理回路の前記第１映像信号に基づいて、動画像の状態を表す評価値を生成する評価値生成部と、
前記評価値生成部の前記評価値に基づいて、前記動画像において前記被写体の動きを検知した場合に前記撮像素子を動画用に駆動すべきと判定し、前記動画像において前記被写体の動きを検知しない場合に前記撮像素子を静止画用に駆動すべきと判定する画像評価部と、
前記画像評価部が前記撮像素子を動画用に駆動すべきと判定をした場合に、動画撮影待機中、動画撮影中または動画撮影中に静止画記録が行われたことを表す第１状態信号を生成し、静止画記録が行われた場合に前記静止画記録が行われたことを表す第２状態信号を生成する選択回路と、
前記選択回路の第１状態信号に基づいて前記第１駆動回路を選択し、前記選択回路の第２状態信号に基づいて前記第２駆動回路を選択する第１セレクタと、
を有することを特徴とする撮像装置。
前記画像評価部は、前記動画像の中心部にある前記被写体よりも周辺部に動きが大きいと判定した場合に、前記撮像素子を静止画用に駆動すべきと判定をすることを特徴とする請求項１に記載の撮像装置。
前記画像評価部は、前記動画像に特定の部位が存在すると判定した場合に、前記撮像素子を静止画用に駆動すべきと判定をすることを特徴とする請求項１に記載の撮像装置。
前記画像評価部は、前記被写体の輝度が閾値よりも低いと判定した場合に、前記撮像素子を静止画用に駆動すべきと判定をすることを特徴とする請求項１に記載の撮像装置。
前記画像評価部は、前記被写体の色が黄色を中心とする特定の色差範囲内にあると判定した場合に、前記撮像素子を動画用に駆動すべきと判定をすることを特徴とする請求項１に記載の撮像装置。
前記評価値は、前記被写体の動き情報、特定の部位が存在するかどうかの情報、複数の被写体のうちの特定の被写体を識別する情報、前記被写体の輝度の情報、前記被写体の色の情報のうちの少なくとも一つを表すことを特徴とする請求項１に記載の撮像装置。
前記撮像素子の出力に静止画用の信号処理を施して、プログレッシブ走査に基づく第２映像信号を出力する静止画信号処理回路と、
前記動画信号処理回路の前記第１映像信号に走査線を補間してプログレッシブ走査に基づく第３映像信号に変換する走査線補間回路と、
前記選択回路の前記第１状態信号に応答して前記走査線補間回路の前記第３映像信号を選択し、前記選択回路の前記第２状態信号に応答して前記静止画信号処理回路の前記第２映像信号を選択する第２セレクタと、
静止画記録が行われた場合に前記第２セレクタの出力を記録する静止画記録処理回路と、
を更に有することを特徴とする請求項１に記載の撮像装置。
前記撮像装置は、前記第１セレクタが前記第１駆動回路と前記第２駆動回路のいずれを選択しても、前記動画信号処理回路の前記第１映像信号を表示する処理を行う動画表示処理回路を更に有することを特徴とする請求項１に記載の撮像装置。