JP2005236662A

JP2005236662A - 撮像方法、撮像装置及び撮像システム

Info

Publication number: JP2005236662A
Application number: JP2004043249A
Authority: JP
Inventors: Kozo Ishida; 晃三石田; Tetsuya Kuno; 徹也久野; Mitsuo Hashimoto; 充夫橋本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-02-19
Filing date: 2004-02-19
Publication date: 2005-09-02

Abstract

【課題】低照度時の撮影の際も、画像がぶれることなく撮像時の感度の高い撮影方法、撮像装置及び撮像システムを得る。
【解決手段】時間的に順次撮像される複数の第１の画像に基づき第２の画像を逐次合成して撮像時の感度を高める際に、第２の画像を記憶し、複数の第１の画像の間の動き情報を検出し、動き情報の履歴を記憶し、動き情報の履歴に基づき第１の画像の動きの原因を判別し、第１の画像の動きの原因に基づき第１の画像又は第２の画像のいずれかに対し、動き情報を用いて移動し、この移動された第１の画像と第２の画像とを合成してこの第２の画像を更新する。
【選択図】図５

Description

この発明は、撮像方法、撮像装置及び撮像システムに係わり、特に、低照度時の撮像の際の感度を向上させるとともに、撮像の際、手ぶれ等の撮像装置のぶれにより生じる画像のぶれを補正する撮像方法、撮像装置及び撮像システムに関する。

従来の撮像装置は、低照度時の撮像の際、露光時間を長くすることで生じる撮像装置の手ぶれやスミアによる画質劣化を防止するため、時間的に連続するフィールド毎の映像信号を動き検出回路と手ぶれ補正用メモリーに供給、記憶し、動き検出回路で検出される動きベクトルに基づいて、手ぶれ補正用メモリーに記憶された映像信号の手ぶれ補正を行って合成する構成にしている（例えば、特許文献１参照）。

また、手ぶれによるぶれ画像の発生を防ぐとともに、固体撮像装置のダイナミックレンジを広げるために、露光量を異ならせて順次撮像した複数の画面を部分的に組み合わせて一つに合成する手段を備え、複数の画面内の各画素間の動きベクトルと複数の画面間の動きベクトルとの差が予め定められた閾値よりも大きい場合にはその画素の合成を行わない構成にしている（例えば、特許文献２参照）。

特開平１１−２５２４４５号公報（第６−８頁、第１図）特開平１０−２４３２８８号公報（第７頁、第１図）

従来の撮像装置は、手ぶれ補正用メモリーに記憶された画像を手ぶれ補正して合成する場合、映像信号レベル又は合成する画像の枚数を検出するのみであり、撮像装置の操作者がパンニング等の撮影効果を意図とした動画像の撮像時においても、画像の動きがパンニングによるものか手ぶれによるものかを判別できず、映像信号レベルが所定の値となるまで、又は所定の枚数分、画像の補正と合成を続けて１枚のフィールドを形成する。したがって、所定の感度を確保するための映像信号レベルが高く設定される場合や合成画像の枚数が多い場合には、手ぶれよりも動きの大きいパンニングの画像に対するフィールドの作成が画像の動きに追随できず、動画の画質が劣化するという問題点があった。さらに、連続的に撮像された映像信号に手ぶれ補正を施し、各映像の撮像前に手ぶれ補正用メモリーに記憶された合成画像と合成されるので、パンニング時の撮像装置本体の動きや被写体の動きの速度にむらがあると、最終的に出力される合成画像の動きが撮像装置に入力される被写体の動きとずれ、動画の画質が劣化する問題点があった。

また、露光量を異ならせて順次撮像した複数の画面に対し、複数の画面内の各画素間の動きベクトルと複数の画面間の動きベクトルとの差が予め定められた閾値よりも大きい場合にはその画素の合成を行わないので、閾値よりも大きい動きベクトルをもつ被写体の照度が低い場合には手ぶれ補正を施された画素の合成が行なわれず、動画の画質が劣化するという問題点があった。

この発明は上記のような課題を解消するためになされたもので、静止画撮影や、パンニングを含めた動画撮影においても、手ぶれ等の撮像装置のぶれにより生じるぶれ画像を補正して撮像時の感度が向上する撮像方法、撮像装置及び撮像システムを得ることを目的とする。

この発明に係る撮像方法においては、時間的に順次撮像される複数の第１の画像に基づき第２の画像を逐次合成して撮像時の感度を高める撮像方法において、第２の画像を記憶する第２の画像記憶処理と、複数の第１の画像の間の動き情報を検出する動き情報検出処理と、動き情報の履歴を記憶する動き情報履歴記憶処理と、動き情報の履歴に基づき第１の画像の動きの原因を判別する動き判別処理と、第１の画像の動きの原因に基づき第１の画像又は第２の画像のいずれかに対し、動き情報を用いて移動する画像移動処理と、この画像移動処理により移動された第１の画像と第２の画像とを合成してこの第２の画像を更新する画像合成処理とを備えたものである。

また、この発明に係る撮像装置においては、時間的に順次撮像される複数の第１の画像に基づき第２の画像を逐次合成して撮像時の感度を高める撮像装置において、第２の画像を記憶する第２の画像記憶手段と、複数の第１の画像の間の動き情報を検出する動き情報検出手段と、動き情報の履歴を記憶する動き情報履歴記憶手段と、動き情報の履歴に基づき第１の画像の動きの原因を判別する動き判別手段と、第１の画像の動きの原因に基づき第１の画像又は第２の画像のいずれかに対し、動き情報を用いて移動する画像移動手段と、この画像移動手段により移動された第１の画像と第２の画像とを合成してこの第２の画像を更新する画像合成手段とを備えたものである。

また、この発明に係る撮像システムにおいては、時間的に順次撮像される複数の第１の画像に基づき第２の画像を逐次合成して撮像時の感度を高める撮像システムにおいて、第１の画像の画像情報を入力する画像情報入力手段と、複数の第１の画像の間の動き情報を入力する動き情報入力手段と、動き情報の履歴を記憶する動き情報履歴記憶手段と、動き情報の履歴に基づき第１の画像の動きの原因を判別する動き判別手段と、第１の画像の動きの原因に基づき第１の画像又は第２の画像のいずれかに対し動き情報を用いて移動する画像移動手段と、この画像移動手段により移動された第１の画像と第２の画像とを合成してこの第２の画像を更新する画像合成手段とを備えたものである。

この発明は、時間的に順次撮像される複数の第１の画像に基づき第２の画像を逐次合成して撮像時の感度を高める撮像方法において、第２の画像を記憶する第２の画像記憶処理と、複数の第１の画像の間の動き情報を検出する動き情報検出処理と、動き情報の履歴を記憶する動き情報履歴記憶処理と、動き情報の履歴に基づき第１の画像の動きの原因を判別する動き判別処理と、第１の画像の動きの原因に基づき第１の画像又は第２の画像のいずれかに対し、動き情報を用いて移動する画像移動処理と、この画像移動処理により移動された第１の画像と第２の画像とを合成してこの第２の画像を更新する画像合成処理とを備えることにより、静止画撮影や、パンニングを含む動画撮影においても、手ぶれ等の撮像装置のぶれにより生じるぶれ画像を補正して撮像時の感度を向上することができる。

実施の形態１．
図１は、この発明の実施の形態１における撮像装置を用いたビデオカメラの全体構成を説明するブロック図である。図１において、ビデオカメラは、カメラモジュール１００及び入出力処理モジュール２００から構成される。カメラモジュール１００は、レンズ群１１０、絞り１２０及びこの発明の撮像装置をなす撮像部１３０並びにカメラ信号処理部１４０から構成される。入出力制御モジュール２００は、メインシステム制御部２１０、外部ストレージ２２０、外部機器２３０、表示デバイス２４０及び無線通信部２５０から構成される。

レンズ群１１０は複数毎のレンズが組み合わされたものであり、絞り１２０を経由して、センサーである撮像部１３０の受光面上に被写体の光学像を結像する。レンズ群１１０は、固定焦点撮影、オート機能によるフォーカス調整、マクロ切換え、ズーム調整などを行うために、手動や後述するカメラ信号処理部１４０からのレンズ制御信号によりレンズ位置が調整される。

絞り１２０は撮像部１３０へ入射する光量を機械的に調整する。絞り１２０は、手動やカメラ信号処理部１４０からの絞り制御信号により絞り１２０の開口の面積を被写体の照度環境に応じて変更し、撮像部１３０の受光面における露光調整を行う。後述する撮像部１３０の撮像素子における電子シャッター機能により、絞り１２０を使用しないで露光調整を行うことも可能である。

撮像部１３０は、撮像部１３０の受光面上に結像される被写体の光学像を電気信号に変換し、電気信号に変換されたセンサー出力信号をカメラ信号処理部１４０へ出力する。撮像部１３０の構成については後述する。

カメラ信号処理部１４０は、撮像部１３０から出力されるセンサー出力信号である画像ＲＡＷ信号に対し後述する画像処理を行い、画像処理された画像信号を入出力制御モジュール２００のメインシステム制御部２１０へ出力する。また、センサー出力信号に基づき、レンズ群１１０に対しフォーカス調整、絞り１２０に対し露光調整の制御を行う。

図２は、カメラモジュール１００におけるカメラ信号処理部１４０の機能ブロック図を示す。白バランス機能は、いろいろな光源に対して自動的にホワイトバランスを調整する機能である。露光調整機能は、被写体からの光入力に応じて、撮像部１３０の撮像素子に対する自動利得制御（ＡＧＣ）調整や電子シャッター調整，絞り１２０に対する絞り調整等を行い、撮像部１３０の感光面での露光量を調整する機能である。補間処理機能は、撮像部１３０から出力される画像ＲＡＷ信号から画素毎のＲＧＢの色成分を補間処理にて生成する機能である。ＲＧＢＭａｔｒｉｘ機能は、ＲＧＢ−ＹＵＶ変換やＹＵＶ−ＲＧＢ変換を行う機能である。カメラ画質調整機能は、γ（ガンマ）補正，輪郭強調，クロマ抑圧などの画質調整のための信号処理を行う機能である。ぶれ補正は、手ぶれ等の撮像装置のぶれにより生じる撮像画像のぶれを補正する機能である。画像合成は、撮像時の感度を高めるため、時間的に順次撮像される複数の画像を合成する機能である。ＣＰＵは、後述する外部機器からのコントロール信号を介しての通信や、カメラ信号処理部１４０内の各機能の制御、自動露出時の最適露光判別、後述する撮像部１３０の制御などを行う機能を有する。

図１のメインシステム制御部２１０は、カメラ信号処理部１４０からの画像信号に対し、外部ストレージ２２０に記録する機能、外部機器２３０と入出力する機能、表示デバイス２４０に表示する機能，ビデオカメラの外部機器と無線通信する機能など、カメラ信号処理部１４０における画像信号処理以外の信号処理を行なう機能を有する。

図３は、入出力制御モジュール２００におけるメインシステム制御部２１０の機能ブロック図を示す。圧縮伸張機能は、撮像された静止画像をＪＰＥＧ形式のファイルに変換するＪＰＥＧ変換や、撮像された動画像をＭＰＥＧ形式の動画像ファイルに変換するＭＰＥＧ変換等、画像ファイルの圧縮伸張を行う機能である。表示制御機能は表示デバイス２４０を制御し、表示デバイス２４０のγ特性に対応した信号処理を行なう機能である。ストレージ制御機能は、ＣｏｍｐａｃｔＦｌａｓｈなどの固体メモリーや、ＨＤＤ、ＤＶＤなどの大容量メディアへの保存／記憶／消去等の制御を行う機能である。外部機器Ｉ／Ｆ機能は、ＵＳＢやＩＥＥＥ１３９４、ＲＳ−２３２Ｃ、無線ＬＡＮなどの汎用的な通信Ｉ／Ｆにて構成され、ＣＰＵのファームウェアの構成により、外部機器Ｉ／Ｆに接続される外部機器２３０に対してホスト機能を提供する。また、パソコン等と接続されることにより、パソコンのスレーブ（デバイス）として機能することも可能である。通信制御機能は、ＰＤＣ，ＷＣＤＭＡ、ＰＨＳなどの携帯電話での通信を実現するための機能である。以上の機能は、ハードウェアにより実現したり、ＣＰＵを用いてソフトウェアにより実現することも可能である。

図１において、外部ストレージ２２０は、メインシステム制御部２１０において設定された記録フォーマットで記録するための装置であり、ＦｌａｓｈＭｅｍｏｒｙ、ＦＤＤ，ＨＤＤ、ＤＡＴ、ＤＶ、ＤＶＤなどの記録メディアにデータを記録することが可能である。

外部機器２３０はメインシステム制御部２１０より制御され、無線ＬＡＮなどの無線通信やＵＳＢ、ＩＥＥＥ１３９４などの有線通信にて他の情報携帯端末通信装置と通信を行う通信装置である。

表示デバイス２４０はメインシステム制御部２１０からの映像信号を表示する。表示デバイス２４０は、液晶、ＥＬ等により構成される。

図４は、この発明の実施の形態１における撮像装置の一部をなす撮像部１３０の構成を説明するブロック図である。撮像部１３０は、ＣＣＤにより構成される撮像素子１３１、撮像素子１３１の一部をなす受光素子に蓄積される電荷を垂直転送駆動する垂直転送駆動部１３２、垂直転送駆動部１３２を制御するための撮像システム制御部１３３、及び、撮像素子１３１と撮像システム制御部１３３からの出力を処理する撮像信号処理部１３４から構成される。

撮像素子１３１は、撮像部１３０の感光面上に規則的に多数配置されたフォトダイオード等の受光素子、光電気変換により受光素子が受光量に応じて出力する電荷を電気信号として撮像信号処理部５へ出力する垂直転送ＣＣＤ、水平転送ＣＣＤ、及び出力回路から構成される。各受光素子からの電気信号が各画素における信号に対応する。ここで、垂直転送ＣＣＤは４相駆動により受光素子の蓄積電荷を垂直転送するものとする。また、水平転送ＣＣＤは２相駆動により受光素子の蓄積電荷を水平転送するものとする。

垂直転送駆動部１３２は、撮像システム制御部１３３から入力される４層駆動用の垂直転送制御クロック(φＶ1,φＶ２,φＶ３,φＶ４)、受光素子から垂直転送ＣＣＤへの電荷の読み出し制御クロック(φＴＧ１,φＴＧ３)、フォトダイオードに蓄積される不要電荷を一斉に基板方向に放電して消去する電子シャッター制御クロック（φＯＦＤ）を昇圧し、読み出しクロックと垂直転送クロックを重畳させて、撮像素子１３１へ４層の垂直転送クロック（Ｖ１,Ｖ２,Ｖ３,Ｖ４）、電子シャッターパルス（ＯＦＤ）を出力する。

撮像システム制御部１３３は、カメラ信号処理部１４０より入力されるセンサー制御信号により、垂直転送駆動部１３２へ垂直転送制御クロック(φＶ1,φＶ２,φＶ３,φＶ４)、読み出し制御クロック(φＴＧ１,φＴＧ３)、電子シャッター制御クロック（φＯＦＤ）を出力する機能と、撮像素子１３１へ水平転送ＣＣＤ制御用の水平転送クロック（Ｈ１，Ｈ２）ならびにリセットゲートクロック（ＲＳ）を出力する機能と、撮像信号処理部５へＣＤＳ用黒レベルサンプルホールドパルス（ＳＨＰ）、ＣＤＳ用信号レベルサンプルホールドパルス（ＳＨＤ）、Ａ／Ｄクロック（ＡＤＣＬＫ）、ブランキング信号（ＰＢＬＫ）及び光学的黒レベル検出パルス（ＣＰＯＢ）を出力する機能を備える。また、水平同期信号（ＨＤ）と垂直同期信号（ＶＤ）を生成して外部供給するマスターモードや、外部からＨＤ、ＶＤを供給されて、内部制御信号を同期制御するスレーブモードを可能とする機能を備える。

撮像信号処理部１３４は、撮像素子１３１から画素毎の蓄積電荷を入力し、撮像システム制御部１３３からのＣＤＳ用黒レベルサンプルホールドパルス（ＳＨＰ）、ＣＤＳ用信号レベルサンプルホールドパルス（ＳＨＤ）によりＣＤＳ処理を行い、ＣＤＳ処理された信号をＧａｉｎ調整した後、Ａ／Ｄクロック（ＡＤＣＬＫ）によりＡ／Ｄ変換したセンサー出力信号をカメラ信号処理部１４０へ出力する機能を備える。また、ブランキング信号（ＰＢＬＫ）、光学的黒レベル検出パルス（ＣＰＯＢ）の制御信号により、撮像信号の黒レベルの補正を行う機能も備える。

図５は、カメラ信号処理部１４０におけるぶれ補正機能及び画像合成機能を実現するための構成を説明するためのブロック図である。カメラ信号処理部１４０においてぶれ補正機能及び画像合成機能を実現する要素として、後述する複数の第１の画像間の動き情報である動きベクトルを検出する動き情報検出手段である動きベクトル検出部１４１、動き情報の履歴を記憶する動き情報履歴記憶手段である動きベクトルメモリー部１４２、動き情報の履歴に基づき第１の画像の動きの原因を判別する動き判別手段である手ぶれ判別部１４３、第１の画像の動きの原因に基づき第１の画像又は後述する第１の画像を逐次合成して形成される第２の画像のいずれかに対し、動き情報を用いて移動する画像移動手段と、この画像移動手段により移動された第１の画像と第２の画像とを合成してこの第２の画像を更新する画像合成手段とを兼ねる合成部１４４、撮影される画像が静止画か動画かの設定や撮影される照度環境を検出する撮像条件／撮像状態検出部１４５及び第２の画像を記憶する第２の画像記憶手段である合成信号メモリー部１４６から構成される。

図５において、撮像部１３０から出力される画素毎のセンサー出力信号が時間的に順次撮像される複数の第１の画像の撮像信号であり、動きベクトル検出部１４１及び合成部１４４へ入力される。ここで、複数の第１の画像の間の動き情報は画像の移動の方向と量の情報をもち、ＭＰＥＧ等に採用されている動きベクトルとし、第１の画像を構成する画素の単位を用いて表現される。

動きベクトル検出部１４１は、センサー出力信号である第１の画像の撮像信号を用いて複数の第１の画像の間の動きベクトルを検出し、動きベクトル信号を動きベクトルメモリー部１４２、手ぶれ判別部１４３及び合成部１４４へ出力する。動きベクトルは１フレームを構成する複数のブロック単位で検出され、それぞれ動きベクトルメモリー部１４２に記憶される。なお、各ブロックの動きベクトルから１フレーム全体の動きベクトルを検出し、動きベクトルメモリー部１４２に記憶する構成も可能である。

動きベクトルメモリー部１４２は、動きベクトル検出部１４１が出力する動きベクトルの履歴情報を記憶し、手ぶれ判別部１４３へ動きベクトルの履歴情報を出力する。

手ぶれ判別部１４３は、動きベクトル検出部１４１から入力される動きベクトルと動きベクトルメモリー部１４２から入力される動きベクトル履歴情報とに基づき、撮像部１３０から出力されるセンサー出力信号である複数の第１の画像の動きの原因を判別し、動き判別信号を合成部１４４へ出力する。なお、動きベクトルメモリー部１４２が動きベクトル検出部１４１の検出する最新の動きベクトルの情報を記憶する場合、手ぶれ判別部１４３は動きベクトルメモリー部１４２から入力される動きベクトル履歴情報に基づき、複数の第１の画像の動きの原因を判別する。ここで、複数の第１の画像の動きの原因の判別とは、被写体が静止している静止画撮影時には手ぶれ等の撮像装置を含むカメラモジュール１００のぶれ、動画撮影時には、カメラモジュール１００のぶれか、パンニングのように撮影効果を意図したカメラモジュール１００の意識的な動きによるものかを判別する。

図５において、合成部１４４は、撮像部１３０の撮像信号処理部１３４が出力するセンサー出力信号と、動きベクトル検出部１４１が出力する動きベクトル信号と、手ぶれ判別部１４３が出力する動き判別信号と、及び撮像条件／撮像状態検出部１４５が出力する撮像条件／撮像状態検出信号とが入力される。また、合成部１４４は、合成信号メモリー部１４６に対し第２の画像信号を入出力する。さらに、後述する画像処理部１４７に対し、合成部１４４において合成された第２の画像信号を出力する。手ぶれ判別部１４３が出力する動き判別信号に基づき、合成部１４４に入力される最新のセンサー出力信号である第１の画像又はこの最新の第１の画像の前にこれらの複数の第１の画像を逐次合成して形成され合成信号メモリー部１４６に記憶される第２の画像のいずれかに対し、動きベクトル検出部１４１が出力する動きベクトルを用いて移動することにより画像ぶれの補正を行う。そして、この補正を行った両者の画像を合成して新たな第２の画像を生成して、合成信号メモリー部１４６に記憶される第２の画像を更新し、画像処理部１４７へ出力する。また、撮像条件／撮像状態検出部１４５が出力する撮像条件／撮像状態検出信号に基づき、後述する複数の画像合成方法を切り替える。

撮像条件／撮像状態検出部１４５は、撮像条件が動画撮影か静止画撮影かを検出し、通常、撮像装置の操作者により入力設定される。また、撮像状態が明るい状態での撮影なのか暗い状態での撮影なのかを検出し、検出結果である撮像条件／撮像状態識別信号を合成部１４４へ出力する。

合成信号メモリー部１４６は、合成部１４４において合成された第２の画像である撮像信号を記憶する。また、合成部１４４からの要求により、合成信号メモリー部１４６に記憶された撮像信号を合成部１４４へ出力する。

画像処理部１４７は、合成部１４４から入力される第２の画像出力信号に対し、図２に示す白バランス機能、補間処理機能、ＲＧＢＭａｔｒｉｘ機能及びカメラ画質調整機能が提供する各種画像処理を行なった映像信号を生成し、この映像信号を入出力処理モジュール２００のメインシステム制御部２１０へ出力する。

図６は、合成部１４４の構成を説明するブロック図である。画像移動手段である画像移動処理部１４４ａは、動きベクトル検出部１４１からの動きベクトル信号と、手ぶれ判別部１４３からの動き判別信号と、撮像条件／撮像状態検出部１４５からの撮像条件／撮像状態信号とが入力される。また、画像移動処理部１４４ａは、後述する第１の画像信号バッファ部１４４ｂに対し第１の画像信号を、後述する第２の画像信号バッファ部１４４ｄに対し第２の画像信号を入出力し、撮像条件／撮像状態信号及び動き判別信号に基づきぶれ補正のための画像移動処理を行なう画像信号を選択し、動きベクトル信号に基づき画像移動処理を行なう。そして、画像移動処理を行なった画像信号を対応する第１の画像信号バッファ部１４４ｂ及び第２の画像信号バッファ部１４４ｄへ出力する。

第１の画像信号バッファ部１４４ｂは、撮像部１３０の撮像信号処理部１３４からセンサー出力信号が入力され一時記憶される。また、画像移動処理部１４４ａ及び第１の画像信号メモリー部１４４ｃに対し第１の画像信号を入出力し、画像信号演算処理部１４４ｅに対し第１の画像信号を出力する。第１の画像信号バッファ部１４４ｂは、画像移動処理部１４４ａからの要求により、第１の画像信号に対し画素単位で表現される動きベクトルの情報に基づき第１の画像信号の読出しアドレスをずらして画像移動処理部１４４ａへ読み出される。読み出された第１の画像信号は第１の画像信号バッファ部１４４ｂに出力され第１の画像信号を更新する。更新された第１の画像信号は第１の画像信号メモリー部１４４ｃ及び画像信号演算処理部１４４ｅへ出力される。

第１の画像信号メモリー部１４４ｃは第１の画像信号バッファ部１４４ｂから出力される第１の画像信号を所定の画像枚数分だけ記憶する。ここで所定の枚数とは、後述する第２の画像信号を合成するのに用いる第１の画像信号の枚数であり、画像信号処理演算部１４４ｅに予め設定される。または、撮像条件／撮像状態検出信号を介して、撮像装置の操作者が設定してもよい。

第２の画像信号バッファ部１４４ｄは、画像移動処理部１４４ａ及び合成信号メモリー部１４６に対し第２の画像信号を入出力し、画像信号演算処理部１４４ｅに対し第２の画像信号を出力する。また、後述するように画像演算処理部１４４ｅにおいて演算処理されて更新された第２の画像信号を第２の画像出力信号として画像処理部１４７へ出力する。第２の画像信号バッファ部１４４ｂｄ、画像移動処理部１４４ａからの要求により、第２の画像信号に対し画素単位で表現される動きベクトルの情報に基づき第２の画像信号の読出しアドレスをずらして画像移動処理部１４４ａへ読み出される。読み出された第２の画像信号は第２の画像信号バッファ部１４４ｄに出力され第２の画像信号を更新する。更新された第２の画像信号は合成信号メモリー部１４６及び画像信号演算処理部１４４ｅへ出力される。

画像信号処理部１４４ｅは、第１の画像信号バッファ部１４４ｂ及び第２の画像信号バッファ部１４４ｄからそれぞれ第１の画像信号及び第２の画像信号が入力される。また、撮像条件／撮像状態検出部１４５からの撮像条件／撮像状態信号が入力される。画像信号処理部１４４ｅは、撮像条件／撮像状態信号に基づき、第１の画像信号及び第２の画像信号を演算処理し、演算処理された第２の画像信号が第２の画像信号バッファ部１４４ｄへ出力され、第２の画像信号を更新する。画像信号処理部１４４ｅは、静止画撮影の場合、第１の画像信号と第２の画像信号とを加算処理して合成する。この合成方法は後述する合成方法１に対応する。動画撮影の場合は、第１の画像信号と第２の画像信号とを加算処理した後、加算処理された第２の画像信号に対し、第１の画像信号メモリー部１４４ｃに記憶される所定の第１の画像信号を減算処理する。この合成方法は後述する合成方法２に対応する。このように、第２の画像信号は、時間的に順次撮像される複数の第１の画像信号が逐次合成されることにより形成される。

次に、動作について説明する。
図７は、この発明の実施の形態１の撮像装置におけるぶれ補正の効果を説明する概念図である。被写体は静止している一人の人物とする。図７の（ａ）、（ｂ）及び（ｃ）はぶれ補正を行わない場合、図７の（ｄ）、（ｅ）及び（ｆ）はぶれ補正を行う場合の動作を説明する図である。

図７の（ａ）は、被写体の光学像が撮像部１３０における撮像素子１３１が配列される感光面の中央に結像された状態で撮像された、第１のフレーム期間における第１の画像である第１のフレーム画像である。ここで、フレーム期間とは、被写体の光学像が、レンズ群１１０及び絞り１２０からなる光学系を経由して感光面上に結像され、光電変換を行う撮像素子１３１の受光部が光を電荷に変換、蓄積することにより光学像から電荷像に変換し、この電荷像を撮像素子１３１から１画像の電気信号として出力するための期間である。フレーム期間は、感光面上の電荷像を１画像の電気信号として読み出す読出期間、撮像素子１３１における不要蓄積電荷を放電し感光面における露光時間を調整するシャッター期間、及び感光面上の光学像を電荷像に変換し、露光時間に対応する電荷蓄積期間から構成される。図７の（ａ）の第１のフレーム期間の電荷蓄積期間において、被写体は静止しており、電荷蓄積期間が十分短く、手ぶれ等の撮像装置のぶれによる画像ぶれはないものとする。

被写体が低照度の環境で撮影され、図７の（ａ）の第１のフレーム期間で出力される第１のフレーム画像が暗い場合には、再度、別のフレーム期間において別の第１の画像である第２のフレーム画像を撮像し、第１のフレーム画像と第２のフレーム画像とを合成することにより露光時間を長くし、低照度時の撮像の際の感度を高めることができる。図７の（ｂ）は、図７の（ａ）の第１のフレーム期間の次の第２のフレーム期間において出力される第２のフレーム画像の例を示す。ここで、第２のフレーム画像は第１のフレーム画像と同様に、撮像装置のぶれによる画像ぶれはないものとする。しかし、第１のフレーム期間における電荷蓄積期間の終了時から第２のフレーム期間におけるシャッター期間の開始時までの間に、並行移動や回転といった撮像装置のぶれが生じると、被写体が静止していても感光面上に結像される被写体の光学像の位置が第１のフレーム期間と第２のフレーム期間とで異なる。図７の（ｂ）の第２のフレーム画像では、撮像装置のぶれにより、被写体である人物の位置が図７の（ａ）の第１の画像と比べ左斜め上に移動した例を示す。

図７の（ｃ）は、図７の（ａ）の第１のフレーム画像及び図７の（ｂ）の第２のフレーム画像に対し、ぶれ補正を行わずにそのまま合成した第２の画像である合成画像であり、被写体が２重に見えるぶれた画像となる。

次に、ぶれ補正を行った場合について説明する。図７の（ｄ）は、図７の（ａ）と同様に、第１のフレーム期間において撮像された第１のフレーム画像である。図７の（ｅ）も、図７の（ｂ）と同様に、第１のフレーム期間の次のフレーム期間である第２のフレーム期間において撮像された第２のフレーム画像であり、撮像装置のぶれにより被写体である人物の位置が図７の（ｄ）と比べ左斜め上に移動している。図７の（ｄ）の第１のフレーム画像に対する図７の（ｅ）の第２のフレーム画像の被写体の位置のずれ量を動きベクトルとして検出し、これを撮像装置のぶれ量として判別する。

図７の（ｆ）は、図７の（ｅ）の第２のフレーム画像を検出した動きベクトルと逆方向に移動して、図７の（ｄ）の第１のフレーム画像と合成した第２の画像である合成画像であり、被写体のぶれのない画像となっている。このように、複数のフレーム期間で撮像した複数の画像を合成して撮像時の感度を高める方式を用いた長時間露光撮影においても、ぶれ補正を実施することにより画像ぶれの少ない撮像が可能となる。

図８及び図９は、撮像される複数の第１の画像の動きが撮像装置のぶれによるものか、パンニングのような意図的な動きによるものかを判別する方法を説明する概念図である。動きベクトル検出部１４１では、第１の画像の１画面を複数のブロックに分割し、各ブロック毎の動きベクトルを検出する。１画面の分割数は任意に設定できる。ＭＰＥＧで動きベクトルを検出するときは、８×８に分割されたブロックが動きベクトル検出の基本単位となる。図８及び図９の説明においては、５×７のブロックを用いる。

図８は、パンニング撮影時におけるフレーム毎の動きベクトルの変化の様子を示す一例である。図８の（ａ）は、静止している被写体である人物の撮影を開始した時点のフレームを示す。撮影者が撮像装置を右方向に回転するパンニング撮影を行うと、画面中の人物は、図８の（ｂ）、図８の（ｃ）のように左側に移動していく。図８の（ｂ）及び図８の（ｃ）における黒地の矢印は、各ブロック単位で検出した動きベクトルを示す。また、白地の矢印は、各ブロックの動きベクトルに基づき算出したフレーム全体の動きベクトルを示す。フレーム全体の動きベクトルは、各ブロックの動きベクトルを平均したり、特定のブロックにおける動きベクトルをフレーム全体の動きベクトルとして代表するなどして算出する。図８では、フレーム全体の動きベクトルが、図８の（ａ）に対し、図８の（ｂ）及び図８の（ｃ）の２フレーム分継続して同一方向へ移動していることを示している。すなわち、パンニング撮影時は、フレーム全体の動きベクトルが数フレーム分にわたり同一方向に移動する。

パンニング撮影でなく、撮像装置の撮像方向を固定した状態で、被写体である人物が一方向に移動する場合であっても、動きベクトルはパンニング撮影時と同様の時系列的な変化をする。

図９は、静止している被写体である人物を静止画として撮影する時におけるフレーム毎の動きベクトルの変化の様子を示す一例である。図９の（ａ）は、撮影を開始した時点のフレームを示す。人物が静止していても、手ぶれ等により撮像装置がぶれると、図９の（ｂ）では撮像装置が右方向に回転するため人物が左方向に移動し、黒地の矢印で表される各ブロックの動きベクトル及び白地の矢印で表されるフレーム全体の動きベクトルは左方向を示す。続く図９の（ｃ）では撮像装置が左方向に回転するため人物が右方向に移動し、各ブロックの動きベクトル及びフレーム全体の動きベクトルは右方向を示す。すなわち、撮影時に撮像装置がぶれる場合は、フレーム全体の動きベクトルが、数フレームにわたり同一方向に移動しない。

図８及び図９では、２フレーム分の動きベクトルの方向に基づき画像の動きの原因の判別を行っているが、動きベクトルメモリー部１４２において数フレーム分の動きベクトル情報の履歴を記憶し、数フレーム分の動きベクトル情報の履歴を用いて、手ぶれ判別部１４３がフレーム毎の動きベクトルの時系列の変化を検出することにより、画像の動きの原因がパンニングによるものか装置ぶれによるものかを判別することができる。フレーム毎の動きベクトルの時系列の変化を用いて画像の動きの原因を判別する方法の一例を以下に示す。

５フレーム分の動きベクトル情報の履歴を検出し、動きベクトルの検出結果が、各フレームにおいて、（１）左方向、（２）左方向、（３）右方向、（４）左方向、（５）左方向、となった場合は、継続して撮影された画面が左方向に移動していると判定し、その結果、撮影状況がパンニングであると判別する。ここでは、動きベクトルの方向のみを用いて画像の動く方向を判定しているが、動きベクトルの強度を用いることも可能である。また、継続して撮影された画面の移動方向の検出方法としては、動きベクトルの数フレーム分のヒストグラムを用いる方法や、動きベクトルの数フレーム分の平均を用いてもよい。

図１０乃至図１２は、撮像時の感度を高める動作を説明する図である。図１０は従来の撮像装置において撮像時の感度を向上する動作を説明するための波形図、図１１及び図１２は、この発明の形態１における撮像装置において、それぞれ静止画及び動画の撮像時の感度を高める動作を説明するための波形図である。図１１に示す第２の画像の合成方法が合成方法１であり、図１２に示す第２の画像の合成方法が合成方法２である。

図１０の（ａ）は、被写体が明るい照度環境で撮影された時の、各フレーム期間における撮像素子１３１の駆動状態、及び撮像素子１３１の受光部における電荷量に対応する電圧であるセンサー出力の波形を示す。フレーム１乃至フレーム４の４つのフレーム期間を示してあり、各フレーム期間において１枚の画像が撮像される。静止画を撮影する場合は、一つのフレーム期間で１枚の静止画が撮像される。動画を撮影する場合は、各フレーム期間において被写体の動画像を１駒ごとに静止画像として撮像される。撮像素子１３１はＣＣＤとし、撮像素子１３１の受光部はフォトダイオードとする。被写体は明るい照度環境にあり、露光時間が短くても所定の感度で撮像できるので、ぶれ補正を行なわなくても画像ぶれのない撮像ができるものとする。

撮像素子１３１の駆動状態はフレーム単位で構成され、１フレーム内に、電子シャッター機能によりフォトダイオードに蓄積された不要電荷を撮像素子１３１の外部へ放電して排出するシャッター時間（図中、Ｓで表示する。）と、フォトダイオードに電荷の蓄積を行う蓄積時間（図中、Ｃで表示する。）と、フォトダイオードから垂直転送ＣＣＤへ電荷を読出す読出時間（図中、Ｒで表示する。）とがある。撮像装置の感光面における露光時間をシャッター時間Ｓにより調整し、センサー出力が所定の信号レベルＶ１になるように蓄積時間Ｃが設定される。露光調整に用いる蓄積電荷の測定は、撮像画像のすべてのエリアの電荷量に比例した信号レベルの総和、エリアごとの信号レベルの平均値、または特に信号レベルが高いエリアの信号レベルを用い、蓄積電荷の測定エリアである測光窓は任意に設定できる。

図１０の（ｂ）は、被写体が暗い照度環境で撮影された時の、各フレーム期間における撮像素子１３１の駆動状態、及び撮像素子１３１の受光部における電荷量に対応する電圧であるセンサー出力の波形を示す。フレーム１及びフレーム２の２つのフレーム期間を示してあり、各フレーム期間は図１０の（ａ）のフレーム期間の倍の時間となっている。図１０の（ａ）と同様に、各フレーム期間において１枚の画像が撮像される。被写体は暗い照度環境にあり、図１０の（ａ）に示すフレーム期間では露光時間が短く所定の感度で撮像できないものとする。そこで、図１０の（ｂ）ではフレーム期間を長くしてシャッター時間Ｓを調整し、センサー出力が所定の信号レベルＶ２になるように蓄積時間Ｃが設定される。

このように、従来は、低照度環境での撮影における感度を向上させるために、１フレームの時間を長くして撮像素子１３１の受光部における電荷の蓄積時間を長くし、蓄積電荷を増やすことにより所定のセンサー出力を得る方法がとられている。電荷の蓄積時間が長くなるので、例えば静止画を撮影する場合、蓄積時間中に手ぶれ等の原因で撮像装置がぶれると画像ぶれが発生する。

図１１は、暗い照度環境で静止画撮影された時の、各フレーム期間における撮像素子１３１の駆動状態、撮像素子１３１の受光部であるフォトダイオードにおける電荷量に対応する電圧であるセンサー出力の波形、及び合成部１４４において合成及び更新される第２の画像の信号量を示す。図１１では、時間的に順次撮像される３枚の第１の画像から第２の画像を逐次合成するものとする。図１１において第２の画像の合成により１枚の静止画の形成が完了するフレーム期間をフレーム１とし、フレーム１の前のフレーム期間をフレーム０とする。各フレーム期間では読出時間Ｒ、シャッター時間Ｓ及び蓄積時間Ｃを３セット繰り返すものとする。各フレーム期間における１組の読出時間Ｒ、シャッター時間Ｓ及び蓄積時間Ｃにおいて第１の画像である１枚の画像が撮像される。フレーム１ではＣ期間（Ｃは囲み枠付きで表示。）、Ｄ（Ｄは囲み枠付きで表示。）期間及びＥ（Ｅは囲み枠付きで表示。）期間の３つの蓄積時間Ｃにおいてフォトダイオードに蓄積された電荷に基づき３枚の複数の第１の画像が撮像される。しかし、第２の画像を合成するのに用いる複数の第１の画像は、フレーム０におけるＡ期間（Ａは囲み枠付きで表示。）及びＢ期間（Ｂは囲み枠付きで表示。）の蓄積時間Ｃにおいてフォトダイオードに蓄積された電荷に基づき撮像される２つの第１の画像と、フレーム１におけるＣ期間に撮像される１つの第１の画像を用いる。

まず、フレーム０のＡ期間の蓄積時間Ｃにおいてフォトダイオードに電荷が蓄積される。次に、Ａ期間の蓄積時間Ｃに続く読出時間Ｒにおいてフォトダイオードに蓄積された電荷が、垂直転送駆動部１３２から供給される読み出し制御クロック(φＴＧ１,φＴＧ３)により読み出され、垂直転送駆動部１３２から供給される垂直転送制御クロック(φＶ1,φＶ２,φＶ３,φＶ４)により垂直転送ＣＣＤにおいて垂直転送され、撮像システム制御部１３３から供給される水平転送クロック（Ｈ１，Ｈ２）により水平転送ＣＣＤにおいて水平転送され、出力回路を経由して撮像信号処理部１３４に入力される。ここで、Ａ期間における蓄積電荷がＡ期間の蓄積時間Ｃに続く読出時間Ｒにおいて読み出された後も、フォトダイオードには被写体からの光が照射されるので不要電荷が発生し蓄積されるが、読出時間Ｒに続くシャッター時間Ｓにおいて垂直転送駆動部１３２より撮像素子１３１へ電子シャッター制御クロック（φＯＦＤ）が供給され、フォトダイオードにおける不要電荷が排出される。

撮像信号処理部１３４に入力されたＡ期間の蓄積時間Ｃに蓄積された電荷による入力信号は、フレーム０の最後のシャッター時間Ｓ及び蓄積時間Ｃの間に、撮像信号処理部１３４において所定の信号処理をされたセンサー出力信号として動きベクトル検出部１４１及び合成部１４４へ出力される。

動きベクトル検出部１４１へ入力されたＡ期間に対応するセンサー出力信号は１枚目の第１の画像信号であり、動きベクトルを検出する対象である他の第１の画像信号がないので動きベクトルを検出しない。したがって、動きベクトルメモリー部１４２、手ぶれ判別部１４３及び画像移動処理部１４４ａへも動きベクトル信号は出力されず、手ぶれ判別部１４３からも動き判別信号が画像移動処理部１４４ａへ出力されない。撮像条件／撮像状態検出部１４５から撮像条件が低照度環境であることを検出し、静止画撮影であることを識別する撮像条件／撮像状態検出信号が、画像移動処理部１４４ａ及び画像信号演算処理部１４４ｅへ出力される。

合成部１４４へ入力されたＡ期間に対応するセンサー出力信号は、第１の画像信号バッファ部１４４ｂに第１の画像信号として記憶される。ここで、第２の画像信号バッファ部１４４ｄは、Ａ期間の蓄積電荷に基づく第１の画像信号が入力される前に記憶していた第２の画像信号、すなわち、図１１のフレーム０の最後の読出時間Ｒ、シャッター時間Ｓ及び蓄積時間Ｃの１セットの時間において合成部の信号量の図に空白の２つの四角で表現された第２の画像信号を消去しておく。したがって、第２の画像信号バッファ部１４４ｄには第２の画像信号が記憶されておらず空の状態である。画像移動処理部１４４ａは、撮像条件／撮像状態検出信号により静止画撮影であることを識別し、第１の画像信号バッファ部１４４ｂに記憶される第１の画像信号に対し読み出しアドレスをずらすことなく読み出し、読み出された第１の画像信号を第１の画像信号バッファ部１４４ｂへ出力して、バッファ部１４４ｂに記憶されていた第１の画像信号を更新する。更新された第１の画像信号は第１の画像信号メモリー部１４４ｃへ記憶される。

ここで、第１の画像信号が最初の画像信号である場合には、画像移動処理部１４４ａへ読み出される第１の画像信号と第１の画像信号バッファ部１４４ｂへ出力される第１の画像信号とが同じであるので、画像移動処理部１４４ａの第１の画像信号バッファ部１４４ｂに対する読出し、出力処理をしなくてもよい。また、静止画撮影の場合は、第２の画像を合成するのに用いる複数の第１の画像を保持しておく必要がないので、第１の画像信号バッファ部１４４ｂにおける第１の画像信号を第１の画像信号メモリー部１４４ｃへ記憶しなくてもよい。

画像信号演算処理部１４４ｅは、撮像条件／撮像状態検出信号により静止画撮影であることを識別し、第１の画像信号バッファ部１４４ｂに記憶される第１の画像信号及び第２の画像信号バッファ部１４４ｄに記憶される第２の画像信号を入力して加算処理する。そして、画像信号演算処理部１４４ｅにおいて加算処理された画像信号は第２の画像信号バッファ部１４４ｄへ出力され、合成信号メモリー部１４６へ記憶される。画像信号演算処理部１４４ｅにおける演算処理された第２の画像信号は、図１１のフレーム１の最初の読出時間Ｒ、シャッター時間Ｓ及び蓄積時間Ｃの１セットの時間において、合成部の信号量の図にＡ期間の信号量として表現されている。

次に、フレーム０のＡ期間と同様に、フレーム０のＢ期間の蓄積時間Ｃにおいて撮像素子１３１に電荷が蓄積され、Ｂ期間の蓄積時間Ｃに続くフレーム１の最初の読出時間Ｒにおいて撮像素子１３１に蓄積された電荷が読み出され、垂直転送ＣＣＤにおいて垂直転送され、水平転送ＣＣＤにおいて水平転送され、出力回路を経由して撮像信号処理部１３４に入力される。ここで、Ｂ期間における蓄積電荷がＢ期間の蓄積時間Ｃに続く読出時間Ｒにおいて読み出された後も、フォトダイオードには被写体からの光が照射されるので不要電荷が発生し蓄積されるが、読出時間Ｒに続くシャッター時間Ｓにおいてフォトダイオードの不要電荷が排出される。

撮像信号処理部１３４に入力されたＢ期間の蓄積時間Ｃに蓄積された電荷による入力信号は、フレーム１の最初のシャッター時間Ｓ及び蓄積時間Ｃの間に、撮像信号処理部１３４において所定の信号処理をされたセンサー出力信号として合成部１４４へ出力される。

動きベクトル検出部１４１へ入力されたＢ期間に対応するセンサー出力信号は２枚目の第１の画像信号であり、動きベクトル検出部１４１は、Ａ期間に対応するセンサー出力信号である１枚目の第１の画像信号に対する２枚目の第１の画像信号の動きベクトルを検出し、検出した動きベクトル信号を動きベクトルメモリー部１４２、手ぶれ判別部１４３及び画像移動処理部１４４ａへ出力する。

合成部１４４へ入力されたＢ期間に対応するセンサー出力信号は、第１の画像信号バッファ部１４４ｂに第１の画像信号として記憶される。一方、第２の画像信号バッファ部１４４ｄにはＡ期間に対応するセンサー出力信号である第２の画像信号が記憶されている。画像移動処理部１４４ａは、撮像条件／撮像状態検出信号により静止画撮影であることを識別し、第１の画像信号バッファ部１４４ｂに記憶される第１の画像信号に対し、動きベクトル検出部１４１より入力される動きベクトル信号に基づき読み出しアドレスをずらして読み出すことにより画像を移動して画像ぶれを補正し、読み出された第１の画像信号を第１の画像信号バッファ部１４４ｂへ出力して、第１の画像信号バッファ部１４４ｂに記憶されていた第１の画像信号を更新する。更新された第１の画像信号は第１の画像信号メモリー部１４４ｃへ記憶される。

画像信号演算処理部１４４ｅは、第１の画像信号バッファ部１４４ｂに記憶されるＢ期間に対応するセンサー出力信号である第１の画像信号及び第２の画像信号バッファ部１４４ｄに記憶されるＡ期間に対応するセンサー出力信号である第２の画像信号を入力して加算処理する。そして、加算処理された画像信号を第２の画像信号バッファ部１４４ｄへ出力して、第２の画像信号バッファ部１４４ｄに記憶されていたＡ期間に対応するセンサー出力信号である第２の画像信号を、Ａ期間及びＢ期間に対応するセンサー出力信号を合成した第２の画像信号として更新する。更新された第２の画像信号は合成信号メモリー部１４６へ記憶される。画像信号演算処理部１４４ｅにおける演算処理された第２の画像信号は、図１１のフレーム１の２番目の読出時間Ｒ、シャッター時間Ｓ及び蓄積時間Ｃの１セットの時間において、合成部の信号量の図にＡ期間の信号量にＢ期間の信号量が重畳したものとして表現されている。

さらに、フレーム１のＢ期間と同様に、フレーム１のＣ期間の蓄積時間Ｃにおいて撮像素子１３１に電荷が蓄積され、Ｃ期間の蓄積時間Ｃに続くフレーム１の２番目の読出時間Ｒにおいて撮像素子１３１に蓄積された電荷が読み出され、垂直転送ＣＣＤにおいて垂直転送され、水平転送ＣＣＤにおいて水平転送され、出力回路を経由して撮像信号処理部１３４に入力される。ここで、Ｃ期間における蓄積電荷がＣ期間の蓄積時間Ｃに続く読出時間Ｒにおいて読み出された後も、フォトダイオードには被写体からの光が照射されるので不要電荷が発生し蓄積されるが、読出時間Ｒに続くシャッター時間Ｓにおいてフォトダイオードの不要電荷が排出される。

撮像信号処理部１３４に入力されたＣ期間の蓄積時間Ｃに蓄積された電荷による入力信号は、フレーム１の２番目のシャッター時間Ｓ及び蓄積時間Ｃの間に、撮像信号処理部１３４において所定の信号処理をされたセンサー出力信号として合成部１４４へ出力される。

動きベクトル検出部１４１へ入力されたＣ期間に対応するセンサー出力信号は３枚目の第１の画像信号であり、動きベクトル検出部１４１は、Ｂ期間に対応するセンサー出力信号である２枚目の第１の画像信号に対する３枚目の第１の画像信号の動きベクトルを検出し、検出した動きベクトル信号を動きベクトルメモリー部１４２、手ぶれ判別部１４３及び画像移動処理部１４４ａへ出力する。

合成部１４４へ入力されたＣ期間に対応するセンサー出力信号は、第１の画像信号バッファ部１４４ｂに第１の画像信号として記憶される。一方、第２の画像信号バッファ部１４４ｄにはＡ期間に対応するセンサー出力信号及び画像の移動処理をしたＢ期間に対応するセンサー出力信号を合成した第２の画像信号が記憶されている。画像移動処理部１４４ａは、第１の画像信号バッファ部１４４ｂに記憶される第１の画像信号に対し、動きベクトル検出部１４１より入力される動きベクトル信号に基づき読み出しアドレスをずらして読み出すことにより画像を移動して画像ぶれを補正し、読み出された第１の画像信号を第１の画像信号バッファ部１４４ｂへ出力して、第１の画像信号バッファ部１４４ｂに記憶されていた第１の画像信号を更新する。更新された第１の画像信号は第１の画像信号メモリー部１４４ｃへ記憶される。

画像信号演算処理部１４４ｅは、第１の画像信号バッファ部１４４ｂに記憶されるＣ期間に対応するセンサー出力信号である第１の画像信号及び第２の画像信号バッファ部１４４ｄに記憶されるＡ期間及びＢ期間に対応するセンサー出力信号を合成した第２の画像信号を入力して加算処理する。そして、加算処理された画像信号を第２の画像信号バッファ部１４４ｄへ出力して、第２の画像信号バッファ部１４４ｄに記憶されていたＡ期間及びＢ期間に対応するセンサー出力信号を合成した第２の画像信号を、Ａ期間、Ｂ期間及びＣ期間に対応するセンサー出力信号を合成した第２の画像信号として更新する。更新された第２の画像信号は合成信号メモリー部１４６へ記憶される。また、画像信号演算処理部１４４ｅからＡ期間、Ｂ期間及びＣ期間に対応するセンサー出力信号を合成した第２の画像信号が、第２の画像出力信号として画像処理部１４７へ出力される。画像信号演算処理部１４４ｅにおける演算処理された第２の画像信号は、図１１のフレーム１の３番目の読出時間Ｒ、シャッター時間Ｓ及び蓄積時間Ｃの１セットの時間において、合成部の信号量の図にＡ期間の信号量とＢ期間の信号量にＣ期間の信号量が重畳したものとして表現されている。

図１１では、画像処理部１４７へ出力される第２の画像信号を形成するために第１の画像を３枚用いて合成した。第２の画像信号を合成するのに用いる第１の画像の枚数、すなわち所定の枚数は、第２の画像信号バッファ部１４４ｄにおける信号量の総和を検出し、この信号量の総和と規定値とを比較して決定される。また、撮像素子１３１の蓄積電荷や、１セットの読出時間Ｒ、シャッター時間Ｓ及び蓄積時間Ｃで構成される期間の合成部の信号量を検出して、第１の画像の合成枚数を決定してもよい。

この規定値は撮像時の所望の感度を得るのに十分な信号量であり、予め設定される。信号量の総和が規定値を超えた場合は、第１の画像信号の合成を終了し、規定値を超えるまで合成を継続する処理を行なう。このように規定値を設定することにより所望の感度で撮影できる。また、規定値を撮像信号が飽和する信号量とし、合成値が最大値を超えないように合成処理する。このように規定値を設定することにより、撮像信号が飽和しないように撮影できる。

信号量の総和と規定値との比較により、合成が終了した後、続く読出時間Ｒ、シャッター時間Ｓ及び蓄積時間Ｃでは、第２の画像信号バッファ部１４４ｄの信号をリセットする。これにより、合成に必要なセンサー出力のみ合成することが可能となる。リセットレベルは、撮像画面内においてすべて同一のＤＣレベルである。合成が終了した後は、合成方法１により連続的に静止画撮影を行う構成でも、静止画撮影を終了する構成も可能である。

このように、図１１に示す合成方法１は、時間的に順次撮像される複数の第１の画像に対し画像を移動して第２の画像を合成することにより、低照度の静止画撮影時に、画像ぶれを補正し撮像時の感度を高めることができる。

図１２は、暗い照度環境で動画撮影された時の、各フレーム期間における撮像素子１３１の駆動状態、撮像素子１３１の受光部であるフォトダイオードにおける電荷量に対応する電圧であるセンサー出力の波形、及び合成部１４４において合成及び更新される第２の画像の信号量を示す。図１２では、時間的に順次撮像される２枚の第１の画像から第２の画像を逐次合成するものとする。図１２において第２の画像の合成により動画を構成する１枚のフレームの形成が完了するフレーム期間をフレーム２及びフレーム３とし、フレーム２の前のフレーム期間を、フレーム−１、フレーム０及びフレーム１とする。各フレーム期間は１セットの読出時間Ｒ、シャッター時間Ｓ及び蓄積時間Ｃから構成され、第１の画像である１枚の画像が撮像される。フレーム−１、フレーム０及びフレーム１の各フレーム期間において、Ａ期間、Ｂ期間及びＣ期間の蓄積時間Ｃにおいてフォトダイオードに蓄積された電荷に基づき３枚の第１の画像が撮像される。フレーム２ではＡ期間及びＢ期間の蓄積電荷に基づく第１の画像を合成し、フレーム３ではＢ期間及びＣ期間の蓄積電荷に基づく第１の画像を合成して、動画像を構成するフレームを形成する。

各フレーム期間における撮像部１３０の動作は図１１で説明した動作と同様である。撮像信号処理部１３４に入力されたＡ期間の蓄積時間Ｃに蓄積された電荷による入力信号は、フレーム０のシャッター時間Ｓ及び蓄積時間Ｃの間に、撮像信号処理部１３４において所定の信号処理をされたセンサー出力信号として動きベクトル検出部１４１及び合成部１４４へ出力される。

動きベクトル検出部１４１へ入力されたＡ期間に対応するセンサー出力信号は１枚目の第１の画像信号であり、動きベクトルを検出する対象である他の第１の画像信号がないので動きベクトルを検出しない。したがって、動きベクトルメモリー部１４２、手ぶれ判別部１４３及び画像移動処理部１４４ａへも動きベクトル信号は出力されず、手ぶれ判別部１４３からも動き判別信号が画像移動処理部１４４ａへ出力されない。撮像条件／撮像状態検出部１４５から撮像条件が低照度環境であることを検出し、動画撮影であることを識別する撮像条件／撮像状態検出信号が、画像移動処理部１４４ａ及び画像信号演算処理部１４４ｅへ出力される。

合成部１４４へ入力されたＡ期間に対応するセンサー出力信号は、第１の画像信号バッファ部１４４ｂに第１の画像信号として記憶される。ここで、第２の画像信号バッファ部１４４ｄは、Ａ期間の蓄積電荷に基づく第１の画像信号が入力される前に記憶していた第２の画像信号、すなわち、図１２のフレーム０のフレーム期間において合成部の信号量の図に空白の２つの四角で表現された第２の画像信号を消去しておく。したがって、第２の画像信号バッファ部１４４ｄには第２の画像信号が記憶されておらず空の状態である。画像移動処理部１４４ａは、撮像条件／撮像状態検出信号により動画撮影であることを識別し、第１の画像信号バッファ部１４４ｂに記憶される第１の画像信号に対し読み出しアドレスをずらすことなく読み出し、読み出された第１の画像信号を第１の画像信号バッファ部１４４ｂへ出力して、バッファ部１４４ｂに記憶されていた第１の画像信号を更新する。更新された第１の画像信号は、第１の画像信号メモリー部１４４ｃへ、Ａ期間の蓄積電荷に基づく第１の画像信号として記憶される。

画像信号演算処理部１４４ｅは、第１の画像信号バッファ部１４４ｂに記憶される第１の画像信号及び第２の画像信号バッファ部１４４ｄに記憶される第２の画像信号を入力して加算処理する。そして、画像信号演算処理部１４４ｅにおいて加算処理された画像信号は第２の画像信号バッファ部１４４ｄへ出力され、合成信号メモリー部１４６へ記憶される。画像信号演算処理部１４４ｅにおける演算処理された第２の画像信号は、図１２のフレーム１のフレーム期間において、合成部の信号量の図にＡ期間の信号量として表現されている。

次に、フレーム−１のＡ期間と同様に、フレーム０のＢ期間の蓄積時間Ｃにおいて撮像素子１３１に電荷が蓄積され、フレーム１の読出時間Ｒにおいて撮像素子１３１に蓄積された電荷が読み出され、垂直転送ＣＣＤにおいて垂直転送され、水平転送ＣＣＤにおいて水平転送され、出力回路を経由して撮像信号処理部１３４に入力される。

合成部１４４へ入力されたＢ期間に対応するセンサー出力信号は、第１の画像信号バッファ部１４４ｂに第１の画像信号として記憶される。一方、第２の画像信号バッファ部１４４ｄにはＡ期間に対応するセンサー出力信号である第２の画像信号が記憶されている。画像移動処理部１４４ａは、動き判別信号により第１の画像の動きが撮像装置のぶれによるものかパンニングによる撮像装置の動きによるかを識別する。動画の撮影を開始した直後は、動きベクトルメモリー部１４２に記憶される動きベクトル情報の履歴が少なく、手ぶれ判別部１４３で処理する動きベクトルの時系列的な変化を検出できない場合には、画像の動きの原因を撮像装置のぶれかパンニングかのいずれか一方に判別するものとする。

画像移動処理部１４４ａは、画像の動きの原因をパンニングと識別した場合、第２の画像信号バッファ部１４４ｄに記憶される第２の画像信号に対し、動きベクトル検出部１４１より入力される動きベクトル信号に基づき読み出しアドレスをずらして読み出すことにより画像を移動する。そして、読み出されて移動された第２の画像信号を第２の画像信号バッファ部１４４ｄへ出力して、第２の画像信号バッファ部１４４ｄに記憶されていた第２の画像信号を更新する。更新された第２の画像信号は合成信号メモリー部１４６へ記憶される。パンニング撮影時に第２の画像信号を移動処理して第１の画像信号に合成するので、移動する被写体の動きに追随でき、動画の画質の劣化を低減できる。

画像移動処理部１４４ａは、画像の動きの原因を撮像装置のぶれと識別した場合、第１の画像信号バッファ部１４４ｃに記憶される第１の画像信号に対し、動きベクトル検出部１４１より入力される動きベクトル信号に基づき読み出しアドレスをずらして読み出すことにより画像を移動する。そして、読み出されて移動された第１の画像信号を第１の画像信号バッファ部１４４ｃへ出力して、第１の画像信号バッファ部１４４ｃに記憶されていた第１の画像信号を更新する。更新された第１の画像信号は、第１の画像信号メモリー部１４４ｃへ、Ｂ期間の蓄積電荷に基づく第１の画像信号として、Ａ期間の蓄積電荷に基づく第１の画像信号と別に記憶される。

画像信号演算処理部１４４ｅは、第１の画像信号バッファ部１４４ｂに記憶されるＢ期間に対応するセンサー出力信号である第１の画像信号及び第２の画像信号バッファ部１４４ｄに記憶されるＡ期間に対応するセンサー出力信号である第２の画像信号を入力して加算処理する。そして、加算処理された画像信号を第２の画像信号バッファ部１４４ｄへ出力して、第２の画像信号バッファ部１４４ｄに記憶されていたＡ期間に対応するセンサー出力信号である第２の画像信号を、Ａ期間及びＢ期間に対応するセンサー出力信号を合成した第２の画像信号として更新する。更新された第２の画像信号は合成信号メモリー部１４６へ記憶される。画像信号演算処理部１４４ｅにおける演算処理された第２の画像信号は、図１２のフレーム２のフレーム期間において、合成部の信号量の図にＡ期間の信号量にＢ期間の信号量が重畳したものとして表現されている。

さらに、フレーム０のＢ期間と同様に、フレーム１のＣ期間の蓄積時間Ｃにおいて撮像素子１３１に電荷が蓄積され、フレーム２の読出時間Ｒにおいて撮像素子１３１に蓄積された電荷が読み出され、垂直転送ＣＣＤにおいて垂直転送され、水平転送ＣＣＤにおいて水平転送され、出力回路を経由して撮像信号処理部１３４に入力される。

撮像信号処理部１３４に入力されたＣ期間の蓄積時間Ｃに蓄積された電荷による入力信号は、フレーム２のフレーム期間に、撮像信号処理部１３４において所定の信号処理をされたセンサー出力信号として合成部１４４へ出力される。

合成部１４４へ入力されたＣ期間に対応するセンサー出力信号は、第１の画像信号バッファ部１４４ｂに第１の画像信号として記憶される。一方、第２の画像信号バッファ部１４４ｄにはＡ期間又はＢ期間に対応するセンサー出力信号のいずれかに対し画像の移動処理をして合成した第２の画像信号が記憶されている。画像移動処理部１４４ａは、動き判別信号により第１の画像の動きが撮像装置のぶれによるものかパンニングによる撮像装置の動きによるかを識別する。画像移動処理部１４４ａは、画像の動きの識別結果により、第１の画像信号バッファ部１４４ｂに記憶される第１の画像信号、又は、第２の画像信号バッファ部１４４ｄに記憶される第２の画像信号に対し、動きベクトル検出部１４１より入力される動きベクトル信号に基づき読み出しアドレスをずらして読み出すことにより画像を移動する。そして、読み出され移動された第１の画像信号又は第２の画像信号を第１の画像信号バッファ部１４４ｂ又は第２の画像信号バッファ部１４４ｄへ出力して、第１の画像信号バッファ部１４４ｂに記憶されていた第１の画像信号又は第２の画像信号バッファ部１４４ｄに記憶されていた第２の画像信号を更新する。更新された第１の画像信号又は第２の画像信号は第１の画像信号メモリー部１４４ｃ又は合成信号メモリー部１４６へ記憶される。

画像信号演算処理部１４４ｅは、第１の画像信号バッファ部１４４ｂに記憶されるＣ期間に対応するセンサー出力信号である第１の画像信号及び第２の画像信号バッファ部１４４ｄに記憶されるＡ期間及びＢ期間に対応するセンサー出力信号を合成した第２の画像信号を入力して加算処理する。そして、加算処理された画像信号を第２の画像信号バッファ部１４４ｄへ出力して、第２の画像信号バッファ部１４４ｄに記憶されていたＡ期間及びＢ期間に対応するセンサー出力信号を合成した第２の画像信号を、Ａ期間、Ｂ期間及びＣ期間に対応するセンサー出力信号を合成した第２の画像信号として更新する。更新された第２の画像信号は合成信号メモリー部１４６へ記憶される。

次に、第１の画像信号バッファ部１４４ｂは、第１の画像信号メモリー部１４４ｃからＡ期間に対応するセンサー出力信号である１枚分の第１の画像信号を読み出し記憶する。画像信号演算処理部１４４ｅは、第１の画像信号バッファ部１４４ｂに記憶される１枚分の画像信号でありＡ期間に対応するセンサー出力信号である第１の画像信号及び第２の画像信号バッファ部１４４ｄに記憶されるＡ期間及びＢ期間に対応するセンサー出力信号を合成した第２の画像信号を入力して減算処理する。そして、減算処理された画像信号を第２の画像信号バッファ部１４４ｄへ出力して、第２の画像信号バッファ部１４４ｄに記憶されていたＡ期間、Ｂ期間及びＣ期間に対応するセンサー出力信号を合成した第２の画像信号を、Ｂ期間及びＣ期間に対応するセンサー出力信号を合成した第２の画像信号として更新し、第２の画像出力信号として画像処理部１４７へ出力される。更新された第２の画像信号は合成信号メモリー部１４６へ記憶される。画像信号演算処理部１４４ｅにおける演算処理された第２の画像信号は、図１２のフレーム３のフレーム期間において、合成部の信号量の図にＢ期間の信号量にＣ期間の信号量が重畳したものとして表現されている。フレーム３以降、同様の動作を繰り返し動画が撮像される。

このように、図１２に示す合成方法２は、時間的に順次撮像される複数の第１の画像を用いて第２の画像を合成した後、合成に用いた第１の画像のうち時系列的に古い１枚分の画像信号を第２の画像信号から減算する処理を逐次行うことにより、低照度の動画撮影時の感度を高めることができる。装置の手ぶれ等により撮像される第１の画像がぶれる場合、第１の画像を移動してぶれを補正し第２の画像に合成し、第２の画像を更新する。また、パンニング撮影により第１の画像の動く方向が一定の場合、第２の画像を移動して第１の画像と合成し、第２の画像を更新するので、画像ぶれを補正しつつ、移動する被写体の動きに追随でき、動画の画質の劣化を低減できる。図１２では３枚分の第１の画像から第２の画像を合成し、合成された第２の画像から１枚分の第１の画像を減算処理したが、４枚分の第１の画像を用いて第２の画像を合成してもよい。また、４枚分の第１の画像を用いて第２の画像を合成し、合成された第２の画像から時系列的に古い２枚分の第１の画像を減算処理してもよい。

図１３は、撮像装置のカメラ信号処理部１４０において撮像条件から合成方法を決定するフローチャートである。ステップ１では、撮像条件／撮像状態検出部１４５において、撮像装置の撮影条件が、動画またはプレビューに用いられる動画撮影か、静止画撮影かを検出する。ステップ２では、撮影条件が動画撮影であるか判別する。ステップ２で動画撮影と判別するとステップ３の処理に進む。また、動画撮影でないと判断した場合は静止画撮影と判別し、ステップ４に移行する。ステップ３は、合成方法２を用いて、ステップ４は、合成方法１を用いて、第１の画像信号と第２の画像信号とを合成する。

なお、ステップ３及びステップ４では、第１の画像信号と第２の画像信号とを合成する処理を示すが、撮影者の意思や、撮影状態の判別結果により撮影時の被写体の照度が十分大きく合成による感度の向上が不要な場合は、合成を行わずに撮影することもできる。

このように、実施の形態１では、撮像信号より画面動きベクトルを検出し、撮像状態を検出する手段を実現でき、撮影状況に応じた手ぶれ補正を実現することができる。また、低照度時撮影においても、感度を向上させることができる。動画表示においても、適応可能なぶれ補正を実現することができる。

このように構成された実施の形態１による撮像装置は、時間的に順次撮像される複数の第１の画像に基づき第２の画像を逐次合成して撮像時の感度を高める撮像方法において、第２の画像を記憶する第２の画像記憶処理と、複数の第１の画像の間の動き情報を検出する動き情報検出処理と、動き情報の履歴を記憶する動き情報履歴記憶処理と、動き情報の履歴に基づき第１の画像の動きの原因を判別する動き判別処理と、第１の画像の動きの原因に基づき第１の画像又は第２の画像のいずれかに対し、動き情報を用いて移動する画像移動処理と、この画像移動処理により移動された第１の画像と第２の画像とを合成してこの第２の画像を更新する画像合成処理とを備えたので、静止画撮影や、パンニングを含む動画撮影においても、手ぶれ等の撮像装置のぶれにより生じるぶれ画像を補正して撮像時の感度を向上することができる。

また、複数の第１の画像を用いてこれらの複数の第１の画像の間の動き情報を検出するので、画像のぶれを正確に補正できる利点がある。

実施の形態２．
実施の形態１では、第１の画像の動き情報として動きベクトルを複数の第１の画像信号から検出し、ぶれ補正を実施する形態について示したが、ジャイロセンサーを用いて撮像装置の姿勢の変化に基づき動き情報を検出することもできる。

図１４は、ジャイロセンサー１３５を搭載した撮像部１３０の概観図である。ジャロセンサー１３５は、振動ジャイロや、コマジャイロをＭＥＭＳ（Micro Electro Mechanical Systems、マイクロマシン）で用いると小型に構成できるので、小型の携帯情報端末等にも搭載できる。また、撮像部１３０と別にカメラモジュール１００に搭載することもできる。

ジャイロセンサー１３５が振動ジャイロにより構成されるものとする。Ｘ軸方向を水平方向、Ｙ軸方向を垂直軸方向、Ｚ軸方向は撮像素子１３１の受光面と直交する方向とする。ジャイロセンサー１３５ａは、撮像部１３０へＸ軸方向に配置され、撮像部１３０のＸ軸回りの回転による姿勢変化、すなわち上下方向の撮像方向の変化を検出する。ジャイロセンサー１３５ｂは、撮像部１３０へＹ軸方向に配置され、撮像部１３０のＹ軸回りの回転による姿勢変化、すなわち左右方向の撮像方向の変化を検出する。撮像部１３０の姿勢変化に応じて、Ｘ軸方向ジャイロセンサー１３５ａ及びＹ軸方向ジャイロセンサー１３５ｂから撮像装置のぶれ検出センサー信号が出力される。Ｘ方向及びＹ方向の速度や加速度を検出する速度センサーや加速度センサーを搭載することにより、Ｘ方向及びＹ方向の並行移動による撮像装置のぶれ検出ができる。ぶれ検出センサー信号に基づき、撮像部１３０で撮像される第１の画像の動き情報を検出できる。ここで、第１の画像の動き情報は実施の形態１と同様に動きベクトルとする。

図１５は、撮像装置のぶれ量を検出するぶれ検出センサー信号を用いた構成を示す。ジャイロセンサー１３５が出力するぶれ検出センサー信号を動きベクトル検出部１４１に入力する。動きベクトル検出部１４１は、ぶれ検出センサー信号に基づき動きベクトルを検出する。その他の構成は図５と同一であり、同様の動作をする。

このように、ジャイロセンサー１３５を用いて動きベクトルを検出し、撮像状態を検出するので、第１の画像の動きの原因が被写体の動きによるものか撮像装置のぶれによるものかを容易に判別でき、撮影状況に応じた手ぶれ補正を実現することができる。

このように構成された実施の形態２による撮像装置は、時間的に順次撮像される複数の第１の画像に基づき第２の画像を逐次合成して撮像時の感度を高める撮像装置において、第２の画像を記憶する第２の画像記憶手段と、複数の第１の画像の間の動き情報を検出する動き情報検出手段と、動き情報の履歴を記憶する動き情報履歴記憶手段と、動き情報の履歴に基づき第１の画像の動きの原因を判別する動き判別手段と、第１の画像の動きの原因に基づき第１の画像又は第２の画像のいずれかに対し、動き情報を用いて移動する画像移動手段と、この画像移動手段により移動された第１の画像と第２の画像とを合成してこの第２の画像を更新する画像合成手段とを備えたので、静止画撮影や、パンニングを含む動画撮影においても、手ぶれ等の撮像装置のぶれにより生じるぶれ画像を補正して撮像時の感度を向上することができる。

また、複数の第１の画像を撮像する撮像装置の姿勢の変化に基づき複数の第１の画像の間の動き情報を検出するので、第１の画像の動きの原因が被写体の動きによるものか撮像装置のぶれによるものかを容易に判別できる利点がある。

上記の実施の形態１及び実施の形態２の説明において、撮像素子１３１にＣＣＤを用い、ＣＣＤを駆動する垂直転送駆動部３を用いたが、撮像素子にＣＭＯＳを用い、垂直転送駆動部３の代わりにＣＭＯＳの受光部の電荷を取り出す垂直操作シフトレジスタ及び水平走査シフトレジスタを用いてもよい。撮像素子にＣＣＤを用いると、読み出し制御クロックにより受光面上の各受光素子における電荷を同時に読み出すことができる。一方、撮像素子にＣＭＯＳを用いると、受光面上の各受光素子における電荷は、垂直操作シフトレジスタにより１ラインずつ順次読み出される。受光面の電荷像の読み出しの開始ラインと終了ラインとで時間差が生じるので、フォーカルプレーン現象により画像が歪むことが知られている。各ラインの読み出しアドレスをずらすことによりこの時間差を補正できる。

また、カメラ処理部１４０にぶれ補正機能及び画像合成機能を備えたが、シリアル通信等でメインシステム制御部２１０からカメラ信号処理部１４０を制御できる場合は、メインシステム制御部１４０の中でぶれ補正機能及び画像合成機能を備えることも可能である。

また、動きベクトル検出部１４１で出力される動きベクトルの情報を動き情報出力ファイルとして作成して撮像装置の外部へ出力する動き情報外部出力部を、動きベクトル検出部１４１に接続して設けてもよい。

また、撮像信号処理部１３４で出力されるセンサー出力信号である第１の画像信号を画像出力ファイルとして作成して撮像装置の外部へ出力する画像外部出力部を、撮像信号処理部１３４に接続して設けてもよい。

また、ビデオカメラの代わりに撮像機能を備えた携帯電話や情報端末装置とし、出力データに画像の動き情報を挿入し、一定のフレームレートにて第１の画像を出力してもよい。出力データは、ＪＰＥＧ、ＭＰＥＧなどの汎用的な圧縮形式でもよい。また、ＲＡＷデータでもよい。

実施の形態３．
図１のシステムにおいて、外部機器１５としてパーソナルコンピュータ等の信号処理装置を接続することにより、信号処理装置を撮像システムとして用いて高精度なぶれ補正を行うことも可能である。撮像システムである信号処理装置の構成は、図１に示すビデオカメラから、レンズ群１１０、絞り１２０、撮像部１３０及びカメラ信号処理部１４０の動きベクトル検出部１４１を取り除いたものであり、カメラ信号処理部１４０において、センサー出力信号である第１の画像信号及び動きベクトル信号は、信号処理装置の外部から入力される。なお、画像処理の動作は実施の形態１又は実施の形態２と同様である。

図１６は、撮像システムである信号処理装置が入力する第１の画像の画像情報及び動き情報を含む画像情報ファイルの構成図である。画像情報ファイルには、ゲイン量、露光時間、動きベクトル又はジャイロセンサーの出力情報がヘッダー情報として挿入される。信号処理装置は、ゲイン量及び露光時間を入力されることにより、撮像時の照度環境を検出できる。また、ジャイロセンサーの出力情報や、動きベクトル情報を入力され、入力されたデータを信号処理装置内の所定のアルゴリズムで処理することにより、実施の形態１及び実施の形態２で説明したのと同様に、ぶれ補正や撮像時の感度を高める画像合成ができる。

情報処理装置としてパーソナルコンピュータを使用することにより、画像処理アルゴリズムのバージョンアップも容易であり、また、高速のＣＰＵによる高速な処理や、複雑な補正処理などが可能となる利点がある。

このように構成された実施の形態３による撮像システムは、時間的に順次撮像される複数の第１の画像に基づき第２の画像を逐次合成して撮像時の感度を高める撮像システムにおいて、第１の画像の画像情報を入力する画像情報入力手段と、複数の第１の画像の間の動き情報を入力する動き情報入力手段と、動き情報の履歴を記憶する動き情報履歴記憶手段と、動き情報の履歴に基づき第１の画像の動きの原因を判別する動き判別手段と、第１の画像の動きの原因に基づき第１の画像又は第２の画像のいずれかに対し動き情報を用いて移動する画像移動手段と、この画像移動手段により移動された第１の画像と第２の画像とを合成してこの第２の画像を更新する画像合成手段とを備えたので、静止画撮影や、パンニングを含む動画撮影においても、手ぶれ等の撮像装置のぶれにより生じるぶれ画像を補正して撮像時の感度を向上する撮像システムを得ることができる。

この発明の実施の形態１における撮像装置を用いたビデオカメラの全体構成を説明するブロック図である。この発明の実施の形態１における撮像装置の一部をなすカメラ信号処理部１４０の機能ブロック図である。この発明の実施の形態１における撮像装置を用いたビデオカメラのメインシステム処理部２１０の機能ブロック図である。この発明の実施の形態１における撮像装置の一部をなす撮像部１３０の構成を説明するブロック図である。この発明の実施の形態１における撮像装置の一部をなすカメラ信号処理部１４０におけるぶれ補正機能及び画像合成機能を実現するための構成を説明するブロック図である。この発明の実施の形態１における撮像装置の一部をなすカメラ信号処理部１４０の合成部１４４の構成を説明するブロック図である。この発明の実施の形態１における撮像装置のぶれ補正の効果を説明する概念図である。この発明の実施の形態１における撮像装置の第１の画像の動きの原因を判別する方法を説明する概念図である。この発明の実施の形態１における撮像装置の第１の画像の動きの原因を判別する方法を説明する概念図である。この発明の実施の形態１における撮像装置の撮像時の感度を高める動作を説明する波形図である。この発明の実施の形態１における撮像装置の撮像時の感度を高める動作を説明する波形図である。この発明の実施の形態１における撮像装置の撮像時の感度を高める動作を説明する波形図である。この発明の実施の形態１における撮像装置の合成部１４４の合成方法を決定するフローチャートである。この発明の実施の形態２における撮像装置の撮像部１３０の概観図である。この発明の実施の形態２における撮像装置の一部をなすカメラ信号処理部１４０におけるぶれ補正機能及び画像合成機能を実現するための構成を説明するブロック図である。この発明の実施の形態３における撮像システムが入力する第１の画像の画像情報及び動き情報を含む画像情報ファイルの構成図である。

符号の説明

１００カメラモジュール、１１０レンズ群、１２０絞り、１３０撮像部、１３１撮像素子、１３２垂直転送駆動部、１３３撮像システム制御部、１３４撮像信号処理部、１３５ジャイロセンサー、１３５ａＸ軸方向ジャイロセンサー、１３５ｂＹ軸方向ジャイロセンサー、１４０カメラ信号処理部、１４１動き情報検出手段である動きベクトル検出部、１４２動き情報履歴記憶手段である動きベクトルメモリー部、１４３動き判別手段である手ぶれ判別部、１４４合成部、１４４ａ画像移動手段である画像移動処理部、１４４ｂ第１の画像信号バッファ部、１４４ｃ第１の画像信号メモリー部、１４４ｄ第２の画像信号バッファ部、１４４ｅ画像合成手段である画像信号演算処理部、１４５撮像条件／撮像状態検出部、１４６第２の画像記憶手段である合成信号メモリー部、１４７画像処理部、２００入出力処理モジュール、２１０メインシステム制御部、２２０外部ストレージ、２３０外部機器、２４０表示デバイス、２５０無線通信部。

Claims

時間的に順次撮像される複数の第１の画像に基づき第２の画像を逐次合成して撮像時の感度を高める撮像方法において、前記第２の画像を記憶する第２の画像記憶処理と、前記複数の第１の画像の間の動き情報を検出する動き情報検出処理と、前記動き情報の履歴を記憶する動き情報履歴記憶処理と、前記動き情報の履歴に基づき前記第１の画像の動きの原因を判別する動き判別処理と、前記第１の画像の動きの原因に基づき前記第１の画像又は前記第２の画像のいずれかに対し、前記動き情報を用いて移動する画像移動処理と、該画像移動処理により移動された前記第１の画像と前記第２の画像とを合成して該第２の画像を更新する画像合成処理とを備えた撮像方法。
動き情報検出処理が、複数の第１の画像を用いて該複数の第１の画像の間の動き情報を検出することを特徴とする請求項１に記載の撮像方法。
動き情報検出処理が、複数の第１の画像を撮像する撮像装置の姿勢の変化に基づき前記複数の第１の画像の間の動き情報を検出することを特徴とする請求項１に記載の撮像方法。
時間的に順次撮像される複数の第１の画像に基づき第２の画像を逐次合成して撮像時の感度を高める撮像装置において、前記第２の画像を記憶する第２の画像記憶手段と、前記複数の第１の画像の間の動き情報を検出する動き情報検出手段と、前記動き情報の履歴を記憶する動き情報履歴記憶手段と、前記動き情報の履歴に基づき前記第１の画像の動きの原因を判別する動き判別手段と、前記第１の画像の動きの原因に基づき前記第１の画像又は前記第２の画像のいずれかに対し、前記動き情報を用いて移動する画像移動手段と、該画像移動手段により移動された前記第１の画像と前記第２の画像とを合成して該第２の画像を更新する画像合成手段とを備えた撮像装置。
動き情報検出手段が、複数の第１の画像を用いて該複数の第１の画像の間の動き情報を検出することを特徴とする請求項４に記載の撮像装置。
動き情報検出手段が、複数の第１の画像を撮像する撮像装置の姿勢の変化に基づき前記複数の第１の画像の間の動き情報を検出することを特徴とする請求項４に記載の撮像装置。
画像移動手段が、静止画撮影時に、動き情報を用いて第１の画像を移動することを特徴とする請求項４に記載の撮像装置。
画像移動手段が、動画撮像時に、第１の画像の動きの原因に基づき第１の画像又は第２の画像のいずれかに対し動き情報を用いて移動することを特徴とする請求項４に記載の撮像装置。
所定の枚数の複数の第１の画像を用いて第２の画像を逐次合成することを特徴とする請求項４乃至請求項８のいずれかに記載の撮像装置。
第２の画像を合成するのに用いる複数の第１の画像の少なくとも１枚を、合成された前記第２の画像から減算して該第２の画像を更新することを特徴とする請求項４乃至請求項８のいずれかに記載の撮像装置。
動き情報を動き情報出力ファイルとして撮像装置の外部に出力する動き情報外部出力手段と、第１の画像を画像出力ファイルとして撮像装置の外部に出力する画像外部出力手段とを備えた請求項４に記載の撮像装置。
時間的に順次撮像される複数の第１の画像に基づき第２の画像を逐次合成して撮像時の感度を高める撮像システムにおいて、第１の画像の画像情報を入力する画像情報入力手段と、前記複数の第１の画像の間の動き情報を入力する動き情報入力手段と、前記動き情報の履歴を記憶する動き情報履歴記憶手段と、前記動き情報の履歴に基づき前記第１の画像の動きの原因を判別する動き判別手段と、前記第１の画像の動きの原因に基づき前記第１の画像又は前記第２の画像のいずれかに対し前記動き情報を用いて移動する画像移動手段と、該画像移動手段により移動された前記第１の画像と前記第２の画像とを合成して該第２の画像を更新する画像合成手段とを備えた撮像システム。