JP2001086398A

JP2001086398A - 撮像装置

Info

Publication number: JP2001086398A
Application number: JP2000213894A
Authority: JP
Inventors: Takuro Sugawara; 卓郎菅原; Hideaki Yoshida; 英明吉田
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1999-07-15
Filing date: 2000-07-14
Publication date: 2001-03-30

Abstract

(57)【要約】【課題】特殊光学系を用いずに、小型低消費電力で像
の劣化のない静止画ぶれ補正を行えるようにした撮像装
置を提供する。【解決手段】ＣＣＤ撮像素子５と、該撮像素子の出力
に基づいて映像信号を生成するプリプロセス回路７と、
撮像素子における電荷蓄積時間を制御するＣＣＤドライ
バ６と、ＣＣＤドライバを制御して複数回の連続した露
光を与えることにより得られた複数の映像信号を加算し
て一つの撮像画像信号を生成する撮像画像生成部８−３
と、該撮像画像の生成に際し前記複数の映像信号間の相
対的な動きを補償した後に複数の映像信号を加算するた
めのぶれ補正部８−２と、前記複数の映像信号に基づい
て当該複数の映像信号間の相対的な動き情報を検出する
像ぶれ検出部８−１とを有し、該像ぶれ検出部の検出結
果に基づいてぶれ補正部における補償処理を行うように
して撮像装置を構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、撮像装置、特に
手ぶれ等による像のぶれを効果的に抑制することが可能
な静止画撮像機能を備えた撮像装置に関する。

【０００２】

【従来の技術】撮像装置における静止画撮像に関して、
長時間撮影を行なう場合の手ぶれや被写体の動きによっ
て、像にぶれを生じることは広く知られている。この像
の「ぶれ」は、１次元（曲線状も含む）の像ぼけである
ため、「ぼけ」と称される場合もあるが、本明細書にお
いては「ぶれ」と表現することとする。像ぶれは、流し
撮りなど撮影術に積極的に応用される場合もあるが、通
常は画質の劣化と見做され、これを防止することが必須
となっている。その代表的方法の一つは、三脚等を用い
てカメラを安定に固定することであり、他の一つは短時
間露出（高速シャッタ）の使用であるが、いずれも状況
が許さないと適用できず、手持ちの低照度撮影には適用
不可能である。

【０００３】このような場合でも利用可能な技術とし
て、例えば特開平１０−３３６５１０号公報記載のもの
がある。すなわち、撮像面に対する被写体像の相対的な
動きを事前に検出し、その情報をもとに撮像時におい
て、結像画像をシフトさせる光学系（「光学系＋撮像素
子」として捕らえれば撮像ブロック）を駆動して、撮像
面に対して被写体像を相対的に静止させるものである。
また、この公開公報には公知の従来技術として、特に動
画を対象とした「手ぶれ補正制御手段」についても記載
があり、補正手段として光学式（上記のような結像画像
をシフトさせる光学系を用いるもの）と電子式（メモリ
や撮像素子駆動によって、全撮像可能領域から抜き出す
画枠を移動するもの）が挙げられている。また「手ぶれ
検出方法」としても、画像処理で被写体の移動量と方向
を検出する動きベクトル検出と、角速度センサによって
カメラ本体の揺れを直接検出する角速度検出とが挙げら
れている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記公
開公報における指摘を待つまでもなく、従来の動画を対
象とした手ぶれ補正技術では、静止画撮像における長時
間撮影時の一画像中の像ぶれを解消することはできな
い。そして、上記公開公報開示の技術に関しては、以下
の２つの問題点を有するものである。すなわち、結像画像をシフトさせる特殊な光学系（撮像ブロッ
ク）が必要であるから、装置の形状・消費電力・コスト
の増大を来たし、更に特殊光学系の採用による結像性能
の劣化が生じる。撮像に先立つ事前情報に基づいて補正を行なうから、
像の動きに変化があった場合は誤補正となり、かえって
画質が劣化してしまう。

【０００５】本発明は、上記従来の技術における２つの
問題点を解決するためになされたもので、長時間撮影に
も適用できる効果的なぶれ補正が可能な静止画撮影機能
を有する撮像装置を実現することを目的とする。請求項
毎の目的を述べると、請求項１，２，８及び９に係る発
明は、ぶれ補正に際して結像画像をシフトさせる特殊な
撮像ブロックが不要で、装置の形状・消費電力・コスト
等の増加や結像性能の劣化を生じさせず、また別センサ
を必要とせず像の動きに変化があった場合も誤補正のお
それがない高精度のぶれ補正が可能な撮像装置を提供す
ることを目的とする。請求項３に係る発明は、ぶれ補正
を極めて簡単に自動的に適用できるようにした撮像装置
を提供することを目的とする。請求項４に係る発明は、
各回の撮像のＳ／Ｎを高くし、また動き情報の検出に関
する処理がより簡単に且つ確実にできるようにした撮像
装置を提供することを目的とする。請求項５に係る発明
は、長年の経験則に裏打ちされた確実な条件の下にぶれ
補正を適用することができ、ズームカメラ等においても
常に最適な条件で像ぶれのない画像を得ることが可能な
撮像装置を提供することを目的とする。請求項６に係る
発明は、撮像者が状況や目的に応じて撮影機能を設定で
きるようにした像ぶれ補正機能を備えた撮像装置を提供
することを目的とする。請求項７に係る発明は、形状・
消費電力・コスト等の増加や結像性能の劣化を生じさせ
ず、また固定パターンノイズも低減した高画質な長時間
露光撮像の可能な撮像装置を提供することを目的とす
る。

【０００６】

【課題を解決するための手段】上記問題点を解決するた
め、請求項１に係る発明は、撮像素子と、該撮像素子の
出力に基づいて映像信号を生成する映像信号生成手段
と、前記撮像素子における電荷蓄積時間を制御する蓄積
時間制御手段と、該蓄積時間制御手段を制御して複数回
の連続した露光を与えることにより得られた複数の映像
信号を加算して一つの撮像画像信号を生成する撮像画像
生成手段と、前記撮像画像生成手段における撮像画像信
号の生成に際し前記複数の映像信号間の相対的な動きを
補償した後に前記複数の映像信号を加算するための動き
補償手段と、前記複数の映像信号に基づいて当該複数の
映像信号間の相対的な動き情報を検出する動き情報検出
手段とを有し、該動き情報検出手段の検出結果に基づい
て前記動き補償手段における補償処理を行なうようにし
て撮像装置を構成するものである。

【０００７】また、請求項２に係る発明は、撮像素子
と、該撮像素子の出力に基づいて映像信号を生成する映
像信号生成手段と、前記撮像素子における電荷蓄積時間
を制御する蓄積時間制御手段と、該蓄積時間制御手段を
制御して複数回の連続した露光を与えることにより得ら
れた複数の映像信号を加算して一つの撮像画像信号を生
成する撮像画像生成手段と、前記複数の映像信号に基づ
いて当該複数の映像信号間の相対的な動き情報を検出す
る動き情報検出手段と、前記動き情報検出手段の検出結
果に基づいて前記複数の映像信号間の相対的な動きを補
償するための動き補償手段とを備え、前記画像生成手段
は、前記動き補償手段により動き補償された複数の映像
信号を加算処理するようにして撮像装置を構成するもの
である。

【０００８】このように構成した請求項１及び２に係る
撮像装置は、撮像画像信号の生成に際し、上記複数の映
像信号間の相対的な動きを補償した後に上記複数の映像
信号を加算するようにしているので、ぶれ補正に際して
結像画像をシフトさせる特殊な撮像ブロックが不要で、
装置の形状・消費電力・コスト等の増加や結像性能の劣
化を生じさせない。また、動き補償に用いる動き情報を
加算対象である複数の映像信号自身に基づいて検出する
ようにしているので、別センサを必要とせず、また像の
動きに変化があった場合も誤補正のおそれがない精度の
高いぶれ補正が可能となり、更に固定パターンノイズも
低減した高画質な長時間露光撮像が可能となる。

【０００９】また、請求項８に係る発明は、設定された
露光時間を複数に分割することにより１コマ当たりの電
荷蓄積時間を設定する設定手段と、前記１コマ当たりの
電荷蓄積時間に得られた各映像信号間の相対的な動き情
報を検出する動き情報検出手段と、前記動き情報検出手
段からの出力に基づいて複数コマの被写体像が一致する
ように前記各映像信号を演算する演算手段と、前記演算
結果に基づいて前記複数の映像信号を加算して一つの撮
像画像信号を生成する画像生成手段とで、一つの被写体
に対して複数の連続したコマの映像信号を得ることが可
能な撮像装置を構成するものである。

【００１０】また、請求項９に係る発明は、設定された
露光時間が手ぶれ限界露出時間より長いか否かを判定す
る判定手段と、手ぶれ限界露出時間より長いと判定され
た際に、前記露光時間を複数の連続したコマの映像信号
を得ることが可能な電荷蓄積時間に設定する設定手段
と、一つの被写体に対して得られた複数の連続コマに対
する各映像信号間の相対的なブレ量を検出するブレ検出
手段と、前記検出されたブレ量に基づいて、前記複数の
連続したコマ間において各映像信号間の被写体像に関連
するベクトルを演算し、当該各ベクトルに基づいて各映
像信号のずらし量とその方向を演算する演算手段と、前
記演算結果に基づいて前記複数の映像信号を加算して一
つの撮像画像信号を生成する画像生成手段とで、一つの
被写体に対して複数の連続したコマの映像信号を得るこ
とが可能な撮像装置を構成するものである。

【００１１】このように構成された請求項８及び９に係
る撮像装置においても、ぶれ補正に際して結像画像をシ
フトさせる特殊な撮像ブロックが不要で、装置の形状・
消費電力・コスト等の増加や結像性能の劣化を生じさせ
ず、また別センサを必要とせず像の動きに変化があった
場合も誤補正のおそれがない高精度のぶれ補正が可能と
なる。

【００１２】請求項３に係る発明は、請求項１又は２に
係る撮像装置において、所定値より長い露光時間が設定
された場合に、当該露光時間を各々が前記所定値以下で
ある複数の露光時間に分割すると共に、該分割された各
露光時間を前記複数回の連続した露光の各回の露光時間
として設定するぶれ補正静止画撮像制御手段を有してい
ることを特徴とするものである。このような構成のぶれ
補正静止画撮像制御手段を備えることにより、請求項１
又は２に係る発明におけるぶれ補正機能を極めて簡単に
自動的に適用することができる。

【００１３】請求項４に係る発明は、請求項３に係る撮
像装置において、前記複数回の連続した露光は、該露光
の各回の露光時間が前記制限条件を満たす条件下におけ
る最少の露光回数に等分されて行われることを特徴とす
るものである。これにより、各回の撮像Ｓ／Ｎは高くな
り、また動き情報の検出に関する処理がより簡単且つ確
実になる。

【００１４】請求項５に係る発明は、請求項３又は４に
係る撮像装置において、前記所定値は、撮影レンズの焦
点距離及び撮像画枠の大きさによって定まる手ぶれ限界
露出時間であることを特徴とするものである。これによ
り、長年の経験則に裏打ちされた確実な条件の下にぶれ
補正を適用することができ、ズームカメラ等においても
常に最適な条件で像ぶれのない画像を得ることができ
る。

【００１５】請求項６に係る発明は、請求項１〜５のい
ずれか１項に係る撮像装置において、前記動き補償手段
が機能する第１の撮像モードと、これを機能させない第
２の撮像モードとを選択設定するモード設定手段を有し
ていることを特徴とするものである。このようなモード
設定手段を設けることにより、撮像者は状況や目的に応
じて撮影機能を容易に選択設定することができる。

【００１６】請求項７に係る発明は、当該撮像光学系の
光軸に垂直な方向に関しては互いに移動不可能に固定さ
れた撮像光学系及び撮像素子と、該撮像素子の出力に基
づいて映像信号を生成する映像信号生成手段と、前記撮
像素子における電荷蓄積時間を制御する蓄積時間制御手
段と、該蓄積時間制御手段を制御して複数回の連続した
露光を与えると共に得られた複数の映像信号を加算して
一つの撮像画像信号を生成する撮像画像生成手段と、該
撮像画像生成手段における撮像画像信号の生成に際し前
記複数の映像信号間の相対的な動きを補償した後に前記
複数の映像信号を加算するための動き補償手段とで撮像
装置を構成するものである。

【００１７】このように構成した撮像装置においては、
撮像画像信号の生成に際し複数の映像信号間の相対的な
動きを補償した後に複数の映像信号を加算するようにし
ており、また結像画像をシフトさせる特殊な撮像ブロッ
クを用いることなく通常の撮像ブロックを使用している
ので、装置の形状・消費電力・コスト等の増加や結像性
能の劣化が生ぜず、更に固定パターンノイズも低減した
高画質な長時間露光撮像が可能となる。

【００１８】

【発明の実施の形態】次に、実施の形態について説明す
る。図１は、本発明に係る撮像装置の第１の実施の形態
のディジタルカメラを示すブロック構成図である。１は
レンズ系、２はレンズ駆動機構、３は露出制御機構、４
はフィルタ系、５はＣＣＤ撮像素子、６はＣＣＤドライ
バ、７はＡ／Ｄコンバータを含むプリプロセス回路、８
はディジタルプロセス回路で、ハードとしてメモリを含
み、全てのディジタルプロセス処理を行うものである。
９はメモリカードインターフェース、10はメモリカー
ド、11はＬＣＤ画像表示系、12は主たる構成としてマイ
コンを含むシステムコントローラ、13は操作スイッチ
系、14は表示用ＬＣＤを含む操作表示系、15はストロ
ボ、16はレンズドライバ、17は露出制御ドライバ、18は
ＥＥＰＲＯＭである。

【００１９】このように構成されているディジタルカメ
ラにおいては、システムコントローラ12が全ての制御を
統括的に行なっており、特に露出制御機構３に含まれる
シャッタ装置と、ＣＣＤドライバ６によるＣＣＤ撮像素
子５の駆動を制御して、露光（電荷蓄積）及び信号の読
み出しを行ない、それをＡ／Ｄコンバータを含むプリプ
ロセス回路７を介してディジタルプロセス回路８に格納
する。そして、ディジタルプロセス回路８内で全ての必
要な各種信号処理を施した後に、ＬＣＤ画像表示系11に
表示又はメモリカード10に記録する。上記ディジタルプ
ロセス回路８で行われる各種信号処理には、本発明の要
部であるところの像ぶれに関する判断や、本撮像時にお
けるぶれ補正、複数の画像信号の加算による長時間露光
画像の生成等の処理が含まれる。すなわち、ディジタル
プロセス回路８には、該回路内のメモリに格納された出
力情報を用いて像ぶれに関する判断を行う像ぶれ検出部
８−１と、像ぶれが検出されたとき像ぶれを補正するぶ
れ補正部８−２と、複数の画像信号の加算による長時間
露光画像の生成を行う撮像画像生成部８−３とを備えて
いる。なお、これらの各部８−１，８−２，８−３は、
現実の演算処理においては必ずしも明確に分離されない
こともあるが、説明の便宜と概念の明確化のために分け
て示すものである。また本実施の形態に係るディジタル
カメラは可変焦点のいわゆるズームカメラであるものと
する。

【００２０】次に、本実施の形態におけるぶれ補正に直
接関わる処理を中心に、システムコントローラ12による
カメラ制御について説明を行なう。まず、撮影に先立っ
てマニュアル設定又は公知の測光手段（撮像信号の解析
によるもの、又は図示しない独立の測光回路によるもの
など、任意の測光手段）による測光結果に基づいて、撮
影に必要な適正露光時間Ｔtotal が設定される。そし
て、この露光時間Ｔtotal が、システムコントローラ12
内に設けられている手ぶれ限界判断部12−１により、本
実施の形態に係るディジタルカメラにおける手ぶれ限界
露光時間Ｔlimitよりも長いかどうかが判断され、この
判断結果に基づいてカメラの撮像動作が制御される。手
ぶれ限界露光時間とは、周知の如く、一般的な撮影者が
カメラを手持ち撮影した場合を想定して、撮影動作に伴
なう手ぶれによって生じる記録画像の像ぶれが、検知限
あるいは許容限以下に収まるような限界の露光時間とし
て設定されるものである。

【００２１】したがって、Ｔlimit は現実にはカメラの
形状や重量によっても異なり得るものであるが、これは
さておき、35ミリフィルムカメラにおける縦24mm×横36
mm（対角 43.28mm）のいわゆるライカ版フレーム（別
称：ダブルフレーム）カメラに関する長年の経験則とし
て、「ミリメートル単位の撮影レンズの焦点距離をｆと
したとき、Ｔlimit ≒１／ｆ（秒）である」ということ
が知られている。撮影倍率が焦点距離に比例することを
考えれば、Ｔlimit が１／ｆに比例するということは、
理論上もうなづけるものである。本実施の形態において
は、この経験則を基礎に、これをディジタルカメラの撮
像素子の有効撮像エリア内に設定した撮影画枠の大きさ
も考慮して応用する。以下、単位mmについては記載を省
略し数値のみ表記して、これを説明する。

【００２２】すなわち、本実施の形態に係るディジタル
カメラの撮像素子は、有効撮像エリアが高さ6.6 ×幅8.
8 のいわゆる２／３サイズのものを使用しており、この
エリア内に、高さｈ（＝4.8)×幅ｗ（＝6.4)のいわゆる
１／２サイズの撮影画枠を有しているものとする。この
撮影画枠は、本発明の主目的であるぶれ補正を行なうた
めに設けられたものであって、全有効撮像エリア内に含
まれる範囲で任意の位置に可変設定される。そして、最
終的な撮像画像の加算生成に際しては、この撮影画枠内
のデータだけが抜き出されて、撮影画枠内の相対アドレ
スが最終生成画像の絶対アドレスと見做されて加算され
る。したがって、生成画像のフレームの大きさは、この
撮影画枠の大きさに等しくなるものであり、それ故「撮
影画枠」と称しているものである。

【００２３】カメラにおける被写体撮像範囲（撮影画
角）は、レンズの焦点距離に反比例しフレームの大きさ
に比例するから、フレームに対する相対的な像倍率は焦
点距離に比例し、フレームの大きさに反比例することに
なる。したがって、（フレームに対する相対的な）像ぶ
れもフレームの大きさに反比例する。そこで、上記経験
則に対してフレームの大きさ比率に応じた換算係数を乗
じて、これを適用すれば良いことになる。この場合、ア
スペクト比の違いが問題になるが、本実施の形態に係る
ディジタルカメラにおいては対角線換算を用いている。

【００２４】撮影画枠の対角長ｄ＝８であるから、Ｔli
mit は次式（１）で表される。Ｔlimit ≒ｄ／（43.28 ×ｆ）≒0.185 ／ｆ・・・・・・・・・（１）現実の設定に際しては、これに若干の余裕を見込んで、
やや高速シャッタよりの次式（２）を採用する。Ｔlimit ＝0.15／ｆ・・・・・・・・・・（２）なお、対角線換算以外に高さ換算（Ｔlimit ≒ｈ／（24
×ｆ）≒0.2 ／ｆ）や、幅換算（Ｔlimit ≒ｗ／（36×
ｆ）≒0.178 ／ｆ）等を用いてもよいが、上記のように
余裕を見込むとすれば、実質的にはこれらの違いは無視
し得る。

【００２５】上記（１）又は（２）式からも明らかなよ
うに、この手ぶれ限界露光時間Ｔlimit については、カ
メラが単焦点距離のカメラの場合は１つの値で良いが、
本実施の形態に係るディジタルカメラはズームカメラで
あるから、焦点距離に応じて異なる値を適用する。その
場合、単純に上記（１）又は（２）式そのまま利用して
ＣＰＵ演算する演算方式を用いてもよく、必要に応じ
て、例えば上記（１）又は（２）式に対して低速側の限
界値を設けたり、余裕のもたせ方を一定比率ではなくし
たりなど、更に複雑なＴlimit の設定を行なうためテー
ブル参照方式を用いてもよい。後者の場合、テーブルデ
ータはＥＥＰＲＯＭ18（これはマスクＲＯＭであっても
よい）に格納しておく。いずれの場合も、システムコン
トローラ12は、その時のレンズ駆動機構２に対する制御
情報、又は図示しないレンズ位置センサの検出情報によ
って、レンズ系１の焦点距離情報を認識して、上記演算
又はテーブル参照によりＴlimit を求める。

【００２６】このＴlimit を判断基準に用いて、カメラ
の動作は次の（甲）、（乙）に場合分けされる。なお、
（甲）については従来の一般的なカメラによる動作と変
わりがないので、これ以降の説明は特に断らない場合
は、（乙）の場合について行なうこととする。

【００２７】（甲）Ｔtotal ≦Ｔlimit の場合には、本
撮像の露出時間Ｔexp をＴexp ＝Ｔtotal に設定して、
通常の１回の露光を行ない撮像信号を読み出す。そし
て、適宜各種信号処理を施して、メモリカード10に記録
する。

【００２８】（乙）Ｔtotal ＞Ｔlimit の場合には、本
撮像を複数回（ｎ回とする）の連続した露光に分けて行
ない、各回毎に得られた撮像信号を公知のディジタル演
算技術により加算して一つの長時間露光画像とし、更に
適宜各種信号処理を施してメモリカード10に記録する。
この際、露光回数ｎ、及び各回の露光時間Ｔexp(k)につ
いては、システムコントローラ12内に設けられている露
光回数・露光時間設定部12−２において、次のように設
定する。

【００２９】ｎ＝Ａ＋１：全てのｋに関して、Ｔexp
(k)＝Ｔtotal ／ｎ（但しＡは、Ｔtotal ÷Ｔlimit の
商であり、Ｔtotal ÷Ｔlimit の剰余が０でない場合
に、この設定とする）ｎ＝Ａ：全てのｋに関して、Ｔexp(k)＝Ｔlimit （Ａ
は、Ｔtotal ÷Ｔlimit の商であり、Ｔtotal ÷Ｔlimi
t の剰余が０の場合に、この設定とする）すなわち、必要露光時間Ｔtotal を、Ｔlimit 以下の露
光時間を持つ最少回数の露光に等分するものである。し
たがって、上記（甲）、（乙）いずれにおいても毎回の
各撮像信号に関しては、露光時間は手ぶれ限界露光時間
Ｔlimit 以下に制限されていることになる。

【００３０】ここで、上記「最小回数」の意味、すなわ
ちＴlimit 以下という制限に対して極力長い露出時間に
設定した意味については、各回の撮像信号のレベルを制
限条件の許す範囲で少しでも大きく確保して、Ｓ／Ｎを
良くすることを狙ったものである。各回の信号Ｓ／Ｎが
悪くとも加算により劣化が抑制されるが、現実の構成に
於いてはＡ／Ｄコンバータにおけるディジタイズよる量
子化ノイズの発生が避けられず、この量子化ノイズは加
算によっては抑制困難であるから、この観点からは信号
レベルは、より大きい方が望ましい。また、加算する画
像の数を少なくすることは、ディジタルプロセス回路８
の演算負荷を小さくし、処理時間を短縮する点からも有
利である。この観点を離れて、単に各回の画像に対する
手振れの影響を小さくするだけであれば、各露光時間は
短ければ短いほど良いことは自明である。

【００３１】また、上記最少回数の露光に分割する際の
「等分」の意味は、ぶれの検出等の処理に関して各回の
撮像条件を等しく保つことにより、処理系の負担を減ら
し、また一般には高い処理精度を確保することである。
この観点を離れて、単に上記「最小回数」の露光に分割
するだけであれば、例えば次のような設定も変形例とし
て挙げ得る。ｎ＝Ａ＋１：ｋ＝１〜ｎ−１に関しては、Ｔexp(k)
＝Ｔlimit ：ｋ＝ｎに関しては、Ｔexp(n)＝Ｂ（但
しＡはＴtotal ÷Ｔlimit の商で、Ｂは剰余であり、Ｂ
≠０の場合に、この設定とする）ｎ＝Ａ：全てのｋに関して、Ｔexp(k)＝Ｔlimit
（但しＡは、Ｔtotal ÷Ｔlimit の商で、剰余Ｂ＝０の
場合に、この設定とする）

【００３２】以上のような制限のもとに行われた本撮像
信号に対して施されるぶれ補正処理は、以下のようなも
のである。すなわち、上記各回の露光による撮像信号
（Ｓ[k](i,j ）：但しｉ，ｊは任意画素の座標）を、ぶ
れ検出部８−１において、公知の動きベクトル検出手法
を用いて解析することにより、各露光間の動き情報であ
る動きベクトル（Ｖ[k] ＝(x[k],y[k]））を求める。こ
れに基づいて、ぶれ補正部８−２の演算処理により各回
の撮影画枠を、被写体像が一致するようにシフトさせつ
つ、撮像画像生成部８−３において加算を行ない、最終
的な撮像画像Ｓout(i,j)を生成する。このＳout(i,j)
は、上記１／２サイズの領域に対応した所定の画素数ｐ
×ｑ（１≦ｉ≦ｐ，１≦ｊ≦ｑ）を有するものである。
加算処理に際して、第ｋ回目の露光分まで加算が終わっ
た中間的なＳout(i,j)を、Ｓout[k](i,j) と表現する。
また初回の露光（ｋ＝１）の時は、撮影画枠中心は有効
撮像エリアの中央に設定されているが、説明を簡略化す
るため、有効撮像エリアの座標は、この状態においてＳ
[1](i,j ）= Ｓout[1](i,j) となるように設定されてい
るものとする。（したがって、一部負値も存在する。）

【００３３】上記動きベクトルＶ[k] ＝(x[k],y[k]）の
定義を（絵柄の変化がない被写体部分に関して）、（ａ）Ｓ[k](i+x[k],j+y[k] ）＝Ｓ[k-1](i,j) （ｋ＝
2 〜ｎ）とし、Ｖ[1] からＶ[k] までの総和である累積動きベク
トルΣＶ[k] を、（ｂ）ΣＶ[k] ＝（Σx[k], Σy[k]）＝（x[1]+x[2]+・
・・+x[k] ，y[1]+y[2]+・・・+y[k] ）とすると、毎回の加算処理は、（ｃ）Ｓout[k](i,j) ＝Ｓout[k-1](i,j)+Ｓ[k](i+Σx
[k],j+ Σy[k]) ，（１≦ｉ≦ｐ，１≦ｊ≦ｑ）で表わすことができる。最終的な撮影画像は、Ｓout(i,
j)＝Ｓout[ｎ](i,j) によって求められた後に、適宜各
種信号処理を経てメモリカード10に記録される。

【００３４】ここで、上記動きベクトルを検出する方法
については、任意の公知の手法を用いることができるの
で詳述しないが、一例を示せば、撮影画枠に対して所定
の部分エリアを検出エリアとして設けておき、この検出
エリアに関して、ある仮定された動きベクトルＶ[k] に
基づいて、画像の相関評価値を算出する。例えば、上記
（ａ）の左辺と右辺の差の絶対値の総和、Σ｜Ｓ[k-1]
(i,j)−Ｓ[k](i+x[k],j+y[k] ）｜（ここでのΣは
（ｂ）とは異なりｉ，ｊに関する総和記号）を求める。
Ｖ[k] の仮定を変更する毎に得られた各相関評価値を比
較して、最小値（相関度最大に対応、完全一致の場合０
となる）を与えるＶ[k] を、求める動きベクトルとすれ
ばよい。上記したとおり各回の露光時間（撮像条件）が
等しく保たれているから、このように比較的単純な演算
処理で、動きベクトルを求めることが可能になってい
る。

【００３５】このようにして得られた最終的な撮影画像
は、毎回の画像は露光時間が手ぶれ限界露光時間以下で
あるため、検知可能な像ぶれを含まず、各露光間の像ぶ
れが撮影画枠のシフトによって補正された上で加算され
たものとなるので、像ぶれを含まない長時間露光画像と
なる。このとき、動きベクトルの検出エリアとして、主
要被写体だけを狙う意味で、例えば撮影画枠の中央部の
み（例えばｈ／３×ｗ／３の領域）を設定すれば、単な
る手ぶれによる像ぶれのみでなく、主要被写体が背景に
対して相対的に動くようなシーンにおいて、主要被写体
に像ぶれを生じない（背景はぶれる）ような撮影画像を
得ることも可能になる。これを積極的に利用すれば、例
えばカメラを固定したままでも、「流し撮り」が実現で
きることになる。

【００３６】また、検出エリアの設定の如何に関わら
ず、副次的なしかし大きな効果として固定パターンノイ
ズの低減効果を伴なう。すなわち、結果的に画枠移動が
生じた場合は、最終画像の同一画素に対応する撮像素子
の画素は順次異なるものになっているから、通常の長時
間露光に伴なう暗電荷の蓄積効果や、あるいはメモリ加
算に伴なう駆動ノイズ等に起因する固定パターンノイズ
の加算増大現象が、空間的に分散されることになり、ノ
イズのピークレベルが、したがって視認性の高いノイズ
が大幅に低減する。手持ち撮影を行なえば、どんなに確
実に固定したつもりでも、ある一定の揺動は発生するか
ら（それゆえ像ぶれ補正が必要になる）、本実施の形態
に係るディジタルカメラのぶれ補正機能に付随するこの
ノイズ低減効果に注目した場合、これによって従来シフ
ト光学系などの特殊撮像ブロックを用いる必要があった
ため実際的でなかった固定パターンノイズ低減を、極め
て簡単な構成で実現していることになる。

【００３７】なお、上記ぶれの補正は、画枠のシフト
（平行移動）のみで行なっているが、更に回転も加える
ことによって、より広範なぶれパターンに対応すること
が可能である。ただ、この場合は、動き情報検出手段と
して単なる動きベクトル検出手法にとどまらず、回転も
要素に加えた解析が必要になるため、演算量は多くな
る。

【００３８】上記第１の実施の形態以外にも様々な実施
の形態が考えられる。先ず第２の実施の形態として、上
記第１の実施の形態においては、各回の露光時間は露光
時間Ｔtotal の１／ｎになっており、信号レベルが小さ
くなっているため、この検出に際して、信号ゲインを高
く設定して検出の確実性を上げるように構成したものが
挙げられる。すなわち、プリプロセス回路７のＡ／Ｄコ
ンバータの前段に設けられているアナログアンプのゲイ
ンを、例えば標準のｎ倍に設定する。この場合、上記加
算処理に際しては事前に（あるいは加算系のレンジに余
裕があれば加算後でも良い）１／ｎ倍する。このような
加算処理は、見方を変えれば平均値を算出しているもの
である。

【００３９】この点に着目し、上記「流し撮り」機能を
充実させることもできる。これを第３の実施の形態とし
て示す。すなわち、上記第１の実施の形態においてはＴ
total が適正露光時間であったが、例えば毎回の露光時
間が適正露光時間であるように露出制御機構３を設定す
る。（例えば、被写体照明が明るい時に絞りを開けれ
ば、上記Ｔlimit 以下の露光時間でもこのように設定し
得る。）そして、Ｔtotal は流し撮りに充分な時間と
し、加算処理に際しては第２の実施の形態と同様に平均
値算出とするものである（アンプゲインは標準）。な
お、照明の状況に対応して、第２と第３の２つの実施の
形態の中間に位置する実施の形態も有り得ることは当然
である。

【００４０】上記第１の実施の形態では、動き情報の検
出に毎回の撮像画像の情報を用いており、これによって
極めて精度の高い動き検出を可能としているが、上記第
２の実施の形態においても指摘したように信号レベルが
低下する場合があり、これが著しいと、誤動作の可能性
が生じる。したがって、これを防止するために、第４の
実施の形態として、公知の角速度センサ等を用いたぶれ
検出手段を用いた構成のものが挙げられる。また上記特
開平１０−３３６５１０号公報記載のもののように、感
度アップのための撮像素子特殊駆動等を用いて、撮像面
に対する被写体像の相対的な動きを事前に検出した情報
に基づいて、撮像時の動きベクトルを推定したりするも
のを、動き情報検出手段として用いることも好適な実施
の形態となり、これを第５の実施の形態とする。

【００４１】第６の実施の形態としては、上記各実施の
形態に係るディジタルカメラにおける長時間露光と、こ
れとは異なる従来の長時間露光とを、それぞれ実行可能
な各露光動作モードを切換可能に備えたものが挙げられ
る。前者の露光動作モードを例えば，スタビライズドモ
ード、後者の露光動作モードを例えばノーマルモードと
称して、操作スイッチ系13からの入力により一方を指定
可能に構成する。すなわち、スタビライズドモードが選
択されていれば、上記場合分け（甲）、（乙）による上
記各実施の形態の動作を行ない、ノーマルモードが選択
されていれば、適正露光時間Ｔtotal の値に係わらず、
上記場合分け（甲）に相当する従来のカメラの動作を行
なうものである。撮影者は、スタビライズドモードでは
誤動作のおそれがある場合や、意識的に従来の撮影術と
しての流し取り等長時間シャッタ効果を狙う場合には、
ノーマルモードを選択すればよい。

【００４２】以上本発明のいくつかの実施の形態並びに
その変形例について具体的に説明を行ったが、本発明は
これらに限られることなく、特許請求の範囲に記載の限
りにおいて如何なる態様をも取り得るものであることは
言うまでもない。

【００４３】なお、特許請求の範囲の各請求項に記載し
た以外の本発明に係る撮像装置のいくつかの特徴点を挙
げると、次の通りである。請求項８に係る撮像装置において、上記設定手段
は、所定値より長い露光時間が設定された場合に当該所
定値よりも短い複数の露光時間に分割する。上記項記載の特徴において、上記所定値は、手ぶ
れ限界露出時間である。請求項８に係る撮像装置において、上記設定手段
は、手ぶれ限界露出時間より長い露光時間が設定された
場合に、当該手ぶれ限界露出時間で上記設定された露光
時間を割った商（整数値）に露光回数を設定する。上記又は項記載の特徴において、上記手ぶれ限
界露出時間は、撮影レンズの焦点距離及び撮影画枠の大
きさによって定まる。請求項８に係る撮像装置において、上記演算手段は
画像を平行移動又は回転させることにより上記複数コマ
の主要被写体像が一致するように上記各映像信号を演算
し、上記画像生成手段は上記各映像信号を加算すること
により、一つの適正な露出値を有するブレのない画像を
生成する。請求項９に係る撮像装置において、上記設定手段
は、手ぶれ限界露出時間よりも短く、且つ最も少ない露
光回数となるように露光時間に設定する。上記項記載の特徴において、上記手ぶれ限界露出
時間は、撮影レンズの焦点距離及び撮影画枠の大きさに
よって定まる。請求項９に係る撮像装置において、上記判定手段に
よって設定された露光時間が手ぶれ限界露出時間より長
い場合には撮像を複数回連続して行う第１のモードに設
定し、上記判定手段によって設定された露光時間が手ぶ
れ限界露出時間より短い場合には通常の複数回連続露光
しない第２のモードに設定するモード切り換え手段を更
に有している。

【００４４】

【発明の効果】以上実施の形態に基づいて説明したよう
に、本発明によれば、長時間露光時においても像ぶれの
ない画像を得ることができる撮像装置を実現することが
できる。特に請求項１及び２に係る発明によれば、撮像
画像信号の生成に際し複数の映像信号間の相対的な動き
を補償した後に上記複数の映像信号を加算するように構
成しているので、ぶれ補正に際して結像画像をシフトさ
せる特殊な撮像ブロックが不要で、装置の形状・消費電
力・コスト等の増加や結像性能の劣化を生じさせない。
また、動き補償に用いる動き情報を加算対象である複数
の映像信号自身に基づいて検出するように構成している
ので、別センサを必要とせず、また像の動きに変化があ
った場合も誤補正のおそれがない精度の高いぶれ補正が
可能となり、更に固定パターンノイズも低減した高画質
な長時間露光撮像が可能になる。また請求項３に係る発
明によれば、所定値より長い露光時間が設定された場合
に、当該露光時間を各々が上記所定値以下である複数の
露光時間に分割すると共に、該分割された各露光時間を
上記複数回の連続した露光の各回の電荷蓄積時間として
設定するぶれ補正静止画撮像制御手段を備えているの
で、請求項１及び２の発明に係るぶれ補正を極めて簡単
に自動的に適用することができる。

【００４５】また請求項４に係る発明によれば、露光時
間の分割を、所定の条件を満たす最少の露光回数に等分
されるように構成しているので、、各回の撮像Ｓ／Ｎが
高くなり、また動き情報の検出に関する処理がより簡単
且つ確実になる。また請求項５に係る発明によれば、上
記所定値として撮影レンズの焦点距離及び撮像画枠によ
って定まる手ぶれ限界露出時間を用いるように構成して
いるので、請求項３又は４の発明に係るぶれ補正を長年
の経験則に裏打ちされた確実な条件の下に適用すること
ができ、ズームカメラ等においても常に最適な条件で像
ぶれのない画像を得ることができる。また請求項６に係
る発明によれば、動き補償手段が機能する第１の撮像モ
ードと、これを機能させない第２の撮像モードとを選択
設定できるように構成しているので、撮影者は状況や目
的に応じて撮影機能を設定することができる。また請求
項７に係る発明によれば、撮像画像信号の生成に際し上
記複数の映像信号間の相対的な動きを補償した後に上記
複数の映像信号を加算するようにし、また結像画像をシ
フトさせる特殊な撮像ブロックを用いることなく通常の
撮像ブロックを使用するように構成しているので、装置
の形状・消費電力・コスト等の増加や結像性能の劣化が
生じない。さらに固定パターンノイズも低減した高画質
な長時間露光撮像が可能になる。また請求項８及び９に
係る発明によれば、請求項１及び２に係る発明と同様
に、ぶれ補正に際して結像画像をシフトさせる特殊な撮
像ブロックが不要で、装置の形状・消費電力・コスト等
の増加や結像性能の劣化を生じさせず、また別センサを
必要とせず像の動きに変化があった場合も誤補正のおそ
れがない精度の高いぶれ補正が可能となる。

【図面の簡単な説明】

【図１】本発明に係る撮像装置の実施の形態のディジタ
ルカメラの構成を示すブロック図である。

【符号の説明】

１レンズ系２レンズ駆動機構３露出制御機構４フィルタ系５ＣＣＤ撮像素子６ＣＣＤドライバ７プリプロセス回路８ディジタルプロセス回路８−１像ぶれ検出部８−２ぶれ補正部８−３撮影画像生成部９メモリカードインターフェース 10 メモリカード 11 ＬＣＤ画像表示系 12 システムコントローラ 12−１手ぶれ限界判断部 12−２露光回数・露光時間設定部 13 操作スイッチ系 14 操作表示系 15 ストロボ 16 レンズドライバ 17 露出制御ドライバ 18 ＥＥＰＲＯＭ

Claims

【特許請求の範囲】

【請求項１】撮像素子と、該撮像素子の出力に基づい
て映像信号を生成する映像信号生成手段と、前記撮像素
子における電荷蓄積時間を制御する蓄積時間制御手段
と、該蓄積時間制御手段を制御して複数回の連続した露
光を与えることにより得られた複数の映像信号を加算し
て一つの撮像画像信号を生成する撮像画像生成手段と、
前記撮像画像生成手段における撮像画像信号の生成に際
し前記複数の映像信号間の相対的な動きを補償した後に
前記複数の映像信号を加算するための動き補償手段と、
前記複数の映像信号に基づいて当該複数の映像信号間の
相対的な動き情報を検出する動き情報検出手段とを有
し、該動き情報検出手段の検出結果に基づいて前記動き
補償手段における補償処理を行なうように構成されてい
ることを特徴とする撮像装置。
【請求項２】撮像素子と、該撮像素子の出力に基づい
て映像信号を生成する映像信号生成手段と、前記撮像素
子における電荷蓄積時間を制御する蓄積時間制御手段
と、該蓄積時間制御手段を制御して複数回の連続した露
光を与えることにより得られた複数の映像信号を加算し
て一つの撮像画像信号を生成する撮像画像生成手段と、
前記複数の映像信号に基づいて当該複数の映像信号間の
相対的な動き情報を検出する動き情報検出手段と、前記
動き情報検出手段の検出結果に基づいて前記複数の映像
信号間の相対的な動きを補償するための動き補償手段と
を備え、前記画像生成手段は、前記動き補償手段により
動き補償された複数の映像信号を加算処理するように構
成されていることを特徴とする撮像装置。
【請求項３】所定値より長い露光時間が設定された場
合に、当該露光時間を各々が前記所定値以下である複数
の露光時間に分割すると共に、該分割された各露光時間
を前記複数回の連続した露光の各回の露光時間として設
定するぶれ補正静止画撮像制御手段を有していることを
特徴とする請求項１又は２に係る撮像装置。
【請求項４】前記複数回の連続した露光は、該露光の
各回の露光時間が前記制限条件を満たす条件下における
最少の露光回数に等分されて行われることを特徴とする
請求項３に係る撮像装置。
【請求項５】前記所定値は、撮影レンズの焦点距離及
び撮像画枠の大きさによって定まる手ぶれ限界露出時間
であることを特徴とする請求項３又は４に係る撮像装
置。
【請求項６】前記動き補償手段が機能する第１の撮像
モードと、これを機能させない第２の撮像モードとを選
択設定するモード設定手段を有していることを特徴とす
る請求項１〜５のいずれか１項に係る撮像装置。
【請求項７】当該撮像光学系の光軸に垂直な方向に関
しては互いに移動不可能に固定された撮像光学系及び撮
像素子と、該撮像素子の出力に基づいて映像信号を生成
する映像信号生成手段と、前記撮像素子における電荷蓄
積時間を制御する蓄積時間制御手段と、該蓄積時間制御
手段を制御して複数回の連続した露光を与えると共に得
られた複数の映像信号を加算して一つの撮像画像信号を
生成する撮像画像生成手段と、該撮像画像生成手段にお
ける撮像画像信号の生成に際し前記複数の映像信号間の
相対的な動きを補償した後に前記複数の映像信号を加算
するための動き補償手段とを有していることを特徴とす
る撮像装置。
【請求項８】設定された露光時間を複数に分割するこ
とにより１コマ当たりの電荷蓄積時間を設定する設定手
段と、前記１コマ当たりの電荷蓄積時間に得られた各映
像信号間の相対的な動き情報を検出する動き情報検出手
段と、前記動き情報検出手段からの出力に基づいて複数
コマの被写体像が一致するように前記各映像信号を演算
する演算手段と、前記演算結果に基づいて前記複数の映
像信号を加算して一つの撮像画像信号を生成する画像生
成手段とを含むことを特徴とする、一つの被写体に対し
て複数の連続したコマの映像信号を得ることが可能な撮
像装置。
【請求項９】設定された露光時間が手ぶれ限界露出時
間より長いか否かを判定する判定手段と、手ぶれ限界露
出時間より長いと判定された際に、前記露光時間を複数
の連続したコマの映像信号を得ることが可能な電荷蓄積
時間に設定する設定手段と、一つの被写体に対して得ら
れた複数の連続コマに対する各映像信号間の相対的なブ
レ量を検出するブレ検出手段と、前記検出されたブレ量
に基づいて、前記複数の連続したコマ間において各映像
信号間の被写体像に関連するベクトルを演算し、当該各
ベクトルに基づいて各映像信号のずらし量とその方向を
演算する演算手段と、前記演算結果に基づいて前記複数
の映像信号を加算して一つの撮像画像信号を生成する画
像生成手段とを含むことを特徴とする、一つの被写体に
対して複数の連続したコマの映像信号を得ることが可能
な撮像装置。