JP4323969B2

JP4323969B2 - 撮影装置

Info

Publication number: JP4323969B2
Application number: JP2004009849A
Authority: JP
Inventors: 晃一鷲巣
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-01-16
Filing date: 2004-01-16
Publication date: 2009-09-02
Anticipated expiration: 2024-01-16
Also published as: JP2005204185A

Description

本発明は、手振れを補正することで撮影画像の精度を向上させる撮影装置に関するものである。

現在のカメラは露出決定やピント合わせ等の撮影にとって重要な作業は全て自動化され、カメラ操作に未熟な人でも撮影失敗を起こす可能性は非常に少なくなっている。

また、最近では、カメラに加わる手振れを防ぐシステムも研究されており、撮影者の撮影ミスを誘発する要因は殆ど無くなってきている。

ここで、手振れを防ぐ防振システムについて簡単に説明する。

撮影時のカメラの手振れは、周波数として通常１Ｈｚないし１０Ｈｚの振動であるが、露光時点においてこのような手振れを起こしていても像振れの無い写真を撮影可能とするための基本的な考えとして、手振れによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させなければならない（光学防振システム）。

すなわち、カメラ振れが生じても像振れが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に手振れによる光軸変化を補正することが必要となる。

像振れの補正は、原理的には、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。そして、振動検出部からのカメラ振れの検出情報に基づき撮影光軸を偏心させる補正光学装置を駆動することにより像振れ補正が行われる。

一方、手振れが生じない程度の露光時間で複数回撮影をくり返し、これらの撮影により得られた画像に対して画像のズレを修正しながら合成して長い露光時間の撮影画像（合成画像）を得る方法がある（例えば、特許文献１）。
特許第３１１０７９７号

最近のデジタルカメラは、銀塩コンパクトカメラに比べて小さくなってきており、特にＶＧＡクラスの撮像素子を持つカメラは携帯電子機器（例えば、携帯電話）に内蔵されるほど小型になってきている。

このような中で、上述した光学防振システムをカメラに搭載しようとすると、振れ補正光学装置をよりいっそう小型化するか、振動検出部を小型化する必要がある。

しかし、振れ補正光学装置では、補正レンズを支持し、これを高精度に駆動してゆく必要があるために小型化には限度がある。また、現在使用されている振動検出部は、ほとんどが慣性力を利用するものなので、振動検出部を小型化すると検出感度が低下し、精度の良い振れ補正ができないという問題がある。

さらに、カメラに加わる振れとしては、所定の軸を中心とする角度振れと、カメラを平行に揺らすシフト振れがあり、角度ぶれは光学防振システムで補正可能であるがシフト振れ対策は困難である。特に、カメラが小型になるほどこのシフト振れは大きくなる傾向がある。

一方、別の防振システムとしては、ビデオカメラでの動画撮影に用いられているように撮像素子で画面の動きベクトルを検出し、その動きベクトルに合わせて画像の読み出し位置を変更することで振れのない動画を得る方法もある。

このような方法の場合には、上述した光学防振システムのような専用の振動検出部や補正レンズが不要となるため、製品全体を小型にできるメリットがある。

しかし、このビデオカメラの防振システムをデジタルカメラに簡単に適用することはできない。この理由を以下に説明する。

ビデオカメラにおける動きベクトルの抽出は画像を読み出すごとに行っており、例えば１秒に１５コマ画像を取り出すとすると、この取り出した各画像を比較して動きベクトルを検出している。

ところが、デジタルカメラで静止画を撮影する場合には、撮影被写体に対して１回の露光しか行わないため、ビデオカメラのように画像の比較を行って動きベクトルを検出することはできない。

このため、ビデオカメラの防振システムを単純にデジタルカメラに適応させることはできない。

一方、特許文献１に示すような防振方法においては、複数回撮影を繰り返すことから撮影時間が長期にわたることになる。このため、むやみにこの方法を使用すると被写体ぶれなどの失敗写真がかえって多くなる恐れがある。

更に、暗い被写体の露出を改善するためにはより多くの画像を取得し、それらを合成する必要があるために、演算負荷が大きくなるばかりではなく、複数の画像を記憶しておく容量が大きくなってしまう問題があった。

上記課題を解決するために、本発明は、画像を撮影する際に生じる画像のぶれを修正するぶれ修正手段と、照明手段を使用して撮影した第１の画像、及び前記照明手段を使用することなく前記第１の画像より長い露光時間で露光され、かつ露光時に生じるぶれが前記ぶれ修正手段によって修正される第２の画像を取得する撮影制御手段と、前記第２の画像と前記第１の画像を合成することで露出を補正する合成露出補正手段とを有する撮影装置とするものである。

また、本発明は、照明手段を使用して撮影した第１の画像、及び前記照明手段を使用することなく前記第１の画像より長い露光時間で露光された第２の画像を取得する撮影制御手段と、前記第１の画像と前記第２の画像を記録する記録手段と、前記第２の画像に生じている画像のぶれを修正した後に前記第２の画像と前記第１の画像を合成することで露出を補正するアプリケーションソフトウエアを有する機器に対して前記第１の画像と前記第２の画像を出力する出力手段とを有する撮影装置とするものである。

本発明によれば、画像をぶれ修正しようとする際の照明手段の発光による画像の劣化を防ぐことができる。

本発明を実施するための最良の形態は、後述する実施例１〜６に記載の通りである。

図１は、本発明の実施例１であるカメラ（撮影装置）の構成を示した図である。撮影レンズ１１から入射した光束（撮影光）は、絞り１３ａで光量制限された後に、シャッタ１２ａを通り撮像手段１９に結像する。撮像手段１９は、ＭＯＳやＣＣＤなどの半導体撮像素子からなる。

撮影レンズ１１は複数の光学レンズ群により構成され、これらのレンズ群のうちの一部又は全部がＡＦ駆動モータ１４ａからの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４ａは焦点駆動手段１４ｂからの駆動信号を受けることで動作する。

また、撮影レンズ１１のうちの一部の光学レンズ群は、ズーム駆動モータ１５ａからの駆動力を受けて光軸１０上を移動し、所定のズーム位置に停止することで撮影画角を変更する。ズーム駆動モータ１５ａは、ズーム駆動手段１５ｂからの駆動信号を受けることで動作する。

絞り１３ａは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動手段１３ｂからの駆動力を受けることで作動して光通過口となる開口面積（絞り口径）を変化させる。シャッタ１２ａは、複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動手段１２ａからの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像手段１９に入射する光束を制御する。

また、撮影時の条件（被写体輝度等）などに応じてストロボ１６ａは閃光駆動手段１６ｂからの駆動信号を受けて動作（発光）する。

さらに、撮影動作を撮影者に知らせるためにスピーカー１７ａが発音駆動手段１７ｂからの駆動信号を受けて動作（発音）する。

焦点駆動手段１４ｂ、ズーム駆動手段１５ｂ、絞り駆動手段１３ｂ、シャッタ駆動手段１２ｂ、閃光駆動手段１６ｂ、発音駆動手段１７ｂの各動作は、撮影制御手段１８により制御されている。

撮影制御手段１８は、レリーズ操作手段１２ｃ、絞り操作手段１３ｃ、ズーム操作手段１５ｃ、閃光操作手段１６ｃ及び後述する防振操作手段１２１からの操作信号が入力されるようになっており、カメラの撮影状態に合わせて上記操作信号を各々焦点駆動手段１４ｂ、ズーム駆動手段１５ｂ、絞り駆動手段１３ｂ、シャッタ駆動手段１２ｂ、閃光駆動手段１６ｂに与えて撮影条件を設定し、撮影を行うようにしている。

なお、絞り１３ａの開口径やストロボ１６ａの発光は、通常は撮影時にカメラ側で自動的に設定するために、絞り操作手段１３ｃおよび閃光操作手段１６ｃは不要であるが、撮影者が任意に撮影条件を設定する時のために設けられている。

撮影制御手段１８は、後述する信号処理手段１１１に取り込まれた画像信号に基づいて被写体輝度の測定（測光）を行い、この測光結果に基づいて絞り１３ａの絞り口径とシャッタ１２ａの閉じタイミング（露光時間）を定めている。また、撮影制御手段１８は、焦点駆動手段１４ｂを駆動させながら、信号処理手段１１１からの出力に基づいて撮影レンズ１１の合焦位置を求めている。

撮像手段１９から出力される映像信号は、Ａ／Ｄ変換手段１１０によりデジタル信号に変換されて信号処理手段１１１に入力される。信号処理手段１１１は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成する。

そして、信号処理手段１１１で信号処理された映像信号は、信号切換手段１１２を介して画像補正手段１１８に入力される。画像補正手段１１８では、入力された信号のガンマ補正や圧縮処理を行う。画像補正手段１１８の信号は、表示手段１２０と記録手段１１９に入力され、撮影された画像が表示手段１２０に表示されるとともに、記録手段１１９に記録される。

以上説明した動作において本実施例の防振システムは以下の２種類が用意されている。
１．適正露光で撮影し、画像に生じたぶれを画像処理で修正する。
２．適正より短い、手振れの生じにくい露光時間で複数枚連写撮影し、それら画像間のぶれを揃えて合成することで適正露出を得る。

ここで２種類の防振システムが用意されている理由を説明する。

１の防振システムは撮影されたぶれ量と方向を画像の中の点像の軌跡により検出し、その量と方向と逆特性関係にある補正関数を用いて画像演算処理して画像を復元する方法である。

基本的な原理は古くから提案されており、例えば特開昭６２−１２７９２６号公報に開示されているように、撮影画像からぶれ量を認識して、そのぶれの方向を直線近似して、その逆関数でぶれの無い画像を復元する。

しかし、この方式の問題は、ぶれが大きいときや露光中に交番的なぶれ（複雑なぶれ方向になる）が生じた場合にはうまく修正できない点である。

又、ストロボなどの２次光源を併用している場合には画像の中にぶれのある領域とぶれの抑えられた領域が共存するので、ぶれの修正ができないことも問題である。

後者について図２を用いて補足説明する。

図２（ａ）の画像はストロボ１６ａで主要被写体を照射すると共に、スローシンクロ撮影により撮影時間も長くして背景の露出改善を図った画像である。

ここで主要被写体１２４はストロボ１６ａの露出調節（ＦＡ）により適正露出になっており、背景に関しても撮影時間を長くしたために露出の適正化が図れている。
しかし、撮影時間が長いために手振れによる画像劣化が生じている。この画像劣化は主要被写体１２４においてはストロボ１６ａの照射時間だけ多く露光されることにより背景とは異なる劣化像になる。

ここで背景の点像（ここでは建物の窓のエッジ）の軌跡を元にぶれの量と方向を求め、それにより画像を修正することを考える。

補正画像は図２（ｂ）に示すように背景に関してはぶれを修正することができる。しかし、主要被写体１２４に関してはもともと強く露光されているストロボ発光時間中にはぶれが無いので、画像を修正すると逆に画像の劣化が大きくなってしまう。

勿論ストロボ１６ａの照射している領域とそうでない領域を切り分け、ストロボ照射領域はぶれ修正しない構成にすれば上記問題は生じないが、そのように画像を領域ごとに分けて処理することは演算負荷が大きく、且つ修正された画像が不自然になってしまう。そのために複数の画像を位置合わせ合成する防振システムも併用している。

本実施例の２種類の防振システムの使い分けを以下に簡単に説明する。
１．ストロボ１６ａを用いて撮影する場合には２枚の画像を取得する。
２．第１の画像の時はストロボ１６ａを発光させると共に手振れが生じない短い露光時間で撮影する（図３（ａ））。これによりストロボ１６ａの照射範囲にある主要被写体に関してはストロボ１６ａの光量調節で適正露出が得られるが、ストロボ１６ａの届かない背景に関しては露出不足になっている。
３．第２の画像はストロボを用いないで適正露出となる撮影時間（正確には第１の画像の撮影時間を差し引いた時間）で撮影する（図３（ｂ））。
４．第２の画像を画像内の情報によりぶれ軌跡を抽出してぶれ修正を行うことでぶれの無い画像を復元する。
５．第１の画像と第２の画像を各々の特徴点が揃うように位置調整して２枚の画像間のぶれを補正して合成する（図３（ｃ））。

尚、上述したようにぶれが大きい場合や、露光中のぶれが交番的な場合にはぶれの修正が良好に行えない。

そのためにぶれの特性によってはぶれ修正は行わずに、手振れの生じないような短い撮影時間で撮影を行うようにしている。

ここでもいくつかの方法があり、
・撮像手段１９のゲインを上げて撮影する
・撮影後に画像のゲインアップを行う
・複数の画像を位置合わせ合成して露出補完する
これらの方法を適宜選択して撮影することで失敗の無い写真を得ることができる。

図１に戻って、撮影被写体が暗く、露光秒時が長くなる場合には手振れの恐れが有るので、撮影者は防振操作手段１２１を操作して防振システムをオンにする。

まず、撮影者がレリーズ操作手段１２ｃのレリーズボタンを半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光値に基づいてシャッタ１２ａの閉じタイミング（露光時間）と絞り１３ａの絞り口径を設定するが、一般的に防振システムを使用するような撮影条件では被写体が暗いので絞りは全開、露光時間は長秒時露光になっている。

ここで振動検出手段１２２の出力が撮影制御手段１８に入力される。

振動検出手段１２２は手振れの概略の大きさと周波数を検出すればよいので、圧電式や静電式の半導体加速度計のように小型で安い加速度センサでよい。

撮影に先立った振動検出手段１２２の信号に基づいて撮影制御手段１８は手振れの大きさが所定より大きい場合（例えば１０ｍＧ）や手振れの主要周波数が高い（例えば露光時間が１／４秒の時は８Ｈｚ、露光時間が１／２秒のときは４Ｈｚ以上）時はぶれ修正が良好に行えないと判断する。

そしてその場合には表示手段１２０にぶれ修正がうまく行えない可能性があることを表示する。

さらに表示手段１２０はその後の撮影をどのように処理するかを撮影者に尋ねる。

即ち、ぶれ修正が出来ない状態でもその露光時間で撮影するか、或いは露光時間を短くして撮影するか、更に露光時間の短い複数画像を位置合わせ合成するかの選択を提示する。

撮影者はその中で好みの選択を行い、撮影を継続する。

ここでぶれ修正ができなくても露光時間そのままで撮影することを選択した場合には撮影者はカメラを固定物などに押し当てて固定することで手振れを防ぐ。

また、撮影時間を短くした撮影を選択した場合には撮影時に撮像手段１９のゲインアップを行うなどの処理をカメラが自動的に行い、露出の適正化を図る。

露出時間の短い複数の画像を合成する場合について以下に説明する。

前述したように撮影準備動作（焦点調節動作や測光動作等）により得られた測光値に基づいて露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す設定にする。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像には手振れの影響が少ない画像となる。そして、複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する。

しかし、複数の画像を撮影するとき、複数の撮影により得られた各画像においては手振れの影響が生じていなくても、連続撮影中の手振れにより各画像間における構図は微妙にずれている場合がある。ここで、これらの画像をこのまま合成すると、合成された画像は各画像における構図がずれ分だけぶれた画像になってしまう。

本実施例において、連続撮影に応じて撮像手段１９から撮影ごとに複数出力される画像信号は、Ａ／Ｄ変換手段１１０でデジタル信号に変換されてから信号処理手段１１１にて信号処理が施される。

一方、防振操作手段１２１を操作して防振システムがオンになっており、且つ複数画像の合成による露出補完を選択しているので、信号処理手段１１１からの画像データは信号切換手段１１２を介して画像記憶手段１１４に入力される（ぶれ修正手段１１３には入力されない）。画像記憶手段１１４は、撮影された複数の画像すべてを記憶しておく。

ずれ検出手段１１５は、画像記憶手段１１４に記憶された画像内における特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。

例えば、図４に示すようにフレーム１２５ａにおいて人物１２４ａが建物１２６ａを背景にして立っている写真を撮影する場合を考える。このとき、複数枚撮影するとフレーム１２５ｂのように手振れによりフレーム１２５ａに対して構図がずれた画像が撮影されることがある。

ずれ検出手段１１５は、画面の周辺に位置する建物１２６ａのうち輝度の高い点である窓１２７ａのエッジ１２８ａをエッジ検出により特徴点として取り出し、この特徴点１２８ａと、フレーム１２５ｂにおける特徴点１２８ｂと比較し、この差分を補正（座標変換）する。

図４では、フレーム１２５ｂの特徴点１２８ｂを矢印１２９のようにフレーム１２５ａの特徴点１２８ａに重ねるようにして、フレーム１２５ｂを座標変換する。

ここで、特徴点として撮影画面の周辺を選択する理由を以下に説明する。

多くの撮影の場合では、画面中央近傍に主被写体が位置し、且つ主被写体は人物である場合が多い。このようなとき、主被写体を特徴点として選ぶと被写体振れによる不都合が出てくる。

すなわち、複数枚の撮影を行っているときに撮影者の手振ればかりでなく、被写体振れも重畳してくるので、被写体振れに基づいて画像の座標変換をしてしまう。

この場合、主被写体の構図が適正になるように座標変換するので好ましい画像ができるように思われるが、一般的には人物の動きは複雑であり、特徴点を選ぶ場所によってズレ検出精度が大きく左右される。

例えば、主被写体（人物）の眼を特徴点として選んだ場合は瞬きの影響が出るし、手の先を特徴点として選択した場合には手は動きやすいので、実際の被写体全体の振れとは異なってしまう。

このように人物の１点を特徴点として画像の座標変換を行っても、その人物のすべてが適正に座標変換される訳ではないし、複数の画像を座標変換して合成する場合においても、各画像ごとに座標の位置がばらつき、好ましい画像は得られない。

そこで、本実施例のように背景のような静止被写体を特徴点として選択して、画像の座標変換を行ったほうが好ましい画像が得られる。この場合には、上述した被写体振れの影響が出てくる。

そこで、本実施例においては、複数回に分けた撮影コマの１枚にだけストロボ１６ａの光を被写体に照射するようにしている。

ここで、ストロボ１６ａを使用して撮影した画像をＳＴ画像、ストロボ１６ａを使用しないで撮影した複数の画像をＮＳＴ画像群とする。

このとき、ＳＴ画像とＮＳＴ画像群の間には、前述した構図ずれ以外にも以下の違いが有る。

それは、ＳＴ画像において閃光の届いた被写体領域の明るさは、ＮＳＴ画像群のうちの各画像における同じ領域の明るさとは異なるということである。

そして、ＳＴ画像において閃光の届いた被写体に対しては十分な露出が得られ、届かない背景は露出が不足することになる。これは、一般的に人物などの主被写体は、カメラの近くに位置しているために閃光が届き、背景はカメラから遠いために閃光が届かないからである。

そして、露出の不足している背景に対しては、ＮＳＴ画像群を、構図ずれを修正しながら合成することで補う。

図５は、ずれ検出手段１１５による特徴点の抽出領域の選択方法を示したものである。ストロボ１６ａを使用したＳＴ画像１３０と、ストロボ１６ａを使用しないＮＳＴ画像群（例として１つの画像１３１を示す）とを比較すると、人物１２４ａに関してＳＴ画像１３０ではストロボ光が届き、ＮＳＴ画像１３１では人物にストロボ光が照射されていないため人物が暗くなっている。

これに対して、ストロボ光の届かない背景では、建物の特徴点１２８ａの明るさの変化は、ＳＴ画像１３０およびＮＳＴ画像１３１間で変化が無い。

このように明るさの変化の無い背景領域は、ストロボ光が届かずに露出が不足するので、この領域を画像合成のポイントと考えて、この部分を特徴点の抽出領域にして構図ずれを補正する。

図５においては、上記のようにＳＴ画像１３０とＮＳＴ画像１３１で明るさの変化が無い画面周辺の建物１２６ａの中において、輝度の高い点である窓のエッジ１２８ａをエッジ検出により特徴点として取り出す。

そして、図４で説明したのと同様にＳＴ画像１３０における特徴点１２８ａと、ＮＳＴ画像１３１における特徴点１２８ｂと比較し、その差分を補正（座標変換）する。すなわち、座標変換手段１１６は、ＮＳＴ画像１３１の特徴点１２８ｂをＳＴ画像１３０の特徴点１２８ａに重ねるようにＮＳＴ画像１３１を座標変換する。

そして、ＮＳＴ画像群の中で２枚目以降の画像１３１についても各々特徴点１２８ｂの座標を求め、その座標がＳＴ画像１３０で定めた特徴点１２８ａの座標と重なるように座標変換手段１１６は各画像（第２の画像群）を座標変換してゆく。

ここでは、説明のために各画像ごとの特徴点座標を求めているが、実際にはＳＴ画像１３０とＮＳＴ画像群のうち１枚目の画像１３１を相関演算し、各々対応する画素の変化をずれ検出手段１１５が動きベクトルとして求め、特徴点の変化としている。

そして、ＮＳＴ画像群の２枚目に対しても画像１３０との相関演算で特徴点の変化を求め、以下同様にして各画像の特徴点の変化を求めてゆく。

なお、特徴点は１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。

ここで、特徴点の変化として上記最小値を利用するのは、画面周辺で選択された特徴点もそれ自身が移動する可能性があるため、もっとも移動しない特徴点を選ぶためである。

座標変換手段１１６で座標変換された各画像は、画像合成手段１１７に出力されて各画像が１枚の画像に合成される。

以上のようにストロボ１６ａを用いたＳＴ画像１３０を基準（中心）にして、その画像に重なるようにＮＳＴ画像群の各画像１３１を座標変換している。

ここで、ＳＴ画像１３０を基準にする理由を説明する。

図４のように構図のずれた２枚の写真を合成する場合、図６に示すように２枚の画像が重ならない領域１３２が生ずる。そこで、画像合成手段１１７は、領域１３２をカットして、２枚の画像が重なった領域のみについて拡散補完処理を行い、もとのフレームの大きさにする。

このため、ＮＳＴ画像群の各画像１３１は構図ずれの向きや大きさに応じて画面の周辺が削られてしまう。

ＳＴ画像１３０とＮＳＴ画像群の各画像１３１の中でもっとも画像情報が良好なのは、ストロボ１６ａを使用したＳＴ画像１３０である。

そこで、ＳＴ画像１３０の周辺を削らないようにするために、ＳＴ画像１３０を基準にしてその基準に対してＮＳＴ画像群の各画像１３１を重ねてゆくのが好ましい。

デジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズも多くなり見苦しい画像になってしまう。

しかし、本実施例のように多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。

別の考え方をすれば、例えばノイズを許容して撮像手段１９を高感度にして複数枚撮影し、これらを加算平均することで画像に含まれるランダムノイズを減少させているとも云える。

合成された画像データは、画像補正手段１１８に入力されてガンマ補正や圧縮処理が行われ、その後表示手段１２０に撮影画像として表示されるとともに記録手段１１９に記録される。

図７は、本実施例のカメラの撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。

ステップ♯１００１では、撮影者がレリーズボタンの半押し操作によりスイッチｓｗ１がオンになるまで待機し、スイッチｓｗ１がオンになるとステップ♯１００２に進む。

ステップ♯１００２では、撮像手段１９において撮像が行われる。撮影制御手段１８は、信号処理手段１１１からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。

そして、もっともコントラストが高かった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（山登り方式によるＡＦ）。なお、位相差検出により焦点調節を行うこともできる。

また、撮影制御手段１８は、同時に撮像手段１９の出力に基づいて被写界の明るさを求める。

ここで被写界としては画面の主要被写体、およびその周辺を分けて測光しており、それらの測光結果から画面全体における最適な露光値を演算している。

更にステップ＃１００２では撮像した画像をカメラの外部液晶モニターなど（表示手段１２０）に表示する。

ステップ♯１００３では、撮影者が防振操作手段１２１をオンにしているか否かを判別し、オンにしているときはステップ♯１００４に進み、オフの時はステップ♯１０４０に進む。

先ず始めに、防振操作手段１２１をオンにしている場合に行われるフローについて説明する。

ステップ♯１００４ではカメラに搭載されている加速度センサなどの振動検出手段１２２の出力を観察し、その出力が異常の場合、即ち前述した加速度センサの出力が所定より大きく（例えば１０ｍＧ以上）、手振れが大きい場合や手振れの主要周波数が高い（例えばステップ１００２の測光により求まる露光時間が１／４秒の時は８Ｈｚ、露光時間が１／２秒のときは４Ｈｚ以上）場合は、ぶれ修正が良好に行えないので、ぶれ修正による防振を行わず、他の防振方法を選択する（ステップ＃１０２５に進む）。

そして振動検出手段１２２の出力が所定範囲の場合（ぶれがさほど大きくなく、その周波数も露光時間に比較して低い時）はステップ＃１００５に進む。

ステップ＃１００５ではストロボ１６ａを使用した撮影設定か否かを判定し、ストロボ１６ａを使わない場合にはステップ＃１００６に進み、ストロボ１６ａを使用した撮影設定の場合にはステップ＃１０１５に進む。

これは図２で説明したようにストロボ１６ａを使用して撮影して得られた画像をそのままぶれ修正するとストロボ１６ａが照射されている領域の画像劣化が生じるためである。

先にストロボ１６ａを用いない場合を説明する。

ステップ＃１００６ではレリーズボタンを押し切って撮影の指示がなされる（スイッチｓｗ２のオン）までステップ＃１００１からステップ＃１００５を循環して待機する。
ステップ＃１００７では撮影を開始する。
又、この時同時に撮影開始の発音を発音駆動手段１７ｂを介してスピーカー１７ａで行わせる。

この音は例えばピッ！と云う電子音でも良いし、フィルムカメラなどにおけるシャッタの開き音、ミラーアップの音でも良い。

ステップ＃１００８では撮影が完了するまで待機すると共に、撮影が完了した時点で撮影画像を一旦画像記憶手段１１４に記憶しておく。

ステップ＃１００９では撮影完了の発音を発音駆動手段１７ｂを介してスピーカー１７ａで行わせる。

この音は例えばピッピッ！と云う電子音でも良いし、フィルムカメラなどにおけるシャッタの閉じ音、ミラーダウン音やフィルム巻き上げ音でも良い。

ステップ＃１０１０では画像記憶手段１１４に記憶された撮影画像のぶれ修正を行う。

これは前述したように画像の輝点などからぶれの軌跡を求め、簡単な式に近似するステップと、近似した式の逆関数を画像全体に与えることでぶれの無い画像を復元するステップとで構成されており、このステップ＃１０１０を通すことで画像のぶれが修正される。修正された画像は再び画像記憶手段１１４に上書き記憶しておく。

ステップ＃１０１１では合成画像に対して信号のガンマ補正や圧縮処理を行う。

ステップ＃１０１２ではステップ＃１０１１で得られた画像をカメラ背面などに配置された外部液晶モニター（表示手段１２０）に表示する。

ステップ＃１０１３ではステップ＃１０１１で得られた画像を例えば半導体メモリなどのカメラに対して着脱可能な記録媒体（記録手段１１９）に記録する。

ステップ＃１０１４ではスタートに戻る。尚、ステップ＃１０１４の段階でまだ継続してレリーズボタンの半押し（スイッチｓｗ１のオン）操作が行われているときはそのままステップ＃１００１、＃１００２、＃１００３、＃１００４と再度フローを進めてゆくが、ステップ＃１０１４の段階でレリーズボタンの押し切り（スイッチｓｗ２のオン）が継続して操作されているときにはスタートに戻らずステップ＃１０１４で待機する。

次にステップ＃１００５でストロボ１６ａを使用する撮影設定の場合を説明する。その場合にはステップ＃１００５よりフローはステップ＃１０１５に進む。

ステップ＃１０１５ではレリーズボタンを押し切って撮影の指示がなされる（スイッチｓｗ２のオン）までステップ＃１００１からステップ＃１０１５を循環して待機する。
ステップ＃１０１６では撮影を開始する。

又、この時同時に撮影開始の発音を発音駆動手段１７ｂを介してスピーカー１７ａで行わせる。

ステップ＃１０１７ではストロボを使用した第１の画像の撮影を行う。このときの露光時間はカメラの焦点距離で決まる手振れ限界より短い露光時間に設定され、得られた画像には手振れの影響が生じないようにしている。そのため、一般的にはストロボ１６ａが適正照射された主要被写体以外の背景（ストロボ１６ａが十分照射されない領域）は露出不足になっている。

ステップ＃１０１７では撮影が完了するまで待機すると共に、撮影が完了した時点で撮影画像を一旦画像記憶手段１１４に記憶しておく。

ステップ＃１０１８ではストロボを使用しない第２の画像の撮影を行う。このときの露光時間は第１の画像で露光不足になっていた背景などの領域の露出が適正になるように設定される（第１の画像での露光を補完する露光時間が設定される）。そのため、一般的には長秒時露光になり、背景の露出は改善するが手振れが目立つ画像となる。

ステップ＃１０１８では撮影が完了するまで待機すると共に、撮影が完了した時点で撮影画像を一旦画像記憶手段１１４に記憶しておく。

ステップ＃１０１９では撮影完了の発音を発音駆動手段１７ｂを介してスピーカー１７ａで行わせる。

このように第２の画像の撮影が終了してから撮影終了の表示が行われるので撮影者は２枚の画像を連続撮影したことに気づかず、通常の撮影と同じ間隔で撮影を行える。

ステップ＃１０２０では画像記憶手段１１４に記憶された第２の画像のみぶれ修正を行う。

これは前述したように画像の輝点などからぶれの軌跡を求め、簡単な式に近似するステップと、近似した式の逆関数を画像全体に与えることでぶれの無い画像を復元するステップとで構成されており、このステップ＃１０２０を通すことで画像のぶれが修正される。修正された第２の画像は再び画像記憶手段１１４に上書き記憶される。

第１の画像のぶれ修正を行わないのは、露光時間が短く、手振れの影響が無い為である。

ステップ＃１０２１ではずれ検出手段１１５が画像の周辺領域（例えば図４の建物１２６ａ）の中から特徴的な像（例えば図４の窓のエッジ１２８ａなど）を抽出し、その像の座標を求める。

ステップ＃１０２２では座標変換手段１１６が第１の画像に対して第２の画像の座標変換を行う。

ここでは第１の画像の特徴点（例えばエッジ１２８ａ）に対してぶれ修正後の第２の画像の対応する特徴点（同１２８ｂ）の座標のずれを無くすように第２の画像の座標変換を行う。

ステップ＃１０２３では画像の合成を行う。ここで画像の合成は第１、第２の各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そしてノイズの減少した画像をゲインアップして露出の適正化を図る。

ステップ＃１０２４では合成された画像の端部の様に各画像が構図ずれにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完する。

その後ステップ＃１０１１に進み、ステップ＃１０１１では合成画像に対して信号のガンマ補正や圧縮処理を行う。

ステップ＃１０１２ではステップ＃１０１１で得られた画像をカメラ背面などに配置された外部液晶モニターなど（表示手段１２０）に表示する。

ステップ＃１０１４ではスタートに戻る。

次にステップ＃１００４で振動検出手段１２２の出力が通常状態ではない（手振れ量が大きいか、手振れ周波数が露光時間に対して高い）場合には、良好なぶれ修正が行えない恐れがあるためにステップ＃１０２５に進み、他の防振システムの選択を促す。

ステップ＃１０２５では手振れの生じない程度の露光時間の複数の画像を連写間のずれを補正しながら合成して露出を改善する合成ＩＳモード（合成防振モード）を使用するか否かを撮影者に選択して貰う（表示手段１２０にぶれ修正が機能しないこと、合成ＩＳモードを選択するか否かを表示する）。

ここで合成ＩＳモードを選択しない場合にはステップ＃１０３４に進み、合成ＩＳモードを選択した場合にはステップ＃１０２６に進む。

先ず合成ＩＳモードを選択した場合について説明する。

ステップ＃１０２６ではステップ＃１００２で求めた被写体の明るさ等の撮影条件から撮影する枚数と各々の露光時間を求める。

ここで云う撮影条件とは
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞りの値）
・撮像手段１９の感度
の４点である。

例えば撮像手段１９の感度がＩＳＯ２００に設定されていたとする。このとき被写体の明るさを測光し、それを適正に露光するためには絞り１３ａは全開（例えばｆ２．８）、シャッタ１２ａは露光時間１／８が必要である計算になったとする。

この場合、撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは１／８の撮影では手振れの恐れがあるので、手振れの恐れがない露光時間１／３２に設定し、４回撮影を行うように設定する。

又、撮影焦点距離が３００ｍｍであるときには手振れの恐れのない露光時間１／３２０に設定し、４０回撮影を行うように設定する。

このように複数枚撮影を行う時の露光時間を撮影条件に合わせて決定し、更に何枚撮影するかも撮影条件に合わせて設定する。

同一被写体を複数枚に分けて撮影するとしても、各撮影の露光条件はなるべく適正露光に近い方が撮像手段１９に正確な情報を撮像することができる。

そのために、暗い被写体の場合や、撮影レンズが絞り込まれている場合、撮像手段１９の感度が低く設定されている場合には、複数撮影といえども各撮影の露光時間はなるべく長くして有効な露光条件にする。但し、あまり露光時間を長くすると手振れによる劣化の影響が像面に表れるために、上述したように撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは手振れの恐れのない約焦点距離分の一である露光時間１／３２に設定している。そしてその露光時間では足りない分を撮影枚数で補完している。

焦点距離が長い場合には更に露光時間を短くしないと、手振れによる像劣化が生ずるので、更に露光時間を短くして、その分撮影枚数を増やして露出補完を行う。

このように複数枚撮影における露光時間は、撮影被写体が暗いほど、又撮影レンズが暗いほど長くなり、撮像素子の感度が低いほど長くなり、レンズの焦点距離が長いほど短くなる。

そして、複数枚撮影における撮影枚数は、撮影被写体が暗いほど、又撮影レンズが暗いほど多くなり、撮像手段１９の感度が低いほど多くなり、レンズの焦点距離が長いほど多くなる。

以上の計算が終了した後でカメラのファインダや外部液晶モニターなど（表示手段１２０）に防振モード（複数回撮影モード）が設定されたことを表示すると同時に、求めた撮影枚数を表示して撮影者に知らせる。

ステップ＃１０２７ではレリーズボタンを押し切って撮影の指示がなされる（スイッチｓｗ２のオン）までステップ＃１００１からステップ＃１０２７を循環して待機する。

ステップ＃１０２８では１枚目の撮影を開始する。

尚、ステップ＃１０２８からステップ＃１０２４までは短い露光時間の撮影を複数回繰り返し、それを合成してみかけの露出を適正にする合成撮影モードの動作である。

ここでこのステップに記載されているように始めの１枚目の撮影は前述ＳＴ画像を得るためにストロボ１６ａを閃光させて撮影する。（勿論ストロボ撮影設定でないときにはストロボ１６ａは発光されない）
ステップ＃１０２９ではすべての撮影が完了するまでステップ＃１０２８、＃１０２９を循環して待機すると共に撮影が完了した画像に関しては一旦画像記憶手段１１４に記憶しておく。

この循環で撮影を繰り返している時、２枚目以降の撮影はＮＳＴ画像群を得るためにストロボ１６ａを使用しないで撮影する。そして撮影が完了するとステップ＃１０３０に進む。

ステップ＃１０３０では撮影完了の発音を発音駆動手段１７ｂを介してスピーカー１７ａで行わせる。

このように複数枚撮影する場合においてもその動作を表す発音は１セット（最初の撮影の露光開始から最後の撮影の露光完了までに１回）なので、撮影者に複数枚撮影の違和感を与える事はない。

ステップ＃１０３１ではずれ検出手段１１５が画像の周辺領域の中から特徴的な像を抽出し（例えば図４の建物１２６ａの窓のエッジ１２８ａ）、その像の座標を求める。

これはＳＴ画像とＮＳＴ画像群の画像各々をそれぞれ比較して明るさの異なる領域（即ちストロボ１６ａの閃光が十分被写体を照射した領域）以外の領域（即ちストロボ１６ａの閃光が被写体を十分照射していない領域）から特徴点を抽出しその座標を求めることである。

ステップ＃１０３２では座標変換手段１１６が各画像の座標変換を行うが、最初の１枚の画像（ストロボ１６ａを用いたＳＴ画像）のみ座標の変換は行わない（この画像を座標変換の基準位置とする）。

ステップ＃１０３３ではすべての画像が座標変換終了するまでステップ＃１０３１、＃１０３２を循環して待機し、すべての画像の座標変換が完了するとステップ＃１０２３に進む。

ステップ＃１０２３では画像の合成を行う。ここで画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そしてノイズの減少した画像をゲインアップして露出の適正化を図る。

ステップ＃１０２４では合成された画像の端部のように各画像が構図ずれにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完する。

ステップ＃１０１３ではステップ＃１０１１で得られた画像を例えば半導体メモリなどでカメラに対して着脱可能な記録媒体（記録手段１１９）に記録する。

ステップ＃１０１４ではスタートに戻る。

次にステップ＃１０２５で撮影者が合成ＩＳモードを選択しない場合について説明する。ステップ＃１０２５で撮影者が合成ＩＳモードを選択しない場合にはステップ＃１０３４に進む。

ステップ＃１０３４でも２つの選択肢を設けている。

第１は手振れの影響を抑えるために露光時間を短くして撮影し、その分撮像手段１９のゲインをアップして露出の補完を図る方法である。

第２は手振れの影響に関係なく、このままの撮像手段１９のゲイン、露光時間で撮影を続行する方法である。

第１の方法では手振れの影響は少なくなるが撮像手段１９のゲインアップを行った分ノイズはふえる。

第２の方法ではノイズが増えることは無いが露光時間が短くないので手振れの影響が出易く、撮影者は壁や手すりなどの固定物にカメラを押し付けて固定した状態で撮影を行う必要がある。いずれも一長一短があるので撮影状況にあわせて撮影者が選択できるようにしている。

先ず始めに露光時間の短い設定（第１の方法）を選択した場合を説明する。この場合ステップ＃１０３５では露光時間を短くする。この露光時間はカメラの焦点距離で決まる手振れ限界（一般に焦点距離分の１と云われている）に設定され、それによる露出不足を補完するために撮像手段１９の撮像ゲインをアップさせる。

撮像手段１９のゲインアップだけでは適正露出が得られない場合には合成ＩＳモードを選択するように表示手段１２０に警告を行う。

ステップ＃１０３６ではレリーズボタンを押し切って撮影の指示がなされる（スイッチｓｗ２のオン）までステップ＃１００１からステップ＃１０３６を循環して待機する。

ステップ＃１０３７では撮影を開始する。

ステップ＃１０３８では撮影が完了するまで待機すると共に、撮影が完了した時点で撮影画像を一旦画像記憶手段１１４に記憶しておく。

ステップ＃１０３９では撮影完了の発音を発音駆動手段１７ｂを介してスピーカー１７ａで行わせる。

ステップ＃１０１４ではスタートに戻る。

次に露光時間を短く設定しない（第２の方法）を選択した場合を説明する。この場合ステップ＃１０３４からステップ＃１０３６にフローが進み、ステップ＃１０３５はスキップされるために露光時間を短く設定し、撮像手段１９のゲインアップを行う動作は無い。
但し、カメラの焦点距離で決まる手振れ限界（一般に焦点距離分の１と云われている）に比べて露光時間が相当長く設定さる場合には合成ＩＳモードを選択するように表示手段１２０に警告を行う。

ステップ＃１０３６ではレリーズボタンを押し切って撮影の指示がなされる（スイッチｓｗ２のオン）までステップ＃１００１からステップ＃１０３６を循環して待機する。
ステップ＃１０３７では撮影を開始する。

ステップ＃１０１４ではスタートに戻る。

次にステップ＃１００３で防振操作手段１２１がオフの場合について説明する。このときステップ＃１００３からステップ＃１０４０にフローが流れる。

ステップ＃１０４０では防振システムを使用しないと手振れによる画像劣化が生ずる撮影条件であるか否かを判断している。

撮影条件は前述したように被写体の明るさ、レンズの明るさ、撮像感度、撮影焦点距離であり、被写体の明るさ、レンズの明るさ、撮像感度に基づいて露光時間を求め、その露光時間が現状の撮影焦点距離においては手振れによる画像劣化の可能性があるか否かをステップ＃１０４０で判断している。

そして画像劣化の可能性がある時にはステップ＃１０４１に進み、そうでない時はステップ＃１０４２に進む。

ステップ＃１０４１ではカメラのファインダや液晶表示（表示手段１２０）に防振モードに設定することを推奨する表示を行う。

ステップ＃１０４２ではレリーズボタンを押し切って撮影の指示がなされる（スイッチｓｗ２のオン）までステップ＃１００１からステップ＃１０４２を循環して待機する。

ステップ＃１０４３では撮影を開始する。

ステップ＃１０４４では撮影が完了するまで待機すると共に、撮影が完了した時点で撮影画像を一旦画像記憶手段１１４に記憶しておく。

ステップ＃１０４５では撮影完了の発音を発音駆動手段１７ｂを介してスピーカー１７ａで行わせる。

ステップ＃１０１４ではスタートに戻る。

以上のように基本はぶれ修正を行うことで画像の劣化を抑える防振システムでありながら、ぶれ修正が良好に行えないような撮影条件では他の手段でぶれを抑えており、その撮影条件と対策を箇条書きにすると、下記のようになる。
１．ぶれの量がさほど大きくなく、その周波数も低い時で、しかもストロボ１６ａを用いない撮影条件の時。
→撮影した画像をぶれ修正。
２．ぶれの量がさほど大きくなく、その周波数も低い時で、しかもストロボ１６ａを用いる撮影条件の時。
→露光時間の短いストロボあり画像（第１の画像）と露光時間の長いストロボなし画像（第２の画像）を連写し、第２の画像をぶれ修正した後に、第１の画像と座標を揃えて（連写間のずれを揃えて）合成。
３．ぶれの量が大きいか、或いはその周波数が高い時で、しかも合成ＩＳモードを選択している時。
→一枚のシーンを露光時間の短い複数画像に分けて連写し、それらの座標を揃えて（連写間のずれを揃えて）合成。ストロボ使用時には始めの１枚だけストロボを発光させる。
４．ぶれの量が大きいか、或いはその周波数が高い時で、しかも合成ＩＳモードを選択せず、短い露光時間の撮影を選択している時。
→露光時間を短く設定し、露出を補完するために撮像手段のゲインアップを行い、撮影。
５．ぶれの量が大きいか、或いはその周波数が高い時で、しかも合成ＩＳモードを選択せず、適正露光時間の撮影を選択している時、又は防振操作手段オフの時。
→通常撮影。

このように手振れに対する対策を何重にも分けて設定しているので、ぶれによる画像劣化が生じにくく、且つメモリ容量などの負荷を軽くすることができている。

このように閃光手段（ストロボ１６ａ）を発光して撮影した第１の画像と、第１の画像に比較して長い露光時間で撮影した閃光手段（ストロボ１６ａ）を発光しない第２の画像を順次取得する撮影制御手段１８（図７ステップ＃１０１６〜＃１０１９）と、第２の画像に生じているぶれを修正するぶれ修正手段１１３（図７ステップ＃１０２０）と、ぶれ修正手段１１３でぶれ修正された第２の画像と第１の画像の画像間のずれを揃えて（ずれ検出手段１１５、座標変換手段１１６）（図７ステップ＃１０２１、＃１０２２）合成することで露出を補正する合成露出補正手段（画像合成手段１１７）（（図７ステップ＃１０２３）を設けている。

このように第２の画像は長秒時撮影の為に適正露光に近い露出が得られ、その撮影中の手振れはぶれ修正手段１１３（図７ステップ＃１０２０）で修正される。

そして閃光手段（ストロボ１６ａ）を発光して撮影され、閃光手段到達内の被写体が閃光手段により適正に露光された第１の画像と位置合わせ合成されることで一枚の良好な画像を得ることが出来る。

又、画像に生じるぶれについて撮影装置に加わるぶれの大きさやぶれの周波数に基づいて修正可否を判定する判定手段（撮影制御手段１８、振動検出手段１２２）（図７ステップ＃１００４）と、記憶される画像に生じるぶれを修正するぶれ修正手段１１３と、判定手段の判定結果に基づいて表示を行い（図７ステップ＃１０２５）、ぶれ修正ができないと判定された場合には適正露光時間より短い撮影露光時間で複数回撮影を行うと共に得られた複数枚の画像間のずれを揃えて合成することで見かけの露出を補正するようにしている（図７でステップ＃１０２５から＃１０３３にフローが流れた場合）。

このようにぶれ修正ができない撮影条件では露出を制御してぶれが大きくなることを防いでいると共に（上記露光時間の短い複数枚連写後の合成ばかりではなく、図７ステップ＃１０３５も含む）、複数枚の連写画像間のずれを揃えて合成することで露出の改善を図っている。

始めに実施例１との違いをまとめる。

得られた複数の画像はカメラ内で合成するのではなく、撮影後にパソコンなどの外部機器を利用して合成する。

これによりカメラの演算時間を減らし、シャッタチャンスを逃さないようにしていると共に、カメラ内部の演算負荷を減らし、手ごろな価格で高性能なカメラを提供することができる。

ぶれを修正する作業や複数の画像の特徴点を揃える作業及び合成する作業は上述したように本実施例ではカメラ内ではなく、撮影後にカメラ付属のアプリケーションソフトウエアを用いてパソコンなどで処理する。

このとき処理を簡単にするために以下の工夫を行っている。

撮影された画像は、半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体（記録手段１１９）に記録される訳であるが、この記録された画像の中には通常の撮影（防振モードでない撮影画像）及び防振モード撮影（ぶれを修正する方法、複数の画像を合成する方法）の画像が混在している。

それら画像の中からぶれを修正する画像や複数枚に分けて撮影した画像を選び出す作業は、記録されている画像の量が多くなると極めて面倒な作業である。

そこで本実施例２ではぶれを修正する画像や複数枚に分けて撮影した画像は記録手段１１９内で識別できるように記録している。

そしてカメラ付属のアプリケーションソフトウエアは上記識別を認識して、それらのみを抽出すると共に自動的に複数枚画像を位置合わせして合成する。

合成した画像は記録手段１１９に再度記録すると共に記録手段１１９に記録してある上記複数枚の画像は削除される。これにより記録手段１１９の記録容量に余裕が生まれる。

図８はパソコンとカメラの連携図であり、ノートパソコン２３にデジタルカメラ２１をＵＳＢケーブル２２などでケーブル接続してある図である。デジタルカメラ２１のケーブル接続端子が画像データの出力手段を構成する。

これによりデジタルカメラ２１は出力手段を経て画像データをノートパソコン２３とやり取りできる。

尚、ＵＳＢなどのケーブル接続ではなく、デジタルカメラ２１に内蔵される記録手段１１９をカメラ本体から取り外してノートパソコン２３などに設けられているスロット２４に差し込むことで画像データの制御を行っても良い。この場合、着脱可能な記録手段１１９自体が出力手段を構成する。

ノートパソコン２３には予め本実施例に係るアプリケーションソフトウエアがインストールされている。

このアプリケーションソフトウエアの動作を以下に述べる。
１．デジタルカメラ２１の記録手段１１９の記録画像の中からぶれ修正用および画像合成用に記録してある複数画像を識別して自動的にノートパソコン２３に取り込む（データを移動するので記録手段１１９内の合成用画像は削除される）。
２．ノートパソコン２３では取り込んだ画像のぶれを修正したり、連写間のずれを座標変換補正すると共にそれらを合成して露出の改善を行う。
３．合成された画像はガンマ補正や圧縮処理が行われ、更に合成時の各画像の端部欠損部を切り出し、画像サイズが小さくなった分を拡散補完する。
４．合成した画像を再び記録手段１１９に戻す。

以上に関して詳細を説明する。

図９に示すようにカメラ内の記録手段１１９のフォルダ２５中は４つのフォルダに分かれており、通常撮影した画像を格納する通常撮影フォルダ２６とストロボを発光させないで撮影したぶれ修正の必要な画像が格納されたぶれ修正画像フォルダ２７、ぶれが大きく（或いは高周波のぶれ）ぶれ修正が行えないときに複数の画像を位置あわせして合成する合成画像フォルダ２８、ストロボを発光させて撮影するので１枚目を露光時間を短く撮影し、２枚目をぶれ修正を行う前提で撮影し、それらを位置あわせして合成する修正合成フォルダ２９が設けられている。

通常撮影フォルダ２６にはその撮影順から第１画像２６ａ〜第１１画像２６ｅの画像が格納されている。

ここで撮影者の選択や撮影条件により撮影終了後にアプリケーションソフトウエアでぶれ修正や画像合成を行う画像がある場合には通常画像フォルダ２６ではその番号を空けておく（第３、第４、第７、第８、第９、第１０画像が通常画像フォルダ２６には無い）。

ぶれ修正画像フォルダ２７には撮影後にアプリケーションソフトウエアでぶれ修正を行う予定の第３画像２７ａ、第４画像２７ｂが格納されている。

これらの画像は実施例１と同様に、防振操作手段１２１がオンで、振動検出手段１２２の出力が安定している（手振れが大きくない、高周波でない）場合であり、且つストロボを使用しない条件で撮影した場合にこのぶれ修正画像フォルダ２７に格納される。

合成画像フォルダ２８には合成用に連写撮影された第７１画像２８ａ〜第８４画像２８ｈ（第７１画像２８ａ〜第７４画像２８ｄまででひとつの撮影シーン、第８１画像２８ｅ〜第８４画像２８ｈまでで次の撮影シーン）が格納されている。

修正合成画像フォルダ２９には撮影後にアプリケーションソフトウエアでぶれ修正を行うストロボを使用しない第２の画像（第９２画像２９ｂ、第１０２画像２９ｄ）と、それらに位置合わせ合成されるストロボを使用した第１の画像（第９１画像２９ａ、第１０１画像２９ｃ）が格納されている（第９１画像２９ａ、第９２画像２９ｂでひとつの撮影シーン、第１０１画像２９ｃ、第１０２画像２９ｄで次の撮影シーン）。

これらの画像は実施例１と同様に、防振操作手段１２１がオンで、振動検出手段１２２の出力が安定している（手振れが大きくない、高周波でない）場合であり、且つストロボを使用した条件で撮影した場合にこの修正合成画像フォルダ２９に格納される。

これらの画像が記録された記録手段１１９を有するデジタルカメラ２１がＵＳＢケーブル２２などでノートパソコン２３とケーブル接続されるか、或いはデジタルカメラ２１に内蔵される記録手段１１９をカメラ本体から取り外してノートパソコン２３などに設けられているスロット２４に差し込むと、ノートパソコン２３はこれら画像処理を必要とするフォルダ２７〜２９ごとノートパソコン２３にデータを移動する。

［ぶれ修正画像フォルダ２７に格納された画像データ］
アプリケーションソフトウエア内（ノートパソコン内）で第３画像２７ａのぶれ軌跡を点像の変化などで検出し、その軌跡の逆関数を与えて画像の復元を行う。第４画像２７ｂについても同様に画像の復元を行う。

処理済みの第３画像２７ａ、第４画像２７ｂは記録手段１１９の通常画像フォルダ２６に記録され、ぶれ修正フォルダ２７は消去される（図１０）。

［合成画像フォルダ２８に格納された画像データ］
連写撮影された第７１画像２８ａから第７４画像２８ｄに対して、各々の画像の位置合わせを行う。このとき基準となる画像はストロボ１６ａを使用して撮影した第７１画像２８ａである。位置合わせを行った各々の画像は合成処理されて露出補完が行われ（図７のステップ＃１０３１〜＃１０２４等と同じ）、ガンマ補正や圧縮処理がなされ、合成時の各画像の端部欠損部が切り出され、画像サイズが小さくなった分が拡散補完される。

同様にして、連写撮影された第８１画像２８ｅから第８４画像２８ｈに対しても、各々の画像の位置合わせを行う。このとき基準となる画像はストロボ１６ａを使用して撮影した第８１画像２８ｅである。位置合わせを行った各々の画像は合成処理されて露出補完が行われ、ガンマ補正や圧縮処理がなされ、合成時の各画像の端部欠損部が切り出され、画像サイズが小さくなった分が拡散補完される。

このようにして記録された画像はまとめて記録手段１１９内に設けられた通常画像フォルダ２６のそれぞれに撮影順番の位置に移動される（ノートパソコンには画像データは残らない）。

又、画像合成による合成ＩＳモードの場合には合成前の画像１枚も補正前画像フォルダ２１０（画像合成処理が行われた後に、記録手段１１９内に自動的に作成される）に記録される。この画像は、例えば複数枚連写した場合にはその一枚目の画像、或いはストロボ１６ａを使用して撮影した画像である。

図１０において補正前画像フォルダ２１０内には補正前の第７１画像２８ａ、第８１画像２８ｅも通常画像フォルダ２６に格納された合成後の第７画像２８ｉ、第８画像２８ｊと共に記録されることになり、撮影者は好みに応じていずれかを選択できるようになっている。

そして補正前フォルダ２１０に記録されなかった補正前画像（第７２画像２８ｂ〜第７４画像２８ｄおよび第８２画像２８ｆ〜第８４画像２８ｈ）は合成画像フォルダ２８ごと消去される。

［修正合成画像フォルダ２９に格納された画像データ］
このフォルダ２９に格納される画像データはぶれ修正が行われるものであり、且つストロボ１６ａを使用して撮影する条件の画像である。

ストロボ１６ａを使用しないで撮影した第９２画像２９ｂ、第１０２画像２９ｄに関してはぶれ修正を行う。アプリケーションソフトウエア内（ノートパソコン内）で第９２画像２９ｂの軌跡を点像の変化などで検出し、その軌跡の逆関数を与えて画像の復元を行う。第１０２画像２９ｄについても同様である。

連写撮影された第９１画像２９ａとぶれ修正した第９２画像２９ｂに対して、互いの画像の位置合わせが行われ、合成処理されて露出補完が行われ（図７のステップ＃１０２０〜＃１０２４等と同じ）、ガンマ補正や圧縮処理がなされ、合成時の各画像の端部欠損部が切り出され、画像サイズが小さくなった分が拡散補完される。

又、ストロボ１６ａを使用して撮影した画像に関しては補正前画像フォルダ２１０（修正合成処理が行われた後に、記録手段１１９内に自動的に作成される）に記録される。

図１０において補正前画像フォルダ２１０内には補正前の第９１画像２９ａ、第１０１画像２９ｅも通常画像フォルダ２６に格納された修正合成後の第９画像２９ｅ、第１０画像２９ｆと共に記録されることになり、撮影者は好みに応じていずれかを選択できるようになっている。

そして補正前フォルダ２１０に記録されなかった補正前画像（第９２画像２９ｂ、第１０２画像２９ｄ）は修正合成画像フォルダ２９ごと消去される。

図１１は、本実施例のカメラの撮影動作をまとめたフローチャートであり、図７と同じ機能のステップは同じステップ番号で示している。

このフローはカメラの電源がオンになったときにスタートする。

ここで被写界としては画面の主要被写体、およびその周辺を分けて測光しており、それらの測光結果から画面全体における最適な露光値を演算している。
更にステップ＃１００２では撮像した画像をカメラの外部液晶モニターなど（表示手段１２０）に表示する。

先ず始めに防振操作手段１２１をオンにしている場合に行われるフローについて説明する。

ステップ♯１００４ではカメラに搭載されている加速度センサなどの振動検出手段１２２の出力を観察し、その出力が異常の場合、即ち前述した加速度センサの出力が所定より大きく（例えば１０ｍＧ以上）手振れが大きい場合や手振れの主要周波数が高い（例えばステップ１００２の測光により求まる露光時間が１／４秒の時は８Ｈｚ、露光時間が１／２秒のときは４Ｈｚ以上）場合はぶれ修正が良好に行えないのでぶれ修正による防振を行わず、他の防振方法を選択する（ステップ＃１０２５に進む）。

これは図２で説明したようにストロボ１６ａを使用して撮影して得られた画像をそのままぶれ修正するとストロボ１６ａが照射されている領域の画像劣化が生じる為である。

先にストロボ１６ａを用いない場合を説明する。

ステップ＃１００６ではレリーズボタンを押し切って撮影の指示がなされる（スイッチｓｗ２のオン）までステップ＃１００１からステップ＃１００５を循環して待機する。

ステップ＃１００７では撮影を開始する。

ステップ＃２００１では画像記憶手段１１４に一時記憶された画像データを記録手段１１９に記録する。

図７のフローチャートと異なるのは画像補正（ステップ＃１０１１のガンマ補正や圧縮処理）を行う前の画像を記録する点である（例えばｒａｗ形式で記録）。

これは後でパソコン上で画像処理を行う時に画像劣化が生じないようにするためであり、出来るだけ画像の状態を変更しないで記録しておく。

尚、画像の容量が大きすぎる場合には画像データを可逆圧縮してから記録しても良い。

このとき画像は図９で示したぶれ修正画像フォルダ２７に記録される。

記録手段１１９にぶれ修正画像フォルダ２７が無い場合には、このステップでぶれ修正画像フォルダ２７を作成し、その中に得られた画像を格納する。

これは次のステップで画像を表示手段１２０に表示するためである。

ステップ＃１０１４ではスタートに戻る。

尚、ステップ＃１０１４の段階でまだ継続してレリーズボタンの半押し（スイッチｓｗ１のオン）操作が行われているときはそのままステップ＃１００１、＃１００２、＃１００３、＃１００４と再度フローを進めてゆくが、ステップ＃１０１４の段階でレリーズボタンの押し切り（スイッチｓｗ２のオン）が継続して操作されているときにはスタートに戻らず、ステップ＃１０１４で待機する。

次にステップ＃１００５でストロボ１６ａを使用する撮影設定の場合を説明する。

その場合にはステップ＃１００５よりフローはステップ＃１０１５に進む。
ステップ＃１０１５ではレリーズボタンを押し切って撮影の指示がなされる（スイッチｓｗ２のオン）までステップ＃１００１からステップ＃１０１５を循環して待機する。

ステップ＃１０１６では撮影を開始する。

ステップ＃１０１７ではストロボを使用した第１の画像の撮影を行う。

このときの露光時間はカメラの焦点距離で決まる手振れ限界より短い露光時間に設定され、得られた画像には手振れの影響が生じないようにしている。

そのため一般的にはストロボ１６ａが適正照射された主要被写体以外の背景（ストロボ１６ａが十分照射されない領域）は露出不足になっている。

ステップ＃１０１８ではストロボを使用しない第２の画像の撮影を行う。

このときの露光時間は第１の画像で露光不足になっていた背景などの領域の露出が適正になるように設定される（第１の画像での露光を補完する露光時間を設定する）。

そのため一般的には長時間露光になり、背景の露出は改善するが手振れが目立つ画像となる。

このように第２の画像の撮影が終了してから撮影終了の表示が行われるので、撮影者は２枚の画像を連続撮影したことに気づかず、通常の撮影と同じ間隔で撮影を行える。

ステップ＃２００２では画像記憶手段１１４に一時記憶された画像データを記録手段１１９に記録する。

図７のフローチャートと異なるのは画像補正（ステップ＃１０１１のガンマ補正や圧縮処理）を行う前の画像を記録する点である。

これは後でパソコン上で画像処理を行う時に画像劣化が生じないようにするためであり、出来るだけ画像の状態を変更しないで記録しておく（例えばｒａｗ形式で記録）。

このとき画像は図９で示した修正合成画像フォルダ２９に記憶される。

記録手段１１９に修正合成画像フォルダ２９が無い場合には、このステップで修正合成画像フォルダ２９を作成し、その中に得られた画像を格納する。

次にステップ＃１０１１に進み、ステップ＃１０１１では合成画像に対して信号のガンマ補正や圧縮処理を行う。

これは次のステップで画像を表示するためであり、表示する画像のみ画像補正処理を行う。

ステップ＃２００３ではステップ＃１０１１で得られた画像をカメラ背面などに配置された外部液晶モニターなど（表示手段１２０）に表示する。

このとき表示するのはステップ＃１０１７でストロボを使用して撮影した第１の画像だけである。

次にステップ＃１００４で振動検出手段１２２の出力が通常状態ではない（手振れ量が大きい、手振れ周波数が露光時間に対して高い）場合には良好なぶれ修正が行えない恐れがあるためにステップ＃１０２５に進み、他の防振システムの選択を促す。

ステップ＃１０２５では手振れの生じない程度の露光時間の複数の画像を連写間のずれを補正しながら合成して露出を改善する合成ＩＳモードを使用するか否かを撮影者に選択して貰う（表示手段１２０にぶれ修正が機能しないこと、合成ＩＳモードを選択するか否かを表示する）。

先ず合成ＩＳモードを選択した場合について説明する。

このとき撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは１／８の撮影では手振れの恐れがあるので、手振れの恐れがない露光時間１／３２に設定し、４回撮影を行うように設定する。

同一被写体を複数枚に分けて撮影するとしても、各撮影の露光条件はなるべく適正露光に近い方が撮像手段１９に正確な情報が撮像できる。

そのために暗い被写体の場合や、撮影レンズが絞り込まれている場合、撮像手段１９の感度が低く設定されている場合には、複数撮影といえども各撮影の露光時間はなるべく長くして有効な露光条件にする。

但し、あまり露光時間を長くすると手振れによる劣化の影響が像面に表れるために上述したように撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは手振れの恐れのない約焦点距離分の一である露光時間１／３２に設定している。そしてその露光時間では足りない分を撮影枚数で補完している。

焦点距離が長い場合には更に露光時間を短くしないと手ぶれによる像劣化が生ずるので更に露光時間を短くして、その分撮影枚数を増やして露出補完を行う。

このように複数枚撮影における露光時間は撮影被写体が暗いほど、又撮影レンズが暗いほど長くなり、撮像素子の感度が低いほど長くなり、レンズの焦点距離が長いほど短くなる。

そして、複数枚撮影における撮影枚数は撮影被写体が暗いほど、又撮影レンズが暗いほど多くなり、撮像手段１９の感度が低いほど多くなり、レンズの焦点距離が長いほど多くなる。

以上の計算が終了した後でカメラのファインダや外部液晶モニターなど（表示手段１２０）に防振モード（複数回撮影モード）が設定されたことを表示すると同時に、求めた撮影枚数を表示し、撮影者に知らせる。

ステップ＃１０２８では１枚目の撮影を開始する。

尚ステップ＃１０２８からステップ＃１０２４までは短い露光時間の撮影を複数回繰り返し、それを合成してみかけの露出を適正にする合成撮影モードの動作である。

ここでこのステップに記載されているように始めの１枚目の撮影は前述のＳＴ画像を得るためにストロボ１６ａを閃光させて撮影する（勿論ストロボ撮影設定でないときにはストロボ１６ａは発光されない）。

ステップ＃１０２９ではすべての撮影が完了するまでステップ＃１０２８、＃１０２９を循環して待機すると共に、撮影が完了した画像に関しては一旦画像記憶手段１１４に記憶しておく。

このように複数枚撮影する場合においてもその動作を表す発音は１セット（最初の撮影の露光開始から最後の撮影の露光完了までに１回）なので、撮影者に複数枚撮影の違和感を与えることはない。

ステップ＃２００４では画像記憶手段１１４に一時記憶された画像データを記録手段１１９に記録する。

このとき画像は図９で示した合成画像フォルダ２８に記憶される。
記録手段１１９に合成画像フォルダ２８が無い場合には、このステップで合成画像フォルダ２８を作成し、その中に得られた画像を格納する。

ステップ＃２００５ではステップ＃１０１１で得られた画像をカメラ背面などに配置された外部液晶モニターなど（表示手段１２０）に表示する。

このとき表示するのは上述して撮影された複数の画像の中で代表的な１枚だけである。

複数枚の画像の中でストロボ１６ａを使用して撮影したＳＴ画像とストロボ１６ａを使用しないで撮影したＮＳＴ画像が混在する（スローシンクロ撮影）の場合にはＳＴ画像を表示手段１２０に表示する。

複数枚の画像の中にストロボ１６ａを使用して撮影したＳＴ画像が無い場合には撮影した一番初めの画像を表示手段１２０に表示する。

このとき、この画像は手振れが生じない程度に露光時間を短くしているので露出がアンダーになっている。

そこで画像のゲインアップをおこなって合成後の露出補完された画像に近い状態にして表示を行う。

このようにゲインアップを行うとノイズが多くなってしまうが、カメラの背面にある表示手段１２０のように小型のモニターに表示する場合にはノイズは目立たない。

ステップ＃１０１４ではスタートに戻る。

次にステップ＃１０２５で撮影者が合成ＩＳモードを選択しない場合について説明する。

ステップ＃１０２５で撮影者が合成ＩＳモードを選択しない場合にはステップ＃１０３４に進む。

ステップ＃１０３４でも２つの選択肢を設けている。

第２の方法ではノイズが増えることは無いが露光時間が短くないので、手振れの影響が出易く、撮影者は壁や手すりなどの固定物にカメラを押し付けて固定した状態で撮影を行う必要がある。

いずれも一長一短があるので撮影状況にあわせて撮影者が選択できるようにしている。

先ず始めに露光時間の短い設定（第１の方法）を選択した場合を説明する。

この場合ステップ＃１０３５では露光時間を短くする。

この露光時間はカメラの焦点距離で決まる手振れ限界（一般に焦点距離分の１と云われている）に設定され、それによる露出不足を補完する為に撮像手段１９の撮像ゲインをアップさせる。

ステップ＃１０３７では撮影を開始する。

ステップ＃１０１４ではスタートに戻る。

次に露光時間を短く設定しない（第２の方法）を選択した場合を説明する。

この場合ステップ＃１０３４からステップ＃１０３６にフローが進み、ステップ＃１０３５はスキップされるために露光時間を短く設定し、撮像手段１９のゲインアップを行う動作は無い。

但し、カメラの焦点距離で決まる手振れ限界（一般に焦点距離分の１と云われている）に比べて露光時間が相当長く設定さる場合には合成ＩＳモードを選択するように表示手段１２０に警告を行う。

ステップ＃１０３６ではレリーズボタンを押し切って撮影の指示がなされるまでステップ＃１００１からステップ＃１０３６を循環して待機する。

ステップ＃１０３７では撮影を開始する。

又、この時同時に撮影開始の発音を発音駆動手段１７ｂを介してスピーカー１７ａで行われる。

ステップ＃１０３８では撮影が完了するまで待機すると共に、撮影が完了した時点で撮影画像を一旦画像記憶手段１１３に記憶しておく。

ステップ＃１０３９では撮影完了の発音を発音駆動手段１７ｂを介してスピーカー１７ａで発音する。

ステップ＃１０１４ではスタートに戻る。

次にステップ＃１００３で防振操作手段１２１がオフの場合について説明する。

このときステップ＃１００３からステップ＃１０４０にフローが流れる。

ステップ＃１０４１ではカメラのファインダや外部液晶モニターなど（表示手段１２０）に防振モードに設定することを推奨する表示を行う。

ステップ＃１０４２ではレリーズボタンを押し切って撮影の指示がなされるまでステップ＃１００１からステップ＃１０４２を循環して待機する。

ステップ＃１０４３では撮影を開始する。

即ち、通常撮影で後処理が不要な画像の場合にはガンマ補正や圧縮処理を行った後に画像を記録している。

ステップ＃１０１４ではスタートに戻る。

以上のようにして記録手段１１９に記録されたデータは前述した用にノートパソコン２３と接続された時点で各フォルダ（ぶれ修正フォルダ２７、合成画像フォルダ２８、修正合成フォルダ２９）毎に読み出され、画像処理されて再び記録手段１１９に記録される。

このとき記録される画像はガンマ補正や圧縮処理等の画像補正を行い、通常画像と同じ形式（例えばｊｐｇ形式）で記録される（勿論画像補正を行わないｒａｗ形式で記録しても良い）。

図１２はノートパソコン２３内での画像処理のフローであり、ノートパソコン２３が指定のデジタルカメラ２１或いはそのカメラに搭載されていた記録手段１１９と接続されたことを認識したときにスタートする。

尚、図７、図１１と同じ機能のステップは同じ番号で示す。

ステップ＃２００６では記録手段１１９のぶれ修正画像フォルダ２７、合成画像フォルダ２８、修正合成画像フォルダ２９をフォルダ毎ノートパソコン２３のメモリに移動する。

この時点で記録手段１１９のぶれ修正画像フォルダ２７、合成画像フォルダ２８、修正合成画像フォルダ２９は削除される。

勿論安全の為に記録手段１１９のぶれ修正画像フォルダ２７、合成画像フォルダ２８、修正合成画像フォルダ２９内のデータはノートパソコン２３に移動するだけではなくコピーをノートパソコン２３に作成しても良い。

ステップ＃２００７では移動したデータに合成画像フォルダ２８があるか否かを判定し、合成画像フォルダ２８がある場合にはステップ＃２００８に進み、そうでない時にはステップ＃２０１３に進む。

先ず、合成画像フォルダ２８がある場合について説明する。

ステップ＃２００８ではノートパソコン２３に新たに記録された複数枚の撮影画像を順次読み出す。

以降ステップ♯１０３１からステップ♯１０３３までは再撮影された画像（ノートパソコンに保存された画像）の特徴点を揃えて合成することでみかけの露出を適正にする電子的補正手段の動作である。

ステップ＃１０３１では各画像における特徴点を抽出する。

ステップ♯１０３２では、抽出した特徴点の座標に基づいて座標変換手段１１６が各画像の座標変換を行う。ここでストロボ１６ａを用いた画像のみは座標の変換は行わない。すなわち、ストロボ１６ａを用いた画像を座標変換の際の基準とする。

これは先幕シンクロ撮影時は一番初めの画像であり、後幕シンクロ撮影時は一番最後の画像になる。

ステップ♯１０２３では、一番初めの基準画像と座標変換された次の画像の合成を行う。

ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。

ステップ♯１０３３では、一つのシーン（例えば図９の第７１画像２８ａから第７４画像２８ｄ）のすべての画像について座標変換、合成が終了するまでステップ♯１０３１から＃１０３３を循環して待機し、１シーンの画像の座標変換が完了するとステップ♯１０２４に進む。

ステップ＃１０２４では合成時の各画像の端部欠損部を切り出し、画像サイズが小さくなった分を拡散補完する。

ステップ♯１０１１では画像データのガンマ補正や圧縮処理を行う。

ステップ＃２００９では出来上がった合成画像を記録手段１１９の通常撮影フォルダ２５の所定の場所にコピーする。

又、このときストロボを使用して撮影した画像（例えば第７１画像２８ａや第８１画像２８ｅ）は補正前画像フォルダ２１０（図１０）を作成しその中に格納しておく。

これにより、合成後の画像と補正前の画像を撮影者が任意に選択できるようになる。

ステップ＃２０１０ではノートパソコン２３に保存した合成画像フォルダ２８の画像がすべて処理完了したか否かを判定しており、処理が終わっていない場合（例えば図９の第８１画像２８ｅから第８４画像２８ｈが未処理）にはステップ＃２００８に戻り新たな画像の読出しを始める。

フォルダ内の全画像の処理を終了したならばステップ＃２０１１に進む。

ステップ＃２０１１ではノートパソコン２３に保存した処理が必要な画像のすべてが処理完了したか否かを判定しており、処理が終わっていない場合にはステップ＃２００７に戻り、すべて処理が完了した場合にはステップ＃２０１２に進む。

このようにしてすべての画像を処理し、記録手段１１９に記録終了すると、ステップ＃２０１２でノートパソコン２３は全処理完了の表示を行う。

又、この表示処理と同時にノートパソコン２３に保存した全画像を消去する。

ステップ＃２００７で合成画像フォルダ２８が無い場合にはステップ＃２０１３で修正合成画像フォルダ２９の有無を判定し、修正合成画像フォルダ２９がある場合にはステップ＃２００８に進む。

ステップ＃２００８ではノートパソコン２３に記録された複数枚の撮影画像を順次読み出す。

ステップ＃１０２０ではストロボ１６ａを使用しないで撮影した画像（第２の画像）に対してぶれ修正を行う。

このステップは、前述したように画像の輝点などからぶれの軌跡を求め、簡単な式に近似するステップと、近似した式の逆関数を画像全体に与えることでぶれの無い画像を復元するステップとで構成されており、このステップ＃１０２０を通すことで画像のぶれが修正される。

ステップ１０２１では各画像における特徴点を抽出する。

ステップ♯１０２２では、抽出した特徴点の座標に基づいてストロボ１６ａを用いない画像（第２の画像）がストロボ１６ａを用いて撮影した画像（第１の画像）に揃うように座標変換手段１１６が座標変換を行う。

ステップ♯１０２３では、第１の画像と座標変換された第２の画像合成を行う。

ステップ＃２００９では出来上がった合成画像を記録手段１１９の通常撮影フォルダ２６の所定の場所にコピーする。

又、このときストロボを使用して撮影した画像（例えば第９１画像２９ａや第１０１画像２９ｃ）は補正前画像フォルダ２１０（図１０）を作成し、その中に格納しておく。

ステップ＃２０１０ではノートパソコン２３に保存した修正合成画像フォルダ２９の画像がすべて処理完了したか否かを判定しており、処理が終わっていない場合（例えば図９の第１０１画像２９ｃ、第１０２画像２９ｄが未処理）にはステップ＃２００８に戻り、新たな画像の読出しを始める。

このようにしてすべての画像を処理し、記録手段１１９に記録終了するとステップ＃２０１２でノートパソコン２３は全処理完了の表示を行う。

ステップ＃２０１３で修正合成画像フォルダ２９が無い場合にはステップ＃２０１４に進み、ステップ＃２０１４ではぶれ修正画像フォルダ２７の有無を判定し、ぶれ修正画像フォルダ２７がある場合にはステップ＃２００８に進み、無い場合にはステップ＃２０１１に進む。

ステップ＃１０１０では読み出された画像に対してぶれ修正を行う。

このステップは、前述したように画像の輝点などからぶれの軌跡を求め、簡単な式に近似するステップと、近似した式の逆関数を画像全体に与えることでぶれの無い画像を復元するステップとで構成されており、このステップ＃１０１０を通すことで画像のぶれが修正される。

ステップ＃２０１０ではノートパソコン２３に保存した合成画像フォルダ２７の画像がすべて処理完了したか否かを判定しており、処理が終わっていない場合（例えば図９の第４画像２７ｂが未処理）にはステップ＃２００８に戻り、新たな画像の読出しを始める。

又、この表示処理と同時にノートパソコン２３に保存した全画像を消去する。以上によりこのフローは終了する。

尚、以上ではデジタルカメラ２１とノートパソコン２３を例にして説明を行ったが、ノートパソコン２３に限らず、デスクトップのパソコンや。パソコンでなくても専用のストレージや専用の処理装置を用意して、それとカメラを接続すること（或いはその装置に記録媒体１１９を入れること）で複数枚の画像の処理を行っても良いのは云うまでも無い。

以上説明したように実施例２においてはぶれ修正や画像合成をアプリケーションソフトウエアで行うようにしているので、カメラの負荷が軽くなり、カメラの小型化と共に手ごろな価格でカメラを提供できるようになる。

このように、閃光手段（ストロボ１６ａ）を発光して撮影した第１の画像と、第１の画像に比較して長い露光時間で撮影した閃光手段を発光しない第２の画像を順次取得する撮影制御手段１８を有する撮影機器と、第２の画像に生じているぶれを修正（図１２ステップ＃１０２０）した後に第１の画像と画像間のずれを揃えて合成すること（図１２ステップ＃１０２１〜＃１０２３）で露出を補正するアプリケーションソフトウエアで撮影装置を構成している。

このように第２の画像は長時間撮影のために適正露光に近い露出が得られ、その撮影中の手振れはアプリケーションソフトウエアのぶれ修正手段で修正される。

そして閃光手段を発光して撮影され、閃光手段到達内の被写体が閃光手段により適正に露光された第１の画像と位置合わせ合成されることで一枚の良好な画像を得ることができる。

また、画像に生じるぶれについて撮影装置に加わるぶれの大きさやぶれの周波数に基づいて修正可否を判定する判定手段（振動検出手段１２２、撮影制御手段１８）を有し、ぶれを修正するアプリケーションソフトウエア用の画像を撮影する撮影装置であって、判定手段の判定結果に基づいて表示を行い（図１１のステップ＃１０２５）、ぶれ修正ができないと判定された場合には機器を制御して適正露光時間より短い撮影露光時間で複数回撮影を行う構成であり（図１１のステップ＃１０２８、＃１０２９）、撮影した複数枚の画像はアプリケーションソフトウエアにより画像間のずれを揃えて合成する（図１２のステップ＃１０３１〜＃１０２４）ことで見かけの露出を補正するようにしている。

このようにぶれ修正ができない撮影条件では露出を制御してぶれが大きくなることを防いでいると共に、複数枚の連写画像間のずれを揃えて合成することで露出の改善を図っている。

図１３は本発明の実施例３のフローチャートであり、実施例１と異なるのはストロボ１６ａを用いて撮影を行う場合にはぶれ修正は禁止され、代わりに手振れが生じない程度の露光時間の短い複数枚の画像の位置合わせ合成して露出を改善するようにしている点である。

図１３のフローチャートにおいて、図７と同じ機能のステップは同じ部番で表す。

ステップ♯１００２では、撮像手段１９において撮像が行われる。また、撮影制御手段１８は、同時に撮像手段１９の出力に基づいて被写界の明るさを求める。更にステップ＃１００２では撮像した画像をカメラの外部液晶モニターなど（表示手段１２０）に表示する。

撮影者が防振操作手段１２１をオフにしている時は図７と同じフローになるので説明は省く。

防振操作手段１２１をオンにしている場合に行われるフローについて説明する。

ステップ♯１００４ではカメラに搭載されている加速度センサなどの振動検出手段１２２の出力を観察し、その出力が異常の場合、即ち前述した加速度センサの出力が所定より大きく（例えば１０ｍＧ以上）、手振れが大きい場合や手振れの主要周波数が高い（例えばステップ１００２の測光により求まる露光時間が１／４秒の時は８Ｈｚ、露光時間が１／２秒のときは４Ｈｚ以上）場合は、ぶれ修正が良好に行えないので、ぶれ修正による防振を行わず、他の防振方法を選択する（ステップ＃１０２６に進む）。

ステップ＃１００５ではストロボ１６ａを使用した撮影設定か否かを判定し、ストロボ１６ａを使わない場合にはステップ＃１００６に進み、ストロボ１６ａを使用した撮影設定の場合にはステップ＃１０２６に進む。

これは図７で説明したようにストロボ１６ａを使用して撮影して得られた画像をそのままぶれ修正するとストロボ１６ａが照射されている領域の画像劣化が生じるためである。

先にストロボ１６ａを用いない場合を説明する。

ステップ＃１００６ではレリーズボタンを押し切って撮影の指示がなされるまでステップ＃１００１からステップ＃１００５を循環して待機する。

ステップ＃１００７では撮影を開始する。

ステップ＃１０１４ではスタートに戻る。

次にステップ＃１００４で振動検出手段１２２の出力が通常状態ではない（手振れ量が大きい、手振れ周波数が露光時間に対して高い）場合には良好なぶれ修正が行えない恐れがあるためにステップ＃１０２６に進み、同様にステップ＃１００５でストロボ１６ａを使用する撮影設定の場合もステップ＃１０２６にフローを進める。

ステップ＃１０２７ではレリーズボタンを押し切って撮影の指示がなされるまでステップ＃１００１からステップ＃１０２７を循環して待機する。

ステップ＃１０２８では１枚目の撮影を開始する。

ステップ＃１０３２では座標変換手段１１６が各画像の座標変換を行う。

ステップ＃１０３３ではすべての画像が座標変換終了するまでステップ＃１０３０、＃１０３１、＃１０３２を循環して待機し、すべての画像の座標変換が完了するとステップ＃１０２３に進む。

ステップ＃１０２３では画像の合成を行う。

ステップ＃１０１４ではスタートに戻る。

以上のように基本はぶれ修正を行うことで画像の劣化を抑える防振システムでありながら、ストロボ撮影のようにぶれ修正が良好に行えないような撮影条件ではぶれ修正を前提とした撮影は禁止し、他の手段でぶれを抑えている。

実施例３では、閃光手段（ストロボ１６ａ）と、記録される画像に生じるぶれを修正するぶれ修正手段１１３（図１３ステップ＃１０１０）と、閃光手段を用いて撮影する撮影条件では得られた画像に対してはぶれ修正手段の作動を無効にするぶれ修正作動制御手段（撮影制御手段１８）（図１３ステップ＃１００５）と、閃光手段を用いて撮影する撮影条件では複数回撮影を繰り返し、得られた複数枚の画像間のずれを揃えて合成することで見かけの露出を補正する合成露出補正手段（ずれ検出手段１１５、座標変換手段１１６、画像合成手段１１７など）（図１３ステップ＃１０２６〜＃１０２４）を設けている。

これにより閃光手段によるぶれ修正の劣化を防ぐと共に画像の位置合わせ合成によりぶれを抑えつつ露出を補完している。

実施例４は実施例３の方式で得られた画像（ぶれ修正や合成用画像）をカメラ内で合成するのではなく、撮影後にパソコンなどの外部機器を利用して合成する方法である。

パソコンとの接続やファイルの保存方法などは実施例２と同様なために説明は省く。

図１４は実施例４のフローチャートであり、実施例２と異なるのはストロボ１６ａを用いて撮影を行う場合にはぶれ修正用の画像撮影は禁止され、代わりに手振れが生じない程度の露光時間の短い複数枚の画像の位置合わせ合成を行って露出を改善するための撮影を行うようにしている点である（実際のぶれ修正や画像合成はパソコンで行う）。

図１４のフローチャートにおいて図１１と同じ機能のステップは同じ部番で表す。

ステップ♯１００４ではカメラに搭載されている加速度センサなどの振動検出手段１２２の出力を観察し、その出力が異常の場合、即ち前述した加速度センサの出力が所定より大きく（例えば１０ｍＧ以上）手振れが大きい場合や手振れの主要周波数が高い（例えばステップ＃１００２の測光により求まる露光時間が１／４秒の時は８Ｈｚ、露光時間が１／２秒のときは４Ｈｚ以上）場合はぶれ修正が良好に行えないので、ぶれ修正による防振を行わず、他の防振方法を選択する（ステップ＃１０２６に進む）。

先にストロボ１６ａを用いない場合を説明する。

ステップ＃１００７では撮影を開始する。

図１３のフローチャートと異なるのは画像補正（ステップ＃１０１１のガンマ補正や圧縮処理）を行う前の画像を記録する点である（例えばｒａｗ形式で記録）。

このとき画像は図９で示したぶれ修正画像フォルダ２７に記憶される。

これは次のステップで画像を表示手段１２０に表示する為である。
ステップ＃１０１２ではステップ＃１０１１で得られた画像をカメラ背面などに配置された外部液晶モニターなど（表示手段１２０）に表示する。
ステップ＃１０１４ではスタートに戻る。

ステップ＃１０２８では１枚目の撮影を開始する。

ステップ＃１０２９ではすべての撮影が完了するまでステップ＃１０２８、＃１０２９を循環して待機すると共に撮影が完了した画像に関しては一旦画像記憶手段１１４に記憶しておく。

この循環で撮影を繰り返している時、２枚目以降の撮影はＮＳＴ画像群を得るためにストロボ１６ａを使用しないで撮影する。

そして撮影が完了するとステップ＃１０３０に進む。

図１３のフローチャートと異なるのは画像補正（ステップ＃１０１１のガンマ補正や圧縮処理）を行う前の画像を記録する点である。

このとき画像は図９で示した合成画像フォルダ２８に記憶される。

記録手段１１９に合成画像フォルダ２８が無い場合には、このステップで合成画像フォルダ２８を作成し、その中に得られた画像を格納する。

このとき表示するのは上述して撮影された複数の画像の中で代表的な１枚だけである。複数枚の画像の中でストロボ１６ａを使用して撮影したＳＴ画像とストロボ１６ａを使用しないで撮影したＮＳＴ画像が混在する（スローシンクロ撮影）の場合にはＳＴ画像を表示手段１２０に表示する。

このようにゲインアップを行うとノイズが多くなってしまうが、カメラの背面にある表示手段１２０のように小型のモニター９表示する場合にはノイズは目立たない。

ステップ＃１０１４ではスタートに戻る。

記録手段１１９に記憶された画像データのぶれ修正、合成については図１２に示したフローと同様（但しステップ＃２０１３からステップ２００８に進む修正合成のフローは無い）なので、説明は省略する。

実施例４では、ぶれを修正する第１のアプリケーションソフトウエア用の画像を撮影する撮影装置であって、閃光手段（ストロボ１６ａ）と、閃光手段を用いて撮影する撮影条件ではぶれを修正するアプリケーションソフトウエア用の画像撮影を禁止にすると（撮影制御手段１８、図１４のステップ＃１００５）共に複数回撮影を繰り返し、得られた複数枚の画像間のずれを揃えて合成することで見かけの露出を補正する第２のアプリケーションソフトウエア用の画像の撮影（図１４のステップ＃１０２６〜＃１０３０）を許可するようにしている。

図１５は本発明の実施例５のフローチャートであり、実施例３と反対にぶれ修正モードで撮影するときにはストロボ１６ａを用いた撮影は禁止される構成になっている点である。

図１５のフローチャートにおいて図１３と同じ機能のステップは同じ部番で表す。

ここで防振操作手段１２１は図１６に示すような形状をしており、防振オフモード１２１ａ、ぶれ修正モード１２１ｂ、画像合成モード１２１ｃのいずれかを指標１２１ｄにあわせるように操作することで撮影モードを切り換えるようにしている。

防振操作手段１２１をオン（ぶれ修正モードか画像合成モードかいずれか）にしている場合に行われるフローについて説明する。

ステップ♯１００４ではカメラに搭載されている加速度センサなどの振動検出手段１２２の出力を観察し、その出力が異常の場合、即ち前述した加速度センサの出力が所定より大きく（例えば１０ｍＧ以上）、手振れが大きい場合や手振れの主要周波数が高い（例えばステップ＃１００２の測光により求まる露光時間が１／４秒の時は８Ｈｚ、露光時間が１／２秒のときは４Ｈｚ以上）場合は、ぶれ修正が良好に行えないので、ぶれ修正による防振を行わず、他の防振方法を選択する（ステップ＃１０２６に進む）。

そして振動検出手段１２２の出力が所定範囲の場合（ぶれがさほど大きくなく、その周波数も露光時間に比較して低い時）はステップ＃５００１に進む。

ステップ＃５００１ではぶれ修正モードを使用した撮影設定か否かを判定し、ぶれ修正モードを使用した撮影設定の場合にはステップ＃５００２進み、画像合成モードの場合にはステップ＃１０２６に進む。

ステップ＃５００２ではストロボ１６ａの使用を禁止する。もしも撮影者がストロボ１６ａを使うように操作した場合には表示手段１２０にストロボを使うことができないことを表示する。

ステップ＃１００７では撮影を開始する。

ステップ＃１０１１ではぶれ修正された画像に対して信号のガンマ補正や圧縮処理を行う。

ステップ＃１０１４ではスタートに戻る。

次にステップ＃１００４で振動検出手段１２２の出力が通常状態ではない（手振れ量が大きい、手振れ周波数が露光時間に対して高い）場合には良好なぶれ修正が行えない恐れがあるためにステップ＃１０２６に進み、同様にステップ＃５００１で画像合成モードを選択しているときにもステップ＃１０２６にフローを進める。

ステップ＃１０２８では１枚目の撮影を開始する。

そして撮影が完了するとステップ＃１０３０に進む。

ステップ＃１０２３では画像の合成を行う。

ステップ＃１０１３ではステップ＃１０１１で得られた画像を例えば半導体メモリなどでカメラに対して着脱可能な記録媒体（記録手段１１９）に記録する。
ステップ＃１０１４ではスタートに戻る。

以上のように基本はぶれ修正を行うことで画像の劣化を抑えるモードの場合にはストロボ撮影を禁止することでぶれ修正による画像の劣化を防いでいる。

実施例５では、閃光手段（ストロボ１６ａ）と、記録される画像に生じるぶれを修正するぶれ修正手段１１３（図１５のステップ＃１０１０）と、ぶれ修正手段を有効に設定した時には閃光手段の使用を禁止する閃光撮影禁止手段（撮影制御手段１８、図１５のステップ＃５００１、＃５００２）を設けている。

これにより閃光手段によるぶれ修正の劣化を防ぐことができる。

実施例６は実施例５の方式で得られた画像（ぶれ修正や合成用画像）をカメラ内で合成するのではなく、撮影後にパソコンなどの外部機器を利用して合成する方法である。

図１７は実施例６のフローチャートであり、ぶれ修正モードで撮影するときにはストロボ１６ａを用いた撮影は禁止される構成になっている点である。

図１７のフローチャートにおいて図１４及び図１５と同じ機能のステップは同じ部番で表す。

ステップ♯１００２では、撮像手段１９において撮像が行われる。

ステップ＃５００１ではぶれ修正モードを使用した撮影設定か否かを判定し、ぶれ修正モードを使用した撮影設定の場合にはステップ＃５００２に進み、画像合成モードの場合にはステップ＃１０２６に進む。

ステップ＃５００２ではストロボ１６ａの使用を禁止する。

もしも撮影者がストロボ１６ａを使うように操作した場合には表示手段１２０にストロボを使うことができないことを表示する。

ステップ＃１００７では撮影を開始する。

ステップ＃１０１１では画像に対して信号のガンマ補正や圧縮処理を行う。

ステップ＃１０１４ではスタートに戻る。

次にステップ＃１００４で振動検出手段１２２の出力が通常状態ではない（手振れ量が大きい、手振れ周波数が露光時間に対して高い）場合には良好なブレ修正が行えない恐れがあるためにステップ＃１０２６に進み、同様にステップ＃５００１で画像合成モードを選択しているときにもステップ＃１０２６にフローを進める。

ステップ＃１０２８では１枚目の撮影を開始する。

そして撮影が完了するとステップ＃１０３０に進む。

ステップ＃１０１４ではスタートに戻る。

記録手段１１９に記録された画像データのぶれ修正、合成については図１２に示したフローと同様（但しステップ＃２０１３からステップ２００８に進む修正合成のフローは無い）なので、説明は省略する。

実施例６では、ぶれを修正するアプリケーションソフトウエア用の画像を撮影する時には閃光手段（ストロボ１６ａ）の使用を禁止する閃光撮影禁止手段（撮影制御手段１８、図１７のステップ＃５００１、＃５００２）を有する構成にしている。

本発明の実施例１であるカメラのブロック図である。ストロボ発光画像のぶれ修正を行った場合の画像の状態を示す図である。本発明の実施例１におけるストロボ発光画像の合成状態を示す図である。本発明の実施例１における画像の座標変換を示す図である。本発明の実施例１におけるストロボ画像とストロボ無し画像の対比を示す図である。本発明の実施例１における構図ずれを示す図である。本発明の実施例１におけるカメラの動作を示すフローチャートである。本発明の実施例２におけるパソコンとカメラの接続を示す図である。本発明の実施例２におけるカメラ内の画像の格納方法を示す図である。本発明の実施例２における画像処理後のカメラ内の画像の格納方法を示す図である。本発明の実施例２におけるカメラの動作を示すフローチャートである。本発明の実施例２におけるパソコン内の処理動作を示すフローチャートである。本発明の実施例３におけるカメラの動作を示すフローチャートである。本発明の実施例４におけるカメラの動作を示すフローチャートである。本発明の実施例５におけるカメラの動作を示すフローチャートである。本発明の実施例５における防振操作手段の操作ノブを示す図である。本発明の実施例６におけるカメラの動作を示すフローチャートである。

符号の説明

１０光軸
１１撮影レンズ
１２ａシャッタ
１２ｂシャッタ駆動手段
１３ａ絞り
１３ｂ絞り駆動手段
１４ａＡＦ駆動モータ
１４ｂ焦点駆動手段
１５ａズーム駆動モータ
１５ｂズーム駆動手段
１６ａストロボ
１６ｂ閃光駆動手段
１７ａスピーカー
１７ｂ発音駆動手段
１８撮影制御手段
１９撮像手段
１１０Ａ／Ｄ変換手段
１１１信号処理手段
１１２信号切換手段
１１３ぶれ修正手段
１１４画像記憶手段
１１５ズレ検出手段
１１６座標変換手段
１１７画像合成手段
１１８画像補正手段
１１９記録手段
１２０表示手段
１２１防振操作手段
１２２振動検出手段

Claims

画像を撮影する際に生じる画像のぶれを修正するぶれ修正手段と、
照明手段を使用して撮影した第１の画像、及び前記照明手段を使用することなく前記第１の画像より長い露光時間で露光され、かつ露光時に生じるぶれが前記ぶれ修正手段によって修正される第２の画像を取得する撮影制御手段と、
前記第２の画像と前記第１の画像を合成することで露出を補正する合成露出補正手段とを有することを特徴とする撮影装置。
前記撮影制御手段は、前記照明手段を使用して撮影する撮影条件で得られた第１の画像に対しては前記ぶれ修正手段の作動を無効にすることを特徴とする請求項１に記載の撮影装置。
前記合成露出補正手段はぶれ修正された前記第２の画像と前記第１の画像間のずれを揃えて合成することを特徴とする請求項１又は２に記載の撮影装置。
照明手段を使用して撮影した第１の画像、及び前記照明手段を使用することなく前記第1の画像より長い露光時間で露光された第２の画像を取得する撮影制御手段と、
前記第１の画像と前記第２の画像を記録する記録手段と、
前記第２の画像に生じている画像のぶれを修正した後に前記第２の画像と前記第１の画像を合成することで露出を補正するアプリケーションソフトウエアを有する機器に対して前記第１の画像と前記第２の画像を出力する出力手段とを有することを特徴とする撮影装置。