JP2006086933A - 撮像装置及び制御方法 - Google Patents

撮像装置及び制御方法 Download PDF

Info

Publication number
JP2006086933A
JP2006086933A JP2004271009A JP2004271009A JP2006086933A JP 2006086933 A JP2006086933 A JP 2006086933A JP 2004271009 A JP2004271009 A JP 2004271009A JP 2004271009 A JP2004271009 A JP 2004271009A JP 2006086933 A JP2006086933 A JP 2006086933A
Authority
JP
Japan
Prior art keywords
image
subject
images
unit
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004271009A
Other languages
English (en)
Inventor
Takeshi Ikeda
剛 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004271009A priority Critical patent/JP2006086933A/ja
Priority to US11/226,340 priority patent/US7664293B2/en
Priority to CNA2005101039870A priority patent/CN1750601A/zh
Publication of JP2006086933A publication Critical patent/JP2006086933A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】ブレを除去した流し撮り効果やブレを除去した尾引き効果を得る。
【解決手段】複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備え、前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う。
【選択図】 図１

Description

本発明は、手振れを補正しながら流し撮り効果及び尾引き効果を得られる撮像技術に関する。
画像撮影の際、狙った被写体が高速に移動している場合、撮影者は被写体をブレなく撮影するために高速シャッターを用いて撮影したり、被写体の動きに合わせてカメラをパンしながら撮影していた。高速シャッターを用いた場合、撮像素子が露光される時間は少なくなるため被写体のブレは小さくなるが、全ての被写体がブレ無く撮影されるため画像の臨場感にかけてしまう。また、画像の臨場感を出すため、ある程度遅いシャッタースピードにて被写体の動きに合わせてカメラをパンさせながら撮影すると、被写体のブレは少なく、その背景は流れた臨場感のある画像（流し撮り効果）を得ることができるが、カメラをパンさせるときに生じる被写体とカメラのパンのスピードの差や、被写体の動作方向とは異なる方向へのカメラのブレが生じるため、被写体のブレを完全に除去することは難しい。
また、夜間の車のテールランプが流れている様子などを撮影する場合、三脚などを用いてカメラを固定し長時間露光を行うことにより、動いている被写体のみ流れている画像（尾引き効果）を得ることが可能であるが、三脚が使えないなどカメラを固定できない状況における撮影では、手振れにより像が全体にブレてしまう。
このようなブレを補正する手法としてとして、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理し、撮影光軸を偏心させる補正光学装置を駆動することにより像振れ補正を行う光学防振システムや、手振れが生じない程度の露光時間で複数回撮影を繰り返し、これらの撮影により得られた画像に対して画像のズレを修正しながら合成して長い露光時間の撮影画像（合成画像）を得る方法がある（例えば、特許文献１）。
特開平５−７３３６号公報
最近のデジタルカメラは、銀塩コンパクトカメラに比べて小型化が進んでおり、特にＳＸＧＡクラスの撮像素子を持つカメラは携帯電子機器（例えば、携帯電話）に内蔵されるほど小型になってきている。
このような中で、上述した光学防振システムをカメラに搭載しようとすると、振れ補正光学装置をより一層小型化するか、レーザージャイロ等の振動検出部を小型化する必要がある。
しかし、振れ補正光学装置では、補正レンズを支持し、これを高精度に駆動してゆく必要があるために小型化には限度がある。また、現在使用されている振動検出部は、ほとんどが慣性力を利用するものなので、振動検出部を小型化すると検出感度が低下し、精度の良い振れ補正ができないという問題がある。
さらに、カメラに加わる振れとしては、所定の軸を中心とする角度振れと、カメラを平行に揺らすシフト振れがあり、角度ぶれは光学防振システムで補正可能であるがシフト振れ対策は困難である。特に、カメラが小型になるほどこのシフト振れは大きくなる傾向がある。
一方、上記特許文献１に示すような防振方法においては、１枚の画像の中にブレが生じないくらいの高速シャッターを用いるため、複数回撮影を繰り返し画像を合成しても、前述したような流し撮り効果や尾引き効果を出した画像を得ることができない。
そこで、本発明の目的は、銀塩カメラの防振システムやビデオカメラの防振システムとは異なるデジタルカメラ向けの小型の防振システムを提供することにある。
上記課題を解決し、目的を達成するために、本発明の撮像装置は、複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備え、前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う。
また、本発明の撮像装置は、複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備え、前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行う。
また、本発明の撮像装置は、複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段と、前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う第１のモードと、前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行う第２のモードとを切り替える切替手段とを具備する。
また、本発明の撮像装置における制御方法は、複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備える撮像装置における制御方法であって、前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う。
また、本発明の撮像装置における制御方法は、複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備える撮像装置における制御方法であって、前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行う。
また、本発明の撮像装置における制御方法は、複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備える撮像装置における制御方法であって、前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う第１のモードと、前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行う第２のモードとを切り替える切替工程とを備える。
以上説明したように、第１の発明によれば、カメラをパンしながら撮影するとき画像が流れない程度の露出時間で複数回撮影を繰り返し、複数の撮影により得られた画像に対して主被写体においてはズレをなくすよう画像合成し、主被写体以外の被写体においては移動した軌跡を補間するよう画像合成することにより流し撮り効果を得ることができ、かつ手振れを除去した画像を得ることができる。
また、第２の発明によれば、手振れが生じない程度の露光時間で複数回撮影を繰り返し、この複数の撮影により得られた画像に対して主被写体以外の被写体においてはズレをなくすよう画像合成し、主被写体においては移動した軌跡を補間するよう画像合成することにより尾引き効果を得られ、かつ手振れを除去した画像を得ることができる。
以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。
尚、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
また、本発明は、後述する実施形態である撮像装置の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の一例であるデジタルカメラの構成の一例を示すブロック図である。なお、第１の実施形態に係る撮像装置は、デジタルカメラに限らず、デジタルビデオカメラ、カメラ付き携帯電話、カメラ付きコンピュータ等でも実現することができる。
撮影レンズ１１から入射した光束（撮影光）は、絞り１３ａで光量制限された後に、シャッター１２ａを通り撮像部１７に結像する。撮像部１９は、ＣＭＯＳイメージセンサーやＣＣＤイメージセンサーなどの撮像素子を用いて受光した光を画像信号に変換する。
撮影レンズ１１は複数の光学レンズ群により構成され、これらのレンズ群のうち一部又は全部がＡＦ駆動モータ１４ａからの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４ａは焦点駆動部１４ｂからの駆動信号を受けることで駆動する。
また、撮影レンズ１１のうち一部の光学レンズ群は、ズーム駆動モータ１５ａからの駆動力を受けて光軸１０上を移動し、所定のズーム位置に停止することで撮影画角を変更する。ズーム駆動モータ１５ａは、ズーム駆動部１５ｂからの駆動信号を受けることで駆動する。
絞り１３ａは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１３ｂからの駆動力を受けることで作動して光通過口となる開口面積（絞り口径）を変化させる。シャッター１２ａは、複数のシャッター羽根を有しており、これらのシャッター羽根は、シャッター駆動部１２ｂからの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像部１７に入射する光束を制御する。
焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッター駆動部１２ｂは、撮影制御部１８により制御されている。
撮影制御部１８には、シャッターボタン１２ｃ、絞り操作部１３ｃ、ズーム操作部１５ｃ、後述する防振効果選択部１２０及び被写体操作部１２１からの操作信号が入力されるようになっており、デジタルカメラの撮影状態に合わせて上記操作信号を各々焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッター駆動部１２ｂ、に与えて撮影条件を設定し、撮影を行うようにしている。なお、シャッターボタン１２ｃは、半押しでオンになる第１レリーズスイッチ（ＳＷ１）と全押しでオンになる第２のレリーズスイッチ（ＳＷ２）とを有する。
なお、絞り１３ａの開口径は、通常は撮影時にデジタルカメラ側で自動的に設定するために、絞り操作部１３ｃは不要であるが、撮影者が任意に撮影条件を設定する時のために設けられている。
撮影制御部１８は、後述する画像処理部１１１に取り込まれたデジタル画像信号に基づいて被写体輝度の測定（測光）を行い、この測光結果に基づいて絞り１３ａの絞り口径とシャッター１２ａの閉じタイミング（露光時間）を定めている。また、撮影制御部１８は、焦点駆動部１４ｂを駆動させながら、画像処理部１１１からの出力に基づいて撮影レンズ１１の合焦位置を求めている。
撮像部１７から出力された画像信号は、Ａ／Ｄ変換器１１０によりデジタル画像信号に変換されて画像処理部１１１に入力される。画像処理部１１１は、Ａ／Ｄ変換器１１０からのデジタル画像信号から撮影画像に対応する画像データを生成する。
そして、画像処理部１１１で生成された画像データは、画像切替部１１２を介して表示部１１７及び記録部１１９に入力される。表示部１１７は、画像データを液晶表示器等の表示器に表示する。記録部１１９は、画像データを圧縮してメモリカード等の記憶媒体に記録する。
以上説明した動作において、手振れを除去した流し撮り効果を得たい場合には、撮影者は防振効果操作部１２０を操作して防振システムを「流し撮り」にし、以下の動作に切り替える。
まず、撮影者がシャッターボタン１２ｃを半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光値に基づいてシャッター１２ａの閉じタイミング（露光時間）と絞り１３ａの絞り口径を設定する。そこで、この露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像には手振れの影響が少ない画像となる。
そして、複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する。
しかし、複数の画像を撮影するとき、複数の撮影により得られた各画像においては手振れの影響が生じていなくても、連続撮影中の手振れにより各画像間における構図は微妙にズレている場合がある。ここで、これらの画像をこのまま合成すると、合成された画像は各画像における構図がズレ分だけぶれた画像になってしまう。
本実施形態においては、連続撮影に応じて撮像部１７から撮影ごとに複数出力される画像信号は、Ａ／Ｄ変換器１１０でデジタル画像信号に変換されてから画像処理部１１１にて所定の画像処理が施される。
一方、防振効果操作部１２０を操作して防振システムを「流し撮り」にすることを撮影制御部１８に指示した場合には、被写体選択部１２１により、予め主被写体が画面上どこに映し出されるかを選択しておく。この被写体選択部を構成するものとして十字キーと選択ボタン、決定ボタンが含まれていれば画面上どこでも自由に選択できる。ここではこの被写体選択部により画面中央部が予め選択されているとする。また、この被写体選択部１２１により被写体を選択する行為は、撮影が終了して複数の画像のうち少なくとも１枚の画像の中から主被写体を選択してもよい。
例えば、図２のように、フレーム１２１ａ中の中央部分で、道路１２２ａ上を走っていく車を捕らえ、デジタルカメラをパンしながら流し撮り撮影を行おうとした場合、１２５の枠を被写体選択部により描くことにより選択範囲を指定する。
そして、画像処理部１１１からの画像データは画像切替部１１２を介してメモリ１１３に入力される。
メモリ１１３は、連続的に撮影された複数の画像を記憶しておく。
ズレ検出部１１４は、被写体選択部１２１により選択されている枠内の、メモリ１１３に記憶された画像内における画面特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。
例えば、図３に示すようにフレーム１２１ｂにおいて道路１２２ｂ上を車１２３ｂが走行していき、撮影者は道路１２２ｂ上の車１２３ｂを車が進む方向と同じ方向かつ同じスピードになるよう心がけて撮影する。しかしデジタルカメラをパンするスピードが車１２３ｂのスピードと一致しなかったり、手振れにより車１２３ｂが走行していく方向とは違う方向に振れたりすることがあり、複数枚撮影するとフレーム１２１ｃのようにフレーム１２１ｂに対して構図がずれた画像が撮影されることがある。
ここで、ズレ検出部１１４は、被写体選択部１２１により選択されている枠１２５内に位置する車１２３ｂのうち輝度の高い点である窓１２６ｂのエッジ１２７ｂをエッジ検出により特徴点として取り出し、この特徴点１２７ｂと、フレーム１２１ｃにおける特徴点１２７ｃと比較し、この差分を補正（座標変換）する。
図３では、フレーム１２１ｂの特徴点１２７ｂを矢印１２８のようにフレーム１２１ｃの特徴点１２７ｃに重ねるようにして、フレーム１２１ｃを座標変換する。
ここでは複数撮影された画像のうち１枚目の画像フレーム１２１ｂと２枚目の画像フレーム１２１ｃの撮影での特徴点の変化を求めたが、それ以降の画像に関しても同様にして各画像の特徴点の変化を求めていく。
なお、特徴点は１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。
そして、座標変換部１１５で座標変換された各画像は、画像合成部１１６に出力されて各画像が図４のように１枚の画像に合成される。
以上のように、図４の合成された画像において、主被写体である車１２３ｄは座標変換により一致したものとなるが、デジタルカメラをパンしていることと、前述したように手振の影響が少ない程度のシャッタースピードで撮影されているため、木１２９ｂ、１２９ｃなど背景にある主被写体以外の被写体は一致せず、飛び飛びのものとなってしまう。そこで、飛び飛びに写っている被写体、ここでは、木１２９ｂと１２９ｃを流れているように合成する方法を図５を用いて以下に説明する。
図５において、フレーム１２１ｂ中の被写体選択枠１２５の枠外の特徴点を抽出する。ここでは、被写体選択枠１２５の枠外の被写体のうち輝度、色相、彩度、明度が総合的に高い点である木１２９ｂのエッジ１３０ｂ、１３１ｂ、１３２ｂをエッジ検出により特徴点として取り出し、記憶させる。このエッジ検出により得られている輝度、色相、彩度、明度のレベルから背景の被写体である木１２９ｂを抜き出す。そして、先に記憶させた特徴点と同じ特徴をもった点をフレーム１２１ｃの画面全体からエッジ検出により抽出し（１３０ｃ、１３１ｃ、１３２ｃ）、そのエッジの軌跡を各エッジ間を直線で結ぶことにより木１２９ｂがどの方向にどれだけ移動しているか予測する。エッジ１３０ｂと１３０ｃの軌跡は矢印１３３、エッジ１３１ｂと１３１ｃの軌跡は矢印１３４、エッジ１３５ｂと１３５ｃの軌跡は矢印１３５である。そして、その軌跡に沿って同じ輝度、色相、彩度、明度で画像を補間することにより図６のように木１２９ｂが１２９ｃまで流れているかのように描画できる。但し、この木１２９ｂを１２９ｃまで描画するとき主被写体である車１２３ｄは補間しないようにすることにより、主被写体が背景よりつぶされてしまうことを保護する。主被写体である車１２３ｄの範囲は、エッジ検出により同じエッジであると判断されたエッジが複数存在しない被写体であることより決定することができる（既に一致画像になっているということである。）。
画像合成部１１６で合成された画像データは、画像切替部１１２を介して表示部１１７及び記録部１１９に入力される。表示部１１７は、画像データを液晶表示器等の表示器に表示する。記録部１１９は、画像データを圧縮してメモリカード等の記憶媒体に記録する。
図７は、第１の実施形態に係るデジタルカメラの画像撮影処理を示すフローチャートであり、このフローはデジタルカメラの電源がオンになったときにスタートする。
ステップＳ１００１では、シャッターボタン１２ｃが半押されるまで待機し、第１レリーズスイッチ（ＳＷ１）がオンになるとステップＳ１００２に進む。
ステップＳ１００２では、撮像部１７において撮像が行われる。撮影制御部１８は、画像処理部１１１からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。
そして、もっともコントラストが高かった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（山登り方式によるＡＦ）。なお、位相差検出により焦点調節を行うこともできる。
また、撮影制御部１８は、同時に撮像部１７の出力に基づいて被写体の明るさを求める。
ステップＳ１００３では、撮影者が防振効果操作部１２０を「流し撮り」にしているか否かを判別し、「流し撮り」にしているときはステップＳ１００４に進み、それ以外の時はステップＳ１０１８に進む。
先ず始めに防振操作部１２０を「流し撮り」にしている場合のフローについて説明する。
ステップＳ１００４では、ステップＳ１００２で求めた被写体の明るさ等の撮影条件から撮影する枚数と各々の露光時間を求める。
ここでの撮影条件とは、
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞りの値）
・撮像素子の感度
の４点である。
例えば、撮像部１７の感度がＩＳＯ１００に設定されていたとする。
被写体の明るさを測定（測光）し、この測光結果に基づいて適正に露光するためには、絞り１３ａを全開（例えばｆ４.０）にするとともにシャッター１２ａの閉じタイミング、すなわち露光時間を１／５０秒にする必要があるとする。
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で１００ｍｍであるとき、露光時間を１／５０秒とする撮影では手振れにより像振れが発生するおそれがあるので、手振れが生じないように露光時間を１／１００秒に設定して２回撮影を行うように設定する。
一方、撮影焦点距離が４００ｍｍであるときには、手振れが生じないように露光時間を１／５００秒に設定して１０回撮影を行うように設定する。
このように複数枚撮影を行う時の露光時間を撮影条件に合わせて決定し、さらに何枚撮影するかも撮影条件に合わせて設定する。
同一被写体を複数枚に分けて撮影するとしても、各撮影の露光条件はなるべく適正露光に近い方が撮像部１７において正確な情報が撮像できる。
このため、暗い被写体の場合や、撮影レンズが絞り込んでおり暗い場合、撮像部１９の感度が低く設定されている場合には、複数撮影といえども各撮影の露光時間はなるべく長くして有効な露光条件にする。
但し、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に表れるため、上述したように撮影光学系の焦点距離が３５ｍｍフィルム換算で１００ｍｍであるときは手振れが生じないように約焦点距離分の一に等しい露光時間である１／１００秒に設定している。
そして、その露光時間では足りない分を撮影枚数で補間している。
焦点距離が長い場合には、さらに露光時間を短くしないと手ぶれによる像劣化が生ずるのでさらに露光時間を短くして、その分撮影枚数を増やして露出補間を行う。
このように複数枚撮影における露光時間は、撮影被写体が暗いほど、また撮影レンズが暗いほど長くなり、撮像部１７の感度が低いほど長くなり、レンズの焦点距離が長いほど短くなる。
そして、複数枚撮影における撮影枚数は、撮影被写体が暗いほど、また撮影レンズが暗いほど多くなり、撮像素子の感度が低いほど多くなり、レンズの焦点距離が長いほど多くなる。
以上の計算が終了した後で、防振モード（複数回撮影モード）が設定されたことを表示部１１７に表示すると同時に、求めた撮影枚数を表示部１１７に表示して撮影者に知らせる。
ステップＳ１００５では、シャッターボタン１２ｃが全押しされたか否かを判定する。シャッターボタン１２ｃが全押しされた場合、第２レリーズスイッチ（ＳＷ２）はオンになる。
ステップＳ１００６では、撮影した画像を一旦メモリ１１３に記憶しておく。
ステップＳ１００７では、すべての撮影が完了するまでステップＳ１００６、Ｓ１００７を循環して待機する。
そして、撮影が完了するとステップＳ１００８に進む。
ステップＳ１００８では、被写体操作部１２１により予め設定されている被写体選択枠（例えば、図３の１２５）内の画像（例えば、図３の車１２３ｂ）の中から特徴的な像（特徴点）をズレ検出部１１４が抽出し、その像の座標を求める。
ステップＳ１００９では、座標変換部１１５が各画像の座標変換を行う。ここで、最初の１枚の画像（第１の画像）のみ座標の変換は行わない。すなわち、この第１の画像を座標変換の際の基準とする。
ステップＳ１０１０では、２枚目以降の画像（第２の画像）のうちすべての画像について座標変換が終了するまでステップＳ１００８、１００９を循環して待機し、すべての画像の座標変換が完了するとステップＳ１０１１に進む。
ステップＳ１０１１では、第１の画像（図５のフレーム１２１ｂ）の被写体操作部１２１により予め設定されている被写体選択枠（例えば図５の１２５）外の画像（例えば、図５の木１２９ｂ）の中から特徴的な像（特徴点）をズレ検出部１１４が抽出し、その像の座標を求める。そのときに、その抽出点の輝度、色相、彩度、明度を記憶しておき、これらの特徴と同じ点をグループ化して抽出することにより木１２９ｂの画像を抽出する。そして、先に記憶されている抽出点と同じ特徴をもった点を第２の画像群の中（図５フレーム１２１ｃ）からズレ検出部１１４が抽出し、その木１２９ｂの画像が移動した軌跡を算出する。
ステップＳ１０１２にてステップＳ１０１１にて算出された軌跡をたどるように、各点の輝度、色相、彩度、明度により画像を補間していくことにより図５の木１２９ｂが木１２９ｃまで流れているような画像を生成する。
ステップＳ１０１３では、第1の画像から第２の画像のうちすべての画像について補間作業が終了するまでステップＳ１０１１、１０１２を循環して待機し、すべての画像の座標変換が完了するとステップＳ１０１４に進む。
ステップＳ１０１４では、第１の画像と座標変換された第２の画像群の各画像との合成を行う。
ここで、画像の合成は各画像の対応する座標の値を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
ステップＳ１０１５では、合成された画像のうち各画像が構図ブレにより重ならなかった領域（図５の領域１４０）をカットし、元のフレームの大きさになるように画像を拡散補間する。
ステップＳ１０１６では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データを表示部１１７に表示する。
ステップＳ１０１７では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データをメモリカード等の記録媒体に記録する。
ステップＳ１０１８では、スタートに戻る。
なお、ステップＳ１０１８の段階でまだ継続してシャッターボタン１２ｃが半押し操作されＳＷ１がオンになっているときは、そのままステップＳ１００１、Ｓ１００２、Ｓ１００３、Ｓ１００４と再度フローチャートを進める。
また、ステップＳ１０１８の段階でシャッターボタン１２ｃが全押し操作されＳＷ２がオンになっているときには、スタートに戻らずステップＳ１０１７で待機する。
次に、ステップＳ１００３で防振効果操作部１２０がオフの場合のときに流れるフローチャートについて説明する。
ステップＳ１００３において、防振操作部１２０がオフと判断されたときには、ステップＳ１０２０に進む。
ステップＳ１０２０では、シャッターボタン１２ｃが全押し操作され、ＳＷ２がオンになるまでステップＳ１００１からステップＳ１０２０を循環して待機する。
ステップＳ１０２１では、通常の撮影（一回の露光で有効な露光条件を形成する通常撮影モード）が完了する迄待機し、露光完了と共にステップＳ１０１６に進む。
ステップＳ１０１６では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データを表示部１１７に表示する。
ステップＳ１０１７では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データをメモリカード等の記録媒体に記録する。
ステップＳ１０１８では、スタートに戻る。
［第２の実施形態］
第１の実施形態においては被写体操作部１２１により設定された被写体選択枠の内側にある被写体を一致するようにズレ検出部１１４による特徴点の抽出により画像を合成し、その枠の外にある被写体は流れるように補間処理を行う方法を述べてきた（主被写体が止まって、背景が流れて撮影される「流し撮り」効果撮影）。
本実施形態では、被写体操作部１２１により設定された被写体選択枠の外側にある被写体を一致するようにズレ検出部１１４による特徴点の抽出により画像を合成し、その枠の中にある被写体には流れるように補間処理を行う方法を述べる（主被写体が流れて、背景がとまっている「尾引き」効果撮影）。
第２の実施形態に係るデジタルカメラの構成は、第１の実施形態（図１）と同様であり、本実施形態では異なる効果、即ち、「尾引き」効果を得る方法について説明する。
第１の実施形態と同じ手段を有する撮像装置において、手振れを除去した尾引き効果を得たい場合には、撮影者は防振効果操作部１２０を操作して防振システムを「尾引き」にし、以下の動作に切り替える。
まず、撮影者がシャッターボタン１２ｃを半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光値に基づいてシャッター１２ａの閉じタイミング（露光時間）と絞り１３ａの絞り口径を設定する。そこで、この露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像には手振れの影響が少ない画像となる。
そして、複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する。
しかし、複数の画像を撮影するとき、複数の撮影により得られた各画像においては手振れの影響が生じていなくても、連続撮影中の手振れにより各画像間における構図は微妙にズレている場合がある。ここで、これらの画像をこのまま合成すると、合成された画像は各画像における構図がズレ分だけぶれた画像になってしまう。
本実施形態において、連続撮影に応じて撮像部１７から撮影ごとに複数出力される画像信号は、Ａ／Ｄ変換器１１０でデジタル画像信号に変換されてから画像処理部１１１にて所定の画像処理が施される。
一方、防振効果操作部１２０を操作して防振システムを「尾引き」にすることを撮影制御部１８に伝えた場合には、被写体選択部１２１により、予め主被写体が画面上どこに映し出されるかを選択しておく。この被写体選択部を構成するものとして十字キーと選択ボタン、決定ボタンが含まれていれば画面上どこでも自由に選択できる。ここではこの被写体選択部により画面中央部が予め選択されているとする。また、この被写体選択部１２１により被写体を選択する行為は、撮影が終了して複数の画像のうち少なくとも１枚の画像の中から主被写体を選択してもよい。
例えば、図８のように、フレーム１４１ａ中の画面下半分部分で、道路１４２ａ上を走っていく車を定点撮影を行うことにより尾引き撮影を行おうとした場合、１４５の枠を被写体選択部により描き選択範囲を指定する。
そして画像処理部１１１からの画像データは画像切替部１１２を介してメモリ１１３に入力される。
メモリ１１３は、撮影された複数の画像すべてを記憶しておく。
ズレ検出部１１４は、被写体選択部１２１により選択されている枠外の、メモリ１１３に記憶された画像内における画面特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。
例えば図９に示すようにフレーム１４１ｂにおいて道路１４２ｂ上を車１４３ｂが走行していくシーンを定点撮影する場合、撮影者は三脚などデジタルカメラを固定できない環境下において、手持ちでデジタルカメラを動かさないよう心がけて撮影しても、手持ちである以上、複数枚撮影するとフレーム１４１ｃのようにフレーム１４１ｂに対して構図がずれた画像が撮影されることがある。
ズレ検出部１１４は、被写体選択部１２１により選択されている枠１４５の枠外に位置する家１４４ｂのうち輝度の高い点である窓１４６ｂのエッジ１４７ｂをエッジ検出により特徴点として取り出し、この特徴点１４７ｂと、フレーム１４１ｃにおける特徴点１４７ｃと比較し、この差分を補正（座標変換）する。
図９では、フレーム１４１ｂの特徴点１４７ｂを矢印１４８のようにフレーム１４１ｃの特徴点１４７ｃに重ねるようにして、フレーム１４１ｃを座標変換する。
ここでは複数撮影された画像のうち１枚目の画像フレーム１４１ｂと２枚目の画像フレーム１４１ｃ撮影の特徴点の変化を求めたが、それ以降の画像に関しても同様にして各画像の特徴点の変化を求めていく。
なお、特徴点は１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。
座標変換部１１５で座標変換された各画像は、画像合成部１１６に出力されて各画像が図１０のように１枚の画像に合成される。
以上のように合成された画像は、主被写体でない家１４４は座標変換により一致したものとなるが、前述したように手振の影響が少ない程度のシャッタースピードで撮影されていることと、動作のある被写体（ここでは車）が画面上にあることにより、主被写体である車１４３ｂ、１４３ｃは一致せず、飛び飛びのものとなっている。そこで、飛び飛びに写っている車１４３ｂと１４３ｃを流れているように合成する方法を図１１を用いて以下に説明する。
先ず、先に説明した家１４４ｂ、１４４ｃを一致させた合成画像を生成するときに用いたフレーム１４１ｂの中の被写体選択枠１４５ｂの枠内の特徴点を抽出する。ここでは、被写体選択枠１４５ｂの枠内の中で輝度、色相、彩度、明度が総合的に高い点である車１４３ｂの窓のエッジ１５０ｂ、車１４３ｂのテールランプ１５１ｂ、図示はしていないが、その他の特徴点をエッジ検出により特徴点として取り出し、記憶させる。このエッジ検出により得られている輝度、色相、彩度、明度のレベルから主被写体である車１４３ｂを抜き出す。そして、先に記憶させた特徴点と同じ特徴をもった点をフレーム１４１ｃの画面全体からエッジ検出により抽出し（１５０ｃ、１５１ｃ）、そのエッジの軌跡を各エッジ間を直線で結ぶことにより車１４３ｂがどの方向にどれだけ移動しているか予測する。エッジ１５０ｂと１５０ｃの軌跡は矢印１５３、エッジ１５１ｂと１５１ｃの軌跡は矢印１５４である。そして、その軌跡に沿って同じ輝度、色相、彩度、明度で画像を補間することにより図１２のように車１４３ｂが１４３ｃまで流れているかのように描画できる。
画像合成部１１６で合成された画像データは、画像切替部１１２を介して表示部１１７及び記録部１１９に入力される。表示部１１７は、画像データを液晶表示器等の表示器に表示する。記録部１１９は、画像データを圧縮してメモリカード等の記憶媒体に記録する。
次に、図７を参照して本実施形態に係るデジタルカメラの画像撮影処理を説明する。
本実施形態に係るデジタルカメラの画像撮影処理をまとめたフローチャートは図７と同様であり、第１の実施形態と異なるところは、被写体操作部１２１により選択された被写体選択枠（例えば図９の１４５ｂ）の外にある被写体を一致させ（第１の実施形態では被写体選択枠の中）、被写体選択枠の中にある被写体を流れたように補間させる（第１の実施形態では被写体選択枠の外）というところが違う。被写体を一致させる合成方法や、被写体を流れるように補間方法は前述した第１の実施形態と同じ方法である。
ステップＳ１００１では、第１レリーズスイッチ（ＳＷ１）がオンになるとステップＳ１００２に進む。
ステップＳ１００２では、撮像部１７において撮像が行われる。撮影制御部１８は、画像処理部１１１からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。
そして、もっともコントラストが高かった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（山登り方式によるＡＦ）。なお、位相差検出により焦点調節を行うこともできる。
また、撮影制御部１８は、同時に撮像部１７の出力に基づいて被写体の明るさを求める。
ステップＳ１００３では、撮影者が防振効果操作部１２０を「尾引き」にしているか否かを判別し、「尾引き」にしているときはステップＳ１００４に進み、それ以外の時はステップＳ１０１８に進む。
先ず始めに防振操作部１２０を「尾引き」にしている場合のフローチャートについて説明する。
ステップＳ１００４では、ステップＳ１００２で求めた被写体の明るさ等の撮影条件から撮影する枚数と各々の露光時間を求める。
ここでの撮影条件とは、
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞りの値）
・撮像素子の感度
の４点である。
例えば、撮像部１７の感度がＩＳＯ１００に設定されていたとする。
被写体の明るさを測定（測光）し、この測光結果に基づいて適正に露光するためには、絞り１３ａを全開（例えばｆ２.８）にするとともにシャッター１２ａの閉じタイミング、すなわち露光時間を１／５０秒にする必要があるとする。
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で１００ｍｍであるとき、露光時間を１／５０秒とする撮影では手振れにより像振れが発生する恐れがあるので、手振れが生じないように露光時間を１／１００秒に設定して２回撮影を行うように設定する。
一方、撮影焦点距離が４００ｍｍであるときには、手振れが生じないように露光時間を１／５００秒に設定して１０回撮影を行うように設定する。
このように複数枚撮影を行う時の露光時間を撮影条件に合わせて決定し、さらに何枚撮影するかも撮影条件に合わせて設定する。
同一被写体を複数枚に分けて撮影するとしても、各撮影の露光条件はなるべく適正露光に近い方が撮像部１７において正確な情報が撮像できる。
このため、暗い被写体の場合や、撮影レンズが絞り込んでおり暗い場合、撮像部１９の感度が低く設定されている場合には、複数撮影といえども各撮影の露光時間はなるべく長くして有効な露光条件にする。
但し、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に表れるため、上述したように撮影光学系の焦点距離が３５ｍｍフィルム換算で１００ｍｍであるときは手振れが生じないように約焦点距離分の一に等しい露光時間である１／１００秒に設定している。
そして、その露光時間では足りない分を撮影枚数で補間している。
焦点距離が長い場合には、さらに露光時間を短くしないと手ぶれによる像劣化が生ずるのでさらに露光時間を短くして、その分撮影枚数を増やして露出補間を行う。
このように複数枚撮影における露光時間は、撮影被写体が暗いほど、また撮影レンズが暗いほど長くなり、撮像部１７の感度が低いほど長くなり、レンズの焦点距離が長いほど短くなる。
そして、複数枚撮影における撮影枚数は、撮影被写体が暗いほど、また撮影レンズが暗いほど多くなり、撮像素子の感度が低いほど多くなり、レンズの焦点距離が長いほど多くなる。
以上の計算が終了した後で、デジタルカメラのファインダ内に設けられた表示部やデジタルカメラの外装に設けられた液晶表示部に、防振モード（複数回撮影モード）が設定されたことを表示すると同時に、求めた撮影枚数を表示して撮影者に知らせる。
ステップＳ１００５では、シャッターボタン１２ｃが全押しされたか否かを判定する。シャッターボタン１２ｃが全押しされた場合、第２レリーズスイッチ（ＳＷ２）はオンになる。この場合はステップ１００６に進む。
ステップＳ１００６では、撮影した画像を一旦メモリ１１３に記憶しておく。
ステップＳ１００７では、すべての撮影が完了するまでステップＳ１００６、Ｓ１００７を循環して待機する。
そして、撮影が完了するとステップＳ１００８に進む。
ステップＳ１００８では、被写体操作部１２１により予め設定されている被写体選択枠（例えば図９の１４５）の外の画像（例えば図９の家１４４ｂ）の中から特徴的な像（特徴点）をズレ検出部１１４が抽出し、その像の座標を求める。
ステップＳ１００９では、座標変換部１１５が各画像の座標変換を行う。ここで、最初の１枚の画像（第１の画像）のみ座標の変換は行わない。すなわち、この第１の画像を座標変換の際の基準とする。
ステップＳ１０１０では、第２の画像のうちすべての画像について座標変換が終了するまでステップＳ１００８、１００９を循環して待機し、すべての画像の座標変換が完了するとステップＳ１０１１に進む。
ステップＳ１０１１では、１枚目に撮影された画像（第１の画像（図１１フレーム１４１ｂ））の被写体操作部１２１により予め設定されている被写体選択枠（例えば図１１の１４５）中の画像（例えば図１１の車１４３ｂ）の中から特徴的な像（特徴点）をズレ検出部１１４が抽出し、その像の座標を求める。そのときに、その抽出点の輝度、色相、彩度、明度を記憶しておき、これらの特徴と同じ点をグループ化して抽出することにより車１４３ｂの画像を抽出する。そして、先に記憶されている抽出点と同じ特徴をもった点を２枚目以降の画像（第２の画像）群の中（図１１のフレーム１４１ｃ）からズレ検出部１１４が抽出し、その車１４３ｂの画像が移動した軌跡を算出する。
ステップＳ１０１２にてステップＳ１０１１にて算出された軌跡をたどるように、各点の輝度、色相、彩度、明度により画像を補間していくことにより図１１の車１４３ｂが車１４３ｃまで流れているような画像を生成する。
ステップＳ１０１３では、第1の画像から第２の画像のうちすべての画像について補間作業が終了するまでステップＳ１０１１、１０１２を循環して待機し、すべての画像の座標変換が完了するとステップＳ１０１４に進む。
ステップＳ１０１４では、第１の画像と座標変換された第２の画像群の各画像との合成を行う。
ここで、画像の合成は各画像の対応する座標の値を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
ステップＳ１０１５では、合成された画像のうち各画像が構図ブレにより重ならなかった領域（図１１の領域１６０）をカットし、元のフレームの大きさになるように画像を拡散補間する。
ステップＳ１０１６では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データを表示部１１７に表示する。
ステップＳ１０１７では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データをメモリカード等の記録媒体に記録する。
ステップＳ１０１８では、スタートに戻る。
なお、ステップＳ１０１８の段階でまだ継続してシャッターボタン１２ｃが半押し操作されＳＷ１がオンになっているときは、そのままステップＳ１００１、Ｓ１００２、Ｓ１００３、Ｓ１００４と再度フローチャートを進めてゆく。
また、ステップＳ１０１８の段階でシャッターボタン１２ｃが全押し操作されＳＷ２がオンになっているときには、スタートに戻らずステップＳ１０１７で待機する。
次に、ステップＳ１００３で防振効果操作部１２０がオフの場合のフローチャートについて説明する。
ステップＳ１００３において、防振操作部１２０がオフと判断されたときには、ステップＳ１０２０に進む。
ステップＳ１０２０では、シャッターボタン１２ｃが全押しされたか否かを判定する。シャッターボタン１２ｃが全押しされた場合、第２レリーズスイッチ（ＳＷ２）はオンになる。この場合はステップＳ１０２１に進む。
ステップＳ１０２１では、通常の撮影（一回の露光で有効な露光条件を形成する通常撮影モード）が完了する迄待機し、露光完了と共にステップＳ１０１６に進む。
ステップＳ１０１６では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データを表示部１１７に表示する。
ステップＳ１０１７では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データをメモリカード等の記録媒体に記録する。
ステップＳ１０１８では、スタートに戻る。
本発明の第１の実施形態に係る撮像装置の構成の一例を示すブロック図である。 本発明の第１の実施形態に係る被写体選択図である。 本発明の第１の実施形態に係る選択被写体の位置座標図である。 本発明の第１の実施形態に係る座標変換後の画像合成図である。 本発明の第１の実施形態に係る主被写体以外の画像補間説明図である。 本発明の第１の実施形態に係る最終画像合成図である。 本発明の第１の実施形態に係る画像撮影処理を示すフローチャートである。 本発明の第２の実施形態に係る被写体選択図である。 本発明の第２の実施形態に係る選択被写体の位置座標図である。 本発明の第２の実施形態に係る座標変換後の画像合成図である。 本発明の第２の実施形態に係る主被写体以外の画像補間説明図である。 本発明に係る第２の実施形態に係る最終画像合成図である。
符号の説明
１２１ａ，１２１ｂ，１２１ｃ フレーム
１２２ａ，１２２ｂ，１２２ｃ 道路
１２３ｂ，１２３ｃ，１２３ｄ 車
１２５ 被写体選択枠
１２６ｂ，１２６ｃ 車の窓
１２７ｂ，１２７ｃ 車の窓の特徴点（エッジ）
１２８ 座標変換方向
１２９ｂ，１２９ｃ 木
１３０ｂ，１３０ｃ 木の特徴点その１
１３１ｂ，１３１ｃ 木の特徴点その２
１３２ｂ，１３２ｃ 木の特徴点その３
１３３ 木の特徴点その１の座標移動軌跡
１３４ 木の特徴点その２の座標移動軌跡
１３５ 木の特徴点その３の座標移動軌跡
１４０ ２枚の画像が重ならない領域
１４１ａ、１４１ｂ、１４１ｃ フレーム
１４２ａ、１４２ｂ、１４２ｃ 道路
１４３ｂ、１４３ｃ 車
１４４ｂ、１４４ｃ 家
１４５ 被写体選択枠
１４６ｂ，１４６ｃ 家の窓
１４７ｂ，１４７ｃ 家の窓の特徴点（エッジ）
１４８ ：座標変換方向
１５０ｂ，１５０ｃ 車の特徴点その１
１５１ｂ，１５１ｃ 車の特徴点その２
１５３ 車の特徴点その１の座標移動軌跡
１５４ 車の特徴点その２の座標移動軌跡
１６０ ２枚の画像が重ならない領域

Claims (7)

  1. 複数の画像の動き情報を検出する検出手段と、
    被写体を選択する選択手段と、
    前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、
    前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備え、
    前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行うことを特徴とする撮像装置。
  2. 複数の画像の動き情報を検出する検出手段と、
    被写体を選択する選択手段と、
    前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、
    前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備え、
    前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行うことを特徴とする撮像装置。
  3. 複数の画像の動き情報を検出する検出手段と、
    被写体を選択する選択手段と、
    前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、
    前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段と、
    前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う第１のモードと、前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行う第２のモードとを切り替える切替手段とを具備することを特徴とする撮像装置。
  4. 複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、
    前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備える撮像装置における制御方法であって、
    前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行うことを特徴とする制御方法。
  5. 複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備える撮像装置における制御方法であって、
    前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行うことを特徴とする制御方法。
  6. 複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備える撮像装置における制御方法であって、
    前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う第１のモードと、前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行う第２のモードとを切り替える切替工程とを備えることを特徴とする制御方法。
  7. 請求項４乃至６のいずれか１項に記載の制御方法を、撮像装置のコンピュータに実行させるためのプログラム。
JP2004271009A 2004-09-17 2004-09-17 撮像装置及び制御方法 Pending JP2006086933A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004271009A JP2006086933A (ja) 2004-09-17 2004-09-17 撮像装置及び制御方法
US11/226,340 US7664293B2 (en) 2004-09-17 2005-09-15 Image sensing apparatus and control method thereof
CNA2005101039870A CN1750601A (zh) 2004-09-17 2005-09-16 图像传感设备和及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004271009A JP2006086933A (ja) 2004-09-17 2004-09-17 撮像装置及び制御方法

Publications (1)

Publication Number Publication Date
JP2006086933A true JP2006086933A (ja) 2006-03-30

Family

ID=36074035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004271009A Pending JP2006086933A (ja) 2004-09-17 2004-09-17 撮像装置及び制御方法

Country Status (3)

Country Link
US (1) US7664293B2 (ja)
JP (1) JP2006086933A (ja)
CN (1) CN1750601A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281547A (ja) * 2006-04-03 2007-10-25 Samsung Techwin Co Ltd 撮像装置，及び撮像方法
JP2007281546A (ja) * 2006-04-03 2007-10-25 Samsung Techwin Co Ltd 撮像装置，及び撮像方法
EP2106130A2 (en) 2008-03-25 2009-09-30 Sony Corporation Image processing apparatus, image processing method, and program
KR20100084140A (ko) * 2009-01-15 2010-07-23 후지필름 가부시키가이샤 촬상 장치, 화상 처리 방법 및 프로그램
JP2010246162A (ja) * 2010-07-16 2010-10-28 Casio Computer Co Ltd 撮像装置と画像処理プログラム
US8285075B2 (en) 2008-03-25 2012-10-09 Sony Corporation Image processing apparatus, image processing method, and program
US8553138B2 (en) 2008-03-25 2013-10-08 Sony Corporation Image capture apparatus and method for generating combined-image data
US8558944B2 (en) 2008-03-25 2013-10-15 Sony Corporation Image capture apparatus and method for generating combined-image data
US8848097B2 (en) 2008-04-07 2014-09-30 Sony Corporation Image processing apparatus, and method, for providing special effect
JP2015195497A (ja) * 2014-03-31 2015-11-05 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JPWO2013150829A1 (ja) * 2012-04-03 2015-12-17 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006259663A (ja) * 2004-06-30 2006-09-28 Canon Inc 画像処理方法、画像表示装置、映像受信表示装置および画像処理装置
JP4766334B2 (ja) * 2004-12-21 2011-09-07 ソニー株式会社 画像処理装置と画像処理方法および画像処理プログラム
WO2007032082A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置
JP4735978B2 (ja) * 2006-07-21 2011-07-27 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP5111088B2 (ja) * 2007-12-14 2012-12-26 三洋電機株式会社 撮像装置及び画像再生装置
CN101658028B (zh) * 2008-02-04 2012-07-25 松下电器产业株式会社 图像合成装置、图像合成方法、集成电路、摄像***以及摄像方法
JP4561845B2 (ja) * 2008-02-29 2010-10-13 カシオ計算機株式会社 撮像装置と画像処理プログラム
US20110109745A1 (en) * 2008-07-07 2011-05-12 Yuzuru Nakatani Vehicle traveling environment detection device
JP4720859B2 (ja) * 2008-07-09 2011-07-13 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
JP4623200B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011022727A (ja) * 2009-07-14 2011-02-03 Sony Corp 画像処理装置および画像処理方法
JP5423287B2 (ja) * 2009-09-29 2014-02-19 リコーイメージング株式会社 撮像装置
US9569874B2 (en) 2015-06-05 2017-02-14 International Business Machines Corporation System and method for perspective preserving stitching and summarizing views
CN108271022B (zh) * 2016-12-30 2020-07-17 展讯通信（上海）有限公司 一种运动估计的方法及装置
CN106791456A (zh) * 2017-03-31 2017-05-31 联想(北京)有限公司 一种拍照方法及电子设备
US10600157B2 (en) 2018-01-05 2020-03-24 Qualcomm Incorporated Motion blur simulation
CN112637491A (zh) * 2020-12-18 2021-04-09 维沃移动通信（杭州）有限公司 拍摄方法和拍摄装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3110797B2 (ja) 1991-06-21 2000-11-20 キヤノン株式会社 撮像方法及び撮像画面合成装置
JPH10341367A (ja) * 1997-06-06 1998-12-22 Toshiba Corp 静止画像生成方法及び静止画像取り込みシステム
JPH11252427A (ja) 1998-03-02 1999-09-17 Fuji Photo Film Co Ltd タッチパネル操作式カメラ
US6791605B1 (en) * 1999-05-07 2004-09-14 Eastman Kodak Company Image capture and printing device
JP4264859B2 (ja) 1999-09-24 2009-05-20 奥村遊機株式會社 パチンコ機
US6999117B2 (en) * 2000-05-16 2006-02-14 Fuji Photo Film Co., Ltd. Image pickup device and method for automatically inputting predefined information and processing images thereof
JP4511066B2 (ja) * 2001-03-12 2010-07-28 オリンパス株式会社 撮像装置
JP4696407B2 (ja) * 2001-06-20 2011-06-08 株式会社ニコン 商品推奨システムおよび商品推奨方法
JP4192443B2 (ja) 2001-06-20 2008-12-10 株式会社ニコン 撮影アドバイスシステムおよび撮影アドバイス提供方法
JP4596223B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP3877565B2 (ja) * 2001-10-04 2007-02-07 松下電器産業株式会社 撮像装置
JP2004220002A (ja) * 2002-12-27 2004-08-05 Ricoh Co Ltd 両面画像形成装置及び方法
JP2004357202A (ja) * 2003-05-30 2004-12-16 Canon Inc 撮影装置
US7756407B2 (en) * 2006-05-08 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for deblurring images
US7616826B2 (en) * 2006-07-28 2009-11-10 Massachusetts Institute Of Technology Removing camera shake from a single photograph using statistics of a natural image

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281546A (ja) * 2006-04-03 2007-10-25 Samsung Techwin Co Ltd 撮像装置，及び撮像方法
JP2007281547A (ja) * 2006-04-03 2007-10-25 Samsung Techwin Co Ltd 撮像装置，及び撮像方法
JP4662880B2 (ja) * 2006-04-03 2011-03-30 三星電子株式会社 撮像装置，及び撮像方法
US8285075B2 (en) 2008-03-25 2012-10-09 Sony Corporation Image processing apparatus, image processing method, and program
EP2106130A2 (en) 2008-03-25 2009-09-30 Sony Corporation Image processing apparatus, image processing method, and program
US8558944B2 (en) 2008-03-25 2013-10-15 Sony Corporation Image capture apparatus and method for generating combined-image data
US8553138B2 (en) 2008-03-25 2013-10-08 Sony Corporation Image capture apparatus and method for generating combined-image data
US8275212B2 (en) 2008-03-25 2012-09-25 Sony Corporation Image processing apparatus, image processing method, and program
US8848097B2 (en) 2008-04-07 2014-09-30 Sony Corporation Image processing apparatus, and method, for providing special effect
JP2010166289A (ja) * 2009-01-15 2010-07-29 Fujifilm Corp 撮像装置及び画像処理方法並びにプログラム
US8587684B2 (en) 2009-01-15 2013-11-19 Fujifilm Corporation Imaging apparatus, image processing method, and image processing program
KR20100084140A (ko) * 2009-01-15 2010-07-23 후지필름 가부시키가이샤 촬상 장치, 화상 처리 방법 및 프로그램
KR101626780B1 (ko) * 2009-01-15 2016-06-02 후지필름 가부시키가이샤 촬상 장치, 화상 처리 방법 및 프로그램
JP2010246162A (ja) * 2010-07-16 2010-10-28 Casio Computer Co Ltd 撮像装置と画像処理プログラム
JPWO2013150829A1 (ja) * 2012-04-03 2015-12-17 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP2015195497A (ja) * 2014-03-31 2015-11-05 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Also Published As

Publication number Publication date
CN1750601A (zh) 2006-03-22
US20060062433A1 (en) 2006-03-23
US7664293B2 (en) 2010-02-16

Similar Documents

Publication Publication Date Title
JP2006086933A (ja) 撮像装置及び制御方法
JP4378272B2 (ja) 撮影装置
JP4900401B2 (ja) 撮影装置およびプログラム
JP4181923B2 (ja) 撮像装置および撮像装置の制御方法
JP5456856B2 (ja) デジタル一眼レフカメラ
JP2007074031A (ja) 撮像装置、及び、画像処理装置及び方法
JP2004357202A (ja) 撮影装置
KR101256326B1 (ko) 촬상 장치, 촬상 방법 및 촬상 프로그램을 기록한 기록 매체
JP4164424B2 (ja) 撮像装置及び方法
JP2003008966A (ja) 撮像装置、ソフトフォーカス画像撮影方法
JP2007243250A (ja) 撮像装置および撮像方法
JP2008288975A (ja) 撮像装置、撮像方法および撮像プログラム
JP2006050457A (ja) 撮像装置
JP2007300581A (ja) 動画撮影装置および動画撮影プログラム
JP2004221992A (ja) 撮影装置およびプログラム
JP2006173774A (ja) 撮像装置及び撮像装置の画像表示方法
JP4418632B2 (ja) 撮影装置、合成画像生成方法およびプログラム
JP4323969B2 (ja) 撮影装置
JP2002158919A (ja) 撮像装置及び画像取得ステップ
JP4977569B2 (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
JP2006054698A (ja) 手振れ補正機能を有する撮像装置
JP5693664B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2010233188A (ja) 撮像装置、その制御方法及びプログラム
JP2015233211A (ja) 撮像装置およびその制御方法ならびにプログラム
JP2009017606A (ja) 撮影装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080314