JP2007318490A - 画像処理装置、カメラ、及び画像処理プログラム - Google Patents

Abstract

【課題】簡単な構成でまた簡単な操作で広い範囲の撮影を可能とする。
【解決手段】少なくとも前後に撮影した画像と撮影領域の一部を重複しながら連続して撮影された複数枚の画像のうちの所定の画像から特徴部を抽出する特徴部抽出部と、前記特徴部抽出部で抽出された特徴部を含む画像を、前記所定の画像を除く前記複数枚の画像から検出する検出部と、この検出部により検出された画像と前記所定の画像とを、前記特徴部のそれぞれが合致するように１枚の画像に合成する合成部とを具備する。
【選択図】 図１

Description

本発明は、複数の画像を合成してパノラマ写真のように広い範囲を撮影した画像を得る画像処理装置、並びにそのような画像処理装置を備えたカメラ、更には、コンピュータを上記画像処理制御装置として機能させるためのコンピュータ読み込み可能な画像処理プログラムに関する。

従来、パノラマ写真に関して、パノラマ写真を撮影するためのフィルムカメラや、パノラマ写真を作成するための技法が知られてきた。

パノラマ写真とは、一般に、広大な場面や情景を一目で眺められるように撮影された横長の超広角度の写真である。

また、パノラマ写真撮影機能のない一般のフィルムカメラで撮影する時は、一方向から他方向へと水平に画面を２５％位ずつ重なるようにカメラを移動させながら、何枚も撮影し、そうして撮影した複数コマを、印画作成時に、境目を重ねながら継ぎ合わせて作られる。

近年、デジタルカメラが登場した。このようなデジタルカメラでは、ＣＣＤ等の撮像素子によって、被写体を撮像し、この撮像によって得られた被写体画像データが、データ圧縮等を行なわれた後に、内部メモリに画像データとして記録される。この撮影された画像をパーソナルコンピュータで処理でき、画像データをメディアに記憶させておけるなどの便利さや簡便さから人気が高くなっている。また、撮像素子の画素数の飛躍的向上など、デジタルカメラをめぐる技術革新の速さにも目覚しいものがある。デジタルカメラで、パノラマ写真を撮影する機能を備えるものもあり、デジタルカメラにおけるパノラマ写真をめぐる研究開発も進んできた。

これに類する研究は、古くから行われており、例えば、特許文献１では、検知器を構成するマトリクス状に縦横に配列された２次元固体撮像素子が、各々、所定間隔を隔てて配設されている。これに対して、撮像される観測視野は、連続的で間隔がないことが問題とされている。すなわち、従来、２次元固体撮像素子群と観測視野との間には両者に平行に固定されたレンズが設けられていたが、上記のように２次元固体撮像素子の間には所定の間隔があるので、この固定されたレンズを通して、そのまま観測視野を撮像すると、各２次元固体撮像素子の間の部分が像を検知できない領域となってしまうことに問題がある。この問題に対して、特許文献１では、レンズを２次元固体撮像素子の非蓄積時間に上下左右に移動させる。これによって、特定の２次元固体撮像素子と観測視野の対応する各部分とを一致させてから撮像するということを全ての２次元固体撮像素子と対応する観測視野部分との対に対して繰り返し行なう。そして、各２次元固体撮像素子に蓄積された像を互いに接続し、観測視野全体の像を表示することにより上記問題を解決している。

また、比較的近年の研究では、例えば、特許文献２で、カメラ本体にジャイロセンサが設けられており、カメラの向きの変化を検出することができる。このジャイロセンサにより、撮影者は、１枚目の写真の撮影の後、カメラの向きを変えた時に、ジャイロセンサにより検出された向きの変化をファインダ内のインジケータにより知ることができる。撮影者は、インジケータの指示により１枚目の写真と隙間なく接続されるように、２枚目以降の写真を撮影することができる。さらに、特許文献２には、このように撮影された隣接する画像を隙間なく接続してプリントするビデオプリンタが開示されている。

ＣＣＤ素子のような撮像素子の技術開発の進展により、近年高速でのデジタル画像連写が可能となってきている。すなわち、毎１秒に３０乃至６０フレームでのメガピクセル撮影が技術的に可能となってきている。このような連続撮影が技術的に可能となると、この技術を応用した動画撮影やこの動画を利用したパノラマ撮影等が可能となる。
特開昭６３−１９１４８３号公報 特開平６−１０５２１４号公報

しかし、上述の特許文献２に開示されている発明では、特別なセンサを利用するため構成が複雑でコストやスペースの面で制約も大きかった。

本発明の目的は、このような点を課題として、簡単な構成でまた簡単な操作で広い範囲の撮影を可能とする画像処理制御装置、画像処理装置、カメラ、及び画像処理制御プログラムを提供することである。

本発明の画像処理装置の一態様は、
少なくとも前後に撮影した画像と撮影領域の一部を重複しながら連続して撮影された複数枚の画像のうちの所定の画像から特徴部を抽出する特徴部抽出部と、
前記特徴部抽出部で抽出された特徴部を含む画像を、前記所定の画像を除く前記複数枚の画像から検出する検出部と、
この検出部により検出された画像と前記所定の画像とを、前記特徴部のそれぞれが合致するように１枚の画像に合成する合成部と、
を具備することを特徴とする。

本発明のカメラの一態様は、
メモリに記憶されている少なくとも前後に撮影した画像と撮影領域の一部を重複しながら連続して撮影された複数枚の画像のうちの所定の画像から特徴部を抽出する特徴部抽出部と、
前記特徴部抽出部で抽出された特徴部を含む画像を、前記メモリに記憶されている前記所定の画像を除く前記複数枚の画像から検出する検出部と、
この検出部により検出された画像と前記所定の画像とを、前記特徴部のそれぞれが合致するように１枚の画像に合成する合成部と、
を具備することを特徴とする。

本発明のカメラの別の態様は、
被写体をモニタする画像表示部と、
この画像表示部に表示された画像の内の前記画像表示部の一方の端部に表示された所定被写体の画像を検出する画像検出部と、
前記所定被写体の画像が連続撮影によって前記画像表示部の他方の端部に移動することを追跡する像追跡部と、
この像追跡部での追跡結果を用いて、前記連続撮影によって得られた複数枚の撮影画像を合成する合成部と、
を具備することを特徴とする。

本発明の画像処理プログラムの一態様は、
少なくとも前後に撮影した画像と撮影領域の一部を重複しながら連続して撮影された複数枚の画像を１枚の画像に合成する画像処理装置のコンピュータを制御するための画像処理プログラムであって、
前記複数枚の画像のうちの所定の画像から特徴部を抽出する特徴部抽出部、
前記特徴部抽出部で抽出された特徴部を含む画像を、前記所定の画像を除く前記複数枚の画像から検出する検出部、
この検出部により検出された画像と前記所定の画像とを、前記特徴部のそれぞれが合致するように１枚の画像に合成する合成部、
として機能させるようにしたことを特徴とする。

本発明によれば、簡単な構成でまた簡単な操作で、広い範囲の画像を撮影することが可能となる。従って、小型で携帯性にすぐれなお且つパノラマ写真のような迫力のある画像を撮影することができるカメラを構成することができるので、旅行等に携帯するのに好適なカメラを提供できる。

以下、図面を参照して、本発明の実施の形態を説明する。

（第１実施形態)
図１は、本発明の第１実施形態が適用されたデジタルカメラの概略的なブロック図である。なお、後述する第２実施形態以降も適用されるカメラのブロック図は同様である。このデジタルカメラ１５は、マイクロコントローラ等からなる演算制御部（ＭＰＵ）１を有する。この演算制御部１は、ユーザの操作を各スイッチ１ａ、１ｂ及び１ｃの状態によって検出する。これらスイッチ１ａ、１ｂ及び１ｃは、デジタルカメラ１５の電源のオン・オフや、レリーズスイッチや、以下で述べる撮影、再生及びその他のモード切換用のスイッチとしてユーザが操作する。また、演算制御部１には、ＲＯＭ８が接続されている。演算制御部１は、スイッチ入力の結果と、ＲＯＭ８内のプログラムとに従って、デジタルカメラの各ブロックをシーケンシャル制御して、一連の撮影や再生を実行する。

撮影レンズ２は、ＡＦ（autofocus）ズームレンズ等である。ピント合わせ部２ａとズーム制御部２ｂとが、演算制御部１に接続されており、これらピント合わせ部２ａとズーム制御部２ｂとはそれぞれ、撮影レンズ２のピント制御と画角切換及び判定とを行っている。また、演算制御部１に接続されている補助光照射部４ａは、被写体１７に向けて光を照射し、露出を補ない、影を消す働きをする。

撮影時には、撮影レンズ２からデジタルカメラ内に入射した被写体１７の像は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子３ａによって、電気信号に変換される。この電気信号の読出し及びＡ／Ｄ（analog-digital）変換は、撮像素子３ａと接続されているアナログフロントエンド（ＡＦＥ）回路３で行われる。このＡＦＥ回路３は、露出レベルの切り換え制御も行なう。処理されたデジタル画像信号は、このＡＦＥ回路３に接続されている信号処理回路５に入力される。デジタル画像信号は、この信号処理回路５で、色補正や信号圧縮などの処理が行われ、この信号処理回路５に接続されているメモリ７に記録されて、撮影が終了する。また、信号処理回路５に接続されているマイク３ｂからの音声信号も同時に圧縮処理が行われ、メモリ７に記録される。この過程で、種々の演算を行なうために信号処理回路５に接続されているＲＡＭ６に適宜データの格納を行なう。

また、信号処理回路５は、補助ブロック５ａを有する。この補助ブロック５ａは、露出レベルを変更した後の増感や画像処理時の補正のかけ方を変更し、また撮像素子３ａの電気信号をメモリ７に記録する時の圧縮率を変更する。

撮影のためのユーザによる構図決定は、信号処理回路５に接続され、ＬＣＤ（Liquid Crystal Display）等からなり、デジタルカメラ１５の背面に設けられている、表示部９によって、撮像素子３ａからの信号を逐次再生させて表示することによって、被写体１７の状態を確認しながら行なう。

また、再生は、ユーザの操作にしたがって、メモリ７の中の圧縮された画像データ及び音声データを信号処理回路５が読み出して、画像データを表示部９に表示し、さらに、音声データを信号処理回路５に接続されているスピーカ１０で再生することにより行なう。すなわち、画像表示と音声再生との制御は、信号処理回路５により行なう。また、撮影された画像等は、信号処理回路５に接続されているプリント信号出力部１１やワイヤレス部１２により、外部に送信が可能である。

動画ファイルは、録画画像をそのままメモリ７に記録していくと、画像データの占めるサイズが大きくなりすぎるので、表示部９に合わせてリサイズし、又は、ＭＰＥＧ−４やＨ．２６４等の動画圧縮方法で圧縮して記録を行なう。

さらに、演算制御部１及び信号処理回路５に接続されている特徴部抽出部４ｂは、撮像素子３ａにより得られた電気信号を解析して、特徴部を抽出する。さらに、この特徴部抽出部４ｂには、合成部４ｃが接続されており、この合成部４ｃは、特徴部抽出部４ｂにより抽出された特徴部を利用して、複数の画像を合成するユニットである。

図２は、従来技術により作成されたパノラマ写真の一例を示している。また、図３は、図２のパノラマ写真を構成するための２枚の写真を示す図である。図２に示されているような広い範囲の撮影が必要な時、従来から、図３のようなパノラマ写真の構成要素となる２枚の写真（ａ）、（ｂ）を撮影して、その後に、合成する手法が古くから知られている。しかし、このように、つなぎ目に隙間が生じないように、うまく接続して合成できる写真を撮影するのは大変困難である。

本第１実施形態においては、高速の撮像センサを利用して、動画を撮影するような操作を用いて、パノラマ写真を撮影する。すなわち、従来のように合成写真を構成するための、境界部が一致する２枚の画像を接続させて合成するのではなく、動画として撮影された多数の連続した画像を用いた工程で困難なくパノラマ画像を合成する。

図４は、このような動画によるパノラマ写真の合成を行なうためのデジタルカメラの使用例を示している。図５は、図４のデジタルカメラ１５の使用により撮影された複数の連続した画像の例を示している。図４に示されているように、ユーザ１６は、動画を撮影するように、風景のような被写体１７をデジタルカメラ１５を横方向に移動することにより連続的に撮影している。この結果、図５に示されているような連続画像（ａ）乃至（ｇ）が撮影される。これら連続画像の中から適当な画像を抜き出してパノラマ画像を合成する。すなわち、図５に示されているように、画像（ａ）の中央にある特徴部である家が、画像（ｄ）の端部に見えている。また、この画像（ｄ）の反対側の端部に新たな特徴部である木が、写されており、この特徴部は、画像（ｇ）の端部に写されている。したがって、図５の例では、画像（ａ）、（ｄ）及び（ｇ）を用いて、パノラマ画像を合成することができる。特徴部は、パノラマ作成で画面が繋がる方向で、変化するポイントであることが重要である。つまり、図５の建物のように、水平にカメラを動かした時に、その変化が分かるように、垂直方向に輪郭があるものである必要がある。また、垂直にカメラを動かした時には、垂直にのみ輪郭があると、画面の変化が分からないので、水平に輪郭があるものを特徴部として選択することが重要である。したがって、特徴部は、これらの状況に対応できるように、画面の中で垂直方向、水平方向とも、コントラストが変化しているものであることが好ましい。

図６ａ、ｂは、デジタルカメラ制御のフローチャートを示している。このフローは、図１に示されている演算制御部１が実行している。高速の撮像素子３ａからの画像信号は、順次、信号処理回路５で処理されてメモリ７に保存されていく。パノラマ画像を作成するためには以下のようにする。

図６ａのフローチャートを開始して、まず、デジタルカメラによる連続撮影の工程Ｒ１を行なう。例えば、ユーザ１６が、連続撮影のためのスイッチ、例えばレリーズスイッチ１ｂを押圧している間、この連続撮影の工程Ｒ１は、繰り返される。工程Ｒ２では、連続撮影の終了を判定している。ユーザ１６によるレリーズスイッチ１ｂの押圧が継続していれば、工程Ｒ１を続けて行なう。もし、スイッチの押圧が終了している時は、連続撮影の工程Ｒ１を終了して、第１基準画像の選択の工程Ｒ３を行なう。第１基準画像は、必ずしも、連続撮影の最初の１コマではなく、画像のぶれがないとか、画像の中央部付近に明瞭な特徴部を含むなどの所定の特徴を有する最初の画像でよい。次に、工程Ｒ４に進み、第１基準画像の中央部の特徴部を抽出し、第１特徴部とする。この基準画像からの特徴部の抽出は、図１に示されている上記の特徴部抽出部４ｂが演算制御部１の制御を受けて行なっている。この工程Ｒ４まで実行されると、図５に示されている例によれば、画像（ａ）の中央部の家を特徴部として抽出することが終了したことになる。次に、第１特徴部が左右いずれかの端部にある第２基準画像を選択できるか判定する工程Ｒ５を実行する。これは、図５に示されている例によれば、画像の左端に第１特徴部である家が写っている画像（ｄ）を第２基準画像として選択できることを判定することに相当する。この工程Ｒ５でＮＯに分岐する場合は、第２基準画像が見つからない場合であり、この説明の最後に触れる。

次の工程Ｒ６は、工程Ｒ５で選択可能と判断された第２基準画像を実際に選択する工程である。次に、工程Ｒ７で変数ｎに値２を代入する。この変数ｎは、第ｎ基準画像までが選択されたことを示す変数であり、工程Ｒ７の時点では、第２基準画像までが選択されているのでｎ＝２として変数ｎを初期化している。次の工程Ｒ８は、第１特徴部のある端部が第２基準画像の左にあるか否かを判断する工程である。工程Ｒ９Ｒ、Ｒ９Ｌでは、工程Ｒ８の判定結果に基づいて、デジタルカメラ１５を動かした方向に対応させて、それぞれ変数「ｄｉｒｅｃｔｉｏｎ」に「右」、「左」の値を代入する。次に、工程Ｒ１０で、第ｎ基準画像の「ｄｉｒｅｃｔｉｏｎ」側で第ｎ特徴部を抽出する。この工程は、図５に示された例によれば、画像（ｄ）を第２基準画像として選択した時に、この画像の右端に次の特徴部である木を第２特徴部として抽出する工程に相当する（ｎ＝２、「ｄｉｒｅｃｔｉｏｎ」＝「右」）。次に、工程Ｒ１１で、第ｎ特徴部が端部にある、第２乃至第ｎ基準画像以外の画像（第（ｎ＋１）基準画像）を選択できるか否かを判定している。この工程Ｒ１１は、図５に示されている例によれば、画像（ｄ）で第２特徴部として抽出された木が端部に写っている画像があるのかどうかを判定していることに相当する（ｎ＝２）。図５に示されている例によれば、画像（ｇ）があり、Ｒ１１の判定はＹＥＳに分岐することになる。また、第２乃至第ｎ基準画像以外から第（ｎ＋１）基準画像を選択するのは、第（ｎ＋１）基準画像をこれらの既に選ばれた画像と重複して選ばないようにするためである。Ｒ１１の分岐ＹＥＳに分岐した場合、次の工程Ｒ１２で、工程Ｒ１１で選択された画像は、第（ｎ＋１）基準画像として選択される。これは、図５に示されている例によれば、画像（ｇ）を第３基準画像として選択することに相当する。次の工程Ｒ１３では、変数ｎにｎ＋１の値を改めて代入する。これら工程Ｒ８乃至Ｒ１３は、工程Ｒ１１でＮＯに分岐するまで繰り返される。工程Ｒ１１でＮＯに分岐した時は、これまでの工程で選択された第１乃至第ｎ基準画像を、工程Ｒ１４で合成する。この合成は、図１に示されている上記合成部４ｃが、演算制御部１の制御を受けて、メモリ７の中にある基準画像や特徴部抽出の結果を利用して行なっている。工程Ｒ１５で、合成した画像を表示部９に表示する。

最後に、上で予告したように工程Ｒ５でＮＯに分岐した場合について説明する。この場合は、ユーザ１６のデジタルカメラ１５による連続撮影の横方向の幅が短すぎた場合に相当し、第１特徴部が左右いずれかの端部にある画像合成のための第２基準画像が記録されていないことになる。この場合は、次の工程Ｒ７’で変数ｎにｎ＝１と代入し、工程Ｒ１４に進む。この工程Ｒ１４では実際には合成のための２枚以上の画像がないために第１基準画像そのものを、この工程の結果として出力する。

この実施形態では、連続した画像を用いているので、複数の画像の中で重ならない領域はなく、この実施の形態によれば、必ずパノラマ画像を形成することができる。また、たくさんの画像の中から使える画像のみを利用するので、図３に示されているような従来の方式よりも失敗がなく、ユーザのストレスもなく、パノラマ画像の撮影が可能となっている。

図６ｂは、図６ａのフローチャートの変形例である。図６ｂのフローチャートを開始して、まず、デジタルカメラによる連続撮影の工程Ｓ１を行なう。例えば、ユーザ１６が、連続撮影のためのスイッチ、例えばレリーズスイッチ１ｂを押圧している間、この連続撮影の工程Ｓ１は、繰り返される。工程Ｓ２では、連続撮影の終了を判定している。ユーザ１６によるスイッチの押圧が継続していれば、工程Ｓ１を続けて行なう。スイッチの押圧が終了すると、連続撮影の工程Ｓ１を終了して、第１基準画像の選択の工程Ｓ３を行なう。第１基準画像は、必ずしも、連続撮影の最初の１コマではなく、画像のぶれがないとか、画像の中央部付近に明瞭な特徴部を含むなどの所定の特徴を有する最初の画像でよい。次に、工程Ｓ４に進み、第１基準画像の中央部の特徴部を抽出し、第１特徴部とする。この基準画像からの特徴部の抽出は、図１に示されている上記の特徴部抽出部４ｂが演算制御部１の制御を受けて行なっている。この工程Ｓ４まで実行されると、図５に示されている例によれば、画像（ａ）の中央部の家を特徴部として抽出することが終了したことになる。次に、第１特徴部が左右いずれかの端部にある第２基準画像を選択できるか判定する工程Ｓ５を実行する。これは、図５に示されている例によれば、画像の左端に第１特徴部である家が写っている画像（ｄ）を第２基準画像として選択できることを判定することに相当する。この工程Ｓ５でＮＯに分岐する場合は、第２基準画像が見つからない場合であり、この説明の最後に触れる。

次の工程Ｓ６は、工程Ｓ５で選択可能と判断された第２基準画像を実際に選択する工程である。次の工程Ｓ７は、第１特徴部のある端部が第２基準画像の左にあるか否かを判断する工程である。この端部が、第２基準画像の左側にある場合、ユーザ１６は、図４に示されている例のようにデジタルカメラ１５を右に動かして工程Ｓ１の連続撮影を行なったことになる。逆に、この端部が第２基準画像の右側にある場合、ユーザ１６は、デジタルカメラ１５を左に動かして工程Ｓ１の連続撮影を行なったことになる。工程Ｓ８Ｒ、Ｓ８Ｌでは、工程Ｓ７の判定結果に基づいて、デジタルカメラ１５を動かした方向に対応させて、それぞれ変数「ｄｉｒｅｃｔｉｏｎ」に「右」、「左」の値を代入する。すなわち、この変数「ｄｉｒｅｃｔｉｏｎ」の値は、工程Ｓ１でデジタルカメラ１５を動かした方向と同じ向きであり、現在の基準画像の中で次の特徴部を抽出しなければならない側が左右のどちらの端部であるかを示す変数である。すなわち、第２特徴部は、この第２基準画像の「ｄｉｒｅｃｔｉｏｎ」側に抽出しなければならない。次に、工程Ｓ９で変数ｎに値２を代入する。この変数ｎは、第ｎ基準画像までが選択されたことを示す変数であり、工程Ｓ９の時点では、第２基準画像までが選択されているのでｎ＝２として変数ｎを初期化している。次に、工程Ｓ１０で、第ｎ基準画像の「ｄｉｒｅｃｔｉｏｎ」側で第ｎ特徴部を抽出する。この工程は、図５に示された例によれば、画像（ｄ）を第２基準画像として選択した時に、この画像の右端に次の特徴部である木を第２特徴部として抽出する工程に相当する（ｎ＝２、「ｄｉｒｅｃｔｉｏｎ」＝「右」）。次に、工程Ｓ１１で、第ｎ特徴部が「ｄｉｒｅｃｔｉｏｎ」側と反対側にある画像（第（ｎ＋１）基準画像）を選択できるか否かを判定している。この工程Ｓ１１は、図５に示されている例によれば、画像（ｄ）で第２特徴部として抽出された木が左側の端部に写っている連続撮影の後の画像があるのかどうかを判定していることに相当する（ｎ＝２、「ｄｉｒｅｃｔｉｏｎ」＝「右」）。図５に示されている例によれば、画像（ｇ）があり、Ｓ１１の判定はＹＥＳに分岐することになる。Ｓ１１の分岐ＹＥＳに分岐した場合、次の工程Ｓ１２で、工程Ｓ１１で選択された画像は、第（ｎ＋１）基準画像として選択される。これは、図５に示されている例によれば、画像（ｇ）を第３基準画像として選択することに相当する。次の工程Ｓ１３では、変数ｎにｎ＋１の値を改めて代入する。これら工程Ｓ１０乃至Ｓ１３は、工程Ｓ１１でＮＯに分岐するまで繰り返される。工程Ｓ１１でＮＯに分岐した時は、これまでの工程で選択された第１乃至第ｎ基準画像を、工程Ｓ１４で合成する。この合成は、図１に示されている上記合成部４ｃが、演算制御部１の制御を受けて、メモリ７の中にある基準画像や特徴部抽出の結果を利用して行なっている。工程Ｓ１５で、合成した画像を表示部９に表示する。

最後に、上で予告したように工程Ｓ５でＮＯに分岐した場合について説明する。この場合は、ユーザ１６のデジタルカメラ１５による連続撮影の横方向の幅が短すぎた場合に相当し、第１特徴部が左右いずれかの端部にある画像合成のための第２基準画像が記録されていないことになる。この場合は、次の工程Ｓ９’で変数ｎにｎ＝１と代入し、工程Ｓ１４に進む。この工程Ｓ１４では実際には合成のための２枚以上の画像がないために第１基準画像そのものを、この工程の結果として出力する。

この実施形態でも、連続した画像を用いているので、複数の画像の中で重ならない領域はなく、この実施の形態によれば、必ずパノラマ画像を形成することができる。また、たくさんの画像の中から使える画像のみを利用するので、図３に示されているような従来の方式よりも失敗がなく、ユーザのストレスもなく、パノラマ画像の撮影が可能となっている。

図６ｃ、ｄは、図６ａ又は図６ｂに示されているフローチャートで行なわれる基準画像の選択と特徴部の抽出とが、メモリ内でどのように実行されているかを示す図である。

本実施形態におけるデジタルカメラでは、図６ｃに示されているように、前記基準画像の選択と特徴部の抽出とは、選択された全ての基準画像と、全ての抽出された特徴部とをメモリ７内の基準画像格納領域と特徴部格納領域とにそれぞれ転送することにより行なう。図６ｃに示されている例では、４つの基準画像が基準画像格納領域に転送され、特徴部格納領域には、４つの特徴部が記憶されている。また、合成部４ｃにより合成されたパノラマ画像もメモリ７内の合成画像格納領域に記憶されている。

また、図６ｄに示されているように、選択された基準画像が連続撮影された何番目の画像かを示す全ての情報と、全ての抽出された特徴部とをメモリ７内の他の領域に転送することにより行なうようにしてもよい。図６ｄにおいて、連続撮影された全ての画像の領域で各画像には、連続撮影の開始から終了までに撮影された全ての画像に、例えば、自然数の、変数が与えられている。図６ｄの中で両側に黒丸が付されている画像が基準画像として選択された画像であり、基準画像の変数格納領域には、黒丸が付されている画像が何番目の画像かを示す変数のみが格納されている。また、合成部４ｃにより合成されたパノラマ画像もメモリ７内の合成画像格納領域に記憶されている。

メモリ７内に記憶されている画像は、信号処理回路５により、ＬＣＤパネル等の表示部９に表示される。

（第２実施形態）
図７ａは、上下方向にずれた基準画像からのパノラマ画像の構成を示しており、図７ｂは、上下方向にずれた基準画像から合成されたパノラマ画像の例を示している。動画の撮影方法を利用して、１枚のパノラマ画像を得る時には、動画を連続撮影している時に、上下にカメラが動いてしまうと、図７ａに示されているように、パノラマ画像は、各基準画像の共通部分で合成されるので図７ａのΔｙだけの合成不可能部分を生じてしまい、結果として生じるパノラマ画像も図７ｂに示されているように、上下でそれぞれΔｙだけ基準画像の縦方向のサイズより小さくなる。従って、ユーザ１６は、デジタルカメラ１５をΔｙのずれを生じないように、真横に動かす必要がある。しかし、いくら意識して動かしても、ユーザの感覚だけでは、真横に動かし続けることは難しい。

図８は、連続撮影中に横方向へのデジタルカメラの移動のためのユーザサポートを設けた場合の表示画面の一例である。本発明の他の態様において、図８に示されているように、デジタルカメラ背面のＬＣＤ等の表示部９に撮像素子３ａからのモニタ用のサブ画面９ｂの他、インジケータ表示部９ｃを設け、デジタルカメラ１５の横方向への連続撮影の間、このデジタルカメラ１５が上下に動いていないかをこのインジケータ表示部９ｃに表示している。このインジケータ表示部９ｃは、グラフ形式で、横軸はデジタルカメラ１５の左右の位置を、縦軸は、ある特徴部の画面内上下方向の位置を表示するようにする。連続撮影の時に、特徴部の位置を検出し、数値化してグラフ上にプロット表示する。ユーザ１６は、この特徴部が上下に振れないように、デジタルカメラ１５を動かすようにし、もし、連続撮影の途中でずれてしまったら、インジケータ表示部９ｃを見ながら特徴部のプロットポイントが一直線になるように、縦方向の向きを微調整しながらデジタルカメラ１５を動かしていく。また、表示部９には枠９ｄを設け、連続撮影時に現在参照している特徴部を表示することができる。

図９は、上記のような上下方向へのユーザサポートを伴う連続撮影のためのフローチャートである。このフローチャートは、図６ａに示されているフローチャートの開始、Ｓ１の連続撮影及びＳ２の連続撮影終了の各工程が改良された変形例である。以下、図９に示されているフローチャートを参照しながら説明する。

フローチャートの工程Ｔ１は、例えばモード切換え用のスイッチ１ｃの操作により、ユーザ１６がデジタルカメラ１５を動かす方向を指定し、その結果によって、制御を切り換えるための分岐の工程である。ユーザ１６がデジタルカメラ１５を動かす方向を自動検出することも可能だが、説明の簡単のためにこのフローチャートではユーザ１６による指定を入力工程とした。ユーザ１６の入力は、デジタルカメラ１５の演算制御部１が、判定して制御を切り換える。このフローチャートでは、例として、ユーザ１６が右方向に動かすことを選択したか否かを判定している。ＹＥＳに分岐すると、以降では、ユーザ１６が右方向にデジタルカメラ１５を動かしながら連続撮影する各工程に移行する。ＮＯに分岐した場合は、ユーザ１６が左方向にデジタルカメラ１５を動かしながら連続撮影する各工程に移行する。右方向又は左方向に動かしながら連続撮影する工程は、ユーザ１６がデジタルカメラ１５を動かす方向を除いて同等である。したがって、以下では、工程Ｔ１でユーザ１６が行なった選択がＹＥＳであるものとして説明する。

工程ＴＲ２では、表示部９で図８に示されているような右方向用表示がされる。続いて工程ＴＲ３では、ユーザ１６がデジタルカメラ１５のレリーズスイッチ１ｂを押圧することによりＹＥＳに分岐し、デジタルカメラ１５による連続撮影を開始する。次に、工程ＴＲ４では、既に撮影されメモリ７に記録された画像の右端から特徴部を抽出する。これは、画像の右端で抽出された特徴部は、カメラを右側に動かすにつれて、表示部９内を左側に向けて横向きに移動し、これを表示部９で常にモニタできるからである。また、この次の工程ＴＲ５では、抽出された特徴部を図８に示されている表示部９の中の枠９ｄの中に表示する。続いて、工程ＴＲ６では、撮像素子３ａにより被写体の撮影を行ない撮影された画像をメモリ７内に記録すると共に、図８に示されているサブ画面９ｂに撮影された画像を表示する。次に、工程ＴＲ７では、特徴部の縦方向の位置を、工程ＴＲ３における撮影開始時の特徴部の表示部９内での縦方向の位置を０として、グラフ９ｃにプロットする。このプロットは、ユーザ１６がデジタルカメラ１０を右に動かしているので右方向に延びる軌跡を構成する。ユーザ１６は、このプロットがｙ＝０の横軸から上下にずれないように注意しながら撮影を続ける。次に、工程ＴＲ８で、ユーザ１６がレリーズスイッチ１ｂを押圧するのを止めて連続撮影を終了しているか否かを判定する。ＹＥＳに分岐する場合は、連続撮影を終了する。ユーザ１６がスイッチの押圧をまだ続けており、ＮＯに分岐する場合は、次の工程ＴＲ９に進む。工程ＴＲ９では、抽出された特徴部が、表示部９の中のサブ画面９ｂの左端に到達しているか否かを判定する。これは、もし、ユーザ１６による連続撮影が進み、以前に画面の右端で抽出された特徴部が左端にまで到達している場合、続いての連続撮影で同じ特徴部を利用した縦方向の位置の判定ができなくなるからである。工程ＴＲ９で、ＹＥＳに分岐する場合は、再びＴＲ４に戻り、サブ画面９ｂの右端で新たな特徴部の抽出を行なうようにする。ＮＯに分岐する場合は、まだ、以前に抽出した特徴部を引き続いて縦方向の判定に用いることができるので、工程ＴＲ６に戻るようにする。

このようにすれば、ユーザ１６は、画面の揺れを意識してデジタルカメラ１５の向きを制御できるので、図７に示されているような上下の振れによるΔｙの大きさの画像縮小の問題を防ぐことができる。また、合成部４ｃによってパノラマ画像を合成するときにも、同じ特徴部を見つける範囲が限定でき、画像合成の速さを向上させることができる。このように、近年、デジタルカメラに搭載されているような大画面のＬＣＤパネルを有効に利用して、撮影画像の表示と共にカメラの揺れも検出表示して連続撮影を行なうことができる。

（第３実施形態）
次に、本発明の第３実施形態を説明する。本第３実施形態においては、連続撮影によって得られた一連の連続画像のうち、全体の中央にくる画像を基準画像として選び、この画像の中央付近から特徴部を抽出し、この特徴部を画像の右端又は左端に含む画像を前記一連の連続画像の中から選び、これら２枚の画像と、前記基準画像とを合成することによって、パノラマ画像を得るようにしたものである。これは、図４に示されているような操作によるパノラマ撮影では、一連の連続撮影で得られた複数画像のうちの中央の画像に重要な被写体が写っているはずだという発想に基づいている。

図１０は、このようなパノラマ画像合成の手順の概略図であり、図１１は、このパノラマ画像合成のフローチャートである。

図１０において、画像（ａ）は、図５に示されている一連の連続画像のうちで中央にある画像（ｄ）の画像と同じ画像である。図１０の画像（ａ）では、この画像の中央付近から特徴部を抽出している。画像（ｂ）は、抽出された特徴部の画像である。一連の連続した画像のうちからこの抽出された画像（ｂ）を右端に含む画像（（ｃ））と、左端に含む画像（（ｄ））を選び出し、最初に選び出した画像（（ａ））と合わせて、これら３枚で１枚のパノラマ画像（ｅ）を合成している。

このような手順をさらに明らかにするために、図１１のフローチャートを参照して説明する。フローを開始して、まず、工程Ｖ２で、例えば、ユーザ１６がレリーズスイッチ１ｂを押圧していることを判定してＮＯに分岐している間は、工程Ｖ１の連続撮影を継続する。ＹＥＳに分岐した時は、連続撮影を終了し、工程Ｖ３でメモリ７の中に記録されている複数の画像の中から中央に位置する中央画像を検出する。さらに、次の工程Ｖ４で工程Ｖ３で検出された中央画像の中央部付近から特徴部を抽出する。次に、工程Ｖ５で、この抽出された特徴部が画像の右端にある左側画像をメモリ７内から選択し、工程Ｖ６で同様に特徴部が画像の左端にある右側画像を選択する。工程Ｖ７では、工程Ｖ３、Ｖ５及びＶ６で選択された３枚の画像を合成する。工程Ｖ８で、この合成された画像を表示部９に表示する。このように、特徴部を１つしか抽出しないので、使用されるメモリ７内の記憶領域が縮小され、演算の単純化が可能となる。

図１２は、このようなパノラマ画像の撮影の変形例を示すフローチャートである。すなわち、フローを開始して、まず、工程Ｖ２’で、例えば、ユーザがレリーズスイッチ１ｂを押圧していることを判定してＮＯに分岐している間は、工程Ｖ１’の連続撮影を継続する。ＹＥＳに分岐した時は、連続撮影を終了し、工程Ｖ３’でメモリ７の中に記録されている複数画像の中から中央に位置する中央画像を検出する。さらに、次の工程Ｖ４’ａ、Ｖ４’ｂでこの検出された画像の左端と右端とからそれぞれ１つずつ特徴部を抽出し、それぞれ特徴部１、特徴部２としてメモリ７に記録する。次に、工程Ｖ５’で特徴部１が右端にある画像をメモリ７に記録されている画像の中から選択し、左側画像とする。工程Ｖ６’では、特徴部２が左端にある画像をメモリ７に記録されている画像の中から選択し右側画像とする。工程Ｖ７’では、工程Ｖ３’、工程Ｖ５’及び工程Ｖ６’でそれぞれ選択した３枚の画像を合成する。工程Ｖ８’では、合成されたパノラマ画像を表示部９に表示している。このように、特徴部を２つ抽出することで横幅のより広いパノラマ画像を合成することができ、特徴部を記憶するためのメモリ７内の記憶領域は比較的小さく、演算の単純化が可能となる。

（第４実施形態）
次に、本発明の第４実施形態を説明する。本第４実施形態におけるデジタルカメラでは、複数の画像を合成してパノラマ画像を構成するときに、人物を被写体として積極的に有効利用して、パノラマ画像を合成するようにしたものである。

図１３は、人物が複数の連続して撮影された画像のいずれにも被写体１７として含まれている場合のパノラマ画像の合成例を示す。図１４ａ、ｂは、人物を被写体１７として連続撮影している時に表示部９にガイド表示を行なう態様を示す。そして、図１５は、図１４ａ、ｂに示されている連続撮影された画像を利用したパノラマ画像の構成のためのフローチャートである。

図１３では、人物をパノラマ画面を構成する画像のいずれにも被写体１７として含み、パノラマ画像を構成する場合の重なり部としている。したがって２つの画像、すなわち、連続する画像の最初の画像と最後の画像とに重複する部分がないために、結果としてパノラマ画像として接続できないという問題が回避できる。これら人物を被写体１７とする画像を撮影するにあたり、図１４ａと図１４ｂとのように、表示部９の中に、撮像素子３ａにより高速撮影される画像を表示するためのサブ画面９ｂ、ユーザがカメラの向きを変えるときにそれをサポートするガイド表示９ｅ及び顔検出技術を応用し被写体の顔の位置をサブ画面９ｂ内にスーパーインポーズ表示する顔位置表示９ｆを有している。顔検出技術とは、近年パターン認識等で検出できる技術が開発されている公知技術である。この顔検出技術のための回路は、信号処理回路５の中に内蔵されている。また、ユーザは、この顔位置表示９ｆが、ガイド表示９ｅに横方向の位置が一致しているようにカメラの向きを変えながら連続撮影を行なう。すなわち、上述の特徴部を被写体１７である人物の顔としたものが本パノラマ画像合成法である。

以下では、図１５のフローチャートを参照して、このガイド表示９ｅと顔位置表示９ｆとを利用して、連続撮影を行ない、パノラマ画像を構成する方法を説明する。フローを開始して、まず工程Ｗ１で例えば、ユーザ１６がレリーズスイッチ１ｂを押圧しているかどうかを判定することにより撮影が開始されているかどうかを判定する。ここでＹＥＳに分岐する場合、工程Ｗ２で表示部９の左右いずれかの端部にガイド表示９ｅを表示する。次に、工程Ｗ３で１画像分の撮影を行ない、この撮影された画像をサブ画面８ｂに表示する。さらに、工程Ｗ４で被写体の人物の顔を検出する。次の工程Ｗ５では、検出された顔と横方向に位置が一致するように顔位置表示９ｆをサブ画面９ｂ上にスーパーインポーズする。さらに、次の工程Ｗ６では、ガイド表示９ｅと顔位置表示９ｆとの横方向の位置が一致しているかどうかを判定する。もし、この分岐がＮＯならば、ユーザは、現在のガイド表示９ｅと顔位置表示９ｆとの位置の違いを確かめ、これらが一致するように、カメラの向きを変えなければならない。工程Ｗ３乃至Ｗ６は、工程Ｗ６が分岐ＹＥＳに進むまで繰り返される。このことは、顔位置表示９ｆとガイド表示９ｅとは、初期状態では横方向の位置が一致した状態であることを意味している。工程Ｗ６が分岐ＹＥＳに進むと、工程Ｗ７では、被写体１７の人物の顔を検出して第１特徴部として抽出すると共に、この時（上記工程Ｗ３により）サブ画面９ｂに表示されている画像を第１基準画像とする。なお、特徴部の抽出は、特徴部抽出部４ｂではなく、信号処理回路５に内蔵されている顔検出回路が用いられ、撮影された全ての画像は、メモリ７内に記録されている。次に、工程Ｗ８では、例えば、ユーザがスイッチの押圧を止めているかどうかを判定して撮影が終了しているか否かを判定する。この工程でＷ８でＹＥＳに分岐する場合、撮影が終了され、ガイド表示も強制的に終了され（工程Ｗ１５）、後述する工程Ｗ１６に進む。この工程Ｗ８でＮＯに分岐する場合、次の工程Ｗ９では、ガイド表示９ｅの位置をわずかに変更する。そして、工程Ｗ１０では、画像の撮影を行なう。続いて、工程Ｗ１１では、工程Ｗ１０で撮影された画像内で被写体１７の人物の顔を検出する。次の工程Ｗ１２では、工程Ｗ５と同様に、検出された顔と横方向に位置が一致するように顔位置表示９ｆをサブ画面９ｂ内で移動する。そして、次に、工程Ｗ１３では、ガイド表示９ｅと顔位置表示９ｆとの横方向の間隔が所定の閾値を越えて大きい場合に、警告を発する。この警告は、スピーカ１０からの警告音であっても、表示部９内への警告の表示でもよい。この警告によりユーザが、ガイド表示９ｅと顔位置表示９ｆとの位置を合わせようとすることにより、デジタルカメラの向きは、ガイド表示９ｅと被写体１７の人物の顔の位置が一致しているという理想的な状態に近づけられる。工程Ｗ１４において、ガイド表示９ｅが、表示部９の中で工程Ｗ２における初期位置と反対側の端に到達すると、ガイド表示９ｅは、終了される。終了しない場合は（ＮＯに分岐する場合）、工程Ｗ８乃至Ｗ１４が繰り返される。ガイド表示９ｅが終了されると（ＹＥＳに分岐する場合）、その直後に工程Ｗ１６で最後の撮影が行なわれる。次の工程Ｗ１７では、この最後の撮影による画像を用いて被写体１７の人物の顔の検出が行なわれ、第２特徴部とされる。また、この最後の画像を第２基準画像とする。すなわち、第１及び第２基準画像は、それぞれ、図１３に示されている最初の画像と最後の画像とに相当する。工程Ｗ１８では、第１及び第２特徴部を用いて、第１及び第２基準画像の合成を行ないパノラマ画像とする。そして、工程Ｗ１９では、そのパノラマ画像をＬＣＤパネル等の表示部９に表示する。

このパノラマ画像は、個々に撮影された画像よりも広い範囲が撮影でき、ダイナミックな効果の画像を得ることができる。この実施の形態においては、被写体である人物の顔部分を特徴部とするので、デジタルカメラ１５が画像の特徴部を見失って、合成に失敗することはない（例えば、図３の画像（ａ）、（ｂ）ではどこで両者を重ね合わせたらよいのか明らかではないため図２のパノラマ画像を正しく得ることができない）。また、ガイド表示９ｅがわずかずつ動き、ユーザ１６は、そのガイド表示９ｅに顔位置表示９ｆを合わせようとするため、常にデジタルカメラ１５の向きの変化はわずかである。その結果、信号処理回路５に内蔵されている顔検出回路は、特徴部である被写体１７である人物の顔を見失うことなく追跡することができる。したがって、失敗のないパノラマ画像合成を行なうことができる。ここでは、パターン認識による顔の検出を利用したが、例えば、色のパターンなどを利用した画像追尾技術を利用しても類似の効果を得ることができる。

（第５実施形態）
以下では、上述したような撮影方法などにより撮影されたパノラマ画像をデジタルカメラ１５の表示部９の画面内に表示する方法について例を挙げる。

例えば、図１６ａに示すように、従来のよく知られたパノラマ画像の表示を行なうことができる。

また、図１６ｂに示すように、人物の顔付近を中心にルーペを覗いているような画像を従来の背景に重ねる表示を行なうようにしてもよい。即ち、パノラマ画像の一部をルーペで拡大したような表示方法を取ることにより表示部９の縦方向のサイズ最大で表示し、従来の背景の上に重ねて表示する。図１６ｃは、人物の顔がルーペの中心にない図１６ｂの表示方法を示している。

上述のように、パノラマ画像の横の広がりを表現するために、従来は、縦方向のサイズ全体を利用せず、図１６ａのように、パノラマ画像全体をデジタルカメラ１５の表示部９の画面内に収めるように、表示することが一般的であった。これに対して図１６ｂ、ｃに示すように、所定の部分は、ルーペで拡大したような表示にして表示部９の画面の縦方向のサイズ全体に拡大したような表示を行ない、背景は図１６ａのままとして両者を重ね合わせる表示法を取ることで、パノラマ画像全体を表現でき、迫力を有する描写が可能となっている。

このような画面を作るためには、図１６ａの参照符号２０で示されている領域を表示部９の縦方向のサイズ全体に収まるように拡大した画像を、図１６ａの画像上に重ねて表示すればよい。

このルーペは、上述の顔検出技術を用いて検出された顔部分を自動的に優先して拡大するようにしてもよい。また、ルーペにより拡大するパノラマ画像の部分をユーザが自由に選択できるようにしてもよい。これにより、図１６ａの参照符号２０の部分をユーザの操作により左にずらした部分の画像を拡大し、図１６ａの画像の上からルーペを付けてスーパーインポーズ表示することもできる。このような手続の結果、図１６ｃのような画像を作ることができる。

また、パノラマ画像の端部をデジタルカメラの表示部縦方向のサイズ全体を利用して表示してもよい。

また、図１７に示すように、パノラマ画像を、画像の端部をデジタルカメラの表示部縦方向のサイズ全体を利用して表示するような表示方法を採ることもできる。パノラマ画像は、図１６ａに示されているように、表示部９の縦方向のサイズを十分に利用せずにパノラマ画像の上下に利用不可能な領域を生じている。また、この表示方法では、パノラマ画像が本来持っている画像の迫力が表現できない。そこで、図１７に示されているように、パノラマ画像の端部をデジタルカメラの表示部縦方向のサイズ全体を利用して表示することにより、表示部９の奥行き方向に画像が広がっている感じをだすような表示を行っている。すなわち、表示部９の画面の縦方向全体を利用する部分を設け、しかも、奥行き方向に広がりも表現して迫力を伴った表示とした。

以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、デジタルカメラ１５に内蔵されている特徴部抽出部４ｂと合成部４ｃとを演算制御部１の制御下で用いて、パノラマ画像を合成する方法を説明してきたが、これらが、別の画像処理制御装置に実装されており、デジタルカメラ１５からメモリ７に記憶されている画像をこの画像処理制御装置にワイヤレス部１２や有線接続部を介して転送し、この画像処理制御装置でパノラマ画像を合成することが可能である。

更には、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。

本発明の第１実施形態が適用されたデジタルカメラの概略的なブロック構成図である。 従来技術により作成されたパノラマ写真の一例を示す図である。 図２のパノラマ写真を構成するための２枚の写真を示す図である。 動画によるパノラマ写真の合成を行なうためのデジタルカメラの使用例を示す図である。 図４のデジタルカメラの使用により撮影された複数の連続した画像の例を示す図である。 本発明のパノラマ画像の撮影のためのデジタルカメラ制御のフローチャートを示す図である。 本発明のパノラマ画像の撮影のためのデジタルカメラ制御の変形例のフローチャートを示す図である。 図６ａ又は図６ｂに示されているフローチャートで行なわれる基準画像の選択と特徴部の抽出とが、メモリ内でどのように実行されているかを示す図である。 基準画像の選択と特徴部の抽出とが、メモリ内でどのように実行されているかの別の例を示す図である。 上下方向にずれた基準画像からのパノラマ画像の構成を示す図である。 上下方向にずれた基準画像から構成されたパノラマ画像の例を示すである。 連続撮影中に横方向へのデジタルカメラの移動のためのユーザサポートがある場合の表示画面の一例を示す図である。 図８のユーザサポートを伴う連続撮影のためのフローチャートを示す図である。 他のパノラマ画像合成の手順の概略図である。 他のパノラマ画像合成のフローチャートを示す図である。 他のパノラマ画像合成の変形例を示すフローチャートを示す図である。 人物が複数の連続して撮影された画像のいずれにも被写体として含まれている場合のパノラマ画像の合成例を示す図である。 人物を被写体として連続撮影している時に表示部にガイド表示を行なう態様を示す図である。 人物を被写体として連続撮影している時に表示部にガイド表示を行なう態様を示す図である。 図１４ａ、ｂに示されている連続撮影された画像を利用したパノラマ画像の構成のためのフローチャートを示す図である。 従来のパノラマ画像の表示方法を示している。 人物の顔付近を中心にルーペを覗いているような画像を従来の背景に重ねる表示を示す図である。 人物の顔がルーペの中心にない図１６ｂの表示方法を示す図である。 パノラマ画像の表示の別の表示方法を示す図である。

符号の説明

１…演算制御部（ＭＰＵ）、１ａ…スイッチ、１ｂ…スイッチ、１ｃ…スイッチ、２…撮影レンズ、２ａ…ピント合わせ部、２ｂ…ズーム制御部、３…アナログフロントエンド（ＡＦＥ）回路、３ａ…撮像素子、３ｂ…マイク、４ａ…補助光照射部、４ｂ…特徴部抽出部、４ｃ…合成部、５…信号処理回路、５ａ…補助ブロック、６…ＲＡＭ、７…メモリ、８…ＲＯＭ、９…表示部、９ｂ…サブ画面、９ｃ…インジケータ表示部、９ｄ…枠、１０…スピーカ、１１…プリント信号処理部、１２…ワイヤレス部、１５…デジタルカメラ、１６…ユーザ、１７…被写体、２０…人物領域。

Claims (14)

1. 少なくとも前後に撮影した画像と撮影領域の一部を重複しながら連続して撮影された複数枚の画像のうちの所定の画像から特徴部を抽出する特徴部抽出部と、
   前記特徴部抽出部で抽出された特徴部を含む画像を、前記所定の画像を除く前記複数枚の画像から検出する検出部と、
   この検出部により検出された画像と前記所定の画像とを、前記特徴部のそれぞれが合致するように１枚の画像に合成する合成部と、
   を具備することを特徴とする画像処理装置。
2. 前記連続して撮影された複数枚の画像は、少なくとも３枚の画像であり、
   前記所定の画像は、前記複数枚の画像のうちおよそ中間の撮影順に位置する画像であり、
   前記特徴部抽出部は、このおよそ中間の撮影順に位置する画像を第１基準画像として選択し、この第１基準画像の中央付近に位置する特徴部を第１特徴部として抽出し、
   前記検出部は、前記複数枚の画像から、前記第１特徴部を画像の右端と左端とに有する画像を第２基準画像と第３基準画像として検出し、
   前記合成部は、前記第１乃至第３基準画像を１枚の画像に合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記連続して撮影された複数枚の画像は、少なくとも３枚の画像であり、
   前記所定の画像は、前記複数枚の画像のうちの任意の画像であり、
   前記特徴部抽出部は、この所定の画像を第１基準画像として、この第１基準画像の中央付近から第１特徴部を抽出し、
   前記検出部は、この第１特徴部を左右いずれかの端部に有する第２基準画像が前記複数枚の画像のうちから検出できるかどうか判定し、検出可能であれば、検出された画像を第２基準画像とし、不可能であれば、前記合成部は、前記第１基準画像を出力し、
   前記第２基準画像が検出された場合、前記特徴部抽出部は、この第２基準画像の左右いずれかの端部から第２特徴部を抽出し、
   前記検出部は、この第２特徴部を左右いずれかの端部に有する第２基準画像以外の第３基準画像が前記複数枚の画像のうちから検出できるかどうか判定し、検出可能であれば、検出された画像を第３基準画像とし、不可能であれば、前記合成部は、前記第１及び第２基準画像を合成して出力し、
   前記第３基準画像が検出された場合、前記合成部は、前記第１乃至第３基準画像を合成して出力することを特徴とする請求項１に記載の画像処理装置。
4. 前記連続して撮影された複数枚の画像は、少なくとも３枚の画像であり、
   前記所定の画像は、前記複数枚の画像のうちの任意の画像であり、
   前記特徴部抽出部は、この所定の画像を第１基準画像として、この第１基準画像の中央付近から第１特徴部を抽出し、
   前記検出部は、この第１特徴部を左右いずれかの端部に有する第２基準画像が前記複数枚の画像のうちから検出できるかどうか判定し、検出可能であれば、検出された画像を第２基準画像とし、不可能であれば、前記合成部は、前記第１基準画像を出力し、
   前記第２基準画像が検出された場合、前記特徴部抽出部は、この第２基準画像の第１特徴部がある端部と反対側の端部から第２特徴部を抽出し、
   前記検出部は、この第２特徴部を、第２基準画像が第１特徴部を有する端部と同じ側の端部に有する第３基準画像が前記複数枚の画像のうちから検出できるかどうか判定し、検出可能であれば、検出された画像を第３基準画像とし、不可能であれば、前記合成部は、前記第１及び第２基準画像を合成して出力し、
   前記第３基準画像が検出された場合、前記合成部は、前記第１乃至第３基準画像を合成して出力することを特徴とする請求項１に記載の画像処理装置。
5. 前記検出部は、画面水平及び垂直方向にコントラスト変化がある部分を特徴部として検出することを特徴とする請求項１に記載の画像処理装置。
6. メモリに記憶されている少なくとも前後に撮影した画像と撮影領域の一部を重複しながら連続して撮影された複数枚の画像のうちの所定の画像から特徴部を抽出する特徴部抽出部と、
   前記特徴部抽出部で抽出された特徴部を含む画像を、前記メモリに記憶されている前記所定の画像を除く前記複数枚の画像から検出する検出部と、
   この検出部により検出された画像と前記所定の画像とを、前記特徴部のそれぞれが合致するように１枚の画像に合成する合成部と、
   を具備することを特徴とするカメラ。
7. 前記連続して撮影された複数枚の画像は、少なくとも３枚の画像であり、
   前記所定の画像は、前記複数枚の画像のうちおよそ中間の撮影順に位置する画像であり、
   前記特徴部抽出部は、このおよそ中間の撮影順に位置する画像を第１基準画像として選択し、この第１基準画像の中央付近に位置する特徴部を第１特徴部として抽出し、
   前記検出部は、前記メモリに記憶された複数枚の画像から、前記第１特徴部を画像の右端と左端とに有する画像を第２基準画像と第３基準画像として検出し、
   前記合成部は、前記第１乃至第３基準画像を１枚の画像に合成することを特徴とする請求項６に記載のカメラ。
8. 前記連続して撮影された複数枚の画像は、少なくとも３枚の画像であり、
   前記所定の画像は、前記メモリに記憶された複数枚の画像のうちの任意の画像であり、
   前記特徴部抽出部は、この所定の画像を第１基準画像として、この第１基準画像の中央付近から第１特徴部を抽出し、
   前記検出部は、この第１特徴部を左右いずれかの端部に有する第２基準画像が前記メモリに記憶された複数枚の画像のうちから検出できるかどうか判定し、検出可能であれば、検出された画像を第２基準画像とし、不可能であれば、前記合成部は、前記第１基準画像を出力し、
   前記第２基準画像が検出された場合、前記特徴部抽出部は、この第２基準画像の左右いずれかの端部から第２特徴部を抽出し、
   前記検出部は、この第２特徴部を左右いずれかの端部に有する第２基準画像以外の第３基準画像が前記メモリに記憶された複数枚の画像のうちから検出できるかどうか判定し、検出可能であれば、検出された画像を第３基準画像とし、不可能であれば、前記合成部は、前記第１及び第２基準画像を合成して出力し、
   前記第３基準画像が検出された場合、前記合成部は、前記第１乃至第３基準画像を合成して出力することを特徴とする請求項６に記載のカメラ。
9. 前記連続して撮影された複数枚の画像は、少なくとも３枚の画像であり、
   前記所定の画像は、前記メモリに記憶された複数枚の画像のうちの任意の画像であり、
   前記特徴部抽出部は、この所定の画像を第１基準画像として、この第１基準画像の中央付近から第１特徴部を抽出し、
   前記検出部は、この第１特徴部を左右いずれかの端部に有する第２基準画像が前記メモリに記憶された複数枚の画像のうちから検出できるかどうか判定し、検出可能であれば、検出された画像を第２基準画像とし、不可能であれば、前記合成部は、前記第１基準画像を出力し、
   前記第２基準画像が検出された場合、前記特徴部抽出部は、この第２基準画像の第１特徴部がある端部と反対側の端部から第２特徴部を抽出し、
   前記検出部は、この第２特徴部を、第２基準画像が第１特徴部を有する端部と同じ側の端部に有する第３基準画像が前記メモリに記憶された複数枚の画像のうちから検出できるかどうか判定し、検出可能であれば、検出された第３基準画像とし、不可能であれば、前記合成部は、前記第１及び第２基準画像を合成して出力し、
   前記第３基準画像が検出された場合、前記合成部は、前記第１乃至第３基準画像を合成して出力することを特徴とする請求項６に記載のカメラ。
10. 前記検出部は、画面水平及び垂直方向にコントラスト変化がある部分を特徴部として検出することを特徴とする請求項６に記載のカメラ。
11. 連続撮影を行なう際、
    被写体をモニタする画像表示部と、
    この画像表示部内に連続撮影時の前記特徴部の位置を数値化して表示をするインジケータ表示部と、
    をさらに具備することを特徴とする請求項６に記載のカメラ。
12. 被写体をモニタする画像表示部と、
    この画像表示部に表示された画像の内の前記画像表示部の一方の端部に表示された所定被写体の画像を検出する画像検出部と、
    前記所定被写体の画像が連続撮影によって前記画像表示部の他方の端部に移動することを追跡する像追跡部と、
    この像追跡部での追跡結果を用いて、前記連続撮影によって得られた複数枚の撮影画像を合成する合成部と、
    を具備することを特徴とするカメラ。
13. 前記所定被写体の画像は、人物の顔部分の画像であることを特徴とする請求項１２に記載のカメラ。
14. 少なくとも前後に撮影した画像と撮影領域の一部を重複しながら連続して撮影された複数枚の画像を１枚の画像に合成する画像処理装置のコンピュータを制御するための画像処理プログラムであって、
    前記複数枚の画像のうちの所定の画像から特徴部を抽出する特徴部抽出部、
    前記特徴部抽出部で抽出された特徴部を含む画像を、前記所定の画像を除く前記複数枚の画像から検出する検出部、
    この検出部により検出された画像と前記所定の画像とを、前記特徴部のそれぞれが合致するように１枚の画像に合成する合成部、
    として機能させるようにしたコンピュータ読み込み可能な画像処理プログラム。

Images