JP2007316982A - 画像表示制御装置、画像表示装置、カメラ、及び画像表示制御プログラム - Google Patents

Abstract

【課題】パノラマ画像全体を表現でき、迫力を有する描写を可能とすること。
【解決手段】第１の縦横比の画面を有する表示部９に、前記第１の縦横比とは異なる第２の縦横比の画像を表示させる際、前記画像の少なくとも一部分が前記表示部９の縦と横との少なくとも一方のサイズ全体を用いて表示されるように、この画像内の位置に依存した画像加工をこの画像に加える信号処理回路５を備える。
【選択図】 図１

Description

本発明は、パノラマ写真のように広い範囲を撮影した画像を所定の縦横比を備えた表示画面内に表示するための画像表示制御装置及び画像表示装置、並びにそのような画像表示装置を備えたカメラ、更には、コンピュータを上記画像表示制御装置として機能させるためのコンピュータ読み込み可能な画像表示プログラムに関する。

従来、パノラマ写真に関して、パノラマ写真を撮影するためのフィルムカメラや、パノラマ写真を作成するための技法が知られてきた。パノラマ写真とは、一般に、広大な場面や情景を一目で眺められるように撮影された横長の超広角度の写真である。

また、パノラマ写真撮影機能のない一般のフィルムカメラで撮影する時は、一方向から他方向へと水平に画面を２５％位ずつ重なるようにカメラを移動させながら、何枚も撮影し、そうして撮影した複数コマを、印画作成時に、境目を重ねながら継ぎ合わせて作られる。

近年、デジタルカメラが登場した。このようなデジタルカメラでは、ＣＣＤ等の撮像素子によって、被写体を撮像し、この撮像によって得られた被写体画像データが、データ圧縮等を行なわれた後に、内部メモリに画像データとして記録される。この撮影された画像をパーソナルコンピュータで処理でき、画像データをメディアに記憶させておけるなどの便利さや簡便さから人気が高くなっている。また、撮像素子の画素数の飛躍的向上など、デジタルカメラをめぐる技術革新の速さにも目覚しいものがある。デジタルカメラで、パノラマ写真を撮影する機能を備えるものもあり、デジタルカメラにおけるパノラマ写真をめぐる研究開発も進んできた。

これに類する研究は、古くから行われており、例えば、特許文献１では、検知器を構成するマトリクス状に縦横に配列された２次元固体撮像素子が、各々、所定間隔を隔てて配設されている。これに対して、撮像される観測視野は、連続的で間隔がないことが問題とされている。すなわち、従来、２次元固体撮像素子群と観測視野との間には両者に平行に固定されたレンズが設けられていたが、上記のように２次元固体撮像素子の間には所定の間隔があるので、この固定されたレンズを通して、そのまま観測視野を撮像すると、各２次元固体撮像素子の間の部分が像を検知できない領域となってしまうことに問題がある。この問題に対して、特許文献１では、レンズを２次元固体撮像素子の非蓄積時間に上下左右に移動させる。これによって、特定の２次元固体撮像素子と観測視野の対応する各部分とを一致させてから撮像するということを全ての２次元固体撮像素子と対応する観測視野部分との対に対して繰り返し行なう。そして、各２次元固体撮像素子に蓄積された像を互いに接続し、観測視野全体の像を表示することにより上記問題を解決している。

また、比較的近年の研究では、例えば、特許文献２で、従来のデジタルカメラに伴う撮影した画像の表示画面への表示方法の問題に取り組んでいる。従来のデジタルカメラでは、画像の上下を一定の割合でカットして、擬似的に横長のパノラマ画像として内部メモリに記憶するだけのものがあった。また、他のタイプのデジタルカメラでは、通常の撮影モードで広角度の被写体を一定方向に連続する複数の画像データに分けて撮像し、これら複数の画像データをパーソナルコンピュータ等の画像処理装置に転送して各種画像処理を行ない、各画像をつなぎ合わせる合成をする煩雑な作業が必要なものがあった。しかし、前者のパノラマ写真ではカットされた部分が未表示部分となってしまい、後者のパノラマ写真では、通常の撮影モードで撮影された画像と同様な方法で１枚１枚再生表示してしまい、いずれの場合もパノラマ撮影機能を十分に活かせていなかった。これらの問題に対して、特許文献２のデジタルカメラでは、表示される画像がパノラマ撮影モードで撮像された画像データである場合、この画像データ及びこの画像データと共にパノラマ撮影モードにおいて連続して撮影された各画像データをその合成条件データに基づいて画像合成して広角度の被写体を写したパノラマ画像データを生成する。さらに、パノラマ画像データに同期信号を付加する等してビデオ信号を生成して、一旦、ＶＲＡＭに格納しその中から１画面分の画像データを読み出して表示部に出力し、表示画面に前記パノラマ画像の一部を再生表示する。パノラマ画像の再生表示の際、ＣＰＵは、表示画像がパノラマ画像であることを示すパノラマ画像マークを表示画面に表示させると共に、カメラのスクロールキーの押圧に応じてＶＲＡＭから読み出す１画面分の画像データを変更制御してパノラマ画像にスクロール表示させる。これらの動作をするデジタルカメラにより上記の問題を解決している。

また、最近の研究において、例えば、特許文献３では、パノラマ画像の持つ方位特性を活かすための発明を開示している。すなわち、従来のデジタルカメラでは、パノラマ画像を構成する各画像がどの方向から取ったものか分からず、再生時には、上述の特許文献２のようにスクロールキーの操作により各画像が順に表示されるだけであるため、あたかも一方向に長い画像のように見えてしまい、パノラマ画像の持つ方位特性を全く活かすことができなかった。これに対して、特許文献３の開示する発明では、デジタルカメラは、向けた方向を検出するための方位センサを備え、このデジタルカメラの向きを変えながら、複数枚の画像を撮影してパノラマ画像を作成した際に、これらの画像に方位センサにより検出された方位情報を付加してメモリに記録している。そしてデジタルパノラマ画像の再生時にデジタルカメラを向けた方角に対応した画像をメモリから読み出して表示部に表示する。この構成により、画像の再生時に装置本体を向けた方角に対応した画像が表示され、しかも装置本体の動きに合わせて、各画像が連続して表示されるので、実際に周囲を見回しているような間隔でパノラマ画像を見ることができる。
特開昭６３−１９１４８３号公報 特許第３０５５５３７号公報 特開２００５−２６８５９号公報

しかし、デジタルカメラのパノラマ画像をめぐる上記特許文献２及び３に開示の発明は、パノラマ画像の一部分を表示する表示方法に関するものであった。したがって、撮像された画像の広がりについて十分に表現しきることができない。逆に、パノラマ画像全体を無理に表示画面内に収めようとすると、表示画面の上下が無駄な領域となってしまい、迫力のある描写にならないことがある。

本発明の目的は、このような点を課題として、パノラマ画像全体を表現でき、迫力を有する描写が可能な画像表示制御装置、画像表示装置、カメラ、及び画像表示制御プログラムを提供することである。

本発明の画像表示制御装置の一態様は、
第１の縦横比の画面を有する表示部に、
前記第１の縦横比とは異なる第２の縦横比の画像を表示させる際、
前記画像の少なくとも一部分が前記表示部の縦と横との少なくとも一方のサイズ全体を用いて表示されるように、この画像内の位置に依存した画像加工をこの画像に加える信号処理回路を備えることを特徴とする。

また、本発明の画像表示制御装置の一態様は、
第１の縦横比の画面を有する表示部と、
メモリに記憶されている前記第１の縦横比とは異なる第２の縦横比の画像を前記表示部に表示させる際に、前記画像の少なくとも一部分が前記表示部の縦と横との少なくとも一方のサイズ全体を用いて表示されるように、この画像内の位置に依存した画像加工をこの画像に加える信号処理回路と、
を具備することを特徴とする。

また、本発明のカメラの一態様は、
第１の縦横比の画面を有する表示手段と、
前記第１の縦横比とは異なる第２の縦横比の画像を記憶するメモリと、
前記メモリに記憶されている画像を前記表示手段に表示させる際に、前記画像の少なくとも一部分が前記表示手段の縦と横との少なくとも一方のサイズ全体を用いて表示されるように、この画像内の位置に依存した画像加工をこの画像に加える信号処理回路と、
を具備することを特徴とする。

また、本発明の画像表示制御プログラムの一態様は、
第１の縦横比の画面を有する表示手段に、前記第１の縦横比とは異なる第２の縦横比の画像を表示させる画像表示制御装置のコンピュータを制御するための画像表示制御プログラムであって、
前記コンピュータを、前記画像の少なくとも一部分が前記表示手段の縦と横との少なくとも一方のサイズ全体を用いて表示されるように、この画像内の位置に依存した画像加工をこの画像に加える信号処理手段として機能させるようにしたことを特徴とする。

本発明によれば、パノラマ画像全体を表現でき、迫力を有する描写が可能となる。すなわち、撮影装置により撮影されたパノラマ画像のような広い範囲を撮影した画像を、迫力と、画像の広がりを伴って再現することができる。

以下、図面を参照して、本発明の実施の形態を説明する。

（第１実施形態）
図１は、本発明の第１実施形態が適用されたデジタルカメラの概略的なブロック図である。なお、後述する第２実施形態以降も適用されるカメラのブロック図は同様である。このデジタルカメラ１５は、マイクロコントローラ等からなる演算制御部（ＭＰＵ）１を有する。この演算制御部１は、ユーザの操作を各スイッチ１ａ、１ｂ及び１ｃの状態によって検出する。これらスイッチ１ａ、１ｂ及び１ｃは、デジタルカメラ１５の電源のオン・オフや、レリーズスイッチや、以下で述べる撮影、再生及びその他のモード切換用のスイッチとしてユーザが操作する。また、演算制御部１には、ＲＯＭ８が接続されている。演算制御部１は、スイッチ入力の結果と、ＲＯＭ８内のプログラムとに従って、デジタルカメラの各ブロックをシーケンシャル制御して、一連の撮影や再生を実行する。

撮影レンズ２は、ＡＦ（autofocus）ズームレンズ等である。ピント合わせ部２ａとズーム制御部２ｂとが、演算制御部１に接続されており、これらピント合わせ部２ａとズーム制御部２ｂとはそれぞれ、撮影レンズ２のピント制御と画角切換及び判定とを行っている。また、演算制御部１に接続されている補助光照射部４ａは、被写体１７に向けて光を照射し、露出を補ない、影を消す働きをする。

撮影時には、撮影レンズ２からデジタルカメラ内に入射した被写体１７の像は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子３ａによって、電気信号に変換される。この電気信号の読出し及びＡ／Ｄ（analog-digital）変換は、撮像素子３ａと接続されているアナログフロントエンド（ＡＦＥ）回路３で行われる。このＡＦＥ回路３は、露出レベルの切り換え制御も行なう。処理されたデジタル画像信号は、このＡＦＥ回路３に接続されている信号処理回路５に入力される。デジタル画像信号は、この信号処理回路５で、色補正や信号圧縮などの処理が行われ、この信号処理回路５に接続されているメモリ７に記録されて、撮影が終了する。また、信号処理回路５に接続されているマイク３ｂからの音声信号も同時に圧縮処理が行われ、メモリ７に記録される。この過程で、種々の演算を行なうために信号処理回路５に接続されているＲＡＭ６に適宜データの格納を行なう。

また、信号処理回路５は、補助ブロック５ａを有する。この補助ブロック５ａは、露出レベルを変更した後の増感や画像処理時の補正のかけ方を変更し、また撮像素子３ａの電気信号をメモリ７に記録する時の圧縮率を変更する。

撮影のためのユーザによる構図決定は、信号処理回路５に接続され、ＬＣＤ（Liquid Crystal Display）等からなり、デジタルカメラ１５の背面に設けられている、表示部９によって、撮像素子３ａからの信号を逐次再生させて表示することによって、被写体１７の状態を確認しながら行なう。

また、再生は、ユーザの操作にしたがって、メモリ７の中の圧縮された画像データ及び音声データを信号処理回路５が読み出して、画像データを表示部９に表示し、さらに、音声データを信号処理回路５に接続されているスピーカ１０で再生することにより行なう。すなわち、画像表示と音声再生との制御は、信号処理回路５により行なう。また、撮影された画像等は、信号処理回路５に接続されているプリント信号出力部１１やワイヤレス部１２により、外部に送信が可能である。

動画ファイルは、録画画像をそのままメモリ７に記録していくと、画像データの占めるサイズが大きくなりすぎるので、表示部９に合わせてリサイズし、又は、ＭＰＥＧ−４やＨ．２６４等の動画圧縮方法で圧縮して記録を行なう。

さらに、演算制御部１及び信号処理回路５に接続されている特徴部抽出部４ｂは、撮像素子３ａにより得られた電気信号を解析して、特徴部を抽出する。さらに、この特徴部抽出部４ｂには、合成部４ｃが接続されており、この合成部４ｃは、特徴部抽出部４ｂにより抽出された特徴部を利用して、複数の画像を合成するユニットである。

図２は、従来技術により作成されたパノラマ写真の一例を示している。また、図３は、図２のパノラマ写真を構成するための２枚の写真を示す図である。図２に示されているような広い範囲の撮影が必要な時、従来から、図３のようなパノラマ写真の構成要素となる２枚の写真（ａ）、（ｂ）を撮影して、その後に、合成する手法が古くから知られている。しかし、このように、つなぎ目に隙間が生じないように、うまく接続して合成できる写真を撮影するのは大変困難である。

本実施形態が適用されたデジタルカメラでは、高速の撮像センサを利用して、動画を撮影するような操作を用いて、パノラマ写真を撮影する。すなわち、従来のように合成写真を構成するための、境界部が一致する２枚の画像を接続させて合成するのではなく、動画として撮影された多数の連続した画像を用いた工程で困難なくパノラマ画像を合成する。

図４は、このような動画によるパノラマ写真の合成を行なうためのデジタルカメラの使用例を示している。図５は、図４のデジタルカメラ１５の使用により撮影された複数の連続した画像の例を示している。図４に示されているように、ユーザ１６は、動画を撮影するように、風景のような被写体１７をデジタルカメラ１５を横方向に移動することにより連続的に撮影している。この結果、図５に示されているような連続画像（ａ）乃至（ｇ）が撮影される。これら連続画像の中から適当な画像を抜き出してパノラマ画像を合成する。すなわち、図５に示されているように、画像（ａ）の中央にある特徴部である家が、画像（ｄ）の端部に見えている。また、この画像（ｄ）の反対側の端部に新たな特徴部である木が、写されており、この特徴部は、画像（ｇ）の端部に写されている。したがって、図５の例では、画像（ａ）、（ｄ）及び（ｇ）を用いて、パノラマ画像を合成することができる。特徴部は、パノラマ作成で画面が繋がる方向で、変化するポイントであることが重要である。つまり、図５の建物のように、水平にカメラを動かした時に、その変化が分かるように、垂直方向に輪郭があるものである必要がある。また、垂直にカメラを動かした時には、垂直にのみ輪郭があると、画面の変化が分からないので、水平に輪郭があるものを特徴部として選択することが重要である。したがって、特徴部は、これらの状況に対応できるように、画面の中で垂直方向、水平方向とも、コントラストが変化しているものであることが好ましい。

図６ａ、ｂは、デジタルカメラ制御のフローチャートを示している。このフローは、図１に示されている演算制御部１が実行している。高速の撮像素子３ａからの画像信号は、順次、信号処理回路５で処理されてメモリ７に保存されていく。パノラマ画像を作成するためには以下のようにする。

図６ａのフローチャートを開始して、まず、デジタルカメラによる連続撮影の工程Ｒ１を行なう。例えば、ユーザ１６が、連続撮影のためのスイッチ、例えばレリーズスイッチ１ｂを押圧している間、この連続撮影の工程Ｒ１は、繰り返される。工程Ｒ２では、連続撮影の終了を判定している。ユーザ１６によるレリーズスイッチ１ｂの押圧が継続していれば、工程Ｒ１を続けて行なう。もし、スイッチの押圧が終了している時は、連続撮影の工程Ｒ１を終了して、第１基準画像の選択の工程Ｒ３を行なう。第１基準画像は、必ずしも、連続撮影の最初の１コマではなく、画像のぶれがないとか、画像の中央部付近に明瞭な特徴部を含むなどの所定の特徴を有する最初の画像でよい。次に、工程Ｒ４に進み、第１基準画像の中央部の特徴部を抽出し、第１特徴部とする。この基準画像からの特徴部の抽出は、図１に示されている上記の特徴部抽出部４ｂが演算制御部１の制御を受けて行なっている。この工程Ｒ４まで実行されると、図５に示されている例によれば、画像（ａ）の中央部の家を特徴部として抽出することが終了したことになる。次に、第１特徴部が左右いずれかの端部にある第２基準画像を選択できるか判定する工程Ｒ５を実行する。これは、図５に示されている例によれば、画像の左端に第１特徴部である家が写っている画像（ｄ）を第２基準画像として選択できることを判定することに相当する。この工程Ｒ５でＮＯに分岐する場合は、第２基準画像が見つからない場合であり、この説明の最後に触れる。

次の工程Ｒ６は、工程Ｒ５で選択可能と判断された第２基準画像を実際に選択する工程である。次に、工程Ｒ７で変数ｎに値２を代入する。この変数ｎは、第ｎ基準画像までが選択されたことを示す変数であり、工程Ｒ７の時点では、第２基準画像までが選択されているのでｎ＝２として変数ｎを初期化している。次の工程Ｒ８は、第１特徴部のある端部が第２基準画像の左にあるか否かを判断する工程である。工程Ｒ９Ｒ、Ｒ９Ｌでは、工程Ｒ８の判定結果に基づいて、デジタルカメラ１５を動かした方向に対応させて、それぞれ変数「ｄｉｒｅｃｔｉｏｎ」に「右」、「左」の値を代入する。次に、工程Ｒ１０で、第ｎ基準画像の「ｄｉｒｅｃｔｉｏｎ」側で第ｎ特徴部を抽出する。この工程は、図５に示された例によれば、画像（ｄ）を第２基準画像として選択した時に、この画像の右端に次の特徴部である木を第２特徴部として抽出する工程に相当する（ｎ＝２、「ｄｉｒｅｃｔｉｏｎ」＝「右」）。次に、工程Ｒ１１で、第ｎ特徴部が端部にある、第２乃至第ｎ基準画像以外の画像（第（ｎ＋１）基準画像）を選択できるか否かを判定している。この工程Ｒ１１は、図５に示されている例によれば、画像（ｄ）で第２特徴部として抽出された木が端部に写っている画像があるのかどうかを判定していることに相当する（ｎ＝２）。図５に示されている例によれば、画像（ｇ）があり、Ｒ１１の判定はＹＥＳに分岐することになる。また、第２乃至第ｎ基準画像以外から第（ｎ＋１）基準画像を選択するのは、第（ｎ＋１）基準画像をこれらの既に選択された画像と重複して選択しないようにするためである。Ｒ１１の分岐ＹＥＳに分岐した場合、次の工程Ｒ１２で、工程Ｒ１１で選択された画像は、第（ｎ＋１）基準画像として選択される。これは、図５に示されている例によれば、画像（ｇ）を第３基準画像として選択することに相当する。次の工程Ｒ１３では、変数ｎにｎ＋１の値を改めて代入する。これら工程Ｒ８乃至Ｒ１３は、工程Ｒ１１でＮＯに分岐するまで繰り返される。工程Ｒ１１でＮＯに分岐した時は、これまでの工程で選択された第１乃至第ｎ基準画像を、工程Ｒ１４で合成する。この合成は、図１に示されている上記合成部４ｃが、演算制御部１の制御を受けて、メモリ７の中にある基準画像や特徴部抽出の結果を利用して行なっている。工程Ｒ１５で、合成した画像を表示部９に表示する。

最後に、上で予告したように工程Ｒ５でＮＯに分岐した場合について説明する。この場合は、ユーザ１６のデジタルカメラ１５による連続撮影の横方向の幅が短すぎた場合に相当し、第１特徴部が左右いずれかの端部にある画像合成のための第２基準画像が記録されていないことになる。この場合は、次の工程Ｒ７’で変数ｎにｎ＝１と代入し、工程Ｒ１４に進む。この工程Ｒ１４では実際には合成のための２枚以上の画像がないために第１基準画像そのものを、この工程の結果として出力する。

この実施形態では、連続した画像を用いているので、複数の画像の中で重ならない領域はなく、この実施の形態によれば、必ずパノラマ画像を形成することができる。また、たくさんの画像の中から使える画像のみを利用するので、図３に示されているような従来の方式よりも失敗がなく、ユーザのストレスもなく、パノラマ画像の撮影が可能となっている。

図６ｂは、図６ａのフローチャートの変形例である。図６ｂのフローチャートを開始して、まず、デジタルカメラによる連続撮影の工程Ｓ１を行なう。例えば、ユーザ１６が、連続撮影のためのスイッチ、例えばレリーズスイッチ１ｂを押圧している間、この連続撮影の工程Ｓ１は、繰り返される。工程Ｓ２では、連続撮影の終了を判定している。ユーザ１６によるスイッチの押圧が継続していれば、工程Ｓ１を続けて行なう。スイッチの押圧が終了すると、連続撮影の工程Ｓ１を終了して、第１基準画像の選択の工程Ｓ３を行なう。第１基準画像は、必ずしも、連続撮影の最初の１コマではなく、画像のぶれがないとか、画像の中央部付近に明瞭な特徴部を含むなどの所定の特徴を有する最初の画像でよい。次に、工程Ｓ４に進み、第１基準画像の中央部の特徴部を抽出し、第１特徴部とする。この基準画像からの特徴部の抽出は、図１に示されている上記の特徴部抽出部４ｂが演算制御部１の制御を受けて行なっている。この工程Ｓ４まで実行されると、図５に示されている例によれば、画像（ａ）の中央部の家を特徴部として抽出することが終了したことになる。次に、第１特徴部が左右いずれかの端部にある第２基準画像を選択できるか判定する工程Ｓ５を実行する。これは、図５に示されている例によれば、画像の左端に第１特徴部である家が写っている画像（ｄ）を第２基準画像として選択できることを判定することに相当する。この工程Ｓ５でＮＯに分岐する場合は、第２基準画像が見つからない場合であり、この説明の最後に触れる。

工程Ｓ５でＹＥＳに分岐する場合、次の工程Ｓ６は、工程Ｓ５で選択可能と判断された第２基準画像を実際に選択する工程である。次の工程Ｓ７は、第１特徴部のある端部が第２基準画像の左にあるか否かを判断する工程である。この端部が、第２基準画像の左側にある場合、ユーザ１６は、図４に示されている例のようにデジタルカメラ１５を右に動かして工程Ｓ１の連続撮影を行なったことになる。逆に、この端部が第２基準画像の右側にある場合、ユーザ１６は、デジタルカメラ１５を左に動かして工程Ｓ１の連続撮影を行なったことになる。工程Ｓ８Ｒ、Ｓ８Ｌでは、工程Ｓ７の判定結果に基づいて、デジタルカメラ１５を動かした方向に対応させて、それぞれ変数「ｄｉｒｅｃｔｉｏｎ」に「右」、「左」の値を代入する。すなわち、この変数「ｄｉｒｅｃｔｉｏｎ」の値は、工程Ｓ１でデジタルカメラ１５を動かした方向と同じ向きであり、現在の基準画像の中で次の特徴部を抽出しなければならない側が左右のどちらの端部であるかを示す変数である。すなわち、第２特徴部は、この第２基準画像の「ｄｉｒｅｃｔｉｏｎ」側に抽出しなければならない。次に、工程Ｓ９で変数ｎに値２を代入する。この変数ｎは、第ｎ基準画像までが選択されたことを示す変数であり、工程Ｓ９の時点では、第２基準画像までが選択されているのでｎ＝２として変数ｎを初期化している。次に、工程Ｓ１０で、第ｎ基準画像の「ｄｉｒｅｃｔｉｏｎ」側で第ｎ特徴部を抽出する。この工程は、図５に示された例によれば、画像（ｄ）を第２基準画像として選択した時に、この画像の右端に次の特徴部である木を第２特徴部として抽出する工程に相当する（ｎ＝２、「ｄｉｒｅｃｔｉｏｎ」＝「右」）。次に、工程Ｓ１１で、第ｎ特徴部が「ｄｉｒｅｃｔｉｏｎ」側と反対側にある画像（第（ｎ＋１）基準画像）を選択できるか否かを判定している。この工程Ｓ１１は、図５に示されている例によれば、画像（ｄ）で第２特徴部として抽出された木が左側の端部に写っている連続撮影の後の画像があるのかどうかを判定していることに相当する（ｎ＝２、「ｄｉｒｅｃｔｉｏｎ」＝「右」）。図５に示されている例によれば、画像（ｇ）があり、Ｓ１１の判定はＹＥＳに分岐することになる。Ｓ１１の分岐ＹＥＳに分岐した場合、次の工程Ｓ１２で、工程Ｓ１１で選択された画像は、第（ｎ＋１）基準画像として選択される。これは、図５に示されている例によれば、画像（ｇ）を第３基準画像として選択することに相当する。次の工程Ｓ１３では、変数ｎにｎ＋１の値を改めて代入する。これら工程Ｓ１０乃至Ｓ１３は、工程Ｓ１１でＮＯに分岐するまで繰り返される。工程Ｓ１１でＮＯに分岐した時は、これまでの工程で選択された第１乃至第ｎ基準画像を、工程Ｓ１４で合成する。この合成は、図１に示されている上記合成部４ｃが、演算制御部１の制御を受けて、メモリ７の中にある基準画像や特徴部抽出の結果を利用して行なっている。工程Ｓ１５で、合成した画像を表示部９に表示する。

最後に、上で予告したように工程Ｓ５でＮＯに分岐した場合について説明する。この場合は、ユーザ１６のデジタルカメラ１５による連続撮影の横方向の幅が短すぎた場合に相当し、第１特徴部が左右いずれかの端部にある画像合成のための第２基準画像が記録されていないことになる。この場合は、次の工程Ｓ９’で変数ｎにｎ＝１と代入し、工程Ｓ１４に進む。この工程Ｓ１４では実際には合成のための２枚以上の画像がないために第１基準画像そのものを、この工程の結果として出力する。

この実施形態でも、連続した画像を用いているので、複数の画像の中で重ならない領域はなく、この実施の形態によれば、必ずパノラマ画像を形成することができる。また、たくさんの画像の中から使える画像のみを利用するので、図３に示されているような従来の方式よりも失敗がなく、ユーザのストレスもなく、パノラマ画像の撮影が可能となっている。

図６ｃ、ｄは、図６ａ又は図６ｂに示されているフローチャートで行なわれる基準画像の選択と特徴部の抽出とが、メモリ内でどのように実行されているかを示す図である。

本実施形態におけるデジタルカメラでは、図６ｃに示されているように、前記基準画像の選択と特徴部の抽出とは、選択された全ての基準画像と、全ての抽出された特徴部とをメモリ７内の基準画像格納領域と特徴部格納領域とにそれぞれ転送することにより行なう。図６ｃに示されている例では、４つの基準画像が基準画像格納領域に転送され、特徴部格納領域には、４つの特徴部が記憶されている。また、合成部４ｃにより合成されたパノラマ画像もメモリ７内の合成画像格納領域に記憶されている。

また、図６ｄに示されているように、選択された基準画像が連続撮影された何番目の画像かを示す全ての情報と、全ての抽出された特徴部とをメモリ７内の他の領域に転送することにより行なうようにしてもよい。図６ｄにおいて、連続撮影された全ての画像の領域で各画像には、連続撮影の開始から終了までに撮影された全ての画像に、例えば、自然数の、変数が与えられている。図６ｄの中で両側に黒丸が付されている画像が基準画像として選択された画像であり、基準画像の変数格納領域には、黒丸が付されている画像が何番目の画像かを示す変数のみが格納されている。また、合成部４ｃにより合成されたパノラマ画像もメモリ７内の合成画像格納領域に記憶されている。

メモリ７内に記憶されている画像は、信号処理回路５により、ＬＣＤパネル等の表示部９に表示される。

（第２実施形態）
図７ａは、上下方向にずれた基準画像からのパノラマ画像の構成を示しており、図７ｂは、上下方向にずれた基準画像から合成されたパノラマ画像の例を示している。動画の撮影方法を利用して、１枚のパノラマ画像を得る時には、動画を連続撮影している時に、上下にカメラが動いてしまうと、図７ａに示されているように、パノラマ画像は、各基準画像の共通部分で合成されるので図７ａのΔｙだけの合成不可能部分を生じてしまい、結果として生じるパノラマ画像も図７ｂに示されているように、上下でそれぞれΔｙだけ基準画像の縦方向のサイズより小さくなる。従って、ユーザ１６は、デジタルカメラ１５をΔｙのずれを生じないように、真横に動かす必要がある。しかし、いくら意識して動かしても、ユーザの感覚だけでは、真横に動かし続けることは難しい。

図８は、連続撮影中に横方向へのデジタルカメラの移動のためのユーザサポートを設けた場合の表示画面の一例である。本発明の他の態様において、図８に示されているように、デジタルカメラ背面のＬＣＤ等の表示部９に撮像素子３ａからのモニタ用のサブ画面９ｂの他、インジケータ表示部９ｃを設け、デジタルカメラ１５の横方向への連続撮影の間、このデジタルカメラ１５が上下に動いていないかをこのインジケータ表示部９ｃに表示している。このインジケータ表示部９ｃは、グラフ形式で、横軸はデジタルカメラ１５の左右の位置を、縦軸は、ある特徴部の画面内上下方向の位置を表示するようにする。連続撮影の時に、特徴部の位置を検出し、数値化してグラフ上にプロット表示する。ユーザ１６は、この特徴部が上下に振れないように、デジタルカメラ１５を動かすようにし、もし、連続撮影の途中でずれてしまったら、インジケータ表示部９ｃを見ながら特徴部のプロットポイントが一直線になるように、縦方向の向きを微調整しながらデジタルカメラ１５を動かしていく。また、表示部９には枠９ｄを設け、連続撮影時に現在参照している特徴部を表示することができる。

図９は、上記のような上下方向へのユーザサポートを伴う連続撮影のためのフローチャートである。このフローチャートは、図６ａに示されているフローチャートの開始、Ｓ１の連続撮影及びＳ２の連続撮影終了の各工程が改良された変形例である。以下、図９に示されているフローチャートを参照しながら説明する。

フローチャートの工程Ｔ１は、例えばモード切換え用のスイッチ１ｃの操作により、ユーザ１６がデジタルカメラ１５を動かす方向を指定し、その結果によって、制御を切り換えるための分岐の工程である。ユーザ１６がデジタルカメラ１５を動かす方向を自動検出することも可能だが、説明の簡単のためにこのフローチャートではユーザ１６による指定を入力工程とした。ユーザ１６の入力は、デジタルカメラ１５の演算制御部１が、判定して制御を切り換える。このフローチャートでは、例として、ユーザ１６が右方向に動かすことを選択したか否かを判定している。ＹＥＳに分岐すると、以降では、ユーザ１６が右方向にデジタルカメラ１５を動かしながら連続撮影する各工程に移行する。ＮＯに分岐した場合は、ユーザ１６が左方向にデジタルカメラ１５を動かしながら連続撮影する各工程に移行する。右方向又は左方向に動かしながら連続撮影する工程は、ユーザ１６がデジタルカメラ１５を動かす方向を除いて同等である。したがって、以下では、工程Ｔ１でユーザ１６が行なった選択がＹＥＳであるものとして説明する。

工程ＴＲ２では、表示部９で図８に示されているような右方向用表示がされる。続いて工程ＴＲ３では、ユーザ１６がデジタルカメラ１５のレリーズスイッチ１ｂを押圧することによりＹＥＳに分岐し、デジタルカメラ１５による連続撮影を開始する。次に、工程ＴＲ４では、既に撮影されメモリ７に記録された画像の右端から特徴部を抽出する。これは、画像の右端で抽出された特徴部は、カメラを右側に動かすにつれて、表示部９内を左側に向けて横向きに移動し、これを表示部９で常にモニタできるからである。また、この次の工程ＴＲ５では、抽出された特徴部を図８に示されている表示部９の中の枠９ｄの中に表示する。続いて、工程ＴＲ６では、撮像素子３ａにより被写体の撮影を行ない撮影された画像をメモリ７内に記録すると共に、図８に示されているサブ画面９ｂに撮影された画像を表示する。次に、工程ＴＲ７では、特徴部の縦方向の位置を、工程ＴＲ３における撮影開始時の特徴部の表示部９内での縦方向の位置を０として、グラフ９ｃにプロットする。このプロットは、ユーザ１６がデジタルカメラ１０を右に動かしているので右方向に延びる軌跡を構成する。ユーザ１６は、このプロットがｙ＝０の横軸から上下にずれないように注意しながら撮影を続ける。次に、工程ＴＲ８で、ユーザ１６がレリーズスイッチ１ｂを押圧するのを止めて連続撮影を終了しているか否かを判定する。ＹＥＳに分岐する場合は、連続撮影を終了する。ユーザ１６がスイッチの押圧をまだ続けており、ＮＯに分岐する場合は、次の工程ＴＲ９に進む。工程ＴＲ９では、抽出された特徴部が、表示部９の中のサブ画面９ｂの左端に到達しているか否かを判定する。これは、もし、ユーザ１６による連続撮影が進み、以前に画面の右端で抽出された特徴部が左端にまで到達している場合、続いての連続撮影で同じ特徴部を利用した縦方向の位置の判定ができなくなるからである。工程ＴＲ９で、ＹＥＳに分岐する場合は、再びＴＲ４に戻り、サブ画面９ｂの右端で新たな特徴部の抽出を行なうようにする。ＮＯに分岐する場合は、まだ、以前に抽出した特徴部を引き続いて縦方向の判定に用いることができるので、工程ＴＲ６に戻るようにする。

このようにすれば、ユーザ１６は、画面の揺れを意識してデジタルカメラ１５の向きを制御できるので、図７に示されているような上下の振れによるΔｙの大きさの画像縮小の問題を防ぐことができる。また、合成部４ｃによってパノラマ画像を合成するときにも、同じ特徴部を見つける範囲が限定でき、画像合成の速さを向上させることができる。このように、近年、デジタルカメラに搭載されているような大画面のＬＣＤパネルを有効に利用して、撮影画像の表示と共にカメラの揺れも検出表示して連続撮影を行なうことができる。

また、本実施形態におけるデジタルカメラにおいては、連続撮影によって得られた一連の連続画像のうち、全体の中央にくる画像を基準画像として選び、この画像の中央付近から特徴部を抽出し、この特徴部を画像の右端又は左端に含む画像を前記一連の連続画像の中から選び、これら２枚の画像と、前記基準画像とを合成することによって、パノラマ画像を得るようにしてもよい。これは、図４に示されているような操作によるパノラマ撮影では、一連の連続撮影で得られた複数画像のうちの中央の画像に重要な被写体が写っているはずだという発想に基づいている。

図１０は、このようなパノラマ画像合成の手順の概略図であり、図１１は、このパノラマ画像合成のフローチャートである。

図１０において、画像（ａ）は、図５に示されている一連の連続画像のうちで中央にある画像（ｄ）の画像と同じ画像である。図１０の画像（ａ）では、この画像の中央付近から特徴部を抽出している。画像（ｂ）は、抽出された特徴部の画像である。一連の連続した画像のうちからこの抽出された画像（ｂ）を右端に含む画像（（ｃ））と、左端に含む画像（（ｄ））を選び出し、最初に選び出した画像（（ａ））と合わせて、これら３枚で１枚のパノラマ画像（ｅ）を合成している。

このような手順をさらに明らかにするために、図１１のフローチャートを参照して説明する。フローを開始して、まず、工程Ｖ２で、例えば、ユーザ１６がレリーズスイッチ１ｂを押圧していることを判定してＮＯに分岐している間は、工程Ｖ１の連続撮影を継続する。ＹＥＳに分岐した時は、連続撮影を終了し、工程Ｖ３でメモリ７の中に記録されている複数の画像の中から中央に位置する中央画像を検出する。さらに、次の工程Ｖ４で工程Ｖ３で検出された中央画像の中央部付近から特徴部を抽出する。次に、工程Ｖ５で、この抽出された特徴部が画像の右端にある左側画像をメモリ７内から選択し、工程Ｖ６で同様に特徴部が画像の左端にある右側画像を選択する。工程Ｖ７では、工程Ｖ３、Ｖ５及びＶ６で選択された３枚の画像を合成する。工程Ｖ８で、この合成された画像を表示部９に表示する。このように、特徴部を１つしか抽出しないので、使用されるメモリ７内の記憶領域が縮小され、演算の単純化が可能となる。

図１２は、このようなパノラマ画像の撮影の変形例を示すフローチャートである。すなわち、フローを開始して、まず、工程Ｖ２’で、例えば、ユーザがレリーズスイッチ１ｂを押圧していることを判定してＮＯに分岐している間は、工程Ｖ１’の連続撮影を継続する。ＹＥＳに分岐した時は、連続撮影を終了し、工程Ｖ３’でメモリ７の中に記録されている複数画像の中から中央に位置する中央画像を検出する。さらに、次の工程Ｖ４’ａ、Ｖ４’ｂでこの検出された画像の左端と右端とからそれぞれ１つずつ特徴部を抽出し、それぞれ特徴部１、特徴部２としてメモリ７に記録する。次に、工程Ｖ５’で特徴部１が右端にある画像をメモリ７に記録されている画像の中から選択し、左側画像とする。工程Ｖ６’では、特徴部２が左端にある画像をメモリ７に記録されている画像の中から選択し右側画像とする。工程Ｖ７’では、工程Ｖ３’、工程Ｖ５’及び工程Ｖ６’でそれぞれ選択した３枚の画像を合成する。工程Ｖ８’では、合成されたパノラマ画像を表示部９に表示している。このように、特徴部を２つ抽出することで横幅のより広いパノラマ画像を合成することができ、特徴部を記憶するためのメモリ７内の記憶領域は比較的小さく、演算の単純化が可能となる。

（第３実施形態）
さらに、本実施形態におけるデジタルカメラでは、複数の画像を合成してパノラマ画像を構成するときに、人物を被写体として積極的に有効利用して、パノラマ画像を合成するようにしてもよい。

図１３は、人物が複数の連続して撮影された画像のいずれにも被写体１７として含まれている場合のパノラマ画像の合成例を示す。図１４ａ、ｂは、人物を被写体１７として連続撮影している時に表示部９にガイド表示を行なう態様を示す。そして、図１５は、図１４ａ、ｂに示されている連続撮影された画像を利用したパノラマ画像の構成のためのフローチャートである。

図１３では、人物をパノラマ画面を構成する画像のいずれにも被写体１７として含み、パノラマ画像を構成する場合の重なり部としている。したがって２つの画像、すなわち、連続する画像の最初の画像と最後の画像とに重複する部分がないために、結果としてパノラマ画像として接続できないという問題が回避できる。これら人物を被写体１７とする画像を撮影するにあたり、図１４ａと図１４ｂとのように、表示部９の中に、撮像素子３ａにより高速撮影される画像を表示するためのサブ画面９ｂ、ユーザがカメラの向きを変えるときにそれをサポートするガイド表示９ｅ及び顔検出技術を応用し被写体の顔の位置をサブ画面９ｂ内にスーパーインポーズ表示する顔位置表示９ｆを有している。顔検出技術とは、近年パターン認識等で検出できる技術が開発されている公知技術である。この顔検出技術のための回路は、信号処理回路５の中に内蔵されている。また、ユーザは、この顔位置表示９ｆが、ガイド表示９ｅに横方向の位置が一致しているようにカメラの向きを変えながら連続撮影を行なう。すなわち、上述の特徴部を被写体１７である人物の顔としたものが本パノラマ画像合成法である。

以下では、図１５のフローチャートを参照して、このガイド表示９ｅと顔位置表示９ｆとを利用して、連続撮影を行ない、パノラマ画像を構成する方法を説明する。フローを開始して、まず工程Ｗ１で例えば、ユーザ１６がレリーズスイッチ１ｂを押圧しているかどうかを判定することにより撮影が開始されているかどうかを判定する。ここでＹＥＳに分岐する場合、工程Ｗ２で表示部９の左右いずれかの端部にガイド表示９ｅを表示する。次に、工程Ｗ３で１画像分の撮影を行ない、この撮影された画像をサブ画面８ｂに表示する。さらに、工程Ｗ４で被写体の人物の顔を検出する。次の工程Ｗ５では、検出された顔と横方向に位置が一致するように顔位置表示９ｆをサブ画面９ｂ上にスーパーインポーズする。さらに、次の工程Ｗ６では、ガイド表示９ｅと顔位置表示９ｆとの横方向の位置が一致しているかどうかを判定する。もし、この分岐がＮＯならば、ユーザは、現在のガイド表示９ｅと顔位置表示９ｆとの位置の違いを確かめ、これらが一致するように、カメラの向きを変えなければならない。工程Ｗ３乃至Ｗ６は、工程Ｗ６が分岐ＹＥＳに進むまで繰り返される。このことは、顔位置表示９ｆとガイド表示９ｅとは、初期状態では横方向の位置が一致した状態であることを意味している。工程Ｗ６が分岐ＹＥＳに進むと、工程Ｗ７では、被写体１７の人物の顔を検出して第１特徴部として抽出すると共に、この時（上記工程Ｗ３により）サブ画面９ｂに表示されている画像を第１基準画像とする。なお、特徴部の抽出は、特徴部抽出部４ｂではなく、信号処理回路５に内蔵されている顔検出回路が用いられ、撮影された全ての画像は、メモリ７内に記録されている。次に、工程Ｗ８では、例えば、ユーザがスイッチの押圧を止めているかどうかを判定して撮影が終了しているか否かを判定する。この工程でＷ８でＹＥＳに分岐する場合、撮影が終了され、ガイド表示も強制的に終了され（工程Ｗ１５）、後述する工程Ｗ１６に進む。この工程Ｗ８でＮＯに分岐する場合、次の工程Ｗ９では、ガイド表示９ｅの位置をわずかに変更する。そして、工程Ｗ１０では、画像の撮影を行なう。続いて、工程Ｗ１１では、工程Ｗ１０で撮影された画像内で被写体１７の人物の顔を検出する。次の工程Ｗ１２では、工程Ｗ５と同様に、検出された顔と横方向に位置が一致するように顔位置表示９ｆをサブ画面９ｂ内で移動する。そして、次に、工程Ｗ１３では、ガイド表示９ｅと顔位置表示９ｆとの横方向の間隔が所定の閾値を越えて大きい場合に、警告を発する。この警告は、スピーカ１０からの警告音であっても、表示部９内への警告の表示でもよい。この警告によりユーザが、ガイド表示９ｅと顔位置表示９ｆとの位置を合わせようとすることにより、デジタルカメラの向きは、ガイド表示９ｅと被写体１７の人物の顔の位置が一致しているという理想的な状態に近づけられる。工程Ｗ１４において、ガイド表示９ｅが、表示部９の中で工程Ｗ２における初期位置と反対側の端に到達すると、ガイド表示９ｅは、終了される。終了しない場合は（ＮＯに分岐する場合）、工程Ｗ８乃至Ｗ１４が繰り返される。ガイド表示９ｅが終了されると（ＹＥＳに分岐する場合）、その直後に工程Ｗ１６で最後の撮影が行なわれる。次の工程Ｗ１７では、この最後の撮影による画像を用いて被写体１７の人物の顔の検出が行なわれ、第２特徴部とされる。また、この最後の画像を第２基準画像とする。すなわち、第１及び第２基準画像は、それぞれ、図１３に示されている最初の画像と最後の画像とに相当する。工程Ｗ１８では、第１及び第２特徴部を用いて、第１及び第２基準画像の合成を行ないパノラマ画像とする。そして、工程Ｗ１９では、そのパノラマ画像をＬＣＤパネル等の表示部９に表示する。

このパノラマ画像は、個々に撮影された画像よりも広い範囲が撮影でき、ダイナミックな効果の画像を得ることができる。この実施の形態においては、被写体である人物の顔部分を特徴部とするので、デジタルカメラ１５が画像の特徴部を見失って、合成に失敗することはない（例えば、図３の画像（ａ）、（ｂ）ではどこで両者を重ね合わせたらよいのか明らかではないため図２のパノラマ画像を正しく得ることができない）。また、ガイド表示９ｅがわずかずつ動き、ユーザ１６は、そのガイド表示９ｅに顔位置表示９ｆを合わせようとするため、常にデジタルカメラ１５の向きの変化はわずかである。その結果、信号処理回路５に内蔵されている顔検出回路は、特徴部である被写体１７である人物の顔を見失うことなく追跡することができる。したがって、失敗のないパノラマ画像合成を行なうことができる。ここでは、パターン認識による顔の検出を利用したが、例えば、色のパターンなどを利用した画像追尾技術を利用しても類似の効果を得ることができる。

（第４実施形態）
図１６ａと図１６ｂとは、第２基準画像を人物の上のノンコントラストな領域で、第１基準画像と貼り合わせることを概略的に図示している。図１７は、図１６ａと図１６ｂとに示されている手続を表すフローチャートを示している。このように、被写体１７の人物の位置で２つの画像を合成してパノラマ画像を構成する場合、人物の表情が変化してしまう可能性がある上、不自然さを生じてしまう可能性がある。人物の上の領域は、図１６ａに示されているように、空などのコントラストのない領域（ノンコントラスト）である場合が多いので、人物の部分は、第１基準画像の部分をそのまま利用し、画像内の人物の上側の領域は、このようなコントラストがない領域で接続する。このように、２つの基準画像の貼り合わせは、このようなコントラストのない部分で行なうと、２つの基準画像のつなぎ目が目立たなくなる。すなわち、この手続は、図１６ｂのように、人物の輪郭に沿って第２基準画像を切り抜いたものを第１基準画像に貼り付けて合成することに相当する。

以下では、図１７のフローチャートを参照して、上で述べた合成の手続を説明する。フローを開始し、まず、工程Ｘ１では、第１基準画像の人物の上のノンコントラストな領域を検出する。次に、工程Ｘ２では、第１基準画像の人物の上の領域を検出されたノンコントラストな領域を通る線で切断し、撮影された人物像は、そのまま残すように人物の輪郭で切断する。この結果、図１６ｂに示されている２つの断片の左側部分が作成される。工程Ｘ３では、人物の上の領域は、工程Ｘ２の切断線と同一の線で切断し、人物像は、全て取り除くように、人物の輪郭で切断する。この結果、図１６ｂに示されている２つの断片の右側部分が作成される。工程Ｘ４では、前の２つの工程で作成された画像を貼り合わせる。このように、パノラマ画像を合成することによって、人物の表情等の変化は問題なくなり、最初の第１基準画像を撮影するタイミングは、人物の表情のよいタイミングを選べばよいので、人物の表情の良い時を撮りやすくなる。

（第５実施形態）
以下では、上述したような撮影方法などにより撮影されたパノラマ画像をデジタルカメラ１５の表示部９に表示する方法について説明する。

本第５実施形態においては、パノラマ画像の一部をデジタルカメラの表示部縦方向のサイズ全体を利用して表示する。

図１８ａは、表示されるパノラマ画像の全体のサイズを示している。図１８ｂは、図１８ａに示されているパノラマ画像のデジタルカメラの表示部９への従来の表示方法を示している。図１８ｃは、本実施形態における、画像の一部をデジタルカメラの表示部縦方向のサイズ全体を利用して表示する表示方法を示している。図１８ｄは、図１８ｃに示されている表示をさらに縦方向に歪ませて表示する本実施形態における表示方法の変形例を示している。

図１８ａに示されているように、表示されるパノラマ画像のサイズは、縦ａ₁、横ｂ_１で、デジタルカメラ１５の表示部９のサイズの縦ａ_０、横ｂ_０と比較すると、パノラマ画像は横方向に長い。ａ_０：ｂ_０を第１の縦横比、ａ_１：ｂ_１を第２の縦横比とする。従来は、この問題を解決するため、図１８ｂに示されているように、パノラマ画像全体を横方向のサイズが、デジタルカメラ１５の表示部９の横方向のサイズと一致するように、縦横とも同じ比率で縮小表示していた。

この場合、縮小率は、ｂ_０／ｂ_１で与えられるので、縮小されたパノラマ画像の縦方向のサイズａ_２は、次の式１に従う。

表示されたパノラマ画像は、図１８ｂに示されているように、表示部９の縦方向のサイズを十分に利用せずにパノラマ画像の上下に利用不可能な領域を生じている。また、この表示方法では、パノラマ画像が本来持っている画像の迫力が表現できない。

そこで、図１８ｃに示されているように、本実施形態においては、パノラマ画像の一部をデジタルカメラの表示部縦方向のサイズ全体を利用して表示することにより、表示部９の奥行き方向に画像が広がっている感じをだすような表示を行っている。すなわち、表示部９の画面の縦方向全体を利用する部分を設け、しかも、奥行き方向に広がりも表現して迫力を伴った表示とした。この例では、表示部９の画面の奥の方に延びているように見える台形のパノラマ画像の狭い方の縦の幅は、図１８ｂの幅ａ_２と一致させるようにしている。この表示例では、表示部９の画面の左端からの距離をｂとして、距離ｂにおける台形のパノラマ画像の縦幅ａは、次の式２のように表される。

また、図１８ｃに示されている台形状の表示を図１８ｄに示されているように、縦方向に歪ませて表示すると、動的な表現が可能な表示となる。これは、表示部９の左端からの距離ｂに依存して図１８の帯の縦方向の位置をｂに依存する関数とすることにより可能となる。

図１８ｃ及び図１８ｄに示されている例のような表示により、図１８ｂに示されているような表示の欠点を減じることができる。図１８ｃ及び図１８ｄに示されているような表示は、デジタルカメラ１５のユーザ１６のスイッチ操作によって、図１８ｃに示されている例では左側が台形の底辺となるように表示していたのに対して、逆に右側が台形の底辺となるような表示とすることができる。

また、本発明の実施形態の更に別の変形例においては、パノラマ画像の被写体１７である人物を上述の顔検出技術によって、デジタルカメラ１５の表示部９の縦方向のサイズ全体を利用して表示することが考えられる。

図１９ａは、そのような顔検出技術を利用して人物の被写体をデジタルカメラの表示部の縦方向のサイズ全体を利用して表示する表示方法を示している。図１９ｂは、図１９ａのパノラマ画像の表示方法の更なる変形例である。図２０は、図１９ａの表示をするためのフローチャートである。図２１は、顔検出技術を用いたパノラマ画像の表示方法の別の変形例である。

パノラマ画像の撮影のための手法として前述したような顔検出技術を用いると、図１９ａに示されているように、被写体１７である人物部分を画面の縦方向のサイズ全体で表示する表示方法が可能である。人物像は多くの場合、写真撮影の上で重要なテーマとなりうるので、十分大きな表示で表示部９の画面の正面の縦方向のサイズ全体を用いて表現し、人物像の近くは、正しい縦横比で表示して人物の周囲の不自然な表示を防止する。

以下では、図２０のフローチャートを用いて、図１８ｃ、１８ｄ、１９ａ、１９ｂの表示処理のうちで代表して、図１９ａの表示を得るための手順を説明する。また、以下の表示制御処理は、プログラムに従った演算制御部（ＭＰＵ）１により実行される。演算制御部（ＭＰＵ）１は、画像表示制御装置として機能する。また、演算制御部（ＭＰＵ）１に表示部９を組み合わせたシステムを画像表示装置と呼ぶ。画像表示制御装置および画像表示装置も、本願発明を構成する。フローを開始して、まず、工程Ｙ１で、パノラマ画像の元になる動画の撮影からパノラマ画像の作成までを行なう。この工程Ｙ１のパノラマ画像の作成は、上記のパノラマ画像の撮影のための例のいずれを用いてもよい。続いて、工程Ｙ２で、上述の顔検出技術を用いて、パノラマ画像の中の被写体の人物の顔の位置を検出する。次の工程Ｙ３では、検出された顔のある部分の周囲の一定の横幅ｂ_２の部分を、縦横共に（ａ_０／ａ_１）倍にして、この横幅ｂ_２の部分が縦方向のサイズ全体を用いて縦横共正しい比率で表示されるようにする。一定の横幅ｂ_２は、検出された顔の左右にｂ_２／２の幅を取ると、人物の体や体のすぐ側の背景が含まれるような大きさである。人物やその直近の周囲が正しい縦横比で表示されるように表示されていればよい。ｂ_２の大きさは、このような条件を満たすように、ユーザ１６が自由に設定することができる。工程Ｙ４では、この横幅ｂ_２の矩形領域の外側の左右の領域のパノラマ画像を図１９ａに示されているように、台形状にする。図１９ａに示されているように、横幅ｂ_２の矩形領域の左端が、表示部９の左端から長さｂ_３の所にある時、表示部９の画面の左端からの長さをｂとして、横幅ｂ_２の矩形領域の外側の領域の縦の長さ（台形の底辺に平行な長さ）は、この台形が横幅ｂ_２の矩形領域の左右どちら側にあるかにより、次の式３、３’により与えられる。

信号処理回路５が、パノラマ画像に対して上記サイズの加工（工程Ｙ３、Ｙ４）を行なう。このように、人物の両側を台形状に縮小表示することにより、表示されているパノラマ画像全体は、背景が遠ざかっていくような視覚的な効果を与えることになる。長さｂ_３は、例えばスイッチ１ｃの操作等によりユーザ１６が自由に設定することができる。

図１９ｂには、図１９ａに示されているパノラマ画像の表示方法の変形例が示されている。この変形された表示方法においても、表示部９の中央付近の横幅ｂ_２の矩形領域は、図１９ａの表示方法と同一である。この矩形領域の外側の領域で台形を変形した表示とする。具体的には、長さｂの関数α_１（ｂ）、α_２（ｂ）を用いて以下の式４、４’のように与えられる。

関数α_１（ｂ）は、ｂ＝０で１程度の値を持ち、ｂの増加とともに１度滑らかに増加し、その後ｂ＝ｂ_３で値１を持つように滑らかに減少する関数、α_２（ｂ）は、ｂ＝ｂ_２＋ｂ_３で値１を持ち、ｂの増加とともに一度滑らかに増加し、その後滑らかに減少し１程度の値になる関数である。しかし、関数α_１（ｂ）、α_２（ｂ）の変化の特性は、ユーザ１６が好みに合わせて定義でき、又は、デジタルカメラ１５が、このような関数を複数記憶しており、ユーザの選択のために提示してスイッチ操作で選択される機能を持っている。式４、４’のような式で横幅ｂ_２の矩形領域の外側を変形することができ、魚眼レンズで撮影したような雰囲気を有する画像を小さな表示スペース内に効果的に表示することができる。これらの表示例では、主な被写体１７である人物は、画面いっぱいに表示され、表現の迫力を残しつつ、パノラマらしい広がりを表現することができる。

さらに、これら表示例では、表示部９内のパノラマ画像の表示領域は、上下に対称であったが、これを図１８ｄに示されているような上下に非対称な領域で表示するようにすることも、適当な関数で表示部９内の表示領域を変形することにより可能である。

また、風景の雄大さを表現したい場合の人物の描写として、図２１に示されているような表示が好ましい場合もある。この変形例では、人物のいる横幅ｂ_２の矩形領域の縦のサイズを式１のａ_２にし、その左右の領域を表示部９の画面の縦方向全体を用いるように拡大していけばよい。このような表示方法によっても、限られた表示部９内で広い範囲の再現が可能である。図１９ｂの表示のために用いられたように表示領域の変形に関数表現を用いることにより図２１に示されているような表示も可能となる。

（第６実施形態）
次に、本発明の第６実施形態を説明する。本実施形態においては、パノラマ画像の一部をルーペで拡大したような表示方法を取ることにより表示部９の縦方向のサイズ最大で表示し、従来の背景の上に重ねて表示する。

図２２ａは、従来のパノラマ画像の表示方法を示している。図２２ｂは、人物の顔付近を中心にルーペを覗いているような画像を従来の背景に重ねる表示を示している。図２２ｃは、人物の顔がルーペの中心にない図２２ｂの表示方法を示している。上述のように、パノラマ画像の横の広がりを表現するために、従来は、縦方向のサイズ全体を利用せず、図２２ａのように、パノラマ画像全体をデジタルカメラ１５の表示部９の画面内に収めるように、表示することが一般的であった。本実施の形態では、所定の部分は、ルーペで拡大したような表示にして表示部９の画面の縦方向のサイズ全体に拡大したような表示を行ない、背景は図２２ａのままとして両者を重ね合わせる表示法を取っている。

このような画面を作るためには、図２２ａの参照符号２０で示されている領域を表示部９の縦方向のサイズ全体に収まるように拡大した画像を、図２２ａの画像上に重ねて表示すればよい。すなわち、このことは、参照符号２０で表された領域のみをａ_０／ａ_２倍に拡大することを意味している。

このルーペは、上述の顔検出技術を用いて検出された顔部分を自動的に優先して拡大するようにしてもよい。また、ルーペにより拡大するパノラマ画像の部分をユーザがスイッチ操作で自由に選択できるようにしてもよい。この実施形態では、図２２ａの参照符号２０の部分をユーザの操作により左にずらした部分の画像を拡大し、図２２ａの画像の上からルーペを付けてスーパーインポーズ表示することもできる。このような手続の結果、図２２ｃのような画像を作ることができる。

（第７実施形態）
次に、本発明の第７実施形態を説明する。本第７実施形態では、ユーザ１６の操作により、表示部９全体を使って動画の再生を行なう。

図２３は、本実施形態に係る、ユーザの選択により表示部９全体を用いて動画表示を行なうためのフローチャートである。また、以下の表示制御処理は、プログラムに従った演算制御部（ＭＰＵ）１により実行される。演算制御部（ＭＰＵ）１は、画像表示制御装置として機能する。また、演算制御部（ＭＰＵ）１に表示部９を組み合わせたシステムを画像表示装置と呼ぶ。画像表示制御装置および画像表示装置も、本願発明を構成する。上記第５及び第６実施形態は、パノラマ画像の一部を表示部９の画面の縦方向のサイズに拡大して表示するものである。しかし、電子的な表示部では、静止画のように見る必要はなく、本実施形態では、動画を用いて撮影したので、ユーザ１６が動画のまま撮影された画像を見ることもできるようにしている。この動画の再生は、必ずしも録画速度と同一の再生速度で行なわれる必要はなく、スローモーションなども併用することができる。この再生速度の調整は、再生中にもユーザが手動で行なうことができる。

以下、図２３に示されているフローチャートを用いて、上述の動画表示と、上記の第５又は第６実施形態に係る静止画表示との間の切換えの手順を説明する。フローを開始して、まず、工程Ｚ１において、ユーザが、画像表示を行なう指示を行なったかどうかの判断を行なう。例えば、ユーザが、スイッチを押圧していることにより、この工程Ｚ１をＹＥＳに分岐し、次の工程Ｚ２に進む。この工程Ｚ２において、ユーザは、スイッチ操作などでパノラマ画像の全体を見るかどうかを選択する、このスイッチは、切換えスイッチのようなものであり、一度切換えるとユーザが手を離しても切換わらないものであることが好ましい。この工程Ｚ２でＹＥＳに分岐すると、工程Ｚ３に進み、上述の第５及び第６実施形態のうちいずれかを用いて、表示部９にパノラマ画像を表示する。例えば、この表示方法は、図１８ｃや図２２ｂに示されているような表示方法である。ＮＯに分岐すると、工程Ｚ４に進み、上述のようにスローモーションも交えて撮影された画像を動画表示する。工程Ｚ１で、例えば、ユーザ１６によりスイッチの押圧が終了されることにより、分岐ＮＯに進み画像表示は終了される。

以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、デジタルカメラ１５のＬＣＤパネル等の表示部９上で、パノラマ画像を表示する表示方法を説明したが、ワイヤレス部１２や有線接続部を介してパーソナルコンピュータのモニタやテレビジョン受像機等の外部ディスプレイに表示することも可能である。

また、デジタルカメラ以外のアスペクト比が異なる画像表示機器に応用可能であることは当業者により容易に認められる。

更には、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。

本発明の第１実施形態が適用されたデジタルカメラの概略的なブロック構成図である。 従来技術により作成されたパノラマ写真の一例を示す図である。 図２のパノラマ写真を構成するための２枚の写真を示す図である。 動画によるパノラマ写真の合成を行なうためのデジタルカメラの使用例を示す図である。 図４のデジタルカメラの使用により撮影された複数の連続した画像の例を示す図である。 本発明のパノラマ画像の撮影のためのデジタルカメラ制御のフローチャートを示す図である。 本発明のパノラマ画像の撮影のためのデジタルカメラ制御の変形例のフローチャートを示す図である。 図６ａ又は図６ｂに示されているフローチャートで行なわれる基準画像の選択と特徴部の抽出とが、メモリ内でどのように実行されているかを示す図である。 基準画像の選択と特徴部の抽出とが、メモリ内でどのように実行されているかの別の例を示す図である。 上下方向にずれた基準画像からのパノラマ画像の構成を示す図である。 上下方向にずれた基準画像から構成されたパノラマ画像の例を示す図である。 連続撮影中に横方向へのデジタルカメラの移動のためのユーザサポートがある場合の表示画面の一例を示す図である。 図８のユーザサポートを伴う連続撮影のためのフローチャートを示す図である。 他のパノラマ画像合成の手順の概略図である。 他のパノラマ画像合成のフローチャートを示す図である。 他のパノラマ画像合成の変形例を示すフローチャートを示す図である。 人物が複数の連続して撮影された画像のいずれにも被写体として含まれている場合のパノラマ画像の合成例を示す図である。 人物を被写体として連続撮影している時に表示部にガイド表示を行なう態様を示す図である。 人物を被写体として連続撮影している時に表示部にガイド表示を行なう態様を示す図である。 図１４ａ、ｂに示されている連続撮影された画像を利用したパノラマ画像の構成のためのフローチャートを示す図である。 第２基準画像を人物の上のノンコントラストな領域で、第１基準画像と貼り合わせることを概略的に示す図である。 第２基準画像を人物の上のノンコントラストな領域で、第１基準画像と貼り合わせることを概略的に示す図である。 図１６ａ、ｂに示されている手続を表すフローチャートを示す図である。 表示されるパノラマ画像の全体のサイズを示す図である。 図１８ａに示されているパノラマ画像のデジタルカメラの表示部への従来の表示方法を示す図である。 パノラマ画像の一部をデジタルカメラの表示部縦方向のサイズ全体を利用して表示する表示方法を示す図である。 図１８ｃに示されている表示をさらに縦方向にゆがませて表示する表示方法を示す図である。 顔検出技術を利用して人物の被写体をデジタルカメラの表示部縦方向のサイズ全体を利用して表示する表示方法を示す図である。 図１９ａのパノラマ画像の表示方法の変形例を示す図である。 図１９ａの表示をするためのフローチャートを示す図である。 顔検出技術を用いたパノラマ画像の表示方法の別の変形例を示す図である。 従来のパノラマ画像の表示方法を示す図である。 人物の顔付近を中心にルーペを覗いているような画像を従来の背景に重ねる表示を示す図である。 人物の顔がルーペの中心にない図２２ｂの表示方法を示す図である。 ユーザの選択により表示部全体を用いて動画表示を行なうためのフローチャートを示す図である。

符号の説明

１…演算制御部（ＭＰＵ）、１ａ…スイッチ、１ｂ…スイッチ、１ｃ…スイッチ、２…撮影レンズ、２ａ…ピント合わせ部、２ｂ…ズーム制御部、３…アナログフロントエンド（ＡＦＥ）回路、３ａ…撮像素子、３ｂ…マイク、４ａ…補助光照射部、４ｂ…特徴部抽出部、４ｃ…合成部、５…信号処理回路、５ａ…補助ブロック、６…ＲＡＭ、７…メモリ、８…ＲＯＭ、９…表示部、９ｂ…サブ画面、９ｃ…インジケータ表示部、９ｄ…枠、１０…スピーカ、１１…プリント信号処理部、１２…ワイヤレス部、１５…デジタルカメラ、１６…ユーザ、１７…被写体、２０…人物領域。

Claims (16)

1. 第１の縦横比の画面を有する表示部に、
   前記第１の縦横比とは異なる第２の画像を表示させる際、
   前記画像の少なくとも一部分が前記表示部の縦と横との少なくとも一方のサイズ全体を用いて表示されるように、この画像内の位置に依存した画像加工をこの画像に加える信号処理回路を備えることを特徴とする画像表示制御装置。
2. 前記画像の少なくとも一部分は、ユーザにより指定されることを特徴とする請求項１に記載の画像表示制御装置。
3. 前記画像の少なくとも一部分は、前記表示部の縦と横との少なくとも一方の端部でサイズ全体を用いて表示されることを特徴とする請求項１又は２に記載の画像表示制御装置。
4. 前記画像の少なくとも一部分は、人物像を含む領域であることを特徴とする請求項１乃至３のいずれか１に記載の画像表示制御装置。
5. 第１の縦横比の画面を有する表示部と、
   メモリに記憶されている前記第１の縦横比とは異なる第２の縦横比の画像を前記表示部に表示させる際に、前記画像の少なくとも一部分が前記表示部の縦と横との少なくとも一方のサイズ全体を用いて表示されるように、この画像内の位置に依存した画像加工をこの画像に加える信号処理回路と、
   を具備することを特徴とする画像表示装置。
6. 前記メモリには、動画撮影により得た前記第１の縦横比の複数の画像と、それら複数の第１の縦横比の画像を合成して作成された前記第２の縦横比の画像と、が記憶され、
   前記信号処理回路は、更に、前記メモリに記憶された前記複数の第１の縦横比の画像を、撮影された順序で前記表示部に連続再生表示させることを特徴とする請求項５に記載の画像表示装置。
7. 前記第２の縦横比の画像の表示と、前記複数の第１の縦横比の画像の連続表示とは、ユーザ指定により選択的に行なわれることを特徴とする請求項６に記載の画像表示装置。
8. 前記画像の少なくとも一部分は、ユーザにより指定されることを特徴とする請求項５乃至７のいずれか１に記載の画像表示装置。
9. 前記画像の少なくとも一部分は、前記表示部の縦と横との少なくとも一方の端部でサイズ全体を用いて表示されることを特徴とする請求項５乃至８のいずれか１に記載の画像表示装置。
10. 前記画像の少なくとも一部分は、人物像を含む領域であることを特徴とする請求項５乃至９のいずれか１に記載の画像表示装置。
11. 第１の縦横比の画面を有する表示部と、
    メモリに記憶されている前記第１の縦横比とは異なる第２の縦横比の画像を前記表示部に表示させる際に、前記画像の少なくとも一部分が前記表示部の縦と横との少なくとも一方のサイズ全体を用いて表示されるように、この画像内の位置に依存した画像加工をこの画像に加える信号処理回路と、
    を具備することを特徴とするカメラ。
12. 前記画像の少なくとも一部分は、ユーザにより指定されることを特徴とする請求項１１に記載のカメラ。
13. 前記画像の少なくとも一部分は、前記表示部の縦と横との少なくとも一方の端部でサイズ全体を用いて表示されることを特徴とする請求項１１又は１２に記載のカメラ。
14. 前記画像の少なくとも一部分は、人物像を含む領域であることを特徴とする請求項１１乃至１３のいずれか１に記載のカメラ。
15. 前記メモリには、動画撮影により得た前記第１の縦横比の複数の画像と、それら複数の第１の縦横比の画像を合成して作成された前記第２の縦横比の画像と、が記憶され、
    前記信号処理回路は、更に、前記メモリに記憶された前記複数の第１の縦横比の画像を、撮影された順序で前記表示部に連続再生表示させることと、前記第２の画像を表示させることとをユーザ指定により選択的に行なうことを特徴とする請求項１１乃至１４のいずれか１に記載のカメラ。
16. 第１の縦横比の画面を有する表示部に、前記第１の縦横比とは異なる第２の縦横比の画像を表示させる画像表示制御装置のコンピュータを制御するための画像表示制御プログラムであって、
    前記コンピュータを、前記画像の少なくとも一部分が前記表示部の縦と横との少なくとも一方のサイズ全体を用いて表示されるように、この画像内の位置に依存した画像加工をこの画像に加える信号処理部として機能させるようにしたコンピュータ読み込み可能な画像表示制御プログラム。

Images