JP4815271B2 - Image display device, camera, and image display control program - Google Patents
Image display device, camera, and image display control program Download PDFInfo
- Publication number
- JP4815271B2 JP4815271B2 JP2006146565A JP2006146565A JP4815271B2 JP 4815271 B2 JP4815271 B2 JP 4815271B2 JP 2006146565 A JP2006146565 A JP 2006146565A JP 2006146565 A JP2006146565 A JP 2006146565A JP 4815271 B2 JP4815271 B2 JP 4815271B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- face
- display unit
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 96
- 230000008569 process Effects 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004148 unit process Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 19
- 230000015572 biosynthetic process Effects 0.000 description 18
- 238000000605 extraction Methods 0.000 description 18
- 238000003786 synthesis reaction Methods 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 238000003825 pressing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 239000000203 mixture Substances 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000012559 user support system Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 206010070834 Sensitisation Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008313 sensitization Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、パノラマ写真のように広い範囲を撮影した画像を所定の縦横比を備えた表示
画面内に表示するための画像表示装置、並びにそのような画像表示装置を備えたカメラ、更には、コンピュータを上記画像表示制御装置として機能させるためのコンピュータ読み込み可能な画像表示プログラムに関する。
The present invention images a display device for displaying an image obtained by photographing the wide range on the display screen having a predetermined aspect ratio as the Panoramic, and a camera provided with such an image display device, and more The present invention also relates to a computer-readable image display program for causing a computer to function as the image display control device.
従来、パノラマ写真に関して、パノラマ写真を撮影するためのフィルムカメラや、パノラマ写真を作成するための技法が知られてきた。パノラマ写真とは、一般に、広大な場面や情景を一目で眺められるように撮影された横長の超広角度の写真である。 Conventionally, regarding panoramic photographs, film cameras for taking panoramic photographs and techniques for creating panoramic photographs have been known. A panoramic photo is generally a horizontally long ultra-wide angle photograph taken so that a vast scene or scene can be viewed at a glance.
また、パノラマ写真撮影機能のない一般のフィルムカメラで撮影する時は、一方向から他方向へと水平に画面を２５％位ずつ重なるようにカメラを移動させながら、何枚も撮影し、そうして撮影した複数コマを、印画作成時に、境目を重ねながら継ぎ合わせて作られる。 Also, when shooting with a general film camera that does not have a panoramic photo shooting function, take several photos while moving the camera horizontally so that the screen overlaps by about 25% from one direction to the other. Multiple frames shot in this way can be created by stitching together while creating a border.
近年、デジタルカメラが登場した。このようなデジタルカメラでは、ＣＣＤ等の撮像素子によって、被写体を撮像し、この撮像によって得られた被写体画像データが、データ圧縮等を行なわれた後に、内部メモリに画像データとして記録される。この撮影された画像をパーソナルコンピュータで処理でき、画像データをメディアに記憶させておけるなどの便利さや簡便さから人気が高くなっている。また、撮像素子の画素数の飛躍的向上など、デジタルカメラをめぐる技術革新の速さにも目覚しいものがある。デジタルカメラで、パノラマ写真を撮影する機能を備えるものもあり、デジタルカメラにおけるパノラマ写真をめぐる研究開発も進んできた。 In recent years, digital cameras have appeared. In such a digital camera, a subject is imaged by an imaging element such as a CCD, and subject image data obtained by the imaging is recorded as image data in an internal memory after data compression or the like. This captured image is becoming popular because it can be processed by a personal computer and image data can be stored in a medium. In addition, there is a remarkable speed of technological innovation related to digital cameras, such as a dramatic improvement in the number of pixels of the image sensor. Some digital cameras have the ability to take panoramic photographs, and research and development on panoramic photographs with digital cameras has progressed.
これに類する研究は、古くから行われており、例えば、特許文献１では、検知器を構成するマトリクス状に縦横に配列された２次元固体撮像素子が、各々、所定間隔を隔てて配設されている。これに対して、撮像される観測視野は、連続的で間隔がないことが問題とされている。すなわち、従来、２次元固体撮像素子群と観測視野との間には両者に平行に固定されたレンズが設けられていたが、上記のように２次元固体撮像素子の間には所定の間隔があるので、この固定されたレンズを通して、そのまま観測視野を撮像すると、各２次元固体撮像素子の間の部分が像を検知できない領域となってしまうことに問題がある。この問題に対して、特許文献１では、レンズを２次元固体撮像素子の非蓄積時間に上下左右に移動させる。これによって、特定の２次元固体撮像素子と観測視野の対応する各部分とを一致させてから撮像するということを全ての２次元固体撮像素子と対応する観測視野部分との対に対して繰り返し行なう。そして、各２次元固体撮像素子に蓄積された像を互いに接続し、観測視野全体の像を表示することにより上記問題を解決している。
Research similar to this has been conducted for a long time. For example, in
また、比較的近年の研究では、例えば、特許文献２で、従来のデジタルカメラに伴う撮影した画像の表示画面への表示方法の問題に取り組んでいる。従来のデジタルカメラでは、画像の上下を一定の割合でカットして、擬似的に横長のパノラマ画像として内部メモリに記憶するだけのものがあった。また、他のタイプのデジタルカメラでは、通常の撮影モードで広角度の被写体を一定方向に連続する複数の画像データに分けて撮像し、これら複数の画像データをパーソナルコンピュータ等の画像処理装置に転送して各種画像処理を行ない、各画像をつなぎ合わせる合成をする煩雑な作業が必要なものがあった。しかし、前者のパノラマ写真ではカットされた部分が未表示部分となってしまい、後者のパノラマ写真では、通常の撮影モードで撮影された画像と同様な方法で１枚１枚再生表示してしまい、いずれの場合もパノラマ撮影機能を十分に活かせていなかった。これらの問題に対して、特許文献２のデジタルカメラでは、表示される画像がパノラマ撮影モードで撮像された画像データである場合、この画像データ及びこの画像データと共にパノラマ撮影モードにおいて連続して撮影された各画像データをその合成条件データに基づいて画像合成して広角度の被写体を写したパノラマ画像データを生成する。さらに、パノラマ画像データに同期信号を付加する等してビデオ信号を生成して、一旦、ＶＲＡＭに格納しその中から１画面分の画像データを読み出して表示部に出力し、表示画面に前記パノラマ画像の一部を再生表示する。パノラマ画像の再生表示の際、ＣＰＵは、表示画像がパノラマ画像であることを示すパノラマ画像マークを表示画面に表示させると共に、カメラのスクロールキーの押圧に応じてＶＲＡＭから読み出す１画面分の画像データを変更制御してパノラマ画像にスクロール表示させる。これらの動作をするデジタルカメラにより上記の問題を解決している。
Also, in relatively recent research, for example,
また、最近の研究において、例えば、特許文献３では、パノラマ画像の持つ方位特性を活かすための発明を開示している。すなわち、従来のデジタルカメラでは、パノラマ画像を構成する各画像がどの方向から取ったものか分からず、再生時には、上述の特許文献２のようにスクロールキーの操作により各画像が順に表示されるだけであるため、あたかも一方向に長い画像のように見えてしまい、パノラマ画像の持つ方位特性を全く活かすことができなかった。これに対して、特許文献３の開示する発明では、デジタルカメラは、向けた方向を検出するための方位センサを備え、このデジタルカメラの向きを変えながら、複数枚の画像を撮影してパノラマ画像を作成した際に、これらの画像に方位センサにより検出された方位情報を付加してメモリに記録している。そしてデジタルパノラマ画像の再生時にデジタルカメラを向けた方角に対応した画像をメモリから読み出して表示部に表示する。この構成により、画像の再生時に装置本体を向けた方角に対応した画像が表示され、しかも装置本体の動きに合わせて、各画像が連続して表示されるので、実際に周囲を見回しているような間隔でパノラマ画像を見ることができる。
しかし、デジタルカメラのパノラマ画像をめぐる上記特許文献２及び３に開示の発明は、パノラマ画像の一部分を表示する表示方法に関するものであった。したがって、撮像された画像の広がりについて十分に表現しきることができない。逆に、パノラマ画像全体を無理に表示画面内に収めようとすると、表示画面の上下が無駄な領域となってしまい、迫力のある描写にならないことがある。
However, the inventions disclosed in
本発明の目的は、このような点を課題として、パノラマ写真のように広い範囲を撮影した画像を表現でき、迫力を有する描写が可能な画像表示装置、カメラ、及び画像表示制御プログラムを提供することである。 An object of the present invention, the object of such a point, can represent images taken a wide range as a panoramic photograph, depiction possible images display apparatus having a powerful, camera, and an image display control program It is to be.
本発明の画像表示装置の一態様は、画像を表示する表示部に表示させる撮影画像を処理する画像表示装置であって、上記表示部に表示させる撮影画像のサイズを加工する信号処理回路と、上記撮影画像から顔の位置を検出する顔検出回路と、上記表示部のアスペクト比よりも横長のアスペクト比である撮影画像を、上記表示部に表示させる際に、上記検出された上記顔の位置に応じて上記撮影画像のサイズを変更して加工するように、上記信号処理回路を制御する演算制御部と、を具備し、上記演算制御部は、上記顔の位置に対応する部分及びその周囲の一定の横幅の範囲については縦横の比率が撮影時と同じ比率となるサイズに上記撮影画像を加工し、且つ、上記一定の横幅の範囲以外の領域については当該撮影画像中における横方向の位置に応じて縦横の比率を変化させたサイズに上記撮影画像を加工するように上記信号処理回路を制御することを特徴とする。 One aspect of the image display device of the present invention is an image display device that processes a captured image to be displayed on a display unit that displays an image, a signal processing circuit that processes the size of the captured image to be displayed on the display unit, and The face detection circuit for detecting the position of the face from the photographed image and the detected position of the face when the photographed image having an aspect ratio that is wider than the aspect ratio of the display unit is displayed on the display unit. An arithmetic control unit that controls the signal processing circuit so as to change and process the size of the captured image in accordance with the processing unit, and the arithmetic control unit includes a portion corresponding to the position of the face and its surroundings. For the certain width range, the photographed image is processed to a size in which the aspect ratio is the same as that at the time of photographing, and for regions other than the certain width range, the horizontal position in the photographed image is And controlling the signal processing circuit to process the captured image to a size obtained by changing the ratio of the vertical and horizontal in accordance with the.
また、本発明の画像表示制御プログラムの一態様は、画像を表示する表示部に表示させる撮影画像のサイズを加工する信号処理回路と上記撮影画像から顔の位置を検出する顔検出回路が設けられた画像表示装置において、当該画像表示装置のコンピュータを制御する画像表示制御プログラムであって、上記表示部のアスペクト比より横長のアスペクト比の撮影画像を上記表示部に表示させる際に、上記検出された顔の位置に応じて上記撮影画像のサイズを変更する機能を上記コンピュータに実現させ、上記変更する機能は、上記検出された上記顔の位置に対応する部分及びその周囲の一定の横幅の範囲については、縦横の比率が撮影時と同じ比率になるようなサイズに上記撮影画像を加工させる工程と、上記顔の位置に対応する部分及びその周囲の一定の横幅の範囲以外の領域については、上記縦横の比率を撮影時から変更し且つ当該縦横の比率が横方向の位置に応じて変化するようなサイズに上記撮影画像を加工させる工程とを備えることを特徴とする。 In addition, according to one aspect of the image display control program of the present invention, a signal processing circuit that processes the size of a captured image displayed on a display unit that displays an image and a face detection circuit that detects the position of the face from the captured image are provided. An image display control program for controlling a computer of the image display device, wherein the detected image is detected when a captured image having an aspect ratio that is wider than the aspect ratio of the display unit is displayed on the display unit. The computer realizes a function of changing the size of the photographed image according to the position of the face, and the function of changing is a part corresponding to the detected face position and a range of a certain lateral width around the part. For, the step of processing the captured image to a size such that the aspect ratio is the same as at the time of shooting, the portion corresponding to the position of the face and its For the region other than the range of a certain width of the enclosure, the step of changing the aspect ratio from the time of photographing and processing the photographed image to a size such that the aspect ratio varies according to the position in the horizontal direction; It is characterized by providing.
本発明によれば、パノラマ画像全体を表現でき、迫力を有する描写が可能となる。すなわち、撮影装置により撮影されたパノラマ画像のような広い範囲を撮影した画像を、迫力と、画像の広がりを伴って再現することができる。 According to the present invention, the entire panoramic image can be expressed, and powerful depiction is possible. That is, an image obtained by photographing a wide range such as a panoramic image photographed by the photographing device can be reproduced with force and the spread of the image.
以下、図面を参照して、本発明の実施の形態を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
（第１実施形態）
図１は、本発明の第１実施形態が適用されたデジタルカメラの概略的なブロック図である。なお、後述する第２実施形態以降も適用されるカメラのブロック図は同様である。このデジタルカメラ１５は、マイクロコントローラ等からなる演算制御部（ＭＰＵ）１を有する。この演算制御部１は、ユーザの操作を各スイッチ１ａ、１ｂ及び１ｃの状態によって検出する。これらスイッチ１ａ、１ｂ及び１ｃは、デジタルカメラ１５の電源のオン・オフや、レリーズスイッチや、以下で述べる撮影、再生及びその他のモード切換用のスイッチとしてユーザが操作する。また、演算制御部１には、ＲＯＭ８が接続されている。演算制御部１は、スイッチ入力の結果と、ＲＯＭ８内のプログラムとに従って、デジタルカメラの各ブロックをシーケンシャル制御して、一連の撮影や再生を実行する。
(First embodiment)
FIG. 1 is a schematic block diagram of a digital camera to which the first embodiment of the present invention is applied. The block diagram of the camera to which the second and later embodiments to be described later are applied is the same. The
撮影レンズ２は、ＡＦ（autofocus）ズームレンズ等である。ピント合わせ部２ａとズーム制御部２ｂとが、演算制御部１に接続されており、これらピント合わせ部２ａとズーム制御部２ｂとはそれぞれ、撮影レンズ２のピント制御と画角切換及び判定とを行っている。また、演算制御部１に接続されている補助光照射部４ａは、被写体１７に向けて光を照射し、露出を補ない、影を消す働きをする。
The taking
撮影時には、撮影レンズ２からデジタルカメラ内に入射した被写体１７の像は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子３ａによって、電気信号に変換される。この電気信号の読出し及びＡ／Ｄ（analog-digital）変換は、撮像素子３ａと接続されているアナログフロントエンド（ＡＦＥ）回路３で行われる。このＡＦＥ回路３は、露出レベルの切り換え制御も行なう。処理されたデジタル画像信号は、このＡＦＥ回路３に接続されている信号処理回路５に入力される。デジタル画像信号は、この信号処理回路５で、色補正や信号圧縮などの処理が行われ、この信号処理回路５に接続されているメモリ７に記録されて、撮影が終了する。また、信号処理回路５に接続されているマイク３ｂからの音声信号も同時に圧縮処理が行われ、メモリ７に記録される。この過程で、種々の演算を行なうために信号処理回路５に接続されているＲＡＭ６に適宜データの格納を行なう。
At the time of shooting, an image of the subject 17 that has entered the digital camera from the
また、信号処理回路５は、補助ブロック５ａを有する。この補助ブロック５ａは、露出レベルを変更した後の増感や画像処理時の補正のかけ方を変更し、また撮像素子３ａの電気信号をメモリ７に記録する時の圧縮率を変更する。
The
撮影のためのユーザによる構図決定は、信号処理回路５に接続され、ＬＣＤ（Liquid Crystal Display）等からなり、デジタルカメラ１５の背面に設けられている、表示部９によって、撮像素子３ａからの信号を逐次再生させて表示することによって、被写体１７の状態を確認しながら行なう。
The composition determination by the user for shooting is connected to the
また、再生は、ユーザの操作にしたがって、メモリ７の中の圧縮された画像データ及び音声データを信号処理回路５が読み出して、画像データを表示部９に表示し、さらに、音声データを信号処理回路５に接続されているスピーカ１０で再生することにより行なう。すなわち、画像表示と音声再生との制御は、信号処理回路５により行なう。また、撮影された画像等は、信号処理回路５に接続されているプリント信号出力部１１やワイヤレス部１２により、外部に送信が可能である。
In the reproduction, the
動画ファイルは、録画画像をそのままメモリ７に記録していくと、画像データの占めるサイズが大きくなりすぎるので、表示部９に合わせてリサイズし、又は、ＭＰＥＧ−４やＨ．２６４等の動画圧縮方法で圧縮して記録を行なう。
If the recorded image is recorded in the
さらに、演算制御部１及び信号処理回路５に接続されている特徴部抽出部４ｂは、撮像素子３ａにより得られた電気信号を解析して、特徴部を抽出する。さらに、この特徴部抽出部４ｂには、合成部４ｃが接続されており、この合成部４ｃは、特徴部抽出部４ｂにより抽出された特徴部を利用して、複数の画像を合成するユニットである。
Further, the
図２は、従来技術により作成されたパノラマ写真の一例を示している。また、図３は、図２のパノラマ写真を構成するための２枚の写真を示す図である。図２に示されているような広い範囲の撮影が必要な時、従来から、図３のようなパノラマ写真の構成要素となる２枚の写真（ａ）、（ｂ）を撮影して、その後に、合成する手法が古くから知られている。しかし、このように、つなぎ目に隙間が生じないように、うまく接続して合成できる写真を撮影するのは大変困難である。 FIG. 2 shows an example of a panoramic photograph created by the prior art. FIG. 3 is a diagram showing two photographs for composing the panoramic photograph of FIG. When a wide range of shooting as shown in FIG. 2 is necessary, conventionally two pictures (a) and (b) which are components of a panoramic picture as shown in FIG. In addition, the synthesis method has been known for a long time. However, it is very difficult to take a picture that can be connected and combined so that there is no gap at the joint.
本実施形態が適用されたデジタルカメラでは、高速の撮像センサを利用して、動画を撮影するような操作を用いて、パノラマ写真を撮影する。すなわち、従来のように合成写真を構成するための、境界部が一致する２枚の画像を接続させて合成するのではなく、動画として撮影された多数の連続した画像を用いた工程で困難なくパノラマ画像を合成する。 In the digital camera to which the present embodiment is applied, a panoramic photograph is taken using an operation for taking a moving image by using a high-speed imaging sensor. In other words, it is not difficult in the process using a large number of consecutive images taken as a moving image, instead of connecting and combining two images with the same boundary for composing a composite photograph as in the past. Composite panoramic images.
図４は、このような動画によるパノラマ写真の合成を行なうためのデジタルカメラの使用例を示している。図５は、図４のデジタルカメラ１５の使用により撮影された複数の連続した画像の例を示している。図４に示されているように、ユーザ１６は、動画を撮影するように、風景のような被写体１７をデジタルカメラ１５を横方向に移動することにより連続的に撮影している。この結果、図５に示されているような連続画像（ａ）乃至（ｇ）が撮影される。これら連続画像の中から適当な画像を抜き出してパノラマ画像を合成する。すなわち、図５に示されているように、画像（ａ）の中央にある特徴部である家が、画像（ｄ）の端部に見えている。また、この画像（ｄ）の反対側の端部に新たな特徴部である木が、写されており、この特徴部は、画像（ｇ）の端部に写されている。したがって、図５の例では、画像（ａ）、（ｄ）及び（ｇ）を用いて、パノラマ画像を合成することができる。特徴部は、パノラマ作成で画面が繋がる方向で、変化するポイントであることが重要である。つまり、図５の建物のように、水平にカメラを動かした時に、その変化が分かるように、垂直方向に輪郭があるものである必要がある。また、垂直にカメラを動かした時には、垂直にのみ輪郭があると、画面の変化が分からないので、水平に輪郭があるものを特徴部として選択することが重要である。したがって、特徴部は、これらの状況に対応できるように、画面の中で垂直方向、水平方向とも、コントラストが変化しているものであることが好ましい。
FIG. 4 shows an example of the use of a digital camera for synthesizing panoramic photographs with such moving images. FIG. 5 shows an example of a plurality of continuous images taken by using the
図６ａ、ｂは、デジタルカメラ制御のフローチャートを示している。このフローは、図１に示されている演算制御部１が実行している。高速の撮像素子３ａからの画像信号は、順次、信号処理回路５で処理されてメモリ７に保存されていく。パノラマ画像を作成するためには以下のようにする。
6A and 6B show a flowchart of digital camera control. This flow is executed by the
図６ａのフローチャートを開始して、まず、デジタルカメラによる連続撮影の工程Ｒ１を行なう。例えば、ユーザ１６が、連続撮影のためのスイッチ、例えばレリーズスイッチ１ｂを押圧している間、この連続撮影の工程Ｒ１は、繰り返される。工程Ｒ２では、連続撮影の終了を判定している。ユーザ１６によるレリーズスイッチ１ｂの押圧が継続していれば、工程Ｒ１を続けて行なう。もし、スイッチの押圧が終了している時は、連続撮影の工程Ｒ１を終了して、第１基準画像の選択の工程Ｒ３を行なう。第１基準画像は、必ずしも、連続撮影の最初の１コマではなく、画像のぶれがないとか、画像の中央部付近に明瞭な特徴部を含むなどの所定の特徴を有する最初の画像でよい。次に、工程Ｒ４に進み、第１基準画像の中央部の特徴部を抽出し、第１特徴部とする。この基準画像からの特徴部の抽出は、図１に示されている上記の特徴部抽出部４ｂが演算制御部１の制御を受けて行なっている。この工程Ｒ４まで実行されると、図５に示されている例によれば、画像（ａ）の中央部の家を特徴部として抽出することが終了したことになる。次に、第１特徴部が左右いずれかの端部にある第２基準画像を選択できるか判定する工程Ｒ５を実行する。これは、図５に示されている例によれば、画像の左端に第１特徴部である家が写っている画像（ｄ）を第２基準画像として選択できることを判定することに相当する。この工程Ｒ５でＮＯに分岐する場合は、第２基準画像が見つからない場合であり、この説明の最後に触れる。
The flowchart of FIG. 6a is started, and first, a continuous shooting process R1 by a digital camera is performed. For example, while the
次の工程Ｒ６は、工程Ｒ５で選択可能と判断された第２基準画像を実際に選択する工程である。次に、工程Ｒ７で変数ｎに値２を代入する。この変数ｎは、第ｎ基準画像までが選択されたことを示す変数であり、工程Ｒ７の時点では、第２基準画像までが選択されているのでｎ＝２として変数ｎを初期化している。次の工程Ｒ８は、第１特徴部のある端部が第２基準画像の左にあるか否かを判断する工程である。工程Ｒ９Ｒ、Ｒ９Ｌでは、工程Ｒ８の判定結果に基づいて、デジタルカメラ１５を動かした方向に対応させて、それぞれ変数「ｄｉｒｅｃｔｉｏｎ」に「右」、「左」の値を代入する。次に、工程Ｒ１０で、第ｎ基準画像の「ｄｉｒｅｃｔｉｏｎ」側で第ｎ特徴部を抽出する。この工程は、図５に示された例によれば、画像（ｄ）を第２基準画像として選択した時に、この画像の右端に次の特徴部である木を第２特徴部として抽出する工程に相当する（ｎ＝２、「ｄｉｒｅｃｔｉｏｎ」＝「右」）。次に、工程Ｒ１１で、第ｎ特徴部が端部にある、第２乃至第ｎ基準画像以外の画像（第（ｎ＋１）基準画像）を選択できるか否かを判定している。この工程Ｒ１１は、図５に示されている例によれば、画像（ｄ）で第２特徴部として抽出された木が端部に写っている画像があるのかどうかを判定していることに相当する（ｎ＝２）。図５に示されている例によれば、画像（ｇ）があり、Ｒ１１の判定はＹＥＳに分岐することになる。また、第２乃至第ｎ基準画像以外から第（ｎ＋１）基準画像を選択するのは、第（ｎ＋１）基準画像をこれらの既に選択された画像と重複して選択しないようにするためである。Ｒ１１の分岐ＹＥＳに分岐した場合、次の工程Ｒ１２で、工程Ｒ１１で選択された画像は、第（ｎ＋１）基準画像として選択される。これは、図５に示されている例によれば、画像（ｇ）を第３基準画像として選択することに相当する。次の工程Ｒ１３では、変数ｎにｎ＋１の値を改めて代入する。これら工程Ｒ８乃至Ｒ１３は、工程Ｒ１１でＮＯに分岐するまで繰り返される。工程Ｒ１１でＮＯに分岐した時は、これまでの工程で選択された第１乃至第ｎ基準画像を、工程Ｒ１４で合成する。この合成は、図１に示されている上記合成部４ｃが、演算制御部１の制御を受けて、メモリ７の中にある基準画像や特徴部抽出の結果を利用して行なっている。工程Ｒ１５で、合成した画像を表示部９に表示する。
The next step R6 is a step of actually selecting the second reference image determined to be selectable in step R5. Next, the
最後に、上で予告したように工程Ｒ５でＮＯに分岐した場合について説明する。この場合は、ユーザ１６のデジタルカメラ１５による連続撮影の横方向の幅が短すぎた場合に相当し、第１特徴部が左右いずれかの端部にある画像合成のための第２基準画像が記録されていないことになる。この場合は、次の工程Ｒ７’で変数ｎにｎ＝１と代入し、工程Ｒ１４に進む。この工程Ｒ１４では実際には合成のための２枚以上の画像がないために第１基準画像そのものを、この工程の結果として出力する。
Finally, the case where the process branches to NO in step R5 as previously announced will be described. This case corresponds to a case where the lateral width of continuous shooting by the
この実施形態では、連続した画像を用いているので、複数の画像の中で重ならない領域はなく、この実施の形態によれば、必ずパノラマ画像を形成することができる。また、たくさんの画像の中から使える画像のみを利用するので、図３に示されているような従来の方式よりも失敗がなく、ユーザのストレスもなく、パノラマ画像の撮影が可能となっている。 In this embodiment, since continuous images are used, there is no non-overlapping region among a plurality of images, and according to this embodiment, a panoramic image can be formed without fail. In addition, since only usable images are used from among a large number of images, panoramic images can be taken with less failure and less stress on the user than the conventional method shown in FIG. .
図６ｂは、図６ａのフローチャートの変形例である。図６ｂのフローチャートを開始して、まず、デジタルカメラによる連続撮影の工程Ｓ１を行なう。例えば、ユーザ１６が、連続撮影のためのスイッチ、例えばレリーズスイッチ１ｂを押圧している間、この連続撮影の工程Ｓ１は、繰り返される。工程Ｓ２では、連続撮影の終了を判定している。ユーザ１６によるスイッチの押圧が継続していれば、工程Ｓ１を続けて行なう。スイッチの押圧が終了すると、連続撮影の工程Ｓ１を終了して、第１基準画像の選択の工程Ｓ３を行なう。第１基準画像は、必ずしも、連続撮影の最初の１コマではなく、画像のぶれがないとか、画像の中央部付近に明瞭な特徴部を含むなどの所定の特徴を有する最初の画像でよい。次に、工程Ｓ４に進み、第１基準画像の中央部の特徴部を抽出し、第１特徴部とする。この基準画像からの特徴部の抽出は、図１に示されている上記の特徴部抽出部４ｂが演算制御部１の制御を受けて行なっている。この工程Ｓ４まで実行されると、図５に示されている例によれば、画像（ａ）の中央部の家を特徴部として抽出することが終了したことになる。次に、第１特徴部が左右いずれかの端部にある第２基準画像を選択できるか判定する工程Ｓ５を実行する。これは、図５に示されている例によれば、画像の左端に第１特徴部である家が写っている画像（ｄ）を第２基準画像として選択できることを判定することに相当する。この工程Ｓ５でＮＯに分岐する場合は、第２基準画像が見つからない場合であり、この説明の最後に触れる。
FIG. 6b is a modification of the flowchart of FIG. 6a. The flowchart of FIG. 6B is started, and first, a continuous shooting step S1 by a digital camera is performed. For example, while the
工程Ｓ５でＹＥＳに分岐する場合、次の工程Ｓ６は、工程Ｓ５で選択可能と判断された第２基準画像を実際に選択する工程である。次の工程Ｓ７は、第１特徴部のある端部が第２基準画像の左にあるか否かを判断する工程である。この端部が、第２基準画像の左側にある場合、ユーザ１６は、図４に示されている例のようにデジタルカメラ１５を右に動かして工程Ｓ１の連続撮影を行なったことになる。逆に、この端部が第２基準画像の右側にある場合、ユーザ１６は、デジタルカメラ１５を左に動かして工程Ｓ１の連続撮影を行なったことになる。工程Ｓ８Ｒ、Ｓ８Ｌでは、工程Ｓ７の判定結果に基づいて、デジタルカメラ１５を動かした方向に対応させて、それぞれ変数「ｄｉｒｅｃｔｉｏｎ」に「右」、「左」の値を代入する。すなわち、この変数「ｄｉｒｅｃｔｉｏｎ」の値は、工程Ｓ１でデジタルカメラ１５を動かした方向と同じ向きであり、現在の基準画像の中で次の特徴部を抽出しなければならない側が左右のどちらの端部であるかを示す変数である。すなわち、第２特徴部は、この第２基準画像の「ｄｉｒｅｃｔｉｏｎ」側に抽出しなければならない。次に、工程Ｓ９で変数ｎに値２を代入する。この変数ｎは、第ｎ基準画像までが選択されたことを示す変数であり、工程Ｓ９の時点では、第２基準画像までが選択されているのでｎ＝２として変数ｎを初期化している。次に、工程Ｓ１０で、第ｎ基準画像の「ｄｉｒｅｃｔｉｏｎ」側で第ｎ特徴部を抽出する。この工程は、図５に示された例によれば、画像（ｄ）を第２基準画像として選択した時に、この画像の右端に次の特徴部である木を第２特徴部として抽出する工程に相当する（ｎ＝２、「ｄｉｒｅｃｔｉｏｎ」＝「右」）。次に、工程Ｓ１１で、第ｎ特徴部が「ｄｉｒｅｃｔｉｏｎ」側と反対側にある画像（第（ｎ＋１）基準画像）を選択できるか否かを判定している。この工程Ｓ１１は、図５に示されている例によれば、画像（ｄ）で第２特徴部として抽出された木が左側の端部に写っている連続撮影の後の画像があるのかどうかを判定していることに相当する（ｎ＝２、「ｄｉｒｅｃｔｉｏｎ」＝「右」）。図５に示されている例によれば、画像（ｇ）があり、Ｓ１１の判定はＹＥＳに分岐することになる。Ｓ１１の分岐ＹＥＳに分岐した場合、次の工程Ｓ１２で、工程Ｓ１１で選択された画像は、第（ｎ＋１）基準画像として選択される。これは、図５に示されている例によれば、画像（ｇ）を第３基準画像として選択することに相当する。次の工程Ｓ１３では、変数ｎにｎ＋１の値を改めて代入する。これら工程Ｓ１０乃至Ｓ１３は、工程Ｓ１１でＮＯに分岐するまで繰り返される。工程Ｓ１１でＮＯに分岐した時は、これまでの工程で選択された第１乃至第ｎ基準画像を、工程Ｓ１４で合成する。この合成は、図１に示されている上記合成部４ｃが、演算制御部１の制御を受けて、メモリ７の中にある基準画像や特徴部抽出の結果を利用して行なっている。工程Ｓ１５で、合成した画像を表示部９に表示する。
When branching to YES in step S5, the next step S6 is a step of actually selecting the second reference image determined to be selectable in step S5. The next step S7 is a step of determining whether or not the end portion having the first characteristic portion is on the left side of the second reference image. When this end is on the left side of the second reference image, the
最後に、上で予告したように工程Ｓ５でＮＯに分岐した場合について説明する。この場合は、ユーザ１６のデジタルカメラ１５による連続撮影の横方向の幅が短すぎた場合に相当し、第１特徴部が左右いずれかの端部にある画像合成のための第２基準画像が記録されていないことになる。この場合は、次の工程Ｓ９’で変数ｎにｎ＝１と代入し、工程Ｓ１４に進む。この工程Ｓ１４では実際には合成のための２枚以上の画像がないために第１基準画像そのものを、この工程の結果として出力する。
Finally, the case where the process branches to NO in step S5 as described above will be described. This case corresponds to a case where the lateral width of continuous shooting by the
この実施形態でも、連続した画像を用いているので、複数の画像の中で重ならない領域はなく、この実施の形態によれば、必ずパノラマ画像を形成することができる。また、たくさんの画像の中から使える画像のみを利用するので、図３に示されているような従来の方式よりも失敗がなく、ユーザのストレスもなく、パノラマ画像の撮影が可能となっている。 Also in this embodiment, since continuous images are used, there is no non-overlapping region among a plurality of images, and according to this embodiment, a panoramic image can be formed without fail. In addition, since only usable images are used from among a large number of images, panoramic images can be taken with less failure and less stress on the user than the conventional method shown in FIG. .
図６ｃ、ｄは、図６ａ又は図６ｂに示されているフローチャートで行なわれる基準画像の選択と特徴部の抽出とが、メモリ内でどのように実行されているかを示す図である。 6c and 6d are diagrams showing how the reference image selection and feature extraction performed in the flowchart shown in FIG. 6a or 6b are performed in the memory.
本実施形態におけるデジタルカメラでは、図６ｃに示されているように、前記基準画像の選択と特徴部の抽出とは、選択された全ての基準画像と、全ての抽出された特徴部とをメモリ７内の基準画像格納領域と特徴部格納領域とにそれぞれ転送することにより行なう。図６ｃに示されている例では、４つの基準画像が基準画像格納領域に転送され、特徴部格納領域には、４つの特徴部が記憶されている。また、合成部４ｃにより合成されたパノラマ画像もメモリ７内の合成画像格納領域に記憶されている。
In the digital camera according to the present embodiment, as shown in FIG. 6c, the selection of the reference image and the extraction of the feature are performed by storing all the selected reference images and all the extracted features. 7 is transferred to the reference image storage area and the feature part storage area in the
また、図６ｄに示されているように、選択された基準画像が連続撮影された何番目の画像かを示す全ての情報と、全ての抽出された特徴部とをメモリ７内の他の領域に転送することにより行なうようにしてもよい。図６ｄにおいて、連続撮影された全ての画像の領域で各画像には、連続撮影の開始から終了までに撮影された全ての画像に、例えば、自然数の、変数が与えられている。図６ｄの中で両側に黒丸が付されている画像が基準画像として選択された画像であり、基準画像の変数格納領域には、黒丸が付されている画像が何番目の画像かを示す変数のみが格納されている。また、合成部４ｃにより合成されたパノラマ画像もメモリ７内の合成画像格納領域に記憶されている。
Further, as shown in FIG. 6d, all the information indicating the number of images in which the selected reference image is continuously captured and all the extracted feature portions are stored in other areas in the
メモリ７内に記憶されている画像は、信号処理回路５により、ＬＣＤパネル等の表示部９に表示される。
The image stored in the
（第２実施形態）
図７ａは、上下方向にずれた基準画像からのパノラマ画像の構成を示しており、図７ｂは、上下方向にずれた基準画像から合成されたパノラマ画像の例を示している。動画の撮影方法を利用して、１枚のパノラマ画像を得る時には、動画を連続撮影している時に、上下にカメラが動いてしまうと、図７ａに示されているように、パノラマ画像は、各基準画像の共通部分で合成されるので図７ａのΔｙだけの合成不可能部分を生じてしまい、結果として生じるパノラマ画像も図７ｂに示されているように、上下でそれぞれΔｙだけ基準画像の縦方向のサイズより小さくなる。従って、ユーザ１６は、デジタルカメラ１５をΔｙのずれを生じないように、真横に動かす必要がある。しかし、いくら意識して動かしても、ユーザの感覚だけでは、真横に動かし続けることは難しい。
(Second Embodiment)
FIG. 7a shows a configuration of a panoramic image from a reference image shifted in the vertical direction, and FIG. 7b shows an example of a panoramic image synthesized from the reference image shifted in the vertical direction. When a single panoramic image is obtained using the moving image shooting method, if the camera moves up and down during continuous shooting of the moving image, as shown in FIG. Since each reference image is combined at a common portion, a portion of Δy in FIG. 7a cannot be combined, and the resulting panoramic image also has a reference image that is Δy above and below as shown in FIG. 7b. Smaller than vertical size. Therefore, the
図８は、連続撮影中に横方向へのデジタルカメラの移動のためのユーザサポートを設けた場合の表示画面の一例である。本発明の他の態様において、図８に示されているように、デジタルカメラ背面のＬＣＤ等の表示部９に撮像素子３ａからのモニタ用のサブ画面９ｂの他、インジケータ表示部９ｃを設け、デジタルカメラ１５の横方向への連続撮影の間、このデジタルカメラ１５が上下に動いていないかをこのインジケータ表示部９ｃに表示している。このインジケータ表示部９ｃは、グラフ形式で、横軸はデジタルカメラ１５の左右の位置を、縦軸は、ある特徴部の画面内上下方向の位置を表示するようにする。連続撮影の時に、特徴部の位置を検出し、数値化してグラフ上にプロット表示する。ユーザ１６は、この特徴部が上下に振れないように、デジタルカメラ１５を動かすようにし、もし、連続撮影の途中でずれてしまったら、インジケータ表示部９ｃを見ながら特徴部のプロットポイントが一直線になるように、縦方向の向きを微調整しながらデジタルカメラ１５を動かしていく。また、表示部９には枠９ｄを設け、連続撮影時に現在参照している特徴部を表示することができる。
FIG. 8 is an example of a display screen when user support is provided for moving the digital camera in the horizontal direction during continuous shooting. In another aspect of the present invention, as shown in FIG. 8, the
図９は、上記のような上下方向へのユーザサポートを伴う連続撮影のためのフローチャートである。このフローチャートは、図６ａに示されているフローチャートの開始、Ｓ１の連続撮影及びＳ２の連続撮影終了の各工程が改良された変形例である。以下、図９に示されているフローチャートを参照しながら説明する。 FIG. 9 is a flowchart for continuous shooting with user support in the vertical direction as described above. This flowchart is a modified example in which the steps of the flowchart shown in FIG. 6a, the continuous shooting at S1, and the end of continuous shooting at S2 are improved. Hereinafter, description will be made with reference to the flowchart shown in FIG.
フローチャートの工程Ｔ１は、例えばモード切換え用のスイッチ１ｃの操作により、ユーザ１６がデジタルカメラ１５を動かす方向を指定し、その結果によって、制御を切り換えるための分岐の工程である。ユーザ１６がデジタルカメラ１５を動かす方向を自動検出することも可能だが、説明の簡単のためにこのフローチャートではユーザ１６による指定を入力工程とした。ユーザ１６の入力は、デジタルカメラ１５の演算制御部１が、判定して制御を切り換える。このフローチャートでは、例として、ユーザ１６が右方向に動かすことを選択したか否かを判定している。ＹＥＳに分岐すると、以降では、ユーザ１６が右方向にデジタルカメラ１５を動かしながら連続撮影する各工程に移行する。ＮＯに分岐した場合は、ユーザ１６が左方向にデジタルカメラ１５を動かしながら連続撮影する各工程に移行する。右方向又は左方向に動かしながら連続撮影する工程は、ユーザ１６がデジタルカメラ１５を動かす方向を除いて同等である。したがって、以下では、工程Ｔ１でユーザ１６が行なった選択がＹＥＳであるものとして説明する。
Step T1 in the flowchart is a branching step for switching the control based on the result of designating the direction in which the
工程ＴＲ２では、表示部９で図８に示されているような右方向用表示がされる。続いて工程ＴＲ３では、ユーザ１６がデジタルカメラ１５のレリーズスイッチ１ｂを押圧することによりＹＥＳに分岐し、デジタルカメラ１５による連続撮影を開始する。次に、工程ＴＲ４では、既に撮影されメモリ７に記録された画像の右端から特徴部を抽出する。これは、画像の右端で抽出された特徴部は、カメラを右側に動かすにつれて、表示部９内を左側に向けて横向きに移動し、これを表示部９で常にモニタできるからである。また、この次の工程ＴＲ５では、抽出された特徴部を図８に示されている表示部９の中の枠９ｄの中に表示する。続いて、工程ＴＲ６では、撮像素子３ａにより被写体の撮影を行ない撮影された画像をメモリ７内に記録すると共に、図８に示されているサブ画面９ｂに撮影された画像を表示する。次に、工程ＴＲ７では、特徴部の縦方向の位置を、工程ＴＲ３における撮影開始時の特徴部の表示部９内での縦方向の位置を０として、グラフ９ｃにプロットする。このプロットは、ユーザ１６がデジタルカメラ１０を右に動かしているので右方向に延びる軌跡を構成する。ユーザ１６は、このプロットがｙ＝０の横軸から上下にずれないように注意しながら撮影を続ける。次に、工程ＴＲ８で、ユーザ１６がレリーズスイッチ１ｂを押圧するのを止めて連続撮影を終了しているか否かを判定する。ＹＥＳに分岐する場合は、連続撮影を終了する。ユーザ１６がスイッチの押圧をまだ続けており、ＮＯに分岐する場合は、次の工程ＴＲ９に進む。工程ＴＲ９では、抽出された特徴部が、表示部９の中のサブ画面９ｂの左端に到達しているか否かを判定する。これは、もし、ユーザ１６による連続撮影が進み、以前に画面の右端で抽出された特徴部が左端にまで到達している場合、続いての連続撮影で同じ特徴部を利用した縦方向の位置の判定ができなくなるからである。工程ＴＲ９で、ＹＥＳに分岐する場合は、再びＴＲ４に戻り、サブ画面９ｂの右端で新たな特徴部の抽出を行なうようにする。ＮＯに分岐する場合は、まだ、以前に抽出した特徴部を引き続いて縦方向の判定に用いることができるので、工程ＴＲ６に戻るようにする。
In step TR2, the display for the right direction as shown in FIG. Subsequently, in step TR3, the
このようにすれば、ユーザ１６は、画面の揺れを意識してデジタルカメラ１５の向きを制御できるので、図７に示されているような上下の振れによるΔｙの大きさの画像縮小の問題を防ぐことができる。また、合成部４ｃによってパノラマ画像を合成するときにも、同じ特徴部を見つける範囲が限定でき、画像合成の速さを向上させることができる。このように、近年、デジタルカメラに搭載されているような大画面のＬＣＤパネルを有効に利用して、撮影画像の表示と共にカメラの揺れも検出表示して連続撮影を行なうことができる。
In this way, the
また、本実施形態におけるデジタルカメラにおいては、連続撮影によって得られた一連の連続画像のうち、全体の中央にくる画像を基準画像として選び、この画像の中央付近から特徴部を抽出し、この特徴部を画像の右端又は左端に含む画像を前記一連の連続画像の中から選び、これら２枚の画像と、前記基準画像とを合成することによって、パノラマ画像を得るようにしてもよい。これは、図４に示されているような操作によるパノラマ撮影では、一連の連続撮影で得られた複数画像のうちの中央の画像に重要な被写体が写っているはずだという発想に基づいている。 Further, in the digital camera in the present embodiment, an image that is in the center of the whole is selected as a reference image from a series of continuous images obtained by continuous shooting, and a feature portion is extracted from the vicinity of the center of the image. A panoramic image may be obtained by selecting an image including a portion at the right end or the left end of the image from the series of continuous images and combining the two images and the reference image. This is based on the idea that in the panoramic shooting by the operation as shown in FIG. 4, an important subject should appear in the central image among a plurality of images obtained by a series of continuous shooting. .
図１０は、このようなパノラマ画像合成の手順の概略図であり、図１１は、このパノラマ画像合成のフローチャートである。 FIG. 10 is a schematic diagram of such a panoramic image composition procedure, and FIG. 11 is a flowchart of this panoramic image composition.
図１０において、画像（ａ）は、図５に示されている一連の連続画像のうちで中央にある画像（ｄ）の画像と同じ画像である。図１０の画像（ａ）では、この画像の中央付近から特徴部を抽出している。画像（ｂ）は、抽出された特徴部の画像である。一連の連続した画像のうちからこの抽出された画像（ｂ）を右端に含む画像（（ｃ））と、左端に含む画像（（ｄ））を選び出し、最初に選び出した画像（（ａ））と合わせて、これら３枚で１枚のパノラマ画像（ｅ）を合成している。 In FIG. 10, an image (a) is the same image as the image (d) at the center in the series of continuous images shown in FIG. In the image (a) in FIG. 10, the characteristic portion is extracted from the vicinity of the center of the image. Image (b) is an image of the extracted feature portion. An image ((c)) including the extracted image (b) at the right end and an image ((d)) including the extracted image (b) at the right end are selected from a series of consecutive images, and the first selected image ((a)). In addition, a single panoramic image (e) is synthesized with these three images.
このような手順をさらに明らかにするために、図１１のフローチャートを参照して説明する。フローを開始して、まず、工程Ｖ２で、例えば、ユーザ１６がレリーズスイッチ１ｂを押圧していることを判定してＮＯに分岐している間は、工程Ｖ１の連続撮影を継続する。ＹＥＳに分岐した時は、連続撮影を終了し、工程Ｖ３でメモリ７の中に記録されている複数の画像の中から中央に位置する中央画像を検出する。さらに、次の工程Ｖ４で工程Ｖ３で検出された中央画像の中央部付近から特徴部を抽出する。次に、工程Ｖ５で、この抽出された特徴部が画像の右端にある左側画像をメモリ７内から選択し、工程Ｖ６で同様に特徴部が画像の左端にある右側画像を選択する。工程Ｖ７では、工程Ｖ３、Ｖ５及びＶ６で選択された３枚の画像を合成する。工程Ｖ８で、この合成された画像を表示部９に表示する。このように、特徴部を１つしか抽出しないので、使用されるメモリ７内の記憶領域が縮小され、演算の単純化が可能となる。
In order to further clarify such a procedure, a description will be given with reference to the flowchart of FIG. Starting the flow, first, in step V2, for example, while it is determined that the
図１２は、このようなパノラマ画像の撮影の変形例を示すフローチャートである。すなわち、フローを開始して、まず、工程Ｖ２’で、例えば、ユーザがレリーズスイッチ１ｂを押圧していることを判定してＮＯに分岐している間は、工程Ｖ１’の連続撮影を継続する。ＹＥＳに分岐した時は、連続撮影を終了し、工程Ｖ３’でメモリ７の中に記録されている複数画像の中から中央に位置する中央画像を検出する。さらに、次の工程Ｖ４’ａ、Ｖ４’ｂでこの検出された画像の左端と右端とからそれぞれ１つずつ特徴部を抽出し、それぞれ特徴部１、特徴部２としてメモリ７に記録する。次に、工程Ｖ５’で特徴部１が右端にある画像をメモリ７に記録されている画像の中から選択し、左側画像とする。工程Ｖ６’では、特徴部２が左端にある画像をメモリ７に記録されている画像の中から選択し右側画像とする。工程Ｖ７’では、工程Ｖ３’、工程Ｖ５’及び工程Ｖ６’でそれぞれ選択した３枚の画像を合成する。工程Ｖ８’では、合成されたパノラマ画像を表示部９に表示している。このように、特徴部を２つ抽出することで横幅のより広いパノラマ画像を合成することができ、特徴部を記憶するためのメモリ７内の記憶領域は比較的小さく、演算の単純化が可能となる。
FIG. 12 is a flowchart showing a modification of such panoramic image shooting. That is, starting the flow, first, in step V2 ′, for example, while it is determined that the user is pressing the
（第３実施形態）
さらに、本実施形態におけるデジタルカメラでは、複数の画像を合成してパノラマ画像を構成するときに、人物を被写体として積極的に有効利用して、パノラマ画像を合成するようにしてもよい。
(Third embodiment)
Furthermore, in the digital camera according to the present embodiment, when a panoramic image is formed by combining a plurality of images, a panoramic image may be combined by actively utilizing a person as a subject.
図１３は、人物が複数の連続して撮影された画像のいずれにも被写体１７として含まれている場合のパノラマ画像の合成例を示す。図１４ａ、ｂは、人物を被写体１７として連続撮影している時に表示部９にガイド表示を行なう態様を示す。そして、図１５は、図１４ａ、ｂに示されている連続撮影された画像を利用したパノラマ画像の構成のためのフローチャートである。
FIG. 13 shows an example of panoramic image synthesis in the case where a person is included as a subject 17 in any of a plurality of consecutively photographed images. 14A and 14B show a mode in which guide display is performed on the
図１３では、人物をパノラマ画面を構成する画像のいずれにも被写体１７として含み、パノラマ画像を構成する場合の重なり部としている。したがって２つの画像、すなわち、連続する画像の最初の画像と最後の画像とに重複する部分がないために、結果としてパノラマ画像として接続できないという問題が回避できる。これら人物を被写体１７とする画像を撮影するにあたり、図１４ａと図１４ｂとのように、表示部９の中に、撮像素子３ａにより高速撮影される画像を表示するためのサブ画面９ｂ、ユーザがカメラの向きを変えるときにそれをサポートするガイド表示９ｅ及び顔検出技術を応用し被写体の顔の位置をサブ画面９ｂ内にスーパーインポーズ表示する顔位置表示９ｆを有している。顔検出技術とは、近年パターン認識等で検出できる技術が開発されている公知技術である。この顔検出技術のための回路は、信号処理回路５の中に内蔵されている。また、ユーザは、この顔位置表示９ｆが、ガイド表示９ｅに横方向の位置が一致しているようにカメラの向きを変えながら連続撮影を行なう。すなわち、上述の特徴部を被写体１７である人物の顔としたものが本パノラマ画像合成法である。
In FIG. 13, a person is included as the subject 17 in any of the images constituting the panoramic screen, and is used as an overlapping portion when a panoramic image is formed. Therefore, since there is no overlapping portion between the two images, that is, the first image and the last image of consecutive images, the problem that connection as a panoramic image cannot be achieved as a result can be avoided. When taking an image of the
以下では、図１５のフローチャートを参照して、このガイド表示９ｅと顔位置表示９ｆとを利用して、連続撮影を行ない、パノラマ画像を構成する方法を説明する。フローを開始して、まず工程Ｗ１で例えば、ユーザ１６がレリーズスイッチ１ｂを押圧しているかどうかを判定することにより撮影が開始されているかどうかを判定する。ここでＹＥＳに分岐する場合、工程Ｗ２で表示部９の左右いずれかの端部にガイド表示９ｅを表示する。次に、工程Ｗ３で１画像分の撮影を行ない、この撮影された画像をサブ画面８ｂに表示する。さらに、工程Ｗ４で被写体の人物の顔を検出する。次の工程Ｗ５では、検出された顔と横方向に位置が一致するように顔位置表示９ｆをサブ画面９ｂ上にスーパーインポーズする。さらに、次の工程Ｗ６では、ガイド表示９ｅと顔位置表示９ｆとの横方向の位置が一致しているかどうかを判定する。もし、この分岐がＮＯならば、ユーザは、現在のガイド表示９ｅと顔位置表示９ｆとの位置の違いを確かめ、これらが一致するように、カメラの向きを変えなければならない。工程Ｗ３乃至Ｗ６は、工程Ｗ６が分岐ＹＥＳに進むまで繰り返される。このことは、顔位置表示９ｆとガイド表示９ｅとは、初期状態では横方向の位置が一致した状態であることを意味している。工程Ｗ６が分岐ＹＥＳに進むと、工程Ｗ７では、被写体１７の人物の顔を検出して第１特徴部として抽出すると共に、この時（上記工程Ｗ３により）サブ画面９ｂに表示されている画像を第１基準画像とする。なお、特徴部の抽出は、特徴部抽出部４ｂではなく、信号処理回路５に内蔵されている顔検出回路が用いられ、撮影された全ての画像は、メモリ７内に記録されている。次に、工程Ｗ８では、例えば、ユーザがスイッチの押圧を止めているかどうかを判定して撮影が終了しているか否かを判定する。この工程でＷ８でＹＥＳに分岐する場合、撮影が終了され、ガイド表示も強制的に終了され（工程Ｗ１５）、後述する工程Ｗ１６に進む。この工程Ｗ８でＮＯに分岐する場合、次の工程Ｗ９では、ガイド表示９ｅの位置をわずかに変更する。そして、工程Ｗ１０では、画像の撮影を行なう。続いて、工程Ｗ１１では、工程Ｗ１０で撮影された画像内で被写体１７の人物の顔を検出する。次の工程Ｗ１２では、工程Ｗ５と同様に、検出された顔と横方向に位置が一致するように顔位置表示９ｆをサブ画面９ｂ内で移動する。そして、次に、工程Ｗ１３では、ガイド表示９ｅと顔位置表示９ｆとの横方向の間隔が所定の閾値を越えて大きい場合に、警告を発する。この警告は、スピーカ１０からの警告音であっても、表示部９内への警告の表示でもよい。この警告によりユーザが、ガイド表示９ｅと顔位置表示９ｆとの位置を合わせようとすることにより、デジタルカメラの向きは、ガイド表示９ｅと被写体１７の人物の顔の位置が一致しているという理想的な状態に近づけられる。工程Ｗ１４において、ガイド表示９ｅが、表示部９の中で工程Ｗ２における初期位置と反対側の端に到達すると、ガイド表示９ｅは、終了される。終了しない場合は（ＮＯに分岐する場合）、工程Ｗ８乃至Ｗ１４が繰り返される。ガイド表示９ｅが終了されると（ＹＥＳに分岐する場合）、その直後に工程Ｗ１６で最後の撮影が行なわれる。次の工程Ｗ１７では、この最後の撮影による画像を用いて被写体１７の人物の顔の検出が行なわれ、第２特徴部とされる。また、この最後の画像を第２基準画像とする。すなわち、第１及び第２基準画像は、それぞれ、図１３に示されている最初の画像と最後の画像とに相当する。工程Ｗ１８では、第１及び第２特徴部を用いて、第１及び第２基準画像の合成を行ないパノラマ画像とする。そして、工程Ｗ１９では、そのパノラマ画像をＬＣＤパネル等の表示部９に表示する。
Hereinafter, a method for constructing a panoramic image by performing continuous shooting using the
このパノラマ画像は、個々に撮影された画像よりも広い範囲が撮影でき、ダイナミックな効果の画像を得ることができる。この実施の形態においては、被写体である人物の顔部分を特徴部とするので、デジタルカメラ１５が画像の特徴部を見失って、合成に失敗することはない（例えば、図３の画像（ａ）、（ｂ）ではどこで両者を重ね合わせたらよいのか明らかではないため図２のパノラマ画像を正しく得ることができない）。また、ガイド表示９ｅがわずかずつ動き、ユーザ１６は、そのガイド表示９ｅに顔位置表示９ｆを合わせようとするため、常にデジタルカメラ１５の向きの変化はわずかである。その結果、信号処理回路５に内蔵されている顔検出回路は、特徴部である被写体１７である人物の顔を見失うことなく追跡することができる。したがって、失敗のないパノラマ画像合成を行なうことができる。ここでは、パターン認識による顔の検出を利用したが、例えば、色のパターンなどを利用した画像追尾技術を利用しても類似の効果を得ることができる。
This panoramic image can be captured in a wider range than the individually captured images, and an image with a dynamic effect can be obtained. In this embodiment, since the face portion of the person who is the subject is used as the feature portion, the
（第４実施形態）
図１６ａと図１６ｂとは、第２基準画像を人物の上のノンコントラストな領域で、第１基準画像と貼り合わせることを概略的に図示している。図１７は、図１６ａと図１６ｂとに示されている手続を表すフローチャートを示している。このように、被写体１７の人物の位置で２つの画像を合成してパノラマ画像を構成する場合、人物の表情が変化してしまう可能性がある上、不自然さを生じてしまう可能性がある。人物の上の領域は、図１６ａに示されているように、空などのコントラストのない領域（ノンコントラスト）である場合が多いので、人物の部分は、第１基準画像の部分をそのまま利用し、画像内の人物の上側の領域は、このようなコントラストがない領域で接続する。このように、２つの基準画像の貼り合わせは、このようなコントラストのない部分で行なうと、２つの基準画像のつなぎ目が目立たなくなる。すなわち、この手続は、図１６ｂのように、人物の輪郭に沿って第２基準画像を切り抜いたものを第１基準画像に貼り付けて合成することに相当する。
(Fourth embodiment)
FIGS. 16a and 16b schematically show that the second reference image is pasted with the first reference image in a non-contrast area above the person. FIG. 17 shows a flowchart representing the procedure shown in FIGS. 16a and 16b. As described above, when a panoramic image is formed by combining two images at the position of the person of the subject 17, the facial expression of the person may change and unnaturalness may occur. . As shown in FIG. 16a, the area above the person is often a non-contrast area such as the sky (non-contrast). Therefore, the person portion uses the portion of the first reference image as it is. The region above the person in the image is connected in such a region having no contrast. As described above, when the two reference images are bonded to each other in such a portion having no contrast, the joint between the two reference images becomes inconspicuous. That is, this procedure is equivalent to pasting and synthesizing the clipped second reference image along the outline of the person as shown in FIG. 16b.
以下では、図１７のフローチャートを参照して、上で述べた合成の手続を説明する。フローを開始し、まず、工程Ｘ１では、第１基準画像の人物の上のノンコントラストな領域を検出する。次に、工程Ｘ２では、第１基準画像の人物の上の領域を検出されたノンコントラストな領域を通る線で切断し、撮影された人物像は、そのまま残すように人物の輪郭で切断する。この結果、図１６ｂに示されている２つの断片の左側部分が作成される。工程Ｘ３では、人物の上の領域は、工程Ｘ２の切断線と同一の線で切断し、人物像は、全て取り除くように、人物の輪郭で切断する。この結果、図１６ｂに示されている２つの断片の右側部分が作成される。工程Ｘ４では、前の２つの工程で作成された画像を貼り合わせる。このように、パノラマ画像を合成することによって、人物の表情等の変化は問題なくなり、最初の第１基準画像を撮影するタイミングは、人物の表情のよいタイミングを選べばよいので、人物の表情の良い時を撮りやすくなる。 Hereinafter, the synthesis procedure described above will be described with reference to the flowchart of FIG. The flow is started. First, in step X1, a non-contrast area on the person in the first reference image is detected. Next, in step X2, the area above the person in the first reference image is cut by a line passing through the detected non-contrast area, and the photographed person image is cut by the outline of the person so that it remains as it is. This creates the left part of the two fragments shown in FIG. 16b. In step X3, the region above the person is cut by the same line as the cutting line in step X2, and the person image is cut by the outline of the person so as to be completely removed. This creates the right part of the two fragments shown in FIG. 16b. In step X4, the images created in the previous two steps are bonded together. As described above, by synthesizing the panoramic image, there is no problem in the change of the facial expression of the person, and the timing of capturing the first first reference image can be selected by selecting the timing of the human facial expression. It is easier to take a good time.
（第５実施形態）
以下では、上述したような撮影方法などにより撮影されたパノラマ画像をデジタルカメラ１５の表示部９に表示する方法について説明する。
(Fifth embodiment)
Hereinafter, a method for displaying a panoramic image shot by the above-described shooting method on the
本第５実施形態においては、パノラマ画像の一部をデジタルカメラの表示部縦方向のサイズ全体を利用して表示する。 In the fifth embodiment, a part of the panoramic image is displayed using the entire size in the vertical direction of the display unit of the digital camera.
図１８ａは、表示されるパノラマ画像の全体のサイズを示している。図１８ｂは、図１８ａに示されているパノラマ画像のデジタルカメラの表示部９への従来の表示方法を示している。図１８ｃは、本実施形態における、画像の一部をデジタルカメラの表示部縦方向のサイズ全体を利用して表示する表示方法を示している。図１８ｄは、図１８ｃに示されている表示をさらに縦方向に歪ませて表示する本実施形態における表示方法の変形例を示している。
FIG. 18a shows the overall size of the displayed panoramic image. FIG. 18b shows a conventional method of displaying the panoramic image shown in FIG. 18a on the
図１８ａに示されているように、表示されるパノラマ画像のサイズは、縦ａ1、横ｂ１で、デジタルカメラ１５の表示部９のサイズの縦ａ０、横ｂ０と比較すると、パノラマ画像は横方向に長い。ａ０：ｂ０を第１の縦横比、ａ１：ｂ１を第２の縦横比とする。従来は、この問題を解決するため、図１８ｂに示されているように、パノラマ画像全体を横方向のサイズが、デジタルカメラ１５の表示部９の横方向のサイズと一致するように、縦横とも同じ比率で縮小表示していた。
As shown in FIG. 18a, the size of the displayed panoramic image is vertical a 1 and horizontal b 1 , compared to the vertical a 0 and horizontal b 0 of the size of the
この場合、縮小率は、ｂ０／ｂ１で与えられるので、縮小されたパノラマ画像の縦方向のサイズａ２は、次の式１に従う。
In this case, since the reduction ratio is given by b 0 / b 1 , the size a 2 in the vertical direction of the reduced panoramic image follows the following
表示されたパノラマ画像は、図１８ｂに示されているように、表示部９の縦方向のサイズを十分に利用せずにパノラマ画像の上下に利用不可能な領域を生じている。また、この表示方法では、パノラマ画像が本来持っている画像の迫力が表現できない。
As shown in FIG. 18b, the displayed panoramic image has unusable regions above and below the panoramic image without fully utilizing the vertical size of the
そこで、図１８ｃに示されているように、本実施形態においては、パノラマ画像の一部をデジタルカメラの表示部縦方向のサイズ全体を利用して表示することにより、表示部９の奥行き方向に画像が広がっている感じをだすような表示を行っている。すなわち、表示部９の画面の縦方向全体を利用する部分を設け、しかも、奥行き方向に広がりも表現して迫力を伴った表示とした。この例では、表示部９の画面の奥の方に延びているように見える台形のパノラマ画像の狭い方の縦の幅は、図１８ｂの幅ａ２と一致させるようにしている。この表示例では、表示部９の画面の左端からの距離をｂとして、距離ｂにおける台形のパノラマ画像の縦幅ａは、次の式２のように表される。
Therefore, as shown in FIG. 18c, in this embodiment, a part of the panoramic image is displayed using the entire size in the vertical direction of the display unit of the digital camera, so that the depth of the
また、図１８ｃに示されている台形状の表示を図１８ｄに示されているように、縦方向に歪ませて表示すると、動的な表現が可能な表示となる。これは、表示部９の左端からの距離ｂに依存して図１８の帯の縦方向の位置をｂに依存する関数とすることにより可能となる。
Further, when the trapezoidal display shown in FIG. 18c is distorted in the vertical direction as shown in FIG. 18d, the display can be dynamically expressed. This is made possible by making the vertical position of the band in FIG. 18 a function dependent on b depending on the distance b from the left end of the
図１８ｃ及び図１８ｄに示されている例のような表示により、図１８ｂに示されているような表示の欠点を減じることができる。図１８ｃ及び図１８ｄに示されているような表示は、デジタルカメラ１５のユーザ１６のスイッチ操作によって、図１８ｃに示されている例では左側が台形の底辺となるように表示していたのに対して、逆に右側が台形の底辺となるような表示とすることができる。
A display such as the example shown in FIGS. 18c and 18d can reduce the disadvantages of the display as shown in FIG. 18b. In the example shown in FIG. 18c, the display as shown in FIG. 18c and FIG. 18d is displayed so that the left side becomes the bottom of the trapezoid by the switch operation of the
また、本発明の実施形態の更に別の変形例においては、パノラマ画像の被写体１７である人物を上述の顔検出技術によって、デジタルカメラ１５の表示部９の縦方向のサイズ全体を利用して表示することが考えられる。
In yet another modification of the embodiment of the present invention, the person who is the subject 17 of the panoramic image is displayed using the entire size in the vertical direction of the
図１９ａは、そのような顔検出技術を利用して人物の被写体をデジタルカメラの表示部の縦方向のサイズ全体を利用して表示する表示方法を示している。図１９ｂは、図１９ａのパノラマ画像の表示方法の更なる変形例である。図２０は、図１９ａの表示をするためのフローチャートである。図２１は、顔検出技術を用いたパノラマ画像の表示方法の別の変形例である。 FIG. 19a shows a display method in which a person's subject is displayed using the entire vertical size of the display unit of the digital camera using such a face detection technique. FIG. 19b is a further modification of the panoramic image display method of FIG. 19a. FIG. 20 is a flowchart for displaying FIG. 19a. FIG. 21 is another modification of the panoramic image display method using the face detection technique.
パノラマ画像の撮影のための手法として前述したような顔検出技術を用いると、図１９ａに示されているように、被写体１７である人物部分を画面の縦方向のサイズ全体で表示する表示方法が可能である。人物像は多くの場合、写真撮影の上で重要なテーマとなりうるので、十分大きな表示で表示部９の画面の正面の縦方向のサイズ全体を用いて表現し、人物像の近くは、正しい縦横比で表示して人物の周囲の不自然な表示を防止する。
When the face detection technique as described above is used as a technique for capturing a panoramic image, as shown in FIG. 19a, there is a display method for displaying the person portion as the subject 17 in the entire vertical size of the screen. Is possible. In many cases, a person image can be an important theme in photography, so it is expressed using the entire vertical size of the front of the screen of the
以下では、図２０のフローチャートを用いて、図１８ｃ、１８ｄ、１９ａ、１９ｂの表示処理のうちで代表して、図１９ａの表示を得るための手順を説明する。また、以下の表示制御処理は、プログラムに従った演算制御部（ＭＰＵ）１により実行される。演算制御部（ＭＰＵ）１は、画像表示制御装置として機能する。また、演算制御部（ＭＰＵ）１に表示部９を組み合わせたシステムを画像表示装置と呼ぶ。画像表示制御装置および画像表示装置も、本願発明を構成する。フローを開始して、まず、工程Ｙ１で、パノラマ画像の元になる動画の撮影からパノラマ画像の作成までを行なう。この工程Ｙ１のパノラマ画像の作成は、上記のパノラマ画像の撮影のための例のいずれを用いてもよい。続いて、工程Ｙ２で、上述の顔検出技術を用いて、パノラマ画像の中の被写体の人物の顔の位置を検出する。次の工程Ｙ３では、検出された顔のある部分の周囲の一定の横幅ｂ２の部分を、縦横共に（ａ０／ａ１）倍にして、この横幅ｂ２の部分が縦方向のサイズ全体を用いて縦横共正しい比率で表示されるようにする。一定の横幅ｂ２は、検出された顔の左右にｂ２／２の幅を取ると、人物の体や体のすぐ側の背景が含まれるような大きさである。人物やその直近の周囲が正しい縦横比で表示されるように表示されていればよい。ｂ２の大きさは、このような条件を満たすように、ユーザ１６が自由に設定することができる。工程Ｙ４では、この横幅ｂ２の矩形領域の外側の左右の領域のパノラマ画像を図１９ａに示されているように、台形状にする。図１９ａに示されているように、横幅ｂ２の矩形領域の左端が、表示部９の左端から長さｂ３の所にある時、表示部９の画面の左端からの長さをｂとして、横幅ｂ２の矩形領域の外側の領域の縦の長さ（台形の底辺に平行な長さ）は、この台形が横幅ｂ２の矩形領域の左右どちら側にあるかにより、次の式３、３’により与えられる。
Hereinafter, the procedure for obtaining the display of FIG. 19a will be described as a representative of the display processing of FIGS. 18c, 18d, 19a, and 19b, using the flowchart of FIG. Further, the following display control processing is executed by the arithmetic control unit (MPU) 1 according to the program. The arithmetic control unit (MPU) 1 functions as an image display control device. A system in which the calculation control unit (MPU) 1 is combined with the
信号処理回路５が、パノラマ画像に対して上記サイズの加工（工程Ｙ３、Ｙ４）を行なう。このように、人物の両側を台形状に縮小表示することにより、表示されているパノラマ画像全体は、背景が遠ざかっていくような視覚的な効果を与えることになる。長さｂ３は、例えばスイッチ１ｃの操作等によりユーザ１６が自由に設定することができる。
The
図１９ｂには、図１９ａに示されているパノラマ画像の表示方法の変形例が示されている。この変形された表示方法においても、表示部９の中央付近の横幅ｂ２の矩形領域は、図１９ａの表示方法と同一である。この矩形領域の外側の領域で台形を変形した表示とする。具体的には、長さｂの関数α１（ｂ）、α２（ｂ）を用いて以下の式４、４’のように与えられる。
FIG. 19b shows a modification of the panoramic image display method shown in FIG. 19a. In this modified display method, a rectangular area of width b 2 in the vicinity of the center of the
関数α１（ｂ）は、ｂ＝０で１程度の値を持ち、ｂの増加とともに１度滑らかに増加し、その後ｂ＝ｂ３で値１を持つように滑らかに減少する関数、α２（ｂ）は、ｂ＝ｂ２＋ｂ３で値１を持ち、ｂの増加とともに一度滑らかに増加し、その後滑らかに減少し１程度の値になる関数である。しかし、関数α１（ｂ）、α２（ｂ）の変化の特性は、ユーザ１６が好みに合わせて定義でき、又は、デジタルカメラ１５が、このような関数を複数記憶しており、ユーザの選択のために提示してスイッチ操作で選択される機能を持っている。式４、４’のような式で横幅ｂ２の矩形領域の外側を変形することができ、魚眼レンズで撮影したような雰囲気を有する画像を小さな表示スペース内に効果的に表示することができる。これらの表示例では、主な被写体１７である人物は、画面いっぱいに表示され、表現の迫力を残しつつ、パノラマらしい広がりを表現することができる。
The function α 1 (b) has a value of about 1 when b = 0, smoothly increases once as b increases, and then decreases smoothly so as to have a
さらに、これら表示例では、表示部９内のパノラマ画像の表示領域は、上下に対称であったが、これを図１８ｄに示されているような上下に非対称な領域で表示するようにすることも、適当な関数で表示部９内の表示領域を変形することにより可能である。
Further, in these display examples, the display area of the panoramic image in the
また、風景の雄大さを表現したい場合の人物の描写として、図２１に示されているような表示が好ましい場合もある。この変形例では、人物のいる横幅ｂ２の矩形領域の縦のサイズを式１のａ２にし、その左右の領域を表示部９の画面の縦方向全体を用いるように拡大していけばよい。このような表示方法によっても、限られた表示部９内で広い範囲の再現が可能である。図１９ｂの表示のために用いられたように表示領域の変形に関数表現を用いることにより図２１に示されているような表示も可能となる。
Further, in some cases, a display as shown in FIG. 21 is preferable as a depiction of a person who wants to express the magnificentness of the landscape. In this modification, the vertical size of the rectangular area having the width b 2 where the person is present is set to a 2 in
（第６実施形態）
次に、本発明の第６実施形態を説明する。本実施形態においては、パノラマ画像の一部をルーペで拡大したような表示方法を取ることにより表示部９の縦方向のサイズ最大で表示し、従来の背景の上に重ねて表示する。
(Sixth embodiment)
Next, a sixth embodiment of the present invention will be described. In the present embodiment, by using a display method in which a part of the panoramic image is enlarged with a loupe, the
図２２ａは、従来のパノラマ画像の表示方法を示している。図２２ｂは、人物の顔付近を中心にルーペを覗いているような画像を従来の背景に重ねる表示を示している。図２２ｃは、人物の顔がルーペの中心にない図２２ｂの表示方法を示している。上述のように、パノラマ画像の横の広がりを表現するために、従来は、縦方向のサイズ全体を利用せず、図２２ａのように、パノラマ画像全体をデジタルカメラ１５の表示部９の画面内に収めるように、表示することが一般的であった。本実施の形態では、所定の部分は、ルーペで拡大したような表示にして表示部９の画面の縦方向のサイズ全体に拡大したような表示を行ない、背景は図２２ａのままとして両者を重ね合わせる表示法を取っている。
FIG. 22a shows a conventional panoramic image display method. FIG. 22 b shows a display in which an image such as looking into a loupe around the face of a person is superimposed on a conventional background. FIG. 22 c shows the display method of FIG. 22 b where the person's face is not in the center of the loupe. As described above, in order to express the horizontal spread of the panoramic image, conventionally, the entire size in the vertical direction is not used, and the entire panoramic image is displayed in the screen of the
このような画面を作るためには、図２２ａの参照符号２０で示されている領域を表示部９の縦方向のサイズ全体に収まるように拡大した画像を、図２２ａの画像上に重ねて表示すればよい。すなわち、このことは、参照符号２０で表された領域のみをａ０／ａ２倍に拡大することを意味している。
In order to create such a screen, an image obtained by enlarging an area indicated by
このルーペは、上述の顔検出技術を用いて検出された顔部分を自動的に優先して拡大するようにしてもよい。また、ルーペにより拡大するパノラマ画像の部分をユーザがスイッチ操作で自由に選択できるようにしてもよい。この実施形態では、図２２ａの参照符号２０の部分をユーザの操作により左にずらした部分の画像を拡大し、図２２ａの画像の上からルーペを付けてスーパーインポーズ表示することもできる。このような手続の結果、図２２ｃのような画像を作ることができる。
The loupe may automatically enlarge the face portion detected using the face detection technique described above with priority. Further, the user may be able to freely select a panoramic image portion to be enlarged by a loupe by a switch operation. In this embodiment, it is also possible to enlarge the image of the portion where the
（第７実施形態）
次に、本発明の第７実施形態を説明する。本第７実施形態では、ユーザ１６の操作により、表示部９全体を使って動画の再生を行なう。
(Seventh embodiment)
Next, a seventh embodiment of the present invention will be described. In the seventh embodiment, a moving image is reproduced using the
図２３は、本実施形態に係る、ユーザの選択により表示部９全体を用いて動画表示を行なうためのフローチャートである。また、以下の表示制御処理は、プログラムに従った演算制御部（ＭＰＵ）１により実行される。演算制御部（ＭＰＵ）１は、画像表示制御装置として機能する。また、演算制御部（ＭＰＵ）１に表示部９を組み合わせたシステムを画像表示装置と呼ぶ。画像表示制御装置および画像表示装置も、本願発明を構成する。上記第５及び第６実施形態は、パノラマ画像の一部を表示部９の画面の縦方向のサイズに拡大して表示するものである。しかし、電子的な表示部では、静止画のように見る必要はなく、本実施形態では、動画を用いて撮影したので、ユーザ１６が動画のまま撮影された画像を見ることもできるようにしている。この動画の再生は、必ずしも録画速度と同一の再生速度で行なわれる必要はなく、スローモーションなども併用することができる。この再生速度の調整は、再生中にもユーザが手動で行なうことができる。
FIG. 23 is a flowchart for displaying a moving image using the
以下、図２３に示されているフローチャートを用いて、上述の動画表示と、上記の第５又は第６実施形態に係る静止画表示との間の切換えの手順を説明する。フローを開始して、まず、工程Ｚ１において、ユーザが、画像表示を行なう指示を行なったかどうかの判断を行なう。例えば、ユーザが、スイッチを押圧していることにより、この工程Ｚ１をＹＥＳに分岐し、次の工程Ｚ２に進む。この工程Ｚ２において、ユーザは、スイッチ操作などでパノラマ画像の全体を見るかどうかを選択する、このスイッチは、切換えスイッチのようなものであり、一度切換えるとユーザが手を離しても切換わらないものであることが好ましい。この工程Ｚ２でＹＥＳに分岐すると、工程Ｚ３に進み、上述の第５及び第６実施形態のうちいずれかを用いて、表示部９にパノラマ画像を表示する。例えば、この表示方法は、図１８ｃや図２２ｂに示されているような表示方法である。ＮＯに分岐すると、工程Ｚ４に進み、上述のようにスローモーションも交えて撮影された画像を動画表示する。工程Ｚ１で、例えば、ユーザ１６によりスイッチの押圧が終了されることにより、分岐ＮＯに進み画像表示は終了される。
The procedure for switching between the above-described moving image display and the still image display according to the fifth or sixth embodiment will be described below using the flowchart shown in FIG. Starting the flow, first, in step Z1, it is determined whether or not the user has given an instruction to display an image. For example, when the user presses the switch, this process Z1 is branched to YES, and the process proceeds to the next process Z2. In this step Z2, the user selects whether or not to view the entire panoramic image by a switch operation or the like. This switch is like a change-over switch, and once switched, it does not switch even if the user releases the hand. It is preferable. If YES in step Z2, the process proceeds to step Z3, and a panoramic image is displayed on the
以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。 The present invention has been described above based on the embodiments. However, the present invention is not limited to the above-described embodiments, and various modifications and applications are possible within the scope of the gist of the present invention. .
例えば、デジタルカメラ１５のＬＣＤパネル等の表示部９上で、パノラマ画像を表示する表示方法を説明したが、ワイヤレス部１２や有線接続部を介してパーソナルコンピュータのモニタやテレビジョン受像機等の外部ディスプレイに表示することも可能である。
For example, the display method for displaying a panoramic image on the
また、デジタルカメラ以外のアスペクト比が異なる画像表示機器に応用可能であることは当業者により容易に認められる。 Further, it is easily recognized by those skilled in the art that the present invention can be applied to an image display device having a different aspect ratio other than a digital camera.
更には、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。 Furthermore, it is also possible to realize the above-described functions by supplying a software program that realizes the functions of the above-described embodiment to a computer and executing the program by the computer.
１…演算制御部（ＭＰＵ）、１ａ…スイッチ、１ｂ…スイッチ、１ｃ…スイッチ、２…撮影レンズ、２ａ…ピント合わせ部、２ｂ…ズーム制御部、３…アナログフロントエンド（ＡＦＥ）回路、３ａ…撮像素子、３ｂ…マイク、４ａ…補助光照射部、４ｂ…特徴部抽出部、４ｃ…合成部、５…信号処理回路、５ａ…補助ブロック、６…ＲＡＭ、７…メモリ、８…ＲＯＭ、９…表示部、９ｂ…サブ画面、９ｃ…インジケータ表示部、９ｄ…枠、１０…スピーカ、１１…プリント信号処理部、１２…ワイヤレス部、１５…デジタルカメラ、１６…ユーザ、１７…被写体、２０…人物領域。
DESCRIPTION OF
Claims (5)
上記表示部に表示させる撮影画像のサイズを加工する信号処理回路と、
上記撮影画像から顔の位置を検出する顔検出回路と、
上記表示部のアスペクト比よりも横長のアスペクト比である撮影画像を、上記表示部に表示させる際に、上記検出された上記顔の位置に応じて上記撮影画像のサイズを変更して加工するように、上記信号処理回路を制御する演算制御部と、
を具備し、
上記演算制御部は、上記顔の位置に対応する部分及びその周囲の一定の横幅の範囲については縦横の比率が撮影時と同じ比率となるサイズに上記撮影画像を加工し、且つ、上記一定の横幅の範囲以外の領域については当該撮影画像中における横方向の位置に応じて縦横の比率を変化させたサイズに上記撮影画像を加工するように上記信号処理回路を制御する
ことを特徴とする画像表示装置。 An image display device that processes a captured image to be displayed on a display unit that displays an image,
A signal processing circuit for processing the size of the photographed image to be displayed on the display unit;
A face detection circuit for detecting the position of the face from the captured image;
When a captured image having an aspect ratio that is longer than the aspect ratio of the display unit is displayed on the display unit, the size of the captured image is changed and processed according to the detected face position. And an arithmetic control unit for controlling the signal processing circuit,
Comprising
The arithmetic control unit processes the photographed image to a size in which the aspect ratio is the same as that at the time of photographing for the portion corresponding to the position of the face and a constant width range around the portion, and the constant An image characterized in that the signal processing circuit is controlled so as to process the photographed image into a size in which the aspect ratio is changed according to the position in the horizontal direction in the photographed image for an area other than the width range. Display device.
ことを特徴とする請求項１に記載の画像表示装置。 For the portion corresponding to the position of the face and the range of a certain horizontal width around it, the arithmetic control unit is configured to output the signal so that the vertical size of the captured image is the entire vertical size of the display unit. For the area other than the part corresponding to the face position and the constant lateral width range surrounding the part that controls the processing circuit, the captured image is taken as the lateral position moves away from the part corresponding to the face position. The image display apparatus according to claim 1 , wherein the signal processing circuit is controlled so that a ratio of a vertical direction to a horizontal direction becomes a small value .
ことを特徴とする請求項１に記載の画像表示装置。 For the portion corresponding to the position of the face and a range of a certain width around the calculation control unit, the arithmetic control unit maintains the same aspect ratio as that at the time of shooting, and the horizontal size of the horizontally long shot image. Controls the signal processing circuit so that the vertical size of the display unit is the entire horizontal size of the display unit, and the portion corresponding to the face position and a certain horizontal width around it. For the region other than the range, the signal processing circuit is controlled so that the ratio of the vertical direction to the horizontal direction of the corresponding captured image increases as the horizontal position moves away from the portion corresponding to the face position. the image display apparatus according to claim 1, characterized in that.
ことを特徴とするカメラ。 An image display device according to any one of the image display apparatus according to claim 1 to 3
A camera characterized by that .
上記表示部のアスペクト比より横長のアスペクト比の撮影画像を上記表示部に表示させる際に、上記検出された顔の位置に応じて上記撮影画像のサイズを変更する機能を上記コンピュータに実現させ、 When the captured image having an aspect ratio that is longer than the aspect ratio of the display unit is displayed on the display unit, the computer has a function of changing the size of the captured image according to the detected face position,
上記変更する機能は、 The function to change is
上記検出された上記顔の位置に対応する部分及びその周囲の一定の横幅の範囲については、縦横の比率が撮影時と同じ比率になるようなサイズに上記撮影画像を加工させる工程と、 For the part corresponding to the detected position of the face and the range of a certain lateral width around it, the step of processing the captured image into a size such that the aspect ratio is the same as at the time of shooting;
上記顔の位置に対応する部分及びその周囲の一定の横幅の範囲以外の領域については、上記縦横の比率を撮影時から変更し且つ当該縦横の比率が横方向の位置に応じて変化するようなサイズに上記撮影画像を加工させる工程と For the area corresponding to the position of the face and the surrounding area other than a certain width range, the aspect ratio is changed from the time of shooting, and the aspect ratio changes according to the position in the horizontal direction. A process of processing the above-mentioned photographed image into a size;
を備えることを特徴とする画像表示制御プログラム。 An image display control program comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006146565A JP4815271B2 (en) | 2006-05-26 | 2006-05-26 | Image display device, camera, and image display control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006146565A JP4815271B2 (en) | 2006-05-26 | 2006-05-26 | Image display device, camera, and image display control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007316982A JP2007316982A (en) | 2007-12-06 |
| JP4815271B2 true JP4815271B2 (en) | 2011-11-16 |
Family
ID=38850777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006146565A Expired - Fee Related JP4815271B2 (en) | 2006-05-26 | 2006-05-26 | Image display device, camera, and image display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4815271B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665070A (en) * | 2016-07-29 | 2018-02-06 | 卡西欧计算机株式会社 | Display device, display control method and storage medium |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4479829B2 (en) * | 2008-04-03 | 2010-06-09 | ソニー株式会社 | Imaging apparatus and imaging method |
| JP5235791B2 (en) * | 2009-06-08 | 2013-07-10 | シャープ株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP5531603B2 (en) * | 2009-12-21 | 2014-06-25 | ソニー株式会社 | Image processing apparatus and method, and program |
| WO2012002046A1 (en) * | 2010-06-30 | 2012-01-05 | 富士フイルム株式会社 | Stereoscopic panorama image synthesizing device and compound-eye imaging device as well as stereoscopic panorama image synthesizing method |
| WO2012035783A1 (en) * | 2010-09-17 | 2012-03-22 | パナソニック株式会社 | Stereoscopic video creation device and stereoscopic video creation method |
| JP5652142B2 (en) | 2010-11-11 | 2015-01-14 | ソニー株式会社 | Imaging apparatus, display control method, and program |
| JP5686244B2 (en) | 2010-12-21 | 2015-03-18 | ソニー株式会社 | Display control apparatus, display control method, and program |
| JP5741917B2 (en) * | 2011-03-31 | 2015-07-01 | カシオ計算機株式会社 | Image display apparatus, image processing method, and image processing program |
| JP2013034081A (en) | 2011-08-02 | 2013-02-14 | Sony Corp | Image processing device, control method therefor, and program |
| KR101814604B1 (en) | 2011-08-30 | 2018-01-04 | 삼성전자주식회사 | Digital photographing apparatus and control method thereof |
| JP2012095363A (en) * | 2012-02-15 | 2012-05-17 | Seiko Epson Corp | Image processor, image processing method, and image processing program |
| JP6002591B2 (en) * | 2013-01-31 | 2016-10-05 | 日本電信電話株式会社 | Panorama video information playback method, panorama video information playback system, and program |
| EP2960856B1 (en) | 2013-04-30 | 2020-03-04 | Sony Corporation | Image processing device, image processing method, and program |
| WO2014178233A1 (en) * | 2013-04-30 | 2014-11-06 | ソニー株式会社 | Image processing device, image processing method and program |
| JP5986039B2 (en) * | 2013-05-30 | 2016-09-06 | 日本電信電話株式会社 | Video display method and video display program |
| JP2021101494A (en) * | 2018-03-28 | 2021-07-08 | シャープ株式会社 | Imaging device, imaging control device, imaging system, imaging device control method, imaging program, and recording medium |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2721387B2 (en) * | 1989-02-28 | 1998-03-04 | キヤノン株式会社 | Video signal processing circuit |
| JP3584362B2 (en) * | 1998-01-05 | 2004-11-04 | 株式会社日立製作所 | Video signal processing device |
| JPH11344966A (en) * | 1998-06-03 | 1999-12-14 | Olympus Optical Co Ltd | Electronic picture display device |
| JP4146938B2 (en) * | 1998-09-08 | 2008-09-10 | オリンパス株式会社 | Panorama image synthesis apparatus and recording medium storing panorama image synthesis program |
| JP4345937B2 (en) * | 1998-11-10 | 2009-10-14 | キヤノン株式会社 | Image enlargement processing circuit |
| JP2002077800A (en) * | 2000-08-29 | 2002-03-15 | Sony Corp | Apparatus and method for recording image signal, apparatus and method for recording and reproducing image signal |
| JP4635437B2 (en) * | 2004-01-07 | 2011-02-23 | ソニー株式会社 | Electronic apparatus and image display method |
-
2006
- 2006-05-26 JP JP2006146565A patent/JP4815271B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665070A (en) * | 2016-07-29 | 2018-02-06 | 卡西欧计算机株式会社 | Display device, display control method and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007316982A (en) | 2007-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4815271B2 (en) | Image display device, camera, and image display control program | |
| JP5036599B2 (en) | Imaging device | |
| CN106851088B (en) | Image pickup apparatus and image pickup method | |
| JP2011035486A (en) | Camera system and control method of camera | |
| CN107205112B (en) | Image pickup apparatus, image pickup method, and recording medium | |
| JP4772009B2 (en) | Digital camera | |
| JP4697078B2 (en) | Imaging apparatus and program thereof | |
| JP2007318490A (en) | Image processing apparatus, camera, and image processing program | |
| JP4606486B2 (en) | Image processing apparatus and photographing apparatus | |
| JP2008199210A (en) | Photographing device and photographing method | |
| JP2006262071A (en) | Image display control apparatus and program | |
| JP2006287735A (en) | Picture voice recording apparatus and collecting voice direction adjustment method | |
| JP5117889B2 (en) | Image processing apparatus and image processing method | |
| JP6330862B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2011239267A (en) | Imaging apparatus and image processing apparatus | |
| JP2007214620A (en) | Image processing apparatus, image processing method, and program | |
| JP2011239021A (en) | Moving image creation device, imaging device and moving image creation program | |
| JP2006033242A (en) | Image reproducing method and image pickup device | |
| JP2007295529A (en) | Camera, recording method of camera, program, and recording medium | |
| JP2004247793A (en) | Panoramic photographing method, and image processing apparatus and image photographing apparatus capable of utilizing the method | |
| JP5493839B2 (en) | Imaging apparatus, image composition method, and program | |
| JP2009118084A (en) | Digital camera | |
| JP2007274031A (en) | Device and program for photographing motion picture | |
| JP2006238085A (en) | Digital camera and program | |
| JP2007235869A (en) | Imaging apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110823 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110829 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4815271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |