JP6412400B2 - Image composition apparatus and image composition program - Google Patents

Image composition apparatus and image composition program Download PDF

Info

Publication number
JP6412400B2
JP6412400B2 JP2014215841A JP2014215841A JP6412400B2 JP 6412400 B2 JP6412400 B2 JP 6412400B2 JP 2014215841 A JP2014215841 A JP 2014215841A JP 2014215841 A JP2014215841 A JP 2014215841A JP 6412400 B2 JP6412400 B2 JP 6412400B2
Authority
JP
Japan
Prior art keywords
image
information
background
foreground
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014215841A
Other languages
Japanese (ja)
Other versions
JP2016086200A (en
Inventor
大一郎 加藤
大一郎 加藤
一利 武藤
一利 武藤
秀樹 三ツ峰
秀樹 三ツ峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
NHK Engineering System Inc
Original Assignee
Japan Broadcasting Corp
NHK Engineering System Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp, NHK Engineering System Inc filed Critical Japan Broadcasting Corp
Priority to JP2014215841A priority Critical patent/JP6412400B2/en
Publication of JP2016086200A publication Critical patent/JP2016086200A/en
Application granted granted Critical
Publication of JP6412400B2 publication Critical patent/JP6412400B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影された画像の前景と予め撮影された背景とを合成する画像合成装置および画像合成プログラムに関する。   The present invention relates to an image composition apparatus and an image composition program for compositing a foreground of a photographed image and a background photographed in advance.

従来、カメラで撮影された画像に、撮影日時、撮影条件（焦点距離、絞り値等）等の撮影情報を対応付けて記録するデータフォーマットが存在する。このデータフォーマットは、例えば、一般社団法人電子情報技術産業協会（ＪＥＩＴＡ）で規格化されたＥｘｉｆ（Exchangeable image file format）である（非特許文献１参照）。このＥｘｉｆは、主に、カメラの撮影時の状態を記録するためのメタデータファイルフォーマットである。また、Ｅｘｉｆは、撮影日時、撮影条件等の撮影情報のほか、ＧＰＳ付きカメラに対応して、ＧＰＳで計測される緯度、経度、高度等の位置情報を記録することができる。   2. Description of the Related Art Conventionally, there is a data format in which shooting information such as shooting date / time and shooting conditions (focal length, aperture value, etc.) is recorded in association with an image shot by a camera. This data format is, for example, Exif (Exchangeable image file format) standardized by the Japan Electronics and Information Technology Industries Association (JEITA) (see Non-Patent Document 1). This Exif is mainly a metadata file format for recording the state at the time of shooting by the camera. In addition, Exif can record shooting information such as shooting date and time, shooting conditions and the like, and position information such as latitude, longitude, and altitude measured by GPS corresponding to a camera with GPS.

このような画像に対応付けられた撮影情報（位置情報を含む）は、単に、撮影者が撮影後の確認のために使用されるだけではなく、種々のアプリケーションでの利用が可能である。例えば、特許文献１で開示されているように、撮影者が撮影した被写体画像（前景画像）と、計測された撮影情報の位置に対応して予め記憶装置に記憶されている風景画像（背景画像）とを合成するために使用することができる。   Shooting information (including position information) associated with such an image is not only used by a photographer for confirmation after shooting, but can be used in various applications. For example, as disclosed in Patent Document 1, a subject image (foreground image) captured by a photographer and a landscape image (background image) stored in advance in a storage device corresponding to the position of the measured shooting information ) And can be used to synthesize.

このように、前景画像に、撮影情報の位置が対応する背景画像を合成することで、例えば、観光地において、記念写真、風景写真等を撮影する場合、天候不良等によって画像が綺麗に撮影されない場合でも、予め記憶装置に記憶されている好天時に撮影した綺麗な風景画像を背景画像として合成することができる。   In this way, by combining the background image corresponding to the position of the shooting information with the foreground image, for example, when taking a commemorative photo, a landscape photo, etc. in a tourist spot, the image is not taken beautifully due to bad weather etc. Even in such a case, it is possible to synthesize a beautiful landscape image taken in good weather stored in the storage device in advance as a background image.

特開２００５−２１０４１２号公報Japanese Patent Laid-Open No. 2005-210412

「ディジタルスチルカメラ用画像ファイルフォーマット規格 Ｅｘｉｆ２．３」、ＡＶ＆ＩＴ標準化委員会 作成、一般社団法人電子情報技術産業協会 発行、２０１３年５月改正"Image file format standard for digital still camera Exif2.3", created by AV & IT Standardization Committee, published by Japan Electronics and Information Technology Industries Association, revised in May 2013

しかし、前記したＥｘｉｆは、カメラの撮影情報として位置情報を記録することはできても、カメラがどの方向を向いているのかの方位情報を記録する規定とはなっていない。
そのため、例えば、撮影者がある位置で、風景写真として山をカメラ撮影した画像と、その反対方向を向いて、建造物をカメラ撮影した画像とでは、まったく異なる画像であるにも関わらず、Ｅｘｉｆで記録される位置情報はほぼ同じ情報となる。
つまり、従来のＥｘｉｆで記録される情報を用いて、特許文献１に記載の手法により風景画像（背景画像）を合成すると、カメラの向きによっては、撮影者が所望する画像とはまったく異なる背景画像が前景画像に合成されてしまうという問題がある。 However, the above-mentioned Exif is not stipulated to record the azimuth information indicating which direction the camera is facing, even though the position information can be recorded as the shooting information of the camera.
For this reason, for example, an image taken by a photograph of a mountain as a landscape photograph at a certain position and an image taken by a camera of a building facing in the opposite direction are completely different images. The position information recorded in is almost the same information.
That is, when a landscape image (background image) is synthesized by the method described in Patent Document 1 using information recorded in conventional Exif, a background image that is completely different from the image desired by the photographer depending on the orientation of the camera. Is combined with the foreground image.

本発明は、このような問題に鑑みてなされたものであり、撮影者が撮影した人物等の前景画像に、カメラの位置、方位、姿勢、その他撮影条件に合った背景画像を合成することが可能な画像合成装置および画像合成プログラムを提供することを課題とする。   The present invention has been made in view of such problems, and it is possible to synthesize a background image suitable for the position, orientation, orientation, and other shooting conditions of a camera with a foreground image of a person photographed by a photographer. It is an object of the present invention to provide a possible image composition device and an image composition program.

前記課題を解決するため、本発明に係る画像合成装置は、撮影画像の前景に異なる時刻で撮影した画像を背景として合成する画像合成装置であって、撮影手段と、撮影情報取得手段と、前景領域検出手段と、前景画像切出手段と、背景候補画像取得手段と、背景候補画像選択手段と、合成手段と、を備える構成とした。   In order to solve the above-described problem, an image composition device according to the present invention is an image composition device that combines images taken at different times with a foreground of a photographed image as a background, and includes a photographing unit, photographing information acquisition unit, and foreground. An area detecting unit, a foreground image cutting unit, a background candidate image acquiring unit, a background candidate image selecting unit, and a synthesizing unit are provided.

かかる構成において、画像合成装置は、撮影手段によって、レンズを含む光学系を介して、被写体を撮影する。また、画像合成装置は、撮影情報取得手段によって、当該画像合成装置の撮影情報として、被写体を撮影したときの緯度、経度および高度を示す位置情報、撮影方向を示す方位情報、および、姿勢（傾き）を示す姿勢情報を、検出手段を介して取得する。さらに、画像合成装置は、撮影情報取得手段によって、光学系のレンズ情報（焦点距離、フォーカス位置、絞り値、画角等）を取得する。
これによって、画像合成装置は、被写体を撮影した撮影画像と、その被写体を撮影したときの撮影情報とを同じタイミングで取得する。 In such a configuration, the image synthesizing apparatus captures an image of the subject by the imaging unit via the optical system including the lens. In addition, the image composition device uses the photographing information acquisition means as the photographing information of the image composition device, position information indicating the latitude, longitude, and altitude when the subject is photographed, direction information indicating the photographing direction, and posture (tilt) ) Is acquired via the detecting means. Further, the image synthesizing apparatus acquires lens information (focal length, focus position, aperture value, angle of view, etc.) of the optical system by photographing information acquisition means.
As a result, the image composition apparatus acquires a captured image obtained by photographing the subject and photographing information obtained when the subject is photographed at the same timing.

そして、画像合成装置は、前景領域検出手段によって、撮影手段で撮影された撮影画像の画素に被写体までの距離を対応付けた奥行き情報により、撮影画像内の前景領域を検出する。なお、奥行き情報は、ステレオ画像の視差や、レーザーによる計測等、一般的な手法で求めることができる。また、前景は、撮影画像において、奥行き情報の最も近い奥行き（最前面）から所定の奥行きまでに対応する領域を被写体の領域とみなすこととしてもよいし、レンズ情報を参照してフォーカスが合っている領域を被写体の領域とみなすこととしてもよい。そして、画像合成装置は、前景画像切出手段によって、撮影画像から前景領域を切り出して前景画像を生成する。   Then, the image composition apparatus detects the foreground region in the captured image based on the depth information in which the distance to the subject is associated with the pixel of the captured image captured by the capturing unit by the foreground region detecting unit. The depth information can be obtained by a general method such as parallax of a stereo image or measurement by a laser. In the foreground, an area corresponding to a predetermined depth from the closest depth (frontmost) of depth information in the photographed image may be regarded as a subject area, or the foreground is focused with reference to the lens information. It is also possible to regard the area that is present as the area of the subject. Then, the image composition apparatus generates a foreground image by cutting out the foreground area from the captured image by the foreground image cutting means.

また、画像合成装置は、背景候補画像取得手段によって、背景の候補となる背景候補画像を撮影したカメラの位置情報、方位情報、姿勢情報およびレンズ情報を含んだ背景撮影情報と背景候補画像とを予め対応付けたデータベースから、通信制御手段を介して、撮影情報と背景撮影情報とが予め定めた範囲内で近似する検索条件に合致する背景候補画像を取得する。
これによって、画像合成装置は、現時点で撮影した撮影条件に近似した条件で撮影された背景候補画像を取得することができる。 In addition, the image composition device uses the background candidate image acquisition means to obtain background photographing information and background candidate images including position information, orientation information, posture information, and lens information of the camera that has photographed the background candidate image as a background candidate. A background candidate image that matches a search condition in which shooting information and background shooting information approximate within a predetermined range is acquired from a previously associated database via a communication control unit.
As a result, the image composition device can acquire a background candidate image photographed under a condition approximate to the photographing condition photographed at the present time.

そして、画像合成装置は、背景候補画像選択手段によって、背景候補画像取得手段で取得した背景候補画像を表示手段の画面上に表示し、撮影者からの選択を受け付ける。これによって、合成を行う背景画像が１つに定められる。
そして、画像合成装置は、合成手段によって、背景候補画像選択手段で選択された背景候補画像を背景画像として、前景画像切出手段で生成された前景画像と合成する。これによって、画像合成装置は、現時点で撮影された撮影画像の前景領域と、撮影条件が近似する異なる時刻に撮影された背景画像とを合成することができる。 Then, the image composition apparatus displays the background candidate image acquired by the background candidate image acquisition unit on the screen of the display unit by the background candidate image selection unit, and accepts the selection from the photographer. As a result, one background image to be combined is determined.
Then, the image synthesizing device synthesizes the background candidate image selected by the background candidate image selecting unit with the foreground image generated by the foreground image cutting unit using the background candidate image selected by the background candidate image selecting unit. As a result, the image composition device can synthesize the foreground area of the photographed image photographed at the present time and the background image photographed at different times that approximate the photographing conditions.

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、撮影した前景に対し、位置、方位、姿勢およびレンズの撮影条件に近い予め異なる時刻に撮影された背景画像を合成することができる。これによって、本発明は、観光地等で記念撮影や風景写真を撮影する場合に、天候の状態によって、撮影者所望の背景が綺麗に撮影されない場合でも、撮影者が所望する被写体を背景とした予め撮影された綺麗な背景画像を合成することができる。 The present invention has the following excellent effects.
According to the present invention, it is possible to synthesize a background image captured at different times in advance close to the captured foreground, such as the position, orientation, orientation, and lens imaging conditions. As a result, the present invention uses the subject desired by the photographer as the background even when the photographer wants to take a commemorative photo or a landscape photograph at a sightseeing spot or the like, even if the photographer's desired background is not photographed beautifully due to weather conditions. A beautiful background image taken in advance can be synthesized.

本発明の実施形態に係る画像合成システムの概要を説明するためのシステム概要図である。It is a system outline figure for explaining an outline of an image composition system concerning an embodiment of the present invention. 図１の画像提供装置の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the image provision apparatus of FIG. 図２の画像記憶手段に記憶されるデータベースの構造を説明するためのデータ構造図である。It is a data structure figure for demonstrating the structure of the database memorize | stored in the image storage means of FIG. 図２の画像記憶手段に記憶されるデータベース内の姿勢情報を説明するための説明図である。It is explanatory drawing for demonstrating the attitude | position information in the database memorize | stored in the image storage means of FIG. 図１の画像撮影装置（画像合成装置）の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the image imaging device (image composition apparatus) of FIG. 図５の背景候補画像選択手段が表示する背景画像を選択する画面の表示例を示す図である。It is a figure which shows the example of a display of the screen which selects the background image which the background candidate image selection means of FIG. 5 displays. 図５の前景画像切出手段における前景画像の切り出しを説明するための説明図である。FIG. 6 is an explanatory diagram for explaining the foreground image cutout by the foreground image cutout unit in FIG. 5. 図５の合成手段における前景画像と背景画像の合成を説明するための説明図である。It is explanatory drawing for demonstrating the synthesis | combination of a foreground image and a background image in the synthetic | combination means of FIG. 本発明の実施形態に係る画像合成システムの画像登録の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the image registration of the image composition system which concerns on embodiment of this invention. 本発明の実施形態に係る画像合成システムの画像合成の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of an image composition of the image composition system which concerns on embodiment of this invention. 本発明の変形例を説明するための図で、（ａ）は撮影画像と背景候補画像との画角の違いを示し、（ｂ）は画角に応じて背景候補画像を変形する例を示す。FIG. 5 is a diagram for explaining a modification of the present invention, in which (a) shows the difference in the angle of view between the captured image and the background candidate image, and (b) shows an example in which the background candidate image is deformed according to the angle of view. . 本発明の変形例を説明するための図で、（ａ）は撮影画像と背景候補画像との姿勢の違いによる画像の違いを示し、（ｂ）は（ａ）を回転した画像を示し、（ｃ）は（ｂ）の画像から画角に応じて背景候補画像を変形する例を示す。FIG. 6 is a diagram for explaining a modification of the present invention, where (a) shows a difference in image due to a difference in posture between a captured image and a background candidate image, (b) shows an image obtained by rotating (a), c) shows an example of transforming the background candidate image from the image of (b) according to the angle of view.

以下、本発明の実施形態について図面を参照して説明する。
≪画像合成システムの概要≫
最初に、図１を参照して、本発明の実施形態に係る画像合成システムＳの概要について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
≪Outline of image composition system≫
First, an overview of the image composition system S according to the embodiment of the present invention will be described with reference to FIG.

画像合成システムＳは、画像撮影装置（画像合成装置）２で撮影された画像の前景画像に、画像撮影装置２の撮影条件と近い条件で予め撮影された背景画像を合成するものである。
ここでは、画像合成システムＳは、通信によってデータ伝送可能な画像提供装置１と画像撮影装置２とを備える。 The image composition system S combines a foreground image of an image photographed by the image photographing device (image composition device) 2 with a background image photographed in advance under conditions close to the photographing conditions of the image photographing device 2.
Here, the image composition system S includes an image providing device 1 and an image photographing device 2 that can transmit data by communication.

画像提供装置１は、予め複数の地点で撮影された、背景画像の候補となる背景候補画像ＢＧを、画像撮影装置２に提供するものである。ここでは、画像提供装置１は、画像記憶手段１０内のデータベースに、撮影条件を示す撮影情報（背景撮影情報）と対応付けて背景候補画像ＢＧを登録しておく。そして、画像提供装置１は、画像撮影装置２から通知された撮影情報（撮影条件）に予め定めた基準で近似する背景候補画像ＢＧを画像撮影装置２に提供する。   The image providing apparatus 1 provides the image photographing apparatus 2 with background candidate images BG that have been photographed in advance at a plurality of points and serve as background image candidates. Here, the image providing apparatus 1 registers a background candidate image BG in the database in the image storage unit 10 in association with shooting information (background shooting information) indicating shooting conditions. Then, the image providing apparatus 1 provides the image capturing apparatus 2 with a background candidate image BG that approximates the shooting information (shooting conditions) notified from the image capturing apparatus 2 based on a predetermined criterion.

画像撮影装置（画像合成装置、カメラ）２は、被写体を撮影するものである。ここで、被写体は、画像撮影装置２が焦点を合わせて撮影する前景Ｆおよびその他の背景Ｂである。
この画像撮影装置２は、通信によって、自身の撮影情報に近似する撮影条件を検索条件として、画像提供装置１に通知する。そして、画像撮影装置２は、その検索条件に合致した背景候補画像ＢＧを、画像提供装置１から取得する。
そして、画像撮影装置２は、現時点で撮影された画像Ｇ１の前景Ｆに対応する前景画像を、取得した背景候補画像ＢＧと合成することで、新たな画像Ｇ２を生成する。 An image photographing device (image synthesizing device, camera) 2 photographs a subject. Here, the subject is the foreground F and the other background B that the image capturing apparatus 2 captures in focus.
The image photographing device 2 notifies the image providing device 1 through communication, using a photographing condition approximate to its own photographing information as a search condition. Then, the image capturing device 2 acquires a background candidate image BG that matches the search condition from the image providing device 1.
Then, the image capturing device 2, the foreground image corresponding to the foreground F of the image G 1 taken at this time, by combining the acquired candidate background image BG, to generate a new image G 2.

これによって、画像合成システムＳは、例えば、観光地等で、曇天や霧のため、背景がきれいに撮影されない場合でも、予め好天時に撮影しておいた背景画像（背景候補画像ＢＧ）に、実際に撮影された画像の前景を合成することができる。
なお、ここでは、画像撮影装置２は、前景画像と背景画像とを合成する機能以外に、撮影した画像を、背景候補画像ＢＧとして画像提供装置１に登録する機能を有するものとする。
以下、画像合成システムＳを構成する、画像提供装置１の構成と、画像撮影装置２の構成とについて順次説明する。 As a result, the image composition system S actually uses a background image (background candidate image BG) that was captured in advance in good weather even when the background was not captured beautifully due to cloudy weather or fog in a tourist spot. It is possible to synthesize the foreground of the captured image.
Here, it is assumed that the image capturing apparatus 2 has a function of registering a captured image in the image providing apparatus 1 as a background candidate image BG, in addition to the function of combining the foreground image and the background image.
Hereinafter, the configuration of the image providing device 1 and the configuration of the image capturing device 2 that constitute the image composition system S will be sequentially described.

［画像提供装置の構成］
最初に、図２を参照（適宜図１参照）して、画像提供装置１の構成について説明する。
図２に示すように、画像提供装置１は、画像記憶手段１０と、通信制御手段１１と、画像登録検索手段１２と、を備える。 [Configuration of image providing device]
First, the configuration of the image providing apparatus 1 will be described with reference to FIG. 2 (refer to FIG. 1 as appropriate).
As shown in FIG. 2, the image providing apparatus 1 includes an image storage unit 10, a communication control unit 11, and an image registration search unit 12.

画像記憶手段１０は、画像の撮影条件を示す撮影情報Ｄと、背景画像の候補となる背景候補画像ＢＧとを対応付けたデータベースを記憶するものである。この画像記憶手段１０は、ハードディスク記憶装置等の一般的な記憶装置であって、ここでは、画像登録検索手段１２によって、撮影情報Ｄと背景候補画像ＢＧの書き込みおよび読み出しが行われる。   The image storage means 10 stores a database in which shooting information D indicating image shooting conditions is associated with a background candidate image BG that is a background image candidate. The image storage means 10 is a general storage device such as a hard disk storage device, and here, the image registration search means 12 writes and reads out the photographing information D and the background candidate image BG.

ここで、図３を参照して、画像記憶手段１０に記憶されるデータベースのデータ構造について説明する。
図３に示すように、画像記憶手段１０のデータベースには、撮影情報（背景撮影情報）Ｄと背景候補画像ＢＧとが対応付けられて記憶される。
ここでは、背景候補画像ＢＧを一意に特定可能な識別子ＩＤ（ＩＤ１，ＩＤ２，ＩＤ３…）によって、撮影情報Ｄと背景候補画像ＢＧとを対応付けている。 Here, the data structure of the database stored in the image storage means 10 will be described with reference to FIG.
As shown in FIG. 3, shooting information (background shooting information) D and a background candidate image BG are stored in association with each other in the database of the image storage unit 10.
Here, the shooting information D and the background candidate image BG are associated with each other by an identifier ID (ID1, ID2, ID3,...) That can uniquely specify the background candidate image BG.

撮影情報（背景撮影情報）Ｄは、対応する背景候補画像ＢＧを撮影したときの撮影条件を示す情報である。ここでは、撮影情報Ｄは、画像情報、位置情報、方位情報、姿勢情報、レンズ情報等である。
「画像情報」は、背景候補画像ＢＧを特定する情報である。この画像情報は、例えば、背景候補画像ＢＧを一意に特定する識別子、背景候補画像ＢＧを撮影した日時、背景候補画像ＢＧの解像度、画像フォーマット等である。
「位置情報」は、背景候補画像ＢＧを撮影したときの画像撮影装置２の位置を示す情報である。この位置情報は、画像撮影装置２においてＧＰＳ（Global Positioning System：全地球測位システム）で取得可能な緯度、経度、高度等である。
「方位情報」は、背景候補画像ＢＧを撮影したときの画像撮影装置２の方位（撮影方向）を示す情報である。この方位情報は、画像撮影装置２において地磁気センサ等によって取得可能な方位である。 The shooting information (background shooting information) D is information indicating shooting conditions when the corresponding background candidate image BG is shot. Here, the shooting information D is image information, position information, orientation information, posture information, lens information, and the like.
“Image information” is information for specifying the background candidate image BG. This image information includes, for example, an identifier that uniquely identifies the background candidate image BG, the date and time when the background candidate image BG was captured, the resolution of the background candidate image BG, the image format, and the like.
“Position information” is information indicating the position of the image capturing apparatus 2 when the background candidate image BG is captured. The position information includes latitude, longitude, altitude, and the like that can be acquired by the image capturing apparatus 2 using GPS (Global Positioning System).
“Direction information” is information indicating the orientation (imaging direction) of the image capturing apparatus 2 when the background candidate image BG is captured. This azimuth information is a azimuth that can be acquired by the geomagnetism sensor or the like in the image capturing apparatus 2.

「姿勢情報」は、背景候補画像ＢＧを撮影したときの画像撮影装置２の姿勢（傾き）を示す情報である。この姿勢情報は、画像撮影装置２において慣性センサ（ジャイロセンサ、加速度センサ等）によって取得可能なロール、ピッチ、ヨーの各方向の回転角（φ、θ、ψ）である。
なお、図４に示すように、「ロール方向」は、画像撮影装置２の撮影方向の軸（図中、Ｘ軸）周りの回転方向である。また、「ピッチ方向」は、画像撮影装置２の水平軸（図中、Ｙ軸）周りの回転方向を示す。また、「ヨー方向」は、画像撮影装置２の垂直軸（図中、Ｚ軸）周りの回転方向を示す。 “Attitude information” is information indicating the attitude (tilt) of the image capturing apparatus 2 when the background candidate image BG is captured. This posture information is a rotation angle (φ, θ, ψ) in each of the roll, pitch, and yaw directions that can be acquired by the inertial sensor (gyro sensor, acceleration sensor, etc.) in the image capturing apparatus 2.
As shown in FIG. 4, the “roll direction” is a rotation direction around an imaging direction axis (X axis in the drawing) of the image capturing apparatus 2. The “pitch direction” indicates a rotation direction around the horizontal axis (Y axis in the figure) of the image capturing apparatus 2. The “yaw direction” indicates a rotation direction around the vertical axis (Z axis in the drawing) of the image capturing apparatus 2.

「レンズ情報」は、背景候補画像ＢＧを撮影したときの画像撮影装置２のレンズの情報である。このレンズ情報は、焦点距離、フォーカス位置、絞り値（Ｆ値）、画角等である。ただし、画角は、その値を直接記憶しておく必要はなく、画角を算出可能な情報を記憶しておくこととしてもよい。例えば、画像撮影装置２の撮像素子の解像度を記憶しておけば、その解像度と焦点距離とから画角を算出することが可能である。
この撮影情報Ｄには、これらの情報に限定されず、従来のＥｘｉｆで規定される情報を含んでもよい。 “Lens information” is information on the lens of the image capturing apparatus 2 when the background candidate image BG is captured. The lens information includes a focal length, a focus position, an aperture value (F value), a field angle, and the like. However, it is not necessary to directly store the value of the angle of view, and information capable of calculating the angle of view may be stored. For example, if the resolution of the image sensor of the image capturing device 2 is stored, the angle of view can be calculated from the resolution and the focal length.
The photographing information D is not limited to such information, and may include information defined by conventional Exif.

このように、少なくとも位置情報、方位情報および姿勢情報を登録しておくことで、撮影情報Ｄは、画像撮影装置２を、どの位置で、どの方向に向けて、どのような姿勢で、対応する背景候補画像ＢＧを撮影したものであるのかを一意に特定可能な情報となる。
また、レンズ情報を登録しておくことで、撮影情報Ｄは、画像撮影装置２を、被写体をどのくらいの範囲（画角）で撮影したものであるのかを一意に特定可能な情報となる。
図２に戻って、画像提供装置１の構成について説明を続ける。 Thus, by registering at least position information, azimuth information, and posture information, the shooting information D corresponds to the image shooting device 2 in which position, in which direction, in any posture. This is information that can uniquely identify whether the background candidate image BG is taken.
Further, by registering the lens information, the shooting information D becomes information that can uniquely identify the range (view angle) of the image shooting device 2 in which the subject is shot.
Returning to FIG. 2, the description of the configuration of the image providing apparatus 1 will be continued.

通信制御手段１１は、通信により、画像撮影装置２との間でデータの送受信を行うものである。この通信制御手段１１は、例えば、Ｗｉ−Ｆｉ（ワイファイ、Wireless Fidelity）等の無線ＬＡＮによって、データの送受信を行う。
ここでは、通信制御手段１１は、画像撮影装置２から受信したデータを画像登録検索手段１２に出力し、画像登録検索手段１２から入力したデータを画像撮影装置２に送信する。 The communication control unit 11 transmits / receives data to / from the image capturing device 2 through communication. The communication control unit 11 transmits and receives data using a wireless LAN such as Wi-Fi (Wireless Fidelity).
Here, the communication control unit 11 outputs the data received from the image capturing device 2 to the image registration search unit 12, and transmits the data input from the image registration search unit 12 to the image capturing device 2.

画像登録検索手段１２は、画像記憶手段１０に記憶されるデータベースの登録および検索を行うものである。すなわち、画像登録検索手段１２は、データベースの管理やデータに対するアクセス要求に応じるデータベース管理システムの機能を有する。
この画像登録検索手段１２は、通信制御手段１１を介して、画像撮影装置２から、撮影情報Ｄと背景候補画像ＢＧとからなる撮影データを登録要求として取得し、画像記憶手段１０のデータベースに登録（記憶）する。このとき、画像登録検索手段１２は、撮影情報Ｄの画像情報のうち、識別子ＩＤについては、逐次固有の値を割り当てることとする。
なお、画像登録検索手段１２は、撮影情報Ｄと背景候補画像ＢＧとを記録したＳＤカード等の記録媒体を用い、図示を省略した記録媒体読出装置を介して、撮影情報Ｄと背景候補画像ＢＧとを読み出し、データベースに登録することとしてもよい。 The image registration search means 12 performs registration and search of a database stored in the image storage means 10. In other words, the image registration / retrieval means 12 has a database management system function that responds to database management and data access requests.
The image registration / retrieval unit 12 acquires, as a registration request, shooting data including the shooting information D and the background candidate image BG from the image shooting device 2 via the communication control unit 11 and registers them in the database of the image storage unit 10. (Remember. At this time, the image registration search unit 12 sequentially assigns a unique value for the identifier ID in the image information of the shooting information D.
The image registration / retrieval means 12 uses a recording medium such as an SD card in which the photographing information D and the background candidate image BG are recorded, and the photographing information D and the background candidate image BG via a recording medium reading device (not shown). May be read out and registered in the database.

また、画像登録検索手段１２は、通信制御手段１１を介して、画像撮影装置２から、撮影情報を検索条件とした検索要求を取得すると、画像記憶手段１０のデータベースから、検索条件に合致する背景候補画像ＢＧを読み出す。そして、画像登録検索手段１２は、通信制御手段１１を介して、検索要求を行った画像撮影装置２に、読み出した背景候補画像ＢＧを送信する。
ここで、検索条件は、例えば、撮影情報Ｄのうちで、緯度、経度および高度について、それぞれの値と許容範囲、方位について、その方位角と許容範囲のように、どの情報を検索条件とするかの属性、その値および許容範囲である。 In addition, when the image registration search unit 12 acquires a search request using the shooting information as a search condition from the image shooting apparatus 2 via the communication control unit 11, a background that matches the search condition from the database of the image storage unit 10. Candidate image BG is read. Then, the image registration / retrieval unit 12 transmits the read background candidate image BG to the image capturing apparatus 2 that has made the search request via the communication control unit 11.
Here, the search condition is, for example, which information in the shooting information D is the search condition such as the latitude, longitude, and altitude, each value and permissible range, and the azimuth and permissible range. Attribute, its value and tolerance.

［画像撮影装置（画像合成装置）の構成］
次に、図５を参照して（適宜図１参照）して、画像撮影装置（画像合成装置）２の構成について説明する。図５に示すように、画像撮影装置２は、撮影情報取得手段２０と、撮影手段２１と、前景領域検出手段２２と、前景背景合成手段２３と、通信制御手段２４と、表示手段２５と、記憶手段２６と、画像書込手段２７と、画像登録手段２８と、を備える。この画像撮影装置２は、シャッタスイッチＳＷを押下されることで、被写体を撮影する。 [Configuration of Image Shooting Device (Image Composition Device)]
Next, referring to FIG. 5 (refer to FIG. 1 as appropriate), the configuration of the image capturing device (image composition device) 2 will be described. As shown in FIG. 5, the image capturing apparatus 2 includes a shooting information acquisition unit 20, a shooting unit 21, a foreground area detection unit 22, a foreground / background synthesis unit 23, a communication control unit 24, a display unit 25, A storage unit 26, an image writing unit 27, and an image registration unit 28 are provided. The image photographing apparatus 2 photographs a subject by pressing the shutter switch SW.

なお、ここでは、画像撮影装置２は、画像提供装置１が提供する背景画像を合成するか否かを切り替える切替部Ｔ（Ｔ１，Ｔ２）を内部に備え、ａ端子側に経路を切り替えることで、背景画像の合成を行い、ｂ端子側に経路を切り替えることで、背景画像の合成を行わないこととする。この切替部Ｔは、外部から設定するハードウェアの切替スイッチであっても構わないし、設定画面からの設定により切り替えを行うソフトウェア制御による切替制御手段であっても構わない。 Here, the image capturing apparatus 2 includes therein a switching unit T (T 1 , T 2 ) that switches whether to synthesize a background image provided by the image providing apparatus 1, and switches the path to the a terminal side. Thus, the background image is synthesized and the route is switched to the b terminal side so that the background image is not synthesized. This switching unit T may be a hardware changeover switch set from the outside, or may be a switching control means by software control that performs switching by setting from a setting screen.

撮影情報取得手段２０は、被写体を撮影したときの画像撮影装置２の位置、方位、姿勢およびレンズの状態を示す撮影情報を取得するものである。
ここでは、撮影情報取得手段２０は、位置検出手段２０１と、位置情報取得手段２０２と、方位検出手段２０３と、方位情報取得手段２０４と、姿勢検出手段２０５と、姿勢情報取得手段２０６と、レンズ情報取得手段２０７と、を備える。 The shooting information acquisition means 20 acquires shooting information indicating the position, orientation, posture, and lens state of the image shooting apparatus 2 when the subject is shot.
Here, the photographing information acquisition means 20 includes a position detection means 201, a position information acquisition means 202, an orientation detection means 203, an orientation information acquisition means 204, an orientation detection means 205, an orientation information acquisition means 206, and a lens. Information acquisition means 207.

位置検出手段２０１は、画像撮影装置２の位置を検出するものである。この位置検出手段２０１は、図示を省略したＧＰＳアンテナを備え、複数のＧＰＳ衛星（不図示）から受信した電波の時刻のずれから、画像撮影装置２の緯度、経度および高度を算出する。
この位置検出手段２０１は、位置情報取得手段２０２から検出要求があったタイミングで、緯度、経度および高度を算出し、位置情報として、位置情報取得手段２０２に出力する。 The position detection unit 201 detects the position of the image capturing device 2. The position detection unit 201 includes a GPS antenna (not shown), and calculates the latitude, longitude, and altitude of the image capturing device 2 from the time lag of radio waves received from a plurality of GPS satellites (not shown).
The position detection unit 201 calculates latitude, longitude, and altitude at a timing when a detection request is received from the position information acquisition unit 202, and outputs the calculated latitude, longitude, and altitude to the position information acquisition unit 202 as position information.

位置情報取得手段２０２は、画像撮影装置２の位置情報を、位置検出手段２０１から取得するものである。この位置情報取得手段２０２は、シャッタスイッチＳＷによって撮影を指示されたタイミングで、位置検出手段２０１に位置情報を要求し、位置情報を取得する。そして、位置情報取得手段２０２は、切替部Ｔ１がａ端子側に設定されている場合、位置情報を前景背景合成手段２３に出力し、ｂ端子側に設定されている場合、位置情報を画像書込手段２７に出力する。 The position information acquisition unit 202 acquires the position information of the image capturing device 2 from the position detection unit 201. The position information acquisition unit 202 requests position information from the position detection unit 201 and acquires the position information at a timing when shooting is instructed by the shutter switch SW. Then, the position information acquisition unit 202, when the switching unit T 1 is set to a terminal side, and outputs the position information to the foreground background synthesis means 23, if it is set to the terminal b, the position information image Output to the writing means 27.

方位検出手段２０３は、画像撮影装置２の方位を検出するものである。この方位検出手段２０３は、例えば、３軸地磁気センサで構成することができる。３軸地磁気センサの場合、前後、左右、上下方向の地磁気から、基準となる方向（例えば、北方向）を検出することで、画像撮影装置２の前方の方位を検出する。
この方位検出手段２０３は、現在の画像撮影装置２の方位を方位情報取得手段２０４に逐次出力する。 The direction detection means 203 detects the direction of the image capturing device 2. This azimuth detecting means 203 can be constituted by a triaxial geomagnetic sensor, for example. In the case of a triaxial geomagnetic sensor, the front direction of the image capturing device 2 is detected by detecting a reference direction (for example, the north direction) from the front, back, left, and right top geomagnetism.
The azimuth detecting unit 203 sequentially outputs the current azimuth of the image capturing device 2 to the azimuth information acquiring unit 204.

方位情報取得手段２０４は、画像撮影装置２の方位情報を、方位検出手段２０３から取得するものである。この方位情報取得手段２０４は、シャッタスイッチＳＷによって撮影を指示されたタイミングで、方位検出手段２０３から出力される方位情報を取得する。
そして、方位情報取得手段２０４は、切替部Ｔ１がａ端子側に設定されている場合、方位情報を前景背景合成手段２３に出力し、ｂ端子側に設定されている場合、方位情報を画像書込手段２７に出力する。 The direction information acquisition unit 204 acquires the direction information of the image capturing device 2 from the direction detection unit 203. The azimuth information acquisition unit 204 acquires the azimuth information output from the azimuth detection unit 203 at the timing when shooting is instructed by the shutter switch SW.
The orientation information acquisition means 204, when the switching unit T 1 is set to a terminal side, if the outputs azimuth information to the foreground background synthesis means 23, is set to the terminal b, the image azimuth information Output to the writing means 27.

姿勢検出手段２０５は、画像撮影装置２の姿勢を検出するものである。この姿勢検出手段２０５は、例えば、ジャイロセンサ、加速度センサ等の慣性センサで構成することができる。この姿勢検出手段２０５は、図４で説明したロール、ピッチ、ヨーの各方向の回転角（φ、θ、ψ）を検出することで、画像撮影装置２の姿勢を検出する。
この姿勢検出手段２０５は、現在の画像撮影装置２の姿勢を姿勢情報取得手段２０６に逐次出力する。 The attitude detection unit 205 detects the attitude of the image capturing apparatus 2. The posture detection means 205 can be constituted by an inertial sensor such as a gyro sensor or an acceleration sensor, for example. The attitude detection unit 205 detects the attitude of the image capturing apparatus 2 by detecting the rotation angles (φ, θ, ψ) in the roll, pitch, and yaw directions described in FIG.
The posture detection unit 205 sequentially outputs the current posture of the image capturing device 2 to the posture information acquisition unit 206.

姿勢情報取得手段２０６は、画像撮影装置２の姿勢情報を、姿勢検出手段２０５から取得するものである。この姿勢情報取得手段２０６は、シャッタスイッチＳＷによって撮影を指示されたタイミングで、姿勢検出手段２０５から出力される姿勢情報を取得する。
そして、姿勢情報取得手段２０６は、切替部Ｔ１がａ端子側に設定されている場合、姿勢情報を前景背景合成手段２３に出力し、ｂ端子側に設定されている場合、姿勢情報を画像書込手段２７に出力する。 The posture information acquisition unit 206 acquires the posture information of the image capturing device 2 from the posture detection unit 205. The posture information acquisition unit 206 acquires the posture information output from the posture detection unit 205 at the timing when shooting is instructed by the shutter switch SW.
The orientation obtaining unit 206, when the switching unit T 1 is set to a terminal side, if the outputs posture information to the foreground background synthesis means 23, is set to the terminal b, the orientation information image Output to the writing means 27.

レンズ情報取得手段２０７は、撮影手段２１のレンズ情報を取得するものである。このレンズ情報取得手段２０７は、シャッタスイッチＳＷによって撮影を指示されたタイミングで、撮影手段２１のレンズの状態である焦点距離、フォーカス位置、絞り値等を取得する。
また、レンズ情報取得手段２０７は、予め既知の撮影手段２１が内蔵するイメージセンササイズ（水平サイズおよび垂直サイズ）と、取得した焦点距離とから、画角（垂直画角および水平画角）をレンズ情報の一部として算出する。
そして、レンズ情報取得手段２０７は、切替部Ｔ１がａ端子側に設定されている場合、レンズ情報を前景背景合成手段２３に出力し、ｂ端子側に設定されている場合、レンズ情報を画像書込手段２７に出力する。
このように、撮影情報取得手段２０は、画像撮影装置２が被写体を撮影したタイミングの撮影情報（位置情報、方位情報、姿勢情報およびレンズ情報）を取得することができる。 The lens information acquisition unit 207 acquires lens information of the photographing unit 21. The lens information acquisition unit 207 acquires the focal length, the focus position, the aperture value, and the like that are the state of the lens of the imaging unit 21 at the timing when imaging is instructed by the shutter switch SW.
The lens information acquisition unit 207 determines the angle of view (vertical angle of view and horizontal angle of view) from the image sensor size (horizontal size and vertical size) built in the previously known photographing unit 21 and the acquired focal length. Calculate as part of the information.
Then, the lens information acquisition unit 207, when the switching unit T 1 is set to a terminal side, and outputs the lens information to the foreground background synthesis means 23, if it is set to the terminal b, the lens information image Output to the writing means 27.
As described above, the shooting information acquisition unit 20 can acquire shooting information (position information, azimuth information, posture information, and lens information) at the timing when the image shooting device 2 shots the subject.

撮影手段２１は、シャッタスイッチＳＷによって撮影を指示されたタイミングで、被写体を撮影するものである。この撮影手段２１は、レンズ（光学系）、イメージセンサ（不図示）を含んだ撮影装置であって、撮影者によって操作された、あるいは、既知の技術であるオートフォーカス等によって制御されたレンズの焦点距離、絞り等のレンズ情報をレンズ情報取得手段２０７に出力する。
また、撮影手段２１は、切替部Ｔ１がａ端子側に設定されている場合、撮影した撮影画像を前景背景合成手段２３に出力し、ｂ端子側に設定されている場合、撮影画像を画像書込手段２７に出力する。 The photographing means 21 photographs the subject at a timing when photographing is instructed by the shutter switch SW. The photographing means 21 is a photographing device including a lens (optical system) and an image sensor (not shown), and is a lens operated by a photographer or controlled by a known technique such as autofocus. The lens information such as the focal length and the aperture is output to the lens information acquisition unit 207.
The imaging unit 21, when the switching unit T 1 is set to a terminal side, if the output an imaged image obtained by imaging the foreground background synthesis means 23, is set to the terminal b, the photographed image image Output to the writing means 27.

前景領域検出手段２２は、被写体までの奥行き情報と当該被写体を撮影したときのレンズ情報とにより、撮影手段２１で撮影された撮影画像内において前景領域を検出するものである。
この前景領域検出手段２２は、例えば、撮影手段２１の光学系とは視差の異なる光学系によって被写体を撮影し、２つの画像（ステレオ画像）から、その視差により奥行き情報（奥行き画像）を生成する。そして、前景領域検出手段２２は、レンズの焦点距離とフォーカス位置とで特定されるフォーカスの合った前景までの撮影距離を求め、奥行き情報の奥行きがその撮影距離と対応する撮影画像の領域を前景とするキー信号を生成する。例えば、前景領域に画素値“０ｘＦＦ”、背景領域に画素値“０”を割り当てたキー信号を生成する。 The foreground area detection unit 22 detects the foreground area in the captured image captured by the imaging unit 21 based on the depth information to the subject and the lens information when the subject is captured.
The foreground area detection unit 22 shoots a subject with an optical system having a parallax different from that of the imaging unit 21, for example, and generates depth information (depth image) from the two images (stereo images) based on the parallax. . Then, the foreground area detecting means 22 obtains the shooting distance to the foreground in focus specified by the focal length and the focus position of the lens, and the area of the shot image corresponding to the depth of the depth information corresponds to the shooting distance. A key signal is generated. For example, a key signal in which a pixel value “0xFF” is assigned to the foreground area and a pixel value “0” is assigned to the background area is generated.

このとき、前景領域検出手段２２は、前景の奥行きとして、その前後に被写界深度の奥行き幅を設けることが好ましい。この被写界深度は、撮影を行った際のレンズの焦点距離、絞り値（Ｆ値）および撮影距離で求めることができる。もちろん、この奥行き幅は、予め定めた幅（例えば、３０ｃｍ等）を用いても構わない。   At this time, it is preferable that the foreground area detection means 22 provides a depth width of the depth of field before and after the foreground depth. This depth of field can be obtained from the focal length, aperture value (F value), and shooting distance of the lens when shooting. Of course, as the depth width, a predetermined width (for example, 30 cm or the like) may be used.

なお、ここでは、前景領域検出手段２２は、視差によって奥行きを求めたが、レーザーセンサ、赤外線センサによって奥行きを計測することとしてもよい。
また、この前景領域検出手段２２は、フォーカス位置に限定されず、奥行き情報において最も画像撮影装置２に近い距離（最前面）から予め定めた範囲の奥行き（例えば、３０ｃｍ等）に対応する撮影画像の領域を、前景領域として検出することとしてもよい。 Here, the foreground area detection means 22 calculates the depth by the parallax, but may measure the depth by a laser sensor or an infrared sensor.
Further, the foreground area detection means 22 is not limited to the focus position, and the captured image corresponding to a depth (for example, 30 cm) in a predetermined range from a distance (frontmost) closest to the image capturing apparatus 2 in the depth information. These areas may be detected as foreground areas.

この前景領域検出手段２２は、生成した前景のキー信号を前景背景合成手段２３に出力する。なお、このキー信号は、背景画像を合成する場合にしか使用しないため、切替部Ｔ２でｂ端子側に経路が設定されている場合、キー信号の生成を行わないこととする。 The foreground area detection unit 22 outputs the generated foreground key signal to the foreground / background composition unit 23. Note that this key signal does not use only when synthesizing the background image, if the path to the terminal b by the switching portion T 2 are set, and is not performed to generate the key signal.

前景背景合成手段２３は、撮影情報取得手段２０で取得された撮影情報と、撮影手段２１で撮影された撮影画像と、前景領域検出手段２２で生成されたキー信号とに基づいて、撮影画像の前景領域と、予め撮影された背景候補画像とを合成するものである。
ここでは、前景背景合成手段２３は、背景候補画像取得手段２３１と、背景候補画像選択手段２３２と、前景画像切出手段２３３と、合成手段２３４と、を備える。 The foreground / background synthesizing unit 23, based on the shooting information acquired by the shooting information acquiring unit 20, the shot image shot by the shooting unit 21, and the key signal generated by the foreground area detection unit 22, The foreground area and the background candidate image photographed in advance are synthesized.
Here, the foreground / background composition unit 23 includes a background candidate image acquisition unit 231, a background candidate image selection unit 232, a foreground image cutout unit 233, and a composition unit 234.

背景候補画像取得手段２３１は、撮影情報取得手段２０で取得された撮影情報で特定される撮影条件と、予め定めた範囲で近似した撮影条件で撮影された背景候補画像を、画像提供装置１から取得するものである。
この背景候補画像取得手段２３１は、撮影情報取得手段２０で取得された撮影情報（位置情報、方位情報、姿勢情報、レンズ情報）に予め定めた許容範囲を設けた情報を検索条件とし、通信制御手段２４を介して、画像提供装置１に背景候補画像を要求する。
例えば、位置情報については、緯度、経度、高度それぞれ「１ｍ」以内の誤差を検索条件とする。また、方位情報および姿勢情報の各情報については、「５度」以内の誤差を検索条件とする。 The background candidate image acquisition unit 231 receives, from the image providing apparatus 1, a background candidate image that has been captured under a shooting condition specified by the shooting information acquired by the shooting information acquisition unit 20 and a shooting condition approximated within a predetermined range. To get.
The background candidate image acquisition unit 231 uses information obtained by providing a predetermined allowable range for the shooting information (position information, orientation information, posture information, lens information) acquired by the shooting information acquisition unit 20 as a search condition, and performs communication control. A background candidate image is requested to the image providing apparatus 1 via the means 24.
For example, for position information, an error within “1 m” for each of latitude, longitude, and altitude is used as a search condition. Further, for each information of the azimuth information and the posture information, an error within “5 degrees” is used as a search condition.

そして、背景候補画像取得手段２３１は、通信制御手段２４を介して、背景候補画像を取得する。このとき、背景候補画像取得手段２３１は、検索条件に合致する背景候補画像の数が、予め定めた数よりも少ない場合、例えば、緯度、経度、高度の誤差を、それぞれ「５ｍ」以内、「１０ｍ」以内等まで段階的に検索条件を緩めることで、検索条件にレベルを設けることとしてもよい。
この背景候補画像取得手段２３１は、取得した背景候補画像を背景候補画像選択手段２３２に出力する。このとき、検索条件にレベルを設けた場合、背景候補画像取得手段２３１は、そのレベルも背景候補画像選択手段２３２に出力することとする。 Then, the background candidate image acquisition unit 231 acquires a background candidate image via the communication control unit 24. At this time, if the number of background candidate images that match the search condition is smaller than the predetermined number, the background candidate image acquisition unit 231 sets the latitude, longitude, and altitude errors within “5 m”, “ It is possible to provide a level for the search condition by gradually relaxing the search condition to within 10 m ".
The background candidate image acquisition unit 231 outputs the acquired background candidate image to the background candidate image selection unit 232. At this time, when a level is provided in the search condition, the background candidate image acquisition unit 231 outputs the level to the background candidate image selection unit 232 as well.

背景候補画像選択手段２３２は、背景候補画像取得手段２３１で取得した複数の背景候補画像から、１つの画像を合成用の背景画像として、撮影者に選択させるものである。
この背景候補画像選択手段２３２は、取得した複数の背景候補画像を、表示手段２５によって画面に表示させ、撮影者によって選択された画像（背景画像）を合成手段２３４に出力する。
例えば、図６に示すように、背景候補画像選択手段２３２は、表示手段２５の画面上に複数の背景候補画像ＢＧ１，ＢＧ２，ＢＧ３，ＢＧ４…を表示する。このとき、すべての背景候補画像が画面上に表示できない場合、背景候補画像選択手段２３２は、スクロールバーＳＢを設け、撮影者の選択によって、表示する背景候補画像を切り替えればよい。 The background candidate image selection unit 232 causes the photographer to select one image as a background image for synthesis from the plurality of background candidate images acquired by the background candidate image acquisition unit 231.
The background candidate image selection unit 232 causes the display unit 25 to display the acquired plurality of background candidate images on the screen, and outputs an image (background image) selected by the photographer to the synthesis unit 234.
For example, as illustrated in FIG. 6, the background candidate image selection unit 232 displays a plurality of background candidate images BG 1 , BG 2 , BG 3 , BG 4 ... On the screen of the display unit 25. At this time, if all the background candidate images cannot be displayed on the screen, the background candidate image selecting unit 232 may provide the scroll bar SB and switch the background candidate images to be displayed by the photographer's selection.

なお、検索条件にレベルが設定されている場合、背景候補画像選択手段２３２は、図６に示すように、そのレベルを示すレベル表示領域Ｐを設け、色、文字等によって、レベルを撮影者に提示する。例えば、背景候補画像選択手段２３２は、最も厳しい検索条件に合致した背景候補画像については、レベル表示領域Ｐに緑色を点灯し、それよりも緩い検索条件の場合、順次、黄色、赤色等でそのレベルを提示する。
このレベル表示よって、撮影者は、どの背景候補画像が、自身が撮影した場所、画像撮影装置２の撮影方向、画角等に近似するのかを判断することができる。
図５に戻って、画像撮影装置２の構成について説明を続ける。 If the level is set in the search condition, the background candidate image selecting means 232 provides a level display area P indicating the level as shown in FIG. Present. For example, the background candidate image selection means 232 turns on green in the level display area P for the background candidate images that match the strictest search conditions, and in the case of search conditions that are looser than that, the background candidate images are sequentially displayed in yellow, red, etc. Present the level.
This level display allows the photographer to determine which background candidate image approximates the location where he / she photographed, the photographing direction of the image photographing device 2, the angle of view, and the like.
Returning to FIG. 5, the description of the configuration of the image capturing device 2 will be continued.

前景画像切出手段２３３は、撮影した画像から、前景を切り出すものである。
ここでは、前景画像切出手段２３３は、前景領域検出手段２２で生成されたキー信号に基づいて、前景領域と指定された領域を、撮影手段２１で撮影された撮影画像から抽出する。すなわち、前景画像切出手段２３３は、図７に示すように、キー信号Ｋで示される前景領域に基づいて、撮影画像ＰＧから、前景画像ＦＧを切り出す。
この前景画像切出手段２３３は、切り出した前景画像ＦＧを合成手段２３４に出力する。 The foreground image cutout unit 233 cuts out the foreground from the photographed image.
Here, based on the key signal generated by the foreground area detection unit 22, the foreground image extraction unit 233 extracts the area designated as the foreground area from the captured image captured by the imaging unit 21. That is, the foreground image cutout unit 233 cuts out the foreground image FG from the photographed image PG based on the foreground area indicated by the key signal K as shown in FIG.
The foreground image cutout unit 233 outputs the cut out foreground image FG to the combining unit 234.

合成手段２３４は、背景候補画像選択手段２３２で選択された背景画像に、前景画像切出手段２３３で切り出された前景画像を合成するものである。
すなわち、合成手段２３４は、図８に示すように、背景候補画像選択手段２３２で選択された背景画像ＢＧ上に、前景画像切出手段２３３で切り出された前景画像ＦＧを上書きすることで、実際の撮影画像に対して背景が置換された合成画像Ｇを生成する。
この合成手段２３４は、生成した合成画像Ｇを記憶手段２６に書き込む。このとき、合成手段２３４は、記憶手段２６に書き込んだ合成画像Ｇを、表示手段２５を介して撮影者に提示する。
なお、ここでは、合成手段２３４は、生成した合成画像Ｇに、撮影情報取得手段２０で取得した撮影情報を対応付けて記憶手段２６に書き込むこととする。もちろん、合成手段２３４は、別途、合成に用いた背景画像に対応する撮影情報を、通信制御手段２４を介して画像提供装置１から取得し、併せて記憶することとしてもよい。 The synthesizing unit 234 synthesizes the foreground image extracted by the foreground image extracting unit 233 with the background image selected by the background candidate image selecting unit 232.
That is, as shown in FIG. 8, the synthesizing unit 234 actually overwrites the background image BG selected by the background candidate image selecting unit 232 with the foreground image FG extracted by the foreground image extracting unit 233. A synthesized image G in which the background is replaced with respect to the captured image is generated.
The synthesizing unit 234 writes the generated synthesized image G in the storage unit 26. At this time, the synthesizing unit 234 presents the synthesized image G written in the storage unit 26 to the photographer via the display unit 25.
Here, it is assumed that the synthesizing unit 234 writes the shooting information acquired by the shooting information acquiring unit 20 to the generated combined image G in the storage unit 26. Of course, the synthesizing unit 234 may separately acquire the shooting information corresponding to the background image used for the synthesis from the image providing apparatus 1 via the communication control unit 24 and store it together.

通信制御手段２４は、通信により、画像提供装置１との間でデータの送受信を行うものである。この通信制御手段２４は、例えば、Ｗｉ−Ｆｉ等の無線ＬＡＮによって、データの送受信を行う。もちろん、通信制御手段２４の通信規格は、画像提供装置１の通信制御手段１１（図２参照）の通信規格と同じものとする。
ここでは、通信制御手段２４は、前景背景合成手段２３から入力したデータ（背景候補画像の要求）を画像提供装置１に送信し、画像提供装置１から受信したデータ（背景候補画像）を前景背景合成手段２３に出力する。
なお、ここでは、通信制御手段２４は、後記する画像登録手段２８から、背景画像の登録要求があった場合、背景画像とともに、画像提供装置１に送信する。 The communication control unit 24 transmits / receives data to / from the image providing apparatus 1 through communication. For example, the communication control unit 24 transmits and receives data through a wireless LAN such as Wi-Fi. Of course, the communication standard of the communication control unit 24 is the same as the communication standard of the communication control unit 11 (see FIG. 2) of the image providing apparatus 1.
Here, the communication control unit 24 transmits the data (background candidate image request) input from the foreground / background composition unit 23 to the image providing device 1 and uses the data (background candidate image) received from the image providing device 1 as the foreground / background. The result is output to the combining unit 23.
Here, when there is a background image registration request from the image registration unit 28 described later, the communication control unit 24 transmits the background image together with the background image to the image providing apparatus 1.

表示手段２５は、前景背景合成手段２３（背景候補画像選択手段２３２）から出力される複数の背景候補画像を表示し、撮影者の選択を受け付けるものである。
この表示手段２５は、図示を省略したタッチパネルを備え、図６に示したように、複数の背景候補画像を表示する。そして、撮影者によって選択された画面上の位置を、前景背景合成手段２３に出力する。これによって、前景背景合成手段２３は、どの背景候補画像が選択されたのかを認識することができる。
なお、表示手段２５は、合成手段２３４によって合成された合成画像を表示するものでもある。もちろん、表示手段２５は、信号線の図示を省略するが、撮影手段２１で撮影された撮影画像をモニタする機能を有していることは言うまでもない。 The display means 25 displays a plurality of background candidate images output from the foreground / background composition means 23 (background candidate image selection means 232) and accepts a photographer's selection.
The display means 25 includes a touch panel (not shown), and displays a plurality of background candidate images as shown in FIG. Then, the position on the screen selected by the photographer is output to the foreground / background composition means 23. Thereby, the foreground / background composition unit 23 can recognize which background candidate image has been selected.
The display means 25 is also for displaying the composite image synthesized by the synthesis means 234. Needless to say, the display means 25 has a function of monitoring a photographed image photographed by the photographing means 21, although the signal lines are not shown.

記憶手段２６は、撮影された画像を、撮影情報と対応付けて記憶するもので、ＳＤカード等の一般的な記録媒体である。
この記憶手段２６は、前景背景合成手段２３で生成された合成画像を撮影情報とともに記憶したり、後記する画像書込手段２７によって画像合成を行わない撮影画像を撮影情報とともに記憶したりする。 The storage means 26 stores a captured image in association with shooting information, and is a general recording medium such as an SD card.
The storage means 26 stores the composite image generated by the foreground / background composition means 23 together with the shooting information, and stores the photographed image that is not subjected to image composition by the image writing means 27 described later together with the shooting information.

画像書込手段２７は、画像提供装置１が提供する背景画像を合成しない場合に、撮影した画像と、そのときの撮影情報とを対応付けて、記憶手段２６に書き込むものである。
すなわち、画像書込手段２７は、切替部Ｔ（Ｔ１，Ｔ２）がｂ端子側に設定されている場合に機能し、撮影手段２１で撮影された撮影画像と、撮影情報取得手段２０で取得された撮影情報とを対応付けて、記憶手段２６に書き込む。 When the background image provided by the image providing apparatus 1 is not synthesized, the image writing unit 27 writes the captured image and the shooting information at that time in association with each other in the storage unit 26.
That is, the image writing unit 27 functions when the switching unit T (T 1 , T 2 ) is set to the b terminal side, and the captured image captured by the capturing unit 21 and the captured information acquisition unit 20 are used. The acquired photographing information is associated with and written in the storage unit 26.

画像登録手段２８は、記憶手段２６に記憶されている撮影画像および撮影情報を、通信制御手段２４を介して、画像提供装置１に送信し、登録するものである。
この画像登録手段２８は、切替部Ｔ（Ｔ１，Ｔ２）がｂ端子側に設定されて、画像書込手段２７によって記憶された撮影画像を、背景候補画像として登録する。なお、画像登録手段２８は、図示を省略するが、記憶手段２６記憶されている撮影画像を表示手段２５に表示させ、撮影者が選択した背景候補画像と撮影情報とからなる撮影データを登録要求として、画像提供装置１に送信することとする。
これによって、画像提供装置１には、遠隔地で撮影された背景候補画像が逐次記憶され、データベースが充実していくことになる。 The image registration unit 28 transmits and registers the captured image and the captured information stored in the storage unit 26 to the image providing apparatus 1 via the communication control unit 24.
The image registration unit 28 registers the photographed image stored by the image writing unit 27 as a background candidate image with the switching unit T (T 1 , T 2 ) set to the b terminal side. Although not shown, the image registration unit 28 displays the captured image stored in the storage unit 26 on the display unit 25, and requests registration of shooting data including the background candidate image selected by the photographer and the shooting information. Is transmitted to the image providing apparatus 1.
As a result, the image providing apparatus 1 sequentially stores background candidate images taken at remote locations, and the database is enriched.

以上説明した画像撮影装置２は、図示を省略したコンピュータを備え、コンピュータを前記した各手段として機能させるプログラムで動作させることができる。具体的には、画像撮影装置２は、コンピュータを、前景背景合成手段２３の各手段として機能させる画像合成プログラムによって、前景画像と背景画像とを合成する機能を実現することができる。   The image capturing apparatus 2 described above includes a computer (not shown), and can be operated by a program that causes the computer to function as each unit described above. Specifically, the image capturing apparatus 2 can realize a function of synthesizing the foreground image and the background image by an image synthesis program that causes the computer to function as each unit of the foreground / background synthesis unit 23.

このように画像撮影装置２を構成することで、画像撮影装置２は、現時点で撮影した撮影画像の前景領域と、異なる時間に撮影された背景画像とを合成することができる。これによって、画像撮影装置２は、天候状態等により、視界が悪い場合であっても、予め視界が良好な状態で撮影された背景画像を合成することができる。   By configuring the image capturing device 2 in this way, the image capturing device 2 can synthesize the foreground region of the captured image captured at the present time and the background image captured at different times. As a result, the image capturing apparatus 2 can synthesize a background image that has been captured in advance with good visibility even when the visibility is poor due to weather conditions or the like.

≪画像合成システムの動作≫
次に、図９，図１０を参照して、画像合成システムＳの動作について説明する。なお、ここでは、主に、画像撮影装置２の動作について説明する。
〔画像登録動作〕
最初に、図９を参照（構成ついては、適宜図１，図５参照）して、画像撮影装置２による画像提供装置１への背景画像の登録動作について説明する。この動作時には、切替部Ｔ（Ｔ１，Ｔ２）をｂ端子側に設定しておく。 ≪Operation of image composition system≫
Next, the operation of the image composition system S will be described with reference to FIGS. Here, the operation of the image capturing apparatus 2 will be mainly described.
[Image registration operation]
First, a background image registration operation to the image providing apparatus 1 by the image capturing apparatus 2 will be described with reference to FIG. During this operation, the switching unit T (T 1 , T 2 ) is set to the b terminal side.

まず、画像撮影装置２は、シャッタスイッチＳＷを押下されたタイミングで、撮影手段２１によって、被写体を撮影する（ステップＳ１０）。
また、画像撮影装置２は、ステップＳ１０と同じタイミングで、撮影情報取得手段２０によって、被写体を撮影したときの画像撮影装置２の位置、方位、姿勢およびレンズの状態を示す撮影情報（位置情報、方位情報、姿勢情報、レンズ情報）を取得する（ステップＳ１１）。 First, the image photographing device 2 photographs a subject by the photographing means 21 at a timing when the shutter switch SW is pressed (step S10).
In addition, the image capturing apparatus 2 captures shooting information (position information, position information, position information, position, orientation, and posture of the image capturing apparatus 2 when the subject is captured by the capturing information acquisition unit 20 at the same timing as step S10. (Azimuth information, posture information, lens information) is acquired (step S11).

すなわち、画像撮影装置２は、位置情報取得手段２０２によって、位置検出手段２０１で検出される位置情報（緯度、経度、高度）を取得する。
また、画像撮影装置２は、方位情報取得手段２０４によって、方位検出手段２０３で検出される画像撮影装置２の前方の方位を取得する。
また、画像撮影装置２は、姿勢情報取得手段２０６によって、姿勢検出手段２０５で検出される姿勢情報（ロール、ピッチ、ヨーの各方向の回転角）を取得する。
また、画像撮影装置２は、レンズ情報取得手段２０７によって、撮影手段２１のレンズ情報（焦点距離、フォーカス位置、絞り値等）を取得する。 That is, the image capturing apparatus 2 acquires position information (latitude, longitude, altitude) detected by the position detection unit 201 by the position information acquisition unit 202.
Further, the image capturing apparatus 2 acquires the front direction of the image capturing apparatus 2 detected by the direction detecting unit 203 by the direction information acquiring unit 204.
Further, the image capturing apparatus 2 acquires posture information (rotation angles in the roll, pitch, and yaw directions) detected by the posture detection unit 205 by the posture information acquisition unit 206.
Further, the image capturing apparatus 2 acquires lens information (focal length, focus position, aperture value, etc.) of the image capturing unit 21 by the lens information acquiring unit 207.

そして、画像撮影装置２は、画像書込手段２７によって、ステップＳ１０で撮影された撮影画像と、ステップＳ１１で取得した撮影情報とを対応付けて記憶手段２６に書き込み記憶する（ステップＳ１２）。   Then, the image photographing device 2 writes and stores the photographed image photographed in step S10 and the photographing information obtained in step S11 in the storage unit 26 in association with each other by the image writing unit 27 (step S12).

その後、画像撮影装置２は、画像登録手段２８によって、ステップＳ１２で記憶手段２６に記憶された撮影画像と撮影情報とからなる撮影データを登録要求として、画像提供装置１に送信することで、画像提供装置１内のデータベースに登録する（ステップＳ１３）。   Thereafter, the image photographing device 2 transmits image data including the photographed image and the photographing information stored in the storage unit 26 in step S12 to the image providing device 1 by the image registration unit 28 as a registration request. Register in the database in the providing device 1 (step S13).

以上の動作によって、画像撮影装置２は、自身の撮影時の位置、方位、姿勢およびレンズ情報からなる撮影情報と対応付けて、撮影画像を背景候補画像として画像提供装置１内のデータベースに登録することができる。   Through the above operation, the image capturing apparatus 2 registers the captured image as a background candidate image in the database in the image providing apparatus 1 in association with the captured information including the position, orientation, orientation, and lens information at the time of capturing. be able to.

〔画像合成動作〕
次に、図１０を参照（構成ついては、適宜図１，図５参照）して、画像撮影装置２による前景画像と背景画像との合成動作について説明する。この動作時には、切替部Ｔ（Ｔ１，Ｔ２）をａ端子側に設定しておく。 (Image composition operation)
Next, with reference to FIG. 10 (refer to FIGS. 1 and 5 as appropriate for the configuration), the composition operation of the foreground image and the background image by the image capturing device 2 will be described. During this operation, the switching unit T (T 1 , T 2 ) is set to the a terminal side.

まず、画像撮影装置２は、シャッタスイッチＳＷを押下されたタイミングで、撮影手段２１によって、被写体を撮影する（ステップＳ２０）。
そして、画像撮影装置２は、前景領域検出手段２２によって、ステップＳ２０で撮影された撮影画像の前景を示すキー信号を生成する（ステップＳ２１）。 First, the image photographing device 2 photographs the subject by the photographing means 21 at the timing when the shutter switch SW is pressed (step S20).
Then, the image capturing device 2 generates a key signal indicating the foreground of the captured image captured in step S20 by the foreground area detection unit 22 (step S21).

また、画像撮影装置２は、ステップＳ２０と同じタイミングで、撮影情報取得手段２０によって、被写体を撮影したときの画像撮影装置２の位置、方位、姿勢およびレンズの状態を示す撮影情報（位置情報、方位情報、姿勢情報、レンズ情報）を取得する（ステップＳ２２）。このステップＳ２２の動作は、図９のステップＳ１１の動作と同じである。   Further, the image capturing apparatus 2 captures image information (position information, position information, position information, position and orientation) of the image capturing apparatus 2 when the subject is captured by the capturing information acquisition unit 20 at the same timing as step S20. (Azimuth information, posture information, lens information) is acquired (step S22). The operation in step S22 is the same as the operation in step S11 in FIG.

そして、画像撮影装置２は、前景背景合成手段２３の前景画像切出手段２３３によって、ステップＳ２１で生成されたキー信号に基づいて、ステップＳ２０で撮影された撮影画像から、前景画像を切り出す（ステップＳ２３）。
また、画像撮影装置２は、前景背景合成手段２３の背景候補画像取得手段２３１によって、ステップＳ２２で取得した撮影情報（位置情報、方位情報、姿勢情報、レンズ情報）に予め定めた許容範囲を設けた情報を検索条件として、画像提供装置１のデータベースから背景候補画像を取得する（ステップＳ２４）。 Then, the image photographing device 2 cuts out the foreground image from the photographed image photographed in step S20 based on the key signal generated in step S21 by the foreground image clipping means 233 of the foreground / background composition means 23 (step S21). S23).
Further, the image capturing apparatus 2 provides a predetermined allowable range for the shooting information (position information, orientation information, posture information, lens information) acquired in step S22 by the background candidate image acquisition unit 231 of the foreground / background composition unit 23. Using the obtained information as a search condition, a background candidate image is acquired from the database of the image providing apparatus 1 (step S24).

そして、画像撮影装置２は、前景背景合成手段２３の背景候補画像選択手段２３２によって、ステップＳ２４で取得した背景候補画像を表示手段２５に複数配置して、撮影者から背景画像の選択を受け付ける（ステップＳ２５）。
そして、画像撮影装置２は、前景背景合成手段２３の合成手段２３４によって、ステップＳ２３で切り出された前景画像をステップＳ２５で選択された背景画像に合成する（ステップＳ２６）。 Then, the image capturing apparatus 2 arranges a plurality of background candidate images acquired in step S24 on the display unit 25 by the background candidate image selecting unit 232 of the foreground / background synthesizing unit 23, and accepts selection of the background image from the photographer ( Step S25).
The image capturing apparatus 2 then combines the foreground image cut out in step S23 with the background image selected in step S25 by the combining unit 234 of the foreground / background combining unit 23 (step S26).

以上の動作によって、画像撮影装置２は、自身の撮影時の位置、方位、姿勢およびレンズ情報に近似して異なる時間に撮影された背景画像に前景画像を合成することができる。
以上、本発明の実施形態に係る画像合成システムＳの構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。 With the above operation, the image capturing apparatus 2 can synthesize the foreground image with the background image captured at different times, approximating the position, orientation, orientation, and lens information at the time of capturing.
The configuration and operation of the image composition system S according to the embodiment of the present invention have been described above, but the present invention is not limited to this embodiment.

（変形例１）
例えば、ここでは、画像撮影装置２を、撮影時の前景画像と、画像提供装置１のデータベースに登録されている背景画像とを合成する機能と、背景画像の候補を画像提供装置１のデータベースに登録する機能とを兼ね備えた装置として構成したが、いずれか一方のみの機能を有する構成としてもよい。
例えば、背景画像を登録する機能が不要であれば、画像撮影装置２は、図５で説明した構成から、画像登録手段２８を省いて構成すればよい。また、画像合成を行う機能が不要であれば、画像撮影装置２は、図５で説明した構成から、前景背景合成手段２３および前景領域検出手段２２を省いて構成すればよい。 (Modification 1)
For example, here, the image capturing apparatus 2 has a function of combining a foreground image at the time of capturing with a background image registered in the database of the image providing apparatus 1, and background image candidates are stored in the database of the image providing apparatus 1. Although it is configured as an apparatus having a function to register, it may be configured to have only one of the functions.
For example, if the function of registering the background image is unnecessary, the image capturing device 2 may be configured by omitting the image registration unit 28 from the configuration described in FIG. If the function for performing image composition is unnecessary, the image capturing apparatus 2 may be configured by omitting the foreground / background composition unit 23 and the foreground area detection unit 22 from the configuration described in FIG.

（変形例２）
また、ここでは、画像提供装置１の画像記憶手段１０に記憶されるデータベースに、背景候補画像を記憶することとしたが、これ以外に、さらに、当該画像を縮小したサムネイル画像を併せて記憶することとしてもよい。
その場合、画像撮影装置２は、背景候補画像取得手段２３１によって、画像提供装置１から候補となる背景候補画像のサムネイル画像を取得する。そして、画像撮影装置２は、背景候補画像選択手段２３２によって、１つの背景候補画像（サムネイル画像）が選択された段階で、背景候補画像取得手段２３１によって、画像提供装置１から背景候補画像の原画像を取得すればよい。これによって、画像提供装置１と画像撮影装置２間の通信量、通信時間を削減することができる。 (Modification 2)
Here, the background candidate image is stored in the database stored in the image storage unit 10 of the image providing apparatus 1, but in addition to this, a thumbnail image obtained by reducing the image is also stored. It is good as well.
In that case, the image capturing apparatus 2 acquires a thumbnail image of a candidate background candidate image from the image providing apparatus 1 by the background candidate image acquisition unit 231. Then, when one background candidate image (thumbnail image) is selected by the background candidate image selection unit 232, the image photographing device 2 uses the background candidate image acquisition unit 231 to generate the original background candidate image from the image providing device 1. What is necessary is just to acquire an image. As a result, the communication amount and communication time between the image providing device 1 and the image capturing device 2 can be reduced.

（変形例３）
また、ここでは、画像撮影装置２の合成手段２３４が、画像提供装置１から取得し、選択した背景候補画像を、そのまま背景画像として前景画像と合成することとしたが、撮影情報に応じて、背景候補画像を変形して合成することとしてもよい。
例えば、図１１（ａ）に示すように、実際の撮影時における画角ＡＧａが、選択した背景候補画像の画角ＡＧｂよりも小さい場合、合成手段２３４は、図１１（ｂ）に示すように、背景候補画像から、画角ＡＧａ分の画像を切り出し、必要に応じて画像変換（拡大）することで、合成用の背景画像とする。 (Modification 3)
In this example, the combining unit 234 of the image capturing apparatus 2 acquires the selected background candidate image from the image providing apparatus 1 and combines the selected background candidate image with the foreground image as it is as a background image. The background candidate image may be transformed and combined.
For example, as shown in FIG. 11 (a), when the angle of view AGa at the time of actual photographing is smaller than the angle of view AGb of the selected background candidate image, the synthesizing unit 234, as shown in FIG. 11 (b). Then, an image for the angle of view AGa is cut out from the background candidate image, and is converted (enlarged) as necessary to obtain a background image for synthesis.

ここで、実際の撮影時における画角が、選択した背景画像の画角よりも大きい場合、撮影者が所望する画像が背景画像に存在しないことがある。そこで、このように、画像の変形を行う場合、背景候補画像取得手段２３１は、実際の撮影時における画角よりも大きい画角の背景候補画像を取得することが好ましい。
なお、画角によって、撮影者が所望する画像を背景画像とすることができない場合、その旨をエラーメッセージとして表示手段２５に表示することとしてもよい。 Here, when the angle of view at the time of actual photographing is larger than the angle of view of the selected background image, the image desired by the photographer may not exist in the background image. Therefore, when the image is deformed as described above, it is preferable that the background candidate image acquisition unit 231 acquires a background candidate image having an angle of view larger than the angle of view at the time of actual photographing.
If the image desired by the photographer cannot be used as a background image depending on the angle of view, a message to that effect may be displayed on the display unit 25 as an error message.

また、例えば、図１２（ａ）に示すように、実際の撮影画像と背景候補画像とで、姿勢情報（ここでは、ロール方向の回転角φ）が異なる場合、合成手段２３４は、図１２（ｂ）に示すように、背景候補画像ＢＧをロール方向の回転角φ分回転させる。そして、合成手段２３４は、図１２（ｃ）に示すように、図１２（ｂ）で回転した画像から、実際の撮影画像の画角分の画像を切り出し、必要に応じて画像変換（拡大）することで、合成用の背景画像とする。   For example, as shown in FIG. 12A, when the posture information (here, the rotation angle φ in the roll direction) differs between the actual captured image and the background candidate image, As shown in b), the background candidate image BG is rotated by the rotation angle φ in the roll direction. Then, as shown in FIG. 12C, the synthesizing unit 234 cuts out an image corresponding to the angle of view of the actual captured image from the image rotated in FIG. 12B, and performs image conversion (enlargement) as necessary. By doing so, a background image for synthesis is obtained.

また、実際の撮影画像と背景候補画像とで位置にずれがある場合、合成手段２３４は、背景候補画像をそのずれ分平行移動させて、合成用の背景画像とすればよい。
また、実際の撮影画像と背景候補画像とで方位にずれがある場合、合成手段２３４は、方位分ずらした背景画像の領域を射影変換して、合成用の背景画像とすればよい。もちろん、位置、方位、姿勢がそれぞれ異なる場合は、それらを組み合わせて変形すればよい。 Further, when there is a difference in position between the actual captured image and the background candidate image, the synthesizing unit 234 may translate the background candidate image by the amount of the deviation to obtain a background image for synthesis.
Further, when there is a deviation in the orientation between the actual captured image and the background candidate image, the composition unit 234 may perform projective transformation on the background image region shifted by the orientation to obtain a background image for composition. Of course, if the position, orientation, and orientation are different, they may be combined and transformed.

なお、このように、位置、方位、姿勢によって、使用する背景画像を部分的に使用する場合、画角の大きさによっては、撮影者が所望する画像が背景画像に存在しないことがある。よって、変形例３では、画像提供装置１のデータベースに、画角を含め数多くの撮影情報の異なる背景候補画像を登録することが望ましい。   As described above, when the background image to be used is partially used depending on the position, orientation, and orientation, the image desired by the photographer may not exist in the background image depending on the size of the angle of view. Therefore, in Modification 3, it is desirable to register a large number of background candidate images with different shooting information including the angle of view in the database of the image providing apparatus 1.

（変形例４）
また、ここでは、画像撮影装置２を、静止画像を撮影する装置としたが、画像撮影装置２を固定して設置すれば、動画像を撮影する装置とすることも可能である。
その場合、前景画像切出手段２３３が、フレーム単位で前景領域を切り出し、合成手段２３４が、フレーム単位で前景画像と背景画像を合成すればよい。なお、背景画像を選択するまでの動作は、静止画像を撮影する場合と同じである。 (Modification 4)
In this example, the image capturing device 2 is a device that captures a still image. However, if the image capturing device 2 is fixedly installed, it may be a device that captures a moving image.
In this case, the foreground image cutout unit 233 cuts out the foreground area in units of frames, and the combining unit 234 may combine the foreground image and the background image in units of frames. The operation until the background image is selected is the same as that when a still image is taken.

Ｓ 画像合成システム
１ 画像提供装置
１０ 画像記憶手段（データベース）
１１ 通信制御手段
１２ 画像登録検索手段
２ 画像撮影装置（画像合成装置、カメラ）
２０ 撮影情報取得手段
２０１ 位置検出手段（検出手段）
２０２ 位置情報取得手段
２０３ 方位検出手段（検出手段）
２０４ 方位情報取得手段
２０５ 姿勢検出手段（検出手段）
２０６ 姿勢情報取得手段
２０７ レンズ情報取得手段
２１ 撮影手段
２２ 前景領域検出手段
２３ 前景背景合成手段
２３１ 背景候補画像取得手段
２３２ 背景候補画像選択手段
２３３ 前景画像切出手段
２３４ 合成手段
２４ 通信制御手段
２５ 表示手段
２６ 記憶手段
２７ 画像書込手段
２８ 画像登録手段 S Image composition system 1 Image providing device 10 Image storage means (database)
DESCRIPTION OF SYMBOLS 11 Communication control means 12 Image registration search means 2 Image imaging device (image composition apparatus, camera)
20 photographing information acquisition means 201 position detection means (detection means)
202 Position information acquisition means 203 Orientation detection means (detection means)
204 Orientation information acquisition means 205 Attitude detection means (detection means)
206 Attitude information acquisition means 207 Lens information acquisition means 21 Imaging means 22 Foreground area detection means 23 Foreground / background composition means 231 Background candidate image acquisition means 232 Background candidate image selection means 233 Foreground image extraction means 234 Composition means 24 Communication control means 25 Display Means 26 Storage means 27 Image writing means 28 Image registration means

Claims (7)

被写体を撮影し、撮影画像の前景に異なる時刻で撮影した画像を背景として合成する画像合成装置であって、
光学系を介して、前記被写体を撮影する撮影手段と、
当該画像合成装置の撮影情報として、前記被写体を撮影したときの位置情報、方位情報および姿勢情報を、検出手段を介して取得するとともに、前記光学系のレンズ情報を取得する撮影情報取得手段と、
前記撮影手段で撮影された撮影画像の画素に前記被写体までの距離を対応付けた奥行き情報により、前記撮影画像内の前景領域を検出する前景領域検出手段と、
前記撮影画像から前記前景領域を切り出して前景画像を生成する前景画像切出手段と、
背景の候補となる背景候補画像を撮影したカメラの位置情報、方位情報、姿勢情報およびレンズ情報を含んだ背景撮影情報と前記背景候補画像とを予め対応付けたデータベースから、通信制御手段を介して、前記撮影情報と前記背景撮影情報とが予め定めた範囲内で近似する検索条件に合致する前記背景候補画像を取得する背景候補画像取得手段と、
この背景候補画像取得手段で取得した背景候補画像を表示手段の画面上に表示し、撮影者からの選択を受け付ける背景候補画像選択手段と、
この背景候補画像選択手段で選択された背景候補画像を背景画像として、前記前景画像と合成する合成手段と、を備え、
前記背景候補画像取得手段は、前記検索条件の近似する範囲に段階的なレベルを設けて前記背景候補画像を取得し、
前記背景候補画像選択手段は、前記レベルと対応付けて背景候補画像を表示手段の画面上に表示することを特徴とする画像合成装置。 An image synthesizing apparatus that shoots a subject and synthesizes an image taken at a different time on the foreground of the taken image as a background,
Photographing means for photographing the subject via an optical system;
Shooting information acquisition means for acquiring position information, azimuth information and posture information when shooting the subject as detection information through the detection means, and acquiring lens information of the optical system, as shooting information of the image composition device;
Foreground area detecting means for detecting a foreground area in the photographed image based on depth information in which a distance to the subject is associated with a pixel of the photographed image photographed by the photographing means;
Foreground image cutting means for cutting out the foreground area from the captured image to generate a foreground image;
From a database in which background photographing information including position information, orientation information, posture information, and lens information of a camera that has photographed a background candidate image serving as a background candidate is associated with the background candidate image in advance via a communication control unit. A background candidate image acquisition means for acquiring the background candidate image that matches a search condition that approximates the shooting information and the background shooting information within a predetermined range;
Background candidate image selection means for displaying the background candidate image acquired by the background candidate image acquisition means on the screen of the display means and receiving selection from the photographer;
A synthesis means for synthesizing the background candidate image selected by the background candidate image selection means as a background image with the foreground image ,
The background candidate image acquisition means acquires the background candidate image by providing a stepped level in a range that approximates the search condition,
The background candidate image selecting means, the image synthesizing apparatus according to claim you to view on the screen of the display unit the background candidate image in association with the level. 被写体を撮影し、撮影画像の前景に異なる時刻で撮影した画像を背景として合成する画像合成装置であって、
光学系を介して、前記被写体を撮影する撮影手段と、
当該画像合成装置の撮影情報として、前記被写体を撮影したときの位置情報、方位情報および姿勢情報を、検出手段を介して取得するとともに、前記光学系のレンズ情報を取得する撮影情報取得手段と、
前記撮影手段で撮影された撮影画像の画素に前記被写体までの距離を対応付けた奥行き情報により、前記撮影画像内の前景領域を検出する前景領域検出手段と、
前記撮影画像から前記前景領域を切り出して前景画像を生成する前景画像切出手段と、
予め複数の地点で撮影され、背景の候補となる背景候補画像を撮影したカメラの位置情報、方位情報、姿勢情報およびレンズ情報を含んだ背景撮影情報と前記背景候補画像とを予め対応付けたデータベースを備えた画像提供装置から、通信制御手段を介して、前記撮影情報と前記背景撮影情報とが予め定めた範囲内で近似する検索条件に合致する前記背景候補画像を取得する背景候補画像取得手段と、
この背景候補画像取得手段で取得した背景候補画像を表示手段の画面上に表示し、撮影者からの選択を受け付ける背景候補画像選択手段と、
この背景候補画像選択手段で選択された背景候補画像を背景画像として、前記前景画像と合成する合成手段と、
を備えることを特徴とする画像合成装置。 An image synthesizing apparatus that shoots a subject and synthesizes an image taken at a different time on the foreground of the taken image as a background,
Photographing means for photographing the subject via an optical system;
Shooting information acquisition means for acquiring position information, azimuth information and posture information when shooting the subject as detection information through the detection means, and acquiring lens information of the optical system, as shooting information of the image composition device;
Foreground area detecting means for detecting a foreground area in the photographed image based on depth information in which a distance to the subject is associated with a pixel of the photographed image photographed by the photographing means;
Foreground image cutting means for cutting out the foreground area from the captured image to generate a foreground image;
A database in which the background candidate image is previously associated with background photographing information including position information, orientation information, posture information, and lens information of a camera that has been photographed in advance at a plurality of points and photographed as a background candidate. A background candidate image obtaining unit that obtains the background candidate image that matches the search condition in which the shooting information and the background shooting information are approximated within a predetermined range from the image providing apparatus including When,
Background candidate image selection means for displaying the background candidate image acquired by the background candidate image acquisition means on the screen of the display means and receiving selection from the photographer;
A combining means for combining the background candidate image selected by the background candidate image selecting means with the foreground image as a background image;
An image composition apparatus comprising: 前記前景領域検出手段は、前記レンズ情報においてフォーカスの合った奥行きに対応する前記撮影画像の領域を、前記前景領域として検出することを特徴とする請求項１または請求項２に記載の画像合成装置。 The foreground region detection means, an image synthesizing apparatus according to region of the captured image corresponding to the depth of in focus in the lens information, to claim 1 or claim 2, wherein the detecting as the foreground region . 前記前景領域検出手段は、前記奥行き情報の最前面から予め定めた範囲の奥行きに対応する前記撮影画像の領域を、前記前景領域として検出することを特徴とする請求項１から請求項３のいずれか一項に記載の画像合成装置。 The foreground area detecting means, a region of the captured image corresponding to the depth of a predetermined range from the most front surface of the depth information, one of claims 1 to 3, characterized in that the detection as the foreground region image synthesizing apparatus according to an item or. 前記合成手段は、選択された前記背景画像のうち、前記撮影情報のレンズ情報で特定される画角に対応する領域を前記前景画像と合成することを特徴とする請求項１から請求項４のいずれか一項に記載の画像合成装置。   5. The composition unit according to claim 1, wherein the composition unit synthesizes an area corresponding to an angle of view specified by lens information of the photographing information in the selected background image with the foreground image. The image composition device according to any one of the above. 前記合成手段は、前記撮影情報と前記背景撮影情報との位置、方位または姿勢のずれに応じて前記背景画像を変形させて前記前景画像と合成することを特徴とする請求項１から請求項５のいずれか一項に記載の画像合成装置。   6. The synthesis apparatus according to claim 1, wherein the synthesizing unit synthesizes the background image by deforming the background image in accordance with a shift in position, orientation, or posture between the shooting information and the background shooting information. The image composition device according to any one of the above. コンピュータを、請求項１から請求項６のいずれか一項に記載の画像合成装置として機能させるための画像合成プログラム。 The computer, image synthesis program for functioning as an image synthesizing device according to any one of claims 1 to 6.
JP2014215841A 2014-10-23 2014-10-23 Image composition apparatus and image composition program Active JP6412400B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014215841A JP6412400B2 (en) 2014-10-23 2014-10-23 Image composition apparatus and image composition program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014215841A JP6412400B2 (en) 2014-10-23 2014-10-23 Image composition apparatus and image composition program

Publications (2)

Publication Number Publication Date
JP2016086200A JP2016086200A (en) 2016-05-19
JP6412400B2 true JP6412400B2 (en) 2018-10-24

Family

ID=55973331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014215841A Active JP6412400B2 (en) 2014-10-23 2014-10-23 Image composition apparatus and image composition program

Country Status (1)

Country Link
JP (1) JP6412400B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101881469B1 (en) * 2016-08-11 2018-07-25 주식회사 매크론 Method and apparatus for extracting object for sticker image
WO2019059114A1 (en) * 2017-09-25 2019-03-28 富士フイルム株式会社 Imaging device, image search method for imaging device, and image search program for imaging device
KR102459717B1 (en) 2018-03-29 2022-10-27 삼성전자 주식회사 method for synthesizing image synthesis with another image based on a properties of a reflective objects included in the image and electronic device
CN110933300B (en) * 2019-11-18 2021-06-22 深圳传音控股股份有限公司 Image processing method and electronic terminal equipment

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350086A (en) * 1999-06-03 2000-12-15 Fuji Photo Film Co Ltd Image processor, image output device and camera
JP2003143477A (en) * 2001-10-31 2003-05-16 Canon Inc Image compositing device and method
JP4046973B2 (en) * 2001-10-31 2008-02-13 キヤノン株式会社 Information processing method and image mixing apparatus
JP2005210412A (en) * 2004-01-22 2005-08-04 Fuji Photo Film Co Ltd Commemorative picture preparing system
JP4293157B2 (en) * 2005-03-23 2009-07-08 日本ビクター株式会社 Image processing device
JP4775205B2 (en) * 2006-09-20 2011-09-21 カシオ計算機株式会社 Imaging apparatus, imaging method, and program
JP2008301230A (en) * 2007-05-31 2008-12-11 Olympus Imaging Corp Imaging system and imaging apparatus
JP2009272931A (en) * 2008-05-08 2009-11-19 Olympus Corp Imaging apparatus, and data providing system
JP5366676B2 (en) * 2009-06-22 2013-12-11 キヤノン株式会社 IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP5680358B2 (en) * 2010-09-21 2015-03-04 オリンパスイメージング株式会社 Imaging apparatus and imaging method
JP2014175703A (en) * 2013-03-06 2014-09-22 Canon Inc Imaging apparatus, control method for the same, and program

Also Published As

Publication number Publication date
JP2016086200A (en) 2016-05-19

Similar Documents

Publication Publication Date Title
JP4560128B1 (en) Map image integrated database generation system and map image integrated database generation program
TW201110056A (en) Electronic apparatus, display controlling method and program
JP5738657B2 (en) Imaging device
JP6412400B2 (en) Image composition apparatus and image composition program
KR20100085110A (en) Map display device, map display method, and imaging device
JP6305579B1 (en) Imaging information generation apparatus, imaging information generation method, imaging apparatus, frame data search apparatus, and automatic tracking imaging system
KR101574636B1 (en) Change region detecting system using time-series aerial photograph captured by frame type digital aerial camera and stereoscopic vision modeling the aerial photograph with coordinate linkage
TW200806027A (en) Imaging/reproducing device
US20120026324A1 (en) Image capturing terminal, data processing terminal, image capturing method, and data processing method
JP4536524B2 (en) Mosaic image composition device, mosaic image composition method, and mosaic image composition program
JP6056664B2 (en) Image processing apparatus and imaging system
JP5634786B2 (en) Digital camera
JP4468794B2 (en) Display control apparatus, camera, and display control method
JP6304300B2 (en) Transmitting apparatus, communication method, program, and receiving apparatus
JP2005038021A (en) Image processing apparatus, image input device, image processing method and program for executing the method by computer
JP2004260591A (en) Stereoscopic image display device
JP6508288B2 (en) SYSTEM, IMAGE SHARING SYSTEM, COMMUNICATION METHOD, AND PROGRAM
JP2014120815A (en) Information processing apparatus, imaging device, information processing method, program, and storage medium
JP2008152374A (en) Image system, photographing direction specifying device, photographing direction specifying method and program
JP2012169714A (en) Imaging apparatus and imaging method
JP5942637B2 (en) Additional information management system, image sharing system, additional information management method, and program
CN114586335A (en) Image processing apparatus, image processing method, program, and recording medium
JP5969062B2 (en) Image processing apparatus and image processing method
JP2021100188A (en) Video processing apparatus and video processing method
JP4293157B2 (en) Image processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180928

R150 Certificate of patent or registration of utility model

Ref document number: 6412400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250