JP2004297143A

JP2004297143A - Photographing system

Info

Publication number: JP2004297143A
Application number: JP2003083003A
Authority: JP
Inventors: Hiroshi Yamaguchi; 博司山口; Atsushi Enomoto; 淳榎本; Mamoru Shinohara; 衛篠原; Yoichi Nakamura; 洋一中村
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-03-25
Filing date: 2003-03-25
Publication date: 2004-10-21

Abstract

<P>PROBLEM TO BE SOLVED: To provide a photographing system for photographing an object and a background that attains a preferable finish of both the background and the object. <P>SOLUTION: The system photographs the object and the background within a prescribed time, creates an extract image F resulting from extracting the object from an object image obtained by photographing the object and composes the extracted image F with a background image D obtained by photographing the background. In this case, the system corrects at least either of the images and composes the corrected image with the other image so that the object and the background can be composed with a preferable characteristic. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影して得た背景の画像と被写体の画像とを合成する撮影システムに関するものである。
【０００２】
【従来の技術】
近年、テーマパーク等にあるアトラクションの要所に自動撮影装置が設置され、乗り物が通過するときや人がいるのを検知して撮影を行うシステムが知られている。この種の自動撮影装置としては、撮影に好適な場所に設置され、利用者がアトラクションの出口で撮影内容をモニタ等で確認し、気に入った場合にプリント注文して購入するというものがある（例えば、特許文献１参照）。
【０００３】
一方、観光地において山等の遠景を背景に自動撮影するものがあるが、山等の遠景を背景にする場合には、撮影するときのタイミングによって霧や雲にさえぎられて好ましい状態の背景が得られない場合がある。そのため、好ましい状態の背景が得られるように、予め撮影された背景画像に人物像を合成して合成画像を作成することが提案されている（例えば、特許文献２参照）。
【０００４】
【特許文献１】
特開２００１−１７５５５０号公報
【０００５】
【特許文献２】
特開平１１−２２３８８６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記のようなアトラクションの要所におかれる自動撮影装置では、写したい人物の位置やその人物の大きさとの関係で、背景と人物が１つの画像にうまく入らない場合がある。例えば、ディズニーランドのシンデレラ城の前で小さい子供を撮影すると、シンデレラ城の上部が写らなかったり、背景のシンデレラ城に焦点が合って人物がぼやけて撮影されたり、人物はきれいに写っていても背景のシンデレラ城がぼやけて写ってしまうというような場合がある。
【０００７】
また、予め撮影した背景画像と人物像とを合成すれば、背景も人物も鮮明な画像を得ることが可能であるが、撮影時の雰囲気や天候による明るさ等が背景と人物とで異なり、一緒に写したものと違って不自然な写真となる。
【０００８】
そこで本発明は、この課題に鑑みて、人物像等の被写体と背景が、ともに好ましい仕上がりとなるように撮影する撮影システムを提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明の撮影システムは、同一の撮影場所で被写体を撮影して得た被写体画像と背景を撮影して得た背景画像とを所定の時間以内に撮影して得る撮影手段と、
前記被写体画像から被写体を抽出した抽出画像を作成する画像抽出手段と、
該画像抽出手段で抽出した前記抽出画像と前記背景画像とを合成する合成手段とを備えたことを特徴とするものである。
【００１０】
ここで、「撮影手段」とは、被写体や背景を撮影して、被写体画像や背景画像を得るカメラ等の撮影装置を備えたもので、例えば、カメラの撮影タイミングや撮影装置の位置や方向等を制御する制御装置や、複数のカメラを備えた装置の場合には、複数のカメラの撮影タイミングを制御するための制御装置を含むものである。
【００１１】
また、「被写体画像」は、撮影装置で背景とともに被写体を撮影したものであり、「抽出画像」は、被写体画像に写っている背景画像を取り除いて被写体の部分のみを抽出した画像である。また、「背景画像」は、被写体の背景となる画像を撮影したもので、背景と一緒に被写体を撮影したものも含む。
【００１２】
さらに、被写体画像と背景画像とは同じ画像であってもよく、その場合は、その画像から抽出した被写体を拡大してその画像の上に合成することも可能である。
【００１３】
ここで、画像とは、デジタルカメラ等で撮影したデジタル画像や、写真フィルム（銀塩フィルム）に撮影したものをスキャナー等で読み取ってデジタル画像に変換したものを含むものである。
【００１４】
「被写体画像と背景画像とを所定の時間以内に撮影する」とは、被写体画像を撮影した時間と背景画像を撮影した時間での周囲の状況が大きく変わらないと思われる時間内に撮影することであり、例えば、背景画像を周期的に撮影しておき、「合成手段」が、被写体画像と被写体を撮影した時間と近い時間に撮影した背景画像とを合成するようにしてもよい。これにより、合成した画像に不自然さがないように合成することが可能となる。
【００１５】
また、ＡＥ（ＡｕｔｏＥｘｐｏｓｕｒｅ）値は、被写体や背景の明るさを表すＥＶ値に対応する値で、被写体や背景までの距離、明るさ、フラッシュの有無等の撮影条件によって異なる。このため被写体画像と背景画像のＡＥ値が一致しない場合が発生する。そこで、前記画像合成手段は、前記抽出画像から求めた第１のＡＥ値と前記背景画像から求めた第２のＡＥ値とに基づいて、前記抽出画像と前記背景画像の明るさが略一致するように、少なくとも一方の画像の明るさや色調等を補正して合成するものであるのが望ましい。
【００１６】
これにより、合成したときに抽出画像と背景画像の明るさを略一致させて自然な合成画像にすることが可能となる。
【００１７】
また、被写体画像を撮影する撮影装置と背景画像を撮影する撮影装置とは別に設けるようにしてもよい。このときは、前記画像合成手段は、被写体を撮影する撮影装置の特性と背景を撮影する撮影装置の特性との違いにより発生する前記抽出画像と前記背景画像との違いを補正して合成するものであることが望ましい。
【００１８】
「撮影部の特性」にはカメラ等のレンズの特性等があり、この特性に依存して、撮影された画像に鮮鋭度等の違いが発生する。したがって、合成したときに撮影装置の違いによって発生した鮮鋭度等の違いを補正して一致させてから合成することにより、自然な合成画像にすることが可能となる。
【００１９】
また、背景画像に背景とともに被写体が撮影されている場合には、これを被写体画像と合成するときに背景画像に写っている被写体が見えないようにすることが望まれるので、前記画像合成手段は、背景画像に撮影されている被写体の領域を覆う位置に被写体の抽出画像を重ね合わせて合成するものとすることが望ましい。
【００２０】
【発明の効果】
本願発明の撮影システムは、同一の場所で被写体を撮影した被写体画像と背景を撮影した背景画像とを所定の時間以内に撮影し、被写体画像から抽出した被写体と背景画像とを合成するものであるから、同じ場所で撮影した被写体と背景とを所望の構図となるようにし、さらに、被写体と背景とがともに好ましい仕上がりになるような合成画像を得ることが可能となる。
【００２１】
また、被写体のＡＥ値と背景画像のＡＥ値とが略一致するように補正して合成した場合には、不自然さがないように被写体と背景を合成することが可能となる。
【００２２】
また、被写体画像を得るための被写体の撮影装置と背景画像を得るための背景の撮影装置とを別に設け、両撮影装置の特性の違いにより発生する画像の違いを補正して合成するようにしたときには、不自然さがないように被写体と背景を合成することが可能となる。
【００２３】
さらに、背景画像に被写体が撮影されているときには、背景画像に撮影されている被写体の領域を覆う位置に、被写体画像から抽出した被写体を重ね合わせて合成すれば、不自然さがないように被写体と背景を合成することが可能となる。
【００２４】
【発明の実施の形態】
以下、本発明の撮影システムの第１の実施の形態について、図面を参照して詳細に説明する。図１は、本発明の撮影システムの構成を表すブロック図である。
【００２５】
撮影システム１は、被写体を撮影して得た被写体画像Ｅと背景を撮影して得た背景画像Ｄとを所定の時間以内に撮影する撮影手段２と、被写体画像Ｅから被写体を抽出した抽出画像Ｆを作成する画像抽出手段３と、画像抽出手段で抽出した抽出画像Ｆと背景画像Ｄとを合成する合成手段４から概略構成される。
【００２６】
撮影手段２は、被写体画像Ｅや背景画像Ｄを撮影するためのカメラ等の撮影装置を備えている。被写体画像Ｅを撮影する撮影装置と、背景画像Ｄを撮影する撮影装置とは別の撮影装置を設けるようにしてもよいが、同じ撮影装置を用いるようにしてもよい。また、撮影手段２には、撮影する対象に応じて各撮影装置の位置や方向、撮影するタイミング等を制御する制御装置を備えるよう構成する（不図示）。
【００２７】
本実施の形態では、被写体画像Ｅを撮影する撮影装置と背景画像Ｄを撮影する撮影装置とは別の撮影装置が設けられる場合について以下説明する。また、撮影装置はカメラとして以下説明する。
【００２８】
図２に示すように、背景画像Ｄを撮影するカメラ２２（以下、背景用カメラという）は、例えば、広角撮影が可能なカメラ等で撮影スポットの周辺を広く撮影するように設置し、被写体画像Ｅを撮影するカメラ２１（以下、被写体用カメラという）には、例えば、人物等の撮影に向いたカメラを、制御装置で被写体の位置に応じて高さや方向が変えられるように設置する（図２（ａ）参照）。また、背景用カメラ２２では、被写体カメラ２１の高さや方向を変えて撮影可能な範囲全体を撮影する方が好ましい。
【００２９】
被写体用カメラ２１は、撮影した被写体画像Ｅが背景画像Ｄ上のどこの領域であるかがわかるように、被写体用カメラの高さや向き（パン（左右の回転）・チルト（上下の回転）等を含む）の情報が得られるように構成し、例えば、図２に示すように、被写体用カメラの高さＨと回転（ここでは、左右とする）させた方向θを取得して、被写体画像Ｅの中心Ｃが背景画像Ｄ上のどの位置にあるかの検出ができるように構成する（図２（ｂ）参照）。また、ズームの情報から背景画像Ｄ上で占める領域の大きさを得ることも可能である。
【００３０】
被写体用カメラ２１では、例えば、被写体がカメラの前にいることを感知して被写体用カメラが被写体の方向に向くように制御装置で制御して撮影する。具体的には、被写体を感知する感知部２１１を設け、感知部２１１では被写体が所持しているＩＣタグ等を感知し、その方向に被写体用カメラを向けるようにする。ＩＣタグに限らず、携帯電話、ＧＰＳ、赤外線センサー等を利用して感知することも可能である。
【００３１】
一方、背景用カメラ２２では、なるべく短い時間間隔で背景画像Ｄを撮影するが、図３に示すように、カメラ２の設置位置から所定の範囲の撮影領域Ｒ内に人物等がいるか否かを検出して被写体のいない時に撮影する方が好ましい。
【００３２】
画像抽出手段３では、被写体画像Ｅから被写体を抽出した抽出画像Ｆを作成する。具体的には、例えば、図４に示すように、背景画像Ｄから被写体画像Ｅが撮影されている領域Ｄ１を取り出し、被写体画像Ｅと取り出した領域Ｄ１の画像の差分を求めるようにすれば、被写体が映っていない部分ｄ（斜線部）の画像は略消えた状態（画素の情報が略０になった状態）になり、画像が残る部分を被写体の部分として抽出して抽出画像Ｆを作成することができる。
【００３３】
また、背景画像Ｄはなるべく短時間で更新され、被写体を撮影した時間になるべく近い状態で撮影したものが好ましいが、時間がある程度経過している場合には背景画像Ｄを取り除くことができない場合もある。そこで、背景が変化した状態を被写体画像Ｅの背景（被写体が入っていない部分）から求めて（例えば、写体画像Ｅの背景の画素の平均値から求める）、背景画像Ｄを撮影時点に近い状態に加工し、加工した背景画像Ｄと被写体画像Ｅとの差分から抽出画像Ｆを作成する。
【００３４】
合成手段４では、背景画像Ｄと抽出画像Ｆとが好ましい構図となるように、抽出画像Ｆの位置や大きさを調整して合成する。例えば、図５に示すように、背景画像Ｄの領域Ｄ２を切り出し、高さＨ１・回転方向θ１の位置に、抽出画像Ｆを拡大して合成する。また、撮影した時の状況によって合成する背景画像Ｄと抽出画像ＦのＡＥ値が違ってくる場合がある（例えば、被写体を撮影するときにフラッシュをたいて撮影すると、被写体画像と背景画像との露出が違ってくる。）。
【００３５】
そこで、合成したときに背景と被写体との間にＡＥ値の差に基づく違いが生じないように背景画像Ｄと抽出画像Ｆの濃度（明るさ）を調節して合成する方が望ましい。具体的には、ＡＥ値は画像の平均の明るさが所定の露出度になるものとみなして、背景画像Ｄと抽出画像ＦのＡＥ値を求め、ＡＥ値による違いを調整するために、求めたＡＥ値に基づいて背景画像Ｄと抽出画像Ｆの明るさを算出し、このＬＡＴＤ値が略一致するように調節する。
【００３６】
あるいは、背景用カメラ２２と被写体用カメラ２１に用いられるレンズ等の特性によって、被写体画像Ｅと背景画像Ｄの鮮鋭度に違いが現れる場合がある。そこで、使用されているレンズ等の各カメラの特性に関する特性情報を予め記憶し、記憶している特性情報に基づいて鮮鋭度を調整するようにしてもよい。その他、カメラの特性による色バランス調整，コントラスト補正（階調処理）、明るさ補正、彩度補正等の画像処理をカメラに応じて施すようにしてもよい。具体的には、これらの処理は、演算式による演算処理、ＬＵＴ（ルックアップテーブル）による演算処理、マトリクス（ＭＴＸ）演算、フィルタによる処理などを適宜組み合わせて行うようことが可能である。
【００３７】
また、合成する背景画像Ｄの領域と抽出画像Ｆを合成する位置は、被写体の位置や抽出した被写体の大きさとによって合成する位置を決めておくようにしてもよいし、被写体を撮影した位置や被写体の大きさとから合成する位置を適宜算出するようにしてもよい。
【００３８】
また、合成する背景画像は、被写体を撮影する前のものに限らず、被写体を撮影した後のものでもよく、被写体を撮影した時間に近いものであればよい。
【００３９】
次に、撮影システム１の動作について、図６のフローチャートを用いて説明する。
【００４０】
背景用カメラ２２では、背景画像Ｄを所定の周期で繰り返し（Ｓ１０１）、撮影して背景画像Ｄを更新する（Ｓ１００）。このとき、撮影領域Ｒ内に人物等の被写体がいない間に撮影する方がよい。
【００４１】
一方、被写体用カメラ２１では、撮影領域Ｒ内に被写体が入ってきたことを感知部２１１で感知し（Ｓ２００）、最も好適な状態で被写体を撮影するように高さＨや方向θ等を調節し（Ｓ２０１）、被写体が所定位置に所定時間以上停止したことや、被写体の顔が所定の方向に向いていることを検出して自動的に撮影して被写体画像Ｅを得る（Ｓ２０２）。あるいは、アトラクション等の場合には、乗り物が所定の領域を通過すると撮影するようにしてもよい。
【００４２】
そこで、抽出手段３で、図４に示すように被写体画像Ｅと背景画像Ｄから被写体のみを抽出した抽出画像Ｆを作成する（Ｓ２０３）。次に合成手段４で、図５に示すように、被写体を撮影した位置から、背景に最も好適な領域Ｄ２を背景画像Ｄから取り出す。例えば、シンデレラ城の上部や全体の形がよく分かるところで、被写体を合成したときに不自然にならないところを抽出する。また、背景画像Ｄと抽出画像ＦのＡＥ値や、背景用カメラと被写体用カメラの特性による画像の違いを調整して、背景画像の領域Ｄ２に抽出画像Ｆを合成する位置と抽出画像Ｆの大きさ等を調節して合成する（Ｓ２０４）。
【００４３】
以上詳細に説明したように、被写体と背景画像の両方を好適な撮影条件で撮影したものを好適な構図で合成することが可能である。また、被写体の撮影時間と背景の撮影時間とが近いものを合成するので、撮影時の雰囲気が感じられる状態で合成することができる。
【００４４】
次に、撮影システムの第２の実施の形態として、背景画像に被写体が撮影されている場合の合成する場合について説明する。
【００４５】
本実施の形態の構成は、前述の実施の形態と略同じであるので詳細な説明は省略し、相違する点についてのみ説明する。
【００４６】
撮影手段２の背景用カメラ２２で、前述の実施の形態と同様に撮影領域Ｒに被写体がいないときに背景画像Ｄを撮影して随時更新するが、本実施の形態では、被写体と合成する背景用画像は被写体用カメラ２１で被写体を撮影したときと略同時に背景用カメラで撮影した背景画像Ｄ３を用いて合成する。
【００４７】
画像抽出手段３では、前述の実施形態と同様に、被写体の入っていない背景画像Ｄを用いて被写体画像Ｅから被写体を抽出した抽出画像Ｆを作成する。
【００４８】
そこで、合成手段４で合成する際に、図７に示すように、背景画像Ｄ３から背景画像を切り出した領域Ｄ４上の被写体の領域ｆ１（例えば、背景画像Ｄ３と背景画像Ｄとから被写体の領域ｆ１を抽出する。）を、抽出画像Ｆの被写体の領域ｆ２で覆い隠すように合成する。
【００４９】
また、本実施の形態では、背景に被写体が写っている場合にも合成することができる。これによって、被写体と背景とを同時に撮影したものを合成することもできるので、合成した画像が自然な仕上がりとなる。
【図面の簡単な説明】
【図１】撮影システムの構成を表すブロック図
【図２】背景用カメラが撮影した背景画像と被写体用カメラが撮影した被写体画像の関係を説明するための図
【図３】被写体用カメラの撮影領域を説明するための図
【図４】被写体画像から被写体の抽出する方法を説明するための図
【図５】背景画像と被写体画像の合成を説明するための図（その１）
【図６】背景画像と被写体画像の合成を説明するためフローチャート
【図７】背景画像と被写体画像の合成を説明するための図（その２）
【符号の説明】
１撮影システム
２撮影手段
３画像抽出手段
４合成手段
２１被写体用カメラ
２２背景用カメラ
２１１感知部
Ｄ背景画像
Ｅ被写体画像
Ｆ抽出画像[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a photographing system that combines a background image obtained by photographing and a subject image.
[0002]
[Prior art]
2. Description of the Related Art In recent years, automatic photographing apparatuses are installed at key points of attractions such as theme parks, and a system for photographing when a vehicle passes or when a person is present is known. As this type of automatic photographing device, there is a device that is installed in a place suitable for photographing, and a user checks the photographing contents at the exit of the attraction on a monitor or the like, and orders and purchases a print if he / she likes (for example, , See Patent Document 1).
[0003]
On the other hand, some sightseeing spots automatically take pictures of mountains and other backgrounds, but when using mountains and other backgrounds as a background, the background of a favorable state is blocked by fog or clouds depending on the timing of shooting. It may not be obtained. For this reason, it has been proposed to create a composite image by synthesizing a human image with a background image captured in advance so that a preferable background can be obtained (see, for example, Patent Document 2).
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-175550
[Patent Document 2]
JP-A-11-223886 [0006]
[Problems to be solved by the invention]
However, in an automatic photographing apparatus placed at a key point of attraction as described above, the background and the person may not fit into one image because of the position of the person to be photographed and the size of the person. For example, if you take a picture of a small child in front of Cinderella Castle in Disneyland, the upper part of Cinderella Castle will not be shown, or the background will be focused on the Cinderella Castle. May appear blurred.
[0007]
In addition, if the background image and the person image taken in advance are combined, it is possible to obtain a clear image of both the background and the person, but the brightness at the time of shooting and the weather are different between the background and the person, Unlike photos taken together, the photos become unnatural.
[0008]
In view of this problem, an object of the present invention is to provide a photographing system for photographing a subject such as a human image and a background so as to have a preferable finish.
[0009]
[Means for Solving the Problems]
The photographing system of the present invention is a photographing means for photographing a subject image obtained by photographing a subject at the same photographing location and a background image obtained by photographing a background within a predetermined time;
Image extracting means for creating an extracted image obtained by extracting a subject from the subject image;
The image processing apparatus includes a combining unit that combines the extracted image extracted by the image extracting unit and the background image.
[0010]
Here, the “photographing means” includes a photographing device such as a camera that captures a subject or background and obtains a subject image or background image. For example, the photographing timing of the camera, the position and direction of the photographing device, etc. In the case of a control device for controlling the camera or a device including a plurality of cameras, a control device for controlling the shooting timing of the plurality of cameras is included.
[0011]
The “subject image” is an image of the subject taken together with the background by the photographing apparatus, and the “extracted image” is an image obtained by removing only the subject portion by removing the background image shown in the subject image. The “background image” is a photograph of an image that is the background of the subject, and includes a photograph of the subject together with the background.
[0012]
Furthermore, the subject image and the background image may be the same image. In this case, the subject extracted from the image can be enlarged and combined on the image.
[0013]
Here, the image includes a digital image taken with a digital camera or the like, or an image taken on a photographic film (silver film) and read into a digital image by a scanner or the like.
[0014]
“Capture the subject image and the background image within a predetermined time” means to capture the subject image and the background image at the time when the background image is not expected to change significantly. For example, the background image may be taken periodically, and the “synthesizing unit” may synthesize the subject image and the background image taken at a time close to the time when the subject was taken. As a result, it is possible to combine the combined images so that there is no unnaturalness.
[0015]
The AE (Auto Exposure) value is a value corresponding to the EV value representing the brightness of the subject or the background, and varies depending on the shooting conditions such as the distance to the subject or the background, the brightness, and the presence or absence of a flash. For this reason, a case where the AE values of the subject image and the background image do not coincide with each other occurs. Therefore, the brightness of the extracted image and the background image substantially match based on the first AE value obtained from the extracted image and the second AE value obtained from the background image. As described above, it is desirable that the brightness and color tone of at least one of the images be corrected and synthesized.
[0016]
As a result, it becomes possible to make the extracted image and the background image substantially coincide with each other when they are combined to form a natural combined image.
[0017]
In addition, a photographing device for photographing a subject image and a photographing device for photographing a background image may be provided separately. In this case, the image synthesizing unit corrects and synthesizes the difference between the extracted image and the background image generated due to the difference between the characteristics of the imaging device that captures the subject and the characteristics of the imaging device that captures the background. It is desirable that
[0018]
“Characteristics of the photographing unit” includes characteristics of a lens such as a camera, and depending on this characteristic, a difference in sharpness or the like occurs in a photographed image. Therefore, it is possible to obtain a natural composite image by correcting and matching the differences in sharpness and the like generated by the difference in the photographing apparatus when the images are combined.
[0019]
Further, when the subject is photographed together with the background in the background image, it is desirable to prevent the subject in the background image from being seen when this is combined with the subject image. It is desirable that the extracted image of the subject is superimposed and synthesized at a position that covers the region of the subject that is captured in the background image.
[0020]
【The invention's effect】
The photographing system of the present invention is to photograph a subject image obtained by photographing a subject at the same place and a background image obtained by photographing a background within a predetermined time, and synthesize the subject extracted from the subject image and the background image. Therefore, it is possible to obtain a composite image in which the subject and the background photographed at the same place have a desired composition, and the subject and the background both have a desirable finish.
[0021]
In addition, when the AE value of the subject and the AE value of the background image are corrected and combined so as to be approximately the same, the subject and the background can be combined so that there is no unnaturalness.
[0022]
In addition, a subject photographing device for obtaining a subject image and a background photographing device for obtaining a background image are provided separately, and a difference in images caused by a difference in characteristics between the two photographing devices is corrected and combined. Sometimes it is possible to combine the subject and the background so that there is no unnaturalness.
[0023]
Furthermore, when the subject is photographed in the background image, if the subject extracted from the subject image is superimposed on the position that covers the area of the subject photographed in the background image, the subject is not unnatural. And the background can be combined.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a first embodiment of an imaging system of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the photographing system of the present invention.
[0025]
The photographing system 1 includes a photographing unit 2 that photographs a subject image E obtained by photographing a subject and a background image D obtained by photographing a background within a predetermined time, and an extracted image obtained by extracting the subject from the subject image E. The image extracting means 3 for creating F and the synthesizing means 4 for synthesizing the extracted image F extracted by the image extracting means and the background image D are roughly configured.
[0026]
The photographing means 2 includes a photographing device such as a camera for photographing the subject image E and the background image D. A photographing device for photographing the subject image E and a photographing device for photographing the background image D may be provided, or the same photographing device may be used. Further, the photographing means 2 is configured to include a control device that controls the position and direction of each photographing device, the photographing timing, and the like according to the subject to be photographed (not shown).
[0027]
In the present embodiment, a case will be described below in which a photographing device for photographing the subject image E and a photographing device different from the photographing device for photographing the background image D are provided. The photographing apparatus will be described below as a camera.
[0028]
As shown in FIG. 2, a camera 22 that captures a background image D (hereinafter referred to as a background camera) is installed so as to capture a wide area around a shooting spot, for example, with a camera that can perform wide-angle shooting. For example, a camera suitable for photographing a person or the like is installed in the camera 21 for photographing E (hereinafter referred to as a subject camera) such that the height and direction of the camera can be changed according to the position of the subject by the control device (see FIG. 2 (a)). In the background camera 22, it is preferable to change the height and direction of the subject camera 21 and shoot the entire shootable range.
[0029]
The subject camera 21 has a height, orientation (pan (left and right rotation), tilt (up and down rotation), etc.) of the subject camera so that the region on the background image D can be seen where the photographed subject image E is. For example, as shown in FIG. 2, the height H of the subject camera and the rotated direction θ (here, left and right) are obtained, and the subject image is obtained. It is configured so that the position on the background image D where the center C of E is can be detected (see FIG. 2B). It is also possible to obtain the size of the area occupied on the background image D from the zoom information.
[0030]
In the subject camera 21, for example, it is sensed that the subject is in front of the camera, and the control is performed by the control device so that the subject camera faces the direction of the subject. Specifically, a sensing unit 211 that senses a subject is provided, and the sensing unit 211 senses an IC tag or the like possessed by the subject and directs the subject camera in that direction. Not only the IC tag but also a cellular phone, GPS, an infrared sensor, etc. can be used for sensing.
[0031]
On the other hand, the background camera 22 captures the background image D at as short a time interval as possible, but as shown in FIG. 3, it is determined whether or not there is a person or the like in the imaging region R within a predetermined range from the installation position of the camera 2. It is preferable to take a picture when there is no subject detected.
[0032]
The image extraction means 3 creates an extracted image F obtained by extracting a subject from the subject image E. Specifically, for example, as shown in FIG. 4, if a region D1 where the subject image E is captured is extracted from the background image D, and the difference between the subject image E and the extracted region D1 is obtained, The image of the portion d (shaded portion) where the subject is not shown is substantially disappeared (the pixel information is substantially zero), and the portion where the image remains is extracted as the subject portion to create the extracted image F can do.
[0033]
The background image D is preferably updated in the shortest possible time and photographed in a state as close as possible to the time when the subject was photographed. However, the background image D may not be removed when a certain amount of time has passed. is there. Therefore, the background change state is obtained from the background of the subject image E (the portion where the subject is not contained) (for example, obtained from the average value of the background pixels of the body image E), and the background image D is close to the photographing time. The extracted image F is created from the difference between the processed background image D and the subject image E.
[0034]
The synthesizing unit 4 synthesizes the extracted image F by adjusting the position and size so that the background image D and the extracted image F have a preferable composition. For example, as shown in FIG. 5, the region D2 of the background image D is cut out, and the extracted image F is enlarged and synthesized at the position of the height H1 and the rotation direction θ1. In addition, the AE value of the background image D to be combined and the extracted image F may differ depending on the situation at the time of shooting (for example, when shooting with a flash when shooting a subject, the subject image and the background image The exposure will be different.)
[0035]
Therefore, it is desirable to adjust the density (brightness) of the background image D and the extracted image F so as not to cause a difference based on the difference in the AE value between the background and the subject when they are combined. Specifically, the AE value is obtained in order to obtain the AE value of the background image D and the extracted image F, assuming that the average brightness of the image has a predetermined exposure level, and to adjust the difference due to the AE value. The brightness of the background image D and the extracted image F is calculated based on the AE value, and the LATD value is adjusted so as to substantially match.
[0036]
Alternatively, there may be a difference in sharpness between the subject image E and the background image D depending on the characteristics of the lens used for the background camera 22 and the subject camera 21. Therefore, characteristic information regarding the characteristics of each camera such as a lens being used may be stored in advance, and the sharpness may be adjusted based on the stored characteristic information. In addition, image processing such as color balance adjustment, contrast correction (gradation processing), brightness correction, and saturation correction according to the characteristics of the camera may be performed according to the camera. Specifically, these processes can be performed by appropriately combining arithmetic processing using an arithmetic expression, arithmetic processing using an LUT (lookup table), matrix (MTX) arithmetic, processing using a filter, and the like.
[0037]
The position where the background image D to be combined and the extracted image F are combined may be determined in accordance with the position of the subject and the size of the extracted subject, You may make it calculate the position to synthesize | combine suitably from the magnitude | size of a to-be-photographed object.
[0038]
Further, the background image to be combined is not limited to the one before photographing the subject, but may be one after photographing the subject, as long as it is close to the time when the subject is photographed.
[0039]
Next, the operation of the photographing system 1 will be described using the flowchart of FIG.
[0040]
The background camera 22 repeats the background image D at a predetermined cycle (S101), and shoots to update the background image D (S100). At this time, it is better to shoot while there is no subject such as a person in the shooting region R.
[0041]
On the other hand, in the subject camera 21, the sensing unit 211 senses that the subject has entered the photographing region R (S200), and adjusts the height H, direction θ, etc. so as to photograph the subject in the most suitable state. Then, it detects that the subject has stopped at a predetermined position for a predetermined time or more and that the subject's face is facing a predetermined direction, and automatically shoots to obtain a subject image E (S202). Or in the case of an attraction etc., you may make it image | photograph, if a vehicle passes a predetermined area | region.
[0042]
Therefore, the extraction unit 3 creates an extracted image F in which only the subject is extracted from the subject image E and the background image D as shown in FIG. 4 (S203). Next, as shown in FIG. 5, the synthesizing unit 4 extracts a region D2 most suitable for the background from the background image D from the position where the subject is photographed. For example, where the upper part of the Cinderella Castle and the overall shape are well understood, a place that does not become unnatural when the subject is synthesized is extracted. Further, by adjusting the AE value of the background image D and the extracted image F and the difference between the images depending on the characteristics of the background camera and the subject camera, the position of the extracted image F and the position of the extracted image F in the background image region D2 are adjusted. The size and the like are adjusted and synthesized (S204).
[0043]
As described above in detail, it is possible to compose a photograph of both a subject and a background image under suitable photographing conditions with a suitable composition. In addition, since a subject whose photographing time is close to that of the background is synthesized, it can be synthesized in a state where the atmosphere at the time of photographing can be felt.
[0044]
Next, as a second embodiment of the photographing system, a case where a background image is combined and a subject is photographed will be described.
[0045]
Since the configuration of the present embodiment is substantially the same as that of the above-described embodiment, detailed description thereof will be omitted, and only differences will be described.
[0046]
The background camera 22 of the photographing unit 2 captures the background image D and updates it as needed when there is no subject in the photographing region R as in the above-described embodiment, but in this embodiment, the background to be combined with the subject. The image for use is synthesized using the background image D3 photographed by the background camera substantially simultaneously with the photographing of the subject by the subject camera 21.
[0047]
The image extraction means 3 creates an extracted image F obtained by extracting the subject from the subject image E using the background image D that does not contain the subject, as in the above-described embodiment.
[0048]
Therefore, when combining by the combining means 4, as shown in FIG. 7, the area f1 of the subject on the area D4 obtained by cutting out the background image from the background image D3 (for example, the area of the subject from the background image D3 and the background image D). f1 is extracted) so as to be covered with the subject area f2 of the extracted image F.
[0049]
Further, in the present embodiment, it is possible to combine even when a subject is reflected in the background. As a result, it is possible to synthesize the subject and the background taken simultaneously, so that the synthesized image has a natural finish.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the configuration of a photographing system. FIG. 2 is a diagram for explaining the relationship between a background image photographed by a background camera and a subject image photographed by a subject camera. FIG. 4 is a diagram for explaining a method of extracting a subject from a subject image. FIG. 5 is a diagram for explaining synthesis of a background image and a subject image (part 1).
FIG. 6 is a flowchart for explaining synthesis of a background image and a subject image. FIG. 7 is a diagram for explaining synthesis of a background image and a subject image (part 2).
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Shooting system 2 Shooting means 3 Image extraction means 4 Composition means 21 Subject camera 22 Background camera 211 Sensor D Background image E Subject image F Extracted image

Claims

同一の撮影場所で被写体を撮影して得た被写体画像と背景を撮影して得た背景画像とを所定の時間以内に撮影して得る撮影手段と、
前記被写体画像から被写体を抽出した抽出画像を作成する画像抽出手段と、
該画像抽出手段で抽出した前記抽出画像と前記背景画像とを合成する合成手段とを備えたことを特徴とする撮影システム。Photographing means for photographing a subject image obtained by photographing a subject at the same photographing location and a background image obtained by photographing a background within a predetermined time;
Image extracting means for creating an extracted image obtained by extracting a subject from the subject image;
An imaging system comprising: a synthesis unit that synthesizes the extracted image extracted by the image extraction unit and the background image.

前記画像合成手段が、前記抽出画像から求めた第１のＡＥ値と前記背景画像から求めた第２のＡＥ値とに基づいて、前記抽出画像と前記背景画像のＡＥ値が略一致するように補正して合成するものであることを特徴とする請求項１記載の撮影システム。Based on the first AE value obtained from the extracted image and the second AE value obtained from the background image, the extracted image and the background image substantially coincide with each other. 2. The photographing system according to claim 1, wherein the photographing system is corrected and combined.

前記撮影手段が、前記被写体画像を得るための被写体撮影部と、前記背景画像を得るための背景撮影部とを備えたものであり、
前記画像合成手段が、前記被写体撮影部の特性と前記背景撮影部の特性との違いにより発生する前記抽出画像と前記背景画像との違いを補正して合成するものであることを特徴とする請求項１または２記載の撮影システム。The photographing means includes a subject photographing unit for obtaining the subject image and a background photographing unit for obtaining the background image;
The image synthesizing unit corrects and synthesizes a difference between the extracted image and the background image generated due to a difference between a characteristic of the subject photographing unit and a characteristic of the background photographing unit. Item 3. The imaging system according to Item 1 or 2.

前記背景画像が、前記背景を前記被写体とともに撮影したものであり、
前記画像合成手段が、該背景画像に撮影されている被写体の領域を覆う位置に前記抽出画像を重ね合わせて合成するものであることを特徴とする請求項１から３いずれか記載の撮影システム。The background image is a photograph of the background together with the subject;
The imaging system according to any one of claims 1 to 3, wherein the image synthesizing unit superimposes and extracts the extracted image at a position covering the area of the subject being photographed on the background image.