JP2012175128A

JP2012175128A - Information processor, and method and program for generating information for setting illumination

Info

Publication number: JP2012175128A
Application number: JP2011031840A
Authority: JP
Inventors: Takenori Tsukikawa; 剛徳月川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-02-17
Filing date: 2011-02-17
Publication date: 2012-09-10

Abstract

PROBLEM TO BE SOLVED: To provide an information processor and a program which, in taking a foreground image, enables reproduction of the illumination status of a background image taken outdoors.SOLUTION: The information processor acquires information on where and when an image was taken, and controls the illumination so as to reproduce the photographic environment of the image on the basis of the information. The information processor, which generates information for setting the illumination, comprises: acquisition means which acquires the information on where and when the image was taken; and generation means which generates the information for setting the illumination, on the basis of the information on where and when the image was taken acquired by the acquisition means.

Description

本発明は、照明を制御する技術に関する。 The present invention relates to a technique for controlling illumination.

従来、事前に撮影した背景画像と、例えばスタジオで人などの被写体を撮影した前景画像を合成するクロマキー合成技術がある。このような画像合成を行う際に、背景画像と前景画像の撮影環境が異なるために合成結果が不自然になる場合がある。この合成結果が不自然になることを低減する技術として、背景画像の解析を行い、その解析結果に基づいて前景画像を画像処理する技術が提案されている（特許文献１）。また、スタジオ内で撮影する際に照明機材の位置を画像データと同時に管理することで次回撮影時の照明機材の位置合わせの手間を軽減する技術が提案されている（特許文献２）。 Conventionally, there is a chroma key composition technique for compositing a background image captured in advance with a foreground image obtained by capturing a subject such as a person in a studio. When such image composition is performed, the composition result may be unnatural because the shooting environment of the background image and the foreground image is different. As a technique for reducing the unnaturalness of the synthesis result, a technique has been proposed in which a background image is analyzed and a foreground image is processed based on the analysis result (Patent Document 1). In addition, a technique has been proposed in which the position of the lighting equipment is managed simultaneously with the image data at the time of shooting in the studio, thereby reducing the labor of positioning the lighting equipment at the next shooting (Patent Document 2).

特開２００９−０８９０８４号公報JP 2009-090884 A 特開２００６−５４７０１号公報JP 2006-54701 A

しかしながら、前景画像を画像処理する特許文献１では、背景画像の撮影環境に合わせる際に、画像処理により撮影時に意図した画風を損ねる場合がある。したがって、撮影者は前景画像の撮影時に背景画像の撮影環境を予め認識したうえで、撮影を行うことが望まれる。また、特許文献２に記載の方法では、背景画像として使用される画像が屋外で撮影された場合、照明機材の他に太陽が照明光源として存在するため、前景画像を撮影する際に照明機材を位置合わせするだけでは背景画像の撮影環境を再現することは難しい。 However, in Patent Document 1 in which a foreground image is image-processed, there is a case where the image style intended at the time of shooting is impaired by image processing when matching the background image shooting environment. Therefore, it is desired that the photographer captures the background image when the foreground image is captured, and recognizes the background image capturing environment in advance. In addition, in the method described in Patent Document 2, when an image used as a background image is taken outdoors, since the sun exists as an illumination light source in addition to the illumination equipment, the illumination equipment is used when taking a foreground image. It is difficult to reproduce the shooting environment of the background image only by positioning.

本発明は上述した課題に鑑みてなされたものであり、屋外で撮影された背景画像の照明状況を前景画像の撮影時に再現できるようにすることを目的とする。
課題を解決するための手段として、画像が撮影された位置と日時を取得する取得手段と、前記取得手段により取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成手段とを有することを特徴とする照明を設定するための情報を生成する情報処理装置を提供する。 The present invention has been made in view of the above-described problems, and an object of the present invention is to make it possible to reproduce the illumination state of a background image photographed outdoors when photographing a foreground image.
As means for solving the problem, an acquisition means for acquiring a position and date / time at which an image was taken, and a generation means for generating information for setting the illumination based on the position and date / time acquired by the acquisition means There is provided an information processing apparatus that generates information for setting lighting.

本発明によれば、画像の撮影日時、位置に基づいて、照明を制御するための情報を生成するので、屋外で撮影された画像の照明状況を再現することができる。 According to the present invention, since the information for controlling the illumination is generated based on the shooting date / time and the position of the image, it is possible to reproduce the illumination state of the image shot outdoors.

画像合成装置、照明制御装置のハード構成を示す図である。It is a figure which shows the hardware constitutions of an image synthesizing | combining apparatus and an illumination control apparatus. 画像合成システムの構成を示す図である。It is a figure which shows the structure of an image composition system. 撮像装置の機能構成を示す図である。It is a figure which shows the function structure of an imaging device. 画像合成装置の機能構成を示す図である。It is a figure which shows the function structure of an image synthesizing | combining apparatus. 照明制御装置の機能構成を示す図である。It is a figure which shows the function structure of an illumination control apparatus. 照明装置の機能構成を示す図である。It is a figure which shows the function structure of an illuminating device. 照明装置の概観の一例を示す図である。It is a figure which shows an example of the external appearance of an illuminating device. 画像合成装置のＵＩの一例を示す図である。It is a figure which shows an example of UI of an image synthesizing | combining apparatus. 照明制御情報生成処理のフローチャートであるIt is a flowchart of illumination control information generation processing. 画像情報の一例を示す図である。It is a figure which shows an example of image information. 太陽情報の一例を示す図である。It is a figure which shows an example of solar information. 照明の位置の算出方法を説明する図である。It is a figure explaining the calculation method of the position of illumination. 照明の高さの出方法を説明する図である。It is a figure explaining the exit method of the height of illumination. 画像合成システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of an image composition system.

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, the present invention will be described in detail based on preferred embodiments with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.

＜実施形態１＞
本実施形態では、スタジオ内で撮像した画像と合成画像の背景となる背景画像との合成を行う画像合成システムについて説明を行う。本実施形態に係る画像合成システムの構成を図２に示す。画像合成システム２００は、撮像装置２１０、画像合成装置２２０、照明制御装置２３０、照明装置２４０により構成される。画像合成システム２００は、照明制御装置２３０に制御される照明装置２４０の照明下において、撮像装置２１０が撮像した画像と画像合成装置２２０が管理する背景画像との合成を行う。また、撮像装置２１０と画像合成装置２２０、画像合成装置２２０と照明制御装置２３０、照明制御装置２３０と照明装置２４０はそれぞれ互いに情報の通信が可能に構成されている。接続の方法は、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）やＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）などの有線接続であってもよいし、無線ＬＡＮ等の無線接続であっても良い。 <Embodiment 1>
In the present embodiment, an image synthesis system for synthesizing an image captured in a studio and a background image as a background of the synthesized image will be described. The configuration of the image composition system according to this embodiment is shown in FIG. The image composition system 200 includes an imaging device 210, an image composition device 220, an illumination control device 230, and an illumination device 240. The image synthesis system 200 synthesizes the image captured by the imaging device 210 and the background image managed by the image synthesis device 220 under illumination of the illumination device 240 controlled by the illumination control device 230. The imaging device 210 and the image composition device 220, the image composition device 220 and the illumination control device 230, and the illumination control device 230 and the illumination device 240 are configured to be able to communicate information with each other. The connection method may be, for example, a wired connection such as USB (Universal Serial Bus) or LAN (Local Area Network), or a wireless connection such as a wireless LAN.

撮像装置２１０の機能構成を図３に示す。撮像部２１１は、レンズを介して入射した被写体光を撮像素子により受光し、被写体光を画像データとして生成する。撮影情報取得部２１２は、撮像装置２１０に設定されている撮影情報を取得する。ここで、撮影情報とは、絞り値、シャッタースピード、ホワイトバランス等の撮影時に設定可能なパラメータである。送信部２１３は、撮像部２１１が撮像した画像や撮影情報取得部２１２が取得した撮影情報を画像合成装置２２０に送信する。なお、送信タイミングに関しては画像合成装置２２０からの指示を受けてからでもよいし、撮像装置２１０の任意のタイミングで画像合成装置２２０へ送信してもよい。 A functional configuration of the imaging apparatus 210 is shown in FIG. The imaging unit 211 receives subject light incident through the lens by the imaging element, and generates subject light as image data. The shooting information acquisition unit 212 acquires shooting information set in the imaging device 210. Here, the shooting information is a parameter that can be set at the time of shooting, such as an aperture value, shutter speed, and white balance. The transmission unit 213 transmits the image captured by the imaging unit 211 and the shooting information acquired by the shooting information acquisition unit 212 to the image composition device 220. The transmission timing may be received after receiving an instruction from the image composition device 220 or may be transmitted to the image composition device 220 at any timing of the imaging device 210.

画像合成装置２２０の機能構成を図４に示す。ＵＩ部２２１は、ユーザに背景画像の選択、合成画像において前景画像となる撮影した画像の確認、合成位置の指示、合成後の画像の確認を行わせるためのユーザインタフェースを作成し、表示を行う。管理部２２２は、合成画像の背景となる背景画像を予め記憶し、その管理を行う。なお、本実施形態において、管理部２２２は、管理している背景画像のそれぞれの画像情報を画像と対応づけて保持している。ここで、画像情報とは撮影日時、撮影位置、撮影方向、撮影時に用いられた撮影情報をいう。 The functional configuration of the image composition device 220 is shown in FIG. The UI unit 221 creates and displays a user interface for allowing the user to select a background image, confirm a captured image that becomes a foreground image in the composite image, specify a composite position, and confirm a composite image. . The management unit 222 stores a background image as a background of the composite image in advance and manages the background image. In the present embodiment, the management unit 222 holds each piece of image information of the managed background image in association with the image. Here, the image information means shooting date / time, shooting position, shooting direction, and shooting information used at the time of shooting.

送信部２２３は、管理部２２２によって管理されている背景画像の画像情報を、照明制御装置２３０に送信する。受信部２２４は、撮像装置２１０から送信された画像や撮影情報を受信する。警告部２２５は、受信部２２４が受信した撮像装置２１０に設定されている撮影情報が適切ではないと判断した場合、撮影情報が適切ではない旨の警告するための情報を生成する。また、撮像した画像の撮影情報と背景画像の撮影情報が異なる場合警告を行う。合成部２２６は選択された背景画像と撮影された前景画像とを合成し、合成画像を生成する。 The transmission unit 223 transmits the image information of the background image managed by the management unit 222 to the lighting control device 230. The receiving unit 224 receives an image and shooting information transmitted from the imaging device 210. When the warning unit 225 determines that the shooting information set in the imaging device 210 received by the reception unit 224 is not appropriate, the warning unit 225 generates information for warning that the shooting information is not appropriate. Also, a warning is given when the shooting information of the captured image is different from the shooting information of the background image. The combining unit 226 combines the selected background image and the captured foreground image to generate a combined image.

照明制御装置２３０の機能構成を図５に示す。受信部２３１は、画像合成装置２２０より送信された画像情報を受信する。太陽情報取得部２３２は、画像情報に基づいて、背景画像が撮影された際の太陽の位置や日射量などを算出する。天候情報取得部２３３は、画像情報に基づいて、背景画像が撮影された際の天気、雲量等の天候情報を取得する。なお、太陽情報と天候情報のデータベースは照明制御装置２３０内で管理してもよいし、インターネットを利用するなどして外部装置から取得する構成としても構わない。照明制御情報算出部２３４は、太陽情報取得部２３２で算出された太陽情報と、天候情報取得部２３３で取得した天候情報に基づいて、スタジオ内の照明機材の位置や光量を算出する。そして、算出した照明機材の位置や光量に照明装置２４０を設定するための照明制御情報を生成する。送信部２３５は、照明制御情報を照明装置２４０に送信する。
照明装置２４０の機能構成を図６に示す。受信部２４１は、照明制御装置２３０から送信された照明制御情報を受信する。設定部２４２は、受信部２４１で受信した照明制御情報に基づいて、照明部２４３の位置や光量を設定する。 A functional configuration of the illumination control device 230 is shown in FIG. The receiving unit 231 receives the image information transmitted from the image composition device 220. The sun information acquisition unit 232 calculates the position of the sun and the amount of solar radiation when the background image is taken based on the image information. The weather information acquisition unit 233 acquires weather information such as weather and cloud amount when the background image is captured based on the image information. The database of solar information and weather information may be managed in the lighting control device 230, or may be obtained from an external device by using the Internet. The lighting control information calculation unit 234 calculates the position and light amount of the lighting equipment in the studio based on the solar information calculated by the solar information acquisition unit 232 and the weather information acquired by the weather information acquisition unit 233. And the illumination control information for setting the illuminating device 240 to the calculated position and light quantity of the illumination equipment is generated. The transmission unit 235 transmits the illumination control information to the illumination device 240.
A functional configuration of the illumination device 240 is shown in FIG. The receiving unit 241 receives the lighting control information transmitted from the lighting control device 230. The setting unit 242 sets the position and light amount of the illumination unit 243 based on the illumination control information received by the reception unit 241.

照明部２４３は、照射位置、角度、光量が設定可能な光源を有する。照明装置２４０の概観を図７に示す。本実施形態の照明装置２４０はスタジオ内の天井に配置された太陽光を疑似的に再現する太陽光照明７０１、図７（ｂ）に示す天井からつりさげ太陽光の向きを疑似的に再現する太陽位置再現照明７０２から構成される。照明制御情報算出部２３４によって算出された値に基づいて、光量を変更することができる。また、太陽光照明７０１はフィルタ有し、フィルタを通した間接光でスタジオを照明することが可能となっている。つまり、曇り等の天候を再現するような照明を行うことが可能である。同様に太陽位置再現照明７０２も光量の変更とフィルタをかけることが可能となっている。また、太陽位置再現照明７０２は可動式であり、照明方向、照明角度、照明の高さの調整が可能となっている。つまり、太陽の位置を再現した照明を行うことが出来る。 The illumination unit 243 has a light source that can set the irradiation position, angle, and amount of light. An overview of the illumination device 240 is shown in FIG. The lighting device 240 of the present embodiment artificially reproduces the direction of sunlight suspended from the ceiling shown in FIG. 7 (b), the sunlight illumination 701 that artificially reproduces the sunlight placed on the ceiling in the studio. It consists of a solar position reproduction illumination 702. The amount of light can be changed based on the value calculated by the illumination control information calculation unit 234. Further, the sunlight illumination 701 has a filter, and the studio can be illuminated with indirect light that has passed through the filter. That is, it is possible to perform illumination that reproduces weather such as cloudy weather. Similarly, the solar position reproduction illumination 702 can be changed in light quantity and filtered. Further, the solar position reproduction illumination 702 is movable, and the illumination direction, illumination angle, and illumination height can be adjusted. That is, illumination that reproduces the position of the sun can be performed.

続いて、画像合成装置２２０、照明制御装置２３０のハード構成を図１に示す。本実施形態における画像合成装置２２０、照明制御装置２３０はそれぞれ単一の情報処理装置で実現される。なお、必要に応じた複数の情報処理装置に各機能を分散して実現するようにしてもよい。複数の情報処理装置で構成される場合は、互いに通信可能なようにＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ（ＬＡＮ）などで接続さる。 Subsequently, the hardware configuration of the image composition device 220 and the illumination control device 230 is shown in FIG. The image composition device 220 and the illumination control device 230 in this embodiment are each realized by a single information processing device. Each function may be distributed to a plurality of information processing apparatuses as required. When configured by a plurality of information processing apparatuses, they are connected by a local area network (LAN) or the like so that they can communicate with each other.

図１において、１０１は情報処理装置１００全体を制御するＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ（ＣＰＵ）である。１０２は後述する各処理や機能構成を実現するためのプログラムやパラメータを格納するＲｅａｄＯｎｌｙＭｅｍｏｒｙ（ＲＯＭ）である。１０３は外部装置などから供給されるプログラムやデータを一時記憶し、ＣＰＵ１０１のワークメモリとして動作するＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ（ＲＡＭ）である。１０４は情報処理装置１００に設置されたハードディスクやメモリカードなどの外部記憶装置である。ただし、固定あるいは着脱可能な状態でも構わない。例えば、フレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔＤｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどであってもよい。１０５はユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力デバイス１０９と接続するための入力デバイスインタフェースである。１０６は情報処理装置１００の保持するデータや供給されたデータを表示するためのモニタ１１０と接続するためのディスプレイインターフェイスである。１０７はインターネット１１１などのネットワーク回線に接続するためのネットワークインタフェイスである。１０８は１０１〜１０７の各ユニットを通信可能に接続するシステムバスである。 In FIG. 1, reference numeral 101 denotes a central processing unit (CPU) that controls the entire information processing apparatus 100. Reference numeral 102 denotes a read only memory (ROM) that stores programs and parameters for realizing each processing and functional configuration described later. Reference numeral 103 denotes a random access memory (RAM) that temporarily stores programs and data supplied from an external device or the like and operates as a work memory of the CPU 101. Reference numeral 104 denotes an external storage device such as a hard disk or a memory card installed in the information processing apparatus 100. However, it may be fixed or detachable. For example, it may be an optical disk such as a flexible disk (FD) or Compact Disk (CD), a magnetic or optical card, an IC card, a memory card, or the like. Reference numeral 105 denotes an input device interface for connecting to an input device 109 such as a pointing device or a keyboard for inputting data in response to a user operation. Reference numeral 106 denotes a display interface for connecting to a monitor 110 for displaying data held by the information processing apparatus 100 and supplied data. Reference numeral 107 denotes a network interface for connecting to a network line such as the Internet 111. A system bus 108 connects the units 101 to 107 so that they can communicate with each other.

以上の構成を有する画像合成システム２００の動作について説明を行う。画像合成システム２００の動作フローを図１４に示す。Ｓ１４０１において、画像合成装置２２０は、ユーザの入力に基づいて、背景画像を選択する。ここで、画像合成装置２２０のＵＩ部２２１において、表示するＵＩの一例を図８に示す。ＵＩ部２２１は画像合成アプリケーションとして動作する。ＵＩ部２２１は、管理部２２２によって管理される合成対象となる背景画像群を、背景画像群表示領域８０１に表示する。ユーザは、背景画像群表示領域８０１から入力デバイス１０９を用いて合成対象とする背景画像を選択する。画像合成装置２２０は選択された背景画像の画像情報を管理部２２２から取得し、送信部２２３を介して照明制御装置２３０に送信する。続いて、Ｓ１４０２において、照明制御装置２３０は、選択されたＳ１４０２の背景画像の撮影環境（照明状況）を疑似的に再現するように照明装置２４０を制御するため、照明制御情報を生成する。ここで、Ｓ１４０２の詳細を図９のフローチャートに示す。 The operation of the image composition system 200 having the above configuration will be described. The operation flow of the image composition system 200 is shown in FIG. In step S1401, the image composition device 220 selects a background image based on a user input. Here, an example of a UI to be displayed in the UI unit 221 of the image composition device 220 is shown in FIG. The UI unit 221 operates as an image composition application. The UI unit 221 displays a background image group to be combined managed by the management unit 222 in the background image group display area 801. The user selects a background image to be synthesized from the background image group display area 801 using the input device 109. The image composition device 220 acquires image information of the selected background image from the management unit 222 and transmits it to the illumination control device 230 via the transmission unit 223. Subsequently, in S1402, the illumination control device 230 generates illumination control information to control the illumination device 240 so as to reproduce the shooting environment (illumination state) of the selected background image in S1402. Here, the details of S1402 are shown in the flowchart of FIG.

Ｓ９０１において、照明制御装置２３０は、画像合成装置２２０から送信された背景画像の画像情報を受信部２３１により受信し、取得する。ここで、背景画像の画像情報とは、撮影日時、撮影位置、撮影方向、情報を含む情報とする。画像情報の一例を図１０に示す。図１０において、１００１は画像情報の種別を示す項目である。図１０では、画像情報の項目として、「撮影日時」、「位置」、「撮影方向」がある。１００２は項目１００１それぞれに対する値を示している。図１０の例では、「２０１０年９月３０日１２時」に「（北緯３５．５６５４４５，東経１３９．６８１３８３）の地点で、「７０°（方位角）」の向きで撮影された画像の画像情報である。なお、本実施形態では北を０°＝３６０°として、東を９０°、南を１８０°、西を２７０°として方位を表現する。また、この画像情報は、Ｅｘｉｆ（ＥｘｃｈａｎｇｅａｂｌｅＩｍａｇｅＦｉｌｅＦｏｒｍａｔ）データ等の画像情報と画像を共に保持する形式として提供されてもよいし、画像とは異なるデータとして当該画像と関連付けたデータとして提供されていても良い。 In step S 901, the illumination control device 230 receives and acquires the image information of the background image transmitted from the image composition device 220 by the reception unit 231. Here, the image information of the background image is information including shooting date / time, shooting position, shooting direction, and information. An example of the image information is shown in FIG. In FIG. 10, reference numeral 1001 denotes an item indicating the type of image information. In FIG. 10, the items of image information include “shooting date and time”, “position”, and “shooting direction”. Reference numeral 1002 denotes a value for each item 1001. In the example of FIG. 10, an image of an image taken at the point of “(North latitude 35.565445, east longitude 139.681383)” at “70 ° (azimuth)” at “12:00 on September 30, 2010”. Information. In the present embodiment, the azimuth is expressed by setting north as 0 ° = 360 °, east as 90 °, south as 180 °, and west as 270 °. Further, this image information may be provided as a format for holding both image information such as Exif (Exchangeable Image File Format) data and the image, or provided as data associated with the image as data different from the image. May be.

Ｓ９０２において、太陽情報取得部２３２は、背景画像の画像情報を基に、背景画像を撮影した際の太陽の位置や日射量という太陽情報を取得する。太陽情報は、日時、位置によって予め求めることができるのでテーブルとして装置が保持していてもよいし、画像情報により装置が算出して求める構成としても良い。本実施形態では、太陽情報として、背景画像の撮影日時および撮影位置での太陽方位、太陽高度、大気外日射量を取得する。図１１に太陽情報の一例を示す。１１０１は、太陽情報の種別の項目を示す。１１０２は、太陽情報の項目に対する値である。図１１に示す例は、図１０の画像情報を有する画像が撮影された際の太陽情報である。図１１の例では、図１０の画像情報有する画像が撮影された日時、位置では「１９２．２１°（方位）」の方角に「５０．９３°（高度）」の高さで「１０５８．１８（Ｗ／ｍ^２）」の大気外日射量で太陽が存在することを示している。なお、大気外日射量とは、ある地点上空の大気外において、単位時間、単位面積当たり太陽からのどれだけのエネルギーを受けるかについての値である。 In S902, the sun information acquisition unit 232 acquires solar information such as the position of the sun and the amount of solar radiation when the background image is captured based on the image information of the background image. Since the sun information can be obtained in advance according to the date and time and position, the device may be held as a table, or the device may be calculated and obtained from the image information. In the present embodiment, as the sun information, the shooting date and time of the background image, the solar orientation at the shooting position, the solar altitude, and the amount of solar radiation outside the atmosphere are acquired. FIG. 11 shows an example of solar information. Reference numeral 1101 denotes an item of the type of solar information. 1102 is a value for the item of solar information. The example shown in FIG. 11 is solar information when an image having the image information of FIG. 10 is taken. In the example of FIG. 11, the date, time, and position when the image having the image information of FIG. 10 is taken is “1058.18” at a height of “50.93 ° (altitude)” in the direction of “192.21 ° (azimuth)”. (W / m ² ) ”indicates that the sun exists with the amount of solar radiation outside the atmosphere. The solar radiation amount outside the atmosphere is a value of how much energy is received from the sun per unit time and unit area outside the atmosphere above a certain point.

次に、Ｓ９０３において、天候情報取得部２３３は、雲量等の天候情報を取得する。天候情報取得部２３３は、過去の天候情報を保持した外部装置からインターネット等を介して、背景画像の撮影日時、撮影位置の天候情報を取得する。なお、本実施形態において天候情報は、国際気象通報式で規定された８段階の雲量を含むものとする。 Next, in S903, the weather information acquisition unit 233 acquires weather information such as cloud cover. The weather information acquisition unit 233 acquires the shooting date and time of the background image and the weather information of the shooting position from the external device holding the past weather information via the Internet or the like. In the present embodiment, the weather information is assumed to include eight levels of cloud coverage defined by the international weather report formula.

Ｓ９０４において、照明制御情報算出部２３４は、照明装置２４０の被写体に対する位置を算出する。照明位置の算出方法を図１０に示す画像情報および図１１に示す天候情報、図１２を用いて一例を示す。図１２（ａ）は、背景画像の撮影時の撮像装置と太陽の位置関係を再現し、上空から俯瞰した際の模式図である。図１２（ａ）において、１２０１は背景画像の撮像面を模式的に表した平面である。１２０２は背景画像を撮像した撮像装置の撮像面に対する位置である。位置１２０２は、背景画像撮影時の撮像装置の向きが７０°であるので、１８０°を足した２５０°（方位）となる。１２０３は、太陽情報から求めた太陽の位置である。ここで、撮像面１２０１に対する太陽光は
背景画像を撮像した撮像装置の方位（２５０°）−太陽方位（１９２．２１°）＝５７．７９° （１）
から入射される。したがって、スタジオ内で被照明物である被写体への太陽光入射角度を再現させるためには、被写体１２０４と撮像装置２１０を結んだ線分に対して５７．７９度の位置に太陽位置再現照明７０２を配置すればよいことになる。なお、角度は被写体を中心として半時計回りを正とする。図１２（ｂ）は、スタジオで算出した照明装置の位置を設定した際の被写体と撮像装置とを併せて示した図である。太陽位置再現照明７０２を被写体に対して図のように位置させることで、背景画像撮影時の被写体に対する太陽との位置関係を再現することが出来る。 In S904, the illumination control information calculation unit 234 calculates the position of the illumination device 240 with respect to the subject. An example of the calculation method of the illumination position will be described using the image information shown in FIG. 10, the weather information shown in FIG. 11, and FIG. FIG. 12A is a schematic diagram when the positional relationship between the imaging device and the sun at the time of capturing a background image is reproduced and viewed from above. In FIG. 12A, reference numeral 1201 denotes a plane that schematically represents the imaging surface of the background image. Reference numeral 1202 denotes a position with respect to the imaging surface of the imaging device that captured the background image. The position 1202 is 250 ° (azimuth) obtained by adding 180 ° since the orientation of the imaging device at the time of background image shooting is 70 °. 1203 is the position of the sun obtained from the solar information. Here, the sunlight with respect to the imaging surface 1201 indicates the orientation (250 °) −sun orientation (192.21 °) = 57.79 ° of the imaging device that captured the background image (1)
Incident from. Therefore, in order to reproduce the angle of sunlight incident on the subject that is the object to be illuminated in the studio, the solar position reproduction illumination 702 at a position of 57.79 degrees with respect to the line segment connecting the subject 1204 and the imaging device 210. It will be sufficient to arrange. The angle is positive in the counterclockwise direction around the subject. FIG. 12B is a diagram showing the subject and the imaging device together when the position of the lighting device calculated in the studio is set. By positioning the sun position reproduction illumination 702 with respect to the subject as shown in the figure, it is possible to reproduce the positional relationship between the subject and the sun when the background image is captured.

次に高さの算出方法について図１３を用いて説明する。スタジオでの照明装置と被写体の距離をＤ（ｍ）、太陽高度をθ（°）、照明装置のスタジオの床からの高さをＨ（ｍ）とすると、
Ｈ＝Ｄ×ｔａｎ（θ）（２）
としてＨを求めることが出来る。Ｄ＝３、図１０および図１１に示す値を用いて、Ｈを求めるとすると、
３×ｔａｎ（５０．９３°）≒３．７ｍとなる。したがって、太陽位置再現照明７０２の位置は、高さが床面から３．７ｍの高さ、被写体とカメラを結んだ線分に対して５７．７９°に配置すればよいこととなる。このように背景画像の画像情報や撮影時の天候情報に基づいて、照明装置の高さや被写体に対して水平面での照明装置の位置を算出することで、背景画像の照明状況を再現することができる。 Next, a height calculation method will be described with reference to FIG. If the distance between the lighting device and the subject in the studio is D (m), the solar altitude is θ (°), and the height of the lighting device from the studio floor is H (m),
H = D × tan (θ) (2)
H can be obtained as follows. If H is obtained using D = 3 and the values shown in FIG. 10 and FIG.
3 × tan (50.93 °) ≈3.7 m. Therefore, the position of the solar position reproduction illumination 702 may be arranged at 57.79 ° with respect to the line segment connecting the subject and the camera with a height of 3.7 m from the floor surface. As described above, the lighting state of the background image can be reproduced by calculating the height of the lighting device and the position of the lighting device in the horizontal plane with respect to the subject based on the image information of the background image and the weather information at the time of shooting. it can.

続く、Ｓ９０５において、照明制御情報算出部２３４は、照明装置の光量、フィルタ量を算出する。ここで、照明装置２４０の最大出力光量Ｌ、背景画像の撮影時、撮影場所の大気外日射量をＰ、地球大気表面の単位面積に垂直に入射する太陽のエネルギー量（太陽定数）をＷとする。照明装置２４０の光量Ｘは、
Ｘ＝Ｌ×Ｐ／Ｗ（３）
として求めることができる。つまり、スタジオ内での最大出力光量を太陽定数と擬制することで、撮影時、撮影場所の光量を疑似的に再現する。なお、照明装置２４０の最大出力光量Ｌは撮影者の意図した画風を反映させるため、撮影者の入力により設定する構成としても良い。 In step S905, the illumination control information calculation unit 234 calculates the light amount and the filter amount of the illumination device. Here, the maximum output light amount L of the lighting device 240, the amount of solar radiation outside the atmosphere at the time of shooting a background image, P, and the amount of solar energy (solar constant) incident perpendicularly to a unit area of the Earth's atmospheric surface are W. To do. The light quantity X of the illumination device 240 is
X = L × P / W (3)
Can be obtained as In other words, by simulating the maximum output light amount in the studio as the solar constant, the light amount at the shooting location is reproduced in a pseudo manner at the time of shooting. Note that the maximum output light amount L of the lighting device 240 may be set by the photographer's input in order to reflect the image style intended by the photographer.

続いて、フィルタ量について以下で説明する。フィルタ量は、取得した背景画像撮影時の天候情報である雲量を用いて決定する。雲量は国際気象通報式で８段階規定されている。ここで、雲量をＣ、スタジオで設定できる最大フィルタ量をＱとすると、雲によって妨げられる日射を再現するためのフィルタ量Ｙは、
Ｙ＝Ｑ×Ｃ／８（４）
として求めるとする。フィルタを雲と擬制することで、背景画像撮影時の天候を疑似的に再現する。上述のように、背景画像の太陽情報と天候情報を用いて照明装置の位置、光量、フィルタ量を規定することで、背景画像撮影時の撮影環境をスタジオ内で再現することが出来る。 Subsequently, the filter amount will be described below. The filter amount is determined using a cloud amount that is weather information at the time of capturing the acquired background image. The cloud cover is regulated in 8 levels by the international weather report formula. Here, if the cloud amount is C and the maximum filter amount that can be set in the studio is Q, the filter amount Y for reproducing the solar radiation blocked by the cloud is
Y = Q × C / 8 (4)
Assuming that Simulates the weather at the time of background image shooting by imitating the filter with clouds. As described above, the shooting environment at the time of shooting the background image can be reproduced in the studio by defining the position, light quantity, and filter amount of the lighting device using the sun information and the weather information of the background image.

続いて、Ｓ９０６において、照明制御情報算出部２３４は、Ｓ９０４、Ｓ９０５において決定した照明装置２４０の位置や光量を照明制御情報として生成し、送信部２３５を介して照明装置２４０に通知する。以上で、Ｓ１４０２における処理を終了する。 Subsequently, in S906, the illumination control information calculation unit 234 generates the position and light amount of the illumination device 240 determined in S904 and S905 as illumination control information, and notifies the illumination device 240 via the transmission unit 235. This is the end of the processing in S1402.

続いて、図１４に戻り、Ｓ１４０３において、照明装置２４０は、生成された照明制御情報に基づいて、照明部２４３を設定する。受信部２４１は、照明制御装置２３０から送信された照明制御情報を受信し、設定部２４２は照明制御情報に基づいて照明部２４３の光量、位置、フィルタ量等を設定する。Ｓ１４０４において、撮影者は設定された照明装置２４０の照明の下、合成画像の前景画像となる被写体の撮影を行う。ここで、撮影情報取得部２１２は、設定されている絞り、シャッタースピード等の撮影情報を取得し、送信部２１３を介して、画像合成装置２２０に送信する。画像合成装置２２０の警告部２２５は、背景画像の撮影情報と取得した撮像装置２１０に設定されている撮影情報が異なっているかを判断する。背景画像の撮影情報と取得した撮像装置２１０に設定されている撮影情報が異なっている場合、警告メッセージを生成して、撮像装置２１０に通知を行う。撮影者は、警告メッセージを参照することで、背景画像が撮影された撮影情報に設定しなおすことが出来るので、合成時により違和感をより少なくすることが出来る。 Subsequently, returning to FIG. 14, in S 1403, the illumination device 240 sets the illumination unit 243 based on the generated illumination control information. The reception unit 241 receives the illumination control information transmitted from the illumination control device 230, and the setting unit 242 sets the light amount, position, filter amount, and the like of the illumination unit 243 based on the illumination control information. In step S 1404, the photographer shoots the subject that is the foreground image of the composite image under the set illumination device 240. Here, the shooting information acquisition unit 212 acquires shooting information such as a set aperture and shutter speed, and transmits the acquired shooting information to the image composition device 220 via the transmission unit 213. The warning unit 225 of the image composition device 220 determines whether the shooting information of the background image is different from the shooting information set in the acquired imaging device 210. When the shooting information of the background image and the acquired shooting information set in the imaging device 210 are different, a warning message is generated and the imaging device 210 is notified. By referring to the warning message, the photographer can reset the shooting information in which the background image has been shot, so that the sense of incongruity can be further reduced at the time of synthesis.

Ｓ１４０５において、撮像装置２１０は、前記画像を撮影した場合、撮影した画像データを送信部を介して、画像合成装置２２０に送信する。画像合成装置２２０の受信部２２４は、画像データを受信するとＵＩ部２２１に受信した画像データを渡し、Ｓ１４０１において選択された背景画像と合成を行う。図８において、撮像装置２１０で撮影された合成対象となる前景画像データは、前景画像表示領域８０４に表示される。ユーザは前景画像表示領域８０４から背景画像と合成を行う画像の選択を行う。なお、図８の８０２は、撮影情報表示部であり、背景画像の撮影情報と撮像装置２１０の設定が表示されている。警告部２２５は、背景画像の撮影情報と撮像装置２１０の設定が異なっている場合、警告メッセージを警告表示領域８０３に表示する。このように、画像合成装置を操作するオペレータに対して警告を行うことで、背景画像と撮影情報が一致した前景画像を用いた合成画像を生成することができる。したがって、より合成時の違和感を低減することが可能となる。
合成部２２６は、背景画像群表示領域８０１で選択された背景画像と、前景画像表示領域８０４で選択された前景画像の合成画像を生成し、ＵＩ部２２１は図８の合成画像表示領域８０５に生成した画像を表示する。そして、画像合成システム２００は処理を終了する。 In step S 1405, when the image capturing apparatus 210 captures the image, the image capturing apparatus 210 transmits the captured image data to the image composition apparatus 220 via the transmission unit. When receiving the image data, the receiving unit 224 of the image composition device 220 passes the received image data to the UI unit 221 and performs composition with the background image selected in S1401. In FIG. 8, foreground image data to be combined, which is captured by the imaging device 210, is displayed in the foreground image display area 804. The user selects an image to be combined with the background image from the foreground image display area 804. Note that reference numeral 802 in FIG. 8 denotes a shooting information display unit that displays shooting information of a background image and settings of the imaging device 210. The warning unit 225 displays a warning message in the warning display area 803 when the shooting information of the background image and the setting of the imaging device 210 are different. In this way, by giving a warning to an operator who operates the image composition device, it is possible to generate a composite image using the foreground image in which the background image and the shooting information match. Therefore, it is possible to further reduce the uncomfortable feeling during synthesis.
The composition unit 226 generates a composite image of the background image selected in the background image group display region 801 and the foreground image selected in the foreground image display region 804, and the UI unit 221 displays the composite image display region 805 in FIG. Display the generated image. Then, the image composition system 200 ends the process.

以上説明したように、本実施形態では、背景画像の撮影日時、撮影場所での照明状況をスタジオ内で再現するので、撮影した画像を背景画像に合成しても違和感が低減される。また、違和感を低減するための画像処理を行う必要がないため、撮影者が意図した画風を損なうことなく合成を行うことが出来る。 As described above, in the present embodiment, the shooting date and time of the background image and the lighting condition at the shooting location are reproduced in the studio, so that the sense of incongruity is reduced even if the shot image is combined with the background image. Further, since it is not necessary to perform image processing for reducing a sense of incongruity, composition can be performed without impairing the style intended by the photographer.

＜実施形態２＞
実施形態１では、スタジオ内の照明装置は、光量、位置が制御可能な構成として説明を行った。しかしながら、スタジオで使用される照明装置は必ずしも光量、位置が制御可能な構成とは限らない。実施形態２では、照明制御情報の少なくとも一部をユーザに通知し、ユーザが照明装置の光量、位置を設定する形態について説明を行う。 <Embodiment 2>
In the first embodiment, the lighting device in the studio has been described as a configuration in which the light amount and the position can be controlled. However, the lighting device used in the studio is not necessarily configured to control the light amount and the position. In the second embodiment, a mode in which at least a part of the lighting control information is notified to the user and the user sets the light amount and position of the lighting device will be described.

実施形態１と異なる点について詳細に説明を行う。本実施形態において、照明装置２４０の設定部２４２はユーザの入力により光量を設定できるとする。また、照明装置２４０は照明制御装置２３０と接続されておらず、本実施形態において、受信部２４１は無いものとする。さらに、照明装置２４０の太陽位置再現照明７０２は可動式であるものの、照明方向、照明角度、照明の高さの調整は手動で設定可能となっている。
本実施形態における図９に示す照明制御情報生成処理について説明を行う。Ｓ９０６において、算出された照明制御情報は送信部２３５を介して、画像合成装置２２０に送信を行う。画像合成装置２２０は受信した照明制御情報をＵＩ部２２１において表示し、ユーザに対して通知する。
Ｓ１４０３において、ユーザはＵＩ部２２１を介して通知された照明制御情報を設定部２４２に入力し光量を照明装置２４０の光量を設定する。また、ユーザは照明制御情報として通知された被写体に対する照明装置の位置に基づいて、照明装置２４０を移動して照明方向、照明角度、照明の高さを設定する。 Differences from the first embodiment will be described in detail. In the present embodiment, it is assumed that the setting unit 242 of the lighting device 240 can set the light amount by a user input. Further, it is assumed that the lighting device 240 is not connected to the lighting control device 230, and in the present embodiment, there is no receiving unit 241. Furthermore, although the solar position reproduction illumination 702 of the illumination device 240 is movable, adjustment of the illumination direction, illumination angle, and illumination height can be manually set.
The illumination control information generation process shown in FIG. 9 in the present embodiment will be described. In step S 906, the calculated illumination control information is transmitted to the image composition device 220 via the transmission unit 235. The image composition device 220 displays the received illumination control information on the UI unit 221 and notifies the user.
In step S 1403, the user inputs the illumination control information notified via the UI unit 221 to the setting unit 242 and sets the light amount of the illumination device 240. Further, the user moves the illumination device 240 based on the position of the illumination device with respect to the subject notified as the illumination control information, and sets the illumination direction, illumination angle, and illumination height.

なお、照明装置２４０の光量、照明方向、照明角度、照明の高さ等の少なくとも一部が実施形態１のように照明制御情報により自動で制御可能である場合は手動で設定しなければならない情報のみユーザに通知する構成としてもよい。 Information that must be set manually when at least part of the light amount, illumination direction, illumination angle, illumination height, etc. of the illumination device 240 can be automatically controlled by illumination control information as in the first embodiment. Only the user may be notified.

以上、説明したように本実施形態では背景画像の撮影日時、撮影場所での照明状況をスタジオ内で再現できるように、照明制御情報をユーザに対して通知を行う。したがって、ユーザは通知された照明制御情報に基づき、照明装置の光量、位置を設定し、撮影を行えば撮影された画像と背景画像を合成しても違和感が低減される。また、違和感を低減するための画像処理を行う必要がないため、撮影者が意図した画風を損なうことなく合成を行うことが出来る。 As described above, in the present embodiment, the lighting control information is notified to the user so that the shooting date and time of the background image and the lighting condition at the shooting location can be reproduced in the studio. Therefore, if the user sets the light amount and position of the lighting device based on the notified lighting control information and performs shooting, the sense of discomfort is reduced even if the shot image and the background image are combined. Further, since it is not necessary to perform image processing for reducing a sense of incongruity, composition can be performed without impairing the style intended by the photographer.

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 <Other embodiments>
Although the embodiment has been described in detail above, the present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

２３０照明制御装置
２３１受信部
２３２太陽情報取得部
２３３天候情報所得部
２３４照明制御情報算出部 230 Lighting Control Device 231 Reception Unit 232 Solar Information Acquisition Unit 233 Weather Information Income Unit 234 Lighting Control Information Calculation Unit

Claims

照明を設定するための情報を生成する情報処理装置であって、
画像が撮影された位置と日時を取得する取得手段と、
前記取得手段により取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成手段とを有することを特徴とする情報処理装置。 An information processing apparatus that generates information for setting illumination,
Acquisition means for acquiring the position and date and time when the image was taken;
An information processing apparatus comprising: generating means for generating information for setting the illumination based on the position and date and time acquired by the acquiring means.

前記情報は、前記照明の位置、光量に関する情報であることを特徴とする請求項１記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the information is information regarding a position and a light amount of the illumination.

前記取得手段が取得した位置および日時の太陽の位置を取得する太陽の情報の取得手段を有し
前記生成手段は、前記太陽の情報の取得手段により取得した太陽の位置に基づいて、前記照明の位置に関する情報を生成することを特徴とする請求項１または２に記載の情報処理装置。 It has a solar information acquisition means for acquiring the position of the sun acquired by the acquisition means and the date and time of the sun, and the generation means is based on the position of the sun acquired by the solar information acquisition means. The information processing apparatus according to claim 1, wherein information on a position is generated.

前記取得手段が取得した位置および日時の雲量を取得する雲量の取得手段を有し、
前記生成手段は、前記雲量に基づいて、前記照明のフィルタ量に関する情報を生成することを特徴とする請求項１乃至３何れか１項に記載の照明制御装置。 A cloud amount acquisition means for acquiring the cloud amount of the position and date and time acquired by the acquisition means;
The lighting control apparatus according to claim 1, wherein the generation unit generates information related to a filter amount of the illumination based on the cloud amount.

前記生成手段は、前記画像の被写体と前記画像の被写体に対する太陽との位置関係に基づき、前記照明の位置に関する情報を生成することを特徴とする請求項３に記載の照明制御装置。 The illumination control apparatus according to claim 3, wherein the generation unit generates information on the position of the illumination based on a positional relationship between the subject of the image and the sun with respect to the subject of the image.

前記取得手段は更に前記画像を撮像した撮像装置の前記画像を撮像した際の向きを取得し、
前記画像の被写体と前記画像の被写体に対する太陽との位置関係を取得する位置関係の取得手段を有することを請求項５に記載の照明制御装置。 The acquisition means further acquires the orientation of the image capturing apparatus that captured the image when capturing the image,
The illumination control apparatus according to claim 5, further comprising a positional relationship acquisition unit configured to acquire a positional relationship between the subject of the image and the sun with respect to the subject of the image.

前記生成手段によって生成された情報のうち少なくとも一部を用いて前記照明を制御する制御手段を更に有することを特徴とする請求項１乃至６何れか１項に記載の情報処理装置。 The information processing apparatus according to claim 1, further comprising a control unit that controls the illumination by using at least a part of the information generated by the generation unit.

前記生成手段によって生成された情報のうち少なくとも一部をユーザに通知する通知手段を更に有することを特徴とする請求項１乃至７何れか１項に記載の情報処理装置。 The information processing apparatus according to claim 1, further comprising a notification unit that notifies a user of at least a part of the information generated by the generation unit.

前記画像は合成に用いられる背景画像であることを特徴とする請求項１乃至８何れか１項に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the image is a background image used for composition.

照明を設定するための情報を生成する情報処理方法であって、
画像が撮影された位置と日時を取得する取得工程と、
前記取得工程により取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成工程とを有することを特徴とする情報処理方法。 An information processing method for generating information for setting lighting,
An acquisition step of acquiring the position and date and time when the image was taken;
An information processing method comprising: a generation step of generating information for setting the illumination based on the position and date and time acquired in the acquisition step.

画像が撮影された位置と日時を取得する取得ステップと、
前記取得ステップにより取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成ステップとを情報処理装置に動作させるためのプログラム。 An acquisition step for acquiring the position and date and time when the image was shot;
A program for causing an information processing device to operate a generation step for generating information for setting the illumination based on the position and date and time acquired in the acquisition step.