JP6960658B2 - Composite image production system and composite image production method - Google Patents

Description

本発明は、背景画像にキャラクタ画像を重畳させた合成画像を作製する合成画像作製システム及び合成画像作製方法に関する。 The present invention relates to a composite image production system and a composite image production method for producing a composite image in which a character image is superimposed on a background image.

近年、国内外におけるアニメーション、漫画等の人気上昇に伴い、それらの作品の舞台となった場所にファンが実際に訪れるという行為が注目を集めている。そして、一部の地方自治体では、その場所を観光資源として利用して、地域振興を図っている。 In recent years, with the increasing popularity of animation, manga, etc. in Japan and overseas, the act of fans actually visiting the place where those works were set has attracted attention. And some local governments are trying to promote the area by using the place as a tourism resource.

そのように作品の舞台となった場所を訪れるファンの中には、その場所で撮影を行うだけでなく、その場所で撮影した現実の画像（以下、単に「撮影画像」という。）にその作品の登場人物等（以下、「キャラクタ」という。）の画像を合成し、作品の１カットを再現した合成画像を作製したいという要望があった。 Some fans who visit the place where the work was set in this way not only shoot at that place, but also the actual image taken at that place (hereinafter, simply referred to as "photographed image"). There was a request to create a composite image that reproduces one cut of the work by synthesizing the images of the characters, etc. (hereinafter referred to as "characters").

そのような合成画像の作製に用いられる合成画像作製システムとしては、撮影画像に予めデータベースに格納されている画像データを合成するものが知られている（例えば、特許文献１参照。）。 As a composite image production system used for producing such a composite image, a system that synthesizes image data stored in a database in advance with a captured image is known (see, for example, Patent Document 1).

特開平１１−１４６３１５号公報Japanese Unexamined Patent Publication No. 11-146315

しかし、特許文献１に記載の合成画像作製システムは、撮影画像に対して装飾枠等の画像データを重畳させるものであるので、撮影画像と再現したいカットの背景との一致率（例えば、構造物同士の配置関係、撮影角度、色調等の一致率）が低かった場合、作製される合成画像は、そのカットについての再現率の低いものになってしまうという問題があった。 However, since the composite image production system described in Patent Document 1 superimposes image data such as a decorative frame on the photographed image, the matching rate between the photographed image and the background of the cut to be reproduced (for example, a structure). If the arrangement relationship between the images, the shooting angle, the matching rate of the color tone, etc.) is low, there is a problem that the produced composite image has a low recall rate for the cut.

本発明は以上の点に鑑みてなされたものであり、所望の作品の１カットについて、再現率の高い合成画像を作製することができる合成画像作製システム又は合成画像作製方法を提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide a composite image production system or a composite image production method capable of producing a composite image having a high recall rate for one cut of a desired work. And.

上記目的を達成するために、本発明の合成画像作製システムは、
映像作品の１カットの画像を再現するために、現実の背景画像に仮想のキャラクタ画像を重畳させた合成画像を作製する合成画像作製システムであって、
撮影部と、
その時点で撮影を行った場合に前記撮影部に撮影画像として取得される画像である撮影予定画像を表示する表示部と、
前記キャラクタ画像、及び、現実の景色に基づいて作製された基準背景画像からなり、前記１カットの画像と同じ構図である基準画像を格納しているデータベースと、
前記基準画像に対し、少なくとも前記基準背景画像を半透明化する半透明化処理を施す第１画像処理部と、
前記撮影部によって取得された前記撮影画像及び前記基準画像に基づいて、前記合成画像を作製する第２画像処理部と、
入力部とを備え、
前記表示部は、前記撮影画像と前記基準背景画像との一致率をユーザに判別させるために、前記第１画像処理部によって半透明化処理が施された前記基準画像を、前記撮影予定画像に重畳させて表示し、
前記撮影部は、前記表示部が前記基準画像を前記撮影予定画像に重畳させて表示した後に前記入力部を介して入力された指示に従って、前記撮影画像を取得し、
前記第２画像処理部は、前記撮影画像に前記基準画像から抽出された前記キャラクタ画像を、前記基準背景画像に対する前記キャラクタ画像の配置位置を参照して前記撮影画像に配置することによって合成して、前記合成画像を作製することを特徴とする。 In order to achieve the above object, the composite image production system of the present invention is used.
A composite image creation system that creates a composite image in which a virtual character image is superimposed on a real background image in order to reproduce a one-cut image of a video work.
With the shooting department
A display unit for displaying the photographed target image is an image that is acquired as a photographed image on the imaging unit when performing photographing at that time,
The character image, and a database that stores Ri Do from the reference background image prepared based on the actual landscape, the same composition der Ru reference image and the one cut image,
A first image processing unit that performs semi-transparency processing on the reference image to at least make the reference background image semi-transparent.
Based on the acquired captured image and the reference image by the imaging unit, a second image processing unit to produce the composite image,
Equipped with an input section
The display unit uses the reference image, which has been translucently processed by the first image processing unit, into the image to be photographed in order to allow the user to determine the matching rate between the captured image and the reference background image. Display by superimposing
The photographing unit acquires the photographed image according to an instruction input via the input unit after the display unit superimposes the reference image on the image to be photographed and displays the image.
The second image processing unit synthesizes the captured image by arranging the character image extracted from the reference image on the captured image with reference to the arrangement position of the character image with respect to the reference background image. , The composite image is produced.

また、上記目的を達成するために、本発明の合成画像作製方法は、
映像作品の１カットの画像を再現するために、現実の背景画像に仮想のキャラクタ画像を重畳させた合成画像を作製する合成画像作製方法であって、
第１画像処理部が、前記キャラクタ画像、及び、現実の景色に基づいて作製された基準背景画像からなり、前記１カットの画像と同じ構図である基準画像に対し、少なくとも前記基準背景画像を半透明化する半透明化処理を施す半透明化処理工程と、
表示部が、その時点で撮影を行った場合に撮影部に撮影画像として取得される画像である撮影予定画像を表示するとともに、前記撮影画像と前記基準背景画像との一致率をユーザに判別させるために、半透明化処理の施された前記基準画像を、該撮影予定画像に重畳させて表示する重畳表示工程と、
前記撮影部が、前記表示部が前記基準画像を前記撮影予定画像に重畳させて表示した後に入力部を介して入力された指示に従って、前記撮影画像を取得する撮影画像取得工程と、
第２画像処理部が、認識された前記撮影画像に、前記基準画像から抽出された前記キャラクタ画像を、前記基準背景画像に対する前記キャラクタ画像の配置位置を参照して前記撮影画像に配置することによって合成して、前記合成画像を作製する合成画像作製工程とを備えていることを特徴とする。 Further, in order to achieve the above object, the synthetic image producing method of the present invention is used.
It is a composite image creation method that creates a composite image in which a virtual character image is superimposed on a real background image in order to reproduce a one-cut image of a video work.
The first image processing unit, the character image, and, Ri Do from the reference background image prepared based on the actual landscape, for the same composition der Ru reference image and the one cut image, at least the reference background image A semi-transparency treatment process that performs a semi-transparency treatment to make the image semi-transparent,
The user display unit, in together when displaying the captured target image is an image acquired by the captured image to the imaging unit when performing photographing at that time, the match rate between the reference background image and the captured image A superimposition display step of superimposing the reference image subjected to the semitransparent processing on the planned shooting image and displaying the image in order to discriminate between the two.
A photographing image acquisition step in which the photographing unit acquires the photographed image according to an instruction input via the input unit after the display unit superimposes the reference image on the planned image to be photographed and displays the reference image.
The second image processing unit arranges the character image extracted from the reference image on the recognized image by referring to the arrangement position of the character image with respect to the reference background image. It is characterized by including a composite image producing step of synthesizing and producing the composite image.

このように、本発明の合成画像作製システム及び合成画像作製方法では、表示部に、キャラクタ画像、及び、現実の景色に基づいて作製された基準背景画像からなる基準画像（すなわち、合成画像によって再現しようとしている作品の１カットの画像）に対し、少なくとも基準背景画像を半透明化する半透明化処理を施して、撮影予定画像に重畳させて表示している。 As described above, in the composite image production system and the composite image production method of the present invention, the display unit is reproduced by the reference image (that is, the composite image) composed of the character image and the reference background image created based on the actual scenery. The one-cut image of the work to be attempted) is subjected to at least a semi-transparency process for making the reference background image semi-transparent, and is displayed superimposed on the image to be photographed.

これにより、ユーザは、撮影予定画像を基準画像に近づけるための調整（例えば、撮影部の位置の変更、撮影設定の変更等）を直感的に行うことができるようになる。その結果、取得される撮影画像と基準画像の基準背景画像との一致率（例えば、構造物同士の配置関係（すなわち、撮影角度）、色調等の一致率）を容易に向上させることができる。 As a result, the user can intuitively make adjustments (for example, change the position of the shooting unit, change the shooting setting, etc.) to bring the image to be shot closer to the reference image. As a result, the matching rate between the acquired photographed image and the reference background image of the reference image (for example, the matching rate of the arrangement relationship between the structures (that is, the photographing angle), the color tone, etc.) can be easily improved.

したがって、本発明の合成画像作製システム及び合成画像作製方法によれば、基準画像の基準背景画像との一致率の高い撮影画像を取得することができるので、その撮影画像を用いることによって、所望の作品の１カットについて、再現率の高い合成画像を作製することができる。 Therefore, according to the composite image production system and the composite image production method of the present invention, it is possible to acquire a captured image having a high matching rate with the reference background image of the reference image. Therefore, by using the captured image, a desired image can be obtained. It is possible to create a composite image with a high recall rate for one cut of the work.

また、本発明の合成画像作製システムにおいては、
前記データベースは、前記基準画像とともに、該基準画像に対応する撮影設定情報を格納し、
前記表示部は、前記撮影設定情報を表示することが好ましい。 Further, in the composite image production system of the present invention,
The database stores the shooting setting information corresponding to the reference image together with the reference image.
It is preferable that the display unit displays the shooting setting information.

このように、基準画像に対応する撮影設定情報をデータベースに格納しておき（すなわち、予め定めておき）、その撮影設定情報を表示部に表示するように構成すると、ユーザが適切な撮影設定を容易に把握できるようになる。これにより、さらに容易に基準画像の背景との一致率の高い撮影画像を取得することができるようになる。 In this way, if the shooting setting information corresponding to the reference image is stored in the database (that is, predetermined) and the shooting setting information is displayed on the display unit, the user can set an appropriate shooting setting. It will be easy to grasp. As a result, it becomes possible to more easily acquire a captured image having a high matching rate with the background of the reference image.

また、本発明の合成画像作製システムにおいては、撮影設定を表示する構成である場合、
前記撮影設定情報は、前記基準背景画像の元となる前記現実の景色を撮影した際の撮影モードであることが好ましい。 Further, in the composite image production system of the present invention, when the shooting setting is displayed,
The shooting setting information is preferably a shooting mode when the actual scenery that is the source of the reference background image is shot.

撮影設定情報としては、基準画像を参照して決定された個別の撮影設定等も含まれるが、このように予め基準背景画像の元となる現実の景色を撮影した際の撮影モードが判明している場合には、それを用いてもよい。 The shooting setting information includes individual shooting settings determined by referring to the reference image, but the shooting mode when the actual scenery that is the source of the reference background image is shot in advance is known. If so, it may be used.

また、本発明の合成画像作製システムにおいては、
前記合成画像に、前記基準画像に対応する所定の画像処理を施す第３画像処理部を備えていることが好ましい。 Further, in the composite image production system of the present invention,
It is preferable that the composite image is provided with a third image processing unit that performs predetermined image processing corresponding to the reference image.

このように、合成画像に対し、基準画像に対して施されている画像処理に対応するような画像処理を施すことができるように構成すると、作製された合成画像の再現率をさらに高めることができるようになる。 In this way, if the composite image is configured to be capable of performing image processing corresponding to the image processing performed on the reference image, the reproduction rate of the produced composite image can be further increased. become able to.

なお、合成画像に対して施す画像処理としては、後述するキャラクタ画像に対するアニメーション化、及び、撮影画像に対する色調補正に限定されるものではなく、音声を付加する処理等の種々の処理が含まれる。 The image processing performed on the composite image is not limited to the animation of the character image described later and the color tone correction of the captured image, and includes various processes such as a process of adding sound.

また、本発明の合成画像作製システムにおいては、合成画像に画像処理を施す第３画像処理部を備えている場合、
前記データベースは、前記基準画像とともに、該基準画像に対応するエフェクト情報を格納し、
前記第３画像処理部によって施される画像処理には、前記エフェクト情報に基づく、前記キャラクタ画像に対するエフェクトの付加が含まれていることが好ましい。 Further, in the composite image production system of the present invention, when a third image processing unit for performing image processing on the composite image is provided,
The database stores the reference image and the effect information corresponding to the reference image.
The image processing performed by the third image processing unit preferably includes the addition of an effect to the character image based on the effect information.

このように、基準画像に対応するエフェクト情報に基づいて、キャラクタ画像にエフェクトを付加すると、合成画像の再現率をさらに高めることができるようになる。なお、合成画像に対して付加するエフェクトを、キャラクタ画像を連続的に変化させるエフェクト（すなわち、アニメーション化）とした場合には、複数のカットからなる作品の１シーンを再現した合成動画を得ることができるようになる。 In this way, by adding an effect to the character image based on the effect information corresponding to the reference image, the reproduction rate of the composite image can be further increased. If the effect added to the composite image is an effect that continuously changes the character image (that is, animation), a composite video that reproduces one scene of the work consisting of multiple cuts is obtained. Will be able to.

また、本発明の合成画像作製システムにおいては、合成画像に画像処理を施す第３画像処理部を備えている場合、
前記データベースは、前記基準画像とともに、該基準画像に対応する色調情報を格納し、
前記第３画像処理部によって施される画像処理には、前記色調情報に基づく、前記撮影画像に対する色調補正が含まれていることが好ましい。 Further, in the composite image production system of the present invention, when a third image processing unit for performing image processing on the composite image is provided,
The database stores the color tone information corresponding to the reference image together with the reference image.
It is preferable that the image processing performed by the third image processing unit includes color tone correction for the captured image based on the color tone information.

このように、基準画像に対応する色調情報に基づいて撮影画像に色調補正を施すと、基準画像の背景と撮影画像との一致率をさらに高めることができるようになるので、合成画像の再現率をさらに高めることができるようになる。具体的には、例えば、基準画像がモノクロ画像である場合には、撮影画像にモノクロ化処理を施せばよい。 By performing color tone correction on the captured image based on the color tone information corresponding to the reference image in this way, the matching rate between the background of the reference image and the captured image can be further increased, so that the reproduction rate of the composite image can be further increased. Will be able to be further enhanced. Specifically, for example, when the reference image is a monochrome image, the captured image may be subjected to monochrome processing.

本実施形態に係る合成画像作製システムの概略構成を示す模式図。The schematic diagram which shows the schematic structure of the synthetic image production system which concerns on this embodiment. 図１の合成画像作製システムが撮影画像を取得する際に行う処理を示すフローチャート。FIG. 5 is a flowchart showing a process performed when the composite image production system of FIG. 1 acquires a captured image. 図１の合成画像作製システムが合成画像を作製する際に行う処理を示すフローチャート。FIG. 5 is a flowchart showing a process performed when the composite image production system of FIG. 1 produces a composite image. 図１の合成画像作製システムのデータベースに格納されている基準画像の模式図。The schematic diagram of the reference image stored in the database of the composite image production system of FIG. 図３の基準画像の基準背景画像の元となる元画像を示す模式図。The schematic diagram which shows the original image which is the source of the reference background image of the reference image of FIG. 図１の合成画像作製システムの携帯情報端末の表示部に、撮影時に表示される画像を示す模式図。FIG. 6 is a schematic view showing an image displayed at the time of shooting on the display unit of the mobile information terminal of the composite image production system of FIG. 1. 図１の合成画像作製システムで作製される一次合成画像を示す模式図。The schematic diagram which shows the primary composite image produced by the composite image production system of FIG. 図１の合成画像作製システムで作製される二次合成画像を示す模式図。The schematic diagram which shows the secondary composite image produced by the composite image production system of FIG. 図１の合成画像作製システムで作製される三次合成画像を示す模式図。The schematic diagram which shows the 3rd order composite image produced by the composite image production system of FIG.

以下、図面を参照して、実施形態に係る合成画像作製システムＳ、及び、その合成画像作製システムＳを用いて行われる合成画像作製方法について説明する。 Hereinafter, the composite image production system S according to the embodiment and the composite image production method performed using the composite image production system S will be described with reference to the drawings.

合成画像作製システムＳは、パソコン、タブレット等である携帯端末１に実装されたハードウェア構成又はプログラムにより実現される機能によって構成されており、そのプログラムは、サーバ２からインターネット回線等を通じて、携帯端末１にダウンロードされたものである。 The composite image production system S is composed of a hardware configuration implemented in a mobile terminal 1 such as a personal computer or a tablet or a function realized by a program, and the program is a mobile terminal from the server 2 through an internet line or the like. It was downloaded to 1.

まず、図１を参照して、合成画像作製システムＳの構成について説明する。 First, the configuration of the composite image production system S will be described with reference to FIG.

合成画像作製システムＳは、合成画像（後述する一次合成画像Ｃ１、二次合成画像Ｃ２又は三次合成画像Ｃ３）を作製するための各種処理を行う処理部１０と、現実の景色を撮影するための撮影部１１と、ユーザに認識させるために各種情報及び画像を表示する表示部１２と、ユーザからの入力を受け付ける入力部１３とで構成されている。 The composite image creation system S includes a processing unit 10 that performs various processes for creating a composite image (primary composite image C1, secondary composite image C2, or tertiary composite image C3, which will be described later), and a processing unit 10 for capturing a real landscape. It is composed of a photographing unit 11, a display unit 12 that displays various information and images for the user to recognize, and an input unit 13 that receives input from the user.

撮影部１１は、携帯端末１に搭載されているカメラによって構成されている。表示部１２は、携帯端末１に搭載されているディスプレイによって構成されており、スピーカ等が併用されていてもよい。入力部１３は、携帯端末１に搭載されているタッチパネル及び各種ボタン等で構成されており、音声入力も可能となるようにマイク等が併用されていてもよい。 The photographing unit 11 is composed of a camera mounted on the mobile terminal 1. The display unit 12 is composed of a display mounted on the mobile terminal 1, and may be used in combination with a speaker or the like. The input unit 13 is composed of a touch panel and various buttons mounted on the mobile terminal 1, and may be used in combination with a microphone or the like so as to enable voice input.

処理部１０は、携帯端末１に搭載されているＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む１つ又は複数の電子回路ユニットにより構成されている。 The processing unit 10 is composed of one or a plurality of electronic circuit units including a CPU, RAM, ROM, an interface circuit, and the like mounted on the mobile terminal 1.

処理部１０は、実装されたハードウェア構成又はプログラムにより実現される機能として、複数の基準画像Ｐ１（図４参照）及び各々の基準画像Ｐ１に関連する各種データを格納している端末側記憶部１０ａ（データベース）と、画像処理を行って合成画像を作製する第１画像処理部１０ｂ、第２画像処理部１０ｃ及び第３画像処理部１０ｄとを備えている。 The processing unit 10 is a terminal-side storage unit that stores a plurality of reference images P1 (see FIG. 4) and various data related to each reference image P1 as a function realized by the implemented hardware configuration or program. It includes a 10a (database), a first image processing unit 10b, a second image processing unit 10c, and a third image processing unit 10d that perform image processing to produce a composite image.

ここで、「基準画像」とは、アニメーション、漫画等の所定の作品の１カットの画像であり、その作品のキャラクタ画像（例えば、図４におけるキャラクタ画像Ｐ１ａ）、及び、基準背景画像（例えば、図４における基準背景画像Ｐ１ｂ）からなる画像である。また、ここで、「基準背景画像」とは、現実の景色（例えば、図５における元画像Ｐ２）に基づいて作製されたイラスト又はＣＧ等の画像である。 Here, the "reference image" is a one-cut image of a predetermined work such as an animation or a cartoon, and a character image of the work (for example, the character image P1a in FIG. 4) and a reference background image (for example, for example). It is an image consisting of the reference background image P1b) in FIG. Further, here, the "reference background image" is an image such as an illustration or CG created based on a real scene (for example, the original image P2 in FIG. 5).

合成画像作製システムＳでは、所望の基準画像Ｐ１の基準背景画像Ｐ１ｂを、撮影部１１で現実の景色を撮影して取得した撮影画像Ｐ５に置き換えた画像（すなわち、撮影画像Ｐ５を背景画像とした画像）を作製するためのものである。 In the composite image production system S, the reference background image P1b of the desired reference image P1 is replaced with a captured image P5 obtained by photographing the actual scenery with the photographing unit 11 (that is, the captured image P5 is used as the background image). It is for making an image).

また、基準画像Ｐ１に関連する各種データには、基準画像Ｐ１の基準背景画像Ｐ１ｂと撮影画像Ｐ５との一致率を高めるために参照される情報、及び、一致率を高めるための処理に関する情報が含まれる。例えば、各種データには、各々の基準画像Ｐ１ごとに規定された撮影設定情報（例えば、撮影モード）、エフェクト情報、色調情報、使用が推奨される対物レンズの種類等が含まれる。 In addition, various data related to the reference image P1 include information referred to for increasing the matching rate between the reference background image P1b of the reference image P1 and the captured image P5, and information regarding processing for increasing the matching rate. included. For example, various data include shooting setting information (for example, shooting mode) defined for each reference image P1, effect information, color tone information, types of objective lenses recommended for use, and the like.

端末側記憶部１０ａは、サーバ２から携帯端末１にプログラムをダウンロードする際に、サーバ２のサーバ側記憶部２０から、複数の基準画像Ｐ１及び各々の基準画像Ｐ１に関連する各種データを取得して、格納する。 When the terminal-side storage unit 10a downloads the program from the server 2 to the mobile terminal 1, the terminal-side storage unit 10a acquires a plurality of reference images P1 and various data related to each reference image P1 from the server-side storage unit 20 of the server 2. And store it.

第１画像処理部１０ｂは、ユーザが選択した基準画像Ｐ１に対し、半透明化処理を施し、半透明化画像Ｐ３（図６において二点鎖線で示した画像）を作製する。 The first image processing unit 10b performs semi-transparency processing on the reference image P1 selected by the user to produce a semi-transparent image P3 (the image shown by the alternate long and short dash line in FIG. 6).

ここで、「半透明化処理」とは、基準画像Ｐ１を他の画像に重畳させた際に、少なくとも基準背景画像Ｐ１ｂ（すなわち、キャラクタ画像Ｐ１ａを除く部分）を半透明化して、半透明化した部分を透過して、他の画像を認識できるようにする処理をいう（図６参照）。そのため、キャラクタ画像Ｐ１ａに関しては、半透明化処理を行ってもよいし、行わなくてもよい。 Here, the "semi-transparency processing" means that when the reference image P1 is superimposed on another image, at least the reference background image P1b (that is, the portion excluding the character image P1a) is made semi-transparent to be semi-transparent. This is a process that allows other images to be recognized by making the removed part transparent (see FIG. 6). Therefore, the character image P1a may or may not be translucently processed.

第２画像処理部１０ｃは、基準画像Ｐ１からキャラクタ画像Ｐ１ａを抽出し、そのキャラクタ画像Ｐ１ａを撮影部１１による撮影画像Ｐ５に合成して、一次合成画像Ｃ１を作製する（図７参照）。 The second image processing unit 10c extracts the character image P1a from the reference image P1 and synthesizes the character image P1a with the captured image P5 by the photographing unit 11 to produce a primary composite image C1 (see FIG. 7).

なお、合成するキャラクタ画像Ｐ１ａは、必ずしも基準画像Ｐ１から抽出したものでなくてもよい。例えば、基準画像Ｐ１とは独立して、その基準画像Ｐ１に対応するキャラクタ画像Ｐ１ａが予め準備されている場合には、その予め準備されているキャラクタ画像Ｐ１ａを用いて合成画像を作製してもよい。 The character image P1a to be combined does not necessarily have to be extracted from the reference image P1. For example, if a character image P1a corresponding to the reference image P1 is prepared in advance independently of the reference image P1, a composite image may be created using the prepared character image P1a. good.

第３画像処理部１０ｄは、基準画像Ｐ１に関連する各種データに含まれるエフェクト情報に基づいて、一次合成画像Ｃ１に対して所定のエフェクトを付加して、二次合成画像Ｃ２（図８参照）を作製する。また、第３画像処理部１０ｄは、基準画像Ｐ１に関連する各種データに含まれる色調情報に基づいて、二次合成画像Ｃ２に対して色調の調整を行って、三次合成画像Ｃ３（図９参照）を作製する。 The third image processing unit 10d adds a predetermined effect to the primary composite image C1 based on the effect information included in various data related to the reference image P1 and adds a predetermined effect to the secondary composite image C2 (see FIG. 8). To make. Further, the third image processing unit 10d adjusts the color tone of the secondary composite image C2 based on the color tone information included in various data related to the reference image P1 to adjust the color tone of the secondary composite image C2, and then adjusts the color tone of the secondary composite image C3 (see FIG. 9). ) Is prepared.

次に、図１〜図９を参照して、合成画像作製システムＳが行う処理（すなわち、合成画像作製方法）について説明する。図２は、合成画像作製システムＳで撮影画像Ｐ５を取得する際に行われる処理を示すフローチャートである。また、図３は、合成画像作製システムＳで合成画像を作製する際に行われる処理を示すフローチャートである。 Next, with reference to FIGS. 1 to 9, a process (that is, a method for producing a composite image) performed by the composite image production system S will be described. FIG. 2 is a flowchart showing a process performed when the captured image P5 is acquired by the composite image production system S. Further, FIG. 3 is a flowchart showing a process performed when a composite image is produced by the composite image production system S.

まず、図１、図２、図４〜図６を参照して、合成画像作製システムＳで撮影画像Ｐ５を取得する際に行われる処理について説明する。 First, with reference to FIGS. 1, 2, and 4 to 6, a process performed when the captured image P5 is acquired by the composite image production system S will be described.

撮影画像Ｐ５を撮影するに際しては、まず、表示部１２が、端末側記憶部１０ａに格納されている複数の基準画像Ｐ１のうち選択対象となる基準画像Ｐ１を取得し、その基準画像Ｐ１を表示する（図２／ＳＴＥＰ１１）。 When shooting the captured image P5, first, the display unit 12 acquires the reference image P1 to be selected from the plurality of reference images P1 stored in the terminal side storage unit 10a, and displays the reference image P1. (Fig. 2 / STEP11).

各々の基準画像Ｐ１は、図４に示すように、キャラクタ画像Ｐ１ａ及び基準背景画像Ｐ１ｂからなる画像であり、アニメーション、漫画等の所定の作品の１カットの画像である。また、基準背景画像Ｐ１ｂは、図５に示す元画像Ｐ２のような現実の景色に基づいて作製されたイラスト又はＣＧ等の画像である。 As shown in FIG. 4, each reference image P1 is an image composed of a character image P1a and a reference background image P1b, and is a one-cut image of a predetermined work such as an animation or a cartoon. Further, the reference background image P1b is an illustration or an image such as CG created based on the actual scenery such as the original image P2 shown in FIG.

ユーザは、表示部１２に表示されて提示された複数の基準画像Ｐ１のうちから、作製しようとしている合成画像（すなわち、再現したい１カットの画像）に対応する基準画像Ｐ１を選択し、入力部１３を介して、その基準画像Ｐ１を指定する。 The user selects the reference image P1 corresponding to the composite image to be produced (that is, the one-cut image to be reproduced) from the plurality of reference images P1 displayed and presented on the display unit 12, and the input unit. The reference image P1 is designated via 13.

次に、処理部１０が、選択された基準画像Ｐ１を認識するとともに、その基準画像Ｐ１に関連する各種データを、端末側記憶部１０ａから取得して、認識する（図２／ＳＴＥＰ１２）。 Next, the processing unit 10 recognizes the selected reference image P1 and acquires and recognizes various data related to the reference image P1 from the terminal side storage unit 10a (FIG. 2 / STEP12).

ここで、認識する各種データとしては、選択された基準画像Ｐ１の基準背景画像Ｐ１ｂの元となる現実の背景を撮影した際の撮影モードの種類等を含む撮影設定情報、後述する処理において合成画像に付加するエフェクトの種類を指定するエフェクト情報、及び、合成画像に施す色調補正に関する色調情報が含まれる。 Here, as various data to be recognized, shooting setting information including the type of shooting mode when the actual background that is the source of the reference background image P1b of the selected reference image P1 is shot, and the composite image in the processing described later. It includes effect information that specifies the type of effect to be added to, and color tone information related to color tone correction applied to the composite image.

次に、第１画像処理部１０ｂが、選択された基準画像Ｐ１の基準背景画像Ｐ１ｂに半透明化処理を施して、半透明化画像Ｐ３を作製する（図２／ＳＴＥＰ１３）。このＳＴＥＰ１３が、合成画像作製方法における半透明化処理工程に該当する。 Next, the first image processing unit 10b performs semi-transparency processing on the reference background image P1b of the selected reference image P1 to produce a semi-transparent image P3 (FIG. 2 / STEP 13). This STEP 13 corresponds to the translucency processing step in the composite image producing method.

次に、撮影部１１が、その時点で撮影を行った場合に撮影画像として取得される画像である撮影予定画像Ｐ４を取得する（図２／ＳＴＥＰ１４）。 Next, the photographing unit 11 acquires the image to be photographed P4, which is an image acquired as a photographed image when the image is photographed at that time (FIG. 2 / STEP14).

次に、表示部１２が、半透明化画像Ｐ３と撮影予定画像Ｐ４とを重畳して表示する（図２／ＳＴＥＰ１５）。このＳＴＥＰ１５が、合成画像作製方法における重畳表示工程に該当する。 Next, the display unit 12 superimposes and displays the semi-transparent image P3 and the image to be photographed P4 (FIG. 2 / STEP 15). This STEP 15 corresponds to the superimposed display step in the composite image producing method.

具体的には、図６に示すように、携帯端末１の表示部１２に、表示部１２の内部で固定されている半透明化画像Ｐ３と、携帯端末１の位置等によってリアルタイムで変動する撮影予定画像Ｐ４とが、重畳して表示される。また、このとき、選択された基準画像Ｐ１に関連する撮影設定情報で指定されている撮影モードが、表示部１２の推奨モード表示部１２ａに表示される。 Specifically, as shown in FIG. 6, the semi-transparent image P3 fixed inside the display unit 12 on the display unit 12 of the mobile terminal 1 and the photographing that fluctuates in real time depending on the position of the mobile terminal 1 and the like. The scheduled image P4 is superimposed and displayed. At this time, the shooting mode specified in the shooting setting information related to the selected reference image P1 is displayed on the recommended mode display unit 12a of the display unit 12.

ユーザは、表示部１２に表示されている半透明化画像Ｐ３、撮影予定画像Ｐ４及び推奨される撮影モードを参照しつつ、撮影予定画像Ｐ４を半透明化画像Ｐ３に近づけるための調整（例えば、携帯端末１の位置の変更、撮影設定の変更等）を行い、撮影を行う。 The user makes adjustments (for example, for example) to bring the scheduled shooting image P4 closer to the semi-transparent image P3 while referring to the semi-transparent image P3, the scheduled shooting image P4, and the recommended shooting mode displayed on the display unit 12. Change the position of the mobile terminal 1, change the shooting settings, etc.) and shoot.

次に、撮影部１１が、ユーザが入力部１３を介して入力した指示に従って、撮影画像Ｐ５（図７参照）を取得する（図２／ＳＴＥＰ１６）。このＳＴＥＰ１６が、合成画像作製方法における撮影画像取得工程に該当する。 Next, the photographing unit 11 acquires the photographed image P5 (see FIG. 7) according to the instruction input by the user via the input unit 13 (FIG. 2 / STEP 16). This STEP 16 corresponds to the captured image acquisition step in the composite image producing method.

このように、合成画像作製システムＳでは、表示部１２に、キャラクタ画像Ｐ１ａ、及び、現実の景色（元画像Ｐ２）に基づいて作製された基準背景画像Ｐ１ｂからなる基準画像Ｐ１（すなわち、合成画像によって再現しようとしている作品の１カットの画像）を半透明化画像Ｐ３に変換して、撮影予定画像Ｐ４に重畳させて表示している。 As described above, in the composite image production system S, the display unit 12 has the character image P1a and the reference image P1 (that is, the composite image P1) composed of the reference background image P1b created based on the actual scenery (original image P2). (One-cut image of the work to be reproduced by

これにより、ユーザは、撮影予定画像Ｐ４を基準画像Ｐ１に近づけるための調整を直感的に行うことができるようになっている。その結果、取得される撮影画像Ｐ５と基準画像Ｐ１の基準背景画像Ｐ１ｂとの一致率（例えば、構造物同士の配置関係（すなわち、撮影角度）、色調等の一致率）を容易に向上させることができる。 As a result, the user can intuitively make adjustments for bringing the scheduled image P4 closer to the reference image P1. As a result, the matching rate between the acquired captured image P5 and the reference background image P1b of the reference image P1 (for example, the matching rate between the structures (that is, the shooting angle), the color tone, etc.) can be easily improved. Can be done.

次に、図１、図３、図７〜図９を参照して、合成画像作製システムＳで合成画像を作製する際に行われる処理について説明する。 Next, with reference to FIGS. 1, 3, and 7 to 9, a process performed when a composite image is produced by the composite image production system S will be described.

合成画像を作製するに際しては、まず、第２画像処理部１０ｃが、選択された基準画像Ｐ１から、キャラクタ画像Ｐ１ａを抽出する（図３／ＳＴＥＰ２１）。 When producing the composite image, first, the second image processing unit 10c extracts the character image P1a from the selected reference image P1 (FIG. 3 / STEP21).

次に、第２画像処理部１０ｃが、取得された撮影画像Ｐ５に抽出されたキャラクタ画像Ｐ１ａを合成して、一次合成画像Ｃ１を作製する（図３／ＳＴＥＰ２２）。このＳＴＥＰ２１が、合成画像作製方法における合成画像作製工程に該当する。 Next, the second image processing unit 10c synthesizes the extracted character image P1a with the acquired photographed image P5 to produce a primary composite image C1 (FIG. 3 / STEP22). This STEP 21 corresponds to the composite image production step in the composite image production method.

具体的には、第２画像処理部１０ｃは、基準画像Ｐ１の基準背景画像Ｐ１ｂに対するキャラクタ画像Ｐ１ａの配置位置を参照して、撮影画像Ｐ５に対するキャラクタ画像Ｐ１ａの配置位置を認識した後、認識された配置位置に基づいて、背景画像Ｐ５上にキャラクタ画像Ｐ１ａを配置する。 Specifically, the second image processing unit 10c refers to the arrangement position of the character image P1a with respect to the reference background image P1b of the reference image P1, recognizes the arrangement position of the character image P1a with respect to the captured image P5, and then recognizes the image P1a. The character image P1a is arranged on the background image P5 based on the arrangement position.

これにより、図７に示すように、基準画像Ｐ１（図４参照）と同様の構図を有し、基準背景画像Ｐ１ｂを撮影画像Ｐ５に置き換えた合成画像が、一次合成画像Ｃ１として作製される。 As a result, as shown in FIG. 7, a composite image having the same composition as the reference image P1 (see FIG. 4) and replacing the reference background image P1b with the captured image P5 is produced as the primary composite image C1.

次に、第３画像処理部１０ｄが、選択された基準画像Ｐ１に関連する各種データに含まれるエフェクト情報を認識し、そのエフェクト情報で指定されているエフェクトを一次合成画像Ｃ１に適用して、二次合成画像Ｃ２を作製する（図３／ＳＴＥＰ２３）。 Next, the third image processing unit 10d recognizes the effect information included in various data related to the selected reference image P1, and applies the effect specified in the effect information to the primary composite image C1. A secondary composite image C2 is prepared (Fig. 3 / STEP23).

例えば、再現しようとする１カットに含まれるキャラクタ画像が、幽霊のようなキャラクタの画像である場合、第３画像処理部１０ｄは、一次合成画像Ｃ１のキャラクタ画像Ｐ１ａに対し、時間とともに、部分ごとに色調を変化させる処理（キャラクタ画像Ｐ１ａの下方側ほど、明るさが暗く、シャープネスが低く、透過率が高くなる処理）を行う。すなわち、キャラクタ画像Ｐ１ａそのものを連続的に変化させるエフェクトを付加する（すなわち、アニメーション化する）。 For example, when the character image included in one cut to be reproduced is an image of a ghost-like character, the third image processing unit 10d compares the character image P1a of the primary composite image C1 with respect to each part with time. A process of changing the color tone (a process in which the brightness is darker, the sharpness is lower, and the transparency is higher toward the lower side of the character image P1a) is performed. That is, an effect that continuously changes the character image P1a itself is added (that is, animated).

これにより、図８に示すように、複数のカットからなる作品の１シーンを再現した合成画像（換言すれば、合成動画）が、二次合成画像Ｃ２として作製される。 As a result, as shown in FIG. 8, a composite image (in other words, a composite moving image) that reproduces one scene of the work composed of a plurality of cuts is produced as the secondary composite image C2.

次に、第３画像処理部１０ｄが、選択された基準画像Ｐ１に関連する各種データに含まれる色調情報を認識し、その色調情報に含まれる色調（明るさ、コントラスト、彩度、カラーバランス等）と、二次合成画像Ｃ２の背景画像Ｐ５の色調とを比較する（図３／ＳＴＥＰ２４）。 Next, the third image processing unit 10d recognizes the color tone information included in various data related to the selected reference image P1, and the color tone (brightness, contrast, saturation, color balance, etc.) included in the color tone information. ) And the color tone of the background image P5 of the secondary composite image C2 (FIG. 3 / STEP24).

比較の結果、色調の一致率が所定の閾値を超える場合（図３／ＳＴＥＰ２５でＮＯの場合）には、合成画像作製システムＳは、処理を終了する。 As a result of the comparison, when the color tone matching rate exceeds a predetermined threshold value (NO in FIG. 3 / STEP25), the composite image production system S ends the process.

一方、比較の結果、色調の一致率が所定の閾値以下である場合（図３／ＳＴＥＰ２５でＹＥＳの場合）には、第３画像処理部１０ｄが、二次合成画像Ｃ２の色調が色調情報に含まれる色調（明るさ、コントラスト、彩度、カラーバランス等）に近づくように、二次合成画像Ｃ２の色調を補正して、三次合成画像Ｃ３を作製する（図３／ＳＴＥＰ２６）。 On the other hand, as a result of comparison, when the color tone matching rate is equal to or less than a predetermined threshold value (YES in FIG. 3 / STEP 25), the third image processing unit 10d uses the color tone of the secondary composite image C2 as the color tone information. The color tone of the secondary composite image C2 is corrected so as to approach the included color tone (brightness, contrast, saturation, color balance, etc.), and the tertiary composite image C3 is produced (FIG. 3 / STEP26).

例えば、基準画像Ｐ１（すなわち、再現しようとしている１カット）が夕方の画像であり、撮影画像Ｐ５が昼間に撮影された画像であるような場合、撮影画像Ｐ５全体の明るさを下げるように色調を補正する。 For example, when the reference image P1 (that is, one cut to be reproduced) is an evening image and the captured image P5 is an image captured in the daytime, the color tone is adjusted so as to reduce the brightness of the entire captured image P5. To correct.

これにより、図９に示すように、背景画像である基準画像Ｐ５の色調が再現しようとしている１カットの色調に近づけられた合成画像が、三次合成画像Ｃ３として作製される。 As a result, as shown in FIG. 9, a composite image in which the color tone of the reference image P5, which is the background image, is close to the color tone of the one cut to be reproduced is produced as the tertiary composite image C3.

なお、本実施形態では、合成画像作製システムＳで合成画像を作製する際に行われる処理として、第２画像処理部１０ｃによるエフェクトの付加（ＳＴＥＰ２１〜ＳＴＥＰ２２の処理）を行った後、第３画像処理部１０ｄによる色調補正（ＳＴＥＰ２３〜ＳＴＥＰ２６）を示したが、本発明において、合成画像を作製する際に行われる処理は、そのような処理に限定されるものではない。 In the present embodiment, as a process performed when the composite image is created by the composite image creation system S, an effect is added by the second image processing unit 10c (processes of STEP21 to STEP22), and then the third image is displayed. Although the color tone correction (STEP23 to STEP26) by the processing unit 10d is shown, the processing performed when producing the composite image in the present invention is not limited to such processing.

例えば、色調補正を行った後にエフェクトの付加を行ってもよい。また、エフェクトの付加及び色調補正のいずれか一方を省略してもよい。また、エフェクトの付加及び色調補正を省略して、一次合成画像Ｃ１を作製した段階で処理を終了してもよい。 For example, the effect may be added after the color tone correction is performed. Further, either the addition of the effect or the color tone correction may be omitted. Further, the processing may be terminated at the stage where the primary composite image C1 is produced by omitting the addition of the effect and the color tone correction.

以上説明したように、合成画像作製システムＳ、及び、その合成画像作製システムＳを用いて行われる合成画像作製方法によれば、撮影画像Ｐ５を取得する際に、基準画像Ｐ１の基準背景画像Ｐ１ｂとの一致率の高い撮影画像Ｐ５を取得することができる。また、その撮影画像Ｐ５を用いて作製した合成画像を作製する際に、その合成画像に対し、基準画像Ｐ１に近づけるための種々の処理（エフェクトの付加、色調補正等）が施される。 As described above, according to the composite image production system S and the composite image production method performed using the composite image production system S, when the captured image P5 is acquired, the reference background image P1b of the reference image P1 is obtained. It is possible to acquire a captured image P5 having a high matching rate with. Further, when a composite image produced by using the captured image P5 is produced, various processes (addition of effects, color tone correction, etc.) are applied to the composite image to bring it closer to the reference image P1.

これにより、合成画像作製システムＳ、及び、その合成画像作製システムＳを用いて行われる合成画像作製方法によって作製された合成画像は、所望の作品の１カットについて、再現率の高いものとなる。 As a result, the composite image production system S and the composite image produced by the composite image production method performed using the composite image production system S have a high recall rate for one cut of the desired work.

以上、図示の実施形態について説明したが、本発明はこのような形態に限られるものではない。 Although the illustrated embodiment has been described above, the present invention is not limited to such an embodiment.

例えば、上記実施形態においては、携帯端末１のみを用いて合成画像作製システムＳが構成されている。しかし、本発明の合成画像作製システムは、携帯端末のみによって構成されるものに限定されるものではなく、有線又は無線によって接続されている複数の電子回路ユニットによって構成されていてもよい。 For example, in the above embodiment, the composite image production system S is configured using only the mobile terminal 1. However, the composite image production system of the present invention is not limited to the one composed only of the mobile terminal, and may be composed of a plurality of electronic circuit units connected by wire or wirelessly.

例えば、携帯端末１の撮影部１１、表示部１２に代わり、携帯端末１とは独立したデジタルカメラ等の撮影装置、ディスプレイ等の表示装置を採用してもよい。また、処理部１０の第１画像処理部１０ｂ、第２画像処理部１０ｃ及び第３画像処理部１０ｄを、携帯端末１ではなく、サーバ２に実装されたハードウェア構成又はプログラムにより実現される機能として構成してもよい。また、データベースとして、携帯端末１の端末側記憶部１０ａに代わり、サーバ２のサーバ側記憶部２０を直接用いてもよい。 For example, instead of the photographing unit 11 and the display unit 12 of the mobile terminal 1, a photographing device such as a digital camera and a display device such as a display, which are independent of the mobile terminal 1, may be adopted. Further, a function realized by mounting the first image processing unit 10b, the second image processing unit 10c, and the third image processing unit 10d of the processing unit 10 on the server 2 instead of the mobile terminal 1 by a hardware configuration or a program. It may be configured as. Further, as the database, the server-side storage unit 20 of the server 2 may be directly used instead of the terminal-side storage unit 10a of the mobile terminal 1.

また、上記実施形態においては、第３画像処理部１０ｄによって、キャラクタ画像Ｐ１ａに対し、エフェクトを付加してアニメーション化するとともに、背景画像とした撮影画像Ｐ５に対し、色調補正を施している。しかし、本発明の合成画像作製システムは、このような構成に限定されるものではない。 Further, in the above embodiment, the third image processing unit 10d adds an effect to the character image P1a to animate it, and corrects the color tone of the captured image P5 as the background image. However, the composite image production system of the present invention is not limited to such a configuration.

例えば、付加するエフェクトは、アニメーション化するためのものに限定されるものではなく、また、１種類だけに限定されるものでもない。例えば、アニメーション化とともに、音声を付加してもよい。 For example, the effect to be added is not limited to the one for animation, and is not limited to only one type. For example, audio may be added along with the animation.

また、例えば、色調補正の種類は、基準画像で規定されている光源の位置に基づいて、撮影画像の領域ごとの明るさ、コントラスト、彩度、カラーバランス等を調整するものに限定されるものではなく、再現したいカットの再現率を高めるためのものであればよい。具体的には、再現したいカットがモノクロである場合には、背景画像に対し、モノクロ化処理を施せばよい。 Further, for example, the type of color tone correction is limited to adjusting the brightness, contrast, saturation, color balance, etc. of each area of the captured image based on the position of the light source defined in the reference image. Instead, it may be used to increase the recall rate of the cut to be reproduced. Specifically, when the cut to be reproduced is monochrome, the background image may be subjected to monochrome processing.

また、上記実施形態においては、表示部１２に、半透明化画像Ｐ３及び撮影予定画像Ｐ４とともに、推奨される撮影設定として推奨される撮影モードを表示している。これは、ユーザに適切な撮影設定を容易に把握させて、取得される撮影画像Ｐ５と基準背景画像Ｐ１ｂとの一致率を高めるためである。しかし、本発明の合成画像作製システムはそのような構成に限定されるものではない。 Further, in the above embodiment, the display unit 12 displays the semi-transparent image P3 and the planned shooting image P4 together with the shooting mode recommended as the recommended shooting setting. This is for making the user easily grasp the appropriate shooting settings and increasing the matching rate between the acquired shot image P5 and the reference background image P1b. However, the composite image production system of the present invention is not limited to such a configuration.

例えば、撮影設定情報として撮影モードではなく、シャッタースピード、開口数等が１つ１つ具体的に規定されている場合には、それらを個別に表示してもよい。一方、基準画像とともに認識される各種データに撮影設定情報が含まれていない場合等には、表示部に推奨される撮影設定を表示しなくてもよい。 For example, when the shutter speed, the numerical aperture, and the like are specifically specified one by one instead of the shooting mode as the shooting setting information, they may be displayed individually. On the other hand, when the shooting setting information is not included in the various data recognized together with the reference image, it is not necessary to display the recommended shooting setting on the display unit.

１…携帯端末、２…サーバ、１０…処理部、１０ａ…端末側記憶部（データベース）、１０ｂ…第１画像処理部、１０ｃ…第２画像処理部、１０ｄ…第３画像処理部、１１…撮影部、１２…表示部、１２ａ…推奨モード表示部、１３…入力部、２０…サーバ側記憶部、Ｃ１…一次合成画像、Ｃ２…二次合成画像、Ｃ３…三次合成画像、Ｐ１…基準画像、Ｐ１ａ…キャラクタ画像、Ｐ１ｂ…基準背景画像、Ｐ２…元画像、Ｐ３…半透明化画像、Ｐ４…撮影予定画像、Ｐ５…撮影画像、Ｓ…合成画像作製システム。 1 ... Mobile terminal, 2 ... Server, 10 ... Processing unit, 10a ... Terminal side storage unit (database), 10b ... First image processing unit, 10c ... Second image processing unit, 10d ... Third image processing unit, 11 ... Shooting unit, 12 ... Display unit, 12a ... Recommended mode display unit, 13 ... Input unit, 20 ... Server side storage unit, C1 ... Primary composite image, C2 ... Secondary composite image, C3 ... Tertiary composite image, P1 ... Reference image , P1a ... Character image, P1b ... Reference background image, P2 ... Original image, P3 ... Semi-transparent image, P4 ... Shooting scheduled image, P5 ... Shooting image, S ... Composite image production system.

Claims (7)

映像作品の１カットの画像を再現するために、現実の背景画像に仮想のキャラクタ画像を重畳させた合成画像を作製する合成画像作製システムであって、
撮影部と、
その時点で撮影を行った場合に前記撮影部に撮影画像として取得される画像である撮影予定画像を表示する表示部と、
前記キャラクタ画像、及び、現実の景色に基づいて作製された基準背景画像からなり、前記１カットの画像と同じ構図である基準画像を格納しているデータベースと、
前記基準画像に対し、少なくとも前記基準背景画像を半透明化する半透明化処理を施す第１画像処理部と、
前記撮影部によって取得された前記撮影画像及び前記基準画像に基づいて、前記合成画像を作製する第２画像処理部と、
入力部とを備え、
前記表示部は、前記撮影画像と前記基準背景画像との一致率をユーザに判別させるために、前記第１画像処理部によって半透明化処理が施された前記基準画像を、前記撮影予定画像に重畳させて表示し、
前記撮影部は、前記表示部が前記基準画像を前記撮影予定画像に重畳させて表示した後に前記入力部を介して入力された指示に従って、前記撮影画像を取得し、
前記第２画像処理部は、前記撮影画像に前記基準画像から抽出された前記キャラクタ画像を、前記基準背景画像に対する前記キャラクタ画像の配置位置を参照して前記撮影画像に配置することによって合成して、前記合成画像を作製することを特徴とする合成画像作製システム。 A composite image creation system that creates a composite image in which a virtual character image is superimposed on a real background image in order to reproduce a one-cut image of a video work.
With the shooting department
A display unit for displaying the photographed target image is an image that is acquired as a photographed image on the imaging unit when performing photographing at that time,
The character image, and a database that stores Ri Do from the reference background image prepared based on the actual landscape, the same composition der Ru reference image and the one cut image,
A first image processing unit that performs semi-transparency processing on the reference image to at least make the reference background image semi-transparent.
Based on the acquired captured image and the reference image by the imaging unit, a second image processing unit to produce the composite image,
Equipped with an input section
The display unit uses the reference image, which has been translucently processed by the first image processing unit, into the image to be photographed in order to allow the user to determine the matching rate between the captured image and the reference background image. Display by superimposing
The photographing unit acquires the photographed image according to an instruction input via the input unit after the display unit superimposes the reference image on the image to be photographed and displays the image.
The second image processing unit synthesizes the captured image by arranging the character image extracted from the reference image on the captured image with reference to the arrangement position of the character image with respect to the reference background image. , A composite image production system characterized by producing the composite image. 請求項１に記載の合成画像作製システムにおいて、
前記データベースは、前記基準画像とともに、該基準画像に対応する撮影設定情報を格納し、
前記表示部は、前記撮影設定情報を表示することを特徴とする合成画像作製システム。 In the composite image production system according to claim 1,
The database stores the shooting setting information corresponding to the reference image together with the reference image.
The display unit is a composite image production system characterized by displaying the shooting setting information. 請求項２に記載の合成画像作製システムにおいて、
前記撮影設定情報は、前記基準背景画像の元となる前記現実の景色を撮影した際の撮影モードであることを特徴とする合成画像作製システム。 In the composite image production system according to claim 2.
A composite image production system characterized in that the shooting setting information is a shooting mode when the actual scenery that is the source of the reference background image is shot. 請求項１〜請求項３いずれか１項に記載の合成画像作製システムにおいて、
前記合成画像に、前記基準画像に対応する所定の画像処理を施す第３画像処理部を備えていることを特徴とする合成画像作製システム。 In the composite image production system according to any one of claims 1 to 3.
A composite image production system characterized in that the composite image is provided with a third image processing unit that performs predetermined image processing corresponding to the reference image. 請求項４に記載の合成画像作製システムにおいて、
前記データベースは、前記基準画像とともに、該基準画像に対応するエフェクト情報を格納し、
前記第３画像処理部によって施される画像処理には、前記エフェクト情報に基づく、前記キャラクタ画像に対するエフェクトの付加が含まれていることを特徴とする合成画像作製システム。 In the composite image production system according to claim 4,
The database stores the reference image and the effect information corresponding to the reference image.
A composite image production system characterized in that the image processing performed by the third image processing unit includes addition of an effect to the character image based on the effect information. 請求項４又は請求項５に記載の合成画像作製システムにおいて、
前記データベースは、前記基準画像とともに、該基準画像に対応する色調情報を格納し、
前記第３画像処理部によって施される画像処理には、前記色調情報に基づく、前記撮影画像に対する色調補正が含まれていることを特徴とする合成画像作製システム。 In the composite image production system according to claim 4 or 5.
The database stores the color tone information corresponding to the reference image together with the reference image.
A composite image production system characterized in that the image processing performed by the third image processing unit includes color tone correction for the captured image based on the color tone information. 映像作品の１カットの画像を再現するために、現実の背景画像に仮想のキャラクタ画像を重畳させた合成画像を作製する合成画像作製方法であって、
第１画像処理部が、前記キャラクタ画像、及び、現実の景色に基づいて作製された基準背景画像からなり、前記１カットの画像と同じ構図である基準画像に対し、少なくとも前記基準背景画像を半透明化する半透明化処理を施す半透明化処理工程と、
表示部が、その時点で撮影を行った場合に撮影部に撮影画像として取得される画像である撮影予定画像を表示するとともに、前記撮影画像と前記基準背景画像との一致率をユーザに判別させるために、半透明化処理の施された前記基準画像を、該撮影予定画像に重畳させて表示する重畳表示工程と、
前記撮影部が、前記表示部が前記基準画像を前記撮影予定画像に重畳させて表示した後に入力部を介して入力された指示に従って、前記撮影画像を取得する撮影画像取得工程と、
第２画像処理部が、認識された前記撮影画像に、前記基準画像から抽出された前記キャラクタ画像を、前記基準背景画像に対する前記キャラクタ画像の配置位置を参照して前記撮影画像に配置することによって合成して、前記合成画像を作製する合成画像作製工程とを備えていることを特徴とする合成画像作製方法。 It is a composite image creation method that creates a composite image in which a virtual character image is superimposed on a real background image in order to reproduce a one-cut image of a video work.
The first image processing unit, the character image, and, Ri Do from the reference background image prepared based on the actual landscape, for the same composition der Ru reference image and the one cut image, at least the reference background image A semi-transparency treatment process that performs a semi-transparency treatment to make the image semi-transparent,
The user display unit, in together when displaying the captured target image is an image acquired by the captured image to the imaging unit when performing photographing at that time, the match rate between the reference background image and the captured image A superimposition display step of superimposing the reference image subjected to the semitransparent processing on the planned shooting image and displaying the image in order to discriminate between the two.
A photographing image acquisition step in which the photographing unit acquires the photographed image according to an instruction input via the input unit after the display unit superimposes the reference image on the planned image to be photographed and displays the reference image.
The second image processing unit arranges the character image extracted from the reference image on the recognized image by referring to the arrangement position of the character image with respect to the reference background image. A method for producing a composite image, which comprises a composite image producing step of synthesizing and producing the composite image.

Images