JP7313847B2

JP7313847B2 - Photography system, photography device, management device and photography method

Info

Publication number: JP7313847B2
Application number: JP2019043388A
Authority: JP
Inventors: 彩人藤井; 泰生堤
Original assignee: Nippon Television Network Corp
Current assignee: Nippon Television Network Corp
Priority date: 2019-03-11
Filing date: 2019-03-11
Publication date: 2023-07-25
Anticipated expiration: 2039-03-11
Also published as: JP2020150289A; JP2023153790A

Description

本発明は、撮影システム、撮影装置、管理装置及び撮影方法に関する。 The present invention relates to an imaging system, an imaging apparatus, a management apparatus, and an imaging method.

従来、利用者を含む被写体をカメラで撮影し、その撮影画像と付加画像とを合成した合成画像を印刷写真として出力する遊戯用の自動写真作成装置がある。 2. Description of the Related Art Conventionally, there is an automatic photo-creating apparatus for amusement that takes a picture of a subject including a user with a camera and outputs a composite image obtained by synthesizing the photographed image and an additional image as a printed photograph.

しかし、上記の自動写真作成装置は、装置メーカが、付加画像としての画像ソースを別に作成して予め装置に記憶させておき、それを利用者が編集作業で利用するようになっている。従って、利用者は、装置メーカ側で予め用意された付加画像を利用するしかなく、十分な満足感を得ることができない。 However, in the above-described automatic photo production apparatus, the apparatus maker separately prepares an image source as an additional image and stores it in the apparatus in advance, and the user uses it for editing work. Therefore, the user has no choice but to use the additional image prepared in advance by the device maker, and cannot obtain sufficient satisfaction.

そこで、先行被写体の撮影画像やその編集画像を、後続被写体としての利用者の撮影画像に付加するための新たな付加画像として登録することができる自動写真作成装置が発明されている（特許文献１）。尚、先行被写体は、パブリシティ権や商品化権が認められ得る付加価値を有する人、例えば、タレント等である。これにより、タレント等と並んだ写真を撮影することができ、従来にはない満足感が得られるとしている。 Therefore, an automatic photograph creation apparatus has been invented that can register a photographed image of a preceding subject and an edited image thereof as a new additional image to be added to a photographed image of a user as a subsequent subject (Patent Document 1). Note that the preceding subject is a person with added value for which publicity rights and commercialization rights can be recognized, such as celebrities. As a result, it is possible to take photos side by side with celebrities, etc., and it is said that a sense of satisfaction that has never existed before can be obtained.

特開2008-005401号公報Japanese Patent Application Laid-Open No. 2008-005401

ところで、上記自動写真作成装置の付加画像が静止画であり、上記自動写真作成装置の目的は、ユーザとタレント等とが並んだ写真を提供することである。 By the way, the additional image of the automatic photo production device is a still image, and the purpose of the automatic photo production device is to provide a photograph in which the user and the celebrity are arranged side by side.

しかしながら、上記自動写真作成装置は、ユーザは、タレント等と同じ空間を共有するような体験をすることができず、単なる合成写真の提供に留まっており、ユーザに十分な満足感を与えるものではなかった。 However, the above-described automatic photograph creation device does not allow the user to experience sharing the same space as the celebrity, etc., and merely provides a composite photograph, which does not give the user a sufficient sense of satisfaction.

そこで、本発明は、ユーザがタレント等の演者と同じ空間を共有するような体験を得ることができるともに、ユーザがその体験の記録画像を得ることができる撮影システム、撮影装置、管理装置及び撮影方法を提供することにある。 Accordingly, it is an object of the present invention to provide a photographing system, a photographing device, a management device, and a photographing method that enable the user to experience the experience of sharing the same space with a performer such as a talent, and to obtain a recorded image of the experience.

本発明の一態様は、管理装置と、少なくとも１以上の撮影装置と、を備え、前記管理装置は、演者の拡張現実用映像データ及び音声データを含むコンテンツデータを記憶する記憶部と、前記コンテンツデータの使用を許可する撮影装置に、前記コンテンツデータを送信するコンテンツデータ管理部と、前記撮影装置から送信される記録画像を保存し、保存場所を示す保存場所情報を前記撮影装置に送信する保存部と、を備え、前記撮影装置は、ユーザを撮影するカメラと、表示部と、前記管理装置から受信したコンテンツデータを記憶する記憶部と、前記コンテンツデータを用いたコンテンツのコンテンツ一覧を表示し、前記コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付けるコンテンツ選択部と、ユーザにより選択されたコンテンツのコンテンツデータの拡張現実用映像データと、前記カメラが撮影したユーザの撮影映像とを合成して合成映像を生成し、前記合成映像を前記表示部に表示し、かつ、前記合成映像の少なくとも一部を記録画像として記録する映像合成部と、前記ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力する音声出力部と、前記記録画像を、前記管理装置に送信する送信部と、前記保存場所情報を受信し、前記保存場所を示す情報を前記表示部に表示する保存場所提示部と、を備える撮影システムである。 One aspect of the present invention includes a management device and at least one or more image capture devices, wherein the management device includes a storage unit that stores content data including augmented reality video data and audio data of actors, a content data management unit that transmits the content data to a capture device that permits use of the content data, and a storage unit that saves a recorded image transmitted from the capture device and transmits storage location information indicating a storage location to the capture device, wherein the capture device includes a camera that captures a user, a display unit, and the management. a storage unit for storing content data received from a device; a content selection unit for displaying a content list of content using the content data and receiving a selection of content desired by a user from the content list; a video synthesizing unit for synthesizing augmented reality video data of the content data of the content selected by the user and the video captured by the user captured by the camera to generate a composite video; displaying the composite video on the display unit; The imaging system includes an audio output unit that uses audio data to output the voice of the performer in synchronization with the synthesized video displayed on the display unit, a transmission unit that transmits the recorded image to the management device, and a storage location presentation unit that receives the storage location information and displays information indicating the storage location on the display unit.

本発明の一態様は、ユーザを撮影するカメラと、表示部と、コンテンツを管理する管理装置から、演者の拡張現実用映像データ及び音声データを含むコンテンツデータを受信する受信部と、前記受信したコンテンツデータを記憶する記憶部と、前記コンテンツデータを用いたコンテンツのコンテンツ一覧を表示し、前記コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付けるコンテンツ選択部と、ユーザにより選択されたコンテンツのコンテンツデータの拡張現実用映像データと、前記カメラが撮影したユーザの撮影映像とを合成して合成映像を生成し、前記合成映像を前記表示部に表示し、かつ、前記合成映像の少なくとも一部を記録画像として記録する映像合成部と、前記ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力する音声出力部と、前記記録画像を、保存のために前記管理装置に送信する送信部と、前記記録画像の保存場所を示す保存場所情報を、前記管理装置から受信し、前記保存場所を示す情報を前記表示部に表示する保存場所提示部と、を備える撮影装置である。 One aspect of the present invention includes a camera that captures a user, a display unit, a receiving unit that receives content data including augmented reality video data and audio data of a performer from a management device that manages content, a storage unit that stores the received content data, a content selection unit that displays a content list of content using the content data, and accepts selection of content desired by the user from the content list, an augmented reality video data of the content data of the content selected by the user, and the user’s captured video captured by the camera, and synthesized. a video synthesizing unit that generates a video, displays the synthesized video on the display unit, and records at least part of the synthesized video as a recorded image; an audio output unit that uses audio data of content data of content selected by the user to output the voice of the performer in synchronization with the synthesized video displayed on the display unit; a transmission unit that transmits the recorded image to the management device for storage; and a storage location presentation unit for displaying.

本発明の一態様は、管理装置と、少なくとも１以上の撮影装置と、を備える撮影システムにおける管理装置であって、前記撮影装置で使用される、演者の拡張現実用映像データ及び音声データを含むコンテンツデータを記憶する記憶部と、前記コンテンツデータの使用を許可する撮影装置に、前記コンテンツデータを送信するコンテンツデータ管理部と、前記演者の拡張現実用映像データと、前記撮影装置で撮影されたユーザの撮影映像とを合成した合成映像の少なくとも一部を含む記録画像を、前記撮影装置から受信し、前記記録画像を保存し、保存場所を示す保存場所情報を前記撮影装置に送信する保存部と、を備える管理装置である。 One aspect of the present invention is a management device in a photography system comprising a management device and at least one or more photography devices, wherein a storage unit stores content data including augmented reality video data and audio data of a performer used in the photography device, a content data management unit transmits the content data to a photography device permitted to use the content data, and receives a recorded image including at least part of a synthesized video obtained by synthesizing the augmented reality video data of the actor and a video shot of a user shot by the photography device from the photography device. and a storage unit that stores the recorded image and transmits storage location information indicating a storage location to the imaging device.

本発明の一態様は、管理装置と、少なくとも１以上の撮影装置と、を備える撮影システムにおける撮影方法であって、前記管理装置は、演者の拡張現実用映像データ及び音声データを含むコンテンツデータを、前記コンテンツデータの使用を許可する撮影装置に送信し、前記撮影装置は、前記管理装置からコンテンツデータを受信し、受信したコンテンツデータを記憶し、前記撮影装置は、前記コンテンツデータを用いたコンテンツのコンテンツ一覧を表示し、前記コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付け、前記撮影装置は、ユーザにより選択されたコンテンツのコンテンツデータの拡張現実用映像データと、前記カメラが撮影したユーザの撮影映像とを合成して合成映像を生成し、前記合成映像を、前記撮影装置の表示部に表示し、前記撮影装置は、前記ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力し、前記撮影装置は、前記合成映像の少なくとも一部を記録画像として記録し、前記撮影装置は、前記記録画像を、前記管理装置に送信し、前記管理装置は、前記撮影装置から送信される記録画像を保存し、保存場所を示す保存場所情報を前記撮影装置に送信し、前記撮影装置は、前記保存場所情報を受信し、前記保存場所を示す情報を前記表示部に表示する撮影方法である。 One aspect of the present invention is a filming method in a filming system comprising a management device and at least one or more filming devices, wherein the management device transmits content data including augmented reality video data and audio data of an actor to a filming device permitted to use the content data, the filming device receives content data from the management device, stores the received content data, the filming device displays a content list of content using the content data, accepts selection of content desired by a user from the content list, and filming. A device generates a composite video by synthesizing augmented reality video data of content data of content selected by a user and a video captured by the user captured by the camera, displays the composite video on a display unit of the imaging device, uses audio data of the content data of the content selected by the user to output the voice of the performer in synchronization with the composite video displayed on the display unit, The imaging device records at least a part of the composite video as a recorded image, The imaging device records the recorded image, The management device stores the recorded image transmitted from the imaging device, transmits storage location information indicating a storage location to the imaging device, the imaging device receives the storage location information, and displays information indicating the storage location on the display unit.

本発明は、ユーザが演者と同じ空間を共有するような体験を得ることができるともに、ユーザがその体験の記録画像を得ることができる。 The present invention allows the user to have the experience of sharing the same space with the performer, and allows the user to obtain a recorded image of that experience.

図１は本実施形態における撮影システムの全体構成例を示す図である。FIG. 1 is a diagram showing an example of the overall configuration of an imaging system according to this embodiment. 図２は撮影装置１のブロック図である。FIG. 2 is a block diagram of the imaging device 1. As shown in FIG. 図３は映像処理部１５４が行う合成映像の合成処理を説明するための図である。FIG. 3 is a diagram for explaining the synthesizing process of the synthetic video performed by the video processing unit 154. As shown in FIG. 図４はコンテンツデータベースの一例を示した図である。FIG. 4 is a diagram showing an example of the content database. 図５は設定データの一例を示した図である。FIG. 5 is a diagram showing an example of setting data. 図６は撮影装置１の外観を示す図である。FIG. 6 is a diagram showing the appearance of the photographing device 1. As shown in FIG. 図７は管理サーバ２のブロック図である。FIG. 7 is a block diagram of the management server 2. As shown in FIG. 図８は撮影装置管理データベースの一例である。FIG. 8 is an example of an imaging device management database. 図９は決済サーバ３のブロック図である。FIG. 9 is a block diagram of the settlement server 3. As shown in FIG. 図１０は装置間のシーケンス図である。FIG. 10 is a sequence diagram between devices. 図１１は撮影装置１の設定処理（Ｓｔｅｐ１）の動作フローチャートである。FIG. 11 is an operation flowchart of the setting process (Step 1) of the photographing device 1. As shown in FIG. 図１２は管理サーバ２の管理処理（Ｓｔｅｐ２）の動作フローチャートである。FIG. 12 is an operational flowchart of the management process (Step 2) of the management server 2. As shown in FIG. 図１３は撮影処理（Ｓｔｅｐ３）の動作フローチャートである。FIG. 13 is an operation flowchart of the photographing process (Step 3). 図１４は操作入力部１３に表示されるコンテンツの選択画面の一例である。FIG. 14 is an example of a content selection screen displayed on the operation input unit 13 . 図１５は操作入力部１３に表示される利用料金画面の一例である。FIG. 15 is an example of a charge screen displayed on the operation input unit 13. As shown in FIG. 図１６は保存場所のアドレスを示す二次元コードが表示された画面の一例である。FIG. 16 is an example of a screen displaying a two-dimensional code indicating the address of the storage location. 図１７は端末４にダウンロードされた記録画像が、端末４のディスプレイに表示された場合の一例である。FIG. 17 shows an example in which a recorded image downloaded to the terminal 4 is displayed on the display of the terminal 4. FIG. 図１８は第２の実施の形態における撮影システムの全体構成例を示す図である。FIG. 18 is a diagram showing an example of the overall configuration of an imaging system according to the second embodiment. 図１９は演者撮影装置５のブロック図である。FIG. 19 is a block diagram of the actor photographing device 5. As shown in FIG. 図２０は第２の実施の形態の管理サーバ２のブロック図である。FIG. 20 is a block diagram of the management server 2 of the second embodiment. 図２１は第２の実施の形態における撮影装置管理データベースの一例である。FIG. 21 is an example of an imaging device management database in the second embodiment.

＜第１の実施の形態＞
［全体構成］
図１は、本実施形態における撮影システムの全体構成例を示す図である。図１に示すように、撮影システムは、撮影装置１と、管理サーバ２と、決済サーバ３と、端末４とを備えて構成される。撮影装置１と、管理サーバ２と、決済サーバ３と、端末４とは、通信回線Ｎに接続可能で、相互に通信可能である。 <First Embodiment>
[overall structure]
FIG. 1 is a diagram showing an example of the overall configuration of an imaging system according to this embodiment. As shown in FIG. 1, the imaging system includes an imaging device 1, a management server 2, a settlement server 3, and a terminal 4. The photographing device 1, management server 2, settlement server 3, and terminal 4 can be connected to a communication line N and can communicate with each other.

通信回線Ｎは、データ通信が可能な通信路を意味する。すなわち、通信回線Ｎは、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮの他、電話通信網やケーブル網、インターネット等の通信網を含み、通信方法については有線／無線を問わない。 A communication line N means a communication path capable of data communication. That is, the communication line N includes a dedicated line (dedicated cable) for direct connection, a LAN such as Ethernet (registered trademark), a telephone communication network, a cable network, and a communication network such as the Internet, and the communication method may be wired or wireless.

撮影装置１は、イベント会場、映画館等の施設に設置され、ユーザ（被写体）の撮影映像と、コンテンツ映像とを合成した合成映像を生成する装置である。尚、コンテンツ映像は、芸能人（ドラマ・映画などのキャスト、アイドル等）やスポーツ選手等（以下、これらをまとめて演者と記載する）の拡張現実用の映像（例えば、動画）である。また、撮影装置１は、デジタルサイネージの機能も備えている。また、撮影装置１は、基本的には、複数存在し、各イベント会場、映画館等の施設に設置される。 The photographing device 1 is installed in a facility such as an event hall or a movie theater, and is a device that generates a composite image by synthesizing a photographed image of a user (subject) and a content image. Note that the content video is augmented reality video (for example, video) of celebrities (drama/movie casts, idols, etc.) and athletes (hereinafter collectively referred to as performers). The imaging device 1 also has a digital signage function. Also, basically, there are a plurality of photographing devices 1, and they are installed in facilities such as event venues and movie theaters.

管理サーバ２は、撮影装置１により使用されるコンテンツ映像及び広告の管理と、ユーザ（被写体）に提供する記録画像の保存を行うサーバである。 The management server 2 is a server that manages content images and advertisements used by the imaging device 1 and saves recorded images to be provided to users (subjects).

決済サーバ３は、撮影装置１の利用料金の決済を行うサーバである。 The settlement server 3 is a server that settles the usage fee of the photographing device 1 .

端末４は、ユーザ（被写体）が所持する端末であり、無線通信基地局等を介して通信回線Ｎに接続し、管理サーバ２とデータ通信を行うことができる。端末４は、例えば、スマートフォンや、携帯電話機、パソコン、タブレット型コンピュータ等である。端末４は、基本的には、複数存在し、各ユーザ（被写体）により操作される。そして、端末４は、少なくとも、画像データを受信し、その画像データを格納又は表示する機能、撮影機能などを持つ。 The terminal 4 is a terminal possessed by a user (subject), and can be connected to a communication line N via a wireless communication base station or the like to perform data communication with the management server 2 . The terminal 4 is, for example, a smart phone, a mobile phone, a personal computer, a tablet computer, or the like. A plurality of terminals 4 are basically present and operated by each user (subject). The terminal 4 has at least a function of receiving image data, storing or displaying the image data, a photographing function, and the like.

［各装置の構成］
撮影装置１の構成を説明する。図２は撮影装置１のブロック図である。 [Configuration of each device]
The configuration of the photographing device 1 will be described. FIG. 2 is a block diagram of the imaging device 1. As shown in FIG.

図２中、１０はカメラであり、１１はディスプレイであり、１２はスピーカであり、１３は操作入力部であり、１４は近距離無線通信部であり、１５は処理部であり、１６は送受信部であり、１７は記憶部である。 In FIG. 2, 10 is a camera, 11 is a display, 12 is a speaker, 13 is an operation input unit, 14 is a short-range wireless communication unit, 15 is a processing unit, 16 is a transmission/reception unit, and 17 is a storage unit.

カメラ１０は、ユーザ（被写体）と、ユーザ（被写体）が存在する空間の背景とを撮影するカメラである。カメラ１０が撮影した映像（静止画、動画の双方を含む）を、以下、撮影映像と記載する。この撮影映像は処理部１５に入力される。 The camera 10 is a camera that captures a user (subject) and the background of the space in which the user (subject) exists. A video (including both still images and moving images) captured by the camera 10 is hereinafter referred to as a captured video. This captured image is input to the processing unit 15 .

ディスプレイ１１は、カメラ１０により撮影された撮影映像とコンテンツ映像とが合成された映像が表示される。 The display 11 displays an image obtained by synthesizing the captured image captured by the camera 10 and the content image.

スピーカ１２はコンテンツの音声が出力される。 The speaker 12 outputs the audio of the content.

操作部入力部１３は、ユーザ（被写体）が撮影に関する各種操作を入力するためのものであり、操作入力に応じた操作入力信号を処理部１５に出力する。操作入力部１３の機能は、例えば、キーボード、マウス、タッチ操作パッド、ホームボタン、ボタンスイッチや、ジョイスティック、トラックボールといったユーザが指で操作する素子はもちろん、加速度センサや角速度センサ、傾斜センサ、地磁気センサといった、運動や姿勢を検知する素子等によっても実現できる。本実施の形態の操作部入力部１３は、操作情報が表示されるディプレイを備えるタッチ操作パネルである。 The operation unit input unit 13 is used by a user (subject) to input various operations related to photographing, and outputs operation input signals corresponding to operation inputs to the processing unit 15 . The functions of the operation input unit 13 can be realized not only by elements operated by the user's fingers, such as keyboards, mice, touch operation pads, home buttons, button switches, joysticks, and trackballs, but also by elements that detect motion and posture, such as acceleration sensors, angular velocity sensors, tilt sensors, and geomagnetic sensors. The operation unit input unit 13 of the present embodiment is a touch operation panel having a display on which operation information is displayed.

近距離無線通信部１４は、利用料金の決済に使用される非接触型ＩＣカードのリーダ・ライタである。 The short-range wireless communication unit 14 is a reader/writer for a contactless IC card used for payment of usage charges.

処理部１５は、記憶部１７に格納されるプログラムやコンテンツデータ、操作入力部１３からの操作入力信号等に基づいて撮影装置１の動作を統括的に制御する。処理部１５の機能は、例えば、ＣＰＵやＧＰＵ等のマイクロプロセッサ、ＡＳＩＣ、ＩＣメモリ等の電子部品によって実現できる。この処理部１５は、主な機能部として、管理部１５１と、操作制御部１５２と、決済処理部１５３と、映像処理部１５４と、サイネージ制御部１５５と、音声制御部１５６と、保存場所提示部１５７とを備える。 The processing unit 15 comprehensively controls the operation of the photographing device 1 based on programs and content data stored in the storage unit 17, operation input signals from the operation input unit 13, and the like. The functions of the processing unit 15 can be realized by, for example, electronic components such as microprocessors such as CPUs and GPUs, ASICs, and IC memories. The processing unit 15 includes, as main functional units, a management unit 151, an operation control unit 152, a payment processing unit 153, a video processing unit 154, a signage control unit 155, an audio control unit 156, and a storage location presentation unit 157.

管理部１５１は、撮影装置１の設定及びデータの管理を行う。撮影装置１の設定は、撮影装置１の付与されたアカウント及びパスワードによる認証後、管理者が必要な設定を行う。撮影装置１の設定の代表的なものとして、撮影装置１で使用するコンテンツの設定がある。コンテンツは、管理サーバ２からダウンロードし、記憶部１７に格納される。コンテンツのダウンロードは、自動でコンテンツのダウンロードが行われる自動更新モードと、管理者が希望するコンテンツを選択してダウンロードする手動更新モードがある。管理者がいずれかのモードを設定することにより、コンテンツのダウンロードが行われ、コンテンツが撮影装置１に格納される。 The management unit 151 manages settings and data of the photographing device 1 . As for the setting of the photographing device 1, after authentication by the account and password assigned to the photographing device 1, the administrator performs necessary settings. A representative setting of the photographing device 1 is the setting of content to be used by the photographing device 1 . Contents are downloaded from the management server 2 and stored in the storage unit 17 . Content download includes an automatic update mode in which content is automatically downloaded, and a manual update mode in which the administrator selects and downloads desired content. By setting one of the modes by the administrator, the content is downloaded and stored in the photographing device 1 .

コンテンツには、ユーザ（被写体）の撮影映像と合成されるコンテンツ映像と、デジタルサイネージに使用されるサイネージ映像（広告映像）とがある。コンテンツ映像は、芸能人（ドラマ・映画などのキャスト、アイドル等）やスポーツ選手等の演者の映像であり、拡張現実用の映像データである。コンテンツ映像は、基本的には動画である。また、サイネージ映像は、広告映像であり、動画、静止画のいずれも含む。尚、コンテンツ映像と、それらの映像に関するメタデータ（識別情報及び利用料金など）とを含めてコンテンツデータ記載する。同様に、サイネージ映像と、それらの映像に関するメタデータ（識別情報など）とを含めてサイネージデータと記載する。 Content includes a content image synthesized with a captured image of a user (subject) and a signage image (advertising image) used for digital signage. Content images are images of entertainers (drama/movie casts, idols, etc.) and actors such as athletes, and are image data for augmented reality. A content video is basically a video. A signage image is an advertisement image, and includes both moving images and still images. Note that content data including content videos and metadata (identification information, usage fees, etc.) relating to those videos is described. Similarly, signage images and metadata (such as identification information) relating to the images are referred to as signage data.

操作制御部１５２は、コンテンツの内容（例えば、サムネイル映像）や操作情報を操作部入力部１３に表示する。また、操作部入力部１３からの操作信号を受信する。 The operation control unit 152 displays contents (for example, thumbnail video) and operation information on the operation unit input unit 13 . Further, it receives an operation signal from the operation unit input unit 13 .

決済処理部１５３は、近距離無線通信部１４により読み取られた非接触型ＩＣカードの決済情報を受信し、決済情報を決済サーバ３に送信する。また、決済が完了した場合、決済サーバ３から決済完了情報を受信する。 The payment processing unit 153 receives the payment information of the non-contact IC card read by the short-range wireless communication unit 14 and transmits the payment information to the payment server 3 . Further, when the payment is completed, the payment completion information is received from the payment server 3.

映像処理部１５４は、カメラ１０からのユーザ（被写体）の撮影映像を入力し、撮影映像に、ユーザ（被写体）が選択したコンテンツのコンテンツ映像を重畳した合成映像を生成する。 The video processing unit 154 receives the captured video of the user (subject) from the camera 10 and generates a composite video by superimposing the content video of the content selected by the user (subject) on the captured video.

映像処理部１５４が行う合成映像の生成について説明する。合成映像を生成するためには、撮影映像、フィル(Fill)信号及びキー信号の３種類の映像信号が必要となる。フィル(Fill)信号は、ユーザ（被写体）が選択したコンテンツの演者のコンテンツ映像である。キー信号は、フィル(Fill)信号であるコンテンツ映像を重畳する領域を指定する信号である。尚、本実施の形態では、フィル(Fill)信号及びキー信号が、拡張現実用映像データである。 Generation of a synthesized image performed by the image processing unit 154 will be described. In order to generate a composite image, three kinds of image signals, ie, a photographed image, a fill signal and a key signal are required. A fill signal is a content video of a content performer selected by a user (subject). A key signal is a signal that designates an area where a content video, which is a fill signal, is superimposed. In this embodiment, the fill signal and the key signal are augmented reality video data.

図３は映像処理部１５４が行う合成映像の合成処理を説明するための図である。合成処理は、撮影映像の全領域のうち、キー信号に基づいて指定される領域に、フィル信号の演者の映像をはめ込むことによって、合成映像を生成する。尚、図３では、ある所定フレームの合成処理を説明した図であり、実際は、撮影映像、コンテンツ映像は動画であるため、フレーム単位で合成映像の生成処理が行われる。 FIG. 3 is a diagram for explaining the synthesizing process of the synthetic video performed by the video processing unit 154. As shown in FIG. The synthesizing process generates a synthetic image by fitting the image of the performer of the fill signal into the area specified based on the key signal, out of the entire area of the captured image. It should be noted that FIG. 3 is a diagram for explaining the synthesizing process of a certain predetermined frame. Actually, since the captured image and the content image are moving images, the synthesizing image generation process is performed for each frame.

また、撮影空間におけるユーザ（被写体）と演者との位置関係が分かる場合は、重畳するフィル(Fill)信号（演者の映像）とユーザ（被写体）の領域とが重なる部分は、前方に位置する方を優先的に合成する。このようにすれば、より自然な仮想空間の映像を演出することが可能である。尚、ユーザ（被写体）と演者との位置関係は、赤外線による測定や、映像の画像解析などの従来方法を用いることが出来る。 Also, when the positional relationship between the user (subject) and the performer in the shooting space is known, in the portion where the superimposed fill signal (performer's image) and the user (subject) area overlap, the one located in front is synthesized preferentially. By doing so, it is possible to produce a more natural image of the virtual space. For the positional relationship between the user (subject) and the performer, conventional methods such as measurement using infrared rays and image analysis of video can be used.

また、映像処理部１５４は、合成映像（動画）のうちのある時刻の映像を静止画として記録する機能も有する。この記録された記録画像は、後述する管理サーバ２の保存場所に保存される。尚、記録画像は静止画に限定するものではなく、合成映像（動画）の全部又は一部の動画でも良い。 The video processing unit 154 also has a function of recording a video at a certain time in the composite video (moving image) as a still image. This recorded recorded image is stored in a storage location of the management server 2, which will be described later. Note that the recorded image is not limited to a still image, and may be a moving image of all or part of a synthesized image (moving image).

サイネージ制御部１５５は、撮影装置１が撮影に利用されていない時間に、サイネージデータを使用してディスプレイ１１に広告を表示する。 The signage control unit 155 displays an advertisement on the display 11 using signage data when the photographing device 1 is not used for photographing.

音声制御部１５６は、コンテンツデータに含まれる音声データを使用して、ユーザ（被写体）の撮影映像の撮影時に、映像上の演者の音声や、利用案内の音声などをスピーカ１２から出力する。 The audio control unit 156 uses the audio data included in the content data to output the voice of the performer on the video, the voice of usage guidance, etc. from the speaker 12 when the video of the user (subject) is captured.

保存場所提示部１５７は、上述した記録画像の保存場所をユーザ（被写体）に通知する。通知方法としては、記録画像の保存場所のアドレスを示す二次元コード（ＱＲコード（登録商標）など）を、ディスプレイ１１に表示する方法がある。但し、これに限定されず、保存場所のアドレスを、ディスプレイ１１に直接表示しても良いし、他の方法でも良い。 The storage location presentation unit 157 notifies the user (subject) of the storage location of the recorded image described above. As a notification method, there is a method of displaying on the display 11 a two-dimensional code (QR code (registered trademark) or the like) indicating the address of the storage location of the recorded image. However, it is not limited to this, and the address of the storage location may be directly displayed on the display 11, or another method may be used.

送受信部１６は、通信回線Ｎを介して、管理サーバ２及び決済サーバ３との間で、データの送受信を行う。 The transmitting/receiving unit 16 transmits/receives data to/from the management server 2 and the settlement server 3 via the communication line N. FIG.

記憶部１７は、撮影装置１に必要な各種データが格納される。例えば、コンテンツデータベースや、設定データ等である。 The storage unit 17 stores various data necessary for the imaging device 1 . For example, it is a content database, setting data, and the like.

図４はコンテンツデータベースの一例を示した図である。図４に示すデータベースは、ユーザとの撮影に使用される演者のコンテンツデータと、広告として使用されるサイネージデータとが格納されている。コンテンツデータは、コンテンツ識別情報（ＩＤ）と、コンテンツ名と、拡張現実用の映像データ（フィル(Fill)信号、キー信号を含む）と、音声データと、メタデータとを含む。サイネージデータは、サイネージ識別情報（ＩＤ）と、広告名と、映像データと、音声データと、メタデータとを含む。尚、図４は一例であり、これに限られない。 FIG. 4 is a diagram showing an example of the content database. The database shown in FIG. 4 stores performer content data used for photographing with users and signage data used as advertisements. The content data includes content identification information (ID), content name, video data for augmented reality (including fill signal and key signal), audio data, and metadata. The signage data includes signage identification information (ID), advertisement name, video data, audio data, and metadata. In addition, FIG. 4 is an example, and it is not restricted to this.

図５は設定データの一例を示した図である。図５に示す設定データは、撮影装置１のアカウントと、管理パスワードと、自動更新の有無と、広告開始時間（撮影装置１が最後に使用されてからの経過時間）、補助データを含む。尚、図５は一例であり、これに限られない。 FIG. 5 is a diagram showing an example of setting data. The setting data shown in FIG. 5 includes an account of the image capturing device 1, a management password, whether or not automatic update is performed, an advertisement start time (elapsed time since the image capturing device 1 was last used), and auxiliary data. It should be noted that FIG. 5 is an example, and the present invention is not limited to this.

上述した撮影装置１の外観を、図６に示す。 FIG. 6 shows the appearance of the photographing device 1 described above.

次に、管理サーバ２の構成を説明する。図７は管理サーバ２のブロック図である。 Next, the configuration of the management server 2 will be explained. FIG. 7 is a block diagram of the management server 2. As shown in FIG.

図７中、２０は入力部であり、２１は送受信部であり、２２は処理部であり、２３は記憶部である。 In FIG. 7, 20 is an input unit, 21 is a transmission/reception unit, 22 is a processing unit, and 23 is a storage unit.

入力部２０は、管理者が各種操作を入力するためのものであり、操作入力に応じた操作入力信号を処理部２２に出力する。入力部２０の機能は、例えば、キーボード、マウス、タッチ操作パッド、ホームボタン、ボタンスイッチや、ジョイスティック、トラックボールといったユーザが指で操作する素子はもちろん、加速度センサや角速度センサ、傾斜センサ、地磁気センサといった、運動や姿勢を検知する素子等によっても実現できる。 The input unit 20 is used by an administrator to input various operations, and outputs an operation input signal corresponding to the operation input to the processing unit 22 . The functions of the input unit 20 can be realized not only by elements operated by the user's fingers, such as keyboards, mice, touch operation pads, home buttons, button switches, joysticks, and trackballs, but also by elements such as acceleration sensors, angular velocity sensors, tilt sensors, and geomagnetic sensors that detect movement and posture.

送受信部２１は、通信回線Ｎを介して、撮影装置１との間で、データの送受信を行う。 The transmitting/receiving unit 21 transmits/receives data to/from the imaging device 1 via the communication line N. FIG.

処理部２２は、記憶部２３に格納されるプログラムやコンテンツデータ、入力部２０からの操作入力信号等に基づいて管理サーバ２の動作を統括的に制御する。処理部１５の機能は、例えば、ＣＰＵやＧＰＵ等のマイクロプロセッサ、ＡＳＩＣ、ＩＣメモリ等の電子部品によって実現できる。この処理部２２は、主な機能部として、コンテンツ管理部１２１し、撮影データ保存管理部１２２とを備える。 The processing unit 22 comprehensively controls operations of the management server 2 based on programs and content data stored in the storage unit 23, operation input signals from the input unit 20, and the like. The functions of the processing unit 15 can be realized by, for example, electronic components such as microprocessors such as CPUs and GPUs, ASICs, and IC memories. The processing unit 22 includes a content management unit 121 and a photographed data storage management unit 122 as main functional units.

コンテンツ管理部１２１は、撮影装置１に設定するコンテンツデータを管理する。具体的には、記憶部２３に格納された撮影装置管理データベースを用いて、撮影装置１で使用されるコンテンツなどを管理する。図８は撮影装置管理データベースの一例である。図８に示す撮影装置管理データベースは、撮影装置の識別情報、アカウント、パスワード、自動更新の有無及び利用可能なコンテンツの識別情報を、撮影装置１毎に記録している。 The content management unit 121 manages content data set in the imaging device 1 . Specifically, by using the imaging device management database stored in the storage unit 23, the contents and the like used in the imaging device 1 are managed. FIG. 8 is an example of an imaging device management database. The photographing device management database shown in FIG. 8 records, for each photographing device 1, identification information of the photographing device, account, password, presence/absence of automatic update, and identification information of usable content.

撮影データ保存管理部１２２は、撮影装置１が撮影した記録画像を記憶２３に保存し、保存場所のアドレスを撮影装置１に通知する。 The captured data storage management unit 122 stores the recorded image captured by the imaging device 1 in the storage 23 and notifies the imaging device 1 of the address of the storage location.

次に、決済サーバ３の構成を説明する。図９は決済サーバ３のブロック図である。 Next, the configuration of the settlement server 3 will be described. FIG. 9 is a block diagram of the settlement server 3. As shown in FIG.

図９中、３０は送受信部であり、３１は決済処理部であり、３２は記憶部である。 In FIG. 9, 30 is a transmission/reception unit, 31 is a settlement processing unit, and 32 is a storage unit.

送受信部３０は、通信回線Ｎを介して、撮影装置１との間で、データの送受信を行う。 The transmitting/receiving unit 30 transmits/receives data to/from the imaging device 1 via the communication line N. FIG.

決済処理部３１は、撮影装置１から決済情報を受信し、記憶部３２に格納されるプログラムや決済データに基づいて決済処理を行い、決済完了情報を撮影装置１に送信する。決済処理部３１は、例えば、ＣＰＵやＧＰＵ等のマイクロプロセッサ、ＡＳＩＣ、ＩＣメモリ等の電子部品によって実現できる。尚、非接触型ＩＣカードの料金の決済は、従来からある方法を用いることができる。 The payment processing unit 31 receives payment information from the imaging device 1 , performs payment processing based on the program and payment data stored in the storage unit 32 , and transmits payment completion information to the imaging device 1 . The settlement processing unit 31 can be realized by, for example, a microprocessor such as a CPU or GPU, an electronic component such as an ASIC, an IC memory, or the like. A conventional method can be used to settle the charge for the contactless IC card.

［各装置の動作］
第１の実施の形態の動作を説明する。図１０は装置間のシーケンス図である。 [Operation of each device]
The operation of the first embodiment will be explained. FIG. 10 is a sequence diagram between devices.

まず、撮影装置１を利用可能な状態にするために、設定処理を行う（Ｓｔｅｐ１）。そして、管理サーバ２は、撮影装置１からの設定要求に応答して、管理処理を行い、コンテンツデータやサイネージデータを送信する（Ｓｔｅｐ２）。 First, setting processing is performed in order to make the photographing device 1 available (Step 1). Then, the management server 2 responds to the setting request from the photographing device 1, performs management processing, and transmits content data and signage data (Step 2).

ここで、撮影装置１の設定処理（Ｓｔｅｐ１）の動作を、フローチャートを用いて説明する。図１１は撮影装置１の設定処理（Ｓｔｅｐ１）の動作フローチャートである。 Here, the operation of the setting process (Step 1) of the photographing device 1 will be described using a flowchart. FIG. 11 is an operation flowchart of the setting process (Step 1) of the photographing device 1. As shown in FIG.

まず、撮影装置１の管理者は、操作入力部１３を操作して管理画面を表示する。操作制御部１５２は、管理画面を操作入力部１３に表示する（Ｓｔｅｐ１００）。 First, the administrator of the photographing device 1 operates the operation input unit 13 to display a management screen. The operation control unit 152 displays a management screen on the operation input unit 13 (Step 100).

管理者は、操作入力部１３を操作して、識別情報（アカウント）及びパスワードを入力する（Ｓｔｅｐ１０１）。 The administrator operates the operation input unit 13 to input identification information (account) and password (Step 101).

管理部１５１は、入力された識別情報（アカウント）及びパスワードの照合を行い（Ｓｔｅｐ１０２）、認証できたならば（Ｓｔｅｐ１０３）、更新モードの選択に遷移する。一方、認証できない場合は、設定処理を終了する。 The management unit 151 checks the input identification information (account) and password (Step 102), and if the authentication is successful (Step 103), transitions to the selection of the update mode. On the other hand, if the authentication is not possible, the setting process is terminated.

認証できた場合は、管理画面には、自動更新モードと手動更新モードとが表示される。管理者は、いずれかのモードを選択する。 If the authentication is successful, the management screen displays the automatic update mode and the manual update mode. An administrator selects one of the modes.

管理者が自動更新モードを選択した場合（Ｓｔｅｐ１０４）は、撮影装置１で利用可能なコンテンツデータとサイネージデータとが管理サーバ２から送信され、管理部１５１は、それらのコンテンツデータとサイネージデータを記憶部１７のコンテンツデータベースに格納し、コンテンツの設定を完了する。そして、設定完了通知を管理サーバ２に送信する。 When the administrator selects the automatic update mode (Step 104), content data and signage data that can be used by the photographing device 1 are transmitted from the management server 2, and the management unit 151 stores the content data and signage data in the content database of the storage unit 17 to complete setting of the content. Then, the setting completion notification is transmitted to the management server 2 .

一方、管理者が手動更新モードを選択した場合（Ｓｔｅｐ１０４）は、管理サーバ２から撮影装置１で利用可能なコンテンツデータ及びサイネージデータの一覧が送信され、管理部１５１は、コンテンツデータ及びサイネージデータの一覧情報を表示する（Ｓｔｅｐ１０５）。管理者は、操作入力部１３を操作し、一覧情報から利用したいコンテンツデータ及びサイネージデータを選択する（Ｓｔｅｐ１０６）。そして、管理部１５１は、選択されたコンテンツデータ及びサイネージデータを、管理サーバ２からダウンロードし（Ｓｔｅｐ１０７）、記憶部１７のコンテンツデータベースに格納し、コンテンツの設定を完了する（Ｓｔｅｐ１０８）。そして、設定完了通知を管理サーバ２に送信する。 On the other hand, when the administrator selects the manual update mode (Step 104), a list of content data and signage data that can be used by the imaging device 1 is transmitted from the management server 2, and the management unit 151 displays the content data and signage data list information (Step 105). The administrator operates the operation input unit 13 to select content data and signage data to be used from the list information (Step 106). Then, the management unit 151 downloads the selected content data and signage data from the management server 2 (Step 107), stores them in the content database of the storage unit 17, and completes setting of the content (Step 108). Then, the setting completion notification is transmitted to the management server 2 .

次に、管理サーバ２の管理処理（Ｓｔｅｐ２）の動作を、フローチャートを用いて説明する。図１２は管理サーバ２の管理処理（Ｓｔｅｐ２）の動作フローチャートである。 Next, the operation of the management process (Step 2) of the management server 2 will be explained using a flowchart. FIG. 12 is an operational flowchart of the management process (Step 2) of the management server 2. As shown in FIG.

管理サーバ２は、撮影装置１から設定要求に応答して、識別情報（アカウント）の照合を行う（Ｓｔｅｐ２００）。識別情報（アカウント）が登録されているものであれば（Ｓｔｅｐ２０１）、撮影装置１からのモードの要求に対応する処理を行う。 The management server 2 checks the identification information (account) in response to the setting request from the photographing device 1 (Step 200). If the identification information (account) is registered (Step 201), a process corresponding to the mode request from the photographing apparatus 1 is performed.

撮影装置１から要求されたモードが手動更新モードである場合（Ｓｔｅｐ２０２）、記憶部２３の撮影装置管理データベースのうち、設定要求した撮影装置１のアカウントの利用可能コンテンツのフィールドに記載されているコンテンツＩＤ又はサイネージＩＤに対応するコンテンツデータ及びサイネージデータの一覧を送信する（Ｓｔｅｐ２０３）。撮影装置１からコンテンツデータ及びサイネージデータの選択情報を受信すると、選択されたコンテンツデータ及びサイネージデータを撮影装置１に送信する（Ｓｔｅｐ２０４）。そして、撮影装置１から設定完了通知を受信すると、管理処理を終了する（Ｓｔｅｐ２０５）。 If the mode requested by the photographing device 1 is the manual update mode (Step 202), a list of content data and signage data corresponding to the content ID or signage ID described in the available content field of the account of the photographing device 1 requesting setting in the photographing device management database of the storage unit 23 is transmitted (Step 203). When the selection information of the content data and the signage data is received from the imaging device 1, the selected content data and signage data are transmitted to the imaging device 1 (Step 204). Then, when the setting completion notification is received from the photographing apparatus 1, the management process is terminated (Step 205).

一方、撮影装置１から要求されたモードが自動更新モードである場合、記憶部２３の撮影装置管理データベースのうち、設定要求した撮影装置１のアカウントの自動更新有無のフィールドのフラグを”ON”にする（Ｓｔｅｐ２０６）。そして、コンテンツデータベースに登録されているコンテンツのうち、設定要求した撮影装置１のアカウントの利用可能コンテンツのフィールドに記載されているコンテンツＩＤ又はサイネージＩＤに対応するコンテンツデータ及びサイネージデータを検索し（Ｓｔｅｐ２０７）、利用可能なコンテンツデータ及びサイネージデータを送信する（Ｓｔｅｐ２０８）。そして、撮影装置１から設定完了通知を受信すると、管理処理を終了する（Ｓｔｅｐ２０５）。 On the other hand, if the mode requested by the photographing device 1 is the automatic update mode, the flag in the field indicating whether or not the account of the photographing device 1 requested to be set is automatically updated is set to "ON" in the photographing device management database of the storage unit 23 (Step 206). Then, among the contents registered in the contents database, contents data and signage data corresponding to the contents ID or signage ID described in the available contents field of the account of the photographing device 1 requested to be set are searched (Step 207), and the usable contents data and signage data are transmitted (Step 208). Then, when the setting completion notification is received from the photographing apparatus 1, the management process is terminated (Step 205).

尚、自動更新が有効であるアカウントの撮影装置１については、利用可能コンテンツの変更があった場合には、利用可能コンテンツフィールドに記載されているＩＤに対応するコンテンツデータ又はサイネージデータを、自動的に撮影装置１に送信し、撮影装置１のコンテンツの自動更新を行う。 As for the photographing device 1 of the account for which the automatic update is effective, when there is a change in the usable content, content data or signage data corresponding to the ID described in the usable content field is automatically transmitted to the photographing device 1, and the content of the photographing device 1 is automatically updated.

図１０のシーケンス図の説明に戻る。 Returning to the description of the sequence diagram of FIG.

撮影装置１の設定が完了すると、ユーザ（被写体）が撮影装置１を利用することが可能となる。そして、ユーザ（被写体）が撮影装置１の利用を開始すると、撮影装置１は撮影処理（Ｓｔｅｐ３）を実行する。 When the setting of the photographing device 1 is completed, the user (subject) can use the photographing device 1 . Then, when the user (subject) starts using the photographing device 1, the photographing device 1 executes photographing processing (Step 3).

ここで、撮影処理（Ｓｔｅｐ３）の動作を、フローチャートを用いて説明する。図１３は撮影処理（Ｓｔｅｐ３）の動作フローチャートである。 Here, the operation of the photographing process (Step 3) will be described using a flowchart. FIG. 13 is an operation flowchart of the photographing process (Step 3).

撮影装置１の操作制御部１５２は、コンテンツの一覧を操作入力部１３に表示する（Ｓｔｅｐ３００）。図１４は操作入力部１３に表示されるコンテンツの選択画面の一例である。図１４の例では、コンテンツＡＡＡ、コンテンツＢＢＢ及びコンテンツＣＣＣの３種類のコンテンツが選択可能な画面の例である。 The operation control unit 152 of the photographing device 1 displays a list of contents on the operation input unit 13 (Step 300). FIG. 14 is an example of a content selection screen displayed on the operation input unit 13 . The example of FIG. 14 is an example of a screen on which three types of content, content AAA, content BBB, and content CCC, can be selected.

撮影装置１を利用するユーザは、操作入力部１３に表示されているコンテンツの一覧から希望のコンテンツを選択する。選択は、コンテンツの一覧から希望のコンテンツをタッチすることにより行われる（Ｓｔｅｐ３０１）。 A user using the photographing device 1 selects desired content from the list of content displayed on the operation input unit 13 . The selection is made by touching the desired content from the content list (Step 301).

コンテンツが選択されると、操作入力部１３の画面にはコンテンツの利用料金の画面が表示される（Ｓｔｅｐ３０２）。図１５は操作入力部１３に表示される利用料金画面の一例である。図１５の例では、コンテンツＡＡＡの利用料金が６００円であり、ＩＣカードを近距離無線通信部１４にタッチすることを要求する画面の例である。 When the content is selected, the screen of the operation input unit 13 displays the usage fee screen of the content (Step 302). FIG. 15 is an example of a charge screen displayed on the operation input unit 13. As shown in FIG. In the example of FIG. 15, the fee for using content AAA is 600 yen, and it is an example of a screen requesting to touch the short-range wireless communication unit 14 with an IC card.

ユーザが利用料金画面の指示に従って、ＩＣカードを近距離無線通信部１４にタッチすることにより、料金の決済情報を決済処理部１５３が受信し（Ｓｔｅｐ３０３）、決済情報を決済サーバ３に送信する（Ｓｔｅｐ３０４）。 When the user touches the IC card to the short-range wireless communication unit 14 according to the instructions on the usage fee screen, the payment processing unit 153 receives the payment information for the fee (Step 303) and transmits the payment information to the payment server 3 (Step 304).

撮影装置１の決済処理部１５３は、決済サーバ３から決済完了情報を受信し（Ｓｔｅｐ３０５）、決済が完了したことを操作入力部１３に表示し、撮影が開始されることを通知する（Ｓｔｅｐ３０６）。 The payment processing unit 153 of the photographing device 1 receives the payment completion information from the payment server 3 (Step 305), displays that the payment is completed on the operation input unit 13, and notifies that the photographing is started (Step 306).

カメラによるユーザ（被写体）の撮影が開始されると、その撮影映像がディスプレイ１１に表示される。続いて、映像処理部１５４は、撮影映像に選択したコンテンツの仮想現実用の映像データを重畳し、合成映像を生成する（Ｓｔｅｐ３０７）。そして、映像処理部１５４は、合成映像（動画）をディスプレイ１１に表示する（Ｓｔｅｐ３０８）。このとき、コンテンツの音声データにより、演者の音声もスピーカから出力される。例えば、「ＡＡＡです。今日は撮影会に参加してくれてありがとう。」等の音声が出力される。このように、ディスプレイ１１には、演者とユーザとが一緒に同じ空間に存在する映像が表示され（図３の合成映像を参照）、音声も聞こえるので、ユーザは演者と一緒に同じ空間を共有するような疑似体験を得ることが出来る。そして、演者から記念撮影のタイミングが告げられ、記録画像（静止画）の撮影が行われる（Ｓｔｅｐ３０９）。 When the user (object) is started to be photographed by the camera, the photographed image is displayed on the display 11 . Subsequently, the video processing unit 154 superimposes the virtual reality video data of the selected content on the captured video to generate a composite video (Step 307). Then, the image processing unit 154 displays the synthesized image (moving image) on the display 11 (Step 308). At this time, the voice of the performer is also output from the speaker according to the voice data of the content. For example, a voice such as "This is AAA. Thank you for participating in the photo session today." is output. In this way, the display 11 displays an image in which the performer and the user exist together in the same space (see the synthesized image in FIG. 3) and also hears the voice, so the user can have a simulated experience of sharing the same space with the performer. Then, the performer announces the timing of taking a commemorative photo, and a recording image (still image) is taken (Step 309).

撮影が終了すると、保存場所提示部１５７は、管理サーバに、静止画をアップロードし（Ｓｔｅｐ３１０）、保存場所のアドレスを、二次元コードを使用して、操作入力部１３の画面に表示する（Ｓｔｅｐ３１１）。図１６は保存場所のアドレスを示す二次元コードが表示された画面の一例である。 When the shooting ends, the storage location presentation unit 157 uploads the still image to the management server (Step 310), and displays the storage location address on the screen of the operation input unit 13 using a two-dimensional code (Step 311). FIG. 16 is an example of a screen displaying a two-dimensional code indicating the address of the storage location.

以上で、撮影処理の説明を終了する。 This is the end of the description of the shooting process.

Ｓｔｅｐ４は、決済サーバ３で行われる決済処理である。撮影装置１から送信されたユーザのＩＣカードの決済情報を受信し、その決済情報に基づいて決済完了情報を撮影装置１に送信する。 Step 4 is a settlement process performed by the settlement server 3 . The settlement information of the IC card of the user transmitted from the photographing device 1 is received, and settlement completion information is transmitted to the photographing device 1 based on the settlement information.

Ｓｔｅｐ５は、管理サーバ２で行われる保存処理である。撮影装置１から送信された記録画像（静止画）を保存し、その保存場所のアドレスを撮影装置１に送信する。 Step 5 is a saving process performed by the management server 2 . A recorded image (still image) transmitted from the photographing device 1 is saved, and the address of the storage location is transmitted to the photographing device 1 .

ユーザは端末１の撮影機能を利用し、操作入力部１３の画面に表示された二次元コードを撮影し、二次元コードで示されるアドレスにアクセスする（Ｓｔｅｐ６）。そして、端末１は、撮影した記録画像（静止画）を端末１にダウンロードする（Ｓｔｅｐ７）。図１７は端末４にダウンロードされた記録画像が、端末４のディスプレイに表示された場合の一例である。 The user uses the photographing function of the terminal 1 to photograph the two-dimensional code displayed on the screen of the operation input unit 13, and accesses the address indicated by the two-dimensional code (Step 6). Then, the terminal 1 downloads the captured recorded image (still image) to the terminal 1 (Step 7). FIG. 17 shows an example in which a recorded image downloaded to the terminal 4 is displayed on the display of the terminal 4. FIG.

一方、撮影装置１のサイネージ制御部１５５は、一定時間（例えば、３分）、ユーザによる撮影装置１の利用がない場合は、記憶部１７のコンテンツデータベースのサイネージデータから、映像データ及音声データを取得し、ディスプレイ１１に映像データによる広告を表示し、スピーカ１２から音声データによる音声を出力する（Ｓｔｅｐ８）。 On the other hand, when the user does not use the imaging device 1 for a certain period of time (for example, 3 minutes), the signage control unit 155 of the imaging device 1 acquires video data and audio data from the signage data in the content database of the storage unit 17, displays an advertisement based on the video data on the display 11, and outputs audio based on the audio data from the speaker 12 (Step 8).

以上で、第１の実施の形態の動作の説明を終了する。 This completes the description of the operation of the first embodiment.

第１の実施の形態は、演者の映像（動画）とユーザの撮影映像とを合成してディスプレイに表示させ、音声も聞こえるように構成しているので、ユーザは演者と一緒に同じ空間を共有するような体験を得ることが出来る。また、その体験の記念として記録される記録画像は、管理サーバに保存され、ユーザは端末にダウンロードすることができるので、例えば、SNS等によるシェアの利便性向上を図ることができると共に、物理的な印刷を行わないため、コストの削減も図れる。 In the first embodiment, the image (moving image) of the performer and the photographed image of the user are synthesized and displayed on the display, and the user can also hear the voice, so that the user can have the experience of sharing the same space with the performer. In addition, since the recorded image recorded as a memorial of the experience is stored in the management server and can be downloaded to the terminal by the user, for example, it is possible to improve the convenience of sharing on SNS etc., and also reduce the cost because physical printing is not performed.

また、第１の実施の形態は、管理サーバにより、撮影装置で使用されるコンテンツを一括で管理しているので、撮影装置で使用するコンテンツの設定の即時性・登録の柔軟性を実現することができる。 In addition, in the first embodiment, since the management server collectively manages the content used in the photographing device, it is possible to realize the immediacy of setting and the flexibility of registration of the content used in the photographing device.

更に、第１の実施の形態の撮影装置は、デジタルサイネージの機能も搭載されているので、撮影装置が利用されていない時間を有効に活用することもできる。 Furthermore, since the photographing device of the first embodiment is also equipped with a digital signage function, it is possible to effectively utilize the time when the photographing device is not used.

＜第２の実施の形態＞
第２の実施の形態を説明する。図１８は第２の実施の形態における撮影システムの全体構成例を示す図である。 <Second Embodiment>
A second embodiment will be described. FIG. 18 is a diagram showing an example of the overall configuration of an imaging system according to the second embodiment.

第２の実施の形態では、第１の実施の形態に加えて、演者のライブ映像を撮影し、ライブ映像から撮影装置１で使用するコンテンツデータ（フィル(Fill)信号、キー信号及び音声データ）を生成する演者撮影装置５が設けられている。 In the second embodiment, in addition to the features of the first embodiment, there is provided a performer shooting device 5 that shoots a live video of a performer and generates content data (fill signal, key signal, and audio data) used by the shooting device 1 from the live video.

図１９は演者撮影装置５のブロック図である。図１９中、５０カメラであり、５１はマイク、５２はディスプレイであり、５３は送受信部であり、５４は処理部であり、５５は記憶部である。 FIG. 19 is a block diagram of the actor photographing device 5. As shown in FIG. 19, 50 is a camera, 51 is a microphone, 52 is a display, 53 is a transmission/reception section, 54 is a processing section, and 55 is a storage section.

カメラ５０は、演者のライブ映像を撮影するカメラである。カメラ５０が撮影した映像をライブ映像と記載する。このライブ映像は処理部５４に入力される。 The camera 50 is a camera that takes a live image of the performer. A video captured by the camera 50 is referred to as a live video. This live video is input to the processing unit 54 .

マイク５１は、演者の音声を取得し、取得した音声を処理部５４に出力する。 The microphone 51 acquires the voice of the performer and outputs the acquired voice to the processing unit 54 .

ディスプレイ５２は、カメラ５０により撮影されたライブ映像が表示される。 A display 52 displays a live image captured by the camera 50 .

送受信部５３は、通信回線Ｎを介して、管理サーバ２との間で、データの送受信を行う。 The transmitting/receiving unit 53 transmits/receives data to/from the management server 2 via the communication line N. FIG.

処理部５４は、記憶部５５に格納されるプログラムに基づいて演者撮影装置５の動作を統括的に制御する。処理部５４の機能は、例えば、ＣＰＵやＧＰＵ等のマイクロプロセッサ、ＡＳＩＣ、ＩＣメモリ等の電子部品によって実現できる。この処理部５４は、主な機能部として、フィル(Fill)信号生成部１５１と、キー信号生成部１５２と、ライブコンテンツデータ生成部１５３とを備える。 The processing unit 54 comprehensively controls the operation of the actor photographing device 5 based on the program stored in the storage unit 55 . The functions of the processing unit 54 can be realized by, for example, electronic components such as microprocessors such as CPUs and GPUs, ASICs, and IC memories. The processing unit 54 includes a fill signal generation unit 151, a key signal generation unit 152, and a live content data generation unit 153 as main functional units.

フィル(Fill)信号生成部１５１は、カメラ５０で撮影されたライブ映像から、リアルタイムで、演者のフィル(Fill)信号を生成する。キー信号生成部１５２は、カメラ５０で撮影されたライブ映像から、リアルタイムで、演者のキー信号を生成する。これらの処理は、例えば、クロマキーの技術を用いることができる。 A fill signal generation unit 151 generates a fill signal of a performer in real time from a live image captured by the camera 50 . The key signal generation unit 152 generates a key signal of the performer in real time from the live video captured by the camera 50 . For these processes, for example, chromakey technology can be used.

ライブコンテンツデータ生成部１５３は、演者のフィル(Fill)信号、キー信号及びマイク５１で取得された演者の音声を含むライブコンテンツデータを生成する。このライブコンテンツデータは、送受信部５３を介して、リアルタイムで、管理サーバ２に送信される。 The live content data generation unit 153 generates live content data including the performer's fill signal, the key signal, and the performer's voice obtained by the microphone 51 . This live content data is transmitted to the management server 2 in real time via the transmitting/receiving section 53 .

第２の実施の形態の管理サーバ２を説明する。図２０は第２の実施の形態の管理サーバ２のブロック図である。第２の実施の形態の管理サーバ２が第１の実施の形態と異なる所は、リアルタイム配信部１２３が追加されたことである。 A management server 2 according to the second embodiment will be described. FIG. 20 is a block diagram of the management server 2 of the second embodiment. The management server 2 of the second embodiment differs from that of the first embodiment in that a real-time distribution unit 123 is added.

リアルタイム配信部１２３は、演者撮影装置５から受信したライブコンテンツデータを、所定の撮影装置１にリアルタイムでストリーミング配信する。配信する撮影装置１は、記憶部２３に格納されている撮影装置管理データベースを用いて決定する。図２１は第２の実施の形態における撮影装置管理データベースの一例である。図２１に示される撮影装置管理データベースは、第１の実施の形態に加えて、ライブ配信の有無のフィールドが設けられている。リアルタイム配信部１２３は、撮影装置管理データベースのライブ配信フィールドが「有」のフラグである撮影装置１に、受信したライブコンテンツデータを送信する。 The real-time distribution unit 123 distributes the live content data received from the performer imaging device 5 to a predetermined imaging device 1 by streaming in real time. The photographing device 1 to be distributed is determined using the photographing device management database stored in the storage unit 23 . FIG. 21 is an example of an imaging device management database in the second embodiment. The imaging device management database shown in FIG. 21 is provided with a field indicating presence/absence of live distribution in addition to the field of the first embodiment. The real-time distribution unit 123 transmits the received live content data to the imaging device 1 whose live distribution field in the imaging device management database is flagged as "present".

撮影装置１は、管理データベース２からライブコンテンツデータを受信すると、記憶部１７に格納しつつ、カメラによるユーザ（被写体）の撮影を開始する。その撮影映像がディスプレイ１１に表示される。続いて、映像処理部１５４は、ライブコンテンツデータのキー信号を用いて、フィル(Fill)信号とユーザの撮影画像とを合成する（図１３のＳｔｅｐ３０７）。そして、映像処理部１５４は、合成映像（動画）をディスプレイ１１に表示する（図１３のＳｔｅｐ３０８）。他の処理は、第１の実施の形態と同様である。 Upon receiving the live content data from the management database 2, the imaging device 1 stores the live content data in the storage unit 17 and starts photographing the user (subject) with the camera. The photographed image is displayed on the display 11 . Subsequently, the video processing unit 154 uses the key signal of the live content data to synthesize the fill signal and the captured image of the user (Step 307 in FIG. 13). Then, the image processing unit 154 displays the synthesized image (moving image) on the display 11 (Step 308 in FIG. 13). Other processing is the same as in the first embodiment.

第２の実施の形態は、演者のライブ映像からコンテンツデータを生成し、管理装置が各撮影装置にライブ配信している。従って、ひとり演者が、異なる場所の多数のユーザと同時に空間を共有するといったことが可能である。 In the second embodiment, content data is generated from a live image of a performer, and is live-delivered to each photographing device by a management device. Thus, it is possible for a single performer to share a space with many users in different locations at the same time.

以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。 Although the present invention has been described above with reference to preferred embodiments, the present invention is not necessarily limited to the above embodiments, and can be variously modified and implemented within the scope of its technical ideas.

１撮影装置
２管理サーバ
３決済サーバ
４端末
５演者撮影装置
１０カメラ
１１ディスプレイ
１２スピーカ
１３操作入力部
１４近距離無線通信部
１５処理部
１６送受信部
１７記憶部
２０入力部
２１送受信部
２２処理部
２３記憶部
３０送受信部
３１決済処理部
３２記憶部 1 photographing device 2 management server 3 payment server 4 terminal 5 actor photographing device 10 camera 11 display 12 speaker 13 operation input unit 14 short-range wireless communication unit 15 processing unit 16 transmission/reception unit 17 storage unit 20 input unit 21 transmission/reception unit 22 processing unit 23 storage unit 30 transmission/reception unit 31 payment processing unit 32 storage unit

Claims

管理装置と、少なくとも１以上の撮影装置と、を備え、
前記管理装置は、
演者のフィル信号とキー信号とを含む拡張現実用映像データ及び音声データを含むコンテンツデータを記憶する記憶部と、
前記コンテンツデータの使用を許可する撮影装置に、前記コンテンツデータを送信するコンテンツデータ管理部と、
前記撮影装置から送信される記録画像を保存し、保存場所を示す保存場所情報を前記撮影装置に送信する保存部と、
を備え、
前記撮影装置は、
ユーザを撮影する第１カメラと、
表示部と、
前記管理装置から受信したコンテンツデータを記憶する記憶部と、
前記コンテンツデータを用いたコンテンツのコンテンツ一覧を表示し、前記コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付けるコンテンツ選択部と、
ユーザにより選択されたコンテンツのコンテンツデータの前記拡張現実用映像データのキー信号を用いて、前記演者のフィル信号と前記第１カメラが撮影したユーザの撮影映像とを合成し、前記ユーザと前記演者とを含む合成映像を生成し、前記合成映像を前記表示部に表示し、かつ、前記合成映像の少なくとも一部を記録画像として記録する映像合成部と、
前記ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力する音声出力部と、
前記記録画像を、前記管理装置に送信する送信部と、
前記保存場所情報を受信し、前記保存場所を示す情報を前記表示部に表示する保存場所提示部と、
を備える
撮影システム。 A management device and at least one or more imaging devices,
The management device
a storage unit for storing content data including audio data and augmented reality video data including fill signals and key signals of performers;
a content data management unit that transmits the content data to a photographing device that is permitted to use the content data;
a storage unit that stores a recorded image transmitted from the imaging device and transmits storage location information indicating a storage location to the imaging device;
with
The imaging device is
a first camera that captures a user;
a display unit;
a storage unit that stores content data received from the management device;
a content selection unit that displays a content list of content using the content data and receives selection of content desired by a user from the content list;
a video synthesizing unit that uses a key signal of the augmented reality video data of the content data of the content selected by the user to synthesize the performer's fill signal and the user's video captured by the first camera, generates a composite video including the user and the performer, displays the composite video on the display unit, and records at least part of the composite video as a recording image;
an audio output unit that outputs the voice of the performer in synchronization with the synthesized video displayed on the display unit using the audio data of the content data of the content selected by the user;
a transmission unit that transmits the recorded image to the management device;
a storage location presentation unit that receives the storage location information and displays information indicating the storage location on the display unit;
A shooting system with

前記映像合成部は、前記合成映像を生成する際に、前記フィル信号の演者の領域と前記撮影映像のユーザの領域とが重なる領域については、撮影空間において前方に位置する領域の映像を優先的に合成する、
請求項１に記載の撮影システム。 When generating the synthesized image, the image synthesizing unit preferentially synthesizes the image of the area located in front of the shooting space in the area where the performer area of the fill signal and the user area of the shot image overlap.
The imaging system according to claim 1.

前記演者を撮影する第２カメラと、
前記第２カメラで撮影された演者の撮影映像から、前記演者の拡張現実用映像データを生成する拡張現実用映像データ生成部と、
前記演者の音声を取得するマイクと、
前記マイクで取得された前記演者の音声から、音声データを生成する音声データ生成部と、
前記拡張現実用映像データ及び音声データを少なくとも含むライブコンテンツデータを、前記管理装置に送信する送信部と、
を備える演者撮影装置を備え、
前記管理装置は、前記ライブコンテンツデータを受信し、少なくとも１以上の前記撮影装置に前記ライブコンテンツデータをライブ配信するライブ配信部を備え、
前記撮影装置は、前記ライブコンテンツデータを受信する受信部を備え、
前記撮影装置の前記映像合成部は、前記ライブコンテンツデータの拡張現実用映像データと、前記第１カメラが撮影したユーザの撮影映像と、を合成して合成映像を生成し、前記合成映像を前記表示部に表示し、かつ、前記合成映像の少なくとも一部を記録画像として記録し、
前記撮影装置の前記音声出力部は、前記ライブコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力する
請求項１又は請求項２に記載の撮影システム。 a second camera that captures the performer;
an augmented reality image data generation unit that generates augmented reality image data of the performer from the image of the performer captured by the second camera;
a microphone that acquires the voice of the performer;
an audio data generation unit that generates audio data from the voice of the performer acquired by the microphone;
a transmission unit configured to transmit live content data including at least the augmented reality video data and audio data to the management device;
Equipped with a performer shooting device comprising
The management device includes a live distribution unit that receives the live content data and performs live distribution of the live content data to at least one or more of the imaging devices,
The imaging device includes a receiving unit that receives the live content data,
The image synthesizing unit of the imaging device synthesizes the augmented reality image data of the live content data and the user's image captured by the first camera to generate a synthesized image , displays the synthesized image on the display unit, and records at least a part of the synthesized image as a recorded image;
3. The imaging system according to claim 1, wherein the audio output unit of the imaging device uses the audio data of the live content data to output the voice of the performer in synchronization with the synthesized video displayed on the display unit.

前記管理装置の記憶部には、広告用のサイネージデータが記憶され、
前記管理装置は、前記サイネージデータを、前記撮影装置に送信する送信部を備え、
前記撮影装置は、前記管理装置から受信したサイネージデータを、前記撮影装置の記憶部に記憶し、
前記撮影装置は、ユーザによるコンテンツの選択を所定時間受け付けなかった場合、前記サイネージデータを用いて、前記表示部に広告を表示するサイネージ制御部を備える、
請求項１から請求項３のいずれかに記載の撮影システム。 The storage unit of the management device stores advertising signage data,
The management device includes a transmission unit that transmits the signage data to the imaging device,
The photographing device stores the signage data received from the management device in a storage unit of the photographing device,
The photographing device includes a signage control unit that displays an advertisement on the display unit using the signage data when content selection by the user is not accepted for a predetermined time.
The imaging system according to any one of claims 1 to 3.

ユーザを撮影するカメラと、
表示部と、
コンテンツを管理する管理装置から、演者のフィル信号とキー信号とを含む拡張現実用映像データ及び音声データを含むコンテンツデータを受信する受信部と、
前記受信したコンテンツデータを記憶する記憶部と、
前記コンテンツデータを用いたコンテンツのコンテンツ一覧を表示し、前記コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付けるコンテンツ選択部と、
ユーザにより選択されたコンテンツのコンテンツデータの前記拡張現実用映像データのキー信号を用いて、前記演者のフィル信号と前記カメラが撮影したユーザの撮影映像とを合成し、前記ユーザと前記演者とを含む合成映像を生成し、前記合成映像を前記表示部に表示し、かつ、前記合成映像の少なくとも一部を記録画像として記録する映像合成部と、
前記ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力する音声出力部と、
前記記録画像を、保存のために前記管理装置に送信する送信部と、
前記記録画像の保存場所を示す保存場所情報を、前記管理装置から受信し、前記保存場所を示す情報を前記表示部に表示する保存場所提示部と、
を備える撮影装置。 a camera that captures a user;
a display unit;
a receiving unit for receiving content data including augmented reality video data and audio data including fill signals and key signals of performers from a management device that manages content;
a storage unit that stores the received content data;
a content selection unit that displays a content list of content using the content data and receives selection of content desired by a user from the content list;
a video synthesizing unit that uses a key signal of the augmented reality video data of the content data of the content selected by the user to synthesize the performer's fill signal and the user's image captured by the camera, generates a synthesized image including the user and the performer, displays the synthesized image on the display unit, and records at least part of the synthesized image as a recorded image;
an audio output unit for outputting the voice of the performer in synchronization with the synthesized video displayed on the display unit using the audio data of the content data of the content selected by the user;
a transmission unit that transmits the recorded image to the management device for storage;
a storage location presentation unit that receives storage location information indicating a storage location of the recorded image from the management device and displays information indicating the storage location on the display unit;
A photographing device comprising a

前記映像合成部は、前記合成映像を生成する際に、前記フィル信号の演者の領域と前記撮影映像のユーザの領域とが重なる領域については、撮影空間において前方に位置する領域の映像を優先的に合成する、
請求項５に記載の撮影装置。 When generating the synthesized image, the image synthesizing unit preferentially synthesizes the image of the area located in front of the shooting space in the area where the performer area of the fill signal and the user area of the shot image overlap.
The photographing device according to claim 5 .

前記受信部は、演者を撮影したライブ映像から生成された前記演者の拡張現実用映像データと、前記演者の音声から生成された音声データと、を少なくとも含むライブコンテンツデータを、前記管理装置から受信し、
前記映像合成部は、前記ライブコンテンツデータの拡張現実用映像データと、前記カメラが撮影したユーザの撮影映像とを合成して合成映像を生成し、前記合成映像を前記表示部に表示し、かつ、前記合成映像の少なくとも一部を記録画像として記録し、
前記音声出力部は、前記ライブコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力する
請求項５又は請求項６に記載の撮影装置。 The receiving unit receives, from the management device, live content data including at least augmented reality video data of the performer generated from a live image of the performer and audio data generated from the voice of the performer,
The video synthesizing unit generates a synthetic video by synthesizing the augmented reality video data of the live content data and the user's video captured by the camera, displays the synthetic video on the display unit, and records at least a part of the synthetic video as a recording image;
7. The photographing apparatus according to claim 5, wherein the audio output unit uses the audio data of the live content data to output the voice of the performer in synchronization with the synthesized video displayed on the display unit.

前記撮影装置は、前記管理装置から受信した広告用のサイネージデータを、前記記憶部に記憶し、
前記撮影装置は、ユーザによるコンテンツの選択を所定時間受け付けなかった場合、前記サイネージデータを用いて、前記表示部に広告を表示するサイネージ制御部を備える、
請求項５から請求項７のいずれかに記載の撮影装置。 The photographing device stores advertising signage data received from the management device in the storage unit,
The photographing device includes a signage control unit that displays an advertisement on the display unit using the signage data when content selection by the user is not accepted for a predetermined time.
The photographing device according to any one of claims 5 to 7.

管理装置と、少なくとも１以上の撮影装置と、を備える撮影システムにおける撮影方法であって、
前記管理装置は、演者のフィル信号とキー信号とを含む拡張現実用映像データ及び音声データを含むコンテンツデータを、前記コンテンツデータの使用を許可する撮影装置に送信し、
前記撮影装置は、前記管理装置からコンテンツデータを受信し、受信したコンテンツデータを記憶し、
前記撮影装置は、前記コンテンツデータを用いたコンテンツのコンテンツ一覧を表示し、前記コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付け、
前記撮影装置は、ユーザにより選択されたコンテンツのコンテンツデータの前記拡張現実用映像データのキー信号を用いて、前記演者のフィル信号と前記撮影装置が備えるカメラが撮影したユーザの撮影映像とを合成し、前記ユーザと前記演者とを含む合成映像を生成し、前記合成映像を、前記撮影装置の表示部に表示し、
前記撮影装置は、前記ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力し、
前記撮影装置は、前記合成映像の少なくとも一部を記録画像として記録し、
前記撮影装置は、前記記録画像を、前記管理装置に送信し、
前記管理装置は、前記撮影装置から送信される記録画像を保存し、保存場所を示す保存場所情報を前記撮影装置に送信し、
前記撮影装置は、前記保存場所情報を受信し、前記保存場所を示す情報を前記表示部に表示する
撮影方法。 A photographing method in a photographing system comprising a management device and at least one photographing device,
The management device transmits content data including augmented reality video data and audio data including a performer's fill signal and a key signal to a photographing device permitted to use the content data,
The imaging device receives content data from the management device, stores the received content data,
The photographing device displays a content list of content using the content data, and receives selection of content desired by the user from the content list,
The imaging device uses the key signal of the augmented reality video data of the content data of the content selected by the user to synthesize the fill signal of the performer and the image of the user captured by the camera provided in the imaging device , generate a synthesized image including the user and the performer, and display the synthesized image on the display unit of the imaging device.
The imaging device uses audio data of content data of content selected by the user to output the voice of the performer in synchronization with the synthesized video displayed on the display unit,
The photographing device records at least part of the composite video as a recorded image,
The photographing device transmits the recorded image to the management device,
The management device stores the recorded image transmitted from the imaging device, and transmits storage location information indicating a storage location to the imaging device,
The photographing method, wherein the photographing device receives the storage location information and displays information indicating the storage location on the display unit.