JP2024004671A - Moving image recording system, moving image recording method, and program - Google Patents
Moving image recording system, moving image recording method, and program Download PDFInfo
- Publication number
- JP2024004671A JP2024004671A JP2022104401A JP2022104401A JP2024004671A JP 2024004671 A JP2024004671 A JP 2024004671A JP 2022104401 A JP2022104401 A JP 2022104401A JP 2022104401 A JP2022104401 A JP 2022104401A JP 2024004671 A JP2024004671 A JP 2024004671A
- Authority
- JP
- Japan
- Prior art keywords
- video
- imaging
- imaging device
- virtual
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 64
- 238000003384 imaging method Methods 0.000 claims abstract description 599
- 239000002131 composite material Substances 0.000 claims abstract description 94
- 239000000203 mixture Substances 0.000 claims abstract description 38
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 54
- 238000009826 distribution Methods 0.000 description 42
- 238000005286 illumination Methods 0.000 description 42
- 238000004891 communication Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 29
- 238000012545 processing Methods 0.000 description 29
- 230000008859 change Effects 0.000 description 28
- 239000000463 material Substances 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 12
- 239000000284 extract Substances 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000002860 competitive effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本開示は、動画を収録する技術に関する。 The present disclosure relates to a technique for recording moving images.
個別に収録された複数の動画を合成する技術が従来から提案されている。例えば特許文献１には、相異なるカメラにより複数の動画を撮像し、複数の動画の各々から抽出されたユーザの動画を所定の背景動画に合成する技術が開示されている。
BACKGROUND ART Techniques for compositing multiple videos recorded individually have been proposed in the past. For example,
しかし、特許文献１の技術において、複数のカメラの各々は個別の撮像条件によりユーザを撮像する。したがって、撮像方向または撮像倍率等の撮像条件がユーザ毎に相違する不自然な合成動画が生成されるという課題がある。以上の事情を考慮して、本開示のひとつの態様は、相異なる空間に所在する複数の被写体を含む自然な動画を生成することを目的とする。
However, in the technique disclosed in
以上の課題を解決するために、本開示のひとつの態様に係る動画収録システムは、第１現実空間内の第１撮像装置と第２現実空間内の第２撮像装置とを共通の撮像条件のもとで時間的に相互に並列に動作させる撮像制御部と、前記第１撮像装置が撮像した第１動画と前記第２撮像装置が撮像した第２動画との合成により合成動画を生成する動画合成部とを具備する。 In order to solve the above problems, a video recording system according to one aspect of the present disclosure connects a first imaging device in a first real space and a second imaging device in a second real space under common imaging conditions. an imaging control unit that operates temporally in parallel with each other; and a video that generates a composite video by combining a first video captured by the first imaging device and a second video captured by the second imaging device. and a synthesis section.
本開示のひとつの態様に係る動画収録方法は、第１現実空間内の第１撮像装置と第２現実空間内の第２撮像装置とを共通の撮像条件のもとで時間的に相互に並列に動作させることと、前記第１撮像装置が撮像した第１動画と前記第２撮像装置が撮像した第２動画との合成により合成動画を生成することとを含む。 A video recording method according to one aspect of the present disclosure is such that a first imaging device in a first real space and a second imaging device in a second real space are temporally parallel to each other under a common imaging condition. and generating a composite video by combining a first video captured by the first imaging device and a second video captured by the second imaging device.
本開示のひとつの態様に係るプログラムは、第１現実空間内の第１撮像装置と第２現実空間内の第２撮像装置とを共通の撮像条件のもとで時間的に相互に並列に動作させる撮像制御部、および、前記第１撮像装置が撮像した第１動画と前記第２撮像装置が撮像した第２動画との合成により合成動画を生成する動画合成部、としてコンピュータシステムを機能させる。 A program according to one aspect of the present disclosure operates a first imaging device in a first real space and a second imaging device in a second real space temporally in parallel with each other under a common imaging condition. and a video synthesis unit that generates a composite video by combining a first video captured by the first imaging device and a second video captured by the second imaging device.
図面を参照しながら本開示の実施の形態を説明する。以下に記載する実施の形態は、技術的に好適な種々の限定を含む。本開示の範囲は、以下に例示する形態には限定されない。 Embodiments of the present disclosure will be described with reference to the drawings. The embodiments described below include various technically suitable limitations. The scope of the present disclosure is not limited to the forms illustrated below.
［第１実施形態］
図１は、第１実施形態における動画収録システム１００の構成を例示するブロック図である。動画収録システム１００は、例えばインターネット等の通信網を介して端末装置２００に配信されるコンテンツ（以下「配信コンテンツ」という）Ｃを収録するためのコンピュータシステムである。配信コンテンツＣは、端末装置２００の利用者による視聴のために端末装置２００に配信される情報である。例えば、配信コンテンツＣは、例えば複数の対戦者がビデオゲームにより対戦する競技イベント（esports）の動画および音声で構成される。配信コンテンツＣは、例えばスマートフォン、タブレット端末またはパーソナルコンピュータ等の端末装置２００に配信される。なお、図１においては便宜的に１個の端末装置２００のみが図示されているが、実際には複数の端末装置２００に対して配信コンテンツＣが配信される。
[First embodiment]
FIG. 1 is a block diagram illustrating the configuration of a
動画収録システム１００は、収録システム２０-1と収録システム２０-2と制御システム３０とを具備する。収録システム２０-1および収録システム２０-2の各々は、通信網を介して制御システム３０と通信する。
The
収録システム２０-1は収録スタジオＲ1内に設置される。収録システム２０-2は収録スタジオＲ2内に設置される。収録スタジオＲ1および収録スタジオＲ2は、相異なる現実の空間である。収録スタジオＲ1と収録スタジオＲ2とは、例えば遠隔地に位置する。なお、収録スタジオＲ1は「第１現実空間」の一例であり、収録スタジオＲ2は「第２現実空間」の一例である。 The recording system 20-1 is installed in the recording studio R1. The recording system 20-2 is installed in the recording studio R2. Recording studio R1 and recording studio R2 are different real spaces. The recording studio R1 and the recording studio R2 are located in remote locations, for example. Note that the recording studio R1 is an example of a "first real space" and the recording studio R2 is an example of a "second real space."
収録スタジオＲ1には、収録対象となる被写体Ｑ1が存在する。被写体Ｑ1は、例えば配信コンテンツＣの出演者Ｑ11および演出用の設備Ｑ12を含む。同様に、収録スタジオＲ2には、収録対象となる被写体Ｑ2が存在する。被写体Ｑ2は、例えば配信コンテンツＣの出演者Ｑ21および演出用の設備Ｑ22を含む。出演者Ｑ11および出演者Ｑ21は、例えば競技イベントの出場者または解説者である。収録スタジオＲ1における被写体Ｑ1の背景はグリーンバックで構成される。同様に、収録スタジオＲ2内における被写体Ｑ2の背景はグリーンバックで構成される。なお、被写体Ｑ1は「第１被写体」の一例であり、被写体Ｑ2は「第２被写体」の一例である。 In the recording studio R1, there is a subject Q1 to be recorded. The subject Q1 includes, for example, the performer Q11 of the distributed content C and the production equipment Q12. Similarly, there is a subject Q2 to be recorded in the recording studio R2. The subject Q2 includes, for example, the performer Q21 of the distributed content C and the production equipment Q22. Performer Q11 and performer Q21 are, for example, contestants or commentators of a competitive event. The background of the subject Q1 in the recording studio R1 is composed of a green screen. Similarly, the background of the subject Q2 in the recording studio R2 is composed of a green screen. Note that the subject Q1 is an example of a "first subject," and the subject Q2 is an example of a "second subject."
図２は、収録システム２０-1および収録システム２０-2のブロック図である。以下においては、収録システム２０-1および収録システム２０-2を「収録システム２０-n」（ｎ＝１，２）と総称することで両者の構成を一括的に説明する。図２に例示される通り、収録システム２０-nは、撮像装置２１-nと収音装置２２-nと通信装置２３-nとを具備する。なお、収音装置２２-nおよび通信装置２３-nの一方または双方は、撮像装置２１-nに搭載されてもよい。撮像装置２１-1は「第１撮像装置」の一例であり、撮像装置２１-2は「第２撮像装置」の一例である。 FIG. 2 is a block diagram of the recording system 20-1 and the recording system 20-2. In the following, the recording system 20-1 and recording system 20-2 will be collectively referred to as "recording system 20-n" (n=1, 2), and the configurations of both systems will be collectively explained. As illustrated in FIG. 2, the recording system 20-n includes an imaging device 21-n, a sound pickup device 22-n, and a communication device 23-n. Note that one or both of the sound collection device 22-n and the communication device 23-n may be installed in the imaging device 21-n. The imaging device 21-1 is an example of a "first imaging device," and the imaging device 21-2 is an example of a "second imaging device."
撮像装置２１-nは、収録スタジオＲn内の動画Ｖnを撮像するカメラである。すなわち、撮像装置２１-1は収録スタジオＲ1内における撮像により動画Ｖ1を収録し、撮像装置２１-2は収録スタジオＲ2内における撮像により動画Ｖ2を収録する。各撮像装置２１-nは、例えば、撮影レンズ等の光学系と、光学系からの入射光を受光する撮像素子と、撮像素子による受光量に応じて動画Ｖnのデータを生成する処理回路とを具備する。なお、動画Ｖnを表すデータの形式は任意である。動画Ｖ1は「第１動画」の一例であり、動画Ｖ2は「第２動画」の一例である。 The imaging device 21-n is a camera that images a video Vn in the recording studio Rn. That is, the imaging device 21-1 records the moving image V1 by imaging within the recording studio R1, and the imaging device 21-2 records the moving image V2 by imaging within the recording studio R2. Each imaging device 21-n includes, for example, an optical system such as a photographic lens, an imaging element that receives incident light from the optical system, and a processing circuit that generates data of a moving image Vn according to the amount of light received by the imaging element. Be equipped. Note that the format of data representing the video Vn is arbitrary. The video V1 is an example of a "first video," and the video V2 is an example of a "second video."
撮像装置２１-nは、動画Ｖnを撮像する条件（以下「撮像条件」という）を変更可能なＰＴＺ（Panoramac-Tilt-Zoom）カメラである。撮像条件は、撮像装置２１-nが撮像する範囲を規定する条件である。例えば、撮像方向および撮像倍率が撮像条件として例示される。撮像方向は、撮影レンズの光軸の方向であり、例えば水平方向（パン）および垂直方向（チルト）に変化する。撮像倍率は、例えば焦点距離に応じた倍率（ズーム）である。 The imaging device 21-n is a PTZ (Panorama-Tilt-Zoom) camera that can change the conditions for imaging the video Vn (hereinafter referred to as "imaging conditions"). The imaging conditions are conditions that define the range to be imaged by the imaging device 21-n. For example, an imaging direction and an imaging magnification are exemplified as imaging conditions. The imaging direction is the direction of the optical axis of the photographic lens, and changes, for example, in the horizontal direction (panning) and vertical direction (tilting). The imaging magnification is, for example, a magnification (zoom) depending on the focal length.
撮像装置２１-nの撮像条件は、制御システム３０から送信される制御データＤに応じて制御される。制御データＤは、撮像装置２１-nに撮像条件を指示するデータである。撮像装置２１-1と撮像装置２１-2とは同機種であり、動作特性等の仕様は両者間で共通する。したがって、撮像装置２１-1と撮像装置２１-2とは、制御データＤに対して同様に動作する。
The imaging conditions of the imaging device 21-n are controlled according to control data D transmitted from the
また、撮像装置２１-nは、制御データＤに応じた撮像装置２１-nの動作の結果を表す動作データＨnを生成する。動作データＨnは、制御データＤに応じて制御された撮像装置２１-nにおける実際の撮像条件を表すデータである。撮像条件は制御データＤにより指示されるから、基本的には、制御データＤにより指示される撮像条件と動作データＨnが表す撮像条件とは一致する。しかし、実際には、撮像装置２１-nの特性誤差等の事情に起因して、制御データＤにより指示される撮像条件と動作データＨnが表す撮像条件とが一致しない場合がある。以上の通り、制御データＤは撮像条件を指示するデータであるのに対し、動作データＨnは、撮像装置２１-nの撮像条件を制御データＤに応じて実際に制御した結果を表すデータである。なお、制御データＤと動作データＨnとの間でデータの形式は相違してよい。動作データＨ1は「第１動作データ」の一例である。 Further, the imaging device 21-n generates operation data Hn representing the result of the operation of the imaging device 21-n according to the control data D. The operation data Hn is data representing actual imaging conditions in the imaging device 21-n, which is controlled according to the control data D. Since the imaging conditions are instructed by the control data D, basically the imaging conditions instructed by the control data D and the imaging conditions represented by the operation data Hn match. However, in reality, due to circumstances such as characteristic errors of the imaging device 21-n, the imaging conditions instructed by the control data D and the imaging conditions represented by the operational data Hn may not match. As described above, the control data D is data that instructs the imaging conditions, whereas the operation data Hn is data that represents the result of actually controlling the imaging conditions of the imaging device 21-n in accordance with the control data D. . Note that the data formats may be different between the control data D and the operation data Hn. The operation data H1 is an example of "first operation data."
収音装置２２-nは、収録スタジオＲn内の音声Ａnを収録するマイクロホンである。音声Ａnは、例えば収録スタジオＲn内の出演者Ｑn1が発音する音声である。具体的には、音声Ａnの波形を表すデータが収音装置２２-nにより生成される。なお、音声Ａnを表すデータの形式は任意である。 The sound collection device 22-n is a microphone that records audio An within the recording studio Rn. The sound An is, for example, the sound produced by the performer Qn1 in the recording studio Rn. Specifically, data representing the waveform of the sound An is generated by the sound collection device 22-n. Note that the format of the data representing the voice An is arbitrary.
通信装置２３-nは、例えばインターネット等の通信網（図示略）を介して制御システム３０と通信する。通信装置２３-nと制御システム３０との間の通信の経路は、有線区間または無線区間で構成される。具体的には、通信装置２３-nは、制御データＤを制御システム３０から受信する。また、通信装置２３-nは、素材データＭnと動作データＨnとを制御システム３０に送信する。素材データＭnは、撮像装置２１-nが撮像した動画Ｖnと収音装置２２-nが収音した音声Ａnとを表すデータである。以上の説明から理解される通り、収録スタジオＲ1内の動画Ｖ1および音声Ａ1（素材データＭ1）と収録スタジオＲ2内の動画Ｖ2および音声Ａ2（素材データＭ2）とが制御システム３０に提供される。
The communication device 23-n communicates with the
収録スタジオＲ1と収録スタジオＲ2との間では、形状および寸法が実質的に共通する。図１の基準面αは、収録スタジオＲ1および収録スタジオＲ2の各々を左右に区分する仮想的な鉛直面である。撮像装置２１-1は、収録スタジオＲ1内の基準面α上に設置される。同様に、撮像装置２１-2は、収録スタジオＲ2内の基準面α上に設置される。収録スタジオＲ1に対する撮像装置２１-1の位置（平面的な位置および高さ）は、収録スタジオＲ2に対する撮像装置２１-2の位置と共通する。また、撮像装置２１-1の初期的な撮像条件と撮像装置２１-2の初期的な撮像条件とは共通する。すなわち、撮像方向および撮像倍率は、撮像装置２１-1と撮像装置２１-2との間で共通の初期値に設定される。 The recording studio R1 and the recording studio R2 have substantially the same shape and dimensions. The reference plane α in FIG. 1 is a virtual vertical plane that divides each of the recording studio R1 and the recording studio R2 into left and right sides. The imaging device 21-1 is installed on the reference plane α in the recording studio R1. Similarly, the imaging device 21-2 is installed on the reference plane α in the recording studio R2. The position (planar position and height) of the imaging device 21-1 relative to the recording studio R1 is the same as the position of the imaging device 21-2 relative to the recording studio R2. Further, the initial imaging conditions of the imaging device 21-1 and the initial imaging conditions of the imaging device 21-2 are common. That is, the imaging direction and imaging magnification are set to common initial values between the imaging device 21-1 and the imaging device 21-2.
収録スタジオＲ1内の被写体Ｑ1は、収録スタジオＲ1のうち基準面αの左側の空間内に位置する。他方、収録スタジオＲ2内の被写体Ｑ2は、収録スタジオＲ2のうち基準面αの右側の空間内に位置する。以上の説明から理解される通り、収録スタジオＲ1における撮像装置２１-1に対する被写体Ｑ1の位置（例えば方向および距離）と、収録スタジオＲ2における撮像装置２１-2に対する被写体Ｑ2の位置とは相違する。 The subject Q1 in the recording studio R1 is located in the space on the left side of the reference plane α in the recording studio R1. On the other hand, the subject Q2 in the recording studio R2 is located in the space on the right side of the reference plane α in the recording studio R2. As understood from the above description, the position (for example, direction and distance) of the subject Q1 with respect to the imaging device 21-1 in the recording studio R1 is different from the position of the subject Q2 with respect to the imaging device 21-2 in the recording studio R2.
図３は、制御システム３０の構成を例示するブロック図である。制御システム３０は、収録システム２０-1および収録システム２０-2の制御と配信コンテンツＣの生成とを実行するコンピュータシステムである。制御システム３０は、例えばスマートフォン、タブレット端末またはパーソナルコンピュータ等の情報装置で実現される。なお、制御システム３０は、以上に例示した汎用の情報装置により実現されるほか、各収録システム-nの制御に専用される制御機器、または配信コンテンツＣの編集に専用される編集機器等の専用機器により実現されてもよい。制御システム３０は、制御装置３１と記憶装置３２と通信装置３３と操作装置３４と再生装置３５とを具備する。なお、制御システム３０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。
FIG. 3 is a block diagram illustrating the configuration of the
制御装置３１は、制御システム３０の各要素を制御する単数または複数のプロセッサである。具体的には、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより、制御装置３１が構成される。
The
通信装置３３は、通信網を介して端末装置２００および各収録システム２０-nの各々と通信する。例えば、通信装置３３は、端末装置２００に対して配信コンテンツＣを送信し、収録システム２０-1および収録システム２０-2に対して制御データＤを送信する。また、通信装置３３は、各収録システム２０-nが送信する素材データＭnおよび動作データＨnを受信する。
The communication device 33 communicates with the
記憶装置３２は、制御装置３１が実行するプログラムと、制御装置３１が使用する各種のデータとを記憶する単数または複数のメモリである。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置３２として利用される。なお、例えば、制御システム３０に対して着脱される可搬型の記録媒体、または、制御装置３１が通信網を介してアクセス可能な記録媒体（例えばクラウドストレージ）が、記憶装置３２として利用されてもよい。
The
操作装置３４は、制作者による指示を受付ける入力機器である。制作者は、配信コンテンツＣを制作する利用者である。例えば、制作者が操作するジョイスティック等の操作子、または、制作者による接触を検知するタッチパネルが、操作装置３４として利用される。なお、制御システム３０とは別体の操作装置３４が、制御システム３０に対して有線または無線により接続されてもよい。
The operating
再生装置３５は、制御装置３１による制御のもとで配信コンテンツＣを再生する。具体的には、再生装置３５は、表示装置と放音装置とを具備する。表示装置は、配信コンテンツＣの動画を表示する。例えば液晶表示パネルまたは有機ＥＬ（Electroluminescence）パネル等の各種の表示パネルが、表示装置として利用される。放音装置は、配信コンテンツＣの音声を放射する。例えばスピーカまたはヘッドホンが、放音装置として利用される。なお、制御システム３０とは別体の再生装置３５が、制御システム３０に対して有線または無線により接続されてもよい。
The
図４は、制御システム３０の機能的な構成を例示するブロック図である。制御装置３１は、記憶装置３２に記憶されたプログラムを実行することで、配信コンテンツＣを収録するための複数の機能（撮像制御部４１、動画生成部４２、動画合成部４３および再生制御部４４）を実現する。なお、相互に別体で構成された複数の装置により制御装置３１の機能が実現されもよい。制御装置３１の機能の一部または全部が専用の電子回路で実現されてもよい。
FIG. 4 is a block diagram illustrating the functional configuration of the
撮像制御部４１は、収録システム２０-1および収録システム２０-2を制御する。撮像制御部４１は、操作装置３４に対する制作者からの操作に応じて収録システム２０-1および収録システム２０-2を制御する。制作者は、再生装置３５が再生する配信コンテンツＣを視聴しながら操作装置３４を操作することで、撮像装置２１-1および撮像装置２１-2の撮像条件を指示する。撮像制御部４１は、制作者が指示した撮像条件を指定する制御データＤを生成する。前述の通り、制御データＤは、撮像方向および撮像倍率を指定するデータである。例えば、制御データＤは、現時点の数値に対する変化量（相対値）、または所定値を基準とした絶対値として、撮像方向および撮像倍率を指定する。
The
撮像制御部４１は、収録システム２０-1および収録システム２０-2に対して制御データＤを通信装置３３により送信する。すなわち、撮像装置２１-1と撮像装置２１-2とに対して共通の制御データＤが供給される。前述の通り、撮像装置２１-1と撮像装置２１-2とは同機種であり、動作特性等の仕様は両者間で共通する。したがって、撮像制御部４１による制御データＤの供給により、撮像装置２１-1と撮像装置２１-2とは共通の撮像条件に制御される。
The
撮像制御部４１は、収録システム２０-1および収録システム２０-2に対して時間的に並列に制御データＤを送信する。すなわち、撮像装置２１-1と撮像装置２１-2とに対して制御データＤが時間的に並列に供給される。したがって、撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件とは、制御データＤに応じて時間的に並列に変化する。
The
以上の説明から理解される通り、撮像制御部４１は、撮像装置２１-1と撮像装置２１-2とを、共通の撮像条件のもとで、時間的に相互に並列に動作させる。例えば、撮像装置２１-1の撮像方向が特定の角度だけ変化する場合、撮像装置２１-1の撮像方向の変化に並行して、撮像装置２１-2の撮像方向は同じ角度だけ変化する。また、撮像装置２１-1の撮像倍率が所定の倍率に変化する場合、撮像装置２１-1の撮像倍率の変化に並行して、撮像装置２１-2の撮像倍率は同じ倍率に変化する。すなわち、撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件とが相互に連動して共通の条件に変化する。
As understood from the above description, the
図４の動画生成部４２および動画合成部４３は、配信コンテンツＣを構成する動画（以下「合成動画」という）Ｖを生成する。図５は、第１実施形態における合成動画Ｖの生成の説明図である。図５に例示される通り、合成動画Ｖは、動画Ｖ1と動画Ｖ2と仮想動画Ｖxとの合成により生成される。仮想動画Ｖxは、仮想空間Ｒxの動画である。
The
図６は、仮想空間Ｒxの説明図である。仮想空間Ｒxは、複数のオブジェクト（以下「仮想オブジェクト」という）Ｏbが配置された仮想的なスタジオである。各仮想オブジェクトＯbは、例えば演出または装飾のために仮想空間Ｒx内に配置された仮想的な表示要素である。 FIG. 6 is an explanatory diagram of the virtual space Rx. The virtual space Rx is a virtual studio in which a plurality of objects (hereinafter referred to as "virtual objects") Ob are arranged. Each virtual object Ob is a virtual display element arranged in the virtual space Rx for, for example, presentation or decoration.
仮想空間Ｒx内には、仮想的な撮像装置（以下「仮想撮像装置」という）５０が設置される。仮想撮像装置５０は、仮想空間Ｒxを撮像する仮想カメラである。撮像装置２１-1および撮像装置２１-2と同様に、仮想撮像装置５０の撮像条件は可変である。仮想撮像装置５０の撮像条件は、仮想撮像装置５０が仮想空間Ｒx内において撮像する範囲を規定する条件である。例えば、撮像方向および撮像倍率が撮像条件として例示される。
A virtual imaging device (hereinafter referred to as "virtual imaging device") 50 is installed in the virtual space Rx. The
図４の動画生成部４２は、仮想動画Ｖxを生成する。仮想動画Ｖxは、仮想空間Ｒxを仮想撮像装置５０により撮像した動画である。具体的には、動画生成部４２は、仮想撮像装置５０の撮像条件により規定される範囲内の画像を表す仮想動画Ｖxを生成する。したがって、図５に例示される通り、仮想空間Ｒxに設置された仮想オブジェクトＯbが、仮想動画Ｖxに被写体として含まれる。仮想動画Ｖxの生成には、例えば３Ｄレンダリング等の各種の画像処理が利用される。なお、仮想動画Ｖxを表すデータの形式は任意である。
The moving
第１実施形態の動画生成部４２は、仮想撮像装置５０の撮像条件を、撮像装置２１-1の撮像条件に応じて制御する。具体的には、動画生成部４２は、通信装置３３が撮像装置２１-1から受信した動作データＨ1に応じて仮想撮像装置５０の撮像条件を制御する。すなわち、動作データＨ1は、仮想撮像装置５０の撮像条件を指示するデータとして利用される。前述の通り、動作データＨ1は、制御データＤに応じて制御された撮像装置２１-1の実際の撮像条件を表すデータである。動画生成部４２は、仮想撮像装置５０の撮像条件を、動作データＨ1が表す撮像装置２１-1の撮像条件に一致させる。
The moving
例えば、撮像装置２１-1の撮像方向が特定の角度だけ変化した場合、撮像装置２１-1の撮像方向の変化に並行して、仮想撮像装置５０の撮像方向は、仮想空間Ｒx内において同じ角度だけ変化する。また、撮像装置２１-1の撮像倍率が所定の倍率に変化した場合、撮像装置２１-1の撮像倍率の変化に並行して、仮想撮像装置５０の撮像倍率は同じ倍率に変化する。以上の説明から理解される通り、撮像装置２１-1と撮像装置２１-2と仮想撮像装置５０とは、時間的に相互に並列に、共通の撮像条件のもとで動作する。すなわち、撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件と仮想撮像装置５０の撮像条件とが、相互に連動して共通の条件に設定される。
For example, when the imaging direction of the imaging device 21-1 changes by a specific angle, in parallel with the change in the imaging direction of the imaging device 21-1, the imaging direction of the
動画合成部４３は、図５の例示の通り、撮像装置２１-1が撮像した動画Ｖ1と撮像装置２１-2が撮像した動画Ｖ2と動画生成部４２が生成した仮想動画Ｖxとの合成により、配信コンテンツＣの合成動画Ｖを生成する。具体的には、動画合成部４３は、動画Ｖ1から抽出した被写体Ｑ1と、動画Ｖ2から抽出した被写体Ｑ2と、仮想動画Ｖxとの合成により、合成動画Ｖを生成する。
As illustrated in FIG. 5, the
図４の再生制御部４４は、合成動画Ｖを含む配信コンテンツＣを端末装置２００に配信する。再生制御部４４は、素材データＭ1が表す音声Ａ1と素材データＭ2が表す音声Ａ2とを所定の混合比により混合することで合成音声Ａを生成する。再生制御部４４は、合成動画Ｖと合成音声Ａとで構成される配信コンテンツＣを端末装置２００に配信する。配信コンテンツＣのデータの形式は任意である。また、再生制御部４４は、配信コンテンツＣを再生装置３５に再生させる。なお、端末装置２００に対する配信コンテンツＣの配信は、動画配信サーバを経由してもよい。例えば、制御システム３０から送信された配信コンテンツＣが動画配信サーバに保持され、動画配信サーバから端末装置２００に対して配信コンテンツＣが配信されてもよい。また、配信コンテンツＣは、端末装置２００に配信されるほか、記憶装置３２等の記録媒体に記録されてもよい。すなわち、端末装置２０に対する配信は省略されてよい。
The
図７および図８は、制御システム３０が実行する処理（以下「動画収録処理」という）のフローチャートである。例えば操作装置３４に対する制作者からの指示を契機として動画収録処理が開始される。動画収録処理は、「動画収録方法」の一例である。
7 and 8 are flowcharts of the process (hereinafter referred to as "video recording process") executed by the
図７に例示される通り、動画収録処理が開始されると、制御装置３１（撮像制御部４１）は、撮像制御処理Ｓa（Ｓa1～Ｓa3）を実行する。具体的には、制御装置３１は、撮像条件の変更の指示を制作者から受付けたか否かを判定する（Ｓa1）。撮像条件の変更の指示を受付けた場合（Ｓa1：YES）、制御装置３１は、制作者から指示された撮像条件を指定する制御データＤを生成する（Ｓa2）。制御装置３１は、収録システム２０-1および収録システム２０-2に対して通信装置３３から制御データＤを送信する（Ｓa3）。他方、撮像条件の変更の指示を受付けない場合（Ｓa1：NO）、制御データＤの生成（Ｓa2）および送信（Ｓa3）は実行されない。
As illustrated in FIG. 7, when the video recording process is started, the control device 31 (imaging control unit 41) executes the imaging control process Sa (Sa1 to Sa3). Specifically, the
撮像制御処理Ｓaを実行すると、制御装置３１（動画生成部４２）は、動画生成処理Ｓb（Ｓb1～Ｓb3）を実行する。具体的には、制御装置３１は、撮像装置２１-1から送信される動作データＨ1を通信装置３３が受信したか否かを判定する（Ｓb1）。動作データＨ1を受信した場合（Ｓb1：YES）、制御装置３１は、仮想撮像装置５０の撮像条件を動作データＨ1に応じて制御する（Ｓb2）。すなわち、仮想撮像装置５０の撮像条件が撮像装置２１-1の実際の撮像条件に制御される。動作データＨ1を受信しない場合（Ｓb1：NO）、仮想撮像装置５０の撮像条件は変更されない。以上の処理を実行すると、制御装置３１は、仮想動画Ｖxを生成する（Ｓb3）。
After executing the imaging control process Sa, the control device 31 (video generation unit 42) executes the movie generation process Sb (Sb1 to Sb3). Specifically, the
動画生成処理Ｓbを実行すると、制御装置３１（動画合成部４３）は、図８に例示される通り動画合成処理Ｓc（Ｓc1～Ｓc5）を実行する。具体的には、制御装置３１は、撮像装置２１-1から送信された素材データＭ1を通信装置３３により受信する（Ｓc1）。制御装置３１は、素材データＭ1が表す動画Ｖ1から被写体Ｑ1を抽出する（Ｓc2）。例えば、制御装置３１は、動画Ｖ1のうちグリーンバックに対応する領域を除去することで被写体Ｑ1を抽出する。なお、撮像装置２１-1の撮像範囲に被写体Ｑ1が含まれない場合、動画Ｖ1から被写体Ｑ1は抽出されない。
After executing the video generation process Sb, the control device 31 (video composition unit 43) executes the video composition process Sc (Sc1 to Sc5) as illustrated in FIG. Specifically, the
制御装置３１は、撮像装置２１-2から送信された素材データＭ2を通信装置３３により受信する（Ｓc3）。制御装置３１は、素材データＭ2が表す動画Ｖ2から被写体Ｑ2を抽出する（Ｓc4）。例えば、制御装置３１は、動画Ｖ2のうちグリーンバックに対応する領域を除去することで被写体Ｑ2を抽出する。なお、撮像装置２１-2の撮像範囲に被写体Ｑ2が含まれない場合、動画Ｖ2から被写体Ｑ2は抽出されない。
The
そして、制御装置３１は、被写体Ｑ1および被写体Ｑ2と、動画生成処理Ｓbにより生成された仮想動画Ｖxとを合成することで合成動画Ｖを生成する（Ｓc5）。被写体Ｑ1および被写体Ｑ2は、例えば仮想動画Ｖxにおける各仮想オブジェクトＯbの手前側に位置する。
Then, the
動画合成処理Ｓcを実行すると、制御装置３１（再生制御部４４）は、再生制御処理Ｓd（Ｓd1～Ｓd5）を実行する。具体的には、制御装置３１は、素材データＭ1が表す音声Ａ1と素材データＭ2が表す音声Ａ2との合成により合成音声Ａを生成する（Ｓd1）。制御装置３１は、合成動画Ｖと合成音声Ａとを含む配信コンテンツＣを生成する（Ｓd2）。制御装置３１は、配信コンテンツＣを通信装置３３から端末装置２００に送信する（Ｓd3）。配信コンテンツＣは、動画Ｖ1および動画Ｖ2の収録に時間的に並行して端末装置２００に配信（すなわちライブ配信）される。また、制御装置３１は、配信コンテンツＣを再生装置３５に再生させる（Ｓd4）。制作者は、再生装置３５が再生する配信コンテンツＣを視聴しながら操作装置３４を操作することで、撮像条件の変更を制御システム３０に指示する（Ｓa1）。なお、端末装置２００に対する配信コンテンツＣの送信（Ｓd3）と、再生装置３５による配信コンテンツＣの再生（Ｓd4）との順序は反転されてもよい。
After executing the video composition process Sc, the control device 31 (playback control unit 44) executes playback control processes Sd (Sd1 to Sd5). Specifically, the
制御装置３１は、所定の終了条件が成立したか否かを判定する（Ｓd5）。終了条件は、例えば、操作装置３４に対する操作で制作者が処理の終了を指示したこと、または所定の時刻が到来したことである。終了条件が成立しない場合（Ｓd5：NO）、制御装置３１は処理をステップＳa1に移行する。すなわち、撮像制御処理Ｓaと動画生成処理Ｓbと動画合成処理Ｓcと再生制御処理Ｓdとが反復される。他方、終了条件が成立した場合（Ｓd5：YES）、制御装置３１は動画収録処理を終了する。
The
図９は、撮像条件と合成動画Ｖとの関係の説明図である。図９の状態[1]は、撮像装置２１-1および撮像装置２１-2の撮像方向が第１方向θ1（左向き）に設定された状態である。状態[1]においては、仮想空間Ｒxのうち第１方向θ1に位置する部分を背景として、収録スタジオＲ1内の被写体Ｑ1が合成動画Ｖの中央に位置する。状態[1]では、収録スタジオＲ2内の被写体Ｑ2は合成動画Ｖに含まれない。 FIG. 9 is an explanatory diagram of the relationship between imaging conditions and composite moving image V. State [1] in FIG. 9 is a state in which the imaging directions of the imaging device 21-1 and the imaging device 21-2 are set to the first direction θ1 (leftward). In state [1], the subject Q1 in the recording studio R1 is located at the center of the composite video V with the portion of the virtual space Rx located in the first direction θ1 as the background. In state [1], the subject Q2 in the recording studio R2 is not included in the composite video V.
図９の状態[2]は、撮像方向を右側に向けて変化させる過程である。状態[2]においては、撮像装置２１-1の撮像方向と撮像装置２１-2の撮像方向と仮想撮像装置５０の撮像方向とが時間的に並行して右側に変化する。したがって、収録スタジオＲ1内の被写体Ｑ1と収録スタジオＲ2内の被写体Ｑ2と背景の仮想空間Ｒxとが、合成動画Ｖにおいては左側に向けて移動する。すなわち、被写体Ｑ1が左側に移動することで合成動画Ｖの外側に退場していく一方、被写体Ｑ2は左側に移動することで合成動画Ｖの内側に登場する。
State [2] in FIG. 9 is a process of changing the imaging direction toward the right. In state [2], the imaging direction of the imaging device 21-1, the imaging direction of the imaging device 21-2, and the imaging direction of the
状態[2]から図９の状態[3]に遷移する。状態[3]は、撮像装置２１-1および撮像装置２１-2の撮像方向が第２方向θ2（右向き）に設定された状態である。状態[3]においては、仮想空間Ｒxのうち第２方向θ2に位置する部分を背景として、収録スタジオＲ2内の被写体Ｑ2が合成動画Ｖの中央に位置する。状態[3]では、収録スタジオＲ1内の被写体Ｑ1は合成動画Ｖに含まれない。 Transition occurs from state [2] to state [3] in FIG. State [3] is a state in which the imaging directions of the imaging device 21-1 and the imaging device 21-2 are set to the second direction θ2 (to the right). In state [3], the subject Q2 in the recording studio R2 is located at the center of the composite video V with the portion of the virtual space Rx located in the second direction θ2 as the background. In state [3], the subject Q1 in the recording studio R1 is not included in the composite video V.
以上に説明した通り、第１実施形態においては、撮像装置２１-1による動画Ｖ1の撮像と撮像装置２１-2による動画Ｖ2の撮像とが共通の撮像条件のもとで実行される。したがって、図９を参照して説明した通り、収録スタジオＲ1内の被写体Ｑ1と収録スタジオＲ2内の被写体Ｑ2とが恰も共通の空間（仮想空間Ｒx）内に所在するかのような自然な合成動画Ｖを生成できる。 As described above, in the first embodiment, the imaging of the video V1 by the imaging device 21-1 and the imaging of the video V2 by the imaging device 21-2 are performed under common imaging conditions. Therefore, as explained with reference to FIG. 9, a natural composite video is created in which the subject Q1 in the recording studio R1 and the subject Q2 in the recording studio R2 appear to be located in a common space (virtual space Rx). V can be generated.
第１実施形態においては、動画Ｖ1と動画Ｖ2と仮想動画Ｖxとの合成により合成動画Ｖが生成される。したがって、例えば収録スタジオＲ1または収録スタジオＲ2の外観が単調である場合でも、種々の仮想動画Ｖxを含む多様な合成動画Ｖを生成できる。すなわち、収録スタジオＲ1および収録スタジオＲ2内の外観が不問であるから、各収録スタジオＲnにおける演出または装飾のための費用を削減できる。第１実施形態においては特に、動画Ｖ1から抽出された被写体Ｑ1と動画Ｖ2から抽出された被写体Ｑ2とが仮想動画Ｖxに合成されるから、被写体Ｑ1と被写体Ｑ2とが恰も仮想空間Ｒx内に存在するかのような合成動画Ｖを生成できる。しかも、第１実施形態においては、仮想撮像装置５０の撮像条件が撮像装置２１-1および撮像装置２１-2の撮像条件に連動する。したがって、仮想撮像装置５０の撮像条件が固定である形態と比較して、被写体Ｑ1と被写体Ｑ2とが恰も仮想空間内に存在するかのような自然な合成動画Ｖを生成できる。
In the first embodiment, a composite video V is generated by combining the video V1, the video V2, and the virtual video Vx. Therefore, even if, for example, the appearance of the recording studio R1 or the recording studio R2 is monotonous, various composite videos V including various virtual videos Vx can be generated. That is, since the appearance of the inside of recording studio R1 and recording studio R2 does not matter, the cost for presentation or decoration in each recording studio Rn can be reduced. In the first embodiment, in particular, since the subject Q1 extracted from the video V1 and the subject Q2 extracted from the video V2 are combined into the virtual video Vx, the subject Q1 and the subject Q2 exist within the virtual space Rx. It is possible to generate a composite video V that looks like Moreover, in the first embodiment, the imaging conditions of the
第１実施形態においては、撮像装置２１-1の動作の結果を表す動作データＨ1に応じて仮想撮像装置５０の撮像条件が制御される。したがって、仮想撮像装置５０の撮像条件は、撮像装置２１-1の実際の撮像条件に連動する。例えば、撮像装置２１-1の特性誤差等の事情に起因して、撮像制御部４１からの指示が撮像装置２１-1の動作に正確に反映されない状況でも、撮像装置２１-1の実際の動作に連動して仮想撮像装置５０の撮像条件を制御できる。
In the first embodiment, the imaging conditions of the
［第２実施形態］
第２実施形態を説明する。なお、以下に例示する各態様において機能が第１実施形態と同様である要素については、第１実施形態の説明と同様の符号を流用して各々の詳細な説明を適宜に省略する。
[Second embodiment]
A second embodiment will be described. In addition, in each aspect illustrated below, for elements whose functions are similar to those in the first embodiment, the same reference numerals as in the description of the first embodiment are used, and detailed descriptions of each are omitted as appropriate.
第１実施形態においては、仮想空間Ｒxを背景とする合成動画Ｖを例示した。第２実施形態の合成動画Ｖにおいては、収録スタジオＲ1が被写体Ｑ1および被写体Ｑ2の背景として利用される。 In the first embodiment, a composite video V with the virtual space Rx as the background was illustrated. In the composite video V of the second embodiment, the recording studio R1 is used as the background of the subject Q1 and the subject Q2.
図１０は、第２実施形態における合成動画Ｖの生成の説明図である。図１０に例示される通り、動画Ｖ1は、収録スタジオＲ1内の被写体Ｑ1と当該収録スタジオＲ1の背景Ｂとを含む。背景Ｂは、収録スタジオＲ1内において撮像装置２１-1により撮像される被写体Ｑ1以外の要素である。背景Ｂは、例えば収録スタジオＲ1の装飾的な壁面または収録スタジオＲ1内に設置された演出用の設備を含む。 FIG. 10 is an explanatory diagram of generation of a composite video V in the second embodiment. As illustrated in FIG. 10, the video V1 includes a subject Q1 in the recording studio R1 and a background B of the recording studio R1. The background B is an element other than the subject Q1 imaged by the imaging device 21-1 in the recording studio R1. The background B includes, for example, a decorative wall surface of the recording studio R1 or production equipment installed in the recording studio R1.
図１０に例示される通り、第２実施形態の動画合成部４３は、被写体Ｑ1および背景Ｂを含む動画Ｖ1と、動画Ｖ2から抽出された被写体Ｑ2とを合成することで、合成動画Ｖを生成する。すなわち、収録スタジオＲ1の背景Ｂは、被写体Ｑ2の背景としても流用される。以上の説明から理解される通り、第２実施形態においては仮想動画Ｖxの生成が不要である。したがって、第１実施形態における動画生成部４２は、第２実施形態において省略される。また、第１実施形態においては撮像装置２１-1の動作データＨ1を仮想撮像装置５０の制御に適用したが、第２実施形態において動作データＨ1は不要である。
As illustrated in FIG. 10, the
図１１は、第２実施形態における動画収録処理の部分的なフローチャートである。第２実施形態における撮像制御処理Ｓaは、第１実施形態と同様である。また、第１実施形態の動画生成処理Ｓbは省略される。 FIG. 11 is a partial flowchart of the video recording process in the second embodiment. The imaging control process Sa in the second embodiment is the same as that in the first embodiment. Furthermore, the moving image generation process Sb of the first embodiment is omitted.
撮像制御処理Ｓaを実行すると、制御装置３１（動画合成部４３）は、動画合成処理Ｓc（Ｓc1～Ｓc5）を実行する。具体的には、制御装置３１は、撮像装置２１-1から送信された素材データＭ1を通信装置３３により受信する（Ｓc1）。前述の通り、素材データＭ1が表す動画Ｖ1は、収録スタジオＲ1内の被写体Ｑ1と背景Ｂとを含む。また、制御装置３１は、撮像装置２１-2から送信された素材データＭ2を通信装置３３により受信する（Ｓc3）。制御装置３１は、素材データＭ2が表す動画Ｖ2から被写体Ｑ2を抽出する（Ｓc4）。制御装置３１は、素材データＭ1の動画Ｖ1と、動画Ｖ2から抽出された被写体Ｑ2とを合成することで、合成動画Ｖを生成する（Ｓc5）。第１実施形態における被写体Ｑ1の抽出（Ｓc2）は、第２実施形態では実行されない。なお、再生制御処理Ｓdは第１実施形態と同様である。
When the imaging control process Sa is executed, the control device 31 (video composition unit 43) executes the video composition process Sc (Sc1 to Sc5). Specifically, the
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態においては、動画Ｖ2から抽出された被写体Ｑ2が、収録スタジオＲ1の背景Ｂと被写体Ｑ1とを含む動画Ｖ1に合成される。したがって、被写体Ｑ1と被写体Ｑ2とが恰も収録スタジオＲ1内に存在するかのような合成動画Ｖを生成できる。また、第２実施形態においては、仮想撮像装置５０の制御および仮想動画Ｖxの生成（動画生成部４２）が不要であるから、第１実施形態と比較して制御装置３１の処理負荷を軽減できる。
The second embodiment also achieves the same effects as the first embodiment. Furthermore, in the second embodiment, the subject Q2 extracted from the video V2 is combined with the video V1, which includes the background B of the recording studio R1 and the subject Q1. Therefore, it is possible to generate a composite moving image V that looks as if the subject Q1 and the subject Q2 exist within the recording studio R1. Further, in the second embodiment, since control of the
［第３実施形態］
図１２は、第３実施形態における動画収録システム１００の構成を例示するブロック図である。図１２に例示される通り、第３実施形態の動画収録システム１００は、第１実施形態と同様の要素に加えて再生装置６１-1および再生装置６１-2を具備する。再生装置６１-1は、収録スタジオＲ1内に設置される。再生装置６１-2は、収録スタジオＲ2内に設置される。
[Third embodiment]
FIG. 12 is a block diagram illustrating the configuration of a
各再生装置６１-nは、制御システム３０から提供される配信コンテンツＣを再生する。具体的には、各再生装置６１-nは、表示装置と放音装置とを具備する。表示装置は、配信コンテンツＣの合成動画Ｖを表示する。例えば液晶表示パネルまたは有機ＥＬパネル等の各種の表示パネルが、表示装置として利用される。
Each reproduction device 61-n reproduces distribution content C provided from the
放音装置は、配信コンテンツＣの合成音声Ａを放射する。例えばスピーカまたはヘッドホンが、放音装置として利用される。なお、収録スタジオＲ1内の再生装置６１-1が再生する合成音声Ａから、収録スタジオＲ1内で収録された音声Ａ1が除去されてもよい。同様に、収録スタジオＲ2内の再生装置６１-2が再生する合成音声Ａから、収録スタジオＲ2内で収録された音声Ａ2が除去されてもよい。 The sound emitting device emits synthesized speech A of distribution content C. For example, speakers or headphones are used as the sound emitting device. Note that the audio A1 recorded in the recording studio R1 may be removed from the synthesized audio A reproduced by the playback device 61-1 in the recording studio R1. Similarly, the audio A2 recorded in the recording studio R2 may be removed from the synthesized audio A reproduced by the playback device 61-2 in the recording studio R2.
図１３は、第３実施形態における再生制御処理Ｓdのフローチャートである。なお、撮像制御処理Ｓaと動画生成処理Ｓbと動画合成処理Ｓcとについては第１実施形態と同様である。 FIG. 13 is a flowchart of the reproduction control process Sd in the third embodiment. Note that the imaging control processing Sa, the moving image generation processing Sb, and the moving image composition processing Sc are the same as those in the first embodiment.
第１実施形態と同様に、制御装置３１（再生制御部４４）は、配信コンテンツＣの生成（Ｓd1，Ｓd2）と端末装置２００に対する送信（Ｓd3）と再生装置３５による配信コンテンツＣの再生（Ｓd4）とを実行する。さらに、第３実施形態の制御装置３１は、配信コンテンツＣを通信装置３３から再生装置６１-1および再生装置６１-2に送信する（Ｓd6）。各再生装置６１-nは、通信装置２３-nが制御システム３０から受信した配信コンテンツＣを再生する。再生装置６１-1と再生装置６１-2とにより配信コンテンツＣが時間的に並列に再生される。以上の説明から理解される通り、第３実施形態の再生制御部４４は、収録スタジオＲ1内の再生装置６１-1および収録スタジオＲ2内の再生装置６１-2に、動画合成部４３が生成した合成動画Ｖを再生させる。なお、端末装置２００に対する配信コンテンツＣの送信（Ｓd3）と、再生装置３５による配信コンテンツＣの再生（Ｓd4）と、各再生装置６１-nに対する配信コンテンツＣの送信（Ｓd6）との順序は任意であり、図１３の例示には限定されない。
Similarly to the first embodiment, the control device 31 (playback control unit 44) generates distribution content C (Sd1, Sd2), transmits it to the terminal device 200 (Sd3), and reproduces the distribution content C by the playback device 35 (Sd4). ) and execute. Furthermore, the
配信コンテンツＣは、収録システム２０-1および収録システム２０-2による収録に時間的に並行して再生装置６１-1および再生装置６１-2に送信される。収録スタジオＲ1の出演者Ｑ11は、再生装置６１-1が再生する配信コンテンツＣを視聴可能である。すなわち、出演者Ｑ11は、収録スタジオＲ1内の被写体Ｑ1に対して収録スタジオＲ2内の被写体Ｑ2が如何に合成されたのかを確認しながら、動作または発言することが可能である。同様に、収録スタジオＲ2の出演者Ｑ21は、再生装置６１-2が再生する配信コンテンツＣを視聴可能である。すなわち、出演者Ｑ21は、収録スタジオＲ2内の被写体Ｑ2に対して収録スタジオＲ1内の被写体Ｑ1が如何に合成されたのかを確認しながら、動作または発言することが可能である。また、出演者Ｑ11および出演者Ｑ21の各々は、遠隔地に所在する相手の音声Ａnを確認できる。なお、第２実施形態の構成は、第３実施形態にも同様に適用される。 The distribution content C is transmitted to the playback device 61-1 and the playback device 61-2 temporally in parallel with the recording by the recording system 20-1 and the recording system 20-2. The performer Q11 in the recording studio R1 can view the distributed content C played by the playback device 61-1. That is, the performer Q11 can act or speak while checking how the subject Q2 in the recording studio R2 has been combined with the subject Q1 in the recording studio R1. Similarly, the performer Q21 in the recording studio R2 can view the distributed content C played by the playback device 61-2. That is, the performer Q21 can act or speak while checking how the subject Q1 in the recording studio R1 has been combined with the subject Q2 in the recording studio R2. Furthermore, each of the performers Q11 and Q21 can check the voice An of the other party located at a remote location. Note that the configuration of the second embodiment is similarly applied to the third embodiment.
［第４実施形態］
図１４は、第４実施形態における動画収録システム１００の構成を例示するブロック図である。図１４に例示される通り、第４実施形態の動画収録システム１００は、第１実施形態と同様の要素に加えて照明装置６３-1および照明装置６３-2を具備する。照明装置６３-1は、収録スタジオＲ1内に設置される。照明装置６３-2は、収録スタジオＲ2内に設置される。なお、照明装置６３-1は「第１照明装置」の一例であり、照明装置６３-2は「第２照明装置」の一例である。
[Fourth embodiment]
FIG. 14 is a block diagram illustrating the configuration of a
照明装置６３-nは、収録スタジオＲn内を照明する発光源である。照明装置６３-1と照明装置６３-2とは同機種であり、動作特性等の仕様は両者間で共通する。照明装置６３-nによる照明の条件（以下「照明条件」という）は、可変に制御される。照明条件は、照明装置６３-nが放射する照明光の強度または色温度である。すなわち、照明装置６３-nは調光機能および調色機能を具備する。また、照明条件は、照明光が出射する方向（照射方向）を含んでもよい。 The lighting device 63-n is a light source that illuminates the inside of the recording studio Rn. The lighting device 63-1 and the lighting device 63-2 are of the same model, and specifications such as operating characteristics are common between them. The illumination conditions (hereinafter referred to as "illumination conditions") by the illumination device 63-n are variably controlled. The illumination condition is the intensity or color temperature of the illumination light emitted by the illumination device 63-n. That is, the lighting device 63-n has a dimming function and a color adjusting function. Further, the illumination conditions may include the direction in which illumination light is emitted (irradiation direction).
図１５は、第４実施形態における制御システム３０の機能的な構成を例示するブロック図である。制御装置３１は、記憶装置３２に記憶されたプログラムを実行することで、第１実施形態と同様の要素に加えて照明制御部４５として機能する。
FIG. 15 is a block diagram illustrating the functional configuration of the
照明制御部４５は、照明装置６３-1および照明装置６３-2を制御する。照明制御部４５は、操作装置３４に対する制作者からの操作に応じて照明装置６３-1および照明装置６３-2を制御する。制作者は、再生装置３５が再生する配信コンテンツＣを視聴しながら操作装置３４を操作することで、照明装置６３-1および照明装置６３-2の照明条件を指示する。照明制御部４５は、制作者が指示した照明条件（例えば強度または色温度）を指定する照明データＬを生成する。照明データＬは、例えばＤＭＸ（Digital Multiplex）形式のデータである。
The
照明制御部４５は、照明装置６３-1および照明装置６３-2に対して通信装置３３により照明データＬを送信する。例えばArt-Net等の通信規格のもとで照明データＬが送信される。各照明装置６３-nの照明条件は、制御システム３０から送信される照明データＬに応じて制御される。照明装置６３-1と照明装置６３-2とには共通の照明データＬが供給される。したがって、照明制御部４５による照明データＬの供給により、照明装置６３-1の照明条件と照明装置６３-2の照明条件とは、相互に連動して共通の条件に設定される。
The
また、照明制御部４５は、照明装置６３-1および照明装置６３-2に対して時間的に並列に照明データＬを送信する。したがって、照明装置６３-1の照明条件と照明装置６３-2の照明条件とは、照明データＬに応じて時間的に並列に変化する。以上の説明の通り、照明制御部４５は、照明装置６３-1と照明装置６３-2とを、共通の照明条件のもとで、時間的に相互に並列に動作させる。例えば、照明装置６３-1と照明装置６３-2との間では、照明光の強度および色温度等の照明条件が共通する。
Further, the
図１６は、第４実施形態における動画収録処理の部分的なフローチャートである。なお、撮像制御処理Ｓaと動画生成処理Ｓbと動画合成処理Ｓcと再生制御処理Ｓdとについては第１実施形態と同様である。 FIG. 16 is a partial flowchart of the video recording process in the fourth embodiment. Note that the imaging control processing Sa, the moving image generation processing Sb, the moving image composition processing Sc, and the playback control processing Sd are the same as those in the first embodiment.
撮像制御処理Ｓaを実行すると、制御装置３１（照明制御部４５）は、照明制御処理Ｓe（Ｓe1～Ｓe3）を実行する。具体的には、制御装置３１は、照明条件の変更の指示を制作者から受付けたか否かを判定する（Ｓe1）。照明条件の変更の指示を受付けた場合（Ｓe1：YES）、制御装置３１は、制作者から指示された照明条件を指定する照明データＬを生成する（Ｓe2）。制御装置３１は、照明装置６３-1および照明装置６３-2に対して通信装置３３から照明データＬを送信する（Ｓe3）。他方、照明条件の変更の指示を受付けない場合（Ｓe1：NO）、照明データＬの生成（Ｓe2）および送信（Ｓe3）は実行されない。
After executing the imaging control process Sa, the control device 31 (illumination control unit 45) executes the illumination control process Se (Se1 to Se3). Specifically, the
なお、以上の説明においては撮像制御処理Ｓaの直後に照明制御処理Ｓeを実行したが、照明制御処理Ｓeが実行される時点は以上の例示に限定されない。例えば、動画生成処理Ｓb、動画合成処理Ｓcおよび再生制御処理Ｓdの何れかの直後に、照明制御処理Ｓeが実行されてもよい。撮像制御処理Ｓaの直前に照明制御処理Ｓeが実行されてもよい。 Note that in the above description, the illumination control process Se was executed immediately after the imaging control process Sa, but the time point at which the illumination control process Se is executed is not limited to the above example. For example, the lighting control process Se may be executed immediately after any one of the video generation process Sb, the video composition process Sc, and the playback control process Sd. The illumination control process Se may be executed immediately before the imaging control process Sa.
第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態においては、撮像装置２１-1による動画Ｖ1の撮像と撮像装置２１-2による動画Ｖ2の撮像とが共通の撮像条件のもとで実行されるほか、照明装置６３-1による収録スタジオＲ1内の照明と照明装置６３-2による収録スタジオＲ2内の照明とが共通の照明条件のもとで実行される。すなわち、被写体Ｑ1に照射される照明光の強度および色温度と、被写体Ｑ2に照射される照明光の強度および色温度とが共通化される。したがって、照明装置６３-1の照明条件と照明装置６３-2の照明条件とが相互に個別に制御される形態と比較して、被写体Ｑ1と被写体Ｑ2とが共通の空間内に所在するように視聴者に知覚される自然な合成動画Ｖを生成できる。 The fourth embodiment also achieves the same effects as the first embodiment. In addition, in the fourth embodiment, the imaging of the moving image V1 by the imaging device 21-1 and the imaging of the moving image V2 by the imaging device 21-2 are performed under common imaging conditions, and the lighting device 63-1 The lighting in the recording studio R1 by the lighting device 63-2 and the lighting in the recording studio R2 by the lighting device 63-2 are performed under common lighting conditions. That is, the intensity and color temperature of the illumination light irradiated to the subject Q1 and the intensity and color temperature of the illumination light irradiated to the subject Q2 are made common. Therefore, compared to a configuration in which the illumination conditions of the illumination device 63-1 and the illumination conditions of the illumination device 63-2 are controlled individually, it is possible for the subject Q1 and the subject Q2 to be located in a common space. It is possible to generate a natural composite video V that is perceived by the viewer.
なお、第２実施形態の構成は第４実施形態にも同様に適用される。第３実施形態の構成も第４実施形態に適用される。例えば、再生装置６１-nおよび照明装置６３-nの双方が収録スタジオＲnに設置されてもよい。 Note that the configuration of the second embodiment is similarly applied to the fourth embodiment. The configuration of the third embodiment is also applied to the fourth embodiment. For example, both the playback device 61-n and the lighting device 63-n may be installed in the recording studio Rn.
［第５実施形態］
第１実施形態においては、動画Ｖ1と動画Ｖ2と仮想動画Ｖxとの合成により合成動画Ｖが生成される。第５実施形態においては、撮像装置２１-1により撮像された動画Ｖ1と、制御装置３１（動画生成部４２）が生成した仮想動画Ｖxとの合成により、合成動画Ｖが生成される。
[Fifth embodiment]
In the first embodiment, a composite video V is generated by combining the video V1, the video V2, and the virtual video Vx. In the fifth embodiment, a composite video V is generated by combining the video V1 captured by the imaging device 21-1 and the virtual video Vx generated by the control device 31 (video generation unit 42).
図１７は、第５実施形態における動画収録システム１００の構成を例示するブロック図である。図１７に例示される通り、第５実施形態の動画収録システム１００は、収録システム２０-1と制御システム３０とを具備する。すなわち、第５実施形態において収録システム２０-2は省略される。収録システム２０-1の構成および機能は第１実施形態と同様である。また、制御システム３０の構成は第１実施形態（図３）と同様である、
FIG. 17 is a block diagram illustrating the configuration of a
図１８は、第５実施形態における制御システム３０の機能的な構成を例示するブロック図である。第５実施形態の制御装置３１は、記憶装置３２に記憶されたプログラムを実行することで、第１実施形態と同様の要素（撮像制御部４１，動画生成部４２，動画合成部４３，再生制御部４４）として機能する。第５実施形態の撮像制御部４１は、制御データＤを送信することで撮像装置２１-1の撮像条件を制御する。動画生成部４２は、仮想動画Ｖxを生成する。
FIG. 18 is a block diagram illustrating the functional configuration of the
図１９は、第５実施形態における合成動画Ｖの生成の説明図である。図１９に例示される通り、第５実施形態の仮想動画Ｖxは、第１実施形態と同様に、仮想空間Ｒxを仮想撮像装置５０により撮像した動画である。ただし、第５実施形態の仮想空間Ｒxには、仮想的な出演者（以下「仮想出演者」という）Ｐが仮想オブジェクトＯbとして存在する。仮想出演者Ｐは、例えば現実の出演者Ｑ11とともに競技イベントに出演する仮想的な出場者または解説者であり、仮想空間Ｒx内で種々の動作を実行する。仮想出演者Ｐは、仮想撮像装置５０による撮像の被写体である。
FIG. 19 is an explanatory diagram of generation of composite video V in the fifth embodiment. As illustrated in FIG. 19, the virtual moving image Vx of the fifth embodiment is a moving image captured by the
動画生成部４２は、第１実施形態と同様に、仮想撮像装置５０の撮像条件を、撮像装置２１-1の撮像条件に応じて制御する。具体的には、動画生成部４２は、通信装置３３が撮像装置２１-1から受信した動作データＨ1に応じて仮想撮像装置５０の撮像条件を制御する。すなわち、仮想撮像装置５０の撮像条件が撮像装置２１-1の撮像条件に連動する。
The moving
動画合成部４３は、図１９の例示の通り、撮像装置２１-1が撮像した動画Ｖ1と動画生成部４２が生成した仮想動画Ｖxとの合成により、配信コンテンツＣの合成動画Ｖを生成する。再生制御部４４は、第１実施形態と同様に、合成動画Ｖを含む配信コンテンツＣを端末装置２００に配信する。
As illustrated in FIG. 19, the
図２０は、第５実施形態における動画収録処理のフローチャートである。撮像制御処理Ｓaおよび動画生成処理Ｓbは第１実施形態と同様である。ただし、撮像制御処理Ｓaにおいて、制御装置３１は、収録システム２０-1のみに対して制御データＤを送信する。また、動画生成処理Ｓbにおいて、制御装置３１は、仮想出演者Ｐを含む仮想空間Ｒxを仮想撮像装置５０により撮像した仮想動画Ｖxを生成する。
FIG. 20 is a flowchart of video recording processing in the fifth embodiment. The imaging control process Sa and the moving image generation process Sb are the same as those in the first embodiment. However, in the imaging control process Sa, the
動画合成処理Ｓcにおいては、第１実施形態における動画Ｖ2に関する処理が省略される。具体的には、制御装置３１は、収録システム２０-1から送信された素材データＭ1を通信装置３３により受信し（Ｓc1）、素材データＭ1の動画Ｖ1から被写体Ｑ1を抽出する（Ｓc2）。そして、制御装置３１は、図１９に例示される通り、動画Ｖ1から抽出した被写体Ｑ1と、動画生成処理Ｓbにより生成された仮想動画Ｖxとを合成することで合成動画Ｖを生成する（Ｓc5）。再生制御処理Ｓdは第１実施形態と同様である。
In the video composition process Sc, the process related to the video V2 in the first embodiment is omitted. Specifically, the
第５実施形態においては、撮像装置２１-1による動画Ｖ1の撮像と仮想撮像装置５０による仮想動画Ｖxの撮像とが共通の撮像条件のもとで実行される。したがって、収録スタジオＲ1内の被写体Ｑ1と仮想空間Ｒx内の仮想出演者Ｐとが恰も共通の空間（仮想空間Ｒx）内に所在するかのような自然な合成動画Ｖを生成できる。
In the fifth embodiment, the imaging of the moving image V1 by the imaging device 21-1 and the imaging of the virtual moving image Vx by the
なお、第３実施形態の構成は第５実施形態にも同様に適用される。例えば、収録スタジオＲ1に設置された再生装置６１-1により、配信コンテンツＣが再生される。 Note that the configuration of the third embodiment is similarly applied to the fifth embodiment. For example, the distribution content C is played back by the playback device 61-1 installed in the recording studio R1.
第４実施形態の構成も第５実施形態に適用される。すなわち、第５実施形態において、収録スタジオＲ1に設置された照明装置６３-1の照明条件が、照明データＬに応じて制御されてよい。さらに、第５実施形態において、仮想空間Ｒxに設置された仮想的な照明装置の照明条件が、照明データＬに応じて制御されてもよい。すなわち、制御装置３１（照明制御部４５）は、収録スタジオＲ1内の照明装置６３-1と仮想空間Ｒx内の照明装置とを、共通の照明条件のもとで、時間的に相互に並列に動作させる。 The configuration of the fourth embodiment is also applied to the fifth embodiment. That is, in the fifth embodiment, the lighting conditions of the lighting device 63-1 installed in the recording studio R1 may be controlled according to the lighting data L. Furthermore, in the fifth embodiment, the lighting conditions of a virtual lighting device installed in the virtual space Rx may be controlled according to the lighting data L. That is, the control device 31 (lighting control unit 45) causes the lighting device 63-1 in the recording studio R1 and the lighting device in the virtual space Rx to be temporally parallel to each other under a common lighting condition. make it work.
［変形例］
以上に例示した各形態は多様に変形され得る。前述の各形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で併合してもよい。
[Modified example]
Each form illustrated above can be modified in various ways. Specific modifications that can be applied to each of the above embodiments are illustrated below. Two or more aspects arbitrarily selected from the following examples may be combined to the extent that they do not contradict each other.
（１）前述の各形態においては、収録スタジオＲ1および収録スタジオＲ2とは別個の位置に制御システム３０が設置された形態を例示したが、収録スタジオＲ1または収録スタジオＲ2に制御システム３０が設置されてもよい。また、撮像装置２１-1または撮像装置２１-2に制御システム３０が搭載されてもよい。
(1) In each of the above embodiments, the
（２）前述の各形態においては、撮像装置２１-1の動作データＨ1に応じて仮想撮像装置５０の撮像条件を制御する形態を例示したが、動画生成部４２は、撮像装置２１-2の動作データＨ2に応じて仮想撮像装置５０の撮像条件を制御してもよい。また、動画生成部４２は、動作データＨ1および動作データＨ2の双方に応じて仮想撮像装置５０の撮像条件を制御してもよい。例えば、動画生成部４２は、動作データＨ1が表す撮像条件と動作データＨ2が表す撮像条件との平均的な条件に、仮想撮像装置５０の撮像条件を設定してもよい。以上の例示の通り、仮想撮像装置５０の撮像条件は、撮像装置２１-1の撮像条件および撮像装置２１-2の撮像条件の一方または双方に応じて制御される。なお、仮想撮像装置５０の撮像条件は固定されてもよい。
(2) In each of the above embodiments, the imaging conditions of the
（３）前述の各形態においては、撮像装置２１-1の動作データＨ1に応じて仮想撮像装置５０の撮像条件を制御する形態を例示した。前述の通り、制御データＤにより指示される撮像装置２１-nの撮像条件と、撮像装置２１-nの動作データＨnが表す撮像条件とは、基本的には一致する。したがって、動画生成部４２は、仮想撮像装置５０の撮像条件を制御データＤに応じて制御してもよい。すなわち、動画生成部４２は、仮想撮像装置５０を、制御データが指定する撮像条件に制御する。以上の説明から理解される通り、仮想撮像装置５０の撮像条件の制御に動作データＨnを使用する構成は省略されてよい。
(3) In each of the above-described embodiments, an example is given in which the imaging conditions of the
（４）第１実施形態のように収録スタジオＲ1内の動画Ｖ1から被写体Ｑ1が抽出される形態においては、収録スタジオＲ1のうち被写体Ｑ1が存在する範囲以外の空間は、合成動画Ｖの撮像にあたり不要である。したがって、図２１に例示される通り、収録スタジオＲ1のうち基準面αに対して被写体Ｑ1とは反対側の空間が縮小または削減された形態も想定される。同様に、収録スタジオＲ2のうち基準面αに対して被写体Ｑ2とは反対側の空間は、図２１に例示される通り縮小または削減されてもよい。以上の通り、各収録スタジオＲnは狭小な空間でも、動画Ｖ1と動画Ｖ2との合成により、実際の収録スタジオＲnよりも広い空間に被写体Ｑ1および被写体Ｑ2が所在すると知覚される合成動画Ｖを生成できる。すなわち、収録スタジオＲnに必要なサイズが削減されるから、合成動画Ｖの収録に必要な費用を削減できる。 (4) In the form in which the subject Q1 is extracted from the video V1 in the recording studio R1 as in the first embodiment, the space other than the area where the subject Q1 exists in the recording studio R1 is used for imaging the composite video V. Not necessary. Therefore, as illustrated in FIG. 21, a configuration in which the space on the side opposite to the subject Q1 with respect to the reference plane α in the recording studio R1 is reduced or reduced is also conceivable. Similarly, the space on the opposite side of the recording studio R2 from the subject Q2 with respect to the reference plane α may be reduced or reduced as illustrated in FIG. 21. As mentioned above, even if each recording studio Rn has a narrow space, by combining videos V1 and V2, a composite video V is generated in which the subjects Q1 and Q2 are perceived to be located in a wider space than the actual recording studio Rn. can. That is, since the size required for the recording studio Rn is reduced, the cost required for recording the composite video V can be reduced.
（５）前述の各形態においては、動画Ｖnのうちグリーンバックに対応する領域を除去することで被写体Ｑnを抽出したが、動画Ｖnから被写体Ｑnを抽出する方法は、以上の例示に限定されない。例えば、動画合成部４３は、公知の物体検出処理により動画Ｖnから被写体Ｑnを抽出してもよい。物体検出処理としては、例えば深層ニューラルネットワーク等の推定モデルを利用した物体検出、または背景差分法等の画像処理を利用した物体検出が例示される。以上の説明から理解される通り、収録スタジオＲnの背景はグリーンバックである必要はない。
(5) In each of the above embodiments, the subject Qn is extracted by removing the area corresponding to the green screen from the video Vn, but the method of extracting the subject Qn from the video Vn is not limited to the above examples. For example, the
（６）前述の各形態においては、収録スタジオＲnを現実空間として例示したが、現実空間は収録スタジオＲn等の屋内空間に限定されない。例えば、屋外空間等の現実空間内に収録システム２０-nが設置されてもよい。以上の説明から理解される通り、現実空間は、現実世界の実在する空間として定義され、屋内／屋外は不問である。 (6) In each of the above embodiments, the recording studio Rn is exemplified as a real space, but the real space is not limited to an indoor space such as the recording studio Rn. For example, the recording system 20-n may be installed in a real space such as an outdoor space. As understood from the above explanation, real space is defined as an existing space in the real world, and it does not matter whether it is indoors or outdoors.
（７）第３実施形態においては、再生装置６１-1および再生装置６１-2の双方に配信コンテンツＣを再生させたが、再生制御部４４は、再生装置６１-1および再生装置６１-2の一方のみに配信コンテンツＣを再生させてもよい。以上の説明から理解される通り、第３実施形態において、再生装置６１-1および再生装置６１-2の一方は省略されてもよい。
(7) In the third embodiment, both the playback device 61-1 and the playback device 61-2 play the distributed content C, but the
（８）前述の各形態においては、撮像装置２１-1と撮像装置２１-2とを相互に連動させる形態を例示したが、動画収録システム１００が複数の動作モードの何れかにより動作する形態も想定される。複数の動作モードは、例えば連動モードと個別モードとを含む。
(8) In each of the above embodiments, a mode in which the imaging device 21-1 and the imaging device 21-2 are interlocked is illustrated, but a mode in which the
連動モードにおいては、前述の各形態と同様に、制御システム３０が撮像装置２１-1および撮像装置２１-2に対して共通の制御データＤを送信することで、撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件とが相互に連動する。
In the linked mode, similarly to each of the above embodiments, the
個別モードにおいては、撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件とが個別に制御される。例えば、個別モードにおいて、制作者は、操作装置３４を操作することで、撮像装置２１-1および撮像装置２１-2の何れかを選択して撮像条件の変更を指示できる。例えば、撮像装置２１-1の撮像条件の変更が制作者により指示された場合、撮像制御部４１は、変更後の撮像条件を指定する制御データＤを収録システム２０-1に送信する。他方、撮像装置２１-2の撮像条件の変更が制作者により指示された場合、撮像制御部４１は、変更後の撮像条件を指定する制御データＤを収録システム２０-2に送信する。
In the individual mode, the imaging conditions of the imaging device 21-1 and the imaging conditions of the imaging device 21-2 are individually controlled. For example, in the individual mode, the producer can select either the imaging device 21-1 or the imaging device 21-2 and instruct a change in imaging conditions by operating the operating
すなわち、撮像制御部４１は、撮像装置２１-1および撮像装置２１-2に双方に共通の制御データＤを送信する動作（連動モード）と、撮像装置２１-1および撮像装置２１-2の各々に個別の制御データＤを送信する動作（個別モード）とを選択的に実行する。以上の形態によれば、撮像装置２１-1と撮像装置２１-2とが常に連動する形態と比較して、撮像装置２１-1および撮像装置２１-2の動作を相違させた多様な配信コンテンツＣを生成できる。
That is, the
（９）前述の各形態においては、撮像装置２１-1と撮像装置２１-2とが同機種である構成を想定した。以上の構成においては、撮像装置２１-1と撮像装置２１-2とに対して共通の制御データＤを送信することで、撮像装置２１-1と撮像装置２１-2とを共通の撮像条件のもとで動作させることが可能である。ただし、撮像装置２１-1と撮像装置２１-2とは別機種でもよい。撮像装置２１-1と撮像装置２１-2とが別機種である形態においては、撮像制御部４１は、撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件とが共通するように、撮像装置２１-1および撮像装置２１-2の各々に対して個別の制御データＤを送信する。以上の説明から理解される通り、撮像制御部４１は、撮像装置２１-1と撮像装置２１-2とを共通の撮像条件のもとで動作させる要素として包括的に表現され、撮像装置２１-1と撮像装置２１-2との機種の異同、および制御データＤの個別／共通は、本開示において不問である。
(9) In each of the above embodiments, a configuration is assumed in which the imaging device 21-1 and the imaging device 21-2 are of the same model. In the above configuration, by transmitting the common control data D to the imaging device 21-1 and the imaging device 21-2, the imaging device 21-1 and the imaging device 21-2 can be controlled under a common imaging condition. It is possible to operate under However, the imaging device 21-1 and the imaging device 21-2 may be different models. In a configuration in which the imaging device 21-1 and the imaging device 21-2 are different models, the
第４実施形態における照明装置６３-1および照明装置６３-2についても同様である。例えば、照明装置６３-1および照明装置６３-2が相異なる機種である形態においては、制御システム３０から個別の照明データＬを各々に送信することで、照明装置６３-1と照明装置６３-2とを共通の照明条件もとで動作させてもよい。
The same applies to the lighting device 63-1 and the lighting device 63-2 in the fourth embodiment. For example, in a configuration where the lighting device 63-1 and the lighting device 63-2 are different models, the
（１０）収録スタジオＲ1には、撮像装置２１-2に連動する撮像装置２１-1のほかに、撮像装置２１-2とは独立に撮像条件が設定される１以上の撮像装置が設置されてもよい。同様に、収録スタジオＲ2には、撮像装置２１-1に連動する撮像装置２１-2のほかに、撮像装置２１-1とは独立に撮像条件が設定される１以上の撮像装置が設置されてもよい。 (10) In addition to the imaging device 21-1 that is linked to the imaging device 21-2, the recording studio R1 is equipped with one or more imaging devices whose imaging conditions are set independently of the imaging device 21-2. Good too. Similarly, in addition to the imaging device 21-2 linked to the imaging device 21-1, the recording studio R2 is equipped with one or more imaging devices whose imaging conditions are set independently of the imaging device 21-1. Good too.
（１１）前述の各形態においては、動画Ｖ1と動画Ｖ2と仮想動画Ｖxとの合成により合成動画Ｖを生成したが、さらに他の画像が合成されてもよい。例えば、出演者Ｑ11および出演者Ｑ21がプレイするゲームの画面が、合成動画Ｖに合成されてもよい。また、収録スタジオＲn内に設置された撮像装置２１-n以外の撮像装置により撮像された動画が、合成動画Ｖに合成されてもよい。また、前述の各形態においては、音声Ａ1と音声Ａ2との合成により合成音声Ａを生成したが、さらに他の音声が合成されてもよい。例えば、出演者Ｑ11および出演者Ｑ21がプレイするゲームの音声が、合成音声Ａに合成されてもよい。 (11) In each of the above embodiments, the composite video V is generated by combining the video V1, the video V2, and the virtual video Vx, but other images may also be combined. For example, screens of games played by performer Q11 and performer Q21 may be combined into composite video V. Further, a moving image captured by an image capturing device other than the image capturing device 21-n installed in the recording studio Rn may be combined into the composite moving image V. Further, in each of the above embodiments, the synthesized speech A is generated by synthesizing the speech A1 and the speech A2, but other speech may also be synthesized. For example, the voices of a game played by performer Q11 and performer Q21 may be synthesized into synthesized voice A.
（１２）収録スタジオＲ1と収録スタジオＲ2との間で照明光の強度または色温度等の照明条件が相違する状況が想定される。以上の状況においては、例えば、動画Ｖ1および動画Ｖ2の一方または双方に対する画像処理により、動画Ｖ1と動画Ｖ2との間で光学的パラメータを相互に近似または一致させてもよい。各動画Ｖnの光学的パラメータは、例えば露出値またはホワイトバランス等の光学的なパラメータである。例えば、動画合成部４３は、動画Ｖ1および動画Ｖ2の一方の光学的パラメータを補正することで、他方の光学的パラメータに一致させる。また、動画合成部４３は、動画Ｖ1および動画Ｖ2の各々の光学的パラメータを、両者間の平均値に補正してもよい。動画合成部４３は、光学的パラメータの補正後の動画Ｖ1および動画Ｖ2を合成することで合成動画Ｖを生成する。以上の構成によれば、合成動画Ｖにおける被写体Ｑ1と被写体Ｑ2との視覚的な相違が低減される。したがって、被写体Ｑ1と被写体Ｑ2とが恰も共通の空間内に所在するかのような自然な合成動画Ｖを生成できるという前述の効果は特に顕著である。
(12) A situation is assumed in which the lighting conditions such as the intensity or color temperature of the illumination light are different between the recording studio R1 and the recording studio R2. In the above situation, for example, the optical parameters of the moving image V1 and the moving image V2 may be made to approximate or match each other by performing image processing on one or both of the moving images V1 and the moving images V2. The optical parameters of each moving image Vn are, for example, optical parameters such as exposure value or white balance. For example, the
（１３）撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件との誤差に起因して、動画Ｖ1と動画Ｖ2との間で撮像範囲が相違する状況が想定される。以上の状況において、動画合成部４３は、動画Ｖ1および動画Ｖ2の各々から特定の領域を抽出する画像処理により、動画Ｖ1と動画Ｖ2との間で撮像範囲を一致させてもよい。
(13) Due to an error between the imaging conditions of the imaging device 21-1 and the imaging condition of the imaging device 21-2, a situation is assumed in which the imaging ranges are different between the video V1 and the video V2. In the above situation, the
図２２は、本変形例における動画合成処理Ｓcの部分的なフローチャートである。図２２に例示される処理が、動画合成処理Ｓcにおける合成動画Ｖの合成（Ｓc5）前における適切な時点で実行される。 FIG. 22 is a partial flowchart of the moving image synthesis process Sc in this modification. The process illustrated in FIG. 22 is executed at an appropriate time before the synthesis (Sc5) of the composite video V in the video composition process Sc.
制御装置３１（動画合成部４３）は、撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件とが一致するか否かを判定する（Ｓc11）。例えば、制御装置３１は、動作データＨ1と動作データＨ2とが一致するか否かに応じて、撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件とが一致するか否かを判定する。撮像条件が一致するか否かの判定には、例えば動作データＨ1と動作データＨ2との類似度が利用される。類似度は、例えば、撮像装置２１-1の撮像方向と撮像装置２１-2の撮像方向とがなす角度、または、撮像装置２１-1の撮像倍率と撮像装置２１-2の撮像倍率との差異に応じた指標値である。
The control device 31 (video composition unit 43) determines whether the imaging conditions of the imaging device 21-1 and the imaging conditions of the imaging device 21-2 match (Sc11). For example, the
例えば、動作データＨ1と動作データＨ2との類似度が閾値を上回る場合、動画合成部４３は、撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件とが一致すると判定する。他方、動作データＨ1と動作データＨ2との類似度が所定の閾値を下回る場合、動画合成部４３は、撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件とが相違すると判定する。なお、制作者が配信コンテンツＣを視聴しながら操作装置３４を操作することで、動画Ｖ1と動画Ｖ2との間で撮像範囲が整合するか否かを、制御システム３０に指示してもよい。制御装置３１は、操作装置３４に対する制作者からの指示に応じて、撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件とが一致するか否かを判定する。
For example, if the degree of similarity between the motion data H1 and the motion data H2 exceeds a threshold, the
撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件とが相違する場合（Ｓc11：NO）、制御装置３１は、目標の撮像範囲に対応する領域を動画Ｖ1から抽出し、当該撮像範囲に対応する領域を動画Ｖ2から抽出する（Ｓc12）。他方、撮像装置２１-1の撮像条件と撮像装置２１-2の撮像条件とが一致する場合（Ｓc11：YES）、動画Ｖ1および動画Ｖ2の部分的な抽出（Ｓc12）は実行されない。以上の処理を経た動画Ｖ1および動画Ｖ2が、合成動画Ｖの生成（Ｓc5）に適用される。以上の形態によれば、撮像範囲が動画Ｖ1と動画Ｖ2との間で整合した自然な合成動画Ｖを生成できる。
If the imaging conditions of the imaging device 21-1 and the imaging conditions of the imaging device 21-2 are different (Sc11: NO), the
（１４）制御システム３０と収録システム２０-1との間の通信遅延と、制御システム３０と収録システム２０-2との間の通信遅延とが相違する場合、制御システム３０が取得する動画Ｖ1と動画Ｖ2とが時間的に相互に同期しない可能性がある。例えば、動画Ｖ1および動画Ｖ2の一方が他方に対して遅延する状況が想定される。以上の状況において、動画合成部４３は、動画Ｖ1と動画Ｖ2とを時間的に相互に同期させてもよい。例えば、撮像装置２１-nは、動画Ｖnの各時点にタイムコードを付加する。動画合成部４３は、動画Ｖ1および動画Ｖ2の各々のタイムコードを参照することで、動画Ｖ1と動画Ｖ2とを相互に同期させる。同期後の動画Ｖ1および動画Ｖ2が、合成動画Ｖの生成（Ｓc5）に適用される。以上の形態によれば、動画Ｖ1と動画Ｖ2との時間的なズレが低減された自然な合成動画Ｖを生成できる。
(14) If the communication delay between the
（１５）前述の各形態においては、撮像方向および撮像倍率を撮像条件として例示したが、撮像制御部４１による制御の対象となる撮像条件は以上の例示に限定されない。例えば、焦点位置（フォーカス）、絞り値（アイリス）、露光時間（シャッタースピード）、露出値またはホワイトバランス等、撮像範囲自体には影響しない条件も「撮像条件」には包含される。
(15) In each of the above-described embodiments, the imaging direction and the imaging magnification are exemplified as imaging conditions, but the imaging conditions to be controlled by the
（１６）前述の各形態においては撮像装置２１-1および撮像装置２１-2を例示したが、撮像装置２１-nの個数は３個以上でもよい。例えば、動画収録システム１００がＮ個（Ｎは２以上の自然数）の撮像装置２１-n（ｎ＝１～Ｎ）を具備する構成を想定すると、撮像制御部４１は、Ｎ個の撮像装置２１-nを共通の撮像条件のもとで相互に並列に動作させる。動画合成部４３は、各撮像装置２１-nが撮像した動画Ｖnの合成により合成動画Ｖを生成する。Ｎ個の撮像装置２１-nから選択された１個の撮像装置２１-n1（ｎ1＝１～Ｎ）が本開示における「第１撮像装置」の一例であり、他の撮像装置２１-n2（ｎ2＝１～Ｎ，ｎ2≠ｎ1）が本開示における「第２撮像装置」の一例である。
(16) In each of the above embodiments, the imaging device 21-1 and the imaging device 21-2 are illustrated, but the number of imaging devices 21-n may be three or more. For example, assuming a configuration in which the
（１７）前述の各形態に係る制御システム３０の機能は、前述の通り、制御装置３１を構成する単数または複数のプロセッサと、記憶装置３２に記憶されたプログラムとの協働により実現される。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記録媒体が、前述の非一過性の記録媒体に相当する。
(17) As described above, the functions of the
（１８）前述の各形態における動画収録システム１００は、本開示における「動画収録システム」の一例である。ただし、収録システム２０-1および収録システム２０-2を要件としない制御システム３０を、本開示の「動画収録システム」と解釈してもよい。
(18) The
（１９）本開示における「第ｎ」（ｎは自然数）という記載は、各要素を表記上において区別するための形式的または便宜的な標識（ラベル）としてのみ使用され、如何なる実質的な意味も持たない。したがって、「第ｎ」という表記を根拠として、各要素の位置または処理の順序等が限定的に解釈される余地はない。 (19) In the present disclosure, the term “nth” (n is a natural number) is used only as a formal or convenient label to distinguish each element in the notation, and has no substantive meaning. do not have. Therefore, there is no room for the position of each element or the order of processing to be interpreted in a limited manner based on the notation "nth".
［付記］
以上の記載から、例えば以下のように本開示の好適な態様が把握される。なお、各態様の理解を容易にするために、以下では、図面の符号を便宜的に括弧書で併記するが、本開示を図示の態様に限定する趣旨ではない。
[Additional notes]
From the above description, preferred aspects of the present disclosure can be understood, for example, as follows. Note that in order to facilitate understanding of each aspect, the reference numerals in the drawings will be conveniently written in parentheses below, but this is not intended to limit the present disclosure to the illustrated aspects.
［付記１］
本開示のひとつの態様（付記１）に係る動画収録システム（１００）は、第１現実空間（Ｒ1）内の第１撮像装置（２１-1）と第２現実空間（Ｒ2）内の第２撮像装置（２１-2）とを共通の撮像条件のもとで時間的に相互に並列に動作させる撮像制御部（４１）と、前記第１撮像装置（２１-1）が撮像した第１動画（Ｖ1）と前記第２撮像装置（２１-2）が撮像した第２動画（Ｖ2）との合成により合成動画（Ｖ）を生成する動画合成部（４３）とを具備する。以上の態様によれば、第１撮像装置（２１-1）による第１動画（Ｖ1）の撮像と第２撮像装置（２１-2）による第２動画（Ｖ2）の撮像とが共通の撮像条件のもとで実行される。したがって、第１現実空間（Ｒ1）内の第１被写体（Ｑ1）と第２現実空間（Ｒ2）内の第２被写体（Ｑ2）とが恰も共通の空間内に所在するかのような自然な合成動画（Ｖ）を生成できる。
[Additional note 1]
A video recording system (100) according to one aspect (Appendix 1) of the present disclosure includes a first imaging device (21-1) in a first real space (R1) and a second imaging device (21-1) in a second real space (R2). an imaging control unit (41) that causes the imaging device (21-2) to operate temporally in parallel with each other under a common imaging condition; and a first moving image captured by the first imaging device (21-1). (V1) and a second moving image (V2) captured by the second imaging device (21-2) to generate a composite moving image (V). According to the above aspect, the imaging of the first video (V1) by the first imaging device (21-1) and the imaging of the second video (V2) by the second imaging device (21-2) are under a common imaging condition. is executed under Therefore, the first subject (Q1) in the first real space (R1) and the second subject (Q2) in the second real space (R2) are naturally synthesized as if they were located in a common space. Video (V) can be generated.
「（第１／第２）動画」は、複数の映像の時系列により構成される動的な画像である。なお、第１現実空間（Ｒ1）内で収録された第１音声が第１動画（Ｖ1）に付随してもよいし、第２現実空間（Ｒ2）内で収録された第２音声が第２動画（Ｖ2）に付随してもよい。「（第１／第２）現実空間」とは、現実世界に実在する空間であり、仮想空間（Ｒx）と対比される概念である。 The “(first/second) moving image” is a dynamic image composed of a plurality of time-series videos. Note that the first audio recorded in the first real space (R1) may accompany the first video (V1), and the second audio recorded in the second real space (R2) may accompany the second video (V1). It may accompany the video (V2). The "(first/second) real space" is a space that exists in the real world, and is a concept contrasted with a virtual space (Rx).
第１撮像装置（２１-1）による第１動画（Ｖ1）の撮像と第２撮像装置（２１-2）による第２動画（Ｖ2）の撮像とについて「時間的に相互に並列」とは、第１撮像装置（２１-1）が第１動画（Ｖ1）を撮像する期間と第２撮像装置（２１-2）が第２動画（Ｖ2）を撮像する期間とが時間軸上で相互に重複することを意味する。なお、第１撮像装置（２１-1）による撮像動作と第２撮像装置（２１-2）による撮像動作とは、時間的に完全に同期する必要は必ずしもなく、例えば合成動画（Ｖ）の視聴者により知覚されない範囲で時間差が存在してもよい。 Regarding the imaging of the first moving image (V1) by the first imaging device (21-1) and the imaging of the second moving image (V2) by the second imaging device (21-2), “parallel to each other in time” means: The period in which the first imaging device (21-1) images the first video (V1) and the period in which the second imaging device (21-2) images the second video (V2) overlap each other on the time axis. It means to do. Note that the imaging operation by the first imaging device (21-1) and the imaging operation by the second imaging device (21-2) do not necessarily need to be completely synchronized in time; for example, when viewing a composite video (V), A time difference may exist within a range that is not perceivable by the person.
「撮像条件」は、（第１／第２）撮像装置（２１-n）による動画の撮像に関する条件である。具体的には、撮像方向または撮像倍率等、撮像範囲を規定する条件が「撮像条件」として例示される。撮像方向は、例えば水平方向（パン）または垂直方向（チルト）である。撮像倍率は、例えば焦点距離に応じた倍率（ズーム）である。ただし、例えば焦点位置（フォーカス）、絞り値（アイリス）、露光時間（シャッタースピード）、露出値またはホワイトバランス等、撮像範囲自体には影響しない条件も「撮像条件」には包含される。「撮像条件」は、例えば撮像制御部（４１）による制御の対象となる動作条件とも表現される。 The "imaging condition" is a condition regarding imaging of a moving image by the (first/second) imaging device (21-n). Specifically, conditions that define the imaging range, such as the imaging direction or imaging magnification, are exemplified as "imaging conditions." The imaging direction is, for example, a horizontal direction (pan) or a vertical direction (tilt). The imaging magnification is, for example, a magnification (zoom) depending on the focal length. However, "imaging conditions" also include conditions that do not affect the imaging range itself, such as, for example, focal position (focus), aperture value (iris), exposure time (shutter speed), exposure value, or white balance. The "imaging conditions" are also expressed as, for example, operating conditions that are subject to control by the imaging control unit (41).
「共通の撮像条件のもとで動作させる」とは、第１撮像装置（２１-1）の撮像条件と第２撮像装置（２１-2）の撮像条件とが完全に一致する場合のほか、第１撮像装置（２１-1）の撮像条件と第２撮像装置（２１-2）の撮像条件とが実質的に一致する場合も含む。「撮像条件が実質的に一致する場合」とは、例えば、撮像条件の相違が視聴者に知覚されない程度に第１撮像装置（２１-1）と第２撮像装置（２１-2）との間で撮像条件が近似する場合、または、第１撮像装置（２１-1）の撮像条件と第２撮像装置（２１-2）の撮像条件との差異が、両者間の特性の相違（例えば製造誤差等の事情に起因した相違）を原因とする程度の微小な差異である場合である。 "Operating under common imaging conditions" refers to cases where the imaging conditions of the first imaging device (21-1) and the imaging conditions of the second imaging device (21-2) completely match; This also includes a case where the imaging conditions of the first imaging device (21-1) and the imaging conditions of the second imaging device (21-2) substantially match. "When the imaging conditions substantially match" means, for example, that the difference in imaging conditions between the first imaging device (21-1) and the second imaging device (21-2) is not perceptible to the viewer. If the imaging conditions are similar, or if the difference between the imaging conditions of the first imaging device (21-1) and the imaging conditions of the second imaging device (21-2) is due to a difference in characteristics between the two (for example, manufacturing error) This is a case where the difference is so small that it is caused by a difference caused by circumstances such as
例えば、第１撮像装置（２１-1）と第２撮像装置（２１-2）とが同機種である場合を想定すると、撮像条件を指示する共通の制御データ（Ｄ）を第１撮像装置（２１-1）および第２撮像装置（２１-2）の双方に送信する結果として、第１撮像装置（２１-1）と第２撮像装置（２１-2）とは共通の撮像条件のもとで動作する。また、第１撮像装置（２１-1）と第２撮像装置（２１-2）とが別機種である場合を想定すると、両機種間の撮像動作の相違が解消されるように第１撮像装置（２１-1）と第２撮像装置（２１-2）とに別個の制御データ（Ｄ）を送信する結果として、第１撮像装置（２１-1）と第２撮像装置（２１-2）とは共通の撮像条件のもとで動作する。 For example, assuming that the first imaging device (21-1) and the second imaging device (21-2) are of the same model, the common control data (D) instructing the imaging conditions is transferred to the first imaging device (21-2). 21-1) and the second imaging device (21-2), the first imaging device (21-1) and the second imaging device (21-2) are under the same imaging condition. It works. Further, assuming that the first imaging device (21-1) and the second imaging device (21-2) are different models, the first imaging device (21-1) and the second imaging device (21-2), the first imaging device (21-1) and the second imaging device (21-2) operate under common imaging conditions.
第１動画（Ｖ1）と第２動画（Ｖ2）との合成は、例えば、第１動画（Ｖ1）の少なくとも一部と第２動画（Ｖ2）の少なくとも一部との混合により合成動画（Ｖ）を生成する画像処理である。例えば、第１動画（Ｖ1）内の第１被写体（Ｑ1）と第２動画（Ｖ2）内の第２被写体（Ｑ2）とが併存するように第１動画（Ｖ1）と第２動画（Ｖ2）とが合成される。ただし、第１撮像装置（２１-1）による撮像範囲内に第１被写体（Ｑ1）が存在し、かつ、第２撮像装置（２１-2）による撮像範囲内には第２被写体（Ｑ2）が存在しない場合には、合成動画（Ｖ）には第１被写体（Ｑ1）のみが存在する。また、第１撮像装置（２１-1）による撮像範囲が第１被写体（Ｑ1）から離間し、かつ、第２撮像装置（２１-2）による撮像範囲が第２被写体（Ｑ2）に接近する場合を想定すると、表示対象が第１被写体（Ｑ1）から第２被写体（Ｑ2）に遷移する合成動画（Ｖ）が生成される。 The first video (V1) and the second video (V2) can be synthesized, for example, by mixing at least a portion of the first video (V1) and at least a portion of the second video (V2) to create a composite video (V). This is image processing that generates . For example, the first video (V1) and the second video (V2) are arranged so that the first subject (Q1) in the first video (V1) and the second subject (Q2) in the second video (V2) coexist. are synthesized. However, the first subject (Q1) exists within the imaging range of the first imaging device (21-1), and the second subject (Q2) exists within the imaging range of the second imaging device (21-2). If it does not exist, only the first subject (Q1) exists in the composite video (V). Also, when the imaging range by the first imaging device (21-1) is separated from the first subject (Q1) and the imaging range by the second imaging device (21-2) approaches the second subject (Q2). Assuming that, a composite video (V) in which the display target changes from the first subject (Q1) to the second subject (Q2) is generated.
動画収録システム（１００）による合成動画（Ｖ）の生成には、３個以上の撮像装置（２１-n）が利用されてもよい。すなわち、動画合成部（４３）は、相異なる撮像装置（２１-n）により撮像された３個以上の動画の合成により合成動画（Ｖ）を生成してもよい。「第１動画（Ｖ1）」は、複数の動画から選択されたひとつの動画であり、「第２動画（Ｖ2）」は、複数の動画のうち第１動画（Ｖ1）以外のひとつの動画である。すなわち、合成動画（Ｖ）は、第１動画（Ｖ1）および第２動画（Ｖ2）のみの合成により生成されてもよいし、第１動画（Ｖ1）および第２動画（Ｖ2）と他の１以上の動画との合成により生成されてもよい。 Three or more imaging devices (21-n) may be used to generate the composite video (V) by the video recording system (100). That is, the video composition unit (43) may generate a composite video (V) by combining three or more videos captured by different imaging devices (21-n). The "first video (V1)" is one video selected from multiple videos, and the "second video (V2)" is one video selected from multiple videos other than the first video (V1). be. That is, the composite video (V) may be generated by combining only the first video (V1) and the second video (V2), or may be generated by combining the first video (V1), the second video (V2), and another one. It may be generated by combining with the above video.
［付記２］
付記１の具体例（付記２）に係る動画収録システム（１００）は、仮想空間（Ｒx）を仮想撮像装置（５０）により撮像した仮想動画（Ｖx）を生成する動画生成部（４２）、をさらに具備し、前記動画合成部（４３）は、前記第１動画（Ｖ1）と前記第２動画（Ｖ2）と前記仮想動画（Ｖx）との合成により前記合成動画（Ｖ）を生成する。以上の態様によれば、第１動画（Ｖ1）と第２動画（Ｖ2）と仮想動画（Ｖx）との合成により合成動画（Ｖ）が生成される。したがって、例えば第１現実空間（Ｒ1）または第２現実空間（Ｒ2）の外観が単調である場合でも、種々の仮想動画（Ｖx）を含む多様な合成動画（Ｖ）を生成できる。
[Additional note 2]
The video recording system (100) according to the specific example of Appendix 1 (Appendix 2) includes a video generation unit (42) that generates a virtual video (Vx) obtained by capturing a virtual space (Rx) with a virtual imaging device (50). Furthermore, the video composition unit (43) generates the composite video (V) by combining the first video (V1), the second video (V2), and the virtual video (Vx). According to the above aspect, the composite video (V) is generated by combining the first video (V1), the second video (V2), and the virtual video (Vx). Therefore, for example, even if the first real space (R1) or the second real space (R2) has a monotonous appearance, various composite videos (V) including various virtual videos (Vx) can be generated.
「仮想空間（Ｒx）」は、画像処理等の各種の情報処理により設定される仮想的な空間であり、現実空間と対比される概念である。「仮想撮像装置（５０）」は、仮想空間（Ｒx）内に設置された仮想的な撮像装置である。仮想撮像装置（５０）の撮像条件は固定／可変の何れでもよい。 "Virtual space (Rx)" is a virtual space set by various information processing such as image processing, and is a concept contrasted with real space. The "virtual imaging device (50)" is a virtual imaging device installed in the virtual space (Rx). The imaging conditions of the virtual imaging device (50) may be fixed or variable.
［付記３］
付記２の具体例（付記３）において、前記動画合成部（４３）は、前記第１動画（Ｖ1）から第１被写体（Ｑ1）を抽出し、前記第２動画（Ｖ2）から第２被写体（Ｑ2）を抽出し、前記第１被写体（Ｑ1）と前記第２被写体（Ｑ2）と前記仮想動画（Ｖx）との合成により前記合成動画（Ｖ）を生成する。以上の態様によれば、第１被写体（Ｑ1）と第２被写体（Ｑ2）とが恰も仮想空間（Ｒx）内に存在するかのような合成動画（Ｖ）を生成できる。
[Additional note 3]
In the specific example of Appendix 2 (Appendix 3), the video composition unit (43) extracts a first subject (Q1) from the first video (V1), and extracts a second subject (Q1) from the second video (V2). Q2), and generates the composite video (V) by combining the first subject (Q1), the second subject (Q2), and the virtual video (Vx). According to the above aspect, it is possible to generate a composite moving image (V) in which the first subject (Q1) and the second subject (Q2) appear to exist in the virtual space (Rx).
「（第１／第２）被写体」は、撮像装置により撮像された１個以上の物体である。例えば人物または動物等の生物のほか、演出用の設備等の各種の物体が「被写体」には含まれ得る。第１動画（Ｖ1）から複数の第１被写体（Ｑ1）が抽出されてもよいし、第２動画（Ｖ2）から複数の第２被写体（Ｑ2）が抽出されてもよい。 “(First/Second) Subject” is one or more objects imaged by the imaging device. For example, in addition to living things such as people and animals, the "subject" may include various objects such as production equipment. A plurality of first subjects (Q1) may be extracted from the first moving image (V1), and a plurality of second subjects (Q2) may be extracted from the second moving image (V2).
「被写体を抽出」する方法は任意である。例えば、第１現実空間（Ｒ1）内の第１撮像装置（２１-1）が特定色の背景（例えばグリーンバック）のもとで第１被写体（Ｑ1）を撮像する場合を想定すると、第１動画（Ｖ1）のうち特定色の領域を除外することで第１被写体（Ｑ1）が抽出される。また、特定の物体を検出する物体検出処理を第１動画（Ｖ1）に対して実行することで、当該第１動画（Ｖ1）から第１被写体（Ｑ1）が抽出されてもよい。なお、以上の説明では第１撮像装置（２１-1）に着目したが、第２撮像装置（２１-2）についても同様である。 The method of "extracting the subject" is arbitrary. For example, assuming that the first imaging device (21-1) in the first real space (R1) images the first subject (Q1) under a background of a specific color (for example, a green screen), the first The first subject (Q1) is extracted by excluding a specific color area from the video (V1). Alternatively, the first subject (Q1) may be extracted from the first video (V1) by performing object detection processing for detecting a specific object on the first video (V1). Although the above explanation focused on the first imaging device (21-1), the same applies to the second imaging device (21-2).
［付記４］
付記２または付記３の具体例（付記４）において、前記動画生成部（４２）は、前記仮想撮像装置（５０）の撮像条件を、前記共通の撮像条件に応じて制御する。以上の態様によれば、仮想撮像装置（５０）の撮像条件が、第１撮像装置（２１-1）および第２撮像装置（２１-2）の撮像条件に連動する。したがって、第１被写体（Ｑ1）と第２被写体（Ｑ2）とが恰も仮想空間（Ｒx）内に存在するかのような自然な合成動画（Ｖ）を生成できる。
[Additional note 4]
In the specific example of Appendix 2 or Appendix 3 (Appendix 4), the moving image generation unit (42) controls the imaging conditions of the virtual imaging device (50) according to the common imaging conditions. According to the above aspect, the imaging conditions of the virtual imaging device (50) are linked to the imaging conditions of the first imaging device (21-1) and the second imaging device (21-2). Therefore, it is possible to generate a natural composite video (V) in which the first subject (Q1) and the second subject (Q2) appear to exist in the virtual space (Rx).
「仮想撮像装置（５０）の撮像条件（仮想撮像条件）を、第１撮像装置（２１-1）および第２撮像装置（２１-2）の撮像条件（現実撮像条件）に応じて制御する」とは、現実撮像条件の変化に連動して仮想撮像条件が変化する状態を意味する。以上の形態の典型例は、第１撮像装置（２１-1）および第２撮像装置（２１-2）の一方または双方の撮像条件と共通の撮像条件により仮想撮像装置（５０）を制御する構成であるが、第１撮像装置（２１-1）または第２撮像装置（２１-2）の撮像条件と仮想撮像装置（５０）の撮像条件との異同は不問である。 "Control the imaging conditions (virtual imaging conditions) of the virtual imaging device (50) according to the imaging conditions (real imaging conditions) of the first imaging device (21-1) and the second imaging device (21-2)" means a state in which virtual imaging conditions change in conjunction with changes in real imaging conditions. A typical example of the above configuration is a configuration in which the virtual imaging device (50) is controlled based on imaging conditions common to the imaging conditions of one or both of the first imaging device (21-1) and the second imaging device (21-2). However, it does not matter whether the imaging conditions of the first imaging device (21-1) or the second imaging device (21-2) are different from the imaging conditions of the virtual imaging device (50).
［付記５］
付記４の具体例（付記５）において、前記動画生成部（４２）は、前記撮像制御部（４１）の制御による前記第１撮像装置（２１-1）の動作の結果を表す第１動作データ（Ｈ1）を当該第１撮像装置（２１-1）から取得し、前記仮想撮像装置（５０）の撮像条件を、前記第１動作データ（Ｈ1）に応じて制御する。以上の態様によれば、第１撮像装置（２１-1）の動作の結果を表す第１動作データ（Ｈ1）に応じて仮想撮像装置（５０）の撮像条件が制御される。したがって、仮想撮像装置（５０）の撮像条件を、第１撮像装置（２１-1）の実際の動作に連動させることが可能である。例えば、第１撮像装置（２１-1）の特性誤差等の事情に起因して、撮像制御部（４１）からの指示が第１撮像装置（２１-1）の動作に正確に反映されない状況でも、第１撮像装置（２１-1）の実際の動作に連動して仮想撮像装置（５０）の撮像条件を制御できる。
[Additional note 5]
In the specific example of Appendix 4 (Appendix 5), the video generation unit (42) generates first operation data representing the result of the operation of the first imaging device (21-1) under the control of the imaging control unit (41). (H1) is acquired from the first imaging device (21-1), and the imaging conditions of the virtual imaging device (50) are controlled according to the first operation data (H1). According to the above aspect, the imaging conditions of the virtual imaging device (50) are controlled according to the first operation data (H1) representing the result of the operation of the first imaging device (21-1). Therefore, it is possible to link the imaging conditions of the virtual imaging device (50) with the actual operation of the first imaging device (21-1). For example, even in a situation where instructions from the imaging control unit (41) are not accurately reflected in the operation of the first imaging device (21-1) due to circumstances such as characteristic errors of the first imaging device (21-1). , the imaging conditions of the virtual imaging device (50) can be controlled in conjunction with the actual operation of the first imaging device (21-1).
「（第１）動作データ」は、撮像装置の動作の結果を表す任意の形式のデータである。例えば、撮像装置の実際の撮像方向または撮像倍率等の数値が、動作データにより指定される。動作データが指定する数値は、制御の前後における相対的な数値（変化量）でもよいし、所定値を基準とした絶対的な数値でもよい。撮像方向は、変更前の方向と変更後の方向との相対的な角度（変化量）により指定されてもよいし、所定の正面方向を基準とした絶対的な方向により指定されてもよい。また、撮像倍率は、変更前の倍率と変更後の倍率との差分（変化量）により指定されてもよいし、所定値を基準とした絶対的な数値により指定されてもよい。 “(First) operation data” is data in any format that represents the result of the operation of the imaging device. For example, numerical values such as the actual imaging direction or imaging magnification of the imaging device are specified by the operation data. The numerical value specified by the operation data may be a relative numerical value (amount of change) before and after control, or may be an absolute numerical value based on a predetermined value. The imaging direction may be specified by a relative angle (amount of change) between the direction before change and the direction after change, or may be specified by an absolute direction with respect to a predetermined front direction. Further, the imaging magnification may be specified by the difference (amount of change) between the magnification before change and the magnification after change, or may be specified by an absolute numerical value based on a predetermined value.
「仮想撮像装置（５０）の撮像条件を第１動作データ（Ｈ1）に応じて制御する」とは、仮想撮像装置（５０）の撮像条件に、少なくとも第１動作データ（Ｈ1）が反映されることを意味し、第１動作データ（Ｈ1）以外の要素が仮想撮像装置（５０）の撮像条件に反映されてもよい。例えば、撮像制御部（４１）が、第２撮像装置（２１-2）の動作の結果を表す第２動作データ（Ｈ2）を当該第２撮像装置（２１-2）から取得する形態において、動画生成部（４２）は、第１動作データ（Ｈ1）および第２動作データ（Ｈ2）の双方に応じて仮想撮像条件を制御してもよいし、第１動作データ（Ｈ1）および第２動作データ（Ｈ2）の一方を選択的に仮想撮像条件に反映させてもよい。 "Controlling the imaging conditions of the virtual imaging device (50) according to the first operating data (H1)" means that at least the first operating data (H1) is reflected in the imaging conditions of the virtual imaging device (50). This means that elements other than the first operation data (H1) may be reflected in the imaging conditions of the virtual imaging device (50). For example, in a configuration in which the imaging control unit (41) acquires second operation data (H2) representing the result of the operation of the second imaging device (21-2) from the second imaging device (21-2), The generation unit (42) may control the virtual imaging conditions according to both the first motion data (H1) and the second motion data (H2), or may control the virtual imaging conditions according to both the first motion data (H1) and the second motion data. One of (H2) may be selectively reflected in the virtual imaging conditions.
［付記６］
付記１から付記５の何れかの具体例（付記６）において、前記第１動画（Ｖ1）は、背景（Ｂ）と第１被写体（Ｑ1）とを含み、前記動画合成部（４３）は、前記第２動画（Ｖ2）から第２被写体（Ｑ2）を抽出し、前記第２被写体（Ｑ2）を前記第１動画（Ｖ1）に合成することで前記合成動画（Ｖ）を生成する。以上の態様によれば、第２動画（Ｖ2）から抽出された第２被写体（Ｑ2）が、背景（Ｂ）と第１被写体（Ｑ1）とを含む第１動画（Ｖ1）に合成される。したがって、第１被写体（Ｑ1）と第２被写体（Ｑ2）とが恰も第１現実空間（Ｒ1）内に存在するかのような合成動画（Ｖ）を生成できる。
[Additional note 6]
In the specific example of any one of
［付記７］
付記１から付記６の何れかの具体例（付記７）に係る動画収録システム（１００）は、前記第１現実空間（Ｒ1）内の第１再生装置（６１-1）に、前記動画合成部（４３）が生成した前記合成動画（Ｖ）を再生させる再生制御部（４４）をさらに具備する。以上の態様によれば、第１現実空間（Ｒ1）内の第１再生装置（６１-1）により合成動画（Ｖ）が再生される。したがって、第１現実空間（Ｒ1）内の利用者は、当該第１現実空間（Ｒ1）内の被写体に対して第２現実空間（Ｒ2）内の被写体が如何に合成されたのかを確認可能である。
[Additional note 7]
The video recording system (100) according to any of the specific examples (Appendix 7) of
「（第１）再生装置」は、合成動画（Ｖ）を再生するための映像機器である。例えば合成動画（Ｖ）を表示する表示装置、または合成動画（Ｖ）に含まれる音声を放音する放音装置（例えばスピーカシステム）が「再生装置」として例示される。 The "(first) playback device" is a video device for playing back the composite video (V). For example, a display device that displays the composite video (V) or a sound emitting device (for example, a speaker system) that emits audio included in the composite video (V) is exemplified as a “playback device”.
なお、以上の態様においては第１現実空間（Ｒ1）内の第１再生装置（６１-1）に便宜的に着目したが、合成動画（Ｖ）を再生するのは第１現実空間（Ｒ1）内の第１再生装置（６１-1）のみには限定されない。例えば、第１再生装置（６１-1）に合成動画（Ｖ）を再生させる動作に加えて、第２現実空間（Ｒ2）内の第２再生装置（６１-2）に合成動画（Ｖ）を再生させてもよい。以上の形態によれば、第２現実空間（Ｒ2）内の利用者は、当該第２現実空間（Ｒ2）内の被写体に対して第１現実空間（Ｒ1）内の被写体が如何に合成されたのかを確認可能である。以上の例示から理解される通り、相異なる複数（２以上の任意の個数）の現実空間に着目すると、複数の現実空間のうち少なくともひとつの現実空間内の再生装置に合成動画（Ｖ）を再生させる形態が想定される。 In addition, in the above embodiment, the first playback device (61-1) in the first real space (R1) is focused for convenience, but the synthesized video (V) is played back in the first real space (R1). It is not limited to only the first playback device (61-1) within. For example, in addition to the operation of playing the composite video (V) on the first playback device (61-1), the composite video (V) is played on the second playback device (61-2) in the second real space (R2). It may be played back. According to the above configuration, the user in the second real space (R2) can understand how the object in the first real space (R1) is synthesized with the object in the second real space (R2). It is possible to check whether As can be understood from the above examples, when focusing on a plurality of different real spaces (an arbitrary number of 2 or more), a composite video (V) is played back on a playback device in at least one real space among the plurality of real spaces. It is assumed that the
［付記８］
付記１から付記７の何れかの具体例（付記８）に係る動画収録システム（１００）は、前記第１現実空間（Ｒ1）内の第１照明装置（６３-1）と前記第２現実空間（Ｒ2）内の第２照明装置（６３-2）とを共通の照明条件のもとで動作させる照明制御部（４５）をさらに具備する。以上の態様によれば、第１撮像装置（２１-1）による第１動画（Ｖ1）の撮像と第２撮像装置（２１-2）による第２動画（Ｖ2）の撮像とが共通の撮像条件のもとで実行されるほか、第１照明装置（６３-1）による第１現実空間（Ｒ1）内の照明動作と第２照明装置（６３-2）による第２現実空間（Ｒ2）内の照明動作とが共通の照明条件のもとで実行される。すなわち、第１現実空間（Ｒ1）と第２現実空間（Ｒ2）との間で照明条件が共通化される。したがって、第１現実空間（Ｒ1）内の被写体と第２現実空間（Ｒ2）内の被写体とが共通の空間内に所在するように視聴者に認識され得る自然な合成動画（Ｖ）を生成できる。
[Additional note 8]
The video recording system (100) according to the specific example of any one of
「照明条件」は、（第１／第２）照明装置による照明動作に関する条件である。具体的には、照明光の強度、色温度（分光特性）または照射方向が「照明条件」として例示される。 “Lighting conditions” are conditions regarding lighting operations by the (first/second) lighting devices. Specifically, the intensity, color temperature (spectral characteristics), or irradiation direction of illumination light is exemplified as the "illumination condition."
「共通の照明条件のもとで動作させる」とは、第１照明装置（６３-1）の照明条件と第２照明装置（６３-2）の照明条件とが完全に一致する場合のほか、第１照明装置（６３-1）の照明条件と第２照明装置（６３-2）の照明条件とが実質的に一致する場合も含む。「照明条件が実質的に一致する場合」とは、例えば、照明条件の相違が視聴者に知覚されない程度に第１照明装置（６３-1）と第２照明装置（６３-2）との間で照明条件が近似する場合、または、第１照明装置（６３-1）の照明条件と第２照明装置（６３-2）の照明条件との差異が、両者間の特性の相違（例えば製造誤差等の事情に起因した相違）を原因とする程度の微小な差異である場合である。 "Operate under common lighting conditions" refers to cases where the lighting conditions of the first lighting device (63-1) and the lighting conditions of the second lighting device (63-2) completely match; This also includes a case where the illumination conditions of the first illumination device (63-1) and the illumination conditions of the second illumination device (63-2) substantially match. "When the lighting conditions substantially match" means, for example, that the difference in lighting conditions between the first lighting device (63-1) and the second lighting device (63-2) is not perceptible to the viewer. If the illumination conditions are similar, or the difference between the illumination conditions of the first illumination device (63-1) and the illumination conditions of the second illumination device (63-2) is due to a difference in characteristics between the two (for example, manufacturing error). This is a case where the difference is so small that it is caused by (differences due to circumstances such as).
例えば、第１照明装置（６３-1）と第２照明装置（６３-2）とが同機種である場合を想定すると、照明条件を指示する共通の照明データ（Ｌ）を第１照明装置（６３-1）および第２照明装置（６３-2）の双方に送信する結果として、第１照明装置（６３-1）と第２照明装置（６３-2）とは共通の照明条件のもとで動作する。また、第１照明装置（６３-1）と第２照明装置（６３-2）とが別機種である場合を想定すると、両機種間の照明動作の相違が解消されるように第１照明装置（６３-1）と第２照明装置（６３-2）とに別個の照明データ（Ｌ）を送信する結果として、第１照明装置（６３-1）と第２照明装置（６３-2）とは共通の照明条件のもとで動作する。 For example, assuming that the first lighting device (63-1) and the second lighting device (63-2) are of the same model, the common lighting data (L) that indicates the lighting conditions is transferred to the first lighting device (63-2). 63-1) and the second lighting device (63-2), the first lighting device (63-1) and the second lighting device (63-2) are under the same lighting condition. It works. Further, assuming that the first lighting device (63-1) and the second lighting device (63-2) are different models, the first lighting device As a result of transmitting separate lighting data (L) to the first lighting device (63-1) and the second lighting device (63-2), the first lighting device (63-1) and the second lighting device (63-2) operate under common lighting conditions.
なお、第１照明装置（６３-1）の照明条件と第２照明装置（６３-2）の照明条件とが共通する場合でも、他の照明光または太陽光の条件等により、第１現実空間（Ｒ1）内の照明条件と第２現実空間（Ｒ2）内の照明条件とが相違する場合はあり得る。 Note that even if the lighting conditions of the first lighting device (63-1) and the lighting conditions of the second lighting device (63-2) are the same, the first real space may There may be cases where the illumination conditions in (R1) and the illumination conditions in the second real space (R2) are different.
［付記９］
本開示のひとつの態様（付記９）に係る動画収録方法は、第１現実空間（Ｒ1）内の第１撮像装置（２１-1）と第２現実空間（Ｒ2）内の第２撮像装置（２１-2）とを共通の撮像条件のもとで時間的に相互に並列に動作させることと、前記第１撮像装置（２１-1）が撮像した第１動画（Ｖ1）と前記第２撮像装置（２１-2）が撮像した第２動画（Ｖ2）との合成により合成動画（Ｖ）を生成することとを含む。
[Additional note 9]
A video recording method according to one aspect (Appendix 9) of the present disclosure includes a first imaging device (21-1) in a first real space (R1) and a second imaging device (21-1) in a second real space (R2). 21-2) are operated temporally in parallel with each other under a common imaging condition, and the first moving image (V1) captured by the first imaging device (21-1) and the second imaging This includes generating a composite video (V) by combining it with the second video (V2) captured by the device (21-2).
［付記１０］
本開示のひとつの態様（付記１０）に係るプログラムは、第１現実空間（Ｒ1）内の第１撮像装置（２１-1）と第２現実空間（Ｒ2）内の第２撮像装置（２１-2）とを共通の撮像条件のもとで時間的に相互に並列に動作させる撮像制御部（４１）、および、前記第１撮像装置（２１-1）が撮像した第１動画（Ｖ1）と前記第２撮像装置（２１-2）が撮像した第２動画（Ｖ2）との合成により合成動画（Ｖ）を生成する動画合成部（４３）、としてコンピュータシステムを機能させる。
[Additional note 10]
A program according to one aspect (Appendix 10) of the present disclosure includes a first imaging device (21-1) in a first real space (R1) and a second imaging device (21-1) in a second real space (R2). 2) and a first moving image (V1) captured by the first imaging device (21-1); The computer system is made to function as a video composition unit (43) that generates a composite video (V) by combining it with the second video (V2) captured by the second imaging device (21-2).
［付記１１］
本開示のひとつの態様（付記１１）に係る動画収録システム（１００）は、現実空間（Ｒ1）内の撮像装置（２１-1）の撮像条件を制御する撮像制御部（４１）と、仮想空間（Ｒx）を仮想撮像装置（５０）により撮像した仮想動画（Ｖx）を生成する動画生成部（４２）と、前記第１撮像装置（２１-1）が撮像した動画（Ｖ1）と動画生成部（４２）が生成した仮想動画（Ｖx）との合成により合成動画（Ｖ）を生成する動画合成部（４３）とを具備し、前記動画生成部（４２）は、前記仮想撮像装置（５０）の撮像条件を、前記撮像装置（２１-1）の撮像条件に応じて制御する。以上の態様によれば、撮像装置（２１-1）の撮像条件と仮想撮像装置（５０）の撮像条件とが相互に連動する。したがって、現実空間（Ｒ1）内の被写体（Ｑ1）と仮想空間（Ｒx）内の被写体（Ｐ）とが恰も共通の空間内に所在するかのような自然な合成動画（Ｖ）を生成できる。なお、以上に例示した付記１１には、前述の付記１ないし付記１０から選択された１以上の態様が任意に適用される。
[Additional note 11]
A video recording system (100) according to one aspect (Appendix 11) of the present disclosure includes an imaging control unit (41) that controls imaging conditions of an imaging device (21-1) in a real space (R1), and a virtual space. a video generation unit (42) that generates a virtual video (Vx) captured by the virtual imaging device (50); a video (V1) captured by the first imaging device (21-1); and a video generation unit (42) includes a video synthesis unit (43) that generates a composite video (V) by combining with the virtual video (Vx) generated by the virtual imaging device (50), and the video generation unit (42) The imaging conditions of the imaging device (21-1) are controlled according to the imaging conditions of the imaging device (21-1). According to the above aspect, the imaging conditions of the imaging device (21-1) and the imaging conditions of the virtual imaging device (50) are linked to each other. Therefore, it is possible to generate a natural composite video (V) in which the subject (Q1) in the real space (R1) and the subject (P) in the virtual space (Rx) appear as if they were located in a common space. Note that one or more aspects selected from the above-mentioned
１００…動画収録システム、２００…端末装置、２０-1，２０-2，２０-n…収録システム、２１-1，２１-2，２１-n…撮像装置、２２-1，２２-2，２２-n…収音装置、２３-1，２３-2，２３-n…通信装置、３０…制御システム、３１…制御装置、３２…記憶装置、３３…通信装置、３４…操作装置、３５…再生装置、４１…撮像制御部、４２…動画生成部、４３…動画合成部、４４…再生制御部、４５…照明制御部、５０…仮想撮像装置、６１-1，６１-2，６１-n…再生装置、６３-1，６３-2，６３-n…照明装置。 100... Video recording system, 200... Terminal device, 20-1, 20-2, 20-n... Recording system, 21-1, 21-2, 21-n... Imaging device, 22-1, 22-2, 22 -n...Sound collection device, 23-1, 23-2, 23-n...Communication device, 30...Control system, 31...Control device, 32...Storage device, 33...Communication device, 34...Operation device, 35...Reproduction Apparatus, 41... Imaging control unit, 42... Moving image generation unit, 43... Moving image synthesis unit, 44... Playback control unit, 45... Lighting control unit, 50... Virtual imaging device, 61-1, 61-2, 61-n... Reproduction device, 63-1, 63-2, 63-n... lighting device.
Claims (10)
前記第１撮像装置が撮像した第１動画と前記第２撮像装置が撮像した第２動画との合成により合成動画を生成する動画合成部と
を具備する動画収録システム。 an imaging control unit that causes a first imaging device in a first real space and a second imaging device in a second real space to operate temporally in parallel with each other under a common imaging condition;
A video recording system comprising: a video composition unit that generates a composite video by combining a first video captured by the first imaging device and a second video captured by the second imaging device.
前記動画合成部は、前記第１動画と前記第２動画と前記仮想動画との合成により前記合成動画を生成する
請求項１の動画収録システム。 further comprising a video generation unit that generates a virtual video obtained by capturing an image of the virtual space with a virtual imaging device,
The video recording system according to claim 1, wherein the video composition unit generates the composite video by combining the first video, the second video, and the virtual video.
前記第１動画から第１被写体を抽出し、
前記第２動画から第２被写体を抽出し、
前記第１被写体と前記第２被写体と前記仮想動画との合成により前記合成動画を生成する
請求項２の動画収録システム。 The video compositing unit is
extracting a first subject from the first video;
extracting a second subject from the second video;
The video recording system according to claim 2, wherein the composite video is generated by combining the first subject, the second subject, and the virtual video.
請求項２または請求項３の動画収録システム。 The video recording system according to claim 2 or 3, wherein the video generation unit controls imaging conditions of the virtual imaging device according to the common imaging conditions.
前記撮像制御部の制御による前記第１撮像装置の動作の結果を表す第１動作データを当該第１撮像装置から取得し、
前記仮想撮像装置の撮像条件を、前記第１動作データに応じて制御する
請求項４の動画収録システム。 The video generation unit includes:
acquiring first operation data representing a result of the operation of the first imaging device under control of the imaging control unit from the first imaging device;
The video recording system according to claim 4, wherein imaging conditions of the virtual imaging device are controlled according to the first operation data.
前記動画合成部は、
前記第２動画から第２被写体を抽出し、
前記第２被写体を前記第１動画に合成することで前記合成動画を生成する
請求項１の動画収録システム。 The first video includes a background and a first subject,
The video compositing unit is
extracting a second subject from the second video;
The video recording system according to claim 1, wherein the composite video is generated by combining the second subject with the first video.
をさらに具備する請求項１の動画収録システム。 The video recording system according to claim 1, further comprising: a playback control unit that causes a first playback device in the first real space to play back the composite video generated by the video composition unit.
をさらに具備する請求項１の動画収録システム。 The video recording system according to claim 1, further comprising: a lighting control unit that operates a first lighting device in the first real space and a second lighting device in the second real space under a common lighting condition.
前記第１撮像装置が撮像した第１動画と前記第２撮像装置が撮像した第２動画との合成により合成動画を生成することと
を含むコンピュータシステムにより実現される動画収録方法。 Operating a first imaging device in a first real space and a second imaging device in a second real space temporally in parallel with each other under a common imaging condition;
A video recording method realized by a computer system, comprising: generating a composite video by combining a first video captured by the first imaging device and a second video captured by the second imaging device.
前記第１撮像装置が撮像した第１動画と前記第２撮像装置が撮像した第２動画との合成により合成動画を生成する動画合成部、
としてコンピュータシステムを機能させるプログラム。 an imaging control unit that causes a first imaging device in a first real space and a second imaging device in a second real space to operate temporally in parallel with each other under a common imaging condition;
a video synthesis unit that generates a composite video by combining a first video captured by the first imaging device and a second video captured by the second imaging device;
A program that makes a computer system function as a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022104401A JP2024004671A (en) | 2022-06-29 | 2022-06-29 | Moving image recording system, moving image recording method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022104401A JP2024004671A (en) | 2022-06-29 | 2022-06-29 | Moving image recording system, moving image recording method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024004671A true JP2024004671A (en) | 2024-01-17 |
Family
ID=89540079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022104401A Pending JP2024004671A (en) | 2022-06-29 | 2022-06-29 | Moving image recording system, moving image recording method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2024004671A (en) |
-
2022
- 2022-06-29 JP JP2022104401A patent/JP2024004671A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9849399B2 (en) | Background imagery for enhanced pepper's ghost illusion | |
| CN210021183U (en) | Immersive interactive panoramic holographic theater and performance system | |
| CN105794202B (en) | Depth for video and line holographic projections is bonded to | |
| KR101304111B1 (en) | A dancing karaoke system | |
| US10859852B2 (en) | Real-time video processing for pyramid holographic projections | |
| JP2003533235A (en) | Virtual production device and method | |
| US20110304735A1 (en) | Method for Producing a Live Interactive Visual Immersion Entertainment Show | |
| CN110013678A (en) | Immersion interacts panorama holography theater performance system, method and application | |
| CN207460313U (en) | Mixed reality studio system | |
| CN105938541B (en) | System and method for enhancing live performances with digital content | |
| WO2015151766A1 (en) | Projection photographing system, karaoke device, and simulation device | |
| US20160266543A1 (en) | Three-dimensional image source for enhanced pepper's ghost illusion | |
| KR101392406B1 (en) | Method and Apparatus for Chromakey compositing of Subject Image and Background Image | |
| JP2022058501A (en) | Hall display system and event execution method using the same | |
| US20200371420A1 (en) | Entertainment presentation systems and method | |
| JP2024004671A (en) | Moving image recording system, moving image recording method, and program | |
| TWI706292B (en) | Virtual Theater Broadcasting System | |
| JP2008236708A (en) | Medium production apparatus for virtual film studio | |
| JP2024051665A (en) | Video synthesis system, video synthesis method, and program | |
| KR101486959B1 (en) | Karaoke System to improve the immersion. | |
| US20240075402A1 (en) | System and method for peppers ghost filming and display | |
| KR101743874B1 (en) | System and Method for Creating Video Contents Using Collaboration of Performing Objects | |
| TWI263156B (en) | Automatic program production system and method thereof | |
| JP6403649B2 (en) | Aerial image rendering device and control method thereof | |
| JP2023130363A (en) | Display system for hall and method for executing event using the same |