JP2024051665A - 動画合成システム、動画合成方法およびプログラム - Google Patents

動画合成システム、動画合成方法およびプログラム Download PDF

Info

Publication number
JP2024051665A
JP2024051665A JP2022157949A JP2022157949A JP2024051665A JP 2024051665 A JP2024051665 A JP 2024051665A JP 2022157949 A JP2022157949 A JP 2022157949A JP 2022157949 A JP2022157949 A JP 2022157949A JP 2024051665 A JP2024051665 A JP 2024051665A
Authority
JP
Japan
Prior art keywords
image
subject
imaging
distance
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022157949A
Other languages
English (en)
Inventor
章 五島
Akira Goshima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to JP2022157949A priority Critical patent/JP2024051665A/ja
Publication of JP2024051665A publication Critical patent/JP2024051665A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】相異なる空間に所在する複数の被写体を含む自然な合成動画を生成する。【解決手段】動画合成システム30は、第1現実空間内の第1撮像装置が撮像した第1動画と、第2現実空間内の第2撮像装置が撮像した第2動画とを取得する動画取得部41と、第1動画における第1被写体の画像と第2動画における第2被写体の画像とを含む合成動画Vを生成する合成処理を実行する画像処理部42とを具備する。合成処理は、第1撮像装置の第1撮像距離と第2撮像装置の第2撮像距離とに応じて第1被写体の画像と第2被写体の画像とを調整する調整処理を含む。【選択図】図4

Description

本開示は、複数の動画を合成する技術に関する。
個別に収録された複数の動画を合成する技術が従来から提案されている。例えば特許文献1には、相異なるカメラにより複数の動画を撮像し、複数の動画の各々から切取られたユーザの動画を所定の背景動画に合成する技術が開示されている。
特許第6627861号公報
特許文献1の技術において、被写体であるユーザとカメラとの間の撮像距離は、カメラ毎に相違し得る。したがって、特許文献1においては、例えば、被写体毎の撮像距離の相違が適切に反映されていない不自然な動画が生成されるという課題がある。以上の事情を考慮して、本開示のひとつの態様は、相異なる空間に所在する複数の被写体を含む自然な合成動画を生成することを目的とする。
以上の課題を解決するために、本開示のひとつの態様に係る動画合成システムは、第1現実空間内の第1撮像装置が撮像した第1動画と、第2現実空間内の第2撮像装置が撮像した第2動画とを取得する動画取得部と、前記第1動画における第1被写体の画像と前記第2動画における第2被写体の画像とを含む合成動画を生成する合成処理を実行する画像処理部とを具備し、前記合成処理は、前記第1撮像装置の第1撮像距離と前記第2撮像装置の第2撮像距離とに応じて前記第1被写体の画像と前記第2被写体の画像とを調整する調整処理を含む。
本開示のひとつの態様に係る動画合成方法は、第1現実空間内の第1撮像装置が撮像した第1動画と、第2現実空間内の第2撮像装置が撮像した第2動画とを取得し、前記第1動画における第1被写体の画像と前記第2動画における第2被写体の画像とを含む合成動画を生成する合成処理を実行し、前記合成処理は、前記第1撮像装置の第1撮像距離と前記第2撮像装置の第2撮像距離とに応じて前記第1被写体の画像と前記第2被写体の画像とを調整する調整処理を含む。
本開示のひとつの態様に係るプログラムは、第1現実空間内の第1撮像装置が撮像した第1動画と、第2現実空間内の第2撮像装置が撮像した第2動画とを取得する動画取得部、および、前記第1動画における第1被写体の画像と前記第2動画における第2被写体の画像とを含む合成動画を生成する合成処理を実行する画像処理部、としてコンピュータシステムを機能させるプログラムであって、前記合成処理は、前記第1撮像装置の第1撮像距離と前記第2撮像装置の第2撮像距離とに応じて前記第1被写体の画像と前記第2被写体の画像とを調整する調整処理を含む。
第1実施形態に係る動画収録システムの構成を例示するブロック図である。 各撮像装置が撮像する動画の模式図である。 動画合成システムの構成を例示するブロック図である。 動画合成システムの機能的な構成を例示するブロック図である。 画像処理部の具体的な構成を例示するブロック図である。 ぼかし処理の説明図である。 撮像距離とぼかし量との関係を表す説明図である。 合成動画の模式図である。 合成動画の模式図である。 合成動画の模式図である。 動画合成システムの動作のフローチャートである。 合成処理の具体的な手順を例示するフローチャートである。 第3実施形態における画像処理部のブロック図である。 第3実施形態における仮想動画の説明図である。 第3実施形態における合成処理のフローチャートである。 第3実施形態における合成動画の模式図である。 第4実施形態における動画合成システムの機能的な構成を例示するブロック図である。 変形例における撮像距離とぼかし量との関係を表す説明図である。 変形例における撮像距離とぼかし量との関係を表す説明図である。 変形例における撮像距離とぼかし量との関係を表す説明図である。 変形例における撮像距離とぼかし量との関係を表す説明図である。
図面を参照しながら本開示の実施の形態を説明する。以下に記載する実施の形態は、技術的に好適な種々の限定を含む。本開示の範囲は、以下に例示する形態には限定されない。
[第1実施形態]
図1は、第1実施形態における動画収録システム100の構成を例示するブロック図である。動画収録システム100は、配信コンテンツCを制作するためのコンピュータシステムである。配信コンテンツCは、端末装置200の利用者による視聴のために端末装置200に配信される情報である。配信コンテンツCは、例えば複数の対戦者がビデオゲームにより対戦する競技イベント(esports)の動画および音声で構成される。
端末装置200は、例えばスマートフォン、タブレット端末またはパーソナルコンピュータ等の情報装置である。配信コンテンツCは、例えばインターネット等の通信網を介して動画収録システム100から端末装置200に配信される。なお、図1においては便宜的に1個の端末装置200のみが図示されているが、実際には複数の端末装置200に対して配信コンテンツCが配信される。
動画収録システム100は、複数の収録システム20-1~20-3と動画合成システム30とを具備する。各収録システム20-n(n=1~3)は、通信網を介して動画合成システム30と通信する。複数の収録システム20-1~20-3の各々は、相異なる収録スタジオRnに設置される。各収録スタジオRnは、相異なる現実の空間である。各収録スタジオRnは、例えば相互に遠隔の地点に位置する。
各収録スタジオRnには、収録対象となる被写体Qnが所在する。被写体Qnは、例えば競技イベントの出場者または解説者等、配信コンテンツCの出演者である。各収録スタジオRnにおける被写体Qnの背景は、例えばグリーンバックまたはブルーバック等の特定色で構成される。
図1に例示される通り、各収録システム20-nは、撮像装置21-nと収音装置22-nと通信装置23-nとを具備する。なお、収音装置22-nおよび通信装置23-nの一方または双方は、撮像装置21-nに搭載されてもよい。
撮像装置21-nは、収録スタジオRn内の動画Vnを生成するカメラである。各撮像装置21-nは、例えば、撮影レンズ等の光学系と、光学系からの入射光を受光する撮像素子と、撮像素子による受光量に応じて動画Vnのデータを生成する処理回路とを具備する。なお、動画Vnを表すデータの形式は任意である。
図2は、各撮像装置21-nが生成する動画Vnの模式図である。撮像装置21-1は、収録スタジオR1における被写体Q1の撮像により動画V1を収録する。同様に、撮像装置21-2は、収録スタジオR2における被写体Q2の撮像により動画V2を収録し、撮像装置21-3は、収録スタジオR3における被写体Q3の撮像により動画V3を収録する。なお、各撮像装置21-nは、光軸方向の広範囲にわたり実質的に合焦したパンフォーカスの状態で被写体Qnを撮像する。したがって、各被写体画像Gnには、撮像装置21の合焦面から離間することに起因した光学的なぼけは実質的に発生しない。すなわち、各動画Vnにおける被写体Qnの画像(以下「被写体画像Gn」という)は、輪郭または境界が明瞭な画像である。
図1に例示される通り、撮像装置21-n毎に撮像距離Dnは相違する。撮像距離Dnは、撮像装置21-nと被写体Qnとの間の距離である。撮像距離Dnは、撮影レンズの表面または撮像素子の撮像面と、被写体Qnとの距離である。以下の説明においては、撮像距離D2が撮像距離D1を上回り、かつ、撮像距離D3が撮像距離D2を上回る場合を想定する(D1<D2<D3)。他方、例えば焦点距離または絞り値等、撮像距離Dn以外の撮像条件は、複数の撮像装置21-1~21-3において共通する。したがって、複数の被写体Q1~Q3の現実の身長が共通する場合でも、図2に例示される通り、各動画Vnにおける被写体画像Gnのサイズは、撮像距離Dnに応じて動画Vn毎に相違する。
図1の収音装置22-nは、収録スタジオRn内の音声Anを収録するマイクロホンである。音声Anは、例えば収録スタジオRn内の被写体Qnが発音する音声である。具体的には、音声Anの波形を表すデータが収音装置22-nにより生成される。なお、音声Anを表すデータの形式は任意である。
通信装置23-nは、例えばインターネット等の通信網を介して動画合成システム30と通信する。通信装置23-nと動画合成システム30との間の通信の経路は、有線区間または無線区間で構成される。具体的には、通信装置23-nは、素材データMnを動画合成システム30に送信する。素材データMnは、撮像装置21-nが撮像した動画Vnと収音装置22-nが収音した音声Anとを表すデータである。
図3は、動画合成システム30の構成を例示するブロック図である。動画合成システム30は、配信コンテンツCを生成および配信するコンピュータシステムである。動画合成システム30は、例えばスマートフォン、タブレット端末またはパーソナルコンピュータ等の情報装置で実現される。なお、動画合成システム30は、以上に例示した汎用の情報装置により実現されるほか、配信コンテンツCの生成に専用される映像装置により実現されてもよい。
動画合成システム30は、制御装置31と記憶装置32と通信装置33と操作装置34と再生装置35とを具備する。なお、動画合成システム30は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。
制御装置31は、動画合成システム30の各要素を制御する単数または複数のプロセッサである。具体的には、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、SPU(Sound Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、またはASIC(Application Specific Integrated Circuit)等の1種類以上のプロセッサにより、制御装置31が構成される。
記憶装置32は、制御装置31が実行するプログラムと、制御装置31が使用する各種のデータとを記憶する単数または複数のメモリである。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置32として利用される。なお、例えば、動画合成システム30に対して着脱される可搬型の記録媒体、または、制御装置31が通信網を介してアクセス可能な記録媒体(例えばクラウドストレージ)が、記憶装置32として利用されてもよい。
通信装置33は、通信網を介して端末装置200および各収録システム20-nと通信する。例えば、通信装置33は、各収録システム20-nが送信する素材データMnを受信する。また、通信装置33は、端末装置200に対して配信コンテンツCを送信する。なお、端末装置200に対する配信コンテンツCの配信は、動画収録システム100とは別個の配信システムが実行してもよい。例えば、動画合成システム30から送信された配信コンテンツCが配信システムに保持され、配信システムから端末装置200に対して配信コンテンツCが配信されてもよい。また、配信コンテンツCは、端末装置200に配信されるほか、記憶装置32等の記録媒体に記録されてもよい。すなわち、端末装置200に対する配信は省略されてよい。
操作装置34は、動画収録システム100の利用者による指示を受付ける入力機器である。動画収録システム100の利用者は、例えば配信コンテンツCの制作者である。例えば、利用者が操作する操作子、または、利用者による接触を検知するタッチパネルが、操作装置34として利用される。なお、動画合成システム30とは別体の操作装置34が、動画合成システム30に対して有線または無線により接続されてもよい。
再生装置35は、制御装置31による制御のもとで配信コンテンツCを再生する。各収録スタジオRnにける収録に並行して、配信コンテンツCが再生装置35により再生される。動画収録システム100の利用者は、配信コンテンツCを確認できる。具体的には、再生装置35は、表示装置と放音装置とを具備する。表示装置は、配信コンテンツCの動画(後述の合成動画V)を表示する。例えば液晶表示パネルまたは有機EL(Electroluminescence)パネル等の各種の表示パネルが、表示装置として利用される。放音装置は、配信コンテンツCの音声(後述の合成音声A)を放射する。例えばスピーカまたはヘッドホンが、放音装置として利用される。なお、動画合成システム30とは別体の再生装置35が、動画合成システム30に対して有線または無線により接続されてもよい。
図4は、動画合成システム30の機能的な構成を例示するブロック図である。制御装置31は、記憶装置32に記憶されたプログラムを実行することで、配信コンテンツCを生成するための複数の機能(動画取得部41、画像処理部42、音声処理部43および出力処理部44)を実現する。なお、相互に別体で構成された複数の装置により制御装置31の機能が実現されもよい。制御装置31の機能の一部または全部が専用の電子回路で実現されてもよい。
動画取得部41は、複数の素材データM1~M3を取得する。具体的には、動画取得部41は、各収録システム20-nにより収録された動画Vnおよび音声Anを含む素材データMnを、通信装置33により収録システム20-nから受信する。すなわち、動画取得部41は、複数の動画V1~V3と複数の音声A1~A3とを取得する。各素材データMnは、配信コンテンツCの素材となるデータである。
画像処理部42は、合成処理を実行することで合成動画Vを生成する。合成処理は、動画取得部41が取得した複数の動画V1~V3を合成する処理である。すなわち、合成動画Vは、図8から図10に例示される通り、動画V1の被写体画像G1と動画V2の被写体画像G2と動画V3の被写体画像G3とを含む動画である。すなわち、合成処理は、複数の被写体画像G1~G3を合成する画像処理である。
図4の音声処理部43は、複数の音声A1~A3を混合することで合成音声Aを生成する。各音声A1~A3の混合比は、例えば操作装置34に対する利用者からの指示に応じて設定される。出力処理部44は、合成動画Vと合成音声Aとを含む配信コンテンツCを生成する。第1実施形態の出力処理部44は、配信コンテンツCを通信装置33から端末装置200に配信する。
図5は、画像処理部42の具体的な構成を例示するブロック図である。図5に例示される通り、第1実施形態の画像処理部42は、距離特定部421と被写体抽出部422と被写体選択部423と画像調整部424とを具備する。
距離特定部421は、複数の動画V1~V3の各々について撮像距離Dnを特定する。前述の通り、撮像距離Dnは、撮像装置21-nと被写体Qnとの間の距離である。
第1実施形態の距離特定部421は、動画Vn内の距離指標を検出することで撮像距離Dnを特定する。距離指標は、撮像距離Dnの特定のために各被写体Qnに事前に付加されたマーカーである。複数の被写体Q1~Q3には共通のサイズの距離指標が付加される。したがって、撮像距離Dnが大きいほど動画Vn内の距離指標のサイズは小さいという相関がある。以上の相関を利用して、距離特定部421は、各動画Vn内における距離指標のサイズに応じて撮像距離Dnを推定する。例えば、動画Vn内の距離指標のサイズが大きいほど撮像距離Dnが小さい数値となるように、距離特定部421は動画Vnの解析により撮像距離Dnを推定する。なお、距離指標が被写体Qnに直接的に付与される必要は必ずしもない。例えば、収録スタジオRn内において被写体Qnの撮像距離Dnと同等の距離の地点に、距離指標が設置されてもよい。
被写体抽出部422は、複数の動画V1~V3の各々から被写体画像Gnを抽出する。具体的には、被写体抽出部422は、各動画Vnから特定色の背景(例えばグリーンバックまたはブルーバック)に対応する領域を除去することで、被写体画像Gnを抽出する。なお、被写体画像Gnの抽出済の動画Vnを動画取得部41が取得する形態においては、被写体抽出部422は省略されてよい。
被写体選択部423は、複数の被写体Q1~Q3の何れかを基準被写体Qrefとして選択する。基準被写体Qrefは、複数の被写体Q1~Q3のうち配信コンテンツCの視聴者が注目すべき被写体Qnである。利用者は、再生装置35が再生する配信コンテンツCを視聴しながら操作装置34を操作することで、複数の被写体Q1~Q3の何れかを指定する。被写体選択部423は、複数の被写体Q1~Q3のうち利用者が操作装置34に対する操作により指定した被写体Qnを、基準被写体Qrefとして選択する。なお、被写体選択部423による基準被写体Qrefの選択は、複数の動画V1~V3の何れかの選択、または、複数の撮像装置21-1~21-3の何れかの選択とも換言される。
画像調整部424は、調整処理を実行する。調整処理は、複数の被写体画像G1~G3の各々を撮像距離Dnに応じて調整する画像処理である。第1実施形態の調整処理は、ぼかし処理と重畳処理とを含む。
[ぼかし処理]
ぼかし処理は、各被写体画像Gnをぼかす加工処理である。すなわち、ぼかし処理により、被写体画像Gnの輪郭または境界は曖昧な状態に変化する。具体的には、ぼかし処理は、被写体画像Gnを構成する各画素の画素値を、当該画素を含む所定の範囲(以下「処理範囲」という)内における複数の画素値の平均値(例えば単純平均または加重平均)に置換するフィルタ処理である。処理範囲は、例えば置換対象となる1個の画素を中心とする矩形状の範囲である。処理範囲が大きいほど、被写体画像Gnがぼける程度は増加する。ぼかし処理は、撮像装置における光学系の合焦面から離間した被写体に光学的に発生するぼけを模擬する画像処理である。
図6は、ぼかし処理の説明図である。ぼかし処理においては、ぼかし量Bn(B1~B3)が制御される。ぼかし量Bnは、被写体画像Gnをぼかす程度を表す画像パラメータである。具体的には、ぼかし量Bnは、ぼかし処理における処理範囲のサイズを指定する非負値である。図6に例示される通り、ぼかし量Bnが大きいほど処理範囲は拡大し、結果的に被写体画像Gnがぼける程度は増加する。ぼかし量Bnのゼロは、被写体画像Gnをぼかさないことを意味する。
第1実施形態の画像調整部424は、被写体画像Gn毎にぼかし量Bnを個別に制御する。具体的には、画像調整部424は、各被写体Qnの撮像距離Dnに応じて被写体画像Gnのぼかし量Bnを調整する。以上の説明から理解される通り、ぼかし処理は、各撮像距離Dnに応じて各被写体Qnの画像パラメータ(ぼかし量Bn)を調整する加工処理の一例である。
図7は、撮像距離Dnとぼかし量Bnとの関係を表す説明図である。図7の横軸は撮像距離Dnであり、縦軸はぼかし量Bnである。図7の基準値Drefは、撮像距離Dnの基準となる数値である。具体的には、画像調整部424は、被写体選択部423が選択した基準被写体Qrefに対応する撮像距離Dnを基準値Drefとして設定する。以上の通り、基準値Drefは、複数の被写体Q1~Q3の何れか(基準被写体Qref)に対応する撮像距離Dnである。基準値Drefは、撮像装置における光学系の合焦面に相当する。
図7から理解される通り、画像調整部424は、撮像距離Dnが合焦範囲P0内の数値である場合にはぼかし量Bnをゼロに設定する。合焦範囲P0は、基準値Drefを含む範囲である。例えば、基準値Drefを中心とする所定幅の範囲が合焦範囲P0として設定される。合焦範囲P0は、現実の撮像装置において実質的に合焦していると見做せる被写界深度に相当する。
図7から理解される通り、画像調整部424は、合焦範囲P0の外側において、基準値Drefと各被写体Qnの撮像距離Dnとの差異|Dref-Dn|が大きいほど、被写体画像Gnのぼかし量Bnを大きい数値に設定する。具体的には、ぼかし量Bnは、撮像距離Dnに対して直線的に変化する。
撮像距離Dnの数値として距離Da1と距離Da2とを想定する。距離Da1および距離Da2は、合焦範囲P0の下限値raを下回る範囲Pa内の数値である。距離Da2と基準値Drefとの差異は、距離Da1と基準値Drefとの差異を上回る(|Dref-Da2|>|Dref-Da1|)。画像調整部424は、撮像距離Dnが距離Da1である場合に、被写体画像Gnのぼかし量Bnを設定値Ba1に設定する。他方、画像調整部424は、撮像距離Dnが距離Da2である場合に、被写体画像Gnのぼかし量Bnを、設定値Ba1を上回る設定値Ba2に設定する。なお、距離Da1は「第1距離」の一例であり、距離Da2は「第2距離」の一例である。また、設定値Ba1は「第1設定値」の一例であり、設定値Ba2は「第2設定値」の一例である。
同様に、撮像距離Dnの数値として距離Db1と距離Db2とを想定する。距離Db1および距離Db2は、合焦範囲P0の上限値rbを上回る範囲Pb内の数値である。距離Db2と基準値Drefとの差異は、距離Db1と基準値Drefとの差異を上回る(|Dref-Db2|>|Dref-Db1|)。画像調整部424は、撮像距離Dnが距離Db1である場合に、被写体画像Gnのぼかし量Bnを設定値Bb1に設定する。他方、画像調整部424は、撮像距離Dnが距離Db2である場合に、被写体画像Gnのぼかし量Bnを、設定値Bb1を上回る設定値Bb2に設定する。なお、距離Db1は「第1距離」の一例であり、距離Db2は「第2距離」の一例である。また、設定値Bb1は「第1設定値」の一例であり、設定値Bb2は「第2設定値」の一例である。
図8から図10は、各被写体画像Gnのぼかし量Bnに着目した合成動画Vの模式図である。図8から図10においては、複数の被写体画像G1~G3が合成された合成動画Vが例示されている。
図8においては、被写体Q2が基準被写体Qrefとして選択された場合が想定されている。被写体Q2の撮像距離D2が基準値Drefに設定され、結果的に被写体画像G2のぼかし量B2はゼロに設定される。すなわち、被写体画像G2は輪郭または境界が明瞭な状態に維持される。他方、被写体Q1の撮像距離D1は合焦範囲P0の下限値raを下回る。撮像距離D1に対応するぼかし量B1が被写体画像G1のぼかし処理に適用される結果、合成動画Vにおける被写体画像G1は被写体画像G2と比較してぼけた画像となる。同様に、被写体Q3の撮像距離D3は合焦範囲P0の上限値rbを上回る。撮像距離D3に対応するぼかし量B3が被写体画像G3のぼかし処理に適用される結果、合成動画Vにおける被写体画像G3は被写体画像G2と比較してぼけた画像となる。以上の通り、図8の合成動画Vは、被写体Q2に合焦した状態で撮像された動画のように知覚される。すなわち、被写体Q1には前ぼけが付与され、被写体Q3には後ぼけが付与される。したがって、配信コンテンツCの視聴者は、被写体Q2に注目し易い。
図9においては、被写体Q1が基準被写体Qrefとして選択された場合が想定されている。したがって、被写体画像G1は輪郭または境界が明瞭な状態に維持され、被写体画像G2および被写体画像G3はぼけた画像となる。撮像距離D3は範囲Pb内で撮像距離D2を上回るから、被写体画像G3のぼかし量B3は被写体画像G2のぼかし量B2を上回る。すなわち、被写体画像G3は被写体画像G2と比較してぼけた画像となる。以上の通り、被写体画像G1は他の被写体画像Gn(G2,G3)と比較して明瞭に表示されるから、配信コンテンツCの視聴者は被写体Q1に注目し易い。
図10においては、被写体Q3が基準被写体Qrefとして選択された場合が想定されている。したがって、被写体画像G3は輪郭または境界が明瞭な状態に維持され、被写体画像G1および被写体画像G2はぼけた画像となる。撮像距離D1は範囲Pa内で撮像距離D2を下回るから、被写体画像G1のぼかし量B1は被写体画像G2のぼかし量B2を上回る。すなわち、被写体画像G1は被写体画像G2と比較してぼけた画像となる。以上の通り、被写体画像G3は他の被写体画像Gn(G1,G2)と比較して明瞭に表示されるから、配信コンテンツCの視聴者は被写体Q3に注目し易い。
[重畳処理]
重畳処理は、複数の被写体画像G1~G3を相互に重畳する画像処理である。重畳処理において、画像調整部424は、複数の被写体画像G1~G3の前後を、各撮像距離Dnに応じて制御する。具体的には、撮像距離Dnが大きいほど被写体画像Gnが奥側に位置するように、各被写体画像Gnの前後が調整される。
例えば、図8から図10においては、被写体画像G1と被写体画像G2とが部分的に重複し、被写体画像G2と被写体画像G3とが部分的に重複する場合が想定されている。前述の通り、撮像距離D1は撮像距離D2を下回る。したがって、画像調整部424は、重畳処理において、被写体画像G1が被写体画像G2の手前に位置するように各被写体画像Gnを重畳する。すなわち、被写体画像G2のうち被写体画像G1と重複する部分は、被写体画像G1の背後に隠れる。
また、撮像距離D2は撮像距離D3を下回る。したがって、画像調整部424は、重畳処理において、被写体画像G2が被写体画像G3の手前に位置するように各被写体画像Gnを重畳する。すなわち、被写体画像G3のうち被写体画像G2と重複する部分は、被写体画像G2の背後に隠れる。図8から図10の例示の通り、第1実施形態においては、各被写体画像Gnの前後が撮像距離Dnに応じて制御される。したがって、各被写体Qnの現実の位置が各被写体画像Gnの前後に反映された自然な合成動画Vを生成できる。
以上に説明した通り、画像調整部424が実行するぼかし処理および重畳処理は、各撮像距離Dnに応じて各被写体画像Gnを調整する調整処理の例示である。いま、被写体Qn1と被写体Qn2とに着目する(n1=1~3,n2=1~3,n1≠n2)。調整処理は、撮像装置21-n1の撮像距離Dn1と撮像装置21-n2の撮像距離Dn2とに応じて被写体画像Gn1と被写体画像Gn2とを調整する処理として包括的に表現される。
撮像装置21-n1は「第1撮像装置」の一例であり、撮像距離Dn1は「第1撮像距離」の一例である。撮像装置21-n2は「第2撮像装置」の一例であり、撮像距離Dn2は「第2撮像距離」の一例である。また、被写体画像Gn1は「第1被写体の画像」の一例であり、被写体画像Gn2は「第2被写体の画像」の一例である。動画Vn1は「第1動画」の一例であり、動画Vn2は「第2動画」の一例である。収録スタジオRn1は「第1現実空間」の一例であり、収録スタジオRn2は「第2現実空間」の一例である。
図11は、動画合成システム30の動作のフローチャートである。図11の動作は、例えば操作装置34に対する利用者からの指示を契機として開始され、以降は所定の周期で反復される。
制御装置31(動画取得部41)は、複数の素材データM1~M3を取得する(S1)。制御装置31(画像処理部42)は、合成処理S2を実行することで合成動画Vを生成する。また、制御装置31(音声処理部43)は、複数の音声A1~A3を混合することで合成音声Aを生成する(S3)。なお、合成動画Vの生成(S2)と合成音声Aの生成(S3)との順序は反転されてもよい。制御装置31(出力処理部44)は、合成動画Vと合成音声Aとを含む配信コンテンツCを生成し(S4)、配信コンテンツCを端末装置200に配信する(S5)。
図12は、図11における合成処理S2のフローチャートである。合成処理S2が開始されると、制御装置31(距離特定部421)は、複数の動画V1~V3の各々について撮像距離Dnを特定する(S21)。制御装置31(被写体抽出部422)は、複数の動画V1~V3の各々から被写体画像Gnを抽出する(S22)。なお、撮像距離Dnの特定(S21)と被写体画像Gnの抽出(S22)との順序は反転されてもよい。
制御装置31(被写体選択部423)は、複数の被写体Q1~Q3の何れかを基準被写体Qrefとして選択する(S23)。具体的には、操作装置34に対する操作で指定された被写体Qnが基準被写体Qrefとして選択される。なお、利用者は、合成処理S2の過程における任意の時点で所望の被写体Qnを基準被写体Qrefとして指定できる。したがって、配信コンテンツCの再生中の任意の時点において、基準被写体Qrefは変更され得る。
制御装置31(画像調整部424)は、調整処理を実行する(S24,S25)。具体的には、制御装置31は、ぼかし処理S24と重畳処理S25とを実行することで、合成動画Vを生成する。すなわち、合成処理S2は、各撮像距離Dnに応じて各被写体画像Gnを調整する調整処理(S24,S25)を含む。
以上に説明した通り、第1実施形態においては、複数の動画V1~V3を合成する合成処理S2において、各撮像距離Dnに応じて被写体画像Gnを調整する調整処理が実行される。すなわち、図8から図10の例示の通り、各撮像距離Dnの関係が合成動画Vにおける各被写体画像Gnの関係に反映される。したがって、相異なる収録スタジオRnに所在する複数の被写体Q1~Q3を含む自然な合成動画Vを生成できる。第1実施形態においては特に、各被写体Qnの画像パラメータであるぼかし量Bnが撮像距離Dnに応じて調整される。したがって、複数の被写体Q1~Q3を含む自然な合成動画Vを生成できるという効果は格別に顕著である。
第1実施形態においては特に、各被写体画像Gnにおけるぼかし量Bnが撮像距離Dnに応じて相違するようにぼかし処理S24が実行される。したがって、撮像距離Dnに応じて光学的なぼけの度合が変化する現実の撮像の傾向が模擬された自然な合成動画Vを生成できる。
また、撮像距離Dnとの基準値Drefとの差異が増加するほど、被写体画像Gnのぼかし処理S24に適用されるぼかし量Bnが増加する。したがって、基準値Drefに対応する地点に位置する合焦面から奥行方向(前後方向)に離間するほど被写体の光学的なぼけが増加する、という現実の撮像の傾向が忠実に模擬された自然な合成動画Vを生成できる。
第1実施形態においては、複数の被写体Q1~Q3の何れか(基準被写体Qref)に対応する撮像距離Dnを基準値Drefとして各被写体画像Gnのぼかし量Bnが設定される。したがって、基準被写体Qrefを基準として各被写体画像Gnのぼかし量Bnが設定された自然な合成動画Vを生成できる。また、複数の被写体Q1~Q3のうち基準被写体Qrefが特に注目され易い合成動画Vを生成できる。
[第2実施形態]
第2実施形態を説明する。なお、以下に例示する各態様において機能が第1実施形態と同様である要素については、第1実施形態の説明と同様の符号を流用して各々の詳細な説明を適宜に省略する。
第1実施形態においては、被写体選択部423が、利用者からの指示に応じて基準被写体Qrefを選択する形態を例示した。第2実施形態の被写体選択部423は、複数の素材データM1~M3を解析した結果に応じて、複数の被写体Q1~Q3から基準被写体Qrefを選択する(S23)。被写体選択部423が基準被写体Qrefを選択する方法としては、例えば以下の態様1または態様2が採用される。
[態様1]
態様1の被写体選択部423は、複数の動画V1~V3を解析した結果に応じて基準被写体Qrefを選択する。例えば、複数の被写体Q1~Q3のうち特に動作している被写体Qnを視聴者は特に注目すべきという概略的な傾向がある。以上の傾向を考慮して、被写体選択部423は、複数の被写体Q1~Q3のうち時間的な変化が大きい動画Vnに対応する被写体Qnを、基準被写体Qrefとして選択する。
具体的には、被写体選択部423は、複数の動画V1~V3の各々について画像の時間的な変化量を算定し、変化量が大きい動画Vnに対応する被写体Qnを、基準被写体Qrefとして選択する。以上の形態によれば、複数の被写体Q1~Q3のうち動作が顕著な被写体Qnが、基準被写体Qrefとして選択される。なお、変化量は、動画Vnの全体の解析により算定されてもよいし、動画Vnのうち被写体画像Gnの解析により算定されてもよい。
複数の被写体Q1~Q3の各々が順次に動作する場面においては、複数の被写体Q1~Q3のうち動作が顕著な被写体Qnは経時的に変化する。したがって、合成動画Vの任意の時点において基準被写体Qrefは変更される。例えば、被写体Qn1が動作する状態から被写体Qn2が動作する状態に遷移した場合、基準被写体Qrefは被写体Qn1から被写体Qn2に変更される。すなわち、合成動画Vにおいて明瞭に表示される被写体画像Gnは、時間の経過とともに随時に切替わる。
[態様2]
態様2の被写体選択部423は、複数の音声A1~A3を解析した結果に応じて基準被写体Qrefを選択する。例えば、複数の被写体Q1~Q3のうち発言している被写体Qnを視聴者は特に注目すべきという概略的な傾向がある。以上の傾向を考慮して、被写体選択部423は、複数の被写体Q1~Q3のうち音量が大きい音声Anに対応する被写体Qnを、基準被写体Qrefとして選択する。
具体的には、被写体選択部423は、複数の音声A1~A3の各々について音量を算定し、音量が大きい音声Anに対応する被写体Qnを、基準被写体Qrefとして選択する。以上の形態によれば、複数の被写体Q1~Q3のうち発言中の被写体Qnが、基準被写体Qrefとして選択される。
複数の被写体Q1~Q3の各々が順次に発言する場面においては、音声Anの音量が大きい被写体Qnは経時的に変化する。したがって、合成動画Vの任意の時点において基準被写体Qrefは変更される。例えば、被写体Qn1が発言する状態から被写体Qn2が発言する状態に遷移した場合、基準被写体Qrefは被写体Qn1から被写体Qn2に変更される。すなわち、合成動画Vにおいて明瞭に表示される被写体画像Gnは、時間の経過とともに随時に切替わる。
態様1および態様2の説明から理解される通り、第2実施形態の被写体選択部423は、複数の素材データM1~M3(動画V1~V3または音声A1~A3)を解析した結果に応じて、複数の被写体Q1~Q3から基準被写体Qrefを選択する要素として表現される。
第2実施形態においても第1実施形態と同様の効果が実現される。また、第2実施形態においては、複数の素材データM1~M3を解析した結果に応じて複数の被写体Q1~Q3から基準被写体Qrefが選択される。したがって、利用者による指示を必要とせずに、配信コンテンツCにおいて視聴者が特に注目すべき適切な被写体Qnを、基準被写体Qrefとして選択できる。なお、各素材データMnの解析の結果に応じた基準被写体Qrefの選択(第2実施形態)と、利用者からの指示に応じた基準被写体Qrefの選択(第1実施形態)とは併用されてもよい。
[第3実施形態]
図13は、第3実施形態における画像処理部42のブロック図である。第3実施形態の画像処理部42は、第1実施形態と同様の要素(距離特定部421、被写体抽出部422、被写体選択部423および画像調整部424)に加えて画像生成部425を含む。画像生成部425は、仮想動画Vzを生成する。
図14は、仮想動画Vzの説明図である。仮想動画Vzは、仮想空間Zの動画である。仮想空間Zは、複数の仮想オブジェクトOm(m=1,2)が配置された仮想的な空間である。すなわち、仮想空間Zは、収録スタジオRn等の現実の空間とは別個の空間であり、コンピュータによる情報処理で生成される空間である。各仮想オブジェクトOmは、例えば演出または装飾のために仮想空間Z内に配置された仮想的な表示要素である。なお、図14においては、仮想空間Z内で活動する仮想的な生物を、仮想オブジェクトOmとして例示した。ただし、仮想空間Z内の建造物や自然物等の無生物的な要素が、仮想オブジェクトOmとして仮想空間Z内に配置されてもよい。
仮想空間Z内には仮想的な撮像装置(以下「仮想撮像装置」という)が設置される。仮想撮像装置は、仮想空間Zを撮像する仮想カメラである。画像生成部425が生成する仮想動画Vzは、仮想撮像装置により仮想空間Zを撮像した動画である。仮想動画Vzの生成には、例えば3Dレンダリング等の各種の画像処理が利用される。なお、仮想動画Vzを表すデータの形式は任意である。
仮想オブジェクトOm毎に仮想撮像距離Emが設定される。仮想撮像距離Emは、仮想空間Z内における仮想撮像装置と仮想オブジェクトOmとの間の距離である。図14においては、仮想オブジェクトO2の仮想撮像距離E2が仮想オブジェクトO1の仮想撮像距離E1を上回る場合が想定されている(E2>E1)。
図15は、第3実施形態における合成処理S2のフローチャートである。第3実施形態の合成処理S2において、制御装置31(画像生成部425)は、仮想動画Vzを生成する(S26)。なお、仮想動画Vzの生成(S26)は、調整処理(S24,S25)の開始前の任意の段階で実行されてよい。
第3実施形態の合成処理S2は、複数の被写体画像G1~G3と仮想動画Vzとの合成により合成動画Vを生成する画像処理である。図16は、第3実施形態における合成動画Vの模式図である。図16に例示される通り、合成動画Vは、複数の被写体画像G1~G3と複数の仮想オブジェクトOm(O1,O2)とを含む。
第3実施形態の調整処理(S24,S25)においては、第1実施形態と同様に各被写体画像Gnが撮像距離Dnに応じて調整されるほか、各仮想オブジェクトOmが仮想撮像距離Emに応じて調整される。
具体的には、ぼかし処理S24において、画像調整部424は、各被写体画像Gnを撮像距離Dnに応じたぼかし量Bnによりぼかすほか、各仮想オブジェクトOmを仮想撮像距離Emに応じたぼかし量Bmによりぼかす。仮想撮像距離Emは、撮像距離Dnと同様にぼかし量Bmの制御に利用される。例えば、画像調整部424は、合焦範囲P0の外側において、基準値Drefと各仮想オブジェクトOmの仮想撮像距離Emとの差異|Dref-Em|が大きいほど、仮想オブジェクトOmのぼかし量Bmを大きい数値に設定する。以上に例示した制御の結果、図16に例示される通り、各仮想オブジェクトOmは仮想撮像距離Emに応じてぼけた画像となる。
また、重畳処理S25において、画像調整部424は、仮想空間Z内における各被写体画像Gnの前後を撮像距離Dnに応じて制御するほか、仮想空間Z内における各仮想オブジェクトOmの前後を仮想撮像距離Emに応じて制御する。具体的には、仮想撮像距離Emが大きいほど仮想オブジェクトOmが奥側に位置するように、各仮想オブジェクトOmの前後が調整される。
例えば、図16においては、仮想オブジェクトO1の仮想撮像距離E1が被写体画像G1の撮像距離D1と被写体画像G2の撮像距離D2との間の数値である場合が想定されている(D1<E1<D2)。したがって、画像調整部424は、被写体画像G1を仮想オブジェクトO1の手前に配置し、かつ、仮想オブジェクトO1を被写体画像G2の手前に配置する。すなわち、仮想オブジェクトO1のうち被写体画像G1と重複する部分は、被写体画像G1の背後に隠れ、被写体画像G2のうち仮想オブジェクトO1と重複する部分は、仮想オブジェクトO1の背後に隠れる。同様に、被写体画像G2は仮想オブジェクトO2の手前に位置し、仮想オブジェクトO2は被写体画像G3の手前に位置する。
第3実施形態においても第1実施形態と同様の効果が実現される。また、第3実施形態においては、収録スタジオRnにおいて撮像された被写体画像Gnと仮想空間Z内の仮想オブジェクトOmとが重畳される。したがって、現実の被写体Qnだけでなく仮想オブジェクトOmを含む多様な合成動画Vを生成できる。しかも、仮想撮像距離Emに応じて仮想オブジェクトOmが調整される。したがって、仮想撮像距離Emが反映されない形態と比較して、仮想オブジェクトOmが各被写体Qnと同じ空間に所在するような自然な合成動画Vを生成できる。
なお、被写体選択部423が選択する基準被写体Qrefの候補に仮想オブジェクトOmが含まれてもよい。例えば、被写体選択部423は、複数の被写体Q1~Q3と複数の仮想オブジェクトO1,O2とを含む複数の候補(以下「候補被写体」という)から基準被写体Qrefを選択する。具体的には、被写体選択部423は、複数の候補被写体のうち利用者が操作装置34に対する操作により指定した候補被写体を、基準被写体Qrefとして選択する。したがって、仮想オブジェクトOmが基準被写体Qrefとして選択され、当該仮想オブジェクトOmの仮想撮像距離Emが基準値Drefとして設定される場合がある。
また、仮想オブジェクトOmを含む複数の候補被写体から基準被写体Qrefが選択される形態には、第2実施形態の態様1が適用されてもよい。具体的には、被写体選択部423は、複数の動画V1~V3と仮想動画Vzとを解析した結果に応じて基準被写体Qrefを選択する。例えば、被写体選択部423は、複数の動画V1~V3と各仮想オブジェクトOmの動画とを含む複数の動画のうち、時間的な変化が大きい動画から基準被写体Qrefを選択する。したがって、仮想オブジェクトOmの動画の変化量が各動画Vnの変化量を上回る場合、被写体選択部423は、仮想オブジェクトOmを基準被写体Qrefとして選択する。
また、仮想オブジェクトOmが音声を発音する形態においては、第2実施形態の態様2が適用されてもよい。具体的には、被写体選択部423は、複数の音声A1~A3と仮想動画Vzに対応する音声とを解析した結果に応じて基準被写体Qrefを選択する。例えば、被写体選択部423は、複数の音声A1~A3と各仮想オブジェクトOmの音声とを含む複数の音声のうち、音量が大きい音声に対応する被写体Qnまたは仮想オブジェクトOmを、基準被写体Qrefとして選択する。したがって、仮想オブジェクトOmが音量で発音している場合、被写体選択部423は、仮想オブジェクトOmを基準被写体Qrefとして選択する。
[第4実施形態]
図17は、第4実施形態における動画合成システム30の機能的な構成を例示するブロック図である。第4実施形態の制御装置31は、第1実施形態と同様の要素(動画取得部41、画像処理部42、音声処理部43および出力処理部44)に加えて撮像制御部45としても機能する。撮像制御部45は、複数の撮像装置21-1~21-3を制御する。
第4実施形態の各撮像装置21-nは、動画Vnを撮像する条件(以下「撮像条件」という)を変更可能なPTZ(Panoramac-Tilt-Zoom)カメラである。撮像条件は、撮像装置21-nが撮像する範囲を規定する条件である。例えば、撮像方向および撮像倍率が撮像条件として例示される。撮像方向は、撮影レンズの光軸の方向であり、例えば水平方向(パン)および垂直方向(チルト)に変化する。撮像倍率は、例えば焦点距離に応じた倍率(ズーム)である。
撮像制御部45は、操作装置34に対する利用者からの操作に応じて各撮像装置21-nを制御する。利用者は、再生装置35が再生する配信コンテンツCを視聴しながら操作装置34を操作することで、各撮像装置21-nの撮像条件を指示する。撮像制御部45は、利用者が指示した撮像条件を指定する制御データXを生成する。制御データXは、撮像方向および撮像倍率を指定するデータである。例えば、制御データXは、現時点の数値に対する変化量(相対値)、または所定値を基準とした絶対値として、撮像方向および撮像倍率を指定する。なお、制御データXの時系列が記憶装置32に事前に記憶されてもよい。
撮像制御部45は、複数の収録システム20-1~20-3に対して制御データXを通信装置33から送信する。すなわち、複数の撮像装置21-1~21-3に対して共通の制御データXが供給される。各撮像装置21-nは同機種であり、動作特性等の仕様は相互に共通する。したがって、複数の撮像装置21-1~21-3は、制御データXに対して同様に動作する。すなわち、撮像制御部45による制御データXの供給により、複数の撮像装置21-1~21-3は共通の撮像条件に制御される。
撮像制御部45は、複数の収録システム20-1~20-3に対して時間的に並列に制御データXを送信する。すなわち、複数の撮像装置21-1~21-3に対して制御データXが時間的に並列に供給される。したがって、各撮像装置21-nの撮像条件は、制御データXに応じて時間的に並列に変化する。
以上の説明から理解される通り、撮像制御部45は、複数の撮像装置21-1~21-3を、共通の撮像条件のもとで、時間的に相互に並列に動作させる。例えば、撮像装置21-1の撮像方向が特定の角度だけ変化する場合、撮像装置21-1の撮像方向の変化に並行して、撮像装置21-2および撮像装置21-3の撮像方向も同じ角度だけ変化する。また、撮像装置21-1の撮像倍率が所定の倍率に変化する場合、撮像装置21-1の撮像倍率の変化に並行して、撮像装置21-2および撮像装置21-3の撮像倍率も同じ倍率に変化する。すなわち、複数の撮像装置21-1~21-3の撮像条件が相互に連動して共通の条件に変化する。
第4実施形態においても第1実施形態と同様の効果が実現される。また、各撮像装置21-nによる動画Vnの撮像が共通の撮像条件のもとで実行される。したがって、実際には相異なる収録スタジオRnに所在する複数の被写体Q1~Q3が恰も共通の空間内に所在するかのように視聴者に知覚される自然な合成動画Vを生成できる。
なお、第2実施形態および第3実施形態は、第4実施形態にも同様に適用される。例えば、仮想動画Vzを複数の動画V1~V3に合成する第3実施形態において、画像生成部425は、仮想撮像装置が仮想動画Vzを撮像するための撮像条件を、各撮像装置21-nの撮像条件に連動させてもよい。すなわち、複数の撮像装置21-1~21-3と仮想撮像装置とが、共通の撮像条件のもとで時間的に相互に並列に動作してもよい。
[変形例]
以上に例示した各形態は多様に変形され得る。前述の各形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を、相互に矛盾しない範囲で併合してもよい。
(1)前述の各形態においては、距離指標を利用して撮像距離Dnを特定したが、各被写体Qnの撮像距離Dnを特定する方法は、以上の例示に限定されない。例えば、以下に例示する態様1または態様2により、撮像距離Dnが特定されてもよい。
[態様1]
距離特定部421は、各被写体Qnに対する顔検出の結果に応じて撮像距離Dnを特定してもよい。例えば、距離特定部421は、動画Vnに対する顔検出の結果を利用して、被写体Qnの顔面の各要素に関するサイズの指標(以下「評価指標」という)を算定する。顔検出は、被写体Qnの顔面を検出する処理である。例えば、顔面のサイズまたは両眼間の距離等の数値が、評価指標として算定される。
撮像距離Dnが大きいほど評価指標は減少するという相関がある。以上の相関を考慮して、距離特定部421は、評価指標に応じて撮像距離Dnを特定する。例えば、距離特定部421は、評価指標が基準値と比較して大きいほど撮像距離Dnを小さい数値に設定し、評価指標が基準値と比較して小さいほど撮像距離Dnを大きい数値に設定する。なお、顔面の各要素に関するサイズには個人差があるから、評価指標の基準値は被写体Qn毎に個別に用意されることが望ましい。例えば、撮像距離Dnが所定値である状態で算定された評価指標が、基準値として記憶装置32に事前に記憶される。
なお、以上の説明においては被写体Qnの顔検出を例示したが、距離特定部421は、被写体Qnに対する骨格推定の結果を利用して、撮像距離Dnの特定のための評価指標を算定してもよい。骨格推定は、被写体Qnについて関節等の骨格を推定する処理である。例えば、特定の関節間の距離(例えば腕の長さ)または比率が評価指標として算定される。距離特定部421は、骨格に関する評価指標に応じて撮像距離Dnを特定する。なお、骨格には個人差があるから、評価指標の基準値は被写体Qn毎に個別に用意されてもよい。
[態様2]
撮像装置21-nによる撮像時に測距装置が撮像距離Dnを測定する形態においては、距離特定部421は、測距装置が測定した撮像距離Dnを取得する。測距装置は、例えば赤外光または紫外光等の測距光を利用した光学的なセンサである。測距装置は、例えばLiDAR(Light Detection and Ranging)機能を具備する。また、撮像装置21-nの自動焦点機能により撮像距離Dnが特定されてもよい。自動焦点機能は、被写体Qnに自動的に合焦する機能である。撮影レンズを制御した結果に応じて撮像距離Dnが特定される。
撮像距離Dnの特定には、態様1および態様2以外にも任意の方法が採用される。例えば、被写体Qnの距離指標(マーカー)を複数の撮像装置21-nにより撮像した結果を利用して、距離特定部421が撮像距離Dnを特定してもよい。
なお、制御装置31(距離特定部421)による演算処理で各被写体Qnの撮像距離Dnが特定される必要はない。例えば、各収録スタジオRnにおいて例えばメジャー等の計測器を利用して収録前に実際に測定された撮像距離Dnが、被写体Qn毎に記憶装置32に事前に記憶されてもよい。制御装置31(距離特定部421)は、合成処理S2において、各被写体Qnの撮像距離Dnを記憶装置32から取得する(S21)。以上の説明から理解される通り、距離特定部421による撮像距離Dnの特定(S21)には、事前に記憶された撮像距離Dnの読出も包含される。
(2)前述の各形態においては、撮像距離Dnに応じてぼかし量Bnを設定したが、ぼかし量Bnは、撮像距離Dn以外の制御パラメータに依存してもよい。例えば、画像調整部424は、撮像距離Dnとぼかし量Bnとの相関を、仮想的な絞り値(以下「仮想絞り値F」という)に応じて制御してもよい。画像調整部424は、例えば操作装置34に対する利用者からの指示に応じて仮想絞り値Fを設定する。
図18は、本変形例における撮像距離Dnとぼかし量Bnとの関係を表すグラフである。仮想絞り値Fが相異なる2個の数値(F1,F2)に設定された場合のグラフが図18には併記されている。数値F1は数値F2を下回る。
画像調整部424は、仮想絞り値Fに応じて合焦範囲P0を制御する。具体的には、図18に例示される通り、仮想絞り値Fが数値F1に設定された場合の合焦範囲P0は、仮想絞り値Fが数値F2(>F1)に設定された場合の合焦範囲P0よりも狭い範囲に設定される。以上の制御により、撮影レンズの絞り値が小さいほど被写界深度が縮小する現実の傾向が模擬される。
また、画像調整部424は、撮像距離Dnに対するぼかし量Bnを仮想絞り値Fに応じて制御する。具体的には、撮像距離Dnが同一の数値に設定された状況でも、仮想絞り値Fが数値F1に設定された場合のぼかし量Bnは、仮想絞り値Fが数値F2(>F1)に設定された場合のぼかし量Bnを上回る。以上の制御により、撮影レンズの絞り値が小さいほど光学的なぼけの程度が大きいという現実の傾向が模擬される。
なお、以上の説明においては仮想絞り値Fに着目したが、ぼかし量Bnに影響する制御パラメータは仮想絞り値Fに限定されない。例えば、画像調整部424は、撮像距離Dnとぼかし量Bnとの相関を、仮想的な焦点距離(以下「仮想焦点距離」という)に応じて制御してもよい。仮想焦点距離は、例えば操作装置34に対する利用者からの指示に応じて設定される。具体的には、画像調整部424は、仮想焦点距離が大きいほど、合焦範囲P0を縮小し、かつ、撮像距離Dnに対するぼかし量Bnを大きい数値に設定する。以上の形態によれば、撮影レンズの焦点距離が大きいほど、被写界深度が縮小し易く、かつ、光学的なぼけが増大し易いという現実の傾向が模擬される。
以上の例示から理解される通り、前述の各形態に例示した撮像距離Dnと、本変形例において例示した仮想絞り値Fおよび仮想焦点距離とは、ぼかし量Bnを制御するための制御パラメータとして包括的に表現される。制御パラメータは、以上に例示した種類の変数に限定されない。
(3)撮像距離Dnとぼかし量Bnとの関係は、図7に例示した関係に限定されない。例えば、図19に例示される通り、撮像距離Dnに対してぼかし量Bnが曲線的に変化する形態も想定される。また、図20に例示される通り、撮像距離Dnに対してぼかし量Bnが変化しない合焦範囲P0は、省略されてもよい。
図21に例示される通り、撮像距離Dnとぼかし量Bnとの関係が、範囲Paと範囲Pbとで相違する形態も想定される。図21には、撮像距離Dnに対するぼかし量Bnの勾配が、範囲Paと範囲Pbとで相違する場合が例示されている。図21から理解される通り、ぼかし量Bnの数値範囲も範囲Paと範囲Pbとで相違する。図21の形態によれば、基準被写体Qrefの手前側と奥側とで被写体Qnのぼけの特性を相違させることが可能である。
(4)前述の各形態においては、複数の撮像装置21-1~21-3において撮像条件が共通する場合を想定したが、撮像倍率等の撮像条件が撮像装置21-n毎に相違する場合が想定される。また、各撮像装置21-nの撮影レンズがズームレンズである形態では、撮像倍率(焦点距離)が撮像装置21-n毎に個別に設定される場合も想定される。
各動画Vnにおける被写体画像Gnのサイズは、撮像距離Dnだけでなく撮像倍率等の撮像条件にも依存する。例えば、被写体Qn自体のサイズおよび撮像距離Dnが共通する場合でも、撮像装置21-nの撮像倍率が大きいほど被写体画像Gnのサイズは増大する。複数の被写体画像G1~G3のサイズが自然な関係となるように、画像調整部424は、合成処理S2において撮像装置21-n毎の撮像倍率の相違を補償する。すなわち、撮像倍率の相違に起因した被写体画像Gnのサイズの相違が低減される。
具体的には、画像調整部424は、撮像倍率の逆比により各被写体画像Gnを拡大または縮小する。例えば、撮像装置21-n1の撮像倍率が撮像装置21-n2の撮像倍率の2倍である場合、画像調整部424は、被写体画像Gn1のサイズを変更せずに被写体画像Gn2のサイズを1/2倍に調整する。あるいは、画像調整部424は、被写体画像Gn2のサイズを変更せずに被写体画像Gn1のサイズを2倍に調整してもよい。以上の形態によれば、撮像装置21-n毎の撮像条件の相違が補償され、結果的に自然な合成動画Vを生成できる。
なお、画像調整部424が各撮像装置21-nの撮像倍率を取得できない形態においては、画像調整部424は、撮像距離Dnに応じて各被写体画像Gnのサイズを調整してもよい。具体的には、画像調整部424は、各被写体画像Gnにおける距離指標のサイズが撮像距離Dnの逆比となるように、各被写体画像Gnのサイズを拡大または縮小する。例えば、撮像距離Dn2が撮像距離Dn1の2倍である場合、被写体画像Gn2における距離指標のサイズが被写体画像Gn1における距離指標のサイズの1/2倍となるように、被写体画像Gn1および被写体画像Gn2の一方または双方のサイズが調整される。
(5)前述の各形態においては、各収録スタジオRnとは別個の位置に動画合成システム30が設置された形態を例示したが、収録スタジオRnに動画合成システム30が設置されてもよい。また、撮像装置21-nに動画合成システム30が搭載されてもよい。
(6)前述の各形態においては、動画Vnのうち特定色の背景に対応する領域を除去することで被写体画像Gnを抽出したが、動画Vnから被写体画像Gnを抽出する方法は、以上の例示に限定されない。例えば、被写体抽出部422は、公知の物体検出処理により動画Vnから被写体画像Gnを抽出してもよい。物体検出処理としては、例えば深層ニューラルネットワーク等の推定モデルを利用した物体検出、または背景差分法等の画像処理を利用した物体検出が例示される。以上の説明から理解される通り、収録スタジオRnの背景は特定色である必要はない。
(7)前述の各形態においては、基準被写体Qrefに対応する撮像距離Dnを基準値Drefとして設定したが、基準値Drefを設定する方法は、以上の例示に限定されない。例えば、操作装置34に対する操作により利用者が任意に指示した数値が、基準値Drefとして設定されてもよい。基準値Drefは、利用者からの指示に応じて随時に変更される。画像調整部424は、利用者から指示された基準値Drefをぼかし処理S24に適用する。また、進行が事前に計画されたイベントの配信コンテンツCを制作する場合を想定すると、基準値Drefの時系列が記憶装置32に事前に記憶されてもよい。画像調整部424は、記憶装置32から時系列に取得した基準値Drefを順次にぼかし処理S24に適用する。
以上の例示から理解される通り、基準値Drefは、基準被写体Qrefの撮像距離Dnに限定されない。すなわち、基準被写体Qrefの撮像距離Dnとは無関係に基準値Drefが設定されてもよい。したがって、基準被写体Qrefの選択(被写体選択部423,S23)は、本開示において省略されてよい。
(8)前述の各形態においては、重畳処理S25において複数の被写体画像G1~G3が合成される形態を例示したが、複数の被写体画像G1~G3を合成する合成処理の過程において、調整処理が実行される段階は任意である。例えば、各被写体画像Gnについてぼかし処理S24や前後の調整等の調整処理が実行されてから、複数の被写体画像G1~G3が合成されてもよいし、複数の被写体画像G1~G3が合成されてから、合成動画Vにおける各被写体画像Gnについて調整処理が実行されてもよい。
(9)前述の各形態においては、被写体画像Gnに対するぼかし処理S24を例示したが、被写体画像Gnの画像パラメータを調整する加工処理は、以上に例示したぼかし処理S24に限定されない。例えば、明度(露出)、彩度、色相、コントラスト、明瞭度等の任意の画像パラメータを調整する画像処理が、「加工処理」として包括的に表現される。加工処理においては、被写体画像Gnに関する以上の画像パラメータが、撮像距離Dnに応じて調整される。
例えば、画像調整部424は、基準値Drefと各被写体Qnの撮像距離Dnとの差異|Dref-Dn|が大きいほど、明度、彩度、コントラストまたは明瞭度等の画像パラメータを小さい数値に設定する。以上の形態においても、基準被写体Qrefが特に注目され易い合成動画Vを生成できる。また、基準値Drefと撮像距離Dnとの差異|Dref-Dn|に応じて被写体画像Gnの色相を調整する形態も想定される。例えば、画像調整部424は、差異|Dref-Dn|が所定の範囲内にある場合に被写体画像Gnを特定の色相に調整する。
(10)前述の各形態においては、収録スタジオRnを現実空間として例示したが、現実空間は収録スタジオRn等の屋内空間に限定されない。例えば、屋外空間等の現実空間内に収録システム20-nが設置されてもよい。以上の説明から理解される通り、現実空間は、現実世界の実在する空間として定義され、屋内/屋外は不問である。
(11)前述の各形態においては、複数の動画V1~V3の合成により合成動画Vを生成したが、さらに他の画像が合成されてもよい。例えば、被写体Qnがプレイするゲームの画面が、合成動画Vに合成されてもよい。また、収録スタジオRn内に設置された撮像装置21-n以外の撮像装置により撮像された動画が、合成動画Vに合成されてもよい。また、前述の各形態においては、複数の音声A1~A3の合成により合成音声Aを生成したが、さらに他の音声が合成されてもよい。例えば、被写体Qnがプレイするゲームの音声が、合成音声Aに合成されてもよい。
(12)動画合成システム30と収録システム20-1との間の通信遅延と、動画合成システム30と収録システム20-2との間の通信遅延とが相違する場合、動画合成システム30が取得する動画V1と動画V2とが時間的に相互に同期しない可能性がある。例えば、動画V1および動画V2の一方が他方に対して遅延する状況が想定される。以上の状況において、画像処理部42(例えば画像調整部424)は、複数の動画V1~V3を時間的に相互に同期させてもよい。以上の形態によれば、複数の動画V1~V3の時間的なズレが低減された自然な合成動画Vを生成できる。
(13)第4実施形態においては、撮像方向および撮像倍率を撮像条件として例示したが、撮像制御部45により制御される撮像条件は、以上の例示に限定されない。例えば、焦点位置(フォーカス)、絞り値(アイリス)、露光時間(シャッタースピード)、露出値またはホワイトバランス等、撮像範囲自体には影響しない条件も「撮像条件」には包含される。
(14)前述の各形態においては3個の収録システム20-1~20-3を例示したが、収録システム20-nの個数は任意である。例えば、2個の収録システム20-nが設置された構成や、4個以上の収録システム20-nが設置された構成にも、本開示は同様に適用される。
例えば、動画収録システム100がN個(Nは2以上の自然数)の撮像装置21-1~21-Nを具備する構成を想定すると、N個の撮像装置21-1~21-Nから選択された1個の撮像装置21-n1(n1=1~N)が本開示における「第1撮像装置」の一例であり、他の撮像装置21-n2(n2=1~N,n2≠n1)が本開示における「第2撮像装置」の一例である。
(15)前述の各形態に係る動画合成システム30の機能は、前述の通り、制御装置31を構成する単数または複数のプロセッサと、記憶装置32に記憶されたプログラムとの協働により実現される。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号(transitory, propagating signal)を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記録媒体が、前述の非一過性の記録媒体に相当する。
(16)本開示における「第n」(nは自然数)という記載は、各要素を表記上において区別するための形式的または便宜的な標識(ラベル)としてのみ使用され、如何なる実質的な意味も持たない。したがって、「第n」という表記を根拠として、各要素の位置または処理の順序等が限定的に解釈される余地はない。
[付記]
以上の記載から、例えば以下のように本開示の好適な態様が把握される。なお、各態様の理解を容易にするために、以下では、図面の符号を便宜的に括弧書で併記するが、本開示は図示の態様に限定されない。
[付記1]
本開示のひとつの態様(付記1)に係る動画合成システム(30)は、第1現実空間(Rn1)内の第1撮像装置(21-n1)が撮像した第1動画(Vn1)と、第2現実空間(Rn2)内の第2撮像装置(21-n2)が撮像した第2動画(Vn2)とを取得する動画取得部(41)と、前記第1動画(Vn1)における第1被写体(Qn1)の画像(Gn1)と前記第2動画(Vn2)における第2被写体(Qn2)の画像(Gn2)とを含む合成動画(V)を生成する合成処理(S2)を実行する画像処理部(42)とを具備し、前記合成処理(S2)は、前記第1撮像装置(21-n1)の第1撮像距離(Dn1)と前記第2撮像装置(21-n2)の第2撮像距離(Dn2)とに応じて前記第1被写体(Qn1)の画像(Gn1)と前記第2被写体(Qn2)の画像(Gn2)とを調整する調整処理(S24,S25)を含む。
以上の態様によれば、第1撮像装置(21-n1)が撮像した第1動画(Vn1)と第2撮像装置(21-n2)が撮像した第2動画(Vn2)とを合成する合成処理(S2)において、第1動画(Vn1)における第1被写体(Qn1)の画像(Gn1)と第2動画(Vn2)における第2被写体(Qn2)の画像(Gn2)とを、第1撮像距離(Dn1)と第2撮像距離(Dn2)とに応じて調整する調整処理(S24,S25)が実行される。すなわち、第1撮像距離(Dn1)および第2撮像距離(Dn2)の関係が、合成動画(V)における第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)との関係に反映される。したがって、相異なる現実空間(Rn)に所在する複数の被写体(Qn)を含む自然な合成動画(V)を生成できる。
「(第1/第2)現実空間(Rn)」は、現実の世界に実在する空間であり、仮想空間(Z)と対比される概念である。
「(第1/第2)動画」は、複数の映像の時系列により構成される動的な画像である。第1動画(Vn1)と第2動画(Vn2)とは、例えば時間的に相互に並列に撮像される。すなわち、第1動画(Vn1)が撮像される期間と第2動画(Vn2)が撮像される期間とは時間軸上で相互に重複する。ただし、第1動画(Vn1)と第2動画(Vn2)とは相互に並列に撮像されなくてもよい。すなわち、第1動画(Vn1)が撮像される期間と第2動画(Vn2)が撮像される期間とは時間軸上で相互に重複しなくてもよい。
「合成処理(S2)」は、第1動画(Vn1)における第1被写体(Qn1)の画像(Gn1)と第2動画(Vn2)における第2被写体(Qn2)の画像(Gn2)とを含む合成動画(V)を生成する任意の画像処理である。合成処理(S2)のなかで調整処理(S24,S25)が実行される段階は任意である。例えば、第1被写体(Qn1)の画像(Gn1)および第2被写体(Qn2)の画像(Gn2)の少なくとも一方について調整処理(S24,S25)が実行されてから、第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)とが合成されてもよいし、第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)とが合成されてから、第1被写体(Qn1)の画像(Gn1)および第2被写体(Qn2)の画像(Gn2)の少なくとも一方について調整処理(S24,S25)が実行されてもよい。また、第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)とを合成する過程において調整処理(S24,S25)(例えば後述の重畳処理(S25))が実行されてもよい。
「撮像距離(Dn)」は、(第1/第2)撮像装置と(第1/第2)被写体との間の距離である。撮像距離(Dn)を特定する方法は任意である。例えば、撮像距離(Dn)が事前に決定された既定値であれば、当該撮像距離(Dn)は記憶装置に事前に保存されてもよい。
撮像装置が撮像した動画の解析により撮像距離(Dn)が推定されてもよい。例えば、被写体に付加された既定の距離指標(マーカー)について動画内のサイズを解析することで、撮像距離(Dn)が推定される。また、既知のサイズの被写体(例えば出演者)について、顔認識または骨格認識等の認識技術により動画内のサイズを解析することで、撮像距離(Dn)が推定される。
撮像装置による撮像時に測距装置が撮像距離(Dn)を測定する環境では、測距装置が測定した撮像距離(Dn)が取得される。測距装置は、例えば赤外光または紫外光等の測距光を利用した光学的なセンサである。測距装置は、例えばLiDAR(Light Detection and Ranging)機能または自動焦点機能を具備する。なお、測距装置は、撮像装置に搭載されてもよいし、撮像装置とは別体に設置されてもよい。
「調整処理(S24,S25)」は、撮像距離(Dn)に応じて被写体の画像を調整する画像処理である。「撮像距離(Dn)に応じて」とは、合成画像における被写体の画像が撮像距離(Dn)に依存する関係を意味する。すなわち、例えば撮像距離(Dn)が相異なる第1値と第2値とに設定され得る場合を想定すると、撮像距離(Dn)が第1値である場合の調整処理(S24,S25)後の画像と、撮像距離(Dn)が第2値である場合の調整処理(S24,S25)後の画像とが相違することを意味する。ただし、撮像距離(Dn)が変化しても画像が変化しない場合はあり得る。
「複数の撮像装置」は、第1撮像装置(21-n1)および第2撮像装置(21-n2)以外の1以上の撮像装置を含んでもよい。すなわち、画像処理部(42)は、相異なる撮像装置により撮像された3個以上の動画の合成により合成動画(V)を生成してもよい。「第1動画(Vn1)」は、複数の動画から選択されたひとつの動画であり、「第2動画(Vn2)」は、複数の動画のうち第1動画(Vn1)以外のひとつの動画である。すなわち、合成動画(V)は、第1動画(Vn1)および第2動画(Vn2)のみの合成により生成されてもよいし、第1動画(Vn1)および第2動画(Vn2)と他の1以上の動画との合成により生成されてもよい。
[付記2]
付記1の具体例(付記2)において、前記調整処理(S24,S25)は、前記第1撮像距離(Dn1)と前記第2撮像距離(Dn2)とに応じて前記第1被写体(Qn1)の画像パラメータと前記第2被写体(Qn2)の画像パラメータとを調整する加工処理を含む。以上の態様においては、第1被写体(Qn1)の画像パラメータと第2被写体(Qn2)の画像パラメータとが、第1撮像距離(Dn1)および第2撮像距離(Dn2)に応じて調整される。したがって、相異なる空間に所在する複数の被写体(Qn)を含む自然な合成動画(V)を生成できる。
「加工処理」は、第1撮像距離(Dn1)と第2撮像距離(Dn2)とに応じて第1被写体(Qn1)の画像パラメータと第2被写体(Qn2)の画像パラメータとを調整する任意の画像処理である。例えば、第1撮像距離(Dn1)と第2撮像距離(Dn2)との差異が大きいほど、第1被写体(Qn1)の画像パラメータと第2被写体(Qn2)の画像パラメータとの差異を増加させるような画像処理が、「調整処理(S24,S25)」として例示される。ただし、例えば第1撮像距離(Dn1)と第2撮像距離(Dn2)とが相互に近似または一致する場合に、第1被写体(Qn1)の画像パラメータと第2被写体(Qn2)の画像パラメータとが相互に一致することはあり得る。
「画像パラメータ」は、画像の視覚的な特性を制御するための任意のパラメータである。例えば、ぼかし量(Bn)、明度(露出)、彩度、色相、コントラスト、明瞭度等の任意の特性値が「画像パラメータ」として例示される。相異なる複数のパラメータの組合せを「画像パラメータ」と解釈してもよい。
[付記3]
付記2の具体例(付記3)において、前記加工処理は、画像をぼかすぼかし処理(S24)を含み、前記画像パラメータは、ぼかし量(Bn)である。以上の態様によれば、第1被写体(Qn1)の画像(Gn1)におけるぼかし量(Bn)と第2被写体(Qn2)の画像(Gn2)におけるぼかし量(Bn)とが第1撮像距離(Dn1)および第2撮像距離(Dn2)に応じて相違するように、ぼかし処理(S24)が実行される。撮像距離(Dn)に応じて光学的なぼけの度合が変化する現実の撮像の傾向が模擬された自然な合成動画(V)を生成できる。
「ぼかし処理(S24)」は、画像をぼかす画像処理である。例えば、動画内の各画素の画素値を、当該画素を含む所定の範囲内の平均値に置換する平滑処理が、ぼかし処理(S24)の一例である。ぼかし量(Bn)は、ぼかし処理(S24)により画像がぼける程度を制御する画像パラメータである。例えば、画素値の平均値が算定される範囲のサイズを規定する画像パラメータが、「ぼかし量(Bn)」として例示される。
第1撮像距離(Dn1)と第2撮像距離(Dn2)とが相違する場合には、第1被写体(Qn1)の画像(Gn1)のぼかし量(Bn)と第2被写体(Qn2)の画像(Gn2)のぼかし量(Bn)とが相異なる数値に設定される。第1被写体(Qn1)の画像(Gn1)および第2被写体(Qn2)の画像(Gn2)の双方に対してぼかし処理(S24)が実行されてもよいし、第1被写体(Qn1)の画像(Gn1)および第2被写体(Qn2)の画像(Gn2)の一方のみにぼかし処理(S24)が実行されてもよい。
[付記4]
付記3の具体例(付記4)において、前記第1撮像距離(Dn1)は、相異なる第1距離(Da1,Db1)および第2距離(Da2,Db2)に設定可能であり、前記第2距離(Da2,Db2)と基準値(Dref)との差異は、前記第1距離(Da1,Db1)と基準値(Dref)との差異を上回り、前記画像処理部(42)は、前記第1撮像距離(Dn1)が前記第1距離(Da1,Db1)である場合に、前記第1被写体(Qn1)の画像(Gn1)に関するぼかし量(Bn)を第1設定値(Ba1,Bb1)に設定し、前記第1撮像距離(Dn1)が前記第2距離(Da2,Db2)である場合に、前記第1被写体(Qn1)の画像(Gn1)に関するぼかし量(Bn)を、前記第1設定値(Ba1,Bb1)を上回る第2設定値(Ba2,Bb2)に設定する。以上の態様によれば、第1撮像距離(Dn1)と基準値(Dref)との差異が増加するほど、第1被写体(Qn1)の画像(Gn1)のぼかし処理(S24)に適用されるぼかし量(Bn)が増加する。したがって、基準値(Dref)に対応する地点に位置する合焦面から奥行方向(前後方向)に離間するほど被写体の光学的なぼけが増加するという現実の撮像の傾向が忠実に模擬された自然な合成動画(V)を生成できる。
「基準値(Dref)」は、撮像距離(Dn)がとり得る特定の数値である。例えば第2撮像距離(Dn2)が「基準値(Dref)」として設定される。以上の形態によれば、第2被写体(Qn2)に合焦し、かつ第1被写体(Qn1)はぼけた合成動画(V)を生成できる。撮像距離(Dn)が、基準値(Dref)を含む所定の範囲内の数値である場合、被写体のぼかし量(Bn)をゼロに設定してもよい。以上の形態によれば、被写界深度内の要素には全体に合焦するという光学的な傾向を模擬できる。
[付記5]
付記4の具体例(付記5)において、前記基準値(Dref)は、前記第1動画(Vn1)および前記第2動画(Vn2)を含む複数の動画にそれぞれ対応する複数の被写体(Qn)の何れかである基準被写体(Qref)に対応する撮像距離(Dn)である。以上の態様によれば、複数の被写体(Qn)の何れか(基準被写体(Qref))に対応する撮像距離(Dn)を基準値(Dref)として第1被写体(Qn1)の画像(Gn1)に関するぼかし量(Bn)が設定される。したがって、基準被写体(Qref)を基準として各被写体の画像のぼかし量(Bn)が設定された自然な合成動画(V)を生成できる。また、複数の被写体(Qn)のうち基準被写体(Qref)が特に注目され易い合成動画(V)を生成できる。
「基準被写体(Qref)」は、相異なる動画に対応する複数の被写体(Qn)から選択された1以上の被写体である。基準被写体(Qref)を選択するための条件は任意である。例えば、複数の被写体(Qn)のうち利用者が選択した被写体が基準被写体(Qref)とされる。なお、「複数の動画」は、現実空間(Rn)内で実際に撮像された動画のほか、仮想空間(Z)を表す仮想動画が含まれてもよい。仮想動画は、仮想空間(Z)内の仮想オブジェクト(Om)を仮想撮像装置により撮像した動画である。基準被写体(Qref)は、現実空間(Rn)内の被写体と仮想空間(Z)内の仮想オブジェクト(Om)とを含む複数の被写体(Qn)から選択される。
[付記6]
付記5の具体例(付記6)において、前記画像処理部(42)は、前記複数の動画または前記複数の動画にそれぞれ対応する複数の音声を解析した結果に応じて、前記複数の被写体(Qn)から前記基準被写体(Qref)を選択する。以上の態様によれば、各被写体の動画または音声を解析した結果に応じて複数の被写体(Qn)から基準被写体(Qref)が選択される。したがって、利用者による指示を必要とせずに、合成動画(V)において視聴者が特に注目すべき適切な被写体を基準被写体(Qref)として選択できる。
各動画を解析する処理の具体的な内容、および解析の結果を被写体の選択に適用する条件は任意である。例えば、ひとつの態様において、複数の被写体(Qn)のうち時間的な変化が大きい被写体(すなわち動作中の被写体)が基準被写体(Qref)として選択される。また、例えば各動画が音声を含む形態においては、複数の被写体(Qn)のうち音声の音量が大きい動画に対応する被写体(すなわち発言中の被写体)が基準被写体(Qref)として選択される。
[付記7]
付記1から付記6の何れかの具体例(付記7)において、前記調整処理(S24,S25)は、前記第1被写体(Qn1)の画像(Gn1)と前記第2被写体(Qn2)の画像(Gn2)とを重畳する重畳処理(S25)を含み、前記重畳処理(S25)においては、前記第1被写体(Qn1)の画像(Gn1)と前記第2被写体(Qn2)の画像(Gn2)との前後を、前記第1撮像距離(Dn1)および前記第2撮像距離(Dn2)に応じて制御する。以上の態様によれば、第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)との前後が第1撮像距離(Dn1)および第2撮像距離(Dn2)に応じて制御される。したがって、第1被写体(Qn1)および第2被写体(Qn2)の現実の位置が第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)との前後に反映され他自然な合成動画(V)を生成できる。
「重畳処理(S25)」は、複数の被写体(Qn)を重ねる画像処理である。重畳処理(S25)により、第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)とが部分的に重複する。第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)との「前後」は、第1被写体(Qn1)の画像(Gn1)の背後に第2被写体(Qn2)の画像(Gn2)が配置されるのか、第2被写体(Qn2)の画像(Gn2)の背後の第1被写体(Qn1)の画像(Gn1)が配置されるのかという位置関係である。
「第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)との前後を第1撮像距離(Dn1)および第2撮像距離(Dn2)に応じて制御する」とは、合成動画(V)における第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)との前後が、第1撮像距離(Dn1)および第2撮像距離(Dn2)に依存することを意味する。例えば、第1撮像距離(Dn1)が第2撮像距離(Dn2)を下回る場合には、第1被写体(Qn1)の画像(Gn1)が第2被写体(Qn2)の画像(Gn2)の手前に位置するように第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)とが重畳され、第2撮像距離(Dn2)が第1撮像距離(Dn1)を下回る場合には、第2被写体(Qn2)の画像(Gn2)が第1被写体(Qn1)の画像(Gn1)の手前に位置するように第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)とが重畳される。
以上の例示から理解される通り、第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)との「前後」は、画像(Gn1)と画像(Gn2)との表示における優先度とも観念される。例えば、画像(Gn1)が画像(Gn2)の前方に表示された状態は、画像(Gn1)が画像(Gn2)に優先して表示された状態とも表現され、画像(Gn2)が画像(Gn1)の前方に表示された状態は、画像(Gn2)が画像(Gn1)に優先して表示された状態とも表現される。
また、第1被写体(Qn1)の画像(Gn1)と第2被写体(Qn2)の画像(Gn2)との「前後」は、画像(Gn1)および画像(Gn2)の各々の表示/非表示の区別とも観念される。例えば、画像(Gn1)が画像(Gn2)の前方に表示された状態は、画像(Gn1)のうち画像(Gn2)に重複する部分が表示され、かつ、画像(Gn2)のうち画像(Gn1)に重複する部分が非表示とされた状態とも表現される。同様に、例えば、画像(Gn2)が画像(Gn1)の前方に表示された状態は、画像(Gn2)のうち画像(Gn1)に重複する部分が表示され、画像(Gn1)のうち画像(Gn2)に重複する部分が非表示とされた状態とも表現される。
[付記8]
付記1から付記7の何れかの具体例(付記8)において、前記画像処理部(42)は、前記合成処理(S2)において、前記第1被写体(Qn1)の画像(Gn1)および前記第2被写体(Qn2)の画像(Gn2)と、仮想空間(Z)において仮想撮像装置により撮像された仮想オブジェクト(Om)とを含む前記合成動画(V)を生成し、前記調整処理(S24,S25)において、前記仮想撮像装置の仮想撮像距離(Em)に応じて前記仮想オブジェクト(Om)を調整する。以上の態様によれば、現実空間(Rn)内において撮像された被写体(第1被写体(Qn1)および第2被写体(Qn2))の画像と仮想空間(Z)内の仮想オブジェクト(Om)とが重畳される。したがって、現実の被写体だけでなく仮想オブジェクト(Om)を含む多様な合成動画(V)を生成できる。しかも、仮想撮像距離(Em)に応じて仮想オブジェクト(Om)が調整されるから、仮想オブジェクト(Om)が各被写体と同じ空間に所在するような自然な合成動画(V)を生成できる。
「仮想空間(Z)」は、画像処理等の各種の情報処理により設定される仮想的な空間であり、現実空間(Rn)と対比される概念である。仮想オブジェクト(Om)は、仮想空間(Z)内に存在するオブジェクトであり、仮想空間(Z)内の仮想撮像装置により撮像される。「仮想撮像装置」は、仮想空間(Z)内に設置された仮想的な撮像装置である。仮想撮像装置による撮像条件は固定/可変の何れでもよい。
仮想オブジェクト(Om)の画像に対する「調整処理(S24,S25)」の内容は任意である。例えば、前述の各形態について例示した加工処理または重畳処理(S25)等を含む「調整処理(S24,S25)」が、第1被写体(Qn1)の画像(Gn1)および第2被写体(Qn2)の画像(Gn2)だけでなく仮想オブジェクト(Om)の画像に対しても実行される。
[付記9]
付記1から付記8の何れかの具体例(付記9)に係る動画合成システム(30)は、前記第1撮像装置(21-n1)と前記第2撮像装置(21-n2)とを共通の撮像条件のもとで時間的に相互に並列に動作させる撮像制御部(45)をさらに具備する。以上の態様によれば、第1撮像装置(21-n1)による第1動画(Vn1)の撮像と第2撮像装置(21-n2)による第2動画(Vn2)の撮像とが共通の撮像条件のもとで実行される。したがって、第1現実空間(Rn1)内の被写体と第2現実空間(Rn2)内の被写体とが恰も共通の空間内に所在するかのように視聴者に知覚され得る自然な合成動画(V)を生成できる。
「撮像条件」は、(第1/第2)撮像装置による動画の撮像に関する条件である。具体的には、撮像方向または撮像倍率等、撮像範囲を規定する条件が「撮像条件」として例示される。撮像方向は、例えばパン方向(左右方向)またはチルト方向(上下方向)である。撮像倍率は、例えばズーム倍率である。ただし、例えば焦点位置(フォーカス)、絞り値(アイリス)、露出値、ホワイトバランス等、撮像範囲自体には影響しない条件も「撮像条件」には包含される。「撮像条件」は、例えば撮像制御部(45)による制御の対象となる動作条件とも表現される。
「共通の撮像条件のもとで動作させる」とは、第1撮像装置(21-n1)による撮像条件と第2撮像装置(21-n2)による撮像条件とが完全に一致する場合のほか、第1撮像装置(21-n1)による撮像条件と第2撮像装置(21-n2)による撮像条件とが実質的に一致する場合も含む。「撮像条件が実質的に一致する場合」とは、例えば、撮像条件の相違が視聴者に知覚されない程度に第1撮像装置(21-n1)と第2撮像装置(21-n2)との間で撮像条件が近似する場合、または、第1撮像装置(21-n1)による撮像条件と第2撮像装置(21-n2)による撮像条件との差異が、両者間の特性の相違(例えば製造誤差に起因した相違)を原因とする程度の微小な差異である場合である。
例えば、第1撮像装置(21-n1)と第2撮像装置(21-n2)とが同機種である場合を想定すると、撮像条件を指示する共通の制御データを第1撮像装置(21-n1)および第2撮像装置(21-n2)の双方に送信する結果として、第1撮像装置(21-n1)と第2撮像装置(21-n2)とは共通の撮像条件のもとで動作する。また、第1撮像装置(21-n1)と第2撮像装置(21-n2)とが別機種である場合を想定すると、両機種間の撮像動作の相違が解消されるように第1撮像装置(21-n1)と第2撮像装置(21-n2)とに別個の制御データを送信する結果として、第1撮像装置(21-n1)と第2撮像装置(21-n2)とは共通の撮像条件のもとで動作する。
[付記10]
本開示のひとつの態様(付記10)に係る動画合成方法は、第1現実空間(Rn1)内の第1撮像装置(21-n1)が撮像した第1動画(Vn1)と、第2現実空間(Rn2)内の第2撮像装置(21-n2)が撮像した第2動画(Vn2)とを取得し、前記第1動画(Vn1)における第1被写体(Qn1)の画像(Gn1)と前記第2動画(Vn2)における第2被写体(Qn2)の画像(Gn2)とを含む合成動画(V)を生成する合成処理(S2)を実行し、前記合成処理(S2)は、前記第1撮像装置(21-n1)の第1撮像距離(Dn1)と前記第2撮像装置(21-n2)の第2撮像距離(Dn2)とに応じて前記第1被写体(Qn1)の画像(Gn1)と前記第2被写体(Qn2)の画像(Gn2)とを調整する調整処理(S24,S25)を含む。
[付記11]
本開示のひとつの態様(付記11)に係るプログラムは、第1現実空間(Rn1)内の第1撮像装置(21-n1)が撮像した第1動画(Vn1)と、第2現実空間(Rn2)内の第2撮像装置(21-n2)が撮像した第2動画(Vn2)とを取得する動画取得部(41)、および、前記第1動画(Vn1)における第1被写体(Qn1)の画像(Gn1)と前記第2動画(Vn2)における第2被写体(Qn2)の画像(Gn2)とを含む合成動画(V)を生成する合成処理(S2)を実行する画像処理部(42)、としてコンピュータシステムを機能させるプログラムであって、前記合成処理(S2)は、前記第1撮像装置(21-n1)の第1撮像距離(Dn1)と前記第2撮像装置(21-n2)の第2撮像距離(Dn2)とに応じて前記第1被写体(Qn1)の画像(Gn1)と前記第2被写体(Qn2)の画像(Gn2)とを調整する調整処理(S24,S25)を含む。
100…動画収録システム、200…端末装置、20-n(20-1~20-3)…収録システム、21-n(21-1~21-3)…撮像装置、22-n(22-1~22-3)…収音装置、23-n(23-1~23-3)…通信装置、30…動画合成システム、31…制御装置、32…記憶装置、33…通信装置、34…操作装置、35…再生装置、41…動画取得部、42…画像処理部、43…音声処理部、44…出力処理部、45…撮像制御部、421…距離特定部、422…被写体抽出部、423…被写体選択部、424…画像調整部、425…画像生成部。

Claims (11)

  1. 第1現実空間内の第1撮像装置が撮像した第1動画と、第2現実空間内の第2撮像装置が撮像した第2動画とを取得する動画取得部と、
    前記第1動画における第1被写体の画像と前記第2動画における第2被写体の画像とを含む合成動画を生成する合成処理を実行する画像処理部とを具備し、
    前記合成処理は、前記第1撮像装置の第1撮像距離と前記第2撮像装置の第2撮像距離とに応じて前記第1被写体の画像と前記第2被写体の画像とを調整する調整処理を含む
    動画合成システム。
  2. 前記調整処理は、前記第1撮像距離と前記第2撮像距離とに応じて前記第1被写体の画像パラメータと前記第2被写体の画像パラメータとを調整する加工処理を含む
    請求項1の動画合成システム。
  3. 前記加工処理は、画像をぼかすぼかし処理を含み、
    前記画像パラメータは、ぼかし量である
    請求項2の動画合成システム。
  4. 前記第1撮像距離は、相異なる第1距離および第2距離に設定可能であり、
    前記第2距離と基準値との差異は、前記第1距離と基準値との差異を上回り、
    前記画像処理部は、前記第1撮像距離が前記第1距離である場合に、前記第1被写体の画像に関するぼかし量を第1設定値に設定し、前記第1撮像距離が前記第2距離である場合に、前記第1被写体の画像に関するぼかし量を、前記第1設定値を上回る第2設定値に設定する
    請求項3の動画合成システム。
  5. 前記基準値は、前記第1動画および前記第2動画を含む複数の動画にそれぞれ対応する複数の被写体の何れかである基準被写体に対応する撮像距離である
    請求項4の動画合成システム。
  6. 前記画像処理部は、前記複数の動画または前記複数の動画にそれぞれ対応する複数の音声を解析した結果に応じて、前記複数の被写体から前記基準被写体を選択する
    請求項5の動画合成システム。
  7. 前記調整処理は、前記第1被写体の画像と前記第2被写体の画像とを重畳する重畳処理を含み、
    前記重畳処理においては、前記第1被写体の画像と前記第2被写体の画像との前後を、前記第1撮像距離および前記第2撮像距離に応じて制御する
    請求項1の動画合成システム。
  8. 前記画像処理部は、
    前記合成処理において、前記第1被写体の画像および前記第2被写体の画像と、仮想空間において仮想撮像装置により撮像された仮想オブジェクトとを含む前記合成動画を生成し、
    前記調整処理において、前記仮想撮像装置の仮想撮像距離に応じて前記仮想オブジェクトを調整する
    請求項1の動画合成システム。
  9. 前記第1撮像装置と前記第2撮像装置とを共通の撮像条件のもとで時間的に相互に並列に動作させる撮像制御部
    をさらに具備する請求項1の動画合成システム。
  10. 第1現実空間内の第1撮像装置が撮像した第1動画と、第2現実空間内の第2撮像装置が撮像した第2動画とを取得し、
    前記第1動画における第1被写体の画像と前記第2動画における第2被写体の画像とを含む合成動画を生成する合成処理を実行し、
    前記合成処理は、前記第1撮像装置の第1撮像距離と前記第2撮像装置の第2撮像距離とに応じて前記第1被写体の画像と前記第2被写体の画像とを調整する調整処理を含む
    コンピュータシステムにより実現される動画合成方法。
  11. 第1現実空間内の第1撮像装置が撮像した第1動画と、第2現実空間内の第2撮像装置が撮像した第2動画とを取得する動画取得部、および、
    前記第1動画における第1被写体の画像と前記第2動画における第2被写体の画像とを含む合成動画を生成する合成処理を実行する画像処理部、
    としてコンピュータシステムを機能させるプログラムであって、
    前記合成処理は、前記第1撮像装置の第1撮像距離と前記第2撮像装置の第2撮像距離とに応じて前記第1被写体の画像と前記第2被写体の画像とを調整する調整処理を含む
    プログラム。
JP2022157949A 2022-09-30 2022-09-30 動画合成システム、動画合成方法およびプログラム Pending JP2024051665A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022157949A JP2024051665A (ja) 2022-09-30 2022-09-30 動画合成システム、動画合成方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022157949A JP2024051665A (ja) 2022-09-30 2022-09-30 動画合成システム、動画合成方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2024051665A true JP2024051665A (ja) 2024-04-11

Family

ID=90622694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022157949A Pending JP2024051665A (ja) 2022-09-30 2022-09-30 動画合成システム、動画合成方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2024051665A (ja)

Similar Documents

Publication Publication Date Title
US10182187B2 (en) Composing real-time processed video content with a mobile device
CN105794202B (zh) 用于视频和全息投影的深度键合成
JP2022064987A (ja) デジタル媒体と観察者の相互作用の構成及び実現
CN105939481A (zh) 一种交互式三维虚拟现实视频节目录播和直播方法
JP7489960B2 (ja) 画像の合成のための方法及びデータ処理システム
KR20160128366A (ko) 이동 단말의 촬영 방법 및 이동 단말
WO1995007590A1 (fr) Processeur d'images variant dans le temps et dispositif d'affichage
US20160266543A1 (en) Three-dimensional image source for enhanced pepper's ghost illusion
JP2015119277A (ja) 表示機器、表示方法及び表示プログラム
CN106101576B (zh) 一种增强现实照片的拍摄方法、装置及移动终端
CN107172413A (zh) 现实场景视频显示方法和***
CN114979689B (zh) 多机位直播导播方法、设备以及介质
KR20140041998A (ko) 영상합성기의 크로마키 피사체영상과 배경영상 합성장치 및 방법
WO2009119288A1 (ja) コミュニケーションシステム及びコミュニケーションプログラム
JP2001169309A (ja) 情報記録装置および情報再生装置
JP2017005371A (ja) 共演映像演出装置および共演映像演出システム
WO2016202073A1 (zh) 图像处理的方法和装置
JP2024051665A (ja) 動画合成システム、動画合成方法およびプログラム
CN107430841A (zh) 信息处理设备、信息处理方法、程序以及图像显示***
CN105208286A (zh) 一种模拟慢速快门的拍摄方法及装置
JP7271095B2 (ja) 画像生成装置、画像生成方法、及びプログラム
JP5924833B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び撮像装置
JP2022108638A (ja) 信号処理装置及び信号処理システム
KR20120092960A (ko) 가상 캐릭터 제어 시스템 및 방법
JP2010130403A (ja) 映像制御装置およびそれを備えた撮像装置、表示装置