JP6778956B2 - リアルタイム編集システム - Google Patents

Description

本願発明は、超高解像度映像の編集を行うリアルタイム編集システムに関する。

従来より、素材映像のデコードや合成等の様々な編集作業を行う編集装置が提案されている（例えば、特許文献１参照）。特許文献１に記載の発明は、１台のワークステーションで編集作業を行うものである。
近年、８Ｋ６０ｐのように、映像の超高解像度化・高フレームレート化が進んでいる。この８Ｋ６０ｐとは、解像度７６８０×４３２０画素のフレーム画像が１秒あたり６０枚であることを意味する。

特開２０００−２９５６１６号公報

しかし、従来の編集装置は、ＣＰＵ（Central Processing Unit）等の処理能力が不足するため、データ量が莫大な超高解像度映像をリアルタイムで編集できないという問題がある。

そこで、本願発明は、超高解像度映像をリアルタイムで編集できるリアルタイム編集システムを提供することを課題とする。

前記した課題に鑑みて、本願発明に係るリアルタイム編集システムは、圧縮された超高解像度の素材映像をデコードする複数のデコード装置と、前記デコード装置でデコードされた素材映像を合成する複数の合成装置と、前記デコード装置及び前記合成装置を制御する１台の制御装置とを備える構成とした。

かかる構成によれば、前記制御装置は、前記超高解像度映像のフレーム画像を順次処理する処理系統を決定する処理系統決定手段と、前記フレーム画像毎に、前記デコード装置に前記圧縮された素材映像のデコードを指令するデコード指令、及び、前記合成装置に前記デコードされた素材映像の合成を指令する合成指令が含まれるレンダリングジョブを生成し、生成した前記レンダリングジョブを前記合成装置に送信するレンダリングジョブ生成手段と、を備える。

また、前記合成装置は、前記制御装置から受信したレンダリングジョブのデコード指令が含まれるデコードジョブを生成し、生成した前記デコードジョブを前記デコード装置に送信するデコードジョブ生成手段と、前記処理系統の半数だけ、前記制御装置から受信したレンダリングジョブに基づいて、前記デコード装置でデコードされた素材映像を合成することで、超高解像度の合成映像を生成する合成手段と、を備える。

また、前記デコード装置は、前記合成装置から受信したデコードジョブに基づいて、前記圧縮された素材映像をデコードするデコード手段、を備える。
そして、前記制御装置の処理系統決定手段は、前記合成装置で生成された合成映像が前記処理系統に対応した順番で並んだ前記超高解像度映像を生成する。

すなわち、リアルタイム編集システムは、制御装置、合成装置、デコード装置の３レイヤで分割処理を行う（処理分割）。さらに、リアルタイム編集システムは、超高解像度映像のフレーム画像を、処理系統毎に分割処理を行う（時分割）。さらに、リアルタイム編集システムは、各処理系統の素材映像を複数台のデコード装置で分割処理する（空間分割）。

本願発明によれば、以下のような優れた効果を奏する。
本願発明に係るリアルタイム編集システムは、処理分割、時分割及び空間分割により処理能力が向上したため、データ量が莫大となる超高解像度映像であっても、リアルタイムで編集を行うことができる。

本願発明の実施形態に係るリアルタイム編集システムの全体構成図である。 図１のＳＤＩの説明図である。 図１のリアルタイム編集システムでの編集処理を表したシーケンス図である。 図１の制御装置の構成を示すブロック図である。 図１の合成装置の構成を示すブロック図である。 図１のデコード装置の構成を示すブロック図である。 図４のレンダリングジョブ生成手段が生成したレンダリングジョブの説明図である。 図１のリアルタイム編集システムでのＲＤＭＡによる書き込みの説明図である。 図１のリアルタイム編集システムにおける送信制御処理のフローチャートである。 図１のリアルタイム編集システムにおける受信制御処理のフローチャートである。

［リアルタイム編集システムの全体構成］
以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、リアルタイム編集システム１の全体構成について説明する。
図１のように、リアルタイム編集システム１は、超高解像度映像をリアルタイムで編集するものであり、制御装置１０と、合成装置２０と、デコード装置３０と、ＨＤＤ（Hard Disk Drive）４０と、ＳＤＩ（Serial Digital Interface）ディスプレイ５０と、ＰＣ（Personal Computer）ディスプレイ６０とを備える。

超高解像度映像とは、８Ｋ６０ｐのような超高解像度・高フレームレートの映像のことである。本実施形態では、超高解像度映が８Ｋ６０ｐの映像、つまり、解像度が７６８０×４３２０画素であり、フレームレートが６０ｆｐｓ(Frame Per Second)であることとして説明する。

ここで、リアルタイム編集システム１は、超高解像度映像のフレームレートの約数に基づいた数だけ、処理系統を有する。この処理系統とは、超高解像度映像の各フレーム画像を順次処理する単位のことであり、２台のデコード装置３０と、合成装置２０に備えられた１個のＣＰＵ２００との組で構成される。

本実施形態では、超高解像度映像のフレームレートが６０ｆｐｓなので、処理系統が、その約数である４系統であることとした（以後、処理系統Ａ〜Ｄと呼ぶ）。従って、リアルタイム編集システム１は、処理系統Ａ〜Ｄのそれぞれが、１秒あたり６０枚のフレーム画像のうち、１５枚を処理することになる。

また、リアルタイム編集システム１は、１台の制御装置１０と、処理系統の半数の合成装置２０と、処理系統の倍のデコード装置３０と、処理系統の半数のＨＤＤ４０とを備える。つまり、リアルタイム編集システム１は、１系統毎に、合成装置２０のＣＰＵ２００を１個割り当てるため、処理系統の半数だけ合成装置２０を備える。本実施形態では、リアルタイム編集システム１は、処理系統が４系統なので、２台の合成装置２０（２０_１，２０_２）と、８台のデコード装置３０（３０_１〜３０_８）と、２台のＨＤＤ４０（４０_１，４０_２）とを備える。

制御装置１０は、合成装置２０及びデコード装置３０を制御するものである。また、制御装置１０は、合成装置２０から書き込まれた合成映像を所定の順番で並び変えることで、超高解像度映像を生成し、生成した超高解像度映像をＳＤＩディスプレイ５０に出力する。さらに、制御装置１０は、超高解像度映像を縮小したプレビュー映像を生成し、生成したプレビュー映像をＰＣディスプレイ６０に出力する。

本実施形態では、制御装置１０は、２個のＣＰＵ１００と、光ＩＦ（Interface）１１０と、２個のＳＤＩ１２０と、ＶＧＡ（Video Graphics Array）１３０とを備える。

ＣＰＵ１００（１００_１，１００_２）は、制御装置１０で必要な各種演算を行う中央処理装置であり、例えば、デュアルＣＰＵで構成される。
光ＩＦ１１０は、光リング通信網に接続するネットワークＩＦである。例えば、光ＩＦ１１０は、４０Ｇｂｐｓの光モジュールを２個搭載すると共に、ＰＣＩ Ｅｘｐｒｅｓｓ（ｒｅｖ３）×８レーンでＣＰＵ１００に接続される。

ＳＤＩ１２０（１２０_１，１２０_２）は、ＳＤＩディスプレイ５０に超高解像度映像を出力する映像出力ボードである。本実施形態では、図２のように、ＳＤＩ１２０は、外部同期信号を入力するＳｙｎｃ端子と、４個のＳＤＩ端子とを有する。また、ＳＤＩ１２０は、バッファ１２１としてＤＤＲ３ ＳＤＲＡＭ（Double Data Rate3 Synchronous Dynamic Random Access Memory）を搭載すると共に、ＰＣＩ Ｅｘｐｒｅｓｓ（ｒｅｖ３）×８レーンでＣＰＵ１００に接続される。また、マスターのＳＤＩ１２０_１と、スレーブのＳＤＩ１２０_２とを同期させるため、ＬＶＤＳ（Low Voltage Differential Signaling）端子を備える。
ＶＧＡ１３０は、ＰＣディスプレイ６０にプレビュー映像を出力する一般的なＶＧＡボードである。

合成装置２０は、デコード装置３０でデコードされた素材映像を合成することで、超高解像度の合成映像を生成するものである。そして、合成装置２０は、生成した合成映像をＲＤＭＡ（Remote Direct Memory Access）で制御装置１０に書き込む。

ここで、合成装置２０は、２個のＣＰＵ２００と、光ＩＦ２１０と、２個の光ＩＦ２２０とを備える。
なお、合成装置２０は、２個のＣＰＵ２００が別々の処理系統に属するため、個別に演算処理を行うことになる。
また、ＣＰＵ２００及び光ＩＦ２１０，２２０のハードウェア構成自体は、ＣＰＵ１００及び光ＩＦ１１０と同様のため、説明を省略する。

本実施形態では、１台目の合成装置２０_１は、１個目のＣＰＵ２００_１及び光ＩＦ２２０_１の組が処理系統Ａに対応し、２個目のＣＰＵ２００_２及び光ＩＦ２２０_２の組が処理系統Ｂに対応する。また、２台目の合成装置２０_２は、１個目のＣＰＵ２００_３及び光ＩＦ２２０_３の組が処理系統Ｃに対応し、２個目のＣＰＵ２００_４及び光ＩＦ２２０_４の組が処理系統Ｄに対応する。

デコード装置３０は、圧縮された超高解像度の素材映像（圧縮素材映像）をデコードするものである。そして、デコード装置３０は、デコードした素材映像をＲＤＭＡで合成装置２０に書き込む。

ここで、デコード装置３０は、２個のＣＰＵ３００と、光ＩＦ３１０とを備える。 なお、ＣＰＵ３００及び光ＩＦ３１０のハードウェア構成自体は、ＣＰＵ１００及び光ＩＦ１１０と同様のため、説明を省略する。

本実施形態では、１台目及び２台目のデコード装置３０_１，３０_２が処理系統Ａに対応し、３台目及び４台目のデコード装置３０_３，３０_４が処理系統Ｂに対応し、５台目及び６台目のデコード装置３０_５，３０_６が処理系統Ｃに対応し、７台目及び８台目のデコード装置３０_７，３０_８が処理系統Ｄに対応する。

ＨＤＤ４０（４０_１，４０_２）は、圧縮素材映像を記憶する記憶装置である。本実施形態では、リアルタイム編集システム１は、８Ｋの圧縮素材映像を構成する２つの圧縮ストリームを個別のＨＤＤ４０_１，４０_２に記憶する。言い換えるなら、リアルタイム編集システム１は、圧縮素材映像を左右半分に空間分割し、圧縮素材映像の左半分をＨＤＤ４０_１に記憶し、圧縮素材映像の右半分をＨＤＤ４０_２に記憶する。

ＳＤＩディスプレイ５０は、８Ｋ６０ｐ等の超高解像度映像を表示するものである。本実施形態では、ＳＤＩディスプレイ５０は、制御装置１０から入力された超高解像度映像を表示可能なＦＰＤ（Flat Panel Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイである。
ＰＣディスプレイ６０は、制御装置１０から入力されたプレビュー映像を表示可能なＦＰＤ、ＣＲＴ等のディスプレイである。

図１のように、リアルタイム編集システム１は、光リング通信網を介して、制御装置１０と、合成装置２０と、デコード装置３０とを接続することで、ＲＤＭＡでの装置間メモリ転送が可能となっている。処理系統Ａの場合、光ファイバケーブルにより、制御装置１０の光ＩＦ１１０と合成装置２０_１の光ＩＦ２１０とが接続され、合成装置２０_１の光ＩＦ２２０_１とデコード装置３０_１の光ＩＦ３１０とが接続されている。さらに、処理系統Ａの場合、光ファイバケーブルにより、合成装置２０_１の光ＩＦ２２０_１とデコード装置３０_２の光ＩＦ３１０とが接続され、デコード装置３０_１の光ＩＦ３１０とデコード装置３０_２の光ＩＦ３１０とが接続されている。

［リアルタイム編集システムでの編集処理］
図３を参照し、リアルタイム編集システム１での編集処理について説明する（適宜図１参照）。
まず、リアルタイム編集システム１の利用者（編集者）は、図示を省略したキーボード、マウス、スライダ等の入力手段を操作して、編集作業に必要な各種情報を制御装置１０に設定する。例えば、各種情報には、合成装置２０で行う合成処理の種類、デコード装置３０で行うデコード処理への入力となる圧縮素材ファイル名や処理内容等の情報が含まれる。

制御装置１０は、処理系統Ａについて、利用者が設定した情報に基づいて、レンダリングジョブを生成し（ステップＳ１）、ＨＤＤ４０から圧縮素材映像を読み出す（ステップＳ２）。このとき、制御装置１０は、合成装置２０がＲＤＭＡで合成映像を書き込むためのバッファ領域を予め確保し、確保したバッファ領域の識別情報をレンダリングジョブに付加する。
そして、制御装置１０は、生成したレンダリングジョブと、読み出した圧縮素材映像とを合成装置２０に送信する（ステップＳ３）。このレンダリングジョブには、合成装置２０への合成指令と、デコード装置３０へのデコード指令とが含まれる。

合成装置２０は、制御装置１０から受信したレンダリングジョブのデコード指令を抜き出して、デコードジョブを生成する（ステップＳ４）。このとき、合成装置２０は、デコード装置３０がＲＤＭＡで素材映像を書き込むためのバッファ領域を予め確保し、確保したバッファ領域の識別情報をデコードジョブに付加する。
そして、合成装置２０は、生成したデコードジョブと、制御装置１０から受信した圧縮素材映像とをデコード装置３０に送信する（ステップＳ５）

デコード装置３０は、制御装置１０から受信したデコードジョブに基づいて、素材映像をデコードする（ステップＳ６）。
そして、デコード装置３０は、デコードした素材映像を、デコードジョブで指定された合成装置２０のバッファ領域にＲＤＭＡで書き込む（ステップＳ７）。

合成装置２０は、レンダリングジョブに基づいて、バッファ領域に書き込まれた素材映像を合成し、合成映像を生成する（ステップＳ８）。
そして、合成装置２０は、生成した合成映像を、レンダリングジョブで指定された制御装置１０のバッファ領域にＲＤＭＡで書き込む（ステップＳ９）。

前記したステップＳ１〜Ｓ９の処理は処理系統Ａに対応したものであるが、処理系統Ｂ〜Ｄについても、これらと同じ処理を並列で実行する。例えば、制御装置１０は、処理系統Ｂについても、レンダリングジョブを生成し（ステップＳ１Ｂ）、圧縮素材映像を読み出し（ステップＳ２Ｂ）、レンダリングジョブを送信する（ステップＳ３Ｂ）。
なお、図面を見やすくするため、処理系統Ｂ〜Ｄの残りの処理は、その図示を省略した。

その後、制御装置１０は、バッファ１２１に書き込まれた合成映像を処理系統Ａ〜Ｄに対応した順番、つまり、フレーム番号の順番で出力することにより、超高解像度映像のストリームを生成する（ステップＳ１０）。

［制御装置の構成］
図４を参照し、制御装置１０の構成について説明する（適宜図１参照）。
図４のように、制御装置１０のＣＰＵ１００は、処理系統決定手段１０１と、バッファ確保手段（第１バッファ確保手段）１０３と、レンダリングジョブ生成手段１０５と、素材映像読出手段１０７とを備える。
なお、図４では、２個のＣＰＵ１００_１，ＣＰＵ１００_２を１個のＣＰＵ１００として図示した。

処理系統決定手段１０１は、超高解像度映像のフレーム画像を順次処理する処理系統を決定するものである。この処理系統決定手段１０１は、予め設定された規則に従って、処理系統を決定する。

本実施形態では、処理系統決定手段１０１は、超高解像度映像の先頭から最後までの各フレームを処理系統Ａ〜Ｄに輪番で割り当てる。具体的には、処理系統決定手段１０１は、１秒に含まれる６０枚のフレーム画像について、処理系統Ａがフレーム番号（０），（４），…，（５６）の処理を行い、処理系統Ｂがフレーム番号（１），（５），…，（５７）の処理を行うと決定する。また、処理系統決定手段１０１は、処理系統Ｃがフレーム番号（２），（６），…，（５８）の処理を行い、処理系統Ｄがフレーム番号（３），（７），…，（５９）の処理を行うと決定する。

また、処理系統決定手段１０１は、バッファ１２１に書き込まれた合成映像を処理系統Ａ〜Ｄに対応した順番、つまり、フレーム番号の順番に並び変えることで、超高解像度映像を生成する

バッファ確保手段１０３は、合成装置２０から受信した合成映像を記憶するバッファ領域（第１バッファ領域）を、ＳＤＩ１２０のバッファ１２１に予め確保するものである。このバッファ確保手段１０３は、任意の手法でバッファ領域を確保することができる。本実施形態では、バッファ確保手段１０３は、アドレステーブル１２３を参照し、バッファ１２１の先頭側からバッファ領域を確保することとした。
なお、バッファ領域を確保する手法は、その詳細を後記する。

レンダリングジョブ生成手段１０５は、超高解像度映像のフレーム画像毎に、合成指令及びデコード指令が含まれるレンダリングジョブを生成するものである。ここで、合成指令は、デコードされた素材映像の合成を合成装置２０に指令するものである。また、デコード指令は、圧縮素材映像のデコードをデコード装置３０に指令するものである。

また、レンダリングジョブ生成手段１０５は、処理系統Ａ〜Ｄに２台のデコード装置３０が含まれるので、２台のデコード装置３０が素材映像をデコードする分担を決定し、その決定に応じて、デコード指令を生成する。

本実施形態では、レンダリングジョブ生成手段１０５は、２台のデコード装置３０の処理負荷が均等になるように分担を決定する。
例えば、２つの素材映像を合成する場合、レンダリングジョブ生成手段１０５は、２台のデコード装置３０に素材映像のデコードを均等に分担させる。
また、例えば、３つの素材映像を合成する場合を考える。この場合、レンダリングジョブ生成手段１０５は、素材映像Ａ，Ｂ，Ｃのフレーム番号（０），（１），（２），（３）を、以下のように２台のデコード装置３０に分担させる。この例では、２台のデコード装置３０が、時間的に均すと素材映像のデコードを均等に分担することになる。
１台目のデコード装置３０：Ａ（０），Ｃ（０），Ｂ（１），Ａ（２），Ｃ（２），Ｂ（３）
２台目のデコード装置３０：Ｂ（０），Ａ（１），Ｃ（１），Ｂ（２），Ａ（３），Ｃ（３）

また、レンダリングジョブ生成手段１０５は、処理系統決定手段１０１で決定された処理系統に対応したノードの識別情報（ノード番号）をレンダリングジョブに付加する。このノードとは、合成装置２０のＣＰＵ２００の識別情報である。合成装置２０に備えられた２個のＣＰＵ２００は、ノード番号１、ノード番号２のようなノード番号で識別できる。そして、光リング通信網で各処理系統が静的に接続されているため、レンダリングジョブのノード番号を参照すれば、そのレンダリングジョブを何れの処理系統で実行するかが特定できる。

また、レンダリングジョブ生成手段１０５は、素材映像読出手段１０７が読み出した圧縮素材映像をレンダリングジョブの‘src-data’に格納する。その後、レンダリングジョブ生成手段１０５は、光ＩＦ１１０を介して、生成したレンダリングジョブを合成装置２０に送信する。
なお、レンダリングジョブの具体例は、後記する。

素材映像読出手段１０７は、ＨＤＤ４０に記憶された圧縮素材映像を読み出すものである。本実施形態では、素材映像読出手段１０７は、レンダリングジョブの‘src-data’に格納される圧縮素材映像のフレーム画像列をＨＤＤ４０から読み出す。このとき、素材映像読出手段１０７は、２台のＨＤＤ４０に空間分割された圧縮素材映像を個別に読み出す。

制御装置１０の光ＩＦ１１０は、送受信制御手段１１１を備える。
送受信制御手段１１１は、合成装置２０とのデータ送受信を制御するものである。この送受信制御手段１１１は、合成装置２０にレンダリングジョブを送信するときの送信制御処理と、合成装置２０から合成映像を受信するときの受信制御処理とを行う。
なお、送信制御処理及び受信制御処理の詳細は、後記する。

また、送受信制御手段１１１は、パケットの欠落等に対応するためのエラー処理も行う。前記したように、リアルタイム編集システム１が光リング通信網で接続されている。従って、送信したパケットが光リング通信網を１周して戻ってきたところで送信完了となる。

ここで、送受信制御手段１１１は、送信したパケットと、戻ってきたパケットとのＣＲＣ（Cyclic Redundancy Code）をそれぞれ求め、両パケットのＣＲＣが異なる場合、データエラーと判定する。
本実施形態では、パケットをバッファリングせずに送信するのでパケットの追い越しが発生しない。そこで、送受信制御手段１１１は、あるパケットが光リング通信網を１周して戻ってきたとき、そのパケットより前に送信したパケットが戻ってきていない場合、パケット消失エラーと判定する。
データエラー又はパケット消失エラーの場合、送受信制御手段１１１は、再送フラグを設定してそのパケットを再送し、複数回エラーが発生する場合にはエラーを利用者に通知する。

制御装置１０のＳＤＩ１２０は、バッファ１２１と、アドレステーブル１２３と、プレビュー映像生成手段１２５とを備える。
バッファ１２１は、合成装置２０から受信した合成映像を記憶するバッファメモリである。このバッファ１２１は、複数（例えば６４個）のフレームデータを格納可能なリングバッファであり、後記するバッファ番号で各リングバッファを特定できる。
アドレステーブル１２３は、バッファ１２１のバッファ領域を管理するテーブルである。

プレビュー映像生成手段１２５は、超高解像度映像よりも解像度が低いプレビュー映像を生成するものである。例えば、プレビュー映像生成手段１２５は、解像度が２Ｋ（１９２０×１０８０画素）のプレビュー映像を生成する。そして、プレビュー映像生成手段１２５は、生成したプレビュー映像をＶＧＡ１３０に出力する。

制御装置１０のＶＧＡ１３０は、プレビュー映像出力手段１３１を備える。
プレビュー映像出力手段１３１は、プレビュー映像生成手段１２５から入力されたプレビュー映像を、ＰＣディスプレイ６０に出力するものである。

［合成装置の構成］
図５を参照し、合成装置２０の構成について説明する（適宜図１参照）。
図５のように、合成装置２０のＣＰＵ２００は、バッファ確保手段（第２バッファ確保手段）２０１と、デコードジョブ生成手段２０３と、合成手段２０５と、バッファ２０７とを備える。

バッファ確保手段２０１は、デコード装置３０から受信した素材映像を記憶するバッファ領域（第２バッファ領域）をＣＰＵ２００のバッファ２０７に予め確保するものである。本実施形態では、バッファ確保手段２０１は、バッファ確保手段１０３と同様の手法でバッファ２０７にバッファ領域を確保する。

デコードジョブ生成手段２０３は、制御装置１０から受信したレンダリングジョブのデコード指令が含まれるデコードジョブを生成するものである。つまり、デコードジョブ生成手段２０３は、レンダリングジョブのデコード指令を抜き出して、デコードジョブを生成する。

また、デコードジョブ生成手段２０３は、バッファ確保手段２０１が確保したバッファ領域の識別情報をデコードジョブに記述する。そして、デコードジョブ生成手段２０３は、光ＩＦ２２０を介して、生成したデコードジョブと、制御装置１０から受信した圧縮素材映像とをデコード装置３０に送信する。

合成手段２０５は、制御装置１０から受信したレンダリングジョブに基づいて、デコード装置３０でデコードされた素材映像を合成することで、超高解像度の合成映像を生成するものである。例えば、合成手段２０５は、ディゾルブ、ワイプ等の合成処理をデコード装置３０から受信した素材映像に施す。そして、合成手段２０５は、光ＩＦ２１０を介して、生成した合成映像を、レンダリングジョブで指定された制御装置１０のバッファ領域にＲＤＭＡで書き込む。このようにして、合成装置２０は、中間バッファを介することなく、合成映像を、制御装置１０のバッファ１２１に直接書き込むことができる。
バッファ２０７は、デコード装置３０から受信した素材映像を記憶するバッファメモリである。

合成装置２０の光ＩＦ２１０は、アドレステーブル２１１と、送受信制御手段２１３を備える。
アドレステーブル２１１は、バッファ２０７のバッファ領域を管理するテーブルである。

送受信制御手段２１３は、制御装置１０とのデータ送受信を制御するものである。この送受信制御手段２１３は、制御装置１０に合成映像を送信するときの送信制御処理と、制御装置１０からレンダリングジョブを受信するときの受信制御処理とを行う。
なお、送受信制御手段２１３は、送受信制御手段１１１と同様の送信制御処理、受信制御処理及びエラー処理を行うため、これ以上の説明を省略する。

合成装置２０の光ＩＦ２２０は、アドレステーブル２２１と、送受信制御手段２２３とを備える。
アドレステーブル２２１は、バッファ２０７のバッファ領域を管理するテーブルである。

送受信制御手段２２３は、デコード装置３０とのデータ送受信を制御するものである。この送受信制御手段２２３は、デコード装置３０にデコードジョブを送信するときの送信制御処理と、デコード装置３０から素材映像を受信するときの受信制御処理とを行う。
なお、送受信制御手段２２３は、送受信制御手段１１１と同様の送信制御処理及び受信制御処理を行うため、これ以上の説明を省略する。

［デコード装置の構成］
図６を参照し、デコード装置３０の構成について説明する（適宜図１参照）。
図６のように、デコード装置３０のＣＰＵ３００は、バッファ確保手段３０１と、デコード手段３０３と、バッファ３０５とを備える。
バッファ確保手段３０１は、バッファ３０５のバッファ領域を確保するものである。

デコード手段３０３は、合成装置２０から受信したデコードジョブに基づいて、圧縮された素材映像をデコードするものである。このデコード手段３０３は、デコードジョブで指定された内容のデコード処理を、デコードジョブに含まれる圧縮素材映像に施す。そして、デコード手段３０３は、光ＩＦ３１０を介して、デコードした素材映像を、デコードジョブで指定された合成装置２０のバッファ領域にＲＤＭＡで書き込む。このようにして、デコード装置３０は、中間バッファを介することなく、素材映像を、合成装置２０のバッファ２０７に直接書き込むことができる。
バッファ３０５は、バッファメモリである。

本実施形態では、デコード装置３０は、２個のＣＰＵ３００を備えることから、デコード手段３０３が２個備わることになる。そこで、デコード装置３０は、２個のＣＰＵ３００がそれぞれ、空間分割された圧縮素材映像をデコードする。例えば、デコード手段３０３_１が圧縮素材映像の左半分をデコードし、デコード手段３０３_２が圧縮素材映像の右半分をデコードする。この場合、デコード手段３０３は、デコードされた左右半分の素材映像を繋ぎ合わせて、１つの素材映像を生成する。

デコード装置３０の光ＩＦ３１０は、アドレステーブル３１１と、送受信制御手段３１３とを備える。
アドレステーブル３１１は、バッファ３０５のバッファ領域を管理するテーブルである。

送受信制御手段３１３は、合成装置２０とのデータ送受信を制御するものである。この送受信制御手段３１３は、合成装置２０に素材映像を送信するときの送信制御処理と、合成装置２０からデコードジョブを受信するときの受信制御処理とを行う。
なお、送受信制御手段３１３は、送受信制御手段１１１と同様の送信制御処理、受信制御処理及びエラー処理を行うため、これ以上の説明を省略する。

＜レンダリングジョブの具体例＞
図７を参照し、レンダリングジョブ生成手段１０５が生成するレンダリングジョブの具体例について説明する（適宜図１，図３参照）。

図７（ａ）のように、リアルタイム編集システム１は、２つの圧縮素材映像Ｖ１，Ｖ２をデコードして合成することとする。具体的には、リアルタイム編集システム１は、フレーム番号（０）で圧縮素材映像Ｖ１をデコードし、フレーム番号（１）〜（４）で圧縮素材映像Ｖ１，Ｖ２をデコードして合成する。

まず、処理系統決定手段１０１は、図７（ｂ）のように、フレーム番号（０）〜（４）の処理系統を決定する。本実施形態では、処理系統Ａ〜Ｄが４フレーム間隔で処理を行うことになる。従って、フレーム番号（０），（４）が処理系統Ａで処理され、フレーム番号（１）が処理系統Ｂで処理され、フレーム番号（２）が処理系統Ｃで処理され、フレーム番号（３）が処理系統Ｄで処理されることになる。
なお、図７（ｂ）及び（ｃ）では、デコードされた後の映像をＯ１，Ｏ２とする。また、Ｖ１，Ｖ２，Ｏ１，Ｏ２に付したカッコ書きの数値は、フレーム番号を意味する。

以下、処理系統Ａに着目する。図７（ｃ）のように、フレーム番号（０）では、１台目のデコード装置３０_１が圧縮素材映像Ｖ１（０）を素材映像Ｏ１（０）としてデコードし、この素材映像Ｏ１（０）をそのまま合成映像として出力する。従って、レンダリングジョブ生成手段１０５は、このデコード指令及び合成指令が含まれるレンダリングジョブを生成し、合成装置２０_１で１個目のＣＰＵ２００_１を表したノード番号（例えば、‘ノード番号１’）をレンダリングジョブに付加する。

なお、フレーム番号（０）では、２台目のデコード装置３０_２でデコードすべき圧縮素材映像Ｖ２が存在しない。このため、レンダリングジョブには、デコード装置３０_２に対するデコード指令が含まれていない。

フレーム番号（４）では、２台目のデコード装置３０_２が圧縮素材映像Ｖ１（４）を
素材映像Ｏ１（４）としてデコードし、１台目のデコード装置３０_１が圧縮素材映像Ｖ２（４）を素材映像Ｏ２（４）としてデコードする。さらに、合成装置２０_１のＣＰＵ２００_１が素材映像Ｏ１（４）に素材映像Ｏ２（４）を合成し、合成映像Ｏ１（４）として出力する。従って、レンダリングジョブ生成手段１０５は、このデコード指令及び合成指令が含まれるレンダリングジョブを生成し、合成装置２０_１で１個目のＣＰＵ２００_１を表したノード番号をレンダリングジョブに付加する。

このレンダリングジョブは、ＢＮＦ（Backus Naur Form）で以下のように記述できる。ここで、レンダリングジョブは、‘render’の行が合成指令を表し、‘decode’の行がデコード指令を表している。なお、この記述はデータの形式を示すもので、実際のレンダリングジョブはこの形式を構造化したバイナリデータとして生成する。

<rendering-job>::=<render>{<decode>}
<render>::=<render-id><dst-id>{<src-id>}<render-param>
<decode>::=<decode-id><dst-id><src-data>
<dst-id>::=<frame-id>
<str-id>::=<frame-id>
<frame-id>::=<frame-number><buffer-number>

レンダリングジョブの合成指令には、以下のパラメータが含まれる。
‘render-id’は、ディゾルブ、ワイプ等の合成処理の種類毎に設定された識別情報（ＩＤ：identification）である。
‘dst-id’は、合成映像を記録する制御装置１０のバッファ領域の識別情報であり、‘frame-id’の形式で表記される。
‘src-id’は、このレンダリングジョブ内で素材映像又は合成映像のフレーム画像の識別情報であり、‘frame-id’の形式で表記される。
‘render-param’は、合成処理毎に固有の処理パラメータであり、任意に設定できる。

ここで、‘frame-id’は、フレーム番号を表す‘frame-number’と、バッファ番号を表す‘buffer-number’と連結した６４ビットの値を表している。つまり、‘frame-id’は、（フレーム番号<<32）｜バッファ番号で表される。このフレーム番号は、合成処理の対象となるフレーム番号（再生開始から何フレーム目かを表す番号）と、その合成処理で利用するバッファ番号とを連結したものである。なお‘|’は、ビット演算の論理和（ＯＲ）を意味する。

レンダリングジョブのデコード指令には、以下のパラメータが含まれる。
‘decode-id’は、圧縮形式、ビットレート等のデコード処理の内容毎に設定された識別情報（ＩＤ）である。
‘dst-id’は、素材映像を記録する合成装置２０のバッファ領域の識別情報である。
‘src-data’は、圧縮素材映像でデコード処理の対象となるフレーム画像のデータ列である。
なお、‘dst-id’は、レンダリングジョブを生成する際には設定されず、合成装置２０がバッファ領域を確保した後に設定される。

フレーム番号（４）において、レンダリングジョブの合成指令及びデコード指令を抜き出すと、以下のようになる。
render-id=‘dissolve’,dst-id=(4<<32)|1,src-id[0]=(4<<32)|1,src-id[1]=(4<<32)|2
decode-id=‘8K-decode’,dst-id=(4<<32)|1,src-data=V2(4)
decode-id=‘8K-decode’,dst-id=(4<<32)|2,src-dataV1(4)

このレンダリングジョブでは、合成指令が１行記述されている。
render-id=‘dissolve’なので、合成処理の種類がディゾルブであることを表す。また、‘dst-id’及び‘src-id’が、フレーム番号（４）で、バッファ番号‘０１’，‘０２’のバッファ２個を利用することを表す。

このレンダリングジョブでは、デコード装置３０_１，３０_２に対応したデコード指令が２行記述されている。
decode-id=‘8K-decode’なので、デコード処理の解像度が８Ｋであることを表す。また、１行目のデコード指令では、src-data=V2(4)なので、圧縮素材映像Ｖ２に含まれるフレーム番号（４）のフレーム画像のデータ列を表す。また、２行目のデコード指令では、src-data=V1(4)なので、圧縮素材映像Ｖ１に含まれるフレーム番号（４）のフレーム画像のデータ列を表す。

＜ＲＤＭＡによる書き込み＞
以下、図８を参照し、バッファ領域を確保する手法について説明する（適宜図１，図４，図５参照）。

この例では、図１の合成装置２０が合成映像を制御装置１０のバッファ１２１に書き込むこととして説明する。つまり、合成装置２０が送信側となり、制御装置１０が受信側となる。
また、書き込み対象の合成映像は、合成装置２０のバッファ２０７に既に記憶されていることとする。このとき、合成映像は、Ｍ枚のフレーム画像をＮ枚のスライスに分割し（Ｍ，Ｎは２以上の整数）、このスライス単位で記憶されることとする。以下、説明のため、スライスのサイズが２５６(０ｘ１００)バイトであることとする。

図８のように、制御装置１０のバッファ確保手段１０３は、アドレステーブル１２３を参照し、バッファ１２１の先頭側から、必要なバッファ領域を確保する。このとき、バッファ確保手段１０３は、バッファ番号、オフセット及びサイズにより、バッファ領域を指定する。

バッファ番号とは、合成映像や素材映像を記憶するバッファの識別情報のことである。
オフセットとは、バッファ１２１の先頭から転送対象スライスの先頭までのバイト数のことである。
サイズとは、スライスのサイズのことである。

例えば、バッファ２０７に記憶されているフレーム０のスライス１を、バッファ１２１のフレーム１のスライス１に書き込む場合を考える。ここで、アドレステーブル１２３では、バッファ１２１でフレーム１のアドレスが、‘０ｘＺＺＺＺ１０００’である。また、スライスのサイズ‘０ｘ１００’、かつ、スライス１が書き込み対象なので、オフセットが、‘０ｘ１００’である。従って、バッファ確保手段１０３は、このバッファ番号、オフセット及びサイズで特定されたバッファ領域をバッファ１２１に確保し、このバッファ領域が予約済みであることをバッファ１２１のフラグに設定する。このフラグは、バッファ１２１の各スライスが予約されているか否かを表す情報である。その後、レンダリングジョブ生成手段１０５は、このバッファ領域の識別情報をレンダリングジョブに付加する。

合成装置２０の送受信制御手段２１３は、受信したレンダリングジョブに付加されたバッファ領域の識別情報からヘッダパケットを生成し、バッファ２０７に記憶された合成映像からデータパケットを生成する。そして、送受信制御手段２１３は、生成したヘッダパケット及びデータパケットを制御装置１０に送信する。
なお、ヘッダパケット及びデータパケットの生成及び送信は、後記する送信制御処理にて説明する。

制御装置１０の送受信制御手段１１１は、合成装置２０からヘッダパケット及びデータパケットを受信する。そして、送受信制御手段１１１は、受信したヘッダパケットで指定されたバッファ１２１のバッファ領域に、データパケットを書き込む。
なお、データパケットの書き込みは、後記する受信制御処理にて説明する。

＜送信制御処理＞
図９を参照し、送信制御処理について説明する（適宜図４参照）。
この例では、合成装置２０の送受信制御手段２１３が送信制御処理を行うこととする。
送受信制御手段２１３は、ヘッダパケットを生成し（ステップＳ２０）、制御装置１０に送信する（ステップＳ２１）。

このヘッダパケットには、パラメータとして、送信元ユニットＩＤと、宛先ユニットＩＤと、パケットＩＤと、フレーム番号(frame)と、開始スライス(slice)と、総サイズ(totalSize)とが含まれる。
なお、ユニットとは、制御装置１０、合成装置２０又はデコード装置３０のことである。

送信元ユニットＩＤは、パケットを送信するユニットの識別情報を表し、例えば、予め割り振られた一意な数値である。
宛先ユニットＩＤは、パケットを受信するユニットの識別情報を表し、ここでは、制御装置１０に予め割り当てられた一意な数値である。
パケットＩＤは、各パケットの識別情報（例えば、シリアル番号）である。

フレーム番号は、制御装置１０のバッファ１２１内で予め割り当てられたフレーム番号（図８）を表しており、レンダリングジョブに付加されたバッファ領域の識別情報から求まる。
開始スライスは、制御装置１０のバッファ１２１内で予め割り当てられたスライス番号（図８）を表しており、レンダリングジョブに付加されたバッファ領域の識別情報から求まる。
総サイズは、１回で送信するデータのサイズ、つまり、スライスのサイズを表している。

送受信制御手段２１３は、データパケットを生成する（ステップＳ２２）。
このデータパケットには、データ内容として、データサイズ(size)と、バイト列(data[size])とが含まれる。
データサイズは、１パケット分のデータサイズを表している。
バイト列は、データパケットの内容を表している。このバイト列は、バッファ２０７からＤＭＡ（Direct Memory Access）で取得する。

送受信制御手段２１３は、制御装置１０にデータパケットを全て送信したか否か判定する（ステップＳ２３）。つまり、送受信制御手段２１３は、総送信サイズ分、データパケットを送信したか否かを判定する。

データパケットを全て送信していない場合（ステップＳ２３でＮｏ）、送受信制御手段２１３は、ｉ番目のデータパケットを制御装置１０に送信し（ステップＳ２４）し、次回送信データパケットを更新し（ステップＳ２５）、ステップＳ２２の処理に戻る。
なお、ｉは、ステップＳ２１までの処理で初期化（ｉ＝０）しておく。

データパケットを全て送信した場合（ステップＳ２３でＹｅｓ）、送受信制御手段２１３は、終了パケットを制御装置１０に送信し（ステップＳ２６）、送信制御処理を終了する。

＜受信制御処理＞
図１０を参照し、受信制御処理について説明する（適宜図５参照）。
この例では、制御装置１０の送受信制御手段１１１が受信制御処理を行うこととする。
送受信制御手段１１１は、制御装置１０からヘッダパケットを受信する（ステップＳ３０）。

送受信制御手段１１１は、受信したヘッダパケットからパラメータを取得する（ステップＳ３１）。ここで、送受信制御手段１１１は、パラメータとして、ヘッダパケットから、フレーム番号(frame)と、開始スライス（slice）と、総サイズ（totalSize)とを受信する。

バッファ確保手段１０３は、ヘッダパケットから取得したパラメータを用いて、データパケットを格納するバッファ１２１のアドレスを決定する（ステップＳ３２）。具体的には、バッファ確保手段１０３は、フレーム番号及び開始スライスが示すアドレスから総サイズ分だけバッファ領域をバッファ１２１に確保し、そのアドレスを決定する。そして、バッファ確保手段１０３は、バッファ１２１のアドレスを配列形式（AddrTable[frame]）でアドレステーブル１２３に記憶する。

送受信制御手段１１１は、データパケットを受信する（ステップＳ３３）。
送受信制御手段１１１は、データパケットからデータ内容を取得する（ステップＳ３４）。ここで、送受信制御手段１１１は、データ内容として、データサイズ(size)と、バイト列(data[size])とを取得する。

送受信制御手段１１１は、取得したバイト列をバッファ１２１に格納する（ステップＳ３５）。ここで、送受信制御手段１１１は、ステップＳ３２で決定したバッファ１２１のアドレスにバイト列を格納する。

送受信制御手段１１１は、合成装置２０から、データパケットを全て受信したか否か判定する（ステップＳ３６）。つまり、送受信制御手段１１１は、終了パケットを受信したか否かを判定する。

データパケットを全て受信していない場合（ステップＳ３６でＮｏ）、送受信制御手段１１１は、次回受信アドレスを更新し（ステップＳ３７）、ステップＳ１３の処理に戻る。
データパケットを全て受信した場合（ステップＳ３６でＹｅｓ）、送受信制御手段１１１は、受信制御処理を終了する。

なお、前記した送信制御処理、受信制御処理及びエラー処理は、合成装置２０が制御装置１０に合成映像を送信するときの例で説明したが、デコード装置３０が合成装置２０に素材映像を送信するときも同様のため、説明を省略する。
また、制御装置１０が合成装置２０にレンダリングジョブを送信するとき、及び、合成装置２０がデコード装置３０にデコードジョブを送信するときも同様のため、説明を省略する。

［作用・効果］
本願発明の実施形態に係るリアルタイム編集システム１は、処理分割、時分割及び空間分割により処理能力が向上したため、データ量が莫大となる超高解像度映像であっても、リアルタイムで編集を行うことができる。
さらに、リアルタイム編集システム１は、光リング通信網で接続され、ＲＤＭＡで書き込みを行うので、中間バッファを介する必要がなく、リアルタイムで編集を行うことができる。
さらに、リアルタイム編集システム１は、利用者がＰＣディスプレイ６０でプレビュー映像を確認できるので、リアルタイム編集を効率よく行うことができる。

以上、本願発明の各実施形態を詳述してきたが、本願発明は前記した実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、リアルタイム編集システム１は、超高解像度映像が８Ｋ６０ｐであることとして説明したが、超高解像度映像の解像度及びフレームレートはこれに限定されない。

前記した実施形態では、リアルタイム編集システム１は、超高解像度映像をＳＤＩディスプレイ５０に出力することとして説明したが、これに限定されない。例えば、リアルタイム編集システム１は、超高解像度映像を、映像収録装置（不図示）に出力してもよい。
前記した実施形態では、リアルタイム編集システム１は、光リング通信網を利用することとして説明したが、光リング通信網以外のパケット通信網を利用してもよい。

前記した実施形態では、リアルタイム編集システム１は、処理系統が４系統であることとして説明したが、これに限定されない。また、リアルタイム編集システム１は、各系統に含まれる合成装置２０及びデコード装置３０の台数も任意である。さらに、各装置が備えるＣＰＵの個数も任意である。

１ リアルタイム編集システム
１０ 制御装置
２０，２０_１，２０_２ 合成装置
３０，３０_１〜３０_８ デコード装置
４０ ＨＤＤ
５０ ディスプレイ
６０ ＰＣ
１００，１００_１，１００_２ ＣＰＵ
１０１ 処理系統決定手段
１０３ バッファ確保手段（第１バッファ確保手段）
１０５ レンダリングジョブ生成手段
１０７ 素材映像読出手段
１１０ 光ＩＦ
１１１ 送受信制御手段
１２０，１２０_１，１２０_２ ＳＤＩ
１２１ バッファ
１２３ アドレステーブル
１２５ プレビュー映像生成手段
１３０ ＶＧＡ
１３１ プレビュー映像生成手段
２００，２００_１〜２００_４ ＣＰＵ
２０１ バッファ確保手段（第２バッファ確保手段）
２０３ デコードジョブ生成手段
２０５ 合成手段
２０７ バッファ
２１０ 光ＩＦ
２１１ アドレステーブル
２１３ 送受信制御手段
２２０，２２０_１〜２２０_４ 光ＩＦ
２２１ アドレステーブル
２２３ 送受信制御手段
３００，３００_１，３００_２ ＣＰＵ
３０１ バッファ確保手段
３０３ デコード手段
３０５ バッファ
３１０ 光ＩＦ
３１１ アドレステーブル
３１３ 送受信制御手段

Claims (3)

1. 圧縮された超高解像度の素材映像をデコードする複数のデコード装置と、前記デコード装置でデコードされた素材映像を合成する複数の合成装置と、前記デコード装置及び前記合成装置を制御する１台の制御装置とを備える超高解像度映像のリアルタイム編集システムであって、
   前記制御装置は、
   前記超高解像度映像のフレーム画像を順次処理する処理系統を決定する処理系統決定手段と、
   前記フレーム画像毎に、前記デコード装置に前記圧縮された素材映像のデコードを指令するデコード指令、及び、前記合成装置に前記デコードされた素材映像の合成を指令する合成指令が含まれるレンダリングジョブを生成し、生成した前記レンダリングジョブを前記合成装置に送信するレンダリングジョブ生成手段と、を備え、
   前記合成装置は、
   前記制御装置から受信したレンダリングジョブのデコード指令が含まれるデコードジョブを生成し、生成した前記デコードジョブを前記デコード装置に送信するデコードジョブ生成手段と、
   前記処理系統の半数だけ、前記制御装置から受信したレンダリングジョブに基づいて、前記デコード装置でデコードされた素材映像を合成することで、超高解像度の合成映像を生成する合成手段と、を備え、
   前記デコード装置は、
   前記合成装置から受信したデコードジョブに基づいて、前記圧縮された素材映像をデコードするデコード手段、を備え、
   前記制御装置の処理系統決定手段は、
   前記合成装置で生成された合成映像が前記処理系統に対応した順番で並んだ前記超高解像度映像を生成することを特徴とするリアルタイム編集システム。
2. 前記リアルタイム編集システムは、
   前記処理系統毎に、前記制御装置、前記合成装置及び前記デコード装置がパケット通信網で接続され、
   前記制御装置は、
   前記合成映像を記憶する第１バッファ領域を前記制御装置のバッファメモリ内に予め確保する第１バッファ確保手段、をさらに備え、
   前記レンダリングジョブ生成手段が、確保された前記第１バッファ領域の識別情報を前記レンダリングジョブに付加し、
   前記合成装置は、
   前記素材映像を記憶する第２バッファ領域を前記合成装置のバッファメモリ内に予め確保する第２バッファ確保手段、をさらに備え、
   前記デコードジョブ生成手段が、確保された前記第２バッファ領域の識別情報を前記デコードジョブに付加し、
   前記デコード装置のデコード手段は、
   前記デコードジョブに基づいて、光リング通信網を介して、デコードした前記素材映像を前記第２バッファ領域に書き込み、
   前記合成装置の合成手段は、
   前記レンダリングジョブに基づいて、前記光リング通信網を介して、生成した前記合成映像を前記第１バッファ領域に書き込むことを特徴とする請求項１に記載のリアルタイム編集システム。
3. 前記制御装置は、
   前記超高解像度映像から、当該超高解像度映像よりも解像度が低いプレビュー映像を生成するプレビュー映像生成手段と、
   前記プレビュー映像生成手段が生成したプレビュー映像を出力するプレビュー映像出力手段と、をさらに備えることを特徴とする請求項２に記載のリアルタイム編集システム。

Images