JP2019140483A - Image processing system, image processing system control method, transmission device, transmission method, and program - Google Patents
Image processing system, image processing system control method, transmission device, transmission method, and program Download PDFInfo
- Publication number
- JP2019140483A JP2019140483A JP2018020968A JP2018020968A JP2019140483A JP 2019140483 A JP2019140483 A JP 2019140483A JP 2018020968 A JP2018020968 A JP 2018020968A JP 2018020968 A JP2018020968 A JP 2018020968A JP 2019140483 A JP2019140483 A JP 2019140483A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- cameras
- data
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、被写体を複数の方向から撮影するための複数のカメラを備えた画像処理システムに関する。 The present invention relates to an image processing system including a plurality of cameras for photographing a subject from a plurality of directions.
昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、その撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。この複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することを可能とするため、ユーザに高臨場感を与えることができる。 In recent years, attention has been paid to a technique for installing a plurality of cameras at different positions, performing synchronous shooting from multiple viewpoints, and generating virtual viewpoint content using a plurality of viewpoint images obtained by the shooting. According to the technology for generating virtual viewpoint content from the plurality of viewpoint images, for example, it is possible to view a highlight scene of soccer or basketball from various angles, so that a high sense of reality can be given to the user.
一方で、カメラで取得した画像(映像)をネットワークで伝送する際には、その映像の符号量がネットワークの帯域を超過しないように制御する必要がある。ここで、特許文献1には、複数の監視カメラを同一のネットワークに接続し、映像を伝送する際、複数の監視カメラ映像の総符号量が所定の帯域(容量)を超過しないように、フレームレートを制御する方法が開示されている。また、特許文献2には、複数の監視カメラを同一のネットワークに接続し、映像を伝送する際、目標被写体等の重要領域を含む映像信号(即ち、重要領域を捉えるカメラ)の優先度を高く設定することで、フレームレートを制御する方法が開示されている。
On the other hand, when an image (video) acquired by a camera is transmitted over a network, it is necessary to control the code amount of the video so as not to exceed the network bandwidth. Here, in
また、他方で、仮想視点コンテンツの画質において、重要な要素の一つに、前景(例えば、人物等)の再現性がある。この前景の再現性に関して、如何に異なる位置にある多数のカメラで、その被写体を捉えられているかが重要になる。これは、仮想視点コンテンツを生成する際に、仮想視点近傍に位置するカメラの映像を主として用いることに関係しており、そのカメラの位置が仮想視点に近ければ近いほど、再現性の高い前景が得られるためである。 On the other hand, one of the important factors in the image quality of virtual viewpoint content is the reproducibility of the foreground (for example, a person). Regarding foreground reproducibility, it is important how many cameras at different positions can capture the subject. This is related to mainly using video from a camera located near the virtual viewpoint when generating the virtual viewpoint content. The closer the camera position is to the virtual viewpoint, the more reproducible foreground is. It is because it is obtained.
そして、この前景の再現性を踏まえると、特許文献1に記載の方法では、同一ネットワーク上のカメラのフレームレートを一律で制御するため、送信しないと判定されたフレームに関して、仮想視点コンテンツの生成に用いることができなくなる。また、特許文献2に記載の方法は、上述のように、重要領域を捉えるカメラの優先度を高く設定するが、一つの注視点を囲んで撮影するような場合においては、重要領域を捉えるカメラが多数となるため、優先度の設定が難しくなる。そのため、特許文献1に記載の方法と特許文献2に記載の方法のいずれの方法においても、再現性の高い前景を取得することができない可能性がある。
In view of the foreground reproducibility, the method described in
本発明は、上記従来の問題に鑑みてなされたものであって、伝送路の帯域に制限がある状況であっても、仮想視点画像において、前景の再現性を高めることを目的とする。 The present invention has been made in view of the above-described conventional problems, and it is an object of the present invention to improve the foreground reproducibility in a virtual viewpoint image even in a situation where the bandwidth of the transmission path is limited.
上記目的を達成するために、本発明は、複数のカメラにより撮影された画像を所定の伝送路で伝送し、仮想視点画像を生成する画像処理システムにおいて、所定のオブジェクトを撮影しているカメラの台数を導出するカメラ台数導出手段と、前記所定のオブジェクトを撮影しているカメラの台数に応じて、前記所定のオブジェクトを含む前景画像の画質を設定する画質設定手段と、を備えることを特徴とする。 In order to achieve the above object, the present invention provides an image processing system that transmits images taken by a plurality of cameras via a predetermined transmission path and generates a virtual viewpoint image. Camera number deriving means for deriving the number, and image quality setting means for setting the image quality of a foreground image including the predetermined object in accordance with the number of cameras shooting the predetermined object. To do.
本発明によれば、伝送路の帯域に制限がある状況であっても、仮想視点画像において、前景の再現性を高めることができる。 According to the present invention, foreground reproducibility can be improved in a virtual viewpoint image even in a situation where the bandwidth of the transmission path is limited.
(第1の実施形態)
図1は、本実施形態に係る画像処理システムの構成を示すブロック図である。画像処理システム100は、例えば、競技場(スタジアム)やコンサートホール等の施設に、複数のカメラ及びマイクを設置することで、撮影及び集音を行うシステムである。画像処理システム100は、センサシステム110a−110z、画像コンピューティングサーバ200、コントローラ300、スィッチングハブ180、及びエンドユーザ端末190を有する。
(First embodiment)
FIG. 1 is a block diagram illustrating a configuration of an image processing system according to the present embodiment. The
コントローラ300は、制御ステーション310と仮想カメラ操作UI(User Interface)330を有する。制御ステーション310は、画像処理システム100を構成する各々のブロックに対してネットワーク310a−310c、180a、及び180b、並びにデイジーチェーン170a−170yを通じて、動作状態の管理及びパラメータ設定制御等を行う。なお、これらのネットワークは、Ethernet(登録商標)であるIEEE標準準拠のGbE(ギガビットイーサーネット)や10GbEでもよいし、インターコネクトInfiniband、産業用イーサーネット等を組み合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。
The
先ず、センサシステム110a−110zの26セットの画像及び音声をセンサシステム110zから画像コンピューティングサーバ200に送信する処理について説明する。なお、本実施形態において、特別な説明がない場合は、センサシステム110aからセンサシステム110zまでの26セットのシステムを区別せず、センサシステム110と記載する。同様に、各センサシステム110内の装置についても、特別な説明がない場合は区別せず、マイク111、カメラ112、雲台113、外部センサ114、及びカメラアダプタ120と記載する。また、本実施形態では、センサシステムの台数を26セットとして説明するが、あくまでも一例であり、センサシステムの台数は、必ずしもこれに限定されない。
First, a process of transmitting 26 sets of images and sounds of the
さらに、本実施形態において、特に断りがない限り、画像という用語には、静止画と動画の概念が含まれるものとする。即ち、本実施形態の画像処理システム100では、静止画及び動画のいずれについても処理対象とすることができる。加えて、本実施形態では、画像処理システム100により提供される仮想視点コンテンツとして、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、画像処理システム100により提供される仮想視点コンテンツは、必ずしもこれに限定されない。したがって、例えば、仮想視点コンテンツに音声が含まれていなくてもよい。また、例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であってもよい。その他、本実施形態では、説明の簡略化のため、部分的に音声に関する記載を省略しているが、基本的に画像と音声は共に処理されるものとする。
Furthermore, in this embodiment, the term “image” includes the concept of a still image and a moving image unless otherwise specified. That is, in the
図1に示されるように、本実施形態の画像処理システム100において、センサシステム110は、各々1台ずつのカメラ112を有する。即ち、画像処理システム100は、被写体を複数の方向から撮影するための複数のカメラを有する。
As shown in FIG. 1, in the
複数のセンサシステム110(即ち、センサシステム110a−110z)は、デイジーチェーンにより接続される。このように、デイジーチェーンにより接続することで、撮影画像の4Kや8K等への高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数を削減することや配線作業を省力化することができる。
The plurality of sensor systems 110 (i.e.,
なお、センサシステム110を接続する形態としては、必ずしもこれに限定されない。したがって、例えば、各々のセンサシステム110a−110zをスィッチングハブ180に接続し、スィッチングハブ180を経由させて、センサシステム110間のデータ通信を行うスター型のネットワーク構成としてもよい。
In addition, as a form which connects the sensor system 110, it is not necessarily limited to this. Therefore, for example, each
また、図1では、センサシステム110a−110zの全てが、デイジーチェーンで接続されるように、カスケード接続される構成を示したが、必ずしもこれに限定されない。したがって、例えば、センサシステム110をいくつかのグループに分割して、その分割したグループ単位でデイジーチェーン接続してもよい。その場合、分割したグループの終端となるカメラアダプタ120が、スィッチングハブ180に接続され、画像コンピューティングサーバ200に画像を入力するようにしてもよい。
Further, in FIG. 1, the configuration in which all of the
このような構成は、スタジアムにおいて、特に有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム110を配備する場合を想定する。この場合、センサシステム110を上述の構成とすることで、フロア毎、或いはスタジアムの半周毎に画像コンピューティングサーバ200への入力を行うことができる。このように、センサシステム110の全てを1つのデイジーチェーンで接続する配線が困難な場所であっても、設置の簡便化及びシステムの柔軟化を図ることができる。
Such a configuration is particularly effective in a stadium. For example, it is assumed that the stadium is composed of a plurality of floors and the sensor system 110 is provided for each floor. In this case, the sensor system 110 having the above-described configuration allows input to the
また、デイジーチェーンで接続された構成において、画像コンピューティングサーバ200に画像を出力するカメラアダプタ120が1つであるか、2つ以上であるかに応じて、画像コンピューティングサーバ200での画像処理の制御を切り替える。即ち、画像処理システム100では、センサシステム110が複数のグループに分割されているかどうかに応じて、画像コンピューティングサーバ200での画像処理の制御を切り替える。
Further, in a configuration connected in a daisy chain, image processing in the
ここで、画像を出力するカメラアダプタ120が1つの場合は、デイジーチェーン接続で画像を伝送しながら競技場の全周画像を生成するため、画像コンピューティングサーバ200において、全周の画像データが揃うタイミングは、同期が取れている。即ち、センサシステム110がグループに分割されていなければ、同期を取ることができる。しかし、画像を出力するカメラアダプタ120が複数になる場合(即ち、センサシステム110が複数のグループに分割される場合)、各々のデイジーチェーンのレーン(経路)によって遅延が異なることが想定される。そこで、センサシステム110を複数のグループに分割する場合には、画像コンピューティングサーバ200において全周の画像データが揃うまで待機させることで同期を取る同期制御によって、画像データの集結を確認しながら、後段の画像処理を実行する。
Here, when there is one
センサシステム110aは、マイク111a、カメラ112a、雲台113a、外部センサ114a、及びカメラアダプタ120aを有する。なお、センサシステム110aの構成は、必ずしも、この構成に限定されるものではなく、少なくとも1台のカメラアダプタ120aと、1台のカメラ112a又は1台のマイク111aを有していればよい。また、例えば、センサシステム110aに関して、1台のカメラアダプタ120aと複数のカメラ112aを有するように構成させてもよいし、複数のカメラアダプタ120aと1台のカメラ112aを有するように構成させてもよい。即ち、画像処理システム100内の複数のカメラ112と複数のカメラアダプタ120は、N対M(NとMは共に1以上の整数)で構成される。
The
さらに、センサシステム110aは、マイク111a、カメラ112a、雲台113a、及びカメラアダプタ120a以外の装置を備えていてもよい。また、カメラ112aとカメラアダプタ120aが一体となって構成されてもよい。加えて、カメラアダプタ120の機能の少なくとも一部を、フロントエンドサーバ230が有するようにしてもよい。
Furthermore, the
以上、センサシステム110aについて説明したが、本実施形態では、センサシステム110b−110zについても、センサシステム110aと同様の構成であることから、その説明を省略する。なお、センサシステム110b−110zの構成は、センサシステム110aと同じ構成に限定されるものではなく、各々のセンサシステム110がセンサシステム110aと異なる構成を有してもよい。
The
センサシステム110aは、上述の構成において、マイク111aにより集音した音声と、カメラ112aにより撮影した画像に対して、カメラアダプタ120aにおいて後述の画像処理を施す。センサシステム110aは、その画像処理を施すと、デイジーチェーン170aを介して、センサシステム110bのカメラアダプタ120bに伝送する。同様に、センサシステム110bは、集音した音声と撮影した画像に対して画像処理を施し、センサシステム110aから取得した画像及び音声と併せて、センサシステム110cに伝送する。
In the above-described configuration, the
これらの動作を順に繰り返すことで、センサシステム110a−110zにより取得された画像及び音声は、センサシステム110zから180bを介して、スィッチングハブ180に伝送され、さらに、画像コンピューティングサーバ200に伝送される。
By repeating these operations in order, the images and sounds acquired by the
なお、本実施形態では、カメラ112a−112zとカメラアダプタ120a−120zを分離して構成させているが、同一筺体で一体化してもよい。その場合、マイク111a−111zを一体化したカメラ112に内蔵してもよいし、カメラ112の外部に接続してもよい。
In the present embodiment, the
次に、画像コンピューティングサーバ200の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ200は、センサシステム110zから取得したデータの処理を行う。画像コンピューティングサーバ200は、フロントエンドサーバ230、データベース250(以下、DBとも記載する)、バックエンドサーバ270、及びタイムサーバ290を有する。
Next, the configuration and operation of the
タイムサーバ290は、時刻及び同期信号を配信する機能を有し、スィッチングハブ180を介してセンサシステム110a−110zに時刻及び同期信号を配信する。時刻及び同期信号を受信したカメラアダプタ120a−120zは、時刻及び同期信号に基づいて、カメラ112a−112zをGenlockさせ、画像(フレーム)の同期を行う。即ち、タイムサーバ290は、複数のカメラ112の撮影タイミングを同期させる。これにより、画像処理システム100は、同じタイミングで撮影された複数の画像(以下、撮影画像とも記載する)に基づいて仮想視点画像を生成できるので、撮影タイミングのずれによる仮想視点画像の品質低下を抑制することができる。なお、本実施形態では、タイムサーバ290が複数のカメラ112の時刻同期を管理する仕様としているが、必ずしもこれに限定されることなく、時刻同期に関する処理を各カメラ112又は各カメラアダプタ120が独立して実行してもよい。
The
フロントエンドサーバ230は、センサシステム110zから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換する。そして、カメラの識別子、データ種別、及びフレーム番号に応じて、データベース250にデータを書き込む。
The front-
データベース250は、フロントエンドサーバ230から受信したデータへのアクセスが可能になるようにデータベーステーブルを作成する。また、バックエンドサーバ270から要求されたデータが、キャッシュ、一次ストレージ、又は二次ストレージのいずれかに保存されているかを判定し、保存先からデータを読み出してバックエンドサーバ270に送信する。
The
バックエンドサーバ270は、仮想カメラ操作UI330から視点の指定を受け付け、その受け付けた視点に基づいて、データベース250から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。
The back-
なお、画像コンピューティングサーバ200の構成は、必ずしもこれに限定されない。したがって、例えば、フロントエンドサーバ230、データベース250、及びバックエンドサーバ270のうち、少なくとも2つが一体となって構成されてもよい。また、フロントエンドサーバ230、データベース250、及びバックエンドサーバ270の少なくともいずれかが複数含まれて構成されてもよい。さらに、画像コンピューティングサーバ200内の任意の位置に、上述の装置以外の装置が含まれて構成されてもよい。その他、画像コンピューティングサーバ200の機能の少なくとも一部を、エンドユーザ端末190や仮想カメラ操作UI330が有するように構成させてもよい。
Note that the configuration of the
レンダリング処理された画像は、バックエンドサーバ270からエンドユーザ端末190に送信され、ユーザは、エンドユーザ端末190を操作することで、視点の指定に応じた画像閲覧及び音声視聴を行うことができる。即ち、バックエンドサーバ270は、複数のカメラ112により撮影された撮影画像(複数視点画像)と視点情報に基づいて、仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ270は、例えば、複数のカメラアダプタ120により複数のカメラ112による撮影画像から抽出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そして、バックエンドサーバ270は、生成した仮想視点コンテンツをエンドユーザ端末190に提供する。なお、カメラアダプタ120による所定領域の画像データを抽出する処理の詳細については、後述することで説明を補足する。
The rendered image is transmitted from the back-
なお、本実施形態において、仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に取得される画像としての仮想視点画像(即ち、指定された視点における見えを表す画像)を含むものとする。また、仮想的な視点(仮想視点)は、ユーザにより指定されてもよいし、画像解析の結果等に基づいて、自動的に指定されてもよい。即ち、仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像(自由視点画像)が含まれる。加えて、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。 In the present embodiment, the virtual viewpoint content includes a virtual viewpoint image (that is, an image representing appearance at a specified viewpoint) as an image acquired when a subject is photographed from a virtual viewpoint. The virtual viewpoint (virtual viewpoint) may be specified by the user, or may be automatically specified based on the result of the image analysis. That is, the virtual viewpoint image includes an arbitrary viewpoint image (free viewpoint image) corresponding to the viewpoint arbitrarily designated by the user. In addition, an image corresponding to the viewpoint designated by the user from a plurality of candidates and an image corresponding to the viewpoint automatically designated by the apparatus are also included in the virtual viewpoint image.
補足として、本実施形態では、仮想視点コンテンツに音声データ(オーディオデータ)が含まれる例を中心に説明するが、必ずしも音声データが含まれていなくてもよい。さらに、バックエンドサーバ270は、仮想視点画像をH.264やHEVCに代表される標準技術により圧縮符号化した上で、MPEG−DASHプロトコルを用いてエンドユーザ端末190に送信してもよい。また、仮想視点画像を、非圧縮でエンドユーザ端末190に送信してもよい。なお、この場合、圧縮符号化を行う前者はエンドユーザ端末190としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。即ち、エンドユーザ端末190の種別に応じて、画像フォーマットを切り替えることができる。その他、画像の送信プロトコルは、MPEG−DASHに限らず、例えば、HLS(HTTP Live Streaming)やそれ以外の送信方法を用いることもできる。
As a supplement, in the present embodiment, an example in which audio data (audio data) is included in the virtual viewpoint content will be mainly described. However, audio data may not necessarily be included. Further, the back-
このように、画像処理システム100は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという3つの機能ドメインを有する。映像収集ドメインはセンサシステム110−110zを、データ保存ドメインはデータベース250、フロントエンドサーバ230及びバックエンドサーバ270を、映像生成ドメインは仮想カメラ操作UI330及びエンドユーザ端末190を備える。
As described above, the
なお、画像処理システムの構成は、必ずしも本構成に限定されず、例えば、仮想カメラ操作UI330が直接、センサシステム110a−110zから画像を取得する構成とすることもできる。但し、本実施形態では、上述のように、センサシステム110a−110zから直接、画像を取得する構成ではなく、データ保存機能を中間に配置する構成としている。具体的には、フロントエンドサーバ230が、センサシステム110a−110zにより生成された画像データ、音声データ及びそれらのメタ情報を、データベース250の共通スキーマ及びデータ型に変換する構成としている。これにより、センサシステム110a−110zのカメラ112が他機種のカメラに変更されても、変更された差分をフロントエンドサーバ230が吸収し、データベース250に登録することができる。即ち、これにより、カメラ112が他機種カメラに変更された場合であっても、仮想カメラ操作UI330が適切に動作しない虞を低減することができる。
Note that the configuration of the image processing system is not necessarily limited to this configuration. For example, the virtual
また、仮想カメラ操作UI330に関して、直接データベース250にアクセスせずに、バックエンドサーバ270を介してデータベース250にアクセスする構成としている。即ち、画像生成処理に関する共通処理をバックエンドサーバ270で実行し、操作UIに関するアプリケーションの差分を仮想カメラ操作UI330で実行している。
Further, the virtual
このような構成とすることで、仮想カメラ操作UI330の開発において、UI操作デバイスや、生成したい仮想視点画像を操作するUIの機能要求に関する開発に注力することができる。また、バックエンドサーバ270は、仮想カメラ操作UI330の要求に応じて、画像生成処理に関する共通処理を追加又は削除することも可能である。このように、仮想カメラ操作UI330の要求に対して、柔軟に対応することができる。
With such a configuration, in the development of the virtual
以上のように、画像処理システム100において、カメラ112(即ち、カメラ112a−112z)により被写体を複数の方向から撮影した画像データに基づいて、バックエンドサーバ270により仮想視点画像が生成される。なお、本実施形態における画像処理システム100に関して、上述では物理的な構成として説明したが、その構成は必ずしも物理的である必要はなく、論理的に構成されてもよい。
As described above, in the
次に、図1の画像処理システム100における各ノード(カメラアダプタ120、フロントエンドサーバ230、データベース250、バックエンドサーバ270、仮想カメラ操作UI330、エンドユーザ端末190)に関して、順に説明する。
Next, each node (
図2は、本実施形態におけるカメラアダプタ120の機能ブロック図である。カメラアダプタ120は、図2に示されるように、ネットワークアダプタ06110、伝送部06120、画像処理部06130、及び外部機器制御部06140を有する。
FIG. 2 is a functional block diagram of the
ネットワークアダプタ06110は、データ送受信部06111及び時刻制御部06112を有する。なお、本実施形態では、ネットワークアダプタ06110としてNIC(Network Interface Card)を用いるが、NICに限定されるものではなく、同様の他のInterfaceを用いてもよい。
The
データ送受信部06111は、デイジーチェーン170、ネットワーク180b、及びネットワーク310aを介して、他のカメラアダプタ120、フロントエンドサーバ230、タイムサーバ290、及び制御ステーション310とデータ通信を行う。
The data transmission /
例えば、データ送受信部06111は、カメラ112による撮影画像から前景背景分離部06131により分離された前景画像と背景画像とを、別のカメラアダプタ120に出力する。そして、各カメラアダプタ120が前景画像と背景画像とを出力することで、複数の視点から撮影された前景画像と背景画像に基づく仮想視点画像が生成される。なお、出力先のカメラアダプタ120は、画像処理システム100のカメラアダプタ120のうち、データルーティング処理部06122の処理に応じて、予め定められた順序に従って設定される。また、カメラアダプタ120に関して、撮影画像から分離した前景画像のみを出力し、背景画像を出力しないカメラアダプタ120があってもよい。
For example, the data transmission /
時刻制御部06112は、例えば、IEEE1588規格のOrdinay Clockに準拠し、タイムサーバ290との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ290との時刻同期を行う機能を備える。なお、IEEE1588は、IEEE1588−2002、IEEE1588−2008のように標準規格として更新されており、後者については、PTPv2(Precision Time Protocol Version2)とも呼ばれる。また、タイムサーバ290との時刻同期に関して、必ずしもIEEE1588規格に準拠させる必要はなく、他のEtherAVB規格や、独自プロトコル等によってタイムサーバ290との時刻同期を実現してもよい。
The
伝送部06120は、ネットワークアダプタ06110を介して、スィッチングハブ180等に対するデータの伝送を制御する。伝送部06120は、データ圧縮・伸張部06121、データルーティング処理部06122、時刻同期制御部06123、画像・音声伝送処理部06124、及びデータルーティング情報保持部06125を有する。以下、各々の機能について説明する。
The
データ圧縮・伸張部06121は、データ送受信部06111を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用して圧縮を行う機能と、その圧縮されたデータを伸張する機能を有する。
The data compression /
データルーティング処理部06122は、後述するデータルーティング情報保持部06125が保持するデータを用いて、データ送受信部06111が受信したデータ及び画像処理部06130が処理したデータのルーティング先を決定する。データルーティング処理部06122は、さらに、決定したルーティング先にデータを送信する。そして、複数のカメラアダプタ120各々のデータルーティング処理部06122による決定に応じて、画像処理システム100において、前景画像や背景画像をリレー形式で出力するカメラアダプタ120の順序が設定される。
The data
なお、ルーティング先として、同一の注視点にフォーカスされたカメラ112に対応するカメラアダプタ120を設定するのが、各々のカメラ112同士の画像フレームの相関が高いことから、画像処理を実行する上で好適である。
Note that setting the
時刻同期制御部06123は、例えば、IEEE1588規格のPTP(Precision Time Protocol)に準拠し、タイムサーバ290との時刻同期を行う機能を備える。なお、タイムサーバ290との時刻同期に関して、必ずしもIEEE1588規格のPTPに準拠させる必要はなく、他の同様のプロトコルを用いて時刻同期を実現してもよい。
The time
画像・音声伝送処理部06124は、画像データ又は音声データを、データ送受信部06111を介して他のカメラアダプタ120又はフロントエンドサーバ230に転送するためのメッセージを作成する機能を有している。なお、メッセージには、画像データ又は音声データ、及び各データのメタ情報が含まれる。また、メタ情報には、画像の撮影又は音声のサンプリングをしたときのタイムコード又はシーケンス番号、データ種別、及びカメラ112やマイク111の個体を示す識別子等が含まれる。その他、送信する画像データ又は音声データは、データ圧縮・伸張部06121によりデータ圧縮がなされていてもよい。
The image / audio
また、画像・音声伝送処理部06124は、他のカメラアダプタ120からデータ送受信部06111を介してメッセージを受信する。そして、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データ又は音声データに復元する。なお、データを復元したときにデータが圧縮されている場合は、データ圧縮・伸張部06121により伸張処理が実行される。
The image / sound
データルーティング情報保持部06125は、データ送受信部06111で送受信されるデータの送信先を決定するためのアドレス情報を保持する。なお、ルーティング方法については後述する。
The data routing
画像処理部06130は、カメラ制御部06141の制御によりカメラ112が撮影した画像データ及び他のカメラアダプタ120から受信した画像データに対して処理を施す。画像処理部06130は、前景背景分離部06131、三次元モデル情報生成部06132、及びキャリブレーション制御部06133を有する。以下、各々の機能について説明する。
The
前景背景分離部06131は、カメラ112が撮影した画像データを前景画像と背景画像に分離する。具体的には、複数のカメラアダプタ120の各々において、前景背景分離部06131は、対応するカメラ112の撮影画像から所定領域を抽出する。ここで、所定領域は、例えば、撮影画像に対するオブジェクト検出の結果、取得される前景画像であり、また、この抽出により、前景背景分離部06131は、撮影画像を前景画像と背景画像に分離する。
A foreground /
ここで、オブジェクトとは、例えば人物等であり、選手、監督、及び/又は審判等の特定の人物であってもよい。また、ボールやゴール等、画像パターンが予め定められている物体であってもよい。その他、オブジェクトとして、動体が検出されるようにしてもよい。例えば、人物を重要なオブジェクトとして設定する場合、図8(a)に示すように、人物を含む前景画像と、図8(b)に示すようにオブジェクト(人物)を含まない背景画像を分離して処理する。 Here, the object is, for example, a person or the like, and may be a specific person such as a player, a manager, and / or a referee. Further, it may be an object with a predetermined image pattern, such as a ball or a goal. In addition, a moving object may be detected as an object. For example, when a person is set as an important object, a foreground image including a person is separated from a background image not including an object (person) as shown in FIG. 8B, as shown in FIG. To process.
これにより、画像処理システム100において生成される仮想視点画像のオブジェクトに該当する部分の画像の品質を向上させることができる。また、複数のカメラアダプタ120の各々において前景と背景を分離することで、複数のカメラ112を備えた画像処理システム100における負荷を分散させることができる。補足として、所定領域は前景画像に限らず、例えば、背景画像等であってもよい。
Thereby, the quality of the image of the part applicable to the object of the virtual viewpoint image produced | generated in the
三次元モデル情報生成部06132は、前景背景分離部06131で分離された前景画像、及び他のカメラアダプタ120から受信した前景画像を用いて、例えば、ステレオカメラの原理等を適用することで、三次元モデルに関する画像情報を生成する。
The three-dimensional model
キャリブレーション制御部06133は、キャリブレーションに必要な画像データを、カメラ制御部06141を介してカメラ112から取得し、キャリブレーションに関する演算処理を実行するフロントエンドサーバ230に送信する。なお、本実施形態では、キャリブレーションに関する演算処理をフロントエンドサーバ230で実行しているが、キャリブレーションに関する演算処理を実行するノードは必ずしもフロントエンドサーバ230に限定されない。したがって、例えば、制御ステーション310やカメラアダプタ120(この場合、他のカメラアダプタ120を含む)等、他のノードで演算処理を実行してもよい。
The
また、キャリブレーション制御部06133は、カメラ制御部06141を介してカメラ112から取得した画像データに対して、予め設定されたパラメータに応じて撮影中のキャリブレーション(動的キャリブレーション)を行う。
The
外部機器制御部06140は、カメラアダプタ120に接続する機器を制御する。外部機器制御部06140は、カメラ制御部06141、マイク制御部06142、雲台制御部06143、及びセンサ制御部06144を有する。以下、各々の機能について説明する。
The external
カメラ制御部06141は、カメラ112と接続され、カメラ112の制御、撮影画像の取得、同期信号の提供、及び時刻設定等を行う。ここで、カメラ112の制御には、撮影パラメータ(画素数、色深度、フレームレート、及びホワイトバランス等)の設定及び参照、カメラ112の状態(撮影中、停止中、同期中、及びエラー等)の取得、撮影の開始及び停止、並びにピント調整等がある。
The
なお、本実施形態では、カメラ112を介してピント調整を行う仕様としているが、取り外し可能なレンズがカメラ112に装着されている場合には、カメラアダプタ120をレンズに接続し、直接レンズの調整を行ってもよい。また、カメラアダプタ120が、カメラ112を介してズーム等のレンズ調整を行ってもよい。
In this embodiment, the focus adjustment is performed via the
加えて、同期信号の提供は、時刻同期制御部06123がタイムサーバ290と同期した時刻を用いて、撮影タイミング(制御クロック)をカメラ112に提供することで行われる。さらに、時刻設定は、時刻同期制御部06123がタイムサーバ290と同期した時刻を、例えば、SMPTE12Mのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ112から受信する画像データに、提供されたタイムコードが付与される。なお、タイムコードのフォーマットはSMPTE12Mに限定されるわけではなく、他のフォーマットを用いてもよい。また、カメラ制御部06141は、カメラ112に対するタイムコードの提供は行わず、カメラ112から受信した画像データにタイムコードを付与してもよい。
In addition, the synchronization signal is provided by providing the imaging timing (control clock) to the
マイク制御部06142は、マイク111と接続され、マイク111の制御、収音の開始及び停止、また、収音された音声データの取得等を行う。マイク111の制御は、例えば、ゲイン調整や、状態取得等である。また、マイク制御部06142は、カメラ制御部06141と同様に、マイク111に対して音声サンプリングするタイミングとタイムコードを提供する。音声サンプリングのタイミングとなるクロック情報としては、タイムサーバ290からの時刻情報が例えば、48KHzのワードクロックに変換されてマイク111に供給される。
The
雲台制御部06143は、雲台113と接続され、雲台113の制御を行う。雲台113の制御は例えば、パン・チルト制御や状態取得等がある。センサ制御部(内部センサ)06144は、外部センサ114と接続され、外部センサ114がセンシングしたセンサ情報を取得する。例えば、外部センサ114としてジャイロセンサが用いられる場合は、振動の程度を表す情報(振動情報)を取得することができる。この場合、例えば、センサ制御部06144が取得した振動情報を用いて、画像処理部06130は、前景背景分離部06131での処理に先立って、振動を抑えた画像を生成することができる。
The pan
振動情報は例えば、8Kカメラの画像データを、振動情報を考慮して、元の8Kサイズよりも小さいサイズで切り出して、隣接設置されたカメラ112の画像との位置合わせを行う場合に用いられる。これにより、建造物の躯体振動が各カメラに異なる周波数で伝搬した場合であっても、位置合わせを行うことができる。そして、その結果、電子的に防振された画像データ(即ち、振動の影響が画像処理により低減された画像データ)を生成することができ、画像コンピューティングサーバ200におけるカメラ112の台数分の位置合わせの処理負荷を軽減することができる。なお、センサシステム110のセンサは、必ずしも外部センサ114に限定されるわけではなく、カメラアダプタ120に内蔵されたセンサであっても同様の効果を得ることができる。
For example, the vibration information is used when image data of an 8K camera is cut out with a size smaller than the original 8K size in consideration of the vibration information and is aligned with the image of the
図3は、カメラアダプタ120内部の画像処理部06130の機能ブロック図である。以下、キャリブレーション制御部06133、前景背景分離部06131、三次元モデル情報生成部06132の各々に関して、説明を補足する。
FIG. 3 is a functional block diagram of the
キャリブレーション制御部06133は、入力された画像に対して、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因する画像のブレを低減させて画像の位置を安定させるためのブレ補正処理(電子防振処理)等を行う。
The
前景背景分離部06131は、図3に示されるように、前景分離部05001、背景更新部05003、及び背景切出部05004を有する。前景分離部05001は、カメラ112の画像に関して位置合わせが行われた画像データに対して、背景画像05002との比較により前景画像の分離処理を行う。背景更新部05003は、背景画像05002とカメラ112の位置合わせが行われた画像を用いて新しい背景画像を生成し、背景画像05002を新しい背景画像に更新する。背景切出部05004は、背景画像05002の一部を切り出す制御を行う。
As shown in FIG. 3, the foreground /
三次元モデル情報生成部06132は、図3に示されるように、三次元モデル処理部05005、他カメラ前景受信部05006、及びカメラパラメータ受信部05007を有する。三次元モデル処理部05005は、前景分離部05001で分離された前景画像と、伝送部06120を介して受信した他のカメラ112の前景画像を用いて、例えば、ステレオカメラの原理等から三次元モデルに関する画像情報を逐次、生成する。他カメラ前景受信部05006は、他のカメラアダプタ120で前景背景分離された前景画像を受信する。カメラパラメータ受信部05007は、カメラ固有の内部パラメータ(例えば、焦点距離、画像中心、及びレンズ歪みパラメータ等)と、カメラの位置姿勢を表す外部パラメータ(例えば、回転行列及び位置ベクトル等)を受信する。これらのパラメータは、後述のキャリブレーション処理で取得される情報であり、制御ステーション310から対象となるカメラアダプタ120に対して送信及び設定される。
As shown in FIG. 3, the 3D model
図4は、本実施形態におけるフロントエンドサーバ230の機能ブロック図である。フロントエンドサーバ230は、図4に示されるように、各種機能ブロック(制御部02110−DBアクセス制御部02190)を有する。以下、各々の機能について説明する。
FIG. 4 is a functional block diagram of the front-
制御部02110は、CPU、DRAM、プログラムデータや各種データを記憶したHDDやNANDメモリなどの記憶媒体、Ethernet(登録商標)等のハードウェアで構成される。なお、DRAMは、Dynamic Random Access Memory の略である。
The
制御部02110は、フロントエンドサーバ230の各機能ブロック及びフロントエンドサーバ230のシステム全体を制御する。加えて、制御部02110は、モード制御を行うことで、キャリブレーション動作、撮影前の準備動作、及び撮影中動作等の動作モードを切り替える。制御部02110は、さらに、Ethernet(登録商標)を通じて制御ステーション310からの制御指示を受信し、各モードの切り替えやデータの入出力等を行う。また、制御部02110は、同様にネットワークを通じて制御ステーション310からスタジアムCADデータ(スタジアム形状データ)を取得し、スタジアムCADデータをCADデータ記憶部02135と撮影データファイル生成部02180に送信する。なお、本実施形態におけるスタジアムCADデータ(スタジアム形状データ)は、スタジアムの形状を示す三次元データであり、メッシュモデルやその他の三次元形状を表すデータであればよく、必ずしもCAD形式に限定されない。
The
データ入力制御部02120は、Ethernet(登録商標)等の通信路とスィッチングハブ180を介して、カメラアダプタ120とネットワーク接続される。データ入力制御部02120は、ネットワークを介してカメラアダプタ120から前景画像、背景画像、被写体の三次元モデル(三次元形状)、音声データ、及びカメラキャリブレーション撮影画像データを取得する。
The data
ここで、前景画像は仮想視点画像の生成のための撮影画像の前景領域に基づく画像データであり、背景画像は、その撮影画像の背景領域に基づく画像データである。カメラアダプタ120は、カメラ112による撮影画像に対する所定のオブジェクトの検出処理の結果に応じて、前景領域及び背景領域を特定し、前景画像及び背景画像を生成する。なお、所定のオブジェクトとは、例えば、人物等であり、選手、監督、及び/又は審判等の特定の人物であってもよい。また、所定のオブジェクトには、ボールやゴール等、画像パターンが予め定められている物体が含まれてもよい。その他、所定のオブジェクトとして、動体が検出されるようにしてもよい。
Here, the foreground image is image data based on the foreground area of the captured image for generating the virtual viewpoint image, and the background image is image data based on the background area of the captured image. The
データ入力制御部02120は、受信したデータの圧縮伸張やデータルーティング処理等を行う。データ入力制御部02120は、さらに、前景画像及び背景画像をデータ同期部02130に送信し、カメラキャリブレーション撮影画像データをキャリブレーション部02140に送信する。なお、制御部02110とデータ入力制御部02120は共にEthernet(登録商標)等のネットワークによる通信機能を有しているが、当該通信機能により制御部02110とデータ入力制御部02120の通信を行ってもよい。その場合、例えば、データ入力制御部02120は、制御ステーション310からの制御コマンドによる指示やスタジアムCADデータを受信すると、それらのデータ等を制御部02110に対して送信する。
The data
データ同期部02130は、カメラアダプタ120から取得したデータを、前景画像、背景画像、音声データ及び三次元モデルデータが揃うまで、内部のDRAMに一次的に記憶する(バッファする)。これは、ネットワークによって各カメラアダプタ120から転送されたデータに関して、ネットワークパケットの受信順序が保証されず、ファイル生成に必要なデータを揃える必要があるためである。なお、ここで揃えるデータは、後述の撮影データファイル生成部02180において、ファイルを生成するために必要なデータである。また、以降では、前景画像、背景画像、音声データ及び三次元モデルデータを纏めて、撮影データと称する。
The
撮影データには、ルーティング情報、タイムコード情報(時間情報)、及びカメラ識別子等のメタ情報が付与されており、データ同期部02130は、このメタ情報に基づいて、データの属性を確認する。これにより、データ同期部02130は、同一時刻のデータであること等を判定して、データが揃ったことを確認する。
Meta information such as routing information, time code information (time information), and a camera identifier is added to the shooting data, and the
そして、データが揃うと、データ同期部02130は、前景画像及び背景画像を画像処理部02150に、三次元モデルデータを三次元モデル結合部02160に、音声データを撮影データファイル生成部02180に各々、送信する。なお、背景画像は、前景画像と異なるフレームレートで撮影されてもよい。この場合、例えば、背景画像のフレームレートが1fpsである場合、1秒毎に1つの背景画像が取得されるため、背景画像が取得されない時間については、背景画像が無い状態で全てのデータが揃ったとしてよい。
When the data is ready, the
また、データ同期部02130は、所定時間が経過してもデータが揃っていない場合には、データを集結できないことを示す情報をデータベース250に通知する。例えば、後段のデータベース250は、データを格納するときに、カメラ番号やフレーム番号と併せてデータ欠落を示す情報を格納する。そして、これにより、仮想カメラ操作UI330からバックエンドサーバ270への視点指示に応じて、データ集結したカメラ112の撮影画像から所望の画像が形成できるか否かをレンダリング前に自動通知することができる。その結果、仮想カメラ操作UI330のオペレータの目視負荷を軽減することができる。
In addition, the
CADデータ記憶部02135は、制御部02110から受信したスタジアム形状を示す三次元データを、DRAM、又はHDDやNANDメモリ等の記憶媒体に記憶する。そして、CADデータ記憶部02135は、スタジアム形状データの要求を受信すると、画像結合部02170に、記憶しているスタジアム形状データを送信する。
The CAD data storage unit 02135 stores the three-dimensional data indicating the stadium shape received from the
キャリブレーション部02140は、カメラのキャリブレーション動作を行い、キャリブレーションによって取得されたカメラパラメータを、後述の非撮影データファイル生成部02185に送信する。また、キャリブレーション部02140は、同時に、自身の記憶領域にもカメラパラメータを保持し、後述の三次元モデル結合部02160にカメラパラメータ情報を提供する。
The
画像処理部02150は、前景画像や背景画像に対して、カメラ間の色や輝度値の合わせ込み、RAW画像データが入力される場合には現像処理、及び画像復号時のエラー補完やカメラのレンズ歪みの補正等の処理を実行する。そして、画像処理が施された前景画像は撮影データファイル生成部02180に、背景画像は画像結合部02170に各々、送信される。
The
三次元モデル結合部02160は、キャリブレーション部02140により生成されたカメラパラメータを用いて、カメラアダプタ120から取得した同一時刻の三次元モデルデータを結合する。そして、三次元モデル結合部02160は、VisualHullと呼ばれる方法を用いて、スタジアム全体における前景画像の三次元モデルデータを生成する。なお、生成された三次元モデルデータは、撮影データファイル生成部02180に送信される。
The 3D
画像結合部02170は、画像処理部02150から背景画像を取得し、また、CADデータ記憶部02135からスタジアムの三次元形状データを取得すると、その取得したスタジアムの三次元形状データの座標に対する背景画像の位置を特定する。画像結合部02170は、背景画像の各々に関して、スタジアムの三次元形状データ(スタジアム形状データ)の座標に対する位置を特定すると、背景画像を結合して1つの背景画像とする。なお、背景画像の三次元形状データの生成については、バックエンドサーバ270が実行してもよい。
When the
撮影データファイル生成部02180は、データ同期部02130から音声データを、画像処理部02150から前景画像を、三次元モデル結合部02160から三次元モデルデータを、画像結合部02170から三次元形状に結合された背景画像を取得する。そして、撮影データファイル生成部02180は、取得したこれらのデータをDBアクセス制御部02190に出力する。
The shooting data file
ここで、撮影データファイル生成部02180は、これらのデータを各々の時間情報に基づいて、対応付けて出力する。但し、この場合、これらのデータに関して、その一部を対応付けて出力してもよい。例えば、撮影データファイル生成部02180は、前景画像と背景画像を、前景画像の時間情報及び背景画像の時間情報に基づいて、対応付けて出力する。また、例えば、撮影データファイル生成部02180は、前景画像、背景画像、及び三次元モデルデータを、前景画像の時間情報、背景画像の時間情報、及び三次元モデルデータの時間情報に基づいて、対応付けて出力する。なお、撮影データファイル生成部02180は、対応付けがなされたデータをデータの種類別にファイル化して出力することも、複数種類のデータを時間情報が示す時刻毎に纏めてファイル化して出力することもできる。
Here, the imaging data file
そして、このように対応付けがなされた撮影データが、後述のDBアクセス制御部02190によりデータベース250に出力されることで、バックエンドサーバ270は時間情報に対応する前景画像と背景画像とから仮想視点画像を生成することができる。
Then, the image data thus associated is output to the
なお、データ入力制御部02120により取得される前景画像と背景画像のフレームレートが異なる場合、撮影データファイル生成部02180は、常に同時刻の前景画像と背景画像を対応付けて出力することは困難である。そこで、撮影データファイル生成部02180は、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像とを対応付けて出力する。ここで、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像とは、例えば、撮影データファイル生成部02180が取得した背景画像のうち、前景画像の時間情報に最も近い時間情報を有する背景画像のことである。このように、所定の規則に基づいて前景画像と背景画像を対応付けることにより、前景画像と背景画像のフレームレートが異なる場合でも、近い時刻に撮影された前景画像と背景画像とから仮想視点画像を生成することができる。
When the foreground image acquired by the data
補足として、前景画像と背景画像の対応付けの方法は、必ずしも上記の方法に限定されない。例えば、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像として、取得された背景画像であって、かつ前景画像より前の時刻に撮影された背景画像のうち、前景画像の時間情報に最も近い時間情報を有する背景画像を設定してもよい。この方法によれば、前景画像よりフレームレートの低い背景画像の取得を待つことなく、対応付けられた前景画像と背景画像を低遅延で出力することができる。また、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像として、取得された背景画像であって、かつ前景画像より後の時刻に撮影された背景画像のうち、前景画像の時間情報に最も近い時間情報を有する背景画像を設定してもよい。 As a supplement, the method for associating the foreground image with the background image is not necessarily limited to the above method. For example, among the background images acquired at a time before the foreground image as a background image having time information having a relationship based on a predetermined rule with the time information of the foreground image, the foreground A background image having time information closest to the time information of the image may be set. According to this method, the associated foreground image and background image can be output with low delay without waiting for acquisition of a background image having a lower frame rate than the foreground image. In addition, among the background images acquired at a time after the foreground image as a background image having time information having a relationship based on a predetermined rule with the time information of the foreground image, the foreground A background image having time information closest to the time information of the image may be set.
非撮影データファイル生成部02185は、キャリブレーション部02140からカメラパラメータ、制御部02110からスタジアムの三次元形状データを取得すると、それらのデータをファイル形式に応じて成形する。そして、その成形したデータをDBアクセス制御部02190に送信する。なお、非撮影データファイル生成部02185に入力されるカメラパラメータ及びスタジアム形状データは、ファイル形式に応じて個別に成形される。即ち、非撮影データファイル生成部02185は、いずれか一方のデータを受信すると、そのデータを個別にDBアクセス制御部02190に送信する。
When the non-photographed data file
DBアクセス制御部02190は、InfiniBand等により高速な通信が可能となるようにデータベース250と接続される。DBアクセス制御部02190は、撮影データファイル生成部02180及び非撮影データファイル生成部02185から受信したファイルをデータベース250に送信する。このように、本実施形態では、撮影データファイル生成部02180により時間情報に基づいて対応付けられた撮影データは、フロントエンドサーバ230とネットワークを介して接続されるデータベース250に出力される。
The DB access control unit 02190 is connected to the
なお、撮影データファイル生成部02180により時間情報に基づいて対応付けられた撮影データの出力先は、必ずしもこれに限定されない。したがって、例えば、フロントエンドサーバ230は、時間情報に基づいて対応付けられた撮影データを、フロントエンドサーバ230とネットワークを介して接続され、仮想視点画像を生成するバックエンドサーバ270に出力してもよい。また、フロントエンドサーバ230は、時間情報に基づいて対応付けられた撮影データを、データベース250とバックエンドサーバ270の両方に出力してもよい。
Note that the output destination of the shooting data associated based on the time information by the shooting data file
その他、本実施形態では、フロントエンドサーバ230が前景画像と背景画像の対応付けを行う仕様として説明しているが、必ずしもこれに限らず、データベース250がその対応付けを行うこともできる。例えば、データベース250は、フロントエンドサーバ230から時間情報を有する前景画像及び背景画像を取得し、前景画像と背景画像とを各々の時間情報に基づいて対応付けて、データベース250自体が備える記憶領域に出力することもできる。
In addition, in the present embodiment, the front-
図5は、フロントエンドサーバ230内部のデータ入力制御部02120の機能ブロック図である。データ入力制御部02120は、図5に示されるように、サーバネットワークアダプタ06210、サーバ伝送部06220、及びサーバ画像処理部06230を有する。以下、サーバネットワークアダプタ06210、サーバ伝送部06220、及びサーバ画像処理部06230の各々に関して、説明を補足する。
FIG. 5 is a functional block diagram of the data
サーバネットワークアダプタ06210は、サーバデータ受信部06211を有し、カメラアダプタ120から送信されるデータを受信する。サーバ伝送部06220は、サーバデータ受信部06211から受信したデータに対して処理を実行する。以下、サーバデータ伸張部06221、サーバデータルーティング処理部06222、サーバ画像・音声伝送処理部06223、サーバデータルーティング情報保持部06224の各々に関して、説明を補足する。
The
サーバデータ伸張部06221は、圧縮されたデータを伸張する。サーバデータルーティング処理部06222は、後述のサーバデータルーティング情報保持部06224が保持するアドレス等のルーティング情報に基づいて、データの転送先を決定し、サーバデータ受信部06211から受信したデータを転送する。
The server
サーバ画像・音声伝送処理部06223は、カメラアダプタ120からサーバデータ受信部06211を介してメッセージを受信し、そのメッセージに含まれるデータ種別に応じて、フラグメント化されたデータを画像データ又は音声データに復元する。なお、復元後の画像データや音声データが圧縮されている場合は、サーバデータ伸張部06221で伸張処理が施される。
The server image / audio
サーバデータルーティング情報保持部06224は、サーバデータ受信部06211が受信したデータの送信先を決定するためのアドレス情報を保持する。なお、ルーティング方法については後述する。
The server data routing
サーバ画像処理部06230は、カメラアダプタ120から受信した画像データ又は音声データに関連する処理を実行する。処理内容は、例えば、画像データのデータ実体(前景画像、背景画像、及び三次元モデル情報)に応じた、カメラ番号や画像フレームの撮影時刻、画像サイズ、画像フォーマット、及び画像の座標の属性情報等が付与されたフォーマットへの整形処理等である。
The server
図6は、データベース250の機能ブロック図である。制御部02410は、CPUやDRAM、プログラムデータや各種データを記憶したHDDやNANDメモリ等の記憶媒体、及びEthernet(登録商標)等のハードウェアで構成される。制御部02410は、データベース250の各機能ブロック及びデータベース250のシステム全体を制御する。
FIG. 6 is a functional block diagram of the
データ入力部02420は、InfiniBand等の高速な通信によって、フロントエンドサーバ230から撮影データや非撮影データのファイルを受信する。受信したファイルは、キャッシュ(RAM)02440に送信される。また、受信した撮影データのメタ情報を読み出し、メタ情報に記録されたタイムコード情報やルーティング情報、カメラ識別子等の情報に基づいて、取得したデータへのアクセスが可能になるようにデータベーステーブルを作成する。
The
データ出力部02430は、バックエンドサーバ270から要求されたデータが後述のキャッシュ02440、一次ストレージ02450、二次ストレージ02460のいずれに保存されているか判定する。データ出力部02430は、InfiniBand等の高速な通信によって、保存先からデータを読み出してバックエンドサーバ270に送信する。
The
キャッシュ02440は、高速な入出力スループットを実現可能なDRAM等の記憶装置を有しており、データ入力部02420から取得した撮影データや非撮影データを記憶装置に格納する。格納されたデータは一定量保持され、それを超えるデータが入力される場合に、古いデータから随時一次ストレージ02450に書き込まれ、また、書き込み済みのデータは新たなデータによって上書きされる。
The
なお、キャッシュ02440に一定量保存されるデータは、少なくとも1フレーム分の撮影データである。それによって、バックエンドサーバ270において画像のレンダリング処理を実行する際に、データベース250内でのスループットを最小限に抑え、最新の画像フレームを低遅延かつ連続的にレンダリングすることができる。また、ここで、上述の目的を達成するためには、キャッシュされているデータの中に背景画像が含まれている必要がある。そのため、背景画像を有さないフレームの撮影データがキャッシュされた場合、キャッシュ上の背景画像は更新されず、そのままキャッシュ上に保持される。
Note that the data stored in a certain amount in the
キャッシュ可能なDRAMの容量は、予めシステムに設定されたキャッシュフレームサイズ、又は制御ステーションからの指示によって設定される。なお、非撮影データについては、入出力の頻度が少なく、試合前等においては高速なスループットを要求されないため、すぐに一次ストレージにコピーされる。また、キャッシュされたデータは、データ出力部02430によって読み出される。
The capacity of the DRAM that can be cached is set by a cache frame size preset in the system or by an instruction from the control station. Note that the non-photographed data is copied to the primary storage immediately because the frequency of input / output is low and high-speed throughput is not required before a game or the like. Also, the cached data is read by the
一次ストレージ02450は、SSD等のストレージメディアを並列に接続する等して構成される。一次ストレージ02450では、データ入力部02420からの大量のデータの書き込み処理及びデータ出力部02430からのデータ読み出し処理が同時に実現され、処理の高速化が図られる。なお、一次ストレージ02450には、キャッシュ02440上に格納されたデータのうち、古いデータから順に書き出される。
The
二次ストレージ02460は、HDDやテープメディア等で構成され、高速性よりも大容量が重視され、また、一次ストレージと比較して安価で長期間の記憶に適したメディアである。なお、二次ストレージ02460には、撮影が完了した後、データのバックアップとして一次ストレージ02450に格納されたデータが書き出される。
The
図7は、バックエンドサーバ270の機能ブロック図である。バックエンドサーバ270は、図7に示されるように、各種機能ブロック(データ受信部03001−レンダリングモード管理部03014)を有する。以下、各々の機能について説明する。
FIG. 7 is a functional block diagram of the back-
データ受信部03001は、データベース250及びコントローラ300から送信されるデータを受信する。データ受信部03001は、データベース250から、スタジアムの形状を示す三次元データ(スタジアム形状データ)、前景画像、背景画像、前景画像の三次元モデル(以降、前景三次元モデルと称する)、及び音声を受信する。また、データ受信部03001は、仮想視点画像の生成に関する視点を指定するコントローラ300から、仮想カメラパラメータを受信する。ここで、仮想カメラパラメータとは仮想視点の位置や姿勢等を示すデータであり、仮想カメラパラメータには、例えば、外部パラメータの行列と内部パラメータの行列が用いられる。
The
なお、データ受信部03001がコントローラ300から受信(取得)するデータに関して、必ずしも仮想カメラパラメータに限定されない。コントローラ300から取得する情報として、視点の指定方法、コントローラが動作させているアプリケーションを特定する情報、コントローラ300の識別情報、及びコントローラ300を使用するユーザの識別情報の少なくとも何れかを含んでいてもよい。
Note that the data received by the
また、データ受信部03001は、コントローラ300から出力される上述の情報と同様の情報を、エンドユーザ端末190から取得してもよい。さらに、データ受信部03001は、データベース250やコントローラ300等の外部の装置から、複数のカメラ112に関する情報を取得してもよい。ここで、複数のカメラ112に関する情報は、例えば、複数のカメラ112の数に関する情報や複数のカメラ112の動作状態に関する情報等である。なお、カメラ112の動作状態には、例えば、カメラ112の正常状態、故障状態、待機状態、起動状態、及び再起動状態の少なくとも何れかが含まれる。
Further, the
背景テクスチャ貼り付け部03002は、背景メッシュモデル管理部03013から取得され、背景メッシュモデル(スタジアム形状データ)で示される三次元空間形状に対して、背景画像をテクスチャとして貼り付ける。これにより、背景テクスチャ貼り付け部03002はテクスチャ付き背景メッシュモデルを生成する。ここで、メッシュモデルとは、例えば、CADデータ等、三次元の空間形状を面の集合で表現したデータのことである。また、テクスチャとは、物体の表面の質感を表現するために、三次元空間形状に対して貼り付ける画像のことである。
The background
前景テクスチャ決定部03003は、前景画像及び前景三次元モデル群より前景三次元モデルのテクスチャ情報を決定する。前景テクスチャ境界色合わせ部03004は、前景三次元モデルのテクスチャ情報と三次元モデル群からテクスチャの境界の色合わせを実行し、前景オブジェクト毎に色付き前景三次元モデル群を生成する。仮想視点前景画像生成部03005は、仮想カメラパラメータに基づいて、前景画像群を仮想視点からの見た目となるように透視変換する。
The foreground
レンダリング部03006は、レンダリングモード管理部03014で決定された、仮想視点画像の生成に用いられる生成方式に基づいて、背景画像と前景画像をレンダリングして全景の仮想視点画像を生成する。ここでは、仮想視点画像の生成方式として、モデルベースレンダリング(Model‐Based Rendering:MBR)とイメージベースレンダリング(Image‐Based Rendering:IBR)の2つのレンダリングモードを用いる。
The
MBRとは、被写体を複数の方向から撮影した場合に、その撮影された複数の画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Multi−View−Stereo(MVS)等の三次元形状復元手法により取得された対象シーンの三次元形状(モデル)を用いて、仮想視点からのシーンの見えを画像として生成する技術である。本実施形態では、レンダリングモードとしてMBRを用いる場合、背景メッシュモデルと前景テクスチャ境界色合わせ部03004で生成された前景三次元モデル群を合成することで全景モデルを生成し、さらに、その全景モデルから仮想視点画像を生成する。 MBR is a method of generating a virtual viewpoint image using a three-dimensional model generated based on a plurality of captured images when the subject is captured from a plurality of directions. Specifically, using the three-dimensional shape (model) of the target scene acquired by a three-dimensional shape restoration method such as a visual volume intersection method or Multi-View-Stereo (MVS), the appearance of the scene from the virtual viewpoint is determined. This is a technique for generating images. In the present embodiment, when MBR is used as the rendering mode, a foreground model is generated by combining the background mesh model and the foreground 3D model group generated by the foreground texture boundary color matching unit 03004. A virtual viewpoint image is generated.
また、IBRとは、対象のシーンを複数視点から撮影した入力画像群を変形、合成することによって、仮想視点からの見えを再現した仮想視点画像を生成する技術である。本実施形態では、レンダリングモードとしてIBRを用いる場合、背景テクスチャモデルに基づいて仮想視点から見た背景画像を生成し、そこに仮想視点前景画像生成部03005で生成された前景画像を合成することで、仮想視点画像を生成する。なお、レンダリングモードとしてIBRを用いると、MBRによりレンダリングするときに用いられる撮影画像(即ち、三次元モデルを生成するために用いられる撮影画像)よりも少ない撮影画像に基づいて、仮想視点画像を生成することができる。その他、補足として、レンダリング部03006は、上述のMBRとIBR以外のレンダリング手法を用いることもできる。
IBR is a technique for generating a virtual viewpoint image that reproduces the appearance from a virtual viewpoint by transforming and synthesizing an input image group obtained by photographing a target scene from a plurality of viewpoints. In this embodiment, when IBR is used as a rendering mode, a background image viewed from a virtual viewpoint is generated based on a background texture model, and a foreground image generated by the virtual viewpoint foreground
レンダリングモード管理部03014は、仮想視点画像の生成に用いられる生成方式(即ち、レンダリングモード)を決定し、その決定した結果を保持する。本実施形態では、レンダリングモード管理部03014は、複数のレンダリングモードからレンダリングに用いるレンダリングモードを決定する。
The rendering
そして、このレンダリングモードの決定は、データ受信部03001により取得された情報に基づいて実行される。例えば、レンダリングモード管理部03014は、取得された情報から特定されるカメラの数が閾値以下である場合に、仮想視点画像の生成に用いられる生成方式をIBRに決定する。このように、カメラの数が少ない場合には、IBRを用いることで、MBRを用いた場合の三次元モデルの精度の低下による仮想視点画像の画質低下を回避することができる。
The rendering mode is determined based on information acquired by the
他方、レンダリングモード管理部03014は、取得された情報から特定されるカメラの数が閾値より多い場合に、仮想視点画像の生成に用いられる生成方式をMBRに決定する。このように、カメラの数が多い場合には、MBRを用いて仮想視点画像を生成することで、視点の指定可能範囲を拡張することができる。
On the other hand, when the number of cameras specified from the acquired information is greater than the threshold, the rendering
なお、レンダリングモード管理部03014は、例えば、撮影から画像出力までの許容される処理遅延時間の長短に基づいて、生成方式(即ち、レンダリングモード)を決定してもよい。このとき、遅延時間が長くても視点の自由度を優先する場合はMBR、遅延時間が短いことを要求する場合はIBRを用いる。
Note that the rendering
また、例えば、コントローラ300やエンドユーザ端末190が視点の高さを指定可能であることを示す情報をデータ受信部03001が取得した場合、レンダリングモード管理部03014は、仮想視点画像の生成に用いられる生成方式をMBRに決定する。これにより、生成方式がIBRであることに起因して、ユーザによる視点の高さの変更要求が受け入れられなくなることを防ぐことができる。
For example, when the
このように、状況に応じて仮想視点画像の生成方式を決定することで、適切な生成方式で仮想視点画像を生成することができる。また、複数のレンダリングモードを要求に応じて切り替え可能な構成にすることで(即ち、システムを柔軟に構成することで)、本発明をスタジアム以外の被写体にも容易に適用することができる。 Thus, by determining the generation method of the virtual viewpoint image according to the situation, the virtual viewpoint image can be generated by an appropriate generation method. In addition, by adopting a configuration in which a plurality of rendering modes can be switched as required (that is, by flexibly configuring the system), the present invention can be easily applied to subjects other than the stadium.
なお、レンダリングモード管理部03014が保持するレンダリングモードは、システムに予め設定された方式であってもよい。また、仮想カメラ操作UI330やエンドユーザ端末190を操作するユーザがレンダリングモードを任意に設定できるようにしてもよい。その他、レンダリングモード管理部03014が決定する仮想視点画像の生成方式はレンダリングの方式に必ずしも限られず、レンダリングモード管理部03014は仮想視点画像を生成するためのレンダリング以外の処理の方式を決定することもできる。
Note that the rendering mode held by the rendering
仮想視点音声生成部03007は、仮想カメラパラメータに基づいて、仮想視点において聞こえる音声(音声群)を生成する。合成部03008は、レンダリング部03006で生成された画像群と仮想視点音声生成部03007で生成された音声を合成して仮想視点コンテンツを生成する。
The virtual viewpoint
画像出力部03009は、コントローラ300とエンドユーザ端末190にEthernet(登録商標)を用いて仮想視点コンテンツを出力する。なお、外部への伝送手段はEthernet(登録商標)に限定されるものではなく、SDI、DisplayPort、及びHDMI(登録商標)等の信号伝送手段を用いてもよい。また、バックエンドサーバ270は、レンダリング部03006で生成された仮想視点画像(即ち、音声を含まない仮想視点画像)を出力してもよい。
The image output unit 0309 outputs virtual viewpoint content to the
前景オブジェクト決定部03010は、仮想カメラパラメータと前景三次元モデルに含まれる前景オブジェクトの空間上の位置を示す前景オブジェクトの位置情報から、表示される前景オブジェクト群を決定して、前景オブジェクトリストを出力する。即ち、前景オブジェクト決定部03010は、仮想視点の画像情報を物理的なカメラ112にマッピングする処理を実行する。
The foreground
なお、本実施形態では、レンダリングモード管理部03014で決定されるレンダリングモードに応じて、マッピングする処理を実行する。そのため、複数の前景オブジェクトを決定する制御部が前景オブジェクト決定部03010内部に実装され、レンダリングモードと連動して制御を行う。
In the present embodiment, mapping processing is executed in accordance with the rendering mode determined by the rendering
要求リスト生成部03011は、指定時間の前景オブジェクトリストに対応する前景画像群と前景三次元モデル群、及び背景画像と音声データをデータベース250に要求するための要求リストを生成する。なお、前景画像群と前景三次元モデル群に関しては、仮想視点を考慮して選択されたデータがデータベース250に要求されるが、背景画像と音声データに関しては、そのフレームに関する全てのデータがデータベース250に要求される。バックエンドサーバ270の起動後、背景メッシュモデルが取得されるまで背景メッシュモデルの要求リストが生成される。
The request
要求データ出力部03012は、入力された要求リストに基づいて、データベース250に対してデータ要求のコマンドを出力する。背景メッシュモデル管理部03013は、データベース250から受信した背景メッシュモデルを記憶する。
The request
なお、本実施形態では、バックエンドサーバ270が仮想視点画像の生成方式の決定と仮想視点画像の生成の両方を実行する仕様として説明するが、必ずしもこれに限定されない。したがって、バックエンドサーバ270は、仮想視点画像の生成方式を決定することなく、入力された生成方式を示す情報に基づいて、仮想視点画像を生成してもよい。その場合、例えば、フロントエンドサーバ230が、複数のカメラ112に関する情報や仮想視点画像の生成に係る視点を指定する装置から出力される情報等に基づいて、仮想視点画像の生成に用いられる生成方式を決定する。フロントエンドサーバ230は、カメラ112による撮影に基づく画像データをデータベース250に、また、決定した生成方式を示す情報をバックエンドサーバ270に出力する。そして、バックエンドサーバ270は、フロントエンドサーバ230が出力した生成方式を示す情報に基づいて、仮想視点画像を生成する。
In the present embodiment, the back-
このように、フロントエンドサーバ230が生成方式を決定することで、決定された方式とは別の方式での画像生成のためのデータをデータベース250やバックエンドサーバ270が処理することによる処理負荷を低減できる。補足として、本実施形態のように、バックエンドサーバ270が生成方式を決定する場合、データベース250は複数の生成方式に対応可能なデータを保持するため、複数の生成方式の各々に対応する複数の仮想視点画像の生成が可能となる。以上のように、システムを構成することにより、複数のカメラで取得された撮影画像から所望の仮想視点画像を生成することができる。
As described above, when the front-
次に、カメラアダプタ120における符号量制御処理について説明する。なお、この符号量制御処理は、画像処理システムにおける伝送路に即した符号量となるように、個々の視点の符号化処理を適切に決定するために実行される。
Next, the code amount control process in the
以下、図9のフローチャートを用いて、符号量制御処理の手順を説明する。なお、以下の説明では、目標符号量という用語を、画像処理システムにおいて発生するデータをリアルタイムで伝送するために個々のカメラにおいて設定される符号量という意味で用いる。具体的には、本実施形態において、目標符号量は、伝送路の通信帯域中で映像を伝送するために、使用が可能な帯域を視点数(カメラ数)で除算した値である。即ち、画質の指標となる目標符号量は、伝送路の伝送容量に基づいて設定され得る。 Hereinafter, the procedure of the code amount control process will be described with reference to the flowchart of FIG. In the following description, the term target code amount is used to mean a code amount set in each camera in order to transmit data generated in the image processing system in real time. Specifically, in the present embodiment, the target code amount is a value obtained by dividing a usable band by the number of viewpoints (the number of cameras) in order to transmit video in the communication band of the transmission path. That is, the target code amount serving as an index of image quality can be set based on the transmission capacity of the transmission path.
ステップS901において、カメラアダプタ120は、視野重複マップを照合し、前景毎に、自身を捕捉しているカメラの数を取得する。ここで、視野重複マップは、処理中のカメラにおける視野において、他のカメラの視野がどれだけ重複しているか(即ち、重複度合い)を示すマップのことである。
In step S901, the
以下、視野重複マップに関して、図10を用いて説明する。図10(a)は視野重複マップを説明するための図であり、図10(a)では、カメラを4台配置し、各々のカメラの視野を模式的に示している。なお、説明を容易にするため、カメラを4台としているが、実際には、これよりも多くのカメラを用いる方が、仮想視点の画質という観点で望ましい。 Hereinafter, the visual field overlap map will be described with reference to FIG. FIG. 10A is a diagram for explaining a field-of-view overlap map. In FIG. 10A, four cameras are arranged, and the field of view of each camera is schematically shown. For ease of explanation, the number of cameras is four, but in reality, using more cameras than this is desirable from the viewpoint of the image quality of the virtual viewpoint.
図10(a)に示されるように、スタジアムのフィールド上では、領域によって視野に入っているカメラの数(以下、視野重複度)が異なる。そして、この視野重複度を、各カメラの視野に基づいてマッピングしたものが視野重複マップである。このように、視野重複マップは、スタジアムの三次元形状とカメラ配置の相対的な位置関係に基づいて、作成(取得)される。なお、本実施形態では、視野重複マップを事前データとして作成し、制御ステーション310から対象となるカメラアダプタに各々、予め配信するものとする。
As shown in FIG. 10A, on the stadium field, the number of cameras in the field of view (hereinafter referred to as field overlap) differs depending on the area. A visual field overlap map is obtained by mapping the degree of visual field overlap based on the visual field of each camera. As described above, the visual field overlap map is created (acquired) based on the relative positional relationship between the three-dimensional shape of the stadium and the camera arrangement. In the present embodiment, it is assumed that a visual field overlap map is created as advance data and is distributed in advance from the
図10(b)は、図10(a)のCam3(カメラ3)における視野重複マップであり、マップ内の数字は領域の重複度を示している。ここで、例えば、図10(c)に示されるように、前景Aが存在した場合、前景Aにおける重複度は2であり、また、前景B、Cにおける重複度は4である。 FIG. 10B is a visual field overlap map in Cam3 (camera 3) of FIG. 10A, and the numbers in the map indicate the overlapping degree of the regions. Here, for example, as shown in FIG. 10C, when the foreground A exists, the degree of overlap in the foreground A is 2, and the degree of overlap in the foregrounds B and C is 4.
このように、各カメラの視野において視野重複マップを作成し、前景がマップ上のどこに位置するかを判定することによって、その前景がいくつのカメラによって捕捉されているかを判定することができる。即ち、この場合、カメラアダプタ120は、前景となるオブジェクトを撮影するカメラ台数を導出する処理(カメラ台数導出処理)を実行する。なお、この判定に使用する前景の座標として、前景の足元の座標を用いることが望ましい。その場合、例えば、前景の外接矩形における下辺の中点を用いる等すればよい。但し、足元にオクルージョンが発生することが予想される場合には、外接矩形上辺中点から、被写体の大きさ(例えば、人物であれば170cm等)に基づいて、足元の座標を算出するようにしてもよい。
In this way, it is possible to determine how many cameras the foreground is captured by creating a field-of-view overlap map in the field of view of each camera and determining where the foreground is located on the map. In other words, in this case, the
その他、前景の座標を決定するにあたり、三次元モデル情報生成部06132で生成される三次元モデルに関する画像情報を用いてもよい。上述のように、三次元モデルに関する画像情報を生成する過程で、例えば、ステレオカメラの原理等を適用することから(即ち、前景からカメラ112までの距離情報を処理することから)、前景の座標を決定(導出)することができる。また、視野重複マップにおいて前景が複数の領域に跨るような場合、その領域内で最も小さい重複度を用いるようにする。
In addition, when determining the coordinates of the foreground, image information regarding the three-dimensional model generated by the three-dimensional model
ステップS902において、カメラアダプタ120は、処理対象として着目するフレームが撮影を開始した1枚目のフレーム(即ち、初期フレーム)であるか否かを判定する。そして、カメラアダプタ120は、処理対象として着目するフレームが撮影を開始した1枚目のフレームであると判定すると(S902 Yes)、処理をステップS903に移行させる。また、処理対象として着目するフレームが撮影を開始した1枚目のフレームではないと判定すると(S902 No)、処理をステップS905に移行させる。
In step S902, the
カメラアダプタ120は、処理をステップS903に移行させると、接続されるカメラ112に写っている前景の画素数を、視野重複度毎に取得(計測)する。具体的には、例えば、図10(c)では、視野重複度1の画素数は前景Eの画素数、視野重複度2の画素数は前景Aの画素数、視野重複度3の画素数は前景Dの画素数、視野重複度4の画素数は前景Bの画素数と前景Cの画素数の合算値を計測する。
When the process proceeds to step S903, the
カメラアダプタ120は、前景の画素数を取得すると、ステップS904において、各々の前景に対して、符号化時に適用する量子化パラメータを決定する。なお、カメラアダプタ120は、ステップS904の処理を実行する上で、図11(a)に示される量子化パラメータ・圧縮率対応テーブルと、図11(b)に示される視野重複度・量子化パラメータセット対応テーブルを用いる。以下、図11を用いて、内容を補足する。
When the
先ず、量子化パラメータ・圧縮率対応テーブルについて説明する。この量子化パラメータ・圧縮率対応テーブルは、量子化パラメータに対応する圧縮率を示すテーブルであり、量子化パラメータの設定時に所望の符号量となるか否かを予測するためのテーブルである。なお、この量子化パラメータ・圧縮率対応テーブルは、予めシミュレーションや予備実験等で取得された結果に基づいて作成される。 First, the quantization parameter / compression ratio correspondence table will be described. This quantization parameter / compression rate correspondence table is a table indicating the compression rate corresponding to the quantization parameter, and is a table for predicting whether or not a desired code amount is obtained when the quantization parameter is set. The quantization parameter / compression ratio correspondence table is created based on results obtained in advance through simulations, preliminary experiments, or the like.
図11(a)は、量子化パラメータ・圧縮率対応テーブルの一例である。図11(a)において、qpは量子化パラメータであり、brは圧縮率である。図11(a)に示されるように、例えば、量子化パラメータが100(qp=100)の場合は圧縮率が70%(br=0.70)、量子化パラメータが50(qp=50)の場合は圧縮率が35%(br=0.35)となっている。なお、以降では、量子化パラメータqpに対応する圧縮率をbr[qp]と記載する。 FIG. 11A is an example of a quantization parameter / compression ratio correspondence table. In FIG. 11A, qp is a quantization parameter, and br is a compression rate. As shown in FIG. 11A, for example, when the quantization parameter is 100 (qp = 100), the compression rate is 70% (br = 0.70), and the quantization parameter is 50 (qp = 50). In this case, the compression rate is 35% (br = 0.35). Hereinafter, the compression rate corresponding to the quantization parameter qp is referred to as br [qp].
次に、視野重複度・量子化パラメータセット対応テーブルについて説明する。この視野重複度・量子化パラメータセット対応テーブルは、処理中のカメラにおいて発生する符号量を制御する時に使用する。図11(b)は、視野重複度・量子化パラメータセット対応テーブルの一例である。dnは視野重複度であり、qlは量子化パラメータセットの段階(以下、量子化レベル)である。図11(b)に示されるように、例えば、量子化レベルを2(ql=2)に設定した場合、視野重複度が10(dn=10)の量子化パラメータqpは60、また、視野重複度が1(dn=1)の量子化パラメータqpは100となる。このように、量子化パラメータは、視野重複度と逆相関するように設定される。即ち、その前景を捕捉しているカメラの台数が少ない前景画像から高い画質になるように画質設定される。 Next, the field overlap / quantization parameter set correspondence table will be described. This view overlap / quantization parameter set correspondence table is used to control the amount of code generated in the camera being processed. FIG. 11B is an example of a table of visual field overlap / quantization parameter set correspondence. dn is a visual field overlap degree, and ql is a stage of a quantization parameter set (hereinafter referred to as a quantization level). As shown in FIG. 11B, for example, when the quantization level is set to 2 (ql = 2), the quantization parameter qp with a field overlap degree of 10 (dn = 10) is 60, and the field overlap is also shown. The quantization parameter qp with a degree of 1 (dn = 1) is 100. As described above, the quantization parameter is set so as to be inversely correlated with the visual field overlap degree. That is, the image quality is set so that the foreground image has a high image quality from the foreground image with a small number of cameras capturing the foreground.
なお、この視野重複度・量子化パラメータセット対応テーブルは、システムのポリシーに基づいて、シミュレーションや予備実験で仮想視点コンテンツの画質を確認しながら作成すればよい。また、以降では、視野重複度dn、量子化レベルqlに対応する量子化パラメータをqp[dn、ql]と記載する。 Note that this field-of-view overlap / quantization parameter set correspondence table may be created while confirming the image quality of the virtual viewpoint content through simulation or preliminary experiment based on the system policy. Further, hereinafter, the quantization parameter corresponding to the visual field overlap degree dn and the quantization level ql is described as qp [dn, ql].
本実施形態では、目標符号量を達成する最小の量子化レベルを探索することで、各々の前景の量子化パラメータを決定する。この各々の前景の量子化パラメータを決定する処理に関して、図12を用いて、説明を補足する。 In the present embodiment, the foreground quantization parameter is determined by searching for the minimum quantization level that achieves the target code amount. The processing for determining each foreground quantization parameter will be supplemented by using FIG.
ステップS1201において、カメラアダプタ120は、カレント量子化レベルcurQLを0に設定する(curQL=0)。次に、ステップS1202において、カメラアダプタ120は、カレント量子化レベルcurQLに対応付けられている、視野重複度毎の量子化パラメータ(量子化パラメータセット)を取得する。
In step S1201, the
ステップS1203において、カメラアダプタ120は、上述の図9のステップS903で取得した視野重複度毎の前景画素数と、カレント量子化レベルから、予測符号量を下式に基づいて算出する。なお、下式において、カメラ台数をN、視野重複度に対応する前景画素数をfpix[dn]とする。
In step S1203, the
ステップS1204において、カメラアダプタ120は、ステップS1203で算出した予測符号量が、目標符号量より小さいか否かを判定する。そして、カメラアダプタ120は、ステップS1203で算出した予測符号量が目標符号量より小さい場合は処理をステップS1205に移行させ、ステップS1203で算出した予測符号量が目標符号量以上である場合は処理をステップS1206に移行させる。
In step S1204, the
処理をステップS1205に移行させると、カメラアダプタ120は、各々の前景に対して、その視野重複度に応じて量子化レベルcurQLに対応する量子化パラメータを割り当てる。また、処理をステップS1206に移行させると、カメラアダプタ120は、カレント量子化レベルcurQLをカウントアップする。以上の処理を実行することで、前景毎の量子化パラメータを決定することができる。
When the process proceeds to step S1205, the
ここで、再度、図9のフローチャートに戻り、上述のように、処理対象として着目するフレームが撮影を開始した1枚目のフレームではないと判定すると(S902 No)、処理をステップS905に移行させる。ステップS905において、カメラアダプタ120は、処理中のカメラにおいて、前フレームの処理後に決定された量子化レベルに基づいて、前景毎の量子化パラメータを決定する。
Here, returning to the flowchart of FIG. 9 again, as described above, when it is determined that the frame of interest as the processing target is not the first frame from which shooting was started (No in S902), the process proceeds to step S905. . In step S905, the
ステップS906において、カメラアダプタ120は、それまでの処理ステップまでで取得した前景毎の量子化パラメータを用いて、符号化処理を実行する(即ち、符号化データを生成する)。このステップS906における符号化処理のアルゴリズムは、量子化パラメータに基づいて量子化を実行可能なものであればよく、例えば、JPEGやJPEG2000等を用いる。
In step S <b> 906, the
ステップS907において、カメラアダプタ120は、目標符号量と、実際に出力された符号量(以下、実符号量)との差分ΔSを算出する。即ち、下式に基づいて、差分ΔSを算出する。
In step S907, the
ステップS908において、カメラアダプタ120は、差分ΔSの絶対値が閾値Tより大きいか否かを判定する。差分ΔSの絶対値が閾値Tより大きいと判定すると(S908 Yes)、処理をステップS909に移行させ、差分ΔSの絶対値が閾値T以下であると判定すると(S908 No)、図9の処理を終了する。
In step S908, the
ステップS909において、カメラアダプタ120は、量子化レベルを更新する。このステップS909における処理は、実符号量と目標符号量との差分を次のフレームで吸収させるために実行される。具体的には、差分ΔSが閾値Tよりも大きい場合、即ち、実符号量が目標符号量を所定の幅T以上、上回る場合は量子化レベルをカウントアップする(+1する)。これにより、次のフレームにおいて符号量を減少させる方向に調整することができる。また、差分ΔSが閾値−Tよりも小さい場合、即ち、実符号量が目標符号量を所定の幅T以上、下回る場合は量子化レベルをカウントダウンする(−1する)。これにより、次のフレームにおいて符号量を増加させる方向に調整することができる。
In step S909, the
但し、この量子化レベルを更新する処理は、予め規定した範囲(図11では、0−6)内において、量子化レベルを超えないように制限した上で実行される。なお、閾値Tに関して、カメラアダプタ120に備えられているバッファが比較的大きい場合には大きく、そうでない場合には小さく設定される。カメラアダプタ120は、量子化レベルを更新すると、図9の処理を終了する。
However, the process of updating the quantization level is executed within a predetermined range (0-6 in FIG. 11) while limiting so as not to exceed the quantization level. It should be noted that the threshold value T is set to be large when the buffer provided in the
以上のように処理することで、前フレームでの処理結果に基づいて、視野重複度が小さいものの画質劣化を抑制しながら符号量の制御ができるので、仮想視点コンテンツに大きな画質劣化を発生させずにリアルタイム伝送を実現することができる。 By processing as described above, it is possible to control the amount of code while suppressing image quality deterioration even though the degree of visual field overlap is small based on the processing result in the previous frame, so that large image quality deterioration does not occur in the virtual viewpoint content. Real-time transmission can be realized.
(第2の実施形態)
上述の第1の実施形態では、処理の高速化のため、図9に示すように処理対象とするフレームにおける量子化レベルを、前フレームの処理で事前に決定された量子化レベルに基づいて決定した。
(Second Embodiment)
In the first embodiment described above, in order to speed up the processing, as shown in FIG. 9, the quantization level in the frame to be processed is determined based on the quantization level determined in advance in the processing of the previous frame. did.
但し、量子化レベルに関して、フレーム毎に、視野重複度毎の前景画素数に基づいて予測符号量を算出し、その予測符号量に基づいて量子化パラメータを決定するようにしてもよい。このように構成することにより、処理中のフレームの内容(即ち、視野重複度毎の前景画素数)に基づいた量子化レベルの決定ができるので、実符号量をより目標符号量に近付けることができる。 However, with respect to the quantization level, the prediction code amount may be calculated for each frame based on the number of foreground pixels for each field overlap, and the quantization parameter may be determined based on the prediction code amount. With this configuration, it is possible to determine the quantization level based on the contents of the frame being processed (that is, the number of foreground pixels for each visual field overlap), so that the actual code amount can be made closer to the target code amount. it can.
(第3の実施形態)
上述の第1の実施形態では、カメラ毎に目標符号量を予め設定しておき、その目標符号量と実符号量との差分ΔSの絶対値が閾値Tより大きいか否かに基づいて、次のフレームの量子化レベル(即ち、符号化パラメータ)を設定した。但し、この第1の実施形態では、伝送ライン上の多くのカメラにおいて実符号量が目標符号量を超過するような場合、伝送に遅延が生じることが想定される。
(Third embodiment)
In the first embodiment described above, a target code amount is set in advance for each camera, and the following is performed based on whether or not the absolute value of the difference ΔS between the target code amount and the actual code amount is larger than the threshold T. The quantization level (that is, the encoding parameter) of each frame is set. However, in the first embodiment, when the actual code amount exceeds the target code amount in many cameras on the transmission line, it is assumed that transmission is delayed.
そこで、本実施形態では、処理中のカメラをv番目のカメラとした場合、上流(即ち、1〜v−1番目まで)のカメラアダプタ120により出力された内容に応じて、処理中のカメラの符号化パラメータを制御する。以下、本実施形態における符号量制御処理に関して、図13を用いて説明する。なお、システムの全体構成、及び符号量制御処理以外の処理は、第1の実施形態と同様であり、また、符号量制御処理に関しては、上述の第2の実施形態を前提に、フレーム毎に、視野重複度毎の前景画素数に基づいて、量子化パラメータを決定する。
Therefore, in this embodiment, when the camera being processed is the v-th camera, the camera being processed depends on the content output by the
先ず、ステップ1301において、カメラアダプタ120は、上流カメラから伝送されてくる積算目標符号量の差分ΔUSを取得し、その絶対値が閾値T2より大きいか否かを判定する。
First, in step 1301, the
ここで、積算目標符号量は、上述のように、処理中のカメラをv番目のカメラとした場合、上流(即ち、1〜v−1番目まで)に位置するカメラ全ての実符号量から、基本符号量を上流に位置するカメラの台数で乗算した値を減算することで算出される。なお、基本符号量とは、伝送路の通信帯域内で映像を伝送するために使用可能な帯域を視点数(カメラの台数)で除算した値である。 Here, as described above, when the camera being processed is the v-th camera, the integration target code amount is obtained from the actual code amounts of all the cameras located upstream (that is, from 1 to v-1). It is calculated by subtracting a value obtained by multiplying the basic code amount by the number of cameras located upstream. The basic code amount is a value obtained by dividing a band that can be used for transmitting video within the communication band of the transmission path by the number of viewpoints (the number of cameras).
補足として、処理中のカメラが最上流の場合、積算目標符号量の差分ΔUSを0とする。また、閾値T2は、カメラアダプタ120に備えられているバッファの大きさに応じて決定すればよい。そして、カメラアダプタ120は、積算目標符号量の差分ΔUSの絶対値が閾値T2よりも大きいと判定された場合には、処理をステップS1302に移行させ、そうでない場合には、処理をステップS1303に移行させる。
As a supplement, when the camera being processed is the most upstream, the difference ΔUS in the integrated target code amount is set to zero. The threshold T2 may be determined according to the size of the buffer provided in the
ステップ1302において、処理中のカメラにおける目標符号量を、上流カメラまでの積算目標符号量であるΔUSを考慮し、下式に基づいて決定する。 In step 1302, the target code amount in the camera being processed is determined based on the following equation in consideration of ΔUS, which is the cumulative target code amount up to the upstream camera.
上式に基づいて目標符号量を決定することで、上流カメラまでで使い過ぎた帯域分だけ処理中のカメラの符号量を減らすことを試みる。また、積算目標符号量の差分ΔUSの絶対値が閾値T2以下であると判定された場合(S1301 No)、ステップS1303において、カメラアダプタ120は、第1の実施形態と同様に、処理中のカメラの目標符号量を下式に基づいて設定する。
By determining the target code amount based on the above equation, an attempt is made to reduce the code amount of the camera being processed by the band that has been used up to the upstream camera. Also, when it is determined that the absolute value of the difference ΔUS in the accumulated target code amount is equal to or less than the threshold T2 (No in S1301), in step S1303, the
ステップS1304において、カメラアダプタ120は、視野重複マップを照合し、前景毎に、自身を捕捉しているカメラの数(即ち、視野重複度)を取得する。即ち、ステップS1304における処理は、第1の実施形態における図9のステップS901と同様の処理である。
In step S1304, the
ステップS1305において、カメラアダプタ120は、接続されるカメラ112に写っている前景の画素数を、視野重複度毎に取得(計測)する。即ち、ステップS1305における処理は、第1の実施形態における図9のステップS903と同様の処理である。
In step S1305, the
ステップS1306において、カメラアダプタ120は、各前景に対し、符号化時に適用する量子化のパラメータを決定する。即ち、ステップS1306における処理は、第1の実施形態における図9のステップS904と同様の処理である。
In step S1306, the
ステップS1307において、カメラアダプタ120は、それまでの処理ステップまでで取得した前景毎の量子化パラメータを用いて、符号化処理を実行する。即ち、ステップS1307における処理は、第1の実施形態における図9のステップS906と同様の処理である。
In step S1307, the
ステップS1308において、カメラアダプタ120は、下式に基づいて、積算目標符号量の差分ΔUSを更新する。
In step S1308, the
上式に基づいて、積算目標符号量の差分ΔUSを更新することで、処理中のカメラにおける目標符号量と実符号量との差分を積算目標符号量の差分ΔUSに反映し、下流に渡すことができる。カメラアダプタ120は、ステップS1308における処理を実行することで、符号量制御処理を終了させる。
Based on the above formula, by updating the difference ΔUS in the accumulated target code amount, the difference between the target code amount and the actual code amount in the camera being processed is reflected in the difference ΔUS in the accumulated target code amount and passed downstream. Can do. The
以上のような構成とすることで、直前のカメラまでで発生した、目標符号量と実符号量との差分を、処理中のカメラで吸収することができる。これにより、デイジーチェーントータルで伝送路の帯域内となるように符号量を制御することができるため、遅延の発生しない伝送が可能となる。 With the configuration as described above, the difference between the target code amount and the actual code amount generated up to the immediately preceding camera can be absorbed by the camera being processed. As a result, the amount of code can be controlled so that the total daisy chain is within the bandwidth of the transmission path, so that transmission without delay is possible.
(第4の実施形態)
上述の第1の実施形態では、現在処理中のフレームにおいて、実符号量が目標符号量と比較して過大となった場合に、次のフレームでその差分を補うように符号化処理を実行した。
(Fourth embodiment)
In the first embodiment described above, when the actual code amount is excessive compared with the target code amount in the frame currently being processed, the encoding process is performed so as to compensate for the difference in the next frame. .
但し、符号化処理を実行する上で処理時間に余裕がある場合には、現在処理中のフレームにおいて、量子化レベルを上げて再度、符号化処理を実行することで、実符号量を目標符号量に近付けるようにしてもよい。このように符号化処理を実行することで、カメラアダプタ120の送信待ち用バッファを節約することができる。
However, if there is enough processing time to execute the encoding process, the actual code amount is set to the target code by increasing the quantization level and executing the encoding process again in the frame currently being processed. You may make it approach the quantity. By executing the encoding process in this way, the transmission waiting buffer of the
(第5の実施形態)
上述の第1の実施形態では、事前データとして、撮影前にシミュレーションを実行することで、視野重複マップを作成した。このように事前データとして視野重複マップを作成することは、撮影前に注視点が定まっており、カメラを固定的に設置しているシステムにおいて有効である。
(Fifth embodiment)
In the first embodiment described above, a field-of-view overlap map is created by executing a simulation before photographing as the preliminary data. Creating a field-of-view overlap map as prior data in this way is effective in a system in which a gazing point is determined before shooting and a camera is fixedly installed.
但し、例えば、同じスタジアムで複数の競技を撮影する場合等、注視点を変更することがある。この場合、撮影前のキャリブレーション実行時に視野重複マップを更新することで、本発明を実施することが可能となる。また、複数台のカメラを同期して動かすことができるシステム等の場合は、動的キャリブレーションの実行時に視野重複マップを都度更新するように、画像処理システムを構成すればよい。 However, the gaze point may be changed, for example, when shooting a plurality of competitions at the same stadium. In this case, the present invention can be implemented by updating the visual field overlap map at the time of executing calibration before photographing. In the case of a system or the like that can move a plurality of cameras in synchronization, the image processing system may be configured so that the visual field overlap map is updated each time dynamic calibration is executed.
(第6の実施形態)
上述の第1の実施形態では、視野重複度・量子化パラメータセット対応テーブルを、所望の符号量に応じた量子化を実行するためのパラメータセットとして説明した。但し、帯域がより逼迫した場合を想定して「送信しない」という選択肢を設けてもよい。
(Sixth embodiment)
In the first embodiment described above, the field overlap / quantization parameter set correspondence table has been described as a parameter set for performing quantization according to a desired code amount. However, an option of “not transmitting” may be provided assuming that the band is more tight.
この場合、図14に示されるように、視野重複度・量子化パラメータセット対応テーブルに関して、第1の実施形態と同様に、視野重複度の高い方から低い方に量子化パラメータが段階的に高くなるように適用される。加えて、上述のように、帯域がより逼迫した場合を想定して、視野重複度が10(dn=10)、量子化レベルが7(ql=7)の場合に、データを送信しないように「送信しない」が設定される。つまり、視野重複度が所定の値以上(即ち、その前景を捕捉しているカメラが所定の台数以上)である場合に、データを符号化しないように設定される。 In this case, as shown in FIG. 14, with respect to the field overlap / quantization parameter set correspondence table, as in the first embodiment, the quantization parameter increases stepwise from the one with the highest field overlap to the lower. Applied to be. In addition, as described above, assuming that the bandwidth is more tight, data transmission is not performed when the field overlap is 10 (dn = 10) and the quantization level is 7 (ql = 7). “Do not send” is set. That is, it is set so that the data is not encoded when the visual field overlap degree is equal to or greater than a predetermined value (that is, a predetermined number of cameras capturing the foreground).
なお、量子化パラメータの設定に関して「送信しない」と設定した場合には、当該領域の視野重複度が「1台」少なくなることを意味する。即ち、処理中のカメラにおいて、量子化パラメータが「送信しない」に設定された場合には、信号として後続のカメラに伝達され、さらに、その後続のカメラにおいて、当該領域に関して、視野重複度を1台分減算した上で処理が実行される。補足として、この場合、その他の前景画像に関して、例えば、視野重複度が10(dn=10)、かつ量子化レベルが7(ql=7)でない限り、その後続のカメラにおいて、視野重複度を減算する処理は行わない。また、このように処理することで、前景の最小符号量を0までスケールさせることができるため、符号量制御の範囲を拡張することできる。 Note that, when “not transmit” is set for the quantization parameter setting, it means that the field overlap of the area is reduced by “1”. That is, when the quantization parameter is set to “not transmit” in the camera being processed, the signal is transmitted to the subsequent camera as a signal, and the visual field overlap degree is set to 1 for the region in the subsequent camera. Processing is performed after subtracting the number of units. As a supplement, in this case, with respect to the other foreground images, for example, unless the field overlap is 10 (dn = 10) and the quantization level is 7 (ql = 7), the field overlap is subtracted in the subsequent camera. No processing is performed. Further, by performing processing in this way, the minimum code amount of the foreground can be scaled up to 0, so that the range of code amount control can be expanded.
(第7の実施形態)
上述の第1の実施形態では、伝送ライン上の全てのカメラで撮影した画像(映像)を符号量制御の対象とした。但し、仮想視点コンテンツの画質上、重要な位置にあるカメラ(例えば、注視点を軸とし、所定の角度毎のカメラ等)で撮影した映像、又は望遠カメラ等で撮影した映像を符号量制御の対象としないように、画像処理システムを構成することもできる。
(Seventh embodiment)
In the first embodiment described above, an image (video) captured by all cameras on the transmission line is the target of code amount control. However, code amount control of video shot with a camera at an important position in the image quality of the virtual viewpoint content (for example, a camera shot at a predetermined angle with the gazing point as an axis, or a video shot with a telephoto camera, etc.) The image processing system can be configured not to be a target.
なお、この場合、事前データとして作成する視野重複マップに、仮想視点コンテンツの画質上、重要な位置にあるカメラの視野を含めないようにする。そして、符号化時には、そのカメラの符号量制御処理をスキップし、符号化処理のみを実行するようにすればよい。このように構成することにより、仮想視点コンテンツの画質上、重要な視点のカメラで撮影した映像を劣化させることなく伝送し、仮想視点コンテンツを生成することが可能となる。 In this case, the visual field overlap map created as the pre-data does not include the visual field of the camera at an important position in terms of the image quality of the virtual viewpoint content. Then, at the time of encoding, it is only necessary to skip the code amount control process of the camera and execute only the encoding process. With this configuration, it is possible to transmit a video captured by a camera with an important viewpoint in terms of the image quality of the virtual viewpoint content without deterioration, and generate a virtual viewpoint content.
(その他の実施形態)
上述の実施形態では、カメラアダプタ間を一本の伝送路で数珠繋ぎに接続する例を説明したが、本発明は必ずしもこれに限定されず、その他のトポロジーにおいても適用することができる。例えば、バス型においてもデイジーチェーンと同様の課題が発生するため、この場合、同様に近接するカメラアダプタの情報を取得しながら符号量の制御を行えばよい。
(Other embodiments)
In the above-described embodiment, the example in which the camera adapters are connected in a daisy chain with one transmission path has been described. However, the present invention is not necessarily limited to this, and can be applied to other topologies. For example, a problem similar to that of a daisy chain also occurs in the bus type. In this case, the code amount may be controlled while acquiring information on camera adapters that are close to each other.
また、スター型の場合には、近接するカメラアダプタ間は直接、接続されていないが、近接するカメラアダプタの画質等、必要な情報はフロントエンドサーバからそれぞれ取得するように、画像処理システムを構成すればよい。 In the case of the star type, the adjacent camera adapters are not directly connected, but the image processing system is configured so that necessary information such as the image quality of the adjacent camera adapters is obtained from the front-end server. do it.
また、上述の実施形態において、符号化を行う際のパラメータを設定することで画質を設定する例を説明したが、必ずしもこれに限定されない。例えば、解像度や画像のサイズを縮小したり、色の階調値を減らしたりして画質を設定してもよい。また、所定のオブジェクトを撮影するカメラの台数を示す情報として、視野重複マップを用いる例を説明したが、撮影対象となる3次元領域の座標とその座標を撮影可能なカメラの情報とを対応付けた情報等、他の情報を用いてもよい。 In the above-described embodiment, the example in which the image quality is set by setting the parameters for performing the encoding has been described, but the present invention is not necessarily limited thereto. For example, the image quality may be set by reducing the resolution or the image size or reducing the color gradation value. Moreover, although the example using a visual field duplication map was demonstrated as information which shows the number of the camera which image | photographs a predetermined object, the coordinate of the three-dimensional area | region used as imaging | photography object and the information of the camera which can image | photograph that coordinate are matched Other information such as information may be used.
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
112 カメラ
120 カメラアダプタ
180b ネットワーク
06130 画像処理部
112
Claims (20)
所定のオブジェクトを撮影しているカメラの台数を導出するカメラ台数導出手段と、
前記所定のオブジェクトを撮影しているカメラの台数に応じて、前記所定のオブジェクトを含む前景画像の画質を設定する画質設定手段と、
を備えることを特徴とする画像処理システム。 In an image processing system that transmits images taken by a plurality of cameras through a predetermined transmission path and generates a virtual viewpoint image,
Camera number deriving means for deriving the number of cameras shooting a predetermined object;
An image quality setting means for setting an image quality of a foreground image including the predetermined object in accordance with the number of cameras capturing the predetermined object;
An image processing system comprising:
前記画質設定手段は、前記所定のオブジェクトを撮影しているカメラの台数と前記前景画像の画質とが逆相関するように、前記前景画像の画質を設定することを特徴とする請求項1に記載の画像処理システム。 Encoding means for encoding the foreground image based on the image quality of the foreground image set by the image quality setting means;
2. The image quality setting unit sets the image quality of the foreground image so that the number of cameras that capture the predetermined object and the image quality of the foreground image are inversely correlated. Image processing system.
基本符号量を、前記伝送路の通信帯域における符号化データのための帯域を前記複数のカメラの台数で除算することで算出し、
積算目標符号量を、前記複数のカメラの一のカメラよりも上流に位置するカメラ全ての実符号量から、前記基本符号量を前記一のカメラよりも上流に位置するカメラの台数で乗算した値を減算することで算出し、
前記積算目標符号量が所定の閾値より大きい場合に、前記目標符号量を、前記基本符号量から前記積算目標符号量を減算することで算出することを特徴とする請求項8に記載の画像処理システム。 The encoding means includes
The basic code amount is calculated by dividing the band for encoded data in the communication band of the transmission path by the number of the plurality of cameras,
A value obtained by multiplying the integration target code amount by the actual code amount of all the cameras positioned upstream of one camera of the plurality of cameras by the number of cameras positioned upstream of the one camera. Is calculated by subtracting
9. The image processing according to claim 8, wherein when the integration target code amount is larger than a predetermined threshold, the target code amount is calculated by subtracting the integration target code amount from the basic code amount. system.
カメラ台数導出手段により、所定のオブジェクトを撮影しているカメラの台数を導出するカメラ台数導出ステップと、
画質設定手段により、前記所定のオブジェクトを撮影しているカメラの台数に応じて、前記所定のオブジェクトを含む前景画像の画質を設定する画質設定ステップと、
を含むことを特徴とする画像処理システムの制御方法。 An image processing system control method for transmitting images taken by a plurality of cameras through a predetermined transmission path and generating a virtual viewpoint image,
A camera number deriving step for deriving the number of cameras shooting a predetermined object by the camera number deriving means;
An image quality setting step of setting the image quality of the foreground image including the predetermined object according to the number of cameras that are shooting the predetermined object by the image quality setting means;
A control method for an image processing system.
所定のオブジェクトを撮影するカメラの台数を示す情報を取得する取得手段と、
前記取得手段により取得された前記情報が示すカメラの台数に基づいて、前記所定のオブジェクトを含む前景画像の画質を設定する画質設定手段と、
前記画質設定手段により設定された画質の前記前景画像を前記所定の伝送路において伝送する伝送手段と、
を備えることを特徴とする伝送装置。 In an image processing system for transmitting images taken by a plurality of cameras through a predetermined transmission path and generating a virtual viewpoint image, the transmission apparatus transmits the image to the predetermined transmission path.
Acquisition means for acquiring information indicating the number of cameras that photograph a predetermined object;
Image quality setting means for setting the image quality of the foreground image including the predetermined object based on the number of cameras indicated by the information acquired by the acquisition means;
Transmission means for transmitting the foreground image of the image quality set by the image quality setting means on the predetermined transmission path;
A transmission apparatus comprising:
前記伝送手段は、前記変更手段により画質を変更された前記前景画像を前記所定の伝送路において伝送することを特徴とする請求項15に記載の伝送装置。 A changing means for changing the image quality of the foreground image based on the image quality set by the image quality setting means;
16. The transmission apparatus according to claim 15, wherein the transmission unit transmits the foreground image whose image quality has been changed by the changing unit through the predetermined transmission path.
前記伝送手段は、前記変更手段により符号化された前記前景画像を前記所定の伝送路において伝送することを特徴とする請求項16に記載の伝送装置。 The changing means encodes the foreground image based on the image quality set by the image quality setting means,
17. The transmission apparatus according to claim 16, wherein the transmission unit transmits the foreground image encoded by the changing unit through the predetermined transmission path.
所定のオブジェクトを撮影するカメラの台数に基づいて、前記所定のオブジェクトを含む前景画像の画質を設定し、
設定された画質の前記前景画像を前記所定の伝送路において伝送することを特徴とする伝送方法。 An image transmission method in an image processing system for transmitting images taken by a plurality of cameras through a predetermined transmission path and generating a virtual viewpoint image,
Based on the number of cameras that shoot a predetermined object, set the image quality of the foreground image including the predetermined object,
A transmission method comprising transmitting the foreground image having a set image quality through the predetermined transmission path.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018020968A JP2019140483A (en) | 2018-02-08 | 2018-02-08 | Image processing system, image processing system control method, transmission device, transmission method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018020968A JP2019140483A (en) | 2018-02-08 | 2018-02-08 | Image processing system, image processing system control method, transmission device, transmission method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019140483A true JP2019140483A (en) | 2019-08-22 |
Family
ID=67694497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018020968A Pending JP2019140483A (en) | 2018-02-08 | 2018-02-08 | Image processing system, image processing system control method, transmission device, transmission method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019140483A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021200226A1 (en) * | 2020-03-30 | 2021-10-07 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
CN114097248A (en) * | 2019-12-30 | 2022-02-25 | 华为技术有限公司 | Video stream processing method, device, equipment and medium |
-
2018
- 2018-02-08 JP JP2018020968A patent/JP2019140483A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114097248A (en) * | 2019-12-30 | 2022-02-25 | 华为技术有限公司 | Video stream processing method, device, equipment and medium |
CN114097248B (en) * | 2019-12-30 | 2023-03-28 | 华为技术有限公司 | Video stream processing method, device, equipment and medium |
WO2021200226A1 (en) * | 2020-03-30 | 2021-10-07 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109275358B (en) | Method and apparatus for generating virtual images from an array of cameras having a daisy chain connection according to a viewpoint selected by a user | |
KR102357058B1 (en) | Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with transmission of foreground and background images at different frame rates | |
CN109565580B (en) | Information processing apparatus, image generation method, control method, and program | |
JP6482498B2 (en) | Control device, control method, and program | |
JP6672075B2 (en) | CONTROL DEVICE, CONTROL METHOD, AND PROGRAM | |
JP2018112997A (en) | Image processor, method of the same, program, and image processing system | |
US11095871B2 (en) | System that generates virtual viewpoint image, method and storage medium | |
US10708469B2 (en) | Image processing apparatus, method of controlling the same, non-transitory computer-readable storage medium, and image processing system | |
JP7042571B2 (en) | Image processing device and its control method, program | |
JP2019022151A (en) | Information processing apparatus, image processing system, control method, and program | |
JP2019103067A (en) | Information processing device, storage device, image processing device, image processing system, control method, and program | |
JP6790145B2 (en) | Control device, control method, and program | |
JP2019140483A (en) | Image processing system, image processing system control method, transmission device, transmission method, and program | |
US20230162435A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6827996B2 (en) | Image processing device, control method, and program | |
JP2020092301A (en) | Image processing device, image processing system, image processing method, and program | |
JP6632703B2 (en) | CONTROL DEVICE, CONTROL METHOD, AND PROGRAM | |
JP7104504B2 (en) | Image processing system, image processing device, image transmission method, and program | |
JP2019003325A (en) | Image processing system, image processing method and program | |
JP2019096926A (en) | Image processing system, image processing method and program | |
JP2021068373A (en) | Control apparatus, image processing system, control method, and program | |
JP2018191236A (en) | Information processing system, information processing method, apparatus, and program | |
JP2023075860A (en) | Information processing apparatus, information processing method, and program |