JP2021078019A - Image generation system, transmission device, transmission method, and program - Google Patents
Image generation system, transmission device, transmission method, and program Download PDFInfo
- Publication number
- JP2021078019A JP2021078019A JP2019203856A JP2019203856A JP2021078019A JP 2021078019 A JP2021078019 A JP 2021078019A JP 2019203856 A JP2019203856 A JP 2019203856A JP 2019203856 A JP2019203856 A JP 2019203856A JP 2021078019 A JP2021078019 A JP 2021078019A
- Authority
- JP
- Japan
- Prior art keywords
- transmission
- image
- token
- image data
- transmission device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、複数の撮像装置により撮像された撮像画像を伝送する技術に関する。 The present invention relates to a technique for transmitting captured images captured by a plurality of imaging devices.
昨今、複数のカメラを異なる位置に配置して複数視点で同期撮像し、その撮像により得られた複数視点の画像を用いて、カメラの配置位置における画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。このような仮想視点画像を生成する技術によれば、例えば、サッカー、バスケットボール等における特定のシーンを様々な角度から視聴することができるため、従来の撮影画像と比較して、ユーザに高臨場感を与えることができる。 Recently, a plurality of cameras are arranged at different positions and synchronously imaged from a plurality of viewpoints, and using the images of the multiple viewpoints obtained by the imaging, a virtual viewpoint image consisting of not only an image at the camera arrangement position but also an arbitrary viewpoint is used. The technology to generate is attracting attention. According to the technology for generating such a virtual viewpoint image, for example, a specific scene in soccer, basketball, etc. can be viewed from various angles, so that the user feels more realistic than the conventional captured image. Can be given.
この複数視点の画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラで撮像した画像をサーバ等の画像処理部に集約し、画像処理部において、仮想視点に基づくレンダリング等の処理を施し、さらにユーザ端末に仮想視点画像を表示することで実現される。但し、このような仮想視点画像を生成するシステムでは、複数のカメラで高精度に同期撮像した複数視点の画像を画像処理部に伝送することが必要とされ、そのため、伝送経路の十分な帯域が確保できないと、生成される仮想視点映像の画質劣化を招くことになる。 In the generation and viewing of the virtual viewpoint image based on the image of the multiple viewpoints, the images captured by the plurality of cameras are aggregated in the image processing unit such as a server, and the image processing unit performs processing such as rendering based on the virtual viewpoint. Furthermore, it is realized by displaying a virtual viewpoint image on the user terminal. However, in a system that generates such a virtual viewpoint image, it is necessary to transmit the images of the multiple viewpoints synchronously captured by a plurality of cameras to the image processing unit, and therefore, a sufficient band of the transmission path is provided. If it cannot be secured, the image quality of the generated virtual viewpoint image will deteriorate.
そこで、伝送負荷を軽減するために、異なる位置に設置され、デイジーチェーン接続された複数のカメラをＩＥＥＥ１５８８のような標準規格を適用して高精度に時刻同期させ、複数視点で同期撮像する方法が開示されている（特許文献１）。さらに、特許文献１では、各カメラから予め決められた伝送経路を介して、画像データをサーバに伝送する方法が開示されている。 Therefore, in order to reduce the transmission load, there is a method in which a plurality of cameras installed at different positions and connected in a daisy chain are time-synchronized with high accuracy by applying a standard such as IEEE1588, and synchronized imaging is performed from multiple viewpoints. It is disclosed (Patent Document 1). Further, Patent Document 1 discloses a method of transmitting image data from each camera to a server via a predetermined transmission path.
しかしながら、サーバへの伝送経路が複数ある場合、伝送経路を動的に変更する方法について提案されていない。そのため、各カメラの伝送する画像データのデータ量が変動する際に、他の伝送経路の帯域に余裕があるときでも適応的に伝送経路を選択しない場合、所定時間内にサーバに各カメラの画像データを伝送できないことがあった。 However, when there are a plurality of transmission paths to the server, a method of dynamically changing the transmission path has not been proposed. Therefore, when the amount of image data transmitted by each camera fluctuates, if the transmission path is not selected adaptively even when there is a margin in the bandwidth of other transmission paths, the image of each camera is sent to the server within a predetermined time. Sometimes data could not be transmitted.
本発明は、上記課題に鑑みてなされたものであり、その目的は、複数の伝送経路がある場合における複数のカメラで撮像されて取得された画像データの伝送について、適切に複数のカメラの画像データを伝送することである。 The present invention has been made in view of the above problems, and an object of the present invention is to appropriately transmit images of image data captured and acquired by a plurality of cameras when there are a plurality of transmission paths. To transmit data.
本発明は、仮想視点画像の生成に用いられる、複数の撮像装置により撮像されて取得された画像データを伝送する伝送装置であって、前記伝送装置は、他の伝送装置と複数の伝送経路で接続され、伝送を制御するトークンを受信する受信手段と、前記トークンに含まれる情報に基づいて、仮想視点画像を生成する画像生成装置に、前記複数の伝送経路のうち、当該伝送装置に対応する撮像装置により撮像されて取得された画像データを伝送する伝送経路を動的に選択する選択手段と、前記トークンを他の伝送装置に送信する送信手段と、前記選択した伝送経路を介して、前記画像生成装置に当該伝送装置に対応する撮像装置により撮像されて取得された画像データを出力する出力手段とを有することを特徴とする。 The present invention is a transmission device used for generating a virtual viewpoint image, which transmits image data captured and acquired by a plurality of imaging devices, and the transmission device is a transmission device with another transmission device via a plurality of transmission paths. A receiving means that receives a token that is connected and controls transmission, and an image generator that generates a virtual viewpoint image based on the information contained in the token correspond to the transmission device among the plurality of transmission paths. The selection means for dynamically selecting a transmission path for transmitting image data captured and acquired by the imaging device, a transmission means for transmitting the token to another transmission device, and the selected transmission path. The image generation device is characterized by having an output means for outputting image data captured and acquired by an image pickup device corresponding to the transmission device.
本発明によれば、複数の伝送経路がある場合における複数のカメラで撮像されて取得された画像データの伝送について、適切に複数のカメラの画像データを伝送することができる。 According to the present invention, it is possible to appropriately transmit the image data of a plurality of cameras for the transmission of the image data captured and acquired by the plurality of cameras when there are a plurality of transmission paths.
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、補足として、同一の構成については、同じ符号を付して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. It should be noted that the following embodiments do not limit the present invention, and not all combinations of features described in the present embodiment are essential for the means for solving the present invention. In addition, as a supplement, the same configuration will be described with the same reference numerals.
（実施形態１）
図１を用いて、競技場（グラウンド）やコンサート等の施設に設置された複数のカメラで撮像し、その撮像した画像から所定の画像を生成するシステム（ここでは、仮想視点画像を生成する仮想視点画像生成システム）の構成について説明する。仮想視点画像生成システム１００は、図１に示されるように、カメラ１１２ａ−１１２ｈ、カメラアダプタ１２０ａ−１２０ｈ、スイッチングハブ１８０、画像コンピューティングサーバ２００、タイムサーバ２９０、コントローラ３００を備える。
(Embodiment 1)
A system in which images are taken by a plurality of cameras installed in facilities such as a stadium (ground) or a concert using FIG. 1 and a predetermined image is generated from the captured images (here, a virtual viewpoint image is generated). The configuration of the viewpoint image generation system) will be described. As shown in FIG. 1, the virtual viewpoint
なお、以下において、特別な説明がない場合には、カメラ１１２ａからカメラ１１２ｈまでを区別せずに、カメラ１１２と記載する。同様に、特別な説明がない場合には、カメラアダプタ１２０ａから１２０ｈまでを区別せずに、カメラアダプタ１２０と記載する。また、本実施形態において、特に断りがない限り、画像という文言は、動画像と静止画像の概念を含むものとして説明する。即ち、仮想視点画像生成システム１００は、動画像及び静止画像の何れの画像についても撮像可能である。
In the following, unless otherwise specified, the
仮想視点画像生成システム１００では、スイッチングハブ１８０に、カメラアダプタ１２０ａ、カメラアダプタ１２０ｈ、画像コンピューティングサーバ２００、タイムサーバ２９０が接続されている。なお、図１では、コントローラ３００を画像コンピューティングサーバ２００に接続して、画像コンピューティングサーバ２００を介して各ブロックを制御する構成としているが、仮想視点画像生成システム１００の構成は必ずしもこれに限定されない。したがって、例えば、コントローラ３００をスイッチングハブ１８０と画像コンピューティングサーバ２００の各々に接続し、各ブロックを制御する構成としてもよい。
In the virtual viewpoint
カメラ１１２ａ−１１２ｈは、グラウンドを撮像する撮像装置であり、各々１台ずつのカメラアダプタ１２０ａ−１２０ｈを有している。また、カメラアダプタ１２０ａ−１２０ｈは、図１に示されるように、二重にデイジーチェーン接続されている。
The
なお、接続形態としては、必ずしもこれに限定されない。したがって、例えば、カメラアダプタ１２０ａ−１２０ｈの各々をスイッチングハブ１８０に接続し、スイッチングハブ１８０を経由させてカメラアダプタ１２０ａ−１２０ｈ間のデータを送受信するスター型の接続形態としてもよい。
The connection form is not necessarily limited to this. Therefore, for example, each of the
カメラアダプタ１２０は、上述のようにカメラ１１２と接続され、カメラ１１２の制御、カメラ１１２により撮像された画像の取得、同期信号の提供、及び時刻設定等を行う。なお、カメラ１１２の制御には、例えば、撮像パラメータ（画素数、色深度、フレームレート、及びホワイトバランス）の設定及び参照、カメラ１１２の状態（撮像中、停止中、同期中、及びエラー等）の取得、撮像の開始及び停止、ピント調整等がある。
The
また、同期信号の提供は、カメラアダプタ１２０がタイムサーバ２９０と同期した時刻を利用し、撮像タイミング（制御クロック）をカメラ１１２に提供することで行われる。さらに、時刻設定は、カメラアダプタ１２０がタイムサーバ２９０と同期した時刻を、例えば、ＳＭＰＴＥ１２Ｍ等のフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受信した画像データに、提供したタイムコードが付与されることになる。補足として、タイムコードのフォーマットは、ＳＭＰＴＥ１２Ｍに必ずしも限定されず、他のフォーマットであってもよい。
Further, the synchronization signal is provided by providing the imaging timing (control clock) to the
画像コンピューティングサーバ２００は、視点の設定を受け付け、その受け付けた視点に基づいて、対応する画像データ等を読み出し、レンダリング処理を行うことで仮想視点画像を生成する。即ち、画像コンピューティングサーバ２００は、複数のカメラ１１２により撮像された撮像画像（複数視点画像）と視点情報とに基づく仮想視点画像を生成する。
The
コントローラ３００は、仮想視点画像生成システム１００のネットワークを介して、カメラアダプタ１２０ａ−１２０ｈに制御信号を送信することで、カメラ１１２ａ−１１２ｈの撮像を制御する。また、コントローラ３００は、ネットワークを介してカメラ１１２ａ−１１２ｈが撮像した画像データを画像コンピューティングサーバ２００に転送させるとともに、画像コンピューティングサーバ２００から選択した画像データを取り出す。
The
図２は、カメラ１１２の注視点とカメラ配置を説明するための図である。図２に示されるように、カメラ１１２ａ−１１２ｈ及びカメラアダプタ１２０ａ−１２０ｈは、フィールドを取り囲むように設置されており、また、カメラ１１２ａ−１１２ｈは、各々、光軸が注視点０６３０２に向けられている。
FIG. 2 is a diagram for explaining the gazing point of the
図３は、カメラアダプタ１２０の機能構成を示すブロック図である。図３に示されるように、カメラアダプタ１２０は、パケット生成部１２１、ポート１２２−１２５、送受信処理部１３０を備える。また、送受信処理部１３０は、受信処理部１３１、トークンパケット生成部１３２、送信処理部１３３を有する。
FIG. 3 is a block diagram showing a functional configuration of the
パケット生成部１２１は、カメラ１１２により撮像された画像データをペイロードデータとしてパケットを生成する。ポート１２２−１２５は、隣接して接続されるカメラアダプタ１２０との間で、パケットを送受信する。
The
送受信処理部１３０は、隣接して接続されるカメラアダプタ１２０との間で送受信されるパケットを処理する。受信処理部１３１は、ポート１２２−１２５に入力されたパケットを受信する。トークンパケット生成部１３２は、受信処理部１３１によりトークンパケットが受信された場合、隣接して接続されるカメラアダプタ１２０に送信するトークンパケットを生成する。送信処理部１３３は、隣接して接続されるカメラアダプタ１２０にトークンパケット及び画像データを送信する。
The transmission /
図４は、カメラアダプタ１２０のハードウェア構成を示す図である。カメラアダプタ１２０は、ＣＰＵ４１１、ＲＯＭ４１２、ＲＡＭ４１３、補助記憶装置４１４、通信Ｉ／Ｆ４１５−４１８、及びバス４１９を備える。
FIG. 4 is a diagram showing a hardware configuration of the
ＣＰＵ４１１は、ＲＯＭ４１２やＲＡＭ４１３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１２０の全体を制御することで、図３に示されるカメラアダプタ１２０の各機能を実現する。なお、カメラアダプタ１２０に、ＣＰＵ４１１と異なる１又は複数の専用のハードウェアを実装させ、ＣＰＵ４１１により実行される処理の少なくとも一部を専用のハードウェアに実行させてもよい。補足として、専用のハードウェアには、例えば、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。
The
ＲＯＭ４１２は、内容を変更する必要のないプログラム等を格納する。ＲＡＭ４１３は、補助記憶装置４１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ４１５−４１８を介して外部から供給されるデータ等を一時的に記憶する。補助記憶装置４１４は、例えば、ハードディスクドライブ等で構成される。通信Ｉ／Ｆ４１５―４１８は、上述のポート１２２−１２５に対応しており、カメラアダプタ１２０の外部の装置との通信に用いられる。バス４１９は、カメラアダプタ１２０の各々のブロックを相互に接続することで、情報を伝達させる。
The
なお、画像コンピューティングサーバ２００のハードウェア構成も、上述のカメラアダプタ１２０のハードウェア構成とおおよそ同様であるが、画像コンピューティングサーバ２００は、例えば、視点の設定を受け付ける表示部、操作部等を別途、備える。
The hardware configuration of the
表示部は、例えば、液晶ディスプレイやＬＥＤ等で構成され、ユーザが画像コンピューティングサーバ２００を操作するためのＧＵＩ（Graphical User Interface）等を表示する。操作部は、例えば、キーボード、マウス、ジョイスティック、タッチパネル等であり、ユーザによる操作を受けて、各種の指示をＣＰＵに入力する。なお、この場合、ＣＰＵは、表示部を制御する表示制御部、及び操作部を制御する操作制御部として動作する。
The display unit is composed of, for example, a liquid crystal display, an LED, or the like, and displays a GUI (Graphical User Interface) or the like for the user to operate the
図５は、トークンパケットのデータフォーマットを示した図である。トークンパケットのデータフォーマットには、図５に示されるように、送信元アドレス、送信先アドレスの他、４つの経路の伝送データ量を示すフィールドが含まれる。なお、補足として、経路１はパケットをポート１２２から入力してポート１２５から出力する経路、経路２はパケットをポート１２５から入力してポート１２２から出力する経路とする。また、経路３はパケットをポート１２３から入力してポート１２４から出力する経路、経路４はパケットをポート１２４から入力してポート１２３から出力する経路とする。
FIG. 5 is a diagram showing the data format of the token packet. As shown in FIG. 5, the data format of the token packet includes a source address, a destination address, and a field indicating the amount of transmission data of the four routes. As a supplement, route 1 is a route in which a packet is input from
図６は、仮想視点画像生成システム１００における各種信号のタイミングチャートである。図６では、撮像するタイミング、トークンパケットを送受信するタイミング、また、画像データを伝送するタイミングを示している。図６に示されるように、カメラ１１２により同期撮像された画像データを、１フレーム後に、画像コンピューティングサーバ２００に伝送している。
FIG. 6 is a timing chart of various signals in the virtual viewpoint
なお、画像データを伝送する際、先ず、フレームの先頭で、トークンパケットがカメラアダプタ１２０間で伝送され、各カメラ１１２の画像データを画像コンピューティングサーバ２００に伝送する経路が決定される。そして、伝送する経路が決定されると、各カメラアダプタ１２０から画像データが一斉に転送（送信）される。なお、ここでの転送（送信）は、後述の図８のＳ８１１で示される。
When transmitting the image data, first, at the beginning of the frame, the token packet is transmitted between the
次に、図７のフローチャーを用いて、カメラアダプタ１２０における処理の手順について説明する。なお、ここでの処理は、１フレーム期間における処理として示している。また、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。この点、以下のフローチャート等の説明においても同様とする。
Next, the processing procedure in the
上述のように、フレームの先頭で、トークンパケットが順次カメラアダプタ１２０に伝送されると、Ｓ７０１において、カメラアダプタ１２０は、トークンパケットの受信を確認するまで待機する。そして、トークンパケットの受信を確認すると、処理をＳ７０２に移行させる。なお、ここで、トークンパケットは、隣接して接続されるカメラアダプタ１２０からポート１２２により受信され、ポート１２５から隣接して接続されるカメラアダプタ１２０に送信されるものとする。
As described above, when the token packets are sequentially transmitted to the
Ｓ７０２において、受信処理部１３１は、ポート１２２から受信したトークンパケットにおいて経路別の伝送データ量を参照し、より伝送データ量の小さい経路をカメラ１１２で撮像した画像データの伝送経路として決定し、送信処理部１３３に設定する。また、受信処理部１３１は、受信したトークンパケットをトークンパケット生成部１３２に出力する。
In S702, the
Ｓ７０３において、トークンパケット生成部１３２は、カメラ１１２で撮像した画像データのデータ量を、フレームの先頭でパケット生成部１２１から取得する。トークンパケット生成部１３２は、受信処理部１３１から入力されたトークンパケットの経路別の伝送データ量のうち、Ｓ７０２において決定（選択）された経路の伝送データ量に、カメラ１１２で撮像した画像データのデータ量を加算する。
In S703, the token
Ｓ７０４において、トークンパケット生成部１３２は、Ｓ７０３で算出した伝送データ量を更新したトークンパケットを生成し、送信処理部１３３に出力する。Ｓ７０５において、送信処理部１３３は、隣接して接続されるカメラアダプタ１２０に、トークンパケット生成部１３２から受信したトークンパケットをポート１２５から送信する。
In S704, the token
Ｓ７０６において、カメラアダプタ１２０は、上流のカメラアダプタから画像データが転送されると、その画像データをさらに転送し、加えて、カメラ１１２で撮像された画像データを、Ｓ７０２において決定した経路に対応したポートから送信する。なお、ここでの画像データは、より正確には、カメラ１１２で撮像された画像データに基づいて、パケット生成部１２１により生成されるパケットである。そして、送信が完了すると、カメラアダプタ１２０は、このフレーム期間における一連の処理を終了する。その後、カメラアダプタ１２０は、次のフレームのトークンパケットを受信するまで待機する。
In S706, when the image data is transferred from the upstream camera adapter, the
補足として、他のカメラアダプタ１２０からの画像データは決定された経路に送信され、経路が途中で変更されることはない。画像データは、各カメラアダプタ１２０において受信処理部１３１から送信処理部１３３に送られ、隣接して接続されるカメラアダプタ１２０に転送され、最終的に画像コンピューティングサーバ２００に転送される。
As a supplement, the image data from the
次に、図８のシーケンス図を用いて、仮想視点画像生成システム１００の処理シーケンスについて説明する。Ｓ８０１において、コントローラ３００は、各々のカメラアダプタ１２０を介してカメラ１１２に撮像条件を決定するカメラパラメータを設定する。
Next, the processing sequence of the virtual viewpoint
Ｓ８０２において、コントローラ３００は、カメラ１１２及びカメラアダプタ１２０の時刻同期を行う。なお、ここでは、標準規格であるＩＥＥＥ１５８８−２００８に準拠した時刻同期を行うこととし、これにより、カメラ１１２及びカメラアダプタ１２０を高精度に同期させることができる。
In S802, the
Ｓ８０３において、コントローラ３００は、カメラアダプタ１２０を介して、カメラ１１２の撮像を開始させるように制御する。Ｓ８０４において、カメラ１１２は、１フレーム期間、撮像を行う。そして、１フレーム期間、撮像を行うと、Ｓ８０５において、カメラ１１２は、カメラアダプタ１２０に対して、１フレーム分の画像データを伝送する。
In S803, the
Ｓ８０６において、コントローラ３００は、カメラアダプタ１２０ａに対してトークンパケットを送信する。Ｓ８０７において、カメラアダプタ１２０ａは、受信処理部１３１が受信したトークンパケットの経路別の伝送データ量から画像データを伝送する経路を選択する。カメラアダプタ１２０ａで受信されるトークンパケットはコントローラ３００から送信されるトークンパケットであるため、その伝送データ量は、経路１から経路４までのどの経路においても「０」である。ここでは、伝送データ量の経路が少なく経路が複数あることから、そのうちのいずれかの経路を選択することができるが、この場合、経路番号のより小さい経路が選択されるものとし、経路１が選択される。
In S806, the
Ｓ８０８において、トークンパケット生成部１３２は、経路１の伝送データ量にパケット生成部１２１から通知されたカメラ１１２ａの画像データ量を加算する。また、トークンパケット生成部１３２は、送信先アドレスとして、隣接して接続されるカメラアダプタ１２０ｂのアドレスをトークンパケットに書き込む。
In S808, the token
Ｓ８０９において、トークンパケットは、トークンパケット生成部１３２から送信処理部１３３を介して、隣接して接続されるカメラアダプタ１２０ｂに送信される。同様に、カメラアダプタ１２０ｂにおいても、Ｓ８０７からＳ８０９までの処理が行われる。カメラアダプタ１２０ｂは、画像コンピューティングサーバ２００までの伝送経路を選択し、その選択した経路の伝送データ量にカメラ１１２ｂの画像データ量を加算したトークンパケットを隣接して接続されるカメラアダプタ１２０ｃに送信する。以降、カメラアダプタ１２０ｈまで順に同様の処理を繰り返し行う。このように、全てのカメラアダプタ１２０から画像データを伝送する経路が決定される。
In S809, the token packet is transmitted from the token
そして、全てのカメラアダプタ１２０から画像データを伝送する経路を決定すると、Ｓ８１０において、コントローラ３００は、カメラアダプタ１２０ａに対して、画像データ（パケット生成部１２１により生成されたパケット）を送信するように指示する。Ｓ８１１において、カメラアダプタ１２０は、カメラ１１２により撮像された画像データを各々、選択された伝送経路で画像コンピューティングサーバ２００に送信する。そして、このＳ８０４からＳ８１１までの処理が、以降のフレームにおいても、フレーム毎に繰り返し行われる。
Then, when the routes for transmitting the image data from all the
以上、説明したように、本実施形態では、１つのトークンパケットが順次、全てのカメラアダプタに転送され、各々のカメラアダプタは、トークンパケット内の経路別伝送データ量に基づいて、画像コンピューティングサーバまでの伝送経路を決定する。より詳細には、カメラアダプタは、それ以前のカメラアダプタにより伝送データ量が加算された経路別伝送データ量に基づいて、伝送経路のうち、伝送データ量のより少ない経路を動的に選択し、画像コンピューティングサーバに画像データを伝送する。これにより、伝送データ量を平準化させた上で、画像データを伝送することができる。 As described above, in the present embodiment, one token packet is sequentially transferred to all camera adapters, and each camera adapter is an image computing server based on the amount of transmission data for each route in the token packet. Determine the transmission route to. More specifically, the camera adapter dynamically selects a route having a smaller amount of transmission data among the transmission routes based on the amount of transmission data for each route to which the amount of transmission data has been added by the previous camera adapter. Transmit image data to the image computing server. As a result, the image data can be transmitted after the amount of transmission data is leveled.
（実施形態２）
上述の実施形態１では、１つのトークンパケットを用いて画像データを転送する例について説明したが、本実施形態では、複数のトークンパケットを用いて、撮像された画像データの送信タイミングを決定して画像データを転送する例について説明する。
(Embodiment 2)
In the first embodiment described above, an example of transferring image data using one token packet has been described, but in the present embodiment, a plurality of token packets are used to determine the transmission timing of the captured image data. An example of transferring image data will be described.
図９は、カメラアダプタ１２０の機能構成を示すブロック図である。図９に示されるように、カメラアダプタ１２０は、パケット生成部１２１、ポート１２２−１２５、送受信処理部１３０を備える。また、送受信処理部１３０は、受信処理部１３１、送信処理部１３３を有する。なお、カメラアダプタ１２０の機能構成に関して、トークンパケット生成部１３２を有さないことを除いて、上述の実施形態１（図３）とおおよそ同様であることから、ここでは、その説明を省略する。
FIG. 9 is a block diagram showing a functional configuration of the
図１０は、トークンパケットのデータフォーマットを示した図である。トークンパケットのデータフォーマットには、図１０に示されるように、送信元アドレス、送信先アドレス、経路情報を示すフィールドが含まれる。本実施形態において、トークンパケットは、経路別の伝送データ量に関する情報を保持せず、トークンパケット自体がどの経路を通ってカメラアダプタに到達したかを示す経路情報を保持する。即ち、経路情報として、経路１、経路２、経路３、経路４のいずれかを保持する。 FIG. 10 is a diagram showing the data format of the token packet. As shown in FIG. 10, the data format of the token packet includes fields indicating a source address, a destination address, and route information. In the present embodiment, the token packet does not hold information about the amount of transmission data for each route, but holds route information indicating which route the token packet itself has reached the camera adapter. That is, any one of route 1, route 2, route 3, and route 4 is held as route information.
図１１は、仮想視点画像生成システム１００における各種信号のタイミングチャートである。図１１では、撮像するタイミング、トークンパケットを送受信するタイミング、また、画像データを伝送するタイミングを示している。なお、図１１のタイミングチャートでは、１つのカメラアダプタ１２０に着目している。また、図１１において、「画像データ転送」は、他のカメラアダプタ１２０からの画像データを転送するタイミング、「画像データ送信」は、対応するカメラ１１２により撮像された画像データを送信するタイミングを各々、示している。
FIG. 11 is a timing chart of various signals in the virtual viewpoint
図１１に示されるように、カメラ１１２により同期撮像された画像データは、1フレーム後に画像コンピューティングサーバ２００に伝送される。また、コントローラ３００から送信されたトークンパケットがフレーム毎にカメラアダプタ１２０に転送され、受信したカメラアダプタ１２０は、画像データの送信を開始し、送信終了後、トークンパケットを隣接して接続されるカメラアダプタ１２０に転送する。
As shown in FIG. 11, the image data synchronously captured by the
本実施形態では、経路１と経路２に対応した２つのトークンパケットを用意し、トークンパケットは、経路１又は経路２を通って、順次、カメラアダプタ１２０間で伝送される。カメラアダプタ１２０は、図１１に示されるように、毎フレーム、上述の２つのトークンパケットを受信するが、先に受信したトークンパケットに基づいて、画像データの伝送経路を決定し、画像コンピューティングサーバ２００に画像データを伝送する。なお、１フレーム内で２番目以降に受信したトークンパケットは無視されるが、後に転送される、他のカメラアダプタ１２０からの画像データに関しては、他の伝送経路を用いて、引き続き転送される。
In the present embodiment, two token packets corresponding to the route 1 and the route 2 are prepared, and the token packets are sequentially transmitted between the
図１１に示されるように、カメラアダプタ１２０は、伝送経路における画像データの転送及び送信において、上流のカメラアダプタ１２０の画像データの転送を先行して行う。その後に、カメラアダプタ１２０は、トークンパケットを受信すると、接続されているカメラ１１２により撮像された画像データを送信し、その送信が終了すると、トークンパケットを下流のカメラアダプタ１２０に転送する。なお、トークンパケットを下流のカメラアダプタ１２０に転送した後は、先に受信したトークンパケットの経路に従って画像データを転送することはしない。
As shown in FIG. 11, the
次に、図１２のフローチャートを用いて、カメラアダプタ１２０における処理の手順について説明する。Ｓ１２０１において、カメラアダプタ１２０は、フレームスタートを確認するまで待機する。そして、フレームスタートを確認すると、カメラアダプタ１２０は、処理をＳ１２０２に移行させる。
Next, the processing procedure in the
Ｓ１２０２において、カメラアダプタ１２０は、上流のカメラアダプタから画像データを受信したか否かを判定する。そして、カメラアダプタ１２０は、画像データを受信したと判定すると（Ｓ１２０２ Ｙｅｓ）処理をＳ１２０３に移行させ、画像データを受信していないと判定すると（Ｓ１２０２ Ｎｏ）処理をＳ１２０４に移行させる。
In S1202, the
Ｓ１２０３において、受信処理部１３１は、受信した画像データを送信処理部１３３に渡し、受信したポートに対応した経路を選択して、隣接して接続されるカメラアダプタ１２０に画像データを転送する。そして、画像データを転送すると、処理をＳ１２０２に返す。なお、ここでは、経路１をポート１２２から受信してポート１２５から送信する経路、経路２をポート１２５から受信してポート１２２から送信する経路とする。
In S1203, the
また、カメラアダプタ１２０は、画像データが受信されなくなった状態で、Ｓ１２０４において、トークンパケットを受信すると、処理をＳ１２０５に移行させる。なお、トークンパケットを受信していない場合は（Ｓ１２０４ Ｎｏ）、処理をＳ１２０２に返す。
Further, when the
Ｓ１２０５において、カメラアダプタ１２０は、受信したトークンパケットが、該当するフレームにおいて最初に受信したトークンパケットであるか否かを判定する。そして、受信したトークンパケットが最初に受信したトークンパケットであると判定すると処理をＳ１２０６に移行させ、受信したトークンパケットが最初に受信したトークンパケットではないと判定すると、図１２に示される処理を終了する。
In S1205, the
Ｓ１２０６において、受信処理部１３１は、受信したトークンパケットの経路情報を送信処理部１３３に渡す。送信処理部１３３は、トークンパケットから取得した経路情報に基づいて、パケット生成部１２１から送られ、カメラ１１２により撮像された画像データを送信する。送信処理部１３３は、画像データを全て送信すると、処理をＳ１２０７に移行させる。
In S1206, the
Ｓ１２０７において、カメラアダプタ１２０は、受信処理部１３１により受信したトークンパケットを送信処理部１３３に渡し、経路情報に基づいて、対応するポートから隣接して接続されるカメラアダプタ１２０にトークンパケットを送信する。カメラアダプタ１２０は、トークンパケットを送信すると、処理をＳ１２０２に返す。
In S1207, the
カメラアダプタ１２０は、２回目のトークンパケットを受信した後は、次のフレームスタートを確認するように待機する。また、２フレーム以降のフレームにおいても、１フレーム目と同様の処理を繰り返し行う。
After receiving the second token packet, the
次に、図１３のシーケンス図を用いて、仮想視点画像生成システム１００の処理シーケンスについて説明する。 なお、図１３において、Ｓ１３０１からＳ１３０５までの処理は、上述の実施形態１（図８のＳ８０１からＳ８０５までの処理）と同様であることから、ここでは、その説明を省略し、Ｓ１３０６の処理から説明する。
Next, the processing sequence of the virtual viewpoint
Ｓ１３０６において、コントローラ３００は、カメラアダプタ１２０ａ及びカメラアダプタ１２０ｈに対して、トークンパケットを送信する。Ｓ１３０７において、カメラアダプタ１２０ａ及びカメラアダプタ１２０ｈは、受信したトークンパケットに従って、伝送経路を選択する。
In S1306, the
そして、伝送経路が選択されると、カメラアダプタ１２０ａは、カメラ１１２ａにより撮像された画像データを画像コンピューティングサーバ２００に送信する。また、カメラアダプタ１２０ｈは、カメラ１１２ｈにより撮像された画像データを画像コンピューティングサーバ２００に送信する。
Then, when the transmission path is selected, the
各々、画像コンピューティングサーバ２００に画像データを送信すると、Ｓ１３０８において、カメラアダプタ１２０ａは、カメラアダプタ１２０ｂにトークンパケットを送信する。また、カメラアダプタ１２０ｈは、カメラアダプタ１２０ｇにトークンパケットを送信する。
When the image data is transmitted to the
以降、同様に、各々のカメラアダプタ１２０は、先に受信したトークンパケットに基づいた伝送経路を介して、画像コンピューティングサーバ２００に画像データを送信し、さらに、隣接して接続されるカメラアダプタ１２０にトークンパケットを送信する。
After that, similarly, each
以上、説明したように、本実施形態では、２つの伝送経路に対応した２つのトークンパケットをデイジーチェーン接続した複数のカメラアダプタの両端に位置するカメラアダプタに送信する。両端に位置するカメラアダプタは、カメラアダプタに接続されているカメラの画像データを各々、トークンパケットに設定されている経路情報に基づいて送信し、画像データを送信すると、トークンパケットを隣接して接続されるカメラアダプタに転送する。 As described above, in the present embodiment, two token packets corresponding to the two transmission paths are transmitted to the camera adapters located at both ends of the plurality of camera adapters connected in a daisy chain. The camera adapters located at both ends transmit the image data of the cameras connected to the camera adapter based on the route information set in the token packet, and when the image data is transmitted, the token packets are connected adjacently. Transfer to the camera adapter.
そして、各々のカメラアダプタは、先に受信したトークンパケットに基づいた伝送経路に従って、画像コンピューティングサーバに画像データを送信する。このようにして、各々のカメラアダプタが、先に受信したトークンパケットによって動的に決定した伝送経路に従って画像データを送信することで、特定の伝送経路に偏ることなく均等に各々の伝送経路の帯域を有効に使用して画像データを伝送することができる。 Then, each camera adapter transmits the image data to the image computing server according to the transmission path based on the token packet received earlier. In this way, each camera adapter transmits image data according to a transmission path dynamically determined by the previously received token packet, so that the bandwidth of each transmission path is evenly distributed without being biased to a specific transmission path. Can be effectively used to transmit image data.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１１２ カメラ
１２０ カメラアダプタ
１２１ パケット生成部
１３１ 受信処理部
１３２ トークンパケット生成部
１３３ 送信処理部
２００ 画像コンピューティングサーバ
３００ コントローラ
112
Claims (13)
前記伝送装置は、他の伝送装置と複数の伝送経路で接続され、
伝送を制御するトークンを受信する受信手段と、
前記トークンに含まれる情報に基づいて、仮想視点画像を生成する画像生成装置に、前記複数の伝送経路のうち、当該伝送装置に対応する撮像装置により撮像されて取得された画像データを伝送する伝送経路を動的に選択する選択手段と、
前記トークンを他の伝送装置に送信する送信手段と、
前記選択した伝送経路を介して、前記画像生成装置に当該伝送装置に対応する撮像装置により撮像されて取得された画像データを出力する出力手段と
を有することを特徴とする伝送装置。 A transmission device that transmits image data captured and acquired by a plurality of imaging devices used for generating a virtual viewpoint image.
The transmission device is connected to another transmission device by a plurality of transmission paths.
Receiving means to receive tokens that control transmission,
Transmission that transmits image data captured and acquired by an image pickup device corresponding to the transmission device among the plurality of transmission paths to an image generation device that generates a virtual viewpoint image based on the information contained in the token. A selection method that dynamically selects a route, and
A transmission means for transmitting the token to another transmission device, and
A transmission device characterized in that the image generation device has an output means for outputting image data captured and acquired by an image pickup device corresponding to the transmission device via the selected transmission path.
前記選択手段は、伝送の１フレーム期間において、最初に受信したトークンに示される情報に基づいて、当該伝送装置に対応する撮像装置により撮像されて取得された画像データを伝送する伝送経路を選択することを特徴とする請求項１に記載の伝送装置。 The receiving means receives a token transmitted to each of the transmission paths and receives a token.
The selection means selects a transmission path for transmitting image data imaged and acquired by an imaging device corresponding to the transmission device based on the information shown in the token first received in one frame period of transmission. The transmission device according to claim 1, wherein the transmission device is characterized by the above.
前記複数の撮像装置により撮像されて取得された画像データに基づいて仮想視点画像を生成する画像生成装置と、
前記複数の撮像装置に対応し、前記画像生成装置に前記画像データを伝送する複数の伝送装置と
を有し、
前記伝送装置は、請求項１乃至１０のいずれか１項に記載の伝送装置であることを特徴とする画像生成システム。 With multiple imaging devices
An image generation device that generates a virtual viewpoint image based on image data captured and acquired by the plurality of image pickup devices, and an image generation device.
It has a plurality of transmission devices corresponding to the plurality of image pickup devices and transmits the image data to the image generation device.
The image generation system, wherein the transmission device is the transmission device according to any one of claims 1 to 10.
伝送を制御するトークンを受信する受信ステップと、
前記トークンに含まれる情報に基づいて、仮想視点画像を生成する画像生成装置に、前記複数の伝送経路のうち、当該伝送装置に対応する撮像装置により撮像されて取得された画像データを伝送する伝送経路を動的に選択する選択ステップと、
前記トークンを、複数の伝送経路で接続される他の伝送装置に送信する送信ステップと、
前記選択した伝送経路を介して、前記画像生成装置に当該伝送装置に対応する撮像装置により撮像されて取得された画像データを出力する出力ステップと
を含むことを特徴とする伝送方法。 It is a transmission method in a transmission device that transmits image data captured and acquired by a plurality of imaging devices used for generating a virtual viewpoint image.
A receive step that receives a token that controls transmission, and
Transmission that transmits image data captured and acquired by an image pickup device corresponding to the transmission device among the plurality of transmission paths to an image generation device that generates a virtual viewpoint image based on the information contained in the token. A selection step that dynamically selects a route, and
A transmission step of transmitting the token to other transmission devices connected by a plurality of transmission paths, and
A transmission method comprising, through the selected transmission path, an output step in which the image generator outputs image data imaged and acquired by an imaging device corresponding to the transmission device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019203856A JP2021078019A (en) | 2019-11-11 | 2019-11-11 | Image generation system, transmission device, transmission method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019203856A JP2021078019A (en) | 2019-11-11 | 2019-11-11 | Image generation system, transmission device, transmission method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021078019A true JP2021078019A (en) | 2021-05-20 |
Family
ID=75898448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019203856A Pending JP2021078019A (en) | 2019-11-11 | 2019-11-11 | Image generation system, transmission device, transmission method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021078019A (en) |
-
2019
- 2019-11-11 JP JP2019203856A patent/JP2021078019A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102521406B1 (en) | Frame synchronization in a dual-aperture camera system | |
| US9706114B2 (en) | Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program | |
| JP7179515B2 (en) | Apparatus, control method and program | |
| WO2019120575A1 (en) | Vr 360 video for remote end users | |
| JP6218787B2 (en) | Imaging apparatus, information processing apparatus, display apparatus, information processing system, image data transmission method, and image display method | |
| JP2016509425A (en) | Synchronous signal processing method and apparatus for stereoscopic display of splice screen, splice screen | |
| CN102724433A (en) | Method and device for realizing multi-video signal image composition | |
| JP2017072644A (en) | Display control device | |
| CN111988552B (en) | Image output control method and device and video processing equipment | |
| CN103813124A (en) | Image processing device and image processing method | |
| JP6309004B2 (en) | Video display changes for video conferencing environments | |
| EP1266295B1 (en) | Image processing apparatus and method | |
| JP2021078019A (en) | Image generation system, transmission device, transmission method, and program | |
| US11210261B2 (en) | Systems and methods for synchronizing frame processing within a multi-stage modular architecture | |
| JP6251871B2 (en) | Projection display device | |
| JP2016038514A (en) | Display control device, display device, control method of display control device and display device and program thereof | |
| TWI812003B (en) | Method and system for previewing the image | |
| US11622101B2 (en) | Transmission processing apparatus, transmission processing method, and storage medium | |
| CN103577133A (en) | Ultra-high-definition information display system and display method thereof | |
| JP7253302B1 (en) | Information processing system, program and information processing method | |
| US8217994B2 (en) | Stereo-projection control system | |
| KR20190081162A (en) | Multi display system | |
| JP2022155062A (en) | Communication device, control method, and program | |
| KR20160116108A (en) | Image synchronizing system for projectors and operation method thereof | |
| JP2019029849A (en) | Video distribution system, control method therefor, video data receiver, and program |