JP2017041707A - Reproduction device, information processing method, and communication system - Google Patents
Reproduction device, information processing method, and communication system Download PDFInfo
- Publication number
- JP2017041707A JP2017041707A JP2015161383A JP2015161383A JP2017041707A JP 2017041707 A JP2017041707 A JP 2017041707A JP 2015161383 A JP2015161383 A JP 2015161383A JP 2015161383 A JP2015161383 A JP 2015161383A JP 2017041707 A JP2017041707 A JP 2017041707A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- range
- divided
- image data
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、送信装置からネットワークを介して動画データを再生装置へ送信し、再生装置が動画データを再生する通信システムの技術分野に関する。 The present invention relates to a technical field of a communication system in which moving image data is transmitted from a transmitting device to a reproducing device via a network, and the reproducing device reproduces the moving image data.
特許文献1には、カメラにより撮影された動画データをサーバが分割し、分割された動画データをクライアント端末が受信して再生する技術が開示されている。具体的に、エンコードサーバが、カメラからのオリジナル動画データから、低解像度の動画データ、高解像度の動画データ等を生成し、高解像度の動画データの画像フレームの領域を複数の分割領域に分割して複数の分割領域に対応する複数の分割動画データを生成する。クライアント端末は、低解像度の動画データを配信サーバから受信するとともに、ユーザの操作に従った描画領域と重なる分割領域に対応する分割動画データを配信サーバから受信する。そして、クライアント端末は、低解像度の動画データと高解像度の分割動画データとに基づいて動画を表示する。
ところで、再生装置により表示される動画の解像度を高めるために、複数のカメラで撮影を行い、複数のカメラからの複数の動画を、複数のカメラの撮影範囲が重複する領域部分の動画が重なるように合成して、再生装置により表示させることが考えられる。しかしながら、サーバ装置がこのような合成処理を行うと、サーバ装置の処理負荷が増大し、動画データの配信が遅延するおそれがある。また例えば、サーバ装置が、複数のカメラそれぞれの動画データから複数の分割動画データを生成し、ユーザにより指定された表示領域に重なる分割領域に対応する分割動画データを再生装置へ送信し、再生装置が分割動画データを合成して再生することが考えられる。この場合、サーバ装置は、一台のカメラで撮影を行った場合と基本的に同様の処理を行えばよい。しかしながら、複数のカメラの撮影範囲が重複する領域の分割動画データを全て再生装置へ送信すると、ネットワークの負荷が増大するとともに、動画データの配信が遅延するおそれがある。 By the way, in order to increase the resolution of the moving image displayed by the playback device, shooting is performed with a plurality of cameras, and a plurality of moving images from a plurality of cameras are overlapped with a moving portion in a region where the shooting ranges of the plurality of cameras overlap. It is conceivable that the image is combined and displayed on the playback device. However, if the server device performs such a composition process, the processing load on the server device increases, and there is a risk that delivery of moving image data will be delayed. Further, for example, the server device generates a plurality of divided moving image data from the moving image data of each of the plurality of cameras, and transmits the divided moving image data corresponding to the divided region overlapping the display region specified by the user to the reproducing device. It is conceivable that the divided moving image data is synthesized and reproduced. In this case, the server device may perform basically the same processing as when shooting with one camera. However, if all of the divided moving image data in the region where the shooting ranges of a plurality of cameras overlap is transmitted to the playback device, the load on the network increases and the distribution of the moving image data may be delayed.
本発明は、以上の点に鑑みてなされたものであり、複数のカメラで撮影された複数の動画データの配信遅延を防止して、合成された複数の動画データを再生装置が再生することを可能とする再生装置、情報処理方法及び通信システムを提供することを課題とする。 The present invention has been made in view of the above points, and prevents a playback apparatus from playing back a plurality of synthesized video data by preventing a delay in delivery of a plurality of video data shot by a plurality of cameras. It is an object of the present invention to provide a reproducing apparatus, an information processing method, and a communication system that can be used.
上記課題を解決するために、請求項1に記載の発明は、複数のカメラにより撮影された複数の動画データのそれぞれごとに、前記動画データを撮影した前記カメラの撮影範囲が分割された複数の分割領域の動画を示す複数の分割動画データを生成する送信装置からネットワークを介して送信される分割動画データを受信する再生装置において、前記複数のカメラの複数の撮影範囲を統合した統合撮影範囲のうち指定された表示範囲を示す表示範囲情報を取得する表示範囲情報取得手段と、前記複数の撮影範囲の位置関係を示す位置関係情報を取得する位置関係情報取得手段と、前記位置関係情報取得手段により取得された前記位置関係情報に基づいて、前記表示範囲情報取得手段により取得された前記表示範囲情報が示す前記表示範囲内において、前記複数の撮影範囲のうち少なくとも2つの撮影範囲が重複する重複範囲において重複する撮影範囲のうち何れか1つの撮影範囲を、前記重複範囲の動画の表示に用いられる撮影範囲に決定する決定手段と、前記複数の撮影範囲のそれぞれごとに、前記撮影範囲が分割された前記複数の分割領域のうち、前記表示範囲情報取得手段により取得された前記表示範囲情報が示す前記表示範囲に重なる分割領域の動画を示す分割動画データを前記送信装置から受信する分割データ受信手段であって、前記重複範囲に重なる分割領域の動画を示す分割動画データとして、前記重複する撮影範囲のうち前記決定手段により決定された前記撮影範囲の分割領域の動画を示す分割動画データを受信する分割データ受信手段と、前記分割データ受信手段により受信された複数の分割動画データを合成して合成動画データを生成する合成手段と、前記合成手段により生成された前記合成動画データを再生する再生手段と、を備えることを特徴とする。
In order to solve the above problem, the invention according to
請求項2に記載の発明は、請求項1に記載の再生装置において、前記決定手段は、前記重複する撮影範囲の中で、前記表示範囲情報取得手段により取得された前記表示範囲に重なる領域の面積が最も大きい最大撮影範囲を、前記重複範囲の動画の表示に用いられる撮影範囲に決定することを特徴とする。 According to a second aspect of the present invention, in the playback device according to the first aspect, the determination unit is configured to determine a region that overlaps the display range acquired by the display range information acquisition unit in the overlapping shooting ranges. The maximum shooting range having the largest area is determined as the shooting range used for displaying the overlapping range of moving images.
請求項3に記載の発明は、請求項2に記載の再生装置において、前記決定手段は、前記最大撮影範囲に対応する動画データが示す第1動画の前記統合撮影範囲における解像度が、前記重複する撮影範囲の中で前記最大撮影範囲と異なる非最大撮影範囲に対応する動画データが示す第2動画の前記統合撮影範囲における解像度よりも低く、且つ前記第1動画を構成する画素のうち前記表示範囲内の画素の数に対して、前記第2動画を構成する画素のうち前記表示範囲内の画素の数の割合が所定割合以上である場合、前記非最大撮影範囲を、前記重複範囲の動画の表示に用いられる撮影範囲に決定することを特徴とする。 According to a third aspect of the present invention, in the playback device according to the second aspect, the determination unit includes the overlapping resolutions of the first moving image indicated by the moving image data corresponding to the maximum shooting range in the integrated shooting range. The display range of pixels constituting the first moving image that is lower than the resolution in the integrated shooting range of the second moving image indicated by the moving image data corresponding to the non-maximum shooting range different from the maximum shooting range in the shooting range. If the ratio of the number of pixels in the display range among the pixels constituting the second moving image is greater than or equal to a predetermined ratio with respect to the number of pixels in the second moving image, the non-maximum shooting range is set as the moving image in the overlapping range. The imaging range used for display is determined.
請求項5に記載の発明は、複数のカメラにより撮影された複数の動画データのそれぞれごとに、前記動画データを撮影した前記カメラの撮影範囲が分割された複数の分割領域の動画を示す複数の分割動画データを生成する送信装置からネットワークを介して送信される分割動画データを受信する再生装置により実行される情報処理方法において、前記複数のカメラの複数の撮影範囲を統合した統合撮影範囲のうち指定された表示範囲を示す表示範囲情報を取得する表示範囲情報取得ステップと、前記複数の撮影範囲の位置関係を示す位置関係情報を取得する位置関係情報取得ステップと、前記位置関係情報取得ステップにより取得された前記位置関係情報に基づいて、前記表示範囲情報取得ステップにより取得された前記表示範囲情報が示す前記表示範囲内において、前記複数の撮影範囲のうち少なくとも2つの撮影範囲が重複する重複範囲において重複する撮影範囲のうち何れか1つの撮影範囲を、前記重複範囲の動画の表示に用いられる撮影範囲に決定する決定ステップと、前記複数の撮影範囲のそれぞれごとに、前記撮影範囲が分割された前記複数の分割領域のうち、前記表示範囲情報取得ステップにより取得された前記表示範囲情報が示す前記表示範囲に重なる分割領域の動画を示す分割動画データを前記送信装置から受信する分割データ受信ステップであって、前記重複範囲に重なる分割領域の動画を示す分割動画データとして、前記重複する撮影範囲のうち前記決定ステップにより決定された前記撮影範囲の分割領域の動画を示す分割動画データを前記送信装置から受信する分割データ受信ステップと、前記分割データ受信ステップにより受信された複数の分割動画データを合成して合成動画データを生成する合成ステップと、前記合成ステップにより生成された前記合成動画データを再生する再生ステップと、を含むことを特徴とする。
The invention according to
請求項6に記載の発明は、動画データをネットワークを介して送信する送信装置と、前記送信装置から送信される動画データを受信する再生装置とを備える通信システムにおいて、前記送信装置は、複数のカメラにより撮影された複数の動画データを取得する動画データ取得手段と、前記動画データ取得手段により取得された前記複数の動画データを記憶手段に記憶させる第1制御手段と、前記記憶手段に記憶された前記複数の動画データのそれぞれごとに、前記動画データを撮影した前記カメラの撮影範囲が分割された複数の分割領域の動画を示す複数の分割動画データを生成する生成手段と、前記生成手段により生成された各分割動画データを、前記分割動画データを識別する識別情報と対応付けて前記記憶手段に記憶させる第2制御手段と、前記再生装置から送信された識別情報を受信する識別情報受信手段と、前記識別情報受信手段により受信された前記識別情報に対応する前記分割動画データを前記再生装置へ送信する分割動画データ送信手段と、を備え、前記再生装置は、前記複数のカメラの複数の撮影範囲を統合した統合撮影範囲のうち指定された表示範囲を示す表示範囲情報を取得する表示範囲情報取得手段と、前記複数の撮影範囲の位置関係を示す位置関係情報を取得する位置関係情報取得手段と、前記位置関係情報取得手段により取得された前記位置関係情報に基づいて、前記表示範囲情報取得手段により取得された前記表示範囲情報が示す前記表示範囲内において、前記複数の撮影範囲のうち少なくとも2つの撮影範囲が重複する重複範囲を特定する特定手段と、前記特定手段により特定された前記重複範囲において重複する前記少なくとも2つの撮影範囲のうち何れか1つの撮影範囲を、前記重複範囲の動画の表示に用いられる撮影範囲に決定する決定手段と、前記複数の撮影範囲のそれぞれごとに、前記撮影範囲が分割された前記複数の分割領域のうち、前記表示範囲情報取得手段により取得された前記表示範囲情報が示す前記表示範囲に重なる分割領域の動画を示す分割動画データを識別する識別情報を前記送信装置へ送信する識別情報送信手段であって、前記重複範囲に重なる分割領域の動画を示す分割動画データを識別する識別情報として、前記少なくとも2つの撮影範囲のうち前記決定手段により決定された前記撮影範囲の分割領域の動画を示す分割動画データを識別する識別情報を送信する識別情報送信手段と、前記送信装置から送信された前記分割動画データを受信する分割データ受信手段と、前記分割データ受信手段により受信された複数の分割動画データを合成して合成動画データを生成する合成手段と、前記合成手段により生成された前記合成動画データを再生する再生手段と、を備えることを特徴とする。 The invention according to claim 6 is a communication system including a transmission device that transmits moving image data via a network and a playback device that receives the moving image data transmitted from the transmission device. Movie data acquisition means for acquiring a plurality of movie data captured by a camera, first control means for storing the plurality of movie data acquired by the movie data acquisition means in a storage means, and storage in the storage means Generating means for generating, for each of the plurality of moving image data, a plurality of divided moving image data indicating moving images of a plurality of divided areas obtained by dividing the shooting range of the camera that has captured the moving image data; A second control method for storing each generated divided moving image data in the storage means in association with identification information for identifying the divided moving image data. And identification information receiving means for receiving the identification information transmitted from the playback device, and divided video data transmission for transmitting the divided video data corresponding to the identification information received by the identification information receiving means to the playback device Display range information acquisition means for acquiring display range information indicating a specified display range among integrated shooting ranges obtained by integrating a plurality of shooting ranges of the plurality of cameras, and the plurality of the playback devices. Based on the positional relationship information acquired by the positional relationship information acquisition unit, the positional relationship information acquisition unit that acquires positional relationship information indicating the positional relationship of the imaging range of the display range information acquisition unit In the display range indicated by the display range information, a specific method for specifying an overlapping range in which at least two shooting ranges overlap among the plurality of shooting ranges. Determining means for determining any one of the at least two shooting ranges overlapping in the overlapping range specified by the specifying means as a shooting range used for displaying a moving image of the overlapping range; A moving image of a divided region that overlaps the display range indicated by the display range information acquired by the display range information acquisition unit among the plurality of divided regions obtained by dividing the shooting range for each of the plurality of shooting ranges. Identification information transmission means for transmitting identification information for identifying the divided moving image data indicating the divided moving image data indicating the divided moving image data indicating the moving image in the divided region overlapping the overlapping range, to the transmitting device, Identification information for identifying the divided moving image data indicating the moving image of the divided area of the shooting range determined by the determining means is sent out of the shooting range. Transmitting identification information transmitting means, divided data receiving means for receiving the divided moving picture data transmitted from the transmitting device, and combining the plurality of divided moving picture data received by the divided data receiving means It comprises: a synthesizing unit for generating; and a reproducing unit for reproducing the synthetic moving image data generated by the synthesizing unit.
請求項7に記載の発明は、請求項6に記載の通信システムにおいて、前記送信装置は、前記記憶手段に記憶された前記複数の分割動画データが示す複数の動画のそれぞれから特徴点を抽出する抽出手段と、前記抽出手段により抽出された特徴点のうち、前記複数の動画の少なくとも2つの動画間で対応関係がある特徴点同士の前記統合撮影範囲における位置が重なるように、前記複数の撮影範囲の位置関係を示す位置関係情報を決定する位置関係情報決定手段と、前記位置関係情報決定手段により決定された前記位置関係情報を送信する位置関係情報送信手段と、を更に備え、前記位置関係情報取得手段は、前記送信装置から送信された前記位置関係情報を受信することを特徴とする。 According to a seventh aspect of the present invention, in the communication system according to the sixth aspect, the transmission device extracts feature points from each of the plurality of moving images indicated by the plurality of divided moving image data stored in the storage unit. Among the feature points extracted by the extraction unit and the extraction unit, the plurality of shootings so that the positions in the integrated shooting range of the feature points having a correspondence relationship between at least two moving images of the plurality of moving images overlap. A positional relationship information determining unit that determines positional relationship information indicating a positional relationship of the range; and a positional relationship information transmitting unit that transmits the positional relationship information determined by the positional relationship information determining unit, the positional relationship The information acquisition means receives the positional relationship information transmitted from the transmission device.
請求項1、5又は6に記載の発明によれば、再生装置は、重複範囲に重なる分割領域の分割動画データとして、重複範囲において重複する撮影範囲のうち何れか1つの撮影範囲の分割領域の分割動画データを、送信装置から取得する。従って、送信装置は、重複範囲については何れか1つカメラの撮影範囲の分割動画データを、重複範囲の分割動画データとして送信すればよく、重複範囲について他のカメラの撮影範囲の分割動画データを送信する必要がない。また、分割動画データを受信した再生装置が分割動画データを合成するので、送信装置は複数のカメラから取得した複数の動画データを合成する必要がない。従って、複数のカメラで撮影された複数の動画データの送信装置による配信遅延を防止することができる。更に、再生装置は、表示範囲に重複範囲が含まれる場合にのみ合成処理を行えばよく、かつ、表示範囲内の部分のみを合成すればよい。従って、必要最小限の合成処理で済むため、合成処理による再生遅延をも低減させることができる。 According to the first, fifth, or sixth aspect of the present invention, the playback apparatus uses, as the divided moving image data of the divided area overlapping the overlapping range, the divided area of any one of the shooting ranges overlapping in the overlapping range. The divided moving image data is acquired from the transmission device. Therefore, the transmission device may transmit the divided moving image data of the shooting range of any one camera as the divided moving image data of the overlapping range for the overlapping range, and the divided moving image data of the shooting range of the other camera for the overlapping range. There is no need to send. Further, since the playback device that has received the divided moving image data combines the divided moving image data, the transmitting device does not need to combine a plurality of moving image data acquired from a plurality of cameras. Therefore, it is possible to prevent a delay in delivery by a transmission device of a plurality of moving image data photographed by a plurality of cameras. Furthermore, the playback device only needs to perform the combining process when the overlapping range is included in the display range, and only the portion within the display range may be combined. Accordingly, since the minimum necessary synthesis processing is sufficient, the reproduction delay due to the synthesis processing can be reduced.
請求項2に記載の発明によれば、再生装置は、重複範囲に重なる分割領域の分割動画データとして、表示範囲と重なる領域の面積が最も大きい最大撮影範囲の分割動画データを、合成動画データの生成に用いる。最大撮影範囲は、表示範囲の中央付近を占めている蓋然性が高い。また、最大撮影範囲は、表示範囲全体を覆っている蓋然性がある。従って、合成された動画において、別々の撮影範囲の映像の継ぎ目の位置を表示範囲の端の方に寄らせたり、継ぎ目が生じないようにしたりすることができる。そのため、継ぎ目の視認性を低下させることができる。 According to the second aspect of the present invention, the playback apparatus converts the divided moving image data of the maximum shooting range having the largest area of the region overlapping the display range as the divided moving image data of the divided region overlapping the overlapping range of the combined moving image data. Used for generation. There is a high probability that the maximum shooting range occupies the center of the display range. Further, there is a probability that the maximum photographing range covers the entire display range. Therefore, in the synthesized moving image, the position of the seam of the video in the different shooting ranges can be shifted toward the end of the display range, or the seam can be prevented from being generated. Therefore, the visibility of the seam can be reduced.
請求項3に記載の発明によれば、表示範囲内で撮影範囲の面積が最大であるカメラの動画の画素のうち表示範囲内の画素の数に対して、表示範囲内での解像度がより高いカメラの動画の画素のうち表示範囲内の画素の数の割合が所定割合以上である場合、再生装置は、重複範囲に重なる分割領域の分割動画データとして、表示範囲内での解像度がより高いカメラの分割動画データを、合成動画データの生成に用いる。重複範囲において解像度が高い方の動画が表示されれば、重複範囲の視認性を高めることができる。この場合、面積が大きい方の撮影範囲が、重複範囲の動画の表示に用いられる撮影範囲に決定された場合、継ぎ目の視認性は低下するものの、重複範囲内の動画の解像度は低下する。一方、解像度が高い方の撮影範囲が、重複範囲の動画の表示に用いられる撮影範囲に決定された場合、重複範囲内の動画の解像度は向上するものの、継ぎ目が見えやすくなる。請求項3に記載の発明によれば、画素の数の割合と所定割合との比較判定により、継ぎ目の視認性の低下と重複範囲の動画の視認性の向上とのバランスをとることができる。
According to the third aspect of the present invention, the resolution in the display range is higher than the number of pixels in the display range among the pixels of the moving image of the camera having the largest area in the display range within the display range. When the ratio of the number of pixels in the display range out of the pixels of the moving image of the camera is equal to or greater than a predetermined ratio, the playback device uses a camera with a higher resolution in the display range as divided moving image data of the divided region overlapping the overlapping range The divided moving image data is used for generating the combined moving image data. If a moving image having a higher resolution is displayed in the overlapping range, the visibility of the overlapping range can be improved. In this case, when the shooting range having the larger area is determined to be the shooting range used for displaying the moving image in the overlapping range, the visibility of the moving image in the overlapping range is lowered although the visibility of the joint is lowered. On the other hand, when the shooting range with the higher resolution is determined to be the shooting range used for displaying moving images in the overlapping range, the resolution of moving images in the overlapping range is improved, but the joints are easily visible. According to the invention described in
請求項4に記載の発明によれば、再生装置は、重複範囲に重なる分割領域の分割動画データとして、表示範囲内の画素の数が最も多い撮影範囲の分割動画データを、合成動画データの生成に用いる。カメラで撮影された動画の画素のうち、そのカメラの撮影範囲と表示範囲とが重なる領域内にある画素の数が多いほど、撮影範囲と表示範囲とが重なる領域の面積が大きくなるか、または解像度が高くなる。そのため、継ぎ目の視認性を低下させること、及び重複範囲における解像度を高めることの少なくとも一方が可能となる。 According to the fourth aspect of the present invention, the playback device generates the divided moving image data of the shooting range having the largest number of pixels in the display range as the divided moving image data of the divided region that overlaps the overlapping range. Used for. The larger the number of pixels in the region where the camera's shooting range and display range overlap among the pixels of the moving image shot by the camera, the larger the area of the region where the shooting range and display range overlap, or Increases resolution. Therefore, at least one of reducing the visibility of the seam and increasing the resolution in the overlapping range is possible.
請求項7に記載の発明によれば、撮影範囲が重複する範囲を利用して、複数の撮影範囲の位置関係を自動的に特定することができる。 According to the seventh aspect of the present invention, it is possible to automatically specify the positional relationship of a plurality of shooting ranges using a range where the shooting ranges overlap.
以下、本発明の実施形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[1.通信システムの構成]
図1は、本実施形態の通信システムSAの概要構成例を示す図である。図1に示すように、通信システムSAは、複数のカメラ1−1〜1−n(nは、n≧1を満たす整数)、配信サーバ2、及び1又は複数のクライアント端末3を含んで構成される。配信サーバ2は、本発明の送信装置の一例である。クライアント端末3は、本発明の再生装置の一例である。なお、図1に示すクライアント端末の数は一例であり、この数には限定されるものではない。カメラ1−1〜1−nは、例えば通信ケーブルを介して配信サーバ2に接続される。なお、カメラ1−1〜1−nは、無線により配信サーバ2に接続されてもよい。配信サーバ2及びクライアント端末3は、それぞれ、ネットワークNWに接続される。ネットワークNWは、例えば、インターネット等により構成される。
[1. Configuration of communication system]
FIG. 1 is a diagram illustrating a schematic configuration example of a communication system SA of the present embodiment. As shown in FIG. 1, the communication system SA includes a plurality of cameras 1-1 to 1-n (n is an integer satisfying n ≧ 1), a
カメラ1−1〜1−nは、それぞれ撮影者の操作に従って動画を撮影するビデオカメラである。カメラ1−1〜1−nのそれぞれは、撮影された動画データを、通信ケーブルを介して配信サーバ2へ送信する。カメラ1−1〜1−nのそれぞれから配信サーバ2へ送信される動画データを、「撮影動画データ」という。カメラ1−1〜1−nのうち少なくとも1台のカメラの撮影範囲は固定されていてもよい。また、カメラ1−1〜1−nのうち少なくとも1台のカメラの撮影範囲は、撮影者の操作に応じて変化してもよい。撮影範囲は、例えばカメラの位置、撮影方向、画角等に従って決定されてもよい。例えば、撮影範囲は、被写体の映像が、カメラによって撮影された映像として投影される仮想上の投影面であってもよい。この場合、撮影範囲は例えば平面であってもよいし、曲面であってもよい。原則として、各カメラの撮影範囲の少なくとも一部は、他の少なくとも1台のカメラの撮影範囲の少なくとも一部と重複するように、撮影者は各カメラを設置又は操作する。これによって、カメラ1−1〜1−nの撮影範囲が1つの撮影範囲に統合される。統合された撮影範囲を、「統合撮影範囲」という。カメラ1−1〜1−nにより撮影された動画の縦方向及び横方向の画素数は、例えば互いに同一であってもよい。或いは、カメラ1−1〜1−nのうち少なくとも1つのカメラの解像度は他のカメラの解像度と異なっていてもよい。例えば、カメラ1−1〜1−nのそれぞれの撮影方向を変えることによって、360度のパノラマ映像が撮影されてもよい。或いは、例えばカメラ1−1〜1−nの撮影方向をおおよそ一致させることにより、或る場所から見た所定方向の映像が撮影されてもよい。
Each of the cameras 1-1 to 1-n is a video camera that shoots a moving image according to an operation of the photographer. Each of the cameras 1-1 to 1-n transmits the captured moving image data to the
配信サーバ2は、例えばカメラ1−1〜1−nから動画データを受信するとともに、受信された動画データをクライアント端末3へストリーミング配信するサーバ装置である。例えば、配信サーバ2は、複数のカメラ1−1〜1−nによる撮影中に、カメラ1−1〜1−nから送信されてくる動画データをリアルタイムで配信するライブ配信を実行してもよい。或いは、例えば配信サーバ2は、カメラ1−1〜1−nから送信されてきた動画データを予め記憶し、記憶しておいた動画データをオンデマンド配信してもよい。配信サーバ2は、カメラ1−1〜1−nからそれぞれ送信されてくる撮影動画データを受信する。配信サーバ2は、撮影動画データごとに、撮影動画データに基づいて複数の分割動画データを生成する。具体的に、配信サーバ2は、撮影動画データを構成する画像フレームの領域を複数の分割領域に分割する。画像フレームの領域は、撮影動画データを撮影したカメラの撮影範囲に対応する。画像フレームの領域は、例えば格子状に分割されてもよい。画像フレームの領域の分割数は、例えばカメラ1−1〜1−nの間で互いに同一であってもよい。或いは、カメラ1−1〜1−nのうち少なくとも1つのカメラの画像フレームの領域の分割数は、他のカメラの画像フレームの領域の分割数と異なっていてもよい。配信サーバ2は、複数の分割領域の動画を示す複数の分割動画データを生成する。配信サーバ2は、生成した分割動画データのうち、クライアント端末3から要求された分割動画データをクライアント端末3へ送信する。
The
クライアント端末3は、配信サーバ2からストリーミング配信されてくる動画データを受信して再生する端末装置である。クライアント端末3の種類としては、パーソナルコンピュータ、テレビ、STB、携帯電話機、スマートフォン、タブレット型コンピュータ等がある。クライアント端末3は、例えばユーザによる表示範囲の指定を受け付ける。表示範囲は、上述した統合撮影範囲のうち、クライアント端末3により表示される範囲を示す。例えば、動画が三次元仮想空間に配置された仮想スクリーンに投影されるものとし、三次元仮想空間において動画を見る人物が存在すると仮定する。クライアント端末3は、ユーザの操作に従って、表示範囲を示す表示範囲情報を取得する。表示範囲情報は、例えば統合撮影範囲に投影された動画を見る人物の視点位置、視線方向、及び視野角度を含んでもよい。ユーザは、例えば統合された撮影範囲内で表示範囲を拡大、縮小、移動等させることができる。クライアント端末3は、カメラ1−1〜1−nの撮影範囲ごとに、その撮影範囲が分割された複数の分割領域のうち、指定された表示範囲と重なる分割領域を特定する。そして、クライアント端末3は、特定された分割領域の動画を示す分割動画データを配信サーバ2に要求する。クライアント端末3は、この要求に応じて配信サーバ2から送信された分割動画データを受信する。クライアント端末3は、受信した分割動画データを合成して、統合撮影範囲のうち表示範囲内の動画を示す合成動画データを生成する。クライアント端末3は、生成した合成動画データに従って、表示範囲内の動画を表示する。これにより、1つのカメラの撮影範囲のうち表示範囲内の動画を表示する場合よりも、表示される動画の解像度を向上させることができる。
The
[2.各装置の構成]
次に、図1を参照して、本実施形態の通信システムSAに含まれる各装置の構成について説明する。配信サーバ2は、図1に示すように、制御部21、記憶部22、及びインターフェース部23及び24等を備えて構成される。これらの構成要素は、バス14に接続されている。インターフェース部23は、ネットワークNWに接続される。インターフェース部24は、通信ケーブルを介してカメラ1−1〜1−nに接続される。制御部21は、コンピュータとしてのCPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)等により構成される。記憶部22は、例えばハードディスクドライブにより構成される。記憶部22には、OS、及びサーバプログラム等が記憶されている。サーバプログラムは、コンテンツの配信処理等をCPUに実行させるプログラムである。また、記憶部22には、カメラ1−1〜1−nから受信された撮影動画データ及び撮影動画データから生成された分割動画データが記憶される。制御部21は、カメラ1−1〜1−nのそれぞれから例えばフレーム単位で送信されてくる撮影動画データをインターフェース部23を介して取得する。制御部21は、取得した撮影動画データを記憶部22に記憶させる。また、制御部21は、記憶部22に記憶された各撮影動画データから複数の分割動画データを生成する。制御部21は、画像フレームごとに、画像フレームを複数の分割領域に分割し、複数の分割領域に対応する複数の分割動画データを生成する。制御部21は、各分割動画データを、その分割動画データを識別する分割動画IDと対応付けて記憶部22に記憶させる。例えば、分割動画IDは、分割動画データの基となった撮影動画データを撮影したカメラを識別する識別情報と、そのカメラの撮影範囲において、分割動画データが対応する分割領域の位置を識別する識別情報とを含んでもよい。
[2. Configuration of each device]
Next, the configuration of each device included in the communication system SA of the present embodiment will be described with reference to FIG. As illustrated in FIG. 1, the
次に、クライアント端末3は、図1に示すように、制御部31、記憶部32、ビデオRAM33、映像制御部34、操作処理部35、音声制御部36、及びインターフェース部37等を備えて構成される。これらの構成要素は、バス38に接続されている。映像制御部34には、ディスプレイを備える表示部34aが接続される。制御部31は、コンピュータとしてのCPU、ROM、及びRAM等により構成される。操作処理部35には、操作部35aが接続される。操作部35aには、例えば、マウス、キーボード、リモコン等がある。表示部34aと操作部35aとを兼ねるタッチパネルが適用されてもよい。制御部31は、ユーザによる操作部35aからの操作指示を、操作処理部35を介して受け付ける。音声制御部36には、スピーカ36aが接続される。インターフェース部37は、ネットワークNWに接続される。記憶部32は、例えば、ハードディスクドライブ又はフラッシュメモリ等により構成される。記憶部32には、OS、及びプレイヤーソフトウェア等が記憶されている。プレイヤーソフトウェアは、動画データの受信及び再生処理等をCPUに実行させるプログラムである。
Next, as shown in FIG. 1, the
[3.分割動画データの受信及び合成]
上述したように、クライアント端末3は、カメラ1−1〜1−nの撮影範囲ごとに、その撮影範囲が分割された複数の分割領域のうち、指定された表示範囲と重なる分割領域の分割動画データを配信サーバ2から受信する。このとき、表示範囲のうち、少なくとも2台のカメラの撮影範囲が重複する領域を、「重複範囲」という。重複範囲と重なる分割領域の分割動画データとして、撮影範囲が重複する少なくとも2台のカメラのそれぞれの分割動画データを配信サーバ2がクライアント端末3に送信すると、ネットワークの負荷が増大する。これにより、動画データの配信が遅延するおそれがある。そこで、クライアント端末3は、所定の条件に基づいて、撮影範囲が重複する少なくとも2台のカメラの撮影範囲のうち、何れか1台のカメラの撮影範囲を、重複範囲の動画の表示に用いられる撮影範囲に決定する。そして、クライアント端末3は、重複範囲と重なる分割領域の分割動画データとして、重複範囲で重なる撮影範囲のうち、決定した撮影範囲の分割動画データのみを配信サーバ2から受信する。これにより、クライアント端末3は、ネットワークの負荷及び配信サーバ2による配信負荷の増大を防止し、動画データの配信の遅延を防止する。
[3. Receiving and combining divided video data]
As described above, the
先ず、クライアント端末3は、表示範囲情報を取得するとともに、カメラ1−1〜1−nの撮影範囲の位置関係を示す位置関係情報を取得する。クライアント端末3は、表示範囲情報と位置関係情報に基づいて、表示範囲とカメラ1−1〜1−nのそれぞれの撮影範囲との重なりの有無、及び重なる範囲を特定する。また、クライアント端末3は、表示範囲情報と位置関係情報に基づいて、重複範囲の動画の表示に用いられる撮影範囲を決定してもよい。位置関係情報は、例えば、カメラ1−1の位置、撮影方向及び画角と、カメラ1−1の位置、撮影方向及び画角に対するカメラ1−2〜1−nのそれぞれの相対的な位置、撮影方向及び画角を含んでもよい。また例えば、位置関係情報は、カメラ1−1の投影面としての撮影範囲の位置、方向、縦の長さ及び横の長さに対するカメラ1−2〜1−nのそれぞれの投影面としての撮影範囲の相対的な位置、方向、縦の長さ及び横の長さであってもよい。また、位置関係情報は、カメラ1−1〜1−nそれぞれで撮影される動画の縦方向の画素数及び横方向の画素数を更に含んでもよい。
First, the
例えば、配信サーバ2が位置関係情報を生成し、クライアント端末3は、配信サーバ2から位置関係情報を取得してもよい。具体的に、配信サーバ2は、カメラ1−1〜1−nのそれぞれから画角等の撮影パラメータを取得してもよい。また、配信サーバ2は、カメラ1−1〜1−nのそれぞれから受信された撮影動画データに含まれる画像フレームから、特徴点を抽出する。配信サーバ2は、例えば公知の方法で映像から特徴点を抽出してもよい。特徴点の抽出方法の例として、SIFT(Scale-Invariant Feature Transform)等が挙げられる。配信サーバ2は、カメラ1−1〜1−nの撮影時刻が一致する画像フレームから抽出された特徴点のうち、少なくとも2台のカメラの間で対応関係がある特徴点を特定する。この特徴点を、「対応点」という。対応点とは、別々のカメラで撮影されたそれぞれの映像の中で、互いに同一の被写体の映像に位置する特徴点である。配信サーバ2は、例えば公知の対応点探索方法を用いて、対応点を特定してもよい。上述したように、基本的に、各カメラの撮影範囲の少なくとも一部は、他の少なくとも1台のカメラの撮影範囲の少なくとも一部と重複する。従って、異なるカメラで撮影された複数の動画に、同一の被写体の映像が含まれている蓋然性がある。配信サーバ2は、対応点が特定された少なくとも2台のカメラのそれぞれの撮影範囲における対応点の位置等に基づいて、これらのカメラの撮影範囲の位置関係を決定することができる。具体的に、配信サーバ2は、統合撮影範囲において対応点同士の位置が重なるように、撮影範囲の位置関係を決定する。例えば、カメラ1−1の撮影範囲とカメラ1−2の撮影範囲の位置関係が特定され、カメラ1−2の撮影範囲とカメラ1−3の撮影範囲の位置関係が特定されれば、カメラ1−1〜1−3の撮影範囲の位置関係を特定することができる。
For example, the
なお、全てのカメラの撮影範囲が固定されている場合、例えば位置関係情報は、通信システムSAの管理者により予め設定されてもよい。この場合、クライアント端末3は、設定された位置関係情報を配信サーバ2等から取得してもよい。
Note that when the shooting ranges of all the cameras are fixed, for example, the positional relationship information may be set in advance by the administrator of the communication system SA. In this case, the
クライアント端末3は、位置関係情報と表示範囲情報とに基づいて、撮影範囲が重複する少なくとも2台のカメラの撮影範囲のうち、重複範囲の動画の表示に用いられる撮影範囲を決定する。具体的に、クライアント端末3は、位置関係情報が示すカメラ1−1〜1−nの撮影範囲の位置関係と、表示範囲情報が示す表示範囲から、カメラ1−1〜1−nのそれぞれについて、その撮影範囲のうち表示範囲と重なる領域を特定する。
Based on the positional relationship information and the display range information, the
クライアント端末3は、例えば各撮影範囲が表示範囲と重なる領域の面積を計算してもよい。そして、クライアント端末3は、撮影範囲が重なる少なくとも2台のカメラの撮影範囲のうち、計算した面積が最も大きい撮影範囲を、重複範囲の動画の表示に用いられる撮影範囲に決定してもよい。表示範囲と重なる領域の面積が最も大きい撮影範囲を「最大撮影範囲」という。表示範囲と重なる領域の面積が大きい撮影範囲ほど、表示範囲を占める割合が高くなる。そのため、最大撮影範囲は、表示範囲の中央付近を占めている蓋然性が高い。従って、少なくとも2台のカメラの撮影範囲の映像をつなぎ合わせて合成する場合において、異なる撮影範囲の映像の継ぎ目を表示領域の端の方に寄らせることができる。また例えば、最大撮影範囲が、表示範囲の全体と重なっている場合、クライアント端末3は、表示範囲全体にわたって、最大撮影範囲の分割動画データのみを配信サーバ2から受信し、受信した分割動画データを合成する。従ってこの場合は、異なる撮影範囲の映像の継ぎ目が生じないようにすることができる。このように、継ぎ目の視認性を低下させることができる。
For example, the
クライアント端末3は、例えば各撮影範囲が表示範囲と重なる領域の画素数を計算してもよい。この場合の画素数は、カメラで撮影された動画の画素のうち、表示範囲と重なる領域の画素の数であり、クライアント端末3の表示部34aの画面上の画素の数ではない。クライアント端末3は、撮影範囲が重なる少なくとも2台のカメラの撮影範囲のうち、計算した画素数が最も多い領域を、重複範囲の動画の表示に用いられる撮影範囲に決定してもよい。表示範囲と重なる領域の画素の数が大きい撮影範囲ほど、その撮影範囲が表示範囲と重なる領域の面積が大きくなるか、または解像度が高くなる。そのため、上述したような継ぎ目の視認性を低下させること、及び重複範囲における解像度を高めることの少なくとも一方が可能となる。
For example, the
クライアント端末3は、例えば各撮影範囲が表示範囲と重なる領域の面積と、各カメラについて、カメラで撮影された動画のうち撮影範囲が表示範囲と重なる領域の画素数との両方を計算してもよい。そして、クライアント端末3は、面積及び画素数を用いて、統合撮影範囲における各撮影範囲の解像度を計算してもよい。例えば、クライアント端末3は、位置関係情報から特定される各撮影範囲の縦の長さ及び横の長さと、各カメラで撮影された動画の縦の画素数及び横の画素数を用いて、統合撮影範囲における各撮影範囲の解像度を計算することができる。クライアント端末3は、撮影範囲が重なる少なくとも2台のカメラの撮影範囲のうち、最大撮影範囲の解像度よりも高い解像度の撮影範囲を特定してもよい。最大撮影範囲の解像度よりも高い解像度の撮影範囲が存在しない場合、クライアント端末3は、最大撮影範囲を、重複範囲の動画の表示に用いられる撮影範囲に決定してもよい。最大撮影範囲の解像度よりも高い解像度の撮影範囲が存在する場合、クライアント端末3は、最大撮影範囲が表示範囲と重なる領域の画素の数に対して、より解像度が高い撮影範囲が表示範囲と重なる領域の画素の数の割合を計算してもよい。クライアント端末3は、計算した割合が所定の設定割合以上である場合、より解像度が高い撮影範囲を、重複範囲の動画の表示に用いられる撮影範囲に決定してもよい。計算した割合が設定割合未満である場合、最大撮影範囲を、重複範囲の動画の表示に用いられる撮影範囲に決定してもよい。重複範囲において解像度が高い方の動画が表示されれば、重複範囲の動画の視認性を高めることができる。この場合、最大撮影範囲が、重複範囲の動画の表示に用いられる撮影範囲に決定された場合、継ぎ目の視認性は低下するものの、重複範囲内の動画の解像度は低下する。一方、解像度が高い方の撮影範囲が、重複範囲の動画の表示に用いられる撮影範囲に決定された場合、重複範囲内の動画の解像度は向上するものの、継ぎ目が見えやすくなる。クライアント端末3は、画素数の割合と設定割合とを比較判定することにより、継ぎ目の視認性の低下と重複範囲の動画の解像度視の向上とのバランスをとることができる。例えば、通信システムSAの管理者が設定割合を予め設定してもよい。管理者は、設定割合の値を自由に決定することができる。
For example, the
クライアント端末3は、撮影範囲が重なる少なくとも2台のカメラの撮影範囲のうち、1個あたりの分割領域の画素数が最も少ない撮影範囲を、重複範囲の動画の表示に用いられる撮影範囲に決定してもよい。分割領域の一部が表示範囲と重なる場合においては、分割領域の画素数が多いほど、その分割領域が表示範囲と重ならない部分の画素の数が多くなる傾向がある。合成動画データを生成するとき、クライアント端末3は、表示範囲内の画素のデータを用いて合成処理を行えばよく、表示範囲外の部分の画素のデータは使用しなくてもよい。分割領域の画素数が多いほど、その分割領域に対応する分割動画データのうち、合成に用いられないデータの量が大きくなる傾向がある。クライアント端末3は、1個あたりの分割領域の画素数が最も少ない撮影範囲の分割領域の分割動画データを配信サーバ2から受信することにより、配信サーバ2から不要なデータが送信される量を減らし、配信サーバ2による配信負荷を低減させることができる。例えば、クライアント端末3は、カメラで撮影された動画のうち撮影範囲が表示範囲と重なる領域の画素の数が同一である複数の撮影範囲が存在する場合にのみ、この複数の撮影範囲のうち、1個あたりの分割領域の画素数が最も少ない撮影範囲を、重複範囲の動画の表示に用いられる撮影範囲に決定してもよい。
The
なお、クライアント端末3は、例えば上述した方法とは別の方法で、重複範囲の動画の表示に用いられる撮影範囲を決定してもよい。例えば、クライアント端末3は、重複範囲の動画の表示に用いられる撮影範囲をランダムに決定してもよい。
Note that the
図2(A)は、3台のカメラの撮影範囲の位置関係、及び各撮影範囲と表示範囲との位置関係の一例を示す図である。この例の場合、n=3である。図2(A)に示すCA1〜CA3はそれぞれ撮影範囲である。撮影範囲CA1〜CA3はそれぞれカメラ1−1〜1−3の撮影範囲である。各撮影領域は、16個の分割領域に分割される。図2(A)において、Gi(x,y)は、撮影範囲CAiにおいて、座標(x,y)にある分割領域を示す。DAは、表示範囲を示す。CA1〜CA3のそれぞれの一部が表示範囲DAと重なっている。なお、説明の便宜上、カメラ1−1〜1−3で撮影される動画の画素数は同一であるものとする。また、撮影範囲CA1〜CA3の位置関係において、撮影範囲CA1〜CA3の面積は同一であるものとする。以下では、撮影範囲が表示範囲と重なる領域の画素の数に基づいて、重複範囲の動画の表示に用いられる撮影範囲を決定する場合の例を説明する。 FIG. 2A is a diagram illustrating an example of the positional relationship between the imaging ranges of the three cameras and the positional relationship between each imaging range and the display range. In this example, n = 3. CA1 to CA3 shown in FIG. 2A are imaging ranges. The shooting ranges CA1 to CA3 are the shooting ranges of the cameras 1-1 to 1-3, respectively. Each photographing area is divided into 16 divided areas. In FIG. 2A, Gi (x, y) indicates a divided area at coordinates (x, y) in the imaging range CAi. DA indicates a display range. A part of each of CA1 to CA3 overlaps the display range DA. For convenience of explanation, it is assumed that the number of pixels of the moving images photographed by the cameras 1-1 to 1-3 is the same. Further, in the positional relationship of the imaging ranges CA1 to CA3, the areas of the imaging ranges CA1 to CA3 are assumed to be the same. In the following, an example will be described in which the shooting range used for displaying moving images in the overlapping range is determined based on the number of pixels in the region where the shooting range overlaps the display range.
図2(B)は、各撮影範囲と表示範囲との重なりの一例を示す図である。また、図2(C)〜図2(E)は、配信サーバ2から受信する分割動画データの決定例を示す図である。例えば、撮影範囲CA1〜CA3のうち、撮影範囲CA2と表示領域DAとが重なる領域の画素数が最も多いとする。そして、撮影範囲CA3と表示領域DAとが重なる領域の画素数が2番目に多いとする。
FIG. 2B is a diagram illustrating an example of an overlap between each shooting range and the display range. FIGS. 2C to 2E are diagrams illustrating examples of determining the divided moving image data received from the
この場合、クライアント端末3は、表示領域DAと重なる領域の画素数が最も多い撮影範囲CA2を選択する。そして、クライアント端末3は、位置関係情報と表示範囲情報とに基づいて、図2(C)に示すように、撮影範囲CA2を構成する分割領域のうち、表示領域DAと重なる分割領域を特定する。図2(C)の例において、クライアント端末3は、分割領域G2(0,1)、G2(0,2)、G2(0,3)、G2(1,1)、G2(1,2)及びG2(1,3)を特定する。そして、クライアント端末3は、特定した分割領域に対応する分割動画データを配信サーバ2から受信する。クライアント端末3は、表示領域DAから、撮影範囲CA1と重なる部分を除外又は削除する。これにより、図2(D)に示すように、表示領域DAが小さくなる。
In this case, the
次いで、クライアント端末3は、表示領域DAと重なる領域の画素数が2番目に多い撮影範囲CA3を選択する。そして、クライアント端末3は、図2(D)に示すように、撮影範囲CA3を構成する分割領域のうち、小さくなった表示領域DAと重なる分割領域を特定する。図2(D)の例において、クライアント端末3は、分割領域G3(0,0)及びG3(0,1)を特定する。そして、クライアント端末3は、特定した分割領域に対応する分割動画データを配信サーバ2から受信する。例えば、分割領域G3(1,0)、G3(1,1)、G3(2,0)、G3(2,1)は、図2(C)が示す表示領域DAと重なっている。しかしながら、表示領域DAが小さくなったため、これらの分割領域の分割動画データは配信サーバ2から受信されない。クライアント端末3は、表示領域DAから、撮影範囲CA3と重なる部分を除外又は削除する。これにより、図2(E)に示すように、表示領域DAが更に小さくなる。
Next, the
次いで、クライアント端末3は、表示領域DAと重なる領域の画素数が3番目に多い撮影範囲CA1を選択する。そして、クライアント端末3は、図2(E)に示すように、撮影範囲CA1を構成する分割領域のうち、更に小さくなった表示領域DAと重なる分割領域を特定する。図2(E)の例において、クライアント端末3は、分割領域G1(2,1)、G1(2,2)、G1(3,1)及びG1(3,2)を特定する。そして、クライアント端末3は、特定した分割領域に対応する分割動画データを配信サーバ2から受信する。例えば、分割領域G1(2,3)及びG1(3,3)は、図2(C)が示す表示領域DAと重なっている。しかしながら、表示領域DAが小さくなったため、これらの分割領域の分割動画データは配信サーバ2から受信されない。
Next, the
クライアント端末3は、配信サーバ2から受信した分割動画データを合成して、合成動画データを生成する。先ずクライアント端末3は、表示領域DAと重なる領域の画素数が3番目に多い撮影範囲CA1の分割領域G1(2,1)、G1(2,2)、G1(3,1)及びG1(3,2)のフレームの画像を、表示範囲DAに対応する描画領域に描画する。このときに、クライアント端末3は、各分割領域において、表示範囲DAと重ならない部分の画像は描画しなくてもよい。
The
次いで、クライアント端末3は、表示領域DAと重なる領域の画素数が2番目に多い撮影範囲CA3の分割領域G3(0,0)及びG3(0,1)のフレームの画像を、表示範囲DAに対応する描画領域に描画する。このとき、クライアント端末3は、撮影範囲CA3が撮影範囲CA1と重なる部分については、撮影範囲CA1の画像を、撮影範囲CA3の画像で上書き又は塗りつぶしてもよい。このとき、クライアント端末3は、撮影範囲CA1の画像と撮影範囲CA3の画像との継ぎ目を目立たなくさせる処理を行ってもよい。或いは、例えばクライアント端末3は、撮影範囲CA1の画像と撮影範囲CA3の画像とを、撮影範囲CA3と撮影範囲CA1とが重なる部分の画素ごとに合成を行ってもよい。しかしながら、画素ごとに合成を行うよりも、上書き又は塗りつぶしを行った方が、合成処理に要するクライアント端末3の負荷を軽減させることができる。
Next, the
次いで、クライアント端末3は、表示領域DAと重なる領域の画素数が最も多い撮影範囲CA2の分割領域G2(0,1)、G2(0,2)、G2(0,3)、G2(1,1)、G2(1,2)及びG2(1,3)のフレームの画像を、表示範囲DAに対応する描画領域に描画する。このとき、クライアント端末3は、撮影範囲CA2が撮影範囲CA1及びCA3の少なくとも何れかと重なる部分については、撮影範囲CA1又はCA3の画像を、撮影範囲CA2の画像で上書き又は塗りつぶしてもよい。このとき、クライアント端末3は、画像の継ぎ目を目立たなくさせる処理を行ってもよい。或いは、例えばクライアント端末3は、画素ごとに合成を行ってもよい。
Next, the
図2(F)は、1フレーム分の画像の合成結果の一例を示す図である。上述した処理により、クライアント端末3は、図2(F)に示すような画像を生成し、クライアント端末3の表示部34aに表示する。
FIG. 2F is a diagram illustrating an example of a composition result of an image for one frame. Through the processing described above, the
図2(B)に示すように、重複範囲は、重複範囲OA1〜OA4に分けられる。重複範囲OA1は、撮影範囲CA1と撮影範囲CA2とが重なる領域である。上述した処理の結果、クライアント端末3は、撮影範囲CA1及びCA2のうち撮影範囲CA2を、重複範囲OA1の動画の表示に用いる撮影範囲として決定する。重複範囲OA2は、撮影範囲CA1と撮影範囲CA3とが重なる領域である。クライアント端末3は、撮影範囲CA1及びCA3のうち撮影範囲CA3を、重複範囲OA2の動画の表示に用いる撮影範囲として決定する。重複範囲OA3は、撮影範囲CA2と撮影範囲CA3とが重なる領域である。クライアント端末3は、撮影範囲CA2及びAC3のうち撮影範囲CA2を、重複範囲OA3の動画の表示に用いる撮影範囲として決定する。重複範囲OA4は、撮影範囲CA1〜C3が重なる領域である。撮影範囲CA1〜CA3のうち撮影範囲CA2を、重複範囲OA2の動画の表示に用いる撮影範囲として決定する。
As shown in FIG. 2B, the overlapping range is divided into overlapping ranges OA1 to OA4. The overlapping range OA1 is an area where the shooting range CA1 and the shooting range CA2 overlap. As a result of the processing described above, the
図3(A)は、撮影範囲が固定された2台のカメラの撮影範囲の位置関係、及び各撮影範囲と表示範囲との位置関係の一例を示す図である。以下では、撮影範囲が表示範囲と重なる領域の面積を用いて重複範囲の動画の表示に用いられる撮影範囲を決定する例を説明する。図3(A)において、撮影範囲CA11及びCA12はそれぞれカメラ1−1及び1−2の撮影範囲である。撮影範囲CA11及びCA12は固定されている。撮影範囲CA11の面積と撮影範囲CA12の面積とは同一である。撮影範囲CA11の右端の領域と撮影範囲CA12の左端の領域とが重複している。 FIG. 3A is a diagram illustrating an example of the positional relationship between the shooting ranges of two cameras with fixed shooting ranges and the positional relationship between each shooting range and the display range. In the following, an example will be described in which the shooting range used for displaying moving images in the overlapping range is determined using the area of the region where the shooting range overlaps the display range. In FIG. 3A, shooting ranges CA11 and CA12 are shooting ranges of the cameras 1-1 and 1-2, respectively. The shooting ranges CA11 and CA12 are fixed. The area of the shooting range CA11 and the area of the shooting range CA12 are the same. The right end area of the shooting range CA11 and the left end area of the shooting range CA12 overlap.
図3(A)に示すように、表示範囲DAが最初に場所P11上に位置している。このとき、撮影範囲CA11の一部が表示範囲DAの全部と重なっている。一方、撮影範囲CA12の一部が表示範囲DAの一部と重なっている。従って、撮影範囲CA11が表示範囲DAと重なる領域の面積の方が、撮影範囲CA12が表示範囲DAと重なる領域の面積よりも大きい。表示範囲DA内においては、撮影範囲CA11と撮影範囲CA12とは重複範囲OA11で重複している。従って、クライアント端末3は、撮影範囲CA11を、重複範囲OA11の動画に用いられる撮影範囲に決定する。表示範囲DAの全部が撮影範囲CA11で覆われているので、クライアント端末3は、表示範囲DAと重なる分割領域の分割動画データとして、撮影範囲CA11の分割動画データのみを配信サーバ2から受信することになる。そのため、クライアント端末3は、撮影範囲CA11の分割領域の映像を合成して、表示範囲DA全体の映像を生成する。従って、撮影範囲CA11の映像と撮影範囲CA12の映像との継ぎ目が生じない。仮に撮影範囲CA12が、重複範囲OA11の動画に用いられる撮影範囲に決定された場合、クライアント端末3は、重複範囲OA11の分割動画データとして、撮影範囲CA12の分割動画データを配信サーバ2から受信し、重複範囲OA11を除く範囲の分割動画データとして、撮影範囲CA11の分割動画データを配信サーバ2から受信する。そのため、クライアント端末3は、撮影範囲CA11の分割領域の映像と撮影範囲CA12の分割領域の映像を合成する。従って、図3(A)に示すように、撮影範囲CA11の映像と撮影範囲CA12の映像との継ぎ目が、表示範囲DAのほぼ中央に現れることになる。
As shown in FIG. 3A, the display range DA is first located on the place P11. At this time, a part of the shooting range CA11 overlaps the entire display range DA. On the other hand, a part of the shooting range CA12 overlaps a part of the display range DA. Therefore, the area of the region where the shooting range CA11 overlaps the display range DA is larger than the area of the region where the shooting range CA12 overlaps the display range DA. In the display range DA, the shooting range CA11 and the shooting range CA12 overlap in the overlapping range OA11. Therefore, the
その後、図3(A)に示すように、表示範囲DAが場所P12上に移動したとする。このとき、撮影範囲CA11及びCA12のそれぞれの一部が表示範囲DAの全部と重なっている。撮影範囲CA12が表示範囲DAと重なる領域の面積の方が、撮影範囲CA11が表示範囲DAと重なる領域の面積よりも大きい。表示範囲DA内においては、撮影範囲CA11と撮影範囲CA12とは重複範囲OA12で重複している。従って、クライアント端末3は、撮影範囲CA12を、重複範囲OA12の動画に用いられる撮影範囲に決定する。この場合、クライアント端末3は、撮影範囲CA11の分割領域の映像と撮影範囲CA12の分割領域の映像を合成する。但し、図3(A)に示すように、撮影範囲CA11の映像と撮影範囲CA12の映像との継ぎ目が、表示範囲DAの左端に現れる。そのため、継ぎ目を目立たなくし、又は継ぎ目の視認性を低下させることができる。仮に撮影範囲CA11が、重複範囲OA12の動画に用いられる撮影範囲に決定されたとする。この場合、図3(A)に示すように、撮影範囲CA11の映像と撮影範囲CA12の映像との継ぎ目が、表示範囲DAの中央付近に現れることになる。
Thereafter, as shown in FIG. 3A, it is assumed that the display range DA has moved onto the place P12. At this time, a part of each of the photographing ranges CA11 and CA12 overlaps the entire display range DA. The area of the area where the imaging range CA12 overlaps the display range DA is larger than the area of the area where the imaging range CA11 overlaps the display range DA. In the display range DA, the shooting range CA11 and the shooting range CA12 overlap in the overlapping range OA12. Therefore, the
図3(B)は、撮影範囲が固定されたカメラの撮影範囲と撮影範囲が移動するカメラの撮影範囲の位置関係、及び撮影範囲と表示範囲との位置関係の一例を示す図である。以下では、画素数の割合を用いて重複範囲の動画の表示に用いられる撮影範囲を決定する例を説明する。図3(B)において、撮影範囲CA21及びCA22はそれぞれカメラ1−1及び1−2の撮影範囲である。撮影範囲CA21は固定されており、撮影範囲CA22は、例えば撮影者によるカメラ1−2の操作によって移動、拡大及び縮小が可能である。また、撮影範囲CA22の面積は撮影範囲CA21の面積よりも小さく、撮影範囲CA22は撮影範囲CA21内を移動する。表示範囲DAは、撮影範囲CA22内を移動する。カメラ1−1で撮影される動画の画素数とカメラ1−2で撮影される動画の画素数は同一である。従って、カメラ1−2で撮影される動画の統合撮影範囲上の解像度は、カメラ1−1で撮影される動画の統合撮影範囲上の解像度よりも高い。また、設定割合を2とする。 FIG. 3B is a diagram illustrating an example of a positional relationship between a shooting range of a camera with a fixed shooting range, a shooting range of a camera to which the shooting range moves, and a positional relationship between the shooting range and the display range. Below, the example which determines the imaging | photography range used for the display of the animation of an overlapping range using the ratio of the number of pixels is demonstrated. In FIG. 3B, shooting ranges CA21 and CA22 are the shooting ranges of the cameras 1-1 and 1-2, respectively. The shooting range CA21 is fixed, and the shooting range CA22 can be moved, enlarged, and reduced by the operation of the camera 1-2 by the photographer, for example. The area of the shooting range CA22 is smaller than the area of the shooting range CA21, and the shooting range CA22 moves within the shooting range CA21. The display range DA moves within the shooting range CA22. The number of pixels of the moving image shot by the camera 1-1 is the same as the number of pixels of the moving image shot by the camera 1-2. Accordingly, the resolution on the integrated shooting range of the moving image shot by the camera 1-2 is higher than the resolution on the integrated shooting range of the moving image shot by the camera 1-1. Further, the setting ratio is set to 2.
図3(B)に示すように、表示範囲DAが最初に場所P21上に位置している。このとき、撮影範囲CA21の一部が表示範囲DAの全部と重なっている。カメラ1−1で撮影された動画の画素のうち、撮影範囲CA21が表示範囲DAと重なる領域の画素の数は、約40万である。一方、撮影範囲CA22の一部が表示範囲DAの一部と重なっている。カメラ1−2で撮影された動画の画素のうち、撮影範囲CA22が表示範囲DAと重なる領域の画素の数は、約50万である。表示範囲DAにおいて、撮影範囲CA21と撮影範囲CA22とは重複範囲OA21で重複している。撮影範囲CA21が表示範囲DAと重なる領域の画素の数に対して、撮影範囲CA22が表示範囲DAと重なる領域の画素の数の割合は1.25である。この割合は設定割合よりも小さいので、クライアント端末3は、撮影範囲CA21を、重複範囲OA21の動画に用いられる撮影範囲に決定する。表示範囲DAの全部が撮影範囲CA21で覆われているので、クライアント端末3は、表示範囲DAと重なる分割領域の分割動画データとして、撮影範囲CA21の分割動画データのみを配信サーバ2から受信することになる。そのため、クライアント端末3は、撮影範囲CA21の分割領域の映像を合成して、表示範囲DA全体の映像を生成する。従って、撮影範囲CA21の映像と撮影範囲CA22の映像との継ぎ目が生じない。仮に撮影範囲CA22が、重複範囲OA21の動画に用いられる撮影範囲に決定された場合、重複範囲DAにおける動画の解像度が向上する。しかしながら、図3(B)に示すように、撮影範囲CA21の映像と撮影範囲CA22の映像との継ぎ目が現れる。
As shown in FIG. 3B, the display range DA is first located on the place P21. At this time, a part of the shooting range CA21 overlaps the entire display range DA. Of the pixels of the moving image captured by the camera 1-1, the number of pixels in the area where the imaging range CA21 overlaps the display range DA is about 400,000. On the other hand, a part of the photographing range CA22 overlaps a part of the display range DA. Of the pixels of the moving image shot by the camera 1-2, the number of pixels in the area where the shooting range CA22 overlaps the display range DA is about 500,000. In the display range DA, the shooting range CA21 and the shooting range CA22 overlap in the overlapping range OA21. The ratio of the number of pixels in the area where the shooting range CA22 overlaps the display range DA to the number of pixels in the area where the shooting range CA21 overlaps the display range DA is 1.25. Since this ratio is smaller than the set ratio, the
その後、図3(B)に示すように、表示範囲DAが場所P22上に移動したとする。このときも、撮影範囲CA21の一部が表示範囲DAの全部と重なっている。カメラ1−1で撮影された動画の画素のうち、撮影範囲CA21が表示範囲DAと重なる領域の画素の数は、約25万である。一方、撮影範囲CA22の全部が表示範囲DAに含まれている。カメラ1−2で撮影された動画の画素のうち、撮影範囲CA22が表示範囲DAと重なる領域の画素の数は、約200万である。表示範囲DAにおいて、撮影範囲CA21と撮影範囲CA22とは重複範囲OA22で重複している。撮影範囲CA21が表示範囲DAと重なる領域の画素の数に対して、撮影範囲CA22が表示範囲DAと重なる領域の画素の数の割合は8である。この割合は設定割合よりも大きいので、クライアント端末3は、撮影範囲CA22を、重複範囲OA22の動画に用いられる撮影範囲に決定する。従って、重複範囲OA22の縁に継ぎ目が生じるものの、撮影範囲CA21を用いた場合よりも、重複範囲OA22内の動画の解像度が向上する。
Thereafter, as shown in FIG. 3B, it is assumed that the display range DA has moved onto the place P22. Also at this time, a part of the photographing range CA21 overlaps the entire display range DA. Of the pixels of the moving image shot by the camera 1-1, the number of pixels in the area where the shooting range CA21 overlaps the display range DA is about 250,000. On the other hand, the entire photographing range CA22 is included in the display range DA. Of the pixels of the moving image shot by the camera 1-2, the number of pixels in the area where the shooting range CA22 overlaps the display range DA is about 2 million. In the display range DA, the shooting range CA21 and the shooting range CA22 overlap in the overlapping range OA22. The ratio of the number of pixels in the area where the shooting range CA22 overlaps the display range DA to the number of pixels in the area where the shooting range CA21 overlaps the display range DA is 8. Since this ratio is larger than the set ratio, the
[4.通信システムSAの動作]
次に、図4乃至図6を参照して、本実施形態の通信システムSAの動作について説明する。以下では、撮影範囲が表示範囲と重なる領域の画素の数に基づいて、重複範囲の動画の表示に用いられる撮影範囲を決定する場合の動作例を説明する。図4(A)は、クライアント端末3における動画再生処理の一例を示すフローチャートである。例えば、操作部35aを操作することにより、ユーザが動画の再生を指示したときに、クライアント端末3は動画再生処理を実行する。
[4. Operation of Communication System SA]
Next, the operation of the communication system SA of this embodiment will be described with reference to FIGS. In the following, an operation example in the case of determining the shooting range used for displaying the moving image in the overlapping range based on the number of pixels in the region where the shooting range overlaps the display range will be described. FIG. 4A is a flowchart illustrating an example of a moving image playback process in the
先ず、クライアント端末3の制御部31は、動画の再生を終了させる操作がユーザにより行われたか否かを判定する(ステップS1)。このとき、制御部31は、動画の再生を終了させる操作が行われていないと判定した場合には(ステップS1:NO)、ステップS2に進む。ステップS2において、クライアント端末3は、表示範囲情報を取得する。例えば、制御部31は、ユーザによる操作部35aの操作に基づいて、視点位置、視線方向、及び視野角度のそれぞれの変更の有無、変更量等を特定する。これにより、制御部31は、最新の視点位置、視線方向、及び視野角度を決定し、視点位置、視線方向、及び視野角度を含む表示範囲情報を取得する。
First, the
次いで、制御部31は、位置関係情報を取得する(ステップS3)。例えば、制御部31は、位置関係情報の要求を配信サーバ2へ送信してもよい。そして、制御部31は、この要求に応じて配信サーバ2から送信されてくる位置関係情報を取得してもよい。或いは、制御部31は、例えば配信サーバ2から所定時間間隔で送信されてくる位置関係情報を受信してRAMに記憶させてもよい。そして、制御部31は、所定時間間隔で受信した位置関係情報のうち、最新の位置関係情報をRAMから取得してもよい。
Subsequently, the
次いで、制御部31は、動画データ取得処理を実行する(ステップS4)。動画データ取得処理において、制御部31は、動画の再生に必要な、分割動画データを配信サーバ2から受信する。動画データ取得処理の詳細は後述する。
Subsequently, the
次いで、制御部31は、合成処理を実行する(ステップS5)。合成処理において、制御部31は、受信された分割データを合成して、合成動画データをRAM上に生成する。合成処理の詳細は後述する。
Subsequently, the
次いで、制御部31は、合成動画データを再生する(ステップS6)。具体的に、制御部31は、合成動画データに含まれる画像フレームをビデオRAM33に書き込む。映像制御部34は、制御部31からの制御信号に従って、ビデオRAM33に書き込まれた画像フレームに対応する映像信号を表示部34aに出力する。これにより、1つの画像フレーム分の映像が表示部34aに表示される。制御部31は、合成動画データに含まれる画像フレームを順次ビデオRAM33に書き込むことで、合成された動画が表示部34aに表示される。次いで、制御部31は、ステップS1に進む。
Next, the
ステップS1において、制御部31は、動画の再生を終了させる操作が行われたと判定した場合には(ステップS1:YES)、動画再生処理を終了させる。
In step S1, when it is determined that the operation for ending the reproduction of the moving image has been performed (step S1: YES), the
図4(B)は、配信サーバ2における位置関係情報提供処理の一例を示すフローチャートである。例えば、配信サーバ2は、クライアント端末3から位置関係情報の要求を受信したときに、位置関係情報提供処理を実行してもよい。或いは、配信サーバ2は、例えば所定時間間隔で位置関係情報提供処理を実行してもよい。
FIG. 4B is a flowchart illustrating an example of the positional relationship information providing process in the
配信サーバ2の制御部21は、記憶部22に記憶されたカメラ1−1〜1−nのそれぞれの撮影動画データから、画像フレームを取得する(ステップS11)。例えばライブ配信の場合、制御部21は、最新の画像フレームを取得してもよい。例えばオンデマンド配信の場合、制御部21は、クライアント端末3による現在の動画の再生時間に対応した画像フレームを取得してもよい。また、制御部21は、カメラ1−1〜1−nの撮影パラメータを取得する。そして、制御部21は、撮影パラメータから画角、動画の縦の画素数及び横の画素数等を取得する。
The
次いで、制御部21は、取得した画像フレームのそれぞれから1以上の特徴点を抽出する(ステップS12)。次いで、制御部21は、抽出した特徴点に基づいて、位置関係情報を生成する(ステップS13)。具体的に、制御部21は、少なくとも2つの画像フレーム間において対応関係にある特徴点を特定する。制御部21は、対応関係にある特徴点が特定された複数の画像フレームにおいてその特徴点の位置が重なるように、カメラ1−1〜1−nのそれぞれの位置、撮影方向を計算する。制御部21は、計算した位置、撮影方向、画角、縦の画素数及び横の画素数を含む位置関係情報を生成する。制御部21は、生成された位置関係情報をクライアント端末3へ送信して(ステップS14)、位置関係情報提供処理を終了させる。
Next, the
図5は、クライアント端末3における動画データ取得処理の一例を示すフローチャートである。先ず、制御部31は、カメラ番号iに1を代入し、撮影範囲が表示範囲と重なるカメラの台数mに0を代入する(ステップS21)。次いで、制御部31は、表示範囲情報と位置関係情報とに基づいて、カメラCA1−iの撮影範囲が表示範囲と重なるか否かを判定する(ステップS22)。具体的に、制御部31は、カメラCA1−iの位置、撮影方向及び画角から、カメラCA1−iの撮影範囲の位置、方向、縦の長さ及び横の長さ計算する。制御部31は、視点位置、視野方向及び視野角度に基づいて、視野の範囲を特定する。そして、制御部31は、カメラCA1−iの撮影範囲の位置、方向及び面積と、視野の範囲とに基づいて、カメラCA1−iの撮影範囲が視野に含まれるか否かを判定する。撮影範囲が視野に含まれる場合、制御部31は、カメラCA1−iの撮影範囲が表示範囲と重なると判定し(ステップS22:YES)、ステップS23に進む。一方、撮影範囲が視野に含まれない場合、制御部31は、カメラCA1−iの撮影範囲が表示範囲と重ならないと判定し(ステップS22:NO)、ステップS25に進む。
FIG. 5 is a flowchart illustrating an example of the moving image data acquisition process in the
ステップS23において、制御部31は、カメラCA1−iで撮影された動画の画素のうち、カメラCA1−iの撮影範囲が表示範囲と重なる領域にある画素の数を計算する。例えば、制御部31は、カメラCA1−iの撮影範囲のうち視野と重なる領域の面積を計算する。そして、制御部31は、カメラCA1−iの動画の画素数と、カメラCA1−iの撮影範囲の面積と計算された領域の面積との比率とに基づいて、カメラCA1−iの撮影範囲が表示範囲と重なる領域にある画素の数を計算する。次いで、制御部31は、台数mに1を加算して(ステップS24)、ステップS25に進む。
In step S <b> 23, the
ステップS25において、制御部31は、カメラ番号iがカメラの台数未満であるか否かを判定する。このとき、制御部31は、カメラ番号iがカメラの台数未満であると判定した場合には(ステップS25:YES)、ステップS26に進む。ステップS26において、制御部31は、カメラ番号iに1を加算して、ステップS22に進む。一方、制御部31は、番号iがカメラの台数未満ではないと判定した場合には(ステップS25:NO)、ステップS27に進む。
In step S25, the
ステップS27において、制御部31は、順位番号jに台数mを代入する。次いで、制御部31は、ステップS23で画素数が計算されたカメラのうち、計算された画素数がj番目に多いカメラを選択する(ステップS28)。次いで、制御部31は、選択されたカメラに対応する分割動画データのうち、表示領域に重なる分割領域の分割動画データを配信サーバ2から受信する(ステップS29)。例えば、制御部31は、選択されたカメラの撮影範囲のうち、表示範囲情報から特定された視野と重なる領域を、選択カメラ表示領域として特定する。また、制御部31は、選択されたカメラの撮影範囲において、各分割領域の位置及び範囲を特定する。制御部31は、選択されたカメラの撮影範囲における分割領域のうち、選択カメラ表示領域と重なる1又は複数の分割領域を特定する。制御部31は、特定された分割領域に対応する分割領域IDを決定する。制御部31は、取得した分割領域IDを配信サーバ2へ送信する。配信サーバ2は、クライアント端末3から受信した分割領域IDに対応する分割動画データを記憶部22から取得して、クライアント端末3に送信する。制御部31は、配信サーバ2から受信された分割動画データを記憶部32に記憶させる。
In step S27, the
次いで、制御部31は、表示範囲から、選択されたカメラの撮影範囲を除外することにより、表示範囲を更新する(ステップS30)。例えば、制御部31は、視点位置からステップS29で特定された選択カメラ表示領域を通る視線の範囲を特定する。そして、制御部31は、現在の視野の範囲から、特定した視線の範囲を削除して、視野を再構成する。
Next, the
次いで、制御部31は、順位番号jが1より大きいか否かを判定する(ステップS31)。このとき、制御部31は、順位番号jが1より大きいと判定した場合には(ステップS31:YES)、ステップS32に進む。ステップS32において、制御部31は、順位番号jから1を減算して、ステップS28に進む。この後のステップS29及びS30においては、更新された視野に基づいて処理が行われる。一方、制御部31は、順位番号jが1より大きくはないと判定した場合には(ステップS31:NO)、動画データ取得処理を終了させる。
Next, the
図6は、クライアント端末3における合成処理の一例を示すフローチャートである。先ず、制御部31は、順位番号jに台数mを代入する(ステップS41)。次いで、制御部31は、動画データ取得処理のステップS23で画素数が計算されたカメラのうち、計算された画素数がj番目に多いカメラを選択する(ステップS42)。次いで、制御部31は、選択されたカメラに対応する分割領域の分割動画データを記憶部32から取得し、取得した分割動画データに含まれる画像フレームを、RAM上に確保された描画領域に描画する(ステップS43)。描画領域は、表示範囲に相当する記憶領域である。このとき、制御部31は、選択されたカメラに対応する分割領域のうち、表示範囲から一部外れる部分の画像を描画する必要はない。現在の順位番号jが台数m未満である場合、画素数がより少ないカメラの分割領域の画像が既に描画領域に描画されている。この場合、制御部31は、描画されていた画像を、画素数がj番目に多いカメラの分割領域の画像で、上書きしてもよい。
FIG. 6 is a flowchart illustrating an example of the composition process in the
次いで、制御部31は、順位番号jが1より大きいか否かを判定する(ステップS44)。このとき、制御部31は、順位番号jが1より大きいと判定した場合には(ステップS44:YES)、ステップS45に進む。ステップS45において、制御部31は、順位番号jから1を減算して、ステップS42に進む。一方、制御部31は、順位番号jが1より大きくはないと判定した場合には(ステップS44:NO)、合成処理を終了させる。なお、分割動画データが複数の画像フレームを含む場合、制御部31は、例えば画像フレームごとに、合成処理と、動画再生処理のステップS6の再生とを交互に実行してもよい。
Next, the
以上説明したように、本実施形態によれば、クライアント端末3は、表示範囲情報と位置関係情報とを取得する。また、クライアント端末3は、重複範囲において重複する撮影範囲のうち何れか1つの撮影範囲を、重複範囲の動画の表示に用いられる撮影範囲に決定する。また、クライアント端末3は、複数の撮影範囲のそれぞれごとに、撮影範囲が分割された複数の分割領域のうち、表示範囲に重なる分割領域の動画を示す分割動画データを配信サーバ2から受信する。このとき、クライアント端末3は、決定された撮影範囲の分割領域の動画を示す分割動画データを、重複範囲に重なる分割領域の動画を示す分割動画データとして受信する。従って、複数のカメラで撮影された複数の動画データの送信装置による配信遅延を防止することができる。
As described above, according to the present embodiment, the
なお、配信サーバ2は、カメラ1−1〜1−nからそれぞれ受信した撮影動画データごとに、解像度の異なる複数の動画データを生成してもよい。例えば、配信サーバ2は、高解像度の動画データと低解像度の動画データを生成してもよいし、高解像度、中解像度及び低解像度の動画データをそれぞれ生成してもよい。解像度が最も高い動画データは、例えば撮影動画データそのものであってもよい。配信サーバ2は、解像度の異なる動画データごとに、複数の分割動画データを生成してもよい。クライアント端末3は、例えば所定の条件に基づいて、何れの解像度の分割動画データを受信するかを決定してもよい。その理由は、動画データの配信遅延を抑止しつつ、動画の解像度を極力向上させるためである。例えば、クライアント端末3は、配信サーバ2からの分割動画データの受信速度に基づいて決定してもよい。例えば、クライアント端末3は、受信速度が速いほど、解像度が高い分割動画データを配信サーバ2から受信してもよい。また例えば、クライアント端末3は、表示範囲と重なる領域の割合が大きい撮影範囲であるほど、その撮影範囲の分割動画データを受信する場合にはより解像度が高い分割動画データを配信サーバ2から受信してもよい。例えば、クライアント端末3は、表示範囲と重なる領域の割合が最も大きい撮影範囲については、高解像度の分割動画データを受信し、その他の撮影範囲については、低解像度の分割動画データを受信してもよい。また、配信サーバ2は、解像度が最も低い分割動画データの全てを常にクライアント端末3へ送信してもよい。低解像度の分割動画データのデータ量は相対的に小さいので、配信サーバ2が低解像度の分割動画データを常に送信しても、大きな配信遅延は生じない。例えば、クライアント端末3が高解像度の分割動画データを受信しようとする場合、高解像度の分割動画データを受信するために時間を要する場合がある。この場合、クライアント端末3は、先ず低解像度の分割動画データを用いて動画を再生し、その後高解像度の分割動画データを受信したときに、高解像度の分割動画データを用いて動画を再生してもよい。また、上述したように、クライアント端末3は、表示範囲と重なる分割領域に対応する分割動画データを配信サーバ2から受信する。このとき、ユーザの操作によって表示範囲が急激に変化した場合、変化前の表示範囲に基づいて取得した分割動画データのみでは、変化後の表示範囲のうち動画を表示することができない領域が生じる場合がある。クライアント端末3は、このような領域の動画を、低解像度の分割動画データで表示させることができる。
The
1 ビデオカメラ
2 配信サーバ
3 クライアント端末
21、31 制御部
22、32 記憶部
23、37 インターフェース部
34a 表示部
35a 操作部
SA 通信システム
DESCRIPTION OF
Claims (7)
前記複数のカメラの複数の撮影範囲を統合した統合撮影範囲のうち指定された表示範囲を示す表示範囲情報を取得する表示範囲情報取得手段と、
前記複数の撮影範囲の位置関係を示す位置関係情報を取得する位置関係情報取得手段と、
前記位置関係情報取得手段により取得された前記位置関係情報に基づいて、前記表示範囲情報取得手段により取得された前記表示範囲情報が示す前記表示範囲内において、前記複数の撮影範囲のうち少なくとも2つの撮影範囲が重複する重複範囲において重複する撮影範囲のうち何れか1つの撮影範囲を、前記重複範囲の動画の表示に用いられる撮影範囲に決定する決定手段と、
前記複数の撮影範囲のそれぞれごとに、前記撮影範囲が分割された前記複数の分割領域のうち、前記表示範囲情報取得手段により取得された前記表示範囲情報が示す前記表示範囲に重なる分割領域の動画を示す分割動画データを前記送信装置から受信する分割データ受信手段であって、前記重複範囲に重なる分割領域の動画を示す分割動画データとして、前記重複する撮影範囲のうち前記決定手段により決定された前記撮影範囲の分割領域の動画を示す分割動画データを受信する分割データ受信手段と、
前記分割データ受信手段により受信された複数の分割動画データを合成して合成動画データを生成する合成手段と、
前記合成手段により生成された前記合成動画データを再生する再生手段と、
を備えることを特徴とする再生装置。 For each of a plurality of moving image data shot by a plurality of cameras, from a transmission device that generates a plurality of divided moving image data indicating moving images of a plurality of divided areas obtained by dividing the shooting range of the camera that has shot the moving image data In a playback apparatus that receives divided video data transmitted via a network,
Display range information acquisition means for acquiring display range information indicating a specified display range in an integrated shooting range obtained by integrating a plurality of shooting ranges of the plurality of cameras;
Positional relationship information acquisition means for acquiring positional relationship information indicating the positional relationship of the plurality of imaging ranges;
Based on the positional relationship information acquired by the positional relationship information acquisition unit, at least two of the plurality of imaging ranges in the display range indicated by the display range information acquired by the display range information acquisition unit Determining means for determining any one shooting range among the overlapping shooting ranges in the overlapping range where the shooting ranges overlap as a shooting range used for displaying the moving image of the overlapping range;
A moving image of a divided region that overlaps the display range indicated by the display range information acquired by the display range information acquisition unit among the plurality of divided regions obtained by dividing the shooting range for each of the plurality of shooting ranges. Divided data receiving means for receiving the divided moving image data indicating the moving image data indicating the moving image in the divided area overlapping the overlapping range, determined by the determining means in the overlapping shooting range Divided data receiving means for receiving divided moving image data indicating a moving image of a divided region of the shooting range;
Combining means for combining a plurality of divided moving image data received by the divided data receiving means to generate combined moving image data;
Playback means for playing back the synthesized video data generated by the synthesis means;
A playback apparatus comprising:
前記決定手段は、前記重複する撮影範囲の中で、前記表示範囲情報取得手段により取得された前記表示範囲に重なる領域の面積が最も大きい最大撮影範囲を、前記重複範囲の動画の表示に用いられる撮影範囲に決定することを特徴とする再生装置。 The playback device according to claim 1,
The determination means uses the maximum photographing range having the largest area of the region that overlaps the display range acquired by the display range information acquisition means in the overlapping photographing ranges for displaying moving images in the overlapping range. A playback apparatus characterized by determining a shooting range.
前記決定手段は、前記最大撮影範囲に対応する動画データが示す第1動画の前記統合撮影範囲における解像度が、前記重複する撮影範囲の中で前記最大撮影範囲と異なる非最大撮影範囲に対応する動画データが示す第2動画の前記統合撮影範囲における解像度よりも低く、且つ前記第1動画を構成する画素のうち前記表示範囲内の画素の数に対して、前記第2動画を構成する画素のうち前記表示範囲内の画素の数の割合が所定割合以上である場合、前記非最大撮影範囲を、前記重複範囲の動画の表示に用いられる撮影範囲に決定することを特徴とする再生装置。 The playback device according to claim 2,
The determination means includes a moving image corresponding to a non-maximum shooting range in which the resolution in the integrated shooting range of the first moving image indicated by the moving image data corresponding to the maximum shooting range is different from the maximum shooting range in the overlapping shooting ranges. Of the pixels constituting the second moving image, the resolution is lower than the resolution in the integrated shooting range of the second moving image indicated by the data and the number of pixels in the display range among the pixels constituting the first moving image. When the ratio of the number of pixels in the display range is equal to or greater than a predetermined ratio, the non-maximum shooting range is determined as a shooting range used for displaying moving images in the overlapping range.
前記決定手段は、前記重複する撮影範囲の中で、対応する動画データが示す動画を構成する画素のうち前記表示範囲内の画素の数が最も多い撮影範囲を、前記重複範囲の動画の表示に用いられる撮影範囲に決定することを特徴とする再生装置。 The playback device according to claim 1,
The determining means is configured to display a shooting range having the largest number of pixels in the display range among the pixels constituting the moving image indicated by the corresponding moving image data in the overlapping shooting range. A reproduction apparatus characterized by determining a shooting range to be used.
前記複数のカメラの複数の撮影範囲を統合した統合撮影範囲のうち指定された表示範囲を示す表示範囲情報を取得する表示範囲情報取得ステップと、
前記複数の撮影範囲の位置関係を示す位置関係情報を取得する位置関係情報取得ステップと、
前記位置関係情報取得ステップにより取得された前記位置関係情報に基づいて、前記表示範囲情報取得ステップにより取得された前記表示範囲情報が示す前記表示範囲内において、前記複数の撮影範囲のうち少なくとも2つの撮影範囲が重複する重複範囲において重複する撮影範囲のうち何れか1つの撮影範囲を、前記重複範囲の動画の表示に用いられる撮影範囲に決定する決定ステップと、
前記複数の撮影範囲のそれぞれごとに、前記撮影範囲が分割された前記複数の分割領域のうち、前記表示範囲情報取得ステップにより取得された前記表示範囲情報が示す前記表示範囲に重なる分割領域の動画を示す分割動画データを前記送信装置から受信する分割データ受信ステップであって、前記重複範囲に重なる分割領域の動画を示す分割動画データとして、前記重複する撮影範囲のうち前記決定ステップにより決定された前記撮影範囲の分割領域の動画を示す分割動画データを前記送信装置から受信する分割データ受信ステップと、
前記分割データ受信ステップにより受信された複数の分割動画データを合成して合成動画データを生成する合成ステップと、
前記合成ステップにより生成された前記合成動画データを再生する再生ステップと、
を含むことを特徴とする情報処理方法。 For each of a plurality of moving image data shot by a plurality of cameras, from a transmission device that generates a plurality of divided moving image data indicating moving images of a plurality of divided areas obtained by dividing the shooting range of the camera that has shot the moving image data In an information processing method executed by a playback device that receives divided video data transmitted via a network,
A display range information obtaining step for obtaining display range information indicating a designated display range in an integrated photographing range obtained by integrating a plurality of photographing ranges of the plurality of cameras;
A positional relationship information acquisition step of acquiring positional relationship information indicating the positional relationship of the plurality of imaging ranges;
Based on the positional relationship information acquired by the positional relationship information acquisition step, at least two of the plurality of imaging ranges in the display range indicated by the display range information acquired by the display range information acquisition step A determination step of determining any one shooting range among the overlapping shooting ranges in the overlapping range in which the shooting ranges overlap as a shooting range used for displaying a moving image of the overlapping range;
A moving image of a divided region that overlaps the display range indicated by the display range information acquired by the display range information acquisition step among the plurality of divided regions obtained by dividing the shooting range for each of the plurality of shooting ranges. Divided data reception step for receiving the divided moving image data indicating the moving image data indicating the moving image of the divided area overlapping the overlapping range, determined in the determining step in the overlapping shooting range A divided data reception step of receiving, from the transmission device, divided moving image data indicating a moving image of the divided region of the shooting range;
Combining a plurality of divided moving image data received by the divided data receiving step to generate combined moving image data;
A reproduction step of reproducing the synthesized moving image data generated by the synthesis step;
An information processing method comprising:
前記送信装置は、
複数のカメラにより撮影された複数の動画データを取得する動画データ取得手段と、
前記動画データ取得手段により取得された前記複数の動画データを記憶手段に記憶させる第1制御手段と、
前記記憶手段に記憶された前記複数の動画データのそれぞれごとに、前記動画データを撮影した前記カメラの撮影範囲が分割された複数の分割領域の動画を示す複数の分割動画データを生成する生成手段と、
前記生成手段により生成された各分割動画データを、前記分割動画データを識別する識別情報と対応付けて前記記憶手段に記憶させる第2制御手段と、
前記再生装置から送信された識別情報を受信する識別情報受信手段と、
前記識別情報受信手段により受信された前記識別情報に対応する前記分割動画データを前記再生装置へ送信する分割動画データ送信手段と、
を備え、
前記再生装置は、
前記複数のカメラの複数の撮影範囲を統合した統合撮影範囲のうち指定された表示範囲を示す表示範囲情報を取得する表示範囲情報取得手段と、
前記複数の撮影範囲の位置関係を示す位置関係情報を取得する位置関係情報取得手段と、
前記位置関係情報取得手段により取得された前記位置関係情報に基づいて、前記表示範囲情報取得手段により取得された前記表示範囲情報が示す前記表示範囲内において、前記複数の撮影範囲のうち少なくとも2つの撮影範囲が重複する重複範囲において重複する撮影範囲のうち何れか1つの撮影範囲を、前記重複範囲の動画の表示に用いられる撮影範囲に決定する決定手段と、
前記複数の撮影範囲のそれぞれごとに、前記撮影範囲が分割された前記複数の分割領域のうち、前記表示範囲情報取得手段により取得された前記表示範囲情報が示す前記表示範囲に重なる分割領域の動画を示す分割動画データを識別する識別情報を前記送信装置へ送信する識別情報送信手段であって、前記重複範囲に重なる分割領域の動画を示す分割動画データを識別する識別情報として、前記少なくとも2つの撮影範囲のうち前記決定手段により決定された前記撮影範囲の分割領域の動画を示す分割動画データを識別する識別情報を送信する識別情報送信手段と、
前記送信装置から送信された前記分割動画データを受信する分割データ受信手段と、
前記分割データ受信手段により受信された複数の分割動画データを合成して合成動画データを生成する合成手段と、
前記合成手段により生成された前記合成動画データを再生する再生手段と、
を備えることを特徴とする通信システム。 In a communication system comprising a transmitting device that transmits moving image data via a network, and a playback device that receives moving image data transmitted from the transmitting device,
The transmitter is
Video data acquisition means for acquiring a plurality of video data shot by a plurality of cameras;
First control means for storing in the storage means the plurality of moving picture data acquired by the moving picture data acquisition means;
Generating means for generating, for each of the plurality of moving image data stored in the storage means, a plurality of divided moving image data indicating moving images in a plurality of divided areas obtained by dividing the shooting range of the camera that has captured the moving image data. When,
Second control means for storing each of the divided moving image data generated by the generating means in the storage means in association with identification information for identifying the divided moving image data;
Identification information receiving means for receiving identification information transmitted from the playback device;
Divided moving image data transmitting means for transmitting the divided moving image data corresponding to the identification information received by the identification information receiving means to the playback device;
With
The playback device
Display range information acquisition means for acquiring display range information indicating a specified display range in an integrated shooting range obtained by integrating a plurality of shooting ranges of the plurality of cameras;
Positional relationship information acquisition means for acquiring positional relationship information indicating the positional relationship of the plurality of imaging ranges;
Based on the positional relationship information acquired by the positional relationship information acquisition unit, at least two of the plurality of imaging ranges in the display range indicated by the display range information acquired by the display range information acquisition unit Determining means for determining any one shooting range among the overlapping shooting ranges in the overlapping range where the shooting ranges overlap as a shooting range used for displaying the moving image of the overlapping range;
A moving image of a divided region that overlaps the display range indicated by the display range information acquired by the display range information acquisition unit among the plurality of divided regions obtained by dividing the shooting range for each of the plurality of shooting ranges. Identification information transmission means for transmitting identification information for identifying the divided moving image data indicating the divided moving image data indicating the divided moving image data indicating the moving image in the divided region overlapping the overlapping range, to the transmitting device, Identification information transmitting means for transmitting identification information for identifying divided moving image data indicating a moving image of a divided region of the photographing range determined by the determining means in the photographing range;
Divided data receiving means for receiving the divided moving image data transmitted from the transmission device;
Combining means for combining a plurality of divided moving image data received by the divided data receiving means to generate combined moving image data;
Playback means for playing back the synthesized video data generated by the synthesis means;
A communication system comprising:
前記送信装置は、
前記記憶手段に記憶された前記複数の分割動画データが示す複数の動画のそれぞれから特徴点を抽出する抽出手段と、
前記抽出手段により抽出された特徴点のうち、前記複数の動画の少なくとも2つの動画間で対応関係がある特徴点同士の前記統合撮影範囲における位置が重なるように、前記複数の撮影範囲の位置関係を示す位置関係情報を決定する位置関係情報決定手段と、
前記位置関係情報決定手段により決定された前記位置関係情報を送信する位置関係情報送信手段と、
を更に備え、
前記位置関係情報取得手段は、前記送信装置から送信された前記位置関係情報を受信することを特徴とする通信システム。 The communication system according to claim 6,
The transmitter is
Extracting means for extracting feature points from each of a plurality of moving images indicated by the plurality of divided moving image data stored in the storage means;
Among the feature points extracted by the extracting means, the positional relationship of the plurality of shooting ranges so that the positions in the integrated shooting range of the feature points having a correspondence relationship between at least two videos of the plurality of movies overlap. Positional relationship information determining means for determining positional relationship information indicating
Positional relationship information transmitting means for transmitting the positional relationship information determined by the positional relationship information determining means;
Further comprising
The communication system characterized in that the positional relationship information acquisition means receives the positional relationship information transmitted from the transmission device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015161383A JP2017041707A (en) | 2015-08-18 | 2015-08-18 | Reproduction device, information processing method, and communication system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015161383A JP2017041707A (en) | 2015-08-18 | 2015-08-18 | Reproduction device, information processing method, and communication system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017041707A true JP2017041707A (en) | 2017-02-23 |
Family
ID=58203636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015161383A Pending JP2017041707A (en) | 2015-08-18 | 2015-08-18 | Reproduction device, information processing method, and communication system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017041707A (en) |
-
2015
- 2015-08-18 JP JP2015161383A patent/JP2017041707A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9965026B2 (en) | Interactive video display method, device, and system | |
US11706403B2 (en) | Positional zero latency | |
JP6482498B2 (en) | Control device, control method, and program | |
JP6429829B2 (en) | Image processing system, image processing apparatus, control method, and program | |
CN109565582B (en) | Control apparatus, control method thereof, and computer-readable storage medium | |
US9781356B1 (en) | Panoramic video viewer | |
US20180204381A1 (en) | Image processing apparatus for generating virtual viewpoint image and method therefor | |
JP2017212593A (en) | Information processing device, image processing system, information processing method, and program | |
JP2017211827A (en) | Information processing unit, control method and program | |
JP2015204512A (en) | Information processing apparatus, information processing method, camera, reception device, and reception method | |
US11290752B2 (en) | Method and apparatus for providing free viewpoint video | |
CN104335243A (en) | Processing panoramic pictures | |
CN107835435B (en) | Event wide-view live broadcasting equipment and associated live broadcasting system and method | |
CN110730340B (en) | Virtual audience display method, system and storage medium based on lens transformation | |
JP5915604B2 (en) | Information processing apparatus, program, and information processing method | |
JP4971813B2 (en) | Video generation apparatus and video generation program | |
WO2016167160A1 (en) | Data generation device and reproduction device | |
JP2018033107A (en) | Video distribution device and distribution method | |
JP2019134428A (en) | Control device, control method, and program | |
JP6660622B2 (en) | Information processing device, information processing method, camera, receiving device, receiving method | |
JP2015162117A (en) | server device, program, and information processing method | |
US20220321774A1 (en) | Method for assisting the acquisition of media content at a scene | |
JP5962692B2 (en) | Terminal device and program | |
JP2017041707A (en) | Reproduction device, information processing method, and communication system | |
US20200226716A1 (en) | Network-based image processing apparatus and method |