JP7462842B2 - VIDEO DELIVERY DEVICE, PROGRAM, VIDEO DELIVERY SYSTEM, AND VIDEO DELIVERY METHOD - Google Patents

VIDEO DELIVERY DEVICE, PROGRAM, VIDEO DELIVERY SYSTEM, AND VIDEO DELIVERY METHOD Download PDF

Info

Publication number
JP7462842B2
JP7462842B2 JP2023531207A JP2023531207A JP7462842B2 JP 7462842 B2 JP7462842 B2 JP 7462842B2 JP 2023531207 A JP2023531207 A JP 2023531207A JP 2023531207 A JP2023531207 A JP 2023531207A JP 7462842 B2 JP7462842 B2 JP 7462842B2
Authority
JP
Japan
Prior art keywords
unit
images
video
image
encoded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023531207A
Other languages
Japanese (ja)
Other versions
JPWO2023276007A5 (en
JPWO2023276007A1 (en
Inventor
俊明 久保
聡 道籏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2023276007A1 publication Critical patent/JPWO2023276007A1/ja
Publication of JPWO2023276007A5 publication Critical patent/JPWO2023276007A5/en
Application granted granted Critical
Publication of JP7462842B2 publication Critical patent/JP7462842B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、映像配信装置、ユーザ端末、プログラム、映像配信システム及び映像配信方法に関する。 The present disclosure relates to a video distribution device, a user terminal, a program, a video distribution system, and a video distribution method.

複数のカメラで撮像された映像から、ユーザが選択した映像を見ることのできる映像配信システムが、従来から使用されている。
例えば、特許文献１には、映像配信装置において、ユーザが見たい映像データのカメラ位置の指定を受け付けて、そのカメラ位置において撮像された映像データをエンコードして、ユーザの端末に送信し、ユーザ端末において、そのデータをデコードして所望の映像を表示するシステムが記載されている。 2. Description of the Related Art Video distribution systems that allow a user to view a video selected from videos captured by a plurality of cameras have been used in the past.
For example, Patent Document 1 describes a system in which a video distribution device accepts a specification of the camera position for the video data that a user wishes to view, encodes the video data captured at that camera position, and transmits it to the user's terminal, where the data is decoded and the desired video is displayed.

国際公開公報第２０１９／０５９３２５号公報International Publication No. 2019/059325

しかしながら、従来の映像配信システムは、ユーザが指定したカメラ位置における映像データをエンコードして配信するため、最大で、ユーザ数だけエンコードを行う必要がある。このため、ユーザ数が多くなると、その処理負荷が非常に大きくなる。 However, conventional video distribution systems encode and distribute video data from a camera position specified by the user, so they need to encode as many video data as there are users. As a result, the processing load becomes very large when the number of users increases.

そこで、本開示の一又は複数の態様は、ユーザ数が多くなっても、処理負荷が大きくならないように、ユーザが選択した映像を配信できるようにすることを目的とする。Therefore, one or more aspects of the present disclosure aim to enable the delivery of video selected by a user without increasing the processing load, even when the number of users is large.

本開示の一態様に係る映像配信装置は、複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部と、前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部と、前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部と、前記エンコードデータを配信する配信部と、を備え、前記合成部は、前記複数の画像を二以上のグループに分け、前記二以上のグループの各々に含まれる前記二以上の画像を合成することを特徴とする。 A video distribution device according to one embodiment of the present disclosure includes an acquisition unit that acquires multiple videos captured by multiple imaging devices, a synthesis unit that generates a synthetic image by synthesizing two or more images from multiple images for each time period contained in each of the multiple videos, an encoding unit that generates encoded data by encoding the synthetic image, and a distribution unit that distributes the encoded data , wherein the synthesis unit divides the multiple images into two or more groups and synthesizes the two or more images contained in each of the two or more groups .

本開示の第１の態様に係るプログラムは、コンピュータを、複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部、前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部、前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部、及び、前記エンコードデータを配信する配信部、として機能させ、前記合成部は、前記複数の画像を二以上のグループに分け、前記二以上のグループの各々に含まれる前記二以上の画像を合成することを特徴とする。 A program relating to a first aspect of the present disclosure causes a computer to function as an acquisition unit that acquires multiple videos captured by multiple imaging devices, a synthesis unit that generates a synthetic image by synthesizing two or more images from multiple images for each time included in each of the multiple videos, an encoding unit that generates encoded data by encoding the synthetic image, and a distribution unit that distributes the encoded data , wherein the synthesis unit divides the multiple images into two or more groups and synthesizes the two or more images included in each of the two or more groups .

本開示の第１の態様に係る映像配信システムは、映像配信装置及びユーザ端末を備える映像配信システムであって、前記映像配信装置は、複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部と、前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部と、前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部と、前記エンコードデータを配信する配信部と、を備え、前記ユーザ端末は、前記エンコードデータを受信する受信部と、前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部と、前記合成画像から前記二以上の画像を分離する分離部と、表示する映像の選択の入力を受け付ける入力部と、前記二以上の画像の中から、選択された映像の画像を表示する表示部と、を備え、前記合成部は、前記複数の画像を二以上のグループに分け、前記二以上のグループの各々に含まれる前記二以上の画像を合成することを特徴とする。 A video distribution system according to a first aspect of the present disclosure is a video distribution system including a video distribution device and a user terminal, wherein the video distribution device includes an acquisition unit that acquires a plurality of videos captured by each of a plurality of imaging devices, a synthesis unit that generates a synthetic image by synthesizing two or more images from a plurality of images for each time included in each of the plurality of videos, an encoding unit that generates encoded data by encoding the synthetic image, and a distribution unit that distributes the encoded data, and the user terminal includes a receiving unit that receives the encoded data, a decoding unit that acquires the synthetic image by decoding the encoded data, a separation unit that separates the two or more images from the synthetic image, an input unit that accepts input of a selection of a video to be displayed, and a display unit that displays an image of a video selected from the two or more images , and the synthesis unit divides the plurality of images into two or more groups and synthesizes the two or more images included in each of the two or more groups .

本開示の第２の態様に係る映像配信システムは、映像配信装置及びユーザ端末を備える映像配信システムであって、前記映像配信装置は、複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部と、前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部と、前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部と、前記エンコードデータを配信する配信部と、を備え、前記ユーザ端末は、前記エンコードデータを受信する受信部と、前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部と、表示する映像の位置の選択の入力を受け付ける入力部と、前記合成画像から、前記位置に対応する画像を取り出す選択部と、前記取り出された画像を表示する表示部と、を備え、前記合成部は、前記複数の画像を二以上のグループに分け、前記二以上のグループの各々に含まれる前記二以上の画像を合成することを特徴とする。 A video distribution system according to a second aspect of the present disclosure is a video distribution system including a video distribution device and a user terminal, wherein the video distribution device includes an acquisition unit that acquires multiple videos captured by each of multiple imaging devices, a synthesis unit that generates a synthetic image by synthesizing two or more images from multiple images for each time included in each of the multiple videos, an encoding unit that generates encoded data by encoding the synthetic image, and a distribution unit that distributes the encoded data, and the user terminal includes a receiving unit that receives the encoded data, a decoding unit that obtains the synthetic image by decoding the encoded data, an input unit that accepts input for selecting a position of the video to be displayed, a selection unit that extracts an image corresponding to the position from the synthetic image, and a display unit that displays the extracted image , and the synthesis unit divides the multiple images into two or more groups and synthesizes the two or more images included in each of the two or more groups .

本開示の一態様に係る映像配信方法は、取得部が、複数の撮像装置のそれぞれで撮像された複数の映像を取得し、合成部が、前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成し、エンコード部が、前記合成画像をエンコードすることで、エンコードデータを生成し、配信部が、前記エンコードデータを配信し、前記合成部は、前記複数の画像を二以上のグループに分け、前記二以上のグループの各々に含まれる前記二以上の画像を合成することを特徴とする。 A video distribution method according to one aspect of the present disclosure is characterized in that an acquisition unit acquires multiple videos captured by multiple imaging devices, a synthesis unit generates a synthetic image by synthesizing two or more images from multiple images for each time period contained in each of the multiple videos, an encoding unit generates encoded data by encoding the synthetic image, a distribution unit distributes the encoded data , and the synthesis unit divides the multiple images into two or more groups and synthesizes the two or more images contained in each of the two or more groups .

本開示の一又は複数の態様によれば、ユーザ数が多くなっても、処理負荷が大きくならないように、ユーザが選択した映像を配信することができる。 According to one or more aspects of the present disclosure, even if the number of users increases, video selected by the user can be delivered without increasing the processing load.

実施の形態１及び２に係る映像配信システムの構成を概略的に示すブロック図である。1 is a block diagram illustrating a schematic configuration of a video distribution system according to first and second embodiments. 実施の形態１における映像配信装置及びユーザ端末の構成を概略的に示すブロック図である。1 is a block diagram illustrating a schematic configuration of a video distribution device and a user terminal according to a first embodiment. 複数のカメラからの映像データの一例を説明するための概略図である。FIG. 2 is a schematic diagram for explaining an example of video data from a plurality of cameras. 映像合成部が行う合成処理の一例を説明するための概略図である。4 is a schematic diagram for explaining an example of a synthesis process performed by a video synthesis unit; FIG. （Ａ）～（Ｆ）は、実施の形態１における映像合成部による画像の合成例を示す概略図である。4A to 4F are schematic diagrams showing an example of image synthesis by a video synthesis unit in the first embodiment. エンコード部が行うエンコードの一例を説明するための概略図である。4 is a schematic diagram for explaining an example of encoding performed by an encoding unit; FIG. コンピュータの一例を示すブロック図である。FIG. 1 is a block diagram illustrating an example of a computer. 映像配信装置での処理を示すフローチャートである。13 is a flowchart showing a process in the video distribution device. ユーザ端末での処理を示すフローチャートである。13 is a flowchart showing a process in a user terminal. （Ａ）～（Ｃ）は、ユーザ端末での処理を説明するための概略図である。13A to 13C are schematic diagrams for explaining processing in a user terminal. （Ａ）及び（Ｂ）は、ユーザ端末での表示される映像を説明するための概略図である。13A and 13B are schematic diagrams for explaining an image displayed on a user terminal. （Ａ）及び（Ｂ）は、配信データの変形例を説明するための概略図である。13A and 13B are schematic diagrams for explaining modified examples of distribution data. （Ａ）及び（Ｂ）は、配信データの変形例での効果を説明するための概略図である。13A and 13B are schematic diagrams for explaining the effect of modified examples of distribution data. 複数の画像を合成する第１の変形例を示す概略図である。FIG. 13 is a schematic diagram showing a first modified example of combining a plurality of images. 複数のカメラを配置する第１の変形例を示す概略図である。FIG. 13 is a schematic diagram showing a first modified example in which a plurality of cameras are arranged. 複数のカメラを配置する第２の変形例を示す概略図である。FIG. 13 is a schematic diagram showing a second modified example in which multiple cameras are arranged. 複数の画像を合成する第２の変形例を示す概略図である。FIG. 13 is a schematic diagram showing a second modified example of combining a plurality of images. （Ａ）～（Ｄ）は、複数の画像を合成する第３の変形例を示す概略図である。13A to 13D are schematic diagrams showing a third modified example of combining a plurality of images. 実施の形態２における映像配信装置及びユーザ端末の構成を概略的に示すブロック図である。A block diagram showing a schematic configuration of a video distribution device and a user terminal in a second embodiment. （Ａ）～（Ｅ）は、実施の形態２における映像合成部による画像の合成例を示す概略図である。13A to 13E are schematic diagrams showing an example of image synthesis by a video synthesis unit in the second embodiment. 実施の形態２における映像選択部での処理を説明するための概略図である。13 is a schematic diagram for explaining the processing in a video selection unit in the second embodiment. FIG.

実施の形態１．
図１は、実施の形態１に係る映像配信システム１００の構成を概略的に示すブロック図である。
映像配信システム１００は、映像配信装置１１０と、ユーザ端末１３０Ａ～１３０Ｄとを備える。
なお、ユーザ端末１３０Ａ～１３０Ｄは、映像を見る機能に関して同様に構成されているため、ユーザ端末１３０Ａ～１３０Ｄの各々を特に区別する必要がない場合には、ユーザ端末１３０Ａ～１３０Ｄの何れか一つをユーザ端末１３０という。 Embodiment 1.
FIG. 1 is a block diagram illustrating a schematic configuration of a video distribution system 100 according to the first embodiment.
The video distribution system 100 includes a video distribution device 110 and user terminals 130A to 130D.
In addition, since the user terminals 130A to 130D are configured similarly with respect to the function of viewing images, when there is no need to particularly distinguish between the user terminals 130A to 130D, any one of the user terminals 130A to 130D will be referred to as user terminal 130.

映像配信システム１００では、映像配信装置１１０は、複数の撮像装置としての複数のカメラ１０１Ａ～１０１Ｌで撮像された映像データを取得して、ユーザ端末１３０にユーザが見る映像を含む配信データを配信する。
映像配信装置１１０は、複数のカメラ１０１Ａ～１０１Ｌの各々と、ユーザ端末１３０と、通信を行うことができるようにされている。例えば、図１では、映像配信装置１１０は、複数のカメラ１０１Ａ～１０１Ｌの各々と無線で接続されているが、有線で接続されていてもよい。同様に、映像配信装置１１０は、ユーザ端末１３０と無線で接続されているが、有線で接続されていてもよい。
なお、複数のカメラ１０１Ａ～１０１Ｌの数については、二以上であればよい。また、複数のカメラ１０１Ａ～１０１Ｌの各々を特に区別する必要がない場合には、複数のカメラ１０１Ａ～１０１Ｌの何れか一つをカメラ１０１という。 In the video distribution system 100, the video distribution device 110 acquires video data captured by a plurality of cameras 101A to 101L serving as a plurality of imaging devices, and distributes to the user terminal 130 distribution data including the videos to be viewed by the user.
The video distribution device 110 is configured to be able to communicate with each of the multiple cameras 101A to 101L and the user terminal 130. For example, in Fig. 1, the video distribution device 110 is wirelessly connected to each of the multiple cameras 101A to 101L, but may be connected by wire. Similarly, the video distribution device 110 is wirelessly connected to the user terminal 130, but may be connected by wire.
The number of cameras 101A to 101L may be two or more. When there is no need to particularly distinguish between the cameras 101A to 101L, any one of the cameras 101A to 101L will be referred to as camera 101.

図２は、実施の形態１における映像配信装置１１０及びユーザ端末１３０の構成を概略的に示すブロック図である。
映像配信装置１１０は、映像取得部１１１と、映像合成部１１２と、エンコード部１１３と、エンコードデータ記憶部１１４と、映像配信部１１５と、通信部１１６とを備える。 FIG. 2 is a block diagram showing a schematic configuration of the video distribution device 110 and the user terminal 130 according to the first embodiment.
The video distribution device 110 includes a video acquisition unit 111, a video synthesis unit 112, an encoding unit 113, an encoded data storage unit 114, a video distribution unit 115, and a communication unit 116.

映像取得部１１１は、複数のカメラ１０１Ａ～１０１Ｌのそれぞれで撮像された複数の映像を取得する取得部である。
具体的には、映像取得部１１１は、複数のカメラ１０１Ａ～１０１Ｌの各々から、複数のカメラ１０１Ａ～１０１Ｌの各々で撮像された映像を示す映像データを受信する。
図３は、複数のカメラ１０１Ａ～１０１Ｌからの映像データの一例を説明するための概略図である。
図３に示されているように、例えば、カメラ１０１Ａからは、時刻ｔ＝１ｐに対応する画像Ａ００１、時刻ｔ＝２ｐに対応する画像Ａ００２、時刻ｔ＝３ｐに対応する画像Ａ００３、・・・を含む映像データが送られてくる。 The video acquisition unit 111 is an acquisition unit that acquires a plurality of videos captured by the plurality of cameras 101A to 101L.
Specifically, the video acquisition unit 111 receives, from each of the plurality of cameras 101A to 101L, video data indicating the video captured by each of the plurality of cameras 101A to 101L.
FIG. 3 is a schematic diagram for explaining an example of video data from the multiple cameras 101A to 101L.
As shown in FIG. 3, for example, camera 101A transmits video data including image A001 corresponding to time t=1p, image A002 corresponding to time t=2p, image A003 corresponding to time t=3p, and so on.

図２に戻り、映像合成部１１２は、複数のカメラ１０１Ａ～１０１Ｌから送られてきた複数の映像データのそれぞれで示される、時刻毎の複数の画像に対して合成処理を行う。ここでは、映像合成部１１２は、その複数の画像における二以上の画像を合成する。ここで、複数の画像は、複数のカメラ１０１Ａ～１０１Ｌから送られてきた複数の映像データのそれぞれから抽出されたものである。言い換えると、複数の画像に含まれている一つの画像を撮像したカメラ１０１は、その複数の画像に含まれている他の全ての画像を撮像したカメラ１０１と異なっている。Returning to FIG. 2, the image synthesis unit 112 performs synthesis processing on multiple images for each time indicated by each of the multiple video data sent from the multiple cameras 101A-101L. Here, the image synthesis unit 112 synthesizes two or more images from the multiple images. Here, the multiple images are extracted from each of the multiple video data sent from the multiple cameras 101A-101L. In other words, the camera 101 that captured one image included in the multiple images is different from the camera 101 that captured all of the other images included in the multiple images.

図４は、映像合成部１１２が行う合成処理の一例を説明するための概略図である。
ここでは、図３に示されているように、複数のカメラ１０１Ａ～１０１Ｌから、その各々で撮像された映像データが取得されているものとする。
図４に示されているように、映像合成部１１２は、複数のカメラ１０１Ａ～１０１Ｌのそれぞれから得られる複数の画像を、カメラ１０１Ａ～１０１Ｄからの映像データで示される画像からなる第１のグループ、カメラ１０１Ｅ～１０１Ｈからの映像データで示される画像からなる第２のグループ、及び、カメラ１０１Ｉ～１０１Ｌからの映像データで示される画像からなる第３のグループに分けて、グループ毎に、同じ時刻に対応する画像を合成する。
言い換えると、映像合成部１１２は、複数のカメラ１０１Ａ～１０１Ｌのそれぞれから取得される複数の映像データのそれぞれで示される複数の画像を複数のグループに分けて、複数のグループの各々に含まれる二以上の画像を合成する。 FIG. 4 is a schematic diagram for explaining an example of the synthesis process performed by the video synthesis unit 112. As shown in FIG.
It is assumed here that, as shown in FIG. 3, video data captured by each of a plurality of cameras 101A to 101L is acquired.
As shown in FIG. 4, the image synthesis unit 112 divides the multiple images obtained from each of the multiple cameras 101A to 101L into a first group consisting of images represented by video data from cameras 101A to 101D, a second group consisting of images represented by video data from cameras 101E to 101H, and a third group consisting of images represented by video data from cameras 101I to 101L, and synthesizes images corresponding to the same time for each group.
In other words, the image synthesis unit 112 divides the multiple images represented by each of the multiple video data acquired from each of the multiple cameras 101A to 101L into multiple groups, and synthesizes two or more images included in each of the multiple groups.

図５（Ａ）～（Ｆ）は、映像合成部１１２による画像の合成例を示す概略図である。
ここでは、図５（Ａ）に示されているシーンを、四台のカメラ１０１Ａ～１０１Ｄで撮像するものとする。 5A to 5F are schematic diagrams showing examples of image synthesis by the video synthesis unit 112.
Here, it is assumed that the scene shown in FIG. 5A is captured by four cameras 101A to 101D.

図５（Ｂ）～（Ｅ）で示されている画像Ｉｍ１～Ｉｍ４は、それぞれ、同時刻において、四台のカメラ１０１Ａ～１０１Ｄで撮像された画像を示している。
図５（Ｆ）に示されているように、映像合成部１１２は、画像Ｉｍ１～Ｉｍ４を横方向に連結することで、合成を行い、一つの合成画像を生成する。 Images Im1 to Im4 shown in FIGS. 5(B) to (E) respectively indicate images captured by the four cameras 101A to 101D at the same time.
As shown in FIG. 5(F), the video synthesis unit 112 synthesizes the images Im1 to Im4 by connecting them horizontally to generate one synthesized image.

図２に戻り、エンコード部１１３は、映像合成部１１２で合成された合成画像をエンコードすることで、エンコードデータを生成する。
ここでは、エンコード部１１３は、映像合成部１１２で合成された合成画像を、予め定められた期間毎にエンコードすることで、エンコードデータを生成する。
図６は、エンコード部１１３が行うエンコードの一例を説明するための概略図である。
ここでも、図３に示されているように、複数のカメラ１０１Ａ～１０１Ｌから、その各々で撮像された映像データが取得されているものとする。
図６に示されているように、エンコード部１１３は、時刻ｔ＝１ｐ～時刻ｔ＝６ｐの合成画像をエンコードすることで、エンコードデータを生成する。図６に示されているように、ここでは、エンコードデータは、図４で説明したグループ毎に生成される。 Returning to FIG. 2, the encoding unit 113 generates encoded data by encoding the composite image generated by the video composition unit 112 .
Here, the encoding unit 113 generates encoded data by encoding the composite image synthesized by the video synthesis unit 112 for each predetermined period.
FIG. 6 is a schematic diagram for explaining an example of encoding performed by the encoding unit 113. As shown in FIG.
Here, too, it is assumed that video data captured by each of a plurality of cameras 101A to 101L is acquired as shown in FIG.
As shown in Fig. 6, the encoding unit 113 generates encoded data by encoding the composite image from time t = 1p to time t = 6p. As shown in Fig. 6, the encoded data is generated for each group described in Fig. 4.

図２に戻り、エンコードデータ記憶部１１４は、エンコード部１１３で生成されたエンコードデータを記憶する。Returning to Figure 2, the encoded data storage unit 114 stores the encoded data generated by the encoding unit 113.

映像配信部１１５は、エンコードデータを配信する配信部である。
ここでは、映像配信部１１５は、少なくともユーザが見る映像の画像を含むエンコードデータをエンコードデータ記憶部１１４から読み出し、そのエンコードデータを配信データとして、通信部１１６にユーザ端末１３０へ送信させる。 The video distribution unit 115 is a distribution unit that distributes encoded data.
Here, the video distribution unit 115 reads out encoded data including at least the video image to be viewed by the user from the encoded data storage unit 114, and causes the communication unit 116 to transmit the encoded data to the user terminal 130 as distribution data.

例えば、映像配信部１１５は、ユーザ端末１３０が、ユーザ端末１３０において見られている映像の位置を示す位置情報を、通信部１１６を介して受け取り、その位置情報で示される位置に対応する画像を含むエンコードデータをエンコードデータ記憶部１１４から読み出す。For example, the video distribution unit 115 receives location information indicating the position of the video being viewed on the user terminal 130 via the communication unit 116, and reads out encoded data including an image corresponding to the position indicated by the location information from the encoded data storage unit 114.

通信部１１６は、ユーザ端末１３０と通信を行う。
例えば、通信部１１６は、配信データをユーザ端末１３０に送信し、ユーザ端末１３０から位置情報を受信する。 The communication unit 116 communicates with the user terminal 130 .
For example, the communication unit 116 transmits distribution data to the user terminal 130 and receives location information from the user terminal 130 .

以上に記載された映像合成部１１２、エンコード部１１３及び映像配信部１１５は、例えば、図７に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ１１とを備えるコンピュータ１２により実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。The video synthesis unit 112, encoding unit 113 and video distribution unit 115 described above can be realized, for example, as shown in FIG. 7, by a computer 12 including a memory 10 and a processor 11 such as a CPU (Central Processing Unit) that executes a program stored in the memory 10. Such a program may be provided over a network, or may be provided by being recorded on a recording medium. That is, such a program may be provided, for example, as a program product.

なお、エンコードデータ記憶部１１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により実現することができる。
また、映像取得部１１１及び通信部１１６は、無線通信を行う無線通信インターフェースにより実現することができる。なお、映像取得部１１１及び通信部１１６は、一つの無線通信インターフェースにより実現されてもよく、別々の無線通信インターフェースにより実現されてもよい。 The encoded data storage unit 114 can be realized by a storage device such as a hard disc drive (HDD) or a solid state drive (SSD).
The image acquisition unit 111 and the communication unit 116 can be realized by a wireless communication interface that performs wireless communication. The image acquisition unit 111 and the communication unit 116 may be realized by a single wireless communication interface or by separate wireless communication interfaces.

図２に戻り、ユーザ端末１３０は、通信部１３１と、デコード部１３２と、映像分離部１３３と、映像記憶部１３４と、映像選択部１３５と、入力部１３６と、映像表示部１３７とを備える。Returning to Figure 2, the user terminal 130 comprises a communication unit 131, a decoding unit 132, a video separation unit 133, a video storage unit 134, a video selection unit 135, an input unit 136, and a video display unit 137.

通信部１３１は、映像配信装置１１０と通信を行う。
例えば、通信部１３１は、映像配信装置１１０からの配信データを受信する受信部として機能する。また、通信部１３１は、位置情報を映像配信装置１１０に送信する送信部として機能する。 The communication unit 131 communicates with the video distribution device 110 .
For example, the communication unit 131 functions as a receiving unit that receives distribution data from the video distribution device 110. The communication unit 131 also functions as a transmitting unit that transmits position information to the video distribution device 110.

デコード部１３２は、通信部１３１を介して、映像配信装置１１０から配信データを受け取り、受け取った配信データをデコードする。これにより、デコード部１３２は、合成画像を取得することができる。The decoding unit 132 receives distribution data from the video distribution device 110 via the communication unit 131 and decodes the received distribution data. This allows the decoding unit 132 to obtain a composite image.

映像分離部１３３は、デコード部１３２で取得された合成画像から二以上の画像を分離する。
実施の形態１では、映像分離部１３３は、デコード部１３２で取得された合成画像を分離することで、カメラ１０１毎の画像を生成する。ここで、ユーザ端末１３０は、映像配信装置１１０から、配信データにおいて、どの位置の画像がどの位置のカメラ１０１に対応するかの情報である位置設定情報を予め取得しておくことで、分離された画像がどの位置のカメラ１０１の画像であるかを識別することができる。また、配信データに、合成画像の位置と、カメラ１０１との位置とを識別するための識別情報が含まれていてもよい。 The video separation unit 133 separates the composite image obtained by the decoding unit 132 into two or more images.
In the first embodiment, the video separation unit 133 separates the composite image acquired by the decoding unit 132 to generate an image for each camera 101. Here, the user terminal 130 can identify the position of the camera 101 at which the separated image belongs by previously acquiring position setting information, which is information indicating which position of an image corresponds to which position of a camera 101 in the distribution data, from the video distribution device 110. Furthermore, the distribution data may include identification information for identifying the position of the composite image and the position of the camera 101.

映像記憶部１３４は、映像分離部１３３で分離された画像を記憶する。 The video memory unit 134 stores the images separated by the video separation unit 133.

映像選択部１３５は、入力部１３６を介して、ユーザから表示する映像の選択の入力を受け付ける。
例えば、映像選択部１３５は、入力部１３６を介して、ユーザからカメラ位置の選択を受け付け、選択されたカメラ位置の画像を映像記憶部１３４から順次読み出して映像表示部１３７に送ることで、映像表示部１３７に、選択されたカメラ位置の映像を表示させる。 Video selection unit 135 receives an input of a selection of a video to be displayed from the user via input unit 136 .
For example, the video selection unit 135 accepts a selection of a camera position from a user via the input unit 136, sequentially reads out images of the selected camera position from the video memory unit 134, and sends them to the video display unit 137, thereby causing the video display unit 137 to display the video of the selected camera position.

また、映像選択部１３５は、ユーザにより選択されたカメラ位置を示す位置情報を生成し、通信部１３１を介して、その位置情報を映像配信装置１１０に送る。 In addition, the video selection unit 135 generates location information indicating the camera position selected by the user and sends the location information to the video distribution device 110 via the communication unit 131.

入力部１３６は、ユーザからの指示の入力を受け付ける。例えば、入力部１３６は、ユーザからカメラ１０１の位置を示すカメラ位置の選択の入力を受け付ける。これにより、入力部１３６は、表示する映像の選択の入力を受け付けることができる。The input unit 136 accepts input of instructions from the user. For example, the input unit 136 accepts input of a camera position selection indicating the position of the camera 101 from the user. This allows the input unit 136 to accept input of a selection of an image to be displayed.

映像表示部１３７は、映像選択部１３５から送られてくる画像を順次表示することにより、映像を表示する表示部である。これにより、映像表示部１３７は、ユーザが選択した映像の画像を順次表示することで、ユーザが選択した映像を表示することができる。The video display unit 137 is a display unit that displays video by sequentially displaying images sent from the video selection unit 135. In this way, the video display unit 137 can display the video selected by the user by sequentially displaying the images of the video selected by the user.

以上に記載されたユーザ端末１３０のデコード部１３２、映像分離部１３３、映像記憶部１３４及び映像選択部１３５は、例えば、図７に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ等のプロセッサ１１とを備えるコンピュータ１２により実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。The decoding unit 132, video separation unit 133, video storage unit 134 and video selection unit 135 of the user terminal 130 described above can be realized, for example, as shown in FIG. 7, by a computer 12 including a memory 10 and a processor 11 such as a CPU that executes a program stored in the memory 10. Such a program may be provided over a network, or may be provided by being recorded on a recording medium. That is, such a program may be provided, for example, as a program product.

なお、映像記憶部１３４は、揮発性又は不揮発性のメモリにより実現することができる。
また、通信部１３１は、無線通信を行う無線通信インターフェースにより実現することができる。
入力部１３６は、ユーザからの入力を受け付ける入力装置により実現することができる。
映像表示部１３７は、ディスプレイにより実現することができる。
なお、入力部１３６及び映像表示部１３７は、タッチパネルにより実現されてもよい。 The video storage unit 134 can be realized by a volatile or non-volatile memory.
The communication unit 131 can be realized by a wireless communication interface that performs wireless communication.
The input unit 136 can be realized by an input device that accepts input from the user.
The video display unit 137 can be realized by a display.
The input unit 136 and the image display unit 137 may be realized by a touch panel.

図８は、映像配信装置１１０での処理を示すフローチャートである。
まず、映像取得部１１１は、複数のカメラ１０１Ａ～１０１Ｌのそれぞれから、複数のカメラ１０１Ａ～１０１Ｌのそれぞれで撮像された映像を示す映像データを受信する（Ｓ１０）。受信された映像データは、映像合成部１１２に与えられる。 FIG. 8 is a flowchart showing the processing in the video distribution device 110.
First, the image acquisition unit 111 receives image data representing images captured by each of the cameras 101A to 101L from each of the cameras 101A to 101L (S10). The received image data is provided to the image synthesis unit 112.

映像合成部１１２は、複数のカメラ１０１Ａ～１０１Ｌから送られてきた複数の映像データのそれぞれで示される同じ時刻に対応する複数の画像に対して合成処理を行う（Ｓ１１）。例えば、映像合成部１１２は、複数のカメラ１０１Ａ～１０１Ｌから取得される複数の映像データで示される複数の画像を複数のグループに分けて、複数のグループの各々において、同じ時刻に対応する二以上の画像を合成する。ここで合成された合成画像は、エンコード部１１３に与えられる。The video synthesis unit 112 performs synthesis processing on multiple images corresponding to the same time indicated by each of the multiple video data sent from the multiple cameras 101A-101L (S11). For example, the video synthesis unit 112 divides the multiple images indicated by the multiple video data acquired from the multiple cameras 101A-101L into multiple groups, and synthesizes two or more images corresponding to the same time in each of the multiple groups. The synthesized image thus synthesized is provided to the encoding unit 113.

エンコード部１１３は、映像合成部１１２で合成された合成画像を、予め定められた期間毎にエンコードすることで、エンコードデータを生成する（Ｓ１２）。エンコードデータは、エンコードデータ記憶部１１４に記憶される。The encoding unit 113 generates encoded data by encoding the composite image synthesized by the video synthesis unit 112 at predetermined intervals (S12). The encoded data is stored in the encoded data storage unit 114.

映像配信部１１５は、少なくともユーザが見る映像の画像を含むエンコードデータをエンコードデータ記憶部１１４から読み出し、そのエンコードデータを配信データとして、通信部１１６を介してユーザ端末１３０に送る（Ｓ１３）。The video distribution unit 115 reads encoded data including at least the video image to be viewed by the user from the encoded data storage unit 114, and sends the encoded data as distribution data to the user terminal 130 via the communication unit 116 (S13).

以上のようにして、少なくともユーザが見る映像の画像を含むエンコードデータがユーザ端末１３０に配信される。 In this manner, encoded data including at least the video image to be viewed by the user is delivered to the user terminal 130.

図９は、ユーザ端末１３０での処理を示すフローチャートである。
まず、通信部１３１は、映像配信装置１１０からの配信データを受信する（Ｓ２０）。受信された配信データは、デコード部１３２に与えられる。 FIG. 9 is a flowchart showing the processing in the user terminal 130.
First, the communication unit 131 receives distribution data from the video distribution device 110 (S20). The received distribution data is provided to the decoding unit 132.

デコード部１３２は、通信部１３１から配信データを受け取り、受け取った配信データをデコードする（Ｓ２１）。これにより、デコード部１３２は、合成画像を取得し、その合成画像を映像分離部１３３に与える。The decoding unit 132 receives the distribution data from the communication unit 131 and decodes the received distribution data (S21). As a result, the decoding unit 132 obtains a composite image and provides the composite image to the video separation unit 133.

映像分離部１３３は、デコード部１３２で取得された合成画像を分離することで、カメラ１０１毎の画像を生成する（Ｓ２２）。ここで分離された画像は、映像記憶部１３４に記憶される。The video separation unit 133 separates the composite image acquired by the decoding unit 132 to generate an image for each camera 101 (S22). The separated images are stored in the video storage unit 134.

映像選択部１３５は、入力部１３６を介して、ユーザにより選択されたカメラ位置の画像を映像記憶部１３４から順次読み出して映像表示部１３７に送ることで、映像表示部１３７に、選択されたカメラ位置の映像を表示させる（Ｓ２３）。
以上により、ユーザは、ユーザ自身が選択したカメラの映像を見ることができる。 The video selection unit 135 sequentially reads out images of the camera position selected by the user from the video memory unit 134 via the input unit 136 and sends them to the video display unit 137, thereby causing the video display unit 137 to display the image of the selected camera position (S23).
In this way, the user can view the video from the camera selected by the user himself.

図１０（Ａ）～（Ｃ）並びに図１１（Ａ）及び（Ｂ）は、ユーザ端末１３０での処理を説明するための概略図である。
例えば、通信部１３１は、図１０（Ａ）に示されているような、カメラ１０１Ａ～１０１Ｄで撮像された画像が合成され、時刻ｔ＝１ｐ～時刻ｔ＝６ｐまでの期間の合成画像がエンコードされた配信データを取得する。 10(A) to (C) and 11(A) and (B) are schematic diagrams for explaining the processing in the user terminal 130. FIG.
For example, the communication unit 131 acquires distribution data in which images captured by the cameras 101A to 101D are synthesized and the synthesized image for the period from time t=1p to time t=6p, as shown in FIG. 10 (A), is encoded.

デコード部１３２が、その配信データをデコードすることで、図１０（Ｂ）に示されているような、合成画像が取得される。The decoding unit 132 decodes the distribution data to obtain a composite image such as that shown in Figure 10 (B).

映像分離部１３３が、その合成画像をカメラ１０１Ａ～１０１Ｄ毎に分離することで、図１０（Ｃ）に示されているように、カメラ１０１Ａ～１０１Ｄ毎の画像が取得される。The image separation unit 133 separates the composite image for each of the cameras 101A to 101D, thereby obtaining images for each of the cameras 101A to 101D, as shown in Figure 10 (C).

このような場合において、第１のユーザが図１０（Ｃ）の破線Ｌ１で示されているように、時刻ｔ＝１ｐ～時刻ｔ＝３ｐにおいてカメラ１０１Ａの位置、時刻ｔ＝４ｐにおいてカメラ１０１Ｂの位置、時刻ｔ＝５ｐにおいてカメラ１０１Ｃの位置、及び、時刻ｔ＝６ｐにおいてカメラ１０１Ｂの位置を選択した場合には、図１１（Ａ）に示されているように、第１のユーザが使用しているユーザ端末１３０Ａでは、第１のユーザの選択に応じた画像を含む映像が表示される。In such a case, if the first user selects the position of camera 101A from time t=1p to time t=3p, the position of camera 101B at time t=4p, the position of camera 101C at time t=5p, and the position of camera 101B at time t=6p, as shown by dashed line L1 in Figure 10 (C), then a video including an image according to the first user's selection will be displayed on user terminal 130A used by the first user, as shown in Figure 11 (A).

一方、第２のユーザが、その第２のユーザが使用しているユーザ端末１３０Ｂにおいて、図１０（Ｃ）の破線Ｌ２で示されているように、時刻ｔ＝１ｐ～時刻ｔ＝６ｐにおいてカメラ１０１Ｄの位置を選択した場合には、図１１（Ｂ）に示されているように、第２のユーザの選択に応じた画像を含む映像が表示される。On the other hand, when a second user selects the position of camera 101D from time t=1p to time t=6p on the user terminal 130B used by the second user, as shown by dashed line L2 in Figure 10 (C), a video including an image according to the second user's selection is displayed, as shown in Figure 11 (B).

以上のような場合でも、映像配信装置１１０は、第１のユーザが使用しているユーザ端末１３０Ａ及び第２のユーザが使用しているユーザ端末１３０Ｂに、図１０（Ａ）に示されているような配信データを送信すればよいため、ユーザ毎にエンコードデータを生成する必要がなくなる。
また、ユーザが配信データに含まれている合成画像の範囲内で位置を変更しても、映像配信装置１１０は、配信データを変更する必要がなく、映像配信装置１１０の処理負荷が軽減される。 Even in the above case, the video distribution device 110 only needs to transmit distribution data such as that shown in FIG. 10 (A) to the user terminal 130A used by the first user and the user terminal 130B used by the second user, eliminating the need to generate encoded data for each user.
Furthermore, even if the user changes his/her position within the range of the composite image included in the distribution data, the video distribution device 110 does not need to change the distribution data, and the processing load of the video distribution device 110 is reduced.

なお、図１０に示した例では、ユーザが見ている映像の画像が含まれているグループの合成画像から生成された配信データのみが送信されている例を示したが、実施の形態１は、このような例に限定されるものではない。
例えば、図１２（Ａ）及び（Ｂ）並びに図１３（Ａ）及び（Ｂ）は、配信データの変形例を説明するための概略図である。 In the example shown in FIG. 10, only the distribution data generated from the composite image of the group that includes the image of the video that the user is viewing is transmitted, but the first embodiment is not limited to this example.
For example, FIGS. 12A and 12B and FIGS. 13A and 13B are schematic diagrams for explaining modified examples of distribution data.

図１２（Ａ）に示されているように、一つのユーザ端末１３０に、カメラ１０１Ｅ～１０１Ｈで撮像された画像のグループから生成されたエンコードデータと、カメラ１０１Ｉ～１０１Ｌで撮像された画像のグループから生成されたエンコードデータとを、配信データとして送信するようにしてもよい。As shown in FIG. 12(A), encoded data generated from a group of images captured by cameras 101E to 101H and encoded data generated from a group of images captured by cameras 101I to 101L may be transmitted as distribution data to a single user terminal 130.

言い換えると、映像配信部１１５は、ユーザ端末１３０で見られている映像に含まれている画像を含む第１のグループに対応するエンコードデータと、ユーザ端末１３０で見られている映像に含まれている画像を含まない第２のグループに対応するエンコードデータとを通信部１１６にユーザ端末１３０へ送信させてもよい。ここで、第２のグループは、第１のグループに含まれている画像からなる映像を見ているユーザが映像を切り替える可能性の高いグループであることが望ましい。In other words, the video distribution unit 115 may cause the communication unit 116 to transmit to the user terminal 130 encoded data corresponding to a first group including images included in the video being viewed on the user terminal 130 and encoded data corresponding to a second group not including images included in the video being viewed on the user terminal 130. Here, it is desirable that the second group is a group in which a user viewing a video consisting of images included in the first group is likely to switch videos.

このような場合、ユーザ端末１３０のデコード部１３２は、それぞれの配信データをデコードすることで、図１２（Ｂ）に示されているように、カメラ１０１Ｅ～１０１Ｈで撮像された画像の合成画像と、カメラ１０１Ｉ～１０１Ｌで撮像された画像の合成画像とを取得することができる。In such a case, the decoding unit 132 of the user terminal 130 can decode each distribution data to obtain a composite image of the images captured by cameras 101E to 101H and a composite image of the images captured by cameras 101I to 101L, as shown in Figure 12 (B).

そして、映像分離部１３３が、それぞれの合成画像を分離することで、図１３（Ａ）に示されているように、カメラ１０１Ｅ～１０１Ｌで撮像された画像が取得される。
この場合において、ユーザが図１３（Ａ）の破線Ｌ３で示されているように、時刻ｔ＝１ｐ～時刻ｔ＝３ｐにおいてカメラ１０１Ｉの位置を選択し、時刻ｔ＝４ｐにおいてカメラ１０１Ｈの位置を選択し、時刻ｔ＝５ｐにおいてカメラ１０１Ｇの位置を選択し、及び、時刻ｔ＝６ｐにおいて、カメラ１０１Ｆの位置を選択することで、図１３（Ｂ）に示されているように、複数のグループに含まれている画像からなる映像がユーザ端末１３０に表示される。 Then, the image separation unit 133 separates each of the composite images, thereby obtaining the images captured by the cameras 101E to 101L as shown in FIG. 13(A).
In this case, as shown by dashed line L3 in Figure 13 (A), the user selects the position of camera 101I from time t = 1p to time t = 3p, selects the position of camera 101H at time t = 4p, selects the position of camera 101G at time t = 5p, and selects the position of camera 101F at time t = 6p, and an image consisting of images contained in multiple groups is displayed on user terminal 130, as shown in Figure 13 (B).

このような場合にも、映像配信装置１１０は、ユーザ端末１３０に送信している配信データの範囲内では、ユーザの選択に応じて、ユーザ端末１３０に送信する配信データを変える必要がなくなり、映像配信装置１１０の処理負荷を軽減することができる。Even in such a case, the video distribution device 110 does not need to change the distribution data to be sent to the user terminal 130 in accordance with the user's selection within the range of the distribution data being sent to the user terminal 130, thereby reducing the processing load on the video distribution device 110.

なお、ユーザ端末１３０に送信する、一つの時刻に対応するエンコードデータの数及びそのエンコードデータの選択については、ユーザが見ている映像の位置に応じて予め定められていてもよく、また、ユーザが見ている映像の位置に応じて変化させてもよい。In addition, the number of encoded data corresponding to one time and the selection of the encoded data to be sent to the user terminal 130 may be predetermined depending on the position of the image the user is viewing, or may be changed depending on the position of the image the user is viewing.

具体的には、ユーザが見ている映像の画像が含まれているグループから移動する可能性の高いグループの配信データが、そのユーザが使用しているユーザ端末１３０に送信されてもよい。例えば、図５で説明した例で示されているように、被写体に対して、複数のカメラ１０１を一列に配置した場合には、ユーザが見ている映像の画像が含まれているグループに隣接するグループから生成されたエンコードデータも、そのユーザが使用しているユーザ端末１３０に送信されればよい。Specifically, distribution data of a group that is likely to move from the group containing the image of the video the user is watching may be transmitted to the user terminal 130 used by the user. For example, as shown in the example described in FIG. 5, when multiple cameras 101 are arranged in a line with respect to the subject, encoded data generated from a group adjacent to the group containing the image of the video the user is watching may also be transmitted to the user terminal 130 used by the user.

また、例えば、図１２（Ａ）に示されている例において、ユーザがカメラ１０１Ｆ又はカメラ１０１Ｇからの映像を見ている場合には、カメラ１０１Ｅ～１０１Ｈで撮像された画像のグループから生成されたエンコードデータのみが送信され、ユーザがカメラ１０１Ｈからの映像に移動した場合に、隣接するグループであるカメラ１０１Ｉ～１０１Ｌで撮像された画像のグループから生成されたエンコードデータも送信されるようにしてもよい。
言い換えると、ユーザが見ている位置から、別のグループに移動する可能性が高くなった場合に、移動する可能性が高くなったグループから生成されたエンコードデータも送信されるようにすればよい。 Also, for example, in the example shown in FIG. 12(A), when the user is viewing video from camera 101F or camera 101G, only the encoded data generated from the group of images captured by cameras 101E to 101H may be transmitted, and when the user moves to view video from camera 101H, the encoded data generated from the group of images captured by the adjacent group of cameras 101I to 101L may also be transmitted.
In other words, if there is a high possibility that the user will move from the position where he or she is looking to another group, the encoded data generated from the group to which the user is likely to move is also transmitted.

また、以上に記載された実施の形態１では、複数のカメラ１０１で撮像された複数の画像が複数のグループに分けて合成されているが、実施の形態１は、このような例に限定されるものではない。
例えば、図１４に示されているように、複数のカメラ１０１で撮像された複数の画像の全てが、一つの画像に合成されてもよい。ここで合成される複数の画像は、同じ時刻に対応する画像である。このような場合、映像配信装置１１０は、ユーザが見ている位置に応じて、ユーザ端末１３０に送信するエンコードデータを変える必要がなくなるため、処理負荷が軽減される。この場合には、ユーザ端末１３０も、位置情報を映像配信装置１１０に送信する必要がなくなり、処理負荷が軽減される。 In addition, in the embodiment 1 described above, multiple images captured by multiple cameras 101 are divided into multiple groups and then synthesized, but the embodiment 1 is not limited to such an example.
For example, as shown in Fig. 14, all of the multiple images captured by the multiple cameras 101 may be combined into one image. The multiple images combined here are images corresponding to the same time. In such a case, the video distribution device 110 does not need to change the encoded data to be sent to the user terminal 130 depending on the position from which the user is viewing, thereby reducing the processing load. In this case, the user terminal 130 also does not need to send position information to the video distribution device 110, thereby reducing the processing load.

また、以上に記載された実施の形態１では、例えば、図１において、複数のカメラ１０１が一つの直線上に配置されている例を示したが、実施の形態１はこのような例に限定されない。例えば、図１５に示されているように、複数のカメラ１０１Ａ～１０１Ｎが、被写体に対して複数の直線上に配置されていてもよい。In addition, in the above-described embodiment 1, for example, in Fig. 1, an example is shown in which multiple cameras 101 are arranged on one straight line, but embodiment 1 is not limited to such an example. For example, as shown in Fig. 15, multiple cameras 101A to 101N may be arranged on multiple straight lines relative to the subject.

さらに、図１６に示されているように、複数のカメラ１０１Ａ～１０１Ｈが、被写体の周囲を囲むように円形に配置されていてもよい。
言い換えると、複数のカメラ１０１は、自由に配置することができる。 Furthermore, as shown in FIG. 16, a plurality of cameras 101A to 101H may be arranged in a circle so as to surround the subject.
In other words, the multiple cameras 101 can be arranged freely.

また、以上に記載された実施の形態１では、図５（Ｆ）に示されているように、複数のカメラ１０１で撮像された画像Ｉｍ１～Ｉｍ４を一方向（図５では横方向）に連結することで合成が行われているが、実施の形態１はこのような例に限定されるものではない。
例えば、図１７に示されているように、映像合成部１１２は、画像Ｉｍ１～Ｉｍ４を二方向（図１７では、縦方向及び横方向）に連結、言い換えると、二列に連結することで合成を行ってもよい。 In addition, in the above-described embodiment 1, as shown in FIG. 5(F), the images Im1 to Im4 captured by the multiple cameras 101 are combined in one direction (the horizontal direction in FIG. 5), but embodiment 1 is not limited to this example.
For example, as shown in FIG. 17, the video synthesis unit 112 may synthesize images Im1 to Im4 by linking them in two directions (vertical and horizontal directions in FIG. 17), in other words, by linking them in two rows.

さらに、以上に記載された実施の形態１では、図５（Ｆ）に示されているように、複数のカメラ１０１の各々で撮像された画像Ｉｍ１～Ｉｍ４を連結することにより合成が行われているが、実施の形態１は、このような例に限定されない。
例えば、複数の画像の各々を構成する画素値を、対応する画素位置毎に連結することで、複数の画像の合成が行われてもよい。具体例を、図１８（Ａ）～（Ｄ）を用いて説明する。 Furthermore, in the embodiment 1 described above, as shown in FIG. 5 (F), the synthesis is performed by linking images Im1 to Im4 captured by each of the multiple cameras 101, but the embodiment 1 is not limited to such an example.
For example, the multiple images may be synthesized by linking the pixel values constituting each of the multiple images at each corresponding pixel position. A specific example will be described with reference to FIGS. 18A to 18D.

図１８（Ａ）は、カメラ１０１Ａで撮像された画像ＩｍＡを示し、図１８（Ｂ）は、カメラ１０１Ｂで撮像された画像ＩｍＢを示し、図１８（Ｃ）は、カメラ１０１Ｃで撮像された画像ＩｍＣを示しているものとする。また、画像ＩｍＡ～ＩｍＣのサイズは、同一であるものとする。ここでは、画像ＩｍＡ～ＩｍＣを合成する場合について説明する。 Figure 18 (A) shows image ImA captured by camera 101A, Figure 18 (B) shows image ImB captured by camera 101B, and Figure 18 (C) shows image ImC captured by camera 101C. Images ImA to ImC are assumed to be the same size. Here, a case where images ImA to ImC are combined will be described.

このような場合、例えば、図１８（Ｄ）に示されているように、画像ＩｍＡの第１列第１行の画素位置の画素値Ａ（１，１）、画像ＩｍＢの第１列第１行の画素位置の画素値Ｂ（１，１）、画像ＩｍＣの第１列第１行の画素位置の画素値Ｃ（１，１）、画像ＩｍＡの第２列第１行の画素位置の画素値Ａ（２，１）、画像ＩｍＢの第２列第１行の画素位置の画素値Ｂ（２，１）、画像ＩｍＣの第２列第１行の画素位置の画素値Ｃ（２，１）、・・・といった順番で配列することにより、合成画像ＣＩｍ１を生成することができる。In such a case, for example, as shown in FIG. 18 (D), a composite image CIm1 can be generated by arranging the pixels in the following order: pixel value A (1,1) at the pixel position in the first column, first row of image ImA, pixel value B (1,1) at the pixel position in the first column, first row of image ImB, pixel value C (1,1) at the pixel position in the first column, first row of image ImC, pixel value A (2,1) at the pixel position in the second column, first row of image ImA, pixel value B (2,1) at the pixel position in the second column, first row of image ImB, pixel value C (2,1) at the pixel position in the second column, first row of image ImC, etc.

合成画像ＣＩｍ１では、画像ＩｍＡ、ＩｍＢ、ＩｍＣのそれぞれの対応する画素位置の画素値が、合成画像ＣＩｍ１の対応する画素位置に配置されているため、合成画像ＣＩｍ１から容易に画像ＩｍＡ、ＩｍＢ、ＩｍＣを分離することができる。In the composite image CIm1, the pixel values of the corresponding pixel positions of the images ImA, ImB, and ImC are positioned at the corresponding pixel positions of the composite image CIm1, so that the images ImA, ImB, and ImC can be easily separated from the composite image CIm1.

また、例えば、画像ＩｍＡ、ＩｍＢ、ＩｍＣが、同じ被写体を撮像した画像である場合には、画像ＩｍＡ、ＩｍＢ、ＩｍＣのそれぞれにおいて対応する画素位置の画素値は、類似の画素値になる可能性が高い。このような場合において、合成画像を圧縮すると、圧縮技術にもよるが、圧縮率を高くすることも可能となる。 For example, if images ImA, ImB, and ImC are images of the same subject, the pixel values at corresponding pixel positions in images ImA, ImB, and ImC are likely to be similar. In such a case, compressing the composite image can increase the compression rate, depending on the compression technique.

実施の形態２．
図１に示されているように、実施の形態２に係る映像配信システム２００は、映像配信装置２１０と、ユーザ端末２３０Ａ～２３０Ｄとを備える。
なお、ユーザ端末２３０Ａ～２３０Ｄも、映像を見る機能に関して同様に構成されているため、ユーザ端末２３０Ａ～２３０Ｄの各々を特に区別する必要がない場合には、ユーザ端末２３０Ａ～２３０Ｄの何れか一つをユーザ端末２３０という。 Embodiment 2.
As shown in FIG. 1, a video distribution system 200 according to the second embodiment includes a video distribution device 210 and user terminals 230A to 230D.
In addition, since the user terminals 230A to 230D are configured similarly with respect to the function of viewing images, when there is no need to particularly distinguish between the user terminals 230A to 230D, any one of the user terminals 230A to 230D will be referred to as user terminal 230.

実施の形態２に係る映像配信システム２００でも、映像配信装置２１０は、複数のカメラ１０１Ａ～１０１Ｌで撮像された映像データを取得して、ユーザ端末２３０にユーザが見る映像を含む配信データを配信する。In the video distribution system 200 relating to embodiment 2, the video distribution device 210 also acquires video data captured by multiple cameras 101A to 101L and distributes distribution data including the video to be viewed by the user to the user terminal 230.

図１９は、実施の形態２における映像配信装置２１０及びユーザ端末２３０の構成を概略的に示すブロック図である。
実施の形態２における映像配信装置２１０は、映像取得部１１１と、映像合成部２１２と、エンコード部１１３と、エンコードデータ記憶部１１４と、映像配信部１１５と、通信部１１６とを備える。
実施の形態２における映像配信装置２１０の映像取得部１１１、エンコード部１１３、エンコードデータ記憶部１１４、映像配信部１１５及び通信部１１６は、実施の形態１における映像配信装置１１０の映像取得部１１１、エンコード部１１３、エンコードデータ記憶部１１４、映像配信部１１５及び通信部１１６と同様である。 FIG. 19 is a block diagram showing a schematic configuration of a video distribution device 210 and a user terminal 230 according to the second embodiment.
The video distribution device 210 in the second embodiment includes a video acquisition unit 111 , a video synthesis unit 212 , an encoding unit 113 , an encoded data storage unit 114 , a video distribution unit 115 , and a communication unit 116 .
The video acquisition unit 111, encoding unit 113, encoded data storage unit 114, video distribution unit 115 and communication unit 116 of the video distribution device 210 in embodiment 2 are similar to the video acquisition unit 111, encoding unit 113, encoded data storage unit 114, video distribution unit 115 and communication unit 116 of the video distribution device 110 in embodiment 1.

映像合成部２１２は、複数のカメラ１０１Ａ～１０１Ｌから送られてきた複数の映像データのそれぞれで示される複数の画像に対して合成処理を行う合成部である。ここでも、映像合成部２１２は、その複数の画像における二以上の画像を合成する。The image synthesis unit 212 is a synthesis unit that performs synthesis processing on the multiple images represented by the multiple video data sent from the multiple cameras 101A to 101L. Here, too, the image synthesis unit 212 synthesizes two or more images from the multiple images.

実施の形態１における映像合成部１１２は、例えば、図５（Ｂ）～（Ｅ）に表されている画像Ｉｍ１～Ｉｍ４を、図５（Ｆ）に示されているように、単に連結することで、合成画像を生成している。The video synthesis unit 112 in embodiment 1 generates a synthetic image, for example, by simply concatenating images Im1 to Im4 shown in Figures 5 (B) to (E), as shown in Figure 5 (F).

これに対して、実施の形態２における映像合成部２１２は、複数のカメラ１０１で撮像された複数の画像のつなぎ目がわからないように、その複数の画像を合成する。
実施の形態２における映像合成部２１２での処理の具体例を、図２０（Ａ）～（Ｅ）を用いて説明する。 In contrast to this, the video synthesis unit 212 in the second embodiment synthesizes a plurality of images captured by a plurality of cameras 101 so that the seams between the images are not visible.
A specific example of the processing performed by the video synthesizer 212 in the second embodiment will be described with reference to FIGS.

図２０（Ａ）～（Ｄ）で示されている画像Ｉｍ１～Ｉｍ４は、それぞれ、同時刻において、四台のカメラ１０１Ａ～１０１Ｄで撮像された画像を示している。
ここでは、複数のカメラ１０１は、一つのカメラ１０１で撮像された画像が、他のカメラ１０１で撮像された画像と、連結する方向において少なくとも一部が重複するように配列されているものとする。 Images Im1 to Im4 shown in FIGS. 20A to 20D respectively represent images captured by the four cameras 101A to 101D at the same time.
Here, the multiple cameras 101 are arranged such that an image captured by one camera 101 at least partially overlaps with an image captured by another camera 101 in the connecting direction.

このような場合、図２０（Ｅ）に示されているように、映像合成部２１２は、画像Ｉｍ１～Ｉｍ４を横方向において重複している部分がなくなるように連結することで、合成を行い、一つの合成画像を生成する。
一例として、映像合成部２１２は、連結する方向において重複している部分を、重複している複数の画像の内、何れか一つの画像を採用し、残り画像から重複している部分を削除することで、これらを連結すればよい。これにより、これらの複数の画像において重複している部分をなくすことができる。 In such a case, as shown in FIG. 20(E), the video synthesis unit 212 synthesizes images Im1 to Im4 by connecting them so that there are no overlapping parts horizontally, thereby generating a single synthetic image.
As an example, the video synthesis unit 212 may link the images by adopting one of the images that overlaps in the linking direction and deleting the overlapping portion from the remaining image, thereby eliminating the overlapping portion in the images.

図１９に戻り、ユーザ端末２３０は、通信部１３１と、デコード部１３２と、映像記憶部２３４と、映像選択部２３５と、入力部１３６と、映像表示部１３７とを備える。
実施の形態２におけるユーザ端末２３０は、実施の形態１におけるユーザ端末１３０の映像分離部１３３を備えていない。
また、実施の形態２におけるユーザ端末２３０の通信部１３１、デコード部１３２、入力部１３６及び映像表示部１３７は、実施の形態１におけるユーザ端末１３０の通信部１３１、デコード部１３２、入力部１３６及び映像表示部１３７と同様である。 Returning to FIG. 19, the user terminal 230 includes a communication unit 131 , a decoding unit 132 , a video storage unit 234 , a video selection unit 235 , an input unit 136 , and a video display unit 137 .
The user terminal 230 in the second embodiment does not include the video separation unit 133 of the user terminal 130 in the first embodiment.
In addition, the communication unit 131, the decoding unit 132, the input unit 136 and the video display unit 137 of the user terminal 230 in embodiment 2 are similar to the communication unit 131, the decoding unit 132, the input unit 136 and the video display unit 137 of the user terminal 130 in embodiment 1.

映像記憶部２３４は、デコード部１３２で取得された合成画像を記憶する。 The video memory unit 234 stores the composite image obtained by the decoding unit 132.

映像選択部２３５は、入力部１３６を介して、ユーザから表示する映像の位置である表示位置の選択を受け付け、選択された表示位置に対応する画像を映像記憶部１３４に記憶されている合成画像から取り出す。そして、映像選択部２３５は、取り出された画像を、順次、映像表示部１３７に送ることで、映像表示部１３７に、選択された表示位置の映像を表示させる。The video selection unit 235 receives a selection of a display position, which is the position of the video to be displayed, from the user via the input unit 136, and extracts an image corresponding to the selected display position from the composite image stored in the video storage unit 134. The video selection unit 235 then sequentially sends the extracted images to the video display unit 137, causing the video display unit 137 to display the video at the selected display position.

図２１は、映像選択部２３５での処理を説明するための概略図である。
例えば、ユーザは、映像表示部１３７に表示されている映像を見ながら、画像が連結されている方向、図２１においては、横方向において、入力部１３６に表示位置を移動させることができるものとする。
この場合、映像選択部２３５は、ユーザが移動させた表示位置に対応する画像ＳＩｍを、合成画像ＣＩｍ２から取り出す。 FIG. 21 is a schematic diagram for explaining the processing in the video selection unit 235. As shown in FIG.
For example, the user can move the display position on input unit 136 in the direction in which the images are linked, that is, in the horizontal direction in FIG. 21, while viewing the image displayed on image display unit 137.
In this case, the image selection unit 235 extracts the image SIm that corresponds to the display position moved by the user from the composite image CIm2.

このような場合、映像選択部２３５は、例えば、合成画像における基準となる位置である合成画像基準位置と、ユーザの表示位置を示す表示基準位置とを予め定めておき、これらの間の距離を位置情報として、映像配信装置２１０に送ればよい。In such a case, the video selection unit 235 may, for example, predetermine a composite image reference position, which is a reference position in the composite image, and a display reference position, which indicates the user's display position, and send the distance between these to the video distribution device 210 as position information.

例えば、合成画像ＣＩｍ２の横方向における左端の位置Ｐ１を合成画像基準位置とし、ユーザが見る画像ＳＩｍの横方向における左端の位置Ｐ２を表示基準位置とすると、これらの位置Ｐ１及びＰ２との間の距離Ｄが位置情報となる。For example, if the leftmost position P1 in the horizontal direction of the composite image CIm2 is defined as the composite image reference position, and the leftmost position P2 in the horizontal direction of the image SIm seen by the user is defined as the display reference position, then the distance D between these positions P1 and P2 becomes position information.

このような場合、ユーザが合成画像を超えて表示位置を移動させた場合にも、映像配信装置２１０は、どの合成画像のエンコードデータを送信すればよいかを認識することができる。
例えば、図２１に示されている例では、位置Ｐ１と、位置Ｐ２との間の距離が、位置Ｐ１と、合成画像の横方向における右端の位置Ｐ３との間の距離よりも長い場合には、映像配信装置２１０は、その長さに応じて、合成画像ＣＩｍの右方向の画像を含む別の合成画像があれば、その別の合成画像のエンコードデータをユーザ端末２３０に配信すればよい。
また、位置Ｐ１と、位置Ｐ２との間の距離がマイナスになる場合には、映像配信装置２１０は、その長さの絶対値に応じて、合成画像ＣＩｍの左方向の画像を含む別の合成画像があれば、その別の合成画像をユーザ端末２３０に配信すればよい。 In such a case, even if the user moves the display position beyond the composite image, the video distribution device 210 can recognize which composite image's encoded data should be transmitted.
For example, in the example shown in Figure 21, if the distance between position P1 and position P2 is longer than the distance between position P1 and position P3, the right end position of the composite image in the horizontal direction, the video distribution device 210, depending on that length, if there is another composite image that includes an image to the right of the composite image CIm, can distribute the encoded data of that other composite image to the user terminal 230.
Furthermore, if the distance between positions P1 and P2 is negative, then the video distribution device 210 can distribute to the user terminal 230, if there is another composite image including an image to the left of the composite image CIm, depending on the absolute value of the length.

以上のように、実施の形態２によれば、ユーザは、カメラ位置によらずに、自身が視聴したい位置の映像を見ることができる。As described above, according to embodiment 2, a user can view video from the position he or she wishes to view, regardless of the camera position.

１００，２００ 映像配信システム、 １０１ カメラ、 １１０，２１０ 映像配信装置、 １１１ 映像取得部、 １１２，２１２ 映像合成部、 １１３ エンコード部 、 １１４ エンコードデータ記憶部、 １１５ 映像配信部、 １１６ 通信部、 １３０，２３０ ユーザ端末、 １３１ 通信部、 １３２ デコード部、 １３３ 映像分離部、 １３４，２３４ 映像記憶部、 １３５，２３５ 映像選択部、 １３６ 入力部、 １３７ 映像表示部。 100, 200 Video distribution system, 101 Camera, 110, 210 Video distribution device, 111 Video acquisition unit, 112, 212 Video synthesis unit, 113 Encoding unit, 114 Encoded data storage unit, 115 Video distribution unit, 116 Communication unit, 130, 230 User terminal, 131 Communication unit, 132 Decoding unit, 133 Video separation unit, 134, 234 Video storage unit, 135, 235 Video selection unit, 136 Input unit, 137 Video display unit.

Claims (8)

複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部と、
前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部と、
前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部と、
前記エンコードデータを配信する配信部と、を備え、
前記合成部は、前記複数の画像を二以上のグループに分け、前記二以上のグループの各々に含まれる前記二以上の画像を合成すること
を特徴とする映像配信装置。 an acquisition unit that acquires a plurality of images captured by a plurality of imaging devices;
a synthesis unit that generates a synthetic image by synthesizing two or more images among a plurality of images for each time included in each of the plurality of videos;
an encoding unit that generates encoded data by encoding the composite image;
a distribution unit that distributes the encoded data ,
The synthesis unit divides the plurality of images into two or more groups, and synthesizes the two or more images included in each of the two or more groups.
A video distribution device comprising: ユーザ端末と通信を行う通信部をさらに備え、
前記配信部は、前記二以上のグループの内、前記ユーザ端末で見られている映像に含まれている画像を含むグループに対応する前記エンコードデータを、前記通信部に前記ユーザ端末へ送信させること
を特徴とする請求項１に記載の映像配信装置。 Further comprising a communication unit for communicating with a user terminal,
The video distribution device of claim 1, wherein the distribution unit causes the communication unit to transmit to the user terminal the encoded data corresponding to a group among the two or more groups that includes an image contained in the video being viewed on the user terminal. ユーザ端末と通信を行う通信部をさらに備え、
前記配信部は、前記二以上のグループの内、前記ユーザ端末で見られている映像に含まれている画像を含む第１のグループに対応する前記エンコードデータと、前記二以上のグループの内、前記ユーザ端末で見られている映像に含まれている画像を含まない第２のグループに対応する前記エンコードデータと、を前記通信部に前記ユーザ端末へ送信させること
を特徴とする請求項１に記載の映像配信装置。 Further comprising a communication unit for communicating with a user terminal,
The video distribution device of claim 1, characterized in that the distribution unit causes the communication unit to transmit to the user terminal the encoded data corresponding to a first group among the two or more groups that includes an image included in the video being viewed on the user terminal, and the encoded data corresponding to a second group among the two or more groups that does not include an image included in the video being viewed on the user terminal. 前記複数の撮像装置に含まれる二以上の撮像装置で撮像される映像は、一部が重複するように撮像されており、
前記合成部は、前記二以上の撮像装置で撮像された映像に含まれている前記二以上の画像を、前記一部の重複がなくなるように合成すること
を特徴とする請求項１から３の何れか一項に記載の映像配信装置。 The images captured by two or more imaging devices included in the plurality of imaging devices are captured so as to partially overlap each other,
The video distribution device according to claim 1 , wherein the synthesis unit synthesizes the two or more images contained in the videos captured by the two or more imaging devices such that there is no overlapping of the parts. コンピュータを、
複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部、
前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部、
前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部、及び、
前記エンコードデータを配信する配信部、として機能させ、
前記合成部は、前記複数の画像を二以上のグループに分け、前記二以上のグループの各々に含まれる前記二以上の画像を合成すること
を特徴とするプログラム。 Computer,
an acquisition unit that acquires a plurality of images captured by the plurality of imaging devices;
a synthesis unit that generates a synthetic image by synthesizing two or more images among a plurality of images for each time included in each of the plurality of videos;
an encoding unit that generates encoded data by encoding the composite image; and
a distribution unit that distributes the encoded data ;
The synthesis unit divides the plurality of images into two or more groups, and synthesizes the two or more images included in each of the two or more groups.
A program characterized by. 映像配信装置及びユーザ端末を備える映像配信システムであって、
前記映像配信装置は、
複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部と、
前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部と、
前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部と、
前記エンコードデータを配信する配信部と、を備え、
前記ユーザ端末は、
前記エンコードデータを受信する受信部と、
前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部と、
前記合成画像から前記二以上の画像を分離する分離部と、
表示する映像の選択の入力を受け付ける入力部と、
前記二以上の画像の中から、選択された映像の画像を表示する表示部と、を備え、
前記合成部は、前記複数の画像を二以上のグループに分け、前記二以上のグループの各々に含まれる前記二以上の画像を合成すること
を特徴とする映像配信システム。 A video distribution system including a video distribution device and a user terminal,
The video distribution device includes:
an acquisition unit that acquires a plurality of images captured by a plurality of imaging devices;
a synthesis unit that generates a synthetic image by synthesizing two or more images among a plurality of images for each time included in each of the plurality of videos;
an encoding unit that generates encoded data by encoding the composite image;
a distribution unit that distributes the encoded data,
The user terminal,
A receiving unit that receives the encoded data;
a decoding unit that obtains the composite image by decoding the encoded data;
a separation unit that separates the two or more images from the composite image;
an input unit that accepts an input for selecting an image to be displayed;
a display unit that displays a video image selected from the two or more images ,
The synthesis unit divides the plurality of images into two or more groups, and synthesizes the two or more images included in each of the two or more groups.
A video distribution system comprising: 映像配信装置及びユーザ端末を備える映像配信システムであって、
前記映像配信装置は、
複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部と、
前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部と、
前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部と、
前記エンコードデータを配信する配信部と、を備え、
前記ユーザ端末は、
前記エンコードデータを受信する受信部と、
前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部と、
表示する映像の位置の選択の入力を受け付ける入力部と、
前記合成画像から、前記位置に対応する画像を取り出す選択部と、
前記取り出された画像を表示する表示部と、を備え、
前記合成部は、前記複数の画像を二以上のグループに分け、前記二以上のグループの各々に含まれる前記二以上の画像を合成すること
を特徴とする映像配信システム。 A video distribution system including a video distribution device and a user terminal,
The video distribution device includes:
an acquisition unit that acquires a plurality of images captured by a plurality of imaging devices;
a synthesis unit that generates a synthetic image by synthesizing two or more images among a plurality of images for each time included in each of the plurality of videos;
an encoding unit that generates encoded data by encoding the composite image;
a distribution unit that distributes the encoded data,
The user terminal,
A receiving unit that receives the encoded data;
a decoding unit that obtains the composite image by decoding the encoded data;
an input unit that receives an input for selecting a position of an image to be displayed;
a selection unit that extracts an image corresponding to the position from the composite image;
a display unit that displays the extracted image ,
The synthesis unit divides the plurality of images into two or more groups, and synthesizes the two or more images included in each of the two or more groups.
A video distribution system comprising: 取得部が、複数の撮像装置のそれぞれで撮像された複数の映像を取得し、
合成部が、前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成し、
エンコード部が、前記合成画像をエンコードすることで、エンコードデータを生成し、
配信部が、前記エンコードデータを配信し、
前記合成部は、前記複数の画像を二以上のグループに分け、前記二以上のグループの各々に含まれる前記二以上の画像を合成すること
を特徴とする映像配信方法。 The acquisition unit acquires a plurality of images captured by the plurality of imaging devices,
a synthesis unit synthesizes two or more images from a plurality of images for each time included in each of the plurality of videos to generate a synthetic image;
an encoding unit generates encoded data by encoding the composite image;
A distribution unit distributes the encoded data ,
The synthesis unit divides the plurality of images into two or more groups, and synthesizes the two or more images included in each of the two or more groups.
A video distribution method comprising:
JP2023531207A 2021-06-29 2021-06-29 VIDEO DELIVERY DEVICE, PROGRAM, VIDEO DELIVERY SYSTEM, AND VIDEO DELIVERY METHOD Active JP7462842B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/024599 WO2023276007A1 (en) 2021-06-29 2021-06-29 Video delivery device, user terminal, program, video delivery system, and video delivery method

Publications (3)

Publication Number Publication Date
JPWO2023276007A1 JPWO2023276007A1 (en) 2023-01-05
JPWO2023276007A5 JPWO2023276007A5 (en) 2023-10-27
JP7462842B2 true JP7462842B2 (en) 2024-04-05

Family

ID=84691620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023531207A Active JP7462842B2 (en) 2021-06-29 2021-06-29 VIDEO DELIVERY DEVICE, PROGRAM, VIDEO DELIVERY SYSTEM, AND VIDEO DELIVERY METHOD

Country Status (2)

Country Link
JP (1) JP7462842B2 (en)
WO (1) WO2023276007A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014024475A1 (en) 2012-08-10 2014-02-13 パナソニック株式会社 Video provision method, transmission device, and reception device
WO2016174946A1 (en) 2015-04-28 2016-11-03 株式会社日立国際電気 Video surveillance system and video surveillance method
WO2018088061A1 (en) 2016-11-08 2018-05-17 ソニー株式会社 Image transfer device, image transfer method, program, and moving image generation system
JP2018201197A (en) 2017-05-16 2018-12-20 アクシス アーベー System comprising video camera and client device and method performed by the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014024475A1 (en) 2012-08-10 2014-02-13 パナソニック株式会社 Video provision method, transmission device, and reception device
WO2016174946A1 (en) 2015-04-28 2016-11-03 株式会社日立国際電気 Video surveillance system and video surveillance method
WO2018088061A1 (en) 2016-11-08 2018-05-17 ソニー株式会社 Image transfer device, image transfer method, program, and moving image generation system
JP2018201197A (en) 2017-05-16 2018-12-20 アクシス アーベー System comprising video camera and client device and method performed by the same

Also Published As

Publication number Publication date
JPWO2023276007A1 (en) 2023-01-05
WO2023276007A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
US11902493B2 (en) Methods and apparatus for processing content based on viewing information and/or communicating content
JP7029562B2 (en) Equipment and methods for providing and displaying content
CN115278195A (en) Position zero time delay
JP4346548B2 (en) Image data distribution system, image data transmitting apparatus and image data receiving apparatus
JP4479267B2 (en) Surveillance camera video distribution system
US11582496B2 (en) Method, device, and computer program for transmitting media content
CN109391825A (en) A kind of video transcoding method and its device, server, readable storage medium storing program for executing
CN110139130A (en) The method of streaming data, the method and apparatus for sending and receiving video data
WO2017138458A1 (en) Video display system
JP2018511971A (en) Method and apparatus for generating and using reduced resolution images and / or communicating such images to a playback device or content distribution device
CN109698952B (en) Panoramic video image playing method and device, storage medium and electronic device
WO2012103120A1 (en) Visually imperceptible matrix codes utilizing interlacing
EP3316247B1 (en) Information processing device, information processing method, and program
CN113163214A (en) Video processing method and device
US20210266511A1 (en) Information processing system, information processing method, and storage medium
WO2004004363A1 (en) Image encoding device, image transmission device, and image pickup device
KR20180001551A (en) Personalized shopping mall system using virtual camera
WO2017112520A1 (en) Video display system
US20190379917A1 (en) Image distribution method and image display method
CN113646752A (en) VR live broadcast distribution system, distribution server, control method for distribution server, program for distribution server, and data structure of VR original photograph data
KR20050056070A (en) Apparatus and method for processing of 3d video using mpeg-4 object descriptor information
US20110234763A1 (en) Apparatus and method for transmitting/receiving multi-view stereoscopic video
JP7462842B2 (en) VIDEO DELIVERY DEVICE, PROGRAM, VIDEO DELIVERY SYSTEM, AND VIDEO DELIVERY METHOD
JP6934052B2 (en) Display control device, display control method and program
WO2016167160A1 (en) Data generation device and reproduction device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230731

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240326

R150 Certificate of patent or registration of utility model

Ref document number: 7462842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150