JP5960096B2 - Video distribution system and video distribution method - Google Patents
Video distribution system and video distribution method Download PDFInfo
- Publication number
- JP5960096B2 JP5960096B2 JP2013134272A JP2013134272A JP5960096B2 JP 5960096 B2 JP5960096 B2 JP 5960096B2 JP 2013134272 A JP2013134272 A JP 2013134272A JP 2013134272 A JP2013134272 A JP 2013134272A JP 5960096 B2 JP5960096 B2 JP 5960096B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- unit
- shooting
- range
- cutout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000000605 extraction Methods 0.000 claims description 40
- 230000005540 biological transmission Effects 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 12
- 238000003780 insertion Methods 0.000 claims description 9
- 230000037431 insertion Effects 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、映像配信システム及び映像配信方法に関し、特に、広範囲に常時撮影されている映像中から、視聴者が自分の好きな場所を選んでライブで視聴する映像配信システム及び映像配信方法に関する。 The present invention relates to a video distribution system and a video distribution method, and more particularly, to a video distribution system and a video distribution method in which a viewer selects his / her favorite place from videos that are constantly photographed over a wide area and views it live.
従来、イベント会場などから離れた遠隔地にいる視聴者が、視聴者の有するテレビや移動端末を用いて、イベント会場において撮影されている映像から自分の好きな範囲を選んでライブで視聴するための様々なシステムが提案されている（例えば、非特許文献１）。 Conventionally, viewers in remote locations away from event venues can select their favorite range from the video shot at the event venue and watch them live using the viewer's television or mobile terminal Various systems have been proposed (for example, Non-Patent Document 1).
例えば、視聴者が好きな方向のライブ映像を見る方法として、リモート操作可能な雲台を有するＷｅｂカメラを用いて視聴者がリモートで雲台を操作し、好きな方向にＷｅｂカメラを向ける方法が知られている（例えば、非特許文献２）。 For example, as a method of viewing a live video in a desired direction of the viewer, there is a method in which the viewer remotely operates the camera platform using a web camera having a remotely operable camera platform and points the web camera in a desired direction. It is known (for example, Non-Patent Document 2).
また、予め広い範囲でライブ映像を撮影しておき、そこから視聴者が要望する部分を切り出して配信する方法も知られている。この場合、複数のカメラで撮影した映像を貼り合せて広い範囲のライブ映像を撮影する方法と、解像度が高く広範囲を撮影することができる１台のカメラで広い範囲のライブ映像を撮影する方法とが知られている（例えば、非特許文献３）。 There is also known a method in which live video is captured in a wide range in advance, and a portion desired by the viewer is cut out and distributed. In this case, a method of shooting a wide range of live video by combining videos shot by a plurality of cameras, a method of shooting a wide range of live video with a single camera capable of shooting a wide range with high resolution, and Is known (for example, Non-Patent Document 3).
しかしながら、リモート操作可能な雲台を用いる方法では、ある視聴者が自分の好みの方向にＷｅｂカメラを向けて映像を見ている間は、別の視聴者は、異なる方向の映像を見ることができないという問題、すなわち、複数人が同時に異なる方向の映像を見ることができないという問題があった。 However, in the method using the pan head that can be operated remotely, while a viewer is viewing a video with the web camera pointing in his / her preferred direction, another viewer can view a video in a different direction. There was a problem that it was not possible, that is, there was a problem that a plurality of people could not watch images in different directions at the same time.
また、複数カメラで撮影した映像を貼り合せて広い範囲のライブ映像を撮影し、視聴者が要望する部分を切り出して配信するという方法では、複数の映像の貼り合せに計算コストがかかるため、映像配信の遅延が大きくなるという問題があった。 In addition, the method of shooting a wide range of live video by combining video shot with multiple cameras and cutting out and distributing the portion requested by the viewer requires calculation costs for combining multiple videos. There was a problem that the delay of delivery became large.
また、解像度が高く広範囲を撮影することができるカメラを用いて広い範囲のライブ映像を撮影し、視聴者が要望する部分を切り出して配信するという方法では、通常のカメラでは１８０度を超えるような広い範囲を撮ることはできないため、全方位レンズや魚眼レンズ等を有するカメラが必要になりコストが高くなるという問題があった。また、全方位レンズや魚眼レンズを用いると画像の歪が大きくなるため、切り出した画像を違和感なく見せるためには、画像の変形という計算コストのかかる処理が必要になるため、映像配信の遅延が大きくなるという問題があった。 In addition, in a method of shooting a wide range of live video using a camera with a high resolution and capable of shooting a wide range, and cutting out and distributing a portion desired by the viewer, a normal camera exceeds 180 degrees. Since a wide range cannot be taken, a camera having an omnidirectional lens, a fish-eye lens, or the like is required, which increases the cost. In addition, if an omnidirectional lens or fisheye lens is used, the distortion of the image will increase, and in order to make the clipped image appear uncomfortable, it requires processing that requires computational cost of image deformation, resulting in a large delay in video distribution. There was a problem of becoming.
このように、従来技術では、複数の視聴者が同時に異なる方向のライブ映像を視聴することと、ライブ映像の配信遅延を小さくすることを両立させることができないという問題があった。 As described above, in the related art, there is a problem that it is impossible to simultaneously view a plurality of viewers simultaneously viewing live video in different directions and to reduce a live video distribution delay.
したがって、かかる点に鑑みてなされた本発明の目的は、複数の視聴者が同時に異なる方向のライブ映像を視聴することと、ライブ映像の配信遅延を小さくすることを両立させることができる映像配信システム及び映像配信方法を提供することにある。 Accordingly, an object of the present invention made in view of the above point is to provide a video distribution system that allows a plurality of viewers to simultaneously view a live video in different directions and to reduce a live video distribution delay. And providing a video distribution method.
上記課題を解決するため、本発明に係る映像配信システムは、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムであって、前記映像取得装置は、複数の映像撮影部を備え、前記配信サーバは、前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、前記複数の映像に、前記映像撮影部の識別子を重畳させる映像ソースＩＤ重畳部と、視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、識別子が重畳された前記複数の映像から選択すべき映像を指示する映像選択指示部と、前記映像選択指示部の指示に基づいて、識別子が重畳された前記複数の映像から映像を選択し、一つのストリーム映像を作成する映像選択部と、前記映像選択部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、前記映像提示装置は、視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、前記映像受信部が受信した前記ストリーム映像に重畳されている前記映像撮影部の識別子を抽出する映像ソースＩＤ抽出部と、前記表示範囲指定部が特定した前記切出し範囲の情報と、前記映像ソースＩＤ抽出部が抽出した前記映像撮影部の識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、前記映像切出し指示部は、前記表示範囲指定部が特定した映像撮影部と、前記映像ソースＩＤ抽出部が抽出した映像撮影部の識別子から特定される映像取得部とが一致したタイミングで、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする。 In order to solve the above problems, a video distribution system according to the present invention is a video distribution system including a video acquisition device, a distribution server, and a video presentation device, and the video acquisition device includes a plurality of video imaging units. The distribution server includes: a video input unit that receives a plurality of videos captured by the plurality of video shooting units; a video source ID superposition unit that superimposes an identifier of the video shooting unit on the plurality of videos; An identifier is superimposed based on the display instruction receiving unit that receives information of the video shooting unit that is shooting the video range that the user desires to watch and the information of the video shooting unit received by the display instruction receiving unit A video selection instruction unit for instructing a video to be selected from the plurality of videos, and a video selected from the plurality of videos on which an identifier is superimposed based on an instruction from the video selection instruction unit, and a single stream video And a video distribution unit that distributes the stream video generated by the video selection unit to the video presentation device, wherein the video presentation device requests viewing from the viewer. The image capturing unit that captures the image range is specified, the display range specifying unit that specifies the clipping range to be cut out from the image captured by the image capturing unit, and the image capturing specified by the display range specifying unit A display instruction transmitting unit that transmits information of a unit to the distribution server, a video receiving unit that receives the stream video distributed by the distribution server, and the video superimposed on the stream video received by the video receiving unit Video source ID extraction unit for extracting the identifier of the photographing unit, information on the cutout range specified by the display range specifying unit, and the video source ID extraction unit extracted Based on the identifier information of the video recording unit, a video cutout instruction unit for instructing a partial video to be cut out from the stream video, and the partial video is cut out from the stream video based on an instruction from the video cutout instruction unit A video cutout unit, and a video display unit that displays the partial video cut out by the video cutout unit, wherein each video shooting unit is adjacent to a video shot by each video shooting unit The image capturing unit has an overlapping area that overlaps an image captured by the image capturing unit, and is arranged such that the size of the overlapping region is larger than the size of the partial image. At the timing when the identified video capturing unit coincides with the video acquisition unit identified from the identifier of the video capturing unit extracted by the video source ID extracting unit, information of the video capturing unit is obtained. It changes to the position of the cutout range associated with the information.
また、上記課題を解決するため、本発明に係る映像配信システムは、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムであって、前記映像取得装置は、複数の映像撮影部を備え、前記配信サーバは、前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示する映像選択指示部と、前記映像選択指示部の指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す識別子を重畳させる映像選択・切り替わりタイミング重畳部と、前記映像選択・切り替わりタイミング重畳部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、前記映像提示装置は、視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、前記映像受信部が受信した前記ストリーム映像に重畳されている、映像が切り替わったことを示す前記識別子を抽出する切り替わりタイミング抽出部と、前記表示範囲指定部が特定した前記切出し範囲の情報と、前記切り替わりタイミング抽出部が抽出した、映像が切り替わったことを示す前記識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、前記映像切出し指示部は、前記表示範囲指定部から取得した切り出し元となる映像撮影部の切り替わりタイミングと、前記切り替わりタイミング抽出部が抽出した映像撮影部の切り替わったタイミングとを一致させて、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする。 In order to solve the above problem, a video distribution system according to the present invention is a video distribution system including a video acquisition device, a distribution server, and a video presentation device, and the video acquisition device includes a plurality of video shootings. The distribution server receives information on a video input unit that receives a plurality of videos taken by the plurality of video shooting units and a video shooting unit that captures a video range that the viewer desires to watch. A display instruction receiving unit, a video selection instructing unit for instructing a video to be selected from the plurality of videos based on information of the video photographing unit received by the display instruction receiving unit, and an instruction from the video selection instructing unit Based on the video selection, a video is selected from the plurality of videos to create one stream video, and when the selected video is switched, the video selection / switching is performed to superimpose an identifier indicating that the video is switched. And a video delivery unit that delivers the stream video created by the video selection / switching timing superposition unit to the video presentation device, wherein the video presentation device requests viewing from a viewer. A video range is received, a video shooting unit that captures the video range is specified, a display range specifying unit that specifies a cut-out range to be cut out from a video shot by the video shooting unit, and the display range specifying unit specified A display instruction transmission unit that transmits information of the video shooting unit to the distribution server, a video reception unit that receives the stream video distributed by the distribution server, and the stream video received by the video reception unit are superimposed on each other. A switching timing extracting unit that extracts the identifier indicating that the video has been switched, and the clipping specified by the display range specifying unit Based on the range information and the identifier information indicating that the video has been switched, which is extracted by the switching timing extraction unit, a video cutting instruction unit that instructs a partial video to be cut out from the stream video, and the video cutting instruction On the basis of the instruction of the section, a video cutout section that cuts out the partial video from the stream video, and a video display section that displays the partial video cut out by the video cutout section, There is an overlapping area where the video shot by each video shooting unit and the video shot by the video shooting unit arranged adjacent to each other overlap, and the size of the overlapping region is larger than the size of the partial video And the video cutout instructing unit includes a switching timing of a video shooting unit as a cutout source acquired from the display range specifying unit, and the cutout The switching timing extracting unit matches the switching timing of the video photographing unit and changes to the position of the extraction range associated with the information of the video photographing unit.
また、上記課題を解決するため、本発明に係る映像配信システムは、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムであって、前記映像取得装置は、複数の映像撮影部を備え、前記配信サーバは、前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示する映像選択指示部と、前記映像選択指示部の指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す区切り画像を挿入する映像選択・区切り画像挿入部と、前記映像選択・区切り画像挿入部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、前記映像提示装置は、視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、前記映像受信部が受信した前記ストリーム映像に挿入されている、映像が切り替わったことを示す区切り画像を抽出する区切り画像抽出部と、前記表示範囲指定部が特定した前記切出し範囲の情報と、前記区切り画像抽出部が抽出した前記区切り画像とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、前記映像切出し指示部は、前記表示範囲指定部から取得した切り出し元となる映像撮影部の切り替わりタイミングと、前記区切り画像抽出部が抽出した映像撮影部の切り替わったタイミングとを一致させて、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする。 In order to solve the above problem, a video distribution system according to the present invention is a video distribution system including a video acquisition device, a distribution server, and a video presentation device, and the video acquisition device includes a plurality of video shootings. The distribution server receives information on a video input unit that receives a plurality of videos taken by the plurality of video shooting units and a video shooting unit that captures a video range that the viewer desires to watch. A display instruction receiving unit, a video selection instructing unit for instructing a video to be selected from the plurality of videos based on information of the video photographing unit received by the display instruction receiving unit, and an instruction from the video selection instructing unit Based on the video selection, a video is selected from the plurality of videos to create one stream video, and when the selected video is switched, a video selection / section for inserting a delimited image indicating that the video has been switched is inserted. A video distribution unit that distributes the stream video created by the video selection / separation image insertion unit to the video presentation device, wherein the video presentation device requests viewing from a viewer. A video range is received, a video shooting unit that captures the video range is specified, a display range specifying unit that specifies a cut-out range to be cut out from a video shot by the video shooting unit, and the display range specifying unit specified A display instruction transmission unit that transmits information of the video photographing unit to the distribution server, a video reception unit that receives the stream video distributed by the distribution server, and the stream video received by the video reception unit. A delimiter image extraction unit that extracts a delimiter image indicating that the video has been switched, information on the cutout range specified by the display range designation unit, and the delimiter image Based on the segmented image extracted by the extraction unit, a video cutout instruction unit that instructs a partial video to be cut out from the stream video, and the partial video is cut out from the stream video based on an instruction from the video cutout instruction unit A video cutout unit, and a video display unit that displays the partial video cut out by the video cutout unit, wherein each video shooting unit is adjacent to a video shot by each video shooting unit The image capturing unit has an overlapping area that overlaps an image captured by the image capturing unit, and is arranged so that the size of the overlapping region is larger than the size of the partial image. The switching timing of the acquired video shooting unit that is the cut-out source is matched with the switching timing of the video shooting unit extracted by the segmented image extraction unit. Then, the position is changed to the position of the cutout range associated with the information of the video photographing unit.
また、上記課題を解決するため、本発明に係る映像配信方法は、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムにおける映像配信方法であって、前記映像取得装置は、複数の映像撮影部を備え、前記各映像撮影部を、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記映像提示装置が表示する部分映像の大きさよりも大きくなるように配置するステップと、前記配信サーバによって、前記複数の映像撮影部が撮影した複数の映像を受信するステップと、前記複数の映像に、前記映像撮影部の識別子を重畳させるステップと、前記映像提示装置によって、視聴者から、視聴を要望する映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定するステップと、特定された前記映像撮影部の情報を前記配信サーバに送信するステップと、前記配信サーバによって、視聴者が視聴を要望する前記映像範囲を撮影している映像撮影部の情報を受信するステップと、前記映像撮影部の情報に基づいて、識別子が重畳された前記複数の映像から選択すべき映像を指示するステップと、前記指示に基づいて、識別子が重畳された前記複数の映像から映像を選択し、一つのストリーム映像を作成するステップと、前記ストリーム映像を前記映像提示装置に配信するステップと、前記映像提示装置によって、前記ストリーム映像を受信するステップと、前記ストリーム映像に重畳されている前記映像撮影部の識別子を抽出するステップと、特定された前記切出し範囲の情報と、抽出された前記映像撮影部の識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示するステップと、特定された前記映像撮影部と、抽出された前記映像撮影部の識別子から特定される映像取得部とが一致したタイミングで、前記ストリーム映像から、前記映像撮影部の情報と関連付けられている切出し範囲の位置を切り出すステップと、切り出された前記部分映像を表示するステップとを含む。 In order to solve the above problem, a video distribution method according to the present invention is a video distribution method in a video distribution system including a video acquisition device, a distribution server, and a video presentation device, and the video acquisition device includes: A plurality of video image capturing units, each video image capturing unit having an overlapping area where a video image captured by each video image capturing unit and a video image captured by an adjacent video image capturing unit are overlapped; Arranging the area so that the size of the area is larger than the size of the partial video displayed by the video presentation device; and receiving a plurality of videos taken by the plurality of video shooting units by the distribution server; A step of superimposing an identifier of the video shooting unit on the plurality of videos, and a video range desired to be viewed from a viewer by the video presentation device; Identifying a video photographing unit that captures the image, identifying a cutout range to be cut out from the video photographed by the video photographing unit, transmitting information of the identified video photographing unit to the distribution server, and From the plurality of videos on which identifiers are superimposed based on the information of the video shooting unit that is shooting the video range that the viewer desires to watch, and the information of the video shooting unit. Instructing a video to be selected, selecting a video from the plurality of videos superimposed with an identifier based on the instruction, creating one stream video, and sending the stream video to the video presentation device Distributing, receiving the stream video by the video presentation device, and the video superimposed on the stream video A step of extracting an identifier of a shadow portion, a step of designating a partial video to be cut out from the stream video based on the information on the specified cutout range and the information on the extracted identifier of the video shooting unit; The cut-out range associated with the information of the video shooting unit is extracted from the stream video at the timing when the video shooting unit that has been extracted matches the video acquisition unit specified by the extracted identifier of the video shooting unit. Cutting out the position, and displaying the cut out partial video.
また、上記課題を解決するため、本発明に係る映像配信方法は、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムにおける映像配信方法であって、前記映像取得装置は、複数の映像撮影部を備え、前記各映像撮影部を、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記映像提示装置が表示する部分映像の大きさよりも大きくなるように配置するステップと、前記配信サーバによって、前記複数の映像撮影部が撮影した複数の映像を受信するステップと、前記映像提示装置によって、視聴者から、視聴を要望する映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定するステップと、特定された前記映像撮影部の情報を前記配信サーバに送信するステップと、前記配信サーバによって、視聴者が視聴を要望する前記映像範囲を撮影している映像撮影部の情報を受信するステップと、前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示するステップと、前記指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す識別子を重畳させるステップと、前記ストリーム映像を前記映像提示装置に配信するステップと、前記映像提示装置によって、前記ストリーム映像を受信するステップと、前記ストリーム映像に重畳されている、映像が切り替わったことを示す前記識別子を抽出するステップと、特定された前記切出し範囲の情報と、抽出された映像が切り替わったことを示す前記識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示するステップと、切り出し元となる映像撮影部の切り替わりタイミングと、抽出された映像撮影部の切り替わったタイミングとを一致させて、前記ストリーム映像から、前記映像撮影部の情報と関連付けられている切出し範囲の位置を切り出すステップと、切り出された前記部分映像を表示するステップとを含む。 In order to solve the above problem, a video distribution method according to the present invention is a video distribution method in a video distribution system including a video acquisition device, a distribution server, and a video presentation device, and the video acquisition device includes: A plurality of video image capturing units, each video image capturing unit having an overlapping area where a video image captured by each video image capturing unit and a video image captured by an adjacent video image capturing unit are overlapped; Arranging the area so that the size of the area is larger than the size of the partial video displayed by the video presentation device; and receiving a plurality of videos taken by the plurality of video shooting units by the distribution server; The video presentation device accepts a video range desired to be viewed from a viewer, identifies a video shooting unit shooting the video range, and whether the video shot by the video shooting unit A step of specifying a cut-out range to be cut out; a step of transmitting information of the specified video shooting unit to the distribution server; and a video shooting of shooting the video range desired by a viewer by the distribution server Receiving information of a part, instructing a video to be selected from the plurality of videos based on the information of the video photographing unit, and selecting a video from the plurality of videos based on the instruction Creating one stream video and superimposing an identifier indicating that the video has been switched when the selected video is switched; delivering the stream video to the video presentation device; and the video presentation device To receive the stream video and indicate that the video superimposed on the stream video has been switched. Extracting the identifier; instructing a partial video to be cut out from the stream video based on the information on the identified cut-out range and the information on the identifier indicating that the extracted video has been switched; and The switching timing of the video capturing unit that is the cut-out source is matched with the switching timing of the extracted video capturing unit, and the position of the extraction range associated with the information of the video capturing unit is extracted from the stream video And a step of displaying the cut out partial video.
本発明によれば、複数の視聴者が同時に異なる方向のライブ映像を視聴することと、ライブ映像の配信遅延を小さくすることを両立させることができる。 According to the present invention, a plurality of viewers can simultaneously view a live video in different directions and reduce a delivery delay of the live video.
以下、本発明に係る実施形態について、図面を参照して説明する。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings.
（第１実施形態）
図１は、本発明の第１実施形態に係る映像配信システムのブロック図である。本発明の第１実施形態に係る映像配信システムは、映像取得装置１１０、配信サーバ１２０及び映像提示装置１３０を備える。なお、図１においては、映像提示装置を１つ備える構成を示しているが、これは一例であり、映像提示装置は２つ以上であってもよい。
(First embodiment)
FIG. 1 is a block diagram of a video distribution system according to the first embodiment of the present invention. The video distribution system according to the first embodiment of the present invention includes a
映像取得装置１１０は、映像撮影部１１１（１１１ａ、１１１ｂ）を備える。
The
映像撮影部１１１は、映像を撮影し、撮影した映像を配信サーバ１２０に送信する。映像撮影部１１１は、映像撮影部１１１ａで撮影した映像と映像撮影部１１１ａに隣接して配置された映像撮影部１１１ｂで撮影した映像とが重なり合う重複領域を有し、当該重複領域の大きさが映像提示装置１３０で表示する部分映像の大きさよりも大きくなるように配置される。なお、図１においては、映像撮影部１１１が映像撮影部１１１ａ及び１１１ｂの２つから構成される場合を示しているが、これは一例であり、映像撮影部１１１は３つ以上で構成されてもよい。映像撮影部１１１は、例えばカメラなどである。本出願においては、必要に応じて、映像撮影部１１１がカメラの場合を例として説明する。
The
配信サーバ１２０は、表示指示受信部１２１、映像選択指示部１２２、映像入力部１２３（１２３ａ、１２３ｂ）、映像ソースＩＤ重畳部１２４（１２４ａ、１２４ｂ）、映像選択部１２５及び映像配信部１２６を備える。
The
表示指示受信部１２１は、映像提示装置１３０から、視聴者が視聴を要望する映像範囲を撮影している映像撮影部１１１の情報を受信する。
The display
映像選択指示部１２２は、表示指示受信部１２１が映像提示装置１３０から受信した映像撮影部１１１の情報に基づいて、映像選択部１２５に、映像ソースＩＤ重畳部１２４によって映像ソース（映像撮影部１１１）ごとに識別子を重畳された複数の映像から選択すべき映像を指示する。
Based on the information of the
映像入力部１２３は、映像撮影部１１１が撮影した映像を受信する。図１は、映像入力部１２３が２つの映像入力部１２３ａ及び１２３ｂから構成され、映像撮影部１１１が２つの映像撮影部１１１ａ及び１１１ｂから構成される場合の例を示す。映像入力部１２３ａ及び１２３ｂは、それぞれ、映像撮影部１１１ａ及び１１１ｂが撮影した映像を受信する。
The video input unit 123 receives the video shot by the
映像ソースＩＤ重畳部１２４は、映像入力部１２３から映像を受け取り、映像ソースごとに映像撮影部１１１に対応付けられた識別子（ＩＤ）を、画像透かしとして重畳させる。識別子は、例えば、カメラのＩＤなどである。図１は、映像ソースＩＤ重畳部１２４が２つの映像ソースＩＤ重畳部１２４ａ及び１２４ｂから構成される場合の例を示す。映像ソースＩＤ重畳部１２４ａ及び１２４ｂは、それぞれ、映像入力部１２３ａ及び１２３ｂから受け取った映像に識別子を重畳させる。
The video source ID superimposing unit 124 receives video from the video input unit 123 and superimposes an identifier (ID) associated with the
映像選択部１２５は、映像選択指示部１２２からの指示に基づいて、映像ソースＩＤ重畳部１２４によって映像ソースごとに識別子を重畳された映像から必要な映像を選択し、一つの連続したストリーム映像を作成する。
Based on an instruction from the video
映像配信部１２６は、映像選択部１２５により作成されたストリーム映像を映像提示装置１３０に配信する。
The
映像提示装置１３０は、表示範囲指定部１３１、表示指示送信部１３２、映像受信部１３３、映像ソースＩＤ抽出部１３４、映像切出し指示部１３５、映像切出し部１３６及び映像表示部１３７を備える。
The
表示範囲指定部１３１は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。表示範囲指定部１３１は、例えば、キーボードやリモコン又はタッチパネルなどを介した入力などによって、視聴者の要望する表示範囲を受け付けることができる。また、例えば、表示範囲指定部１３１は、加速度センサや方位センサなどを備え、映像提示装置１３０を向けている方角に応じてこれらのセンサが随時取得するセンサ値によって、視聴者の要望する表示範囲を受け付けることができる。
The display
また、表示範囲指定部１３１は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部１１１を特定し、特定された映像撮影部１１１が撮影する映像から切り出す切出し範囲を特定する。
In addition, the display
表示指示送信部１３２は、表示範囲指定部１３１が特定した映像撮影部１１１の情報を配信サーバ１２０に送信する。
The display
映像受信部１３３は、配信サーバ１２０から配信されたストリーム映像を受信する。
The video receiving unit 133 receives the stream video distributed from the
映像ソースＩＤ抽出部１３４は、映像受信部１３３が受信したストリーム映像から、画像透かし情報として重畳された映像ソースの識別子を抽出する。
The video source
映像切出し指示部１３５は、表示範囲指定部１３１が特定した切出し範囲の情報と、映像ソースＩＤ抽出部１３４が抽出した映像ソースの識別子とを照らし合わせて、映像切出し部１３６に切り出しの指示を行う。映像切出し指示部１３５は、表示範囲指定部１３１が特定した映像撮影部１１１と、映像ソースＩＤ抽出部１３４が抽出した映像撮影部１１１の識別子から特定される映像撮影部１１１とが一致したタイミングで、映像撮影部１１１の情報と関連付けられている切出し範囲の位置に変更するように指示する。
The video
映像切出し部１３６は、映像切出し指示部１３５からの指示に基づいて、映像選択部１２５によって選択された映像から、視聴者の要求に応じた映像を表示するために必要な部分を切り出した部分映像を切り出す。
The
映像表示部１３７は、映像切出し部１３６が切り出した部分映像を表示する。
The
本発明に係る映像配信システムは、映像ソースＩＤ重畳部１２４、映像ソースＩＤ抽出部１３４を備え、映像切出し指示部１３５が、表示範囲指定部１３１が特定した切出し範囲の情報と、映像ソースＩＤ抽出部１３４が抽出した映像ソースの識別子とを照らし合わせて、映像切出し部１３６に切り出しの指示を行うことにより、適切なタイミングで映像を切り出すことができる。
The video distribution system according to the present invention includes a video source ID superimposing unit 124 and a video source
以下、映像ソースＩＤ重畳部１２４及び映像ソースＩＤ抽出部１３４がない場合に生じ得る問題点について説明する。図１２は、映像ソースＩＤ重畳部１２４及び映像ソースＩＤ抽出部１３４がない場合の映像配信システムのブロック図である。
Hereinafter, problems that may occur when the video source ID superimposing unit 124 and the video source
説明の前提として、映像撮影部５１１は、８００×６００画素の画素数で撮影する２台のカメラであり、それぞれのカメラが撮影する映像が、横方向に３００画素分だけ重複するように配置されているものとする。また、映像提示装置５３０が表示する映像は、３００×６００画素の範囲であるものとする。この場合において、表示範囲指定部５３１が、撮影範囲全体の左端から右端までを、表示位置を変更しながら順次表示することを指示するものとする。
As a premise of the description, the
図１３は、タイミングずれの問題が起きていない場合の映像切出しの様子を示す図である。撮影範囲全体の左端から右端までを、表示位置を変更しながら順次表示する場合において、毎秒１０フレーム表示し、１フレーム毎に表示位置を５０画素ずつずらす場合は、配信サーバ５２０では、１〜１１フレーム目までは映像１を、１２〜２１フレーム目までは映像２を選択したストリーム映像を作成し、作成したストリーム映像を送信する。映像提示装置５３０では、１フレーム目は、映像１の横方向０〜３００画素の範囲を切り出し、２フレーム目では、映像１の横方向５０〜３５０画素の範囲を切り出すというように順次切り出し位置を移動していき、１１フレーム目で、映像１の横方向５００〜８００画素の範囲を切り出す。続いて、１２フレーム目では、映像２の横方向５０〜３５０画素の範囲を切り出して表示する。このように切り出し位置を変えながら表示することで、滑らかに表示位置を動かして見えるような映像提示が可能となる。
FIG. 13 is a diagram illustrating a state of video cut-out when there is no timing shift problem. In the case of sequentially displaying the entire imaging range from the left end to the right end while changing the display position, when the display position is shifted by 50 pixels for each frame and the display position is shifted by 50 pixels for each frame, the
ところが、映像提示装置５３０の表示範囲指定部５３１が、配信サーバ５２０内の映像選択指示部５２２への映像選択のための指示と、映像提示装置５３０内の映像切出し指示部５３５への切出し位置の指示とを行う場合、配信サーバ５２０内での映像選択時や配信サーバ５２０から映像提示装置５３０への映像伝送での遅延が存在するため、配信サーバ５２０から送られるストリーミング映像と、切り出し位置の指示とは非同期なデータとなっている。同じ映像ソースからの映像が送られてきている間であれば大きな問題は発生しないが、映像が切り替わるタイミングにおいては、映像の伝送遅延のため、映像提示装置５３０が受信した映像の映像ソースがまだ切り替わっていないのに、切り出す位置を切り替えてしまう恐れがある。
However, the display
図１４を参照して、このようなタイミングのずれが生じる様子を説明する。映像提示装置５３０の表示範囲指定部５３１において、カメラ１の範囲からカメラ２の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置５３０は、選択映像をカメラ１の映像からカメラ２の映像に変更することを配信サーバ５２０に指示し、配信サーバ５２０は、選択映像をカメラ１の映像からカメラ２の映像に変更する。配信サーバ５２０が選択映像を変更したことにより、映像提示装置５３０が受信する映像は、カメラ１の映像からカメラ２の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置５３０が受信する映像は、黒三角で示す時点から少し遅れてカメラ２の映像に切り替わる。一方、黒三角で示す時点において、映像提示装置５３０の映像切出し指示部５３５は、カメラ２の映像に対応した切り出し位置を指示してしまっている。そのため、斜線で示す区間６００においては、表示映像はカメラ１の映像であるにも関わらず、カメラ２の映像に対応した切り出し位置で映像を切り出してしまうというタイミングのずれが発生する。
With reference to FIG. 14, how such a timing shift occurs will be described. In the display
図１５にタイミングずれが発生した場合の映像切出しの様子を示す。１２フレーム目を参照すると、映像２の５０〜３５０画素の範囲を切り出して表示したいのにも関わらず、まだ映像提示装置５３０が映像１を受信しているため、映像１の５０〜３５０画素の範囲が切り出されて表示されてしまっている。 FIG. 15 shows how the video is cut out when a timing shift occurs. Referring to the twelfth frame, the video presentation device 530 is still receiving the video 1 even though it wants to cut out and display the range of 50 to 350 pixels of the video 2. The range is cut out and displayed.
このような事象が発生すると、映像全体の左から右に順次移りながら表示されていた映像が、映像１の右端まで来た途端に急に映像１の左の方の映像に一瞬切り替わり、その後、元の続きで映像２の左の方の映像から順次表示される、ということになり、滑らかにつながらず、乱れた映像が表示されるという問題が生じ得る。 When such an event occurs, the video that was displayed while moving sequentially from left to right in the entire video suddenly switches to the video on the left of video 1 as soon as it reaches the right edge of video 1, and then This means that the video from the left side of the video 2 is displayed sequentially in the original continuation, and the problem is that the video is not connected smoothly but a distorted video is displayed.
そこで、本発明に係る映像配信システムでは、映像ソースＩＤ重畳部１２４、映像ソースＩＤ抽出部１３４を備え、映像切出し指示部１３５が、表示範囲指定部１３１が特定した切出し範囲の情報と、映像ソースＩＤ抽出部１３４が抽出した映像ソースの識別子とを照らし合わせて、映像切出し部１３６に切り出しの指示を行うことにより、適切なタイミングで映像を切り出すことができ、図１５のような映像の飛びを抑制して、図１３に示すような適切な映像を表示することができる。
Therefore, the video distribution system according to the present invention includes the video source ID superimposing unit 124 and the video source
図２は、本発明の第１実施形態に係る映像配信システムにおける映像の切出し指示の様子を示す図である。 FIG. 2 is a diagram showing a video cut instruction in the video distribution system according to the first embodiment of the present invention.
映像提示装置１３０の表示範囲指定部１３１において、カメラ１の範囲からカメラ２の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置１３０は、選択映像をカメラ１の映像からカメラ２の映像に変更することを配信サーバ１２０に指示し、配信サーバ１２０は、選択映像をカメラ１の映像からカメラ２の映像に変更する。配信サーバ１２０が選択映像を変更したことにより、映像提示装置１３０が受信する映像は、カメラ１の映像からカメラ２の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置１３０が受信する映像は、黒三角で示す時点より少し遅れてカメラ２の映像に切り替わる。一方、映像提示装置１３０が受信するカメラ１の映像及びカメラ２の映像には、それぞれ、カメラ１のＩＤ及びカメラ２のＩＤが重畳されている。映像切出し指示部１３５は、カメラＩＤの変更を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
In the display
次に、本発明の第１実施形態に係る映像配信システムの動作について、図３に示すシーケンス図を参照しながら説明する。 Next, the operation of the video distribution system according to the first embodiment of the present invention will be described with reference to the sequence diagram shown in FIG.
映像取得装置１１０の映像撮影部１１１は、常時映像を撮影している（Ｓ１０１）。映像撮影部１１１は、撮影した映像を配信サーバ１２０に常時送信している（Ｓ１０２）。
The
配信サーバ１２０の映像ソースＩＤ重畳部１２４は、映像取得装置１１０から受信した映像ソースごとに識別子（ＩＤ）を、画像透かしとして重畳する（Ｓ１０３）。
The video source ID superimposing unit 124 of the
一方、映像提示装置１３０の表示範囲指定部１３１は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。また、表示範囲指定部１３１は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部１１１を特定し、特定された映像撮影部１１１が撮影する映像から切り出す切出し範囲を特定する（Ｓ１０４）。
On the other hand, the display
表示指示送信部１３２は、表示範囲指定部１３１が特定した切り出し元となる映像ソースの情報を配信サーバ１２０に送信する（Ｓ１０５）。
The display
配信サーバ１２０の映像選択指示部１２２は、表示指示受信部１２１が映像提示装置１３０から受信した映像ソースの情報に基づいて、映像選択部１２５に、映像入力部１２３が受信した複数の映像から選択すべき映像を指示する。映像選択部１２５は、映像ソースＩＤ重畳部１２４によって映像ソースの識別子情報を重畳された複数の映像の中から、映像選択指示部１２２の指示に基づいて映像を選択し、一つの連続したストリーム映像を作成する（Ｓ１０６）。
The video
映像配信部１２６は、映像選択部１２５により作成されたストリーム映像を映像提示装置１３０に配信する（Ｓ１０７）。
The
映像提示装置１３０の映像受信部１３３は、配信サーバ１２０から配信された映像を受信する（Ｓ１０８）。
The video receiving unit 133 of the
映像ソースＩＤ抽出部１３４は、映像受信部１３３が受信したストリーム映像中に画像透かしとして重畳されている映像ソースの識別子を抽出する（Ｓ１０９）。
The video source
映像切出し指示部１３５は、ステップＳ１０４にて表示範囲指定部１３１が特定した切出し範囲の情報と、ステップＳ１０９にて映像ソースＩＤ抽出部１３４が抽出した現在到着している映像の映像ソースの識別子とを比較し、正しい映像ソースから切り出しが行える適切なタイミングで映像切出し部１３６に切り出しの指示を行う。映像切出し部１３６は、映像切出し指示部１３５からの指示に基づいて、映像受信部１３３が受信した映像から、視聴者の要求に応じた映像を表示するために必要な映像を切り出した部分映像を切り出す（Ｓ１１０）。
The video
映像表示部１３７は、映像切出し部１３６が切り出した部分映像を表示する（Ｓ１１１）。
The
（第１実施形態の変形例）
なお、第１実施形態においては、配信サーバ１２０において、映像選択部１２５で映像を選択する前に、映像ソースＩＤ重畳部１２４によって、各映像に映像ソースの識別子を、画像透かしとして映像中に重畳させる例を示したが、映像に識別子を重畳させるタイミングはこれに限るものではない。例えば、映像取得装置１１０において、映像撮影部１１１で取得した映像に、識別子を重畳させてから配信サーバ１２０に送信してもよいし、あるいは、配信サーバ１２０において、映像選択部１２５が映像を選択して一つのストリーム映像を作成する際に、識別子を重畳させてもよい。
(Modification of the first embodiment)
In the first embodiment, in the
また、第１実施形態においては、映像提示装置１３０において、切り出し位置の指示を行っているが、ストリーム映像とは同期していない情報として、配信サーバ１２０から、映像提示装置１３０に切り出し位置の指示を行ってもよい。この場合でも、同様の方法で切り出し位置の指示とストリーム映像の切り出しタイミングとを合わせることができる。
In the first embodiment, the cutout position is instructed in the
また、第１実施形態においては、映像ソースＩＤ重畳部１２４が、画像透かしとして識別子を重畳させる方法を説明したが、図４に示すように、ストリームデータの映像と同期された別フィールドとして識別子を付与してもよい。 In the first embodiment, the method in which the video source ID superimposing unit 124 superimposes the identifier as the image watermark has been described. However, as shown in FIG. 4, the identifier is used as another field synchronized with the video of the stream data. It may be given.
図４に示す例では、映像提示装置１３０の表示範囲指定部１３１において、カメラ１の範囲からカメラ２の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置１３０は、選択映像をカメラ１の映像からカメラ２の映像に変更することを配信サーバ１２０に指示し、配信サーバ１２０は、選択映像をカメラ１の映像からカメラ２の映像に変更する。配信サーバ１２０が選択映像を変更したことにより、映像提示装置１３０が受信する映像は、カメラ１の映像からカメラ２の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置１３０が受信する映像は、黒三角で示す時点より少し遅れてカメラ２の映像に切り替わる。一方、映像提示装置１３０が受信するカメラ１の映像及びカメラ２の映像には、それぞれ、カメラ１のＩＤ及びカメラ２のＩＤがストリーム中の別フィールドに重畳されている。映像切出し指示部１３５は、カメラＩＤの変更を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
In the example illustrated in FIG. 4, when a scroll operation that extends from the range of the camera 1 to the range of the camera 2 is executed in the display
また、図５に示す映像配信システムのブロック構成のように、第１実施形態のブロック構成に対し、必要に応じて、さらに、映像の符号化を行う映像符号化部（１６２、１７６）、及び、映像の復号を行う映像復号部（１７４、１８６）を備える構成としてもよい。 Further, as in the block configuration of the video distribution system shown in FIG. 5, the video encoding units (162, 176) that perform video encoding are further added to the block configuration of the first embodiment as necessary. The video decoding unit (174, 186) for decoding the video may be provided.
（第２実施形態）
図６は、本発明の第２実施形態に係る映像配信システムのブロック図である。本発明の第２実施形態に係る映像配信システムは、映像取得装置２１０、配信サーバ２２０及び映像提示装置２３０を備える。第１実施形態では、映像に常に映像ソースの識別子を付与していたのに対し、第２実施形態では、映像が切り替わるタイミングで、映像が切り替わったことを示す識別子を付与する点が異なる。なお、図６においては、映像提示装置を１つ備える構成を示しているが、これは一例であり、映像提示装置は２つ以上であってもよい。
(Second Embodiment)
FIG. 6 is a block diagram of a video distribution system according to the second embodiment of the present invention. The video distribution system according to the second embodiment of the present invention includes a
映像取得装置２１０は、映像撮影部２１１（２１１ａ、２１１ｂ）を備える。
The
映像撮影部２１１は、映像を撮影し、撮影した映像を配信サーバ２２０に送信する。映像撮影部２１１は、映像撮影部２１１ａで撮影した映像と映像撮影部２１１ａに隣接して配置された映像撮影部２１１ｂで撮影した映像とが重なり合う重複領域を有し、当該重複領域の大きさが映像提示装置２３０で表示する部分映像の大きさよりも大きくなるように配置される。なお、図６においては、映像撮影部２１１が映像撮影部２１１ａ及び２１１ｂの２つから構成される場合を示しているが、これは一例であり、映像撮影部２１１は３つ以上で構成されてもよい。映像撮影部２１１は、例えばカメラなどである。
The
配信サーバ２２０は、表示指示受信部２２１、映像選択指示部２２２、映像入力部２２３（２２３ａ、２２３ｂ）、映像選択・切り替わりタイミング重畳部２２４及び映像配信部２２５を備える。
The
表示指示受信部２２１は、映像提示装置２３０から、視聴者が視聴を要望する映像範囲を撮影している映像撮影部２１１の情報を受信する。
The display
映像選択指示部２２２は、表示指示受信部２２１が映像提示装置２３０から受信した映像撮影部２１１の情報に基づいて、映像選択・切り替わりタイミング重畳部２２４に、映像入力部２２３が受信した複数の映像から選択すべき映像を指示する。
The video selection instructing unit 222 includes a plurality of videos received by the
映像入力部２２３は、映像撮影部２１１が撮影した映像を受信する。図６は、映像入力部２２３が２つの映像入力部２２３ａ及び２２３ｂから構成され、映像撮影部２１１が２つの映像撮影部２１１ａ及び２１１ｂから構成される場合の例を示す。映像入力部２２３ａ及び２２３ｂは、それぞれ、映像撮影部２１１ａ及び２１１ｂが撮影した映像を受信する。
The
映像選択・切り替わりタイミング重畳部２２４は、映像選択指示部２２２からの指示に基づいて、映像入力部２２３に入力された複数の映像から必要な映像を選択すると共に、映像ソースが切り替わった最初のフレームに、映像ソースが切り替わったことを示す識別子を画像透かしによって重畳させ、その映像から一つの連続したストリーム映像を作成する。
The video selection / switching
映像配信部２２５は、映像選択・切り替わりタイミング重畳部２２４により作成されたストリーム映像を映像提示装置２３０に配信する。
The
映像提示装置２３０は、表示範囲指定部２３１、表示指示送信部２３２、映像受信部２３３、切り替わりタイミング抽出部２３４、映像切出し指示部２３５、映像切出し部２３６及び映像表示部２３７を備える。
The
表示範囲指定部２３１は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。表示範囲指定部２３１は、例えば、キーボードやリモコン又はタッチパネルなどを介した入力などによって、視聴者の要望する表示範囲を受け付けることができる。また、例えば、表示範囲指定部２３１は、加速度センサや方位センサなどを備え、映像提示装置２３０を向けている方角に応じてこれらのセンサが随時取得するセンサ値によって、視聴者の要望する表示範囲を受け付けることができる。
The display
また、表示範囲指定部２３１は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部２１１を特定し、特定された映像撮影部２１１が撮影する映像から切り出す切出し範囲を特定する。
In addition, the display
表示指示送信部２３２は、表示範囲指定部２３１が特定した映像撮影部２１１の情報を配信サーバ２２０に送信する。
The display
映像受信部２３３は、配信サーバ２２０から配信されたストリーム映像を受信する。
The
切り替わりタイミング抽出部２３４は、映像受信部２３３が受信したストリーム映像から、画像透かし情報として重畳された映像ソースの切り替わりタイミングを示す識別子を抽出する。
The switching
映像切出し指示部２３５は、表示範囲指定部２３１が特定した切出し範囲の情報と、切り替わりタイミング抽出部２３４が抽出した映像ソースの切り替わりタイミングを示す識別子とを照らし合わせて、映像切出し部２３６に切り出しの指示を行う。映像切出し指示部２３５は、表示範囲指定部２３１から取得した切り出し元となる映像撮影部２１１の切り替わりタイミングと、切り替わりタイミング抽出部２３４が抽出した映像撮影部２１１の切り替わったタイミングとを一致させて、映像撮影部２１１の情報と関連付けられている切出し範囲の位置に変更するように指示する。
The video
映像切出し部２３６は、映像切出し指示部２３５からの指示に基づいて、映像受信部２３３が受信した映像から、視聴者の要求に応じた映像を表示するために必要な部分を切り出した部分映像を切り出す。
Based on an instruction from the video
映像表示部２３７は、映像切出し部２３６が切り出した部分映像を表示する。
The
図７は、本発明の第２実施形態に係る映像配信システムにおける映像の切出し指示の様子を示す図である。 FIG. 7 is a diagram showing a state of an instruction to cut out a video in the video distribution system according to the second embodiment of the present invention.
映像提示装置２３０の表示範囲指定部２３１において、カメラ１の範囲からカメラ２の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置２３０は、選択映像をカメラ１の映像からカメラ２の映像に変更することを配信サーバ２２０に指示し、配信サーバ２２０は、選択映像をカメラ１の映像からカメラ２の映像に変更する。配信サーバ２２０が選択映像を変更したことにより、映像提示装置２３０が受信する映像は、カメラ１の映像からカメラ２の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置２３０が受信する映像は、黒三角で示す時点より少し遅れてカメラ２の映像に切り替わる。一方、映像提示装置２３０が受信するカメラ１の映像及びカメラ２の映像には、映像が切り替わった最初のフレームに映像の切り替わりを示す識別子が重畳されている。映像切出し指示部２３５は、映像の切り替わりを示す識別子を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
In the display
このように、映像切出し指示部２３５は、切り替わりタイミング抽出部２３４が抽出した映像におけるカメラ変更の識別子を監視し、適切なタイミングで、すなわち、カメラ変更の識別子を検出したタイミングで、映像切出し部２３６に切出しの指示を行う。これにより、図１５のような映像の飛びを抑制することができ、図１３に示すような適切な映像を提示することができる。
In this way, the video
次に、本発明の第２実施形態に係る映像配信システムの動作について、図８に示すシーケンス図を参照しながら説明する。 Next, the operation of the video distribution system according to the second embodiment of the present invention will be described with reference to the sequence diagram shown in FIG.
映像取得装置２１０の映像撮影部２１１は、常時映像を撮影している（Ｓ２０１）。映像撮影部２１１は、撮影した映像を配信サーバ２２０に常時送信している（Ｓ２０２）。
The
一方、映像提示装置２３０の表示範囲指定部２３１は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。また、表示範囲指定部２３１は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部２１１を特定し、特定された映像撮影部２１１が撮影する映像から切り出す切出し範囲を特定する（Ｓ２０３）。
On the other hand, the display
表示指示送信部２３２は、表示範囲指定部２３１が特定した切り出し元となる映像ソースの情報を配信サーバ２２０に送信する（Ｓ２０４）。
The display
配信サーバ２２０の映像選択指示部２２２は、表示指示受信部２２１が映像提示装置２３０から受信した映像ソースの情報に基づいて、映像選択・切り替わりタイミング重畳部２２４に、映像入力部２２３が受信した複数の映像から選択すべき映像を指示する。映像選択・切り替わりタイミング重畳部２２４は、映像入力部２２３に入力された複数の映像の中から、映像選択指示部２２２の指示に基づいて映像を選択し、一つの連続したストリーム映像を作成する。映像選択・切り替わりタイミング重畳部２２４は、この際、映像ソースが切り替わった直後の最初のフレームに、映像ソースが切り替わったことを示す識別子を画像透かしとして重畳させる（Ｓ２０６）。
The video selection instructing unit 222 of the
映像配信部２２５は、映像選択・切り替わりタイミング重畳部２２４により作成されたストリーム映像を映像提示装置２３０に配信する（Ｓ２０７）。
The
映像提示装置２３０の映像受信部２３３は、配信サーバ２２０から配信された映像を受信する（Ｓ２０８）。
The
切り替わりタイミング抽出部２３４は、ストリーム映像中に画像透かしとして重畳されている映像ソースの切り替わりタイミングを示す識別子を抽出する（Ｓ２０９）。
The switching
映像切出し指示部２３５は、ステップＳ２０３にて表示範囲指定部２３１が特定した切出し範囲の情報と、ステップＳ２０９にて切り替わりタイミング抽出部２３４が抽出した映像ソースの切り替わりタイミングとから、適切なタイミングで映像切出し部２３６に切り出しの指示を行う。映像切出し部２３６は、映像切出し指示部２３５からの指示に基づいて、映像受信部２３３が受信した映像から、視聴者の要求に応じた映像を表示するために必要な映像を切り出した部分映像を切り出す（Ｓ２１０）。
The video
映像表示部２３７は、映像切出し部２３６が切り出した部分映像を表示する（Ｓ２１１）。
The
（第２実施形態の変形例）
なお、第２実施形態においては、映像ソースの切り替わりのタイミングを示す識別子を、映像ソースが切り替わった直後に重畳させているが、第１実施形態と同様の映像ソースを示す識別子を、映像ソースが切り替わった直後にのみ重畳させるようにしてもよい。
(Modification of the second embodiment)
In the second embodiment, the identifier indicating the switching timing of the video source is superimposed immediately after the switching of the video source. However, the identifier indicating the video source similar to the first embodiment is displayed in the video source. You may make it superimpose only immediately after switching.
また、第２実施形態においては、映像選択・切り替わりタイミング重畳部２２４が、映像ソースの切り替わりのタイミングを画像透かしとして重畳させる方法を説明したが、図９に示すように、ストリームデータの映像と同期された別フィールドとして識別子を付与してもよい。
In the second embodiment, the video selection / switching
図９に示す例では、映像提示装置２３０の表示範囲指定部２３１において、カメラ１の範囲からカメラ２の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置２３０は、選択映像をカメラ１の映像からカメラ２の映像に変更することを配信サーバ２２０に指示し、配信サーバ２２０は、選択映像をカメラ１の映像からカメラ２の映像に変更する。配信サーバ２２０が選択映像を変更したことにより、映像提示装置２３０が受信する映像は、カメラ１の映像からカメラ２の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置２３０が受信する映像は、黒三角で示す時点より少し遅れてカメラ２の映像に切り替わる。一方、映像提示装置２３０が受信するカメラ１の映像及びカメラ２の映像には、映像が切り替わった最初のフレームのタイミングにおいて映像の切り替わりを示す識別子がストリーム中の別フィールドに重畳されている。映像切出し指示部２３５は、映像の切り替わりを示す識別子を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
In the example illustrated in FIG. 9, when a scroll operation that extends from the range of the camera 1 to the range of the camera 2 is executed in the display
また、第２実施形態においては、映像から映像ソースの切り替わりタイミングを読み出せない場合が発生しうる。このような場合に、いつまでも切り出し位置を変えられない状況が続かないよう、表示範囲指定部２３１から切り出し映像が変更になる通知を受けてから所定時間以上経過した場合に、映像切出し部２３６が、映像ソースの切り替わりタイミングを見落としたものとして、処理を進めるようにしてもよい。
In the second embodiment, there may occur a case where the switching timing of the video source cannot be read from the video. In such a case, in order not to continue the situation where the cutout position cannot be changed indefinitely, when a predetermined time or more has elapsed after receiving the notification that the cutout video is changed from the display
（第３実施形態）
図１０は、本発明の第３実施形態に係る映像配信システムのブロック図である。本発明の第３実施形態に係る映像配信システムは、映像取得装置３１０、配信サーバ３２０及び映像提示装置３３０を備える。第２実施形態では、映像ソースの切り替わり直後に、切り替わりを示す識別子を映像中に重畳させていたが、第３実施形態では、映像中に区切り画像を１フレーム挿入し、映像ソース切り替わりのタイミングを通知する点が異なる。また、第３実施形態においては、映像の符号化及び復号を行う。なお、図１０においては、映像提示装置を１つ備える構成を示しているが、これは一例であり、映像提示装置は２つ以上であってもよい。
(Third embodiment)
FIG. 10 is a block diagram of a video distribution system according to the third embodiment of the present invention. The video distribution system according to the third embodiment of the present invention includes a
映像取得装置３１０は、映像撮影部３１１（３１１ａ、３１１ｂ）及び映像符号化部３１２（３１２ａ、３１２ｂ）を備える。
The
映像撮影部３１１は、映像を撮影し、撮影した映像を映像符号化部３１２に提供する。映像撮影部３１１は、映像撮影部３１１ａで撮影した映像と映像撮影部３１１ａに隣接して配置された映像撮影部３１１ｂで撮影した映像とが重なり合う重複領域を有し、当該重複領域の大きさが映像提示装置３３０で表示する部分映像の大きさよりも大きくなるように配置される。なお、図１０においては、映像撮影部３１１が映像撮影部３１１ａ及び３１１ｂの２つから構成される場合を示しているが、これは一例であり、映像撮影部３１１は３つ以上で構成されてもよい。映像撮影部３１１は、例えばカメラなどである。
The
映像符号化部３１２は、映像撮影部３１１が撮影した映像を符号化し、符号化した映像を配信サーバ３２０に送信する。
The
配信サーバ３２０は、表示指示受信部３２１、映像選択指示部３２２、映像入力部３２３（３２３ａ、３２３ｂ）、映像選択・区切り画像挿入部３２４及び映像配信部３２５を備える。
The
表示指示受信部３２１は、映像提示装置３３０から、視聴者が視聴を要望する映像範囲を撮影している映像撮影部３１１の情報を受信する。
The display
映像選択指示部３２２は、表示指示受信部３２１が映像提示装置３３０から受信した映像撮影部３１１の情報に基づいて、映像選択・区切り画像挿入部３２４に、映像入力部３２３が受信した複数の映像から選択すべき映像を指示する。
The video
映像入力部３２３は、映像撮影部３１１が撮影し、映像符号化部３１２が符号化した映像を受信する。図１０は、映像入力部３２３が２つの映像入力部３２３ａ及び３２３ｂから構成され、映像撮影部３１１が２つの映像撮影部３１１ａ及び３１１ｂから構成される場合の例を示す。映像入力部３２３ａ及び３２３ｂは、それぞれ、映像撮影部３１１ａ及び３１１ｂが撮影し、映像符号化部３１２ａ及び３１２ｂが符号化した映像を受信する。
The
映像選択・区切り画像挿入部３２４は、映像選択指示部３２２からの指示に基づいて、映像入力部３２３に入力された映像から必要な映像を選択すると共に、映像ソースが切り替わる際に、映像ソースが切り替わったことを示す区切り画像を１フレーム挿入し、一つの連続したストリーム映像を作成する。
The video selection / separation
映像配信部３２５は、映像選択・区切り画像挿入部３２４により作成されたストリーム映像を映像提示装置３３０に配信する。
The
映像提示装置３３０は、表示範囲指定部３３１、表示指示送信部３３２、映像受信部３３３、区切り画像抽出部３３４、映像切出し指示部３３５、映像復号部３３６、映像切出し部３３７及び映像表示部３３８を備える。
The
表示範囲指定部３３１は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。表示範囲指定部３３１は、例えば、キーボードやリモコン又はタッチパネルなどを介した入力などによって、視聴者の要望する表示範囲を受け付けることができる。また、例えば、表示範囲指定部３３１は、加速度センサや方位センサなどを備え、映像提示装置３３０を向けている方角に応じてこれらのセンサが随時取得するセンサ値によって、視聴者の要望する表示範囲を受け付けることができる。
The display
また、表示範囲指定部３３１は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部３１１を特定し、特定された映像撮影部３１１が撮影する映像から切り出す切出し範囲を特定する。
In addition, the display
表示指示送信部３３２は、表示範囲指定部３３１が特定した映像撮影部３１１の情報を配信サーバ３２０に送信する。
The display
映像受信部３３３は、配信サーバ３２０から配信されたストリーム映像を受信する。
The
区切り画像抽出部３３４は、映像受信部３３３が受信したストリーム映像から、映像ソース切り替わり時に挿入される区切り画像を抽出する。
The delimiter
映像切出し指示部３３５は、表示範囲指定部３３１が特定した切出し範囲の情報と、区切り画像抽出部３３４が抽出した区切り画像から、映像ソースが切り替わるタイミング情報を得て、それと照らし合わせて、映像切出し部３３７に切り出しの指示を行う。映像切出し指示部３３５は、表示範囲指定部３３１から取得した切り出し元となる映像撮影部３１１の切り替わりタイミングと、区切り画像抽出部３３４が抽出した映像撮影部３１１の切り替わったタイミングとを一致させて、映像撮影部３１１の情報と関連付けられている切出し範囲の位置に変更するように指示する。
The video
映像復号部３３６は、映像受信部３３３が受信した符号化された映像を復号する。
The
映像切出し部３３７は、映像切出し指示部３３５からの指示に基づいて、映像受信部３３３が受信し、映像復号部３３６が復号した映像から、視聴者の要求に応じた映像を表示するために必要な部分を切り出した部分映像を切り出す。
The
映像表示部３３８は、映像切出し部３３７が切り出した部分映像を表示する。
The
図１１は、本発明の第３実施形態に係る映像配信システムにおける映像の切出し指示の様子を示す図である。 FIG. 11 is a diagram showing a state of a video cut instruction in the video distribution system according to the third embodiment of the present invention.
映像提示装置３３０の表示範囲指定部３３１において、カメラ１の範囲からカメラ２の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置３３０は、選択映像をカメラ１の映像からカメラ２の映像に変更することを配信サーバ３２０に指示し、配信サーバ３２０は、選択映像をカメラ１の映像からカメラ２の映像に変更する。配信サーバ３２０が選択映像を変更したことにより、映像提示装置３３０が受信する映像は、カメラ１の映像からカメラ２の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置３３０が受信する映像は、黒三角で示す時点より少し遅れてカメラ２の映像に切り替わる。一方、映像提示装置３３０が受信するカメラ１の映像及びカメラ２の映像には、映像が切り替わった最初のフレームに全面黒の映像が挿入されている。映像切出し指示部３３５は、全面黒の映像を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
In the display
図１１に示すように、区切り画像としては、例えば、全面が黒である画像を用いることができる。例えば、ライブ映像配信時の符号化方式として多く用いられているＭＰＥＧ−２方式の場合、フレーム内符号化画像と、フレーム間符号化画像の双方が用いられているが、全面黒のフレーム内符号化画像を１フレーム挿入した後、次の映像ソースの映像を、フレーム内符号化画像から配置する。全面が黒である画像は、符号化した際のデータ量が一番小さくなることが期待できるため、伝送時間に与える影響が少ない。また、区切り画像抽出部３３４で区切り画像を抽出する際には、符号化された状態のままでも、フレーム内符号化画像のデータサイズを見るだけで高速に抽出することが可能である。また、見た目としては、一瞬映像が黒くなるものの、心理的な影響は少ないと思われる。
As shown in FIG. 11, for example, an image whose entire surface is black can be used as the separator image. For example, in the case of the MPEG-2 system, which is often used as an encoding method at the time of live video distribution, both an intra-frame encoded image and an inter-frame encoded image are used. After one frame is inserted, the video of the next video source is arranged from the intra-frame encoded image. Since an image whose entire surface is black can be expected to have the smallest amount of data when encoded, the effect on transmission time is small. In addition, when the delimiter image is extracted by the delimiter
なお、全面が黒である画像を用いる場合を例に挙げて説明したが、これに限るものではなく、１枚の画像のみを見て、識別子となっている画像であることがすぐに判別できる画像であり、かつ、そのような画像が映像の途中に１枚挿入されていても、見た目での違和感が少ない画像であれば、どのような画像であってもよい。その画像の検出が符号化された映像情報のままでは検出が難しければ、復号した後の画像から検出を行うようにしてもよい。 In addition, although the case where an image whose entire surface is black is used has been described as an example, the present invention is not limited to this, and it is possible to immediately determine that the image is an identifier by looking at only one image. Even if it is an image and one such image is inserted in the middle of the video, any image may be used as long as it does not cause a sense of discomfort. If detection of the image is difficult as it is with the encoded video information, detection may be performed from the decoded image.
このように、本発明に係る映像配信システムによれば、映像取得装置が複数の映像撮影部を備えて広い領域を撮影していることにより、複数の視聴者が、同時に各々が希望する方向のライブ映像を視聴することができる。 As described above, according to the video distribution system according to the present invention, the video acquisition device includes a plurality of video shooting units and shoots a wide area, so that a plurality of viewers can simultaneously have a desired direction. You can watch live video.
また、映像提示装置において、表示する映像ソースが切り替わったタイミングと、表示する映像中の切り出し位置を変更するタイミングとを合わせることができるため、視聴者に対し、連続した違和感のない映像を提供することができる。 In addition, in the video presentation device, the timing at which the video source to be displayed is switched and the timing at which the cut-out position in the video to be displayed is changed can be matched, thereby providing the viewer with a continuous and uncomfortable video. be able to.
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。 Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and corrections based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention.
１１０、１６０、２１０、３１０ 映像取得装置
１１１、１６１、２１１、３１１ 映像撮影部
１２０、１７０、２２０、３２０ 配信サーバ
１２１、１７１、２２１、３２１ 表示指示受信部
１２２、１７２、２２２、３２２ 映像選択指示部
１２３、１７３、２２３、３２３ 映像入力部
１２４、１７５ 映像ソースＩＤ重畳部
１２５、１７７ 映像選択部
１２６、１７８、２２５、３２５ 映像配信部
１３０、１８０、２３０、３３０ 映像提示装置
１３１、１８１、２３１、３３１ 表示範囲指定部
１３２、１８２、２３２、３３２ 表示指示送信部
１３３、１８５、２３３、３３３ 映像受信部
１３４、１８４ 映像ソースＩＤ抽出部
１３５、１８３、２３５、３３５ 映像切出し指示部
１３６、１８７、２３６、３３７ 映像切出し部
１３７、１８８、２３７、３３８ 映像表示部
１６２、１７６、３１２ 映像符号化部
１７４、１８６、３３６ 映像復号部
２２４ 映像選択・切り替わりタイミング重畳部
２３４ 切り替わりタイミング抽出部
３２４ 映像選択・区切り画像挿入部
３３４ 区切り画像抽出部
110, 160, 210, 310
Claims (8)
前記映像取得装置は、複数の映像撮影部を備え、
前記配信サーバは、
前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、
前記複数の映像に、前記映像撮影部の識別子を重畳させる映像ソースＩＤ重畳部と、
視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、
前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、識別子が重畳された前記複数の映像から選択すべき映像を指示する映像選択指示部と、
前記映像選択指示部の指示に基づいて、識別子が重畳された前記複数の映像から映像を選択し、一つのストリーム映像を作成する映像選択部と、
前記映像選択部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、
前記映像提示装置は、
視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、
前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、
前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、
前記映像受信部が受信した前記ストリーム映像に重畳されている前記映像撮影部の識別子を抽出する映像ソースＩＤ抽出部と、
前記表示範囲指定部が特定した前記切出し範囲の情報と、前記映像ソースＩＤ抽出部が抽出した前記映像撮影部の識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、
前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、
前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、
前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、
前記映像切出し指示部は、前記表示範囲指定部が特定した映像撮影部と、前記映像ソースＩＤ抽出部が抽出した映像撮影部の識別子から特定される映像取得部とが一致したタイミングで、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする映像配信システム。 A video distribution system comprising a video acquisition device, a distribution server, and a video presentation device,
The video acquisition device includes a plurality of video shooting units,
The distribution server
A video input unit for receiving a plurality of videos taken by the plurality of video shooting units;
A video source ID superimposing unit that superimposes an identifier of the video photographing unit on the plurality of videos;
A display instruction receiving unit that receives information of a video shooting unit shooting a video range that the viewer desires to watch;
A video selection instruction unit for instructing a video to be selected from the plurality of videos on which an identifier is superimposed based on the information of the video photographing unit received by the display instruction receiving unit;
Based on an instruction from the video selection instruction unit, a video selection unit that selects a video from the plurality of videos on which an identifier is superimposed, and creates one stream video;
A video delivery unit that delivers the stream video created by the video selection unit to the video presentation device;
The video presentation device includes:
A display range designating unit that accepts the video range desired to be viewed from a viewer, identifies a video shooting unit that has shot the video range, and specifies a cut-out range to be cut out from the video shot by the video shooting unit;
A display instruction transmission unit that transmits information of the video photographing unit specified by the display range designation unit to the distribution server;
A video receiver for receiving the stream video distributed by the distribution server;
A video source ID extracting unit for extracting an identifier of the video photographing unit superimposed on the stream video received by the video receiving unit;
A video cut-out instruction that designates a partial video to be cut out from the stream video based on the information on the cut-out range specified by the display range designation unit and the information on the identifier of the video shooting unit extracted by the video source ID extraction unit And
Based on an instruction from the video cutout instruction unit, a video cutout unit that cuts out the partial video from the stream video;
A video display unit for displaying the partial video clipped by the video cutout unit;
Each of the video shooting units has an overlapping area where a video shot by each of the video shooting units and a video shot by a video shooting unit arranged adjacent to each other overlap, and the size of the overlapping area is the portion It is arranged to be larger than the size of the image,
The video cutout instructing unit is configured so that the video capturing unit specified by the display range specifying unit and the video acquisition unit specified from the identifier of the video capturing unit extracted by the video source ID extracting unit coincide with each other. A video distribution system characterized by changing to a position of a cutout range associated with information of a photographing unit.
前記映像取得装置は、複数の映像撮影部を備え、
前記配信サーバは、
前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、
視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、
前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示する映像選択指示部と、
前記映像選択指示部の指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す識別子を重畳させる映像選択・切り替わりタイミング重畳部と、
前記映像選択・切り替わりタイミング重畳部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、
前記映像提示装置は、
視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、
前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、
前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、
前記映像受信部が受信した前記ストリーム映像に重畳されている、映像が切り替わったことを示す前記識別子を抽出する切り替わりタイミング抽出部と、
前記表示範囲指定部が特定した前記切出し範囲の情報と、前記切り替わりタイミング抽出部が抽出した、映像が切り替わったことを示す前記識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、
前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、
前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、
前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、
前記映像切出し指示部は、前記表示範囲指定部から取得した切り出し元となる映像撮影部の切り替わりタイミングと、前記切り替わりタイミング抽出部が抽出した映像撮影部の切り替わったタイミングとを一致させて、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする映像配信システム。 A video distribution system comprising a video acquisition device, a distribution server, and a video presentation device,
The video acquisition device includes a plurality of video shooting units,
The distribution server
A video input unit for receiving a plurality of videos taken by the plurality of video shooting units;
A display instruction receiving unit that receives information of a video shooting unit shooting a video range that the viewer desires to watch;
A video selection instruction unit for instructing a video to be selected from the plurality of videos based on the information of the video photographing unit received by the display instruction receiving unit;
Based on an instruction from the video selection instruction unit, a video is selected from the plurality of videos to create one stream video, and when the selected video is switched, an identifier indicating that the video has been switched is superimposed. Video selection / switching timing superimposition unit,
A video delivery unit that delivers the stream video created by the video selection / switching timing superimposition unit to the video presentation device;
The video presentation device includes:
A display range designating unit that accepts the video range desired to be viewed from a viewer, identifies a video shooting unit that has shot the video range, and specifies a cut-out range to be cut out from the video shot by the video shooting unit;
A display instruction transmission unit that transmits information of the video photographing unit specified by the display range designation unit to the distribution server;
A video receiver for receiving the stream video distributed by the distribution server;
A switching timing extraction unit that extracts the identifier indicating that the video has been switched, which is superimposed on the stream video received by the video reception unit;
Instructing a partial video to be cut out from the stream video based on the information on the cut-out range specified by the display range specification unit and the information on the identifier extracted by the switching timing extraction unit and indicating that the video has been switched. An image cutout instruction section;
Based on an instruction from the video cutout instruction unit, a video cutout unit that cuts out the partial video from the stream video;
A video display unit for displaying the partial video clipped by the video cutout unit;
Each of the video shooting units has an overlapping area where a video shot by each of the video shooting units and a video shot by a video shooting unit arranged adjacent to each other overlap, and the size of the overlapping area is the portion It is arranged to be larger than the size of the image,
The video cutout instruction unit matches the switching timing of the video shooting unit that is the cutout source acquired from the display range specifying unit with the switching timing of the video shooting unit extracted by the switching timing extraction unit, and A video distribution system characterized by changing to a position of a cutout range associated with information of a photographing unit.
前記映像取得装置は、複数の映像撮影部を備え、
前記配信サーバは、
前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、
視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、
前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示する映像選択指示部と、
前記映像選択指示部の指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す区切り画像を挿入する映像選択・区切り画像挿入部と、
前記映像選択・区切り画像挿入部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、
前記映像提示装置は、
視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、
前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、
前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、
前記映像受信部が受信した前記ストリーム映像に挿入されている、映像が切り替わったことを示す区切り画像を抽出する区切り画像抽出部と、
前記表示範囲指定部が特定した前記切出し範囲の情報と、前記区切り画像抽出部が抽出した前記区切り画像とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、
前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、
前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、
前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、
前記映像切出し指示部は、前記表示範囲指定部から取得した切り出し元となる映像撮影部の切り替わりタイミングと、前記区切り画像抽出部が抽出した映像撮影部の切り替わったタイミングとを一致させて、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする映像配信システム。 A video distribution system comprising a video acquisition device, a distribution server, and a video presentation device,
The video acquisition device includes a plurality of video shooting units,
The distribution server
A video input unit for receiving a plurality of videos taken by the plurality of video shooting units;
A display instruction receiving unit that receives information of a video shooting unit shooting a video range that the viewer desires to watch;
A video selection instruction unit for instructing a video to be selected from the plurality of videos based on the information of the video photographing unit received by the display instruction receiving unit;
Based on an instruction from the video selection instruction unit, a video is selected from the plurality of videos to create one stream video, and when the selected video is switched, a delimiter image indicating that the video has been switched is inserted. Video selection / delimiter image insertion part to be
A video delivery unit that delivers the stream video created by the video selection / separation image insertion unit to the video presentation device;
The video presentation device includes:
A display range designating unit that accepts the video range desired to be viewed from a viewer, identifies a video shooting unit that has shot the video range, and specifies a cut-out range to be cut out from the video shot by the video shooting unit;
A display instruction transmission unit that transmits information of the video photographing unit specified by the display range designation unit to the distribution server;
A video receiver for receiving the stream video distributed by the distribution server;
A delimiter image extraction unit that extracts a delimiter image that is inserted into the stream video received by the video reception unit and indicates that the video has been switched;
A video cutout instruction unit for instructing a partial video to be cut out from the stream video based on the information on the cutout range specified by the display range specifying unit and the cutout image extracted by the cutout image extraction unit;
Based on an instruction from the video cutout instruction unit, a video cutout unit that cuts out the partial video from the stream video;
A video display unit for displaying the partial video clipped by the video cutout unit;
Each of the video shooting units has an overlapping area where a video shot by each of the video shooting units and a video shot by a video shooting unit arranged adjacent to each other overlap, and the size of the overlapping area is the portion It is arranged to be larger than the size of the image,
The video cutout instruction unit matches the switching timing of the video shooting unit that is a cut-out source acquired from the display range designating unit with the switching timing of the video shooting unit extracted by the segmented image extraction unit, and A video distribution system characterized by changing to a position of a cutout range associated with information of a photographing unit.
前記映像取得装置は、複数の映像撮影部を備え、
前記各映像撮影部を、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記映像提示装置が表示する部分映像の大きさよりも大きくなるように配置するステップと、
前記配信サーバによって、
前記複数の映像撮影部が撮影した複数の映像を受信するステップと、
前記複数の映像に、前記映像撮影部の識別子を重畳させるステップと、
前記映像提示装置によって、
視聴者から、視聴を要望する映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定するステップと、
特定された前記映像撮影部の情報を前記配信サーバに送信するステップと、
前記配信サーバによって、
視聴者が視聴を要望する前記映像範囲を撮影している映像撮影部の情報を受信するステップと、
前記映像撮影部の情報に基づいて、識別子が重畳された前記複数の映像から選択すべき映像を指示するステップと、
前記指示に基づいて、識別子が重畳された前記複数の映像から映像を選択し、一つのストリーム映像を作成するステップと、
前記ストリーム映像を前記映像提示装置に配信するステップと、
前記映像提示装置によって、
前記ストリーム映像を受信するステップと、
前記ストリーム映像に重畳されている前記映像撮影部の識別子を抽出するステップと、
特定された前記切出し範囲の情報と、抽出された前記映像撮影部の識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示するステップと、
特定された前記映像撮影部と、抽出された前記映像撮影部の識別子から特定される映像取得部とが一致したタイミングで、前記ストリーム映像から、前記映像撮影部の情報と関連付けられている切出し範囲の位置を切り出すステップと、
切り出された前記部分映像を表示するステップと
を含むことを特徴とする映像配信方法。 A video distribution method in a video distribution system comprising a video acquisition device, a distribution server, and a video presentation device,
The video acquisition device includes a plurality of video shooting units,
Each video shooting unit has an overlapping area where a video shot by each video shooting unit and a video shot by a video shooting unit arranged adjacent to each other overlap, and the size of the overlapping area is the video Arranging to be larger than the size of the partial video displayed by the presentation device;
By the distribution server,
Receiving a plurality of images captured by the plurality of image capturing units;
Superimposing an identifier of the video photographing unit on the plurality of videos;
By the video presentation device,
Receiving a video range to be viewed from a viewer, identifying a video shooting unit shooting the video range, and specifying a cutout range to be cut out from the video shot by the video shooting unit;
Transmitting the specified information of the video photographing unit to the distribution server;
By the distribution server,
Receiving information of a video shooting unit that is shooting the video range that the viewer desires to watch;
Instructing a video to be selected from the plurality of videos on which an identifier is superimposed based on information of the video shooting unit;
Selecting a video from the plurality of videos on which an identifier is superimposed based on the instruction, and creating one stream video;
Delivering the stream video to the video presentation device;
By the video presentation device,
Receiving the stream video;
Extracting an identifier of the video photographing unit superimposed on the stream video;
Instructing a partial video to be cut out from the stream video based on the information on the extracted cut-out range and the extracted information on the identifier of the video shooting unit;
A cutout range associated with the information of the video shooting unit from the stream video at the timing when the specified video shooting unit and the video acquisition unit specified by the extracted identifier of the video shooting unit coincide with each other Cutting out the position of
And a step of displaying the cut out partial video.
前記映像取得装置は、複数の映像撮影部を備え、
前記各映像撮影部を、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記映像提示装置が表示する部分映像の大きさよりも大きくなるように配置するステップと、
前記配信サーバによって、
前記複数の映像撮影部が撮影した複数の映像を受信するステップと、
前記映像提示装置によって、
視聴者から、視聴を要望する映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定するステップと、
特定された前記映像撮影部の情報を前記配信サーバに送信するステップと、
前記配信サーバによって、
視聴者が視聴を要望する前記映像範囲を撮影している映像撮影部の情報を受信するステップと、
前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示するステップと、
前記指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す識別子を重畳させるステップと、
前記ストリーム映像を前記映像提示装置に配信するステップと、
前記映像提示装置によって、
前記ストリーム映像を受信するステップと、
前記ストリーム映像に重畳されている、映像が切り替わったことを示す前記識別子を抽出するステップと、
特定された前記切出し範囲の情報と、抽出された映像が切り替わったことを示す前記識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示するステップと、
切り出し元となる映像撮影部の切り替わりタイミングと、抽出された映像撮影部の切り替わったタイミングとを一致させて、前記ストリーム映像から、前記映像撮影部の情報と関連付けられている切出し範囲の位置を切り出すステップと、
切り出された前記部分映像を表示するステップと
を含むことを特徴とする映像配信方法。 A video distribution method in a video distribution system comprising a video acquisition device, a distribution server, and a video presentation device,
The video acquisition device includes a plurality of video shooting units,
Each video shooting unit has an overlapping area where a video shot by each video shooting unit and a video shot by a video shooting unit arranged adjacent to each other overlap, and the size of the overlapping area is the video Arranging to be larger than the size of the partial video displayed by the presentation device;
By the distribution server,
Receiving a plurality of images captured by the plurality of image capturing units;
By the video presentation device,
Receiving a video range to be viewed from a viewer, identifying a video shooting unit shooting the video range, and specifying a cutout range to be cut out from the video shot by the video shooting unit;
Transmitting the specified information of the video photographing unit to the distribution server;
By the distribution server,
Receiving information of a video shooting unit that is shooting the video range that the viewer desires to watch;
Instructing a video to be selected from the plurality of videos based on information of the video shooting unit;
Based on the instructions, selecting a video from the plurality of videos to create one stream video, and when the selected video is switched, superimposing an identifier indicating that the video has switched;
Delivering the stream video to the video presentation device;
By the video presentation device,
Receiving the stream video;
Extracting the identifier superimposed on the stream video and indicating that the video has switched;
Instructing a partial video to be cut out from the stream video based on the information on the cutout area specified and the information on the identifier indicating that the extracted video has been switched,
The switching timing of the video capturing unit that is the cut-out source is matched with the switching timing of the extracted video capturing unit, and the position of the extraction range associated with the information of the video capturing unit is extracted from the stream video Steps,
And a step of displaying the cut out partial video.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013134272A JP5960096B2 (en) | 2013-06-26 | 2013-06-26 | Video distribution system and video distribution method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013134272A JP5960096B2 (en) | 2013-06-26 | 2013-06-26 | Video distribution system and video distribution method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015012337A JP2015012337A (en) | 2015-01-19 |
| JP5960096B2 true JP5960096B2 (en) | 2016-08-02 |
Family
ID=52305176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013134272A Expired - Fee Related JP5960096B2 (en) | 2013-06-26 | 2013-06-26 | Video distribution system and video distribution method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5960096B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000050234A (en) * | 1998-07-27 | 2000-02-18 | Fujitsu General Ltd | Remote supervisory system |
| JP3951695B2 (en) * | 2001-12-11 | 2007-08-01 | ソニー株式会社 | Image distribution system and method, image distribution apparatus and method, image reception apparatus and method, recording medium, and program |
| US7385624B2 (en) * | 2003-01-17 | 2008-06-10 | Nippon Telegraph And Telephone Corporation | Remote image display method, image capturing device, and method and program therefor |
| JP5046995B2 (en) * | 2008-02-26 | 2012-10-10 | 日本電信電話株式会社 | Display device and distribution device |
-
2013
- 2013-06-26 JP JP2013134272A patent/JP5960096B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015012337A (en) | 2015-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5495855B2 (en) | Video processing apparatus and video processing method | |
| JP6894687B2 (en) | Image processing system, image processing device, control method, and program | |
| JP2015204512A (en) | Information processing apparatus, information processing method, camera, reception device, and reception method | |
| JP6241802B1 (en) | Video distribution system, user terminal device, and video distribution method | |
| JP2007150747A (en) | Receiving apparatus and main line image distribution apparatus | |
| JP2008225600A (en) | Image display system, image transmitter, image transmission method, image display device, image display method, and program | |
| JP5835932B2 (en) | Image processing apparatus and control method thereof | |
| KR101446995B1 (en) | Helmet for imaging multi angle video and method thereof | |
| US20180338093A1 (en) | Eye-tracking-based image transmission method, device and system | |
| CN107835435B (en) | Event wide-view live broadcasting equipment and associated live broadcasting system and method | |
| US20200213631A1 (en) | Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus | |
| JP2012142860A (en) | Arbitrary viewpoint video processing device, control method therefor, and program | |
| WO2014094537A1 (en) | Immersion communication client and server, and method for obtaining content view | |
| US20220199120A1 (en) | Image processing device, image processing method, and image processing program | |
| JP2017123503A (en) | Video distribution apparatus, video distribution method and computer program | |
| JP6235777B2 (en) | Imaging device, imaging method and program, and display device, display method and program | |
| JPH08336128A (en) | Video viewing device | |
| JP5960096B2 (en) | Video distribution system and video distribution method | |
| JP6660622B2 (en) | Information processing device, information processing method, camera, receiving device, receiving method | |
| JP5872497B2 (en) | Video distribution system and video distribution method | |
| CN116016950A (en) | Method and system for transmitting video stream | |
| JP2012004991A (en) | Broadcast receiving apparatus and control method for the same | |
| JP2012015788A (en) | Video receiver and control method thereof | |
| JP5960095B2 (en) | Video distribution system | |
| JP2012034083A (en) | Video processing apparatus and control method of the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150709 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160622 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5960096 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |