JP5960096B2 - Video distribution system and video distribution method - Google Patents
Video distribution system and video distribution method Download PDFInfo
- Publication number
- JP5960096B2 JP5960096B2 JP2013134272A JP2013134272A JP5960096B2 JP 5960096 B2 JP5960096 B2 JP 5960096B2 JP 2013134272 A JP2013134272 A JP 2013134272A JP 2013134272 A JP2013134272 A JP 2013134272A JP 5960096 B2 JP5960096 B2 JP 5960096B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- unit
- shooting
- range
- cutout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000000605 extraction Methods 0.000 claims description 40
- 230000005540 biological transmission Effects 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 12
- 238000003780 insertion Methods 0.000 claims description 9
- 230000037431 insertion Effects 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、映像配信システム及び映像配信方法に関し、特に、広範囲に常時撮影されている映像中から、視聴者が自分の好きな場所を選んでライブで視聴する映像配信システム及び映像配信方法に関する。 The present invention relates to a video distribution system and a video distribution method, and more particularly, to a video distribution system and a video distribution method in which a viewer selects his / her favorite place from videos that are constantly photographed over a wide area and views it live.
従来、イベント会場などから離れた遠隔地にいる視聴者が、視聴者の有するテレビや移動端末を用いて、イベント会場において撮影されている映像から自分の好きな範囲を選んでライブで視聴するための様々なシステムが提案されている(例えば、非特許文献1)。 Conventionally, viewers in remote locations away from event venues can select their favorite range from the video shot at the event venue and watch them live using the viewer's television or mobile terminal Various systems have been proposed (for example, Non-Patent Document 1).
例えば、視聴者が好きな方向のライブ映像を見る方法として、リモート操作可能な雲台を有するWebカメラを用いて視聴者がリモートで雲台を操作し、好きな方向にWebカメラを向ける方法が知られている(例えば、非特許文献2)。 For example, as a method of viewing a live video in a desired direction of the viewer, there is a method in which the viewer remotely operates the camera platform using a web camera having a remotely operable camera platform and points the web camera in a desired direction. It is known (for example, Non-Patent Document 2).
また、予め広い範囲でライブ映像を撮影しておき、そこから視聴者が要望する部分を切り出して配信する方法も知られている。この場合、複数のカメラで撮影した映像を貼り合せて広い範囲のライブ映像を撮影する方法と、解像度が高く広範囲を撮影することができる1台のカメラで広い範囲のライブ映像を撮影する方法とが知られている(例えば、非特許文献3)。 There is also known a method in which live video is captured in a wide range in advance, and a portion desired by the viewer is cut out and distributed. In this case, a method of shooting a wide range of live video by combining videos shot by a plurality of cameras, a method of shooting a wide range of live video with a single camera capable of shooting a wide range with high resolution, and Is known (for example, Non-Patent Document 3).
しかしながら、リモート操作可能な雲台を用いる方法では、ある視聴者が自分の好みの方向にWebカメラを向けて映像を見ている間は、別の視聴者は、異なる方向の映像を見ることができないという問題、すなわち、複数人が同時に異なる方向の映像を見ることができないという問題があった。 However, in the method using the pan head that can be operated remotely, while a viewer is viewing a video with the web camera pointing in his / her preferred direction, another viewer can view a video in a different direction. There was a problem that it was not possible, that is, there was a problem that a plurality of people could not watch images in different directions at the same time.
また、複数カメラで撮影した映像を貼り合せて広い範囲のライブ映像を撮影し、視聴者が要望する部分を切り出して配信するという方法では、複数の映像の貼り合せに計算コストがかかるため、映像配信の遅延が大きくなるという問題があった。 In addition, the method of shooting a wide range of live video by combining video shot with multiple cameras and cutting out and distributing the portion requested by the viewer requires calculation costs for combining multiple videos. There was a problem that the delay of delivery became large.
また、解像度が高く広範囲を撮影することができるカメラを用いて広い範囲のライブ映像を撮影し、視聴者が要望する部分を切り出して配信するという方法では、通常のカメラでは180度を超えるような広い範囲を撮ることはできないため、全方位レンズや魚眼レンズ等を有するカメラが必要になりコストが高くなるという問題があった。また、全方位レンズや魚眼レンズを用いると画像の歪が大きくなるため、切り出した画像を違和感なく見せるためには、画像の変形という計算コストのかかる処理が必要になるため、映像配信の遅延が大きくなるという問題があった。 In addition, in a method of shooting a wide range of live video using a camera with a high resolution and capable of shooting a wide range, and cutting out and distributing a portion desired by the viewer, a normal camera exceeds 180 degrees. Since a wide range cannot be taken, a camera having an omnidirectional lens, a fish-eye lens, or the like is required, which increases the cost. In addition, if an omnidirectional lens or fisheye lens is used, the distortion of the image will increase, and in order to make the clipped image appear uncomfortable, it requires processing that requires computational cost of image deformation, resulting in a large delay in video distribution. There was a problem of becoming.
このように、従来技術では、複数の視聴者が同時に異なる方向のライブ映像を視聴することと、ライブ映像の配信遅延を小さくすることを両立させることができないという問題があった。 As described above, in the related art, there is a problem that it is impossible to simultaneously view a plurality of viewers simultaneously viewing live video in different directions and to reduce a live video distribution delay.
したがって、かかる点に鑑みてなされた本発明の目的は、複数の視聴者が同時に異なる方向のライブ映像を視聴することと、ライブ映像の配信遅延を小さくすることを両立させることができる映像配信システム及び映像配信方法を提供することにある。 Accordingly, an object of the present invention made in view of the above point is to provide a video distribution system that allows a plurality of viewers to simultaneously view a live video in different directions and to reduce a live video distribution delay. And providing a video distribution method.
上記課題を解決するため、本発明に係る映像配信システムは、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムであって、前記映像取得装置は、複数の映像撮影部を備え、前記配信サーバは、前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、前記複数の映像に、前記映像撮影部の識別子を重畳させる映像ソースID重畳部と、視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、識別子が重畳された前記複数の映像から選択すべき映像を指示する映像選択指示部と、前記映像選択指示部の指示に基づいて、識別子が重畳された前記複数の映像から映像を選択し、一つのストリーム映像を作成する映像選択部と、前記映像選択部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、前記映像提示装置は、視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、前記映像受信部が受信した前記ストリーム映像に重畳されている前記映像撮影部の識別子を抽出する映像ソースID抽出部と、前記表示範囲指定部が特定した前記切出し範囲の情報と、前記映像ソースID抽出部が抽出した前記映像撮影部の識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、前記映像切出し指示部は、前記表示範囲指定部が特定した映像撮影部と、前記映像ソースID抽出部が抽出した映像撮影部の識別子から特定される映像取得部とが一致したタイミングで、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする。 In order to solve the above problems, a video distribution system according to the present invention is a video distribution system including a video acquisition device, a distribution server, and a video presentation device, and the video acquisition device includes a plurality of video imaging units. The distribution server includes: a video input unit that receives a plurality of videos captured by the plurality of video shooting units; a video source ID superposition unit that superimposes an identifier of the video shooting unit on the plurality of videos; An identifier is superimposed based on the display instruction receiving unit that receives information of the video shooting unit that is shooting the video range that the user desires to watch and the information of the video shooting unit received by the display instruction receiving unit A video selection instruction unit for instructing a video to be selected from the plurality of videos, and a video selected from the plurality of videos on which an identifier is superimposed based on an instruction from the video selection instruction unit, and a single stream video And a video distribution unit that distributes the stream video generated by the video selection unit to the video presentation device, wherein the video presentation device requests viewing from the viewer. The image capturing unit that captures the image range is specified, the display range specifying unit that specifies the clipping range to be cut out from the image captured by the image capturing unit, and the image capturing specified by the display range specifying unit A display instruction transmitting unit that transmits information of a unit to the distribution server, a video receiving unit that receives the stream video distributed by the distribution server, and the video superimposed on the stream video received by the video receiving unit Video source ID extraction unit for extracting the identifier of the photographing unit, information on the cutout range specified by the display range specifying unit, and the video source ID extraction unit extracted Based on the identifier information of the video recording unit, a video cutout instruction unit for instructing a partial video to be cut out from the stream video, and the partial video is cut out from the stream video based on an instruction from the video cutout instruction unit A video cutout unit, and a video display unit that displays the partial video cut out by the video cutout unit, wherein each video shooting unit is adjacent to a video shot by each video shooting unit The image capturing unit has an overlapping area that overlaps an image captured by the image capturing unit, and is arranged such that the size of the overlapping region is larger than the size of the partial image. At the timing when the identified video capturing unit coincides with the video acquisition unit identified from the identifier of the video capturing unit extracted by the video source ID extracting unit, information of the video capturing unit is obtained. It changes to the position of the cutout range associated with the information.
また、上記課題を解決するため、本発明に係る映像配信システムは、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムであって、前記映像取得装置は、複数の映像撮影部を備え、前記配信サーバは、前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示する映像選択指示部と、前記映像選択指示部の指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す識別子を重畳させる映像選択・切り替わりタイミング重畳部と、前記映像選択・切り替わりタイミング重畳部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、前記映像提示装置は、視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、前記映像受信部が受信した前記ストリーム映像に重畳されている、映像が切り替わったことを示す前記識別子を抽出する切り替わりタイミング抽出部と、前記表示範囲指定部が特定した前記切出し範囲の情報と、前記切り替わりタイミング抽出部が抽出した、映像が切り替わったことを示す前記識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、前記映像切出し指示部は、前記表示範囲指定部から取得した切り出し元となる映像撮影部の切り替わりタイミングと、前記切り替わりタイミング抽出部が抽出した映像撮影部の切り替わったタイミングとを一致させて、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする。 In order to solve the above problem, a video distribution system according to the present invention is a video distribution system including a video acquisition device, a distribution server, and a video presentation device, and the video acquisition device includes a plurality of video shootings. The distribution server receives information on a video input unit that receives a plurality of videos taken by the plurality of video shooting units and a video shooting unit that captures a video range that the viewer desires to watch. A display instruction receiving unit, a video selection instructing unit for instructing a video to be selected from the plurality of videos based on information of the video photographing unit received by the display instruction receiving unit, and an instruction from the video selection instructing unit Based on the video selection, a video is selected from the plurality of videos to create one stream video, and when the selected video is switched, the video selection / switching is performed to superimpose an identifier indicating that the video is switched. And a video delivery unit that delivers the stream video created by the video selection / switching timing superposition unit to the video presentation device, wherein the video presentation device requests viewing from a viewer. A video range is received, a video shooting unit that captures the video range is specified, a display range specifying unit that specifies a cut-out range to be cut out from a video shot by the video shooting unit, and the display range specifying unit specified A display instruction transmission unit that transmits information of the video shooting unit to the distribution server, a video reception unit that receives the stream video distributed by the distribution server, and the stream video received by the video reception unit are superimposed on each other. A switching timing extracting unit that extracts the identifier indicating that the video has been switched, and the clipping specified by the display range specifying unit Based on the range information and the identifier information indicating that the video has been switched, which is extracted by the switching timing extraction unit, a video cutting instruction unit that instructs a partial video to be cut out from the stream video, and the video cutting instruction On the basis of the instruction of the section, a video cutout section that cuts out the partial video from the stream video, and a video display section that displays the partial video cut out by the video cutout section, There is an overlapping area where the video shot by each video shooting unit and the video shot by the video shooting unit arranged adjacent to each other overlap, and the size of the overlapping region is larger than the size of the partial video And the video cutout instructing unit includes a switching timing of a video shooting unit as a cutout source acquired from the display range specifying unit, and the cutout The switching timing extracting unit matches the switching timing of the video photographing unit and changes to the position of the extraction range associated with the information of the video photographing unit.
また、上記課題を解決するため、本発明に係る映像配信システムは、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムであって、前記映像取得装置は、複数の映像撮影部を備え、前記配信サーバは、前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示する映像選択指示部と、前記映像選択指示部の指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す区切り画像を挿入する映像選択・区切り画像挿入部と、前記映像選択・区切り画像挿入部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、前記映像提示装置は、視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、前記映像受信部が受信した前記ストリーム映像に挿入されている、映像が切り替わったことを示す区切り画像を抽出する区切り画像抽出部と、前記表示範囲指定部が特定した前記切出し範囲の情報と、前記区切り画像抽出部が抽出した前記区切り画像とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、前記映像切出し指示部は、前記表示範囲指定部から取得した切り出し元となる映像撮影部の切り替わりタイミングと、前記区切り画像抽出部が抽出した映像撮影部の切り替わったタイミングとを一致させて、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする。 In order to solve the above problem, a video distribution system according to the present invention is a video distribution system including a video acquisition device, a distribution server, and a video presentation device, and the video acquisition device includes a plurality of video shootings. The distribution server receives information on a video input unit that receives a plurality of videos taken by the plurality of video shooting units and a video shooting unit that captures a video range that the viewer desires to watch. A display instruction receiving unit, a video selection instructing unit for instructing a video to be selected from the plurality of videos based on information of the video photographing unit received by the display instruction receiving unit, and an instruction from the video selection instructing unit Based on the video selection, a video is selected from the plurality of videos to create one stream video, and when the selected video is switched, a video selection / section for inserting a delimited image indicating that the video has been switched is inserted. A video distribution unit that distributes the stream video created by the video selection / separation image insertion unit to the video presentation device, wherein the video presentation device requests viewing from a viewer. A video range is received, a video shooting unit that captures the video range is specified, a display range specifying unit that specifies a cut-out range to be cut out from a video shot by the video shooting unit, and the display range specifying unit specified A display instruction transmission unit that transmits information of the video photographing unit to the distribution server, a video reception unit that receives the stream video distributed by the distribution server, and the stream video received by the video reception unit. A delimiter image extraction unit that extracts a delimiter image indicating that the video has been switched, information on the cutout range specified by the display range designation unit, and the delimiter image Based on the segmented image extracted by the extraction unit, a video cutout instruction unit that instructs a partial video to be cut out from the stream video, and the partial video is cut out from the stream video based on an instruction from the video cutout instruction unit A video cutout unit, and a video display unit that displays the partial video cut out by the video cutout unit, wherein each video shooting unit is adjacent to a video shot by each video shooting unit The image capturing unit has an overlapping area that overlaps an image captured by the image capturing unit, and is arranged so that the size of the overlapping region is larger than the size of the partial image. The switching timing of the acquired video shooting unit that is the cut-out source is matched with the switching timing of the video shooting unit extracted by the segmented image extraction unit. Then, the position is changed to the position of the cutout range associated with the information of the video photographing unit.
また、上記課題を解決するため、本発明に係る映像配信方法は、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムにおける映像配信方法であって、前記映像取得装置は、複数の映像撮影部を備え、前記各映像撮影部を、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記映像提示装置が表示する部分映像の大きさよりも大きくなるように配置するステップと、前記配信サーバによって、前記複数の映像撮影部が撮影した複数の映像を受信するステップと、前記複数の映像に、前記映像撮影部の識別子を重畳させるステップと、前記映像提示装置によって、視聴者から、視聴を要望する映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定するステップと、特定された前記映像撮影部の情報を前記配信サーバに送信するステップと、前記配信サーバによって、視聴者が視聴を要望する前記映像範囲を撮影している映像撮影部の情報を受信するステップと、前記映像撮影部の情報に基づいて、識別子が重畳された前記複数の映像から選択すべき映像を指示するステップと、前記指示に基づいて、識別子が重畳された前記複数の映像から映像を選択し、一つのストリーム映像を作成するステップと、前記ストリーム映像を前記映像提示装置に配信するステップと、前記映像提示装置によって、前記ストリーム映像を受信するステップと、前記ストリーム映像に重畳されている前記映像撮影部の識別子を抽出するステップと、特定された前記切出し範囲の情報と、抽出された前記映像撮影部の識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示するステップと、特定された前記映像撮影部と、抽出された前記映像撮影部の識別子から特定される映像取得部とが一致したタイミングで、前記ストリーム映像から、前記映像撮影部の情報と関連付けられている切出し範囲の位置を切り出すステップと、切り出された前記部分映像を表示するステップとを含む。 In order to solve the above problem, a video distribution method according to the present invention is a video distribution method in a video distribution system including a video acquisition device, a distribution server, and a video presentation device, and the video acquisition device includes: A plurality of video image capturing units, each video image capturing unit having an overlapping area where a video image captured by each video image capturing unit and a video image captured by an adjacent video image capturing unit are overlapped; Arranging the area so that the size of the area is larger than the size of the partial video displayed by the video presentation device; and receiving a plurality of videos taken by the plurality of video shooting units by the distribution server; A step of superimposing an identifier of the video shooting unit on the plurality of videos, and a video range desired to be viewed from a viewer by the video presentation device; Identifying a video photographing unit that captures the image, identifying a cutout range to be cut out from the video photographed by the video photographing unit, transmitting information of the identified video photographing unit to the distribution server, and From the plurality of videos on which identifiers are superimposed based on the information of the video shooting unit that is shooting the video range that the viewer desires to watch, and the information of the video shooting unit. Instructing a video to be selected, selecting a video from the plurality of videos superimposed with an identifier based on the instruction, creating one stream video, and sending the stream video to the video presentation device Distributing, receiving the stream video by the video presentation device, and the video superimposed on the stream video A step of extracting an identifier of a shadow portion, a step of designating a partial video to be cut out from the stream video based on the information on the specified cutout range and the information on the extracted identifier of the video shooting unit; The cut-out range associated with the information of the video shooting unit is extracted from the stream video at the timing when the video shooting unit that has been extracted matches the video acquisition unit specified by the extracted identifier of the video shooting unit. Cutting out the position, and displaying the cut out partial video.
また、上記課題を解決するため、本発明に係る映像配信方法は、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムにおける映像配信方法であって、前記映像取得装置は、複数の映像撮影部を備え、前記各映像撮影部を、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記映像提示装置が表示する部分映像の大きさよりも大きくなるように配置するステップと、前記配信サーバによって、前記複数の映像撮影部が撮影した複数の映像を受信するステップと、前記映像提示装置によって、視聴者から、視聴を要望する映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定するステップと、特定された前記映像撮影部の情報を前記配信サーバに送信するステップと、前記配信サーバによって、視聴者が視聴を要望する前記映像範囲を撮影している映像撮影部の情報を受信するステップと、前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示するステップと、前記指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す識別子を重畳させるステップと、前記ストリーム映像を前記映像提示装置に配信するステップと、前記映像提示装置によって、前記ストリーム映像を受信するステップと、前記ストリーム映像に重畳されている、映像が切り替わったことを示す前記識別子を抽出するステップと、特定された前記切出し範囲の情報と、抽出された映像が切り替わったことを示す前記識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示するステップと、切り出し元となる映像撮影部の切り替わりタイミングと、抽出された映像撮影部の切り替わったタイミングとを一致させて、前記ストリーム映像から、前記映像撮影部の情報と関連付けられている切出し範囲の位置を切り出すステップと、切り出された前記部分映像を表示するステップとを含む。 In order to solve the above problem, a video distribution method according to the present invention is a video distribution method in a video distribution system including a video acquisition device, a distribution server, and a video presentation device, and the video acquisition device includes: A plurality of video image capturing units, each video image capturing unit having an overlapping area where a video image captured by each video image capturing unit and a video image captured by an adjacent video image capturing unit are overlapped; Arranging the area so that the size of the area is larger than the size of the partial video displayed by the video presentation device; and receiving a plurality of videos taken by the plurality of video shooting units by the distribution server; The video presentation device accepts a video range desired to be viewed from a viewer, identifies a video shooting unit shooting the video range, and whether the video shot by the video shooting unit A step of specifying a cut-out range to be cut out; a step of transmitting information of the specified video shooting unit to the distribution server; and a video shooting of shooting the video range desired by a viewer by the distribution server Receiving information of a part, instructing a video to be selected from the plurality of videos based on the information of the video photographing unit, and selecting a video from the plurality of videos based on the instruction Creating one stream video and superimposing an identifier indicating that the video has been switched when the selected video is switched; delivering the stream video to the video presentation device; and the video presentation device To receive the stream video and indicate that the video superimposed on the stream video has been switched. Extracting the identifier; instructing a partial video to be cut out from the stream video based on the information on the identified cut-out range and the information on the identifier indicating that the extracted video has been switched; and The switching timing of the video capturing unit that is the cut-out source is matched with the switching timing of the extracted video capturing unit, and the position of the extraction range associated with the information of the video capturing unit is extracted from the stream video And a step of displaying the cut out partial video.
本発明によれば、複数の視聴者が同時に異なる方向のライブ映像を視聴することと、ライブ映像の配信遅延を小さくすることを両立させることができる。 According to the present invention, a plurality of viewers can simultaneously view a live video in different directions and reduce a delivery delay of the live video.
以下、本発明に係る実施形態について、図面を参照して説明する。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings.
(第1実施形態)
図1は、本発明の第1実施形態に係る映像配信システムのブロック図である。本発明の第1実施形態に係る映像配信システムは、映像取得装置110、配信サーバ120及び映像提示装置130を備える。なお、図1においては、映像提示装置を1つ備える構成を示しているが、これは一例であり、映像提示装置は2つ以上であってもよい。
(First embodiment)
FIG. 1 is a block diagram of a video distribution system according to the first embodiment of the present invention. The video distribution system according to the first embodiment of the present invention includes a
映像取得装置110は、映像撮影部111(111a、111b)を備える。
The
映像撮影部111は、映像を撮影し、撮影した映像を配信サーバ120に送信する。映像撮影部111は、映像撮影部111aで撮影した映像と映像撮影部111aに隣接して配置された映像撮影部111bで撮影した映像とが重なり合う重複領域を有し、当該重複領域の大きさが映像提示装置130で表示する部分映像の大きさよりも大きくなるように配置される。なお、図1においては、映像撮影部111が映像撮影部111a及び111bの2つから構成される場合を示しているが、これは一例であり、映像撮影部111は3つ以上で構成されてもよい。映像撮影部111は、例えばカメラなどである。本出願においては、必要に応じて、映像撮影部111がカメラの場合を例として説明する。
The
配信サーバ120は、表示指示受信部121、映像選択指示部122、映像入力部123(123a、123b)、映像ソースID重畳部124(124a、124b)、映像選択部125及び映像配信部126を備える。
The
表示指示受信部121は、映像提示装置130から、視聴者が視聴を要望する映像範囲を撮影している映像撮影部111の情報を受信する。
The display
映像選択指示部122は、表示指示受信部121が映像提示装置130から受信した映像撮影部111の情報に基づいて、映像選択部125に、映像ソースID重畳部124によって映像ソース(映像撮影部111)ごとに識別子を重畳された複数の映像から選択すべき映像を指示する。
Based on the information of the
映像入力部123は、映像撮影部111が撮影した映像を受信する。図1は、映像入力部123が2つの映像入力部123a及び123bから構成され、映像撮影部111が2つの映像撮影部111a及び111bから構成される場合の例を示す。映像入力部123a及び123bは、それぞれ、映像撮影部111a及び111bが撮影した映像を受信する。
The video input unit 123 receives the video shot by the
映像ソースID重畳部124は、映像入力部123から映像を受け取り、映像ソースごとに映像撮影部111に対応付けられた識別子(ID)を、画像透かしとして重畳させる。識別子は、例えば、カメラのIDなどである。図1は、映像ソースID重畳部124が2つの映像ソースID重畳部124a及び124bから構成される場合の例を示す。映像ソースID重畳部124a及び124bは、それぞれ、映像入力部123a及び123bから受け取った映像に識別子を重畳させる。
The video source ID superimposing unit 124 receives video from the video input unit 123 and superimposes an identifier (ID) associated with the
映像選択部125は、映像選択指示部122からの指示に基づいて、映像ソースID重畳部124によって映像ソースごとに識別子を重畳された映像から必要な映像を選択し、一つの連続したストリーム映像を作成する。
Based on an instruction from the video
映像配信部126は、映像選択部125により作成されたストリーム映像を映像提示装置130に配信する。
The
映像提示装置130は、表示範囲指定部131、表示指示送信部132、映像受信部133、映像ソースID抽出部134、映像切出し指示部135、映像切出し部136及び映像表示部137を備える。
The
表示範囲指定部131は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。表示範囲指定部131は、例えば、キーボードやリモコン又はタッチパネルなどを介した入力などによって、視聴者の要望する表示範囲を受け付けることができる。また、例えば、表示範囲指定部131は、加速度センサや方位センサなどを備え、映像提示装置130を向けている方角に応じてこれらのセンサが随時取得するセンサ値によって、視聴者の要望する表示範囲を受け付けることができる。
The display
また、表示範囲指定部131は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部111を特定し、特定された映像撮影部111が撮影する映像から切り出す切出し範囲を特定する。
In addition, the display
表示指示送信部132は、表示範囲指定部131が特定した映像撮影部111の情報を配信サーバ120に送信する。
The display
映像受信部133は、配信サーバ120から配信されたストリーム映像を受信する。
The video receiving unit 133 receives the stream video distributed from the
映像ソースID抽出部134は、映像受信部133が受信したストリーム映像から、画像透かし情報として重畳された映像ソースの識別子を抽出する。
The video source
映像切出し指示部135は、表示範囲指定部131が特定した切出し範囲の情報と、映像ソースID抽出部134が抽出した映像ソースの識別子とを照らし合わせて、映像切出し部136に切り出しの指示を行う。映像切出し指示部135は、表示範囲指定部131が特定した映像撮影部111と、映像ソースID抽出部134が抽出した映像撮影部111の識別子から特定される映像撮影部111とが一致したタイミングで、映像撮影部111の情報と関連付けられている切出し範囲の位置に変更するように指示する。
The video
映像切出し部136は、映像切出し指示部135からの指示に基づいて、映像選択部125によって選択された映像から、視聴者の要求に応じた映像を表示するために必要な部分を切り出した部分映像を切り出す。
The
映像表示部137は、映像切出し部136が切り出した部分映像を表示する。
The
本発明に係る映像配信システムは、映像ソースID重畳部124、映像ソースID抽出部134を備え、映像切出し指示部135が、表示範囲指定部131が特定した切出し範囲の情報と、映像ソースID抽出部134が抽出した映像ソースの識別子とを照らし合わせて、映像切出し部136に切り出しの指示を行うことにより、適切なタイミングで映像を切り出すことができる。
The video distribution system according to the present invention includes a video source ID superimposing unit 124 and a video source
以下、映像ソースID重畳部124及び映像ソースID抽出部134がない場合に生じ得る問題点について説明する。図12は、映像ソースID重畳部124及び映像ソースID抽出部134がない場合の映像配信システムのブロック図である。
Hereinafter, problems that may occur when the video source ID superimposing unit 124 and the video source
説明の前提として、映像撮影部511は、800×600画素の画素数で撮影する2台のカメラであり、それぞれのカメラが撮影する映像が、横方向に300画素分だけ重複するように配置されているものとする。また、映像提示装置530が表示する映像は、300×600画素の範囲であるものとする。この場合において、表示範囲指定部531が、撮影範囲全体の左端から右端までを、表示位置を変更しながら順次表示することを指示するものとする。
As a premise of the description, the
図13は、タイミングずれの問題が起きていない場合の映像切出しの様子を示す図である。撮影範囲全体の左端から右端までを、表示位置を変更しながら順次表示する場合において、毎秒10フレーム表示し、1フレーム毎に表示位置を50画素ずつずらす場合は、配信サーバ520では、1〜11フレーム目までは映像1を、12〜21フレーム目までは映像2を選択したストリーム映像を作成し、作成したストリーム映像を送信する。映像提示装置530では、1フレーム目は、映像1の横方向0〜300画素の範囲を切り出し、2フレーム目では、映像1の横方向50〜350画素の範囲を切り出すというように順次切り出し位置を移動していき、11フレーム目で、映像1の横方向500〜800画素の範囲を切り出す。続いて、12フレーム目では、映像2の横方向50〜350画素の範囲を切り出して表示する。このように切り出し位置を変えながら表示することで、滑らかに表示位置を動かして見えるような映像提示が可能となる。
FIG. 13 is a diagram illustrating a state of video cut-out when there is no timing shift problem. In the case of sequentially displaying the entire imaging range from the left end to the right end while changing the display position, when the display position is shifted by 50 pixels for each frame and the display position is shifted by 50 pixels for each frame, the
ところが、映像提示装置530の表示範囲指定部531が、配信サーバ520内の映像選択指示部522への映像選択のための指示と、映像提示装置530内の映像切出し指示部535への切出し位置の指示とを行う場合、配信サーバ520内での映像選択時や配信サーバ520から映像提示装置530への映像伝送での遅延が存在するため、配信サーバ520から送られるストリーミング映像と、切り出し位置の指示とは非同期なデータとなっている。同じ映像ソースからの映像が送られてきている間であれば大きな問題は発生しないが、映像が切り替わるタイミングにおいては、映像の伝送遅延のため、映像提示装置530が受信した映像の映像ソースがまだ切り替わっていないのに、切り出す位置を切り替えてしまう恐れがある。
However, the display
図14を参照して、このようなタイミングのずれが生じる様子を説明する。映像提示装置530の表示範囲指定部531において、カメラ1の範囲からカメラ2の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置530は、選択映像をカメラ1の映像からカメラ2の映像に変更することを配信サーバ520に指示し、配信サーバ520は、選択映像をカメラ1の映像からカメラ2の映像に変更する。配信サーバ520が選択映像を変更したことにより、映像提示装置530が受信する映像は、カメラ1の映像からカメラ2の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置530が受信する映像は、黒三角で示す時点から少し遅れてカメラ2の映像に切り替わる。一方、黒三角で示す時点において、映像提示装置530の映像切出し指示部535は、カメラ2の映像に対応した切り出し位置を指示してしまっている。そのため、斜線で示す区間600においては、表示映像はカメラ1の映像であるにも関わらず、カメラ2の映像に対応した切り出し位置で映像を切り出してしまうというタイミングのずれが発生する。
With reference to FIG. 14, how such a timing shift occurs will be described. In the display
図15にタイミングずれが発生した場合の映像切出しの様子を示す。12フレーム目を参照すると、映像2の50〜350画素の範囲を切り出して表示したいのにも関わらず、まだ映像提示装置530が映像1を受信しているため、映像1の50〜350画素の範囲が切り出されて表示されてしまっている。 FIG. 15 shows how the video is cut out when a timing shift occurs. Referring to the twelfth frame, the video presentation device 530 is still receiving the video 1 even though it wants to cut out and display the range of 50 to 350 pixels of the video 2. The range is cut out and displayed.
このような事象が発生すると、映像全体の左から右に順次移りながら表示されていた映像が、映像1の右端まで来た途端に急に映像1の左の方の映像に一瞬切り替わり、その後、元の続きで映像2の左の方の映像から順次表示される、ということになり、滑らかにつながらず、乱れた映像が表示されるという問題が生じ得る。 When such an event occurs, the video that was displayed while moving sequentially from left to right in the entire video suddenly switches to the video on the left of video 1 as soon as it reaches the right edge of video 1, and then This means that the video from the left side of the video 2 is displayed sequentially in the original continuation, and the problem is that the video is not connected smoothly but a distorted video is displayed.
そこで、本発明に係る映像配信システムでは、映像ソースID重畳部124、映像ソースID抽出部134を備え、映像切出し指示部135が、表示範囲指定部131が特定した切出し範囲の情報と、映像ソースID抽出部134が抽出した映像ソースの識別子とを照らし合わせて、映像切出し部136に切り出しの指示を行うことにより、適切なタイミングで映像を切り出すことができ、図15のような映像の飛びを抑制して、図13に示すような適切な映像を表示することができる。
Therefore, the video distribution system according to the present invention includes the video source ID superimposing unit 124 and the video source
図2は、本発明の第1実施形態に係る映像配信システムにおける映像の切出し指示の様子を示す図である。 FIG. 2 is a diagram showing a video cut instruction in the video distribution system according to the first embodiment of the present invention.
映像提示装置130の表示範囲指定部131において、カメラ1の範囲からカメラ2の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置130は、選択映像をカメラ1の映像からカメラ2の映像に変更することを配信サーバ120に指示し、配信サーバ120は、選択映像をカメラ1の映像からカメラ2の映像に変更する。配信サーバ120が選択映像を変更したことにより、映像提示装置130が受信する映像は、カメラ1の映像からカメラ2の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置130が受信する映像は、黒三角で示す時点より少し遅れてカメラ2の映像に切り替わる。一方、映像提示装置130が受信するカメラ1の映像及びカメラ2の映像には、それぞれ、カメラ1のID及びカメラ2のIDが重畳されている。映像切出し指示部135は、カメラIDの変更を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
In the display
次に、本発明の第1実施形態に係る映像配信システムの動作について、図3に示すシーケンス図を参照しながら説明する。 Next, the operation of the video distribution system according to the first embodiment of the present invention will be described with reference to the sequence diagram shown in FIG.
映像取得装置110の映像撮影部111は、常時映像を撮影している(S101)。映像撮影部111は、撮影した映像を配信サーバ120に常時送信している(S102)。
The
配信サーバ120の映像ソースID重畳部124は、映像取得装置110から受信した映像ソースごとに識別子(ID)を、画像透かしとして重畳する(S103)。
The video source ID superimposing unit 124 of the
一方、映像提示装置130の表示範囲指定部131は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。また、表示範囲指定部131は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部111を特定し、特定された映像撮影部111が撮影する映像から切り出す切出し範囲を特定する(S104)。
On the other hand, the display
表示指示送信部132は、表示範囲指定部131が特定した切り出し元となる映像ソースの情報を配信サーバ120に送信する(S105)。
The display
配信サーバ120の映像選択指示部122は、表示指示受信部121が映像提示装置130から受信した映像ソースの情報に基づいて、映像選択部125に、映像入力部123が受信した複数の映像から選択すべき映像を指示する。映像選択部125は、映像ソースID重畳部124によって映像ソースの識別子情報を重畳された複数の映像の中から、映像選択指示部122の指示に基づいて映像を選択し、一つの連続したストリーム映像を作成する(S106)。
The video
映像配信部126は、映像選択部125により作成されたストリーム映像を映像提示装置130に配信する(S107)。
The
映像提示装置130の映像受信部133は、配信サーバ120から配信された映像を受信する(S108)。
The video receiving unit 133 of the
映像ソースID抽出部134は、映像受信部133が受信したストリーム映像中に画像透かしとして重畳されている映像ソースの識別子を抽出する(S109)。
The video source
映像切出し指示部135は、ステップS104にて表示範囲指定部131が特定した切出し範囲の情報と、ステップS109にて映像ソースID抽出部134が抽出した現在到着している映像の映像ソースの識別子とを比較し、正しい映像ソースから切り出しが行える適切なタイミングで映像切出し部136に切り出しの指示を行う。映像切出し部136は、映像切出し指示部135からの指示に基づいて、映像受信部133が受信した映像から、視聴者の要求に応じた映像を表示するために必要な映像を切り出した部分映像を切り出す(S110)。
The video
映像表示部137は、映像切出し部136が切り出した部分映像を表示する(S111)。
The
(第1実施形態の変形例)
なお、第1実施形態においては、配信サーバ120において、映像選択部125で映像を選択する前に、映像ソースID重畳部124によって、各映像に映像ソースの識別子を、画像透かしとして映像中に重畳させる例を示したが、映像に識別子を重畳させるタイミングはこれに限るものではない。例えば、映像取得装置110において、映像撮影部111で取得した映像に、識別子を重畳させてから配信サーバ120に送信してもよいし、あるいは、配信サーバ120において、映像選択部125が映像を選択して一つのストリーム映像を作成する際に、識別子を重畳させてもよい。
(Modification of the first embodiment)
In the first embodiment, in the
また、第1実施形態においては、映像提示装置130において、切り出し位置の指示を行っているが、ストリーム映像とは同期していない情報として、配信サーバ120から、映像提示装置130に切り出し位置の指示を行ってもよい。この場合でも、同様の方法で切り出し位置の指示とストリーム映像の切り出しタイミングとを合わせることができる。
In the first embodiment, the cutout position is instructed in the
また、第1実施形態においては、映像ソースID重畳部124が、画像透かしとして識別子を重畳させる方法を説明したが、図4に示すように、ストリームデータの映像と同期された別フィールドとして識別子を付与してもよい。 In the first embodiment, the method in which the video source ID superimposing unit 124 superimposes the identifier as the image watermark has been described. However, as shown in FIG. 4, the identifier is used as another field synchronized with the video of the stream data. It may be given.
図4に示す例では、映像提示装置130の表示範囲指定部131において、カメラ1の範囲からカメラ2の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置130は、選択映像をカメラ1の映像からカメラ2の映像に変更することを配信サーバ120に指示し、配信サーバ120は、選択映像をカメラ1の映像からカメラ2の映像に変更する。配信サーバ120が選択映像を変更したことにより、映像提示装置130が受信する映像は、カメラ1の映像からカメラ2の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置130が受信する映像は、黒三角で示す時点より少し遅れてカメラ2の映像に切り替わる。一方、映像提示装置130が受信するカメラ1の映像及びカメラ2の映像には、それぞれ、カメラ1のID及びカメラ2のIDがストリーム中の別フィールドに重畳されている。映像切出し指示部135は、カメラIDの変更を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
In the example illustrated in FIG. 4, when a scroll operation that extends from the range of the camera 1 to the range of the camera 2 is executed in the display
また、図5に示す映像配信システムのブロック構成のように、第1実施形態のブロック構成に対し、必要に応じて、さらに、映像の符号化を行う映像符号化部(162、176)、及び、映像の復号を行う映像復号部(174、186)を備える構成としてもよい。 Further, as in the block configuration of the video distribution system shown in FIG. 5, the video encoding units (162, 176) that perform video encoding are further added to the block configuration of the first embodiment as necessary. The video decoding unit (174, 186) for decoding the video may be provided.
(第2実施形態)
図6は、本発明の第2実施形態に係る映像配信システムのブロック図である。本発明の第2実施形態に係る映像配信システムは、映像取得装置210、配信サーバ220及び映像提示装置230を備える。第1実施形態では、映像に常に映像ソースの識別子を付与していたのに対し、第2実施形態では、映像が切り替わるタイミングで、映像が切り替わったことを示す識別子を付与する点が異なる。なお、図6においては、映像提示装置を1つ備える構成を示しているが、これは一例であり、映像提示装置は2つ以上であってもよい。
(Second Embodiment)
FIG. 6 is a block diagram of a video distribution system according to the second embodiment of the present invention. The video distribution system according to the second embodiment of the present invention includes a
映像取得装置210は、映像撮影部211(211a、211b)を備える。
The
映像撮影部211は、映像を撮影し、撮影した映像を配信サーバ220に送信する。映像撮影部211は、映像撮影部211aで撮影した映像と映像撮影部211aに隣接して配置された映像撮影部211bで撮影した映像とが重なり合う重複領域を有し、当該重複領域の大きさが映像提示装置230で表示する部分映像の大きさよりも大きくなるように配置される。なお、図6においては、映像撮影部211が映像撮影部211a及び211bの2つから構成される場合を示しているが、これは一例であり、映像撮影部211は3つ以上で構成されてもよい。映像撮影部211は、例えばカメラなどである。
The
配信サーバ220は、表示指示受信部221、映像選択指示部222、映像入力部223(223a、223b)、映像選択・切り替わりタイミング重畳部224及び映像配信部225を備える。
The
表示指示受信部221は、映像提示装置230から、視聴者が視聴を要望する映像範囲を撮影している映像撮影部211の情報を受信する。
The display
映像選択指示部222は、表示指示受信部221が映像提示装置230から受信した映像撮影部211の情報に基づいて、映像選択・切り替わりタイミング重畳部224に、映像入力部223が受信した複数の映像から選択すべき映像を指示する。
The video selection instructing unit 222 includes a plurality of videos received by the
映像入力部223は、映像撮影部211が撮影した映像を受信する。図6は、映像入力部223が2つの映像入力部223a及び223bから構成され、映像撮影部211が2つの映像撮影部211a及び211bから構成される場合の例を示す。映像入力部223a及び223bは、それぞれ、映像撮影部211a及び211bが撮影した映像を受信する。
The
映像選択・切り替わりタイミング重畳部224は、映像選択指示部222からの指示に基づいて、映像入力部223に入力された複数の映像から必要な映像を選択すると共に、映像ソースが切り替わった最初のフレームに、映像ソースが切り替わったことを示す識別子を画像透かしによって重畳させ、その映像から一つの連続したストリーム映像を作成する。
The video selection / switching
映像配信部225は、映像選択・切り替わりタイミング重畳部224により作成されたストリーム映像を映像提示装置230に配信する。
The
映像提示装置230は、表示範囲指定部231、表示指示送信部232、映像受信部233、切り替わりタイミング抽出部234、映像切出し指示部235、映像切出し部236及び映像表示部237を備える。
The
表示範囲指定部231は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。表示範囲指定部231は、例えば、キーボードやリモコン又はタッチパネルなどを介した入力などによって、視聴者の要望する表示範囲を受け付けることができる。また、例えば、表示範囲指定部231は、加速度センサや方位センサなどを備え、映像提示装置230を向けている方角に応じてこれらのセンサが随時取得するセンサ値によって、視聴者の要望する表示範囲を受け付けることができる。
The display
また、表示範囲指定部231は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部211を特定し、特定された映像撮影部211が撮影する映像から切り出す切出し範囲を特定する。
In addition, the display
表示指示送信部232は、表示範囲指定部231が特定した映像撮影部211の情報を配信サーバ220に送信する。
The display
映像受信部233は、配信サーバ220から配信されたストリーム映像を受信する。
The
切り替わりタイミング抽出部234は、映像受信部233が受信したストリーム映像から、画像透かし情報として重畳された映像ソースの切り替わりタイミングを示す識別子を抽出する。
The switching
映像切出し指示部235は、表示範囲指定部231が特定した切出し範囲の情報と、切り替わりタイミング抽出部234が抽出した映像ソースの切り替わりタイミングを示す識別子とを照らし合わせて、映像切出し部236に切り出しの指示を行う。映像切出し指示部235は、表示範囲指定部231から取得した切り出し元となる映像撮影部211の切り替わりタイミングと、切り替わりタイミング抽出部234が抽出した映像撮影部211の切り替わったタイミングとを一致させて、映像撮影部211の情報と関連付けられている切出し範囲の位置に変更するように指示する。
The video
映像切出し部236は、映像切出し指示部235からの指示に基づいて、映像受信部233が受信した映像から、視聴者の要求に応じた映像を表示するために必要な部分を切り出した部分映像を切り出す。
Based on an instruction from the video
映像表示部237は、映像切出し部236が切り出した部分映像を表示する。
The
図7は、本発明の第2実施形態に係る映像配信システムにおける映像の切出し指示の様子を示す図である。 FIG. 7 is a diagram showing a state of an instruction to cut out a video in the video distribution system according to the second embodiment of the present invention.
映像提示装置230の表示範囲指定部231において、カメラ1の範囲からカメラ2の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置230は、選択映像をカメラ1の映像からカメラ2の映像に変更することを配信サーバ220に指示し、配信サーバ220は、選択映像をカメラ1の映像からカメラ2の映像に変更する。配信サーバ220が選択映像を変更したことにより、映像提示装置230が受信する映像は、カメラ1の映像からカメラ2の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置230が受信する映像は、黒三角で示す時点より少し遅れてカメラ2の映像に切り替わる。一方、映像提示装置230が受信するカメラ1の映像及びカメラ2の映像には、映像が切り替わった最初のフレームに映像の切り替わりを示す識別子が重畳されている。映像切出し指示部235は、映像の切り替わりを示す識別子を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
In the display
このように、映像切出し指示部235は、切り替わりタイミング抽出部234が抽出した映像におけるカメラ変更の識別子を監視し、適切なタイミングで、すなわち、カメラ変更の識別子を検出したタイミングで、映像切出し部236に切出しの指示を行う。これにより、図15のような映像の飛びを抑制することができ、図13に示すような適切な映像を提示することができる。
In this way, the video
次に、本発明の第2実施形態に係る映像配信システムの動作について、図8に示すシーケンス図を参照しながら説明する。 Next, the operation of the video distribution system according to the second embodiment of the present invention will be described with reference to the sequence diagram shown in FIG.
映像取得装置210の映像撮影部211は、常時映像を撮影している(S201)。映像撮影部211は、撮影した映像を配信サーバ220に常時送信している(S202)。
The
一方、映像提示装置230の表示範囲指定部231は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。また、表示範囲指定部231は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部211を特定し、特定された映像撮影部211が撮影する映像から切り出す切出し範囲を特定する(S203)。
On the other hand, the display
表示指示送信部232は、表示範囲指定部231が特定した切り出し元となる映像ソースの情報を配信サーバ220に送信する(S204)。
The display
配信サーバ220の映像選択指示部222は、表示指示受信部221が映像提示装置230から受信した映像ソースの情報に基づいて、映像選択・切り替わりタイミング重畳部224に、映像入力部223が受信した複数の映像から選択すべき映像を指示する。映像選択・切り替わりタイミング重畳部224は、映像入力部223に入力された複数の映像の中から、映像選択指示部222の指示に基づいて映像を選択し、一つの連続したストリーム映像を作成する。映像選択・切り替わりタイミング重畳部224は、この際、映像ソースが切り替わった直後の最初のフレームに、映像ソースが切り替わったことを示す識別子を画像透かしとして重畳させる(S206)。
The video selection instructing unit 222 of the
映像配信部225は、映像選択・切り替わりタイミング重畳部224により作成されたストリーム映像を映像提示装置230に配信する(S207)。
The
映像提示装置230の映像受信部233は、配信サーバ220から配信された映像を受信する(S208)。
The
切り替わりタイミング抽出部234は、ストリーム映像中に画像透かしとして重畳されている映像ソースの切り替わりタイミングを示す識別子を抽出する(S209)。
The switching
映像切出し指示部235は、ステップS203にて表示範囲指定部231が特定した切出し範囲の情報と、ステップS209にて切り替わりタイミング抽出部234が抽出した映像ソースの切り替わりタイミングとから、適切なタイミングで映像切出し部236に切り出しの指示を行う。映像切出し部236は、映像切出し指示部235からの指示に基づいて、映像受信部233が受信した映像から、視聴者の要求に応じた映像を表示するために必要な映像を切り出した部分映像を切り出す(S210)。
The video
映像表示部237は、映像切出し部236が切り出した部分映像を表示する(S211)。
The
(第2実施形態の変形例)
なお、第2実施形態においては、映像ソースの切り替わりのタイミングを示す識別子を、映像ソースが切り替わった直後に重畳させているが、第1実施形態と同様の映像ソースを示す識別子を、映像ソースが切り替わった直後にのみ重畳させるようにしてもよい。
(Modification of the second embodiment)
In the second embodiment, the identifier indicating the switching timing of the video source is superimposed immediately after the switching of the video source. However, the identifier indicating the video source similar to the first embodiment is displayed in the video source. You may make it superimpose only immediately after switching.
また、第2実施形態においては、映像選択・切り替わりタイミング重畳部224が、映像ソースの切り替わりのタイミングを画像透かしとして重畳させる方法を説明したが、図9に示すように、ストリームデータの映像と同期された別フィールドとして識別子を付与してもよい。
In the second embodiment, the video selection / switching
図9に示す例では、映像提示装置230の表示範囲指定部231において、カメラ1の範囲からカメラ2の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置230は、選択映像をカメラ1の映像からカメラ2の映像に変更することを配信サーバ220に指示し、配信サーバ220は、選択映像をカメラ1の映像からカメラ2の映像に変更する。配信サーバ220が選択映像を変更したことにより、映像提示装置230が受信する映像は、カメラ1の映像からカメラ2の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置230が受信する映像は、黒三角で示す時点より少し遅れてカメラ2の映像に切り替わる。一方、映像提示装置230が受信するカメラ1の映像及びカメラ2の映像には、映像が切り替わった最初のフレームのタイミングにおいて映像の切り替わりを示す識別子がストリーム中の別フィールドに重畳されている。映像切出し指示部235は、映像の切り替わりを示す識別子を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
In the example illustrated in FIG. 9, when a scroll operation that extends from the range of the camera 1 to the range of the camera 2 is executed in the display
また、第2実施形態においては、映像から映像ソースの切り替わりタイミングを読み出せない場合が発生しうる。このような場合に、いつまでも切り出し位置を変えられない状況が続かないよう、表示範囲指定部231から切り出し映像が変更になる通知を受けてから所定時間以上経過した場合に、映像切出し部236が、映像ソースの切り替わりタイミングを見落としたものとして、処理を進めるようにしてもよい。
In the second embodiment, there may occur a case where the switching timing of the video source cannot be read from the video. In such a case, in order not to continue the situation where the cutout position cannot be changed indefinitely, when a predetermined time or more has elapsed after receiving the notification that the cutout video is changed from the display
(第3実施形態)
図10は、本発明の第3実施形態に係る映像配信システムのブロック図である。本発明の第3実施形態に係る映像配信システムは、映像取得装置310、配信サーバ320及び映像提示装置330を備える。第2実施形態では、映像ソースの切り替わり直後に、切り替わりを示す識別子を映像中に重畳させていたが、第3実施形態では、映像中に区切り画像を1フレーム挿入し、映像ソース切り替わりのタイミングを通知する点が異なる。また、第3実施形態においては、映像の符号化及び復号を行う。なお、図10においては、映像提示装置を1つ備える構成を示しているが、これは一例であり、映像提示装置は2つ以上であってもよい。
(Third embodiment)
FIG. 10 is a block diagram of a video distribution system according to the third embodiment of the present invention. The video distribution system according to the third embodiment of the present invention includes a
映像取得装置310は、映像撮影部311(311a、311b)及び映像符号化部312(312a、312b)を備える。
The
映像撮影部311は、映像を撮影し、撮影した映像を映像符号化部312に提供する。映像撮影部311は、映像撮影部311aで撮影した映像と映像撮影部311aに隣接して配置された映像撮影部311bで撮影した映像とが重なり合う重複領域を有し、当該重複領域の大きさが映像提示装置330で表示する部分映像の大きさよりも大きくなるように配置される。なお、図10においては、映像撮影部311が映像撮影部311a及び311bの2つから構成される場合を示しているが、これは一例であり、映像撮影部311は3つ以上で構成されてもよい。映像撮影部311は、例えばカメラなどである。
The
映像符号化部312は、映像撮影部311が撮影した映像を符号化し、符号化した映像を配信サーバ320に送信する。
The
配信サーバ320は、表示指示受信部321、映像選択指示部322、映像入力部323(323a、323b)、映像選択・区切り画像挿入部324及び映像配信部325を備える。
The
表示指示受信部321は、映像提示装置330から、視聴者が視聴を要望する映像範囲を撮影している映像撮影部311の情報を受信する。
The display
映像選択指示部322は、表示指示受信部321が映像提示装置330から受信した映像撮影部311の情報に基づいて、映像選択・区切り画像挿入部324に、映像入力部323が受信した複数の映像から選択すべき映像を指示する。
The video
映像入力部323は、映像撮影部311が撮影し、映像符号化部312が符号化した映像を受信する。図10は、映像入力部323が2つの映像入力部323a及び323bから構成され、映像撮影部311が2つの映像撮影部311a及び311bから構成される場合の例を示す。映像入力部323a及び323bは、それぞれ、映像撮影部311a及び311bが撮影し、映像符号化部312a及び312bが符号化した映像を受信する。
The
映像選択・区切り画像挿入部324は、映像選択指示部322からの指示に基づいて、映像入力部323に入力された映像から必要な映像を選択すると共に、映像ソースが切り替わる際に、映像ソースが切り替わったことを示す区切り画像を1フレーム挿入し、一つの連続したストリーム映像を作成する。
The video selection / separation
映像配信部325は、映像選択・区切り画像挿入部324により作成されたストリーム映像を映像提示装置330に配信する。
The
映像提示装置330は、表示範囲指定部331、表示指示送信部332、映像受信部333、区切り画像抽出部334、映像切出し指示部335、映像復号部336、映像切出し部337及び映像表示部338を備える。
The
表示範囲指定部331は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。表示範囲指定部331は、例えば、キーボードやリモコン又はタッチパネルなどを介した入力などによって、視聴者の要望する表示範囲を受け付けることができる。また、例えば、表示範囲指定部331は、加速度センサや方位センサなどを備え、映像提示装置330を向けている方角に応じてこれらのセンサが随時取得するセンサ値によって、視聴者の要望する表示範囲を受け付けることができる。
The display
また、表示範囲指定部331は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部311を特定し、特定された映像撮影部311が撮影する映像から切り出す切出し範囲を特定する。
In addition, the display
表示指示送信部332は、表示範囲指定部331が特定した映像撮影部311の情報を配信サーバ320に送信する。
The display
映像受信部333は、配信サーバ320から配信されたストリーム映像を受信する。
The
区切り画像抽出部334は、映像受信部333が受信したストリーム映像から、映像ソース切り替わり時に挿入される区切り画像を抽出する。
The delimiter
映像切出し指示部335は、表示範囲指定部331が特定した切出し範囲の情報と、区切り画像抽出部334が抽出した区切り画像から、映像ソースが切り替わるタイミング情報を得て、それと照らし合わせて、映像切出し部337に切り出しの指示を行う。映像切出し指示部335は、表示範囲指定部331から取得した切り出し元となる映像撮影部311の切り替わりタイミングと、区切り画像抽出部334が抽出した映像撮影部311の切り替わったタイミングとを一致させて、映像撮影部311の情報と関連付けられている切出し範囲の位置に変更するように指示する。
The video
映像復号部336は、映像受信部333が受信した符号化された映像を復号する。
The
映像切出し部337は、映像切出し指示部335からの指示に基づいて、映像受信部333が受信し、映像復号部336が復号した映像から、視聴者の要求に応じた映像を表示するために必要な部分を切り出した部分映像を切り出す。
The
映像表示部338は、映像切出し部337が切り出した部分映像を表示する。
The
図11は、本発明の第3実施形態に係る映像配信システムにおける映像の切出し指示の様子を示す図である。 FIG. 11 is a diagram showing a state of a video cut instruction in the video distribution system according to the third embodiment of the present invention.
映像提示装置330の表示範囲指定部331において、カメラ1の範囲からカメラ2の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置330は、選択映像をカメラ1の映像からカメラ2の映像に変更することを配信サーバ320に指示し、配信サーバ320は、選択映像をカメラ1の映像からカメラ2の映像に変更する。配信サーバ320が選択映像を変更したことにより、映像提示装置330が受信する映像は、カメラ1の映像からカメラ2の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置330が受信する映像は、黒三角で示す時点より少し遅れてカメラ2の映像に切り替わる。一方、映像提示装置330が受信するカメラ1の映像及びカメラ2の映像には、映像が切り替わった最初のフレームに全面黒の映像が挿入されている。映像切出し指示部335は、全面黒の映像を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
In the display
図11に示すように、区切り画像としては、例えば、全面が黒である画像を用いることができる。例えば、ライブ映像配信時の符号化方式として多く用いられているMPEG−2方式の場合、フレーム内符号化画像と、フレーム間符号化画像の双方が用いられているが、全面黒のフレーム内符号化画像を1フレーム挿入した後、次の映像ソースの映像を、フレーム内符号化画像から配置する。全面が黒である画像は、符号化した際のデータ量が一番小さくなることが期待できるため、伝送時間に与える影響が少ない。また、区切り画像抽出部334で区切り画像を抽出する際には、符号化された状態のままでも、フレーム内符号化画像のデータサイズを見るだけで高速に抽出することが可能である。また、見た目としては、一瞬映像が黒くなるものの、心理的な影響は少ないと思われる。
As shown in FIG. 11, for example, an image whose entire surface is black can be used as the separator image. For example, in the case of the MPEG-2 system, which is often used as an encoding method at the time of live video distribution, both an intra-frame encoded image and an inter-frame encoded image are used. After one frame is inserted, the video of the next video source is arranged from the intra-frame encoded image. Since an image whose entire surface is black can be expected to have the smallest amount of data when encoded, the effect on transmission time is small. In addition, when the delimiter image is extracted by the delimiter
なお、全面が黒である画像を用いる場合を例に挙げて説明したが、これに限るものではなく、1枚の画像のみを見て、識別子となっている画像であることがすぐに判別できる画像であり、かつ、そのような画像が映像の途中に1枚挿入されていても、見た目での違和感が少ない画像であれば、どのような画像であってもよい。その画像の検出が符号化された映像情報のままでは検出が難しければ、復号した後の画像から検出を行うようにしてもよい。 In addition, although the case where an image whose entire surface is black is used has been described as an example, the present invention is not limited to this, and it is possible to immediately determine that the image is an identifier by looking at only one image. Even if it is an image and one such image is inserted in the middle of the video, any image may be used as long as it does not cause a sense of discomfort. If detection of the image is difficult as it is with the encoded video information, detection may be performed from the decoded image.
このように、本発明に係る映像配信システムによれば、映像取得装置が複数の映像撮影部を備えて広い領域を撮影していることにより、複数の視聴者が、同時に各々が希望する方向のライブ映像を視聴することができる。 As described above, according to the video distribution system according to the present invention, the video acquisition device includes a plurality of video shooting units and shoots a wide area, so that a plurality of viewers can simultaneously have a desired direction. You can watch live video.
また、映像提示装置において、表示する映像ソースが切り替わったタイミングと、表示する映像中の切り出し位置を変更するタイミングとを合わせることができるため、視聴者に対し、連続した違和感のない映像を提供することができる。 In addition, in the video presentation device, the timing at which the video source to be displayed is switched and the timing at which the cut-out position in the video to be displayed is changed can be matched, thereby providing the viewer with a continuous and uncomfortable video. be able to.
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。 Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and corrections based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention.
110、160、210、310 映像取得装置
111、161、211、311 映像撮影部
120、170、220、320 配信サーバ
121、171、221、321 表示指示受信部
122、172、222、322 映像選択指示部
123、173、223、323 映像入力部
124、175 映像ソースID重畳部
125、177 映像選択部
126、178、225、325 映像配信部
130、180、230、330 映像提示装置
131、181、231、331 表示範囲指定部
132、182、232、332 表示指示送信部
133、185、233、333 映像受信部
134、184 映像ソースID抽出部
135、183、235、335 映像切出し指示部
136、187、236、337 映像切出し部
137、188、237、338 映像表示部
162、176、312 映像符号化部
174、186、336 映像復号部
224 映像選択・切り替わりタイミング重畳部
234 切り替わりタイミング抽出部
324 映像選択・区切り画像挿入部
334 区切り画像抽出部
110, 160, 210, 310
Claims (8)
前記映像取得装置は、複数の映像撮影部を備え、
前記配信サーバは、
前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、
前記複数の映像に、前記映像撮影部の識別子を重畳させる映像ソースID重畳部と、
視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、
前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、識別子が重畳された前記複数の映像から選択すべき映像を指示する映像選択指示部と、
前記映像選択指示部の指示に基づいて、識別子が重畳された前記複数の映像から映像を選択し、一つのストリーム映像を作成する映像選択部と、
前記映像選択部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、
前記映像提示装置は、
視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、
前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、
前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、
前記映像受信部が受信した前記ストリーム映像に重畳されている前記映像撮影部の識別子を抽出する映像ソースID抽出部と、
前記表示範囲指定部が特定した前記切出し範囲の情報と、前記映像ソースID抽出部が抽出した前記映像撮影部の識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、
前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、
前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、
前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、
前記映像切出し指示部は、前記表示範囲指定部が特定した映像撮影部と、前記映像ソースID抽出部が抽出した映像撮影部の識別子から特定される映像取得部とが一致したタイミングで、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする映像配信システム。 A video distribution system comprising a video acquisition device, a distribution server, and a video presentation device,
The video acquisition device includes a plurality of video shooting units,
The distribution server
A video input unit for receiving a plurality of videos taken by the plurality of video shooting units;
A video source ID superimposing unit that superimposes an identifier of the video photographing unit on the plurality of videos;
A display instruction receiving unit that receives information of a video shooting unit shooting a video range that the viewer desires to watch;
A video selection instruction unit for instructing a video to be selected from the plurality of videos on which an identifier is superimposed based on the information of the video photographing unit received by the display instruction receiving unit;
Based on an instruction from the video selection instruction unit, a video selection unit that selects a video from the plurality of videos on which an identifier is superimposed, and creates one stream video;
A video delivery unit that delivers the stream video created by the video selection unit to the video presentation device;
The video presentation device includes:
A display range designating unit that accepts the video range desired to be viewed from a viewer, identifies a video shooting unit that has shot the video range, and specifies a cut-out range to be cut out from the video shot by the video shooting unit;
A display instruction transmission unit that transmits information of the video photographing unit specified by the display range designation unit to the distribution server;
A video receiver for receiving the stream video distributed by the distribution server;
A video source ID extracting unit for extracting an identifier of the video photographing unit superimposed on the stream video received by the video receiving unit;
A video cut-out instruction that designates a partial video to be cut out from the stream video based on the information on the cut-out range specified by the display range designation unit and the information on the identifier of the video shooting unit extracted by the video source ID extraction unit And
Based on an instruction from the video cutout instruction unit, a video cutout unit that cuts out the partial video from the stream video;
A video display unit for displaying the partial video clipped by the video cutout unit;
Each of the video shooting units has an overlapping area where a video shot by each of the video shooting units and a video shot by a video shooting unit arranged adjacent to each other overlap, and the size of the overlapping area is the portion It is arranged to be larger than the size of the image,
The video cutout instructing unit is configured so that the video capturing unit specified by the display range specifying unit and the video acquisition unit specified from the identifier of the video capturing unit extracted by the video source ID extracting unit coincide with each other. A video distribution system characterized by changing to a position of a cutout range associated with information of a photographing unit.
前記映像取得装置は、複数の映像撮影部を備え、
前記配信サーバは、
前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、
視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、
前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示する映像選択指示部と、
前記映像選択指示部の指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す識別子を重畳させる映像選択・切り替わりタイミング重畳部と、
前記映像選択・切り替わりタイミング重畳部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、
前記映像提示装置は、
視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、
前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、
前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、
前記映像受信部が受信した前記ストリーム映像に重畳されている、映像が切り替わったことを示す前記識別子を抽出する切り替わりタイミング抽出部と、
前記表示範囲指定部が特定した前記切出し範囲の情報と、前記切り替わりタイミング抽出部が抽出した、映像が切り替わったことを示す前記識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、
前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、
前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、
前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、
前記映像切出し指示部は、前記表示範囲指定部から取得した切り出し元となる映像撮影部の切り替わりタイミングと、前記切り替わりタイミング抽出部が抽出した映像撮影部の切り替わったタイミングとを一致させて、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする映像配信システム。 A video distribution system comprising a video acquisition device, a distribution server, and a video presentation device,
The video acquisition device includes a plurality of video shooting units,
The distribution server
A video input unit for receiving a plurality of videos taken by the plurality of video shooting units;
A display instruction receiving unit that receives information of a video shooting unit shooting a video range that the viewer desires to watch;
A video selection instruction unit for instructing a video to be selected from the plurality of videos based on the information of the video photographing unit received by the display instruction receiving unit;
Based on an instruction from the video selection instruction unit, a video is selected from the plurality of videos to create one stream video, and when the selected video is switched, an identifier indicating that the video has been switched is superimposed. Video selection / switching timing superimposition unit,
A video delivery unit that delivers the stream video created by the video selection / switching timing superimposition unit to the video presentation device;
The video presentation device includes:
A display range designating unit that accepts the video range desired to be viewed from a viewer, identifies a video shooting unit that has shot the video range, and specifies a cut-out range to be cut out from the video shot by the video shooting unit;
A display instruction transmission unit that transmits information of the video photographing unit specified by the display range designation unit to the distribution server;
A video receiver for receiving the stream video distributed by the distribution server;
A switching timing extraction unit that extracts the identifier indicating that the video has been switched, which is superimposed on the stream video received by the video reception unit;
Instructing a partial video to be cut out from the stream video based on the information on the cut-out range specified by the display range specification unit and the information on the identifier extracted by the switching timing extraction unit and indicating that the video has been switched. An image cutout instruction section;
Based on an instruction from the video cutout instruction unit, a video cutout unit that cuts out the partial video from the stream video;
A video display unit for displaying the partial video clipped by the video cutout unit;
Each of the video shooting units has an overlapping area where a video shot by each of the video shooting units and a video shot by a video shooting unit arranged adjacent to each other overlap, and the size of the overlapping area is the portion It is arranged to be larger than the size of the image,
The video cutout instruction unit matches the switching timing of the video shooting unit that is the cutout source acquired from the display range specifying unit with the switching timing of the video shooting unit extracted by the switching timing extraction unit, and A video distribution system characterized by changing to a position of a cutout range associated with information of a photographing unit.
前記映像取得装置は、複数の映像撮影部を備え、
前記配信サーバは、
前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、
視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、
前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示する映像選択指示部と、
前記映像選択指示部の指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す区切り画像を挿入する映像選択・区切り画像挿入部と、
前記映像選択・区切り画像挿入部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、
前記映像提示装置は、
視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、
前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、
前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、
前記映像受信部が受信した前記ストリーム映像に挿入されている、映像が切り替わったことを示す区切り画像を抽出する区切り画像抽出部と、
前記表示範囲指定部が特定した前記切出し範囲の情報と、前記区切り画像抽出部が抽出した前記区切り画像とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、
前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、
前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、
前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、
前記映像切出し指示部は、前記表示範囲指定部から取得した切り出し元となる映像撮影部の切り替わりタイミングと、前記区切り画像抽出部が抽出した映像撮影部の切り替わったタイミングとを一致させて、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする映像配信システム。 A video distribution system comprising a video acquisition device, a distribution server, and a video presentation device,
The video acquisition device includes a plurality of video shooting units,
The distribution server
A video input unit for receiving a plurality of videos taken by the plurality of video shooting units;
A display instruction receiving unit that receives information of a video shooting unit shooting a video range that the viewer desires to watch;
A video selection instruction unit for instructing a video to be selected from the plurality of videos based on the information of the video photographing unit received by the display instruction receiving unit;
Based on an instruction from the video selection instruction unit, a video is selected from the plurality of videos to create one stream video, and when the selected video is switched, a delimiter image indicating that the video has been switched is inserted. Video selection / delimiter image insertion part to be
A video delivery unit that delivers the stream video created by the video selection / separation image insertion unit to the video presentation device;
The video presentation device includes:
A display range designating unit that accepts the video range desired to be viewed from a viewer, identifies a video shooting unit that has shot the video range, and specifies a cut-out range to be cut out from the video shot by the video shooting unit;
A display instruction transmission unit that transmits information of the video photographing unit specified by the display range designation unit to the distribution server;
A video receiver for receiving the stream video distributed by the distribution server;
A delimiter image extraction unit that extracts a delimiter image that is inserted into the stream video received by the video reception unit and indicates that the video has been switched;
A video cutout instruction unit for instructing a partial video to be cut out from the stream video based on the information on the cutout range specified by the display range specifying unit and the cutout image extracted by the cutout image extraction unit;
Based on an instruction from the video cutout instruction unit, a video cutout unit that cuts out the partial video from the stream video;
A video display unit for displaying the partial video clipped by the video cutout unit;
Each of the video shooting units has an overlapping area where a video shot by each of the video shooting units and a video shot by a video shooting unit arranged adjacent to each other overlap, and the size of the overlapping area is the portion It is arranged to be larger than the size of the image,
The video cutout instruction unit matches the switching timing of the video shooting unit that is a cut-out source acquired from the display range designating unit with the switching timing of the video shooting unit extracted by the segmented image extraction unit, and A video distribution system characterized by changing to a position of a cutout range associated with information of a photographing unit.
前記映像取得装置は、複数の映像撮影部を備え、
前記各映像撮影部を、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記映像提示装置が表示する部分映像の大きさよりも大きくなるように配置するステップと、
前記配信サーバによって、
前記複数の映像撮影部が撮影した複数の映像を受信するステップと、
前記複数の映像に、前記映像撮影部の識別子を重畳させるステップと、
前記映像提示装置によって、
視聴者から、視聴を要望する映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定するステップと、
特定された前記映像撮影部の情報を前記配信サーバに送信するステップと、
前記配信サーバによって、
視聴者が視聴を要望する前記映像範囲を撮影している映像撮影部の情報を受信するステップと、
前記映像撮影部の情報に基づいて、識別子が重畳された前記複数の映像から選択すべき映像を指示するステップと、
前記指示に基づいて、識別子が重畳された前記複数の映像から映像を選択し、一つのストリーム映像を作成するステップと、
前記ストリーム映像を前記映像提示装置に配信するステップと、
前記映像提示装置によって、
前記ストリーム映像を受信するステップと、
前記ストリーム映像に重畳されている前記映像撮影部の識別子を抽出するステップと、
特定された前記切出し範囲の情報と、抽出された前記映像撮影部の識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示するステップと、
特定された前記映像撮影部と、抽出された前記映像撮影部の識別子から特定される映像取得部とが一致したタイミングで、前記ストリーム映像から、前記映像撮影部の情報と関連付けられている切出し範囲の位置を切り出すステップと、
切り出された前記部分映像を表示するステップと
を含むことを特徴とする映像配信方法。 A video distribution method in a video distribution system comprising a video acquisition device, a distribution server, and a video presentation device,
The video acquisition device includes a plurality of video shooting units,
Each video shooting unit has an overlapping area where a video shot by each video shooting unit and a video shot by a video shooting unit arranged adjacent to each other overlap, and the size of the overlapping area is the video Arranging to be larger than the size of the partial video displayed by the presentation device;
By the distribution server,
Receiving a plurality of images captured by the plurality of image capturing units;
Superimposing an identifier of the video photographing unit on the plurality of videos;
By the video presentation device,
Receiving a video range to be viewed from a viewer, identifying a video shooting unit shooting the video range, and specifying a cutout range to be cut out from the video shot by the video shooting unit;
Transmitting the specified information of the video photographing unit to the distribution server;
By the distribution server,
Receiving information of a video shooting unit that is shooting the video range that the viewer desires to watch;
Instructing a video to be selected from the plurality of videos on which an identifier is superimposed based on information of the video shooting unit;
Selecting a video from the plurality of videos on which an identifier is superimposed based on the instruction, and creating one stream video;
Delivering the stream video to the video presentation device;
By the video presentation device,
Receiving the stream video;
Extracting an identifier of the video photographing unit superimposed on the stream video;
Instructing a partial video to be cut out from the stream video based on the information on the extracted cut-out range and the extracted information on the identifier of the video shooting unit;
A cutout range associated with the information of the video shooting unit from the stream video at the timing when the specified video shooting unit and the video acquisition unit specified by the extracted identifier of the video shooting unit coincide with each other Cutting out the position of
And a step of displaying the cut out partial video.
前記映像取得装置は、複数の映像撮影部を備え、
前記各映像撮影部を、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記映像提示装置が表示する部分映像の大きさよりも大きくなるように配置するステップと、
前記配信サーバによって、
前記複数の映像撮影部が撮影した複数の映像を受信するステップと、
前記映像提示装置によって、
視聴者から、視聴を要望する映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定するステップと、
特定された前記映像撮影部の情報を前記配信サーバに送信するステップと、
前記配信サーバによって、
視聴者が視聴を要望する前記映像範囲を撮影している映像撮影部の情報を受信するステップと、
前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示するステップと、
前記指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す識別子を重畳させるステップと、
前記ストリーム映像を前記映像提示装置に配信するステップと、
前記映像提示装置によって、
前記ストリーム映像を受信するステップと、
前記ストリーム映像に重畳されている、映像が切り替わったことを示す前記識別子を抽出するステップと、
特定された前記切出し範囲の情報と、抽出された映像が切り替わったことを示す前記識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示するステップと、
切り出し元となる映像撮影部の切り替わりタイミングと、抽出された映像撮影部の切り替わったタイミングとを一致させて、前記ストリーム映像から、前記映像撮影部の情報と関連付けられている切出し範囲の位置を切り出すステップと、
切り出された前記部分映像を表示するステップと
を含むことを特徴とする映像配信方法。 A video distribution method in a video distribution system comprising a video acquisition device, a distribution server, and a video presentation device,
The video acquisition device includes a plurality of video shooting units,
Each video shooting unit has an overlapping area where a video shot by each video shooting unit and a video shot by a video shooting unit arranged adjacent to each other overlap, and the size of the overlapping area is the video Arranging to be larger than the size of the partial video displayed by the presentation device;
By the distribution server,
Receiving a plurality of images captured by the plurality of image capturing units;
By the video presentation device,
Receiving a video range to be viewed from a viewer, identifying a video shooting unit shooting the video range, and specifying a cutout range to be cut out from the video shot by the video shooting unit;
Transmitting the specified information of the video photographing unit to the distribution server;
By the distribution server,
Receiving information of a video shooting unit that is shooting the video range that the viewer desires to watch;
Instructing a video to be selected from the plurality of videos based on information of the video shooting unit;
Based on the instructions, selecting a video from the plurality of videos to create one stream video, and when the selected video is switched, superimposing an identifier indicating that the video has switched;
Delivering the stream video to the video presentation device;
By the video presentation device,
Receiving the stream video;
Extracting the identifier superimposed on the stream video and indicating that the video has switched;
Instructing a partial video to be cut out from the stream video based on the information on the cutout area specified and the information on the identifier indicating that the extracted video has been switched,
The switching timing of the video capturing unit that is the cut-out source is matched with the switching timing of the extracted video capturing unit, and the position of the extraction range associated with the information of the video capturing unit is extracted from the stream video Steps,
And a step of displaying the cut out partial video.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013134272A JP5960096B2 (en) | 2013-06-26 | 2013-06-26 | Video distribution system and video distribution method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013134272A JP5960096B2 (en) | 2013-06-26 | 2013-06-26 | Video distribution system and video distribution method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015012337A JP2015012337A (en) | 2015-01-19 |
JP5960096B2 true JP5960096B2 (en) | 2016-08-02 |
Family
ID=52305176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013134272A Expired - Fee Related JP5960096B2 (en) | 2013-06-26 | 2013-06-26 | Video distribution system and video distribution method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5960096B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000050234A (en) * | 1998-07-27 | 2000-02-18 | Fujitsu General Ltd | Remote supervisory system |
JP3951695B2 (en) * | 2001-12-11 | 2007-08-01 | ソニー株式会社 | Image distribution system and method, image distribution apparatus and method, image reception apparatus and method, recording medium, and program |
US7385624B2 (en) * | 2003-01-17 | 2008-06-10 | Nippon Telegraph And Telephone Corporation | Remote image display method, image capturing device, and method and program therefor |
JP5046995B2 (en) * | 2008-02-26 | 2012-10-10 | 日本電信電話株式会社 | Display device and distribution device |
-
2013
- 2013-06-26 JP JP2013134272A patent/JP5960096B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015012337A (en) | 2015-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5495855B2 (en) | Video processing apparatus and video processing method | |
JP6894687B2 (en) | Image processing system, image processing device, control method, and program | |
JP2015204512A (en) | Information processing apparatus, information processing method, camera, reception device, and reception method | |
JP6241802B1 (en) | Video distribution system, user terminal device, and video distribution method | |
JP2007150747A (en) | Receiving apparatus and main line image distribution apparatus | |
JP2008225600A (en) | Image display system, image transmitter, image transmission method, image display device, image display method, and program | |
JP5835932B2 (en) | Image processing apparatus and control method thereof | |
KR101446995B1 (en) | Helmet for imaging multi angle video and method thereof | |
US20180338093A1 (en) | Eye-tracking-based image transmission method, device and system | |
CN107835435B (en) | Event wide-view live broadcasting equipment and associated live broadcasting system and method | |
US20200213631A1 (en) | Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus | |
JP2012142860A (en) | Arbitrary viewpoint video processing device, control method therefor, and program | |
WO2014094537A1 (en) | Immersion communication client and server, and method for obtaining content view | |
US20220199120A1 (en) | Image processing device, image processing method, and image processing program | |
JP2017123503A (en) | Video distribution apparatus, video distribution method and computer program | |
JP6235777B2 (en) | Imaging device, imaging method and program, and display device, display method and program | |
JPH08336128A (en) | Video viewing device | |
JP5960096B2 (en) | Video distribution system and video distribution method | |
JP6660622B2 (en) | Information processing device, information processing method, camera, receiving device, receiving method | |
JP5872497B2 (en) | Video distribution system and video distribution method | |
CN116016950A (en) | Method and system for transmitting video stream | |
JP2012004991A (en) | Broadcast receiving apparatus and control method for the same | |
JP2012015788A (en) | Video receiver and control method thereof | |
JP5960095B2 (en) | Video distribution system | |
JP2012034083A (en) | Video processing apparatus and control method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160622 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5960096 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |