WO2012043357A1 - コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム - Google Patents

コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム Download PDF

Info

Publication number
WO2012043357A1
WO2012043357A1 PCT/JP2011/071570 JP2011071570W WO2012043357A1 WO 2012043357 A1 WO2012043357 A1 WO 2012043357A1 JP 2011071570 W JP2011071570 W JP 2011071570W WO 2012043357 A1 WO2012043357 A1 WO 2012043357A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
content
video
unit
videos
Prior art date
Application number
PCT/JP2011/071570
Other languages
English (en)
French (fr)
Inventor
北里　直久
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201180045982.0A priority Critical patent/CN103119957B/zh
Priority to BR112013006944A priority patent/BR112013006944A2/pt
Priority to JP2012536381A priority patent/JP6216513B2/ja
Priority to MX2013003412A priority patent/MX2013003412A/es
Priority to KR1020137007139A priority patent/KR101931390B1/ko
Priority to CA2809314A priority patent/CA2809314C/en
Priority to EP11828914.9A priority patent/EP2624551B1/en
Publication of WO2012043357A1 publication Critical patent/WO2012043357A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present disclosure relates to a content transmission device, a content transmission method, a content reproduction device, a content reproduction method, a program, and a content distribution system, and in particular, content that enables a user of the content reproduction device to view content in an arbitrary image frame.
  • the present invention relates to a transmission device, a content transmission method, a content reproduction device, a content reproduction method, a program, and a content distribution system.
  • the present disclosure has been made in view of such a situation, and enables a user to view an image captured from an arbitrary viewpoint.
  • a content transmission apparatus includes a holding unit that holds multi-view video content including a plurality of viewpoint videos simultaneously shot by a plurality of different video cameras, and each of the multi-view video contents
  • a generating unit that generates VRT (View Relation Table) including viewpoint video acquisition destination information, a supply unit that supplies the generated VRT to a content playback device, and the multi-view video content that is held
  • a broadcasting unit that broadcasts a plurality of viewpoint videos, and a distribution unit that distributes the plurality of viewpoint videos constituting the held multi-view video content via a network.
  • the generation unit may further generate the VRT including a viewpoint column type of an adjacent viewpoint video that is photographed adjacent to each viewpoint video constituting the multi-view video content.
  • the viewpoint column type can be Panorama, Theater, Parallel, or Separated.
  • the supply unit may serve as the broadcast unit or the distribution unit.
  • the content transmission method is the content transmission method of the content transmission device that supplies video content including a plurality of multi-view images simultaneously captured by a plurality of different video cameras to the content reproduction device.
  • a generation step of generating a VRT including acquisition destination information of each viewpoint video constituting the multi-view video content by a content transmission device, and a supply step of supplying the generated VRT to the content playback device are held.
  • the program according to the first aspect of the present disclosure configures the multi-view video content with a holding unit that holds multi-view video content including a plurality of viewpoint videos simultaneously shot by a plurality of different video cameras.
  • a generation unit that generates a VRT including acquisition destination information of each viewpoint video, a supply unit that supplies the generated VRT to a content playback device, and the plurality of viewpoint videos that constitute the held multi-view video content , and a distribution unit that distributes the plurality of viewpoint videos constituting the held multi-view video content via a network.
  • a VRT including acquisition source information of each viewpoint video that constitutes a multi-view video content is generated, and the generated VRT is supplied to and held in a content playback device.
  • the plurality of viewpoint videos constituting the viewpoint video content are broadcast, and the plurality of viewpoint videos constituting the held multi-view video content are distributed via the network.
  • a content playback apparatus configures the multi-view video content in a content playback apparatus that plays back multi-view video content including a plurality of viewpoint videos simultaneously shot by a plurality of different video cameras.
  • An acquisition unit that acquires VRT including acquisition information of each viewpoint video, an input unit that inputs a viewpoint movement operation from a user, and the input viewpoint among a plurality of viewpoint videos constituting the multi-view video content
  • a receiving unit that receives a plurality of viewpoint videos corresponding to a movement operation based on the VRT, and a generation unit that generates a video corresponding to the viewpoint movement operation based on the received plurality of viewpoint videos.
  • the acquired VRT may further include a viewpoint column type of an adjacent viewpoint video captured adjacent to each viewpoint video constituting the multi-view video content.
  • the viewpoint column type may be Panorama, Theater, Parallel, or Separated.
  • the generation unit connects the plurality of received viewpoint videos to cut out a predetermined region, thereby generating the viewpoint. Generates a video corresponding to the movement operation, and supports the viewpoint movement operation by interpolation processing using the plurality of viewpoint videos received when the viewpoint column type of the plurality of viewpoint videos received is Theater. Can be generated.
  • the reception unit receives a plurality of viewpoint videos corresponding to the input viewpoint movement operation from a plurality of viewpoint videos constituting the video content from a broadcast signal or from a content transmission apparatus via a communication network. Can be acquired.
  • the input unit may include a viewpoint moving button corresponding to a viewpoint column type of an adjacent viewpoint video that is captured adjacent to each viewpoint video that constitutes the multi-view video content included in the acquired VRT. .
  • a content playback method is a content playback method of a content playback device that plays back multi-view video content including a plurality of viewpoint videos simultaneously shot by a plurality of different video cameras.
  • a program provides a computer that reproduces multi-view video content including a plurality of viewpoint videos simultaneously shot by a plurality of different video cameras, and performs a program for each viewpoint video constituting the multi-view video content.
  • the acquisition section that acquires VRT including the acquisition destination information
  • the input section that inputs the viewpoint movement operation from the user
  • a receiving unit that receives a plurality of the viewpoint videos based on the VRT
  • a generation unit that generates a video corresponding to the viewpoint moving operation based on the received plurality of viewpoint videos.
  • a VRT including acquisition destination information of each viewpoint video configuring the multi-view video content is acquired, and a viewpoint movement operation from the user is input, and a plurality of the multiple viewpoint video contents are configured.
  • a plurality of the viewpoint videos corresponding to the input viewpoint movement operation are received based on the VRT, and a video corresponding to the viewpoint movement operation based on the received plurality of viewpoint videos Is generated.
  • a content distribution system is a content distribution system including a content transmission device and a content reproduction device, wherein the content transmission device includes a plurality of viewpoint videos simultaneously captured by a plurality of different video cameras.
  • a broadcasting unit that broadcasts the plurality of viewpoint videos constituting the held multi-view video content, and the plurality of viewpoint videos constituting the held multi-view video content are distributed via a network. And a distribution unit.
  • the content playback device may acquire the VRT, an input unit that inputs a viewpoint movement operation from a user, and the viewpoint that is input among a plurality of viewpoint videos that form the multi-view video content
  • a receiving unit that receives a plurality of viewpoint videos corresponding to a movement operation based on the VRT, and a generation unit that generates a video corresponding to the viewpoint movement operation based on the received plurality of viewpoint videos.
  • the content transmission device generates a VRT including acquisition source information of each viewpoint video configuring the multi-view video content, and the generated VRT is supplied to the content playback device and held
  • the plurality of viewpoint videos constituting the multi-view video content being broadcast are broadcast, and the plurality of viewpoint videos constituting the multi-view video content being held are distributed via a network.
  • the content playback apparatus acquires the VRT, receives a viewpoint movement operation from a user, and among a plurality of viewpoint videos constituting the multi-view video content, a plurality of viewpoints corresponding to the input viewpoint movement operation are input.
  • the viewpoint video is received based on the VRT, and a video corresponding to the viewpoint moving operation is generated based on the plurality of received viewpoint videos.
  • video content that can be viewed in a state of being captured from an arbitrary viewpoint can be supplied to the reception side.
  • the third aspect of the present disclosure it is possible to view an image captured in a viewpoint arbitrarily determined by the viewer.
  • FIG. 1 It is a figure which shows an example of the reference information for acquiring VRT. It is a figure which shows the example of a description of reference information. It is a figure which shows an example of VRT. It is a figure which shows the example of description of VRT. It is a block diagram which shows the structural example of a receiver. It is a flowchart explaining a multiview video reception process. It is a figure which shows the example of a viewpoint movement button. It is a figure which shows the screen transition according to operation with respect to a viewpoint movement button. It is a block diagram which shows the structural example of a computer.
  • Embodiment> [Outline of multi-view video content viewing system] An overview of a multi-view video content viewing system according to an embodiment of the present disclosure will be described.
  • one video content is composed of a plurality of viewpoint videos taken from a plurality of different camera positions, and on the receiving side, an arbitrary range is cut out from each viewpoint video, or a plurality of viewpoint videos are viewed.
  • By connecting or interpolating the images it is possible to view a video image taken at an arbitrary viewpoint.
  • a plurality of viewpoint videos constituting the multi-view video content do not necessarily have the same resolution and encoding format.
  • the multi-view video content may be configured such that the entire period is composed of a plurality of viewpoint videos, or only a part of the period is configured of a plurality of viewpoint videos.
  • Multi-view video content consisting of a plurality of viewpoint videos is held on the transmission side.
  • a shooting target is shot from the front, representing the multi-view video content.
  • One viewpoint video is the default (entry).
  • Each viewpoint video is broadcasted or distributed on a different transmission path (Broadcast Stream in television broadcasting, Internet Stream in network distribution).
  • multi-view video content can be obtained by arranging a plurality of video cameras at the same camera position and simultaneously shooting in different directions.
  • the video content is composed of the viewpoint columns of Panorama
  • the number of video cameras used for shooting is arbitrary. If the shooting angle of view per unit is widened using fewer video cameras, the frequency of execution of processing for connecting two viewpoints on the receiving side can be reduced. On the other hand, if the shooting angle of view per unit is narrowed by using more video cameras, image quality degradation such as distortion that may occur in the interpolated video can be suppressed.
  • FIG. 2 shows a state in which Panorama viewpoint rows V0 to V7 constituting the video content are connected in the horizontal direction.
  • the viewpoint columns V0 to V7 can be selected and viewed, but also the image frame extending over the two viewpoint columns V2 and V3 can be specified and viewed.
  • the viewpoint video V4 when a viewing image frame occupying only the viewpoint video V4 is designated, only the viewpoint video V4 is received and decoded.
  • the viewpoint images V2 and V3 are received, decoded and connected, and the viewing image frame is cut out.
  • the multi-view video content is obtained by providing a plurality of camera positions (viewpoints) on the circumference surrounding the shooting target and shooting the shooting target simultaneously from each camera position.
  • nine camera positions C0 to C8 are provided on the circumference surrounding the subject to be photographed, and Theater viewpoint rows V0 to V8 are obtained by simultaneously photographing from each of them.
  • the receiving side not only can one view viewpoints V0 to V8 photographed from different camera positions C0 to C8 on the same circumference, but any position on the same circumference different from the camera positions C0 to C8. Can be viewed by interpolating the video as it was taken from. For example, in order to view an image captured between the camera position C2 and the camera position C4, the viewpoint images V2 and V4 are received and decoded, and a desired image is generated by interpolation processing using the viewpoint images V2 and V4.
  • the viewpoint images V2 and V4 are received and decoded, and a desired image is generated by interpolation processing using the viewpoint images V2 and V4.
  • the multi-view video content is obtained by providing a plurality of camera positions (viewpoints) on a straight line facing the shooting target and shooting simultaneously so that the shooting directions from the camera positions are parallel.
  • five camera positions C0 to C4 are provided on a straight line, and parallel viewpoint columns V0 to V4 are obtained by simultaneously capturing images from each of them.
  • the receiving side not only can one view viewpoint V0 to V4 taken from different camera positions C0 to C4 on a straight line, but also a picture taken from an arbitrary linear position different from camera positions C0 to C4. Can be interpolated and viewed. For example, in order to view an image captured from between the camera position C1 and the camera position C2, the multi-view images V1 and V2 are received and decoded, and a desired image is generated by interpolation processing using them.
  • the multi-view video content is obtained by shooting the shooting target from camera positions that are discretely provided from other camera positions without regularity.
  • the camera positions C0, C1, and C2 are disposed on the same circumference, and the camera position C10 is disposed above the camera position C0. Since the camera positions C20 are discretely provided without regularity, the viewpoint column types of the viewpoint columns V10 and V20 photographed from the camera positions C10 and C20 are separated.
  • one multi-view video content may be configured by mixing a plurality of viewpoint columns having different viewpoint column types.
  • FIG. 6 illustrates a configuration example of a multi-view video content viewing system that is an embodiment of the present disclosure.
  • the multi-view video content viewing system 10 includes a transmission device 20 and reception devices 30-1 to 30-n connected to the transmission device 20 via the Internet 11.
  • reception devices 30-1 to 30-n are simply referred to as the receiving device 30.
  • the transmission device 20 includes a content holding unit 21, a VRT generation unit 22, a broadcast unit 23, and a transmission unit 24.
  • the content holding unit 21 holds multi-viewpoint video content composed of a plurality of viewpoint videos.
  • the VRT generating unit 22 generates a VRT (View Relation Table) necessary for receiving each viewpoint video on the receiving side, and outputs the generated VRT to the broadcasting unit 23 or the transmitting unit 24.
  • the VRT contains information such as the viewpoint column type of each of the multiple viewpoint videos that make up the multi-view video content, and the acquisition URL (Broadcast Stream or Internet Stream URL). Details of VRT will be described later with reference to FIGS.
  • the broadcast unit 23 reads a predetermined one (for example, a default (entry) viewpoint video) out of a plurality of viewpoint videos constituting the multi-view video content held in the content holding unit 21, and serves as a Broadcast Stream. To broadcast. That is, it is broadcast as a television program via the broadcast network 12.
  • the broadcast unit 23 stores the generated VRT at a predetermined position of the broadcast signal and broadcasts it.
  • the transmission unit 24 shoots from a representative camera position such as a viewpoint video other than a predetermined one (default (entry)) among a plurality of viewpoint videos constituting the multi-view video content held in the content holding unit 21. Are distributed as Internet Stream via the Internet 11. Further, the transmitting unit 24 transmits the generated VRT to the requesting receiving device 30-i via the Internet 11 in response to a request from the receiving device 30-i.
  • all the viewpoint videos constituting the multi-viewpoint video content may be broadcast via the broadcast network 12 as a Broadcast Stream.
  • all the viewpoint videos constituting the multi-viewpoint video content may be distributed as Internet ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ Stream via the Internet 11.
  • all or some of the viewpoint videos constituting the multi-viewpoint video content may be supplied to the receiving side in a state of being recorded in a storage medium such as a BD (blu-ray disc).
  • FIG. 7 shows VRT transmission timing when the entire period of the multi-view video content is composed of a plurality of viewpoint videos.
  • VRT is prepared for video content.
  • This VRT may be supplied to the receiving side before the start of video content broadcasting. More specifically, VRT or reference information including the acquisition destination of VRT may be described in EIT (Event Information Table) or PMT (Program Map Table) of a television broadcast signal.
  • EIT Event Information Table
  • PMT Program Map Table
  • a kind of metafile acquired before reproducing the video content such as CAD or ERI (Entry Resource Information)
  • the reference information including the VRT and the acquisition destination may be notified to the receiving side.
  • FIG. 8 shows VRT transmission timing when a part of the period of the video content is composed of multi-view videos, that is, a plurality of viewpoint videos.
  • a VRT is prepared for each of two periods (hereinafter also referred to as multi-view segments) in which a multi-view video is composed of a plurality of viewpoint videos.
  • This VRT may be supplied to the receiving side before the start timing of the multi-view segment.
  • reference information including the VRT acquisition source corresponding to the segment may be described in the PMT of the television broadcast signal.
  • VRT as a kind of metafile (for example, CAD or ERI) acquired before playing the video content, and its acquisition Reference information including the destination may be notified to the receiving side.
  • CAD CAD or ERI
  • FIG. 9 shows an example of reference information including a VRT acquisition destination supplied to the receiving side
  • FIG. 10 shows a specific description example of the reference information.
  • Multi-viewpoints are provided as many as the number of multi-view segments in one video content. For example, in the case of FIG. 8, two Multi-viewpoints are described.
  • Multi-viewpoints has 3 elements: @startNPT, @endNPT, and @info.
  • startNPT the start time position of the multi-viewpoint segment is described by NPT (Normal Play Time).
  • endNPT the end time position of the multi-view segment is described by NPT.
  • @info a URL indicating the acquisition destination of the corresponding VRT is described.
  • FIG. 11 shows an example of a VRT
  • FIG. 12 shows a description example of a VRT corresponding to video content shot in the situation shown in FIG.
  • the View_object element is information related to each viewpoint video constituting the multi-view video content, and is described by the number of viewpoints.
  • View_object has seven attributes, id, name, cut, format, resolution_h, resolution_v, and location.
  • the id attribute of View_object describes identification information for the viewpoint in the multi-view video.
  • name attribute a name for the viewpoint video is described.
  • cut attribute whether or not partial cutting from the viewpoint video is possible is described.
  • format attribute describes the encoding format of the viewpoint video.
  • the resolution in the horizontal direction of the viewpoint video is described in the resolution_h attribute.
  • the resolution_v attribute describes the vertical resolution of the viewpoint video.
  • @location the acquisition destination URL of the viewpoint video is described.
  • a neighbor_view element indicating information on the viewpoint video captured at the camera position adjacent to the camera position where the viewpoint video corresponding to View_object is captured is described as a child element.
  • the neighbor_view element has four attributes, an id attribute, a type attribute, a direction attribute, and a distance attribute.
  • identification information of a viewpoint video (hereinafter referred to as an adjacent viewpoint video) captured at a camera position adjacent to the camera position where the viewpoint video corresponding to the View_object element of the parent element is captured is described.
  • an adjacent viewpoint video a viewpoint video captured at a camera position adjacent to the camera position where the viewpoint video corresponding to the View_object element of the parent element is captured.
  • a viewpoint column type between adjacent viewpoints is described.
  • the direction attribute describes the direction of the camera position at which the adjacent viewpoint video is captured with respect to the camera position at which the multi-view video corresponding to the View_object element is captured.
  • the distance attribute describes the distance or angle of the camera position at which the adjacent viewpoint video is captured with respect to the camera position at which the multi-view video corresponding to the View_object element is captured.
  • FIG. 13 shows a configuration example of the playback device 30.
  • the playback device 30 includes an operation input unit 31, a control unit 32, a tuner 33, a demultiplexing unit (DEMUX) 34, video decoders 35-1 and 35-2, audio decoders 36-1 and 36-2, a video processing unit 37, An audio processing unit 38, a communication interface (I / F) 39, a VRT analysis unit 40, streaming receiving units 41-1 and 41-2, and a synchronization control unit 42 are provided.
  • DEMUX demultiplexing unit
  • the operation input unit 31 includes, for example, a remote controller and a receiving unit (both not shown), and receives a user operation and notifies the control unit 32 of the operation. Specifically, a user operation for selecting video content, specifying the position and size of an image frame in the video content, or specifying a viewpoint (camera position) is received and notified to the control unit 32.
  • the control unit 32 controls each unit of the receiving device 30 in accordance with a user operation input using the operation input unit 31.
  • the tuner 33 receives a broadcast signal (Broadcast Stream) of a viewpoint video set as a default (entry) from a television broadcast signal broadcast via the broadcast network 12, and outputs it to the demultiplexing unit 34.
  • the streaming receiving units 41-1 and 41-2 receive the streaming data (Internet Stream) of the multi-view video from the transmission device 20 via the communication I / F 39 and the Internet 11, and output them to the demultiplexing unit 34.
  • the demultiplexing unit 34 separates reference information for acquiring VRT or VRT included in the PMT, EIT, etc. from the broadcast signal input from the tuner 33 and supplies it to the VRT analyzing unit 40.
  • the demultiplexing unit 34 separates the video encoded data and the audio encoded data from the broadcast signal input from the tuner 33 and the streaming data input from the streaming receiving unit 41.
  • the demultiplexing unit 34 can process at least two types of streaming data at the same time.
  • the separated video encoded data is input to the video decoder 35-1 or 35-2, and the separated audio encoded data is input to the audio decoder 36-1 or 36-2.
  • the video decoders 35-1 and 35-2 decode the input video encoded data, and output the video signal of each viewpoint video obtained as a result to the video processing unit 37.
  • the audio decoders 36-1 and 36-2 decode the input audio encoded data, and output the audio signal of each viewpoint obtained as a result to the audio processing unit 38.
  • the video processing unit 37 connects two video signals input from the video decoders 35-1 and 35-2 (corresponding to two viewpoint videos having adjacent camera positions) to cut out a predetermined area, By interpolating the video corresponding to the viewpoint or superimposing video such as operation buttons serving as a user interface, a video signal to be presented by the user is generated and output to a subsequent monitor (not shown).
  • the audio processing unit 38 synthesizes two audio signals (corresponding to two viewpoint images having adjacent camera positions) input from the audio decoders 36-1 and 36-2, thereby providing audio for presentation by the user. A signal is generated and output to a subsequent monitor (not shown).
  • the communication I / F 39 is connected to the transmission device 20 via the Internet 11.
  • the VRT analysis unit 40 acquires the VRT from the transmission device 20 via the communication I / F 39 and the Internet 11 according to the reference information. Further, the VRT analysis unit 40 analyzes the VRT supplied from the demultiplexing unit 34 or acquired by itself, and outputs the analysis result to the control unit 32.
  • the synchronization controller 42 operates the video decoders 35-1 and 35-2, the audio decoders 36-1 and 36-2, the video processor 37, the audio processor 38, and the streaming receivers 41-1 and 41-2. Control to synchronize.
  • FIG. 14 is a flowchart illustrating multi-view video reception processing by the reception device 30.
  • the receiving device 30 has already received the default viewpoint video of the video content being broadcast via the broadcast network 12 as a television program.
  • step S ⁇ b> 1 the VRT analysis unit 40 is supplied from the demultiplexing unit 34 or acquires VRT reference information and VRT by itself, analyzes it, and outputs an analysis result to the control unit 32.
  • step S2 the control unit 32 determines whether or not the progress position of the received video content is a multi-viewpoint segment.
  • step S If it is determined that the progress position of the received video content is not a multi-viewpoint segment, the process proceeds to step S3.
  • step S ⁇ b> 3 if the viewpoint moving button is displayed on the video of the received video content according to the control from the control unit 32, the video processing unit 37 hides it. If the viewpoint movement button is not displayed, nothing is done. Thereafter, the process returns to step S2, and the subsequent steps are repeated.
  • step S2 If it is determined in step S2 that the progress position of the received video content is a multi-view segment, the process proceeds to step S4.
  • step S ⁇ b> 4 the video processing unit 37 displays the viewpoint moving button if it is not displayed on the video of the received video content according to the control from the control unit 32. If the viewpoint movement button is displayed, the display is maintained.
  • FIG. 15 shows an example of 12 types of viewpoint movement buttons. Note that which of the plurality of viewpoint movement buttons is displayed is determined based on the type attribute and the direction attribute of the neighbor_view element included in the View_object element of the received viewpoint video with reference to the VRT.
  • the viewpoint column type is Panorama, Theater, or Parallel
  • the movement amount of the viewpoint is determined according to the pressing time or the number of pressing times of the corresponding viewpoint movement button.
  • step S ⁇ b> 5 the control unit 32 determines whether the viewpoint movement button has been operated by the user based on the input from the operation input unit 31. If the viewpoint movement button has not been operated, the process returns to step S2, and the subsequent steps are repeated.
  • step S6 the control unit 32 determines whether the viewpoint column type for the destination viewpoint video is Separated based on the operated viewpoint movement button. If it is Separated, the process proceeds to step S7. In step S7, the control unit 32 controls each unit to receive and decode the destination viewpoint video, and output the video signal to the subsequent stage. Thereafter, the process returns to step S2, and the subsequent steps are repeated.
  • step S6 If it is determined in step S6 that the viewpoint column type for the destination viewpoint video is not Separated, the process proceeds to step S8.
  • step S ⁇ b> 8 the control unit 32 calculates the viewpoint movement amount based on the pressing time or the number of times the viewpoint moving button is pressed, and determines the destination viewpoint position.
  • step S ⁇ b> 9 the control unit 32 determines based on the VRT whether or not there is a viewpoint video actually shot at the destination viewpoint position, so that the destination viewpoint position is interpolation required. Determine whether.
  • step S10 the control unit 32 controls each unit to receive and decode the viewpoint video corresponding to the destination viewpoint position, and output the video signal to the subsequent stage. Thereafter, the process returns to step S2, and the subsequent steps are repeated.
  • step S9 If it is determined in step S9 that there is no viewpoint video actually shot at the destination viewpoint position, and it is determined that the destination viewpoint position requires interpolation, the process proceeds to step S11.
  • step S11 the control unit 32 controls each unit to receive and decode two multi-viewpoint images respectively captured at actual camera positions sandwiching the destination viewpoint position therebetween, and the two video signals. Is output to the video processing unit 37.
  • step S12 the video processing unit 37 generates a video image captured at the viewpoint position based on the viewpoint column type and the viewpoint position of the two input video signals, and outputs the video signal obtained as a result to the subsequent stage. Output and display.
  • the viewpoint column type of two video signals is Panorama or Parallel
  • the two video signals are connected in the horizontal direction, and an image frame corresponding to the viewpoint position is cut out.
  • the viewpoint column type of two video signals is Theater
  • a video corresponding to the viewpoint position is generated by interpolation processing based on the two video signals.
  • An arbitrary method can be used for this interpolation processing, but for example, the method proposed by the present applicant as Japanese Patent Application No. 2010-274808 may be applied.
  • step S2 the process returns to step S2, and the subsequent steps are repeated. This is the end of the description of the multi-view video reception process.
  • FIG. 16 shows an example of screen transition in response to a user operation on the viewpoint movement button in the multi-view video reception process.
  • the default (entry) multi-view video as shown in FIG. A when the default (entry) multi-view video as shown in FIG. A is received and the progress position of the video content becomes a multi-view segment, the default (entry) is shown in FIG. A viewpoint movement button is displayed on the multi-view video of (entry).
  • the viewpoint column type is Theater, and a viewpoint movement button that can move the viewpoint position to the left side or the right side is displayed.
  • the screen image is changed to a state where the viewpoint position has moved to the left side on a concentric circle.
  • the viewpoint row type is “Theater”, and a viewpoint movement button that moves the viewpoint position to the right side, that is, returns to the state in FIG.
  • the viewpoint row type is “Theater”, and a viewpoint movement button that moves the viewpoint position to the left side, that is, returns to the state in FIG.
  • Scenario 1 The 360 ° panorama of the four-wheel drive vehicle running on the Kenyan savanna is photographed and broadcast as a multi-view video of the viewpoint column type Panorama.
  • the viewer of this program can change the video in an arbitrary direction and discover wild animals present in the surroundings.
  • Scenario 2 The show performed at the Amphitheater in Las Vegas was shot as a multi-viewpoint video with a viewpoint column type of Theater using a video camera arranged at regular intervals along the central aisle arranged in a circle around the auditorium. To broadcast. The viewer of this program can view a video in a state where the stage is viewed from an arbitrary position in the central passage.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.
  • FIG. 17 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 105 is further connected to the bus 104.
  • the input / output interface 105 includes an input unit 106 including a keyboard, a mouse, and a microphone, an output unit 107 including a display and a speaker, a storage unit 108 including a hard disk and a non-volatile memory, and a communication unit 109 including a network interface.
  • a drive 110 for driving a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
  • the CPU 101 loads the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program, as described above. A series of processing is performed.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the program may be processed by a single computer or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • system represents the entire apparatus composed of a plurality of apparatuses.
  • 10 multi-view video content viewing system 11 Internet, 12 broadcast network, 20 transmission device, 21 content holding unit, 22 VRT generation unit, 23 broadcast unit, 24 transmission unit, 30 reception device, 31 operation input unit, 32 control unit, 33 tuner, 34 demultiplexing unit, 35 video decoder, 36 audio decoder, 37 video processing unit, 38 audio processing unit, 39 communication I / F, 40 VRT analysis unit, 41 streaming receiving unit, 42 synchronization control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本発明は、任意の視点で撮像された状態の映像を視聴させることができるコンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生時方法、プログラム、およびコンテンツ配信システムに関する。 本開示のコンテンツ送信装置は、異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを保持する保持部と、前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRT(View Relation Table)を生成する生成部と、生成された前記VRTをコンテンツ再生装置に供給する供給部と、保持されている前記多視点映像コンテンツを構成する前記単数または複数の視点映像を放送する放送部と、保持されている前記多視点映像コンテンツを構成する前記単数または複数の視点映像をネットワークを介して配信する配信部とを備える。本開示は、放送とインターネットを介したコンテンツ配信システムに適用できる。

Description

コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム
　本開示は、コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生時方法、プログラム、およびコンテンツ配信システムに関し、特に、コンテンツ再生装置のユーザが任意の画枠でコンテンツを視聴できるようにしたコンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生時方法、プログラム、およびコンテンツ配信システムに関する。
　従来、テレビジョン放送やインターネットを介するビデオオンデマンドなどに代表される映像コンテンツ配信サービスにおいては、視聴者は放送側が制作した画枠でのみ、映像コンテンツを視聴することができる。
　なお、DVD(digital versatile disc)やBD(blu-ray disc)などのパッケージメディアを用いた映像コンテンツには、撮影対象となるスポーツイベントやコンサート会場などを、異なる複数の視点（アングル）から撮影した複数の映像が収録されているもの（いわゆる、マルチアングル）が存在する（例えば、特許文献１参照）。
　マルチアングル対応の映像コンテンツを再生する場合、視聴者は、それら複数の映像のうちのいずれかを選択して視聴できる。ただし、マルチアングル対応の映像コンテンツの場合であっても、任意の画枠、すなわち、任意の視点から撮影された状態の映像を視聴できるわけではない。
特開２００９－１３５９４６号公報
　ところで、映像コンテンツに対しては、放送された画枠の映像や、予め用意されているマルチアングルの映像を選択するだけでなく、各視聴者の嗜好に応じた任意の視点で撮影された映像を視聴できるような視聴形態の出現が望まれている。
　具体的には、例えば、いま画面に表示されている場面（被写体）の右隣の、いま画面に表示されていない場面を観たいとか、いま画面に表示されている場面（被写体）を真横から観たいなどの要求がある。
　本開示はこのような状況に鑑みてなされたものであり、任意の視点で撮像された状態の映像を視聴できるようにするものである。
　本開示の第１の側面であるコンテンツ送信装置は、異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを保持する保持部と、前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRT(View Relation Table)を生成する生成部と、生成された前記VRTをコンテンツ再生装置に供給する供給部と、保持されている前記多視点映像コンテンツを構成する前記複数の視点映像を放送する放送部と、保持されている前記多視点映像コンテンツを構成する前記複数の視点映像をネットワークを介して配信する配信部とを備える。
　前記生成部は、さらに、前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の視点列タイプを含む前記VRTを生成することができる。
　前記視点列タイプは、Panorama、Theater、Parallel、またはSeparatedとすることができる。
　前記供給部は、前記放送部または前記配信部が兼ねるようにすることができる。
　本開示の第１の側面であるコンテンツ送信方法は、異なる複数のビデオカメラにより同時に撮影された複数の多視点映像から成る映像コンテンツをコンテンツ再生装置に供給するコンテンツ送信装置のコンテンツ送信方法において、前記コンテンツ送信装置による、前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRTを生成する生成ステップと、生成された前記VRTをコンテンツ再生装置に供給する供給ステップと、保持されている前記多視点映像コンテンツを構成する前記複数の視点映像を放送する放送ステップと、保持されている前記多視点映像コンテンツを構成する前記複数の視点映像をネットワークを介して配信する配信ステップとを含む。
　本開示の第１の側面であるプログラムは、コンピュータを、異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを保持する保持部と、前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRTを生成する生成部と、生成された前記VRTをコンテンツ再生装置に供給する供給部と、保持されている前記多視点映像コンテンツを構成する前記複数の視点映像を放送する放送部と、保持されている前記多視点映像コンテンツを構成する前記複数の視点映像をネットワークを介して配信する配信部として機能させる。
　本開示の第１の側面においては、多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRTが生成され、生成された前記VRTがコンテンツ再生装置に供給され、保持されている前記多視点映像コンテンツを構成する前記複数の視点映像が放送され、保持されている前記多視点映像コンテンツを構成する前記複数の視点映像がネットワークを介して配信される。
　本開示の第２の側面であるコンテンツ再生装置は、異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを再生するコンテンツ再生装置において、前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRTを取得する取得部と、ユーザからの視点移動操作を入力する入力部と、前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する複数の前記視点映像を前記VRTに基づいて受信する受信部と、受信された複数の前記視点映像を元にして前記視点移動操作に対応する映像を生成する生成部とを備える。
　取得された前記VRTには、さらに、前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の視点列タイプが含まれているようにすることができる。
　前記視点列タイプは、Panorama、Theater、Parallel、またはSeparatedとされているようにすることができる。
　前記生成部は、受信された複数の前記視点映像の前記視点列タイプがPanorama、またはParallelである場合、受信された複数の前記視点映像を連結して所定の領域を切出すことにより、前記視点移動操作に対応する映像を生成し、受信された複数の前記視点映像の前記視点列タイプがTheaterである場合、受信された複数の前記視点映像を用いた補間処理により、前記視点移動操作に対応する映像を生成することができる。
　前記受信部は、前記映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する複数の前記視点映像を放送信号から受信するか、通信網を介してコンテンツ送信装置から取得することができる。
　前記入力部は、取得された前記VRTに含まれる、前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の視点列タイプに応じた視点移動ボタンから成ることができる。
　本開示の第２の側面であるコンテンツ再生方法は、異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを再生するコンテンツ再生装置のコンテンツ再生方法において、コンテンツ再生装置による、前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRTを取得する取得ステップと、ユーザからの視点移動操作を入力する入力ステップと、前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する複数の前記視点映像を前記VRTに基づいて受信する受信ステップと、受信された複数の前記視点映像を元にして前記視点移動操作に対応する映像を生成する生成ステップとを含む。
　本開示の第２の側面であるプログラムは、異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを再生するコンピュータを、前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRTを取得する取得部と、ユーザからの視点移動操作を入力する入力部と、前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する複数の前記視点映像を前記VRTに基づいて受信する受信部と、受信された複数の前記視点映像を元にして前記視点移動操作に対応する映像を生成する生成部として機能させる。
　本開示の第２の側面においては、多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRTが取得され、ユーザからの視点移動操作が入力され、前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する複数の前記視点映像が前記VRTに基づいて受信され、受信された複数の前記視点映像を元にして前記視点移動操作に対応する映像が生成される。
　本開示の第３の側面であるコンテンツ配信システムは、コンテンツ送信装置とコンテンツ再生装置からなるコンテンツ配信システムにおいて、前記コンテンツ送信装置が、異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを保持する保持部と、前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRTを生成する生成部と、生成された前記VRTを前記コンテンツ再生装置に供給する供給部と、保持されている前記多視点映像コンテンツを構成する前記複数の視点映像を放送する放送部と、保持されている前記多視点映像コンテンツを構成する前記複数の視点映像をネットワークを介して配信する配信部とを備える。また、前記コンテンツ再生装置が、前記VRTを取得する取得部と、ユーザからの視点移動操作を入力する入力部と、前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する複数の前記視点映像を前記VRTに基づいて受信する受信部と、受信された複数の前記視点映像を元にして前記視点移動操作に対応する映像を生成する生成部とを備える。
　本開示の第３の側面においては、コンテンツ送信装置により、多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRTが生成され、生成された前記VRTがコンテンツ再生装置に供給され、保持されている前記多視点映像コンテンツを構成する前記複数の視点映像が放送され、保持されている前記多視点映像コンテンツを構成する前記複数の視点映像がネットワークを介して配信される。また、コンテンツ再生装置により、前記VRTが取得され、ユーザからの視点移動操作が入力され、前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する複数の前記視点映像が前記VRTに基づいて受信され、受信された複数の前記視点映像を元にして前記視点移動操作に対応する映像が生成される。
　本開示の第１の側面によれば、任意の視点で撮像された状態で視聴可能な映像コンテンツを受信側に供給することができる。
　本開示の第２の側面によれば、任意の視点で撮像された状態の映像を視聴することができる。
　本開示の第３の側面によれば、視聴者が任意に決定した視点で撮像された状態の映像を視聴させることができる。
View Relation Type=1(Panorama)を説明する図である。 Panoramaの映像コンテンツを構成する複数の多視点映像を横方向に連結した状態を示す図である。 View Relation Type=2(Theater)を説明する図である。 View Relation Type=3(Parallel)を説明する図である。 View Relation Type=4(Separated)を説明する図である。 本開示を適用した多視点映像コンテンツ視聴システムの構成例を示すブロック図である。 映像コンテンツの全期間において多視点映像が用意されている場合のVRTの送信タイミングを示す図である。 映像コンテンツの一部期間において多視点映像が用意されている場合のVRTの送信タイミングを示す図である。 VRTを取得するための参照情報の一例を示す図である。 参照情報の記述例を示す図である。 VRTの一例を示す図である。 VRTの記述例を示す図である。 受信装置の構成例を示すブロック図である。 多視点映像受信処理を説明するフローチャートである。 視点移動ボタンの例を示す図である。 視点移動ボタンに対する操作に応じた画面遷移を示す図である。 コンピュータの構成例を示すブロック図である。
　以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
　＜１．実施の形態＞
［多視点映像コンテンツ視聴システムの概要］
　本開示の実施の形態である多視点映像コンテンツ視聴システムの概要について説明する。多視点映像コンテンツ視聴システムは、１つの映像コンテンツを異なる複数のカメラ位置から撮影した複数の視点映像で構成するようにし、受信側において、各視点映像から任意の範囲を切出したり、複数の視点映像を連結したり、補間したりすることにより、任意の視点で撮像された状態の映像を視聴できるようにするものである。多視点映像コンテンツを構成する複数の視点映像は、その解像度や符号化フォーマットが必ずしも同一である必要はない。
　なお、多視点映像コンテンツは、全期間が複数の視点映像により構成されているようにしてもよいし、その一部期間だけが複数の視点映像により構成されているようにしてもよい。
　複数の視点映像から成る多視点映像コンテンツは送信側に保持されており、多視点映像コンテンツを構成する複数の視点映像のうち、当該多視点映像コンテンツを代表する、例えば撮影対象を正面から撮影している１つの視点映像がデフォルト（エントリ）とされる。各視点映像は、それぞれ異なる伝送路（テレビジョン放送におけるBroadcast Stream、ネットワーク配信におけるInternet Stream）で放送または配信される。
　多視点映像コンテンツを構成する複数の視点映像の関係性は、４種類の視点列タイプ、View Relation Type=1(Panorama)、View Relation Type=2(Theater)、View Relation Type=3(Parallel)、またはView Relation Type=4(Separated)に分類される。
　図１は、View Relation Type=1(Panorama)の視点列から成る多視点映像コンテンツの撮影時の状況を示している。この場合多視点映像コンテンツは、同一のカメラ位置に複数のビデオカメラを配置してそれぞれ異なる方向を同時に撮影することにより得られる。同図の場合、同一のカメラ位置Ｃ０乃至Ｃ７から全周囲３６０°を８等分して同時に撮影することにより、View Relation Type=1(Panorama)の視点映像Ｖ０乃至Ｖ７の視点列が得られる。
　なお、Panoramaの視点列により映像コンテンツを構成する場合、必ずしも全周囲３６０°分の視点列を揃えなくでもよい。例えば、同一のカメラ位置を中心とする半周囲１８０°分などの視点列により構成するようにしてもよい。また、撮影に用いるビデオカメラの台数についても任意である。より少ないビデオカメラを用いて１台あたりの撮影画角を広めるようにすれば、受信側にて２つの視点を連結する処理の実行頻度を減らすことができる。反対に、より多くのビデオカメラを用いて１台あたりの撮影画角を狭めるようにすれば、補間映像に生じ得る歪などの画質劣化を抑止することができる。
　図２は、映像コンテンツを構成するPanoramaの視点列Ｖ０乃至Ｖ７を横方向に連結した状態を示している。
　受信側においては、視点列Ｖ０乃至Ｖ７のいずれかを選択して視聴できるだけでなく、２つの視点列Ｖ２，Ｖ３に亘る画枠を指定して視聴することができる。例えば、同図に示されるように、視点映像Ｖ４のみを占める視聴画枠が指定された場合、視点映像Ｖ４のみが受信、デコードされる。また、視点映像Ｖ２，Ｖ３に亘る視聴画枠が指定された場合、視点映像Ｖ２，Ｖ３が受信、デコードされて連結され、視聴画枠が切出される。
　図３は、View Relation Type=2(Theater)の視点列から成る多視点映像コンテンツの撮影時の状況を示している。この場合多視点映像コンテンツは、撮影対象を囲む円周上に複数のカメラ位置（視点）を設け、各カメラ位置から同時に撮影対象を撮影することにより得られる。同図の場合、撮影対象を囲む円周上に９箇所のカメラ位置Ｃ０乃至Ｃ８を設け、それぞれから同時に撮影することによりTheaterの視点列Ｖ０乃至Ｖ８が得られる。
　受信側においては、同一円周上の異なるカメラ位置Ｃ０乃至Ｃ８から撮影された視点列Ｖ０乃至Ｖ８のいずれかを視聴できるだけでなく、カメラ位置Ｃ０乃至Ｃ８とは異なる同一円周上の任意の位置から撮影した状態の映像を補間して視聴することができる。例えば、カメラ位置Ｃ２とカメラ位置Ｃ４の間から撮影した状態の映像を視聴するためには、視点映像Ｖ２，Ｖ４が受信、デコードされて、これらを用いた補間処理により、所望の映像が生成される。
　図４は、View Relation Type=3(Parallel)の視点列から成る多視点映像コンテンツの撮影時の状況を示している。この場合多視点映像コンテンツは、撮影対象に対向する直線上に複数のカメラ位置（視点）を設け、各カメラ位置からの撮影方向が並行となるように同時に撮影することにより得られる。同図の場合、直線上に５箇所のカメラ位置Ｃ０乃至Ｃ４を設け、それぞれから同時に撮影することによりParallelの視点列Ｖ０乃至Ｖ４が得られる。
　受信側においては、直線上の異なるカメラ位置Ｃ０乃至Ｃ４から撮影された視点列Ｖ０乃至Ｖ４のいずれかを視聴できるだけでなく、カメラ位置Ｃ０乃至Ｃ４とは異なる直線状の任意の位置から撮影した状態の映像を補間して視聴することができる。例えば、カメラ位置Ｃ１とカメラ位置Ｃ２の間から撮影した状態の映像を視聴するためには、多視点映像Ｖ１，Ｖ２が受信、デコードされ、これらを用いた補間処理により、所望の映像が生成される。
　図５は、View Relation Type=4(Separated)の視点列から成る多視点映像コンテンツの撮影時の状況を示している。この場合多視点映像コンテンツは、他のカメラ位置から規則性なく離散して設けられたカメラ位置から撮影対象を撮影することにより得られる。同図の場合、５箇所のカメラ位置Ｃ０，Ｃ１，Ｃ２，Ｃ１０，Ｃ２０のうち、カメラ位置Ｃ０，Ｃ１，Ｃ２は同一円周上に配置され、カメラ位置Ｃ１０はカメラ位置Ｃ０の上方に配置され、カメラ位置Ｃ２０は規則性なく離散的に設けられているので、カメラ位置Ｃ１０，Ｃ２０から撮影された視点列Ｖ１０，Ｖ２０の視点列タイプがSeparatedとなる。
　なお、１つの多視点映像コンテンツを視点列タイプの異なる複数の視点列を混在させて構成するようにしてもよい。
［多視点映像コンテンツ視聴システムの構成例］
　次に、本開示の実施の形態である多視点映像コンテンツ視聴システムの構成例について説明する。
　図６は、本開示の実施の形態である多視点映像コンテンツ視聴システムの構成例を示している。
　この多視点映像コンテンツ視聴システム１０は、送信装置２０と、送信装置２０に対してインターネット１１を介して接続される受信装置３０－１乃至３０－ｎとで構成される。以下、受信装置３０－１乃至３０－ｎを個々に区別する必要がない場合、単に受信装置３０と称する。
　送信装置２０は、コンテンツ保持部２１、VRT生成部２２、放送部２３、および送信部２４を有する。
　コンテンツ保持部２１には、複数の視点映像から構成される多視点映像コンテンツが保持されている。VRT生成部２２は、受信側において、各視点映像を受信するために必要なVRT(View Relation Table)を生成し、放送部２３または送信部２４に出力する。
　VRTには、多視点映像コンテンツを構成する複数の各視点映像の視点列タイプ、取得先URL（Broadcast StreamまたはInternet StreamのURL）などの情報が含まれている。なお、VRTの詳細については、図７乃至図１２を参照して後述する。
　放送部２３は、コンテンツ保持部２１に保持されている、多視点映像コンテンツを構成する複数の視点映像のうち、所定のもの（例えば、デフォルト（エントリ）の視点映像など）を読み出し、Broadcast Streamとして放送する。すなわち、テレビジョン番組として放送網１２を介して放送する。また、放送部２３は、生成されたVRTを放送信号の所定の位置に格納して放送する。
　送信部２４は、コンテンツ保持部２１に保持されている、多視点映像コンテンツを構成する複数の視点映像のうち、所定のもの（デフォルト（エントリ）以外の視点映像などの代表的なカメラ位置から撮影されたもの）を読み出し、Internet Streamとしてインターネット１１を介して配信する。また、送信部２４は、受信装置３０－ｉからの要求に応じ、生成されたVRTを、インターネット１１を介して要求元の受信装置３０－ｉに送信する。
　なお、多視点映像コンテンツを構成する全ての視点映像を、Broadcast Streamとして放送網１２を介して放送するようにしてもよい。反対に、多視点映像コンテンツを構成する全ての視点映像を、Internet Streamとしてインターネット１１を介して配信するようにしてもよい。あるいは、多視点映像コンテンツを構成する全てまたは一部の視点映像をBD(blu-ray disc)などのストレージメディアに収録した状態で、受信側に供給するようにしてもよい。
[VRTについて]
　図７は、多視点映像コンテンツの全期間が複数の視点映像により構成されている場合のVRTの送信タイミングを示している。
　この場合、映像コンテンツに対して１つのVRTが用意される。このVRTは映像コンテンツの放送開始までに受信側に供給されればよい。具体的には、テレビジョン放送信号のEIT(Event Information Table)またはPMT(Program Map Table)に、VRT或いはVRTの取得先を含む参照情報を記述すればよい。
　なお、多視点映像コンテンツを構成する全ての視点映像をインターネット１１を介して配信する場合には、例えばCADまたはERI(Entry Resource Information)のような映像コンテンツを再生する前に取得するメタファイルの一種としてVRT、およびその取得先を含む参照情報を受信側に通知すればよい。
　図８は、映像コンテンツの一部期間が多視点映像つまり複数の視点映像により構成されている場合のVRTの送信タイミングを示している。
　この場合、複数の視点映像により多視点映像が構成される２つの期間（以下、多視点セグメントとも称する）のそれぞれに対してVRTが用意される。このVRTは、多視点セグメントの開始タイミングまでに受信側に供給されればよい。具体的には、テレビジョン放送信号のPMTに、セグメントに対応するVRTの取得先を含む参照情報を記述すればよい。
　なお、多視点映像コンテンツを構成する全ての視点映像をインターネット１１を介して配信する場合には、映像コンテンツを再生する前に取得するメタファイル（例えばCADまたはERI）の一種としてVRT、およびその取得先を含む参照情報を受信側に通知すればよい。
　図９は、受信側に供給されるVRTの取得先を含む参照情報の一例を示し、図１０は、参照情報の具体的な記述例を示している。
　Multi-viewpointsは、１つの映像コンテンツにおける多視点セグメントの数だけ設けられる。例えば図８の場合、２つのMulti-viewpointsが記述される。
　Multi-viewpointsには、@startNPT、@endNPT、および@infoの３要素が設けられている。@startNPTは、多視点セグメントの開始時間位置がNPT(Normal Play Time)により記述される。@endNPTには、多視点セグメントの終了時間位置がNPTにより記述される。@infoには、対応するVRTの取得先を示すURLが記述される。
　次に、図１１はVRTの一例を示し、図１２は、図５に示された状況で撮影された映像コンテンツに対応するVRTの記述例を示している。
　View_object要素は、多視点映像コンテンツを構成する各視点映像に関する情報であり、視点の数だけ記述される。View_objectには、id、name、cut、format、resolution_h、resolution_v、およびlocationの７属性が設けられている。
　View_objectのid属性は、多視点映像における当該視点に対する識別情報が記述される。name属性には、当該視点映像に対する名称が記述される。cut属性には、当該視点映像からの部分的な切出しの可否が記述される。format属性には、当該視点映像の符号化フォーマットが記述される。resolution_h属性には、当該視点映像の横方向の解像度が記述される。resolution_v属性には、当該視点映像の縦方向の解像度が記述される。＠locationには、当該視点映像の取得先URLが記述される。
　さらに、View_object要素には、View_objectに対応する当該視点映像を撮影したカメラ位置に隣接するカメラ位置で撮影された視点映像に関する情報を示すneighbor_view要素が子要素として記述される。neighbor_view要素には、id属性、type属性、direction属性、およびdistance属性の４属性が設けられている。
　neighbor_view要素のid属性には、親要素のView_object要素に対応する視点映像を撮影したカメラ位置に隣接するカメラ位置で撮影された視点映像（以下、隣接視点映像と称する）の識別情報が記述される。type属性には、隣接視点間の視点列タイプが記述される。direction属性には、View_object要素に対応する当該多視点映像を撮影したカメラ位置に対する、隣接視点映像を撮影したカメラ位置の方向が記述される。distance属性には、View_object要素に対応する当該多視点映像を撮影したカメラ位置に対する、隣接視点映像を撮影したカメラ位置の距離または角度が記述される。
［受信装置３０の構成例］
　次に、図１３は、再生装置３０の構成例を示している。再生装置３０は、操作入力部３１、制御部３２、チューナ３３、多重分離部(DEMUX)３４、ビデオデコーダ３５－１および３５－２、オーディオデコーダ３６－１および３６－２、映像処理部３７、音声処理部３８、通信インターフェース(I/F)３９、VRT解析部４０、ストリーミング受信部４１－１および４１－２、並びに同期制御部４２を有する。
　操作入力部３１は、例えばリモートコントローラとその受信部（いずれも不図示）などからなり、ユーザの操作を受け付けて制御部３２に通知する。具体的には、映像コンテンツを選択したり、映像コンテンツにおける画枠の位置やサイズを指定したり、視点（カメラ位置）を指定したりするユーザの操作を受け付けて制御部３２に通知する。
　制御部３２は、操作入力部３１を用いて入力されるユーザの操作に従い、受信装置３０の各部を制御する。チューナ３３は、放送網１２を介して放送されるテレビジョン放送信号から、デフォルト（エントリ）とされた視点映像の放送信号(Broadcast Stream)を受信して多重分離部３４に出力する。
　ストリーミング受信部４１－１および４１－２は、それぞれ通信I/F３９およびインターネット１１を介して送信装置２０から多視点映像のストリーミングデータ(Internet Stream)を受信して多重分離部３４に出力する。
　多重分離部３４は、チューナ３３から入力される放送信号から、PMT、EIT等に含まれるVRTまたはVRTを取得するための参照情報を分離してVRT解析部４０に供給する。また、多重分離部３４は、チューナ３３から入力される放送信号およびストリーミング受信部４１から入力されるストリーミングデータから、ビデオ符号化データおよびオーディオ符号化データを分離する。なお、多重分離部３４は、同時に少なくとも２系統のストリーミングデータを処理できるものとする。分離されたビデオ符号化データは、ビデオデコーダ３５－１または３５－２に入力され、分離されたオーディオ符号化データは、オーディオデコーダ３６－１または３６－２に入力される。
　ビデオデコーダ３５－１および３５－２は、入力されるビデオ符号化データをデコードし、その結果得られる各視点映像のビデオ信号を映像処理部３７に出力する。オーディオデコーダ３６－１および３６－２は、入力されるオーディオ符号化データをデコードし、その結果得られる各視点のオーディオ信号を音声処理部３８に出力する。
　映像処理部３７は、ビデオデコーダ３５－１および３５－２から入力される２つのビデオ信号（カメラ位置が隣接する２つの視点映像に対応する）を連結して所定の領域を切出したり、任意の視点に対応する映像を補間したり、ユーザインターフェースとなる操作ボタンなどの映像を重畳したりすることにより、ユーザの提示するためのビデオ信号を生成して後段のモニタ（不図示）に出力する。音声処理部３８は、オーディオデコーダ３６－１および３６－２から入力される２つのオーディオ信号（カメラ位置が隣接する２つの視点映像に対応する）を合成することにより、ユーザの提示するためのオーディオ信号を生成して後段のモニタ（不図示）に出力する。
　通信I/F３９は、インターネット１１を介して送信装置２０に接続する。
　VRT解析部４０は、VRTを取得するための参照情報が多重分離部３４から供給された場合、その参照情報に従い、通信I/F３９およびインターネット１１を介して送信装置２０からVRTを取得する。また、VRT解析部４０は、多重分離部３４から供給されるか、自身で取得したVRTを解析し、解析結果を制御部３２に出力する。
　同期制御部４２は、ビデオデコーダ３５－１および３５－２、オーディオデコーダ３６－１および３６－２、映像処理部３７、音声処理部３８、並びにストリーミング受信部４１－１および４１－２の動作タイミングが同期するように制御する。
［動作説明］
　次に、図１４は、受信装置３０による多視点映像受信処理を説明するフローチャートである。
　前提として、既に受信装置３０は、テレビジョン番組として放送網１２を介して放送されている映像コンテンツのデフォルトの視点映像を受信しているものとする。
　ステップＳ１において、VRT解析部４０は、多重分離部３４から供給されるか、または自身でVRTの参照情報およびVRTを取得し、それを解析して解析結果を制御部３２に出力する。ステップＳ２において、制御部３２は、受信している映像コンテンツの進行位置が多視点セグメントであるか否かを判定する。
　受信している映像コンテンツの進行位置が多視点セグメントではないと判定された場合、処理はステップＳ３に進められる。ステップＳ３において、映像処理部３７は、制御部３２からの制御に従い、受信している映像コンテンツの映像上に視点移動ボタンが表示されているならば、それを非表示とする。視点移動ボタンが表示されていない場合には何もしない。この後、処理はステップＳ２に戻り、それ以降が繰り返される。
　ステップＳ２において、受信している映像コンテンツの進行位置が多視点セグメントであると判定された場合、処理はステップＳ４に進められる。ステップＳ４において、映像処理部３７は、制御部３２からの制御に従い、受信している映像コンテンツの映像上に視点移動ボタンが表示されていなければ、それを表示させる。視点移動ボタンが表示されている場合にはその表示を維持する。
　ここで、映像コンテンツの映像上に表示される視点移動ボタンについて説明する。図１５は、１２種類の視点移動ボタンの例を示している。なお、複数の視点移動ボタンのうち、どれを表示させるかは、VRTが参照され、受信している視点映像のView_object要素に含まれるneighbor_view要素のtype属性およびdirection属性に基づいて判断される。視点列タイプがPanorama、Theater、またはParallelである場合、対応する視点移動ボタンに対する押下時間、または押下回数に応じて、視点の移動量が決定される。
　図１４に戻る。ステップＳ５において、制御部３２は、操作入力部３１からの入力に基づき、ユーザにより視点移動ボタンが操作されたか否かを判定する。視点移動ボタンが操作されていない場合、処理はステップＳ２に戻り、それ以降が繰り返される。
　ステップＳ５において、視点移動ボタンが操作されたと判定された場合、処理はステップＳ６に進められる。ステップＳ６において、制御部３２は、操作された視点移動ボタンに基づいて移動先の視点映像への視点列タイプがSeparatedであるか否かを判定する。Separatedである場合、処理はステップＳ７に進められる。ステップＳ７において、制御部３２は、各部を制御して、移動先の視点映像を受信、デコードさせて、そのビデオ信号を後段に出力させる。この後、処理はステップＳ２に戻り、それ以降が繰り返される。
　ステップＳ６において、移動先の視点映像への視点列タイプがSeparatedではないと判定された場合、処理はステップＳ８に進められる。ステップＳ８において、制御部３２は、視点移動ボタンに対する押下時間または押下回数に基づいて、視点の移動量を算出し、移動先の視点位置を決定する。
　ステップＳ９において、制御部３２は、移動先の視点位置で実際に撮影された視点映像が存在するか否かをVRTに基づいて判断することにより、移動先の視点位置は要補間であるか否かを判定する。
　移動先の視点位置で実際に撮影された視点映像が存在すると判断され、移動先の視点位置は補間が必要ないと判定された場合、処理はステップＳ１０に進められる。ステップＳ１０において、制御部３２は、各部を制御して、移動先の視点位置に対応する視点映像を受信、デコードさせて、そのビデオ信号を後段に出力させる。この後、処理はステップＳ２に戻り、それ以降が繰り返される。
　ステップＳ９において、移動先の視点位置で実際に撮影された視点映像が存在しないと判断され、移動先の視点位置は要補間であると判定された場合、処理はステップＳ１１に進められる。ステップＳ１１において、制御部３２は、各部を制御して、移動先の視点位置を間に挟む実際のカメラ位置でそれぞれ撮影された２つの多視点映像を受信、デコードさせて、その２つのビデオ信号を映像処理部３７に出力させる。ステップＳ１２において、映像処理部３７は、入力された２つのビデオ信号の視点列タイプと視点位置に基づいて、視点位置で撮影された状態の映像を生成し、その結果得られるビデオ信号を後段に出力して表示させる。
　すなわち、例えば、２つのビデオ信号の視点列タイプがPanoramaまたはParallelである場合、２つのビデオ信号が横方向に連結されて、視点位置に対応する画枠が切出される。また例えば、２つのビデオ信号の視点列タイプがTheaterである場合、２つのビデオ信号に基づいて視点位置に対応する映像が補間処理により生成される。なお、この補間処理には任意の手法を用いることができるが、例えば本出願人が特願２０１０－２７４８０８として提案している手法を適用してもよい。
　この後、処理はステップＳ２に戻り、それ以降が繰り返される。以上で、多視点映像受信処理の説明を終了する。
　図１６は、多視点映像受信処理における、視点移動ボタンに対するユーザからの操作に応じた画面遷移の例を示している。
　例えば、同図Ａに示されるようなデフォルト（エントリ）の多視点映像を受信しているときに、その映像コンテンツの進行位置が多視点セグメントになると、同図Ｂに示されるように、デフォルト（エントリ）の多視点映像上に視点移動ボタンが表示される。同図Ｂの場合、視点列タイプがTheaterであって、視点位置を左側、または右側に移動させることができる視点移動ボタンが表示されている。
　同図Ｂの画面に対してユーザが左側の視点移動ボタンを操作すると、画面の映像が、視点位置が同心円上で左側に移動した状態に変更される。変更後の画面には、視点列タイプがTheaterであって、視点位置を右側に移動させる、すなわち、同図Ｂに状態に戻すことができる視点移動ボタンが表示される。反対に、同図Ｂの画面に対してユーザが右側の視点移動ボタンを操作すると、画面の映像が、視点位置が同心円上で右側に移動した状態に変更される。変更後の画面には、視点列タイプがTheaterであって、視点位置を左側に移動させる、すなわち、同図Ｂに状態に戻すことができる視点移動ボタンが表示される。
　その後、映像コンテンツの進行位置が多視点セグメントから外れると、同図Ｅに示されるように、視点移動ボタンの表示画消去される。
　以上に説明した多視点映像コンテンツ視聴システムによれば、例えば、以下のシナリオを実現できる。
　シナリオ１
　ケニアのサバンナを走行する４輪駆動車の上からその全周囲３６０°を視点列タイプPanoramaの多視点映像として撮影して放送する。この番組の視聴者は、映像を任意の方向に変更したりして周囲に存在する野生動物を発見したりすることができる。
　シナリオ２
　ラスベガスの円形劇場で演じられているショーを、観覧席中に円周状に設けられた中央通路に沿って一定間隔で配置したビデオカメラにより、視点列タイプがTheaterの多視点映像として撮影して放送する。この番組の視聴者は、中央通路の任意の位置からステージを観た状態の映像を視聴することができる。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインターフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
　以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インターフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
　また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　１０　多視点映像コンテンツ視聴システム，　１１　インターネット，　１２　放送網，　２０　送信装置，　２１　コンテンツ保持部，　２２　VRT生成部，　２３　放送部，　２４　送信部，　３０　受信装置，　３１　操作入力部，　３２　制御部，　３３　チューナ，　３４　多重分離部，　３５　ビデオデコーダ，　３６　オーディオデコーダ，　３７　映像処理部，　３８　音声処理部，　３９　通信I/F，　４０　VRT解析部，　４１　ストリーミング受信部，　４２　同期制御部

Claims (15)

  1. 　異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを保持する保持部と、
    　前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRT(View Relation Table)を生成する生成部と、
    　生成された前記VRTをコンテンツ再生装置に供給する供給部と、
    　保持されている前記多視点映像コンテンツを構成する前記単数または複数の視点映像を放送する放送部と、
    　保持されている前記多視点映像コンテンツを構成する前記単数または複数の視点映像をネットワークを介して配信する配信部と
    　を備えるコンテンツ送信装置。
  2. 　前記生成部は、さらに、前記映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の関係性を示す視点列タイプを含む前記VRTを生成する
    　請求項１に記載のコンテンツ送信装置。
  3. 　前記視点列タイプは、Panorama、Theater、Parallel、またはSeparatedとされる
    　請求項２に記載のコンテンツ送信装置。
  4. 　前記供給部は、前記放送部または前記配信部が兼ねる
    　請求項２に記載のコンテンツ送信装置。
  5. 　異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツをコンテンツ再生装置に供給するコンテンツ送信装置のコンテンツ送信方法において、
    　前記コンテンツ送信装置による、
    　　前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRT(View Relation Table)を生成する生成ステップと、
    　　生成された前記VRTをコンテンツ再生装置に供給する供給ステップと、
    　　保持されている前記多視点映像コンテンツを構成する前記単数または複数の視点映像を放送する放送ステップと、
    　　保持されている前記映像コンテンツを構成する前記単数または複数の視点映像をネットワークを介して配信する配信ステップと
    　を含むコンテンツ送信方法。
  6. 　コンピュータを、
    　異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを保持する保持部と、
    　前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRT(View Relation Table)を生成する生成部と、
    　生成された前記VRTをコンテンツ再生装置に供給する供給部と、
    　保持されている前記多視点映像コンテンツを構成する前記単数または複数の視点映像を放送する放送部と、
    　保持されている前記映像コンテンツを構成する前記単数または複数の多視点映像をネットワークを介して配信する配信部と
    　して機能させるプログラム。
  7. 　異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを再生するコンテンツ再生装置において、
    　前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRT(View Relation Table)を取得する取得部と、
    　ユーザからの視点移動操作を入力する入力部と、
    　前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する複数の前記視点映像を前記VRTに基づいて受信する受信部と、
    　受信された複数の前記視点映像を元にして前記視点移動操作に対応する映像を生成する生成部と
    　を備えるコンテンツ再生装置。
  8. 　取得された前記VRTには、さらに、前記映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像との関係性を示す視点列タイプが含まれている
    　請求項７に記載のコンテンツ再生装置。
  9. 　前記視点列タイプは、Panorama、Theater、Parallel、またはSeparatedとされる
    　請求項８に記載のコンテンツ再生装置。
  10. 　前記生成部は、受信された複数の前記視点映像の前記視点列タイプがPanorama、またはParallelである場合、受信された複数の前記視点映像を連結して所定の領域を切出すことにより、前記視点移動操作に対応する映像を生成し、
    受信された複数の前記視点映像の前記視点列タイプがTheaterである場合、受信された複数の前記視点映像を用いた補間処理により、前記視点移動操作に対応する映像を生成する
    　請求項９に記載のコンテンツ再生装置。
  11. 　前記受信部は、前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する複数の前記視点映像を放送信号から受信するか、通信網を介してコンテンツ送信装置から取得する
    　請求項８に記載のコンテンツ再生装置。
  12. 　前記入力部は、取得された前記VRTに含まれる、前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の視点列タイプに応じた視点移動ボタンから成る
    　請求項８に記載のコンテンツ再生装置。
  13. 　異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを再生するコンテンツ再生装置のコンテンツ再生方法において、
    　コンテンツ再生装置による、
    　　前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRT(View Relation Table)を取得する取得ステップと、
    　　ユーザからの視点移動操作を入力する入力ステップと、
    　　前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する複数の前記視点映像を前記VRTに基づいて受信する受信ステップと、
    　　受信された複数の前記多視点映像を元にして前記視点移動操作に対応する映像を生成する生成ステップと
    　を含むコンテンツ再生方法。
  14. 　異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを再生するコンピュータを、
    　前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRT(View Relation Table)を取得する取得部と、
    　ユーザからの視点移動操作を入力する入力部と、
    　前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する複数の前記視点映像を前記VRTに基づいて受信する受信部と、
    　受信された複数の前記視点映像を元にして前記視点移動操作に対応する映像を生成する生成部と
    　して機能させるプログラム。
  15. 　コンテンツ送信装置とコンテンツ再生装置からなるコンテンツ配信システムにおいて、
    　前記コンテンツ送信装置は、
    　　異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを保持する保持部と、
    　　前記多視点映像コンテンツを構成する各視点映像の取得先情報を含むVRT(View Relation Table)を生成する生成部と、
    　　生成された前記VRTを前記コンテンツ再生装置に供給する供給部と、
    　　保持されている前記多視点映像コンテンツを構成する前記単数または複数の視点映像を放送する放送部と、
    　　保持されている前記多視点映像コンテンツを構成する前記単数または複数の視点映像をネットワークを介して配信する配信部と
    　を備え、
    　前記コンテンツ再生装置は、
    　　前記VRTを取得する取得部と、
    　　ユーザからの視点移動操作を入力する入力部と、
    　　前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する複数の前記視点映像を前記VRTに基づいて受信する受信部と、
    　　受信された複数の前記視点映像を元にして前記視点移動操作に対応する映像を生成する生成部と
    　を備える
    　コンテンツ配信システム。
PCT/JP2011/071570 2010-10-01 2011-09-22 コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム WO2012043357A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201180045982.0A CN103119957B (zh) 2010-10-01 2011-09-22 内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发***
BR112013006944A BR112013006944A2 (pt) 2010-10-01 2011-09-22 aparelhos e métodos de transmissão e de reprodução de conteúdo, programa, e, sistema de distribuição de conteúdo
JP2012536381A JP6216513B2 (ja) 2010-10-01 2011-09-22 コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム
MX2013003412A MX2013003412A (es) 2010-10-01 2011-09-22 Dispositivo de transmision de contenidos, metodo de transmision de contenidos, dispositivo de reproduccion de contenidos , metodo de reproduccion de contenidos, programa y sistema de suministro de contenidos.
KR1020137007139A KR101931390B1 (ko) 2010-10-01 2011-09-22 콘텐츠 송신 장치, 콘텐츠 송신 방법, 콘텐츠 재생 장치, 콘텐츠 재생 방법, 프로그램 및 콘텐츠 배신 시스템
CA2809314A CA2809314C (en) 2010-10-01 2011-09-22 Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program, and content distribution system
EP11828914.9A EP2624551B1 (en) 2010-10-01 2011-09-22 Content transmitting device, content transmitting method, content reproduction device, content reproduction method, program, and content delivery system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US38899910P 2010-10-01 2010-10-01
US61/388999 2010-10-01
US201161504481P 2011-07-05 2011-07-05
US61/504481 2011-07-05

Publications (1)

Publication Number Publication Date
WO2012043357A1 true WO2012043357A1 (ja) 2012-04-05

Family

ID=45889460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/071570 WO2012043357A1 (ja) 2010-10-01 2011-09-22 コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム

Country Status (9)

Country Link
US (3) US8872888B2 (ja)
EP (1) EP2624551B1 (ja)
JP (2) JP6216513B2 (ja)
KR (1) KR101931390B1 (ja)
CN (1) CN103119957B (ja)
BR (1) BR112013006944A2 (ja)
CA (1) CA2809314C (ja)
MX (1) MX2013003412A (ja)
WO (1) WO2012043357A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014183379A (ja) * 2013-03-18 2014-09-29 Nintendo Co Ltd 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。
JP2015173424A (ja) * 2014-03-12 2015-10-01 株式会社セック 映像配信システムおよび映像表示装置
JP2015220595A (ja) * 2014-05-16 2015-12-07 株式会社ユニモト 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム
WO2016199608A1 (ja) * 2015-06-12 2016-12-15 ソニー株式会社 情報処理装置および情報処理方法
JPWO2017022641A1 (ja) * 2015-07-31 2017-08-03 カディンチェ株式会社 パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置
US9741091B2 (en) 2014-05-16 2017-08-22 Unimoto Incorporated All-around moving image distribution system, all-around moving image distribution method, image processing apparatus, communication terminal apparatus, and control methods and control programs of image processing apparatus and communication terminal apparatus
JPWO2016199607A1 (ja) * 2015-06-12 2018-03-29 ソニー株式会社 情報処理装置および情報処理方法
JP2018533317A (ja) * 2015-09-08 2018-11-08 クリックト インコーポレイテッドＣｌｉｃｋｅｄ Ｉｎｃ． 仮想現実映像伝送方法、再生方法、及びこれらを用いたプログラム

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8705933B2 (en) 2009-09-25 2014-04-22 Sony Corporation Video bookmarking
US8839338B2 (en) 2012-03-28 2014-09-16 Sony Corporation Service usage reporting data transport
US8817072B2 (en) 2010-03-12 2014-08-26 Sony Corporation Disparity data transport and signaling
US8941779B2 (en) 2012-03-21 2015-01-27 Sony Corporation Non-closed caption data transport in standard caption service
US8760498B2 (en) 2011-03-14 2014-06-24 Sony Corporation Disparity data transport in standard caption service
US9723360B2 (en) 2010-04-01 2017-08-01 Saturn Licensing Llc Interests and demographics profile for advanced broadcast services
US20110247028A1 (en) 2010-04-01 2011-10-06 Mark Eyer Receiver and System Using an Electronic Questionnaire for Advanced Broadcast Services
US8863171B2 (en) 2010-06-14 2014-10-14 Sony Corporation Announcement of program synchronized triggered declarative objects
US8898723B2 (en) 2010-08-20 2014-11-25 Sony Corporation Virtual channel declarative script binding
US8893210B2 (en) 2010-08-20 2014-11-18 Sony Corporation Server load balancing for interactive television
US8875169B2 (en) 2010-08-27 2014-10-28 Sony Corporation Transmission and reception apparatus, methods, and systems for filtering content
US8909694B2 (en) 2010-08-27 2014-12-09 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
US8892636B2 (en) 2010-08-30 2014-11-18 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
US8918801B2 (en) 2010-08-30 2014-12-23 Sony Corporation Transmission apparatus, transmission method, reception apparatus, reception method, program, and broadcasting system
US8595783B2 (en) 2010-08-30 2013-11-26 Sony Corporation Receiving device, receiving method, program, and broadcasting system
US9179188B2 (en) 2010-08-30 2015-11-03 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
WO2012043355A1 (ja) 2010-10-01 2012-04-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9179198B2 (en) 2010-10-01 2015-11-03 Sony Corporation Receiving apparatus, receiving method, and program
US8872888B2 (en) 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
US9078031B2 (en) 2010-10-01 2015-07-07 Sony Corporation Reception apparatus, reception method, and program
US8908103B2 (en) 2010-10-01 2014-12-09 Sony Corporation Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system
JP5783402B2 (ja) 2011-01-25 2015-09-24 ソニー株式会社 受信装置、受信方法、供給装置、供給方法、プログラム、および放送システム
JP5668512B2 (ja) 2011-02-15 2015-02-12 ソニー株式会社 情報処理装置、及び、情報処理方法
TWI545955B (zh) 2011-04-28 2016-08-11 Sony Corp Signal receiving apparatus and method, a signal transmission apparatus and method, and program
US9554175B2 (en) 2011-07-20 2017-01-24 Sony Corporation Method, computer program, reception apparatus, and information providing apparatus for trigger compaction
US8917358B2 (en) 2011-07-27 2014-12-23 Sony Corporation Reception apparatus, terminal apparatus, control method, program, and communication system
US10491966B2 (en) 2011-08-04 2019-11-26 Saturn Licensing Llc Reception apparatus, method, computer program, and information providing apparatus for providing an alert service
CA2843382C (en) 2011-08-05 2020-10-27 Sony Corporation Receiving device, receiving method, program, and information processing system
BR112014003674A2 (pt) 2011-08-24 2017-03-01 Sony Corp aparelho de recepção, método para recepção para um aparelho de recepção, programa, e, sistema de processamento de informação
TWI528749B (zh) 2011-09-06 2016-04-01 Sony Corp A signal receiving device, a signal receiving method, an information processing program and an information processing system
US9374620B2 (en) 2011-10-21 2016-06-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and interlocked application feed system
US9015785B2 (en) 2011-11-29 2015-04-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and linking application supply system
US9113230B2 (en) 2011-12-21 2015-08-18 Sony Corporation Method, computer program, and reception apparatus for delivery of supplemental content
US8930988B2 (en) 2011-12-21 2015-01-06 Sony Corporation Reception apparatus, reception method, program, and information processing system
EP3468177B1 (en) 2012-01-24 2020-04-29 Saturn Licensing LLC Receiver, reception method, program and information processing system
CN104081759B (zh) 2012-02-07 2018-01-16 索尼公司 接收设备和接收方法
US9936231B2 (en) 2012-03-21 2018-04-03 Saturn Licensing Llc Trigger compaction
KR102267861B1 (ko) 2012-06-19 2021-06-23 소니그룹주식회사 대화형 텔레비전을 위한 트리거 파라미터 테이블의 확장
US9456245B2 (en) 2012-07-05 2016-09-27 Sony Corporation Receiving device, receiving method, transmitting device, and transmitting method for controlling applications
WO2014011355A1 (en) 2012-07-12 2014-01-16 Sony Corporation Parameterized services descriptor for advanced television services
US9154840B2 (en) 2012-07-31 2015-10-06 Sony Corporation Reception apparatus, reception method, transmission apparatus, and transmission method
US9432744B2 (en) 2012-07-31 2016-08-30 Sony Corporation Receiving device, receiving method, transmitting device, and transmitting method
US9883247B2 (en) 2012-08-13 2018-01-30 Saturn Licensing Llc Reception apparatus, reception method, transmission apparatus, and transmission method
US9264648B2 (en) 2012-10-09 2016-02-16 Sony Corporation Receiving device, receiving method, transmitting device, and transmitting method
US10002206B2 (en) 2012-10-26 2018-06-19 Saturn Licensing Llc Information processing device and information processing method
US9253518B2 (en) 2012-11-09 2016-02-02 Sony Corporation On-demand access to scheduled content
US9769503B2 (en) 2012-11-14 2017-09-19 Saturn Licensing Llc Information processor, information processing method and program
US9936256B2 (en) 2012-11-28 2018-04-03 Saturn Licensing Llc Receiver, reception method, transmitter and transmission method
US9148676B2 (en) 2012-12-04 2015-09-29 Sony Corporation Broadcast transition channel
US8914832B2 (en) 2012-12-14 2014-12-16 Sony Corporation Information processing apparatus, information processing method, and program
US9942601B2 (en) 2013-01-24 2018-04-10 Saturn Licensing Llc Storing non-real time content
US10257564B2 (en) 2013-01-24 2019-04-09 Saturn Licensing Llc Distributed non-real-time content
US20140322188A1 (en) 2013-04-26 2014-10-30 Enzo Biochem, Inc. Tolerizing treatments for autoimmune disease
US9300896B2 (en) 2013-06-03 2016-03-29 Sony Corporation Method, computer-readable storage medium, reception apparatus, and information providing apparatus for identifying available channels and/or services
US9980014B2 (en) 2013-06-28 2018-05-22 Saturn Licensing Llc Methods, information providing system, and reception apparatus for protecting content
US9137566B2 (en) 2013-06-28 2015-09-15 Sony Corporation Distribution system, reception apparatus, and methods for transitioning to new services
US9038095B2 (en) 2013-07-03 2015-05-19 Sony Corporation Methods, information providing system, and reception apparatus for distribution of at least one content version
US8884800B1 (en) 2013-07-31 2014-11-11 Sony Corporation Method and apparatus for performing analog-to-digital conversion on multiple input signals
CN104994369B (zh) * 2013-12-04 2018-08-21 南京中兴软件有限责任公司 一种图像处理方法、用户终端、图像处理终端及***
US9326295B1 (en) 2014-12-10 2016-04-26 Sony Corporation Method and apparatus for transmitting a-priori information in a communication system
US20160204804A1 (en) 2015-01-13 2016-07-14 Sony Corporation Data processing apparatus and method
US9762354B2 (en) 2015-01-27 2017-09-12 Sony Corporation Signaling methods and apparatus
US9912986B2 (en) 2015-03-19 2018-03-06 Sony Corporation System for distributing metadata embedded in video
US9756401B2 (en) 2015-04-07 2017-09-05 Sony Corporation Processing and providing an image in which a plurality of symbols are encoded
KR20160135660A (ko) * 2015-05-18 2016-11-28 한국전자통신연구원 헤드 마운트 디스플레이를 위한 입체 영상을 제공하는 방법 및 장치
US9590782B2 (en) 2015-06-22 2017-03-07 Sony Corporation Signaling methods and apparatus
US10205991B2 (en) 2015-07-27 2019-02-12 Sony Corporation Hidden replaceable media slots
KR102002037B1 (ko) * 2015-11-03 2019-07-19 주식회사 케이티 멀티 트랙 영상을 이용한 다시점 영상 시청 방법 및 다시점 영상 제공 방법 및 사용자 단말
CN109076262B (zh) * 2016-05-13 2022-07-12 索尼公司 文件生成装置和文件生成方法以及再现装置和再现方法
JP6735644B2 (ja) * 2016-09-20 2020-08-05 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
US10652284B2 (en) * 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
KR102561860B1 (ko) 2016-10-25 2023-08-02 삼성전자주식회사 전자장치 및 그 제어방법
JP6436595B1 (ja) * 2017-06-13 2018-12-12 エヌ・ティ・ティ・コムウェア株式会社 情報提供システム、及び情報提供方法
JP7281923B2 (ja) * 2019-03-01 2023-05-26 キヤノン株式会社 制御装置、画像処理システム、制御方法及びプログラム
CN112188219B (zh) * 2020-09-29 2022-12-06 北京达佳互联信息技术有限公司 视频接收方法和装置以及视频发送方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009135946A (ja) 2009-01-19 2009-06-18 Sony Corp 記録媒体
WO2010109860A1 (ja) * 2009-03-25 2010-09-30 パナソニック株式会社 セッション切り換え方法及びセッション切り換え装置
JP2010274808A (ja) 2009-05-29 2010-12-09 Bridgestone Corp 自動二輪車用空気入りラジアルタイヤ

Family Cites Families (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2737173B2 (ja) * 1988-10-25 1998-04-08 日本電気株式会社 記号列照合装置とその制御方法
US5861881A (en) * 1991-11-25 1999-01-19 Actv, Inc. Interactive computer system for providing an interactive presentation with personalized video, audio and graphics responses for multiple viewers
JPH11261884A (ja) * 1998-03-10 1999-09-24 Hitachi Ltd パノラマ映像放送方法および放送受信装置
ES2400716T3 (es) 2000-03-31 2013-04-11 United Video Properties, Inc. Sistema y método de medios interactivos para presentar contenido
US6765568B2 (en) * 2000-06-12 2004-07-20 Vrex, Inc. Electronic stereoscopic media delivery system
JP2002207832A (ja) * 2000-12-28 2002-07-26 Atsushi Takahashi インターネット技術指導教育配信システム、及び通信網を利用した指導システム
US20040096188A1 (en) * 2001-04-16 2004-05-20 Mitsuhiro Kageyama Multi-view storage broadcast service method, apparatus, and system
US7584491B2 (en) * 2001-04-25 2009-09-01 Sony Corporation System and method for managing interactive programming and advertisements in interactive broadcast systems
JP2003009113A (ja) 2001-06-21 2003-01-10 Matsushita Electric Ind Co Ltd コンテンツ再生装置及び方法、並びにプログラム
JP2003018583A (ja) 2001-07-05 2003-01-17 Sony Corp 多視点任意選択型映像視聴システム、ストリームデータ合成装置、及び、合成ストリームデータ配信サーバ
US7631327B2 (en) 2001-08-08 2009-12-08 Accenture Global Services Gmbh Enhanced custom content television
JP2003115050A (ja) * 2001-10-04 2003-04-18 Sony Corp 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム
JP3975736B2 (ja) * 2001-12-07 2007-09-12 ソニー株式会社 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
WO2003084208A1 (en) * 2002-03-28 2003-10-09 Mitsubishi Denki Kabushiki Kaisha Digital broadcast transmission device and method thereof, digital broadcast reception device and method thereof
JP4352653B2 (ja) * 2002-04-12 2009-10-28 三菱電機株式会社 映像コンテンツ管理運用システム
JP2004040351A (ja) * 2002-07-02 2004-02-05 Ricoh Co Ltd 画像配信システム及び画像配信再生システム
KR100475060B1 (ko) 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
JP4612791B2 (ja) 2002-10-22 2011-01-12 キヤノン株式会社 受信装置及び受信方法
US8893174B2 (en) * 2002-12-16 2014-11-18 Centurylink Intellectual Property Llc Method and system for providing customized media content
GB0307694D0 (en) 2003-04-03 2003-05-07 Koninkl Philips Electronics Nv Broadcast delivery to a wireless device
JP2005159592A (ja) * 2003-11-25 2005-06-16 Nippon Hoso Kyokai <Nhk> コンテンツ送信装置およびコンテンツ受信装置
US20060015927A1 (en) * 2004-04-09 2006-01-19 Darcy Antonellis Motion picture distribution system and related method
JP4655534B2 (ja) 2004-08-04 2011-03-23 ソニー株式会社 端末装置およびデータ処理方法、プログラム並びに記録媒体
FR2890505B1 (fr) 2005-09-08 2007-10-26 Alcatel Sa Systeme et procede de diffusion de contenus personnalises et eventuellement interactifs a destination de terminaux rattaches a un reseau de communication
JP2007116669A (ja) 2005-09-22 2007-05-10 Sharp Corp サブコンテンツ再生装置及びコンテンツ関連サービス提供システム
US20090259730A1 (en) * 2005-09-26 2009-10-15 Nec Personal Products, Ltd. Content accumulating system, user terminal apparatus, content accumulating method,content accumulating program and storage medium
JP4662148B2 (ja) * 2005-11-11 2011-03-30 ソニー株式会社 送信装置、受信装置、送信方法、受信方法、送信プログラム、受信プログラム及び映像コンテンツのデータ構造
JP2007282048A (ja) * 2006-04-10 2007-10-25 Sharp Corp コンテンツ処理装置、変更情報生成装置、コンテンツ処理方法、変更情報生成方法、制御プログラム、および、記録媒体
JP4719641B2 (ja) 2006-07-27 2011-07-06 ソニー株式会社 動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システム。
US20080028074A1 (en) 2006-07-28 2008-01-31 Microsoft Corporation Supplemental Content Triggers having Temporal Conditions
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
JP2008053916A (ja) 2006-08-23 2008-03-06 Nec Corp コンテンツ配信システム、情報端末装置、コンテンツ配信方法および画像切替プログラム
JP2008113247A (ja) 2006-10-30 2008-05-15 Xing Inc ストリーミング再生方法、ストリーミング再生システム、サーバ装置、動画再生装置およびコンピュータプログラム
US8381244B2 (en) 2006-11-21 2013-02-19 Abacast, Inc. Content injection system and methodology
WO2008085885A2 (en) 2007-01-04 2008-07-17 Thomson Licensing Methods and apparatus for multi-view information conveyed in high level syntax
US20080229374A1 (en) * 2007-02-22 2008-09-18 Mick Colin K Video network including method and apparatus for high speed distribution of digital files over a network
WO2009042858A1 (en) 2007-09-28 2009-04-02 Gracenote, Inc. Synthesizing a presentation of a multimedia event
CN101414379B (zh) * 2007-10-17 2012-05-23 日电（中国）有限公司 生成全景图像的设备和方法
US20090106807A1 (en) * 2007-10-19 2009-04-23 Hitachi, Ltd. Video Distribution System for Switching Video Streams
JP4572928B2 (ja) 2007-11-08 2010-11-04 ソニー株式会社 遠隔制御端末、情報取得装置、情報提供装置、情報提供システム、情報提供方法、およびプログラム
JP4730626B2 (ja) 2008-06-13 2011-07-20 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、およびプログラム
US20090320064A1 (en) 2008-06-19 2009-12-24 Microsoft Corporation Triggers for Media Content Firing Other Triggers
US20100205628A1 (en) 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US20110299547A1 (en) * 2010-06-04 2011-12-08 Wael William Diab Method and system for managing energy costs utilizing a broadband gateway
CN102144395A (zh) * 2009-06-10 2011-08-03 Lg电子株式会社 高速搜索模式中的立体图像再现方法和使用该方法的立体图像再现装置
JP2010288192A (ja) 2009-06-15 2010-12-24 Mitsubishi Electric Corp 映像受信装置
US8705933B2 (en) 2009-09-25 2014-04-22 Sony Corporation Video bookmarking
US9277183B2 (en) 2009-10-13 2016-03-01 Sony Corporation System and method for distributing auxiliary data embedded in video data
EP2534836A4 (en) * 2010-02-11 2014-10-01 Beaumaris Networks Inc D B A Bni Video BANDWIDTH ALLOCATION FOR MULTIPLE SERVICES
US8839338B2 (en) 2012-03-28 2014-09-16 Sony Corporation Service usage reporting data transport
US8817072B2 (en) 2010-03-12 2014-08-26 Sony Corporation Disparity data transport and signaling
US8941779B2 (en) 2012-03-21 2015-01-27 Sony Corporation Non-closed caption data transport in standard caption service
US20110247028A1 (en) 2010-04-01 2011-10-06 Mark Eyer Receiver and System Using an Electronic Questionnaire for Advanced Broadcast Services
US9723360B2 (en) 2010-04-01 2017-08-01 Saturn Licensing Llc Interests and demographics profile for advanced broadcast services
US9706158B2 (en) 2010-04-01 2017-07-11 Saturn Licensing Llc Receiver and method for reporting the usage of advanced television services
KR20110123658A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
US20110302599A1 (en) 2010-06-07 2011-12-08 Mark Kenneth Eyer TV-Centric Actions in Triggered Declarative Objects
US8863171B2 (en) 2010-06-14 2014-10-14 Sony Corporation Announcement of program synchronized triggered declarative objects
US8898723B2 (en) 2010-08-20 2014-11-25 Sony Corporation Virtual channel declarative script binding
US8893210B2 (en) 2010-08-20 2014-11-18 Sony Corporation Server load balancing for interactive television
US8909694B2 (en) 2010-08-27 2014-12-09 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
JP5765558B2 (ja) 2010-08-27 2015-08-19 ソニー株式会社 受信装置、受信方法、送信装置、送信方法、プログラム、および放送システム
US8875169B2 (en) 2010-08-27 2014-10-28 Sony Corporation Transmission and reception apparatus, methods, and systems for filtering content
KR101878511B1 (ko) 2010-08-30 2018-07-13 소니 주식회사 수신 장치, 수신 방법 및 프로그램
US8595783B2 (en) 2010-08-30 2013-11-26 Sony Corporation Receiving device, receiving method, program, and broadcasting system
US10511887B2 (en) 2010-08-30 2019-12-17 Saturn Licensing Llc Reception apparatus, reception method, transmission apparatus, transmission method, program, and broadcasting system
US20120050619A1 (en) 2010-08-30 2012-03-01 Sony Corporation Reception apparatus, reception method, transmission apparatus, transmission method, program, and broadcasting system
US9179188B2 (en) 2010-08-30 2015-11-03 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
US8892636B2 (en) 2010-08-30 2014-11-18 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
US8918801B2 (en) 2010-08-30 2014-12-23 Sony Corporation Transmission apparatus, transmission method, reception apparatus, reception method, program, and broadcasting system
JP5757075B2 (ja) 2010-09-15 2015-07-29 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、プログラム、および放送システム
US9986270B2 (en) 2010-09-21 2018-05-29 Saturn Licensing Llc Reception and transmission of trigger information for application program control
JP5703664B2 (ja) 2010-09-30 2015-04-22 ソニー株式会社 受信装置、受信方法、送信装置、送信方法、プログラム、および放送システム
US9179198B2 (en) 2010-10-01 2015-11-03 Sony Corporation Receiving apparatus, receiving method, and program
WO2012043355A1 (ja) 2010-10-01 2012-04-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US8842974B2 (en) 2010-10-01 2014-09-23 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program, and content delivery system
US8908103B2 (en) * 2010-10-01 2014-12-09 Sony Corporation Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system
US8872888B2 (en) 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
US9078031B2 (en) 2010-10-01 2015-07-07 Sony Corporation Reception apparatus, reception method, and program
US20120185888A1 (en) 2011-01-19 2012-07-19 Sony Corporation Schema for interests and demographics profile for advanced broadcast services
JP5793871B2 (ja) 2011-01-25 2015-10-14 ソニー株式会社 受信装置、受信方法、供給装置、供給方法、プログラム、および放送システム
JP5783402B2 (ja) 2011-01-25 2015-09-24 ソニー株式会社 受信装置、受信方法、供給装置、供給方法、プログラム、および放送システム
JP5668512B2 (ja) 2011-02-15 2015-02-12 ソニー株式会社 情報処理装置、及び、情報処理方法
TWI574565B (zh) 2011-03-31 2017-03-11 Sony Corp A transmitting apparatus, a transmitting method, a receiving apparatus, a receiving method, a computer-readable medium, and a broadcasting system
US8886009B2 (en) 2011-04-26 2014-11-11 Sony Corporation Creation of video bookmarks via scripted interactivity in advanced digital television
TWI545955B (zh) 2011-04-28 2016-08-11 Sony Corp Signal receiving apparatus and method, a signal transmission apparatus and method, and program
US9554175B2 (en) 2011-07-20 2017-01-24 Sony Corporation Method, computer program, reception apparatus, and information providing apparatus for trigger compaction
US8917358B2 (en) 2011-07-27 2014-12-23 Sony Corporation Reception apparatus, terminal apparatus, control method, program, and communication system
US10491966B2 (en) 2011-08-04 2019-11-26 Saturn Licensing Llc Reception apparatus, method, computer program, and information providing apparatus for providing an alert service
CA2843382C (en) 2011-08-05 2020-10-27 Sony Corporation Receiving device, receiving method, program, and information processing system
BR112014003674A2 (pt) 2011-08-24 2017-03-01 Sony Corp aparelho de recepção, método para recepção para um aparelho de recepção, programa, e, sistema de processamento de informação
US20130055313A1 (en) 2011-08-31 2013-02-28 Sony Corporation Method, computer program, reception apparatus, and information providing apparatus for accessing content from a plurality of content sources
TWI528749B (zh) 2011-09-06 2016-04-01 Sony Corp A signal receiving device, a signal receiving method, an information processing program and an information processing system
US9374620B2 (en) 2011-10-21 2016-06-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and interlocked application feed system
US9015785B2 (en) 2011-11-29 2015-04-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and linking application supply system
US8930988B2 (en) 2011-12-21 2015-01-06 Sony Corporation Reception apparatus, reception method, program, and information processing system
US9113230B2 (en) 2011-12-21 2015-08-18 Sony Corporation Method, computer program, and reception apparatus for delivery of supplemental content
EP3468177B1 (en) 2012-01-24 2020-04-29 Saturn Licensing LLC Receiver, reception method, program and information processing system
CN104081759B (zh) 2012-02-07 2018-01-16 索尼公司 接收设备和接收方法
CN103392189B (zh) * 2012-02-23 2017-10-31 史克威尔·艾尼克斯控股公司 动态图像传输服务器、动态图像播放装置以及控制方法
US9936231B2 (en) 2012-03-21 2018-04-03 Saturn Licensing Llc Trigger compaction
US20130282870A1 (en) 2012-04-18 2013-10-24 Sony Corporation Reception apparatus, reception method, transmission apparatus, transmission method, and program
KR102267861B1 (ko) 2012-06-19 2021-06-23 소니그룹주식회사 대화형 텔레비전을 위한 트리거 파라미터 테이블의 확장
US9456245B2 (en) 2012-07-05 2016-09-27 Sony Corporation Receiving device, receiving method, transmitting device, and transmitting method for controlling applications
WO2014011355A1 (en) 2012-07-12 2014-01-16 Sony Corporation Parameterized services descriptor for advanced television services
US9432744B2 (en) 2012-07-31 2016-08-30 Sony Corporation Receiving device, receiving method, transmitting device, and transmitting method
US9154840B2 (en) 2012-07-31 2015-10-06 Sony Corporation Reception apparatus, reception method, transmission apparatus, and transmission method
US9883247B2 (en) 2012-08-13 2018-01-30 Saturn Licensing Llc Reception apparatus, reception method, transmission apparatus, and transmission method
WO2014028255A1 (en) 2012-08-15 2014-02-20 Sony Corporation Broadband delivery of personalization information for advanced tv services
US9264648B2 (en) 2012-10-09 2016-02-16 Sony Corporation Receiving device, receiving method, transmitting device, and transmitting method
US10002206B2 (en) 2012-10-26 2018-06-19 Saturn Licensing Llc Information processing device and information processing method
US9253518B2 (en) 2012-11-09 2016-02-02 Sony Corporation On-demand access to scheduled content
US9769503B2 (en) 2012-11-14 2017-09-19 Saturn Licensing Llc Information processor, information processing method and program
US9936256B2 (en) 2012-11-28 2018-04-03 Saturn Licensing Llc Receiver, reception method, transmitter and transmission method
US9100699B2 (en) * 2012-11-28 2015-08-04 At&T Intellectual Property I, Lp Method and apparatus for selection and presentation of media content
US9148676B2 (en) 2012-12-04 2015-09-29 Sony Corporation Broadcast transition channel
US8914832B2 (en) 2012-12-14 2014-12-16 Sony Corporation Information processing apparatus, information processing method, and program
US10257564B2 (en) 2013-01-24 2019-04-09 Saturn Licensing Llc Distributed non-real-time content
US9942601B2 (en) 2013-01-24 2018-04-10 Saturn Licensing Llc Storing non-real time content
US20140229580A1 (en) 2013-02-12 2014-08-14 Sony Corporation Information processing device, information processing method, and information processing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009135946A (ja) 2009-01-19 2009-06-18 Sony Corp 記録媒体
WO2010109860A1 (ja) * 2009-03-25 2010-09-30 パナソニック株式会社 セッション切り換え方法及びセッション切り換え装置
JP2010274808A (ja) 2009-05-29 2010-12-09 Bridgestone Corp 自動二輪車用空気入りラジアルタイヤ

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIDEAKI KIMATA: "Movement on MPEG 3DAV toward International Standardization of 3D Video", IPSJ SIG NOTES, vol. 2005, no. 23, 11 March 2005 (2005-03-11), XP008169163 *
See also references of EP2624551A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014183379A (ja) * 2013-03-18 2014-09-29 Nintendo Co Ltd 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。
JP2015173424A (ja) * 2014-03-12 2015-10-01 株式会社セック 映像配信システムおよび映像表示装置
JP2015220595A (ja) * 2014-05-16 2015-12-07 株式会社ユニモト 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム
US9741091B2 (en) 2014-05-16 2017-08-22 Unimoto Incorporated All-around moving image distribution system, all-around moving image distribution method, image processing apparatus, communication terminal apparatus, and control methods and control programs of image processing apparatus and communication terminal apparatus
WO2016199608A1 (ja) * 2015-06-12 2016-12-15 ソニー株式会社 情報処理装置および情報処理方法
JPWO2016199607A1 (ja) * 2015-06-12 2018-03-29 ソニー株式会社 情報処理装置および情報処理方法
US10757463B2 (en) 2015-06-12 2020-08-25 Sony Corporation Information processing apparatus and information processing method
JPWO2017022641A1 (ja) * 2015-07-31 2017-08-03 カディンチェ株式会社 パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置
JP2018533317A (ja) * 2015-09-08 2018-11-08 クリックト インコーポレイテッドＣｌｉｃｋｅｄ Ｉｎｃ． 仮想現実映像伝送方法、再生方法、及びこれらを用いたプログラム

Also Published As

Publication number Publication date
CA2809314A1 (en) 2012-04-05
BR112013006944A2 (pt) 2016-07-26
KR20130116243A (ko) 2013-10-23
US20150026739A1 (en) 2015-01-22
US20120081508A1 (en) 2012-04-05
US8872888B2 (en) 2014-10-28
EP2624551A1 (en) 2013-08-07
EP2624551A4 (en) 2014-06-11
CN103119957B (zh) 2017-05-10
CA2809314C (en) 2019-07-02
US10063775B2 (en) 2018-08-28
JP2016220230A (ja) 2016-12-22
JPWO2012043357A1 (ja) 2014-02-06
MX2013003412A (es) 2013-05-09
US9467742B2 (en) 2016-10-11
CN103119957A (zh) 2013-05-22
JP6216513B2 (ja) 2017-10-18
KR101931390B1 (ko) 2018-12-20
EP2624551B1 (en) 2020-04-01
US20170006222A1 (en) 2017-01-05
JP6326456B2 (ja) 2018-05-16

Similar Documents

Publication Publication Date Title
JP6326456B2 (ja) コンテンツ再生装置、コンテンツ再生方法、およびプログラム
CA2809316C (en) Content supplying device, content supplying method, content reproducing device, content reproducing method, program, and content viewing system
JP6316538B2 (ja) コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム
US20150124171A1 (en) Multiple vantage point viewing platform and user interface
US20240146981A1 (en) Encoding device and method, reproduction device and method, and program
US20100033632A1 (en) Information processing apparatus, information processing method, display control apparatus, display controlling method , and program
US20180227501A1 (en) Multiple vantage point viewing platform and user interface
US20110149029A1 (en) Method and system for pulldown processing for 3d video
US10664225B2 (en) Multi vantage point audio player
JP2012004991A (ja) 放送受信装置及びその制御方法
US20180227504A1 (en) Switchable multiple video track platform
US20150289032A1 (en) Main and immersive video coordination system and method
CN109391779B (zh) 处理视频流的方法、内容消费装置以及计算机可读介质
KR101973190B1 (ko) 다채널 영상을 위한 전송 시스템 및 이의 제어 방법
Macq et al. Application Scenarios and Deployment Domains
Niamut et al. Application Scenarios and Deployment Domains

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180045982.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11828914

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012536381

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2809314

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2011828914

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20137007139

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2013/003412

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013006944

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013006944

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130325