WO2018155670A1 - 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 - Google Patents

画像配信方法、画像表示方法、画像配信装置及び画像表示装置 Download PDF

Info

Publication number
WO2018155670A1
WO2018155670A1 PCT/JP2018/006868 JP2018006868W WO2018155670A1 WO 2018155670 A1 WO2018155670 A1 WO 2018155670A1 JP 2018006868 W JP2018006868 W JP 2018006868W WO 2018155670 A1 WO2018155670 A1 WO 2018155670A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
video
integrated
viewpoint
Prior art date
Application number
PCT/JP2018/006868
Other languages
English (en)
French (fr)
Inventor
敏康 杉尾
徹 松延
哲史 吉川
達也 小山
陽一 杉野
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2019501853A priority Critical patent/JP7212611B2/ja
Publication of WO2018155670A1 publication Critical patent/WO2018155670A1/ja
Priority to US16/550,900 priority patent/US20190379917A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Definitions

  • the present disclosure relates to an image distribution method, an image display method, an image distribution apparatus, and an image display apparatus.
  • Patent Document 1 discloses a technique for distributing video shot from a plurality of viewpoints in conjunction with viewpoint movement.
  • an object of the present disclosure is to provide an image distribution method, an image display method, an image distribution apparatus, or an image display apparatus that can simplify the system configuration.
  • an image distribution method distributes a plurality of images obtained by viewing the same scene from different viewpoints to a plurality of users, and each of the plurality of users includes the plurality of images.
  • An image display method distributes a plurality of images obtained by viewing the same scene from different viewpoints to a plurality of users, and each of the plurality of users can view an arbitrary image from the plurality of images.
  • An image display method in a distribution system wherein a reception step of receiving an integrated image in which the plurality of images are arranged in one frame, and a display step of displaying one of the plurality of images included in the integrated image Including.
  • the present disclosure can provide an image distribution method, an image display method, an image distribution apparatus, or an image display apparatus that can simplify the system configuration.
  • FIG. 1 is a diagram illustrating an overview of an image distribution system according to an embodiment.
  • FIG. 2A is a diagram illustrating an example of an integrated image according to the embodiment.
  • FIG. 2B is a diagram illustrating an example of an integrated image according to the embodiment.
  • FIG. 2C is a diagram illustrating an example of the integrated image according to the embodiment.
  • FIG. 2D is a diagram illustrating an example of an integrated image according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of the integrated image according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of the integrated image according to the embodiment.
  • FIG. 5 is a diagram illustrating a configuration of the image distribution system according to the embodiment.
  • FIG. 6 is a block diagram of the integrated video transmission apparatus according to the embodiment.
  • FIG. 7 is a flowchart of integrated video generation processing according to the embodiment.
  • FIG. 8 is a flowchart of a transmission process according to the embodiment.
  • FIG. 9 is a block diagram of the image display apparatus according to the embodiment.
  • FIG. 10 is a flowchart of a reception process according to the embodiment.
  • FIG. 11 is a flowchart of image selection processing according to the embodiment.
  • FIG. 12 is a flowchart of image display processing according to the embodiment.
  • FIG. 13A is a diagram illustrating a display example according to the embodiment.
  • FIG. 13B is a diagram illustrating a display example according to the embodiment.
  • FIG. 13C is a diagram illustrating a display example according to the embodiment.
  • FIG. 14 is a flowchart of UI processing according to the embodiment.
  • An image distribution method distributes a plurality of images obtained by viewing the same scene from different viewpoints to a plurality of users, and each of the plurality of users can view an arbitrary image from the plurality of images.
  • An image distribution method in a distribution system wherein a generation step of generating an integrated image in which the plurality of images are arranged in one frame, and the integrated image is distributed to a plurality of image display devices used by the plurality of users.
  • a delivery step is used by the plurality of users.
  • images of a plurality of viewpoints can be transmitted as a single integrated image
  • the same integrated image can be transmitted to a plurality of image display devices. Therefore, the system configuration can be simplified.
  • the single image format it is possible to reduce the change from the existing system configuration, and it is possible to reduce the data amount of the video to be distributed using the existing image compression technology or the like.
  • At least one of the plurality of images included in one integrated image may be a virtual image generated based on a real image.
  • the resolutions of the plurality of images included in one integrated image may be equal.
  • the plurality of images included in one integrated image may include images having different resolutions.
  • the image quality of high priority images can be improved.
  • the plurality of images included in one integrated image may be images at the same time.
  • the plurality of images included in the two or more integrated images may be images at the same time.
  • the number of viewpoints to be distributed can be increased.
  • the plurality of images included in one integrated image may include images of the same viewpoint at different times.
  • the image display device can correctly display the image.
  • arrangement information indicating the arrangement of the plurality of images in the integrated image may be further distributed to the plurality of image display devices.
  • information indicating the viewpoints of the plurality of images in the integrated image may be further distributed to the plurality of image display devices.
  • time information of each of the plurality of images in the integrated image may be further distributed to the plurality of image display devices.
  • information indicating a switching order of the plurality of images in the integrated image may be further distributed to the plurality of image display devices.
  • An image display method distributes a plurality of images obtained by viewing the same scene from different viewpoints to a plurality of users, and each of the plurality of users can view an arbitrary image from the plurality of images.
  • An image display method in a distribution system wherein a reception step of receiving an integrated image in which the plurality of images are arranged in one frame, and a display step of displaying one of the plurality of images included in the integrated image Including.
  • an image of an arbitrary viewpoint can be displayed using an image of a plurality of viewpoints transmitted as a single integrated image. Therefore, the system configuration can be simplified.
  • the single image format it is possible to reduce the change from the existing system configuration, and it is possible to reduce the data amount of the video to be distributed using the existing image compression technology or the like.
  • An image distribution device distributes a plurality of images obtained by viewing the same scene from different viewpoints to a plurality of users, and each of the plurality of users can view an arbitrary image from the plurality of images.
  • images of a plurality of viewpoints can be transmitted as a single integrated image
  • the same integrated image can be transmitted to a plurality of image display devices. Therefore, the system configuration can be simplified.
  • the single image format it is possible to reduce the change from the existing system configuration, and it is possible to reduce the data amount of the video to be distributed using the existing image compression technology or the like.
  • An image display device distributes a plurality of images obtained by viewing the same scene from different viewpoints to a plurality of users, and each of the plurality of users can view an arbitrary image from the plurality of images.
  • an image of an arbitrary viewpoint can be displayed using an image of a plurality of viewpoints transmitted as a single integrated image. Therefore, the system configuration can be simplified.
  • the single image format it is possible to reduce the change from the existing system configuration, and it is possible to reduce the data amount of the video to be distributed using the existing image compression technology or the like.
  • a plurality of videos including a multi-view video captured by a multi-view camera and a free viewpoint video generated using the multi-view video are provided to a plurality of users at the same time.
  • An image distribution system capable of changing the video to be viewed will be described.
  • FIG. 1 is a diagram showing an overview of an image distribution system. For example, it is possible to reconstruct a 3D space by photographing the same space from multiple viewpoints using a calibrated camera (for example, a fixed camera) (3D space reconstruction). By performing tracking, scene analysis, and video rendering using the three-dimensionally reconstructed data, a free viewpoint video viewed from an arbitrary viewpoint (free viewpoint camera) can be generated. Thereby, a next generation wide area monitoring system and a free viewpoint video generation system can be realized.
  • a calibrated camera for example, a fixed camera
  • such a system can provide a variety of videos, but in order to meet the needs of each viewer, it is necessary to provide different videos to each viewer. For example, when a plurality of users watching sports in a stadium or the like watch a video, there are 1000 viewers. In such a case, it is difficult to secure a communication band in order to distribute different videos for each of the large number of viewers. In addition, it is necessary to change the distribution video every time the viewpoint is changed during viewing, and it is difficult to perform this process for each viewer. Therefore, it is difficult to realize a system in which the viewer switches the viewpoint at an arbitrary timing.
  • two or more viewpoint videos are arranged in a single video (integrated video), and the single video
  • the video and the arrangement information are transmitted to the viewer (user).
  • the image display device has a function of displaying one or more viewpoint videos from the single video and a function of switching a video to be displayed based on a viewer's operation.
  • 2A, 2B, 2C, and 2D are diagrams illustrating an example of an integrated image according to the present embodiment.
  • the integrated image is one image (one frame) included in the integrated video.
  • the integrated images 151A to 151D include a plurality of images 152. That is, a plurality of low-resolution (for example, 320 ⁇ 180 resolution) images 152 are arranged in the high-resolution (for example, 3840 ⁇ 2160 resolution) integrated images 151A to 151D.
  • a plurality of low-resolution (for example, 320 ⁇ 180 resolution) images 152 are arranged in the high-resolution (for example, 3840 ⁇ 2160 resolution) integrated images 151A to 151D.
  • the plurality of images 152 are, for example, images at the same time included in a plurality of videos from different viewpoints.
  • nine images 152 are images at the same time included in nine different viewpoint videos.
  • the plurality of images 152 may include images at different times.
  • the plurality of images 152 may be images having the same resolution, and as shown in FIGS. 2C and 2D, images having a plurality of patterns of resolution are included in the plurality of images 152. May be included.
  • this arrangement pattern and resolution are determined according to the audience rating or the intention of the distributor.
  • the image 152 included in the video with higher priority is set to a larger size (resolution).
  • a video with a high priority is, for example, a video with a high audience rating or a video with a high evaluation value (for example, a video in which a person is up). According to this, it is possible to improve the image quality of a video that is highly demanded or desired to be shown as an effect.
  • the image 152 included in the video with the high priority may be arranged on the upper left side.
  • a process for controlling the code amount is performed.
  • the image quality can be stabilized as the upper left region in the scan order is younger. Therefore, stabilization of the image quality of an image with high priority can be realized.
  • the plurality of images 152 may be images with different viewpoints for viewing the same gazing point.
  • the center of the ring is a gazing point
  • the viewpoints of the plurality of images 152 are viewpoints arranged on a circumference centering on the gazing point.
  • the plurality of images 152 may include images of viewpoints for viewing different gazing points.
  • the plurality of images 152 may include one or more images of one or more viewpoints viewing the first gazing point and one or more images of one or more viewpoints viewing the second gazing point.
  • the plurality of gazing points are each player, and the plurality of images 152 include images obtained by viewing each player from front, rear, left, and right.
  • the plurality of images 152 include a full-length image of each idol and images of each idol such as bust-up viewed from various perspectives.
  • the plurality of images 152 may include 360 degree images used in VR (virtual reality) or the like.
  • the plurality of images 152 may include, for example, images that reproduce the viewpoints of sports players.
  • a plurality of images 152 may be used for generating such an image.
  • the plurality of images 152 may be images included in camera images actually captured by a camera, or include one or more free viewpoint images generated by image processing for viewpoints where the camera cannot be installed. Also good. Further, all the images 152 may be free viewpoint images.
  • an integrated video including an integrated image at each time may be generated, or an integrated image may be generated only for a part of the time in the video.
  • the same processing may be performed on a still image instead of a video (moving image).
  • the arrangement information is information regarding each viewpoint image (image 152) in the integrated image and information defining a viewpoint switching rule.
  • the information regarding each viewpoint image includes viewpoint information indicating the position of the viewpoint or time information of the image.
  • the viewpoint information is information indicating three-dimensional coordinates of the viewpoint or information indicating a predetermined ID (identifier) of the viewpoint position on the map.
  • the time information of the viewpoint image may be information indicating an absolute time such as what frame, or may be information indicating a relative relationship with the frame of the integrated image.
  • the information regarding the viewpoint switching rule includes information indicating the order of viewpoint switching or grouping information.
  • the information indicating the order of viewpoint switching is, for example, table information that defines the relationship between viewpoints.
  • the image display apparatus 103 can determine the next viewpoint of a certain viewpoint using this table information. Thereby, the image display apparatus 103 can determine which viewpoint image is used when the viewpoint is moved from one viewpoint to the next adjacent viewpoint. Further, the image display device 103 can easily grasp the order of viewpoints to be switched when changing viewpoints continuously. Thereby, the image display apparatus 103 can provide an animation for smoothly switching the viewpoint.
  • each viewpoint (or video of the viewpoint) can be used for transition between viewpoints that continuously move the viewpoint, but a flag indicating that the video of the viewpoint is not displayed alone may be provided. .
  • FIG. 3 is a diagram illustrating a configuration example of the integrated image 151E including images at different times.
  • the integrated image 151E at time (t) includes a plurality of images 152A at time t, a plurality of images 152B at time t-1, and a plurality of images 152C at time t-2.
  • images at three times of 10 viewpoint videos are included in the integrated image 151E.
  • the missing frame of the viewpoint video (images 152A to 152C) can be avoided even when a missing frame occurs in a certain frame of the integrated video. That is, even when the integrated image 151E at time t is lost, the image display device can reproduce a video using the image at time t included in the integrated image 151E at another time.
  • FIG. 4 is a diagram illustrating a configuration example of the integrated image 151F when a plurality of images at the same time are included in the integrated images at a plurality of times.
  • a plurality of images 152 at time t are included across the integrated image 151F at time t and the integrated image 151F at time t + 1.
  • each integrated image 151 ⁇ / b> F includes an image 152 at 30 viewpoints at time t. Therefore, the two integrated images 151 ⁇ / b> F include the images 152 at the time t of 60 viewpoints in total. This makes it possible to increase the number of viewpoint videos that can be provided at a certain time.
  • such a division method and integration method relating to time may be used while switching without being unified in one video.
  • the method shown in FIG. 4 may be used to increase the number of viewpoints, and in other scenes, an image 152 at that time may be included in an integrated image at a certain time.
  • FIG. 5 is a block diagram of the image distribution system 100 according to the present embodiment.
  • the image distribution system 100 includes a plurality of cameras 101, an image distribution device 102, and a plurality of image display devices 103.
  • the plurality of cameras 101 generate a camera image group that is a multi-view video. Synchronous shooting may be performed in all cameras, and images (frames) at the same time are discriminated in the image distribution apparatus 102 by embedding time information in the video or adding index information indicating the frame order to the video. May be. Note that one or more camera images may be generated by one or more cameras 101.
  • the image distribution device 102 includes a free viewpoint video generation device 104 and an integrated video transmission device 105.
  • the free viewpoint video generation device 104 generates one or more free viewpoint videos viewed from a virtual viewpoint using one or more camera videos from the camera 101, and generates one or more free viewpoint videos (free viewpoint video group). Is sent to the integrated video transmission apparatus 105.
  • the free viewpoint video generation device 104 generates a 3D model by reconstructing a 3D space using a plurality of camera videos and position information thereof, and generates a free viewpoint video using the generated 3D model. Generate.
  • the free viewpoint video generation device 104 generates a free viewpoint video by interpolating video between cameras using two or more camera images.
  • the integrated video transmission device 105 generates an integrated video including a plurality of images in each frame using one or more camera videos and one or more free viewpoint videos.
  • the integrated video generation device 105 transmits the generated integrated video and arrangement information indicating the positional relationship of the video in the integrated video to the plurality of image display devices 103.
  • Each of the plurality of image display devices 103 receives the integrated video and the arrangement information transmitted from the image distribution device 102, and displays at least one of the plurality of viewpoint videos included in the integrated video to the user.
  • the image display apparatus 103 has a function of switching the viewpoint video to be displayed based on the UI operation. Thereby, the function to switch an image
  • the image distribution system 100 may include one or more image display devices 103.
  • FIG. 6 is a block diagram of the integrated video transmission device 105.
  • the integrated video transmission device 105 includes an integrated video generation unit 201, a transmission unit 202, and a viewing information analysis unit 203.
  • the integrated video generation unit 201 generates an integrated video from two or more videos (camera video or free viewpoint video), and generates arrangement information of each video in the integrated video.
  • the transmission unit 202 transmits the integrated video and arrangement information generated by the integrated video generation unit 201 to one or more image display devices 103.
  • the transmission unit 202 may transmit the integrated video and the arrangement information as a single stream to the image display apparatus 103 or may transmit the integrated video and the arrangement information to the image display apparatus 103 via different paths.
  • the transmission unit 202 may transmit the integrated video to the image display device 103 using broadcast waves, and may transmit the arrangement information to the image display device 103 using network communication.
  • the viewing information analysis unit 203 aggregates viewing information (for example, information indicating the viewpoint video currently displayed on the image display device 103) sent from one or more image display devices 103.
  • the viewing information analysis unit 203 passes the statistical information (for example, audience rating) to the integrated video generation unit 201.
  • the integrated video generation unit 201 uses this statistical information as auxiliary information when generating the integrated video.
  • the transmission unit 202 may transmit the integrated video and the arrangement information in a streaming manner or in a series of video units.
  • the image distribution apparatus 102 may generate a video in which the viewpoint is continuously switched from the overhead video to the initial viewpoint as a production effect up to the initial viewpoint at the time of video distribution, and may distribute the generated video. According to this, it is possible to provide a scene for the viewer to grasp the spatial information such as the position or posture up to the initial viewpoint as an introduction effect at the replay timing. Alternatively, this process may be performed by the image display device 103. Alternatively, the image distribution apparatus 102 sends information indicating the switching order and switching timing of the viewpoint video to the image display apparatus 103, and the image display apparatus 103 switches the viewpoint video to be displayed based on the information, thereby displaying the upper video. It may be generated.
  • FIG. 7 is a flowchart of integrated video generation processing by the integrated video generation unit 201.
  • the integrated video generation unit 201 acquires a multi-view video (S101).
  • This multi-view video includes two or more free viewpoint videos generated by image processing such as camera video and free viewpoint video generation processing or morphing processing.
  • the camera video does not need to be sent directly from the camera 101 to the integrated video generation unit 201, and video once saved in another storage device may be input to the integrated video generation unit 201. In this case, it is possible to construct a system that utilizes past archive video and the like instead of real time.
  • the integrated video generation unit 201 determines whether viewing information from the image display device 103 exists (S102). If the viewing information exists (Yes in S102), the integrated video generation unit 201 acquires viewing information (for example, the viewing rate of each viewpoint video) (S103). If viewing information is not used, the processes in steps S102 and S103 are not performed.
  • viewing information for example, the viewing rate of each viewpoint video
  • the integrated video generation unit 201 generates an integrated video from the input multi-view video (S104).
  • the integrated video generation unit 201 determines a division method for arranging each viewpoint video in the integrated video.
  • the integrated video generation unit 201 may arrange all the videos with the same resolution as shown in FIGS. 2A and 2B, or may have a plurality of videos with different resolutions as shown in FIGS. 2C and 2D. Video may be included.
  • the same processing can be performed on all viewpoint images in the subsequent processing, so the processing load can be reduced.
  • a plurality of videos include different resolutions, it is possible to improve the image quality of a video with high priority, such as a video of a viewpoint recommended by the distributor, and to provide a service according to the viewer.
  • the integrated image at a certain time may include a multi-view image at a plurality of times.
  • the integrated image at a plurality of times may include a multi-viewpoint image at the same time.
  • redundancy in the time direction can be secured, so that a stable video viewing experience can be provided even when communication is unstable.
  • the integrated video generation unit 201 may change the division method according to the viewing information acquired in step S103. Specifically, by placing a viewpoint video with a high audience rating in an area with a high resolution, it becomes possible to make the video higher in definition than other videos.
  • the integrated video generation unit 201 associates the determined division method with each divided area and viewpoint information of each input video (that is, information indicating which viewpoint video is arranged in which area). The arrangement information including is generated. At this time, the integrated video generation unit 201 may further generate transition information indicating transition between viewpoints, grouping information presenting a video group for each player, and the like.
  • the integrated video generation unit 201 generates an integrated video from two or more input videos based on the generated arrangement information.
  • the integrated video generation unit 201 encodes the integrated video (S105). If the communication band is sufficient, it is not necessary to perform this process.
  • the integrated video generation unit 201 may be set so that each video is a coding unit.
  • the integrated video generation apparatus 105 converts each video to H.264. Set to slice or tile in H.265 / HEVC. That is, encoding is performed so that each video can be decoded independently. Accordingly, only one viewpoint video can be decoded in the decoding process. Therefore, the processing amount in the image display apparatus 103 can be reduced.
  • the integrated video generation unit 201 may change the amount of code assigned to each video according to viewing information. Specifically, the integrated video generation unit 201 improves the image quality by reducing the quantization parameter for an area where a video with a high audience rating is arranged.
  • the integrated video generation unit 201 may equalize the image quality (for example, resolution or quantization parameter) for a certain group (for example, the same player or the viewpoint on the same circumference). . According to this, it is possible to reduce the change in image quality when the viewpoint is switched.
  • image quality for example, resolution or quantization parameter
  • the integrated video generation unit 201 may switch processing between the boundary and other areas, such as not using a deblocking filter, at the boundary of each viewpoint video.
  • FIG. 8 is a flowchart of processing by the transmission unit 202.
  • the transmission unit 202 acquires the integrated video generated by the integrated video generation unit 201 (S201). Subsequently, the transmission unit 202 acquires the arrangement information generated by the integrated video generation unit 201 (S202). Note that if the arrangement information does not change, the transmission unit 202 may reuse the arrangement information used in the previous frame without newly acquiring the arrangement information.
  • the transmission unit 202 transmits the integrated video and arrangement information acquired in steps S201 and S202 (S203).
  • the transmission unit 202 may transmit information by broadcast or use one-to-one communication. Further, the transmission unit 202 does not need to transmit the arrangement information every frame, and may transmit the arrangement information at the timing when the arrangement of the video is switched. Or the transmission part 202 may transmit arrangement
  • the transmission unit 202 may transmit the integrated video and the arrangement information by interleaving them, or may transmit the integrated video and the arrangement information as different information. Moreover, the transmission part 202 may transmit an integrated image
  • FIG. 9 is a block diagram of the image display device 103.
  • the image display apparatus 103 includes a reception unit 301, a viewpoint video selection unit 302, a video display unit 303, a UI unit 304, a UI control unit 305, and a viewing information transmission unit 306.
  • the receiving unit 301 receives the integrated video and the arrangement information transmitted from the integrated video transmission device 105.
  • the receiving unit 301 may include a buffer or a memory that stores received video and the like.
  • the viewpoint video selection unit 302 selects one or more displayed viewpoint videos in the received integrated video using the arrangement information and the selected viewpoint information indicating the currently displayed viewpoint video, and selects the viewpoint video. Output.
  • the video display unit 303 displays one or more viewpoint videos selected by the viewpoint video selection unit 302.
  • the UI unit 304 interprets an input operation by a user and displays a UI (user interface). This input operation may be performed using an input device such as a mouse, a keyboard, a controller, or a touch panel, or may be performed using voice recognition or gesture recognition using a camera.
  • the image display device 103 is a device (for example, a smartphone or a tablet terminal) equipped with a sensor such as an acceleration sensor, and detects an inclination of the image display device 103 and acquires an input operation accordingly. Also good.
  • the UI control unit 305 outputs information for switching the displayed viewpoint video based on the input operation acquired by the UI unit 304. Also, the UI control unit 305 updates the contents of the UI displayed on the UI unit 304.
  • the viewing information transmission unit 306 integrates viewing information that is information about the current viewing status (for example, selected viewpoint index information) based on the selected viewpoint information indicating the viewpoint video selected by the viewpoint video selection unit 302. The image is transmitted to the video transmission device 105.
  • FIG. 10 is a flowchart showing the operation of the receiving unit 301.
  • the receiving unit 301 receives information transmitted from the integrated video transmission device 105 (S301).
  • the transmitted information may be input to the receiving unit 301 via a buffer that can store a certain amount of video.
  • the receiving unit 301 may store the received information in a storage device such as an HDD or a memory.
  • a storage device such as an HDD or a memory.
  • the video is reproduced and stopped in response to a request for subsequent processing from the viewpoint video selection unit 302 or the like.
  • the user can stop the video in an impressive scene (for example, the moment of baseball impact) and view the scene from multiple directions.
  • the image display device 103 may generate such a video.
  • the image display apparatus 103 may skip the video for the time of the stop state and play the following video.
  • the image display device 103 may generate a digest video having a shorter time than the buffered video by skipping or fast-forwarding a part of the frame of the buffered video and displaying the generated digest video. As a result, it is possible to match the video to be displayed after a certain period of time with the streaming time.
  • the receiving unit 301 acquires an integrated video included in the received information (S302). Next, the receiving unit 301 determines whether arrangement information is included in the received information (S303). If it is determined that the received information includes the placement information (Yes in S303), the receiving unit 301 acquires the placement information included in the received information (S304).
  • FIG. 11 is a flowchart showing processing of the viewpoint video selection unit 302.
  • the viewpoint video selection unit 302 acquires the integrated video output from the reception unit 301 (S401).
  • the viewpoint video selection unit 302 acquires the arrangement information output from the reception unit 301 (S402).
  • the viewpoint video selection unit 302 acquires selected viewpoint information for determining a viewpoint to be displayed from the UI control unit 305 (S403).
  • the viewpoint video selection unit 302 may manage the previous state and the like with the viewpoint video selection unit 302 instead of acquiring the selected viewpoint information from the UI control unit 305. For example, the viewpoint video selection unit 302 selects the same viewpoint as that in the previous state.
  • the viewpoint video selection unit 302 acquires a corresponding viewpoint video from the integrated video acquired in step S401 based on the arrangement information acquired in step S402 and the selected viewpoint information acquired in step S403 (S404). For example, the viewpoint video selection unit 302 cuts out the viewpoint video from the integrated video so that the video display unit 303 displays a desired video. Note that the video display unit 303 may display a single viewpoint video by enlarging and displaying the area where the selected viewpoint video is arranged in the integrated video and limiting the display area.
  • the arrangement information is a binary image having the same resolution as the integrated image, and the boundary line portion is 1 and the others are 0 images. Further, IDs are assigned in order from the upper left in the binary image.
  • the viewpoint video selection unit 302 acquires a desired video by extracting a video of an area to which an ID corresponding to the viewpoint indicated by the selected viewpoint information is assigned.
  • the arrangement information does not need to be an image, and may be text information indicating a two-dimensional viewpoint coordinate and resolution.
  • the viewpoint video selection unit 302 outputs the viewpoint video acquired in step S404 to the video display unit 303 (S405).
  • the viewpoint video selection unit 302 outputs selected viewpoint information indicating the selected viewpoint to the viewing information transmission unit 306 (S406).
  • the video selected based on the selected viewpoint information is not limited to one, but may be a video of multiple viewpoints.
  • a video of a certain viewpoint and a video of a viewpoint in the vicinity thereof may be selected, or another viewpoint video having the same gazing point as that video may be selected.
  • the viewpoint video selection unit 302 may select a viewpoint video in which the player A is viewed from the side or the rear in addition to the video of the viewpoint. Good.
  • the viewpoint selection information may indicate a plurality of viewpoints to be selected, or the viewpoint selection information indicates one representative viewpoint.
  • the viewpoint video selection unit 302 may estimate another viewpoint from the viewpoint. For example, when the representative viewpoint is the viewpoint focused on the player B, the viewpoint video selection unit 302 selects the viewpoint video focused on the other players C and the players D in addition to the viewpoint video.
  • the initial value of the selected viewpoint information may be embedded in the arrangement information or may be determined in advance.
  • the position (for example, the upper left) in the integrated video may be used as the initial value.
  • the viewpoint video selection unit 302 may determine an initial value according to a viewing situation such as a viewing rate, or recognizes a subject or the like and automatically sets an initial value according to a user's preference registered in advance. You may decide.
  • FIG. 12 is a flowchart showing the operation of the video display unit 303.
  • the video display unit 303 acquires one or more viewpoint videos output from the viewpoint video selection unit 302 (S501).
  • the video display unit 303 displays the viewpoint video acquired in step S501 (S502).
  • FIG. 13A, FIG. 13B, and FIG. 13C are diagrams showing display examples of video in the video display unit 303.
  • the video display unit 303 displays one viewpoint video 153 alone, or the video display unit 303 displays a plurality of viewpoint videos 153.
  • the video display unit 303 displays all the viewpoint videos 153 with the same resolution.
  • the video display unit 303 displays a plurality of viewpoint videos 153 at different resolutions.
  • the image display device 103 may store the viewpoint video in the previous frame, generate an interpolation video by image processing when the viewpoint is switched, and display the generated interpolation video when the viewpoint is switched. . Specifically, the image display device 103 generates an intermediate video by morphing processing when switching between viewpoints arranged side by side, and displays the generated intermediate video. Thereby, a smooth viewpoint change can be produced.
  • FIG. 14 is a flowchart showing processing of the UI unit 304 and the UI control unit 305.
  • the UI control unit 305 determines an initial viewpoint (S601), and transmits initial information indicating the determined initial viewpoint to the UI unit 304 (S602).
  • the UI control unit 305 waits for input from the UI unit 304 (S603).
  • the UI control unit 305 updates the selected viewpoint information according to the input information (S604), and the updated selected viewpoint information is transmitted to the UI unit 304. Transmit (S605).
  • the UI unit 304 receives initial information from the UI control unit 305 (S701). Subsequently, the UI unit 304 displays a UI corresponding to the initial information (S702).
  • the UI unit 304 displays one of the following or a combination of two or more UIs. For example, the UI unit 304 displays a switching button for switching the viewpoint.
  • the UI unit 304 displays a projection diagram that indicates the two-dimensional position of each viewpoint, such as map information.
  • the UI unit 304 displays a representative image (for example, a player's face image) of the gazing point of each viewpoint.
  • the UI unit 304 may change the UI to be displayed according to the arrangement information.
  • the UI unit 304 displays a jog dial when the viewpoint is arranged on the circumference, and displays a UI for performing a slide or flick operation when the viewpoint is arranged on a straight line.
  • a UI for performing a slide operation may be used even when the camera is arranged on the circumference.
  • the UI unit 304 determines whether there is a user input (S703).
  • This input operation may be performed via an input device such as a keyboard or a touch panel, or may be interpreted from an output of a sensor such as an acceleration sensor. Further, voice recognition or gesture recognition may be used for the input operation.
  • the selected viewpoint may be changed by pinch-in and pinch-out.
  • the UI unit 304 When there is a user input (Yes in S703), the UI unit 304 generates input information for changing the viewpoint based on the user input, and transmits the generated input information to the UI control unit 305 (S704). . Next, the UI unit 304 receives the updated selected viewpoint information from the UI control unit 305 (S705), updates the UI information according to the received selected viewpoint information (S706), and based on the updated UI information. The UI is displayed (S702).
  • the image distribution apparatus 102 distributes a plurality of images obtained by viewing the same scene from different viewpoints to a plurality of users, and each of the plurality of users can view an arbitrary image from the plurality of images.
  • the image distribution apparatus 102 generates an integrated image (integrated image 151A or the like) in which a plurality of images 152 are arranged in one frame.
  • the image distribution device 102 distributes the integrated image to a plurality of image display devices 103 used by a plurality of users.
  • images from a plurality of viewpoints can be transmitted as a single integrated image
  • the same integrated image can be transmitted to a plurality of image display devices 103. Therefore, the system configuration can be simplified.
  • the single image format it is possible to reduce the change from the existing system configuration, and it is possible to reduce the data amount of the video to be distributed using the existing image compression technology or the like.
  • At least one of the plurality of images included in one integrated image is a virtual image (free viewpoint image) generated based on the real image.
  • the resolutions of the plurality of images 152 included in one integrated image 151A or 151B are equal. According to this, management of the plurality of images 152 is facilitated, and the same processing can be applied to the plurality of images 152, so that the processing amount can be reduced.
  • the plurality of images 152 included in one integrated image 151C or 151D include images 152 having different resolutions. According to this, for example, the image quality of the high-priority image 152 can be improved.
  • the plurality of images included in one integrated image are images at the same time. Further, as shown in FIG. 4, the plurality of images 152 included in the two or more integrated images 151F are images at the same time. According to this, the number of viewpoints to be distributed can be increased.
  • the plurality of images 152A, 152B, and 152C included in one integrated image 151E include images of the same viewpoint at different times. According to this, even when an image is lost due to a communication error, the image display device 103 can display the image correctly.
  • the image distribution device 102 distributes arrangement information indicating the arrangement of a plurality of images in the integrated image to the plurality of image display devices 103. Further, the image distribution apparatus 102 distributes information indicating the viewpoints of the plurality of images in the integrated image to the plurality of image display apparatuses 103. The image distribution device 102 distributes time information of each of the plurality of images in the integrated image to the plurality of image display devices 103. Further, the image distribution apparatus 102 distributes information indicating the switching order of the plurality of images in the integrated image to the plurality of image display apparatuses 103.
  • the image display device 103 is included in the image distribution system 100.
  • the image display apparatus 103 receives an integrated image (such as the integrated image 151A) in which a plurality of images 152 are arranged in one frame.
  • the image display device 103 displays one of the plurality of images 152 included in the integrated image.
  • an image of an arbitrary viewpoint can be displayed using an image of a plurality of viewpoints transmitted as a single integrated image. Therefore, the system configuration can be simplified.
  • the single image format it is possible to reduce the change from the existing system configuration, and it is possible to reduce the data amount of the video to be distributed using the existing image compression technology or the like.
  • the image display device 103 receives arrangement information indicating the arrangement of a plurality of images in the integrated image, and acquires the image 152 from the integrated image using the received arrangement information.
  • the image display device 103 receives information indicating the viewpoints of each of the plurality of images in the integrated image, and acquires the image 152 from the integrated image using the received information.
  • the image display device 103 receives time information of each of the plurality of images in the integrated image, and acquires the image 152 from the integrated image using the received time information.
  • the image display device 103 receives information indicating the switching order of a plurality of images in the integrated image, and acquires the image 152 from the integrated image using the received information.
  • Each processing unit included in the image distribution system according to the above embodiment is typically realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the present disclosure may be realized as various methods executed by the image distribution system, the image distribution apparatus, or the image display apparatus.
  • division of functional blocks in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, a single functional block can be divided into a plurality of functions, or some functions can be transferred to other functional blocks. May be.
  • functions of a plurality of functional blocks having similar functions may be processed in parallel or time-division by a single hardware or software.
  • the present disclosure can be applied to an image distribution system and an image distribution method, for example, a free viewpoint video generation system and a next generation monitoring system.
  • DESCRIPTION OF SYMBOLS 100 Image delivery system 101 Camera 102 Image delivery apparatus 103 Image display apparatus 104 Free viewpoint image generation apparatus 105 Integrated video transmission apparatus 151A, 151B, 151C, 151D, 151E, 151F Integrated image 152, 152A, 152B, 152C Image 153 View image 201 Integrated video generation unit 202 Transmission unit 203 Viewing information analysis unit 301 Reception unit 302 Viewpoint video selection unit 303 Video display unit 304 UI unit 305 UI control unit 306 Viewing information transmission unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

画像配信方法は、同一シーンを異なる視点から見た複数の画像（１５２）を複数のユーザに配信し、複数のユーザの各々が複数の画像（１５２）から任意の画像を視聴できる画像配信システム（１００）における画像配信方法であって、複数の画像（１５２）を一つのフレーム内に配置した統合画像（１５１Ａ）を生成する生成ステップ（Ｓ１０４）と、統合画像（１５１Ａ）を複数のユーザが使用する複数の画像表示装置（１０３）に配信する配信ステップ（Ｓ２０３）とを含む。

Description

画像配信方法、画像表示方法、画像配信装置及び画像表示装置
　本開示は、画像配信方法、画像表示方法、画像配信装置及び画像表示装置に関する。
　多視点映像の配信方法として、特許文献１には、複数の視点から撮影された映像を視点移動に連動して配信する技術が開示されている。
特開２００２－１６５２００号公報
　多視点画像を配信する画像配信方法、及び、配信された多視点画像を表示する画像表示方法では、システムの構成を簡略化できることが望まれている。
　そこで本開示は、システムの構成を簡略化できる画像配信方法、画像表示方法、画像配信装置又は画像表示装置を提供することを目的とする。
　上記目的を達成するために、本開示の一態様に係る画像配信方法は、同一シーンを異なる視点から見た複数の画像を複数のユーザに配信し、前記複数のユーザの各々が前記複数の画像から任意の画像を視聴できる画像配信システムにおける画像配信方法であって、前記複数の画像を一つのフレーム内に配置した統合画像を生成する生成ステップと、前記統合画像を前記複数のユーザが使用する複数の画像表示装置に配信する配信ステップとを含む。
　本開示の一態様に係る画像表示方法は、同一シーンを異なる視点から見た複数の画像を複数のユーザに配信し、前記複数のユーザの各々が前記複数の画像から任意の画像を視聴できる画像配信システムにおける画像表示方法であって、前記複数の画像を一つのフレーム内に配置した統合画像を受信する受信ステップと、前記統合画像に含まれる前記複数の画像のうち一つを表示する表示ステップとを含む。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本開示は、システムの構成を簡略化できる画像配信方法、画像表示方法、画像配信装置又は画像表示装置を提供できる。
図１は、実施の形態に係る画像配信システムの概要を示す図である。 図２Ａは、実施の形態に係る統合画像の一例を示す図である。 図２Ｂは、実施の形態に係る統合画像の一例を示す図である。 図２Ｃは、実施の形態に係る統合画像の一例を示す図である。 図２Ｄは、実施の形態に係る統合画像の一例を示す図である。 図３は、実施の形態に係る統合画像の一例を示す図である。 図４は、実施の形態に係る統合画像の一例を示す図である。 図５は、実施の形態に係る画像配信システムの構成を示す図である。 図６は、実施の形態に係る統合映像送信装置のブロック図である。 図７は、実施の形態に係る統合映像生成処理のフローチャートである。 図８は、実施の形態に係る送信処理のフローチャートである。 図９は、実施の形態に係る画像表示装置のブロック図である。 図１０は、実施の形態に係る受信処理のフローチャートである。 図１１は、実施の形態に係る画像選択処理のフローチャートである。 図１２は、実施の形態に係る画像表示処理のフローチャートである。 図１３Ａは、実施の形態に係る表示例を示す図である。 図１３Ｂは、実施の形態に係る表示例を示す図である。 図１３Ｃは、実施の形態に係る表示例を示す図である。 図１４は、実施の形態に係るＵＩ処理のフローチャートである。
　本開示の一態様に係る画像配信方法は、同一シーンを異なる視点から見た複数の画像を複数のユーザに配信し、前記複数のユーザの各々が前記複数の画像から任意の画像を視聴できる画像配信システムにおける画像配信方法であって、前記複数の画像を一つのフレーム内に配置した統合画像を生成する生成ステップと、前記統合画像を前記複数のユーザが使用する複数の画像表示装置に配信する配信ステップとを含む。
　これによれば、単一の統合画像として複数視点の画像を送信できるので、複数の画像表示装置に同一の統合画像を送信できる。よって、システムの構成を簡略化できる。また、単一画像の形式を用いることで、既存のシステム構成から変更を低減できるとともに、既存の画像圧縮技術等を用いて、配信される映像のデータ量を低減できる。
　例えば、一つの前記統合画像に含まれる前記複数の画像の少なくとも一つは、実画像を基に生成された仮想画像であってもよい。
　例えば、一つの前記統合画像に含まれる前記複数の画像の解像度は等しくてもよい。
　これによれば、複数の画像の管理が容易になるとともに、複数の画像に同一の処理を適用できるので、処理量を低減できる。
　例えば、一つの前記統合画像に含まれる前記複数の画像は、異なる解像度の画像を含んでもよい。
　これによれば、例えば、優先度の高い画像の画質を向上できる。
　例えば、一つの前記統合画像に含まれる前記複数の画像は同じ時刻の画像であってもよい。
　例えば、２以上の前記統合画像に含まれる前記複数の画像は同じ時刻の画像であってもよい。
　これによれば、配信する視点の数を増やすことができる。
　例えば、一つの前記統合画像に含まれる前記複数の画像は、同一の視点の異なる時刻の画像を含んでもよい。
　これによれば、通信エラーにより画像が欠落した場合においても、画像表示装置は、正しく画像を表示できる。
　例えば、前記配信ステップでは、さらに、前記統合画像内における前記複数の画像の配置を示す配置情報を前記複数の画像表示装置に配信してもよい。
　例えば、前記配信ステップでは、さらに、前記統合画像内における前記複数の画像の各々の視点を示す情報を前記複数の画像表示装置に配信してもよい。
　例えば、前記配信ステップでは、さらに、前記統合画像内における前記複数の画像の各々の時刻情報を前記複数の画像表示装置に配信してもよい。
　例えば、前記配信ステップでは、さらに、前記統合画像内における前記複数の画像の切り替え順を示す情報を前記複数の画像表示装置に配信してもよい。
　本開示の一態様に係る画像表示方法は、同一シーンを異なる視点から見た複数の画像を複数のユーザに配信し、前記複数のユーザの各々が前記複数の画像から任意の画像を視聴できる画像配信システムにおける画像表示方法であって、前記複数の画像を一つのフレーム内に配置した統合画像を受信する受信ステップと、前記統合画像に含まれる前記複数の画像のうち一つを表示する表示ステップとを含む。
　これによれば、単一の統合画像として送信された複数視点の画像を用いて、任意の視点の画像を表示できる。よって、システムの構成を簡略化できる。また、単一画像の形式を用いることで、既存のシステム構成から変更を低減できるとともに、既存の画像圧縮技術等を用いて、配信される映像のデータ量を低減できる。
　本開示の一態様に係る画像配信装置は、同一シーンを異なる視点から見た複数の画像を複数のユーザに配信し、前記複数のユーザの各々が前記複数の画像から任意の画像を視聴できる画像配信システムに含まれる画像配信装置であって、前記複数の画像を一つのフレーム内に配置した統合画像を生成する生成部と、前記統合画像を前記複数のユーザが使用する複数の画像表示装置に配信する配信部とを備える。
　これによれば、単一の統合画像として複数視点の画像を送信できるので、複数の画像表示装置に同一の統合画像を送信できる。よって、システムの構成を簡略化できる。また、単一画像の形式を用いることで、既存のシステム構成から変更を低減できるとともに、既存の画像圧縮技術等を用いて、配信される映像のデータ量を低減できる。
　本開示の一態様に係る画像表示装置は、同一シーンを異なる視点から見た複数の画像を複数のユーザに配信し、前記複数のユーザの各々が前記複数の画像から任意の画像を視聴できる画像配信システムに含まれる画像表示装置であって、前記複数の画像を一つのフレーム内に配置した統合画像を受信する受信部と、前記統合画像に含まれる前記複数の画像のうち一つを表示する表示部とを備える。
　これによれば、単一の統合画像として送信された複数視点の画像を用いて、任意の視点の画像を表示できる。よって、システムの構成を簡略化できる。また、単一画像の形式を用いることで、既存のシステム構成から変更を低減できるとともに、既存の画像圧縮技術等を用いて、配信される映像のデータ量を低減できる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　本実施の形態では、多視点カメラで撮影された多視点映像と、その多視点映像を利用して生成された自由視点映像とを含む複数の映像を複数のユーザに同時に提供し、各ユーザが視聴する映像を変更可能な画像配信システムについて説明する。
　複数のカメラ映像及び自由視点映像を利用することで様々な方向からの映像を取得及び生成することが可能となる。これにより、多様な視聴者のニーズに応えた映像を提供可能である。例えば、多様な視聴者のニーズに応じて、ある選手のアップ映像、又は俯瞰映像等を提供できる。
　図１は、画像配信システムの概要を示す図である。例えば、校正済みのカメラ（例えば固定カメラ）を用いて同一空間を多視点から撮影することにより撮影する空間を三次元再構成できる（三次元空間再構成）。この三次元再構成されたデータを用いて、トラッキング、シーン解析、及び映像レンダリングを行うことで、任意の視点（自由視点カメラ）から見た自由視点映像を生成できる。これにより、次世代広域監視システム、及び自由視点映像生成システムを実現できる。
　しかしながら、このようなシステムでは、多様な映像を提供可能である一方、各視聴者の持つニーズに応えるためには視聴者それぞれに異なる映像を提供する必要がある。例えば、スタジアムなどにおいてスポーツ観戦を行っている複数のユーザが映像を視聴する場合には、１０００人規模の視聴者が存在する。このような場合において、この多数の視聴者毎に異なる映像を配信するために通信帯域を確保することは困難である。また、視聴途中での視点の切り替えなどの度に配信映像を変更する必要もあり、この処理を視聴者毎に行うことも困難である。よって、視聴者が任意タイミングで視点を切り替えるシステムを実現することは困難である。
　これに対して、本実施の形態に一形態に係る画像配信システムでは、単一映像（統合映像）に２つ以上の視点映像（カメラ映像及び自由視点映像を含む）を配置し、その単一映像及び配置情報を視聴者（ユーザ）に送信する。また、画像表示装置（受信装置）は、この単一映像から１つ以上の視点映像を表示する機能と、視聴者の操作に基づき表示する映像を切り替える機能とを有する。これにより、多数の視聴者が、異なる視点の映像を視聴できるとともに、任意タイミングでの視聴する映像を切り替えることができるシステムを実現できる。
　まず、本実施の形態に係る統合映像の構成例について説明する。図２Ａ、図２Ｂ、図２Ｃ及び図２Ｄは、本実施の形態に係る統合画像の一例を示す図である。統合画像は、統合映像に含まれる１つの画像（１フレーム）である。
　図２Ａ～２Ｄに示すように、統合画像１５１Ａ～１５１Ｄは、複数の画像１５２を含む。つまり、高解像度（例えば３８４０×２１６０解像度）の統合画像１５１Ａ～１５１Ｄ内に、複数の低解像度（例えば３２０×１８０解像度）の画像１５２が配置される。
　ここで、複数の画像１５２は、例えば、異なる視点の複数の映像に含まれる同一時刻の画像である。例えば、図２Ａに示す例では、９個の画像１５２は、９個の異なる視点の映像に含まれる同一時刻の画像である。なお、複数の画像１５２は、異なる時刻の画像を含んでもよい。
　図２Ａ及び図２Ｂに示すように、複数の画像１５２は、同一の解像度の画像であってもよいし、図２Ｃ及び図２Ｄに示すように、複数の画像１５２に複数パターンの解像度の画像が含まれてもよい。
　例えば、この配置パターン及び解像度は、視聴率又は配信者の意図に応じて決定される。例えば、優先度が高い映像に含まれる画像１５２ほど大きいサイズ（解像度）に設定される。ここで優先度が高い映像とは、例えば、視聴率が高い映像、又は評価値が高い映像（例えば人物がアップになっている映像）である。これによると、需要の大きい又は演出として見せたい映像の画質を向上させることができる。
　また、上記の優先度が高い映像に含まれる画像１５２が左上側に配置されてもよい。ストリーミング配信又は放送の際の符号化処理では、符号量を制御するための処理が行われる。この場合、スキャン順の若い左上領域ほど画質の安定化を図れる。よって、優先度が高い画像の画質の安定化を実現できる。
　また、複数の画像１５２は、同一の注視点を見る視点の異なる画像であってもよい。例えば、ボクシングリングの試合の映像では、リングの中央が注視点であり、複数の画像１５２の視点は、注視点を中心とした円周上に配置された視点である。
　また、複数の画像１５２は、異なる注視点を見る視点の画像が含まれてもよい。つまり、複数の画像１５２は、第１の注視点を見る１以上の視点の１以上の画像と、第２の注視点を見る１以上の視点の１以上の画像とを含んでもよい。例えば、サッカーの試合の場合には、複数の注視点は、各選手であり、各選手を前後左右から見た画像が複数の画像１５２に含まれる。また、アイドルグループのライブの場合には、各アイドルの全身像及びバストアップ等の各アイドルを多角的に見た画像が複数の画像１５２に含まれる。
　また、複数の画像１５２に、ＶＲ（バーチャルリアリティ）等で利用される３６０度画像が含まれてもよい。また、複数の画像１５２に、例えば、スポーツ選手の視点を再現した画像が含まれてもよい。また、複数の画像１５２が、このような画像の生成に利用されてもよい。
　また、複数の画像１５２は、実際にカメラで撮影されたカメラ映像に含まれる画像であってもよいし、カメラを設置できない視点を画像処理にて生成した自由視点画像を一つ以上含んでいてもよい。また、全ての画像１５２が、自由視点画像であってもよい。
　また、各時刻の統合画像を含む統合映像が生成されてもよいし、映像内の一部の時刻に対してのみ統合画像が生成されてもよい。
　また、映像（動画像）ではなく静止画に対して同様の処理を行ってもよい。
　次に、統合画像と共に配信される配置情報に関して説明する。配置情報は、統合画像中の各視点画像（画像１５２）に関する情報、及び視点切替のルールを定義する情報である。
　各視点画像に関する情報は、視点位置を示す視点情報又は画像の時刻情報を含む。視点情報は、視点の三次元的な座標を示す情報、又は、マップ上の視点位置の予め定められたＩＤ（識別子）を示す情報である。
　視点画像の時刻情報は、何フレーム目などの絶対的な時刻を示す情報でもよいし、統合画像のフレームとの相対的な関係を示す情報でもよい。
　視点切替のルールに関する情報は、視点切替の順番を示す情報又はグルーピング情報を含む。視点切替の順番を示す情報は、視点間の関係性を定義した例えばテーブル情報である。例えば、画像表示装置１０３は、このテーブル情報を用いて、ある視点の、隣の視点を判別できる。これにより、画像表示装置１０３は、とある視点から一つ隣の視点へ視点を移動する場合にどの視点画像を用いるかを判別できる。また、画像表示装置１０３は、連続的に視点を変更する際に、切り替える視点の順番を容易に把握できる。これにより、画像表示装置１０３は、滑らかに視点を切り替えるアニメーションを提供できる。
　また、各視点（又はその視点の映像）を、連続的に視点移動するような視点間の遷移では利用できるが、その視点の映像を単一で表示しないことを示すフラグが設けられてもよい。
　また、統合画像に含まれる複数の画像１５２は同一時刻の画像のみで構成される必要はない。図３は、異なる時刻の画像を含む統合画像１５１Ｅの構成例を示す図である。例えば、図３に示すように、時刻（ｔ）の統合画像１５１Ｅは、時刻ｔの複数の画像１５２Ａと、時刻ｔ－１の複数の画像１５２Ｂと、時刻ｔ－２の複数の画像１５２Ｃとを含む。例えば、図３に示す例では、１０視点の映像のそれぞれ３時刻の画像が統合画像１５１Ｅに含まれる。
　これによると、統合映像のあるフレームに欠落が生じた場合でも、視点映像（画像１５２Ａ～１５２Ｃ）のフレーム欠落を回避できる可能性がある。つまり、画像表示装置は、時刻ｔの統合画像１５１Ｅが欠落した場合でも、他の時刻の統合画像１５１Ｅに含まれる時刻ｔの画像を用いて映像を再生できる。
　図４は、複数の時刻の統合画像に同じ時刻の複数の画像が含まれる場合の統合画像１５１Ｆの構成例を示す図である。図４に示すように、時刻ｔの統合画像１５１Ｆと時刻ｔ＋１の統合画像１５１Ｆにわたって、時刻ｔの複数の画像１５２が含まれる。つまり、図４に示す例では、各統合画像１５１Ｆに３０視点の時刻ｔの画像１５２が含まれる。よって、２枚の統合画像１５１Ｆに、合計６０視点の時刻ｔの画像１５２が含まれる。これにより、ある時刻に関して、提供できる視点映像の数を増やすことが可能となる。
　また、このような時刻に関する分割方法及び統合方法は１つの映像中で統一せずに切り替えながら使用されてもよい。例えば、サッカーのシュートシーンのような重要なシーンでは、図４に示す方法を用い視点数を増やし、その他のシーンでは、ある時刻の統合画像にその時刻の画像１５２が含まれてもよい。
　次に、本実施の形態に係る画像配信システム１００の構成を説明する。図５は、本実施の形態に係る画像配信システム１００のブロック図である。この画像配信システム１００は、複数のカメラ１０１と、画像配信装置１０２と、複数の画像表示装置１０３とを含む。
　複数のカメラ１０１は、多視点映像であるカメラ画像群を生成する。全てのカメラにおいて同期撮影が行われてもよいし、映像に時刻情報を埋め込むこと又は映像にフレーム順序を示すインデックス情報を付与することで、画像配信装置１０２において同一時刻の画像（フレーム）が判別されてもよい。なお、１台以上のカメラ１０１により１以上のカメラ映像が生成されればよい。
　画像配信装置１０２は、自由視点映像生成装置１０４と、統合映像送信装置１０５とを含む。自由視点映像生成装置１０４は、カメラ１０１からの１以上のカメラ映像を用いて仮想視点から見た自由視点映像を１つ以上生成し、生成した１つ以上の自由視点映像（自由視点映像群）を統合映像送信装置１０５に送る。
　例えば、自由視点映像生成装置１０４は、複数のカメラ映像と、その位置情報を用いて三次元空間を再構成することで三次元モデルを生成し、生成した三次元モデルを用いて自由視点映像を生成する。または、自由視点映像生成装置１０４は、２台以上のカメラ画像を用いてカメラ間の映像を補間することで自由視点映像を生成する。
　統合映像送信装置１０５は、１以上のカメラ映像及び１以上の自由視点映像を用いて、各フレームに複数の画像を含む統合映像を生成する。統合映像生成装置１０５は、生成された統合映像と統合映像中の映像の位置関係などを示す配置情報とを複数の画像表示装置１０３に送信する。
　複数の画像表示装置１０３の各々は、画像配信装置１０２から送信された統合映像及び配置情報を受信し、ユーザに対して、統合映像に含まれる複数の視点映像のうち少なくとも１つを表示する。また、画像表示装置１０３は、ＵＩ操作に基づき、表示する視点映像を切り替える機能を有する。これにより、ユーザの操作に基づき、映像をインタラクティブに切り替える機能が実現される。また、画像表示装置１０３は、現在、視聴されている視点又は視点映像を示す情報を視聴情報として、画像配信装置１０２にフィードバックする。なお、画像配信システム１００は、１つ以上の画像表示装置１０３を含めばよい。
　次に、統合映像送信装置１０５の構成を説明する。図６は、統合映像送信装置１０５のブロック図である。統合映像送信装置１０５は、統合映像生成部２０１と、送信部２０２と、視聴情報解析部２０３とを含む。
　統合映像生成部２０１は、２以上の映像（カメラ映像又は自由視点映像）から統合映像を生成し、その統合映像中の各映像の配置情報を生成する。
　送信部２０２は、統合映像生成部２０１で生成された統合映像及び配置情報を１つ以上の画像表示装置１０３に送信する。送信部２０２は、統合映像と配置情報とを、一つのストリームとして画像表示装置１０３に送信してもよいし、別々の経路を介して画像表示装置１０３に送信してもよい。例えば、送信部２０２は、統合映像を放送波で画像表示装置１０３に送信し、配置情報をネットワーク通信を用いて画像表示装置１０３に送信してもよい。
　視聴情報解析部２０３は、１つ以上の画像表示装置１０３から送られてくる視聴情報（例えば、現在画像表示装置１０３で表示されている視点映像を示す情報）を集計する。視聴情報解析部２０３は、その統計情報（例えば、視聴率）を統合映像生成部２０１に渡す。統合映像生成部２０１は、この統計情報を統合映像生成時の補助情報として利用する。
　なお、送信部２０２は、統合映像及び配置情報を、ストリーミング送信してもよいし、一連の映像単位で送ってもよい。
　また、画像配信装置１０２は、映像配信時の初期視点までの演出効果として俯瞰映像から初期視点に視点が連続的に切り替わる映像を生成し、生成した映像を配信してもよい。これによると、リプレイタイミングでの導入演出等として、視聴者が、初期視点までの位置又は姿勢といった空間情報を把握するためのシーンを提供できる。または、この処理は、画像表示装置１０３で行われてもよい。または、画像配信装置１０２が、視点映像の切替順及び切替タイミングを示す情報を、画像表示装置１０３に送り、画像表示装置１０３が当該情報に基づき、表示する視点映像を切り替えることで、上位映像を生成してもよい。
　次に、統合映像生成部２０１の動作の流れを説明する。図７は、統合映像生成部２０１による統合映像生成処理のフローチャートである。
　まず、統合映像生成部２０１は、多視点映像を取得する（Ｓ１０１）。この多視点映像は、カメラ映像、及び自由視点映像生成処理又はモーフィング処理などの画像処理によって生成された自由視点映像を、合計２つ以上含む。なお、カメラ映像は、カメラ１０１から直接、統合映像生成部２０１に送られる必要はなく、その他記憶装置に一度保存された映像が統合映像生成部２０１に入力されてもよい。この場合、リアルタイムではなく過去のアーカイブ映像などを活用したシステムを構築可能である。
　次に、統合映像生成部２０１は、画像表示装置１０３からの視聴情報が存在するかを判定する（Ｓ１０２）。視聴情報が存在する場合（Ｓ１０２でＹｅｓ）、統合映像生成部２０１は、視聴情報（例えば、各視点映像の視聴率）を取得する（Ｓ１０３）。なお、視聴情報を利用しない場合は、ステップＳ１０２及びＳ１０３の処理は行われない。
　続いて、統合映像生成部２０１は、入力された多視点映像から統合映像を生成する（Ｓ１０４）。まず、統合映像生成部２０１は、統合映像内に各視点映像を配置するための分割方法を決定する。この際、統合映像生成部２０１は、図２Ａ及び図２Ｂに示すように全ての映像を同一解像度で配置してもよいし、図２Ｃ及び図２Ｄに示すように、複数の映像に異なる解像度の映像が含まれてもよい。
　複数の映像を同一解像度に設定する場合、後段処理において全視点の映像に対して同一の処理を行うことができるので処理負荷を抑えることができる。一方、複数の映像が異なる解像度を含む場合、配信者のお勧めの視点の映像等の優先度の高い映像の画質を向上させることができ、視聴者に応じたサービスを提供することができる。
　また、図３に示すように、ある時刻の統合画像が複数時刻の多視点画像を含んでもよい。また、図４に示すように、複数時刻の統合画像が、同一時刻の多視点画像を含んでもよい。前者では、時間方向の冗長性を確保できるので通信が不安定な場合でも安定した映像の視聴体験を提供できる。後者では、提供できる視点数を増やすことが可能となる。
　また、統合映像生成部２０１は、ステップＳ１０３で取得した視聴情報に応じて分割方法を変えてもよい。具体的には、視聴率が高い視点映像を高い解像度の領域に配置することで、当該映像を他の映像より高精細とすることが可能となる。
　また、統合映像生成部２０１は、決定した分割方法と、分割された各領域と各入力映像の視点情報とを関連付ける情報（つまり、どの領域にどの視点映像が配置されているかを示す情報）とを含む配置情報を生成する。この際、統合映像生成部２０１は、さらに、視点間の遷移を示す遷移情報、及び選手毎の映像群を提示するグルーピング情報等を生成してもよい。
　次に、統合映像生成部２０１は、生成した配置情報に基づいて、２以上の入力映像から統合映像を生成する。
　最後に、統合映像生成部２０１は、統合映像を符号化する（Ｓ１０５）。なお、通信帯域が十分あれば、この処理を行う必要はない。また、統合映像生成部２０１は、各映像が符号化単位となるように設定してもよい。例えば、統合映像生成装置１０５は、各映像を、Ｈ．２６５／ＨＥＶＣにおけるスライス又はタイルに設定する。つまり、各映像を独立して復号できるように符号化が行われる。これによると、復号処理において、一つの視点映像のみを復号することができる。よって、画像表示装置１０３における処理量を削減できる。
　また、統合映像生成部２０１は、視聴情報に応じて各映像に割り当てる符号量を変化さえてもよい。具体的には、統合映像生成部２０１は、視聴率の高い映像が配置された領域に対しては、量子化パラメータを小さくすることで画質を向上させる。
　また、統合映像生成部２０１は、あるグループ（例えば注視点が同一選手、又は同一円周上の視点）に対して、画質（例えば、解像度又は量子化パラメータ等）の均一化を行ってもよい。これによると、視点切り替え時の画質変化を小さくすることが可能となる。
　また、統合映像生成部２０１は、各視点映像の境界においては、デブロッキングフィルタを利用しないなど、境界と、その他の領域とで処理を切り替えてもよい。
　次に、送信部２０２における処理を説明する。図８は、送信部２０２による処理のフローチャートである。
　まず、送信部２０２は、統合映像生成部２０１で生成された統合映像を取得する（Ｓ２０１）。続いて、送信部２０２は、統合映像生成部２０１で生成された配置情報を取得する（Ｓ２０２）。なお、送信部２０２は、配置情報が変化しない場合は、新たに配置情報を取得せずに前のフレームで使用した配置情報を使いまわしてもよい。
　最後に、送信部２０２は、ステップＳ２０１及びＳ２０２で取得した統合映像及び配置情報を送信する（Ｓ２０３）。なお、送信部２０２は、ブロードキャストで情報を送信してもよいし、１対１の通信を用いてもよい。また、送信部２０２は、配置情報を毎フレーム送信する必要はなく、映像の配置が切り替わったタイミングで配置情報を送信してもよい。または、送信部２０２は、一定間隔（例えば１秒）で配置情報を送信してもよい。前者では、送信する情報量を最低限にすることが可能である。また、後者では、画像表示装置１０３で正しい配置情報を定期的に取得できる。よって、画像表示装置１０３は、通信状況に伴う情報取得の失敗又は途中からの映像取得に対応できる。
　また、送信部２０２は、統合映像と配置情報とをインターリーブさせて送信してもよいし、統合映像と配置情報とを別情報として送ってもよい。また、送信部２０２は、統合映像と配置情報を、インターネットなどの通信経路を用いて送ってもよいし、放送波を用いて送ってもよい。また、送信部２０２は、これらを組み合わせてもよい。例えば、送信部２０２は、統合映像を放送波で送信し、配置情報を通信で送信してもよい。
　次に、画像表示装置１０３の構成を説明する。図９は、画像表示装置１０３のブロック図である。画像表示装置１０３は、受信部３０１と、視点映像選択部３０２と、映像表示部３０３と、ＵＩ部３０４と、ＵＩ制御部３０５と、視聴情報送信部３０６とを備える。
　受信部３０１は、統合映像送信装置１０５から送信された統合映像及び配置情報を受信する。受信部３０１は、受信した映像等を保存するバッファ又はメモリを備えてもよい。
　視点映像選択部３０２は、配置情報及び現在の表示中の視点映像を示す選択視点情報を用いて、受信した統合映像中の、表示中の１つ以上の視点映像を選択し、当該視点映像を出力する。
　映像表示部３０３は、視点映像選択部３０２で選択された１つ以上の視点映像を表示する。
　ＵＩ部３０４は、ユーザによる入力操作の解釈及びＵＩ（ユーザインタフェース）の表示を行う。この入力操作は、マウス、キーボード、コントローラ又はタッチパネルといった入力機器を用いて行われてもよいし、音声認識又はカメラを用いたジェスチャー認識などを用いて行われてもよい。また、画像表示装置１０３は、加速度センサなどのセンサを搭載したデバイス（例えば、スマートフォン又はタブレット端末等）であり、画像表示装置１０３の傾きなどを検知して、それに応じて入力操作を取得してもよい。
　ＵＩ制御部３０５は、ＵＩ部３０４で取得した入力操作に基づき、表示している視点映像を切り替えるための情報を出力する。また、ＵＩ制御部３０５は、ＵＩ部３０４で表示するＵＩの内容を更新する。
　視聴情報送信部３０６は、視点映像選択部３０２で選択されている視点映像を示す選択視点情報に基づき、現在の視聴状況に関する情報（例えば、選択している視点インデックス情報）である視聴情報を統合映像送信装置１０５に送信する。
　図１０は、受信部３０１の動作を示すフローチャートである。まず、受信部３０１は、統合映像送信装置１０５から送信された情報を受信する（Ｓ３０１）。ストリーミング再生の場合は、送信された情報は、一定時間分の映像を保存できるバッファを経由して、受信部３０１に入力されてもよい。
　また、受信部３０１が一連の映像を受信する場合は、受信部３０１は、受信した情報をＨＤＤ又はメモリなどの記憶装置に格納してもよい。これにより、視点映像選択部３０２等からの以降の処理の要求に応じて映像の再生及び停止が行われる。これによると、ユーザは、印象的なシーン（例えば、野球のインパクトの瞬間）などでは映像を停止し、そのシーンを多方向から見ることができる。または、画像表示装置１０３が、そのような映像を生成してもよい。
　また、ストリーミングにおいて一時的な停止を行った場合は、画像表示装置１０３は、停止状態の時間分だけ映像をスキップして続きの映像を流してもよい。または、画像表示装置１０３は、バッファした映像の一部のフレームのスキップ又は早送りして、バッファされている映像より短い時間のダイジェスト映像を生成し、生成されたダイジェスト映像を表示してもよい。これにより、一定時間経過後に表示する映像とストリーミングの時刻とを合わせることができる。
　続いて、受信部３０１は、受信した情報に含まれる統合映像を取得する（Ｓ３０２）。次に、受信部３０１は、受信した情報に配置情報が含まれているかを判定する（Ｓ３０３）。受信した情報に配置情報が含まれていると判定された場合（Ｓ３０３でＹｅｓ）、受信部３０１は、受信した情報に含まれる配置情報を取得する（Ｓ３０４）。
　図１１は、視点映像選択部３０２の処理を示すフローチャートである。まず、視点映像選択部３０２は、受信部３０１から出力された統合映像を取得する（Ｓ４０１）。次に、視点映像選択部３０２は、受信部３０１から出力された配置情報を取得する（Ｓ４０２）。
　続いて、視点映像選択部３０２は、表示する視点を決定するための選択視点情報をＵＩ制御部３０５から取得する（Ｓ４０３）。なお、視点映像選択部３０２は、選択視点情報を、ＵＩ制御部３０５から取得するのではなく、視点映像選択部３０２で前状態などを管理してもよい。例えば、視点映像選択部３０２は、前状態と同じ視点を選択する。
　続いて、視点映像選択部３０２は、ステップＳ４０２で取得した配置情報及びステップＳ４０３で取得した選択視点情報に基づいて、ステップＳ４０１で取得した統合映像から対応する視点映像を取得する（Ｓ４０４）。例えば、視点映像選択部３０２は、映像表示部３０３において所望の映像を表示するために、統合映像から視点映像を切り出す。なお、映像表示部３０３が、統合映像において、選択した視点映像が配置されている領域を拡大表示し、表示領域を限定することによって、単一の視点映像を表示してもよい。
　例えば、配置情報は、統合画像と同一解像度の二値画像であり、境界線部分が１でそれ以外が０の画像である。また、二値画像中の左上から順番にＩＤが付与される。視点映像選択部３０２は、選択視点情報で示される視点に対応するＩＤが付与されている領域の映像を取り出すことで、所望の映像を取得する。なお、配置情報は、画像である必要はなく、二次元の視点座標と解像度とを示すテキスト情報でもよい。
　次に、視点映像選択部３０２は、ステップＳ４０４で取得した視点映像を映像表示部３０３に出力する（Ｓ４０５）。
　また、視点映像選択部３０２は、選択中の視点を示す選択視点情報を、視聴情報送信部３０６に出力する（Ｓ４０６）。
　なお、選択視点情報に基づき選択される映像は１つだけではなく複数視点の映像であってもよい。例えば、ある視点の映像と、その近傍の視点の映像とが選択されてよいし、その映像と同一注視点の他の視点映像が選択されてもよい。例えば、選択視点情報により選手Ａを前から注目した視点が示される場合に、視点映像選択部３０２は、当該視点の映像に加え、選手Ａを横又は後ろから見た視点映像を選択してもよい。
　また、視点映像選択部３０２が、複数の視点を選択する際に、視点選択情報により、選択する複数の視点が示されてもよいし、視点選択情報により代表となる１つの視点が示され、視点映像選択部３０２が、当該視点から他の視点を推定してもよい。例えば、視点映像選択部３０２は、代表となる視点が選手Ｂに注目した視点である場合に、当該視点の映像に加え、他の選手Ｃ及び選手Ｄに注目した視点の映像を選択する。
　また、選択視点情報の初期値は、配置情報に埋め込まれてもよいし、予め定められていてもよい。例えば、統合映像内の位置（例えば左上）が初期値として用いられてもよい。また、視点映像選択部３０２は、視聴率などの視聴状況に応じて初期値を決定してもよいし、被写体等を顔認識し、事前登録されたユーザの好みに応じて初期値を自動で決定してもよい。
　図１２は、映像表示部３０３の動作を示すフローチャートである。まず、映像表示部３０３は、視点映像選択部３０２から出力された１つ以上の視点映像を取得する（Ｓ５０１）。次に、映像表示部３０３は、ステップＳ５０１で取得した視点映像を表示する（Ｓ５０２）。
　図１３Ａ、図１３Ｂ及び図１３Ｃは、映像表示部３０３における映像の表示例を示す図である。例えば、図１３Ａに示すように、映像表示部３０３は、１つの視点映像１５３を単一で表示する、または、映像表示部３０３は、複数の視点映像１５３を表示する。例えば、図１３Ｂに示す例では、映像表示部３０３は、全ての視点映像１５３を同じ解像度で表示する。または、図１３Ｃに示すように、映像表示部３０３は、複数の視点映像１５３を異なる解像度で表示する。
　なお、画像表示装置１０３は、前フレームでの視点映像を保存しておき、視点が切り替わる際に画像処理により補間映像を生成し、生成した補間映像を、視点切替の際に表示してもよい。具体的には、画像表示装置１０３は、横に並んだ視点間での切り替え時にモーフィング処理により中間映像を生成し、生成した中間映像を表示する。これにより、滑らかな視点変化を演出することができる。
　図１４は、ＵＩ部３０４及びＵＩ制御部３０５の処理を示すフローチャートである。まず、ＵＩ制御部３０５は、初期視点を決定し（Ｓ６０１）、決定した初期視点を示す初期情報をＵＩ部３０４に送信する（Ｓ６０２）。
　続いて、ＵＩ制御部３０５は、ＵＩ部３０４からの入力の待ち状態となる（Ｓ６０３）。
　ユーザからの入力情報をＵＩ部３０４から受信した場合（Ｓ６０３でＹｅｓ）、ＵＩ制御部３０５は、入力情報に応じて選択視点情報を更新し（Ｓ６０４）、更新した選択視点情報をＵＩ部３０４に送信する（Ｓ６０５）。
　ＵＩ部３０４は、まず、ＵＩ制御部３０５からの初期情報を受信する（Ｓ７０１）。続いて、ＵＩ部３０４は、初期情報に応じたＵＩを表示する（Ｓ７０２）。ＵＩ部３０４は、ＵＩとして以下のいずれか、又は２以上を組み合わせたＵＩを表示する。例えば、ＵＩ部３０４は、視点を切り替えるための切り替えボタンを表示する。または、ＵＩ部３０４は、地図情報のような、各視点の二次元位置を示す投影図を表示する。または、ＵＩ部３０４は、各視点の注視点の代表画像（例えば、選手の顔画像）を表示する。
　ＵＩ部３０４は、表示するＵＩを配置情報に応じて変更してもよい。例えば、ＵＩ部３０４は、円周上に視点が配置されている場合は、ジョグダイアルを表示し、直線に配置されているときはスライド又はフリック操作を行うためのＵＩを表示する。これにより、視聴者に直観的な操作を提供できる。なお、これらは説明のための一例であり、円周上のカメラ配置でもスライド操作を行うためのＵＩが用いられてもよい。
　次に、ＵＩ部３０４は、ユーザの入力があるかを判定する（Ｓ７０３）。この入力操作は、キーボード又はタッチパネルなどの入力機器を介して行われてもよいし、加速度センサなどのセンサの出力から解釈されてもよい。また、入力操作に、音声認識又はジェスチャー認識が用いられてもよい。また、配置されている複数の映像に、同一注視点の映像で、かつズーム倍率の異なる映像が含まれる場合は、ピンチイン及びピンチアウトで、選択される視点が遷移してもよい。
　ユーザの入力があった場合（Ｓ７０３でＹｅｓ）、ＵＩ部３０４は、ユーザの入力に基づき視点を変更するための入力情報を生成し、生成した入力情報をＵＩ制御部３０５に送信する（Ｓ７０４）。次に、ＵＩ部３０４は、ＵＩ制御部３０５からの更新された選択視点情報の受信し（Ｓ７０５）、受信した選択視点情報に応じてＵＩ情報を更新し（Ｓ７０６）、更新したＵＩ情報に基づくＵＩを表示する（Ｓ７０２）。
　以上のように、画像配信装置１０２は、同一シーンを異なる視点から見た複数の画像を複数のユーザに配信し、複数のユーザの各々が複数の画像から任意の画像を視聴できる画像配信システム１００に含まれる。画像配信装置１０２は、複数の画像１５２を一つのフレーム内に配置した統合画像（統合画像１５１Ａ等）を生成する。画像配信装置１０２は、統合画像を複数のユーザが使用する複数の画像表示装置１０３に配信する。
　これによれば、単一の統合画像として複数視点の画像を送信できるので、複数の画像表示装置１０３に同一の統合画像を送信できる。よって、システムの構成を簡略化できる。また、単一画像の形式を用いることで、既存のシステム構成から変更を低減できるとともに、既存の画像圧縮技術等を用いて、配信される映像のデータ量を低減できる。
　また、一つの統合画像に含まれる複数の画像の少なくとも一つは、実画像を基に生成された仮想画像（自由視点画像）である。
　また、図２Ａ及び図２Ｂに示すように一つの統合画像１５１Ａ又は１５１Ｂに含まれる複数の画像１５２の解像度は等しい。これによれば、複数の画像１５２の管理が容易になるとともに、複数の画像１５２に同一の処理を適用できるので、処理量を低減できる。
　または、図２Ｃ及び図２Ｄに示すように、一つの統合画像１５１Ｃ又は１５１Ｄに含まれる複数の画像１５２は、異なる解像度の画像１５２を含む。これによれば、例えば、優先度の高い画像１５２の画質を向上できる。
　また、一つの統合画像に含まれる前記複数の画像は同じ時刻の画像である。また、図４に示すように、２以上の統合画像１５１Ｆに含まれる複数の画像１５２は同じ時刻の画像である。これによれば、配信する視点の数を増やすことができる。
　または、図３に示すように、一つの統合画像１５１Ｅに含まれる複数の画像１５２Ａ、１５２Ｂ及び１５２Ｃは、同一の視点の異なる時刻の画像を含む。これによれば、通信エラーにより画像が欠落した場合においても、画像表示装置１０３は、正しく画像を表示できる。
　また、画像配信装置１０２は、統合画像内における複数の画像の配置を示す配置情報を複数の画像表示装置１０３に配信する。また、画像配信装置１０２は、統合画像内における複数の画像の各々の視点を示す情報を複数の画像表示装置１０３に配信する。また、画像配信装置１０２は、統合画像内における複数の画像の各々の時刻情報を複数の画像表示装置１０３に配信する。また、画像配信装置１０２は、統合画像内における複数の画像の切り替え順を示す情報を複数の画像表示装置１０３に配信する。
　また、画像表示装置１０３は、画像配信システム１００に含まれる。画像表示装置１０３は、複数の画像１５２を一つのフレーム内に配置した統合画像（統合画像１５１Ａ等）を受信する。画像表示装置１０３は、統合画像に含まれる複数の画像１５２のうち一つを表示する。
　これによれば、単一の統合画像として送信された複数視点の画像を用いて、任意の視点の画像を表示できる。よって、システムの構成を簡略化できる。また、単一画像の形式を用いることで、既存のシステム構成から変更を低減できるとともに、既存の画像圧縮技術等を用いて、配信される映像のデータ量を低減できる。
　また、画像表示装置１０３は、統合画像内における複数の画像の配置を示す配置情報を受信し、受信した配置情報を用いて統合画像から画像１５２を取得する。
　また、画像表示装置１０３は、統合画像内における複数の画像の各々の視点を示す情報を受信し、受信した情報を用いて統合画像から画像１５２を取得する。
　また、画像表示装置１０３は、統合画像内における複数の画像の各々の時刻情報を受信し、受信した時刻情報を用いて統合画像から画像１５２を取得する。
　また、画像表示装置１０３は、統合画像内における複数の画像の切り替え順を示す情報を受信し、受信した情報を用いて統合画像から画像１５２を取得する。
　以上、本開示の実施の形態に係る画像配信システム、画像配信装置及び画像表示装置について説明したが、本開示は、この実施の形態に限定されるものではない。
　また、上記実施の形態に係る画像配信システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、本開示は、画像配信システム、画像配信装置又は画像表示装置により実行される各種方法として実現されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、一つまたは複数の態様に係る画像配信システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本開示は、画像配信システム及び画像配信方法に適用でき、例えば、自由視点映像生成システム、及び次世代監視システム等に適用できる。
　１００　画像配信システム
　１０１　カメラ
　１０２　画像配信装置
　１０３　画像表示装置
　１０４　自由視点映像生成装置
　１０５　統合映像送信装置
　１５１Ａ、１５１Ｂ、１５１Ｃ、１５１Ｄ、１５１Ｅ、１５１Ｆ　統合画像
　１５２、１５２Ａ、１５２Ｂ、１５２Ｃ　画像
　１５３　視点映像
　２０１　統合映像生成部
　２０２　送信部
　２０３　視聴情報解析部
　３０１　受信部
　３０２　視点映像選択部
　３０３　映像表示部
　３０４　ＵＩ部
　３０５　ＵＩ制御部
　３０６　視聴情報送信部

Claims (14)

  1. 　同一シーンを異なる視点から見た複数の画像を複数のユーザに配信し、前記複数のユーザの各々が前記複数の画像から任意の画像を視聴できる画像配信システムにおける画像配信方法であって、
    　前記複数の画像を一つのフレーム内に配置した統合画像を生成する生成ステップと、
    　前記統合画像を前記複数のユーザが使用する複数の画像表示装置に配信する配信ステップとを含む
    　画像配信方法。
  2. 　一つの前記統合画像に含まれる前記複数の画像の少なくとも一つは、実画像を基に生成された仮想画像である
    　請求項１記載の画像配信方法。
  3. 　一つの前記統合画像に含まれる前記複数の画像の解像度は等しい
    　請求項１又は２記載の画像配信方法。
  4. 　一つの前記統合画像に含まれる前記複数の画像は、異なる解像度の画像を含む
    　請求項１又は２記載の画像配信方法。
  5. 　一つの前記統合画像に含まれる前記複数の画像は同じ時刻の画像である
    　請求項１～４のいずれか１項に記載の画像配信方法。
  6. 　２以上の前記統合画像に含まれる前記複数の画像は同じ時刻の画像である
    　請求項５記載の画像配信方法。
  7. 　一つの前記統合画像に含まれる前記複数の画像は、同一の視点の異なる時刻の画像を含む
    　請求項１～４のいずれか１項に記載の画像配信方法。
  8. 　前記配信ステップでは、さらに、前記統合画像内における前記複数の画像の配置を示す配置情報を前記複数の画像表示装置に配信する
    　請求項１～７のいずれか１項に記載の画像配信方法。
  9. 　前記配信ステップでは、さらに、前記統合画像内における前記複数の画像の各々の視点を示す情報を前記複数の画像表示装置に配信する
    　請求項１～８のいずれか１項に記載の画像配信方法。
  10. 　前記配信ステップでは、さらに、前記統合画像内における前記複数の画像の各々の時刻情報を前記複数の画像表示装置に配信する
    　請求項１～９のいずれか１項に記載の画像配信方法。
  11. 　前記配信ステップでは、さらに、前記統合画像内における前記複数の画像の切り替え順を示す情報を前記複数の画像表示装置に配信する
    　請求項１～１０のいずれか１項に記載の画像配信方法。
  12. 　同一シーンを異なる視点から見た複数の画像を複数のユーザに配信し、前記複数のユーザの各々が前記複数の画像から任意の画像を視聴できる画像配信システムにおける画像表示方法であって、
    　前記複数の画像を一つのフレーム内に配置した統合画像を受信する受信ステップと、
    　前記統合画像に含まれる前記複数の画像のうち一つを表示する表示ステップとを含む
    　画像表示方法。
  13. 　同一シーンを異なる視点から見た複数の画像を複数のユーザに配信し、前記複数のユーザの各々が前記複数の画像から任意の画像を視聴できる画像配信システムに含まれる画像配信装置であって、
    　前記複数の画像を一つのフレーム内に配置した統合画像を生成する生成部と、
    　前記統合画像を前記複数のユーザが使用する複数の画像表示装置に配信する配信部とを備える
    　画像配信装置。
  14. 　同一シーンを異なる視点から見た複数の画像を複数のユーザに配信し、前記複数のユーザの各々が前記複数の画像から任意の画像を視聴できる画像配信システムに含まれる画像表示装置であって、
    　前記複数の画像を一つのフレーム内に配置した統合画像を受信する受信部と、
    　前記統合画像に含まれる前記複数の画像のうち一つを表示する表示部とを備える
    　画像表示装置。
PCT/JP2018/006868 2017-02-27 2018-02-26 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 WO2018155670A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019501853A JP7212611B2 (ja) 2017-02-27 2018-02-26 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US16/550,900 US20190379917A1 (en) 2017-02-27 2019-08-26 Image distribution method and image display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762463984P 2017-02-27 2017-02-27
US62/463,984 2017-02-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/550,900 Continuation US20190379917A1 (en) 2017-02-27 2019-08-26 Image distribution method and image display method

Publications (1)

Publication Number Publication Date
WO2018155670A1 true WO2018155670A1 (ja) 2018-08-30

Family

ID=63253829

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006868 WO2018155670A1 (ja) 2017-02-27 2018-02-26 画像配信方法、画像表示方法、画像配信装置及び画像表示装置

Country Status (3)

Country Link
US (1) US20190379917A1 (ja)
JP (1) JP7212611B2 (ja)
WO (1) WO2018155670A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022007619A (ja) * 2020-06-26 2022-01-13 ＭａｓｔｅｒＶｉｓｉｏｎｓ株式会社 画像配信装置、画像生成装置及びプログラム
WO2022065040A1 (ja) * 2020-09-23 2022-03-31 ソニーグループ株式会社 情報処理装置、情報処理方法、および情報処理システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
US11910103B2 (en) * 2020-07-28 2024-02-20 Eys3D Microelectronics, Co. Electronic system and image aggregation method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128144A (ja) * 1999-10-26 2001-05-11 Fujitsu Ltd オンデマンドによる画像送信装置及びその方法
JP2003143505A (ja) * 2001-11-06 2003-05-16 Sony Corp 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
JP2004135017A (ja) * 2002-10-10 2004-04-30 Toshiba Corp 多数種ビデオ配信システム及び多数種ビデオ配信方法
JP2004349877A (ja) * 2003-05-20 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> 動画中継装置及び方法

Family Cites Families (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0823818B1 (en) * 1991-08-13 2002-01-09 Canon Kabushiki Kaisha Image transmission apparatus
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6396507B1 (en) * 1996-09-13 2002-05-28 Nippon Steel Corporation Data storage/access network system for zooming image and method of the storage/access
US20070107029A1 (en) * 2000-11-17 2007-05-10 E-Watch Inc. Multiple Video Display Configurations & Bandwidth Conservation Scheme for Transmitting Video Over a Network
US6956600B1 (en) * 2001-09-19 2005-10-18 Bellsouth Intellectual Property Corporation Minimal decoding method for spatially multiplexing digital video pictures
JP2003115050A (ja) * 2001-10-04 2003-04-18 Sony Corp 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム
US20030159143A1 (en) * 2002-02-21 2003-08-21 Peter Chan Systems and methods for generating a real-time video program guide through video access of multiple channels
US7433546B2 (en) * 2004-10-25 2008-10-07 Apple Inc. Image scaling arrangement
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
GB0230328D0 (en) * 2002-12-31 2003-02-05 British Telecomm Video streaming
GB2400513B (en) * 2003-03-14 2005-10-05 British Broadcasting Corp Video processing
GB2412519B (en) * 2004-03-23 2010-11-03 British Broadcasting Corp Monitoring system
EP1657927A1 (en) * 2004-11-12 2006-05-17 Saab Ab Image-based movement tracking
JP4270130B2 (ja) * 2005-01-11 2009-05-27 カシオ計算機株式会社 テレビ受信装置およびその制御プログラム
AU2005202866A1 (en) * 2005-06-29 2007-01-18 Canon Kabushiki Kaisha Storing video data in a video file
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US9571902B2 (en) * 2006-12-13 2017-02-14 Quickplay Media Inc. Time synchronizing of distinct video and data feeds that are delivered in a single mobile IP data network compatible stream
JP2008311831A (ja) * 2007-06-13 2008-12-25 Panasonic Corp 動画像通信装置、動画像通信システムおよび動画像通信用の半導体集積回路
US8457214B2 (en) * 2007-09-10 2013-06-04 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering
US20090113505A1 (en) * 2007-10-26 2009-04-30 At&T Bls Intellectual Property, Inc. Systems, methods and computer products for multi-user access for integrated video
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
EP2117231A1 (en) * 2008-05-06 2009-11-11 Sony Corporation Service providing method and service providing apparatus for generating and transmitting a digital television signal stream and method and receiving means for receiving and processing a digital television signal stream
JP5428210B2 (ja) * 2008-06-11 2014-02-26 ソニー株式会社 情報処理装置、撮像システム、録画制御方法及びプログラム
JP2010033367A (ja) * 2008-07-29 2010-02-12 Canon Inc 情報処理装置及び情報処理方法
JP5299173B2 (ja) 2009-08-26 2013-09-25 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
EP2557782B1 (en) * 2010-04-09 2019-07-17 Cyber Ai Entertainment Inc. Server system for real-time moving image collection, recognition, classification, processing, and delivery
JP5570284B2 (ja) * 2010-04-16 2014-08-13 キヤノン株式会社 画像処理装置および方法
EP2389004B1 (en) * 2010-05-20 2013-07-24 Sony Computer Entertainment Europe Ltd. 3D camera and imaging method
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
KR101651191B1 (ko) * 2010-06-14 2016-08-25 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN103493493A (zh) * 2011-04-28 2014-01-01 索尼公司 编码装置和编码方法以及解码装置和解码方法
US20120293607A1 (en) * 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
US10778905B2 (en) * 2011-06-01 2020-09-15 ORB Reality LLC Surround video recording
JP5801614B2 (ja) * 2011-06-09 2015-10-28 キヤノン株式会社 画像処理装置、画像処理方法
US20130166767A1 (en) * 2011-11-23 2013-06-27 General Electric Company Systems and methods for rapid image delivery and monitoring
GB2497119B (en) * 2011-12-01 2013-12-25 Sony Corp Image processing system and method
JP5979406B2 (ja) * 2012-02-22 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
US20180316944A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Systems and methods for video processing, combination and display of heterogeneous sources
US20180316943A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Fpga systems and methods for video processing, combination and display of heterogeneous sources
US11284137B2 (en) * 2012-04-24 2022-03-22 Skreens Entertainment Technologies, Inc. Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US20180316942A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Systems and methods and interfaces for video processing, combination and display of heterogeneous sources
US20180316946A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US20180316941A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Systems and methods for video processing and display of a combination of heterogeneous sources and advertising content
US20180316947A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Video processing systems and methods for the combination, blending and display of heterogeneous sources
US20180316948A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources
US20130322689A1 (en) * 2012-05-16 2013-12-05 Ubiquity Broadcasting Corporation Intelligent Logo and Item Detection in Video
WO2014024475A1 (ja) * 2012-08-10 2014-02-13 パナソニック株式会社 映像提供方法、送信装置および受信装置
EP2763401A1 (de) * 2013-02-02 2014-08-06 Novomatic AG Eingebettetes System zur Videoverarbeitung mit Hardware-Mitteln
JP6323048B2 (ja) * 2013-03-15 2018-05-16 株式会社リコー 配信システム、配信方法、及びプログラム
JP5813030B2 (ja) * 2013-03-22 2015-11-17 キヤノン株式会社 複合現実提示システム、仮想現実提示システム
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
JP6344890B2 (ja) * 2013-05-22 2018-06-20 川崎重工業株式会社 部品組立作業支援システムおよび部品組立方法
US9392248B2 (en) * 2013-06-11 2016-07-12 Google Inc. Dynamic POV composite 3D video system
CA2916881A1 (en) * 2013-07-22 2015-01-29 Sony Corporation Information processing apparatus and method
EP3061241A4 (en) * 2013-08-20 2017-04-05 Smarter TV Ltd. System and method for real-time processing of ultra-high resolution digital video
US8917355B1 (en) * 2013-08-29 2014-12-23 Google Inc. Video stitching system and method
KR102077108B1 (ko) * 2013-09-13 2020-02-14 한국전자통신연구원 콘텐츠 체험 서비스 제공 장치 및 그 방법
EP3054692A4 (en) * 2013-10-01 2017-04-05 Dentsu Inc. Multi-viewpoint moving image layout system
JP2017511615A (ja) * 2013-11-27 2017-04-20 ウルトラデント プロダクツ インク． 物理的場所間のビデオ対話
WO2015083541A1 (ja) * 2013-12-03 2015-06-11 ソニー株式会社 受信装置
US10015527B1 (en) * 2013-12-16 2018-07-03 Amazon Technologies, Inc. Panoramic video distribution and viewing
JP6382329B2 (ja) * 2014-02-18 2018-08-29 エルジー エレクトロニクス インコーポレイティド パノラマサービスのための放送信号送受信方法及び装置
JP2015195562A (ja) * 2014-03-20 2015-11-05 村上　幹次 送信信号処理装置及び方法、受信信号処理装置
JP2015192278A (ja) * 2014-03-28 2015-11-02 ソニー株式会社 画像処理装置および方法
KR101543159B1 (ko) * 2014-05-02 2015-08-10 현대자동차주식회사 카메라를 이용한 영상 조정 시스템 및 방법
US9741091B2 (en) * 2014-05-16 2017-08-22 Unimoto Incorporated All-around moving image distribution system, all-around moving image distribution method, image processing apparatus, communication terminal apparatus, and control methods and control programs of image processing apparatus and communication terminal apparatus
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
WO2016040833A1 (en) * 2014-09-12 2016-03-17 Kiswe Mobile Inc. Methods and apparatus for content interaction
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US20160127790A1 (en) * 2014-11-05 2016-05-05 Sony Corporation Provision of a video mosaic service
US10666979B2 (en) * 2015-03-05 2020-05-26 Sony Corporation Image processing device and image processing method for encoding/decoding omnidirectional image divided vertically
JP6236573B2 (ja) * 2015-05-01 2017-11-22 株式会社電通 自由視点映像データ配信システム
JP6975642B2 (ja) * 2015-06-11 2021-12-01 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH 車両周辺部のバーチャル画像を作成するための方法
US9681046B2 (en) * 2015-06-30 2017-06-13 Gopro, Inc. Image stitching in a multi-camera array
US10715843B2 (en) 2015-08-20 2020-07-14 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
US9934823B1 (en) * 2015-08-27 2018-04-03 Amazon Technologies, Inc. Direction indicators for panoramic images
WO2017188714A1 (ko) * 2016-04-26 2017-11-02 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
US20170345129A1 (en) * 2016-05-26 2017-11-30 Gopro, Inc. In loop stitching for multi-camera arrays
FR3054945B1 (fr) * 2016-08-05 2019-09-06 Viaccess Procede de lecture et de generation d'un flux video contenant des images compressees et chiffrees
WO2018044073A1 (en) * 2016-09-01 2018-03-08 Samsung Electronics Co., Ltd. Image streaming method and electronic device for supporting the same
WO2018056002A1 (ja) * 2016-09-26 2018-03-29 株式会社日立国際電気 映像監視システム
US10516911B1 (en) * 2016-09-27 2019-12-24 Amazon Technologies, Inc. Crowd-sourced media generation
CN109844600B (zh) * 2016-10-17 2022-04-15 索尼公司 信息处理设备、信息处理方法和程序
JP6419128B2 (ja) * 2016-10-28 2018-11-07 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
EP3535977A4 (en) * 2016-11-01 2020-05-20 Nokia Technologies Oy APPARATUS, METHOD, AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
JP6171079B1 (ja) * 2016-12-22 2017-07-26 株式会社Ｃｙｇａｍｅｓ 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
US10762653B2 (en) * 2016-12-27 2020-09-01 Canon Kabushiki Kaisha Generation apparatus of virtual viewpoint image, generation method, and storage medium
US10970915B2 (en) * 2017-01-06 2021-04-06 Canon Kabushiki Kaisha Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium
KR102133849B1 (ko) * 2017-01-10 2020-07-14 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN110226329B (zh) * 2017-01-27 2021-09-21 阿帕里奥全球咨询股份有限公司 用于将物理显示器的替代图像内容发送到不同观看者的方法和***
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
KR102191875B1 (ko) * 2017-03-20 2020-12-16 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
JP7013139B2 (ja) * 2017-04-04 2022-01-31 キヤノン株式会社 画像処理装置、画像生成方法及びプログラム
DE102017206442B4 (de) * 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
JP7079242B2 (ja) * 2017-04-25 2022-06-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像表示方法及び画像表示装置
JP7130653B2 (ja) * 2017-09-12 2022-09-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像表示方法、画像配信方法、画像表示装置及び画像配信装置
US10659761B2 (en) * 2017-09-22 2020-05-19 Lg Electronics Inc. Method for transmitting 360 video, method for receiving 360 video, apparatus for transmitting 360 video, and apparatus for receiving 360 video
US20190104326A1 (en) * 2017-10-03 2019-04-04 Qualcomm Incorporated Content source description for immersive media data
JP2020521348A (ja) * 2017-10-24 2020-07-16 エルジー エレクトロニクス インコーポレイティド 魚眼ビデオ情報を含む３６０度ビデオを送受信する方法及びその装置
JP6513169B1 (ja) * 2017-12-14 2019-05-15 キヤノン株式会社 仮想視点画像を生成するシステム、方法及びプログラム
JP2019128641A (ja) * 2018-01-22 2019-08-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
JP7080103B2 (ja) * 2018-05-16 2022-06-03 キヤノン株式会社 撮像装置、その制御方法、および、プログラム
US11528461B2 (en) * 2018-11-16 2022-12-13 Electronics And Telecommunications Research Institute Method and apparatus for generating virtual viewpoint image
US10839594B2 (en) * 2018-12-11 2020-11-17 Canon Kabushiki Kaisha Method, system and apparatus for capture of image data for free viewpoint video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128144A (ja) * 1999-10-26 2001-05-11 Fujitsu Ltd オンデマンドによる画像送信装置及びその方法
JP2003143505A (ja) * 2001-11-06 2003-05-16 Sony Corp 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
JP2004135017A (ja) * 2002-10-10 2004-04-30 Toshiba Corp 多数種ビデオ配信システム及び多数種ビデオ配信方法
JP2004349877A (ja) * 2003-05-20 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> 動画中継装置及び方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022007619A (ja) * 2020-06-26 2022-01-13 ＭａｓｔｅｒＶｉｓｉｏｎｓ株式会社 画像配信装置、画像生成装置及びプログラム
JP7319228B2 (ja) 2020-06-26 2023-08-01 ＭａｓｔｅｒＶｉｓｉｏｎｓ株式会社 画像配信装置、画像生成装置及びプログラム
WO2022065040A1 (ja) * 2020-09-23 2022-03-31 ソニーグループ株式会社 情報処理装置、情報処理方法、および情報処理システム

Also Published As

Publication number Publication date
JPWO2018155670A1 (ja) 2019-12-19
US20190379917A1 (en) 2019-12-12
JP7212611B2 (ja) 2023-01-25

Similar Documents

Publication Publication Date Title
JP7079242B2 (ja) 画像表示方法及び画像表示装置
JP7130653B2 (ja) 画像表示方法、画像配信方法、画像表示装置及び画像配信装置
WO2018155670A1 (ja) 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
CN107615338B (zh) 用于生成和使用降低分辨率图像并且/或者将这样的图像传送到重放或内容分发设备的方法和装置
EP2490179B1 (en) Method and apparatus for transmitting and receiving a panoramic video stream
CN106605407A (zh) 用于捕获、流传输和/或回放内容的方法和装置
US20100259595A1 (en) Methods and Apparatuses for Efficient Streaming of Free View Point Video
JP2018507650A (ja) コンテンツの生成、送信、および／または、再生をサポートするための方法および装置
CN112753224B (zh) 用于生成并且绘制视频流的装置和方法
KR20190031943A (ko) 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치
JP2023139163A (ja) ディスオクルージョンアトラスを用いたマルチビュービデオ動作のサポート
WO2019048733A1 (en) TRANSMISSION OF VIDEO CONTENT BASED ON FEEDBACK
JP2014116922A (ja) 映像再生装置及び映像配信装置
JPWO2019004073A1 (ja) 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
US11706375B2 (en) Apparatus and system for virtual camera configuration and selection
CN116097652A (zh) 基于视口变化的双流动态gop访问
EP3635958B1 (en) Image processing device and system
KR20200143287A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US20220394231A1 (en) Information processing device, information processing method, program, and information processing system
KR102658474B1 (ko) 가상 시점 합성을 위한 영상 부호화/복호화 방법 및 장치
JP6970143B2 (ja) 配信サーバ、配信方法及びプログラム
JP2021190917A (ja) 画像処理システム、画像処理システムの制御方法及びプログラム
KR20210119476A (ko) 이미지 특성 픽셀 구조의 생성 및 처리

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18756811

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019501853

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18756811

Country of ref document: EP

Kind code of ref document: A1