JP6236573B2 - 自由視点映像データ配信システム - Google Patents
自由視点映像データ配信システム Download PDFInfo
- Publication number
- JP6236573B2 JP6236573B2 JP2017516567A JP2017516567A JP6236573B2 JP 6236573 B2 JP6236573 B2 JP 6236573B2 JP 2017516567 A JP2017516567 A JP 2017516567A JP 2017516567 A JP2017516567 A JP 2017516567A JP 6236573 B2 JP6236573 B2 JP 6236573B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- user
- video data
- data
- free
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009826 distribution Methods 0.000 title claims description 173
- 230000008859 change Effects 0.000 claims description 56
- 238000003860 storage Methods 0.000 claims description 19
- 238000013500 data storage Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Controls And Circuits For Display Device (AREA)
Description
23・・・CPU
27・・・メモリ
123・・・CPU
127・・・メモリ
図1に、本発明にかかる自由視点映像配信システム1の構成を示す。自由視点映像配信システム1は、配信コンピュータ2と、複数の端末コンピュータ3a〜3nにて構成される。
図2に、自由視点映像配信システム1の機能ブロック図を示す。配信コンピュータ2は、記憶手段4、配信手段5、ユーザ別操作データ受信手段7、ユーザ別操作データ記憶手段6、および推奨表示条件決定手段3を備えている。
3.1 配信コンピュータ2のハードウェア構成
配信コンピュータ2のハードウェア構成について、図3を用いて説明する。同図は、配信コンピュータ2を、CPUを用いて構成したハードウェア構成の一例である。
ユーザ端末3a〜3nのハードウェア構成を図6に示す。ハードディスク126にはブラウザプログラム126b、操作処理プログラム126pが記憶されている。CPU123がブラウザプログラム126bにより、自由視点映像をモニタ130に表示すると、CPU123は操作処理プログラム126pに基づき、ユーザがおこなった所定の操作を投影変更履歴記憶部126rに記憶し、配信コンピュータ2に送信する。他の構成は一般的なパソコンなどと同じである。なお、ユーザ端末は、タブレットコンピュータ、スマートフォン、ゲーム機、スマートテレビ、その他の家電製品などであってもよい。
(4.1 自由視点動画配信処理)
つぎに、図7を用いて、自由視点動画配信表示処理について説明する。
ステップS209の投影処理について説明する。ユーザ端末3は、表示画面の再生ボタン(図示せず)が選択されると、配信された自由視点動画データおよび設定データから投影画像を生成して、モニタ130に表示する(図8ステップS301)。
ユーザ端末3においては、ユーザが所望の切り替え処理をすることにより、投影画像の変更が可能である。本実施形態においては、「視点」、「視点方向」、および「ズームの有無」を切り替えることにより、投影画像を切り替え表示できるようにした。かかる投影画像の変更について図11を用いて説明する。
図14を用いて、かかる投影変更処理を配信コンピュータに送信する処理について説明する。
設定データ生成処理について図15を用いて説明する。
以下、同様にして、ユーザ別操作データID0003、ID0005は、経過時間t3、t4におけるズームのタイミングが合致するので、条件2)が合致するので、グループG2として、代表を決定する。ユーザ別操作データID0003、ID0004は、経過時間t1〜t4における視点および視点方向が合致するので、条件3)が合致するグループG3として代表を決定する。
上記実施形態においては、すべてのユーザについて、共通点にてグループ化するようにしたが、中には操作がなれておらず、たまたまそのような操作が合致する場合もある。このようなゴミデータは可能な限り排除することが好ましい。
上記実施形態においては、ユーザ端末にて自由視点動画を生成するようにしたが、配信装置に視点切り替えデータを与えて、配信装置にて自由視点動画を生成して、ユーザ端末に送信するようにしてもよい。この場合、自由視点動画配信システムは下記のような構成となる。
視聴する視点を変更可能な自由視点映像データを記憶する記憶手段、
視点および視点方向が与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、
ユーザ端末に前記特定視点動画データを配信する配信手段、
B)下記を備えたユーザ端末、
前記特定視点動画データを受信する受信手段、
前記特定視点動画データを表示手段に表示させる表示制御手段、
前記表示手段に表示された特定視点動画データについて、ユーザから視点および視点方向の切り替え指示が与えられると、この切り替え指示を前記配信コンピュータに与える投影画像変更手段、
を備え、
C)前記配信コンピュータは、前記切り替え指示の履歴をユーザ別操作データとして受信するユーザ別操作データ受信手段を有しており、前記投影画像生成手段は、前記切り替え指示にもとづいて、新たな特定視点動画データを生成させ、前記配信手段から配信させ、
D)前記配信コンピュータはさらに、下記を有し、
前記受信したユーザ別操作データを記憶するユーザ別操作データ記憶手段、
前記複数のユーザ別操作データから特有の傾向があるユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいて代表ユーザ別操作データを決定する推奨表示条件決定手段、
E)前記配信手段は、前記推奨表示条件に基づいて、前記特定視点動画データを配信すること、
を特徴とすると自由視点映像データ配信システム。
本実施形態においては、ズーム処理は必須ではない。
Claims (26)
- A)下記を備えた配信コンピュータ、
視聴する視点を変更可能な自由視点映像データを記憶する記憶手段、
ユーザ端末に前記自由視点映像データを配信する配信手段、
B)下記を備えたユーザ端末、
前記自由視点映像データを受信する受信手段、
視点及び視点方向を含む投影特性データが与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、
前記生成された特定視点動画データを表示手段に表示させる表示制御手段、
前記表示手段に表示された特定視点動画データについて、ユーザ端末の操作者から投影特性を変更する投影特性変更データが与えられると、この投影特性変更データに基づく特定視点動画データを前記投影画像生成手段に生成させるとともに、前記投影特性変更データの履歴を、前記配信コンピュータに送信する投影画像変更手段、
を備え、
C)前記配信コンピュータは、さらに、以下を有し、
前記投影特性変更データの履歴をユーザ別操作データとして受信するユーザ別操作データ受信手段、
前記受信したユーザ別操作データを記憶するユーザ別操作データ記憶手段、
前記複数のユーザ別操作データのうち特有の操作傾向が共通するユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいて代表ユーザ別操作データを決定する推奨表示条件決定手段、
D)前記配信手段は、推奨表示条件を前記自由視点映像データとともに配信すること、
を特徴とする自由視点映像データ配信システム。 - A)下記を備えた配信コンピュータ、
視聴する視点を変更可能な自由視点映像データを記憶する記憶手段、
視点および視点方向が与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、
ユーザ端末に前記特定視点動画データを配信する配信手段、
B)下記を備えたユーザ端末、
前記特定視点動画データを受信する受信手段、
前記特定視点動画データを表示手段に表示させる表示制御手段、
前記表示手段に表示された特定視点動画データについて、ユーザから視点および視点方向の切り替え指示が与えられると、この切り替え指示を前記配信コンピュータに与える投影画像変更手段、
を備え、
C)前記配信コンピュータは、前記切り替え指示の履歴をユーザ別操作データとして受信するユーザ別操作データ受信手段を有しており、前記投影画像生成手段は、前記切り替え指示にもとづいて、新たな特定視点動画データを生成させ、前記配信手段から配信させ、
D)前記配信コンピュータはさらに、下記を有し、
前記受信したユーザ別操作データを記憶するユーザ別操作データ記憶手段、
前記複数のユーザ別操作データのうち特有の操作傾向が共通するユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいて代表ユーザ別操作データを決定する推奨表示条件決定手段、
E)前記配信手段は、前記推奨表示条件に基づいて、前記特定視点動画データを配信すること、
を特徴とする自由視点映像データ配信システム。 - 請求項1または請求項2の自由視点映像データ配信システムにおいて、
前記視点が変化したタイミングが、再生開始からの相対経過時刻において同じ場合に、前記対象ユーザ別操作データとして決定すること、
を特徴とする自由視点映像データ配信システム。 - 請求項1または請求項2の自由視点映像データ配信システムにおいて、
前記複数のユーザ別操作データから再生開始からの相対経過時刻において、視点および視点方向の組み合わせが少なくとも1つ合致する場合に、前記対象ユーザ別操作データとして決定すること、
を特徴とする自由視点映像データ配信システム。 - 請求項1または請求項2の自由視点映像データ配信システムにおいて、
前記複数のユーザ別操作データから再生開始からの相対経過時刻において、同じ相対経過時刻でズーム処理がなされた場合に、前記対象ユーザ別操作データとして決定すること、
を特徴とする自由視点映像データ配信システム。 - 請求項1または請求項2の自由視点映像データ配信システムにおいて、
前記複数のユーザ別操作データから再生開始からの相対経過時刻において、再生速度を変化させるタイミングが合致する場合に、前記対象ユーザ別操作データとして決定すること、
を特徴とする自由視点映像データ配信システム。 - 請求項1または請求項2の自由視点映像データ配信システムにおいて、
前記複数のユーザ別操作データから再生開始からの相対経過時刻において、視点の変更履歴が合致する場合に、前記対象ユーザ別操作データとして決定すること、
を特徴とする自由視点映像データ配信システム。 - 請求項7の自由視点映像データ配信システムにおいて、
前記視点の変更履歴について、さらに視点方向も合致する場合に前記対象ユーザ別操作データとして決定すること、
を特徴とする自由視点映像データ配信システム。 - 請求項1〜請求項8のいずれかの自由視点映像データ配信システムにおいて、
前記代表ユーザ別操作データは、前記複数の対象ユーザ別操作データのうち合致する組み合わせが多いものであること、
を特徴とする自由視点映像データ配信システム。 - 請求項1〜請求項8のいずれかの自由視点映像データ配信システムにおいて、
前記代表ユーザ別操作データは対象ユーザ別操作データの平均であること、
を特徴とする自由視点映像データ配信システム。 - 請求項1〜請求項8のいずれかの自由視点映像データ配信システムにおいて、
前記代表ユーザ別操作データは前記複数の対象ユーザ別操作データのうち合致する組み合わせが少ないものであること、
を特徴とする自由視点映像データ配信システム。 - 請求項1〜11のいずれかの自由視点映像データ配信システムにおいて、
いままで記憶したユーザ別操作データの合計数が所定値を超えたユーザのユーザ別操作データを対象ユーザ別操作データとすること、
を特徴とする自由視点映像データ配信システム。 - 請求項1〜11のいずれかの自由視点映像データ配信システムにおいて、
特定の動画データに関するユーザ別操作データの合計数が所定値を超えたユーザのユーザ別操作データを対象ユーザ別操作データとすること、
を特徴とする自由視点映像データ配信システム。 - 請求項1〜11のいずれかの自由視点映像データ配信システムにおいて、
特定の操作を含むユーザ別操作データを対象ユーザ別操作データとすること、
を特徴とする自由視点映像データ配信システム。 - 請求項14の自由視点映像データ配信システムにおいて、
前記特定の操作は、映像領域を入力デバイスにて操作することによる再生停止操作であること、
を特徴とする自由視点映像データ配信システム。 - 請求項15の自由視点映像データ配信システムにおいて、
前記特定の操作は、前記再生停止操作の後、自由視点における回転操作が行われること、
を特徴とする自由視点映像データ配信システム。 - 請求項14の自由視点映像データ配信システムにおいて、
前記特定の操作は、入力デバイスによる細切れでない操作軌道であること、
を特徴とする自由視点映像データ配信システム。 - 請求項14の自由視点映像データ配信システムにおいて、
前記特定の操作は、ズームインであること、
を特徴とする自由視点映像データ配信システム。 - 請求項18の自由視点映像データ配信システムにおいて、
前記特定の操作は、ズームイン後の操作回数が所定回数あること、
を特徴とする自由視点映像データ配信システム。 - 請求項18の自由視点映像データ配信システムにおいて、
前記特定の操作は、ズームイン後の総操作時間が所定時間以上であること、
を特徴とする自由視点映像データ配信システム。 - 請求項12または請求項13の自由視点映像データ配信システムにおいて、
特定の操作を含むユーザ別操作データを前記対象ユーザ別操作データとすること、
を特徴とする自由視点映像データ配信システム。 - 請求項12、13,14のいずれかの自由視点映像データ配信システムにおいて、
自由視点映像データについて操作経験値を記憶する操作経験値記憶手段を有し、
前記操作経験値が一定値以上のユーザのユーザ別操作データを前記対象ユーザ別操作データとすること、
を特徴とする自由視点映像データ配信システム。 - 視点および視点方向が与えられると与えられた視点および視点方向からの特定視点動画データを生成するための自由視点映像データを記憶する記憶手段、
ユーザ端末に前記自由視点映像データを配信する配信手段、
前記ユーザ端末から特定視点動画データについて、ユーザ端末の操作者から与えられた視点および視点方向の切り替え指示を受け取ると、この切り替え指示の履歴をユーザ別操作データとして受信するユーザ別操作データ受信手段、
前記受信したユーザ別操作データを記憶するユーザ別操作データ記憶手段、
前記複数のユーザ別操作データのうち特有の操作傾向が共通するユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいてそれ以降の配信の時の推奨表示条件として決定する推奨表示条件決定手段、
を備え、
前記配信手段は、推奨表示条件を前記自由視点映像データとともに配信すること、
を特徴とする自由視点映像データ配信装置。 - 視聴する視点を変更可能な自由視点映像データを記憶する記憶手段、
視点および視点方向が与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、
ユーザ端末に前記特定視点動画データを配信する配信手段、
を備え、
ユーザ端末から視点および視点方向の切り替え指示を受け取ると、前記投影画像生成手段は、前記切り替え指示にもとづいて、新たな特定視点動画データを生成させ、前記配信手段から配信させる自由視点映像データ配信装置であって、
さらに、
前記視点および視点方向の切り替え指示をユーザ別操作データとして記憶するユーザ別操作データ記憶手段、
前記複数のユーザ別操作データのうち特有の操作傾向が共通するユーザ別操作データを、推奨表示条件を生成するための対象ユーザ別操作データとして決定するとともに、前記対象ユーザ別操作データに基づいてそれ以降の配信の時の推奨表示条件として決定する推奨表示条件決定手段、を有し、
前記配信手段は、前記推奨表示条件に基づいて、前記特定視点動画データを配信すること、
を特徴とする自由視点映像データ配信装置。
- 視聴する視点を変更可能な自由視点映像データを受信する受信手段、
視点及び視点方向を含む投影特性データが与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、
前記生成された特定視点動画データを表示手段に表示させる表示制御手段、
前記表示手段に表示された特定視点動画データについて、操作者から投影特性を変更する投影特性変更データが与えられると、この投影特性変更データに基づく特定視点動画データを前記投影画像生成手段に生成させるとともに、前記投影特性変更データの履歴を、配信コンピュータに送信する投影画像変更手段、
を備えたことを特徴とする特定視点動画データ表示装置。 - コンピュータを下記手段として機能させる特定視点動画データ表示プログラム。
視聴する視点を変更可能な自由視点映像データを受信する受信手段、
視点及び視点方向を含む投影特性データが与えられると、前記自由視点映像データについての前記視点および視点方向からの特定視点動画データを生成する投影画像生成手段、
前記生成された特定視点動画データを表示手段に表示させる表示制御手段、
前記表示手段に表示された特定視点動画データについて、操作者から投影特性を変更する投影特性変更データが与えられると、この投影特性変更データに基づく特定視点動画データを前記投影画像生成手段に生成させるとともに、前記投影特性変更データの履歴を、配信コンピュータに送信する投影画像変更手段。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015094365 | 2015-05-01 | ||
JP2015094365 | 2015-05-01 | ||
PCT/JP2016/058913 WO2016178340A1 (ja) | 2015-05-01 | 2016-03-22 | 自由視点映像データ配信システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017208815A Division JP2018085722A (ja) | 2015-05-01 | 2017-10-30 | 自由視点映像データ配信システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016178340A1 JPWO2016178340A1 (ja) | 2017-08-10 |
JP6236573B2 true JP6236573B2 (ja) | 2017-11-22 |
Family
ID=57218635
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017516567A Active JP6236573B2 (ja) | 2015-05-01 | 2016-03-22 | 自由視点映像データ配信システム |
JP2017208815A Pending JP2018085722A (ja) | 2015-05-01 | 2017-10-30 | 自由視点映像データ配信システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017208815A Pending JP2018085722A (ja) | 2015-05-01 | 2017-10-30 | 自由視点映像データ配信システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10462497B2 (ja) |
EP (1) | EP3291563A4 (ja) |
JP (2) | JP6236573B2 (ja) |
WO (1) | WO2016178340A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180092163A (ko) * | 2017-02-08 | 2018-08-17 | 삼성전자주식회사 | 비디오 재생을 위한 전자 장치 및 서버 |
WO2018155670A1 (ja) * | 2017-02-27 | 2018-08-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
JP2018182428A (ja) * | 2017-04-06 | 2018-11-15 | 株式会社フューチャリズムワークス | 映像配信装置、映像配信システム及び映像配信方法 |
JP6889371B2 (ja) * | 2017-09-21 | 2021-06-18 | 株式会社ミクシィ | 動画情報処理装置並びにその制御方法及び制御プログラム |
JP7146472B2 (ja) * | 2018-06-18 | 2022-10-04 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7254464B2 (ja) | 2018-08-28 | 2023-04-10 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
CN110225191A (zh) * | 2019-05-24 | 2019-09-10 | 深圳传音控股股份有限公司 | 主题模式的实现方法 |
JP7509904B2 (ja) | 2020-09-29 | 2024-07-02 | 富士フイルム株式会社 | データ処理装置、データ処理方法、及びプログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1301039B1 (en) | 2001-09-07 | 2006-12-13 | Matsushita Electric Industrial Co., Ltd. | A video distribution device and a video receiving device |
JP4185333B2 (ja) * | 2001-09-07 | 2008-11-26 | 松下電器産業株式会社 | 映像配信装置および映像受信装置 |
US7675540B2 (en) | 2003-08-19 | 2010-03-09 | Kddi Corporation | Concealed regions complementing system of free viewpoint video images |
JP4208142B2 (ja) | 2004-01-28 | 2009-01-14 | Kddi株式会社 | 自由視点画像の隠蔽領域補完方式 |
US7221366B2 (en) * | 2004-08-03 | 2007-05-22 | Microsoft Corporation | Real-time rendering system and process for interactive viewpoint video |
US20070240183A1 (en) * | 2006-04-05 | 2007-10-11 | International Business Machines Corporation | Methods, systems, and computer program products for facilitating interactive programming services |
JP4803594B2 (ja) | 2006-07-05 | 2011-10-26 | Kddi株式会社 | 局所領域分割による自由視点画像の生成装置およびプログラム |
JP5029062B2 (ja) | 2007-02-26 | 2012-09-19 | 富士通株式会社 | 多視点動画像伝送システム |
JP4947593B2 (ja) | 2007-07-31 | 2012-06-06 | Kddi株式会社 | 局所領域分割による自由視点画像の生成装置およびプログラム |
JP2009177431A (ja) * | 2008-01-23 | 2009-08-06 | Dainippon Printing Co Ltd | 動画像再生システム、サーバ装置、端末装置及び動画像生成方法等 |
JP5249114B2 (ja) | 2009-04-03 | 2013-07-31 | Kddi株式会社 | 画像生成装置、方法及びプログラム |
US20100259595A1 (en) * | 2009-04-10 | 2010-10-14 | Nokia Corporation | Methods and Apparatuses for Efficient Streaming of Free View Point Video |
WO2012039404A1 (ja) * | 2010-09-24 | 2012-03-29 | 株式会社Gnzo | 映像ビットストリームの伝送システム |
US20140340404A1 (en) * | 2011-12-16 | 2014-11-20 | Thomson Licensing | Method and apparatus for generating 3d free viewpoint video |
JP5593356B2 (ja) * | 2012-08-22 | 2014-09-24 | ヤフー株式会社 | 広告配信装置、広告配信方法および広告配信プログラム |
JP5600148B2 (ja) | 2012-08-23 | 2014-10-01 | ヤフー株式会社 | 映像配信装置、映像配信方法及び映像配信プログラム |
JP6021541B2 (ja) | 2012-09-13 | 2016-11-09 | キヤノン株式会社 | 画像処理装置及び方法 |
JP6015493B2 (ja) * | 2013-02-27 | 2016-10-26 | ブラザー工業株式会社 | 端末装置、及びプログラム |
JP5942933B2 (ja) | 2013-07-04 | 2016-06-29 | ブラザー工業株式会社 | 端末装置、及びプログラム |
US20160269794A1 (en) | 2013-10-01 | 2016-09-15 | Dentsu Inc. | Multi-view video layout system |
JP5683756B1 (ja) * | 2013-10-01 | 2015-03-11 | 株式会社電通 | 多視点動画配置システム |
-
2016
- 2016-03-22 US US15/570,129 patent/US10462497B2/en active Active
- 2016-03-22 EP EP16789476.5A patent/EP3291563A4/en not_active Ceased
- 2016-03-22 JP JP2017516567A patent/JP6236573B2/ja active Active
- 2016-03-22 WO PCT/JP2016/058913 patent/WO2016178340A1/ja active Application Filing
-
2017
- 2017-10-30 JP JP2017208815A patent/JP2018085722A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3291563A4 (en) | 2018-12-05 |
JP2018085722A (ja) | 2018-05-31 |
US20180146218A1 (en) | 2018-05-24 |
US10462497B2 (en) | 2019-10-29 |
EP3291563A1 (en) | 2018-03-07 |
JPWO2016178340A1 (ja) | 2017-08-10 |
WO2016178340A1 (ja) | 2016-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6236573B2 (ja) | 自由視点映像データ配信システム | |
JP6277329B2 (ja) | 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ | |
CN109416931B (zh) | 用于视线跟踪的装置和方法 | |
EP3760287B1 (en) | Method and device for generating video frames | |
US10284753B1 (en) | Virtual reality media content generation in multi-layer structure based on depth of field | |
JP4425274B2 (ja) | トラッキングされている頭部の動作に従って表示中のシーンのビューを調整する方法及び装置 | |
US20230056898A1 (en) | Systems and methods for creating a non-curated viewing perspective in a video game platform based on a curated viewing perspective | |
US11568594B1 (en) | Systems and methods for providing immersive graphical interfaces | |
US20210213362A1 (en) | Automated player sponsorship system | |
US20210093977A1 (en) | Methods and systems for facilitating intra-game communications in a video game environment | |
WO2012173998A2 (en) | Volumetric video presentation | |
JP6934102B1 (ja) | 処理装置、プログラム、及び方法 | |
JP7249975B2 (ja) | 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム | |
US10751611B2 (en) | Using a game controller as a mouse or gamepad | |
US11579752B1 (en) | Augmented reality placement for user feedback | |
US11418857B2 (en) | Method for controlling VR video playing and related apparatus | |
KR102138977B1 (ko) | 클라우드 컴퓨터를 이용한 게임 플레이 동영상 제공 시스템 | |
US20200014901A1 (en) | Information processing apparatus, control method therefor and computer-readable medium | |
KR102266311B1 (ko) | 동영상 서비스 제공 방법 및 장치 | |
JP7335536B2 (ja) | コンピュータプログラム、情報処理装置及び情報処理方法 | |
JP7332919B2 (ja) | コンピュータプログラム、情報処理装置及び情報処理方法 | |
US20220270368A1 (en) | Interactive video system for sports media | |
US20240007713A1 (en) | Provision of media content | |
KR20170060889A (ko) | 사용자 객체 및 비사용자 객체를 제어하는 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170315 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170523 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171030 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6236573 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |