JP7085816B2 - 情報処理装置、情報提供装置、制御方法、及びプログラム - Google Patents
情報処理装置、情報提供装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP7085816B2 JP7085816B2 JP2017185319A JP2017185319A JP7085816B2 JP 7085816 B2 JP7085816 B2 JP 7085816B2 JP 2017185319 A JP2017185319 A JP 2017185319A JP 2017185319 A JP2017185319 A JP 2017185319A JP 7085816 B2 JP7085816 B2 JP 7085816B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- information
- virtual viewpoint
- line
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 174
- 230000010365 information processing Effects 0.000 title claims description 19
- 230000008569 process Effects 0.000 claims description 94
- 230000006978 adaptation Effects 0.000 description 143
- 238000012545 processing Methods 0.000 description 69
- 230000006854 communication Effects 0.000 description 55
- 238000004891 communication Methods 0.000 description 53
- 238000007726 management method Methods 0.000 description 41
- 238000004458 analytical method Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 8
- 230000000153 supplemental effect Effects 0.000 description 7
- VZSRBBMJRBPUNF-UHFFFAOYSA-N 2-(2,3-dihydro-1H-inden-2-ylamino)-N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]pyrimidine-5-carboxamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C(=O)NCCC(N1CC2=C(CC1)NN=N2)=O VZSRBBMJRBPUNF-UHFFFAOYSA-N 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000576 supplementary effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- MKYBYDHXWVHEJW-UHFFFAOYSA-N N-[1-oxo-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propan-2-yl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(C(C)NC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 MKYBYDHXWVHEJW-UHFFFAOYSA-N 0.000 description 2
- NIPNSKYNPDTRPC-UHFFFAOYSA-N N-[2-oxo-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 NIPNSKYNPDTRPC-UHFFFAOYSA-N 0.000 description 2
- AFCARXCZXQIEQB-UHFFFAOYSA-N N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CCNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 AFCARXCZXQIEQB-UHFFFAOYSA-N 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- YLZOPXRUQYQQID-UHFFFAOYSA-N 3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]propan-1-one Chemical compound N1N=NC=2CN(CCC=21)CCC(=O)N1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F YLZOPXRUQYQQID-UHFFFAOYSA-N 0.000 description 1
- DEXFNLNNUZKHNO-UHFFFAOYSA-N 6-[3-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperidin-1-yl]-3-oxopropyl]-3H-1,3-benzoxazol-2-one Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C1CCN(CC1)C(CCC1=CC2=C(NC(O2)=O)C=C1)=O DEXFNLNNUZKHNO-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003169 complementation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Description
図1に、本実施形態に係る通信システムの構成例を示す。通信システムは、一例において、クライアント101及びサーバ102を含み、クライアント101とサーバ102は、ネットワーク103を介して接続される。クライアント101は、例えば、DTV(Digital TV)、HMD(HeadMount Display)、マルチビューテレビジョン、スマートフォン、タブレット等の表示機能を有する情報処理装置でありうる。クライアント101は、PC(Personal Computer)等にインストールされたWebブラウザや、その他のアプリケーションを表す概念であってもよく、すなわち、クライアント101は必ずしも装置として実現されなくてもよい。また、クライアント101は、例えば投影装置を有するプロジェクタであってもよく、また、複数の投影装置を含んだマルチプロジェクタであってもよい。サーバ102は、一例において、デジタルカメラ、デジタルビデオカメラ、ネットワークカメラ、プロジェクタ、携帯電話、スマートフォン、PC、及びサーバ装置等であり、映像データの送信元のサーバ装置として機能する情報提供装置である。本実施形態では、一例として、サーバ102が1台のPCであるものとするが、例えばクラウド上で分散して配置された1つ以上の装置によって、サーバ102の機能が分散的に実現されてもよい。ネットワーク103は、例えば、LAN(Local Area Network)やWAN(Wide Area Network)、LTE(Long Term Evolution)等の公衆移動体通信網、又はそれらの組み合わせでありうる。LANは、例えばEthernet(登録商標)等の有線LANや、IEEE802.11規格シリーズ等の無線LANを含んで構成される。WANは、例えばインターネットでありうる。なお、クライアント101とサーバ102は、ネットワーク103を介さずに直接接続されてもよい。例えば、クライアント101とサーバ102は、無線アドホックネットワークを用いて直接通信してもよい。
以下では、本実施形態において伝送される仮想視点映像データについての説明を行う。なお、仮想視点映像の生成自体は従来技術のようにして行われるものとし、以下では、主として、本実施形態において伝送対象となる、仮想視点映像に関するパラメータについて説明を行う。
続いて、クライアント101及びサーバ102のハードウェア構成例について、図4(a)及び図4(b)を用いて説明する。
続いて、クライアント101の機能構成について説明する。図5は、クライアント101の機能構成例を示すブロック図である。クライアント101は、例えば、MPD解析部501、視点制御部502、視線制御部503、焦点制御部504、符号化方式判定部505、復号制御部506、表示制御部507、MPD取得部509、及びAdaptationSet管理部508を有する。また、クライアント101は、通信制御部510、操作制御部511、セグメント取得部512、及びセグメント解析部513を有する。なお、これらの各機能ブロックは、制御部401のCPU(不図示)がメモリ(不図示)に格納されているソフトウェアプログラムを実行することによって実現されうる。なお、これらの機能ブロックの一部または全部がハードウェアによって実現されてもよい。
続いて、クライアント101が実行する処理の流れのいくつかの例について説明する。本実施形態では、MPEG-DASHのMPDファイルに含まれる映像データに関する情報が含められ、クライアント101は、その情報に基づいて映像再生処理を実行する。例えば、クライアント101は、自装置が仮想視点映像の再生に対応しており、かつ、仮想視点映像に関する情報がMPDファイルに含まれている場合には、その情報に基づいて仮想視点映像を再生する。また、クライアント101は、自装置が仮想視点映像の再生に対応しておらず、かつ、仮想視点映像に関する情報がMPDファイルに含まれている場合には、その仮想視点映像を取得しない。これによれば、クライアント101は、再生ができない映像を取得することがなくなる。このとき、MPDファイルに、クライアント101が再生可能な仮想視点映像データではない映像データの情報が含めることにより、クライアント101は、仮想視点映像の再生に対応していない場合であっても、映像の視聴を可能とすることができる。また、MPDファイルに様々な表示制御用の記述を含めることにより、表示させるべき仮想視点映像の詳細な制御を行うことができる。
まず、本処理で用いられるMPDについて図17を用いて説明した後に、図6を用いてクライアント101が実行する処理の流れの例について説明する。
図7に、クライアント101が実行する処理の流れの第2の例を示す。本処理例では、図2(d)に関して説明したように、仮想視点映像の空間領域が複数に分割される場合の例について説明する。本処理で用いられるMPDの記述例を図18に示す。以下では、まず、図18のMPDについて説明した後に、図7の処理の流れについて説明する。なお、図7の処理において、処理例1-1と同様の処理を実行するステップには、図6と共通の参照番号を付してその説明を省略する。
次に、クライアント101が実行する処理の第3の例について、図8を用いて説明する。本処理は、図2(e)に関して説明したように、オブジェクトと背景の映像データとが別個に提供される場合の処理に関する。本処理で用いられるMPDの記述例を図19に示す。以下では、まず、図19のMPDについて説明した後に、図8の処理の流れについて説明する。なお、図8の処理において、処理例1-1と同様の処理を実行するステップには、図6と共通の参照番号を付してその説明を省略する。
図9に、クライアント101が実行する処理の流れの第4の例を示す。本処理は、図3(a)に関して説明したような、ユーザの移動範囲に制限のあるWindowed6DoFが用いられる場合の処理に関する。本処理で用いられるMPDの記述例を図20に示す。以下では、まず、図20のMPDについて説明した後に、図9の処理の流れについて説明する。なお、図9の処理において、処理例1-1と同様の処理を実行するステップには、図6と共通の参照番号を付してその説明を省略する。
図10に、クライアント101が実行する処理の流れの第5の例を示す。本処理は、図3(b)に関して説明したような、サーバ102がユーザの視線方向及び移動方向の情報をTimedMetadataで提供した場合の処理に関する。本処理で用いられるMPDの記述例を図21に示す。以下では、まず、図21のMPDについて説明した後に、図10の処理の流れについて説明する。なお、図10の処理において、処理例1-1と同様の処理を実行するステップには、図6と共通の参照番号を付してその説明を省略する。
続いて、サーバ102の機能構成について説明する。図11は、サーバ102の機能構成例を示すブロック図である。サーバ102は、例えば、MPD生成部1101、視点移動範囲生成部1102、視線移動範囲生成部1103、焦点移動範囲生成部1104、符号化方式判定部1105、通信制御部1106、及びセグメント管理部1107を有する。
続いて、サーバ102が実行する処理の流れのいくつかの例について説明する。本実施形態では、サーバ102は、映像データに関する情報をMPEG-DASHのMPDファイルに含めてクライアント101へ送信する。以下では、特に、MPDファイルの生成に関する処理について説明する。
本処理例は、処理例1-1に対応する処理の流れの例であり、図17のMPD1700のようなMPDを生成する際の処理に関する。本処理の流れの例を図12に示す。
本処理例は、処理例1-2に対応する処理の流れの例であり、図18のMPD1800やMPD1810のようなMPDを生成する際の処理に関する。本処理の流れの例を図13に示す。なお、図13の処理において、処理例2-1と同様の処理を実行するステップには、図12と共通の参照番号を付してその説明を省略する。
本処理例は、処理例1-3に対応する処理の流れの例であり、図19のMPD1900のようなMPDを生成する際の処理に関する。本処理の流れの例を図14に示す。なお、図14の処理において、処理例2-1と同様の処理を実行するステップには、図12と共通の参照番号を付してその説明を省略する。
本処理例は、処理例1-4に対応する処理の流れの例であり、図20のMPD2000のようなMPDを生成する際の処理に関する。本処理の流れの例を図15に示す。なお、図15の処理において、処理例2-1と同様の処理を実行するステップには、図12と共通の参照番号を付してその説明を省略する。
本処理例は、処理例1-5に対応する処理の流れの例であり、図21のMPD2100のようなMPDを生成する際の処理に関する。本処理の流れの例を図16に示す。なお、図16の処理において、処理例2-1と同様の処理を実行するステップには、図12と共通の参照番号を付してその説明を省略する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (17)
- 映像データに関する情報が記述される第1のデータと、映像データを含んだ第2のデータと、を取得する取得手段と、
視点位置と視線方向と焦点位置との少なくともいずれかを設定して視聴可能な仮想視点映像に関する情報が含まれていることを示す所定の値が前記第1のデータに記述されているかを判定する判定手段と、
前記第2のデータに含まれる映像データの再生制御を行う制御手段と、
を有し、
前記取得手段は、前記判定手段における判定の結果と前記第1のデータとに基づいて、前記第2のデータを取得し、
前記仮想視点映像は、背景データとオブジェクトデータとに基づいて生成され、
前記所定の値は、前記背景データと前記オブジェクトデータとの少なくともいずれかに関する情報が含まれていることを示す、
ことを特徴とする情報処理装置。 - 前記取得手段は、前記情報処理装置が前記仮想視点映像の再生に対応しており、かつ、前記所定の値が前記第1のデータに記述されている場合に、当該第1のデータに含まれる情報に対応する仮想視点映像データを含んだ前記第2のデータを取得する、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記第1のデータは、前記所定の値と共に、さらに、前記仮想視点映像における視点位置と視線方向と焦点位置との少なくともいずれかに関する範囲の情報を含み、
前記制御手段は、前記仮想視点映像における視点位置と視線方向と焦点位置との少なくともいずれかが前記範囲に含まれない値に設定されないように前記再生制御を行う、
ことを特徴とする請求項2に記載の情報処理装置。 - 前記第1のデータは、前記所定の値と共に、さらに、前記仮想視点映像の分割された部分空間のそれぞれについての、当該部分空間を特定する視点位置と視線方向と焦点位置との少なくともいずれかに関する範囲についての情報を含み、
前記取得手段は、前記仮想視点映像における視点位置と視線方向と焦点位置との少なくともいずれかの設定に対応する部分空間についての前記情報に基づいて、当該部分空間に関する仮想視点映像データを含んだ前記第2のデータを取得する、
ことを特徴とする請求項2又は3に記載の情報処理装置。 - 前記第1のデータは、前記所定の値と共に、さらに、時刻ごとの視点位置と視線方向と焦点位置との少なくともいずれかを示す指定情報を含み、
前記制御手段は、前記指定情報に基づいて、前記仮想視点映像を再生する際の時刻ごとの視点位置と視線方向と焦点位置との少なくともいずれかを設定するように前記再生制御を行う、
ことを特徴とする請求項2から4のいずれか1項に記載の情報処理装置。 - 前記指定情報を用いるか否かを選択する選択手段をさらに有し、
前記制御手段は、前記選択手段が前記指定情報を用いると選択した場合には前記指定情報に基づいて、前記仮想視点映像を再生する際の時刻ごとの視点位置と視線方向と焦点位置との少なくともいずれかを設定する制御を行い、前記選択手段が前記指定情報を用いないと選択した場合にはユーザ操作に基づいて、前記仮想視点映像を再生する際の視点位置と視線方向と焦点位置との少なくともいずれかを設定するように前記再生制御を行う、
ことを特徴とする請求項5に記載の情報処理装置。 - 前記第1のデータは、前記所定の値と共に、さらに、前記仮想視点映像における視点位置と視線方向と焦点位置との少なくともいずれかの設定が制限される制限範囲の情報を含み、
前記制御手段は、前記仮想視点映像における視点位置と視線方向と焦点位置との少なくともいずれかが前記制限範囲に含まれる値に設定されないような前記再生制御を行う、
ことを特徴とする請求項2から6のいずれか1項に記載の情報処理装置。 - 前記第1のデータは、MPEG-DASHのMedia Presentation Descriptionとして提供される、
ことを特徴とする請求項1から7のいずれか1項に記載の情報処理装置。 - 映像データに関する情報が記述される第1のデータに基づいて映像データを含んだ第2のデータを取得する情報処理装置に、前記第1のデータを提供する情報提供装置であって、
視点位置と視線方向と焦点位置との少なくともいずれかを設定して視聴可能な仮想視点映像に関する情報が含まれていることを示す所定の値を含んだ前記第1のデータを生成する生成手段と、
前記第1のデータを前記情報処理装置へ提供する提供手段と、
を有し、
前記仮想視点映像は、背景データとオブジェクトデータとに基づいて生成され、
前記生成手段は、前記所定の値として、前記背景データと前記オブジェクトデータとの少なくともいずれかに関する情報が含まれていることを示す値を含んだ前記第1のデータを生成する、ことを特徴とする情報提供装置。 - 前記生成手段は、前記所定の値と共に、さらに、前記仮想視点映像における視点位置と視線方向と焦点位置との少なくともいずれかに関する範囲の情報を含んだ前記第1のデータを生成する、
ことを特徴とする請求項9に記載の情報提供装置。 - 前記生成手段は、前記所定の値と共に、さらに、前記仮想視点映像の分割された部分空間のそれぞれについての、当該部分空間を特定する視点位置と視線方向と焦点位置との少なくともいずれかに関する範囲についての情報を含んだ前記第1のデータを生成する、
ことを特徴とする請求項9又は10に記載の情報提供装置。 - 前記生成手段は、前記所定の値と共に、さらに、時刻ごとの視点位置と視線方向と焦点位置との少なくともいずれかを示す指定情報を含んだ前記第1のデータを生成する、
ことを特徴とする請求項9から11のいずれか1項に記載の情報提供装置。 - 前記生成手段は、前記所定の値と共に、さらに、前記仮想視点映像における視点位置と視線方向と焦点位置との少なくともいずれかの設定が制限される制限範囲の情報を含んだ前記第1のデータを生成する、
ことを特徴とする請求項9から12のいずれか1項に記載の情報提供装置。 - 前記生成手段は、前記第1のデータとして、MPEG-DASHのMedia Presentation Descriptionを生成する、
ことを特徴とする請求項9から13のいずれか1項に記載の情報提供装置。 - 情報処理装置の制御方法であって、
映像データに関する情報が記述される第1のデータを取得する工程と、
視点位置と視線方向と焦点位置との少なくともいずれかを設定して視聴可能な仮想視点映像に関する情報が含まれていることを示す所定の値が前記第1のデータに記述されているかを判定する工程と、
前記判定する工程における判定の結果と前記第1のデータに基づいて映像データを含んだ第2のデータを取得する工程と、
前記第2のデータに含まれる映像データの再生制御を行う工程と、
を有し、
前記仮想視点映像は、背景データとオブジェクトデータとに基づいて生成され、
前記所定の値は、前記背景データと前記オブジェクトデータとの少なくともいずれかに関する情報が含まれていることを示す、ことを特徴とする制御方法。 - 映像データに関する情報が記述される第1のデータに基づいて映像データを含んだ第2のデータを取得する情報処理装置に、前記第1のデータを提供する情報提供装置の制御方法であって、
視点位置と視線方向と焦点位置との少なくともいずれかを設定して視聴可能な仮想視点映像に関する情報が含まれていることを示す所定の値を含んだ前記第1のデータを生成する生成工程と、
前記第1のデータを前記情報処理装置へ提供する提供工程と、
を有し、
前記仮想視点映像は、背景データとオブジェクトデータとに基づいて生成され、
前記生成工程では、前記所定の値として、前記背景データと前記オブジェクトデータとの少なくともいずれかに関する情報が含まれていることを示す値を含んだ前記第1のデータを生成する、ことを特徴とする制御方法。 - コンピュータに、請求項15又は16に記載の制御方法を実行させるためのプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017185319A JP7085816B2 (ja) | 2017-09-26 | 2017-09-26 | 情報処理装置、情報提供装置、制御方法、及びプログラム |
EP18862087.6A EP3691285B1 (en) | 2017-09-26 | 2018-07-23 | Information processing device, information providing device, control method, and program |
KR1020207010964A KR102384489B1 (ko) | 2017-09-26 | 2018-07-23 | 정보 처리 장치, 정보 제공 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체 |
CN201880062439.3A CN111133764B (zh) | 2017-09-26 | 2018-07-23 | 信息处理设备、信息提供设备、控制方法和存储介质 |
PCT/JP2018/027464 WO2019064853A1 (ja) | 2017-09-26 | 2018-07-23 | 情報処理装置、情報提供装置、制御方法、及びプログラム |
US16/827,784 US11356648B2 (en) | 2017-09-26 | 2020-03-24 | Information processing apparatus, information providing apparatus, control method, and storage medium in which virtual viewpoint video is generated based on background and object data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017185319A JP7085816B2 (ja) | 2017-09-26 | 2017-09-26 | 情報処理装置、情報提供装置、制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019062390A JP2019062390A (ja) | 2019-04-18 |
JP7085816B2 true JP7085816B2 (ja) | 2022-06-17 |
Family
ID=65901720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017185319A Active JP7085816B2 (ja) | 2017-09-26 | 2017-09-26 | 情報処理装置、情報提供装置、制御方法、及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11356648B2 (ja) |
EP (1) | EP3691285B1 (ja) |
JP (1) | JP7085816B2 (ja) |
KR (1) | KR102384489B1 (ja) |
CN (1) | CN111133764B (ja) |
WO (1) | WO2019064853A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG11202005090TA (en) * | 2018-01-12 | 2020-06-29 | Sony Corp | Information processing apparatus and method |
CN111937397B (zh) * | 2018-04-03 | 2024-05-10 | 华为技术有限公司 | 媒体数据处理方法及装置 |
JP7250567B2 (ja) * | 2019-02-28 | 2023-04-03 | キヤノン株式会社 | 装置、方法、及びプログラム |
CN114026875A (zh) * | 2019-06-25 | 2022-02-08 | 索尼集团公司 | 信息处理装置、信息处理方法、再现处理装置和再现处理方法 |
CN112148115A (zh) * | 2019-06-28 | 2020-12-29 | 中兴通讯股份有限公司 | 媒体处理方法、装置、***和可读存储介质 |
US11259050B2 (en) | 2019-09-19 | 2022-02-22 | Nokia Technologies Oy | Six degrees of freedom spatial layout signaling |
US11616822B2 (en) * | 2019-09-30 | 2023-03-28 | Tencent America LLC | Session-based information for dynamic adaptive streaming over HTTP |
EP4016994A1 (en) * | 2019-10-01 | 2022-06-22 | Sony Group Corporation | Information processing device and information processing method |
JP6875029B1 (ja) * | 2020-05-28 | 2021-05-19 | 株式会社Spacial | 方法、プログラム、情報処理装置 |
CN114422816A (zh) * | 2022-01-17 | 2022-04-29 | 北京达佳互联信息技术有限公司 | 一种直播视频处理方法、装置、电子设备及存储介质 |
CN117255233A (zh) * | 2022-06-10 | 2023-12-19 | 中兴通讯股份有限公司 | 媒体信息处理方法、媒体信息播放方法、装置及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017527160A (ja) | 2014-06-27 | 2017-09-14 | コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ | Hevcでタイル化されたビデオ・ストリームに基づく関心領域の決定 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5371232B2 (ja) * | 2007-11-28 | 2013-12-18 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP5920708B2 (ja) | 2012-02-29 | 2016-05-18 | 国立大学法人名古屋大学 | 多視点映像ストリーム視聴システムおよび方法 |
CN102831597B (zh) * | 2012-07-10 | 2015-02-04 | 浙江大学 | 一种虚拟视像素生成方法、装置以及对应的码流 |
JP2015187797A (ja) | 2014-03-27 | 2015-10-29 | シャープ株式会社 | 画像データ生成装置および画像データ再生装置 |
EP3133819A4 (en) * | 2014-04-14 | 2017-02-22 | Panasonic Intellectual Property Management Co., Ltd. | Image delivery method, image reception method, server, terminal apparatus, and image delivery system |
US10204658B2 (en) * | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
EP3112985A1 (en) * | 2015-06-30 | 2017-01-04 | Nokia Technologies Oy | An apparatus for video output and associated methods |
KR102117469B1 (ko) * | 2015-07-13 | 2020-06-01 | 삼성전기주식회사 | 전자 소자 모듈 및 그 제조 방법 |
CN105915937B (zh) * | 2016-05-10 | 2019-12-13 | 上海乐相科技有限公司 | 一种全景视频播放方法及设备 |
EP3249929A1 (en) * | 2016-05-25 | 2017-11-29 | Thomson Licensing | Method and network equipment for establishing a manifest |
RU2647645C1 (ru) * | 2016-12-29 | 2018-03-16 | Общество с ограниченной ответственностью "СИАМС" | Способ устранения швов при создании панорамных изображений из видеопотока кадров в режиме реального времени |
JP6775776B2 (ja) * | 2017-03-09 | 2020-10-28 | 株式会社岩根研究所 | 自由視点移動表示装置 |
JP7330683B2 (ja) * | 2018-11-06 | 2023-08-22 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2017
- 2017-09-26 JP JP2017185319A patent/JP7085816B2/ja active Active
-
2018
- 2018-07-23 KR KR1020207010964A patent/KR102384489B1/ko active IP Right Grant
- 2018-07-23 EP EP18862087.6A patent/EP3691285B1/en active Active
- 2018-07-23 CN CN201880062439.3A patent/CN111133764B/zh active Active
- 2018-07-23 WO PCT/JP2018/027464 patent/WO2019064853A1/ja unknown
-
2020
- 2020-03-24 US US16/827,784 patent/US11356648B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017527160A (ja) | 2014-06-27 | 2017-09-14 | コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ | Hevcでタイル化されたビデオ・ストリームに基づく関心領域の決定 |
Non-Patent Citations (4)
Title |
---|
"3GPP TR 26.918 V1.2.0 (2017-06)",[online], 3GPP,2017年07月03日,Pages 1-23,37,38,48,49,88,95,[平成30年8月28日検索], インターネット, <URL: http://www.3gpp.org/ftp//Specs/archive/26_series/26.918/26918-120.zip>. |
"ISO/IEC 23009-1:2013/Cor.1:2012(E)",[online], ISO/IEC JTC 1/SC 29/WG 11,2014年11月03日,Page 27,[平成30年8月30日検索], インターネット, <URL: http://www.3gpp.org/ftp/tsg_sa/WG4_CODEC/TSGS4_81/Docs/S4-141284.zip>. |
CHOI, B., et al.,"WD on ISO/IEC 23000-20 Omnidirectional Media Application Format",N16189,[online], ISO/IEC JTC1/SC29/WG11,2016年06月03日,[平成30年3月5日検索], インターネット, <URL: https://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/w16189.zip>. |
MARTENS, G.,"Bandwidth management for ODV tiled streaming with MPEG-DASH",[online], Universiteit Hasselt (Master thesis),2015年09月29日,Pages 1,3,5,6,9-11,51-81,149-153,[平成29年6月16日検索], インターネット, <URL: https://uhdspace.uhasselt.be/dspace/handle/1942/19390>. |
Also Published As
Publication number | Publication date |
---|---|
EP3691285A4 (en) | 2021-06-30 |
US11356648B2 (en) | 2022-06-07 |
KR20200053588A (ko) | 2020-05-18 |
JP2019062390A (ja) | 2019-04-18 |
CN111133764B (zh) | 2022-05-10 |
EP3691285A1 (en) | 2020-08-05 |
US20200228775A1 (en) | 2020-07-16 |
KR102384489B1 (ko) | 2022-04-12 |
CN111133764A (zh) | 2020-05-08 |
EP3691285B1 (en) | 2022-07-06 |
WO2019064853A1 (ja) | 2019-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7085816B2 (ja) | 情報処理装置、情報提供装置、制御方法、及びプログラム | |
CN109155874B (zh) | 虚拟现实媒体内容的自适应流传输的方法、装置和计算机程序 | |
KR102545195B1 (ko) | 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치 | |
US11330310B2 (en) | Encoding device and method, reproduction device and method, and program | |
CN108111899B (zh) | 视频传输方法与装置、客户端、服务器及存储介质 | |
EP3782368A1 (en) | Processing video patches for three-dimensional content | |
KR102133207B1 (ko) | 통신장치, 통신 제어방법 및 통신 시스템 | |
US10931930B2 (en) | Methods and apparatus for immersive media content overlays | |
EP3740846A1 (en) | Providing virtual content based on user context | |
US10511767B2 (en) | Information processing device, information processing method, and program | |
CN111869221B (zh) | Dash对象之间的有效关联 | |
KR20200065730A (ko) | 자유 시점 영상 제공 방법 및 장치 | |
JP7396267B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR101944601B1 (ko) | 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스 | |
CN112188219A (zh) | 视频接收方法和装置以及视频发送方法和装置 | |
WO2018027067A1 (en) | Methods and systems for panoramic video with collaborative live streaming | |
CN114026849A (zh) | 信息处理装置、信息处理方法、再现处理装置以及再现处理方法 | |
WO2019187434A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN111937043B (zh) | 将文件格式对象和基于超文本传输协议的动态自适应流媒体(dash)对象进行关联 | |
KR20200000815A (ko) | 송신장치, 송신방법, 수신장치, 수신방법, 및, 비일시적인 컴퓨터 판독가능한 기억매체 | |
WO2019138927A1 (ja) | 情報処理装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200925 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220607 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7085816 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |