JP7174941B2 - デジタルメディアシステム - Google Patents

デジタルメディアシステム Download PDF

Info

Publication number
JP7174941B2
JP7174941B2 JP2021505181A JP2021505181A JP7174941B2 JP 7174941 B2 JP7174941 B2 JP 7174941B2 JP 2021505181 A JP2021505181 A JP 2021505181A JP 2021505181 A JP2021505181 A JP 2021505181A JP 7174941 B2 JP7174941 B2 JP 7174941B2
Authority
JP
Japan
Prior art keywords
pip window
video file
embedding
machine
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021505181A
Other languages
English (en)
Other versions
JP2021521747A (ja
Inventor
ハ サンギョー
イ サロモン
Original Assignee
アルカクルーズ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカクルーズ インク filed Critical アルカクルーズ インク
Publication of JP2021521747A publication Critical patent/JP2021521747A/ja
Priority to JP2022172267A priority Critical patent/JP2023021982A/ja
Application granted granted Critical
Publication of JP7174941B2 publication Critical patent/JP7174941B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2408Monitoring of the upstream path of the transmission network, e.g. client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26241Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the time of distribution, e.g. the best time of the day for inserting an advertisement or airing a children program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)

Description

関連出願
本願は、2018年4月11日に出願された米国特許仮出願第62/656,149号および2018年10月9日に出願された米国特許仮出願第62/743,083号の優先権の利益を主張するものであり、これら出願のすべての内容を本明細書に援用する。
本明細書に開示の主題は一般的に、デジタルメディアを処理する専用マシンであって、そのような専用マシンのソフトウェア構成によるコンピュータ化変形およびそのような変形の改良を含めた専用マシンの技術分野に関するとともに、デジタルメディアを処理する他の専用マシンと比べて上記のような専用マシンを改良する技術に関する。
1つまたは複数のユーザに対応する1つまたは複数のデバイスに対してデジタルメディアコンテンツ(たとえば、ビデオファイル、オーディオファイル、画像、テキスト、またはこれらの任意好適な組み合わせ)をストリーミング配信することにより、マシンが1つまたは複数のユーザと相互作用するように構成可能である。たとえば、ユーザが自身のデバイスによって特定のデジタルメディアコンテンツ(たとえば、映画、スポーツイベント、またはコンサートのビデオファイル)のストリーミングを要求した場合、マシンは、そのデジタルメディアコンテンツを当該ユーザのデバイスにストリーミング配信させる。これは、デジタルメディアコンテンツの連続部分(たとえば、ビデオフレーム)をマシンがネットワーク経由でデバイスに送ること、あるいは、その他の方法でデジタルメディアコンテンツの連続部分をデータリポジトリにネットワーク経由でデバイスに送らせることによって実行され得る。また、マシンは、デジタルメディアコンテンツがユーザのデバイスにより提示されている間に、当該デバイスから伝えられた1つまたは複数の再生コマンド(たとえば、停止、一時停止、先送り、または逆戻し)を受信して応答することにより、ユーザと相互作用する場合もある。
添付の図面の図中には、いくつかの実施形態を一例として示すが、何ら限定的なものではない。
いくつかの例示的な実施形態に係る、デジタルメディアの提供またはデジタルメディアの他の処理に適したネットワーク環境を示したネットワーク図である。 いくつかの例示的な実施形態に係る、一組の同時ビデオファイルによる没入シーンの表現を示した図である。 いくつかの例示的な実施形態に係る、方向性ピクチャー・イン・ピクチャー(PIP)ウィンドウを示した図である。 いくつかの例示的な実施形態に係る、方向性オーディオを示した図である。 いくつかの例示的な実施形態に係る、ユーザ提案を提供する方法の動作を示したフローチャートである。 いくつかの例示的な実施形態に係る、ネットワーク容量に基づいてアップロードするビデオファイルの長さの動的調整を示した図である。 いくつかの例示的な実施形態に係る、ネットワーク容量に基づいてアップロードする一組当たりのビデオファイルの数の動的調整を示した図である。 いくつかの例示的な実施形態に係る、描画エリアの上部または下部領域の動的調整を示した図である。 いくつかの例示的な実施形態に係る、描画エリアの動的調整を示した図である。 いくつかの例示的な実施形態に係る、一体的に表示された選択一次PIPウィンドウおよび複数の利用可能な二次PIPウィンドウを含む単一の没入シーンの同時PIPウィンドウを示した図である。 いくつかの例示的な実施形態に係る、一体的に表示された選択一次没入シーンの選択領域および利用可能な二次没入シーンの複数の利用可能な領域を含む同時没入シーンを示した図である。 いくつかの例示的な実施形態に係る、マシン可読媒体から命令を読み出して、本明細書に記載の方法のうちの任意の1つまたは複数を実行可能なマシンの構成要素を示したブロック図である。
例示的な方法(たとえば、アルゴリズム)は、デジタルメディア(たとえば、ビデオ、オーディオ、画像、テキスト、またはこれらの任意好適な組み合わせ)の提供等の処理を容易化し、例示的なシステム(たとえば、専用ソフトウェアにより構成された専用マシン)は、デジタルメディアの提供等の処理を容易化するように構成されている。各例は、考え得る変形例を代表しているに過ぎない。別段の明示のない限り、構造(たとえば、モジュール等の構造要素)は任意選択であり、結合または細分可能である。動作(たとえば、手順、アルゴリズム、または他の機能)は、順序を変更することも可能であるし、結合または細分することも可能である。以下の記述においては、説明を目的として、多くの具体的詳細を示すことにより、種々例示的な実施形態の十分な理解が得られるようにする。ただし、当業者には、これらの具体的詳細なく本主題を実現可能なことが明らかとなるであろう。
デジタルメディアシステムは、仮想現実コンテンツに関する複数の特徴のうちの任意の1つまたは複数をサポートするように構成されている。このような特徴の例としては、視聴方向に基づく方向性ピクチャー・イン・ピクチャー(PIP)ウィンドウ、視聴方向に基づく方向性オーディオ、ビデオコンテンツ中の特定の視覚的特徴の特異視聴時間に基づくユーザ提案、コンテンツ配信ネットワークにアップロードされるビデオファイルの消去の要求に先立つ存続期間(TTL)継続時間の動的調整、ネットワーク容量に基づいてアップロードするビデオファイルの継続時間の動的調整、ネットワーク容量に基づいてアップロードする一組当たりのビデオファイルの量の動的調整、複数組のビデオファイルの描画エリア内の上部表示領域もしくは下部表示領域の動的サイズ調整、複数組のビデオファイル内の描画エリア自体の動的サイズ調整、またはこれらの任意好適な組み合わせが挙げられる。
デジタルメディアシステム
図1は、いくつかの例示的な実施形態に係る、デジタルメディアの処理の提供に適したネットワーク環境100を示したネットワーク図である。ネットワーク環境100には、デジタルメディアマシン110、データベース115、コンテンツ配信ネットワーク120、ならびにデバイス130および150を含み、すべてがネットワーク190を介して互いに通信結合されている。デジタルメディアマシン110は、データベース115の有無に関わらず、クラウド118(たとえば、単一のサーバとして機能するように構成された複数のマシンが地理的に分散した一組)の全部または一部を構成していてもよく、これが、ネットワークベースのシステム105(たとえば、1つまたは複数のネットワークベースのサービスをデバイス130および150に提供するように構成されたクラウドベースのサーバシステム)の全部または一部を構成していてもよい。いくつかの例示的な実施形態において、コンテンツ配信ネットワーク120は、クラウド118の一部である。一方、他の例示的な実施形態において、コンテンツ配信ネットワーク120は、クラウド118とは異なる(たとえば、ネットワークベースのシステム105とは異なるサードパーティネットワークベースのシステム内の)サードパーティクラウドの全部または一部を構成する。デジタルメディアマシン110、データベース115、コンテンツ配信ネットワーク120、ならびにデバイス130および150はそれぞれ、図12に関して後述する通り、全部または一部が1つまたは複数の専用(たとえば、特殊化)コンピュータシステムにおいて実装されていてもよい。
図1には、ユーザ132および152も示している。ユーザ132および152の一方または両方は、人間ユーザ(たとえば、人間)であってもよいし、マシンユーザ(たとえば、ソフトウェアプログラムによってデバイス130または150と相互作用するように構成されたコンピュータ)であってもよいし、これらの任意好適な組み合わせ(たとえば、マシンが支援する人間または人間が管理するマシン)であってもよい。ユーザ132は、デバイス130と関連付けられており、デバイス130(たとえば、仮想現実コンテンツ等のデジタルメディアを提示するように構成されたクライアントデバイス)のユーザであってもよい。たとえば、デバイス130は、ユーザ132に属するデスクトップコンピュータであってもよいし、車両コンピュータであってもよいし、タブレットコンピュータであってもよいし、ナビゲーションデバイスであってもよいし、携帯型メディアデバイスであってもよいし、スマートフォンであってもよいし、ウェアラブルデバイス(たとえば、スマートウォッチ、スマートグラス、スマートクロージング、またはスマートジュエリー)であってもよい。同様に、ユーザ152は、デバイス150と関連付けられており、デバイス150(たとえば、仮想現実コンテンツ等のデジタルメディアを提示するように構成されたクライアントデバイス)のユーザであってもよい。一例として、デバイス150は、ユーザ152に属するデスクトップコンピュータであってもよいし、車両コンピュータであってもよいし、タブレットコンピュータであってもよいし、ナビゲーションデバイスであってもよいし、携帯型メディアデバイスであってもよいし、スマートフォンであってもよいし、ウェアラブルデバイス(たとえば、スマートウォッチ、スマートグラス、スマートクロージング、またはスマートジュエリー)であってもよい。
図1に示すシステムまたはマシン(たとえば、データベースおよびデバイス)のいずれかは、当該システムまたはマシンに対して本明細書に記載の機能のうちの1つまたは複数を実行するように修正された(たとえば、専用アプリケーション、オペレーティングシステム、ファームウェア、ミドルウェア、または他のソフトウェアプログラムの1つまたは複数のソフトウェアモジュール等の専用ソフトウェアにより構成またはプログラムされた)専用(たとえば、特殊化あるいは非従来型の非一般的な)コンピュータであってもよいし、専用コンピュータを具備していてもよいし、あるいは、専用コンピュータにおいて実装されていてもよい。たとえば、本明細書に記載の方法のうちのいずれか1つまたは複数を実装可能な専用コンピュータシステムを図12に関して後述するが、このような専用コンピュータは、本明細書に記載の方法のうちのいずれか1つまたは複数を実行する手段であってもよい。このような専用コンピュータの技術分野において、本明細書に記載の機能を実行するように本明細書に記載の構造により特別に修正された(たとえば、専用ソフトウェアにより構成された)専用コンピュータは、本明細書に記載の構造を持たない他の専用コンピュータあるいは本明細書に記載の機能を実行できない他の専用コンピュータと比較して、技術的に改良されている。以上から、本明細書に記載のシステムおよび方法に従って構成された専用マシンは、類似の専用マシンの技術を改良するものである。
本明細書において、「データベース(database)」は、データ格納リソースであり、テキストファイル、テーブル、スプレッドシート、関係データベース(たとえば、オブジェクト関係データベース)、トリプルストア、階層型データストア、またはこれらの任意好適な組み合わせとして構造化されたデータを格納するようにしてもよい。さらに、図1に示すシステムまたはマシンのいずれか2つ以上が単一のシステムまたはマシンとして結合されていてもよく、いずれかの単一システムまたはマシンに対して本明細書に記載の機能は、複数のシステムまたはマシン間で細分されていてもよい。
ネットワーク190は、システム、マシン、データベース、およびデバイスの二者間または多者間(たとえば、マシン110とデバイス130との間)の通信を可能にする如何なるネットワークであってもよい。したがって、ネットワーク190は、有線ネットワークであってもよいし、無線ネットワーク(たとえば、モバイルまたはセルラーネットワーク)であってもよいし、これらの任意好適な組み合わせであってもよい。ネットワーク190は、プライベートネットワーク、パブリックネットワーク(たとえば、インターネット)、またはこれらの任意好適な組み合わせを構成する1つまたは複数の部分を含んでいてもよい。したがって、ネットワーク190は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、携帯電話ネットワーク(たとえば、セルラーネットワーク)、有線電話ネットワーク(たとえば、旧一般電話サービス(POTS)ネットワーク)、無線データネットワーク(たとえば、WiFiネットワークまたはWiMaxネットワーク)、またはこれらの任意好適な組み合わせを組み込んだ1つまたは複数の部分を含んでいてもよい。ネットワーク190の任意の1つまたは複数の部分が伝送媒体を介して情報を伝達するようにしてもよい。本明細書において、「伝送媒体(transmission medium)」は、マシン(たとえば、マシンの1つまたは複数のプロセッサ)が実行する命令を伝達可能(たとえば、伝送可能)な任意の無形(たとえば、非持続性)媒体を表すとともに、このようなソフトウェアの通信を容易化するデジタルもしくはアナログ通信信号または他の無形媒体を含む。
デジタルメディアマシン110は、データストリーミングサービスを提供するとともに、仮想現実コンテンツのストリーミングを管理する。デジタルメディアマシン110は、ライブあるいは低レイテンシのアプリケーション(たとえば、ニュース報道またはゲーム)を含めて、エンターテインメント(たとえば、スポーツ、コンサート、またはドキュメンタリ)、教育(たとえば、大学、企業、または職業訓練)、産業(たとえば、観光または医薬)、またはこれらの任意好適な組み合わせにおける有用なアプリケーションを探すことができる。したがって、デジタルメディアマシン110は、仮想現実コンテンツの1つまたは複数のデータストリームの提供自体、コンテンツ配信ネットワーク120によるこのようなデータストリームのうちの1つまたは複数の提供、またはこれらの任意好適な組み合わせを行うことができる。仮想現実コンテンツは、デバイス130および150のうちの1つまたは複数等、1つまたは複数のクライアントデバイス(たとえば、仮想現実ヘッドセット、モバイルデバイス、または仮想現実コンテンツを表示可能な他のデバイス)に提供されるようになっていてもよい。
図2を参照して、仮想現実コンテンツは、没入「シーン」の形態であってもよく、たとえば、すべてが当該シーンの少なくとも1つの共通期間を示す(たとえば、すべてが同じ2秒のコンテンツを示すか、すべてが同じ6秒のコンテンツを示すか、または、すべてが同じ12秒のコンテンツを示す)9~12個の同時ビデオファイル200によって表される。この一組の9~12個の同時ビデオファイル200は、(たとえば、デジタルメディアマシン110、データベース115、コンテンツ配信ネットワーク120、またはこれらの任意好適な組み合わせによって)1つまたは複数のクライアントデバイス(たとえば、デバイス130)への個別ストリーミングに利用可能となる。個々のビデオファイルは、それぞれがシーン全体(たとえば、視聴者の位置の周りのアジマス360°全周)を示す一連のタイムスタンプ済み2次元球面画像を含む。これらの球面画像は、それぞれの対応するビデオファイル内の連続ビデオフレームとして機能する。さらに、個々のビデオファイルおよびその構成球面画像は、その他の「非フォービエイテッド」部分よりも詳細が鮮明で解像度が高い「フォービエイテッド」領域を有する描画エリアを示していてもよいし、指定していてもよいし、規定していてもよいし、表していてもよいし、あるいは有していてもよい。たとえば、フォービエイテッド領域は、「6K」解像度(たとえば、6144×3072ピクセルまたはその前後)を有する中央領域であってもよく、その隣接する非フォービエイテッド領域は、「4K」解像度(たとえば、3840×2160ピクセルまたはその前後)を有していてもよい。
さらに、特定のシーンに対する一組の9~12個の同時ビデオファイル200において、個々のビデオファイルは、視聴者の位置に対して異なる対応するアジマス角と位置合わせされた異なるフォービエイテッド領域を有していてもよい。たとえば、所与のシーンに対する一組の9つの同時ビデオファイル200はすべて、視聴者の位置の周りの40°インクリメントにより示される異なる視聴方向(たとえば、シーンの正面または前方方向に対してそれぞれ、0°、40°、80°、120°、160°、200°、240°、280°、320°)をそれぞれのフォービエイテッド領域の中心とすることにより、互いに異なっていてもよい。
多くの状況において、仮想現実コンテンツのユーザ(たとえば、ユーザ132)にとって最も興味深い部分は、シーン内の視聴者の位置に対するエレベーションの適度な正角から適度な負角までの範囲内に現れ、仮想現実コンテンツの相対的に興味のない部分は、エレベーションのより大きな正角または負角で当該範囲を越えて現れる。したがって、任意所与のビデオファイルにおける描画エリアのフォービエイテッド領域は、垂直方向において、適度なエレベーション正角から適度なエレベーション負角の範囲またはその範囲の一部に限られていてもよい。当該範囲の上下いずれかの描画エリアの領域は、非フォービエイテッド領域として処理されるようになっていてもよいし、データ効率のため、さらに低い解像度へとダウンサンプリングされるようになっていてもよい。
さらに、エレベーション正角またはエレベーション負角が大きな描画エリアの領域はそれぞれ、「上部(top)」または「下部(bottom)」領域と称して見なすことができ、描画エリアのこのような上部および下部領域は、描画エリアの他の非フォービエイテッド部分と同様に処理されるようになっていてもよいし、あるいは、描画エリアの他の非フォービエイテッド部分の解像度(たとえば、3840×2160ピクセルまたはその前後の「4K」解像度を使用)よりも低い解像度(たとえば、2048×1080ピクセルまたはその前後の「2K」解像度を使用)を有していてもよい。また、データ圧縮効率のため、上部および下部領域は、一体的にグループ化されるとともに、一組の同時ビデオファイルのうちの所与のビデオファイルの球面画像の余白(たとえば、上側余白、下側余白、左側余白、または右側余白)のうちの1つへと移動されるようになっていてもよいが、それでもなお、1つまたは複数のクライアントデバイス(たとえば、デバイス130)によって、描画エリアの適正位置の上部および下部領域としてレンダリングされるようになっていてもよい。
以上から、ユーザ(たとえば、ユーザ132)が任意の方向からシーンを視聴できるように、クライアントデバイス(たとえば、デバイス130(仮想現実ヘッドセットであってもよいし、仮想現実ヘッドセットを具備していてもよい))は、(たとえば、動き検出センサに基づいて)ユーザの視聴方向を自動的に繰り返し決定するとともに、(たとえば、デジタルメディアマシン110から)対応するフォービエイテッド領域が視聴方向と最も近くに位置合わせされた個々のビデオファイルの提供を要求するように構成されている。これは、視聴方向(たとえば、アジマスとエレベーションまたはアジマスのみ)をデジタルメディアマシン110に繰り返し送ることにより実行されるようになっていてもよく、デジタルメディアマシン110は、視聴方向と最も近くに位置合わせされたビデオファイルの提供あるいは視聴方向と最も近くに位置合わせされたビデオファイルのクライアントデバイスによる(たとえば、コンテンツ配信ネットワークからの)受信によって繰り返し動的に応答するようにしてもよい。当該シーンに対する同時ビデオファイル200がすべて、タイムスタンプ済みの球面画像をビデオフレームとして有することから、クライアントデバイスは、そのようなビデオファイルに対するリクエストが実行され、ビデオファイルが到着した場合に、ある取得ビデオファイルの表示から別の取得ビデオファイルの表示へとシームレスに切り替わるように構成されている。
結果として、ユーザ(たとえば、ユーザ132)は、任意の方向から当該シーンを視聴できるとともに、視聴方向を任意に変更可能であり、ユーザは、シーンの視聴方向を任意かつ急速に変更する場合であっても、すべての時間またはほぼすべての時間において、実質的にユーザの前でフォービエイテッド仮想現実コンテンツを見ることになる。デジタルメディアマシン110の種々例示的な実施形態は、後述の特徴のうちの1つまたは複数を有し、それぞれ、別段の指定のない限りは、後述のその他の特徴のうちの1つまたは複数の有無に関わらず実装されていてもよいし、上述の特徴のうちの1つまたは複数の有無に関わらず実装されていてもよいし、これらの任意好適な組み合わせであってもよい。
方向性ピクチャー・イン・ピクチャー(PIP)
図3を参照して、いくつかの例示的な実施形態においては、デジタルメディアマシン110がPIPをサポートするように構成されており、これには、PIPの複数のインスタンス(たとえば、単一のシーン内で発生する複数のPIPウィンドウ)のサポートを含んでいてもよい。さらに、このようなPIPの複数のインスタンスはそれぞれ、所与のシーンを表す一組の同時ビデオファイル(たとえば、同時ビデオファイル200)のうちの異なるビデオファイルに表示されるようになっていてもよい。これに関連しては、同時ビデオファイルを「シーンビデオファイル」と称するのが有効である。したがって、デジタルメディアマシン110は、シーンビデオファイルのうちの1つまたは複数に1つまたは複数のPIPウィンドウ316、326、および336として挿入される1つまたは複数の補完ビデオファイルへのアクセス(たとえば、受信、検索、取得、または読み出し)を行うようにしてもよい。このアクセスは、(たとえば、コンテンツ配信ネットワーク120またはビデオサーバからの)ダウンロードにより実行されるようになっていてもよいし、ビデオのストリーミングにより実行されるようになっていてもよいし、これらの任意好適な組み合わせであってもよい。
そして、デジタルメディアマシン110は、シーンビデオファイルのうちの1つまたは複数の修正によって、アクセスした補完ビデオファイルのうちの1つまたは複数を描画エリア中のいずれかの場所(たとえば、描画エリアのフォービエイテッド領域中のいずれかの場所)に示すようにしてもよい。各補完ビデオファイルは、それ自体の対応するシーンビデオファイル内の対応するPIPウィンドウに表示されるようになっていてもよく、これは、当該シーンビデオファイル中のフォービエイテッド領域の一部または全部を占めていてもよい。そして、修正した1つまたは複数のシーンビデオファイルが一組のシーンビデオファイル全体に組み込まれ、上述の通り、1つまたは複数のクライアントデバイスに提供されるようになっていてもよい。
以上から、デジタルメディアマシン110は、異なる補完ビデオファイルからのPIPコンテンツを有する異なるPIPウィンドウを各シーンビデオファイルまたはその一部に挿入することができる。これにより、任意の1つまたは複数のPIPウィンドウがシーン内に方向依存性を有する。すなわち、PIPウィンドウは、シーンビデオファイルの一部においてのみ現れるため、利用可能な視聴方向の一部においてのみ現れ得る。あるいは、PIPウィンドウは、すべてのシーンビデオファイルにおいて現れるため、すべての利用可能な視聴方向において現れ得るが、1つもしくは2つのシーンビデオファイルの対応するフォービエイテッド領域中でのみ高解像度の鮮明詳細で現れ、その他のシーンビデオファイルの対応する非フォービエイテッド領域中では低解像度の不鮮明詳細で現れる。
たとえば、視聴者の位置の真後ろに1つの最小侵入PIPウィンドウを表示するようにシーンを拡張可能であり、このPIPウィンドウは、ユーザが回転して、シーンの正面または前方方向の背後のアジマス180°を直接視聴する場合にのみ、突然現れるようになっていてもよい。これは、シーンビデオファイルのうちの1つだけ、すなわち正面または前方方向の正反対にフォービエイテッド領域の中心がある特定のシーンビデオファイルにPIPウィンドウを配置することにより実行されるようになっていてもよい。これは、たとえばそれ以外の場合であれば完全に没入型のシーンをユーザが視聴している間に、(たとえば、ヘルプファイル、メッセージング、または他の相互作用のための)オンデマンドグラフィカルユーザインターフェースをPIPウィンドウ内に提供する際に有用となり得る。
あるいは、シーンの正面または前方方向の背後180°と最も近くにフォービエイテッド領域(たとえば、それぞれ160°および200°)が位置合わせされた2つのシーンビデオファイルが存在する場合は、(たとえば、クライアントデバイスが2つのシーンビデオファイル間で切り替わる場合に、PIPウィンドウが空間中で動いて見えないように、一方が160°を中心とするフォービエイテッド領域の左側、もう一方が200°を中心とするフォービエイテッド領域の右側への)PIPウィンドウの挿入によって、両フォービエイテッド領域が拡張されるようになっていてもよい。
別の例として、シーンの正面または前方方向に対して異なる方向に、異なるPIPウィンドウを示すことができる。多人数参加型のゲームシナリオの場合は、複数のプレイヤおよびそれぞれが個人のクライアントデバイスを操作する複数の観戦者に対して、同じシーンを示すことができる。デジタルメディアマシン110は、各プレイヤ(たとえば、最大でシーンビデオファイルの数)を異なるシーンビデオファイルに割り当てるとともに、当該プレイヤの対応するPIPウィンドウを各自の割り当てシーンビデオファイルのフォービエイテッド領域に挿入する。挿入されたPIPウィンドウは、ゲーム内グラフィックスおよび当該プレイヤに対するフィードバックを表示する。これにより、プレイヤが自身に割り当てられた方向からシーンを視聴してゲームを効果的にプレイする必要がある一方、観戦者はいずれも、シーン内で自身の視聴方向を変更することによって、任意のプレイヤの視点からゲームを視聴可能である。
多人数参加型のゲームシナリオの変形においては、たとえばシーンの正面または前方方向に対してそれぞれ0°、120°、および240°に対応するシーンビデオファイルに割り当てられた3人のプレイヤに同じシーンを示すことができ、それぞれのPIPウィンドウをすべてのシーンビデオファイル(たとえば、9つのシーンビデオファイルのすべて)に挿入可能である。ただし、ある方向(たとえば、0°)に割り当てられたプレイヤに対するPIPウィンドウは、当該方向のシーンビデオファイルのフォービエイテッド領域内でのみ鮮明詳細で現れる。その他すべてのシーンビデオファイルも当該プレイヤのPIPウィンドウを示すが、非フォービエイテッド領域において低解像度でのみ示す。これにより、当該方向に割り当てられたプレイヤは、ゲームを効果的にプレイするために、割り当て方向でシーンを視聴する必要がある一方、観戦者はいずれも、自身の視聴方向を変更することによって、任意のプレイヤのPIPウィンドウを視聴可能である。この変形は、各プレイヤのPIPウィンドウが視聴方向の変更によって突然現れたり消えたりすることなく、適所に残る(たとえば、空間中に浮遊する)ように現れ得ることから、視聴に対する視覚的な不快感は抑えられる。
図3は、(たとえば、同時ビデオファイル200等、一組のシーンビデオファイル全体のうちの)3つのシーンビデオファイル310、320、および330がそれぞれ対応する描画エリア312、322、および332の各フォービエイテッド領域314、324、および334内にPIPウィンドウ316、326、および336をそれぞれ含むように修正されたことを示すことによって、本例の一変形を示している。当該シーンに対するその他のシーンビデオファイルのうちの1つまたは複数は、それぞれの描画エリアの非フォービエイテッド領域にPIPウィンドウ316、326、および336のうちの1つまたは複数を示していてもよい。図示の変形において、シーンがその正面方向から視聴される場合のみPIPウィンドウ316が見え、シーンがその対応方向(たとえば、正面から120°)から視聴される場合のみPIPウィンドウ326が見え、シーンがその対応方向(たとえば、正面から240°)から視聴される場合のみPIPウィンドウ336が見える。
方向性オーディオ
特定の例示的な実施形態において、デジタルメディアマシン110は、方向性PIPウィンドウの有無に関わらず、方向性オーディオをサポートするように構成されている。たとえば、方向性PIPのサポートのほか、デジタルメディアマシン110は、当該PIPウィンドウを含むシーンビデオファイル内の各PIPウィンドウに対応するオーディオの挿入または増幅を行うようにしてもよい。したがって、多人数参加型のゲームシナリオにおいては、所与の視聴方向に割り当てられたプレイヤは、自身のPIPウィンドウに対するオーディオを効果的に聞くために、当該割り当て方向でシーンを視聴する必要がある。いくつかの例示的な実施形態において、自身のPIPウィンドウに対するオーディオは、自身のPIPウィンドウを含む単一のシーンビデオファイルにおいてのみ提示される。他の例示的な実施形態において、オーディオは、すべてのシーンビデオファイルにおいて提示されるが、オーディオが鮮明で通常(たとえば、最大)の音量を有する割り当てシーンビデオファイルを除くすべてのシーンビデオファイルにおいて低音量(たとえば、ゲームプレイを目的とした使用には適さない低音量)で提示される。
これら後者の例示的な実施形態の一部を図4に示すが、これは、(たとえば、同時ビデオファイル200等、一組のシーンビデオファイル全体のうちの)前述の3つのシーンビデオファイル310、320、および330を示しており、3つのシーンビデオファイル310、320、および330がそれぞれ、それ自体の対応するオーディオミックス(たとえば、マルチチャンネルバランス)を有する。図4に示すように、シーンビデオファイル310は、シーンの正面または前方方向に対して0°の方を向く(たとえば、0°を中心とする)フォービエイテッド領域(たとえば、図3のフォービエイテッド領域314)を有していてもよく、シーンの正面または前方方向に対して0°からの対応するオーディオトラックがオーディオミックスにおいて最大音量まで増幅される一方、他の視聴方向(たとえば、正面から120°および240°)からのオーディオトラックはオーディオミックスにおいて(たとえば、オーディオ利得の低減により)相対的に減衰される。上述の通り、他の例示的な実施形態によれば、他の視聴方向からのオーディオトラックは、消音されるようになっていてもよいし、オーディオミックスから完全に除去されるようになっていてもよい。
また、デジタルメディアマシン110は、シーンの視聴方向の変化に応じて、1つまたは複数のクライアントデバイスにオーディオ等化を調整させ、ユーザに対してオーディオを空間規定させることによって、別の形態の方向性オーディオをサポートするように構成されていてもよい。仮想現実コンテンツの取り込みにはマルチセンサカメラが用いられることが多く、本明細書において、マルチセンサカメラは、それに対する180°垂直方向視野(たとえば、エレベーション)全体の取り込みの有無に関わらず、周囲の360°水平方向視野(たとえば、アジマス)の光を取り込んでデジタル化し得るデバイスまたは統合された一組のデバイスである。一部のマルチセンサカメラは、異なる方向を向き、各ビデオセンサの近くに(たとえば、ビデオセンサと同じ方向を指向する)別個のマイクを具備する複数のビデオセンサを有する。場合により、マイクは無指向性である。デジタルメディアマシン110は、このようなマイクからオーディオ信号のうちの任意の1つまたは複数を分離するとともに、クライアント側オーディオ空間規定の実行に使用可能な周波数情報(たとえば、オーディオ等化設定)を1つまたは複数のクライアントデバイスに与えるように構成されていてもよい。
これは、(各マイクに対応するビデオセンサにより取り込まれているシーンビデオファイル内の所与のビデオフレームにおいて)マイクからオーディオデータをサンプリングして周波数領域へと変換(たとえば、高速フーリエ変換)することにより実行されるようになっていてもよい。複数のマイクからのオーディオデータに対するこれらの周波数解析を比較することにより、デジタルメディアマシンは、存在する複数の音声のうちの特定の音声(たとえば、話し声または機械音)に最も近く指向するマイク、対応するビデオセンサ、および対応する視聴方向を決定する。したがって、デジタルメディアマシン110は、他の音声に対して当該特定の音声を増幅あるいは強調する一組のオーディオ等化設定を生成し、これらのオーディオ等化設定を1つまたは複数のクライアントデバイスに送って、より複雑なオーディオ空間規定データ(たとえば、複数チャンネルのオーディオ)を受信することなくクライアントデバイスが当該音声を増幅あるいは強調できるようにしてもよい。
ユーザ提案
いくつかの例示的な実施形態において、デジタルメディアマシン110またはネットワークベースのシステム105内の他の何らかのマシンは、ユーザ提案を生成して(たとえば、デバイス130を介してユーザ132に)提供するように構成されている。このようなマシンは、たとえばPIPウィンドウの有無に関わらず、さまざまな没入シーンにおいてユーザに提示された種々イメージの好き嫌いに関するユーザ(たとえば、ユーザ132)の選好を学習するようにニューラルネットワークをトレーニングすることによって、機械学習および人工知能を実装するように構成されていてもよい。このようなユーザ提案を提供する1つの例示的な方法500を図5に示す。
図5は、いくつかの例示的な実施形態に係る、提案を提供する方法500を実行する際のデジタルメディアマシン110または好適に構成された他のマシンの動作を示したフローチャートである。方法500の動作は、1つまたは複数のプロセッサ(たとえば、マイクロプロセッサ等のハードウェアプロセッサ)を用いて実行されるようになっていてもよい。図5に示すように、方法500は、動作510、520、530、540、および550を含む。
動作510、520、および530により示す通り、デジタルメディアマシン110は、1つもしくは複数のビデオファイル、1つもしくは複数のPIPウィンドウに示される1つもしくは複数の補完ビデオファイル、またはこれらの任意好適な組み合わせに現れる視覚的特徴のうち、ユーザによる視聴時に長短いずれかの視聴時間と相関するものを識別するように、ニューラルネットワークをトレーニングするようにしてもよい。
たとえば、動作510において、デジタルメディアマシン110は、さまざまなビデオファイル(たとえば、シーンビデオファイル、補完ビデオファイル、または両者)に現れるさまざまな視覚的特徴を認識、識別、あるいは検出可能となるようにニューラルネットワーク(たとえば、畳み込みニューラルネットワークまたは他の好適な新しいネットワーク)をトレーニングする。動作520において、デジタルメディアマシン110は、(たとえば、さまざまな視聴方向に対応するシーンビデオファイルのフォービエイテッド領域内で、または、さまざまな視聴方向に対応するPIPウィンドウに示される補完ビデオファイルに対して)ユーザがさまざまなビデオファイルを見続ける長さにより示される通り、ユーザ(たとえば、ユーザ132)の特異な視聴時間あるいは長短のいずれか著しい視聴時間を検出する。状況により、デジタルメディアマシン110は、視聴時間のヒストグラム等の統計分布を生成し、当該ユーザの長短のいずれか著しい視聴時間を示す1つまたは複数の閾値範囲に対して視聴時間を比較する。
動作530において、デジタルメディアマシン110は、ユーザ(たとえば、ユーザ132)が長短のいずれか著しい時間にわたって視聴した(たとえば、フォービエイテッド領域内の)ビデオファイルに示された視覚的特徴を識別するが、これは、特異視聴時間をそれぞれの関連するビデオファイル(たとえば、シーンビデオファイル、補完ビデオファイル、または両者)と相関させた後、これらのビデオファイルをトレーニング済みニューラルネットワークに入力することにより、トレーニング済みニューラルネットワークが当該ビデオファイルに示された視覚的特徴を認識し得るようにすることによって行うようにしてもよい。
そして、この視聴時間に対する視覚的特徴のマッピングは、ユーザの視聴選好プロファイルの全部または一部として使用可能であり、図5ではこれを動作540に示している。したがって、デジタルメディアマシン110は、ユーザの特異な視聴時間を対応する視覚的特徴と相関させる1つまたは複数のデータレコードを(たとえば、デジタルメディアマシン110またはデータベース115において)生成または更新可能であり、これら1つまたは複数のデータレコードは、当該ユーザの視聴選好プロファイルの全部または一部を構成していてもよい。
以上から、動作550において、デジタルメディアマシン110は、ユーザ(たとえば、ユーザ132)への提言、ユーザへの提案、ユーザへの提示、ユーザへの宣伝、あるいはユーザへの注意喚起を行うイメージ(たとえば、1つもしくは複数の没入シーン、1つもしくは複数の補完ビデオファイル、またはこれらの任意好適な組み合わせ)の1つまたは複数の提案を生成あるいは実行する。
たとえば、ユーザの視聴選好プロファイルは、ユーザが長期間にわたって静かな風景に見とれている旨を示すようにしてもよく、これによりマシンは、(たとえば、提案メッセージの生成および提供によって)ユーザが視聴する静かな風景にも存在する視覚的特徴を有する1つまたは複数の別の風景を提案するようにしてもよい。別の例として、視聴選好プロファイルは、ユーザが素早く視線を逸らしたことから、蜘蛛を示すイメージを嫌っている旨を示すようにしてもよく、これによりマシンは、蛛形類のイメージにも存在する視覚的特徴を有する任意のイメージのユーザへの提示を回避するようにしてもよいし、少なくとも、このような視覚的特徴を有するイメージのユーザへの提示に先立って、警告メッセージを生成し、ユーザに提示するようにしてもよい。
また、デジタルメディアマシン110は、1つのユーザの視聴選好プロファイルを解析して、視聴選好プロファイルが実際に複数のユーザの視聴選好を結合する見込みを決定するようにしてもよい。閾値類似度の範囲内で(たとえば、多くのユーザの視聴選好プロファイルのクラスタリングにより決定された)2つ以上の視聴選好プロファイルの組み合わせ(たとえば、総計、連結、または集約)と数学的に似ている視聴選好プロファイルを単一のユーザアカウントが有する場合、デジタルメディアマシン110は、複数のユーザ(たとえば、ユーザ132および152)が同じユーザアカウントを共有している(たとえば、同じユーザアカウントを使用して、それぞれの好適なイメージを異なる時間に視聴している)ものと判定するようにしてもよい。
さまざまなイメージ(たとえば、没入シーン、補完ビデオファイル、またはこれらの任意好適な組み合わせ)に現れる視覚的特徴に基づくニューラルネットワークのトレーニングのほか、ニューラルネットワークのトレーニングは、視聴角度に対するユーザの選好(たとえば、視聴方向の好き嫌い)、PIPウィンドウのフォービエイテッド領域中の有無に対する選好、PIPウィンドウのフォービエイテッド領域内の場所に対する選好、PIPウィンドウのコンテンツに対する選好(たとえば、特定の補完ビデオファイル、そのジャンル、作者等)に基づいていてもよい。
また、デジタルメディアマシン110のいくつかの変形では、たとえば視聴選好プロファイルに基づいて選択されたイメージの部分、その周り、または近傍に視覚的ハイライトを追加することにより、ユーザの視聴選好プロファイルに基づいてイメージを修正するようにしてもよい。たとえば、毛皮の動物の視聴をユーザが楽しんでいる旨をユーザの視聴選好プロファイルが示す場合、マシンは、1つまたは複数の毛皮の動物を示すシーンビデオファイルの部分の周りに明るい黄色の円を描くことによって、1つまたは複数のシーンビデオファイルを修正するようにしてもよい。これは、各シーンビデオファイルのフォービエイテッド領域の内側で実行されるようになっていてもよいし、外側で実行されるようになっていてもよい。このため、ユーザが没入シーン内の視聴方向を変更すると、シーンの1つまたは複数の部分がハイライトされて、これら1つまたは複数の部分にユーザの注意を引き付けるようになっていてもよい。
いくつかの変形において、デジタルメディアマシン110は、ユーザ(たとえば、ユーザ132)が(たとえば、デバイス130を介して)ハイライト部分を選択できるように、ユーザによるハイライト部分の対話式選択を追加でサポートし、選択に対応する情報を別途提供することによって、当該選択に応答するように構成されている。たとえば、ユーザが毛皮の動物(たとえば、犬、猫、またはフェレット)の表示の周りに明るい黄色の円を選択した場合、マシンは、ユーザが現在視聴しているフォービエイテッド領域にPIPウィンドウを提示することによって応答するようにしてもよく、また、PIPウィンドウは、毛皮の動物の説明、毛皮の動物の購入への案内、または両者を含んでいてもよい。
ネットワーク容量に基づく動的なアップロードファイルの長さ
特定の例示的な実施形態において、デジタルメディアマシン110は、没入シーンの1つまたは複数のクライアントデバイス(たとえば、デバイス130および150)へのストリーミングを管理するとともに、没入シーンに対する一組のシーンビデオファイルのうち、視聴方向に対するシーンビデオファイルを個々のデバイス(たとえば、デバイス130)に受信させることによって、当該デバイスにおける当該視聴方向の変化に応答するようにしてもよい。上述の通り、デジタルメディアマシン110は、一組のシーンビデオファイルをコンテンツ配信ネットワーク120にアップロードして、さまざまな個々のシーンビデオファイルの配信を容易化する一方、依然として、コンテンツ配信ネットワーク120からのどの個別シーンビデオファイルをどの個別クライアントデバイス(たとえば、デバイス130)が受信するかを制御することにより、クライアントデバイスからのリクエストに応答するようにしてもよい。いくつかの例示的な実施形態において、デジタルメディアマシン110は、一組のシーンビデオファイルをデータベース115に格納するが、ここから、一組のシーンビデオファイルのコンテンツ配信ネットワーク120へのアップロード(たとえば、後で1つもしくは複数のクライアントデバイスに配信するため)または(たとえば、ネットワーク190を介した)1つもしくは複数のクライアントデバイスへの直接的な提供を行うことができる。
一般的に、没入シーンの総継続時間は、数分であってもよいし、数時間であってもよいし、あるいは決まっていなくてもよい(たとえば、ライブで進行するイベント)。このため、没入シーンの1つまたは複数のクライアントデバイス(たとえば、デバイス130)への低レイテンシ提供を容易化するため、異なる複数組のシーンビデオファイルは、それぞれの継続時間が2~6秒の範囲である異なるセグメントへと没入シーンを時間的に細分するようにしてもよい(たとえば、個々のシーンビデオファイルのファイルサイズは、0.2メガバイトから0.7メガバイトの範囲である)。たとえば、1時間の没入シーンは、それぞれ継続時間の長さが6秒の600個の連続セグメントへと細分されるようになっていてもよく、これら6秒のセグメントはそれぞれ、異なる対応する一組の9~12個のシーンビデオファイルにより表されるようになっていてもよい。所与のセグメントに対する所与の一組のシーンビデオファイル中の各シーンビデオファイルは、当該セグメントの継続時間の長さであってもよい。
さらに、デジタルメディアマシン110は、シーンビデオファイルまたは複数組のシーンビデオファイルの継続時間を動的に調整するようにしてもよく、このため、没入シーンの連続セグメントの継続時間を動的に調整するようにしてもよい。これは、デジタルメディアマシン110とコンテンツ配信ネットワーク120との間の検出ネットワーク容量(たとえば、アップロードデータレートまたはアップロード帯域幅)に基づいて(たとえば、応答して)行われるようになっていてもよい。たとえば、デジタルメディアマシン110は、ネットワーク190が輻輳していること(たとえば、閾値レベルを超える輻輳(測定アップロードデータレートが最小アップロードデータレートを下回ることによって表され得る))の検出に応答して、継続時間が動的に調整されて短い(たとえば、それぞれ2~4秒)シーンビデオファイルのアップロードに切り替わった後、ネットワーク190がもはや先に検出した輻輳の状態にないこと(たとえば、閾値レベルを下回る輻輳(測定アップロードデータレートが最小アップロードデータレート以上であることによって表され得る))の検出に応答して、継続時間が動的に調整されて長い(たとえば、それぞれ4~6秒)シーンビデオファイルのアップロードに切り替わるようになっていてもよい。
その結果、ネットワーク190の輻輳が高くてアップロードデータレートが低い場合、デジタルメディアマシン110は、継続時間が短い(たとえば、2~4秒)小さなシーンビデオファイル(たとえば、0.2~0.4メガバイト)をアップロードするが、このような輻輳状態では通常、アップロードに長い時間を要する。ネットワーク190の輻輳がないか低くてアップロードデータレートが高い場合、デジタルメディアマシン110は、継続時間が長い(たとえば、4~6秒)大きなシーンビデオファイル(たとえば、0.4~0.7メガバイト)をアップロードするが、このような輻輳状態では通常、高速にアップロード可能である。明瞭化および簡素化のため、本論は、デジタルメディアマシン110とコンテンツ配信ネットワーク120との間のネットワーク輻輳に焦点を当てているが、シーンビデオファイルがデジタルメディアマシン110からデータベース115にアップロードされる例示的な実施形態においても、デジタルメディアマシン110とデータベース115との間のネットワーク輻輳に類似の動作を適用可能である。
図6は、いくつかの例示的な実施形態に係る、ネットワーク容量に基づいてアップロードするビデオファイルの長さをデジタルメディアマシン110が動的に調整する様子を示した図である。図6に示すように、没入シーンが少なくとも8つのセグメント610に細分されるが、これらは、デフォルトの継続時間(たとえば、6秒の長さ)およびデフォルトのファイルサイズ(たとえば、0.7メガバイト)のセグメントであってもよい。これらのセグメント610は、コンテンツ配信ネットワーク120へのアップロードに先立って、デジタルメディアマシン110、データベース115、またはこれらの任意好適な組み合わせにより格納されるようになっていてもよい。
図6に示すシナリオにおいては、セグメント610のうちの最初の3つがコンテンツ配信ネットワーク120にアップロードされる場合、デジタルメディアマシン110により(たとえば、ネットワーク190内の)ネットワーク輻輳は検出されない。したがって、セグメント610のうちの最初の3つは、変更なく(たとえば、より継続時間の短いサブセグメントへの細分なく)アップロードされる。
ただし、図6に示すシナリオにおいては、セグメント610のうちの4番目のアップロードに先立って、デジタルメディアマシン110は、ネットワーク輻輳によりアップロードデータレートが閾値レベルを超えて低下したことを検出する。これに応答して、デジタルメディアマシン110は、セグメント610のうちの4番目および5番目のセグメントを非デフォルトの継続時間(たとえば、3秒の長さ)および非デフォルトのファイルサイズ(たとえば、0.35メガバイト)のサブセグメントに細分し、アップロードデータレートが閾値レベルを下回っている間に、結果としてのサブセグメントをコンテンツ配信ネットワーク120にアップロードする。
図6に示すシナリオの続きとして、ネットワーク輻輳は、サブセグメントのアップロード中(たとえば、セグメント610のうちの5番目のセグメントの最後のサブセグメントのアップロード中)に緩和され、もはやデジタルメディアマシン110による検出は不可能となる。たとえば、デジタルメディアマシン110は、アップロードデータレートが閾値レベル(たとえば、先に使用した閾値レベルまたはネットワーク輻輳がないことを検出する代替閾値レベル)を上回ったことを検出するようにしてもよい。これに応答して、デジタルメディアマシン110は、没入シーンのセグメント610の細分を停止して、通常のアップロードを再開する。その結果、セグメント610のうちの6番目、7番目、および8番目のセグメントは、没入シーンのセグメント610のうちの1番目、2番目、および3番目のセグメントと同様に、デフォルトの継続時間(たとえば、6秒の長さ)およびデフォルトのファイルサイズ(たとえば、0.7メガバイト)を有する。
ネットワーク容量に基づいてアップロードする動的なファイル数
種々例示的な実施形態において、デジタルメディアマシン110は、各組のシーンビデオファイルの一部としてアップロードされるシーンビデオファイルの数を動的に調整することによって、各組のサイズを動的に調整する。すなわち、所与の組に含まれるシーンビデオファイルの量は、アップロードデータレートの変化に応答して動的に調整可能である。これは、デジタルメディアマシン110とコンテンツ配信ネットワーク120との間の(たとえば、ネットワーク190内の)ネットワーク容量の変動にデジタルメディアマシン110が応答し得る別の方法である。
たとえば、デジタルメディアマシン110は、ネットワーク190が輻輳していること(たとえば、閾値レベルを超える輻輳(測定アップロードデータレートが最小アップロードデータレートを下回ることによって表され得る))の検出に応答して、各組のシーンビデオファイル中のより少ないシーンビデオファイル(たとえば、一組当たり1~5つのファイル)のアップロードに切り替わった後、ネットワーク190がもはや先に検出した輻輳の状態にないこと(たとえば、閾値レベルを下回る輻輳(測定アップロードデータレートが最小アップロードデータレート以上であることによって表され得る))の検出に応答して、各組のシーンビデオファイル中のより多いシーンビデオファイル(たとえば、一組の9~12個のファイル全体)のアップロードに切り替わるようになっていてもよい。
その結果、ネットワーク190の輻輳が高くてアップロードデータレートが低い場合、デジタルメディアマシン110は、一組当たりより少ないシーンビデオファイル(たとえば、一組当たり3つのファイル)をアップロードすることにより、それぞれのシーンビデオファイルのいずれかのストリーミング要求に先立って、これら小さな各組のアップロードが上記のような輻輳状態で完了されやすくなるようにする。逆に、ネットワーク190の輻輳がないか低くてアップロードデータレートが高い場合、デジタルメディアマシン110は、より多いシーンビデオファイル(たとえば、一組当たり9つのファイルまたは一組当たり12個のファイル)をアップロードすることにより、それぞれのシーンビデオファイルのいずれかのストリーミング要求に先立って、これら大きな各組のアップロードが完了されやすくなるようにする。明瞭化および簡素化のため、本論は、デジタルメディアマシン110とコンテンツ配信ネットワーク120との間のネットワーク輻輳に焦点を当てているが、シーンビデオファイルがデジタルメディアマシン110からデータベース115にアップロードされる例示的な実施形態においても、デジタルメディアマシン110とデータベース115との間のネットワーク輻輳に類似の動作を適用可能である。
図7は、いくつかの例示的な実施形態に係る、ネットワーク容量に基づいてアップロードする各組当たりのビデオファイルの数をデジタルメディアマシン110が動的に調整する様子を示した図である。図7に示すように、図6に関して前述した没入シーンが少なくとも8つのセグメント610に細分される。上述の通り、これらのセグメント610はすべて、デフォルトの継続時間(たとえば、6秒の長さ)およびデフォルトのファイルサイズ(たとえば、0.7メガバイト)を有していてもよく、また、コンテンツ配信ネットワーク120へのアップロードに先立って、デジタルメディアマシン110、データベース115、またはこれらの任意好適な組み合わせにより格納されるようになっていてもよい。
図7に示すシナリオにおいては、セグメント610のうちの1番目、2番目、および3番目のセグメントがコンテンツ配信ネットワーク120にアップロードされる場合、デジタルメディアマシン110により(たとえば、ネットワーク190内の)ネットワーク輻輳は検出されない。したがって、セグメント610のうちの1番目、2番目、および3番目のセグメントは、各組フルサイズのシーンビデオファイル(たとえば、一組当たり9つのファイルまたは一組当たり12個のファイル)としてアップロードされる。
ただし、図7に示すシナリオにおいては、セグメント610のうちの4番目のセグメントのアップロードに先立って、デジタルメディアマシン110は、ネットワーク輻輳によりアップロードデータレートが閾値レベルを超えて低下したことを検出する。これに応答して、デジタルメディアマシン110は、セグメント610のうちの4番目および5番目のセグメントそれぞれにおいてアップロードされるシーンビデオファイルの数を(たとえば、一組当たり1つのファイルまたは一組当たり3つのファイルまで)減らして、アップロードデータレートが閾値レベルを下回っている間、結果として少なくなった各組のシーンビデオファイルをアップロードする。
ネットワーク輻輳がデジタルメディアマシン110により検出されたこの期間に、対応するシーンビデオファイルがアップロードされていない視聴方向を選択するユーザ(たとえば、ユーザ132)には、コンテンツ配信ネットワーク120にアップロード済みのシーンビデオファイルのうちの1つの非フォービエイテッド領域から、非フォービエイテッドコンテンツのみが提示されることになる。ただし、この状況は、(たとえば、選択視聴方向に対応するフォービエイテッドコンテンツを有するシーンビデオファイルがアップロードされてストリーミングに利用可能となるまで、コンテンツの提示を一時停止する結果として)コンテンツを一切視聴しないことよりも、ユーザにとってはより望ましいと見なされ得る。
さらに、この期間中、デジタルメディアマシン110は、没入シーンのセグメント610のうちの各セグメントに対して、1つまたは複数のシーンビデオファイルを各組に含めることを優先するようにしてもよい。1つまたは複数の特別な視聴方向に対応する1つまたは複数の選択シーンビデオファイルを優先可能である(たとえば、0°(正面)のカメラフィードまたは没入シーン中の主要な動きをフォービエイテッドコンテンツが示す視聴方向を最優先する)。また、優先される視聴方向は、特定のコンテンツとともにシフトするようになっていてもよい。たとえば、競馬において、先頭の馬をフォービエイテッド領域が示すシーンビデオファイルを伴う視聴方向は、馬が視聴位置の前を通過した場合に変化するようになっていてもよい。したがって、このネットワーク輻輳の期間において、デジタルメディアマシン110は、没入シーンのセグメント610のうちの各セグメントに対して、各組に含まれる数が減ったシーンビデオファイルにより表される視聴方向を動的に調整するようにしてもよい。
図7に示すシナリオの続きとして、ネットワーク輻輳は、少数組のシーンビデオファイルのアップロード中(たとえば、セグメント610のうちの5番目のセグメントに対する少数組のシーンビデオファイルのアップロード中)に緩和され、もはやデジタルメディアマシン110による検出は不可能となる。たとえば、デジタルメディアマシン110は、アップロードデータレートが閾値レベル(たとえば、先に使用した閾値レベルまたはネットワーク輻輳がないことを検出する代替閾値レベル)を上回ったことを検出するようにしてもよい。これに応答して、デジタルメディアマシン110は、一組当たりのシーンビデオファイルの数の低減を停止して、通常のアップロードを再開する。その結果、セグメント610のうちの6番目~8番目のセグメントは、没入シーンのセグメント610のうちの1番目、2番目、および3番目のセグメントと同様に、各組フルサイズのシーンビデオファイル(たとえば、一組当たり9つのファイルまたは一組当たり12個のファイル)としてアップロードされる。
アップロードビデオセグメントの動的消去
いくつかの例示的な実施形態において、デジタルメディアマシン110は、コンテンツ配信ネットワーク120の動的な管理および制御を実行するが、これには、デジタルメディアマシン110によるコンテンツ配信ネットワーク120の使用の最適化あるいは改善という効果が考えられる。このため、デジタルメディアマシン110は、コンテンツ配信ネットワーク120にアップロードされてから動的に調整可能な閾値時間よりも古い没入シーンの過去アップロードセグメント(たとえば、アップロードシーンビデオファイル)を消去するようにしてもよい。
アップロードシーンビデオファイルがアップロード後に急速に陳腐化する(たとえば、非ライブ化あるいはクライアントデバイスによる要求の可能性の低下)状況において、デジタルメディアマシン110は、内部に格納された存続期間(TTL)値を調整するとともに、TTL値に等しい期間あるいはTTL値に基づいて規定された期間の満了後に、アップロードシーンビデオファイルをコンテンツ配信ネットワーク120から消去するようにしてもよい。たとえば、デジタルメディアマシン110は、没入シーンの6秒のセグメントをコンテンツ配信ネットワーク120にアップロードした場合、TTL値を5秒に設定し、5秒より前にアップロードされたすべてのシーンビデオファイルの消去を要求するようにしてもよい。このプロセスは、没入シーンの各セグメントについて繰り返されるようになっていてもよい。
このため、デジタルメディアマシン110は、クライアントデバイス(たとえば、デバイス130)により要求される見込みが高いシーンビデオファイルのみを格納するようにコンテンツ配信ネットワーク120を管理することができる。これにより、コンテンツ配信ネットワーク120によるファイルのホスティングに対して手数料をとる第三者によりコンテンツ配信ネットワーク120が管理される状況においては、コストが節約され得る。
さらに、デジタルメディアマシン110は、上述のシーンビデオファイルの長さの動的調整に基づいて、TTL値を動的に調整することができる。たとえば、TTLは、ネットワーク輻輳の期間に(たとえば、継続時間が短いシーンビデオファイルのアップロードと併せて)延長されるようになっていてもよい。ネットワーク輻輳のため、差し替えとなる後続のシーンビデオファイルが完全にアップロードされていない場合には、新たに陳腐化したシーンビデオファイル(たとえば、継続時間が短い場合)を提供するのが好ましいと考えられるためである。別の例として、TTLは、ネットワーク輻輳がなくなった場合に(たとえば、継続時間が長いシーンビデオファイルのアップロードと併せて)短縮され、コンテンツ配信ネットワーク120の記憶容量の使用を最適化するようにしてもよい。したがって、これら2つの特徴は、一体的な作用によって、ネットワーク容量が変動し得る場合にネットワークリソース(たとえば、ネットワーク190およびコンテンツ配信ネットワーク120)を効率的に管理する。
さらに、デジタルメディアマシン110は、没入シーンが繰り返されるか、あるいは、後で視聴するために利用可能とされるかに基づいて、上記のようなTTL値の動的調整を省略または実施(たとえば、中断または再開)するように構成されていてもよい。たとえば、1つまたは複数の没入シーンが(たとえば、オンラインヘルプ、トレーニング材料、または1つのルーピングコンテンツとしての)循環的繰り返し再生のためにスプールされていてもよく、それぞれを構成するシーンビデオファイルのアップロード後にデジタルメディアマシン110が一定のTTL値を維持するように、これらの没入シーンが(たとえば、それぞれを構成するシーンビデオファイルのメタデータ内で)マーキングされるようになっていてもよい。いくつかの例示的な実施形態において、各シーンビデオファイルは、それ自体の対応するTTL値を有しており、デジタルメディアマシン110は、循環的な繰り返し再生のためにスプールされたものとしてマーキングも指定もされていないすべてのシーンビデオファイルのTTL値を動的に調整する。
別の例としては、1つまたは複数の没入シーンが(たとえば、ビデオオンデマンドの背景において)オンデマンド再生のために指定されていてもよく、また、これらの没入シーンにおけるシナリオビデオファイルごとにデジタルメディアマシン110が最大のTTL値またはゼロのTTL値を設定するように、上記のような没入シーンが(たとえば、それぞれのシーンビデオファイルのメタデータ内で)マーキングされるようになっていてもよく、コンテンツ配信ネットワーク120がこれらのシーンビデオファイルを決して消去することなく、継続的に(たとえば、永久に)いつでも配信できるように準備しておける効果が考えられる。
描画エリアの上部表示領域または下部表示領域の動的サイズ
図8は、いくつかの例示的な実施形態に係る、(たとえば、図3に関して上述したシーンビデオファイル310の)描画エリア312等の描画エリアの上部表示領域810、下部表示領域820、または両者をデジタルメディアマシン110が動的に調整する様子を示した図である。上部表示領域810、下部表示領域820、または両者は、描画エリア312のサイズを一定に維持するか、または、(たとえば、図9に関して後述する通り)描画エリア312も動的にサイズ規定しつつ、動的にサイズ規定されるようになっていてもよい。
図8に示すように、描画エリア312には、上部表示領域810、下部表示領域820、ならびに没入シーンの正面もしくは前方方向に対して異なるアジマス角にそれぞれが対応する多くの領域(たとえば、それぞれが0°、40°、80°、120°、160°、200°、240°、280°、320°を中心とする、あるいは向く9つの領域)を含む。これらの領域はそれぞれ、異なるカメラ(たとえば、上向きカメラ、下向きカメラ、ならびにシーンの正面もしくは前方方向に対してそれぞれ0°、40°、80°、120°、160°、200°、240°、280°、320°を向くカメラ)により取り込まれた画像データを含んでいてもよい。特に、上部表示領域810は、(たとえば、空または天井を向く)上向きカメラにより取り込まれた画像情報を示していてもよく、下部表示領域820は、(たとえば、地面または床を向く)下向きカメラにより取り込まれた画像情報を示していてもよい。
図8の上部には、上部表示領域810および下部表示領域820のデフォルトの割合で描画エリア312を示している。いくつかの例示的な実施形態によれば、上部表示領域810および下部表示領域820は、互いにバランスが保たれ、描画エリア312内で等しい面積を有する(たとえば、面積比が1:1)。上述の通り、VRコンテンツは通常、上部表示領域810、下部表示領域820、または両者において関心を引かず、これらの領域は、描画エリア312の他の非フォービエイテッド部分と同様に処理されるようになっていてもよいし、あるいは、描画エリア312の他の非フォービエイテッド部分の解像度(たとえば、3840×2160ピクセルまたはその前後の「4K」解像度を使用)よりも低い解像度(たとえば、2048×1080ピクセルまたはその前後の「2K」解像度を使用)を有していてもよい。
ただし、デジタルメディアマシン110のいくつかの例示的な実施形態では、ビデオの複雑性、ビデオの重要性、または両者に応じて、上部表示領域810および下部表示領域820のサイズを動的に調整するように構成されている。したがって、図8の中央部および下部に示すように、デジタルメディアマシン110は、(たとえば、時間的もしくは空間的複雑性の閾値レベルを上回る)下部表示領域820内のビデオ複雑性の増大または(たとえば、没入シーン内の主要または重要イベントの視聴方向を記述したメタデータにより示される)下部表示領域820のビデオ重要性の増大を検出した場合、(たとえば、上部表示領域810を犠牲にして)描画エリア312のより大きな部分を下部表示領域820に配分するようにしてもよい。この結果、上部表示領域810および下部表示領域820は、たとえば1:2、1:3、または2:5という上部-下部面積比を有し得る。
逆に、デジタルメディアマシン110は、(たとえば、時間的もしくは空間的複雑性の閾値レベルを上回る)上部表示領域810内のビデオ複雑性の増大または(たとえば、没入シーン内の主要または重要イベントの視聴方向を記述したメタデータにより示される)上部表示領域810のビデオ重要性の増大を検出した場合、(たとえば、下部表示領域820を犠牲にして)描画エリア312のより大きな部分を上部表示領域810に配分するようにしてもよい。この結果、上部表示領域810および下部表示領域822は、たとえば2:1、3:1、または5:2という上部-下部面積比を有し得る。
同様に、デジタルメディアマシン110は、過去に増大したビデオ複雑性が(たとえば、時間的もしくは空間的複雑性の閾値レベルを下回る)デフォルトのレベルに戻ったことまたは過去に増大したビデオ重要性が(たとえば、没入シーン内の主要または重要イベントの視聴方向を記述したメタデータにより示される)デフォルトのレベルに戻ったことを検出した場合、上部表示領域810および下部表示領域820をそれぞれのデフォルトの設定に戻すようにしてもよい。
描画エリアの動的サイズ
図9は、いくつかの例示的な実施形態に係る、(たとえば、シーンビデオファイル310の)描画エリア312をデジタルメディアマシン110が動的に調整する様子を示した図である。描画エリア312は、(たとえば、図8に関して上述した)上部表示領域810、下部表示領域820、またはこれらの任意好適な組み合わせの上記動的サイズ規定の有無に関わらず、動的にサイズ規定されるようになっていてもよく、このような描画エリア312の動的サイズ規定は、ビデオ複雑性、ネットワーク容量、または両者に基づいて実行されるようになっていてもよい。
図9に示すように、描画エリア312には、上部表示領域810、下部表示領域820、ならびに没入シーンの正面もしくは前方方向に対して異なるアジマス角にそれぞれが対応する多くの領域(たとえば、それぞれが0°、40°、80°、120°、160°、200°、240°、280°、320°を中心とする、あるいは向く9つの領域)を含む。上述の通り、これらの領域はそれぞれ、異なるカメラ(たとえば、上向きカメラ、下向きカメラ、ならびにシーンの正面もしくは前方方向に対してそれぞれ0°、40°、80°、120°、160°、200°、240°、280°、320°を向くカメラ)により取り込まれた画像データを含んでいてもよい。特に、上部表示領域810は、(たとえば、空または天井を向く)上向きカメラにより取り込まれた画像情報を示していてもよく、下部表示領域820は、(たとえば、地面または床を向く)下向きカメラにより取り込まれた画像情報を示していてもよい。
図9の上部には、上部表示領域810および下部表示領域820のデフォルトの割合で描画エリア312を同様に示している。いくつかの例示的な実施形態によれば、上部表示領域810および下部表示領域820は、互いにバランスが保たれ、描画エリア312内で等しい面積を有する(たとえば、面積比が1:1)。VRコンテンツは通常、上部表示領域810、下部表示領域820、または両者において関心を引かないため、これらの領域は、描画エリア312の他の非フォービエイテッド部分と同様に処理されるようになっていてもよいし、あるいは、描画エリア312の他の非フォービエイテッド部分の解像度(たとえば、3840×2160ピクセルまたはその前後の「4K」解像度を使用)よりも低い解像度(たとえば、2048×1080ピクセルまたはその前後の「2K」解像度を使用)を有していてもよい。
ただし、デジタルメディアマシン110の特定の例示的な実施形態では、(たとえば、図8に関する上述または図9に関する本記述の通り)上部表示領域810および下部表示領域820のサイズ範囲がそれぞれの動的調整に対して広くなるように、描画エリア312のサイズを動的に調整するように構成されている。したがって、図9の中央部および下部に示すように、デジタルメディアマシン110は、(たとえば、時間的もしくは空間的複雑性の閾値レベルを上回る)上部表示領域810および下部表示領域820の一方または両方におけるビデオ複雑性の増大、(たとえば、没入シーン内の主要または重要イベントの視聴方向を記述したメタデータにより示される)上部表示領域810および下部表示領域820の一方または両方におけるビデオ重要性の増大、(たとえば、閾値レベル以上のアップロードデータレートの検出により示される)ネットワーク容量の増大、あるいはこれらの任意好適な組み合わせを検出した場合、上部表示領域810および下部表示領域の一方または両方も拡大しつつ、描画エリア312を(たとえば、垂直方向に)拡大するようにしてもよい。図9の中央部は、上部表示領域810および下部表示領域の一方または両方の垂直方向のサイズ調整に対応するような描画エリア312の垂直方向のサイズ調整を示している。図9の下部は、上部表示領域810および下部表示領域の一方または両方の水平方向のサイズ調整に対応するような描画エリア312の垂直方向のサイズ調整を示している。いくつかの例示的な実施形態において、このような描画エリア312の垂直方向の拡大には、上部表示領域810および下部表示領域の一方または両方の垂直方向サイズが2倍になる効果がある。
同様に、デジタルメディアマシン110は、過去に増大したビデオ複雑性が(たとえば、時間的もしくは空間的複雑性の閾値レベルを下回る)デフォルトのレベルに戻ったこと、過去に増大したビデオ複雑性が(たとえば、没入シーン内の主要または重要イベントの視聴方向を記述したメタデータにより示される)デフォルトのレベルに戻ったこと、過去に増大したネットワーク容量が(たとえば、閾値レベルを下回るアップロードデータレートの検出により示されるように)低下したこと、あるいはこれらの任意好適な組み合わせを検出した場合、上部表示領域810および下部表示領域の一方または両方も縮小しつつ、描画エリア312を(たとえば、垂直方向に)縮小するようにしてもよい。この結果、描画エリア312は、図9の上部に示す状態に戻り得る。いくつかの例示的な実施形態において、このような描画エリア312の垂直方向の縮小には、上部表示領域810および下部表示領域の一方または両方の垂直方向サイズを有する効果がある。
種々例示的な実施形態によれば、本明細書に記載の方法のうちの1つまたは複数により、仮想現実コンテンツに関して本明細書に記載の複数の特徴のうちの任意の1つまたは複数の提供を容易化し得る。特に、このような特徴としては、視聴方向に基づく方向性PIPウィンドウ、視聴方向に基づく方向性オーディオ、ビデオコンテンツ中の特定の視覚的特徴の特異視聴時間に基づくユーザ提案、コンテンツ配信ネットワークにアップロードされるビデオファイルの消去の要求に先立つTTL継続時間の動的調整、ネットワーク容量に基づいてアップロードするビデオファイルの継続時間の動的調整、ネットワーク容量に基づいてアップロードする一組当たりのビデオファイルの量の動的調整、複数組のビデオファイルの描画エリア内の上部表示領域もしくは下部表示領域の動的サイズ調整、複数組のビデオファイル内の描画エリア自体の動的サイズ調整、またはこれらの任意好適な組み合わせが挙げられる。したがって、本明細書に記載の方法のうちの1つまたは複数により、既存のシステムおよび方法の能力と比較して、仮想現実コンテンツに関するユーザ体験の向上のほか、このようなユーザ体験の向上をもたらすハードウェアリソースの使用の改善を容易化し得る。
複数のPIPウィンドウまたは複数のシーンの同時表示
図10は、いくつかの例示的な実施形態に係る、選択一次PIPウィンドウおよび複数の利用可能な二次PIPウィンドウを同時に提示するように構成されたクライアントデバイス(たとえば、図示のような表示画面、スマートフォン、またはスマートテレビ)に一体的に表示された一次PIPウィンドウおよび二次PIPウィンドウを含む単一の没入シーンの同時PIPウィンドウを示した図である。図10に示す例においては、すべてのコンテンツの同じ期間を示す少なくとも4つのシーンビデオファイル1010、1020、1030、および1040(全体として、上述の同時ビデオファイル200に類似)によって単一の没入シーンが表されている。個々のシーンビデオファイル(たとえば、シーンビデオファイル1010、1020、1030、または1040)は、視聴者の位置(たとえば、シーンの正面または前方方向)に対して異なる対応するアジマス角と位置合わせされた異なるフォービエイテッド領域を含む。このため、シーンビデオファイル1010は、フォービエイテッド領域1014を含む描画エリア1012を有し、シーンビデオファイル1020は、フォービエイテッド領域1024を含む描画エリア1022を有し、シーンビデオファイル1030は、フォービエイテッド領域1034を含む描画エリア1032を有し、シーンビデオファイル1040は、フォービエイテッド領域1044を含む描画エリア1042を有する。
さらに図10に示すように、各シーンビデオファイルのフォービエイテッド領域(たとえば、フォービエイテッド領域1014、1024、1034、または1044)は、異なるPIPウィンドウを含む。このため、描画エリア1012のフォービエイテッド領域1014は、PIPウィンドウ1016を含み、描画エリア1022のフォービエイテッド領域1024は、PIPウィンドウ1026を含み、描画エリア1032のフォービエイテッド領域1034は、PIPウィンドウ1036を含み、描画エリア1042のフォービエイテッド領域1044は、PIPウィンドウ1046を含む。これらのPIPウィンドウ1016、1026、1036、および1046はそれぞれ、表示画面の異なる領域に割り当てられ、表示画面上で同時に(たとえば、並行して)一体表示される。図10に示すように、PIPウィンドウ106は、(たとえば、視聴者による手動またはマシンによる自動で)一次PIPウィンドウとして選択され、表示画面の最大領域で目立つように表示されている。一方、その他のPIPウィンドウ1026、1036、および1046は、表示画面の3つの小さな領域に配分された二次PIPウィンドウであり、目立たないように表示され、一次PIPウィンドウとしての選択に利用可能であることを示す。
いくつかの例示的な実施形態において、一次PIPウィンドウは、視聴者により手動で選択される。たとえば、表示画面は、タッチセンサ式のタッチスクリーンであってもよいし、タッチセンサ式のタッチスクリーンを含んでいてもよく、視聴者は、表示画面の小さな領域のうちの1つでのタッチまたはスワイプの実行によって、デジタルメディアマシン110に対応するPIPウィンドウ(たとえば、PIPウィンドウ1026、1036、または1046)を新たな一次PIPウィンドウとして選択させ、表示画面の最大領域で目立つように表示させるか、または、その他のPIPウィンドウを排除するようにフルスクリーンでさらに目立つように表示させるようにしてもよい。これにより、以前の一次PIPウィンドウ(たとえば、PIPウィンドウ1016)は、表示画面のタッチまたはスワイプした小領域に再割り当てされてその中に表示されるか、または、隠れて完全に見えなくなる。図4に関して上述した通り、各シーンビデオファイルは、それ自体の対応するオーディオトラックを(たとえば、それ自体の対応するオーディオミックスとともに)含んでいてもよい。したがって、いずれのPIPウィンドウを新たな一次PIPウィンドウとして選択する場合でも、同じシーンビデオファイルから対応するオーディオトラックが追加で選択され、表示画面の最大領域における一次PIPウィンドウの表示と同時に、一次PIPウィンドウのオーディオトラックが提示(たとえば、再生)されるようになっていてもよい。同じく図4に関して上述した通り、他のPIPウィンドウ(たとえば、二次PIPウィンドウあるいは選択されていないPIPウィンドウ)からのオーディオトラックは、選択されたオーディオミックスにおいて減衰されるようになっていてもよいし、選択されたオーディオミックスにおいて消音されるようになっていてもよいし、選択されたオーディオトラックから完全に除去されるようになっていてもよい。
さらに、シーンビデオファイル1010、1020、1030、および1040はすべて、単一の没入シーンに由来するが、それぞれのPIPウィンドウ1016、1026、1036、および1046の補完ビデオファイルは互いに関連していなくてもよいし、単一の没入シーンに関連していなくてもよいし、両者であってもよい。たとえば、PIPウィンドウ1016、1026、1036、および1046の補完ビデオファイルは、(たとえば、デジタルメディアマシン110または表示画面により生成され、表示画面に提示された好適なグラフィカルユーザインターフェースを介して)視聴者により個別に選択されるようになっていてもよく、また、各補完ビデオファイルは、(たとえば、グラフィカルユーザインターフェースを介して)視聴者により個別に割り当てられ、その対応するPIPウィンドウに提示されるようになっていてもよい。別の例として、補完ビデオファイルは、デジタルメディアマシン110により自動的に選択されるとともに、それぞれの対応するPIPウィンドウ1016、1026、1036、および1046に対して自動的に割り当てられるようになっていてもよい。たとえば、デジタルメディアマシン110は、(たとえば、1つまたは複数のビデオ源からネットワーク190を介して)4つのライブまたは録画スポーツイベント(たとえば、フットボールの試合、サッカーの試合、バスケットボールの試合、およびホッケーの試合)を表す4つの補完ビデオファイルにアクセスし、各補完ビデオファイルをPIPウィンドウ1016、1026、1036、および1046のうちの異なる1つに割り当て、シーンビデオファイル1010、1020、1030、および1040をパッケージングされた一組のスポーツメディアコンテンツとして表示画面に提供するようにしてもよく、表示画面は、上述の通り、(たとえば、好適なクライアント側ソフトウェアによって)一次PIPウィンドウおよび二次PIPウィンドウを同時に表示するように構成されていてもよい。
特定の例示的な実施形態において、一次PIPウィンドウは、マシン(たとえば、デジタルメディアマシン110、表示画面、または両者)により自動的に選択される。たとえば、マシンは、PIPウィンドウ1016、1026、1036、および1046の補完ビデオファイル中の1つまたは複数の視覚的パターンの認識を実行するように構成された人工知能エンジンを実行あるいは動作させた後、このような視覚的パターンの認識に基づいて一次PIPウィンドウを選択するようにしてもよい。より具体的な一例として、PIPウィンドウ1016、1026、1036、および1046の4つの補完ビデオファイルがそれぞれ、4つの異なる(アメリカン)フットボールの試合のうちの1つを表すものと仮定すると、人工知能エンジンは、得点イベント(たとえば、タッチダウンまたはフィールドゴール)が発生する可能性が高くなるタイミングを認識するようにしてもよい。これには、(たとえば、光学式文字認識によるnグラム「20」の検出ならびに視覚的パターン認識による三角形の明確化シンボルおよび関連マーカの検出によって)補完ビデオファイルのうちの1つに示されたスクリメージラインマーカまたはファーストダウンマーカがそのチームの20ヤードライン内に入ったことの検出を含んでいてもよい。この検出に基づいて、マシンは、対応する補完ビデオファイルを一次PIPウィンドウとして表示する対応するPIPウィンドウを自動的に選択するようにしてもよい。これには、表示画面の最大領域に提示される4つの補完ビデオファイルのうちの1つを動的に選定できる効果がある。
種々例示的な実施形態によれば、他のアルゴリズムの実施によって、得点イベントの高い可能性を予測する。たとえば、人工知能エンジンは、フットボールのいずれかのチームが20ヤードラインに達するタイミングを予測するように構成されていてもよい。別の例として、PIPウィンドウ1016、1026、1036、および1046の4つの補完ビデオファイルがそれぞれ、4つの異なるバスケットボールの試合のうちの1つを表すものと仮定すると、人工知能エンジンは、特定のバスケットボールプレイヤが得点する可能性があるタイミングを予測するように構成されていてもよい。たとえば、このような検出は、スポーツデータベースからネットワーク190を介してアクセスされるプレイヤのシュート統計データとの比較により、バスケットボールコート上のプレイヤの検出位置(たとえば、スリーポイントラインの外側)に基づいていてもよい。
図11は、いくつかの例示的な実施形態に係る、クライアントデバイス(たとえば、図示のような表示画面、スマートフォン、またはスマートテレビ)に一体的に表示された選択一次没入シーンの選択領域および利用可能な二次没入シーンの複数の利用可能な領域を含む同時没入シーンを示した図である。図11に示す例において、表示画面の各領域に示すコンテンツは、4つの別個の没入シーン(たとえば、シーン1、シーン2、シーン3、およびシーン4)に由来する。没入シーン(たとえば、シーン1、2、3、または4)はそれぞれ、上述の同時ビデオファイル200と同様に、一組のシーンビデオファイルによって表される。当該組の個々のシーンビデオファイルは、視聴者の位置(たとえば、シーンの正面または前方方向)に対して異なる対応するアジマス角と位置合わせされた異なるフォービエイテッド領域を含む。このため、シーン1のシーンビデオファイル1110は、フォービエイテッド領域1114を含む描画エリア1112を有し、シーン2のシーンビデオファイル1120は、フォービエイテッド領域1124を含む描画エリア1122を有し、シーン3のシーンビデオファイル1130は、フォービエイテッド領域1134を含む描画エリア1132を有し、シーン4のシーンビデオファイル1140は、フォービエイテッド領域1144を含む描画エリア1142を有する。フォービエイテッド領域1114、1124、1134、および1144が異なる没入シーンに由来することから、フォービエイテッド領域1114、1124、1134、および1144のうちの2つ以上が位置合わせ状態で一致するため、視聴者の位置(たとえば、それぞれのシーンの正面または前方方向)に対して同じ対応するアジマス角と位置合わせされるようになっていてもよい。この一例として、図11は、シーン1のシーンビデオファイル1110がシーン2のシーンビデオファイル1120と一致して同じ位置合わせ状態となっていることを示している。
さらに図11に示すように、各シーンビデオファイルのフォービエイテッド領域(たとえば、フォービエイテッド領域1114、1124、1134、または1144)の全体が表示画面の対応する領域に割り当てられて表示されていてもよいが、フォービエイテッド領域の一部(たとえば、ヘッドセット、ジョイスティック、またはデジタルメディアマシン110もしくは表示画面により生成されて表示画面に提示された好適なグラフィカルユーザインターフェース等のコントローラを介して視聴者により選択され得る副領域)についても同じことが当てはまる。フォービエイテッド領域のこれらの部分(たとえば、副領域)はそれぞれ、表示画面の異なる領域に割り当てられ、表示画面上で同時に(たとえば、並行して)一体表示される。図11に示すように、フォービエイテッド領域1114の一部は、(たとえば、一次シーンを表す)一次副領域として選択され、表示画面の最大領域で目立つように表示されている。一方、フォービエイテッド領域1124、1134、および1144の他の部分は、表示画面の3つの小さな領域に配分された(たとえば、二次シーンを表す)二次副領域であり、目立たないように表示され、一次副領域としての選択に利用可能であることを示す。
種々例示的な実施形態において、フォービエイテッド領域が一次副領域を与える一次シーン(たとえば、シーン1)の選択は、一次PIPウィンドウの選択について図10に関して上述したものと同様に実行される。すなわち、単一の没入シーンに対する単一組のシーンビデオファイル内の複数のシーンビデオファイルの描画エリアにおける複数の利用可能なPIPウィンドウのうちから一次PIPウィンドウを選択する代わりに、それ自体の対応する一組のシーンビデオファイルをそれぞれ有する複数の利用可能な没入シーンのうちから、視聴者またはマシン(たとえば、デジタルメディアマシン110、表示画面、または両者)が一次没入シーンを選択するようにしてもよい。したがって、全体または副領域が表示画面の最大領域に割り当てられて表示されるか、またはフルスクリーンで表示されるフォービエイテッド領域は、この選択された一次没入シーンに由来することになる。
また、一次シーン(たとえば、シーン1)が選択された状態で、それを構成するシーンビデオファイルのうちの1つの選択は、(たとえば、アジマス角およびエレベーション角による指定またはアジマス角のみによる指定が可能な選択あるいは決定視聴方向に基づいて)図2に関して上述したものと同様に実行されるようになっていてもよい。たとえば、視聴者は、ヘッドセット、マウス、タッチスクリーン、ジョイスティック、または表示画面もしくはスマートフォンにより提示された好適なグラフィカルユーザインターフェース等のコントローラデバイスを用いることにより、視聴方向を指定するようにしてもよい。図2に関して上述した通り、指定の視聴方向と最も近く位置合わせされたシーンビデオファイル(たとえば、シーンビデオファイル1010)が選択される。したがって、シーンビデオファイルが選択された状態で、そのフォービエイテッド領域(たとえば、フォービエイテッド領域1114)またはその選択部分が表示画面の最大領域に割り当てられ、そこに表示される。
種々例示的な実施形態によれば、二次シーン(たとえば、シーン2、3、および4)から代表的なシーンビデオファイル(たとえば、シーンビデオファイル1120、1130、および1140)が選択される。代表的なシーンビデオファイルは、視聴者またはマシン(たとえば、デジタルメディアマシン110、表示画面、もしくは両者)により選択されるようになっていてもよい。たとえば、マシンは、デフォルト(たとえば、正面または前方)の方向、(たとえば、一組のシーンビデオファイルを解析して選択を行うように構成された)人工知能エンジンからの出力、またはこれらの任意好適な組み合わせに基づいてランダムに選択を実行するようにしてもよい。同様に、対応するフォービエイテッド領域の全体が表示画面の割り当て領域に示されていない場合は、視聴者またはマシンによって、フォービエイテッド領域の代表的な部分(たとえば、副領域)が選択されるようになっていてもよい。たとえば、マシンは、デフォルトの(たとえば、中心となる)部分、人工知能エンジンからの出力、またはこれらの任意好適な組み合わせに基づいてランダムにこのような選択を実行するようにしてもよい。いくつかの例示的な実施形態において、視聴者は、コントローラデバイス(たとえば、ヘッドセット、マウス、タッチスクリーン、ジョイスティック、または表示画面もしくはスマートフォンにより提示された好適なグラフィカルユーザインターフェース)を用いることにより、代表的なシーンビデオファイル(たとえば、シーンビデオファイル1120、1130、または1140)およびそのフォービエイテッド領域(たとえば、フォービエイテッド領域1124、1134、または1144)の部分の両者を同時に選択する。したがって、代表的なシーンビデオファイルが選択された状態で、そのフォービエイテッド領域またはその選択部分が表示画面の小さな領域のうちの1つに割り当てられ、そこに表示される。
これらの効果が全体として考えられる場合は、本明細書に記載の方法のうちの1つまたは複数によって、さもなければ仮想現実コンテンツに関するユーザ体験の向上に関わるであろう一定の労力またはリソースの必要性が除外され得る。このようなユーザ体験の向上の認識あるいは獲得にユーザが割く労力またはこのようなユーザ体験の向上のホスティングあるいは提供に管理者が割く労力は、本明細書に記載の方法のうちの1つまたは複数を実装する専用マシンの使用(たとえば、専用マシンへの依拠)によって低下し得る。(たとえば、ネットワーク環境100内で)1つまたは複数のシステムまたはマシンが使用するコンピュータリソースについても同様に、(たとえば、本明細書に記載の構造を持たないシステムまたはマシンあるいは本明細書に記載の機能を実行できないシステムまたはマシンと比較して)低下する。このようなコンピュータリソースの例としては、プロセッササイクル、ネットワークトラフィック、演算容量、メインメモリ使用量、グラフィックスレンダリング容量、グラフィックスメモリ使用量、データ記憶容量、電力消費量、および冷却容量が挙げられる。
図12は、いくつかの例示的な実施形態に係る、マシン可読媒体1222(たとえば、持続性マシン可読媒体、マシン可読記憶媒体、コンピュータ可読記憶媒体、またはこれらの任意好適な組み合わせ)から命令1224を読み出して、全部または一部を問わず、本明細書に記載の方法のうちの任意の1つまたは複数を実行可能なマシン1200の構成要素を示したブロック図である。具体的に、図12は、全部または一部を問わず、本明細書に記載の方法のうちの任意の1つまたは複数をマシン1200に実行させる命令1224(たとえば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、または他の実行可能コード)が実行され得るコンピュータシステム(たとえば、コンピュータであり、スーパーコンピュータであってもよい)の例示的な形態のマシン1200を示している。
代替実施形態において、マシン1200は、独立型のデバイスとして動作するか、または、他のマシンに通信結合(たとえば、ネットワーク接続)されていてもよい。ネットワーク接続展開において、マシン1200は、サーバ-クライアントネットワーク環境におけるサーバマシンまたはクライアントマシンの容量において動作するようになっていてもよいし、分散(たとえば、ピア・ツー・ピア)ネットワーク環境におけるピアマシンとして動作するようになっていてもよい。マシン1200は、サーバコンピュータ(たとえば、スーパーコンピュータサーバ)であってもよいし、クライアントコンピュータであってもよいし、パソコン(PC)であってもよいし、タブレットコンピュータであってもよいし、ラップトップコンピュータであってもよいし、ネットブックであってもよいし、携帯電話であってもよいし、スマートフォンであってもよいし、セットトップボックス(STB)であってもよいし、携帯情報端末(PDA)であってもよいし、ウェブ家電であってもよいし、ネットワークルータであってもよいし、ネットワークスイッチであってもよいし、ネットワークブリッジであってもよいし、当該マシンの作用を規定する命令1224を連続的または非連続的に実行可能な如何なるマシンであってもよい。さらに、マシンは1つしか図示していないものの、用語「マシン(machine)」は、本明細書に記載の方法のうちの任意の1つまたは複数のうちの全部または一部を実行するように命令1224を個別または一体的に実行する任意のマシン集合体を含むものと解釈されるものとする。
マシン1200は、プロセッサ1202(たとえば、1つもしくは複数の中央演算処理装置(CPU)、1つもしくは複数のグラフィックス処理装置(GPU)、1つもしくは複数の量子処理装置、1つもしくは複数のデジタル信号プロセッサ(DSP)、1つもしくは複数の特定用途向け集積回路(ASIC)、1つもしくは複数の無線周波数集積回路(RFIC)、またはこれらの任意好適な組み合わせ)、メインメモリ1204、およびスタティックメモリ1206を具備しており、これらがバス1208を介して互いに通信するように構成されている。プロセッサ1202は、全部または一部を問わず、本明細書に記載の方法のうちの任意の1つまたは複数を実行するように構成可能となるように、命令1224の一部または全部によって一時的または恒久的に構成可能な半導体デジタル超小型回路(たとえば、電子、光、または両者)を含む。たとえば、プロセッサ1202の一組の1つまたは複数の超小型回路が本明細書に記載の1つまたは複数のモジュール(たとえば、ソフトウェアモジュール)を実行するように構成可能であってもよい。いくつかの例示的な実施形態において、プロセッサ1202は、全部または一部を問わず、本明細書に記載の方法のうちの任意の1つまたは複数を実行可能な別個のプロセッサとして複数のコアそれぞれが振る舞うマルチコアCPU(たとえば、デュアルコアCPU、クアッドコアCPU、8コアCPU、または128コアCPU)である。本明細書に記載の有益な効果は、少なくともプロセッサ1202を備えたマシン1200によりもたらされ得るが、本明細書に記載の方法のうちの1つまたは複数を実行するように構成されているならば、プロセッサを含まない別の種類のマシン(たとえば、純粋な機械的システム、純粋な流体システム、または機械-流体ハイブリッドシステム)によっても、同じ有益な効果がもたらされ得る。
マシン1200は、グラフィックスディスプレイ1210(たとえば、プラズマディスプレイパネル(PDP)、発光ダイオード(LED)ディスプレイ、液晶ディスプレイ(LCD)、プロジェクタ、陰極線管(CRT)、またはグラフィックスもしくはビデオを表示可能なその他任意のディスプレイ)をさらに具備する。また、マシン1200は、英数字入力デバイス1212(たとえば、キーボードまたはキーパッド)、ポインタ入力デバイス1214(たとえば、マウス、タッチパッド、タッチスクリーン、トラックボール、ジョイスティック、スタイラス、運動センサ、視線追跡デバイス、データグローブ、または他のポインティング器具)、データストレージ1216、オーディオ生成デバイス1218(たとえば、サウンドカード、増幅器、スピーカ、ヘッドフォンジャック、またはこれらの任意好適な組み合わせ)、およびネットワークインターフェースデバイス1220を具備していてもよい。
データストレージ1216(たとえば、データ記憶デバイス)は、本明細書に記載の方法または機能のうちの任意の1つまたは複数を具現化する命令1224が格納されたマシン可読媒体1222(たとえば、有形の持続性マシン可読記憶媒体)を具備する。また、命令1224は、マシン1200による実行前または実行中、メインメモリ1204、スタティックメモリ1206、プロセッサ1202(たとえば、プロセッサのキャッシュメモリ)、またはこれらの任意好適な組み合わせにおいて、全部または少なくとも一部が存在していてもよい。したがって、メインメモリ1204、スタティックメモリ1206、およびプロセッサ1202は、マシン可読媒体(たとえば、有形の持続性マシン可読媒体)と考えられる。命令1224は、ネットワークインターフェースデバイス1220を介してネットワーク190上で送受信されるようになっていてもよい。たとえば、ネットワークインターフェースデバイス1220は、任意の1つまたは複数の転送プロトコル(たとえば、ハイパーテキスト転送プロトコル(HTTP))を用いて命令1224を伝達するようにしてもよい。
いくつかの例示的な実施形態において、マシン1200は、携帯型コンピュータデバイス(たとえば、スマートフォン、タブレットコンピュータ、またはウェアラブルデバイス)であってもよく、また、1つまたは複数の付加的な入力コンポーネント1230(たとえば、センサまたはゲージ)を有していてもよい。このような入力コンポーネント1230の例としては、画像入力コンポーネント(たとえば、1つまたは複数のカメラ)、オーディオ入力コンポーネント(たとえば、1つまたは複数のマイク)、方向入力コンポーネント(たとえば、コンパス)、位置入力コンポーネント(たとえば、全地球測位システム(GPS)受信機)、方位コンポーネント(たとえば、ジャイロスコープ)、運動検出コンポーネント(たとえば、1つまたは複数の加速度計)、高度検出コンポーネント(たとえば、高度計)、温度入力コンポーネント(たとえば、温度計)、およびガス検出コンポーネント(たとえば、ガスセンサ)が挙げられる。これら入力コンポーネント1230のうちの任意の1つまたは複数により収集された入力データは、本明細書に記載のモジュールのいずれかによる使用のため、(たとえば、ユーザ選好、適用規則、またはこれらの任意好適な組み合わせに従って実装されるオプトイン承認またはオプトアウト承認等の好適なプライバシ通知および保護を伴う)アクセスおよび利用が可能であってもよい。
本明細書において、用語「メモリ(memory)」は、データを一時的または恒久的に格納し得るマシン可読媒体を表し、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、バッファメモリ、フラッシュメモリ、およびキャッシュメモリを含むものと解釈されてもよいが、これらに限定されない。単一の媒体となる例示的な一実施形態においてマシン可読媒体1222を示しているが、用語「マシン可読媒体(machine-readable medium)」は、命令を格納し得る単一の媒体または複数の媒体(たとえば、集中もしくは分散データベースまたは関連するキャッシュおよびサーバ)を含むものと解釈されるものとする。また、用語「マシン可読媒体」は、命令1224がマシン1200の1つまたは複数のプロセッサ(たとえば、プロセッサ1202)により実行された場合に、全部または一部を問わず、本明細書に記載の方法のうちの任意の1つまたは複数をマシン1200に実行させるように、命令1224を搬送(たとえば、格納または通信)してマシン1200に実行させる任意の媒体または複数の媒体の組み合わせを含むものと解釈されるものとする。したがって、「マシン可読媒体」は、単一の記憶装置またはデバイスのほか、複数の記憶装置またはデバイスを含むクラウドベースのストレージシステムまたはストレージネットワークを表す。したがって、用語「マシン可読媒体」は、半導体メモリチップ、光ディスク、磁気ディスク、またはこれらの任意好適な組み合わせの例示的な形態における1つまたは複数の有形の持続性データリポジトリ(たとえば、データボリューム)を含むものと解釈されるものとするが、これらに限定されない。
本明細書において、「持続性(non-transitory)」マシン可読媒体は具体的に、伝搬信号自体は除外する。種々例示的な実施形態によれば、マシン1200により実行される命令1224は、キャリア媒体(たとえば、マシン可読キャリア媒体)を介して伝達可能である。このようなキャリア媒体の例としては、非過渡的なキャリア媒体(たとえば、ある場所から別の場所へと物理的に移動可能な半導体メモリ等の持続性マシン可読記憶媒体)および過渡的なキャリア媒体(たとえば、命令1224を伝達する搬送波等の伝搬信号)が挙げられる。
本明細書においては、モジュールを含むものとして、特定の例示的な実施形態を説明した。モジュールは、ソフトウェアモジュール(たとえば、マシン可読媒体または伝送媒体に格納あるいは具現化されたコード)を構成していてもよいし、ハードウェアモジュールを構成していてもよいし、これらの任意好適な組み合わせを構成していてもよい。「ハードウェアモジュール」は、特定の動作を実行可能な有形(たとえば、持続性)物理コンポーネント(たとえば、一組の1つまたは複数のプロセッサ)であり、特定の物理的様態にて構成または配置されていてもよい。種々例示的な実施形態においては、1つもしくは複数のコンピュータシステムまたはその1つもしくは複数のハードウェアモジュールがソフトウェア(たとえば、アプリケーションまたはその一部)によって、当該モジュールに関する本明細書に記載の動作を実行するように作用するハードウェアモジュールとして構成されていてもよい。
いくつかの例示的な実施形態においては、機械的、電子的、流体的、またはこれらの任意好適な組み合わせにてハードウェアモジュールが実装されていてもよい。たとえば、ハードウェアモジュールは、特定の動作を実行するように恒久的に構成された専用回路またはロジックを含んでいてもよい。ハードウェアモジュールは、フィールドプログラマブルゲートアレイ(FPGA)またはASIC等の専用プロセッサであってもよいし、専用プロセッサを含んでいてもよい。また、ハードウェアモジュールは、特定の動作を実行するようにソフトウェアによって一時的に構成されたプログラム可能ロジックまたは回路を含んでいてもよい。一例として、ハードウェアモジュールは、CPU等のプログラム可能なプロセッサ内に包含されたソフトウェアを含んでいてもよい。当然のことながら、機械的、流体的、専用かつ恒久的構成の回路、または一時的構成の回路(たとえば、ソフトウェアによる構成)のいずれによりハードウェアモジュールを実装するかの決定には、コストおよび時間の考慮が影響し得る。
以上から、表現「ハードウェアモジュール(hardware module)」は、特定の様態での動作または本明細書に記載の特定の動作の実行用に物理的構成、恒久的構成(たとえば、配線)、または一時的構成(たとえば、プログラム)が可能な有形のエンティティを含むことが了解されるものとする。さらに、本明細書において、表現「ハードウェア実装モジュール(hardware-implemented module)」は、ハードウェアモジュールを表す。ハードウェアモジュールが一時的に構成(たとえば、プログラム)される例示的な実施形態を考えるに、ハードウェアモジュールはそれぞれ、如何なる瞬間においても、構成もインスタンス化も不要である。たとえば、専用プロセッサとなるようにソフトウェアにより構成されたCPUをハードウェアモジュールが含む場合、このCPUは、異なる時間にそれぞれ異なる専用プロセッサとして(たとえば、それぞれが異なるハードウェアモジュールに含まれるものとして)構成されていてもよい。したがって、ソフトウェア(たとえば、ソフトウェアモジュール)は、たとえばある瞬間には特定のハードウェアモジュールとなるか、あるいは特定のハードウェアモジュールを構成し、別の瞬間には異なるハードウェアモジュールとなるか、あるいは異なるハードウェアモジュールを構成するように、1つまたは複数のプロセッサを構成するようにしてもよい。
ハードウェアモジュールは、他のハードウェアモジュールへの情報提供および他のハードウェアモジュールからの情報受信が可能である。したがって、上記ハードウェアモジュールは、通信結合されるものと見なし得る。同時に複数のハードウェアモジュールが存在する場合は、これらハードウェアモジュールのうちの2つ以上の二者間または多者間で(たとえば、回路およびバスを介した)信号伝送により通信が実現されるようになっていてもよい。異なる時間に複数のハードウェアモジュールが構成またはインスタンス化される実施形態においては、たとえば複数のハードウェアモジュールがアクセス可能なメモリ構造に対する情報の格納および読み出しによって、このようなハードウェアモジュール間の通信が実現されるようになっていてもよい。たとえば、あるハードウェアモジュールが動作を実行し、通信結合されたメモリ(たとえば、メモリデバイス)に動作の出力を格納するようにしてもよい。その後、別のハードウェアモジュールがメモリにアクセスして、格納された出力を読み出して処理するようにしてもよい。また、ハードウェアモジュールは、入力デバイスまたは出力デバイスとの通信を開始するようにしてもよく、リソース(たとえば、コンピュータリソースからの情報集合)上で動作可能である。
本明細書に記載の例示的な方法のさまざまな動作は、関連する動作を実行するように(たとえば、ソフトウェアによる)一時的構成または恒久的構成がなされた1つまたは複数のプロセッサによって、少なくとも一部が実行されるようになっていてもよい。構成が一時的であるか恒久的であるかに関わらず、このようなプロセッサは、本明細書に記載の1つまたは複数の動作または機能を実行するように作用するプロセッサ実装モジュールを構成していてもよい。本明細書において、「プロセッサ実装モジュール(processor-implemented module)」は、ハードウェアが1つまたは複数のプロセッサを含むハードウェアモジュールを表す。したがって、本明細書に記載の動作は、プロセッサがハードウェアの一例であることから、少なくとも一部がプロセッサ実装であってもよいし、ハードウェア実装であってもよいし、両者であってもよい。また、本明細書に記載の方法のうちの任意の1つまたは複数における少なくとも一部の動作は、1つまたは複数のプロセッサ実装モジュールにより実行されるようになっていてもよいし、ハードウェア実装モジュールにより実行されるようになっていてもよいし、これらの任意好適な組み合わせにより実行されるようになっていてもよい。
さらに、このような1つまたは複数のプロセッサは、「クラウドコンピューティング」環境における動作または(たとえば、「サービス型ソフトウェア(SaaS)」の実施態様における)サービスとしての動作を実行するようにしてもよい。たとえば、本明細書に記載の方法のうちの任意の1つまたは複数における少なくとも一部の動作は、(たとえば、プロセッサを含むマシンの例としての)コンピュータ群により実行されるようになっていてもよく、これらの動作は、ネットワーク(たとえば、インターネット)ならびに1つもしくは複数の適当なインターフェース(たとえば、アプリケーションプログラミングインターフェース(API))を介してアクセス可能である。特定の動作の実行は、単一のマシン内にのみ存在するか、または、多くのマシンに展開されているかに関わらず、1つまたは複数のプロセッサ間に分散していてもよく、いくつかの例示的な実施形態において、1つまたは複数のプロセッサまたはハードウェアモジュール(たとえば、プロセッサ実装モジュール)は、単一の地理的位置(たとえば、住居環境、オフィス環境、またはサーバファーム内)に位置付けられていてもよい。他の例示的な実施形態において、1つまたは複数のプロセッサまたはハードウェアモジュールは、多くの地理的位置に分散していてもよい。
本明細書の全体を通して、複数のインスタンスは、単一のインスタンスとして記載された構成要素、動作、または構造を実装していてもよい。1つまたは複数の方法の個々の動作は、別個の動作として図示および説明しているが、これら個々の動作のうちの1つまたは複数が同時に実行されるようになっていてもよく、また、図示の順序で動作が実行される必要はない。例示的な構成において別個の構成要素および機能として提示した構造およびそれぞれの機能は、機能を組み合わせた組み合わせ構造または構成要素として実装されていてもよい。同様に、単一の構成要素として提示された構造および機能は、別個の構成要素および機能として実装されていてもよい。上記および他の変形例、修正例、追加例、および改良例は、本明細書の主題の範囲に含まれる。
本明細書に記載の主題の一部は、ビットまたは2値デジタル信号としてメモリ(たとえば、コンピュータメモリまたは他のマシンメモリ)に格納されたデータに対する動作のアルゴリズムまたは記号表現の観点で提示されていてもよい。このようなアルゴリズムまたは記号表現は、データ処理技術の当業者が他の当業者に対して自身の仕事の内容を伝えるために使用する技術の例である。本明細書において、「アルゴリズム(algorithm)」は、所望の結果に至る自己矛盾のない一連の動作または類似の処理である。これに関連して、アルゴリズムおよび動作には、物理量の物理的操作を伴う。通常、このような量は、マシンによる格納、アクセス、転送、結合、比較、あるいは操作が可能な電気、磁気、または光信号の形態であってもよいが、必ずしもその必要はない。主に一般的使用の理由から、「データ(data)」、「コンテンツ(content)」、「ビット(bit)」、「値(value)」、「要素(element)」、「記号(symbol)」、「文字(character)」、「用語(term)」、「番号(number)」、「数値(numeral)」等の単語を用いてこのような信号を表すのが便利な場合もある。ただし、これらの単語は、使い勝手の良い表記に過ぎず、適当な物理量と関連付けられるものとする。
別段の具体的な記述のない限り、「アクセス(accessing)」、「処理(processing)」、「検出(detecting)」、「演算(computing)」、「計算(calculating)」、「決定(determining)」、「生成(generating)」、「提示(presenting)」、「表示(displaying)」等の単語を用いた本明細書の記載は、1つもしくは複数のメモリ(たとえば、揮発性メモリ、不揮発性メモリ、もしくはこれらの任意好適な組み合わせ)、レジスタ、または情報を受信、格納、送信、もしくは表示する他のマシンコンポーネント内の物理量(たとえば、電子、磁気、または光)として表されるデータを操作または変換するマシン(たとえば、コンピュータ)により実行可能な動作またはプロセスを表す。さらに、別段の具体的な記述のない限り、本明細書においては、特許文献に見られるように、1つまたは2つ以上のインスタンスを含むものとして用語「a」または「an」を使用している。最後に、本明細書において、接続詞「or(または)」は、別段の具体的な記述のない限り、非排他的な「or」を表す。
以下に列挙する記述は、本明細書に記載の方法、マシン可読媒体、およびシステム(たとえば、マシン、デバイス、または他の装置)のさまざまな例を説明する。
第1の例は、
マシンの1つまたは複数のプロセッサにより、共通描画エリア内の共通没入シーンを示す一方、それぞれが異なる視聴方向に対応するとともに、対応する視聴方向と位置合わせされ、共通描画エリアのその他の部分よりも解像度が高い異なるフォービエイテッド領域を含む一組の同時ビデオファイルにアクセスすることと、
マシンの1つまたは複数のプロセッサにより、一組の同時ビデオファイルのうちの第1の同時ビデオファイルの第1のフォービエイテッド領域に第1のピクチャー・イン・ピクチャー(PIP)ウィンドウを組み込むとともに、一組の同時ビデオファイルのうちの第2の同時ビデオファイルの第2のフォービエイテッド領域に第2のPIPウィンドウを組み込むことによって、一組の同時ビデオファイルのうちの少なくとも2つを修正することとであり、第1のPIPウィンドウおよび第2のPIPウィンドウがそれぞれ、対応する第1および第2の異なる視聴方向と位置合わせされた、ことと、
マシンの1つまたは複数のプロセッサにより、共通没入シーンを第1の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としての第1のリクエストに応答して、修正した第1の同時ビデオファイルをクライアントデバイスに提供することであり、当該提供された第1の同時ビデオファイルによって、クライアントデバイスが第1のフォービエイテッド領域に第1のPIPウィンドウをレンダリングする、ことと、
マシンの1つまたは複数のプロセッサにより、共通没入シーンを第2の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としての第2のリクエストに応答して、修正した第2の同時ビデオファイルをクライアントデバイスに提供することであり、当該提供された第2の同時ビデオファイルによって、クライアントデバイスが第2のフォービエイテッド領域に第2のPIPウィンドウをレンダリングする、ことと、
を含む方法を提供する。
第2の例は、
マシンの1つまた複数のプロセッサにより、共通没入シーン内の一組の視聴方向のうちの異なる視聴方向にそれぞれ対応する一組のオーディオトラックにアクセスすることであり、一組の-オーディオトラックが、一組の視聴方向のうちの第1の視聴方向に対応する第1のオーディオトラックを含む、ことと、
マシンの1つまた複数のプロセッサにより、共通没入シーンを示す一方、それぞれが一組の視聴方向のうちの異なる視聴方向に対応するとともに、それぞれが対応する視聴方向と位置合わせされた異なるオーディオミックスを含む一組の同時ビデオファイルを生成することであり、一組の同時ビデオファイルが、第1の視聴方向と位置合わせされた第1のオーディオミックスを含む第1の同時ビデオファイルを含み、第1のオーディオミックスが、第1の視聴方向に対応する第1のオーディオトラックを除いて含まれるオーディオトラックを減衰させる、ことと、
マシンの1つまたは複数のプロセッサにより、共通没入シーンを第1の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としてのリクエストに応答して、第1の同時ビデオファイルをクライアントデバイスに提供することであり、当該提供された第1の同時ビデオファイルによって、クライアントデバイスが第1の視聴方向に対応する第1のオーディオトラックを除いて含まれるオーディオトラックを減衰させる第1のオーディオミックスを再生する、ことと、
を含む方法を提供する。
第3の例は、
マシンの1つまたは複数のプロセッサにより、ビデオファイルのトレーニングデータベースに示された一組の視覚的特徴を認識するようにニューラルネットワークをトレーニングすることと、
マシンの1つまたは複数のプロセッサにより、ユーザのクライアントデバイスが一組のビデオファイルをレンダリングするように要求された一組の特異視聴時間を検出することであり、当該一組の特異視聴時間の検出が、クライアントデバイスがビデオファイルをレンダリングするように要求されたモニタリング視聴時間のヒストグラムに基づく、ことと、
マシンの1つまたは複数のプロセッサにより、検出した一組の特異視聴時間をレンダリングしたビデオファイルと相関させるとともに、レンダリングしたビデオファイルをトレーニングしたニューラルネットワークに入力することによって、トレーニングしたニューラルネットワークにより認識可能な一組の視覚的特徴の一部を識別することにより、レンダリングしたビデオファイルにおいて一組の視覚的特徴の一部を認識することと、
マシンの1つまたは複数のプロセッサにより、識別した一組の視覚的特徴の一部に基づいてユーザの視聴選好プロファイルを生成することであり、生成した視聴選好プロファイルが、識別した一組の視覚的特徴の一部を示す、ことと、
マシンの1つまたは複数のプロセッサにより、提案メッセージを生成してユーザのクライアントデバイスに提供することであり、提案メッセージが、ユーザの視聴選好プロファイルにより示された一組の視覚的特徴の一部に基づいて生成される、ことと、
を含む方法を提供する。
第4の例は、
マシンの1つまたは複数のプロセッサにより、コンテンツ配信ネットワークにアップロードされる第1の一組の同時ビデオファイルにアクセスすることであり、第1の一組の同時ビデオファイルがすべて、同じ第1の継続時間を有するとともに、没入シーンの同じ時間セグメントを表す、ことと、
マシンの1つまたは複数のプロセッサにより、コンテンツ配信ネットワークに対する測定アップロードデータレートが閾値アップロードデータレートを下回るものと検出することと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることに応答して、マシンの1つまたは複数のプロセッサにより、第1の一組の同時ビデオファイルを複数組の同時ビデオファイルに変換することであり、複数組の同時ビデオファイルが、第1の継続時間よりも短い同じ第2の継続時間をすべてが有する第2の一組の同時ビデオファイルを含む、ことと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることにさらに応答して、マシンの1つまたは複数のプロセッサにより、第1の継続時間よりも短い同じ第2の継続時間をすべてが有する変換後の第2の一組の同時ビデオファイルをコンテンツ配信ネットワークにアップロードすることと、
を含む方法を提供する。
第5の例は、
マシンの1つまたは複数のプロセッサにより、コンテンツ配信ネットワークにアップロードされる一組の同時ビデオファイルにアクセスすることであり、一組の同時ビデオファイルがすべて、同じ継続時間を有するとともに、没入シーンの同じ時間セグメントを表す、ことと、
マシンの1つまたは複数のプロセッサにより、コンテンツ配信ネットワークに対する測定アップロードデータレートが閾値アップロードデータレートを下回るものと検出することと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることに応答して、マシンの1つまたは複数のプロセッサにより、コンテンツ配信ネットワークへのアップロード除外のため、一組の同時ビデオファイルのうちの少なくとも1つの同時ビデオファイルを選択することであり、当該少なくとも1つの同時ビデオファイルの選択によって、コンテンツ配信ネットワークにアップロードされる一組の同時ビデオファイルが抑えられる、ことと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることにさらに応答して、マシンの1つまたは複数のプロセッサにより、抑制後の一組の同時ビデオファイルをコンテンツ配信ネットワークにアップロードすることと、
を含む方法を提供する。
第6の例は、
マシンの1つまたは複数のプロセッサにより、コンテンツ配信ネットワークにアップロードされる一組の同時ビデオファイルにアクセスすることであり、一組の同時ビデオファイルがすべて、没入シーンの同じ時間セグメントを表すとともに、第1の閾値期間を規定する第1の存続期間(TTL)値に対応する、ことと、
マシンの1つまたは複数のプロセッサにより、コンテンツ配信ネットワークに対する測定アップロードデータレートが閾値アップロードデータレートを下回るものと検出することと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることに応答して、マシンの1つまたは複数のプロセッサにより、第1のTTL値未満の第2のTTL値まで第1のTTL値を減じることと、
マシンの1つまたは複数のプロセッサにより、一組の同時ビデオファイルをコンテンツ配信ネットワークにアップロードすることと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることにさらに応答して、マシンの1つまたは複数のプロセッサにより、第2のTTL値により規定された第2の閾値期間をアップロードが超えてからの期間に基づいて、アップロードされた一組の同時ビデオファイルをコンテンツ配信ネットワークに消去させることと、
を含む方法を提供する。
第7の例は、
マシンの1つまたは複数のプロセッサにより、すべてが共通没入シーンを示す一組の同時ビデオファイルの共通描画エリアに含まれる上向きビデオコンテンツおよび下向きビデオコンテンツにアクセスすることと、
マシンの1つまたは複数のプロセッサにより、上向きビデオコンテンツのビデオ複雑性解析、下向きビデオコンテンツのビデオ複雑性解析、上向きビデオコンテンツのビデオ重要性インジケータ、または下向きビデオコンテンツのビデオ重要性インジケータのうちの少なくとも1つに基づいて、共通描画エリアの下部表示領域に対する共通描画エリアの上部表示領域のサイズ比を決定することと、
マシンの1つまたは複数のプロセッサにより、共通描画エリアの上部表示領域の少なくとも1つの第1の寸法および共通描画エリアの下部表示領域の少なくとも1つの第2の寸法を決定することであり、少なくとも1つの第1の寸法および少なくとも1つの第2の寸法が、共通描画エリアの下部表示領域に対する共通描画エリアの上部表示領域のサイズ比に基づいて決定される、ことと、
マシンの1つまたは複数のプロセッサにより、すべてが共通描画エリア内の共通没入シーンを示す一組の同時ビデオファイルを生成することであり、当該一組の同時ビデオファイルの生成が、上部表示領域および下部表示領域のそれぞれに決定された少なくとも1つの第1の寸法および少なくとも1つの第2の寸法に基づく、ことと、
を含む方法を提供する。
第8の例は、
マシンの1つまたは複数のプロセッサにより、すべてが共通没入シーンを示す一組の同時ビデオファイルの共通描画エリアに含まれる上向きビデオコンテンツおよび下向きビデオコンテンツにアクセスすることと、
マシンの1つまたは複数のプロセッサにより、上向きビデオコンテンツのビデオ複雑性解析、下向きビデオコンテンツのビデオ複雑性解析、上向きビデオコンテンツのビデオ重要性インジケータ、下向きビデオコンテンツのビデオ重要性インジケータ、またはコンテンツ配信ネットワークに対する測定アップロードデータレートのうちの少なくとも1つに基づいて、共通描画エリアの少なくとも1つの寸法を決定することにより共通描画エリアのサイズを決定することと、
マシンの1つまたは複数のプロセッサにより、共通描画エリアの上部表示領域の少なくとも1つの第1の寸法および共通描画エリアの下部表示領域の少なくとも1つの第2の寸法を決定することであり、少なくとも1つの第1の寸法および少なくとも1つの第2の寸法が、共通描画エリアの決定サイズに基づいて決定される、ことと、
マシンの1つまたは複数のプロセッサにより、すべてが共通描画エリア内の共通没入シーンを示す一組の同時ビデオファイルを生成することであり、当該一組の同時ビデオファイルの生成が、上部表示領域および下部表示領域のそれぞれに決定された少なくとも1つの第1の寸法および少なくとも1つの第2の寸法に基づく、ことと、
を含む方法を提供する。
第9の例は、マシンの1つまたは複数のプロセッサにより実行された場合に、
共通描画エリア内の共通没入シーンを示す一方、それぞれが異なる視聴方向に対応するとともに、対応する視聴方向と位置合わせされ、共通描画エリアのその他の部分よりも解像度が高い異なるフォービエイテッド領域を含む一組の同時ビデオファイルにアクセスすることと、
一組の同時ビデオファイルのうちの第1の同時ビデオファイルの第1のフォービエイテッド領域に第1のピクチャー・イン・ピクチャー(PIP)ウィンドウを組み込むとともに、一組の同時ビデオファイルのうちの第2の同時ビデオファイルの第2のフォービエイテッド領域に第2のPIPウィンドウを組み込むことによって、一組の同時ビデオファイルのうちの少なくとも2つを修正することとであり、第1のPIPウィンドウおよび第2のPIPウィンドウがそれぞれ、対応する第1および第2の異なる視聴方向と位置合わせされた、ことと、
共通没入シーンを第1の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としての第1のリクエストに応答して、修正した第1の同時ビデオファイルをクライアントデバイスに提供することであり、当該提供された第1の同時ビデオファイルによって、クライアントデバイスが第1のフォービエイテッド領域に第1のPIPウィンドウをレンダリングする、ことと、
共通没入シーンを第2の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としての第2のリクエストに応答して、修正した第2の同時ビデオファイルをクライアントデバイスに提供することであり、当該提供された第2の同時ビデオファイルによって、クライアントデバイスが第2のフォービエイテッド領域に第2のPIPウィンドウをレンダリングする、ことと、
を含む動作をマシンに実行させる命令を含むマシン可読媒体(たとえば、持続性マシン可読記憶媒体)を提供する。
第10の例は、マシンの1つまたは複数のプロセッサにより実行された場合に、
共通没入シーン内の一組の視聴方向のうちの異なる視聴方向にそれぞれ対応する一組のオーディオトラックにアクセスすることであり、一組の-オーディオトラックが、一組の視聴方向のうちの第1の視聴方向に対応する第1のオーディオトラックを含む、ことと、
共通没入シーンを示す一方、それぞれが一組の視聴方向のうちの異なる視聴方向に対応するとともに、それぞれが対応する視聴方向と位置合わせされた異なるオーディオミックスを含む一組の同時ビデオファイルを生成することであり、一組の同時ビデオファイルが、第1の視聴方向と位置合わせされた第1のオーディオミックスを含む第1の同時ビデオファイルを含み、第1のオーディオミックスが、第1の視聴方向に対応する第1のオーディオトラックを除いて含まれるオーディオトラックを減衰させる、ことと、
共通没入シーンを第1の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としてのリクエストに応答して、第1の同時ビデオファイルをクライアントデバイスに提供することであり、当該提供された第1の同時ビデオファイルによって、クライアントデバイスが第1の視聴方向に対応する第1のオーディオトラックを除いて含まれるオーディオトラックを減衰させる第1のオーディオミックスを再生する、ことと、
を含む動作をマシンに実行させる命令を含むマシン可読媒体(たとえば、持続性マシン可読記憶媒体)を提供する。
第11の例は、マシンの1つまたは複数のプロセッサにより実行された場合に、
ビデオファイルのトレーニングデータベースに示された一組の視覚的特徴を認識するようにニューラルネットワークをトレーニングすることと、
ユーザのクライアントデバイスが一組のビデオファイルをレンダリングするように要求された一組の特異視聴時間を検出することであり、当該一組の特異視聴時間の検出が、クライアントデバイスがビデオファイルをレンダリングするように要求されたモニタリング視聴時間のヒストグラムに基づく、ことと、
検出した一組の特異視聴時間をレンダリングしたビデオファイルと相関させるとともに、レンダリングしたビデオファイルをトレーニングしたニューラルネットワークに入力することによって、トレーニングしたニューラルネットワークにより認識可能な一組の視覚的特徴の一部を識別することにより、レンダリングしたビデオファイルにおいて一組の視覚的特徴の一部を認識することと、
識別した一組の視覚的特徴の一部に基づいてユーザの視聴選好プロファイルを生成することであり、生成した視聴選好プロファイルが、識別した一組の視覚的特徴の一部を示す、ことと、
提案メッセージを生成してユーザのクライアントデバイスに提供することであり、提案メッセージが、ユーザの視聴選好プロファイルにより示された一組の視覚的特徴の一部に基づいて生成される、ことと、
を含む動作をマシンに実行させる命令を含むマシン可読媒体(たとえば、持続性マシン可読記憶媒体)を提供する。
第12の例は、マシンの1つまたは複数のプロセッサにより実行された場合に、
コンテンツ配信ネットワークにアップロードされる第1の一組の同時ビデオファイルにアクセスすることであり、第1の一組の同時ビデオファイルがすべて、同じ第1の継続時間を有するとともに、没入シーンの同じ時間セグメントを表す、ことと、
コンテンツ配信ネットワークに対する測定アップロードデータレートが閾値アップロードデータレートを下回るものと検出することと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることに応答して、第1の一組の同時ビデオファイルを複数組の同時ビデオファイルに変換することであり、複数組の同時ビデオファイルが、第1の継続時間よりも短い同じ第2の継続時間をすべてが有する第2の一組の同時ビデオファイルを含む、ことと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることにさらに応答して、第1の継続時間よりも短い同じ第2の継続時間をすべてが有する変換後の第2の一組の同時ビデオファイルをコンテンツ配信ネットワークにアップロードすることと、
を含む動作をマシンに実行させる命令を含むマシン可読媒体(たとえば、持続性マシン可読記憶媒体)を提供する。
第13の例は、マシンの1つまたは複数のプロセッサにより実行された場合に、
コンテンツ配信ネットワークにアップロードされる一組の同時ビデオファイルにアクセスすることであり、一組の同時ビデオファイルがすべて、同じ継続時間を有するとともに、没入シーンの同じ時間セグメントを表す、ことと、
コンテンツ配信ネットワークに対する測定アップロードデータレートが閾値アップロードデータレートを下回るものと検出することと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることに応答して、コンテンツ配信ネットワークへのアップロード除外のため、一組の同時ビデオファイルのうちの少なくとも1つの同時ビデオファイルを選択することであり、当該少なくとも1つの同時ビデオファイルの選択によって、コンテンツ配信ネットワークにアップロードされる一組の同時ビデオファイルが抑制される、ことと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることにさらに応答して、抑制後の一組の同時ビデオファイルをコンテンツ配信ネットワークにアップロードすることと、
を含む動作をマシンに実行させる命令を含むマシン可読媒体(たとえば、持続性マシン可読記憶媒体)を提供する。
第14の例は、マシンの1つまたは複数のプロセッサにより実行された場合に、
コンテンツ配信ネットワークにアップロードされる一組の同時ビデオファイルにアクセスすることであり、一組の同時ビデオファイルがすべて、没入シーンの同じ時間セグメントを表すとともに、第1の閾値期間を規定する第1の存続期間(TTL)値に対応する、ことと、
コンテンツ配信ネットワークに対する測定アップロードデータレートが閾値アップロードデータレートを下回るものと検出することと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることに応答して、第1のTTL値未満の第2のTTL値まで第1のTTL値を減じることと、
一組の同時ビデオファイルをコンテンツ配信ネットワークにアップロードすることと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることにさらに応答して、第2のTTL値により規定された第2の閾値期間をアップロードが超えてからの期間に基づいて、アップロードされた一組の同時ビデオファイルをコンテンツ配信ネットワークに消去させることと、
を含む動作をマシンに実行させる命令を含むマシン可読媒体(たとえば、持続性マシン可読記憶媒体)を提供する。
第15の例は、マシンの1つまたは複数のプロセッサにより実行された場合に、第9の例は、マシンの1つまたは複数のプロセッサにより実行された場合に、
すべてが共通没入シーンを示す一組の同時ビデオファイルの共通描画エリアに含まれる上向きビデオコンテンツおよび下向きビデオコンテンツにアクセスすることと、
上向きビデオコンテンツのビデオ複雑性解析、下向きビデオコンテンツのビデオ複雑性解析、上向きビデオコンテンツのビデオ重要性インジケータ、または下向きビデオコンテンツのビデオ重要性インジケータのうちの少なくとも1つに基づいて、共通描画エリアの下部表示領域に対する共通描画エリアの上部表示領域のサイズ比を決定することと、
共通描画エリアの上部表示領域の少なくとも1つの第1の寸法および共通描画エリアの下部表示領域の少なくとも1つの第2の寸法を決定することであり、少なくとも1つの第1の寸法および少なくとも1つの第2の寸法が、共通描画エリアの下部表示領域に対する共通描画エリアの上部表示領域のサイズ比に基づいて決定される、ことと、
すべてが共通描画エリア内の共通没入シーンを示す一組の同時ビデオファイルを生成することであり、当該一組の同時ビデオファイルの生成が、上部表示領域および下部表示領域のそれぞれに決定された少なくとも1つの第1の寸法および少なくとも1つの第2の寸法に基づく、ことと、
を含む動作をマシンに実行させる命令を含むマシン可読媒体(たとえば、持続性マシン可読記憶媒体)を提供する。
第16の例は、マシンの1つまたは複数のプロセッサにより実行された場合に、
すべてが共通没入シーンを示す一組の同時ビデオファイルの共通描画エリアに含まれる上向きビデオコンテンツおよび下向きビデオコンテンツにアクセスすることと、
上向きビデオコンテンツのビデオ複雑性解析、下向きビデオコンテンツのビデオ複雑性解析、上向きビデオコンテンツのビデオ重要性インジケータ、下向きビデオコンテンツのビデオ重要性インジケータ、またはコンテンツ配信ネットワークに対する測定アップロードデータレートのうちの少なくとも1つに基づいて、共通描画エリアの少なくとも1つの寸法を決定することにより共通描画エリアのサイズを決定することと、
共通描画エリアの上部表示領域の少なくとも1つの第1の寸法および共通描画エリアの下部表示領域の少なくとも1つの第2の寸法を決定することであり、少なくとも1つの第1の寸法および少なくとも1つの第2の寸法が、共通描画エリアの決定サイズに基づいて決定される、ことと、
すべてが共通描画エリア内の共通没入シーンを示す一組の同時ビデオファイルを生成することであり、当該一組の同時ビデオファイルの生成が、上部表示領域および下部表示領域のそれぞれに決定された少なくとも1つの第1の寸法および少なくとも1つの第2の寸法に基づく、ことと、
を含む動作をマシンに実行させる命令を含むマシン可読媒体(たとえば、持続性マシン可読記憶媒体)を提供する。
第17の例は、
1つまたは複数のプロセッサと、
1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサにより実行された場合に、
共通描画エリア内の共通没入シーンを示す一方、それぞれが異なる視聴方向に対応するとともに、対応する視聴方向と位置合わせされ、共通描画エリアのその他の部分よりも解像度が高い異なるフォービエイテッド領域を含む一組の同時ビデオファイルにアクセスすることと、
一組の同時ビデオファイルのうちの第1の同時ビデオファイルの第1のフォービエイテッド領域に第1のピクチャー・イン・ピクチャー(PIP)ウィンドウを組み込むとともに、一組の同時ビデオファイルのうちの第2の同時ビデオファイルの第2のフォービエイテッド領域に第2のPIPウィンドウを組み込むことによって、一組の同時ビデオファイルのうちの少なくとも2つを修正することとであり、第1のPIPウィンドウおよび第2のPIPウィンドウがそれぞれ、対応する第1および第2の異なる視聴方向と位置合わせされた、ことと、
共通没入シーンを第1の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としての第1のリクエストに応答して、修正した第1の同時ビデオファイルをクライアントデバイスに提供することであり、当該提供された第1の同時ビデオファイルによって、クライアントデバイスが第1のフォービエイテッド領域に第1のPIPウィンドウをレンダリングする、ことと、
共通没入シーンを第2の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としての第2のリクエストに応答して、修正した第2の同時ビデオファイルをクライアントデバイスに提供することであり、当該提供された第2の同時ビデオファイルによって、クライアントデバイスが第2のフォービエイテッド領域に第2のPIPウィンドウをレンダリングする、ことと、
を含む動作を実行させる命令を格納したメモリと、
を備えたシステム(たとえば、コンピュータシステム)を提供する。
第18の例は、
1つまたは複数のプロセッサと、
1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサにより実行された場合に、
共通没入シーン内の一組の視聴方向のうちの異なる視聴方向にそれぞれ対応する一組のオーディオトラックにアクセスすることであり、一組の-オーディオトラックが、一組の視聴方向のうちの第1の視聴方向に対応する第1のオーディオトラックを含む、ことと、
共通没入シーンを示す一方、それぞれが一組の視聴方向のうちの異なる視聴方向に対応するとともに、それぞれが対応する視聴方向と位置合わせされた異なるオーディオミックスを含む一組の同時ビデオファイルを生成することであり、一組の同時ビデオファイルが、第1の視聴方向と位置合わせされた第1のオーディオミックスを含む第1の同時ビデオファイルを含み、第1のオーディオミックスが、第1の視聴方向に対応する第1のオーディオトラックを除いて含まれるオーディオトラックを減衰させる、ことと、
共通没入シーンを第1の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としてのリクエストに応答して、第1の同時ビデオファイルをクライアントデバイスに提供することであり、当該提供された第1の同時ビデオファイルによって、クライアントデバイスが第1の視聴方向に対応する第1のオーディオトラックを除いて含まれるオーディオトラックを減衰させる第1のオーディオミックスを再生する、ことと、
を含む動作を実行させる命令を格納したメモリと、
を備えたシステム(たとえば、コンピュータシステム)を提供する。
第19の例は、
1つまたは複数のプロセッサと、
1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサにより実行された場合に、
ビデオファイルのトレーニングデータベースに示された一組の視覚的特徴を認識するようにニューラルネットワークをトレーニングすることと、
ユーザのクライアントデバイスが一組のビデオファイルをレンダリングするように要求された一組の特異視聴時間を検出することであり、当該一組の特異視聴時間の検出が、クライアントデバイスがビデオファイルをレンダリングするように要求されたモニタリング視聴時間のヒストグラムに基づく、ことと、
検出した一組の特異視聴時間をレンダリングしたビデオファイルと相関させるとともに、レンダリングしたビデオファイルをトレーニングしたニューラルネットワークに入力することによって、トレーニングしたニューラルネットワークにより認識可能な一組の視覚的特徴の一部を識別することにより、レンダリングしたビデオファイルにおいて一組の視覚的特徴の一部を認識することと、
識別した一組の視覚的特徴の一部に基づいてユーザの視聴選好プロファイルを生成することであり、生成した視聴選好プロファイルが、識別した一組の視覚的特徴の一部を示す、ことと、
提案メッセージを生成してユーザのクライアントデバイスに提供することであり、提案メッセージが、ユーザの視聴選好プロファイルにより示された一組の視覚的特徴の一部に基づいて生成される、ことと、
を含む動作を実行させる命令を格納したメモリと、
を備えたシステム(たとえば、コンピュータシステム)を提供する。
第20の例は、
1つまたは複数のプロセッサと、
1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサにより実行された場合に、
コンテンツ配信ネットワークにアップロードされる第1の一組の同時ビデオファイルにアクセスすることであり、第1の一組の同時ビデオファイルがすべて、同じ第1の継続時間を有するとともに、没入シーンの同じ時間セグメントを表す、ことと、
コンテンツ配信ネットワークに対する測定アップロードデータレートが閾値アップロードデータレートを下回るものと検出することと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることに応答して、第1の一組の同時ビデオファイルを複数組の同時ビデオファイルに変換することであり、複数組の同時ビデオファイルが、第1の継続時間よりも短い同じ第2の継続時間をすべてが有する第2の一組の同時ビデオファイルを含む、ことと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることにさらに応答して、第1の継続時間よりも短い同じ第2の継続時間をすべてが有する変換後の第2の一組の同時ビデオファイルをコンテンツ配信ネットワークにアップロードすることと、
を含む動作を実行させる命令を格納したメモリと、
を備えたシステム(たとえば、コンピュータシステム)を提供する。
第21の例は、
1つまたは複数のプロセッサと、
1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサにより実行された場合に、
コンテンツ配信ネットワークにアップロードされる一組の同時ビデオファイルにアクセスすることであり、一組の同時ビデオファイルがすべて、同じ継続時間を有するとともに、没入シーンの同じ時間セグメントを表す、ことと、
コンテンツ配信ネットワークに対する測定アップロードデータレートが閾値アップロードデータレートを下回るものと検出することと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることに応答して、コンテンツ配信ネットワークへのアップロード除外のため、一組の同時ビデオファイルのうちの少なくとも1つの同時ビデオファイルを選択することであり、当該少なくとも1つの同時ビデオファイルの選択によって、コンテンツ配信ネットワークにアップロードされる一組の同時ビデオファイルが抑制される、ことと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることにさらに応答して、抑制後の一組の同時ビデオファイルをコンテンツ配信ネットワークにアップロードすることと、
を含む動作を実行させる命令を格納したメモリと、
を備えたシステム(たとえば、コンピュータシステム)を提供する。
第22の例は、
1つまたは複数のプロセッサと、
1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサにより実行された場合に、
コンテンツ配信ネットワークにアップロードされる一組の同時ビデオファイルにアクセスすることであり、一組の同時ビデオファイルがすべて、没入シーンの同じ時間セグメントを表すとともに、第1の閾値期間を規定する第1の存続期間(TTL)値に対応する、ことと、
コンテンツ配信ネットワークに対する測定アップロードデータレートが閾値アップロードデータレートを下回るものと検出することと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることに応答して、第1のTTL値未満の第2のTTL値まで第1のTTL値を減じることと、
一組の同時ビデオファイルをコンテンツ配信ネットワークにアップロードすることと、
測定アップロードデータレートが閾値アップロードデータレートを下回ることにさらに応答して、第2のTTL値により規定された第2の閾値期間をアップロードが超えてからの期間に基づいて、アップロードされた一組の同時ビデオファイルをコンテンツ配信ネットワークに消去させることと、
を含む動作を実行させる命令を格納したメモリと、
を備えたシステム(たとえば、コンピュータシステム)を提供する。
第23の例は、
1つまたは複数のプロセッサと、
1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサにより実行された場合に、
すべてが共通没入シーンを示す一組の同時ビデオファイルの共通描画エリアに含まれる上向きビデオコンテンツおよび下向きビデオコンテンツにアクセスすることと、
上向きビデオコンテンツのビデオ複雑性解析、下向きビデオコンテンツのビデオ複雑性解析、上向きビデオコンテンツのビデオ重要性インジケータ、または下向きビデオコンテンツのビデオ重要性インジケータのうちの少なくとも1つに基づいて、共通描画エリアの下部表示領域に対する共通描画エリアの上部表示領域のサイズ比を決定することと、
共通描画エリアの上部表示領域の少なくとも1つの第1の寸法および共通描画エリアの下部表示領域の少なくとも1つの第2の寸法を決定することであり、少なくとも1つの第1の寸法および少なくとも1つの第2の寸法が、共通描画エリアの下部表示領域に対する共通描画エリアの上部表示領域のサイズ比に基づいて決定される、ことと、
すべてが共通描画エリア内の共通没入シーンを示す一組の同時ビデオファイルを生成することであり、当該一組の同時ビデオファイルの生成が、上部表示領域および下部表示領域のそれぞれに決定された少なくとも1つの第1の寸法および少なくとも1つの第2の寸法に基づく、ことと、
を含む動作を実行させる命令を格納したメモリと、
を備えたシステム(たとえば、コンピュータシステム)を提供する。
第24の例は、
1つまたは複数のプロセッサと、
1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサにより実行された場合に、
すべてが共通没入シーンを示す一組の同時ビデオファイルの共通描画エリアに含まれる上向きビデオコンテンツおよび下向きビデオコンテンツにアクセスすることと、
上向きビデオコンテンツのビデオ複雑性解析、下向きビデオコンテンツのビデオ複雑性解析、上向きビデオコンテンツのビデオ重要性インジケータ、下向きビデオコンテンツのビデオ重要性インジケータ、またはコンテンツ配信ネットワークに対する測定アップロードデータレートのうちの少なくとも1つに基づいて、共通描画エリアの少なくとも1つの寸法を決定することにより共通描画エリアのサイズを決定することと、
共通描画エリアの上部表示領域の少なくとも1つの第1の寸法および共通描画エリアの下部表示領域の少なくとも1つの第2の寸法を決定することであり、少なくとも1つの第1の寸法および少なくとも1つの第2の寸法が、共通描画エリアの決定サイズに基づいて決定される、ことと、
すべてが共通描画エリア内の共通没入シーンを示す一組の同時ビデオファイルを生成することであり、当該一組の同時ビデオファイルの生成が、上部表示領域および下部表示領域のそれぞれに決定された少なくとも1つの第1の寸法および少なくとも1つの第2の寸法に基づく、ことと、
を含む動作を実行させる命令を格納したメモリと、
を備えたシステム(たとえば、コンピュータシステム)を提供する。
第25の例は、
マシンの1つまたは複数のプロセッサにより、対応する視聴方向と位置合わせされ、その他の部分よりも解像度が高い対応するフォービエイテッド領域を含む対応する描画エリアをそれぞれ示す複数の同時ビデオファイルにアクセスすることと、
マシンの1つまたは複数のプロセッサにより、複数の同時ビデオファイルのうちの第1の同時ビデオファイルが選択一次同時ビデオファイルであり、複数の同時ビデオファイルのうちの第2の同時ビデオファイルが非選択二次同時ビデオファイルであるものと判定することと、
マシンの1つまたは複数のプロセッサにより、選択一次同時ビデオファイルの対応するフォービエイテッド領域の少なくとも一部を表示画面の一次領域に割り当てることであり、一次領域の面積が表示画面の二次領域よりも大きい、ことと、
マシンの1つまたは複数のプロセッサにより、非選択二次同時ビデオファイルの対応するフォービエイテッド領域の少なくとも一部を表示画面の二次領域に割り当てることと、
マシンの1つまたは複数のプロセッサにより、表示画面の一次領域における選択一次同時ビデオファイルの対応するフォービエイテッド領域の割り当て部分の提示と、表示画面の二次領域における非選択二次同時ビデオファイルの対応するフォービエイテッド領域の割り当て部分の提示と、を表示画面に同時に行わせることと、
を含む方法を提供する。
第26の例は、マシンの1つまたは複数のプロセッサにより実行された場合に、
対応する視聴方向と位置合わせされ、その他の部分よりも解像度が高い対応するフォービエイテッド領域を含む対応する描画エリアをそれぞれ示す複数の同時ビデオファイルにアクセスすることと、
複数の同時ビデオファイルのうちの第1の同時ビデオファイルが選択一次同時ビデオファイルであり、複数の同時ビデオファイルのうちの第2の同時ビデオファイルが非選択二次同時ビデオファイルであるものと判定することと、
選択一次同時ビデオファイルの対応するフォービエイテッド領域の少なくとも一部を表示画面の一次領域に割り当てることであり、一次領域の面積が表示画面の二次領域よりも大きい、ことと、
非選択二次同時ビデオファイルの対応するフォービエイテッド領域の少なくとも一部を表示画面の二次領域に割り当てることと、
表示画面の一次領域における選択一次同時ビデオファイルの対応するフォービエイテッド領域の割り当て部分の提示と、表示画面の二次領域における非選択二次同時ビデオファイルの対応するフォービエイテッド領域の割り当て部分の提示と、を表示画面に同時に行わせることと、
を含む動作をマシンに実行させる命令を含むマシン可読媒体(たとえば、持続性マシン可読記憶媒体)を提供する。
第27の例は、
1つまたは複数のプロセッサと、
1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサにより実行された場合に、
対応する視聴方向と位置合わせされ、その他の部分よりも解像度が高い対応するフォービエイテッド領域を含む対応する描画エリアをそれぞれ示す複数の同時ビデオファイルにアクセスすることと、
複数の同時ビデオファイルのうちの第1の同時ビデオファイルが選択一次同時ビデオファイルであり、複数の同時ビデオファイルのうちの第2の同時ビデオファイルが非選択二次同時ビデオファイルであるものと判定することと、
選択一次同時ビデオファイルの対応するフォービエイテッド領域の少なくとも一部を表示画面の一次領域に割り当てることであり、一次領域の面積が表示画面の二次領域よりも大きい、ことと、
非選択二次同時ビデオファイルの対応するフォービエイテッド領域の少なくとも一部を表示画面の二次領域に割り当てることと、
表示画面の一次領域における選択一次同時ビデオファイルの対応するフォービエイテッド領域の割り当て部分の提示と、表示画面の二次領域における非選択二次同時ビデオファイルの対応するフォービエイテッド領域の割り当て部分の提示と、を表示画面に同時に行わせることと、
を含む動作を実行させる命令を格納したメモリと、
を備えたシステム(たとえば、コンピュータシステム)を提供する。

Claims (17)

  1. マシンの1つまたは複数のプロセッサにより、すべてが共通描画エリア内の共通没入シーンを示す一方、それぞれが異なる視聴方向に対応するとともに、それぞれが前記対応する視聴方向と位置合わせされ、前記共通描画エリアの対応するその他の部分よりも解像度が高い異なるフォービエイテッド領域を含む複数の同時ビデオファイルにアクセスすることと、
    前記マシンの1つまたは複数のプロセッサにより、前記複数の同時ビデオファイルのうちの第1の同時ビデオファイルの第1のフォービエイテッド領域に第1のピクチャー・イン・ピクチャー(PIP)ウィンドウを組み込むとともに、前記複数の同時ビデオファイルのうちの第2の同時ビデオファイルの第2のフォービエイテッド領域に第2のPIPウィンドウを組み込むことによって、前記複数の同時ビデオファイルのうちの少なくとも2つを修正することと、
    前記マシンの1つまたは複数のプロセッサにより、前記共通没入シーンを第1の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としての第1のリクエストに応答して、修正した前記第1の同時ビデオファイルを前記クライアントデバイスに提供することであり、提供された第1の同時ビデオファイルによって、前記クライアントデバイスが前記第1のフォービエイテッド領域に前記第1のPIPウィンドウをレンダリングする、ことと、
    前記マシンの1つまたは複数のプロセッサにより、前記共通没入シーンを第2の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としての第2のリクエストに応答して、修正した前記第2の同時ビデオファイルを前記クライアントデバイスに提供することであり、提供された第2の同時ビデオファイルによって、前記クライアントデバイスが前記第2のフォービエイテッド領域に前記第2のPIPウィンドウをレンダリングする、ことと、
    を含む方法。
  2. 前記第1の同時ビデオファイルの前記第1のフォービエイテッド領域に前記第1のPIPウィンドウを組み込むことが、前記第1のPIPウィンドウに補完ビデオコンテンツを組み込むことを含み、
    前記第2の同時ビデオファイルの前記第2のフォービエイテッド領域に前記第2のPIPウィンドウを組み込むことが、前記第2のPIPウィンドウに前記補完ビデオコンテンツを組み込むことを含む、請求項1に記載の方法。
  3. 前記第1の同時ビデオファイルおよび前記第2の同時ビデオファイルがそれぞれ、第1および第2の異なる視聴方向に対応し、
    前記第1のPIPウィンドウおよび前記第2のPIPウィンドウがそれぞれ、前記対応する第1および第2の異なる視聴方向と位置合わせされた、請求項2に記載の方法。
  4. 前記第1の同時ビデオファイルの前記第1のフォービエイテッド領域に前記第1のPIPウィンドウを組み込むことが、前記第1のPIPウィンドウに第1の補完ビデオコンテンツを組み込むことを含み、
    前記第2の同時ビデオファイルの前記第2のフォービエイテッド領域に前記第2のPIPウィンドウを組み込むことが、前記第2のPIPウィンドウに前記第1の補完ビデオコンテンツと異なる第2の補完ビデオコンテンツを組み込むことを含む、請求項1に記載の方法。
  5. 前記第1の同時ビデオファイルおよび前記第2の同時ビデオファイルがそれぞれ、第1および第2の異なる視聴方向に対応し、
    前記第1のPIPウィンドウおよび前記第2のPIPウィンドウがそれぞれ、前記対応する第1および第2の異なる視聴方向と位置合わせされた、請求項に記載の方法。
  6. 前記第2の同時ビデオファイルの前記第2のフォービエイテッド領域に前記第2のPIPウィンドウを組み込むことが、前記第2のフォービエイテッド領域に前記第2のPIPウィンドウの第1のインスタンスを組み込み、
    前記複数の同時ビデオファイルのうちの少なくとも2つを修正することが、前記第1の同時ビデオファイルの非フォービエイテッド領域に前記第2のPIPウィンドウの第2のインスタンスを組み込むことを含む、請求項に記載の方法。
  7. 前記第1の同時ビデオファイルの前記非フォービエイテッド領域に前記第2のPIPウィンドウの前記第2のインスタンスを組み込むことが、前記第1のPIPウィンドウよりも低い解像度で、前記第1の同時ビデオファイルの前記第1のフォービエイテッド領域に前記第2のPIPウィンドウの前記第2のインスタンスを組み込む、請求項に記載の方法。
  8. マシンの1つまたは複数のプロセッサにより実行された場合に、
    すべてが共通描画エリア内の共通没入シーンを示す一方、それぞれが異なる視聴方向に対応するとともに、それぞれが前記対応する視聴方向と位置合わせされ、前記共通描画エリアの対応するその他の部分よりも解像度が高い異なるフォービエイテッド領域を含む複数の同時ビデオファイルにアクセスすることと、
    前記複数の同時ビデオファイルのうちの第1の同時ビデオファイルの第1のフォービエイテッド領域に第1のピクチャー・イン・ピクチャー(PIP)ウィンドウを組み込むとともに、前記複数の同時ビデオファイルのうちの第2の同時ビデオファイルの第2のフォービエイテッド領域に第2のPIPウィンドウを組み込むことによって、前記複数の同時ビデオファイルのうちの少なくとも2つを修正することと、
    前記共通没入シーンを第1の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としての第1のリクエストに応答して、修正した前記第1の同時ビデオファイルを前記クライアントデバイスに提供することであり、提供された第1の同時ビデオファイルによって、前記クライアントデバイスが前記第1のフォービエイテッド領域に前記第1のPIPウィンドウをレンダリングする、ことと、
    前記共通没入シーンを第2の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としての第2のリクエストに応答して、修正した前記第2の同時ビデオファイルを前記クライアントデバイスに提供することであり、提供された第2の同時ビデオファイルによって、前記クライアントデバイスが前記第2のフォービエイテッド領域に前記第2のPIPウィンドウをレンダリングする、ことと、
    を含む動作を前記マシンに実行させる命令を含む持続性マシン可読記憶媒体。
  9. 前記第1の同時ビデオファイルの前記第1のフォービエイテッド領域に前記第1のPIPウィンドウを組み込むことが、前記第1のPIPウィンドウに補完ビデオコンテンツを組み込むことを含み、
    前記第2の同時ビデオファイルの前記第2のフォービエイテッド領域に前記第2のPIPウィンドウを組み込むことが、前記第2のPIPウィンドウに前記補完ビデオコンテンツを組み込むことを含む、請求項に記載の持続性マシン可読記憶媒体。
  10. 前記第1の同時ビデオファイルの前記第1のフォービエイテッド領域に前記第1のPIPウィンドウを組み込むことが、前記第1のPIPウィンドウに第1の補完ビデオコンテンツを組み込むことを含み、
    前記第2の同時ビデオファイルの前記第2のフォービエイテッド領域に前記第2のPIPウィンドウを組み込むことが、前記第2のPIPウィンドウに前記第1の補完ビデオコンテンツと異なる第2の補完ビデオコンテンツを組み込むことを含む、請求項に記載の持続性マシン可読記憶媒体。
  11. 前記第2の同時ビデオファイルの前記第2のフォービエイテッド領域に前記第2のPIPウィンドウを組み込むことが、前記第2のフォービエイテッド領域に前記第2のPIPウィンドウの第1のインスタンスを組み込み、
    前記複数の同時ビデオファイルのうちの少なくとも2つを修正することが、前記第1の同時ビデオファイルの非フォービエイテッド領域に前記第2のPIPウィンドウの第2のインスタンスを組み込むことを含む、請求項10に記載の持続性マシン可読記憶媒体。
  12. 前記第1の同時ビデオファイルの前記非フォービエイテッド領域に前記第2のPIPウィンドウの前記第2のインスタンスを組み込むことが、前記第1のPIPウィンドウよりも低い解像度で、前記第1の同時ビデオファイルの前記第1のフォービエイテッド領域に前記第2のPIPウィンドウの前記第2のインスタンスを組み込む、請求項11に記載の持続性マシン可読記憶媒体。
  13. 1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサにより実行された場合に、
    すべてが共通描画エリア内の共通没入シーンを示す一方、それぞれが異なる視聴方向に対応するとともに、それぞれが前記対応する視聴方向と位置合わせされ、前記共通描画エリアの対応するその他の部分よりも解像度が高い異なるフォービエイテッド領域を含む複数の同時ビデオファイルにアクセスすることと、
    前記複数の同時ビデオファイルのうちの第1の同時ビデオファイルの第1のフォービエイテッド領域に第1のピクチャー・イン・ピクチャー(PIP)ウィンドウを組み込むとともに、前記複数の同時ビデオファイルのうちの第2の同時ビデオファイルの第2のフォービエイテッド領域に第2のPIPウィンドウを組み込むことによって、前記複数の同時ビデオファイルのうちの少なくとも2つを修正することと、
    前記共通没入シーンを第1の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としての第1のリクエストに応答して、修正した前記第1の同時ビデオファイルを前記クライアントデバイスに提供することであり、提供された第1の同時ビデオファイルによって、前記クライアントデバイスが前記第1のフォービエイテッド領域に前記第1のPIPウィンドウをレンダリングする、ことと、
    前記共通没入シーンを第2の視聴方向にレンダリングするようにクライアントデバイスが要求された結果としての第2のリクエストに応答して、修正した前記第2の同時ビデオファイルを前記クライアントデバイスに提供することであり、提供された第2の同時ビデオファイルによって、前記クライアントデバイスが前記第2のフォービエイテッド領域に前記第2のPIPウィンドウをレンダリングする、ことと、
    を含む動作を実行させる命令を格納したメモリと、
    を備えたシステム。
  14. 前記第1の同時ビデオファイルの前記第1のフォービエイテッド領域に前記第1のPIPウィンドウを組み込むことが、前記第1のPIPウィンドウに補完ビデオコンテンツを組み込むことを含み、
    前記第2の同時ビデオファイルの前記第2のフォービエイテッド領域に前記第2のPIPウィンドウを組み込むことが、前記第2のPIPウィンドウに前記補完ビデオコンテンツを組み込むことを含む、請求項13に記載のシステム。
  15. 前記第1の同時ビデオファイルの前記第1のフォービエイテッド領域に前記第1のPIPウィンドウを組み込むことが、前記第1のPIPウィンドウに第1の補完ビデオコンテンツを組み込むことを含み、
    前記第2の同時ビデオファイルの前記第2のフォービエイテッド領域に前記第2のPIPウィンドウを組み込むことが、前記第2のPIPウィンドウに前記第1の補完ビデオコンテンツと異なる第2の補完ビデオコンテンツを組み込むことを含む、請求項13に記載のシステム。
  16. 前記第2の同時ビデオファイルの前記第2のフォービエイテッド領域に前記第2のPIPウィンドウを組み込むことが、前記第2のフォービエイテッド領域に前記第2のPIPウィンドウの第1のインスタンスを組み込み、
    前記複数の同時ビデオファイルのうちの少なくとも2つを修正することが、前記第1の同時ビデオファイルの非フォービエイテッド領域に前記第2のPIPウィンドウの第2のインスタンスを組み込むことを含む、請求項15に記載のシステム。
  17. 前記第1の同時ビデオファイルの前記非フォービエイテッド領域に前記第2のPIPウィンドウの前記第2のインスタンスを組み込むことが、前記第1のPIPウィンドウよりも低い解像度で、前記第1の同時ビデオファイルの前記第1のフォービエイテッド領域に前記第2のPIPウィンドウの前記第2のインスタンスを組み込む、請求項16に記載のシステム。
JP2021505181A 2018-04-11 2019-04-08 デジタルメディアシステム Active JP7174941B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022172267A JP2023021982A (ja) 2018-04-11 2022-10-27 デジタルメディアシステム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862656149P 2018-04-11 2018-04-11
US62/656,149 2018-04-11
US201862743083P 2018-10-09 2018-10-09
US62/743,083 2018-10-09
PCT/US2019/026264 WO2019199637A1 (en) 2018-04-11 2019-04-08 Digital media system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022172267A Division JP2023021982A (ja) 2018-04-11 2022-10-27 デジタルメディアシステム

Publications (2)

Publication Number Publication Date
JP2021521747A JP2021521747A (ja) 2021-08-26
JP7174941B2 true JP7174941B2 (ja) 2022-11-18

Family

ID=66223878

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021505181A Active JP7174941B2 (ja) 2018-04-11 2019-04-08 デジタルメディアシステム
JP2022172267A Pending JP2023021982A (ja) 2018-04-11 2022-10-27 デジタルメディアシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022172267A Pending JP2023021982A (ja) 2018-04-11 2022-10-27 デジタルメディアシステム

Country Status (6)

Country Link
US (3) US11343568B2 (ja)
EP (2) EP3777208B1 (ja)
JP (2) JP7174941B2 (ja)
KR (3) KR102406219B1 (ja)
CN (1) CN112567759B (ja)
WO (1) WO2019199637A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102406219B1 (ko) 2018-04-11 2022-06-08 알카크루즈 인코포레이티드 디지털 미디어 시스템
KR102582407B1 (ko) * 2019-07-28 2023-09-26 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
US11979633B2 (en) * 2019-12-12 2024-05-07 Kovue Systems Llc Hybrid data collection system to create an integrated database of connected and detailed consumer video viewing data in real-time
US11956482B2 (en) * 2020-07-16 2024-04-09 Comcast Cable Communications, Llc Systems and methods for storing and delivering content assets
US11800179B2 (en) 2020-12-03 2023-10-24 Alcacruz Inc. Multiview video with one window based on another
US11736748B2 (en) 2020-12-16 2023-08-22 Tencent America LLC Reference of neural network model for adaptation of 2D video for streaming to heterogeneous client end-points
US11943271B2 (en) 2020-12-17 2024-03-26 Tencent America LLC Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points
CN112738610A (zh) * 2020-12-25 2021-04-30 北京达佳互联信息技术有限公司 多媒体数据的显示控制方法、装置、电子设备及存储介质
US11983214B2 (en) * 2021-11-05 2024-05-14 Tencent America LLC Reuse of redundant assets with client query

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175738A1 (ja) 2016-04-08 2017-10-12 株式会社コロプラ 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
JP2017208808A (ja) 2017-04-04 2017-11-24 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体
US20180098131A1 (en) 2016-09-30 2018-04-05 Avago Technologies General Ip (Singapore) Pte. Ltd. Apparatus and methods for adaptive bit-rate streaming of 360 video

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001069911A2 (en) * 2000-03-07 2001-09-20 Relative Motion Technologies, Inc. Interactive multimedia transmission system
JP2003284196A (ja) * 2002-03-20 2003-10-03 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
US6968973B2 (en) * 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
US8665374B2 (en) * 2008-08-22 2014-03-04 Disney Enterprises, Inc. Interactive video insertions, and applications thereof
US20100188579A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
CN102164273A (zh) * 2011-04-20 2011-08-24 上海交通大学 手术室医学信息重构与交互***
US20130155325A1 (en) 2011-12-16 2013-06-20 General Instrument Corporation Region of interest selection, decoding and rendering of picture-in-picture window
WO2014053875A1 (en) * 2012-10-01 2014-04-10 Nokia Corporation An apparatus and method for reproducing recorded audio with correct spatial directionality
WO2015197815A1 (en) 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
WO2016004258A1 (en) * 2014-07-03 2016-01-07 Gopro, Inc. Automatic generation of video and directional audio from spherical content
US10038887B2 (en) * 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US9877016B2 (en) * 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
US10313745B2 (en) * 2016-01-17 2019-06-04 Bitmovin Gmbh Adaptive streaming of an immersive video scene
CN105933726A (zh) * 2016-05-13 2016-09-07 乐视控股(北京)有限公司 虚拟现实终端及其视频分辨率的适应方法及装置
US20170347219A1 (en) * 2016-05-27 2017-11-30 VideoStitch Inc. Selective audio reproduction
US20170374364A1 (en) * 2016-06-23 2017-12-28 Mediatek Inc. Method and Apparatus of Face Independent Coding Structure for VR Video
US9881647B2 (en) * 2016-06-28 2018-01-30 VideoStitch Inc. Method to align an immersive video and an immersive sound field
TWI775760B (zh) * 2016-07-08 2022-09-01 美商Vid衡器股份有限公司 使用幾何投影360度視訊編碼
CN205844637U (zh) * 2016-07-13 2016-12-28 肖敦金 一种vr全景声头戴影院
US10222958B2 (en) 2016-07-22 2019-03-05 Zeality Inc. Customizing immersive media content with embedded discoverable elements
US10020025B2 (en) * 2016-07-22 2018-07-10 Zeality Inc. Methods and systems for customizing immersive media content
WO2018042658A1 (ja) * 2016-09-05 2018-03-08 マクセル株式会社 携帯情報端末、頭部装着表示システム、及びその音声出力制御方法
CN106331645B (zh) * 2016-09-08 2019-02-22 北京美吉克科技发展有限公司 利用虚拟镜头实现vr全景视频后期编辑的方法和***
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
CN106790996A (zh) * 2016-11-25 2017-05-31 杭州当虹科技有限公司 手机虚拟现实交互***及方法
CN106658212A (zh) * 2017-01-20 2017-05-10 北京红马传媒文化发展有限公司 一种基于html5的vr在线播放方法、***及播放器
US10515466B2 (en) * 2017-06-09 2019-12-24 Sony Interactive Entertainment Inc. Optimized deferred lighting in a foveated rendering system
CN107396086A (zh) * 2017-07-28 2017-11-24 歌尔科技有限公司 基于vr头戴设备播放视频的方法及vr头戴设备
CN107396077B (zh) * 2017-08-23 2022-04-08 深圳看到科技有限公司 虚拟现实全景视频流投影方法和设备
KR102406219B1 (ko) 2018-04-11 2022-06-08 알카크루즈 인코포레이티드 디지털 미디어 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175738A1 (ja) 2016-04-08 2017-10-12 株式会社コロプラ 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
US20180098131A1 (en) 2016-09-30 2018-04-05 Avago Technologies General Ip (Singapore) Pte. Ltd. Apparatus and methods for adaptive bit-rate streaming of 360 video
JP2017208808A (ja) 2017-04-04 2017-11-24 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
EP3777208B1 (en) 2021-09-29
US20220248088A1 (en) 2022-08-04
KR20230051309A (ko) 2023-04-17
US11343568B2 (en) 2022-05-24
CN112567759B (zh) 2023-09-29
EP3777208A1 (en) 2021-02-17
US20210037287A1 (en) 2021-02-04
US20230283840A1 (en) 2023-09-07
KR20220081386A (ko) 2022-06-15
EP3955584A1 (en) 2022-02-16
WO2019199637A1 (en) 2019-10-17
KR102518869B1 (ko) 2023-04-06
KR102406219B1 (ko) 2022-06-08
CN112567759A (zh) 2021-03-26
EP3955584B1 (en) 2024-07-10
US11589110B2 (en) 2023-02-21
JP2023021982A (ja) 2023-02-14
JP2021521747A (ja) 2021-08-26
KR20200143719A (ko) 2020-12-24

Similar Documents

Publication Publication Date Title
JP7174941B2 (ja) デジタルメディアシステム
US11563997B2 (en) Streaming media presentation system
US11146646B2 (en) Non-disruptive display of video streams on a client system
US10701121B2 (en) Live broadcast on an online social network
US8745657B2 (en) Inserting interactive objects into video content
US11172248B2 (en) Systems and methods for customizing and compositing a video feed at a client device
US20210208836A1 (en) Synchronization of Digital Content Consumption
US10529122B2 (en) Information processing apparatus, information processing method, and storage medium
WO2018120519A1 (zh) 图像处理的方法和装置
AU2020216550B2 (en) Systems and methods for customizing and compositing a video feed at a client device
JP7343588B2 (ja) クライアントデバイスでビデオフィードをカスタマイズおよび合成するためのシステムおよび方法
US11315301B1 (en) Rendering post-capture artificial-reality effects based on artificial-reality state information
KR102585777B1 (ko) 전자 장치 및 그 제어방법
JP2024018622A (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20201207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221027

R150 Certificate of patent or registration of utility model

Ref document number: 7174941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150