JP7114714B2 - 拡張現実において補完コンテンツを提示するためのシステムおよび方法 - Google Patents

拡張現実において補完コンテンツを提示するためのシステムおよび方法 Download PDF

Info

Publication number
JP7114714B2
JP7114714B2 JP2020536160A JP2020536160A JP7114714B2 JP 7114714 B2 JP7114714 B2 JP 7114714B2 JP 2020536160 A JP2020536160 A JP 2020536160A JP 2020536160 A JP2020536160 A JP 2020536160A JP 7114714 B2 JP7114714 B2 JP 7114714B2
Authority
JP
Japan
Prior art keywords
user
content
augmented reality
media guidance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020536160A
Other languages
English (en)
Other versions
JP2021509206A5 (ja
JP2021509206A (ja
Inventor
アダム ベイツ,
ジェシー エフ. パターソン,
マーク ケー. バーナー,
エリック ドーシー,
ジョナサン エー. ローガン,
デイビッド ダブリュー. チェンバリン,
ポール スティーブンス,
ハーバート エー. ウォーターマン,
Original Assignee
ロヴィ ガイズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ロヴィ ガイズ, インコーポレイテッド filed Critical ロヴィ ガイズ, インコーポレイテッド
Publication of JP2021509206A publication Critical patent/JP2021509206A/ja
Publication of JP2021509206A5 publication Critical patent/JP2021509206A5/ja
Priority to JP2022119680A priority Critical patent/JP2022161914A/ja
Application granted granted Critical
Publication of JP7114714B2 publication Critical patent/JP7114714B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

ユーザは、拡張現実デバイスを使用し、ユーザの視野内に特徴または情報を追加することによって、ユーザの環境の向上または修正されたバージョンを提供することができる。既存の拡張現実アプリケーションは、例えば、ユーザの環境にオーバーレイするゲーム、または視野内のオブジェクトのための情報を取得し得る情報サービスを含む。そのような情報が、ユーザに関連性があるように調整され得る場合に、有用であろう。
故に、システムおよび方法が、拡張現実において補完コンテンツを提示するために説明される。拡張現実は、現実世界の視界にわたってオーバーレイされる向上された情報を含み得る、現実の修正されたバージョンである。一般に、拡張現実環境は、スマートグラスまたはヘッドセット等の専用デバイスを使用して、アクセスされることができる。拡張現実環境はまた、スマートフォンまたはタブレット等の多目的ポータブルデバイス上のアプリケーションを使用して、アクセスされることもできる。拡張現実環境は、カメラを使用して、実世界の視界の写真を取得し、コンピュータまたはプロセッサを使用して、写真を分析し、視聴者またはユーザへのある関連性を有し、1つまたは複数のオブジェクトについての情報、またはそれに関する双方向オプションを提供するものとして識別され得る、写真内のオブジェクトを検出してもよい。
実施例では、拡張現実ユーザは、スマートグラス、ヘッドセット、携帯電話、またはスマートフォン等の拡張現実デバイスを使用し、場面を視認してもよい。拡張現実デバイス(例えば、スマートグラスまたはスマートフォン)は、場面の写真またはビデオ画像を捕捉し、画像内のオブジェクトを検索してもよい。いくつかのシナリオでは、ユーザは、具体的には、例えば、オブジェクトの方向に拡張現実デバイスを向けることによって、場面内の特定のオブジェクトに焦点を当ててもよい。メディアガイドアプリケーションは、画像内の1つ以上のオブジェクトを分析し、オブジェクトのうちのいずれかがユーザへの関連を有するかどうかを決定してもよい。ユーザへの関連を有することが決定される任意のオブジェクトに関して、メディアガイドアプリケーションは、ユーザのためにオブジェクトに関連する補完コンテンツを識別してもよい。いくつかのシナリオでは、ユーザとオブジェクトとの間の関連を識別するために、メディアガイドアプリケーションは、ユーザプロファイル、ユーザ履歴、ユーザのソーシャルメディア、またはユーザについての情報の別のソースを検索してもよい。メディアガイドアプリケーションによって識別される補完コンテンツは、例えば、ソーシャルネットワークまたはソーシャルメディアから取得され得るオブジェクトに関連するメッセージ、ビデオクリップ、テレビ番組、映画、画像、書籍、または他のメディアコンテンツ等のオブジェクトに関連するメディアコンテンツであってもよい。
実施例では、拡張現実において補完コンテンツを提示するための方法が、ユーザの拡張現実デバイスの視野内のオブジェクトを識別することによって提供されてもよい。視野は、ユーザが使用することを所望する任意の環境であってもよい。例えば、視野は、ユーザが存在する場所であってもよい。例えば、視野は、ユーザが存在する部屋、またはユーザが歩いている街路の場面、またはユーザが探し求めているが、存在していない場合がある場所であってもよい。視野はまた、看板、写真、雑誌広告等の画像であり得る。拡張現実デバイスは、そのような視野の画像を捕捉してもよい。画像は、視野を捕捉するビデオまたは静止画像であってもよい。メディアガイドアプリケーションは、画像を処理し、画像内のオブジェクトを検出してもよい。メディアガイドアプリケーションは、オブジェクト上で、イベントの参加者に関連し得る参照を検出してもよい。例えば、メディアガイドアプリケーションは、スポーツチームのメンバーに関係があり得る、画像内の看板、車両、衣服、または別の場所等のスポーツチームロゴが画像内にあり、スポーツチームがスケジュールされた試合または別の今後のイベントを有し得ることを検出してもよい。
メディアガイドアプリケーションは、ユーザのプロファイルを検索し、ユーザと参加者との間の関連を見出してもよい。例えば、メディアガイドアプリケーションは、参加者に関するユーザによるメッセージに関して、ソーシャルネットワークを検索してもよい。実施例では、ユーザは、スポーツチームの参加者について、またはチームについて、またはスポーツについて、Twitter上に投稿している場合がある。メディアガイドアプリケーションが、参加者またはチームに関するユーザによるソーシャルメディアメッセージを識別することができる場合、メディアガイドアプリケーションは、拡張現実デバイスを使用して、参加者についてのメッセージをオーバーレイしてもよい。例えば、メディアガイドアプリケーションは、拡張現実環境で見られるように、画像内の選手に関連するオブジェクトにわたって、スポーツ選手についてのユーザのソーシャルメディア投稿をオーバーレイし得る。
拡張現実環境内のメッセージオーバーレイは、メッセージが、オブジェクト上で検出される参照と拡張現実画像内で組み合わせられ得るように、参加者に関するユーザによるソーシャルメディアメッセージのコンテンツであり得る。いくつかのシナリオでは、メッセージは、ソーシャルメディア投稿で使用されたものと同一であり得る。他のシナリオでは、メッセージは、短縮される、または省略される、または別様にソーシャルメディア投稿メッセージに基づいてもよい。いくつかの実施例では、オーバーレイされたメッセージの場所は、拡張現実デバイスの視野内のオブジェクトの場所の上または近傍にあってもよい。
別の実施例では、ユーザの拡張現実デバイスが、拡張現実デバイスの視野内のオブジェクトにわたって位置付けられ得る、拡張現実において補完コンテンツを提示するための方法が、提供される。例えば、ユーザは、スマートグラスを用いて特定の視野を見て、オブジェクトにわたって視界を位置付けてもよい。別の実施例では、ユーザは、視野内のオブジェクトにわたって、拡張現実機能性を有するポータブルデバイスを設置してもよい。例えば、ユーザは、概して、オブジェクトの方向にスマートフォンカメラを向けてもよい。ユーザはまた、スマートフォンカメラを使用して、オブジェクトにズームインし得る。
メディアガイドアプリケーションは、ユーザの拡張現実デバイスの視野内のオブジェクトを識別してもよい。例えば、メディアガイドアプリケーションは、スマートフォンのカメラの焦点である、あるオブジェクトを検出してもよい。いくつかの実施例では、オブジェクトは、画面の中央にあってもよい。別の実施例では、オブジェクトは、何らかの方法でユーザと関連付けられるものとして、ユーザプロファイル内に記憶されるオブジェクトであってもよい。
メディアガイドアプリケーションは、オブジェクトの画像を捕捉してもよい。画像は、例えば、写真またはスクリーンショットを撮影することによって、拡張現実デバイス内で捕捉されてもよい。画像はまた、カメラ回路を使用して捕捉され、オブジェクトを表すピクセルを記憶してもよい。メディアガイドアプリケーションは、次いで、データベースを検索し、オブジェクトの画像の少なくとも一部に合致するコンテンツを識別してもよい。例えば、メディアガイドアプリケーションは、画像検索ツールを使用して、1つ以上の画像データベースを検索し、オブジェクト画像の一部の合致を見出してもよい。
データベースを検索し、好適なコンテンツを識別するステップはまた、画像をコンテンツと関連付けるエントリを含む、データベースを検索するステップを含んでもよい。そのようなデータベースは、ユーザに関連し、随時生じ得る、興味深い補完コンテンツを含む、エントリを含むように事前定義されてもよい。そのようなデータベースを設定することは、検索結果を改良し、ユーザのために好適な補完コンテンツを識別する時間を短縮することができる。より多くのコンテンツアイテムを有し得るが、関連付けられる画像を伴って定義されない、一般的メディアデータベースを検索することに加えて、そのようなデータベースが、検索され得る。データベースは、画像をコンテンツと関連付ける複数のエントリを記憶している場合がある。画像は、オブジェクトの捕捉された画像内の複数の明確に異なるアイテムを検出するように、メディアガイドアプリケーションの制御回路によって分析されてもよい。明確に異なるアイテムは、例えば、ロゴ、顔、ブランド名、または他のオブジェクトおよびアイテムであってもよい。明確に異なるアイテムは、関連付けられるコンテンツと合致されてもよく、明確に異なるアイテムおよびコンテンツを関連付けるエントリが、データベース内に記憶されてもよい。エントリは、アイテムまたはオブジェクトに関して検索されてもよく、明確に異なるアイテムのうちの1つに実質的に対応する、合致するエントリが、識別されてもよい。メディアガイドアプリケーションがそのような合致を行う場合、オブジェクトの捕捉された画像の一部であり、したがって、オブジェクト画像にも関連する、明確に異なるアイテムと関連付けられるエントリ内のコンテンツが、メディアガイドアプリケーションによって読み出され、ユーザのために拡張現実環境に供給されてもよい。
オブジェクト画像または画像の一部に合致するコンテンツが、メディアデータベース内で見出される場合、メディアガイドアプリケーションは、合致するコンテンツのためのメタデータを読み出してもよい。メタデータは、分析され、イベントの参加者に関連する情報または参照を検出するために使用されてもよい。例えば、メディアガイドアプリケーションは、合致するスポーツチームロゴ画像を見出してもよく、関連付けられるメタデータは、1つまたは複数のスポーツチーム選手名を含んでもよい。メディアガイドアプリケーションは、次いで、ユーザによってソーシャルネットワークに以前に伝送されたメッセージのリストを検索し、参加者に合致するコンテンツを含むメッセージを識別してもよい。例えば、メディアガイドアプリケーションは、合致するロゴを有するスポーツチームの選手に関連するメッセージに関して、ユーザのソーシャルメディア投稿を検索してもよい。
メディアガイドアプリケーションは、拡張現実デバイス内の視野を分析し、オブジェクトおよび参照の場所または位置を見出してもよい。特に、メディアガイドアプリケーションは、参加者に関連する参照のオブジェクト上の場所を識別してもよい。スポーツチームロゴの実施例では、メディアガイドアプリケーションは、ロゴを有する視野内のオブジェクトの領域を識別してもよい。メディアガイドアプリケーションは、合致するコンテンツに合致する画像の一部を含む、視野内のオブジェクトの領域を決定してもよい。別の実施例では、メディアガイドアプリケーションは、ジャージまたは看板上の選手の名前を識別し、名前を含む視野内のオブジェクトの領域を決定してもよい。
識別された場所は、次いで、拡張現実デバイス内でメッセージを位置付けるために、メディアガイドアプリケーションによって使用されてもよい。例えば、メディアガイドアプリケーションは、拡張現実デバイスに、オブジェクトの場所においてユーザのために視野内でメッセージをオーバーレイさせてもよい。メッセージのコンテンツは、オブジェクト上で検出された参照と組み合わせられてもよい。実施例では、ユーザは、以前にスポーツチームの選手についてソーシャルネットワークに投稿している場合があり、そのようなソーシャルメディアメッセージは、参照オブジェクトにわたって拡張現実視野内で重ね合わせられてもよい。
例証的実施例では、視野内の画像は、スポーツ関連であり得る。視野内のコンテンツ、オブジェクト、またはアイテムの実施例は、スポーツロゴであってもよい。関連補完コンテンツに関する検索は、スポーツロゴを検出するステップと、例えば、関連付けられるチーム名およびロゴに関して、データベース内のエントリを検索することによって、またはロゴのためのメタデータを使用することによって、スポーツロゴと関連付けられるスポーツチームの名称を決定するステップとを含んでもよい。
別の実施例では、イベントは、スポーツイベントであってもよい。メディアガイドアプリケーションは、イベントがスポーツイベントであることを決定する場合、メディアガイドアプリケーションは、スポーツイベントに参加する競争相手を識別してもよい。競争相手は、イベントについての情報またはメタデータに関してメディアデータベースを検索することによって、識別されてもよい。メディアガイドアプリケーションはまた、同一の様式で、スポーツイベントで取り上げられているチームを決定してもよい。競争相手情報は、スポーツイベントに参加している第2のチームを決定するために使用されてもよい。例えば、競争相手情報は、チーム情報を含む選手毎にメタデータを含んでもよい。第2のチームが識別される場合、メディアガイドアプリケーションは、第1のチーム、競争相手のうちのいずれか、または第2のチームに関連する、拡張現実視界内に含むべきメッセージを選択してもよい。
別の実施例では、イベントは、関連付けられる時間を有してもよい。例えば、スポーツイベントは、特定の時間に、または別のイベントに続いて特定の順序でスケジュールされてもよい。イベントのための時間は、メディアガイドアプリケーションによって識別されてもよい。拡張現実視界内に含むようにメディアガイドアプリケーションによって選択されるメッセージは、イベント時間に関連性がある、または好適である、時間の閾値内にユーザのソーシャルネットワークに伝送されたものであってもよい。例えば、1年経っているスポーツチームについてのメッセージは、近い将来にスケジュールされる試合に関連性があり得ない。代わりに、スポーツチームについてのより最近のメッセージが、メディアガイドアプリケーションによって選択されてもよい。
メッセージが、拡張現実デバイスのための視野内のオブジェクト内の参照と組み合わせられた後に、ユーザは、視界の画像を捕捉することを所望し得る。メディアガイドアプリケーションは、ユーザのためにオブジェクト上で検出される参照と組み合わせられる、所与のメッセージの拡張現実デバイスを通した視界を表す写真を記憶してもよい。写真は、ユーザが写真をソーシャルネットワークに伝送するためのオプションとともに、メディアガイドアプリケーションによって生成される表示内でユーザに提示されてもよい。
別の例証的実施例では、ユーザは、拡張現実デバイスを用いて、スポーツチームへの関連を有する衣類を着用している別の個人を視認してもよい。例えば、第2の個人の衣類は、スポーツチームのグラフィックロゴまたは別の表現を含んでもよい。そのような画像が、拡張現実視野内にあり、したがって、メディアガイドアプリケーションによって捕捉された場合、ユーザのためにメディアガイドアプリケーションによって生成される、結果として生じる複合メッセージおよびオブジェクト視界もまた、第2の個人に伝送され得る。例えば、メディアガイドアプリケーションは、画像と組み合わせられたメッセージを、第2のユーザのコンピュータまたはスマートフォン、または拡張現実デバイスに送信させ得る。
上記に説明されるシステム、方法、装置、および/または側面は、本開示に説明される他のシステム、方法、装置、および/または側面に適用される、またはそれに従って使用され得ることに留意されたい。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
拡張現実において補完コンテンツを提示するための方法であって、前記方法は、
ユーザの拡張現実デバイスの視野内のオブジェクトを識別することと、
前記オブジェクトの画像を処理し、前記オブジェクト上で、イベントの参加者に関連する参照を検出することと、
前記ユーザのプロファイルを検索し、前記ユーザによってソーシャルネットワークに以前に伝送された前記参加者についてのメッセージを識別することと、
前記拡張現実デバイスを使用して、前記オブジェクトの場所において、前記ユーザによって前記ソーシャルネットワークに伝送される前記メッセージのコンテンツをオーバーレイし、前記メッセージを前記オブジェクト上で検出される前記参照と組み合わせることと
を含む、方法。
(項目2)
拡張現実において補完コンテンツを提示するための方法であって、前記方法は、
拡張現実デバイスの視野内のオブジェクトにわたって第1のユーザの拡張現実デバイスを位置付けることと、
前記第1のユーザの拡張現実デバイスの視野内の前記オブジェクトを識別することと、
前記オブジェクトの画像を捕捉することと、
データベースを検索し、前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別することと、
前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別することに応答して、前記コンテンツと関連付けられるメタデータを読み出し、前記オブジェクト上で、イベントの参加者に関連する参照を検出することと、
前記第1のユーザによってソーシャルネットワークに以前に伝送されたメッセージのリストを検索し、前記参加者に合致するコンテンツを含む所与のメッセージを識別することと、
前記識別されたコンテンツに合致する前記画像の一部を含む前記視野内の前記オブジェクトの領域を決定することによって、前記参加者に関連する前記参照のオブジェクト上の場所を識別することと、
前記拡張現実デバイスを使用して、前記識別された場所に対する位置において、前記所与のメッセージを前記オブジェクト上で検出される前記参照と組み合わせることと
を含む、方法。
(項目3)
前記画像を捕捉することは、カメラ回路を使用し、前記オブジェクトを表すピクセルを記憶することを含む、項目2に記載の方法。
(項目4)
前記データベースを検索することは、
画像をコンテンツと関連付ける複数のエントリを前記データベース内に記憶することと、
前記オブジェクトの捕捉された画像内の複数の明確に異なるアイテムを検出することと、
前記明確に異なるアイテムのうちの所与のものに実質的に対応する所与の画像を含む前記複数のエントリのうちの所与のものを識別することと、
前記所与の画像と関連付けられる前記コンテンツを読み出すことと
を含む、項目2に記載の方法。
(項目5)
前記コンテンツは、第1のチームのロゴを備え、前記ロゴのデータベース検索に基づいて、かつ前記メタデータに基づいて、前記第1のチームの名称を決定することをさらに含む、項目4に記載の方法。
(項目6)
前記イベントは、スポーツイベントであり、
前記スポーツイベントにおける複数の競争相手を識別することと、
前記第1のチームが前記スポーツイベントで取り上げられていることを決定することと、
前記複数の競争相手を検索し、前記スポーツイベントで取り上げられている第2のチームを識別することと、
前記所与のメッセージとして、前記第2のチームを含む前記メッセージのうちの1つを選択することと
をさらに含む、項目5に記載の方法。
(項目7)
前記イベントと関連付けられる時間を識別することと、
前記時間の閾値内に前記ソーシャルネットワークに伝送された前記メッセージのリストのサブセットを選択することと
をさらに含む、項目2に記載の方法。
(項目8)
前記オブジェクト上で検出される前記参照と組み合わせられる前記所与のメッセージの拡張現実デバイスを通した視界を表す写真を記憶することと、
前記ユーザが前記写真を前記ソーシャルネットワークに伝送するためのオプションを表示するために生成することと
をさらに含む、項目2に記載の方法。
(項目9)
前記オブジェクトは、第2のユーザによって着用される衣料品を含み、前記画像の一部は、前記第2のユーザによって着用される前記衣料品上のグラフィックを含み、前記コンテンツは、前記グラフィックによって表されるチームを含む、項目2に記載の方法。
(項目10)
前記所与のメッセージおよび前記オブジェクト上で検出される前記参照の複合コンテンツを含むメッセージを、前記オブジェクトと関連付けられる第2のユーザに伝送することをさらに含む、項目2に記載の方法。
(項目11)
前記拡張現実デバイスは、携帯電話またはユーザによって着用されるヘッドセットを備える、項目2に記載の方法。
(項目12)
拡張現実において補完コンテンツを提示するためのシステムであって、前記システムは、
ユーザ入力を受信するように構成される入出力(I/O)インターフェース回路と、
制御回路であって、
拡張現実デバイスの視野内のオブジェクトにわたって第1のユーザの拡張現実デバイスを位置付けることと、
前記第1のユーザの拡張現実デバイスの視野内の前記オブジェクトを識別することと、
前記オブジェクトの画像を捕捉することと、
データベースを検索し、前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別することと、
前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別することに応答して、前記コンテンツと関連付けられるメタデータを読み出し、前記オブジェクト上で、イベントの参加者に関連する参照を検出することと、
前記第1のユーザによってソーシャルネットワークに以前に伝送されたメッセージのリストを検索し、前記参加者に合致するコンテンツを含む所与のメッセージを識別することと、
前記識別されたコンテンツに合致する前記画像の一部を含む前記視野内の前記オブジェクトの領域を決定することによって、前記参加者に関連する前記参照のオブジェクト上の場所を識別することと、
前記拡張現実デバイスを使用して、前記識別された場所に対する位置において、前記所与のメッセージを前記オブジェクト上で検出される前記参照と組み合わせることと
を行うように構成される、制御回路と
を備える、システム。
(項目13)
前記画像を捕捉するように構成される前記制御回路は、カメラ回路を使用し、前記オブジェクトを表すピクセルを記憶する、項目12に記載のシステム。
(項目14)
前記データベースを検索するように構成される前記制御回路はさらに、
画像をコンテンツと関連付ける複数のエントリを前記データベース内に記憶することと、
前記オブジェクトの捕捉された画像内の複数の明確に異なるアイテムを検出することと、
前記明確に異なるアイテムのうちの所与のものに実質的に対応する所与の画像を含む前記複数のエントリのうちの所与のものを識別することと、
前記所与の画像と関連付けられる前記コンテンツを読み出すことと
を行うように構成される、項目12に記載のシステム。
(項目15)
前記コンテンツは、第1のチームのロゴを備え、前記制御回路はさらに、前記ロゴのデータベース検索に基づいて、かつ前記メタデータに基づいて、前記第1のチームの名称を決定するように構成される、項目14に記載のシステム。
(項目16)
前記イベントは、スポーツイベントであり、前記制御回路はさらに、
前記スポーツイベントにおける複数の競争相手を識別することと、
前記第1のチームが前記スポーツイベントで取り上げられていることを決定することと、
前記複数の競争相手を検索し、前記スポーツイベントで取り上げられている第2のチームを識別することと、
前記所与のメッセージとして、前記第2のチームを含む前記メッセージのうちの1つを選択することと
を行うように構成される、項目15に記載のシステム。
(項目17)
前記制御回路はさらに、
前記イベントと関連付けられる時間を識別することと、
前記時間の閾値内に前記ソーシャルネットワークに伝送された前記メッセージのリストのサブセットを選択することと
を行うように構成される、項目12に記載のシステム。
(項目18)
前記制御回路はさらに、
前記オブジェクト上で検出される前記参照と組み合わせられる前記所与のメッセージの拡張現実デバイスを通した視界を表す写真を記憶することと、
前記ユーザが前記写真を前記ソーシャルネットワークに伝送するためのオプションを表示するために生成することと
を行うように構成される、項目12に記載のシステム。
(項目19)
前記オブジェクトは、第2のユーザによって着用される衣料品を含み、前記画像の一部は、前記第2のユーザによって着用される前記衣料品上のグラフィックを含み、前記コンテンツは、前記グラフィックによって表されるチームを含む、項目12に記載のシステム。
(項目20)
前記制御回路はさらに、前記所与のメッセージおよび前記オブジェクト上で検出される前記参照の複合コンテンツを含むメッセージを、前記オブジェクトと関連付けられる第2のユーザに伝送するように構成される、項目12に記載のシステム。
(項目21)
前記拡張現実デバイスは、携帯電話またはユーザによって着用されるヘッドセットを備える、項目12に記載のシステム。
(項目22)
拡張現実において補完コンテンツを提示するためのシステムであって、前記システムは、
拡張現実デバイスの視野内のオブジェクトにわたって第1のユーザの拡張現実デバイスを位置付けるための手段と、
前記第1のユーザの拡張現実デバイスの視野内の前記オブジェクトを識別するための手段と、
前記オブジェクトの画像を捕捉するための手段と、
データベースを検索し、前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別するための手段と、
前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別することに応答して、前記コンテンツと関連付けられるメタデータを読み出し、前記オブジェクト上で、イベントの参加者に関連する参照を検出するための手段と、
前記第1のユーザによってソーシャルネットワークに以前に伝送されたメッセージのリストを検索し、前記参加者に合致するコンテンツを含む所与のメッセージを識別するための手段と、
前記識別されたコンテンツに合致する前記画像の一部を含む前記視野内の前記オブジェクトの領域を決定することによって、前記参加者に関連する前記参照のオブジェクト上の場所を識別するための手段と、
前記拡張現実デバイスを使用して、前記識別された場所に対する位置において、前記所与のメッセージを前記オブジェクト上で検出される前記参照と組み合わせるための手段と
を備える、システム。
(項目23)
前記画像を捕捉するための手段は、カメラ回路を使用し、前記オブジェクトを表すピクセルを記憶することを含む、項目22に記載のシステム。
(項目24)
前記データベースを検索するための手段は、
画像をコンテンツと関連付ける複数のエントリを前記データベース内に記憶するための手段と、
前記オブジェクトの捕捉された画像内の複数の明確に異なるアイテムを検出するための手段と、
前記明確に異なるアイテムのうちの所与のものに実質的に対応する所与の画像を含む前記複数のエントリのうちの所与のものを識別するための手段と、
前記所与の画像と関連付けられる前記コンテンツを読み出すための手段と
を備える、項目22に記載のシステム。
(項目25)
前記コンテンツは、第1のチームのロゴを備え、前記ロゴのデータベース検索に基づいて、かつ前記メタデータに基づいて、前記第1のチームの名称を決定するための手段をさらに備える、項目24に記載のシステム。
(項目26)
前記イベントは、スポーツイベントであり、
前記スポーツイベントにおける複数の競争相手を識別するための手段と、
前記第1のチームが前記スポーツイベントで取り上げられていることを決定するための手段と、
前記複数の競争相手を検索し、前記スポーツイベントで取り上げられている第2のチームを識別するための手段と、
前記所与のメッセージとして、前記第2のチームを含む前記メッセージのうちの1つを選択するための手段と
をさらに備える、項目25に記載のシステム。
(項目27)
前記イベントと関連付けられる時間を識別するための手段と、
前記時間の閾値内に前記ソーシャルネットワークに伝送された前記メッセージのリストのサブセットを選択するための手段と
をさらに備える、項目22に記載のシステム。
(項目28)
前記オブジェクト上で検出される前記参照と組み合わせられる前記所与のメッセージの拡張現実デバイスを通した視界を表す写真を記憶するための手段と、
前記ユーザが前記写真を前記ソーシャルネットワークに伝送するためのオプションを表示するために生成するための手段と
をさらに備える、項目22に記載のシステム。
(項目29)
前記オブジェクトは、第2のユーザによって着用される衣料品を含み、前記画像の一部は、前記第2のユーザによって着用される前記衣料品上のグラフィックを含み、前記コンテンツは、前記グラフィックによって表されるチームを含む、項目22に記載のシステム。
(項目30)
前記所与のメッセージおよび前記オブジェクト上で検出される前記参照の複合コンテンツを含むメッセージを、前記オブジェクトと関連付けられる第2のユーザに伝送するための手段をさらに備える、項目22に記載のシステム。
(項目31)
前記拡張現実デバイスは、携帯電話またはユーザによって着用されるヘッドセットを備える、項目22に記載のシステム。
(項目32)
非一過性のコンピュータ可読媒体であって、前記非一過性のコンピュータ可読媒体は、非一過性のコンピュータ可読命令を有し、前記非一過性のコンピュータ可読命令は、拡張現実において補完コンテンツを提示するために、前記非一過性のコンピュータ可読媒体上にエンコードされており、前記非一過性のコンピュータ可読媒体は、
拡張現実デバイスの視野内のオブジェクトにわたって第1のユーザの拡張現実デバイスを位置付けるための命令と、
前記第1のユーザの拡張現実デバイスの視野内の前記オブジェクトを識別するための命令と、
前記オブジェクトの画像を捕捉するための命令と、
データベースを検索し、前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別するための命令と、
前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別することに応答して、前記コンテンツと関連付けられるメタデータを読み出し、前記オブジェクト上で、イベントの参加者に関連する参照を検出するための命令と、
前記第1のユーザによってソーシャルネットワークに以前に伝送されたメッセージのリストを検索し、前記参加者に合致するコンテンツを含む所与のメッセージを識別するための命令と、
前記識別されたコンテンツに合致する前記画像の一部を含む前記視野内の前記オブジェクトの領域を決定することによって、前記参加者に関連する前記参照のオブジェクト上の場所を識別するための命令と、
前記拡張現実デバイスを使用して、前記識別された場所に対する位置において、前記所与のメッセージを前記オブジェクト上で検出される前記参照と組み合わせるための命令と
を備える、非一過性のコンピュータ可読媒体。
(項目33)
前記画像を捕捉するための命令は、カメラ回路を使用し、前記オブジェクトを表すピクセルを記憶する、項目32に記載の非一過性のコンピュータ可読媒体。
(項目34)
前記データベースを検索するための命令は、
画像をコンテンツと関連付ける複数のエントリを前記データベース内に記憶するための命令と、
前記オブジェクトの捕捉された画像内の複数の明確に異なるアイテムを検出するための命令と、
前記明確に異なるアイテムのうちの所与のものに実質的に対応する所与の画像を含む前記複数のエントリのうちの所与のものを識別するための命令と、
前記所与の画像と関連付けられる前記コンテンツを読み出すための命令と
を備える、項目32に記載の非一過性のコンピュータ可読媒体。
(項目35)
前記コンテンツは、第1のチームのロゴを備え、前記ロゴのデータベース検索に基づいて、かつ前記メタデータに基づいて、前記第1のチームの名称を決定するための命令をさらに備える、項目34に記載の非一過性のコンピュータ可読媒体。
(項目36)
前記イベントは、スポーツイベントであり、
前記スポーツイベントにおける複数の競争相手を識別するための命令と、
前記第1のチームが前記スポーツイベントで取り上げられていることを決定するための命令と、
前記複数の競争相手を検索し、前記スポーツイベントで取り上げられている第2のチームを識別するための命令と、
前記所与のメッセージとして、前記第2のチームを含む前記メッセージのうちの1つを選択するための命令と
をさらに備える、項目35に記載の非一過性のコンピュータ可読媒体。
(項目37)
前記イベントと関連付けられる時間を識別するための命令と、
前記時間の閾値内に前記ソーシャルネットワークに伝送された前記メッセージのリストのサブセットを選択するための命令と
をさらに備える、項目32に記載の非一過性のコンピュータ可読媒体。
(項目38)
前記オブジェクト上で検出される前記参照と組み合わせられる前記所与のメッセージの拡張現実デバイスを通した視界を表す写真を記憶するための命令と、
前記ユーザが前記写真を前記ソーシャルネットワークに伝送するためのオプションを表示するために生成するための命令と
をさらに備える、項目32に記載の非一過性のコンピュータ可読媒体。
(項目39)
前記オブジェクトは、第2のユーザによって着用される衣料品を含み、前記画像の一部は、前記第2のユーザによって着用される前記衣料品上のグラフィックを含み、前記コンテンツは、前記グラフィックによって表されるチームを含む、項目32に記載の非一過性のコンピュータ可読媒体。
(項目40)
前記所与のメッセージおよび前記オブジェクト上で検出される前記参照の複合コンテンツを含むメッセージを、前記オブジェクトと関連付けられる第2のユーザに伝送するための命令をさらに備える、項目32に記載の非一過性のコンピュータ可読媒体。
(項目41)
前記拡張現実デバイスは、携帯電話またはユーザによって着用されるヘッドセットを備える、項目32に記載の非一過性のコンピュータ可読媒体。
(項目42)
拡張現実において補完コンテンツを提示するための方法であって、前記方法は、
拡張現実デバイスの視野内のオブジェクトにわたって第1のユーザの拡張現実デバイスを位置付けることと、
前記第1のユーザの拡張現実デバイスの視野内の前記オブジェクトを識別することと、
前記オブジェクトの画像を捕捉することと、
データベースを検索し、前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別することと、
前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別することに応答して、前記コンテンツと関連付けられるメタデータを読み出し、前記オブジェクト上で、イベントの参加者に関連する参照を検出することと、
前記第1のユーザによってソーシャルネットワークに以前に伝送されたメッセージのリストを検索し、前記参加者に合致するコンテンツを含む所与のメッセージを識別することと、
前記識別されたコンテンツに合致する前記画像の一部を含む前記視野内の前記オブジェクトの領域を決定することによって、前記参加者に関連する前記参照のオブジェクト上の場所を識別することと、
前記拡張現実デバイスを使用して、前記識別された場所に対する位置において、前記所与のメッセージを前記オブジェクト上で検出される前記参照と組み合わせることと
を含む、方法。
(項目43)
前記画像を捕捉することは、カメラ回路を使用し、前記オブジェクトを表すピクセルを記憶することを含む、項目42に記載の方法。
(項目44)
前記データベースを検索することは、
画像をコンテンツと関連付ける複数のエントリを前記データベース内に記憶することと、
前記オブジェクトの捕捉された画像内の複数の明確に異なるアイテムを検出することと、
前記明確に異なるアイテムのうちの所与のものに実質的に対応する所与の画像を含む前記複数のエントリのうちの所与のものを識別することと、
前記所与の画像と関連付けられる前記コンテンツを読み出すことと
を含む、項目42-43のいずれか1項に記載の方法。
(項目45)
前記コンテンツは、第1のチームのロゴを備え、前記ロゴのデータベース検索に基づいて、かつ前記メタデータに基づいて、前記第1のチームの名称を決定することをさらに含む、項目42-44のいずれか1項に記載の方法。
(項目46)
前記イベントは、スポーツイベントであり、
前記スポーツイベントにおける複数の競争相手を識別することと、
前記第1のチームが前記スポーツイベントで取り上げられていることを決定することと、
前記複数の競争相手を検索し、前記スポーツイベントで取り上げられている第2のチームを識別することと、
前記所与のメッセージとして、前記第2のチームを含む前記メッセージのうちの1つを選択することと
をさらに含む、項目42-45のいずれか1項に記載の方法。
(項目47)
前記イベントと関連付けられる時間を識別することと、
前記時間の閾値内に前記ソーシャルネットワークに伝送された前記メッセージのリストのサブセットを選択することと
をさらに含む、項目42-46のいずれか1項に記載の方法。
(項目48)
前記オブジェクト上で検出される前記参照と組み合わせられる前記所与のメッセージの拡張現実デバイスを通した視界を表す写真を記憶することと、
前記ユーザが前記写真を前記ソーシャルネットワークに伝送するためのオプションを表示するために生成することと
をさらに含む、項目42-47のいずれか1項に記載の方法。
(項目49)
前記オブジェクトは、第2のユーザによって着用される衣料品を含み、前記画像の一部は、前記第2のユーザによって着用される前記衣料品上のグラフィックを含み、前記コンテンツは、前記グラフィックによって表されるチームを含む、項目42-48のいずれか1項に記載の方法。
(項目50)
前記所与のメッセージおよび前記オブジェクト上で検出される前記参照の複合コンテンツを含むメッセージを、前記オブジェクトと関連付けられる第2のユーザに伝送することをさらに含む、項目42-49のいずれか1項に記載の方法。
(項目51)
前記拡張現実デバイスは、携帯電話またはユーザによって着用されるヘッドセットを備える、項目42-50のいずれか1項に記載の方法。
本開示の上記および他の目的および利点は、同様の参照文字が全体を通して同様の部分を指す、添付の図面と併せて考慮される、以下の詳細な説明の検討から明白となるであろう。
図1は、本開示のいくつかの実施形態による、拡張現実デバイスのユーザの例証的実施例を示す。
図2は、本開示のいくつかの実施形態による、拡張現実ディスプレイの例証的実施例を示す。
図3は、本開示のいくつかの実施形態による、ユーザのソーシャルメディア履歴の例証的実施例を示す。
図4-7は、本開示のいくつかの実施形態による、拡張現実ディスプレイの例証的実施例を示す。 図4-7は、本開示のいくつかの実施形態による、拡張現実ディスプレイの例証的実施例を示す。 図4-7は、本開示のいくつかの実施形態による、拡張現実ディスプレイの例証的実施例を示す。 図4-7は、本開示のいくつかの実施形態による、拡張現実ディスプレイの例証的実施例を示す。
図8-9は、本開示のいくつかの実施形態による、メディアガイドアプリケーションによって生成される表示画面の他の例証的実施例を示す。 図8-9は、本開示のいくつかの実施形態による、メディアガイドアプリケーションによって生成される表示画面の他の例証的実施例を示す。
図10は、本開示のいくつかの実施形態による、例証的ユーザ機器デバイスのブロック図である。
図11は、本開示のいくつかの実施形態による、例証的メディアシステムのブロック図である。
図12は、本開示のいくつかの実施形態による、メッセージを拡張現実視界内のオブジェクトに追加するための例証的プロセスのフローチャートである。
図13は、本開示のいくつかの実施形態による、メッセージを拡張現実視界内のオブジェクトに追加するための別の例証的プロセスのフローチャートである。
図14は、本開示のいくつかの実施形態による、ユーザのためにソーシャルメディア画像を生成するための例証的プロセスのフローチャートである。
図15は、本開示のいくつかの実施形態による、拡張現実視界内のオブジェクトに追加するべきメッセージを選択するための例証的プロセスのフローチャートである。
故に、システムおよび方法が、ユーザの拡張現実体験を向上させるために本明細書に説明される。特に、システムおよび方法が、ユーザのソーシャルネットワークからのメッセージ等のメッセージを拡張現実デバイス内の視野内のオブジェクトに追加するために、本明細書に提示される。
拡張現実ヘッドセットまたはスマートグラス等の拡張現実デバイス、または携帯電話、スマートフォン、またはタブレット等の拡張現実アプリケーションを伴うポータブルデバイスが、拡張現実視界を提示するために使用されてもよい。視野は、ユーザに視野についての付加的情報を伴う特定の視野が見え得るように、拡張現実デバイスまたはアプリケーションを用いて提示されてもよい。例えば、化粧品カウンタにおける拡張現実環境は、種々のタイプの適用された化粧を伴うユーザを示してもよい。別の実施例では、拡張現実は、家具が部屋に適合し得る様子を示すために、家庭で使用されることができる。別の実施例では、拡張現実デバイスは、価格および栄養比較を行うために、食料品の買物をしている間に使用されることができる。これらの用途は、ユーザにとって非常に有用であるが、ユーザはまた、情報が拡張現実に追加されるために、それらを調整させることも所望し得る。
これが遂行され得る1つの方法は、メディアガイドアプリケーションを使用して、拡張現実環境内の視界を分析し、視界内のオブジェクトを検出することによる。オブジェクトは、関連付けられる参加者またはイベントを有し得る、オブジェクト内の参照を決定するように分析されることができる。メディアガイドアプリケーションは、ユーザのソーシャルネットワークを検索し、オブジェクト、参加者、またはイベントに関するコンテンツを識別してもよい。例えば、メディアガイドアプリケーションは、オブジェクト、参加者、またはイベントを命名または描写する、ソーシャルメディア上のユーザによる投稿を検索してもよい。そのようなメッセージが、メディアガイドアプリケーションによって識別される場合、メディアガイドアプリケーションは、そのメッセージまたはメッセージのあるバージョンをオブジェクトの拡張現実視界に追加してもよい。例えば、メディアガイドアプリケーションは、拡張現実環境内の画像にわたって、特に、関連オブジェクトにわたって、またはその近傍に表示されるべきメッセージのオーバーレイを生成してもよい。これは、メッセージが、最初に別の状況でユーザによって提供され、現在、ユーザの拡張現実視界に追加されているものであるため、ユーザにとって有用であり得る。
拡張現実デバイスによって供給される付加的情報を伴ってその環境が見え得るように、拡張現実ヘッドセット120を着用して街路を散歩するために外に出ているユーザ110を含む、街路の場面100を描写する、図1を参照されたい。実施例では、ユーザは、拡張現実デバイスを伴って歩き回り、歩いている間に方向またはマップ情報を見てもよく、拡張現実デバイス120はまた、ユーザの現在の環境から画像を捕捉してもよい。例えば、拡張現実デバイス120は、New England Patriotsのロゴを伴うTシャツを着用している、歩道上の個人150を捕捉してもよい。
拡張現実デバイスはまた、New England Patriotsのロゴを伴うTシャツを着用している個人210を含む、視界200内の図2に示されるもの等の街路の視界を捕捉し得る、スマートフォンであってもよい。図1および2に示される拡張現実環境のうちのいずれかは、ユーザが本明細書に説明される改良された拡張現実特徴にアクセスするために好適であり得る。拡張現実環境で見られる視界は、拡張現実デバイス内のカメラ回路を使用して、メディアガイドアプリケーションによって、例えば、画像として、捕捉されてもよい。ユーザは、視界内の着目アイテムをメディアガイドアプリケーションに知らせ得る、視界の特定の側面に焦点を当ててもよい。代替として、メディアガイドアプリケーションは、画像を解析し、オブジェクト認識技法を使用してオブジェクトを識別してもよい。メディアガイドアプリケーションはまた、外部データベースおよび情報、およびユーザ情報を要求し、拡張現実視界内に含むべき有用な情報を提供してもよい。
図3を参照すると、メディアガイドアプリケーションは、例えば、ユーザのソーシャルネットワークを検索し、拡張現実環境内で見ることが興味深くあり得る、ユーザについての情報を見出してもよい。図3に示されるように、ユーザは、日付情報およびメッセージ、例えば、それぞれ、302および310、および305および315を含む、ソーシャルネットワーク上のコメントまたは投稿の記録300を有してもよい。記録300によって見られ得るように、ユーザは、フットボールにある程度の関心を有し得る。メディアガイドアプリケーションは、そのようなコメントを解析し、その関心を決定してもよい。加えて、メディアガイドアプリケーションは、例えば、メッセージ305および315において参照される、スポーツイベントを規定し得るメタデータに関して、スポーツスケジュールまたはスポーツメディアデータベースを検索してもよい。
記録300からのユーザについてのソーシャルネットワーク情報を使用して、メディアガイドアプリケーションは、拡張現実デバイスによって捕捉される視界、例えば、視界200(図2)内の参照またはオブジェクトに関連する、メッセージを見出してもよい。例えば、メディアガイドアプリケーションは、個人210(図2)およびそのTシャツロゴを識別し、ロゴがNew England Patriotsおよびフットボールに関連することを検出してもよい。メディアガイドアプリケーションは、ユーザのソーシャルメディア記録300を解析し、フットボールについてのメッセージを検出してもよい。そのようなメッセージは、拡張現実視界内に含まれ得る。例えば、メッセージ305は、図4に示されるように、拡張現実視界200(図2)に追加されてもよい。
図4は、拡張現実デバイスを使用してユーザに見え得る、拡張現実視界400を描写する。視界400では、メディアガイドアプリケーションは、視界400内のオブジェクト、すなわち、New England Patriotsのロゴを伴うTシャツを着用している歩行者405を捕捉した。メディアガイドアプリケーションは、ユーザのソーシャルメディアネットワーク情報を検索し、視界内に含むべき好適なメッセージを見出してもよい。図4に示されるように、メッセージ410は、ユーザのソーシャルメディア記録(例えば、メッセージ305(図3))からとられた、視界400に追加された。拡張現実視界400内に含まれるように選択されるメッセージは、種々の要因、例えば、時間、関連性、ユーザ関心、または別の基準に基づくことができる。視界400のために選択されるメッセージ410は、例えば、適時性に起因して、関連性があると見なされ得る。メッセージ410が、ユーザが投稿した時間的に直近のメッセージであるため(例えば、記録300(図3)参照)、メディアガイドアプリケーションは、それが視界400内に含むために好適であることを決定してもよい。
別の実施例では、メッセージが、ソーシャルネットワーク記録および付加的情報に基づいて、メディアガイドアプリケーションによって拡張現実視界に追加されるように選択されてもよい。図5に示されるように、拡張現実視界500は、New England Patriotsのロゴを伴うTシャツを着用している個人505を含んでもよい。ユーザは、Tシャツに焦点を当ててもよい、またはメディアガイドアプリケーションは、画像内の興味深いオブジェクトとしてロゴを捕捉してもよい。メディアガイドアプリケーションは、拡張現実視界500内に含むべき好適なコンテンツを検索してもよい。ユーザのソーシャルネットワーク記録(例えば、記録300(図3))の検索では、メディアガイドアプリケーションは、フットボールへの関心を検出してもよい。さらに、メディアガイドアプリケーションは、直近の投稿、例えば、メッセージ305(図3)を選択し、メッセージに関連するオブジェクトのための任意の関連付けられるイベントが存在するかどうかを決定してもよい。例えば、メディアガイドアプリケーションは、メディアデータベースまたはスポーツデータベースを検索し、投稿の時間の前後である、スポーツまたはチームに関連するスポーツイベントを識別してもよい。したがって、メッセージ305(図3)に関して、メディアガイドアプリケーションは、メッセージの日付の前後のフットボールイベントを検索してもよい。加えて、メディアガイドアプリケーションは、拡張現実視界からのロゴまたは参照オブジェクトと関連付けられるチームに関して、フットボールイベントを検索してもよい。スポーツデータベースの検索は、11月21日以降のNew England Patriotsの試合、例えば、メッセージ510に示されるような2017年11月26日のDolphins対Patriotsの試合を示してもよい。
別の実施例では、メディアガイドアプリケーションは、拡張現実視界内の参照オブジェクトについての情報を取得し、ユーザの履歴、例えば、選好プロファイルまたはソーシャルネットワークにも基づき得る参照オブジェクトに関連するコンテンツにアクセスするためのリンクを提供する、メッセージを選択してもよい。図6に示されるように、拡張現実視界600は、New England Patriotsフットボールチームのロゴを伴うTシャツを着用している個人605を含んでもよい。メディアガイドアプリケーションは、視界600の画像内の参照オブジェクトとしてロゴを検出し、オブジェクトに関連性がある視界600内にオーバーレイするべき好適なメッセージを検索してもよい。メディアガイドアプリケーションは、画像分析ツールを使用して、New England Patriotsのためであるものとして、ロゴを識別してもよい。メディアガイドアプリケーションは、チームについてのメタデータに関して、スポーツデータベースを検索してもよい。メディアガイドアプリケーションはまた、チームに関連性があり得るメッセージ、またはスポーツデータベースの検索で識別される、あるメタデータに関して、ユーザの履歴、例えば、ソーシャルネットワーク記録300(図3)を検索してもよい。メディアガイドアプリケーションは、チーム、すなわち、New England Patriotsが、メッセージ315(図3)内で参照されるSuper Bowlの参加者であったことを決定してもよい。したがって、メディアガイドアプリケーションは、視界600内でオーバーレイされるリンク内で提供するべきSuper Bowlでプレーするチームに関連するクリップを選択してもよい。
別の実施例では、メディアガイドアプリケーションは、共有するために拡張現実視界内で識別される参照オブジェクトを選択してもよい。参照オブジェクトは、ユーザのためにソーシャルメディア上で共有される、または別の個人と共有されてもよい。例えば、図7に示されるように、拡張現実視界700は、New England PatriotsのTシャツを着用している個人705を含んでもよく、メディアガイドアプリケーションは、視界内の参照オブジェクトとしてTシャツを検出してもよい。Tシャツおよびそのロゴの検出は、画像分析および認識に基づいてもよい。ロゴは、例えば、ユーザの視聴履歴またはソーシャルネットワーク履歴に基づいて、ユーザ選好プロファイル内に記憶されてもよい。メディアガイドアプリケーションは、参照オブジェクト、例えば、Tシャツおよびロゴを捕捉し、参照オブジェクトおよびコメントを含むメッセージ720を拡張現実視界700内で提供してもよい。コメント「シチメンチョウを食べた後の眠気とフットボールが待ち切れない」は、例えば、ユーザのソーシャルネットワーク履歴を使用して、メディアガイドアプリケーションによって取得されてもよい。例えば、コメントは、メディアガイドアプリケーションによって、適時であり、およびロゴと関連付けられるスポーツに関連すると見なされる、最近の投稿305(図3)に基づいてもよい。メッセージ720はまた、ユーザが画像をソーシャルネットワークに投稿する、またはそれを受信側に送信するための選択可能なオプション730、または画像を共有する他の様式を含んでもよい。いくつかの実施例では、受信側は、ユーザの連絡先および画像履歴へのアクセスを有し得る、メディアガイドアプリケーションによって顔/画像認識技法によって識別され得る個人705として、メッセージ720およびオプション730内で識別されてもよい。
図1-7を参照して説明される実施例は、スポーツイベントのみを伴ったが、他のタイプの画像オブジェクトもまた、同一の様式で使用され得る。例えば、顔、ブランド名、フラグ、テレビ番組、目印、または他のオブジェクトが、画像認識技法を使用して識別されてもよく、画像と関連付けられるメタデータに関するデータベースの検索が、そのようなアイテムに関連するイベントを見出すように実施されてもよい。例えば、Lady Gagaを示す看板広告が、認識され得、彼女の名前に関するデータベース検索は、拡張現実視界にも追加され、Super Bowlを鑑賞することについてのユーザのコメント315(図3)に関連し得る、2017 Super Bowlハーフタイムショーでの彼女の出演についての情報を含み得る。別の実施例では、Lady Gagaを示す看板は、彼女の今後のコンサートについてのメッセージをもたらし得る。
任意の所与のコンテンツ配信システムでユーザに利用可能なコンテンツの量が、膨大であり得る。その結果、多くのユーザは、ユーザがコンテンツの選択を効率的にナビゲートし、所望し得るコンテンツを容易に識別することを可能にする、インターフェースを通したメディアガイドの形態を所望している。そのようなガイドを提供するアプリケーションは、本明細書では、双方向メディアガイドアプリケーションと称されるが、時として、メディアガイドアプリケーションまたはガイドアプリケーションと称されることもある。
双方向メディアガイドアプリケーションは、ガイドを提供するコンテンツに応じて、種々の形態をとってもよい。1つの典型的なタイプのメディアガイドアプリケーションは、双方向テレビ番組ガイドである。双方向テレビ番組ガイド(時として、電子番組ガイドと称される)は、とりわけ、ユーザが、多くのタイプのコンテンツまたはメディアアセット間をナビゲートし、それを特定することを可能にする、周知のガイドアプリケーションである。双方向メディアガイドアプリケーションは、ユーザが、コンテンツ間をナビゲートし、それを特定および選択することを可能にする、グラフィカルユーザインターフェース画面を生成してもよい。本明細書で参照されるように、用語「メディアアセット」および「コンテンツ」は、テレビ番組、および有料番組、オンデマンド番組(ビデオオンデマンド(VOD)システムにおけるような)、インターネットコンテンツ(例えば、ストリーミングコンテンツ、ダウンロード可能コンテンツ、ウェブキャスト等)、ビデオクリップ、オーディオ、コンテンツ情報、写真、回転画像、ドキュメント、再生一覧、ウェブサイト、記事、書籍、電子書籍、ブログ、チャットセッション、ソーシャルメディア、アプリケーション、ゲーム、および/または任意の他のメディアまたはマルチメディア、および/またはそれらの組み合わせ等の電子的に消費可能なユーザアセットを意味すると理解されたい。ガイドアプリケーションはまた、ユーザが、コンテンツ間をナビゲートし、それを特定することを可能にする。本明細書で参照されるように、用語「マルチメディア」は、上記に説明される少なくとも2つの異なるコンテンツ形態、例えば、テキスト、オーディオ、画像、ビデオ、または双方向コンテンツ形態を利用する、コンテンツを意味すると理解されたい。コンテンツは、ユーザ機器デバイスによって、録画、再生、表示、またはアクセスされてもよいが、また、ライブパーフォーマンスの一部であることもできる。
本明細書に議論される実施形態のいずれかを実施するためのメディアガイドアプリケーションおよび/または任意の命令は、コンピュータ可読媒体上にエンコードされてもよい。コンピュータ可読媒体は、データを記憶することが可能な任意の媒体を含む。コンピュータ可読媒体は、限定ではないが、電気または電磁信号の伝搬を含む、一過性であり得る、または限定ではないが、ハードディスク、フロッピーディスク、USBドライブ、DVD、CD、メディアカード、レジスタメモリ、プロセッサキャッシュ、ランダムアクセスメモリ(「RAM」)等の揮発性および不揮発性コンピュータメモリまたは記憶デバイスを含む、非一過性であり得る。
インターネット、モバイルコンピューティング、および高速無線ネットワークの出現に伴って、ユーザは、従来は使用しなかったユーザ機器デバイス上でメディアにアクセスするようになっている。本明細書で参照されるように、語句「ユーザ機器デバイス」、「ユーザ機器」、「ユーザデバイス」、「電子デバイス」、「電子機器」、「メディア機器デバイス」、または「メディアデバイス」は、テレビ、スマートTV、セットトップボックス、衛星テレビに対応するための統合型受信機デコーダ(IRD)、デジタル記憶デバイス、デジタルメディア受信機(DMR)、デジタルメディアアダプタ(DMA)、ストリーミングメディアデバイス、DVDプレーヤ、DVDレコーダ、接続型DVD、ローカルメディアサーバ、BLU-RAY(登録商標)プレーヤ、BLU-RAY(登録商標)レコーダ、パーソナルコンピュータ(PC)、ラップトップコンピュータ、タブレットコンピュータ、ウェブTVボックス、パーソナルコンピュータテレビ(PC/TV)、PCメディアサーバ、PCメディアセンター、ハンドヘルドコンピュータ、固定電話、携帯情報端末(PDA)、携帯電話、ポータブルビデオプレーヤ、ポータブル音楽プレーヤ、ポータブルゲーム機、スマートフォン、または任意の他のテレビ機器、コンピューティング機器、または無線デバイス、および/またはそれらの組み合わせ等の上記に説明されるコンテンツにアクセスするための任意のデバイスを意味すると理解されたい。いくつかの実施形態では、ユーザ機器デバイスは、正面画面および裏面画面、複数の正面画面、または複数の角度付き画面を有してもよい。いくつかの実施形態では、ユーザ機器デバイスは、正面カメラおよび/または裏面カメラを有してもよい。これらのユーザ機器デバイス上で、ユーザは、テレビを通して利用可能な同一のコンテンツ間をナビゲートし、それを特定することが可能であり得る。その結果として、メディアガイドは、これらのデバイス上でも利用可能であり得る。提供されるガイドは、テレビのみを通して利用可能なコンテンツ、他のタイプのユーザ機器デバイスのうちの1つ以上のもののみを通して利用可能なコンテンツ、またはテレビおよび他のタイプのユーザ機器デバイスのうちの1つ以上のものの両方を通して利用可能なコンテンツのためのものであってもよい。メディアガイドアプリケーションは、ユーザ機器デバイス上で、オンラインアプリケーション(すなわち、ウェブサイト上で提供される)として、または独立型アプリケーションまたはクライアントとして提供されてもよい。メディアガイドアプリケーションを実装し得る、種々のデバイスおよびプラットフォームは、下記により詳細に説明される。
メディアガイドアプリケーションの機能のうちの1つは、メディアガイドデータをユーザに提供することである。本明細書で参照されるように、語句「メディアガイドデータ」または「ガイドデータ」は、コンテンツに関連する任意のデータまたはガイドアプリケーションを動作させる際に使用されるデータを意味すると理解されたい。例えば、ガイドデータは、番組情報、ガイドアプリケーション設定、ユーザ選好、ユーザプロファイル情報、メディア一覧、メディア関連情報(例えば、放送時間、放送チャネル、タイトル、内容、評価情報(例えば、ペアレンタルコントロール評価、批評家の評価等)、ジャンルまたはカテゴリ情報、俳優情報、放送会社またはプロバイダのロゴのロゴデータ等)、メディア形式(例えば、標準解像度、高解像度、3D等)、オンデマンド情報、ブログ、ウェブサイト、およびユーザが所望のコンテンツ選択間をナビゲートし、それを特定するために役立つ、任意の他のタイプのガイドデータを含んでもよい。
図8-9は、メディアガイドデータを提供するために使用され得る、例証的表示画面を示す。図8-9に示される表示画面は、任意の好適なユーザ機器デバイスまたはプラットフォーム上に実装されてもよい。図8-9の表示は、フル画面表示として図示されているが、それらはまた、表示されているコンテンツ上に完全または部分的にオーバーレイされてもよい。ユーザは、表示画面に提供された選択可能なオプション(例えば、メニューオプション、一覧オプション、アイコン、ハイパーリンク等)を選択することによって、またはリモートコントロールまたは他のユーザ入力インターフェースまたはデバイス上の専用ボタン(例えば、「ガイド」ボタン)を押下することによって、コンテンツ情報にアクセスする要望を示してもよい。ユーザのインジケーションに応答して、メディアガイドアプリケーションは、グリッド内の時間およびチャネル別、時間別、チャネル別、ソース別、コンテンツタイプ別、カテゴリ別(例えば、映画、スポーツ、ニュース、子供向け、または他の番組カテゴリ)、または他の所定、ユーザ定義、または他の編成基準等のいくつかの方法のうちの1つにおいて編成されたメディアガイドデータを表示画面に提供してもよい。
図8は、単一表示内の異なるタイプのコンテンツへのアクセスも可能にする、時間およびチャネル別に配列された番組一覧表示800の例証的グリッドを示す。表示800は、以下、すなわち、(1)各チャネル/コンテンツタイプ識別子(列内のセル)が利用可能な異なるチャネルまたはコンテンツのタイプを識別する、チャネル/コンテンツタイプ識別子804の列、および(2)各時間識別子(行内のセル)が番組の時間帯を識別する、時間識別子806の行を伴うグリッド802を含んでもよい。グリッド802はまた、番組一覧808等の番組一覧のセルも含み、各一覧は、一覧の関連チャネルおよび時間の上に提供される、番組のタイトルを提供する。ユーザ入力デバイスを用いて、ユーザは、ハイライト領域810を移動させることによって番組一覧を選択することができる。ハイライト領域810によって選択される番組一覧に関する情報が、番組情報領域812内に提供されてもよい。領域812は、例えば、番組タイトル、番組内容、番組が提供される時間(該当する場合)、番組が放送されるチャネル(該当する場合)、番組の評価、および他の所望の情報を含んでもよい。
線形番組(例えば、所定の時間に複数のユーザ機器デバイスに伝送されるようにスケジュールされ、スケジュールに従って提供されるコンテンツ)にアクセスを提供することに加えて、メディアガイドアプリケーションはまた、非線形番組(例えば、任意の時間においてユーザ機器デバイスにアクセス可能であって、スケジュールに従って提供されない、コンテンツ)へのアクセスも提供する。非線形番組は、オンデマンドコンテンツ(例えば、VOD)、インターネットコンテンツ(例えば、ストリーミングメディア、ダウンロード可能メディア等)、ローカルで記憶されたコンテンツ(例えば、上記に説明される任意のユーザ機器デバイスまたは他の記憶デバイス上に記憶されたコンテンツ)、または時間的制約のない他のコンテンツを含む、異なるコンテンツソースからのコンテンツを含んでもよい。オンデマンドコンテンツは、映画または特定のコンテンツプロバイダ(例えば、「The Sopranos」や「Curb Your Enthusiasm」を提供するHBO On Demand)によって提供される任意の他のコンテンツを含んでもよい。HBO ON DEMANDは、Time Warner Company L. P. et al.によって所有されるサービスマークであり、THE SOPRANOSおよびCURB YOUR ENTHUSIASMは、Home Box Office, Inc.によって所有される商標である。インターネットコンテンツは、チャットセッションまたはウェブキャスト等のウェブイベント、またはインターネットウェブサイトまたは他のインターネットアクセス(例えば、FTP)を通して、ストリーミングコンテンツまたはダウンロード可能なコンテンツとしてオンデマンドで利用可能なコンテンツを含んでもよい。
グリッド802は、オンデマンド一覧814、録画コンテンツ一覧816、およびインターネットコンテンツ一覧818を含む、非線形番組のメディアガイドデータを提供してもよい。異なるタイプのコンテンツソースからのコンテンツのためのメディアガイドデータを組み合わせる表示は、時として、「混合メディア」表示と称されることもある。表示800とは異なる、表示され得るメディアガイドデータのタイプの種々の順列は、ユーザ選択またはガイドアプリケーション定義に基づいてもよい(例えば、録画および放送一覧のみの表示、オンデマンドおよび放送一覧のみの表示等)。例証されるように、一覧814、816、および818は、これらの一覧の選択が、それぞれ、オンデマンド一覧、録画一覧、またはインターネット一覧専用の表示へのアクセスを提供し得ることを示すように、グリッド802内に表示される時間帯全体に及ぶものとして示されている。いくつかの実施形態では、これらのコンテンツタイプの一覧は、グリッド802に直接含まれてもよい。ユーザがナビゲーションアイコン820のうちの1つを選択することに応答して、付加的メディアガイドデータが表示されてもよい。(ユーザ入力デバイス上の矢印キーを押下することは、ナビゲーションアイコン820を選択することと同様に表示に影響を及ぼし得る。)
表示800はまた、ビデオ領域822およびオプション領域826を含んでもよい。ビデオ領域822は、ユーザが、ユーザに現在利用可能である、今後利用可能となる、または利用可能であった番組を視聴および/またはプレビューすることを可能にしてもよい。ビデオ領域822のコンテンツは、グリッド802に表示される一覧のうちの1つに対応する、またはそれから独立し得る。ビデオ領域を含むグリッド表示は、時として、ピクチャインガイド(PIG)表示と称されることもある。PIG表示およびそれらの機能性は、2003年5月13日に発行されたSatterfield et al.の米国特許第6,564,378号、および2001年5月29日に発行されたYuen et al.の米国特許第6,239,794号(それらの全体として参照することによって本明細書に組み込まれる)でより詳細に説明されている。PIG表示は、本明細書に説明される実施形態の他のメディアガイドアプリケーション表示画面に含まれてもよい。
オプション領域826は、ユーザが、異なるタイプのコンテンツ、メディアガイドアプリケーション表示、および/またはメディアガイドアプリケーション特徴にアクセスすることを可能にしてもよい。オプション領域826は、表示800(および本明細書に説明される他の表示画面)の一部であってもよい、または画面上のオプションを選択すること、またはユーザ入力デバイス上の専用または割当可能ボタンを押下することによって、ユーザによって呼び出されてもよい。オプション領域826内の選択可能オプションは、グリッド802内の番組一覧に関連する特徴に関してもよい、またはメインメニュー表示から利用可能なオプションを含んでもよい。番組一覧に関連する特徴は、他の放送時間または番組の受信方法の検索、番組の録画、番組の連続録画の有効化、番組および/またはチャネルをお気に入りとして設定、番組の購入、または他の特徴を含んでもよい。メインメニュー表示から利用可能なオプションは、検索オプション、VODオプション、ペアレンタルコントロールオプション、インターネットオプション、クラウドベースのオプション、デバイス同期オプション、第2の画面デバイスオプション、種々のタイプのメディアガイドデータ表示にアクセスするオプション、プレミアムサービスをサブスクライブするオプション、ユーザのプロファイルを編集するオプション、ブラウザオーバーレイにアクセスするオプション、または他のオプションを含んでもよい。
メディアガイドアプリケーションは、ユーザの選好に基づいて個人化されてもよい。個人化されたメディアガイドアプリケーションは、ユーザが、メディアガイドアプリケーションを用いて個人化された「体験」を生成するように、表示および特徴をカスタマイズすることを可能にする。この個人化された体験は、ユーザがこれらのカスタマイズを入力することを可能にすることによって、および/または種々のユーザ選好を決定するようにメディアガイドアプリケーションがユーザアクティビティを監視することによって、生成されてもよい。ユーザは、ログインすることによって、または別様にガイドアプリケーションに対して自らを識別することによって、それらの個人化されたガイドアプリケーションにアクセスしてもよい。メディアガイドアプリケーションのカスタマイズは、ユーザプロファイルに従って作成されてもよい。カスタマイズは、提示方式(例えば、表示の色方式、テキストのフォントサイズ等)、表示されるコンテンツ一覧の側面(例えば、HDTV番組のみまたは3D番組のみ、お気に入りチャネル選択に基づいたユーザ指定の放送チャネル、チャネルの表示の並び替え、推奨コンテンツ等)、所望の録画特徴(例えば、特定のユーザに対する録画または連続録画、録画品質等)、ペアレンタルコントロール設定、インターネットコンテンツのカスタマイズされた提示(例えば、ソーシャルメディアコンテンツ、電子メール、電子的に配信された記事等の提示)、および他の所望のカスタマイズを変更させるステップを含んでもよい。
メディアガイドアプリケーションは、ユーザが、ユーザプロファイル情報を提供することを可能にしてもよい、またはユーザプロファイル情報を自動的にコンパイルしてもよい。メディアガイドアプリケーションは、例えば、ユーザがアクセスするコンテンツ、および/またはユーザがガイドアプリケーションと行い得る他の相互作用を監視してもよい。加えて、メディアガイドアプリケーションは、特定のユーザに関連する他のユーザプロファイルの全体または一部を取得し(例えば、www.Tivo.com等のユーザがアクセスするインターネット上の他のウェブサイトから、ユーザがアクセスする他のメディアガイドアプリケーションから、ユーザがアクセスする他の双方向アプリケーションから、ユーザの別のユーザ機器デバイスから等)、および/またはメディアガイドアプリケーションがアクセスし得る他のソースから、ユーザについての情報を取得してもよい。結果として、ユーザは、ユーザの異なるユーザ機器デバイスにわたって、統一されたガイドアプリケーション体験を提供されることができる。本タイプのユーザ体験は、図11に関連して下記により詳細に説明される。付加的な個人化されたメディアガイドアプリケーション特徴は、2005年7月11日に出願されたEllis et al.の米国特許出願公開第2005/0251827号、2007年1月16日に発行されたBoyer et al.の米国特許第7,165,098号、および2002年2月21日に出願されたEllis et al.の米国特許出願公開第2002/0174430号(それらの全体として参照することによって本明細書に組み込まれる)でより詳細に説明されている。
メディアガイドを提供するための別の表示配列が、図9に示されている。ビデオモザイク表示900は、コンテンツのタイプ、ジャンル、および/または他の編成基準に基づいて編成されたコンテンツ情報のための選択可能オプション902を含む。表示900では、テレビ一覧オプション904が、選択され、したがって、一覧906、908、910、および912を放送番組一覧として提供する。表示900では、一覧は、カバーアート、コンテンツからの静止画像、ビデオクリップのプレビュー、コンテンツからのライブビデオ、または一覧中のメディアガイドデータによって記述されているコンテンツをユーザに示す他のタイプのコンテンツを含む、グラフィック画像を提供してもよい。グラフィック一覧はまた、それぞれ、一覧と関連付けられるコンテンツに関するさらなる情報を提供するように、テキストを伴ってもよい。例えば、一覧908は、メディア部分914およびテキスト部分916を含む、1つを上回る部分を含んでもよい。メディア部分914および/またはテキスト部分916は、コンテンツをフル画面で視聴するように、またはメディア部分914に表示されるコンテンツに関連する情報を閲覧するように(例えば、ビデオが表示されるチャネルの一覧を閲覧するように)、選択可能であり得る。
表示900内の一覧は、異なるサイズである(すなわち、一覧906は、一覧908、910、および912より大きい)が、所望に応じて、全ての一覧が同一のサイズであってもよい。一覧は、コンテンツプロバイダの所望に応じて、またはユーザ選好に基づいて、ユーザの関心の程度を示すように、またはあるコンテンツを強調するように、異なるサイズである、またはグラフィック的に強調されてもよい。コンテンツ一覧をグラフィック的に強調するための種々のシステムおよび方法は、例えば、2009年11月12日に出願されたYatesの米国特許出願公開第2010/0153885号(その全体として参照することによって本明細書に組み込まれる)に議論されている。
ユーザは、そのユーザ機器デバイスのうちの1つ以上のものから、コンテンツおよびメディアガイドアプリケーション(および上記および下記に説明されるその表示画面)にアクセスしてもよい。図10は、例証的ユーザ機器デバイス1000の一般化された実施形態を示す。ユーザ機器デバイスのより具体的な実装は、図11に関連して下記に議論される。ユーザ機器デバイス1000は、入出力(以下「I/O」)パス1002を介して、コンテンツおよびデータを受信してもよい。I/Oパス1002は、処理回路1006および記憶装置1008を含む制御回路1004に、コンテンツ(例えば、放送番組、オンデマンド番組、インターネットコンテンツ、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を経由して利用可能なコンテンツ、および/または他のコンテンツ)およびデータを提供してもよい。制御回路1004は、I/Oパス1002を使用して、コマンド、要求、および他の好適なデータを送受信するために使用されてもよい。I/Oパス1002は、制御回路1004(具体的には、処理回路1006)を1つ以上の通信パス(下記に説明される)に接続してもよい。I/O機能は、これらの通信パスのうちの1つ以上のものによって提供されてもよいが、図面が複雑になり過ぎることを回避するため、図10では単一パスとして示されている。
制御回路1004は、処理回路1006等の任意の好適な処理回路に基づいてもよい。本明細書で参照されるように、処理回路とは、1つ以上のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)等に基づく回路を意味すると理解され、マルチコアプロセッサ(例えば、デュアルコア、クアドコア、ヘクサコア、または任意の好適な数のコア)またはスーパーコンピュータを含んでもよい。いくつかの実施形態では、処理回路は、複数の別個のプロセッサまたは処理ユニット、例えば、複数の同一のタイプの処理ユニット(例えば、2つのIntel Core i7プロセッサ)または複数の異なるプロセッサ(例えば、Intel Core i5プロセッサおよびIntel Core i7プロセッサ)にわたって分散されてもよい。いくつかの実施形態では、制御回路1004は、メモリ(すなわち、記憶装置1008)に記憶されたメディアガイドアプリケーションに対する命令を実行する。具体的には、制御回路1004は、メディアガイドアプリケーションによって、上記および下記に議論される機能を果たすように命令されてもよい。例えば、メディアガイドアプリケーションは、制御回路1004に、メディアガイド表示を生成するための命令を提供してもよい。いくつかの実装では、制御回路1004によって実施される任意のアクションは、メディアガイドアプリケーションから受信される命令に基づいてもよい。
クライアントサーバベースの実施形態では、制御回路1004は、ガイドアプリケーションサーバまたは他のネットワークまたはサーバと通信するための好適な通信回路を含んでもよい。上記に述べられる機能性を実施するための命令は、ガイドアプリケーションサーバ上に記憶されてもよい。通信回路は、ケーブルモデム、総合デジタル通信網(ISDN)モデム、デジタルサブスクライバ回線(DSL)モデム、電話モデム、イーサネット(登録商標)カード、または他の機器との通信用の無線モデム、または任意の他の好適な通信回路を含んでもよい。そのような通信は、インターネットまたは任意の他の好適な通信ネットワークまたはパスを伴ってもよい(図11に関連してより詳細に説明される)。加えて、通信回路は、ユーザ機器デバイスのピアツーピア通信、または相互から遠隔の場所にあるユーザ機器デバイスの通信を可能にする回路を含んでもよい(下記により詳細に説明される)。
メモリは、制御回路1004の一部である、記憶装置1008として提供される、電子記憶デバイスであってもよい。本明細書で参照されるように、語句「電子記憶デバイス」または「記憶デバイス」とは、ランダムアクセスメモリ、読取専用メモリ、ハードドライブ、光学ドライブ、デジタルビデオディスク(DVD)レコーダ、コンパクトディスク(CD)レコーダ、BLU-RAY(登録商標)ディスク(BD)レコーダ、BLU-RAY(登録商標) 3Dディスクレコーダ、デジタルビデオレコーダ(DVR、または時として、パーソナルビデオレコーダまたはPVRと呼ばれる)、ソリッドステートデバイス、量子記憶デバイス、ゲームコンソール、ゲームメディア、または任意の他の好適な固定またはリムーバブル記憶デバイス、および/またはそれらの任意の組み合わせ等の電子データ、コンピュータソフトウェア、またはファームウェアを記憶するための任意のデバイスを意味すると理解されたい。記憶装置1008は、本明細書に説明される種々のタイプのコンテンツ、および上記に説明されるメディアガイドデータを記憶するために使用されてもよい。不揮発性メモリもまた、(例えば、ブートアップルーチンおよび他の命令を起動するために)使用されてもよい。図11に関連して説明されるクラウドベースの記憶装置が、記憶装置1008を補完するために使用される、または記憶装置1008の代わりに使用されてもよい。
制御回路1004は、1つ以上のアナログチューナ、1つ以上のMPEG-2デコーダ、または他のデジタルデコード回路、高解像度チューナ、または任意の他の好適な同調またはビデオ回路、またはそのような回路の組み合わせ等のビデオ生成回路および同調回路を含んでもよい。(例えば、記憶するために、無線、アナログ、またはデジタル信号をMPEG信号に変換するための)エンコード回路もまた、提供されてもよい。制御回路1004はまた、コンテンツをユーザ機器1000の好ましい出力形式に上方変換および下方変換するためのスケーリング回路を含んでもよい。回路1004はまた、デジタル信号とアナログ信号との間で変換するためのデジタル/アナログ変換回路およびアナログ/デジタル変換回路を含んでもよい。同調およびエンコード回路は、コンテンツを受信して表示する、再生する、または録画するために、ユーザ機器デバイスによって使用されてもよい。同調およびエンコード回路はまた、ガイドデータを受信するために使用されてもよい。例えば、同調、ビデオ生成、エンコード、デコード、暗号化、解読、スケーリング、およびアナログ/デジタル回路を含む、本明細書に説明される回路は、1つ以上の汎用または特殊プロセッサ上で起動するソフトウェアを使用して実装されてもよい。複数のチューナが、同時同調機能(例えば、視聴および録画機能、ピクチャインピクチャ(PIP)機能、多重チューナ録画機能等)に対処するように提供されてもよい。記憶装置1008が、ユーザ機器1000とは別のデバイスとして提供される場合、同調およびエンコード回路(複数のチューナを含む)は、記憶装置1008と関連付けられてもよい。
ユーザは、ユーザ入力インターフェース1010を使用して、命令を制御回路1004に送信してもよい。ユーザ入力インターフェース1010は、リモートコントロール、マウス、トラックボール、キーパッド、キーボード、タッチスクリーン、タッチパッド、スタイラス入力、ジョイスティック、音声認識インターフェース、または他のユーザ入力インターフェース等の任意の好適なユーザインターフェースであってもよい。ディスプレイ1012は、独立型デバイスとして提供される、またはユーザ機器デバイス1000の他の要素と統合されてもよい。例えば、ディスプレイ1012は、タッチスクリーンまたはタッチセンサ式ディスプレイであってもよい。そのような状況では、ユーザ入力インターフェース1010は、ディスプレイ1012と統合される、または組み合わせられてもよい。ディスプレイ1012は、モニタ、テレビ、モバイルデバイス用液晶ディスプレイ(LCD)、非晶質シリコンディスプレイ、低温ポリシリコンディスプレイ、電子インクディスプレイ、電気泳動ディスプレイ、アクティブマトリクスディスプレイ、エレクトロウェッティングディスプレイ、電気流体ディスプレイ、ブラウン管ディスプレイ、発光ダイオードディスプレイ、エレクトロルミネセントディスプレイ、プラズマディスプレイパネル、高性能アドレッシングディスプレイ、薄膜トランジスタディスプレイ、有機発光ダイオードディスプレイ、表面伝導型電子放出素子ディスプレイ(SED)、レーザテレビ、カーボンナノチューブ、量子ドットディスプレイ、干渉変調器ディスプレイ、または視覚的画像を表示するための任意の他の好適な機器のうちの1つ以上のものであってもよい。いくつかの実施形態では、ディスプレイ1012は、HDTV対応型であり得る。いくつかの実施形態では、ディスプレイ1012は、3Dディスプレイであってもよく、双方向メディアガイドアプリケーションおよび任意の好適なコンテンツは、3Dで表示されてもよい。ビデオカードまたはグラフィックカードは、ディスプレイ1012への出力を生成してもよい。ビデオカードは、3Dシーンおよび2Dグラフィックのレンダリング加速、MPEG-2/MPEG-4デコード、TV出力、または複数のモニタを接続する能力等の種々の機能を提供し得る。ビデオカードは、制御回路1004に関連する上記に説明される任意の処理回路であってもよい。ビデオカードは、制御回路1004と統合されてもよい。スピーカ1014は、ユーザ機器デバイス1000の他の要素と統合されたものとして提供されてもよい、または独立型ユニットであってもよい。ディスプレイ1012上に表示されるビデオおよび他のコンテンツのオーディオコンポーネントは、スピーカ1014を通して再生されてもよい。いくつかの実施形態では、オーディオは、スピーカ1014を介してオーディオを処理および出力する、受信機(図示せず)に配布されてもよい。
ガイドアプリケーションは、任意の好適なアーキテクチャを使用して実装されてもよい。例えば、これは、ユーザ機器デバイス1000上で完全に実装される、独立型アプリケーションであってもよい。そのようなアプローチでは、アプリケーションの命令は、ローカルで(例えば、記憶装置1008内に)記憶され、アプリケーションによって使用するためのデータは、周期的にダウンロードされる(例えば、帯域外フィードから、インターネットリソースから、または別の好適なアプローチを使用して)。制御回路1004は、記憶装置1008からアプリケーションの命令を読み出し、本明細書に議論される表示のうちのいずれかを生成するための命令を処理してもよい。処理された命令に基づいて、制御回路1004は、入力が入力インターフェース1010から受信されるときに実施するアクションを決定してもよい。例えば、表示上のカーソルの上/下への移動は、入力インターフェース1010が上/下ボタンが選択されたことを示すとき、処理された命令によって示されてもよい。
いくつかの実施形態では、メディアガイドアプリケーションは、クライアントサーバベースのアプリケーションである。ユーザ機器デバイス1000上に実装される、シックまたはシンクライアントによって使用するためのデータは、ユーザ機器デバイス1000の遠隔にあるサーバに要求を発行することによって、オンデマンドで読み出される。クライアントサーバベースのガイドアプリケーションの一実施例では、制御回路1004は、遠隔サーバによって提供されるウェブページを解釈する、ウェブブラウザを起動する。例えば、遠隔サーバは、記憶デバイス内にアプリケーションのための命令を記憶してもよい。遠隔サーバは、回路(例えば、制御回路1004)を使用して、記憶された命令を処理し、上記および下記に議論される表示を生成してもよい。クライアントデバイスは、遠隔サーバによって生成される表示を受信してもよく、表示のコンテンツを機器デバイス1000上にローカルで表示してもよい。このように、命令の処理が、サーバによって遠隔で実施される一方、結果として生じる表示は、機器デバイス1000上にローカルで提供される。機器デバイス1000は、入力インターフェース1010を介して、ユーザからの入力を受信し、対応する表示を処理および生成するために、それらの入力を遠隔サーバに伝送してもよい。例えば、機器デバイス1000は、上/下ボタンが入力インターフェース1010を介して選択されたことを示す、通信を遠隔サーバに伝送してもよい。遠隔サーバは、その入力に従って命令を処理し、入力に対応するアプリケーションの表示を生成してもよい(例えば、カーソルを上/下に移動させる表示)。生成された表示は、次いで、ユーザへの提示のために、機器デバイス1000に伝送される。
いくつかの実施形態では、メディアガイドアプリケーションは、インタープリタまたは仮想マシン(制御回路1004によって起動される)によって、ダウンロードされ、解釈または別様に起動される。いくつかの実施形態では、ガイドアプリケーションは、ETVバイナリ交換形式(ETV Binary Interchange Format/EBIF)でエンコードされ、好適なフィードの一部として制御回路1004によって受信され、制御回路1004上で起動するユーザエージェントによって解釈されてもよい。例えば、ガイドアプリケーションは、EBIFアプリケーションであってもよい。いくつかの実施形態では、ガイドアプリケーションは、制御回路1004によって実行されるローカル仮想マシンまたは他の好適なミドルウェアによって受信および起動される、一連のJAVA(登録商標)ベースのファイルによって定義されてもよい。そのような実施形態のうちのいくつか(例えば、MPEG-2または他のデジタルメディアエンコードスキームを採用するもの)では、ガイドアプリケーションは、例えば、番組のMPEGオーディオおよびビデオパケットを用いたMPEG-2オブジェクトカルーセルにおいてエンコードおよび伝送されてもよい。
図10のユーザ機器デバイス1000は、ユーザテレビ機器1102、ユーザコンピュータ機器1104、無線ユーザ通信デバイス1106、または非ポータブルゲーム機等のコンテンツにアクセスするために好適な任意の他のタイプのユーザ機器として、図11のシステム1100に実装されることができる。簡単にするために、これらのデバイスは、本明細書では総称して、ユーザ機器またはユーザ機器デバイスと称されてもよく、上記に説明されるユーザ機器デバイスに実質的に類似し得る。メディアガイドアプリケーションが実装され得る、ユーザ機器デバイスは、独立型デバイスとして機能してもよい、またはデバイスのネットワークの一部であってもよい。デバイスの種々のネットワーク構成が実装されてもよく、下記により詳細に議論される。
図10に関連して上記に説明されるシステム特徴のうちの少なくともいくつかを利用する、ユーザ機器デバイスは、単に、ユーザテレビ機器1102、ユーザコンピュータ機器1104、または無線ユーザ通信デバイス1106として分類されなくてもよい。例えば、ユーザテレビ機器1102は、いくつかのユーザコンピュータ機器1104のように、インターネットコンテンツへのアクセスを可能にするインターネット対応型であり得る一方で、ユーザコンピュータ機器1104は、あるテレビ機器1102のように、テレビ番組へのアクセスを可能にするチューナを含んでもよい。メディアガイドアプリケーションはまた、種々の異なるタイプのユーザ機器上で同一レイアウトを有してもよい、またはユーザ機器の表示能力に合わせられてもよい。例えば、ユーザコンピュータ機器1104上では、ガイドアプリケーションは、ウェブブラウザによってアクセスされるウェブサイトとして提供されてもよい。別の実施例では、ガイドアプリケーションは、無線ユーザ通信デバイス1106用に縮小されてもよい。
システム1100では、典型的には、各タイプのユーザ機器デバイスが1つを上回って存在するが、図面が複雑になり過ぎることを回避するように、それぞれ1つだけが図11に示されている。加えて、各ユーザは、1つを上回るタイプのユーザ機器デバイスと、また、各タイプのユーザ機器デバイスのうちの1つを上回るものとを利用してもよい。
いくつかの実施形態では、ユーザ機器デバイス(例えば、ユーザテレビ機器1102、ユーザコンピュータ機器1104、無線ユーザ通信デバイス1106)は、「第2の画面デバイス」と称されてもよい。例えば、第2の画面デバイスは、第1のユーザ機器デバイス上に提示されるコンテンツを補完してもよい。第2の画面デバイス上に提示されるコンテンツは、第1のデバイス上に提示されるコンテンツを補完する、任意の好適なコンテンツであってもよい。いくつかの実施形態では、第2の画面デバイスは、第1のデバイスの設定および表示選好を調節するためのインターフェースを提供する。いくつかの実施形態では、第2の画面デバイスは、他の第2の画面デバイスと相互作用する、またはソーシャルネットワークと相互作用するために構成される。第2の画面デバイスは、第1のデバイスと同一の部屋内に、第1のデバイスと異なる部屋であるが、同一の家または建物内に、または第1のデバイスと異なる建物内に位置することができる。
ユーザはまた、家庭内デバイスおよび遠隔デバイスにわたって一貫したメディアガイドアプリケーション設定を維持するように、種々の設定を設定してもよい。設定は、本明細書に説明されるもの、およびお気に入りのチャネルおよび番組、番組を推奨するためにガイドアプリケーションが利用する番組選好、表示選好、および他の望ましいガイド設定を含む。例えば、ユーザが、そのオフィスのパーソナルコンピュータ上で、例えば、ウェブサイトwww.Tivo.comの上で、チャネルをお気に入りとして設定した場合、同一のチャネルが、ユーザの家庭内デバイス(例えば、ユーザテレビ機器およびユーザコンピュータ機器)上で、および所望に応じて、ユーザのモバイルデバイス上でお気に入りとして表示されるであろう。したがって、同一または異なるタイプのユーザ機器デバイスであるかどうかにかかわらず、1つのユーザ機器デバイス上で行われる変更は、別のユーザ機器デバイス上のガイド体験を変更することができる。加えて、行われる変更は、ユーザによって入力される設定、およびガイドアプリケーションによって監視されるユーザアクティビティに基づいてもよい。
ユーザ機器デバイスは、通信ネットワーク1114に結合されてもよい。すなわち、ユーザテレビ機器1102、ユーザコンピュータ機器1104、および無線ユーザ通信デバイス1106は、それぞれ、通信パス1108、1110、および1112を介して、通信ネットワーク1114に結合される。通信ネットワーク1114は、インターネット、携帯電話ネットワーク、モバイルボイスまたはデータネットワーク(例えば、4GまたはLTEネットワーク)、ケーブルネットワーク、公衆交換電話ネットワーク、または他のタイプの通信ネットワーク、または通信ネットワークの組み合わせを含む、1つ以上のネットワークであってもよい。パス1108、1110、および1112は、別個または一緒に、衛星パス、光ファイバパス、ケーブルパス、インターネット通信をサポートするパス(例えば、IPTV)、フリースペース接続(例えば、放送または他の無線信号用)、または任意の他の好適な有線または無線通信パス、またはそのようなパスの組み合わせ等の1つ以上の通信パスを含んでもよい。パス1112は、図11に示される例示的実施形態では、無線パスであることを示すように破線で描かれ、パス1108および1110は、有線パスであることを示すように実線として描かれている(しかし、これらのパスは、所望に応じて、無線パスであってもよい)。ユーザ機器デバイスとの通信は、これらの通信パスのうちの1つ以上のものによって提供されてもよいが、図11では、図面が複雑になり過ぎることを回避するように、単一パスとして示されている。
通信パスは、ユーザ機器デバイスの間には描かれていないが、これらのデバイスは、パス1108、1110、および1112に関連して上記に説明されるもの、およびUSBケーブル、IEEE 1394ケーブル、無線パス(例えば、Bluetooth(登録商標)、赤外線、IEEE 802-11x等)等の他の短距離ポイントツーポイント通信パス、または有線または無線パスを介した他の短距離通信等の通信パスを介して、相互に直接通信してもよい。BLUETOOTH(登録商標)は、Bluetooth SIG, INC.によって所有される認証マークである。ユーザ機器デバイスはまた、通信ネットワーク1114を介した間接パスを通して、相互に直接通信してもよい。
システム1100は、それぞれ、通信パス1120および1122を介して、通信ネットワーク1114に結合される、コンテンツソース1116およびメディアガイドデータソース1118を含む。パス1120および1122は、パス1108、1110、および1112に関連して上記に説明される通信パスのうちのいずれかを含んでもよい。コンテンツソース1116およびメディアガイドデータソース1118との通信は、1つ以上の通信パスを介して交信されてもよいが、図11では、図面が複雑になり過ぎることを回避するように、単一パスとして示される。加えて、コンテンツソース1116およびメディアガイドデータソース1118のそれぞれが1つを上回って存在し得るが、図11では、図面が複雑になり過ぎることを回避するように、それぞれ1つだけが示されている。(異なるタイプのこれらのソースのそれぞれが下記に議論される。)所望に応じて、コンテンツソース1116およびメディアガイドデータソース1118は、1つのソースデバイスとして統合されてもよい。ソース1116および1118と、ユーザ機器デバイス1102、1104、および1106との間の通信は、通信ネットワーク1114を通したものとして示されるが、いくつかの実施形態では、ソース1116および1118は、パス1108、1110、および1112に関連して上記に説明されるもの等の通信パス(図示せず)を介して、ユーザ機器デバイス1102、1104、および1106と直接通信してもよい。
コンテンツソース1116は、テレビ配信施設、ケーブルシステムヘッドエンド、衛星配信施設、番組ソース(例えば、NBC、ABC、HBO等のテレビ放送会社)、中間配信施設および/またはサーバ、インターネットプロバイダ、オンデマンドメディアサーバ、および他のコンテンツプロバイダを含む、1つ以上のタイプのコンテンツ配信機器を含んでもよい。NBCは、National Broadcasting Company, Inc.によって所有される商標であり、ABCは、American Broadcasting Company, INC.によって所有される商標であり、HBOは、Home Box Office, Inc.によって所有される商標である。コンテンツソース1116は、コンテンツの発信元であってもよい(例えば、テレビ放送会社、ウェブキャストプロバイダ等)、またはコンテンツの発信元でなくてもよい(例えば、オンデマンドコンテンツプロバイダ、ダウンロード用放送番組のコンテンツのインターネットプロバイダ等)。コンテンツソース1116は、ケーブルソース、衛星プロバイダ、オンデマンドプロバイダ、インターネットプロバイダ、オーバーザトップコンテンツプロバイダ、または他のコンテンツのプロバイダを含んでもよい。コンテンツソース1116はまた、ユーザ機器デバイスのうちのいずれかから遠隔の場所にある、異なるタイプのコンテンツ(ユーザによって選択されるビデオコンテンツを含む)を記憶するために使用される、遠隔メディアサーバを含んでもよい。コンテンツの遠隔記憶のため、および遠隔に記憶されたコンテンツをユーザ機器に提供するためのシステムおよび方法は、2010年7月20日に発行されたEllis et al.の米国特許第7,761,892号(その全体として参照することによって本明細書に組み込まれる)に関連して、より詳細に議論されている。
メディアガイドデータソース1118は、上記に説明されるメディアガイドデータ等のメディアガイドデータを提供してもよい。メディアガイドデータは、任意の好適なアプローチを使用して、ユーザ機器デバイスに提供されてもよい。いくつかの実施形態では、ガイドアプリケーションは、データフィード(例えば、継続フィードまたはトリクルフィード)を介して、番組ガイドデータを受信する、独立型双方向テレビ番組ガイドであってもよい。番組スケジュールデータおよび他のガイドデータは、テレビチャネルのサイドバンド上で、帯域内デジタル信号を使用して、帯域外デジタル信号を使用して、または任意の他の好適なデータ伝送技術によって、ユーザ機器に提供されてもよい。番組スケジュールデータおよび他のメディアガイドデータは、複数のアナログまたはデジタルテレビチャネル上でユーザ機器に提供されてもよい。
いくつかの実施形態では、メディアガイドデータソース1118からのガイドデータは、クライアントサーバアプローチを使用して、ユーザの機器に提供されてもよい。例えば、ユーザ機器デバイスは、メディアガイドデータをサーバからプルしてもよい、またはサーバは、メディアガイドデータをユーザ機器デバイスにプッシュしてもよい。いくつかの実施形態では、ユーザの機器上に常駐するガイドアプリケーションクライアントは、必要に応じて、例えば、ガイドデータが古くなっているとき、またはユーザ機器デバイスが、データを受信する要求をユーザから受信するとき、ソース1118とセッションを開始し、ガイドデータを取得してもよい。メディアガイドは、任意の好適な頻度で(例えば、継続的に、毎日、ユーザ規定期間で、システム規定期間で、ユーザ機器からの要求に応答して等)ユーザ機器に提供されてもよい。メディアガイドデータソース1118は、ユーザ機器デバイス1102、1104、および1106に、メディアガイドアプリケーション自体、またはメディアガイドアプリケーションのソフトウェア更新を提供してもよい。
いくつかの実施形態では、メディアガイドデータは、視聴者データを含んでもよい。例えば、視聴者データは、現在および/または履歴ユーザアクティビティ情報(例えば、ユーザが典型的に鑑賞するコンテンツ、ユーザがコンテンツを鑑賞する時刻、ユーザがソーシャルネットワークと相互作用するかどうか、ユーザがソーシャルネットワークと相互作用し、情報を投稿する時間、ユーザが典型的に鑑賞するコンテンツのタイプ(例えば、有料TVまたは無料TV)、気分、脳の活動情報等)を含んでもよい。メディアガイドデータはまた、サブスクリプションデータを含んでもよい。例えば、サブスクリプションデータは、所与のユーザがサブスクライブするソースまたはサービスおよび/または所与のユーザが以前にサブスクライブしていたが、後にアクセスを打ち切ったソースまたはサービス(例えば、ユーザがプレミアムチャネルをサブスクライブしているかどうか、ユーザがプレミアムレベルのサービスを追加したかどうか、ユーザがインターネット速度を加速させたかどうか)を識別してもよい。いくつかの実施形態では、視聴者データおよび/またはサブスクリプションデータは、1年を上回る周期の間の所与のユーザのパターンを識別してもよい。メディアガイドデータは、所与のユーザがサービス/ソースへのアクセスを打ち切るであろう可能性を示すスコアを生成するために使用される、モデル(例えば、残存者モデル)を含んでもよい。例えば、メディアガイドアプリケーションは、所与のユーザが特定のサービスまたはソースへのアクセスを打ち切るであろうかどうかの可能性を示す、値またはスコアを生成するためのモデルを使用して、サブスクリプションデータとともに視聴者データを処理してもよい。特に、より高いスコアは、ユーザが特定のサービスまたはソースへのアクセスを打ち切るであろう、より高いレベルの信頼性を示し得る。スコアに基づいて、メディアガイドアプリケーションは、ユーザがアクセスを打ち切る可能性が高いであろうものとしてスコアによって示される特定のサービスまたはソースをユーザが維持するように勧誘する宣伝を生成してもよい。
メディアガイドアプリケーションは、例えば、ユーザ機器デバイス上に実装される独立型アプリケーションであってもよい。例えば、メディアガイドアプリケーションは、記憶装置1008内に記憶され、ユーザ機器デバイス1000の制御回路1004によって実行され得る、ソフトウェアまたは実行可能命令のセットとして実装されてもよい。いくつかの実施形態では、メディアガイドアプリケーションは、クライアント-サーバアプリケーションであってもよく、その場合、クライアントアプリケーションのみが、ユーザ機器デバイス上に常駐し、サーバアプリケーションは、遠隔サーバ上に常駐する。例えば、メディアガイドアプリケーションは、部分的に、ユーザ機器デバイス1000の制御回路1004上のクライアントアプリケーションとして、および遠隔サーバの制御回路上で起動するサーバアプリケーション(例えば、メディアガイドデータソース1118)として部分的に遠隔サーバ上で、実装されてもよい。遠隔サーバの制御回路(メディアガイドデータソース1118等)によって実行されると、メディアガイドアプリケーションは、制御回路に、ガイドアプリケーション表示を生成し、生成された表示をユーザ機器デバイスに伝送するように命令してもよい。サーバアプリケーションは、メディアガイドデータソース1118の制御回路に、ユーザ機器上での記憶のためのデータを伝送するように命令してもよい。クライアントアプリケーションは、受信用ユーザ機器の制御回路に、ガイドアプリケーション表示を生成するように命令してもよい。
ユーザ機器デバイス1102、1104、および1106に配信されるコンテンツおよび/またはメディアガイドデータは、オーバーザトップ(OTT)コンテンツであってもよい。OTTコンテンツ配信は、上記に説明される任意のユーザ機器デバイスを含む、インターネット対応型ユーザデバイスが、ケーブルまたは衛星接続を経由して受信されるコンテンツに加えて、上記に説明される任意のコンテンツを含む、インターネットを経由して転送されるコンテンツを受信することを可能にする。OTTコンテンツは、インターネットサービスプロバイダ(ISP)によって提供されるインターネット接続を介して配信されるが、第三者も、コンテンツを配布する。ISPは、視聴能力、著作権、またはコンテンツの再配布に責任がない場合があり、OTTコンテンツプロバイダによって提供されるIPパケットのみを転送してもよい。OTTコンテンツプロバイダの実施例は、IPパケットを介してオーディオおよびビデオを提供する、YOUTUBE(登録商標)、NETFLIX、およびHULUを含む。Youtube(登録商標)は、Google Inc.によって所有される商標であり、Netflixは、Netflix, Inc.によって所有される商標であり、Huluは、Hulu, LLC.によって所有される商標である。OTTコンテンツプロバイダは、加えて、または代替として、上記に説明されるメディアガイドデータを提供してもよい。コンテンツおよび/またはメディアガイドデータに加えて、OTTコンテンツのプロバイダは、メディアガイドアプリケーション(例えば、ウェブベースのアプリケーションまたはクラウドベースのアプリケーション)を配布することができる、またはコンテンツは、ユーザ機器デバイス上に記憶されたメディアガイドアプリケーションによって表示されることができる。
メディアガイドシステム1100は、いくつかのアプローチまたはネットワーク構成を例証することを意図しており、これによって、ユーザ機器デバイスおよびコンテンツおよびガイドデータのソースは、コンテンツにアクセスし、メディアガイドを提供する目的のために、相互に通信してもよい。本明細書に説明される実施形態は、これらのアプローチのうちのいずれか1つまたは一部において、またはコンテンツを配信し、メディアガイドを提供するための他のアプローチを採用するシステムにおいて、適用されてもよい。以下の4つのアプローチは、図11の一般化された実施例の具体的例証を提供する。
あるアプローチでは、ユーザ機器デバイスは、ホームネットワーク内で相互に通信してもよい。ユーザ機器デバイスは、上記に説明される短距離ポイントツーポイント通信方式を介して、ホームネットワーク上に提供されるハブまたは他の類似デバイスを通した間接パスを介して、または通信ネットワーク1114を介して、相互に直接通信することができる。1つの家庭内の複数の個人のそれぞれが、ホームネットワーク上の異なるユーザ機器デバイスを動作させてもよい。結果として、種々のメディアガイド情報または設定が、異なるユーザ機器デバイスの間で通信されることが望ましくあり得る。例えば、2005年7月11日に出願されたEllis et al.の米国特許公開第2005/0251827号でより詳細に説明されるように、ホームネットワーク内の異なるユーザ機器デバイス上で、ユーザが一貫したメディアガイドアプリケーション設定を維持することが望ましくあり得る。ホームネットワーク内の異なるタイプのユーザ機器デバイスもまた、相互に通信し、コンテンツを伝送してもよい。例えば、ユーザは、ユーザコンピュータ機器からポータブルビデオプレーヤまたはポータブル音楽プレーヤにコンテンツを伝送してもよい。
第2のアプローチでは、ユーザは、複数のタイプのユーザ機器を有してもよく、これによって、コンテンツにアクセスし、メディアガイドを取得する。例えば、一部のユーザは、家庭内およびモバイルデバイスによってアクセスされる、ホームネットワークを有してもよい。ユーザは、遠隔デバイス上に実装されるメディアガイドアプリケーションを介して、家庭内デバイスを制御してもよい。例えば、ユーザは、そのオフィスのパーソナルコンピュータ、またはPDAまたはウェブ対応携帯電話等のモバイルデバイスを介して、ウェブサイト上のオンラインメディアガイドアプリケーションにアクセスしてもよい。ユーザは、オンラインガイドアプリケーション上で種々の設定(例えば、録画、リマインダ、または他の設定)を設定して、ユーザの家庭内機器を制御してもよい。オンラインガイドは、直接、またはユーザの家庭内機器上のメディアガイドアプリケーションと通信することによって、ユーザの機器を制御してもよい。ユーザ機器デバイスが相互から遠隔の場所にある、ユーザ機器デバイスの通信のための種々のシステムおよび方法は、例えば、Ellis et al.の2011年10月25日に発行された米国特許第8,046,801号(その全体を参照することによって本明細書に組み込まれる)に議論されている。
第3のアプローチでは、家庭内外のユーザ機器デバイスのユーザは、コンテンツソース1116と直接通信し、コンテンツにアクセスするために、そのメディアガイドアプリケーションを使用することができる。具体的には、家庭内では、ユーザテレビ機器1102およびユーザコンピュータ機器1104のユーザは、メディアガイドアプリケーションにアクセスし、所望のコンテンツ間をナビゲートし、それを特定してもよい。ユーザはまた、無線ユーザ通信デバイス1106を使用して、家庭外のメディアガイドアプリケーションにアクセスし、所望のコンテンツ間をナビゲートし、それを特定してもよい。
第4のアプローチでは、ユーザ機器デバイスは、クラウドコンピューティング環境内で動作し、クラウドサービスにアクセスしてもよい。クラウドコンピューティング環境では、コンテンツ共有、記憶、または配布のための種々のタイプのコンピューティングサービス(例えば、ビデオ共有サイトまたはソーシャルネットワーキングサイト)が、「クラウド」と称される、ネットワークアクセス可能コンピューティングおよび記憶リソースの集合によって提供される。例えば、クラウドは、通信ネットワーク1114を介したインターネット等のネットワークを介して接続される、種々のタイプのユーザおよびデバイスにクラウドベースのサービスを提供する、中央にまたは分散場所に位置し得る、サーバコンピューティングデバイスの集合を含むことができる。これらのクラウドリソースは、1つ以上のコンテンツソース1116および1つ以上のメディアガイドデータソース1118を含んでもよい。加えて、または代替として、遠隔コンピューティングサイトは、ユーザテレビ機器1102、ユーザコンピュータ機器1104、および無線ユーザ通信デバイス1106等の他のユーザ機器デバイスを含んでもよい。例えば、他のユーザ機器デバイスは、ビデオの記憶されたコピーまたはストリーミングされたビデオへのアクセスを提供してもよい。そのような実施形態では、ユーザ機器デバイスは、中央サーバと通信することなく、ピアツーピア様式で動作してもよい。
クラウドは、ユーザ機器デバイスのために、他の実施例の中でもとりわけ、コンテンツ記憶、コンテンツ共有、またはソーシャルネットワーキングサービス等のサービスへのアクセス、および上記に説明される任意のコンテンツへのアクセスを提供する。サービスは、クラウドコンピューティングサービスプロバイダを通して、またはオンラインサービスの他のプロバイダを通して、クラウド内で提供されることができる。例えば、クラウドベースのサービスは、コンテンツ記憶サービス、コンテンツ共有サイト、ソーシャルネットワーキングサイト、または他のサービスを含むことができ、それを介して、ユーザ供給コンテンツは、接続されたデバイス上で他者によって視聴するために配布される。これらのクラウドベースのサービスは、ユーザ機器デバイスが、コンテンツをローカルで記憶し、ローカルで記憶されたコンテンツにアクセスするのではなく、コンテンツをクラウドに記憶し、コンテンツをクラウドから受信することを可能にしてもよい。
ユーザは、カムコーダ、ビデオモード付きデジタルカメラ、オーディオレコーダ、携帯電話、およびハンドヘルドコンピューティングデバイス等の種々のコンテンツ捕捉デバイスを使用して、コンテンツを録画してもよい。ユーザは、直接、例えば、ユーザコンピュータ機器1104から、またはコンテンツ捕捉特徴を有する、無線ユーザ通信デバイス1106からのいずれかにおいて、クラウド上のコンテンツ記憶サービスにコンテンツをアップロードすることができる。代替として、ユーザは、最初に、コンテンツをユーザコンピュータ機器1104等のユーザ機器デバイスに転送することができる。コンテンツを記憶するユーザ機器デバイスは、通信ネットワーク1114上のデータ伝送サービスを使用して、コンテンツをクラウドにアップロードする。いくつかの実施形態では、ユーザ機器デバイス自体が、クラウドリソースであり、他のユーザ機器デバイスは、直接、ユーザがコンテンツを記憶したユーザ機器デバイスから、コンテンツにアクセスすることができる。
クラウドリソースは、例えば、ウェブブラウザ、メディアガイドアプリケーション、デスクトップアプリケーション、モバイルアプリケーション、および/またはそれらのアクセスアプリケーションの任意の組み合わせを使用して、ユーザ機器デバイスによってアクセスされてもよい。ユーザ機器デバイスは、アプリケーション配信のために、クラウドコンピューティングに依拠する、クラウドクライアントであってもよい、またはユーザ機器デバイスは、クラウドリソースにアクセスすることなく、ある機能性を有してもよい。例えば、ユーザ機器デバイス上で起動するいくつかのアプリケーションは、クラウドアプリケーション、例えば、インターネットを経由してサービスとして配信されるアプリケーションであってもよい一方、他のアプリケーションは、ユーザ機器デバイス上に記憶され、起動されてもよい。いくつかの実施形態では、ユーザデバイスは、コンテンツを複数のクラウドリソースから同時に受信してもよい。例えば、ユーザデバイスは、オーディオを1つのクラウドリソースからストリーミングする一方で、コンテンツを第2のクラウドリソースからダウンロードすることができる。または、ユーザデバイスは、より効率的なダウンロードのために、コンテンツを複数のクラウドリソースからダウンロードすることができる。いくつかの実施形態では、ユーザ機器デバイスは、図10に関連して説明される処理回路によって実施される処理動作等の処理動作のために、クラウドリソースを使用することができる。
本明細書で参照されるように、用語「~に応答して」は、「~の結果として開始される」ことを指す。例えば、第2のアクションに応答して実施されている第1のアクションは、第1のアクションと第2のアクションとの間に介在ステップを含んでもよい。本明細書で参照されるように、用語「~に直接応答して」は、「~によって引き起こされる」ことを指す。例えば、第2のアクションに直接応答して実施されている第1のアクションは、第1のアクションと第2のアクションとの間に介在ステップを含まなくてもよい。
図12は、本開示のいくつかの実施形態による、情報を拡張現実視界に追加するためのプロセス1200の例証的ステップのフローチャートである。プロセス1200またはその任意のステップは、図10-11に示されるデバイスのうちのいずれかの上で実施される、またはそれによって提供され得ることに留意されたい。例えば、プロセス1200は、拡張現実環境内で追加された情報を提示するために、ユーザデバイス(例えば、ユーザ機器デバイス1102、1104、および/または1106(図11))上で実装されるメディアガイドアプリケーションによって命令される通りに、制御回路1004(図10)によって実行されてもよい。加えて、プロセス1200の1つ以上のステップが、本明細書に説明される任意の他のプロセスまたは実施形態の1つ以上のステップに組み込まれる、またはそれと組み合わせられてもよい。
図12は、拡張現実視界内で情報を提供するための例証的プロセス1200を描写する。ステップ1210では、メディアガイドアプリケーションのための制御回路1004は、拡張現実デバイスの視野内のオブジェクトを識別してもよい。例えば、拡張現実デバイスを使用するユーザは、種々のオブジェクトを含む、ある視野(例えば、視界200、400、500、600、または700)を有してもよい。メディアガイドアプリケーションは、カメラ回路を使用して、視界内の画像を捕捉してもよい。メディアガイドアプリケーションはまた、ユーザが視界内で特定のオブジェクトまたは方向に焦点を当てているかどうかを決定してもよい。
ステップ1220では、メディアガイドアプリケーションのための制御回路1004は、オブジェクトの画像を処理してもよい。メディアガイドアプリケーションは、カメラ回路を使用し、制御回路1004を用いて画像を捕捉および処理し、オブジェクト上で、イベントの参加者に関連する参照を検出してもよい。メディアガイドアプリケーションは、画像分析ツールを使用し、制御回路1004を使用して画像を分析し、オブジェクトを識別してもよい。メディアガイドアプリケーションは、次いで、メディアまたは他のデータベースを検索し、オブジェクトについての付加的情報を取得し、オブジェクトと関連付けられる参照、参加者、およびイベントを決定してもよい。
ステップ1230では、メディアガイドアプリケーションのための制御回路1004は、ユーザのプロファイルを検索し、オブジェクトに関連性があり得るコンテンツを見出してもよい。特に、メディアガイドアプリケーションのための制御回路1004は、ユーザプロファイルを検索し、ユーザによってソーシャルネットワークに以前に伝送された参加者についてのメッセージを識別してもよい。したがって、メディアガイドアプリケーションは、オブジェクトと関連付けられる参加者またはイベント情報を使用し、拡張現実視界内のオブジェクトに関連性がある、ユーザのソーシャルネットワークからのメッセージを見出してもよい。例えば、メディアガイドアプリケーションは、ユーザのソーシャルネットワーク記録300(図3)を検索し、オブジェクトの参加者に関連するメッセージを識別してもよい。以前に提供された実施例を基にして、メディアガイドアプリケーションは、拡張現実デバイス表示内のスポーツチームロゴを検出し、参加者、例えば、チーム、またはロゴ、スポーツ、またはロゴのための他の利害関係者メタデータと関連付けられるチームの選手を決定してもよい。メディアガイドアプリケーションは、次いで、ユーザの履歴を検索し、関連コンテンツ、例えば、ソーシャルネットワークコメント、ユーザ履歴と関連付けられるメディア等を見出してもよい。
ステップ1240では、メディアガイドアプリケーションのための制御回路1004は、拡張現実デバイス上の表示内に、ユーザの履歴で識別されるメッセージをオーバーレイしてもよい。例えば、メディアガイドアプリケーションは、拡張現実視界内にオーバーレイするべきオブジェクト参照に関連するユーザのソーシャルネットワーク履歴からのコメントを使用してもよい。メディアガイドアプリケーションのための制御回路1004は、ユーザにメッセージとオブジェクトとの間の関連が見え得るように、オーバーレイをオブジェクトの近似場所または他の好適な場所において生成させてもよい。メッセージオーバーレイは、ユーザのソーシャルネットワーク履歴からのメッセージのコンテンツおよび参照オブジェクトの組み合わせであってもよい。したがって、実施例では、フットボールについてのソーシャルネットワークメッセージが、拡張現実視界内のスポーツロゴ参照オブジェクトのオーバーレイとして、拡張現実視界内に表示されてもよい。
図12のステップまたは説明は、本開示の任意の他の実施形態と併用され得ることが考慮される。加えて、図12に関連して説明されるステップおよび説明は、本開示の目的を促すために、代替順序で、または並行して、行われてもよい。例えば、これらのステップはそれぞれ、システムまたは方法の遅延を低減させる、または速度を増加させるように、任意の順序で、または並行して、または実質的に同時に実施されてもよい。これらのステップのうちのいずれかはまた、スキップされる、またはプロセスから省略されてもよい。さらに、図10-11に関連して議論されるデバイスまたは機器のうちのいずれかは、図12のステップのうちの1つ以上のものを実施するために使用され得ることに留意されたい。
図13は、本開示のいくつかの実施形態による、情報を拡張現実視界に追加するためのプロセス1300の例証的ステップのフローチャートである。プロセス1300またはその任意のステップは、図10-11に示されるデバイスのうちのいずれかの上で実施される、またはそれによって提供され得ることに留意されたい。例えば、プロセス1300は、拡張現実環境内で追加された情報を提示するために、ユーザデバイス(例えば、ユーザ機器デバイス1102、1104、および/または1106(図11))上で実装されるメディアガイドアプリケーションによって命令される通りに、制御回路1004(図10)によって実行されてもよい。加えて、プロセス1300の1つ以上のステップが、本明細書に説明される任意の他のプロセスまたは実施形態の1つ以上のステップに組み込まれる、またはそれと組み合わせられてもよい。
図13は、視界内の参照オブジェクトを伴うメッセージを含む拡張現実視界内で情報を提供するために従われ得る、プロセス1300を描写する例証的フローチャートである。ステップ1310では、メディアガイドアプリケーションのための制御回路1004が、拡張現実デバイスの視野内のオブジェクトにわたって第1のユーザの拡張現実デバイスを位置付けるために、使用されてもよい。メディアガイドアプリケーションは、視界内のオブジェクトにわたって拡張現実デバイス内の表示の視界に焦点を当ててもよい。例えば、図2に示される視界200では、メディアガイドアプリケーションは、視界200内の1つ以上のオブジェクトに焦点を当ててもよい。例えば、メディアガイドアプリケーションは、看板内の広告、近傍の店、または個人210等の視界200内の個人のうちの1人に焦点を当ててもよい。視界内のオブジェクトに焦点を当てることは、例えば、拡張現実デバイスの方向または配向、オブジェクト関心のユーザ履歴、時間的焦点を決定するためのユーザのカレンダ、または別の基準を検出することによって、達成されてもよい。別の実施例では、オブジェクト焦点は、拡張現実環境内のユーザのアクションに基づいてもよい。
ステップ1315では、メディアガイドアプリケーションのための制御回路1004は、第1のユーザの拡張現実デバイスの視野内のオブジェクトを識別してもよい。オブジェクトは、視野内でステップ1310からの焦点を絞ることによって、制御回路1004によって識別されてもよい。オブジェクトは、オブジェクト認識ツールおよび技法を使用して、識別されてもよい。
オブジェクトが識別されたとき、メディアガイドアプリケーションのための制御回路1004は、ステップ1320において、オブジェクトの画像を捕捉してもよい。画像は、カメラ回路を使用して、およびピクセルまたは別の画像成分を使用して画像を捕捉するステップを含み得る、写真またはビデオ画像捕捉を使用して、メディアガイドアプリケーションのための制御回路1004によって捕捉されてもよい。
ステップ1325では、メディアガイドアプリケーションのための制御回路1004は、データベースを検索し、オブジェクトの画像の少なくとも一部に合致するコンテンツを識別してもよい。データベース検索は、オブジェクト画像のためのコンテンツおよびコンテキストを決定するように、画像検索ツールまたは技法を使用してメディアガイドアプリケーションによって実施されてもよい。画像検索ツールは、オブジェクト画像についてのメタデータを提供してもよい。そのようなメタデータは、オブジェクト画像に合致するコンテンツを見出すように、データベース内でメディアガイドアプリケーションによって検索されてもよい。例えば、個人210(図2)の画像は、ステップ1320において捕捉されてもよく、画像は、例えば、画像が個人のものであること、個人210が、顔または画像認識ツールおよびユーザの接触の比較に基づいて、ユーザによって既知であるものであるものとして認識され得ることを検出するように、画像検索技法を使用して分析され、加えて、画像検索は、(ユーザのオンラインショッピング履歴に基づいて)個人210がユーザによって購入されたものである靴を着用していること、個人210がNew England Patriotsのロゴ(ユーザのお気に入りまたは敵であるチームに関するものしてメディアガイドアプリケーションに既知であり得る)を伴うTシャツを着用していること、または画像についての他の詳細を検出してもよい。
ステップ1330では、オブジェクトの画像の少なくとも一部に合致するコンテンツを識別するステップに応答して、メディアガイドアプリケーションのための制御回路1004は、コンテンツと関連付けられるメタデータを読み出し、オブジェクト上で、イベントの参加者に関連する参照を検出するであろう。したがって、ステップ1330では、メディアガイドアプリケーションは、ステップ1325において取得される画像のための合致するコンテンツを識別することについての情報を使用し、合致するコンテンツについてのメタデータを読み出すであろう。例えば、メディアガイドアプリケーションが、例えば、顔認識ツールを使用して、個人210(図2)がユーザに既知であることを検出する場合、メディアガイドアプリケーションは、個人または連絡先についてのメタデータを読み出してもよい。別の実施例では、メディアガイドアプリケーションが、オブジェクト画像がNew England Patriotsのロゴであることを識別する場合、メディアガイドアプリケーションは、New England Patriotsについてのメタデータ、例えば、イベントおよび参加者情報を読み出すであろう。そのようなメタデータおよび情報は、スポーツデータベースまたは別の好適なデータベースから取得され得る。別の実施例では、メディアガイドアプリケーションは、オブジェクト画像が、ユーザが以前に購入した、またはソーシャルメディア上で好んだ何らかのものに類似する衣服を含むことを識別し得る。本実施例では、メディアガイドアプリケーションは、店のセール、広報担当者、ポップアップショップ、小売店、またはコンテンツに関連する他のイベントまたは参加者に関するメタデータを読み出してもよい。
ステップ1335では、メディアガイドアプリケーションのための制御回路1004は、第1のユーザによってソーシャルネットワークに以前に伝送されたメッセージのリストを検索し、参加者に合致するコンテンツを含む、所与のメッセージを識別してもよい。ステップ1335を実施するために、メディアガイドアプリケーションは、ユーザのソーシャルネットワークにアクセスし、例えば、記録300(図3)に示されるような、コメント、タグ、リンク、またはユーザによって投稿される、または別の連絡先によって投稿され、ユーザと関連付けられる、またはユーザに関してタグ付けされる、他のコンテンツ等のメッセージを検索してもよい。ソーシャルメディアメッセージは、ステップ1330において識別される参加者に関するコンテンツを見出すように検索されてもよい。実施例では、Tシャツ上のNew England Patriotsのロゴを検出するステップに応答して、メディアガイドアプリケーションは、New England Patriotsチームのためのメタデータを読み出し、チームについてのメッセージに関してユーザのソーシャルネットワークを検索してもよい。本実施例では、メディアガイドアプリケーションは、2017年2月にSuper BowlでプレーしたNew England Patriotsに関連するものとしてメッセージ310(図3)を検出してもよい。別の実施例では、メディアガイドアプリケーションは、メッセージを投稿する日付の直後にチームが試合をするであろうため、New England Patriotsに関連するものとして別のメッセージ302(図3)を検出してもよい。
ステップ1340では、メディアガイドアプリケーションのための制御回路1004は、識別されたコンテンツに合致する画像の一部を含む、視野内のオブジェクトの領域を決定することによって、参加者に関連する参照のオブジェクト上の場所を識別してもよい。ステップ1340を実施するために、メディアガイドアプリケーションは、拡張現実視界のコンテキストをオブジェクト画像情報と比較し、視界内のオブジェクトの場所を決定してもよい。
メディアガイドアプリケーションのための制御回路1004は、次いで、ステップ1350において、拡張現実デバイスを使用して、識別された場所に対する位置において、所与のメッセージのコンテンツをオブジェクト上で検出される参照と組み合わせてもよい。したがって、ステップ1340において識別されるソーシャルメディアメッセージは、図4-6に示されるもの等の視界を提供するように、ステップ1350において、オブジェクトの近傍の場所で拡張現実デバイス内の視界に追加されてもよい。
図13のステップまたは説明は、本開示の任意の他の実施形態と併用され得ることが考慮される。加えて、図13に関連して説明されるステップおよび説明は、本開示の目的を促すために、代替順序で、または並行して、行われてもよい。例えば、これらのステップはそれぞれ、システムまたは方法の遅延を低減させる、または速度を増加させるように、任意の順序で、または並行して、または実質的に同時に実施されてもよい。これらのステップのうちのいずれかはまた、スキップされる、またはプロセスから省略されてもよい。さらに、図10-11に関連して議論されるデバイスまたは機器のうちのいずれかは、図13のステップのうちの1つ以上のものを実施するために使用され得ることに留意されたい。
図14は、本開示のいくつかの実施形態による、ユーザが拡張現実視界に描写される側面を使用するためのオプションを生成するためのプロセス1400の例証的ステップのフローチャートである。プロセス1400またはその任意のステップは、図10-11に示されるデバイスのうちのいずれかの上で実施される、またはそれによって提供され得ることに留意されたい。例えば、プロセス1400は、拡張現実環境内で追加された情報を共有するオプションを提示するために、ユーザデバイス(例えば、ユーザ機器デバイス1102、1104、および/または1106(図11))上で実装されるメディアガイドアプリケーションによって命令される通りに、制御回路1004(図10)によって実行されてもよい。加えて、プロセス1400の1つ以上のステップが、本明細書に説明される任意の他のプロセスまたは実施形態の1つ以上のステップに組み込まれる、またはそれと組み合わせられてもよい。
図14は、拡張現実視界を共有するために使用され得る、プロセス1400を描写する。特に、これは、メディアガイドアプリケーションによって視界に追加される情報を含む、拡張現実視界の一部を共有するために使用されてもよい。プロセス1400は、プロセス1300に続いてもよい。例えば、プロセス1400は、メッセージおよびオブジェクトが、拡張現実環境内で組み合わせられ、提示される、プロセス1300のステップ1350に続いてもよい。別の実施例では、プロセス1400は、他の技法によって取得される写真を使用する、独立型プロセスとして使用されてもよい。
プロセス1400は、メディアガイドアプリケーションのための制御回路1004が、オブジェクト上で検出される参照と組み合わせられる、所与のメッセージのコンテンツの拡張現実デバイスを通した視界を表す写真を記憶し得る、ステップ1410から開始する。写真は、カメラ回路を使用して、メッセージおよび参照オブジェクトを含む、拡張現実デバイス内の視界からメディアガイドアプリケーションによって捕捉されてもよい。写真は、ユーザのソーシャルネットワークから取得されるコンテンツに基づくメッセージとともに拡張現実視界を含む、図4-6に示されるもの等の視界であってもよい。いくつかの実施例では、写真は、メッセージおよびオブジェクトを含む視界の一部であってもよい。他の実施例では、写真は、視界からの参照オブジェクトの一部と組み合わせられるメッセージであってもよい。写真の他のバージョンは、メッセージおよびオブジェクトの種々の組み合わせを含んでもよい。写真は、メディアガイドアプリケーションによってキャッシュまたはデータベース内に記憶されてもよい。
ステップ1420では、メディアガイドアプリケーションのための制御回路1004は、ユーザが写真をソーシャルネットワークに伝送するためのオプションを表示するために生成してもよい。ステップ1420を実施するために、メディアガイドアプリケーションは、以前に記憶された写真を使用し、拡張現実環境内の向上された視界に基づいた写真を共有するオプションを含む、拡張現実環境内の表示を生成してもよい。そのようなオプションの実施例は、例えば、個人705からのロゴを伴うTシャツを示し、画像およびメッセージを投稿または送信するオプション730を含む、ウィンドウ720が、図7に描写される。写真との他のタイプの相互作用もまた、ユーザが使用するためのオプションにおいて提供され得る。
図14のステップまたは説明は、本開示の任意の他の実施形態と併用され得ることが考慮される。加えて、図14に関連して説明されるステップおよび説明は、本開示の目的を促すために、代替順序で、または並行して、行われてもよい。例えば、これらのステップはそれぞれ、システムまたは方法の遅延を低減させる、または速度を増加させるように、任意の順序で、または並行して、または実質的に同時に実施されてもよい。これらのステップのうちのいずれかはまた、スキップされる、またはプロセスから省略されてもよい。さらに、図10-11に関連して議論されるデバイスまたは機器のうちのいずれかは、図14のステップのうちの1つ以上のものを実施するために使用され得ることに留意されたい。
図15は、本開示のいくつかの実施形態による、拡張現実視界内のオブジェクトと組み合わせるべきメッセージを選択するためのプロセス1500の例証的ステップのフローチャートである。プロセス1500またはその任意のステップは、図10-11に示されるデバイスのうちのいずれかの上で実施される、またはそれによって提供され得ることに留意されたい。例えば、プロセス1500は、拡張現実環境に追加するべきメッセージを選択するために、ユーザデバイス(例えば、ユーザ機器デバイス1102、1104、および/または1106(図11))上で実装されるメディアガイドアプリケーションによって命令される通りに、制御回路1004(図10)によって実行されてもよい。加えて、プロセス1500の1つ以上のステップが、本明細書に説明される任意の他のプロセスまたは実施形態の1つ以上のステップに組み込まれる、またはそれと組み合わせられてもよい。
図15は、拡張現実環境内の画像と組み合わせるべきメッセージを選択するためのプロセス1500を描写する。プロセス1500は、拡張現実視界に追加するべきメッセージ、例えば、ステップ1335(図13)におけるメッセージを選択するため、またはユーザのソーシャルネットワーク内のメッセージにある関係を有するオブジェクトを有する、拡張現実視界の一部に追加するべきメッセージを選択するために、使用されてもよい。実施例では、メディアガイドアプリケーションは、ユーザのソーシャルネットワーク履歴、ユーザプロファイル、インターネットキャッシュ履歴、または他の履歴を検索し、ユーザが残したメッセージまたはコメントを識別し、それを拡張現実視界内のオブジェクトに合致させてもよい。ソーシャルネットワークメッセージを拡張現実視界内の合致されたオブジェクトに追加することは、それが、ユーザが過去に有していたコメントまたは考えであり、ユーザのソーシャルネットワークと共有するために十分に説得力があるとユーザが感じたものであるため、興味深い、またはユーザに関連性があり得る。拡張現実環境内のメッセージおよび画像を合致させることを促進させるために、いくつかの実施例では、メディアガイドアプリケーションは、拡張現実環境に追加するべき補完コンテンツ、および画像および画像オブジェクトに関連し得るユーザのソーシャルネットワークからのメッセージの検索を促進することに役立ち得る、メタデータおよびリンクと関連付けられ得る画像および画像オブジェクトの特定のユーザまたはユーザのセットのためのデータベースを構築してもよい。
ステップ1510では、メディアガイドアプリケーションのための制御回路1004は、拡張現実デバイスの視界内で捕捉されるオブジェクトの画像を受信してもよい。画像は、カメラ回路を使用して、拡張現実デバイスから受信されてもよい。実施例では、画像は、図1-2または4-7からの拡張現実視界等の視界であってもよい。
ステップ1520では、メディアガイドアプリケーションのための制御回路1004は、受信された画像を取り込み、画像をコンテンツと関連付ける複数のエントリに関連して、データベース内に画像を記憶してもよい。例えば、画像は、画像のためのリンクおよびメタデータを含む、関係データベース内に記憶されてもよい。画像は、分析され、成分または要素に分解されてもよく、画像の成分または要素毎のリンクおよびメタデータもまた、データベース内に記憶されてもよい。例えば、メディアガイドアプリケーションは、拡張現実デバイスから撮影された画像を記憶し、画像内の要素を検出し、次いで、定義するように、画像認識または画像処理ツールを使用して識別され得る、オブジェクトに関して、画像を解析してもよい。
ステップ1530では、メディアガイドアプリケーションのための制御回路1004は、オブジェクトの画像内の複数の明確に異なるアイテムを検出してもよい。明確に異なるアイテムは、画像内の要素に絞り、それらを画像データベース内の画像と合致させ得る、画像処理ツールを使用して、検出されてもよい。いくつかの実施例では、画像処理は、画像内のピクセルを比較し、画像データベース内のオブジェクトと合致され得る、オブジェクトのための境界を識別するステップを含んでもよい。
ステップ1540では、メディアガイドアプリケーションは、明確に異なるアイテムのうちの所与のものに実質的に対応する所与の画像を含む、複数のエントリのうち1つを識別してもよい。ステップ1540を実施するために、メディアガイドアプリケーションは、メディアデータベース、画像データベース、または別のデータベースを検索し、受信された画像のある要素または成分と実質的に同一である画像のためのエントリを見出してもよい。検索は、画像要素がデータベース内の画像と比較され得るように、画像処理および認識ツールを使用して実施されてもよい。データベースは、データベース内の画像アイテムのためのメタデータおよびリンクを有してもよい。例えば、画像データベースは、関連付けられるソース情報、説明データ、タイトル、キーワード、または画像と関連付けられる他のメタデータを有し、コンテンツを読み出すことを促進してもよい。
ステップ1550では、メディアガイドアプリケーションは、ステップ1540において、データベースから合致される所与の画像と関連付けられるコンテンツを読み出してもよい。コンテンツは、例えば、画像のためのメタデータにアクセスし、リンク情報を使用してコンテンツを読み出すことによって、取得されてもよい。
コンテンツのためのメタデータは、コンテンツがエンティティと関連付けられるかどうかを決定するように、メディアガイドアプリケーションのための制御回路1004によって、ステップ1560において分析されてもよい。例えば、メディアガイドアプリケーションは、コンテンツが、グループ、団体、チーム、または別のエンティティに関係があるかどうかを決定してもよい。エンティティ情報は、エンティティに関連性があるコンテンツとともに含むべきメッセージを取得するために有用であり得る。例えば、メディアガイドアプリケーションが、New England Patriotsのロゴを含む画像を読み出した場合、合致する画像は、フットボールの試合、選手のニュース、チームの記事、チームの商品、NFL統計のためのコンテンツ、または他のコンテンツと関連付けられてもよい。メディアガイドアプリケーションは、コンテンツが、エンティティ、例えば、New England Patriots、フットボール、NFL、または別のエンティティと関連付けられることを検出してもよい。メディアガイドアプリケーションが、ステップ1560において、コンテンツがエンティティと関連付けられることを決定する場合、メディアガイドアプリケーションは、ステップ1565において、エンティティと関連付けられるユーザのソーシャルネットワーク内のメッセージを検索してもよい。
ステップ1565では、メディアガイドアプリケーションのための制御回路1004は、エンティティに基づいてメッセージを選択してもよい。メッセージは、記録300(図3)等のユーザのソーシャルネットワーク履歴、または別のユーザ履歴またはユーザプロファイルから、メディアガイドアプリケーションによって選択されてもよい。
しかしながら、メディアガイドアプリケーションが、コンテンツと関連付けられるエンティティを検出しない場合、メディアガイドアプリケーションは、ステップ1570においてプロセス1500を継続し、コンテンツが時間と関連付けられるどうかを決定してもよい。例えば、メディアガイドアプリケーションは、合致する画像のためのイベントスケジュールを見出してもよい。例えば、画像は、コンサートのスケジュールを有し得る有名人に関する、または劇場で特定の公開スケジュールおよび放映時間を有する映画の一部、またはある試合スケジュールを有するチームのNFLロゴ等であってもよい。イベント情報および関連付けられる時間は、拡張現実環境内に含むべきユーザのソーシャルネットワークからの好適なメッセージを見出すための基準として、使用されることができる。いくつかのシナリオでは、ステップ1570はまた、ステップ1565におけるエンティティに基づいて、メディアガイドアプリケーションが好適なメッセージを見出すことができない場合に、実施されてもよい。
時間ベースの要素が、ステップ1570において決定される場合、メディアガイドアプリケーションは、ユーザのソーシャルネットワーク記録、例えば、記録300(図3)からメッセージを選択し、時間に関連するメッセージを見出してもよい。
時間ベースの要素が、メディアガイドアプリケーションによってステップ1570において見出されない場合、メディアガイドアプリケーションのための制御回路1004は、ステップ1580において、時間要素を使用してメッセージを選択しなくてもよい。そのようなシナリオでは、メディアガイドアプリケーションは、合致する画像のためのメタデータに基づくキーワード合致等の別の基準、または本明細書に説明される技法のある組み合わせを使用して、ソーシャルネットワークからメッセージを選択してもよい。
図15のステップまたは説明は、本開示の任意の他の実施形態と併用され得ることが考慮される。加えて、図15に関連して説明されるステップおよび説明は、本開示の目的を促すために、代替順序で、または並行して、行われてもよい。例えば、これらのステップはそれぞれ、システムまたは方法の遅延を低減させる、または速度を増加させるように、任意の順序で、または並行して、または実質的に同時に実施されてもよい。これらのステップのうちのいずれかはまた、スキップされる、またはプロセスから省略されてもよい。さらに、図10-11に関連して議論されるデバイスまたは機器のうちのいずれかは、図15のステップのうちの1つ以上のものを実施するために使用され得ることに留意されたい。
上記に議論されるプロセスは、限定的ではなく例証的であることを意図している。当業者は、本明細書に議論されるプロセスのステップが、本発明の範囲から逸脱することなく、省略される、修正される、組み合わせられる、および/または再配列されてもよく、任意の付加的ステップが、実施されてもよいことを理解するであろう。より一般的には、上記の開示は、例示的であって、限定を意図するものではない。続く請求項のみが、本発明が含むものに関する境界を設定することが意図される。さらに、いずれか1つの実施形態で説明される特徴および限定は、本明細書の任意の他の実施形態に適用され得、一実施形態に関するフローチャートまたは実施例は、好適な様式で任意の他の実施形態と組み合わせられる、異なる順序で行われる、または並行して行われ得ることに留意されたい。加えて、本明細書に説明されるシステムおよび方法は、リアルタイムで実施されてもよい。また、上記に説明されるシステムおよび/または方法は、他のシステムおよび/または方法に適用され得る、またはそれらに従って使用され得ることにも留意されたい。

Claims (10)

  1. 拡張現実において補完コンテンツを提示するための方法であって、前記方法は、
    ユーザの拡張現実デバイスの視野内のオブジェクトを識別することと、
    前記オブジェクトの画像を処理し、前記オブジェクト上で、イベントの参加者に関連する参照を検出することと、
    前記ユーザのソーシャルネットワークを検索し、前記参加者についてのメッセージを識別することと、
    前記拡張現実デバイスを使用して、前記オブジェクトの場所において、前記メッセージのコンテンツをオーバーレイし、前記メッセージを前記オブジェクト上で検出される前記参照と組み合わせることと
    を含む、方法。
  2. 拡張現実において補完コンテンツを提示するための方法であって、前記方法は、
    拡張現実デバイスの視野内のオブジェクトにわたって第1のユーザの拡張現実デバイスを位置付けることと、
    前記第1のユーザの拡張現実デバイスの視野内の前記オブジェクトを識別することと、
    前記オブジェクトの画像を捕捉することと、
    データベースを検索し、前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別することと、
    前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別することに応答して、前記コンテンツと関連付けられるメタデータを読み出し、前記オブジェクト上で、イベントの参加者に関連する参照を検出することと、
    前記第1のユーザソーシャルネットワーク上のメッセージのリストを検索し、前記参加者に合致するコンテンツを含む所与のメッセージを識別することと、
    前記識別されたコンテンツに合致する前記画像の一部を含む前記視野内の前記オブジェクトの領域を決定することによって、前記参加者に関連する前記参照のオブジェクト上の場所を識別することと、
    前記拡張現実デバイスを使用して、前記識別された場所に対する位置において、前記所与のメッセージを前記オブジェクト上で検出される前記参照と組み合わせることと
    を含む、方法。
  3. 前記画像を捕捉することは、カメラ回路を使用し、前記オブジェクトを表すピクセルを記憶することを含む、請求項2に記載の方法。
  4. 前記データベースを検索することは、
    画像をコンテンツと関連付ける複数のエントリを前記データベース内に記憶することと、
    前記オブジェクトの捕捉された画像内の複数の明確に異なるアイテムを検出することと、
    前記明確に異なるアイテムのうちの所与のものに実質的に対応する所与の画像を含む前記複数のエントリのうちの所与のものを識別することと、
    前記所与の画像と関連付けられる前記コンテンツを読み出すことと
    を含む、請求項2に記載の方法。
  5. 前記コンテンツは、第1のチームのロゴを備え、前記ロゴのデータベース検索に基づいて、かつ前記メタデータに基づいて、前記第1のチームの名称を決定することをさらに含む、請求項4に記載の方法。
  6. 前記イベントは、スポーツイベントであり、
    前記スポーツイベントにおける複数の競争相手を識別することと、
    前記第1のチームが前記スポーツイベントで取り上げられていることを決定することと、
    前記複数の競争相手を検索し、前記スポーツイベントで取り上げられている第2のチームを識別することと、
    前記所与のメッセージとして、前記第2のチームを含む前記メッセージのうちの1つを選択することと
    をさらに含む、請求項5に記載の方法。
  7. 前記イベントと関連付けられる時間を識別することと、
    前記時間の閾値内に前記ソーシャルネットワークに伝送された前記メッセージのリストのサブセットを選択することと
    をさらに含む、請求項2に記載の方法。
  8. 前記オブジェクト上で検出される前記参照と組み合わせられる前記所与のメッセージの拡張現実デバイスを通した視界を表す写真を記憶することと、
    前記ユーザが前記写真を前記ソーシャルネットワークに伝送するためのオプションを表示するために生成することと
    をさらに含む、請求項2に記載の方法。
  9. 前記オブジェクトは、第2のユーザによって着用される衣料品を含み、前記画像の一部は、前記第2のユーザによって着用される前記衣料品上のグラフィックを含み、前記コンテンツは、前記グラフィックによって表されるチームを含む、請求項2に記載の方法。
  10. 拡張現実において補完コンテンツを提示するためのシステムであって、前記システムは、
    ユーザ入力を受信するように構成される入出力(I/O)インターフェース回路と、
    制御回路であって、
    拡張現実デバイスの視野内のオブジェクトにわたって第1のユーザの拡張現実デバイスを位置付けることと、
    前記第1のユーザの拡張現実デバイスの視野内の前記オブジェクトを識別することと、
    前記オブジェクトの画像を捕捉することと、
    データベースを検索し、前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別することと、
    前記オブジェクトの画像の少なくとも一部に合致するコンテンツを識別することに応答して、前記コンテンツと関連付けられるメタデータを読み出し、前記オブジェクト上で、イベントの参加者に関連する参照を検出することと、
    前記第1のユーザソーシャルネットワーク上のメッセージのリストを検索し、前記参加者に合致するコンテンツを含む所与のメッセージを識別することと、
    前記識別されたコンテンツに合致する前記画像の一部を含む前記視野内の前記オブジェクトの領域を決定することによって、前記参加者に関連する前記参照のオブジェクト上の場所を識別することと、
    前記拡張現実デバイスを使用して、前記識別された場所に対する位置において、前記所与のメッセージを前記オブジェクト上で検出される前記参照と組み合わせることと
    を行うように構成される、制御回路と
    を備える、システム。
JP2020536160A 2017-12-28 2018-06-29 拡張現実において補完コンテンツを提示するためのシステムおよび方法 Active JP7114714B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022119680A JP2022161914A (ja) 2017-12-28 2022-07-27 拡張現実において補完コンテンツを提示するためのシステムおよび方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/856,432 US10360454B1 (en) 2017-12-28 2017-12-28 Systems and methods for presenting supplemental content in augmented reality
US15/856,432 2017-12-28
PCT/US2018/040339 WO2019133051A1 (en) 2017-12-28 2018-06-29 Systems and methods for presenting supplemental content in augmented reality

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022119680A Division JP2022161914A (ja) 2017-12-28 2022-07-27 拡張現実において補完コンテンツを提示するためのシステムおよび方法

Publications (3)

Publication Number Publication Date
JP2021509206A JP2021509206A (ja) 2021-03-18
JP2021509206A5 JP2021509206A5 (ja) 2021-08-05
JP7114714B2 true JP7114714B2 (ja) 2022-08-08

Family

ID=63143349

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020536160A Active JP7114714B2 (ja) 2017-12-28 2018-06-29 拡張現実において補完コンテンツを提示するためのシステムおよび方法
JP2022119680A Pending JP2022161914A (ja) 2017-12-28 2022-07-27 拡張現実において補完コンテンツを提示するためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022119680A Pending JP2022161914A (ja) 2017-12-28 2022-07-27 拡張現実において補完コンテンツを提示するためのシステムおよび方法

Country Status (8)

Country Link
US (3) US10360454B1 (ja)
EP (1) EP3732584A1 (ja)
JP (2) JP7114714B2 (ja)
KR (2) KR20220121911A (ja)
CN (1) CN111712808A (ja)
AR (1) AR113723A1 (ja)
CA (1) CA3087022A1 (ja)
WO (1) WO2019133051A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878474B1 (en) * 2016-12-30 2020-12-29 Wells Fargo Bank, N.A. Augmented reality real-time product overlays using user interests
US11068137B2 (en) 2017-12-18 2021-07-20 Facebook, Inc. Systems and methods for augmenting content
KR102467041B1 (ko) * 2017-12-22 2022-11-14 삼성전자주식회사 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법
US10360454B1 (en) 2017-12-28 2019-07-23 Rovi Guides, Inc. Systems and methods for presenting supplemental content in augmented reality
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
WO2019237085A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Session-based information exchange
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US11436808B2 (en) * 2018-10-09 2022-09-06 Google Llc Selecting augmented reality objects for display based on contextual cues
US10930065B2 (en) * 2019-03-08 2021-02-23 X Development Llc Three-dimensional modeling with two dimensional data
US11961294B2 (en) * 2019-09-09 2024-04-16 Techinvest Company Limited Augmented, virtual and mixed-reality content selection and display
US10958959B1 (en) 2019-09-13 2021-03-23 At&T Intellectual Property I, L.P. Automatic generation of augmented reality media
US11386646B2 (en) * 2019-09-24 2022-07-12 Accenture Global Solutions Limited Platform for generating interactive experiences at sports venues
US20210375023A1 (en) * 2020-06-01 2021-12-02 Nvidia Corporation Content animation using one or more neural networks
US11120093B1 (en) * 2020-06-02 2021-09-14 Capital One Services, Llc System and method for providing a content item based on computer vision processing of images
US11620350B2 (en) * 2020-08-24 2023-04-04 Snap Inc. Vehicle recognition system
US20220083307A1 (en) * 2020-09-16 2022-03-17 Meta View, Inc. Augmented reality collaboration system with annotation capability
KR20220121990A (ko) * 2021-02-26 2022-09-02 삼성전자주식회사 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치
US12014547B2 (en) * 2021-09-07 2024-06-18 Nvidia Corporation Event information extraction from game logs using natural language processing
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses
KR102639050B1 (ko) * 2022-09-27 2024-02-21 주식회사 브로즈 Vr 이미지 콘텐츠 제공 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008111363A1 (ja) 2007-03-12 2008-09-18 Sony Corporation 画像処理装置、画像処理方法、画像処理システム
JP2012059263A (ja) 2010-09-09 2012-03-22 Pantech Co Ltd オブジェクト間の関連性を利用した拡張現実提供装置及び方法
JP2013162487A (ja) 2012-02-08 2013-08-19 Canon Inc 画像表示装置及び撮像装置
US20130317912A1 (en) 2012-05-09 2013-11-28 William Bittner Advertising in Augmented Reality Based on Social Networking
JP2015504616A (ja) 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
JP2015090553A (ja) 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6239794B1 (en) 1994-08-31 2001-05-29 E Guide, Inc. Method and system for simultaneously displaying a television program and information about the program
US6564378B1 (en) 1997-12-08 2003-05-13 United Video Properties, Inc. Program guide system with browsing display
CN1867068A (zh) 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视***及其方法
AR020608A1 (es) 1998-07-17 2002-05-22 United Video Properties Inc Un metodo y una disposicion para suministrar a un usuario acceso remoto a una guia de programacion interactiva por un enlace de acceso remoto
PT1942668T (pt) 1998-07-17 2017-09-08 Rovi Guides Inc Sistema de guia de programas de televisão interativa com vários dispositivos dentro de uma casa
US7165098B1 (en) 1998-11-10 2007-01-16 United Video Properties, Inc. On-line schedule system with personalization features
US6336082B1 (en) * 1999-03-05 2002-01-01 General Electric Company Method for automatic screening of abnormalities
BR0207769A (pt) 2001-02-21 2004-09-14 United Video Properties Inc Sistemas e métodos para guias de programas interativos com caracterìsticas de gravação de vìdeo pessoais
US7620238B1 (en) * 2004-12-06 2009-11-17 Zirker Daniel R Virtual reality color sampler
US20100153885A1 (en) 2005-12-29 2010-06-17 Rovi Technologies Corporation Systems and methods for interacting with advanced displays provided by an interactive media guidance application
JP4873004B2 (ja) * 2006-03-17 2012-02-08 日本電気株式会社 3次元データ処理システム
US9164577B2 (en) * 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US8902224B2 (en) * 2010-02-10 2014-12-02 Thereitis.Com Pty Ltd. Method and system for display of objects in 3D
US10127606B2 (en) * 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
US8861896B2 (en) * 2010-11-29 2014-10-14 Sap Se Method and system for image-based identification
KR101343609B1 (ko) * 2011-08-24 2014-02-07 주식회사 팬택 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법
US9031329B1 (en) * 2012-05-02 2015-05-12 Fourandsix Technologies, Inc. Photo forensics using image signatures
US9741145B2 (en) * 2012-06-29 2017-08-22 Disney Enterprises, Inc. Augmented reality simulation continuum
JP2014035642A (ja) * 2012-08-08 2014-02-24 Canon Inc 表示装置及びその制御方法、表示システム、プログラム
CN107632709B (zh) 2013-03-15 2021-06-08 奇跃公司 显示***和方法
US9354702B2 (en) * 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought
US9530250B2 (en) * 2013-12-10 2016-12-27 Dassault Systemes Augmented reality updating of 3D CAD models
KR20150094849A (ko) * 2014-02-11 2015-08-20 전주대학교 산학협력단 동영상 기반 개인 맞춤형 컨텐츠 생성 방법, 모바일 디바이스 및 컴퓨터 판독가능한 매체
US20160070439A1 (en) * 2014-09-04 2016-03-10 International Business Machines Corporation Electronic commerce using augmented reality glasses and a smart watch
KR102276847B1 (ko) * 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10235810B2 (en) * 2015-09-22 2019-03-19 3D Product Imaging Inc. Augmented reality e-commerce for in-store retail
US9495399B1 (en) * 2015-11-24 2016-11-15 International Business Machines Corporation Augmented reality model comparison and deviation detection
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
JP6649833B2 (ja) * 2016-03-31 2020-02-19 株式会社エヌ・ティ・ティ・データ 拡張現実ユーザインタフェース適用装置および制御方法
US9668023B1 (en) * 2016-05-26 2017-05-30 Rovi Guides, Inc. Systems and methods for providing real-time presentation of timely social chatter of a person of interest depicted in media simultaneous with presentation of the media itself
US10360454B1 (en) 2017-12-28 2019-07-23 Rovi Guides, Inc. Systems and methods for presenting supplemental content in augmented reality
US10573019B1 (en) * 2018-09-25 2020-02-25 Ebay Inc. Augmented reality digital content search and sizing techniques

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008111363A1 (ja) 2007-03-12 2008-09-18 Sony Corporation 画像処理装置、画像処理方法、画像処理システム
JP2012059263A (ja) 2010-09-09 2012-03-22 Pantech Co Ltd オブジェクト間の関連性を利用した拡張現実提供装置及び方法
JP2015504616A (ja) 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
JP2013162487A (ja) 2012-02-08 2013-08-19 Canon Inc 画像表示装置及び撮像装置
US20130317912A1 (en) 2012-05-09 2013-11-28 William Bittner Advertising in Augmented Reality Based on Social Networking
JP2015090553A (ja) 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法

Also Published As

Publication number Publication date
JP2021509206A (ja) 2021-03-18
US20230005263A1 (en) 2023-01-05
US10943121B2 (en) 2021-03-09
US10360454B1 (en) 2019-07-23
US11443511B2 (en) 2022-09-13
JP2022161914A (ja) 2022-10-21
KR20220121911A (ko) 2022-09-01
US20210166031A1 (en) 2021-06-03
EP3732584A1 (en) 2020-11-04
KR102507664B1 (ko) 2023-03-07
AR113723A1 (es) 2020-06-03
KR20200104894A (ko) 2020-09-04
US20200125847A1 (en) 2020-04-23
CA3087022A1 (en) 2019-07-04
WO2019133051A1 (en) 2019-07-04
US20190205645A1 (en) 2019-07-04
CN111712808A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
JP7114714B2 (ja) 拡張現実において補完コンテンツを提示するためのシステムおよび方法
US11556588B2 (en) Methods and systems for sharing a user interface of a search engine
JP7299217B2 (ja) 短いメディア視聴プロファイルおよび長いメディア視聴プロファイルに基づいて、推奨を提供するためのシステムおよび方法
US12022156B2 (en) Methods and systems for recommending media assets based on the geographic location at which the media assets are frequently consumed
US9762945B2 (en) Methods and systems for recommending a display device for media consumption
US20160345062A1 (en) Systems and methods for determining temporally popular content for presentation on a common display
US11516553B2 (en) Systems and methods for generating a media-based result to an ambiguous query
US11706493B2 (en) Augmented reality content recommendation
US20230152954A1 (en) Systems and methods for automatic formatting of images for media assets based on user profile
US20160179796A1 (en) Methods and systems for selecting identifiers for media content
US12039776B2 (en) Systems and methods for presenting supplemental content in augmented reality

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220727

R150 Certificate of patent or registration of utility model

Ref document number: 7114714

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150