JP2018526847A - コンテンツ配信 - Google Patents

Abstract

好適な実施形態は、第１ディスプレイが一次ビジュアルコンテンツと二次ビジュアルコンテンツとを表示している間、第１ディスプレイに対する視聴者の注視方向をモニタリングすることと、前記第１ディスプレイによって表示されている前記二次ビジュアルコンテンツの方に視聴者の視線が向かっているかどうか判断することと、前記第１ディスプレイとは異なる第２ディスプレイによって、前記二次ビジュアルコンテンツを拡張させることとを含む。【選択図】図７

Description

本発明の実施形態はコンテンツ配信に関連するものである。特に、本発明の実施形態は、拡張現実ディスプレイを使ったコンテンツ配信に関するものである。

背景

拡張現実はコンピュータ媒介現実の一形態であり、そこではユーザが、部分的にリアルかつ人工的／ヴァーチャルな環境を視覚的に経験する。拡張現実では、物理的にリアルな世界環境の現実のシーンが、装置によって視聴者に対して表示される、一つ以上のヴァーチャルな視覚的要素によって補足される。

摘要

本発明の様々な実施形態（必ずしも全ての実施形態ではない）によれば、次のような方法が提供される。この方法は、第１ディスプレイが一次ビジュアルコンテンツと二次ビジュアルコンテンツとを表示している間、前記第１ディスプレイに向いている視聴者の注視方向をモニタリングすることと、前記第１ディスプレイに表示された前記二次ビジュアルコンテンツの方に前記視聴者の視線が向かっているかを判断することと、前記第１ディスプレイとは異なる第２ディスプレイによって、前記二次ビジュアルコンテンツを拡張することとを含む。

本発明の様々な実施形態（必ずしも全ての実施形態ではない）によれば、次のような装置が提供される。この装置は、第１ディスプレイが一次ビジュアルコンテンツと二次ビジュアルコンテンツとを表示している間、前記第１ディスプレイに向いている視聴者の注視方向をモニタリングする手段と、前記第１ディスプレイによって表示された前記二次ビジュアルコンテンツの方に視聴者の視線が向かっているか判断する手段と、前記第１ディスプレイとは異なる第２ディスプレイによって、前記二次ビジュアルコンテンツを拡張する手段とを備える。

本発明の様々な実施形態（必ずしも全ての実施形態ではない）によれば、少なくとも１つのプロセッサで実行されると、次の処理を実行させるコンピュータプログラムコードが提供される。この処理は、第１ディスプレイが一次ビジュアルコンテンツと二次ビジュアルコンテンツとを表示している間、前記第１ディスプレイに向いている視聴者の注視方向をモニタリングすることと、前記第１ディスプレイに表示された前記二次ビジュアルコンテンツの方に前記視聴者の視線が向かっているか判断することと、前記第１ディスプレイとは異なる第２ディスプレイによって、前記二次ビジュアルコンテンツを拡張することとを含む。

一つ以上のコンピュータが、前記コンピュータプログラムコードを備えている。一つ以上のコンピュータプログラムが、一つ以上の持続性コンピュータ可読媒体に記憶されている。

本発明の様々な実施形態（必ずしも全ての実施形態ではない）によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを記憶している一つ以上のメモリとを備える装置を提供する。前記コンピュータプログラムコードは、少なくとも１つのプロセッサと協働し、第１ディスプレイが一次ビジュアルコンテンツと二次ビジュアルコンテンツとを表示している間、前記第１ディスプレイに向かっている視聴者の注視方向をモニタリングすることと、前記第１ディスプレイに表示された前記二次ビジュアルコンテンツの方に前記視聴者の視線が向かっているか判断することと、前記第１ディスプレイとは異なる第２ディスプレイによって前記二次ビジュアルコンテンツを拡張することとを、少なくとも前記装置に遂行させるように構成される。

本発明の様々な実施形態（但し必ずしも全ての実施形態ではない）によれば、装置の発明を特定する請求項に特定されるような例が提供される。

前述の詳細な説明を理解するために有用な種々の実施例の理解に資するべく、例として次の添付図面を参照する。
現実空間及び現実空間の視聴者を描いたものである。 視聴者が見ている現実空間のシーンを描いたものである。 拡張現実空間及び拡張現実空間の視聴者を描いたものである。 視聴者が見ている拡張現実空間のシーンを描いたものである。 装置の概略図を描いたものである。 装置の一例の斜視図を描いたものである。 目に見える、拡張現実空間を新規作成及び更新する方法を描いたものである。 現実空間の視聴者が見ている現実のシーンの一例を描いたものである。ここでは、現実のシーンを表示している第１ディスプレイが、一次ビジュアルコンテンツと二次ビジュアルコンテンツとを表示している。 コンテンツ配信の方法を描いたものである。 図７の現実のシーンを描いたものである。ここでは、ニュースティッカーアイテムの形態をとっている二次ビジュアルコンテンツに視聴者の視線が向かっている。 二次ビジュアルコンテンツが、第１ディスプレイとは異なる第２ディスプレイによって拡張されている、拡張現実シーンを描いたものである。 二次ビジュアルコンテンツが第２ディスプレイによって拡張されている、図９の拡張現実のシーンを描いたものである。 拡張された二次ビジュアルコンテンツが、第２ディスプレイに表示されなくなった後の現実のシーンを描いたものである。

詳細説明

本発明の実施形態はコンテンツ配信に関するものであり、特に、拡張現実ディスプレイを使用したコンテンツ配信に関するものである。

本発明の実施形態では、第１ディスプレイが一次ビジュアルコンテンツと二次ビジュアルコンテンツとを表示している間、第１ディスプレイに向かう視聴者の注視方向がモニタリングされている。一次ビジュアルコンテンツは、例えば、ニュース番組等のテレビ番組でもよい。また、二次ビジュアルコンテンツは、ニュースティッカー等の通知でもよい。

本発明の実施形態は、視聴者の視線が二次ビジュアルコンテンツに向かっていることを手がかりに、二次ビジュアルコンテンツが視聴者の注意を引いているかどうかを判断する。この場合、二次ビジュアルコンテンツが第２ディスプレイによって拡張され、できれば動画ビデオの形態でさらなる情報を視聴者に提供する。第２ディスプレイは、例えば、拡張現実ディスプレイであってもよい。

本発明の実施形態の技術的効果は、合理的で効率の高い方法でコンテンツ（二次ビジュアルコンテンツ）を提供することである。図を参照しながら、本発明の 実施形態のさらに詳細な説明を以下に示す。

図１Ａは、現実空間の現実の物体１１ａ、１１ｂ、１１ｃ及び視聴者１８を含む現実空間１０を描いたものである。「現実空間」という表現は、実在し、物理的で、３次元環境であることを指す。

視聴者１８は、現実の視点１４を有している。現実の視点１４は、視聴者１８によって変化する場合がある。例えば、現実の視点１４の現実の位置１３は視聴者１８の位置であり、視聴者１８の物理的な位置を変更することで変化しうる。視点１４は、視聴者１８の注視方向１５に対応している。注視方向１５は、例えば、視聴者１８が頭の位置を変えたり、または、（頭の位置を変えるのと同時または別々に）目の位置を変えたりすることによって変化しうる。

図１Ｂは、図１Ａの視聴者１８が見ている現実のシーン１２を描いたものである。「現実のシーン」という表現は、視聴者による特定の視点から見られている現実空間を指す。

図２Ａは拡張現実空間２０を描いたものであり、ここで、視聴者１８が見ている現実空間１０は、拡張現実ディスプレイによって拡張されている。この例において、拡張現実空間２０は現実空間１０からの現実の物体１１ａ、１１ｂ、１１ｃ、及び、一以上の補足的、ヴァーチャル的、視覚的な要素２１を含んでいる。視覚的な要素２１はコンピュータで生成された要素であり、視聴者１８によって目視可能である。視覚的な要素２１は他の視聴者には見えても、見えなくてもよく、現実空間１０を拡張するために使用する拡張現実ディスプレイに依存する。拡張現実空間は一部は実在する空間、一部は人工的／ヴァーチャルな空間である。

図２Ｂは、図２Ａの視聴者１８が見ている拡張現実シーン２２を描いたものである。「拡張現実シーン」は一部は実在するシーンであり、一部は人工的／ヴァーチャルなシーンである。

図３は電子的な拡張現実ディスプレイ装置の形態をとった装置２００の概略図を描いたものである。拡張現実ディスプレイ装置２００は、例えば、ウェアラブル、ヘッドマウントな拡張現実ディスプレイ装置であってもよい。ウェアラブル、ヘッドマウントな拡張現実ディスプレイ装置２００の斜視図を図４に示す。

他の実施形態では、装置２００はヘッドマウントなディスプレイ装置でなくてもよい。具体例として、ホログラフィックディスプレイ装置がある。この場合も、ヘッドマントであっても、ヘッドマントでなくてもよい。

装置２００はさらに装置１００を備え、装置１００も同様に、少なくとも１つのプロセッサ１１２とメモリ１１４を備える。装置１００は、チップまたはチップセット等を備えていてもよい。

プロセッサ１１２は、メモリ１１４から読み出し、かつメモリ１１４へ書き込むように構成される。プロセッサ１１２は出力インタフェースと入力インタフェースを備えてもよい。データおよび／または命令は、プロセッサ１１２によって出力インタフェースを介して出力され、入力インタフェースを介してプロセッサ１１２に入力される。

メモリ１１４は、コンピュータプログラムコード／命令１１８であって、プロセッサ１１２にロードされるときに装置１００／２００の動作を制御する命令を含むコンピュータプログラム１１６を格納する。コンピュータプログラムコード命令１１８は、図５及び図７に例示した方法を装置１００／２００に遂行させることができる論理とルーチンを提供する。プロセッサ１１２は、メモリ１１４を読み取ることによりコンピュータプログラム１１６をロードして実行することができる。

図３に描かれるように、コンピュータプログラム１１６は、任意の適切な配信機構４０を介して装置１００／２００に提供されてもよい。配信機構４０は、例えば、非一時的なコンピュータ読取り可能記憶媒体、コンピュータプログラム製品、メモリデバイス、記録媒体、例えば、コンパクトディスク・リードオンリーメモリ（ＣＤ−ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）またはデジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）、及び／またはコンピュータプログラム１１６を有形に具現した製造品であってもよい。配信機構４０は、コンピュータプログラム１１６を確実に転送するように構成された信号であってもよい。信号は、例えば、（無線周波数の通信等）無線通信を介して、または、一以上のプロトコルに準拠した有線回線を介して送信される。装置２００は、コンピュータデータ信号としてコンピュータプログラム１１６を伝達または伝送してもよい。

メモリ１１４は単独要素又は回路として示されているが、物理的に異なる複数の要素又は回路として実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよく、および／または永久／半永久／動的／キャッシュの記憶方式でもよい。

プロセッサ１１２は単独要素又は回路として示されているが、物理的に異なる複数の要素又は回路として実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよい。プロセッサ１１２はシングルコアのプロセッサでもよいし、マルチコアのプロセッサであってもよい。プロセッサ１１２は、例えば、中央処理装置（ＣＰＵ）及び／またはグラフィック処理装置（ＧＰＵ）を備えていてもよい。

実施例では、装置２００はさらに拡張現実ディスプレイ２０２、一以上の追跡センサ２０４、一以上の現実空間センサ２０５、一以上の受信機２０６を備える。装置２００の要素は、協働しうるように互いに接続される。またこれらの間には、様々な中間要素やその組合せが存在しうる（中間要素が存在しない場合もある）。装置２００の要素１００、２０２、２０４、２０５、２０６は同一筐体に備えられていてもよいし、別々に備えられていてもよい。

プロセッサ１１２は、拡張現実ディスプレイ２０２を制御するように構成されている。拡張現実ディスプレイ２０２は、ヴァーチャル、視覚的な要素を表示するように構成され、現実世界の物体及び拡張現実空間／現実のシーンを補足する。拡張現実ディスプレイ２０２は、例えば、少なくとも部分的に透過的／シースルーであってもよい。この場合、視聴者はディスプレイ２０２越しに現実の物体をみることができる。拡張現実ディスプレイ２０２は、例えば、有機発光ダイオード技術または液晶ディスプレイ技術を備えていてもよい。上述のように、拡張現実ディスプレイ２０２はホログラフィックディスプレイであってもよい。

一以上の追跡センサ２０４は、プロセッサ１１２への入力データの提供をするように構成されており、これにより、プロセッサ１１２は視聴者の視線をモニタリングすることができる。追跡センサ２０４は、（拡張現実ディスプレイ装置２００の着用者等）視聴者の頭の動きを追跡したり、及び／または、視聴者の目の動きを追跡することにより、視聴者の視線を追跡するように構成されうる。

いくつかの例では、一以上の追跡センサ２０４がプロセッサ１１２に入力データの提供を行い、プロセッサ１１２が複数の視聴者の視線をモニタリングするように構成してもよい。例えば、プロセッサ１１２は入力データを使用し、拡張現実ディスプレイ２０２と異なるディスプレイの１名以上の視聴者の視線をモニタリングすることができる。

頭の動きを追跡するためのセンサは、例えば、一以上のジャイロスコープ、一以上の磁気計、一以上の加速度計及び／またはカメラを備える。目の動きを追跡するためのセンサは、例えば、一以上のカメラを備えてもよい。

一以上の現実空間センサ２０５は、プロセッサ１１２にデータ提供するように構成されている。一以上の現実空間センサ２０５は、一以上の赤外線センサ、超音波センサ、及び／または一以上のカメラ等、現実空間及び現実空間に実在する物体を検知及びマッピングするための一以上のセンサを備えることも可能である。

追跡センサ２０４及び現実空間センサ２０５は、実在する物体と視聴者との間の相対的な動き（視聴者の頭の動き、および／または視聴者の目の動き等）を検知するように構成されていてもよい。

一以上の受信機２０６は、データを受信し、プロセッサ１１２に対応する入力データを提供するように構成されている。一以上の受信機２０６は、一以上の無線受信機および／または一以上の有線受信機を備えることができる。このような無線受信機は、例えば、一以上の長距離用セルラー方式受信機または短距離用無線受信機の形態をとった無線周波数受信機を備えることができる。これらの受信機は、例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）の無線ＬＡＮネットワーク８０２．１１プロトコルまたはBluetooth（登録商標）プロトコルに準拠して動作してもよい。

装置２００は、一以上の無線送信機および／または一以上の有線送信機をさらに備えることができる。上記送信機は、一以上の送受信機の一部を形成することにより、一以上の受信機２０６と一以上の構成要素を共有することができる。

図５は、目に見える、拡張現実空間を新規作成及び更新する方法を描いたものである。プロセッサ１１２はメモリ１１４にモデル１１７を蓄える。メモリ１１４は周期的に更新される。モデル１１７は、一以上の補助的、視覚的なヴァーチャル要素と共に、現実空間とそこに実在する物体のマップを含んでもよい。実施例では、図５のブロック５０１において、プロセッサ１１２はセンサ２０４、２０５によって提供される入力データに基づいてモデル１１７を生成する。プロセッサ１１２は、ブロック５０２において、拡張現実ディスプレイ２０２を制御することによってモデル１１７を適用し、視覚的なヴァーチャル要素を表示する。ブロック５０３では、センサ２０４、２０５が、視聴者の視点または現実空間にマッピングされた実在する物体に対して変化があるか否かを判断し、プロセッサ１１２に関連性のある入力データを提供する。ブロック５０４では、プロセッサ１１２が、拡張現実ディスプレイ２０２に表示されている視覚的なヴァーチャル要素に変化がある否か、変化がある場合にはそれらの変化が何かを判断する。その後、本方法はブロック５０１に戻る。ここで、ブロック５０３でのセンサ２０４、２０５からの入力データ、及び、ブロック５０４で判断されたヴァーチャルコンテンツの変化に基づいて、モデル１１７が更新される。

本発明の実施形態に従うさらなる方法を、図６〜１１を参照しながら説明する。

図６は、キャビネット３９の上に置かれた、実在する、有形の第１ディスプレイ５１（実施例では、デバイス／テレビジョンセット４５の部分を形成する）を含む現実のシーン１２ａを描いている。テレビジョンセット４５は、図３及び図４に図示した装置２００の一部を形成しない。

図６において、第１ディスプレイ５１は一次ビジュアルコンテンツ５２と二次ビジュアルコンテンツ５３、５４、５５を同時に表示している。図示した実施例では、一次ビジュアルコンテンツ５２は、テレビのニュース放送の形態をとった動画コンテンツである。動画コンテンツは、実質上、第１ディスプレイ５１全体を使っている。

図示した実施例では、二次ビジュアルコンテンツ５３−５５である複数のアイテムがある。別の実施例では、二次ビジュアルコンテンツは１つのみであってもよい。第１、第２、第３の二次ビジュアルコンテンツ５３−５５が図示されている。二次ビジュアルコンテンツ５３−５５のそれぞれのアイテムは、実施例では、ニュースティッカーをいう形態をとった通知である。

実施例では、二次ビジュアルコンテンツ５３−５５は、一次ビジュアルコンテンツ５２よりサイズが小さく、またオーバーレイ表示されている。二次ビジュアルコンテンツ５３−５５は、図６で参照符号７０が付された矢印によって示されているように、第１ディスプレイ４５を右から左に横切るように移動している。二次ビジュアルコンテンツ５３−５５それぞれのアイテムは、第１ディスプレイ５１の右端４７から第１ディスプレイ５１に入り、第１ディスプレイ５１の左端４６から第１ディスプレイ５１を出ていく。

他の実施例では、二次ビジュアルコンテンツ５３−５５は別の方向に移動してもよい。移動方向は、上述かつ図示したように一次元であってもよいし、多次元であってもよい。

装置２００のプロセッサ１１２は、現実空間センサ２０５によって提供された入力データから、第１ディスプレイ５１の存在を確認することができる。例えば、プロセッサ１１２は、カメラによって提供される入力データに対して画像処理を施し、第１ディスプレイ５１の存在を確認することができる。

プロセッサ１１２は、現実空間センサ２０５によって提供される入力データを処理し、第１ディスプレイ５１上の一次ビジュアルコンテンツ５２の存在、並びに、二次ビジュアルコンテンツ５３−５５（それぞれ）の存在及び（変化している）位置を判断するように構成されていてもよい。

図７のブロック７０１では、第１ディスプレイ５１が一次ビジュアルコンテンツ５１及び二次ビジュアルコンテンツ５３−５５を表示している間、装置１００／２００のプロセッサ１１２が第１ディスプレイ５１に向かう視聴者の注視方向をモニタリングする。これに関連し、第１ディスプレイ５１が一次ビジュアルコンテンツ５２及び二次ビジュアルコンテンツ５３−５５を表示している間、プロセッサ１１２、コンピュータプログラムコード１１８、コンピュータプログラムコード１１８を記憶するメモリ１１４は、第１ディスプレイ５１に向かう視聴者の注視方向をモニタリングする手段を提供すると考えることができる。

例えば、視聴者は、装置２００のユーザであってもよい。例えば、視聴者は、図４に示したヘッドマウントの着用者であってもよい。装置２００がシースルー／透過的なディスプレイ２０２を備えている場合、現実のシーン１２ａはディスプレイ２０２越しに見ることができる。

プロセッサ１１２は、追跡センサ２０４及び現実空間センサ２０５によって提供される入力データを使用して、第１ディスプレイ５１に向かう視聴者の注視方向をモニタリングすることができる。

上述したとおり、プロセッサ１１２は追跡センサ２０４によって提供される入力データを処理することによって、視聴者の注視方向を判断することができる。これは、視聴者１８の頭の動き及び／または目の動きを追跡することを含む。

図７のブロック７０２では、プロセッサ１１２は、参照符号５４が付された二次ビジュアルコンテンツのアイテムの方に視聴者の視線が向かっているかどうかを判断する。これに関連し、プロセッサ１１２、コンピュータプログラムコード１１８、コンピュータプログラムコード１１８が記憶されているメモリ１１４は、視聴者の視線が二次ビジュアルコンテンツの方に向かっているかどうか判断する手段を提供すると考えることができる。視聴者の視線が向かっている位置は、図８の斜線部分によって確認される。

図７のブロック７０３において、視聴者の視線が二次ビジュアルコンテンツ５４の第２のアイテムの方に向いていることを確認後、プロセッサ１１２は二次ビジュアルコンテンツ（第２のアイテム）５４を装置２００の拡張現実ディスプレイ２０２によって拡張する。これに関連し、プロセッサ１１２、コンピュータプログラムコード１１８、コンピュータプログラムコード１１８を記憶するメモリ１１４は、拡張現実ディスプレイ２０２によって二次ビジュアルコンテンツ５４を拡張する手段を提供すると考えることができる。

図９は、二次ビジュアルコンテンツ５４の第２のアイテムが、第１ディスプレイ５１の縁（例えば、左端４６）に隣接する位置から拡張される工程を描いたものである。すなわち、図９は、拡張現実のシーン２０ａを描いたものである。

プロセッサ１１２は、二次ビジュアルコンテンツ５４の第２のアイテムが移動中、そのアイテムの方に視聴者の視線が向かっているという判断、および、二次ビジュアルコンテンツ５４の第２のアイテムが第１ディスプレイ５１の端４６に到達したという判断に基づいて、二次ビジュアルコンテンツ５４の第２のアイテムをサイズ的に拡張させることができる。

いくつかの実施形態では、視聴者の視線が所定時間以上、二次ビジュアルコンテンツ５４の第２のアイテムの方を向いていないと判断された場合には、プロセッサ１１２による二次ビジュアルコンテンツ５４の拡張をしないようにしてもよい。

プロセッサ１１２は、例えば、二次ビジュアルコンテンツ５４の第２のアイテムが第１ディスプレイ５１の縁にたどり着く前に、視聴者の視線がそのアイテムの方を向いていたかを判断することができる。このときプロセッサ１１２は、前記アイテムが第１ディスプレイ５１の縁にたどり着くまで、前記アイテムを拡張し始めなくともよい。上記のような例では、拡張現実ディスプレイ２０２によって二次ビジュアルコンテンツ５４の第２のアイテムが拡張されている間、前記アイテムの動きは、視聴者１８には、その拡張前の前記アイテムの動きと連続したものとしてとらえられる。また実際には、拡張している第２のアイテム５４は、実施例では第１ディスプレイ５１の縁（左端４６）からスライドして出てくるように見える。

ディスプレイに二次ビジュアルコンテンツが表示されている間、視聴者の視線が二次ビジュアルコンテンツのアイテムの方に向いていないとプロセッサ１１２が判断した場合には、拡張はされなくてもよい。例えば、図の例では、二次ビジュアルコンテンツ５３である１番目のアイテムは拡張されることなく、第１ディスプレイ５１の縁（左端４６）に到達し、第１ディスプレイ５１から出ていく。

第１ディスプレイ５１から出ていく二次ビジュアルコンテンツのアイテムは、二次ビジュアルコンテンツの他のアイテムと入れ替わることができる。例えば、二次ビジュアルコンテンツ５３である１番目のアイテムが、第１ディスプレイの左端４６から出て行った場合、二次ビジュアルコンテンツである４番目のアイテム５６が第１ディスプレイ５１の右端４７から入ってくる。

拡張された二次ビジュアルコンテンツは、図２Ａ及び２Ｂに示した視覚的、ヴァーチャル的な要素２１の一例である。図９に示したように、プロセッサ１１２は、拡張現実ディスプレイ２０２を制御して二次ビジュアルコンテンツを拡張する場合、プロセッサ１１２は繰り返し図５に示した方法を実行し、拡張現実シーン２０ａの更新モデルを提供する。

図１０は、装置２００の拡張現実ディスプレイ２０２によって拡張された後の二次ビジュアルコンテンツ５４の第２のアイテムを描いたものである。例えば、装置２００がヘッドマウント拡張現実ディスプレイ装置である場合、拡張された二次ビジュアルコンテンツ５４は、装着者のヘッドマウント拡張現実ディスプレイ装置でのみ見えて、第１ディスプレイ５１の他の視聴者には見えない。

図示した例では、拡張された二次ビジュアルコンテンツ５４は、第１ディスプレイ５１の左端４６に隣接して表示されている。

例えば、二次ビジュアルコンテンツ５３−５５が右から左に動く代わりに、第１ディスプレイ５１の上端から下端に動く場合等は、二次ビジュアルコンテンツ５４の第２のアイテムは、それが拡張している間、第１ディスプレイ５１の下端からスライドして出ていってもよい。二次ビジュアルコンテンツ５４の第２のアイテムの拡張は、視聴者１８には、拡張前の第２のアイテム５４の動きと連続しているように見えるであろう。また、拡張された第２のアイテム５４は、第１ディスプレイ５１の下端に隣接して表示されるであろう。

二次ビジュアルコンテンツ５４の第２のアイテムが拡張されている間、二次ビジュアルコンテンツ５７、５８である５番目及び６番目のアイテムは、第１ディスプレイ５１を横切る二次ビジュアルコンテンツの一連の動きの結果として、図１０の第１ディスプレイに表示される。

二次ビジュアルコンテンツ５４である拡張された第２のアイテムは、例えば、拡張前に提供された通知に関するさらなる情報を提供することができる。例えばそれは、通知で特定されたテーマに関連する動画であってもよい。二次ビジュアルコンテンツ５４の第２のアイテムが完全に拡張した後、プロセッサ１１２は、拡張現実ディスプレイ２０２による動画コンテンツの再生をスタートさせることができる。

いくつかの実施形態では、プロセッサ１１２は、拡張された二次ビジュアルコンテンツである第２のアイテム５４が拡張現実ディスプレイ２０２によって再生されている間、一次ビジュアルコンテンツ５２を一時停止させることができる。これは、例えば、装置２００の送信機に一次ビジュアルコンテンツ５２を一時停止させるための（有線または無線）信号を送信させてもよい。

代替的に、プロセッサ１１２が（例えば、追跡センサ２０４によって提供された入力データから）、まだ視聴者の視線が第１ディスプレイ５１に表示されている一次ビジュアルコンテンツ５２の方にも向いていると判断した場合、拡張現実ディスプレイ２０２による二次ビジュアルコンテンツである拡張された第２のアイテム５４の再生を開始させても、一次ビジュアルコンテンツ５１の一時停止をしないようにすることもできる。

プロセッサ１１２は、拡張された二次ビジュアルコンテンツ５４が再生されている間、視聴者の視線をモニタリングし続けることができる。拡張された二次ビジュアルコンテンツ５４が再生されている間、視聴者の視線がコンテンツ５４から（例えば、一定時間以上）逸れた場合、プロセッサ１１２は拡張現実ディスプレイ２０２から拡張された二次ビジュアルコンテンツ５４を消去し、一次ビジュアルコンテンツ５２が一時停止になっていた場合には、コンテンツ５２の再生を再開させる。図１１は、拡張された二次ビジュアルコンテンツ５４の再生が終了し、一次ビジュアルコンテンツ５２の再生が再開したのちの現実のシーン１２ａを描いたものである。図１１は、二次ビジュアルコンテンツ５８、５９、６０である６番目、７番目、８番目のアイテムが第１ディスプレイ５１に表示されているのを描いたものである。

本発明の実施形態は、合理的かつ効率的な方法でコンテンツを視聴者に提供することができる。視聴者が興味のあるコンテンツのみを拡張し、視聴者が最も興味のあるコンテンツを見せることができる。

「コンピュータ可読記憶媒体」や「コンピュータプログラム製品」，「有形物として具現化されたコンピュータプログラム」等の用語や、「コンピュータ」、「プロセッサ」等の用語は、様々なアーキテクチャを有するコンピュータだけでなく、特殊回路もカバーものと理解すべきである。こうしたコンピュータのアーキテクチャには、シングル／マルチプロセッサ・アーキテクチャや、直列（ノイマン型）／並列アーキテクチャ等がある。特殊回路にはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）や特定用途向け集積回路（ＡＳＩＣ）、シグナルプロセッシングデバイス、その他の処理回路等がある。コンピュータプログラムや命令，コード等の用語は、プログラマブルプロセッサやファームウェア用のソフトウェアもカバーするものと理解すべきである。こうしたものとして例えば、プロセッサに対する命令や、固定機能デバイス，ゲートアレイ，プログラマブルロジックデバイス等の構成設定といったハードウェアデバイスのプログラマブルコンテンツ等がある。

なお本願において使用される「回路（ｃｉｒｃｕｉｔｒｙ）」との語句は、次の全てを表す：
（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路のみの実装等）；
（ｂ）回路とソフトウェア（および／またはファームウェア）の組合せ、例えば（適用可能である場合）：（ｉ）一つまたは複数のプロセッサ、または（ｉｉ）一つまたは複数のプロセッサ／ソフトウェア（デジタルシグナルプロセッサを含む）、ソフトウェア、一つまたは複数のメモリの一部（これらは協働して、携帯電話やサーバなどの装置に様々な機能を実行させる）；
（ｃ）一つまたは複数のマイクロプロセッサやその一部等の回路であって、動作するためにソフトウェアやファームウェアを必要とする回路（ソフトウェアやファームウェアは物理的に存在しなくてもよい）。

この「回路」の定義は、本願において当該用語を使う全ての場合において適用される。特許請求の範囲においても同様である。さらなる例として、本願で使用される場合、「回路（ｃｉｒｃｕｉｔｒｙ）」という用語は、単独（または複数）のプロセッサだけの実装やプロセッサの一部，付随するソフトウェアおよび／またはファームウェアによる実装も網羅するものである。「回路」という用語はまた、例えば、特許請求の範囲に記載される特定の要素をその範囲に含むことが可能な場合がある。例えば、携帯電話のベースバンド集積回路やアプリケーション処理集積回路を意味してもよく、サーバやセルラネットワークデバイス、その他のネットワークデバイスにおける同様の集積回路を意味してもよい。

図５及び図７に示すブロックは、方法のステップ、コンピュータプログラム１１６のコード区分の何れか又は全てを表わしてもよい。ブロックを特定の順序で図示することは、必須順序又は推奨順序の存在を必ずしも示唆していない。こうしたブロックの順序や配置構成は変更することができる。また、一部のブロックを省略することも可能である。

本願明細書及び図面において、本発明の様々な実施形態が様々な実施例と共に紹介されてきたが、当然のごとく、特許請求の範囲に特定される発明の範囲を逸脱することなく、紹介された実施形態を変形することができる。例えば、二次ビジュアルコンテンツは、第１ディスプレイ５１の中で移動する必要はなく、第１ディスプレイ５１の特定の位置にのみ表示され、移動することなく消えてもよい。

上述した実装では、二次ビジュアルコンテンツ５３−６０であるアイテムが第１ディスプレイ５１（の左端４６から）出ていくときは、二次ビジュアルコンテンツ５３−６０のうちの異なるアイテム（右端４７から入っていたアイテム）と入れ替わった。他の実装では、上記のようにしなくてもよい。例えば、二次ビジュアルコンテンツ５３−６０のうちの特定のアイテムが第１ディスプレイから（例えば、左端４６から）出ていく場合、（例えば、右端４７から）第１ディスプレイ５１に再度入ってもよい。二次ビジュアルコンテンツ５３−６０のうちの一つ以上のアイテムが、繰り返し、第１ディスプレイ５１から出たり入ったりしてもよい。

これまでに記述してきた事項は、明示的に記述された組合せだけでなく、それ以外の組合せで用いられてもよい。

特定の事項を参照して種々の機能を記述してきたが、こうした機能は、記述の有無を問わずその他の事項によって遂行可能であってもよい。

特定の実施形態を参照して種々の事項を記述してきたが、こうした事項は、記述の有無を問わずその他の実施形態で用いられてもよい。

前述のように本明細書において、とりわけ重要であると考えられる本発明のこうした事項に注目するように努めてきた。しかし、前述した特許されうる全ての事項およびそれらの組合せに対して、参照された添付の図面にそうした事項が特段強調されていたかどうかにかかわらず、本出願人はその保護を求めるものである点を理解されたい。

Claims (16)

1. 第１ディスプレイが一次ビジュアルコンテンツと二次ビジュアルコンテンツとを表示している間、前記第１ディスプレイに向かう視聴者の注視方向をモニタリングすることと、
   前記第１ディスプレイによって表示される前記二次ビジュアルコンテンツの方に前記視聴者の視線が向いているか判断することと、
   前記第１ディスプレイとは異なる第２のディスプレイによって前記二次ビジュアルコンテンツを拡張することと、
   を含む方法。
2. 前記二次ビジュアルコンテンツは、前記二次ビジュアルコンテンツの拡張前に、前記第１ディスプレイ上で移動する、請求項１に記載の方法。
3. 前記二次ビジュアルコンテンツは通知である、請求項２に記載の方法。
4. 前記通知はニュースティッカーである、請求項３に記載の方法。
5. 前記拡張された前記二次ビジュアルコンテンツは動画コンテンツである、請求項１から請求項４のいずれかに記載の方法。
6. 前記第２ディスプレイが拡張現実ディスプレイである、請求項１から請求項５のいずれかに記載の方法。
7. 前記拡張された前記二次ビジュアルコンテンツが前記拡張現実ディスプレイによって表示され、それによって、前記拡張された前記二次ビジュアルコンテンツが前記第１ディスプレイに隣接する位置に表れて前記拡張現実ディスプレイの視聴者に見えるようになる、請求項６に記載の方法。
8. 前記二次ビジュアルコンテンツは、拡張される前に前記第１ディスプレイの端部付近まで前記第１ディスプレイ上を移動し、前記拡張された前記二次ビジュアルコンテンツは、前記第１ディスプレイの前記端部に隣接して表示される、請求項７に記載の方法。
9. 前記拡張された前記二次ビジュアルコンテンツは、前記拡張現実ディスプレイの視聴者にとって、前記第１ディスプレイの端部からスライドして出ていくように見えるようにされた後、前記第１ディスプレイの前記端部に隣接して表示される、請求項８に記載の方法。
10. 前記一次ビジュアルコンテンツは動画コンテンツである、請求項１から請求項９のいずれかに記載の方法。
11. 前記拡張された前記二次ビジュアルコンテンツは動画コンテンツであり、前記一次ビジュアルコンテンツを一時停止することと、前記二次ビジュアルコンテンツの拡張に従って、前記二次ビジュアルコンテンツの前記動画コンテンツの再生を開始することとをさらに含む、請求項１０に記載の方法。
12. 前記拡張された前記二次ビジュアルコンテンツは動画コンテンツであり、前記一次ビジュアルコンテンツの方にさらに視聴者の視線が向かっているか判断することと、前記二次ビジュアルコンテンツの拡張に従って前記二次ビジュアルコンテンツの前記動画コンテンツの再生を開始することと、前記一次ビジュアルコンテンツの一時停止を控えることとをさらに含む、請求項１０に記載の方法。
13. 装置の少なくとも１つのプロセッサによって実行されると、前記装置に、請求項１から１２に記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。
14. 第１ディスプレイが一次ビジュアルコンテンツと二次ビジュアルコンテンツとを表示している間、前記第１ディスプレイに向かう視聴者の注視方向をモニタリングする手段と、
    前記第１ディスプレイによって表示される前記二次ビジュアルコンテンツの方に前記視聴者の視線が向いているか判断する手段と、
    前記第１ディスプレイとは異なる第２のディスプレイによって前記二次ビジュアルコンテンツを拡張する手段と、
    を含む装置。
15. 請求項２から１２のいずれかに記載の方法を遂行する手段を備える、請求項１４に記載の装置。
16. 処理手段及び記憶手段を備える装置であって、前記記憶手段はプログラム命令を格納し、前記プログラム命令は、前記処理手段に実行されると、前記装置に、請求項１から１２に記載の方法を遂行させるように構成される、装置。

Images