JP4746806B2 - ユーザインタフェース生成 - Google Patents

Description

【０００１】
本発明は、限定的でないが特に、単一のスクリーン或いはディスプレイ装置上の対応するディスプレイパネル或いはウィンドウにおいて２つ以上のソースからのデータを同時に表示するために使用可能な表示手段を有する機器と、このようなデータ表示の表わし及び更新を管理する方法とに関わる。
【０００２】
このような多数のソースを表示する機器はここ数年比較的一般的な特徴となり、コンピュータ上のウィンドウデスクトップ及びテレビジョン上のピクチャ−イン−ピクチャ機能は２つの周知の例である。米国特許第５，６８０，１５２号（Bricklin）は、コンピュータディスプレイシステムのコンピュータディスプレイスクリーン上の多数の個々のウィンドウのついた画像をナビゲートする方法及び機器を開示する。ウィンドウは任意の形状及び寸法であってもよく、Bricklinは（多数の他のこのようなシステムと共通に）これらウィンドウが長方形であることを好む。
【０００３】
ディジタルテレビジョンセット−トップボックス用のオンスクリーンディスプレイ（ＯＳＤ）は、欧州特許出願ＥＰ−Ａ−０８４０２７７（Texas Instrument）中に開示される。開示されるＯＳＤシステムは、対応するウィンドウ中に夫々あるビット−マップ、グラフィック、静止ビデオピクチャ、動きビデオピクチャ、又は、背景色のような異なる種類のピクチャを同時に表示し得る。ランダムアクセスメモリ装置は、ＣＰＵによって作動するメモリ、及び、ＥＰ−Ａ−０８４０２７７のシステム中の組み合わされたウィンドウ用の記憶手段夫々を提供し、ウィンドウ制御器が合成されたスクリーンディスプレイの各ピクセルを表示するのに要求されるビットを保持する先入れ先出しメモリへ選択されたウィンドウからの寄与を選択的に読み出す。
【０００４】
ＥＰ−Ａ−０８４０２７７によって示されるように、ディスプレイは幾つかのソースからだけでなく、数種類のソースからのデータを表示することが要求されてもよいが、各ソースがディスプレイの別々の領域に存在する場合クラウディングとなり得ることが理解される。単一のディスプレイパネルを選択し、利用できるディスプレイ空間の（全てでなくとも）大部分を占めるようズームアウトするユーザ動作が明瞭さを改善し得る一方で、全ての所与の時間に見ることができるよう幾つかのパネル又はウィンドウを開いておくことをユーザが要求することがより一般的である。
【０００５】
従って、本発明は、ディスプレイ表面の１領域当たりのディスプレイ容量の改善された量を提供するディスプレイシステムを設けることを目的とする。
【０００６】
更に、ユーザに対してこのようなシステムを支持する改善されたインデクシング及びアクセス機能を提供することを補助的な目的とする。
【０００７】
本発明の第１の面によると、表示するデータの２つ以上の個々のソースと、各ソースからのデータに少なくとも部分的に基づいて各ソースに対する夫々のディスプレイパネルを生成し定期的に更新するために配置されるウィンドウ制御器と、一つのパネルの少なくとも一部分が半透明であるといった指定された情報を含む生成されたディスプレイパネルに対するデータを保持する第１の記憶手段と、２つ以上の上記ディスプレイパネルからの寄与に少なくとも部分的に基づいてディスプレイに対する出力ピクセル値を生成するために構成されるディスプレイ制御器とを有するオンスクリーンディスプレイ生成装置が提供され、第１のパネルが少なくとも部分的に第２のパネルの上に重なるよう位置決めされ、第１のパネルの上になる部分が半透明として指定される場合、あるピクセルは２つのディスプレイパネルからの寄与を有する。
【０００８】
ディスプレイパネルの上になる部分を半透明にすることにより、下になるパネルの特徴を少なくとも部分的に見ることが出来、それによりより大量のデータをユーザに利用できるようにさせる。
【０００９】
ウィンドウ制御器は、各ディスプレイパネルを第１の部分及び第２の取り付けられた部分として生成するよう配置されてもよく、第１及び第２の部分の一方だけが半透明として指定される。このような配置においてソースの一つは、ビデオ画像フレームシーケンスのソースを適切に有してもよく、このソースに対するディスプレイパネルは半透明として指定される部分以外の部分中でビデオ画像フレームを表示してもよい。更に、このようなビデオ画像ソースは、ビデオ画像フレームシーケンスに対する補助的データを供給してもよく、ウィンドウ制御器は上記補助的データに基づいて半透明として指定される部分中のコンテンツを生成するために配置されてもよい。
【００１０】
ソースの一つは、放送テレビジョン信号を受信することができるチューナーを有してもよく、別のソースは現在表示されている放送テレビジョンに関連するインターネットウェブページから得て、放送テレビジョン信号からの画像を示すパネルの上になる少なくとも部分的に半透明なパネル中で見つけられる全てのウェブページを表示するよう構成されるウェブブラウザでもよい。
【００１１】
ディスプレイ制御器は、三次元の環境を限定する記憶されたデータに基づいて上記環境内の所定のビューポイントから三次元環境の二次元画像を生成するために配置されてもよく、上記ディスプレイパネルは上記環境内の表面上にマッピングされる。このような配置において、ユーザ−によって動作可能な入力手段が設けられることが好ましく、この入力手段の動作により三次元環境内において上記ビューポイントの場所及び／又は方向をユーザが操作することができる。
【００１２】
以下により詳細に説明する一実施例では、環境を画成する上述の記憶されたデータは、夫々のディスプレイパネルが上にマッピングされる少なくとも平坦な面と、上記上になる部分が上にマッピングされる隣接する表面とを夫々有する複数の略プリズム状の体を画成してもよい。例えば、平行六面体のブロック又はオブジェクトでもよいこのようなプリズム体は、ディスプレイパネルのコンテンツに対して補助的なデータを夫々有し、上記平坦な面に隣接する２つ以上の表面を有してもよく、この配置に関して、ユーザ動作可能な入力手段は補助的データを有する上記表面のうちのユーザ選択された一つに上記ビューポイントを向けるために使用可能であることが好ましい。ユーザによるデータパネルのインデクシングを更に容易化するために、プリズム体の夫々の表面上の補助的データは所定の数のデータカテゴリーに分割されてもよく、夫々のプリズム体は、所与のカテゴリーの補助的データを有する少なくとも幾つかのプリズム体の夫々の面が単一のビューポイントから同時に見られるように配置される。つまり、特定のビューポイントの選択は、ディスプレイパネル上に現れる夫々の仕事の著者を識別する全てのブロックの「上部」エッジが見られるようにする一方で、第２のビューポイントは夫々の仕事のタイトルを識別するブロックの全ての左側エッジが示される。
【００１３】
更なるユーザ設定可能な特徴として、同じ又は別のユーザ動作可能な入力手段の動作によって、ユーザは上になる部分に対する半透明性の程度を変化させることが可能にされてもよい。
【００１４】
更に本発明によると、表示するデータの２つ以上の個々のソースからのデータのオンスクリーンディスプレイを制御する方法が提供され、この方法は、各ソースからのデータに少なくとも部分的に基づいて各ソースに対して夫々のディスプレイパネルを生成し定期的に更新する段階と、一つのパネルの少なくとも一部分が半透明であるといった指定された情報と共に生成されたディスプレイパネルを記憶する段階と、２つ以上の上記ディスプレイパネルからの寄与に少なくとも部分的に基づいてディスプレイに対する出力ピクセル値を生成する段階とを有し、第１のパネルが第２のパネルの上に少なくとも部分的に重なるよう位置決めされ、第１のパネルの上になる部分が半透明として指定される場合あるピクセルは２つのディスプレイパネルからの寄与を有する。
【００１５】
本発明の更なる特徴及び利点は、添付の図面を参照して例によってだけ提供される本発明の好ましい実施例の以下の説明を読むことで明らかになる。
【００１６】
図１から始めるに、本発明を具体化するオンスクリーンディスプレイ生成装置１０が示される。この装置には、表示するデータの幾つかの個々のソースが結合され、図示する例においてこれらソースは、第１のテレビジョンチューナー１２、第２のテレビジョンチューナー１４、ウェブブラウザ１６、及び、電子メール機能１８を有する。ウェブブラウザ１６及び電子メール機能１８は、適切なインタフェース２０によってインターネット上でデータをアクセスするために結合される。
【００１７】
以下では、テレビジョンチューナーによって受信される画像（及び補助的データ）のコンテンツの取り扱いに主に関わり、オーディオ信号の取り扱いは本発明の要素でなく、明瞭性のために以下の例から省略する。
【００１８】
装置１０は、ソース１２，１４、１６、及び、１８からのデータを受信するために結合されるウィンドウ制御器２２を有し、この制御器２２は、装置の動作と協働する中央処理ユニット（ＣＰＵ）２４の指示の下、あるソースからのデータに少なくとも部分的に基づいてそのソースに対する夫々のディスプレイパネルを生成し定期的に更新するために配置され、ディスプレイの特定の形態及びフォーマットに対する選択は以下に説明する。
【００１９】
ウィンドウ制御器２２には、パネル及び半透明データ（ＰＴＤ）記憶手段２６の形態にある第１の記憶手段が結合され、この記憶手段は、制御器２２によって生成されるディスプレイパネルに対するデータを保持し、一つ以上のパネルの少なくとも一部分が半透明であるといった指定された情報を含む。所定のレベルの半透明度が全ての重なるパネル又はシステム中のパネルセグメントに対して指定される場合、記憶手段２６中に保持される半透明の指定された情報は１つのディスプレイパネル当たり単一のフラグほど小さくてもよく、特定のパネルが別のパネルの上に重なるとき不透明又は半透明とされるべきか否かを示す。以下に説明するようにパネルに対するより詳細な指定された情報は、ディスプレイパネルの個々の領域に対する異なる半透明のレベルから単一のピクセルの解像度までの指定された情報を保持する記憶手段２６で支持されてもよい。
【００２０】
システムＣＰＵ２４に結合され、記憶手段２６からデータパネルの色及び半透明に関するデータを読み出すために配置されるディスプレイ制御器２８は、テレビジョン即ちディスプレイスクリーン３２にディスプレイバッファ３０を介して供給される出力ピクセル値を生成するために構成され、同図では、２つのこのようなディスプレイパネル３４及び３６の特性を示すディスプレイが示される。ディスプレイ制御器２８は、２つ以上の上記ディスプレイパネルからの寄与に少なくとも部分的に基づいてピクセル値を生成する。他の寄与は、ディスプレイパネルを上に重ねる背景即ち壁紙３８から得られてもよい。
【００２１】
装置の更なる特徴は、システムＣＰＵ２４に適切なインタフェース４０を介して結合される一つ以上のユーザ入力装置４２であり、この入力装置を用いてユーザはスクリーン３２上に表示されるデータと対話することが可能となる。各インタフェース装置４２の特定の形態は、支持される対話のレベルに依存する。例えば、装置１０がテレビジョン３２に画像を供給するセット−トップボックス中に収容される場合、入力装置はテレビジョン用のハンドヘルド式遠隔制御装置の形態でもよく、既知の方法において赤外線リンク上で送られるコマンドを通じてテレビジョンを制御する。装置１０がホームコンピュータ中に収容される場合、ＵＩＤ４２は、二次元又は三次元で動きのコマンドを入力するポインタ装置と共にコンピュータキーボードを有してもよい。
【００２２】
図２を参照するに、ユーザインタフェースを形成するためのディスプレイパネルの第１の可能な配置を示す。この配置は、平行に整えられた列中の後方へ退くパネルをシミュレートさせるために配置される４つのパネル８０乃至８３を有し、三次元のインタフェース空間８４中で１つのパネルが別のパネルの後ろにある。境界線８６は、示される割合となるよう制限されず、代わりに、ディスプレイ装置によって決定されるように４：３又は１６：９のアスペクト比を有してもよい。
【００２３】
図２の配置を生成するためには、図１のディスプレイ制御器２８は、更なるメモリ装置４４又はディスプレイ制御器と結合されるシステムメモリの更なる領域中に保持される環境を明確にする記憶されたデータに基づき、三次元のインタフェース空間又は環境８４の二次元画像を生成するために配置されることが好ましい。バーチャルリアリティ及び関連するアプリケーションのために三次元イメージングを取り扱う従来の方法では、画像は環境内に所与の場所及び向きを有する所定のビューポイントから生成される。グラフィック画像データを有してもよく有しなくてもよいディスプレイパネル、ライブテレビジョン画像（パネル８０及び８１に関して）、インターネットウェブページ（パネル８２に関して）、又は、電子メールメッセージ（パネル８３に関して）が上記環境内において表面上にマッピングされる。
【００２４】
図２の例において、ウィンドウ制御器（２２；図１）は、各ディスプレイパネルを第１の部分及び第２の取り付けられた部分として生成し、第１及び第２の部分の一方だけが半透明として指定される。図示するように、各ディスプレイパネル８０乃至８３は、表示されるコンテンツを上に表わす第１の部分αと、第１の部分に取り付けられ各パネルのコンテンツをユーザに識別させるために補助的データを含む第２の部分βとを有する。図示するように、夫々のディスプレイパネルの第１の部分αは不透明であり、第２の部分βは半透明であり、後ろにあるディスプレイパネルの下にされる第１の部分αのコンテンツを少なくとも部分的に表わす。
【００２５】
図２に示されるディスプレイパネルの配置を用いて、異なるソースの中をスクロールすることは、ユーザがパネルを「飛び越える」ようにビューポイントを環境８４内で移動させることで適当に実現され、３つ又は４つのパネルのコンテンツ部分αは同時に可視であり、タイトルバー即ち補助的データ部分βが後ろにあるウィンドウのコンテンツを覆い隠す程度を減少させるために半透明である。
【００２６】
図３を参照するに、ディスプレイパネルの代替の配置が示され、第１の（フルスクリーン）パネル９０は、より小さく、部分的に半透明なウィンドウのついたディスプレイパネル９２によって重ねられる。コンテンツの点に関して、フルスクリーンパネルがテレビジョン放送を有し、上になるウィンドウがウェブページを有してもよい。ウェブページは、表示されるテレビジョン放送（実際の放送データはページを明確に且つページにアクセスするウェブブラウザによって検出可能な方法で識別されてもよい）と明らかに関連してもよく、又は、より一般的にリンクされてもよく、このときウェブブラウザは、放送内容を識別（少なくとも広いレベルの分類において）し、ユーザのために可能性として関心のある補助的データのページを検索し読み出すサーチエンジンとして動作する手段を有する。
【００２７】
図３の例は、上に重ねられるディスプレイパネルの別個の領域が半透明に関して個別に指定されてもよく、一般に９４において示されるピクチャ及びテキストが不透明（即ち、下にあるテレビジョンピクチャを完全に覆い隠す）である一方で、一般に９６において示されるピクチャ及びテキストは半透明でありビューアに対してそれほど迷惑とならない。ビューアに対する放送画像を更に明瞭にするために（例えば、ウェブブラウザが新しいページを検索する間）、ウィンドウのついたディスプレイパネル９２は、既知の方法でスクリーンの下にあるアイコンに最小化されてもよい。
【００２８】
図４及び図５は、図２の配置の変形例を示し、環境を画成する記憶されたデータに基づいて上記環境内にあるユーザによって移動可能なビューポイントから三次元環境の二次元画像を生成するディスプレイ制御器の配置を特に使用し、このとき上記ディスプレイパネルは上記環境内において表面上にマッピングされる。
【００２９】
前述の通り、環境を画成する記憶されたデータは、夫々のディスプレイパネルが上にマッピングされる（明瞭性のためにマッピングされたデータは図４及び図５から省略される）平坦な面αと、及び、上記上になる部分が上にマッピングされる隣接する面βとを夫々少なくとも有する複数の略プリズム体１００、１０１、及び、１０２を画成する。本実施例の特定の特徴は、各プリズム体が平坦な面から２つ以上の隣接する表面β．１、β．２を有し、これら隣接する表面βがディスプレイパネルのコンテンツに対する補助的データを夫々有することである。ユーザ入力装置（ＵＩＤ；図１）の動作によりユーザは、補助的データを有する表面β．１、β．２のうちのユーザ選択された一つの方向にビューポイントを方向付ける（矢印１０５によって示される）ことが可能となる。
【００３０】
プリズム体の夫々の表面β．１及びβ．２上の補助的データは、所定の数のデータカテゴリー（Ａ：データ；Ｂ：データ）に分割され、夫々のプリズム体は、所与のカテゴリーの補助的データを有する少なくとも幾つかのプリズム体の夫々の面が単一のビューポイントから同時に見ることができ、即ち、全ての「Ａ：データ」が並べられ（図４に示す）又は全ての「Ｂ：データ」が並べられ（図５に示す）るように配置される。
【００３１】
これら異なるデータカテゴリーは、ユーザが異なるカテゴリーのデータによってパネルの中を検索又はインデクスすることを可能にさせる。例えば、主なディスプレイパネルαが電子メールメッセージを有する場合、サイドパネルも（及び平行六面体ブロックの後ろも）著者、内容、受信時間及び／又は日付等を識別するデータを有するよう夫々割り当てられてもよい。
【００３２】
図２の実施例に関して、ディスプレイパネル及び補助的データが上にマッピングされるプリズム状又は平行六面体のブロックは、半透明であると仮定され（実際上ボックス又はパネルの輪郭線を画成する３Ｄ環境内の座標の組に過ぎず）、各補助的データβも後ろにあるブロックのディスプレイパネルからの幾つかのコンテンツが見られるよう少なくとも部分的に半透明にされ、これは特に、ブロックの裏面上のデータが読み出される場合に便利であり、このデータはさもなければ後続するブロックのディスプレイ表面を大部分覆い隠す。
【００３３】
本開示を読むことにより、他の変形例が当業者に明らかとなる。このような変形例は、グラフィック或いはスクリーンディスプレイインタフェース又はそれらの構成部分を有する装置及び／又はこの装置を制御する方法の分野において既知であり、本願で既に記載した特徴の代わりに又はそれに加えて使用されてもよい他の特徴を含んでもよい。
【図面の簡単な説明】
【図１】 本発明を実例として示す装置のブロック略図である。
【図２】 オンスクリーンディスプレイ中のディスプレイパネルの第１の配置を示す図である。
【図３】 オンスクリーンディスプレイ中のディスプレイパネルの第２の配置を示す図である。
【図４】 図２の第１の配置の変更されたバージョンによって提供されるインデクシングインタフェースをナビゲーションすることを示す図である。
【図５】 図２の第１の配置の変更されたバージョンによって提供されるインデクシングインタフェースをナビゲーションすることを示す図である。

Claims (11)

1. 表示するデータの２つ以上の個々のソースと、
   上記各ソースからの上記データに少なくとも部分的に基づいて上記各ソースの夫々のディスプレイパネルを生成し定期的に更新するために配置されるウィンドウ制御器と、
   一つのパネルの少なくとも一部分が半透明であるといった指定された情報を含む上記生成されたディスプレイパネルに対するデータを保持する第１の記憶手段と、
   少なくとも２つ以上の上記ディスプレイパネルからの寄与に少なくとも部分的に基づいて上記ディスプレイに対する出力ピクセル値を生成するために構成されるディスプレイ制御器とを有し、
   第１のパネルが第２のパネルを少なくとも部分的に重なるように位置決めされ、上記第１のパネルの上になる部分が少なくとも部分的に半透明と指定される場合、あるピクセルは２つの上記ディスプレイパネルからの寄与を有し、
   上記ウィンドウ制御器は、上記各ディスプレイパネルを第１の部分、及び、第２の取り付けられる部分として生成するために配置され、上記第１の部分及び上記第２の取り付けられる部分のうち一方だけが半透明として指定され、上記第１の部分はコンテンツ部分であり、上記第２の取り付けられる部分はタイトルバー部分であり、上記第２の取り付けられる部分は対応する上記ディスプレイパネルの上記タイトルバーを含み、かつ、
   上記ソースの一つは、ビデオ画像フレームシーケンスのソースを有し、上記ソースに対するディスプレイパネルは半透明として指定される部分以外の部分において上記ビデオ画像フレームを表示するオンスクリーンディスプレイ生成装置。
2. 上記ソースの一つは、上記ビデオ画像フレームシーケンスに対する補助的データを供給し、上記ウィンドウ制御器は半透明として指定される部分中で上記補助的データに基づいてコンテンツを生成するために配置される請求項１記載の装置。
3. 上記ソースの一つは、放送テレビジョン信号を受信することができるチューナーを有する請求項１記載の装置。
4. 上記ソースの別のソースは、現在表示されている放送テレビジョン信号に関連するインターネットウェブページから得、上記放送テレビジョン信号からの画像を示すパネルの上にある少なくとも部分的に半透明なパネル中で見つけられる全てのウェブページを表示するために構成されるウェブブラウザである請求項３記載の装置。
5. 上記ディスプレイ制御器は、三次元の環境を画成する記憶されたデータに基づき、上記環境内の所定のビューポイントから上記三次元の環境の二次元の画像を生成するために配置され、上記ディスプレイパネルは上記環境内において表面上にマッピングされる請求項１記載の装置。
6. ユーザによって動作可能な入力手段を更に有し、上記入力手段の動作は、上記ユーザが上記三次元の環境内において上記ビューポイントの場所及び／又は方向を操作することを可能にさせる請求項５記載の装置。
7. 上記環境を画成する記憶されたデータは、夫々のディスプレイパネルがマッピングされる平坦な面と、上になる部分がマッピングされる隣接する表面とを夫々少なくとも有する複数の略プリズム状の体を画成する請求項６記載の装置。
8. 上記各プリズム状の体は、上記平坦な面に隣接する２つ以上の表面を有し、上記各表面は、上記ディスプレイパネルの上記コンテンツに対する補助的データを有し、上記ユーザによって動作可能な入力手段は、上記ビューポイントを上記表面のうちのユーザ選択された一つの表面に方向付けるために使用可能である請求項７記載の装置。
9. 上記プリズム状の体の各表面上の上記補助的データは、所定の数のデータカテゴリーに分割され、上記各プリズム状の体は、所与のカテゴリーの補助的データを有する幾つかの上記プリズム状の体の各面が単一のビューポイントから同時に見られるよう配置される請求項８記載の装置。
10. ユーザによって動作可能な入力手段を更に有し、上記入力手段の動作は、上記ユーザに上になる部分に対する半透明性の程度を変化させることを可能にさせる請求項１又は２のうちいずれか一項記載の装置。
11. 表示するデータの２つ以上の個々のソースからのデータのオンスクリーンディスプレイを制御する方法であって、
    上記各ソースからのデータに少なくとも部分的に基づいて上記各ソースに対して夫々のディスプレイパネルを生成し定期的に更新する段階と、
    一つのパネルの少なくとも一部分が半透明であるといった指定された情報と共に生成されたディスプレイパネルを記憶する段階と、
    ２つ以上の上記ディスプレイパネルからの寄与に少なくとも部分的に基づいて上記ディスプレイに対する出力ピクセル値を生成する段階とを有し、
    第１のパネルは第２のパネルの上に少なくとも部分的に重なるよう位置決めされ、上記第１のパネルの上になる部分は少なくとも部分的に半透明として指定される場合、あるピクセルは２つの上記ディスプレイパネルからの寄与を有し、
    上記各ディスプレイパネルは、第１の部分、及び、第２の取り付けられる部分として生成され、上記第１の部分及び上記第２の取り付けられる部分のうち一方だけが半透明として指定され、上記第１の部分はコンテンツ部分であり、上記第２の取り付けられる部分はタイトルバー部分であり、上記第２の取り付けられる部分は対応する上記ディスプレイパネルの上記タイトルバーを含み、かつ、
    上記ソースの一つは、ビデオ画像フレームシーケンスのソースを有し、上記ソースに対するディスプレイパネルは半透明として指定される部分以外の部分において上記ビデオ画像フレームを表示する方法。

Images