JP4712437B2 - 情報処理端末 - Google Patents

Description

本発明は、メディア（テレビ放送、ストーリーミング配信、記憶媒体からの読み出しなどの、視聴者に情報を伝える手段）により伝えられる複数のコンテンツ（視聴者に伝えるべき情報）の表示形態を調整して、その複数のコンテンツを同一の表示画面上に表示させる情報処理端末に関する。

従来、主画面と複数の子画面を一つのディスプレイの表示画面上に同時に表示する画面表示装置が提供されている。例えば、コンテンツが番組、メディアが無線放送であるテレビ放送においては、あるチャネルの番組を表示画面の大部分（主画面）に表示させ、その他のチャネルの番組をそれぞれ表示画面の残りの部分（子画面）に表示させる装置が挙げられる。これにより、現在見ている主画面に代えて、次に見たい番組を複数の子画面の中から選択し易くし、ユーザの利便が図られている。

上述の従来の画面表示装置は、複数の子画面のうち放送時間が終了して無信号状態（砂あらし）の画面や、ノイズの多い画面など、見難い画面を表示すると、聴視者には極めて目障りとなる。このため、目障りとなる子画面については画面表示を行わないようにし、一方、その子画面の表示を行わない分、他の子画面や主画面の表示サイズを大きくして、他の子画面や主画面を再配置する画面表示装置が提案されている（例えば、特許文献１参照）。

特開平１１‐２３９３０７号公報

しかしながら、従来の画面表示装置にあっては、聴視者にとって目障りな子画面を非表示としてしまうために、その子画面にて伝えようとする情報が聴視者に全く伝わらなくなってしまう。上述の無信号状態の画面とノイズの多い画面のそれぞれの場合で説明すると、放送時間が終了して無信号状態の放送は視聴者に伝えるべき情報を有していないため、その放送を表示する子画面を非表示としても問題無い。しかし、ノイズが含まれる放送は見難いながらも視聴者に伝えるべき情報を含んでいるおり、その放送を表示する子画面を非表示としてしまうと、その情報が視聴者に全く伝わらず、従って、その情報が全く利用されないことになってしまう。

本発明は、上記事情に鑑みてなされたもので、複数のコンテンツの表示形態を調整して、その複数のコンテンツを同一の表示画面上に表示させる場合、その複数のコンテンツの中に表示品質の悪いコンテンツがあっても、そのコンテンツが伝えるべき情報を効果的に聴視者に伝えることができる情報処理端末を提供することを目的とする。

本発明の情報処理端末は、コンテンツ内容の異なる複数のメディアデータを表示部に表示させる情報処理端末であって、少なくとも１つのメディアデータについてのメディアデータ関連情報を抽出する抽出手段と、予め設定された、メディアデータ関連情報と前記表示部による表示形態との対応関係を参照して、前記抽出手段により抽出したメディアデータ関連情報に対応する前記表示部の表示形態を決定する決定手段と、を備え、前記表示部は、前記決定手段が決定した表示形態により、前記抽出手段によりメディアデータ関連情報を抽出したメディアデータを少なくとも表示する、ものである。

この構成により、複数のコンテンツの中に表示品質の悪いコンテンツがあっても、そのコンテンツが伝えるべき情報を効果的に聴視者に伝えることができる。

また、本発明の情報処理端末は、前記決定手段が、予め設定された、メディアデータ関連情報と前記メディアデータ関連情報を格付けした必要度との第１の対応関係を参照して、前記抽出手段により抽出したメディアデータ関連情報に対応する前記必要度を決定する必要度決定手段と、前記必要度と前記表示部による表示形態との第２の対応関係を参照して、前記必要度決定手段により決定した必要度に対応する前記表示部の表示形態を決定する表示形態決定手段と、を含むものである。

この構成により、必要度を介しメディアデータ関連情報と表示形態とを対応付けることができるため、この必要度を用いてメディアデータ関連情報と表示形態との対応付けを簡素化できるとともに、その対応付けにかかる手間を軽減できる。

また、本発明の情報処理端末は、前記決定手段により決定した前記表示部の表示形態に応じて、前記複数のメディアデータの表示形態を調整する調整手段を備え、前記表示部は、前記調整手段が調整した表示形態により、前記抽出手段によりメディアデータ関連情報を抽出したメディアデータを含む複数のメディアデータを表示する、ものを含む。

この構成により、１つのメディアデータの表示形態に応じて他のメディアデータの表示形態を調整することができる。

また、本発明の情報処理端末は、前記抽出手段が、少なくとも２つのメディアデータについてのメディアデータ関連情報を抽出し、前記決定手段が、前記抽出手段により抽出したそれぞれのメディアデータ関連情報に対応する前記表示部の表示形態を決定し、前記調整手段が、前記決定手段により決定した、それぞれのメディアデータ関連情報に対応する前記表示部の表示形態に応じて、前記抽出手段によりメディアデータ関連情報を抽出したメディアデータを少なくとも含む、複数のメディアデータの表示形態を調整する、ものを含む。

この構成により、複数のメディアデータ毎のメディアデータ関連情報を取り出して、その複数のメディアデータ関連情報全てあるいは一部を反映した修飾処理を行うことができるため、様々なコンテンツを同時に表示させる場合の、コンテンツ表示方法の自由度が高まる。

本発明の情報処理端末によれば、複数のコンテンツの表示形態を調整して、その複数のコンテンツを同一の表示画面上に表示させる場合、その複数のコンテンツの中に表示品質の悪いコンテンツがあっても、そのコンテンツが伝えるべき情報を効果的に聴視者に伝えることができる。

以下、本発明の実施形態の情報処理端末について、図面を用いて説明する。

（第１の実施形態）
本発明の第１の実施形態の情報処理端末を、図１に示す。
図１において、情報処理端末１１は、メディア処理部１２、１３と、レイアウト調整手段１４と、合成手段１５と、表示手段１６と、を備える。
また、前記メディア処理部１２は、データ通信手段１７と、修飾必要度決定手段１８と、修飾決定手段１９と、修飾手段２０と、を有する。前記メディア処理部１３は、データ通信手段２１と、修飾手段２２と、を有する。

前記メディア処理部１２、１３は、例えば一方が主画面用のメディアデータ処理をするものとすると、他方が一または複数の子画面用のメディアデータ処理をするものとなる。また、一方が複数の子画面用のメディアデータ処理をするものとすると、他方が他の子画面用のメディアデータ処理をするもの、または主画面用のメディアデータ処理をするものとなる。ここで、メディアデータは、各メディアにより伝送、保存または作成される、文字、動画像、静止画像などを表示手段１６に表示するためのデータで、無線電波、インターネット通信などのネットワークＮ１、Ｎ２を通じて伝達されたり、あるいは本発明の情報処理端末の文字・画像編集用アプリケーションを利用して作成される。メディア処理部１２、１３によりデータ処理されたメディアデータが、表示手段１６に表示されることにより、コンテンツが視聴者に伝わることになる。

従って、メディアデータ処理部１２は、例えばテレビ放送で受信した主画面にかかるメディアデータを、同時に受信したメディアデータ関連情報に応じて決定した所定の画面サイズ（例えば拡大）に処理し、一方、メディアデータ処理部１３は、受信した一つの子画面にかかるメディアデータの画面サイズを、前記決定された主画面の画面サイズに応じたサイズ（例えば、縮小）に調整する。なお、このようなマルチ画面表示における画面サイズの調整処理は、テレビ放送以外の例えば、インターネット放送で扱う複数データのストリーミング配信や、複数メールのメールアプリケーション処理にも適用し得るものである。ここで、メディアデータ関連情報は、メディアデータ転送レート、パケット欠損状況、コンテンツに対するユーザの関心度、災害情報やニュース速報などの緊急度、経時的に報知情報が変更になるニュースや天気予報などの情報の新鮮度（例えば、更新日時からの経過時間に基づく）等の情報が含まれており、ネットワークＮ１、Ｎ２を通じて伝達されたり、メディアデータを基にデータ通信手段１7、２１が算出したり、あるいは、本発明の情報処理端末が備える入力手段（図示せず）により装置利用者が入力することにより登録される。このメディアデータ関連情報は、主画面および子画面それぞれの表示形態（例えば、表示領域の縮小率、拡大率）を決定するために、利用される。なお、図１では、データ通信手段１７は、メディアデータ関連情報の１つとしてメディアデータ転送レートを修飾必要度決定手段１８に出力するよう記載している。

なお、本実施形態のメディア処理部１２、１３はネットワークＮ１、Ｎ２を介して行うデータ通信からメディアデータ関連情報を受信しているが、ユーザが興味ある情報としての関心度情報をメディアデータ関連情報として入力し、各メディアデータのメディア関連情報を設定することも考えられる。

前記データ通信手段１７、２１は、それぞれネットワークＮ１、Ｎ２を介してメディアデータを受信するとともに、メディアデータ関連情報を抽出あるいは算出し、そのメディアデータとメディアデータ関連情報を修飾必要度決定手段１８に出力する。

前記修飾必要度決定手段１８は、データ通信手段１７から入力されるメディアデータ関連情報にもとづき、そのメディアデータ関連情報を有するメディア情報の修飾必要度を決定するものである。例えば、メディアデータ関連情報がメディアデータ転送レートである場合には、図２に示すように、各メディアデータ転送レートに対する修飾必要度を、数値にて指定する。ここで、修飾必要度の数値「０」〜「３」は、メディアデータ関連情報が、例えばメディアデータ転送レートである場合に、このメディアデータ転送レートに応じた修飾処理、つまり画面サイズの縮小率や拡大率をランク付けする目安の値であり、任意の数値に設定される。これにより、メディアデータ関連情報と修飾処理との対応付けをする手間、つまり設定にかかる手間を軽減することができる。

また、修飾決定手段１９は、修飾必要度決定手段１８が決定した修飾必要度を通知されると、予め決められた修飾ポリシー情報に従って、適用すべき修飾処理を決定するように機能する。この修飾ポリシー情報は、図３の情報テーブルに示すように、前記修飾必要度ごとに、どのような修飾処理を施すべきかを規定するものである。修飾処理は、前記のように修飾必要度ごとに対応付けられており、修飾ポリシー情報は、異なる修飾必要度ごとに対応付けられた複数の修飾処理の集合のことを指す。この修飾処理には、例えば表示領域の拡大・縮小、正しく表示できない部分を非表示にする、表示内容レベルの変更、テキストのフォントの色、サイズの変更、などの表示手段１６による空間的レイアウトの変更や、表示フレームレートや表示更新間隔や表示の継続時間や累積時間の変更、などの表示手段による時間的レイアウトの変更が含まれる。なお、修飾処理は、ここで述べた変更処理に限定するものではなく、視聴者のあるコンテンツに対する関心を意図的に変えることができる、そのコンテンツの表示形態の変更であれば良い。

修飾決定手段１９は、前記決定した修飾処理をレイアウト調整手段１４に通知する。図１では、修飾決定手段１９からレイアウト調整手段１４に通知する情報を適用予定修飾処理と記載しているが、これは、メディア処理部１２、１３で受信したメディアデータの最終的な修飾処理を決定するレイアウト調整手段１４に（詳細は後述する）、その決定する前に通知する情報であるためである。

前記レイアウト調整手段１４は、修飾決定手段１９から通知された適用予定修飾処理の内容を受け取り、この内容に応じてメディア処理部１３により受信した他のメディアデータの修飾処理を決定するものである。レイアウト調整手段１４は、メディア処理部１２で処理するメディアデータ（メディアデータＡ）の適用予定修飾処理内容に応じてメディア処理部１３で処理するメディアデータ（メディアデータＢ）の修飾処理内容を、図４に示すような情報テーブル（以下調整ポリシー情報と記述する）を参照して、メディアデータＡ、Ｂの修飾処理を決定する。例えば、メディアデータＡの適用予定修飾処理が縮小率５０〜６９％である場合には、メディアデータＡが縮小６０％、メディアデータＢが１３０％の拡大と決定する。レイアウト調整手段１４は、決定したメディアデータＡ、Ｂに対して決定したそれぞれの修飾処理を、メディアデータＡは修飾決定手段１９に、メディアデータＢは修飾手段２２に通知する。なお、レイアウト調整手段１４から修飾決定手段１９に通知する情報のことを、調整後修飾処理と称する。

また、メディア処理部１２の修飾手段２０は、修飾決定手段１９がレイアウト調整手段１４からの調整後修飾処理の通知を受けて決定した修飾処理を実行し、この修飾処理を行った修飾済みメディアデータＡを、合成手段１５を介して表示装置１６へ出力する。メディア処理部１３の修飾手段２２は、レイアウト調整手段１４から通知を受けた修飾処理を実行し、この修飾処理を行った修飾済みメディアデータＢを、合成手段１５を介して表示装置１６へ出力する。

前記合成手段１５は、修飾手段２０、２２からの画面サイズ調整等の修飾処理済の各メディアデータを合成するように機能し、表示手段１６はその各画面を所定のレイアウトで表示するように機能する。つまり、画面サイズが調整された２つの主画面および子画面を、１つの表示画面に、例えば上下方向や左右方向隣接する配置になるように合成する。修飾手段２０、２２によるメディアデータＡ、Ｂの修飾処理が行われ、合成手段１５により修飾処理済のメディアデータを合成した結果、表示手段１６がメディアデータＡ、Ｂにより構成されるコンテンツをそれぞれ、ある表示形態により表示することになる。

前記のように構成された情報処理端末について、その動作を説明する。
データ通信手段１７は、ネットワークＮ１からメディアデータＡを受信する。修飾必要度決定手段１８は、データ通信手段１７を通して得たメディアデータ関連情報であるメディアデータ転送レートを受け、図２に示すテーブルを参照して、このメディアデータ転送レートに対応する修飾必要度を決定する。ここでは、転送レートが４〜３２ｋｂｐｓの間、すなわち、修飾必要度が「２」である場合を例に説明する。メディアデータの修飾必要度「２」に応じて、修飾決定手段１９が図３に示す修飾ポリシー情報を参照して、適用すべき修飾処理つまり「画面サイズ７５％に縮小」の処理を、決定する。

修飾決定手段１９は、修飾ポリシー情報から修飾必要度に対応する適用予定修飾処理「画面サイズ７５％に縮小」を取得し、さらに、この取得した適用予定修飾処理の修飾対象となるメディアデータについての基本情報（修飾処理前の表示サイズ情報、表示位置情報、配色情報など）、および、表示手段１６の性能を示す表示仕様情報(ドット数、解像度、表示可能範囲など）を、それぞれ取得する。例えば、修飾処理が表示サイズの拡大または縮小である場合に、基本情報としてコンテンツの表示サイズ（修飾前のメディアＡのサイズ１２０×１００ドット、修飾前のメディアＢのサイズ１２０×１００ドット）を、表示仕様情報として最大ＱＶＧＡ（ディスプレイ解像度）の３２０×２４０ドットを、それぞれ取得する。修飾決定手段１９は、これら、適用予定修飾処理情報、修飾対象となるメディアデータの基本情報、および、表示手段１６の表示仕様情報を、レイアウト調整手段に出力する。

レイアウト調整手段１９は、例えば、修飾処理が表示サイズの拡大または縮小である場合に、図４の調整ポリシー情報を参照して適用予定修飾処理情報から決定されるメディアデータＡ、Ｂの調整後修飾処理（メディアデータＡは「縮小８０％」、メディアデータＢは「拡大１１５％」）と、メディアデータＡ、Ｂそれぞれの基本情報（修飾前のメディアＡのサイズ１２０×１００ドット、修飾前のメディアＢのサイズ１２０×１００ドット）と、から予想される、表示サイズが拡大または縮小されたメディアデータＡ、Ｂ（縮小したメディアデータＡのサイズ９６×８０ドット、拡大したメディアＢのサイズ１３８×１１５ドット）が表示可能範囲内（最大ＱＶＧＡの３２０×２４０ドット）に収まるか否かを判定する。レイアウト調整手段１４は、さらにメディアデータＡ、Ｂの基本情報である表示位置情報を参照して、範囲内に収まると判定した場合には、適用予定修飾処理情報から決定されるメディアデータＡ、Ｂの調整後修飾処理（メディアデータＡは「縮小８０％」、メディアデータＢは「拡大１１５％」）が実際に修飾決定手段１９に通知する調整後修飾処理となる。一方、表示可能範囲外となる場合には、レイアウト調整手段１９は、メディアデータＡ、Ｂの調整後修飾処理の拡大率および縮小率を表示可能範囲の最大値に合わせて調整する。そして、この調整した調整後修飾処理を修飾決定手段１９に通知する。

これらのメディアデータの配置方法は、各メディアデータのコンテンツ情報として基準位置情報（拡大・縮小の基準とする座標）が保持されているものとして、例えば下記の手順とする。
（１）表示位置情報を取得する。
（２）表示位置情報の座標は固定したまま、それぞれのメディアデータを拡大／縮小する（場合によっては、表示領域の一部が端末の画面からはみ出る）。
（３）表示領域の重なりの有無を判定する。重なりがあった場合は、重なっているメディアデータが何であるかを特定し、修飾競合処理ルールにもとづき、重ね合わせ順を規定する。
（４）何も表示されない部分は黒色で塗りつぶす。

メディア処理部１２の修飾手段２０は、修飾決定手段１９からの指示に従って、データ通信手段１７で受信したメディアデータＡの修飾処理を実行する。また、メディア処理部１３の修飾手段２２は、レイアウト調整手段１４からの指示に従って、データ通信手段２１で受信したメディアデータＢの修飾処理を実行する。そして、この修飾処理したメディアデータは合成手段１５を介して表示手段１６に入力され、画面表示が行われる。これにより、低い転送レートにより受信した画像を表示して視聴者にとって見難い場合であっても、非表示とせずにその転送レートに応じたサイズに調整した画面として表示することにより、視聴者の見難さに合せてサイズを調整した画面により表示できるため、限られた表示領域を有効的に利用しつつ、画像により伝えようとする情報を効果的に聴視者に伝えることができる。

さらに、図４に示すような情報テーブルの調整ポリシー情報を利用する場合には、自メディアデータの修飾内容とともに、これらに応じた他メディアデータの修飾処理を、適切に決定できる。レイアウト調整手段１４では、この調整ポリシー情報にもとづき、他のメディアデータの修飾処理を決定する。これにより、メディアデータの修飾処理に応じたメディアデータの修飾処理の制御方法を任意に指定することができる。このようにすれば、調整ルール情報にもとづき、１つのメディアデータの縮小サイズに対応して、他のメディアデータの拡大サイズを決定し、表示することができる。

図５は、第１の実施形態による表示例を示す。図５（ａ）は、本来の表示レイアウトにおいてデータ転送レートが低く、ビデオ表示領域(主画面）Ａの画像（投球中のピッチャーの画像）が不鮮明である場合を示す。この場合には、図５（ｂ）に示すように、ビデオ表示領域Ａを縮小し、テキスト表示部分の表示領域（子画面）Ｂを拡大して、１つの表示画面上に表示することができる。これにより、不鮮明な画面Ａであっても、伝えようとする情報の凡そを聴視者に伝えることができ、テキストとの併用でその情報をさらに明確に認識できるようになる。

なお、第１の実施形態では、メディアデータ関連情報としてメディアデータ転送レートを例に挙げて説明したが、パケット欠損状況、災害情報やニュース速報などの緊急度、経時的に報知情報が変更になるニュースや天気予報などの情報の新鮮度（例えば、更新日時からの経過時間に基づく）等の情報と、修飾必要度とを対応させた修飾ポリシー情報を作成しておけば、同様に本発明を実現することができる。

また、第１の実施形態では、メディアデータの表示形態の修飾処理を拡大・縮小について説明したが、これに限るものではなく、正しく表示できない部分を非表示にする、表示内容の変更、テキストのフォントの色、フォントのサイズの変更、表示フレームレートや表示の更新間隔や表示の継続時間や累積時間の変更などによっても、効果をあげることができる。

（第２の実施形態）
本発明の第２の実施形態の情報処理端末２３を、図６に示す。
情報処理端末２３は、メディア処理部２４、２５と、レイアウト調整手段１４と、合成手段１５と、表示手段１６と、ユーザ関心度データベース２６と、を備える。また、前記メディア処理部２４は、データ通信手段１７と、メタデータ抽出手段２７と、修飾必要度決定手段１８と、就職決定手段１９と、修飾手段２０と、を有する。前記メディア処理部２５は、データ通信処理手段２１と、メタデータ抽出手段２８と、修飾必要度決定手段２９と、修飾決定手段３０と、修飾手段２２と、を有する。

前記データ通信手段１７、２１は、それぞれネットワークＮ１、Ｎ２を介してメディアデータを受信する。

メタデータ抽出手段２７、２８は、各データ通信手段１７、２１で受信したメディアデータからメタ情報を取り出す。

修飾必要度決定手段１８、２９は、メタデータ抽出手段２７、２８から入力されたメタ情報から対象キーワード情報を得る。また、この対象キーワード情報が、ユーザが関心を持つ対象キーワードとその関心度合いを示す関心度との対応をデータ化した、図７に示すような対応テーブルを持つユーザ関心度データベース２５内に登録されている場合は、該当する関心度合いを修飾必要度の代わりに用いる。図７では、対象キーワードとして、「ゴルフ」、「山田太郎」、「サッカー」、「○×リーグ」が登録されており、それぞれに関心度「１」、「２」が登録されている。（図７も、上記同様に個人名称を変更してください）

また、修飾決定手段１９、３０は、修飾必要度決定手段１８、２９が決定した修飾必要度（関心度合い）に応じ、予め認められた修飾ポリシー情報に従って、適用すべき修飾処理を決定するように機能する。修飾ポリシー情報は、修飾必要度が関心度合いに変わった点以外、図３と同様である。この修飾ポリシー情報は、前記修飾必要度ごとにどのような修飾処理を施すべきかを規定するものである。修飾決定手段１９、３０は、決定した修飾処理の内容（適用予定修飾処理）をレイアウト調整手段１４に通知する。

また、レイアウト調整手段１４は、各メディアデータの適用予定修飾処理内容に対応する各メディアデータの調整後修飾処理内容を調整ポリシー情報とする、図８に示すような情報テーブルを参照して、各メディアデータの調整後修飾処理内容を決定し、この決定した調整後修飾処理内容を修飾決定手段１９、３０に通知する。

また、修飾手段２０、２２は、修飾決定手段１９、３０が決定した修飾処理を実行し、この処理結果を、合成手段１５を介して表示装置１６へ出力するように機能する。

第２の実施形態の情報処理端末について、その処理の流れを説明する。
メタデータ抽出手段２７、２８は、ネットワークＮ１、Ｎ２を通じてデータ通信手段１７、１８で受信した各メディアデータ（メディア処理部１２はメディアデータＡを受信し、メディア処理部１３はメディアデータＢを受信）から、メタデータを抽出する。

修飾必要度決定手段１８、２９は、メタデータ抽出手段２７、２８が抽出した各メタデータから対象のキーワード情報を得る。また、これらのキーワードに対応する関心度データがユーザ関心度データベース２６に登録されている場合には、そのキーワード対応のユーザ関心度を修飾必要度として、それぞれ修飾決定手段１９、３０に入力する。

修飾決定手段１９、３０は、修飾ポリシー情報から修飾必要度に対応する適用予定修飾処理を取得し、さらに、この取得した適用予定修飾処理の修飾対象となるメディアデータについての基本情報（修飾処理前の表示サイズ情報、表示位置情報、配色情報など）、および、表示手段１６の性能を示す表示仕様情報(ドット数、解像度、表示可能範囲など）を、それぞれ取得する。例えば、修飾処理が表示サイズの拡大または縮小である場合に、基本情報としてコンテンツの表示サイズ（修飾前のメディアＡのサイズ１２０×１００ドット、修飾前のメディアＢのサイズ１２０×１００ドット）を、表示仕様情報として最大ＱＶＧＡ（ディスプレイ解像度）の３２０×２４０ドットを、それぞれ取得する。修飾決定手段１９、３０は、これら、適用予定修飾処理情報、修飾対象となるメディアデータの基本情報、および、表示手段１６の表示仕様情報を、レイアウト調整手段に出力する。

レイアウト調整手段１４は、図８に示すような調整ポリシー情報を持った情報テーブルを参照して、各メディアデータの修飾処理を決定する。レイアウト調整手段１４は、例えば、メディアデータＡの適用予定修飾処理が「画面サイズ１００〜１３０％に拡大」、メディアデータＢの適用予定修飾処理が「画面サイズ１００〜１３０％に拡大」と修飾決定手段１９、３０から通知された場合、図８の調整ポリシー情報を参照して適用予定修飾処理情報から決定されるメディアデータＡ、Ｂの調整後修飾処理（メディアデータＡは「拡大１２０％」、メディアデータＢは「縮小８０％」）と、メディアデータＡ、Ｂそれぞれの基本情報（修飾前のメディアＡのサイズ１２０×１００ドット、修飾前のメディアＢのサイズ１２０×１００ドット）と、から予想される、表示サイズが拡大または縮小されたメディアデータＡ、Ｂ（拡大したメディアデータＡのサイズ１４４×１２０ドット、縮小したメディアＢのサイズ９６×８０ドット）が表示可能範囲内（最大ＱＶＧＡの３２０×２４０ドット）に収まるか否かを判定する。

レイアウト調整手段１４は、メディアデータＡ、Ｂの基本情報である表示位置情報を判定の際に参照して、範囲内に収まると判定した場合には、適用予定修飾処理情報から決定されるメディアデータＡ、Ｂの調整後修飾処理（メディアデータＡは「拡大１２０％」、メディアデータＢは「縮小８０％」）が実際に修飾決定手段１９に通知する調整後修飾処理となる。一方、表示可能範囲外となる場合には、レイアウト調整手段１９は、メディアデータＡ、Ｂの調整後修飾処理の拡大率および縮小率を表示可能範囲の最大値に合わせて調整する。そして、この調整した調整後修飾処理を修飾決定手段１９に通知する。また、メディアデータＡ、Ｂの配置にて表示領域に重なりが生じた場合には、修飾競合処理ルールに従って処理する。この修飾競合処理ルールは、メディアデータの修飾処理に競合が生じた場合に用いるルールで、表示領域に重なりが生じた場合の重ね合わせの優先順位が決められている。こうして、修飾処理の調整を行った調整後修飾処理を修飾決定手段１９、３０に通知する。なお、レイアウト調整手段１４の調整方法は、上述の手法に限るものではなく、公知の調整方法を利用しても実現することができる。

このメディアデータの配置方法は、各メディアデータのコンテンツ情報として基準位置情報（拡大・縮小の基準とする座標）が保持されているものとして、例えば下記の手順とする。
（１）表示位置情報を取得する。
（２）表示位置情報の座標は固定したまま、それぞれのメディアデータを拡大／縮小する（場合によっては、表示領域の一部が端末の画面からはみ出る）。
（３）表示領域の重なりの有無を判定する。重なりがあった場合は、重なっているメディアデータが何であるかを特定し、修飾競合処理ルールにもとづき、重ね合わせ順を規定する。
（４）何も表示されない部分は黒色で塗りつぶす。

修飾手段２０、２２は、修飾決定手段１９、３０から通知される修飾処理を実行し、この処理結果を、合成手段１５を介して表示装置１６へ出力する

このように、それぞれのメディアデータの内容に対するユーザの関心度に応じて各メディアデータの表示領域を拡大または縮小することができる。図９（ａ）は、本来の表示レイアウトにおいて、ユーザ関心度データベース２６に登録されている「ゴルフ」に関するビデオ画像Ｃが、テキストＤとともに表示されており、図９（ｂ）では、ユーザ関心度の高い「ゴルフ」の映像Ｃが拡大され、テキストＤの表示領域がその分縮小されている。

本実施形態では、メタ情報に含まれる対象キーワードを抽出して、そのキーワードを基に修飾必要度を決めるため、装置利用者の嗜好に応じて様々な修飾処理を行うことができる。

また、本実施形態では、メディア処理部毎に修飾必要度決定手段と修飾決定手段を設けることにより、コンテンツ内容の異なる複数のメディアデータ毎のメディアデータ関連情報を取り出して、その複数のメディアデータ関連情報全てあるいは一部を反映した修飾処理を行うことができる。このため、様々なコンテンツを同時に表示させる場合の、コンテンツ表示方法の自由度が高まる。

なお、第２の実施形態では、メディアデータ関連情報としてメディアデータに対するユーザの関心度を例に挙げて説明したが、メディアデータ転送レート、パケット欠損状況、災害情報やニュース速報などの緊急度、経時的に報知情報が変更になるニュースや天気予報などの情報の新鮮度（例えば、更新日時からの経過時間に基づく）等の情報と、修飾必要度とを対応させた修飾ポリシー情報を作成しておけば、同様に本発明を実現することができる。

また、第２の実施形態では、メディアデータの表示形態の修飾処理を拡大・縮小について説明したが、これに限るものではなく、正しく表示できない部分を非表示にする、表示内容の変更、テキストのフォントの色、フォントのサイズの変更、表示フレームレートや表示更新の間隔や表示の継続時間や累積時間の変更などによっても、効果をあげることができる。

また、第２の実施形態では、メディア処理部２４、２５の修飾必要度決定手段１８、２９は、同じ種類のメディアデータ関連情報により修飾必要度を決定するように記載したが、それぞれ別の種類のメディアデータ関連情報により修飾必要度を決定するようにしても構わない。

本発明の情報処理端末によれば、複数のコンテンツの表示形態を調整して、その複数のコンテンツを同一の表示画面上に表示させる場合、その複数のコンテンツの中に表示品質の悪いコンテンツがあっても、そのコンテンツが伝えるべき情報を効果的に聴視者に伝えることができるという効果を有し、メディアにより伝えられる複数のコンテンツの表示形態を調整して、その複数のコンテンツを同一の表示画面上に表示させる情報処理端末の分野において有用である。

本発明の第１の実施形態の情報処理端末を示すブロック図 メディアデータ転送レートと修飾必要度との対応関係を示すテーブル 修飾必要度と適用予定修飾処理との対応関係を示すテーブル 適用予定修飾処理と調整後修飾処理との対応関係を示すテーブル 第１の実施形態によるレイアウト調整例を示す説明図 本発明の第２の実施形態の情報処理端末を示すブロック図 対象キーワードと関心度との対応関係を示すテーブル 適用予定修飾処理と調整後修飾処理との対応関係を示すテーブル 第２の実施形態によるレイアウト調整例を示す説明図

符号の説明

１１ 情報処理端末
１４ レイアウト調整手段
１５ 合成手段
１６ 表示手段
１７、２１ データ通信手段
１８、２９ 修飾必要度決定手段
１９、３０ 修飾決定手段
２０、２２ 修飾手段
２３ 情報処理端末
２６ ユーザ関心度データベース
２７、２８ メタデータ抽出手段
Ｎ１、Ｎ２ ネットワーク

Claims (2)

1. ビデオコンテンツとテキストコンテンツとを受信するデータ通信部と、
   前記ビデオコンテンツと、前記テキストコンテンツを同一画面内に表示する表示部と、
   前記ビデオコンテンツの受信転送レートに応じて、前記ビデオコンテンツの第一の表示倍率を決定する修飾必要度決定部と、
   前記第一の表示倍率に対応する前記ビデオコンテンツの第二の表示倍率及び前記テキストコンテンツの第三の表示倍率の情報を備えるレイアウト調整部と、を備え、
   前記表示部は、前記ビデオコンテンツを前記第二の表示倍率で表示し、前記テキストコンテンツを前記第三の表示倍率で表示する情報処理端末。
2. 請求項１に記載の情報処理端末であって、
   前記修飾必要度決定部は、前記ビデオコンテンツの受信転送レートが低くなるに応じて、前記第一の表示倍率を小さくする情報処理端末。