JP2004287595A - 複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム - Google Patents

Abstract

【課題】例えばＰＣ向けの複合メディアコンテンツを、例えば携帯端末向けの複合メディアコンテンツに変換する場合に、テキストの内容を損なわずに、可読性が確保されるように変換できるようにする。
【解決手段】テキストメディア，テキストメディア以外の他のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する複合メディアコンテンツの変換装置であって、時空間レイアウト情報設定処理部１１が、テキスト表示時間算出処理部１５で算出されたテキストメディアの表示時間に基づいて時空間レイアウト情報に含まれるテキストメディアの表示時間を設定し、時空間レイアウト情報として設定されたテキストメディアの表示時間に基づいて時空間レイアウト情報に含まれる他のメディアの再生時間を設定する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばブロードバンド回線を使用するパーソナルコンピュータ（ＰＣ）等の端末で利用可能な複合メディアコンテンツを、例えば携帯端末用の通信回線を使用する携帯端末で視聴できるように変換する際に用いて好適の複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム（複合メディアコンテンツ変換プログラムを格納したコンピュータ読取可能な記憶媒体）に関する。
【０００２】
【従来の技術】
従来、複合メディアコンテンツを編集する技術としては、例えば、テキストメディアと動画像メディアが対応付けられたセグメント単位での編集を目的として、テキストメディアと動画像メディアの対応関係が管理された状況下において、ダイジェスト映像を構成する映像シーンの前後の接続関係から、適切な接続表現を用いて、各映像シーンの説明文を接続し、映像内容の説明文を自動生成するための技術がある（例えば特許文献１参照）。
【０００３】
また、複数のメディアを関連づける技術としては、例えば特許文献２，３に開示された技術がある。
【０００４】
【特許文献１】
特開２００１−２７５０５８号公報
【特許文献２】
特開平５−２３３７１９号公報
【特許文献３】
特開平１１−１７５０９２号公報
【０００５】
【発明が解決しようとする課題】
ところで、近年、一又は複数のメディアの時空間的組合せでプレゼンテーションを構成すべく、メディアの再生順序制御や再生同期制御に関する情報を記述できるようにした、例えばＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）のような言語で作成された複合メディアコンテンツが提供されている。
【０００６】
このような言語で作成された複合メディアコンテンツは、主に、大容量（広帯域）、かつ、数Ｍｂｐｓ程度の高速の通信速度でデータの送受信を行ないうるブロードバンド回線を使用しうるＰＣ向けのコンテンツとして提供されている。
一方、現在、例えば携帯電話等の携帯端末用の通信回線では、小容量（狭帯域）、かつ、数百Ｋｂｐｓ程度の低速の通信速度でしかデータの送受信を行なうことができないため、このようなＰＣ向けの複合メディアコンテンツを携帯端末で視聴するには、携帯端末用の通信帯域や携帯端末の能力に見合った形式やデータ容量の複合メディアコンテンツに変換する必要がある。
【０００７】
例えば、携帯電話向けの複合メディアコンテンツの形式として、ＩＳＯ／ＩＥＣ １４４９６−１規格のＭＰＥＧ−４ Ｆｉｌｅ Ｆｏｒｍａｔ（ＭＰ４）をベースに制約および拡張を施した３ＧＰＰ ＴＳ ２６．２３４ Ｖ．５．１．０規格のファイルフォーマット（３ＧＰＰ ＭＰ４）がある。このファイルフォーマットでは、ビデオ（動画像）メディア，オーディオメディア，テキストメディアをそれぞれ１つのレンダリング領域（表示領域）に表示・再生させるようになっている。
【０００８】
一方、ＰＣ向けの複合メディアコンテンツでは、動画像メディア，オーディオメディア，テキストメディアをそれぞれ複数のレンダリング領域に表示・再生させるようなファイルフォーマットで構成されている場合が多い。
このため、動画像メディア，オーディオメディア，テキストメディアをそれぞれ複数のレンダリング領域に表示・再生させる形式のＰＣ向けの複合メディアコンテンツを、動画像メディア，オーディオメディア，テキストメディアをそれぞれ１つのレンダリング領域に表示・再生させる形式の携帯端末向けの複合メディアコンテンツに変換する必要がある。
【０００９】
また、ＰＣ向けの複合メディアコンテンツを携帯端末向けの複合メディアコンテンツに変換する場合、通信時間や通信料金のコストが多くかからないように、できるだけデータ容量を小さくすべく、所定のデータ容量以下になるように変換する必要もある。
例えば、以下のようにして、ＰＣ向けの複合メディアコンテンツを携帯端末向けの複合メディアコンテンツに変換することが考えられる。
【００１０】
まず、複合メディアコンテンツを構成するメディアのうち、容量の大部分を占める動画像メディアは、フレームレート，ビットレート，解像度等を低く変換するだけでなく、例えばハイライトシーンの映像のみを集約して編集するというように内容要約的な変換を行なう。
そして、テキストメディアと動画像メディアの対応関係が管理された状況下において、テキストメディアと動画像メディアが対応付けられたセグメント単位で、編集された動画像メディアにテキストメディアなどの他のメディアを関連づけるように編集する。
【００１１】
しかしながら、できるだけデータ容量を小さくするために、図１５に示すように、テキストメディアと動画像メディアが対応付けられたセグメントよりも細かい単位で動画像メディアの一部分を切り出して編集したい場合もある。
この場合、テキストメディアと、セグメントよりも細かい単位で切り出される動画像メディアとの対応関係は管理されていないため、動画像メディアの切出個所に、該当するテキストメディアを自動的に関連づけることができない。
【００１２】
また、ＰＣと携帯端末とでは画面の大きさが大きく異なるため、例えばＰＣ向けの複合メディアコンテンツは、ＰＣの画面の大きさに合わせて、所定の大きさの画面上に表示させるように作成され、例えば携帯端末向けの複合メディアコンテンツは、携帯端末の画面の大きさに合わせて、所定の大きさよりも小さい大きさの画面上に表示させるように作成される。
【００１３】
このため、ＰＣ向けの複合メディアコンテンツを、携帯端末向けの複合メディアコンテンツに変換する場合、特に、意味的内容を含むテキストメディアの内容を損なわずに、テキストメディアが確実に表示され、また、可読性が確保されるように変換することが重要になる。
本発明は、このような課題に鑑み創案されたもので、例えばＰＣ向けの複合メディアコンテンツを、例えば携帯端末向けの複合メディアコンテンツに変換する場合に、意味的情報を含むテキストメディアの内容を損なわずに、テキストメディアが確実に表示され、また、可読性が確保されるように自動的に変換できるようにした、複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム（複合メディアコンテンツ変換プログラムを格納したコンピュータ読取可能な記憶媒体）を提供することを目的とする。
【００１４】
【課題を解決するための手段】
このため、本発明の複合メディアコンテンツの変換装置は、テキストメディア，テキストメディア以外のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する複合メディアコンテンツの変換装置であって、変換指示情報に基づいて出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出するテキスト表示時間算出処理部と、変換指示情報に基づいて出力複合メディアコンテンツの時空間レイアウト情報を設定する時空間レイアウト情報設定処理部と、時空間レイアウト情報に基づいて、入力複合メディアコンテンツを出力複合メディアコンテンツに変換するコンテンツ変換処理部とを備え、時空間レイアウト情報設定処理部が、テキスト表示時間算出処理部で算出されたテキストメディアの表示時間に基づいて時空間レイアウト情報に含まれるテキストメディアの表示時間を設定するとともに、時空間レイアウト情報として設定されたテキストメディアの表示時間に基づいて時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間を設定することを特徴としている（請求項１）。
【００１５】
特に、本発明の複合メディアコンテンツの変換装置は、単一もしくは複数のメディアデータの時空間的組合せによってプレゼンテーションが構成される複合メディアコンテンツを変換するのに適している。
ここで、「時空間レイアウト情報として設定されたテキストメディアの表示時間に基づいて出力複合メディアコンテンツに含まれるテキストメディア以外のメディアの再生時間を設定する」場合には、▲１▼テキストメディアのレンダリング領域の表示時間（レンダリング領域の有効時間）と一致するように、テキストメディア以外のメディアのレンダリング領域の表示時間（レンダリング領域の有効時間）を設定する場合（非同期）、▲２▼テキストメディアのレンダリング領域の表示時間（レンダリング領域の有効時間）よりも短い時間になるように、テキストメディア以外のメディアのレンダリング領域の表示時間（レンダリング領域の有効時間）を設定する場合（非同期）、▲３▼テキストメディアのレンダリング領域の表示時間（レンダリング領域の有効時間）よりも長い時間になるように、テキストメディア以外のメディアのレンダリング領域の表示時間（レンダリング領域の有効時間）を設定する場合（非同期）、▲４▼テキストメディアのセグメントの表示時間が、テキストメディア以外のメディアのセグメントの表示時間と一致するように設定する場合［この場合、テキストメディアの表示時間（レンダリング領域の有効時間）は、テキストメディア以外のメディアの表示時間（レンダリング領域の有効時間）と一致することになる］（同期）が含まれる。
【００１６】
好ましくは、テキスト表示時間算出処理部が、入力複合メディアコンテンツから得られるテキスト情報（例えば入力複合メディアコンテンツに含まれるテキストデータから得られる文字数）と、変換指示情報として入力されるテキスト表示形態情報（例えばスクロール速度，表示領域の大きさ，フォントタイプ，フォントサイズ，文字間隔）とに基づいて、出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出するものとして構成する（請求項２）。
【００１７】
また、時空間レイアウト情報設定処理部を、時空間レイアウト情報として設定されたテキストメディアの表示時間［テキストメディアのレンダリング領域の表示時間（レンダリング領域の有効時間）］と一致するように時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間［テキストメディア以外のメディアのレンダリング領域の再生時間（レンダリング領域の有効時間）］を設定するものとして構成するのが好ましい（請求項３）。
【００１８】
さらに、出力複合メディアコンテンツに含まれる前記テキストメディア以外のメディアのセグメントの再生時間を設定するセグメント再生時間設定部と、セグメント再生時間設定部で設定されたテキストメディア以外のメディアの各セグメントの再生時間に基づいてテキストメディア以外のメディアの全セグメントの合計再生時間を算出する合計再生時間算出部と、テキスト表示時間算出処理部で算出されたテキストメディアの表示時間及びテキストメディア以外のメディアの全セグメントの合計再生時間に基づいて、テキストメディア以外のメディアの繰返再生回数を設定する繰返再生回数設定処理部とを含むものとし、コンテンツ変換処理部を、繰返再生回数設定処理部で設定された繰返再生回数に基づいて入力複合メディアコンテンツに含まれるテキストメディア以外のメディアを変換するものとして構成するのが好ましい（請求項４）。
【００１９】
また、繰返再生回数設定処理部を、テキストメディア以外のメディアの繰返再生回数をｎ（ｎ：整数）回とする場合に、テキストメディア以外のメディアの再生時間がテキストメディアの表示時間よりも短くなり、かつ、テキストメディア以外のメディアの繰返再生回数をｎ＋１回とする場合に、テキストメディア以外のメディアの再生時間がテキストメディアの表示時間よりも長くなるという条件を満たすｎを繰返再生回数として設定するものとして構成するのが好ましい（請求項５）。
【００２０】
また、時空間レイアウト情報設定処理部を、ｎ回の繰返再生終了後に、テキストメディア以外のメディアがテキストメディアの表示終了時刻までフリーズされるように設定するものとして構成するのが好ましい（請求項６）。
また、出力複合メディアコンテンツに含まれるテキストメディアのセグメントと、テキストメディア以外のメディアのセグメントとが同期して表示されるように、入力複合メディアコンテンツに含まれるテキストメディアのセグメントの再生開始時刻に基づいて、出力複合メディアコンテンツに含まれるテキストメディア以外のメディアのセグメントの再生開始時刻を設定する再生開始時刻設定処理部を含むものとし、コンテンツ変換処理部を、再生開始時刻設定処理部において設定されたテキストメディア以外のメディアの再生開始時刻に基づいて入力複合メディアコンテンツに含まれるテキストメディア以外のメディアを変換するものとして構成するのが好ましい（請求項７）。
【００２１】
本発明の複合メディアコンテンツの変換方法は、テキストメディア，テキストメディア以外のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する複合メディアコンテンツの変換方法であって、変換指示情報に基づいて出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出するテキスト表示時間算出処理ステップと、変換指示情報に基づいて出力複合メディアコンテンツの時空間レイアウト情報を設定する時空間レイアウト情報設定処理ステップと、時空間レイアウト情報に基づいて、入力複合メディアコンテンツを出力複合メディアコンテンツに変換するコンテンツ変換処理ステップとを備え、時空間レイアウト情報設定処理ステップにおいて、テキスト表示時間算出処理ステップで算出されたテキストメディアの表示時間に基づいて時空間レイアウト情報に含まれるテキストメディアの表示時間が設定されるとともに、時空間レイアウト情報として設定されたテキストメディアの表示時間に基づいて時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間が設定されることを特徴としている（請求項８）。
【００２２】
本発明の複合メディアコンテンツ変換プログラムは、テキストメディア，テキストメディア以外のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する処理をコンピュータに実行させるための複合メディアコンテンツ変換プログラムであって、変換処理が、変換指示情報に基づいて出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出するテキスト表示時間算出処理ステップと、変換指示情報に基づいて出力複合メディアコンテンツの時空間レイアウト情報を設定する時空間レイアウト情報設定処理ステップと、時空間レイアウト情報に基づいて、入力複合メディアコンテンツを出力複合メディアコンテンツに変換するコンテンツ変換処理ステップとを含み、時空間レイアウト情報設定処理ステップにおいて、テキスト表示時間算出処理ステップで算出されたテキストメディアの表示時間に基づいて時空間レイアウト情報に含まれるテキストメディアの表示時間が設定されるとともに、時空間レイアウト情報として設定されたテキストメディアの表示時間に基づいて時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間の項目値が設定されることを特徴としている（請求項９）。
【００２３】
本発明の複合メディアコンテンツの変換装置は、テキストメディア，テキストメディア以外のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、変換指示情報に基づいて、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する処理を実行する制御部と、時空間レイアウト情報テーブルを記憶する記憶部とを備え、制御部が、変換指示情報に基づいて、入力複合メディアコンテンツから所定のテキストメディアに関する情報（例えばアドレス情報）を取得し、記憶部から時空間レイアウト情報テーブルを読み出して、所定のテキストメディアに関する情報を設定して時空間レイアウト情報テーブルの仮作成を行なうステップと、時空間レイアウト情報テーブルに設定された所定のテキストメディアに関する情報を用いて、入力複合メディアコンテンツから所定のテキストメディアのデータを取得するステップと、所定のテキストメディアのデータに基づいて出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出し、算出されたテキストメディアの表示時間に基づいて時空間レイアウト情報テーブルにテキストメディアの表示時間を設定するとともに、時空間レイアウト情報テーブルに設定されたテキストメディアの表示時間に基づいて出力複合メディアコンテンツに含まれるテキストメディア以外のメディアの再生時間を時空間レイアウト情報テーブルに設定して時空間レイアウト情報テーブルを完成させるステップと、完成した時空間レイアウト情報テーブルに基づいて、入力複合メディアコンテンツを出力複合メディアコンテンツに変換するステップとを含む処理を実行するように構成されることを特徴としている（請求項１０）。
【００２４】
【発明の実施の形態】
以下、図面により、本発明の実施の形態について説明する。
本実施形態にかかる複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム（複合メディアコンテンツ変換プログラムを格納したコンピュータ読取可能な記憶媒体）について、図１〜図１４を参照しながら説明する。
【００２５】
本複合メディアコンテンツの変換装置は、図２に示すように、所定の大きさの画面上に表示させる入力複合メディアコンテンツ［テキストメディア，テキストメディア以外のオーディオメディア，ビデオメディア（動画像メディア）などの他のメディアを含む；例えばＰＣ向けのコンテンツ］を、変換指示情報（例えばキーボードやマウスなどの入力部を介して外部から入力される）に基づいて、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツ［例えば携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）などの携帯端末向けのコンテンツ；所定のデータ容量以下のコンテンツ］に変換するものである。
【００２６】
本実施形態では、意味的情報を含むテキストメディアについては動画像メディアのように内容要約的な編集を自動的に行なうのが難しいため、変換前のテキスト内容を編集することなく、そのまま変換後の出力複合メディアコンテンツに含ませるようにしている。
しかし、携帯電話などの携帯端末では、ＰＣに比べて画面が小さいため、同じ内容のテキストを表示させる場合であっても、例えばスクロールさせる等の表示の工夫が必要になる。
【００２７】
例えば、テキストメディアとして多くの文字が含まれている場合、スクロール速度を高速にして、テキストメディアを表示させることも考えられるが、この場合、テキストメディアの表示時間が短くなってしまうため、ユーザが時間内に読めない場合も起こりうる。
また、例えばテキストメディアを構成する文字の大きさを小さくすることも考えられるが、この場合、可読性が悪くなってしまう。
【００２８】
さらに、このように、テキストメディアのスクロール速度を高速にしたり、テキストメディアを構成する文字の大きさを小さくしたりしたとしても、必ずしもテキストメディアの全ての文字を表示させることができるとは限らない。
そこで、本実施形態では、出力複合メディアコンテンツに含まれるテキストメディアの表示時間を考慮して、出力複合メディアコンテンツに含まれるテキストメディア以外のメディア（例えば編集された動画像メディア）の再生時間を設定するようにしている。
【００２９】
具体的には、本複合メディアコンテンツの変換装置は、ビデオメディア（動画像メディア），オーディオメディア及びテキストメディアを含み、例えば図３（Ａ）に示すようなプレゼンテーション構成になっている入力複合メディアコンテンツ（変換前の複合メディアコンテンツ）を、ビデオメディア及びテキストメディアを含み、例えば図３（Ｂ）に示すようなプレゼンテーション構成の出力複合メディアコンテンツ（変換後の複合メディアコンテンツ）に変換するものとして構成される。
【００３０】
ここで、入力複合メディアコンテンツ（例えばＰＣ向けのコンテンツ）は、例えば図３（Ａ）に示すように、メディア毎に複数（ここでは２つ）のレンダリング領域を有するものとして構成される。
つまり、図３（Ａ）に示すように、第１ビデオレンダリング領域（Ｖｉｄｅｏ＃１）には、ビデオメディアのセグメントＶｓｅｇ（１１）を符号Ｔ１で示す時間（Ｔ１時間）だけ表示させた後、ビデオメディアのセグメントＶｓｅｇ（１２）を符号Ｔ２で示す時間（Ｔ２時間）だけ表示させ、第ｍビデオレンダリング領域（Ｖｉｄｅｏ＃ｍ）には、ビデオメディアのセグメントＶｓｅｇ（ｍ１）を符号Ｔ３，Ｔ４で示す時間（Ｔ３＋Ｔ４時間）だけ表示させるようになっている。
【００３１】
また、第１オーディオレンダリング領域（Ａｕｄｉｏ＃１）には、オーディオメディアのセグメントＡｓｅｇ（１１）を符号Ｔ１で示す時間（Ｔ１時間）だけ再生し、第ｎオーディオレンダリング領域（Ａｕｄｉｏ＃ｎ）には、オーディオメディアのセグメントＡｓｅｇ（ｎ１）を符号Ｔ２，Ｔ３，Ｔ４で示す時間（Ｔ２＋Ｔ３＋Ｔ４時間）だけ再生するようになっている。
【００３２】
さらに、第１テキストレンダリング領域（Ｔｅｘｔ＃１）には、テキストメディアのセグメントＴｓｅｇ（１１）を符号Ｔ１で示す時間（Ｔ１時間）だけ表示させた後、符号Ｔ２で示す時間（Ｔ２時間）だけ間隔をあけて、テキストメディアのセグメントＴｓｅｇ（１２）を符号Ｔ３で示す時間（Ｔ３時間）だけ表示させ、第ｋテキストレンダリング領域（Ｔｅｘｔ＃ｋ）には、符号Ｔ１で示す時間（Ｔ１時間）経過後、テキストメディアのセグメントＴｓｅｇ（ｋ１）を符号Ｔ２で示す時間（Ｔ２時間）だけ表示させ、符号Ｔ３で示す時間（Ｔ３時間）だけ間隔をあけて、テキストメディアのセグメントＴｓｅｇ（ｋ２）を符号Ｔ４で示す時間（Ｔ４時間）だけ表示させるようになっている。
【００３３】
一方、出力複合メディアコンテンツ（例えば携帯電話向けの所定データ容量以下のコンテンツ）は、例えば図３（Ｂ）に示すように、メディア毎に１つのレンダリング領域を有するものとして構成される。
つまり、図３（Ｂ）に示すように、テキストレンダリング領域（Ｔｅｘｔ）には、テキストメディアのセグメントＴｓｅｇ（１１）を符号Ｔ１で示す時間（Ｔ１時間）だけ表示させ、次に、テキストメディアのセグメントＴｓｅｇ（１２）を符号Ｔ３で示す時間（Ｔ３時間）だけ表示させ、次いで、テキストメディアのセグメントＴｓｅｇ（ｋ２）を符号Ｔ４で示す時間（Ｔ４時間）だけ表示させるようになっている。なお、ここでは、携帯電話向けの所定データ容量以下の複合メディアコンテンツに変換した場合にも、テキストメディアの表示時間は変わらないものとしている。
【００３４】
また、ビデオレンダリング領域（Ｖｉｄｅｏ）には、テキストメディアのセグメントＴｓｅｇ（１１）の表示に同期させて、ビデオメディアのセグメントＶｓｅｇ（１１）′を符号Ｔ１′で示す時間（Ｔ１′時間）だけ表示させ、次に、テキストメディアのセグメントＴｓｅｇ（１２）の表示に同期させて、ビデオメディアのセグメントＶｓｅｇ（ｍ１）′を符号Ｔ３′で示す時間（Ｔ３′時間）だけ表示させるようになっている。
【００３５】
なお、ここでは、ビデオメディア（テキストメディア以外のメディア）の再生時間は、テキストメディアの表示時間よりも短くなるように変換されるものとする。つまり、ビデオメディア（テキストメディア以外のメディア）の各セグメントの再生時間は、対応するテキストメディアの各セグメントの再生時間よりも短くなるように変換されるものとする。
【００３６】
なお、ここでは、ＰＣ向けのコンテンツを携帯端末向けのコンテンツに変換してもテキストメディアの表示時間が変わらないことを前提に説明したが、実際には、ＰＣと携帯端末（特に携帯電話）とでは画面（表示領域）の大きさが異なるため、ＰＣ向けのコンテンツを携帯端末向けのコンテンツに変換すると、テキストメディアの表示時間が長くなるのが一般的である［図３（Ｄ）参照］。
【００３７】
また、ここでは、ＰＣ向けのコンテンツを携帯端末向けのコンテンツに変換する際に、テキストメディアのセグメントの表示に同期して、ビデオメディアのセグメントが表示されるようになっているが（このような変換方法を同期的変換方法という）、これに限られるものではなく、例えばテキストメディアのセグメントの表示とは関係なく（非同期に）、ビデオメディアのセグメントが連続的に表示されるようにしても良い（このような変換方法を非同期的変換方法という）［図３（Ｃ）参照］。
【００３８】
上述のように、本実施形態にかかる複合メディアコンテンツの変換装置は、テキストメディアの表示時間を考慮したプレゼンテーション構成の複合メディアコンテンツに変換されるように構成されるため、複合メディアコンテンツを構成するテキストメディアに含まれる文字数が多く、変換した場合に、動画像メディア（ビデオメディア）の再生時間に比べて、テキストメディアの表示時間の方が長くなってしまうような場合であっても、意味的情報を含むテキストメディアの内容を損なわずに、テキストメディアが確実に表示され、テキストメディアの可読性が確保されるように自動的に変換できるようになる。
【００３９】
また、本複合メディアコンテンツの変換装置は、ＰＣ（例えばデスクトップパソコンやノート型パソコン等）向けのコンテンツを携帯端末（例えば携帯電話やＰＤＡ）向けのコンテンツに変換するのに用いられるが、特に、テキストメディアが表示されることに重要な意味があるコンテンツを変換するのに有用である。
以下、本複合メディアコンテンツの変換装置の構成について、図１を参照しながら具体的に説明する。
【００４０】
本複合メディアコンテンツの変換装置は、入力部（例えばキーボードやマウスなど）と、出力部としてのディスプレイ（表示部）と、例えばＣＰＵやメモリなどからなる制御部（制御演算部，コンピュータ）と、例えばＲＯＭやハードディスクなどの記憶部とを備えるものとして構成される。例えばパーソナルコンピュータに複合メディアコンテンツをダウンロードすることで、パーソナルコンピュータを複合メディアコンテンツの変換装置として用いることができる。
【００４１】
そして、記憶部には、オペレーティングシステム（以下、ＯＳともいう）及び種々のアプリケーションプログラムだけでなく、後述するような機能をコンピュータに実現させる複合メディアコンテンツ変換プログラムも格納されており、これらのプログラムが、制御部のメモリ上にロードされ、ＣＰＵによって実行されることで、所望の機能が実現されるようになっている。
【００４２】
特に、制御部が変換指令（変換指示情報を含む）に基づいて複合メディアコンテンツ変換プログラムを実行することで、例えば図１の機能ブロック図に示すように、入力複合メディアコンテンツから任意のメディアデータ［メディアデータの全部又は一部（任意の時間区間）］を取得するデータ取得処理機能（データ取得処理部１０）と、変換指示情報に基づいて出力複合メディアコンテンツの時空間レイアウト情報を設定する時空間レイアウト情報設定処理機能（時空間レイアウト情報設定処理部１１）と、入力複合メディアコンテンツに含まれる各メディアデータを時空間レイアウト情報テーブルに基づいて各メディアデータ毎に変換する変換処理機能（コンテンツ変換処理部１２）と、変換された各メディアデータを複合させて出力複合メディアコンテンツファイルを作成するファイル生成処理機能（ファイル生成処理部１３）とが実現されることになる。
【００４３】
ここで、データ取得処理部１０は、入力複合メディアコンテンツから任意のテキストメディアのデータ［テキストメディアのデータの全部又は一部（任意の時間区間）］を取得するテキストデータ取得処理機能（テキストデータ取得処理部）と、入力複合メディアコンテンツから任意のオーディオメディアのデータ［オーディオメディアのデータの全部又は一部（任意の時間区間）］を取得するオーディオデータ取得処理機能（オーディオデータ取得処理部）と、入力複合メディアコンテンツから任意のビデオメディア（動画像メディア）のデータ［ビデオメディアのデータ（動画像データ）の全部又は一部（任意の時間区間）］を取得するビデオデータ（動画像データ）取得処理機能［ビデオデータ（動画像データ）取得処理部］とを含むものとして構成される。
【００４４】
例えば、図３（Ａ）に示すような入力複合メディアコンテンツを、図３（Ｂ）に示すような出力複合メディアコンテンツに変換する場合、データ取得処理部１０は、入力複合メディアコンテンツを構成するビデオメディア，オーディオメディア，テキストメディアの中からビデオメディアのセグメントＶｓｅｇ（１１）の全時間区間（Ｔ１区間），セグメントＶｓｅｇ（ｍ１）のＴ３区間，テキストメディアのセグメントＴｓｅｇ（１１）の全時間区間（Ｔ１区間），セグメントＴｓｅｇ（１２）の全時間区間（Ｔ３区間），セグメントＴｓｅｇ（ｋ２）の全時間区間（Ｔ４区間）のメディアデータを取得する。
【００４５】
時空間レイアウト情報設定処理部１１は、入力複合メディアコンテンツを解析し、例えば時刻情報，時間情報，データの所在を示すアドレス情報等の時空間的な情報を取得して、時空間情報テーブルを作成する情報解析処理機能（情報解析処理部１４），変換指示情報に基づいて出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出するテキスト表示時間算出処理機能（テキスト表示時間算出処理部１５）と、時空間レイアウト情報テーブルを作成する時空間レイアウト情報テーブル作成機能（時空間レイアウト情報テーブル作成部１６）と、時空間レイアウト情報テーブル作成部１６で作成された時空間レイアウト情報テーブルを記憶し、管理する時空間レイアウト情報管理機能（時空間レイアウト情報管理部１７）とを含むものとして構成される。
【００４６】
ここで、情報解析処理部１４は、入力複合メディアコンテンツが例えばＳＭＩＬのような言語で記述されている場合には、プレゼンテーション記述中にあるメディアの再生順序制御や再生同期制御に関する情報から、各メディアについて他のメディアとの同期時刻や連結時刻，データの所在を示すアドレス情報を求め、これらの同期時刻や連結時刻，データの所在を示すアドレス情報に基づいて、例えば時刻情報，時間情報，データの所在を示すアドレス情報等の時空間的な情報を含む時空間情報テーブルを作成するものとして構成される。この場合、再生順序制御や再生同期制御に関する情報を解析して同期時刻や連結時刻を求めるため、同期情報解析処理部ともいう。
【００４７】
テキスト表示時間算出処理部１５は、例えば、入力複合メディアコンテンツに含まれるテキストメディアのデータから得られる文字数（テキスト情報）と、変換指示情報として入力されるスクロール速度，表示領域の大きさ，フォントタイプ，フォントサイズ，文字間隔（テキスト表示形態情報；テキストテロップに関する属性情報）とに基づいて、出力複合メディアコンテンツに含まれるテキストメディアのセグメントの表示時間を算出するものとして構成される。
【００４８】
また、テキスト表示時間算出処理部１５は、テキストメディアのセグメントの表示時間に基づいて、テキストメディアの表示時間（テキストメディアの全セグメントの合計表示時間；レンダリング領域の有効時間）を算出する機能も有する。
時空間レイアウト情報テーブル作成部１６は、情報解析処理部１４で作成された時空間情報テーブル，テキスト表示時間算出処理部１５で算出されたテキストデータの表示時間，変換指示情報に基づいて、時空間レイアウト情報テーブル及びこれに関連づけられているセグメント情報テーブル（これらのテーブルに含まれる情報を時空間レイアウト情報という）に項目値を設定するものとして構成される。なお、時空間レイアウト情報テーブル作成部１６は、項目値の設定に必要な各種の演算も行なうものとして構成される。
【００４９】
なお、時空間レイアウト情報テーブル（テンプレート）及びセグメント情報テーブル（テンプレート）は、同期的変換方法や非同期的変換方法などの変換方法毎に複数用意され、記憶部（例えばハードディスク）に記憶されているが、複合メディアコンテンツ変換プログラムが実行される際には、記憶部（例えばハードディスク）から読み出され、時空間レイアウト情報管理部１７（例えばメモリ）で管理されている。
【００５０】
コンテンツ変換処理部１２は、テキスト表示時間算出処理部１５で算出されたテキストメディアの表示時間及び変換指示情報に基づいて、データ取得処理部１０からテキストメディアのデータを取り込んで変換処理するテキストデータ変換処理機能（テキストデータ変換処理部）と、再生時間設定処理部で設定されたオーディオメディアの再生時間及び変換指示情報に基づいて、データ取得処理部１０からオーディオメディアのデータを取り込んで変換処理するオーディオデータ変換処理機能（オーディオデータ変換処理部）と、再生時間設定処理部で設定されたビデオメディアの再生時間及び変換指示情報に基づいて、データ取得処理部１０からビデオメディアのデータを取り込んで変換処理するビデオデータ（動画像データ）変換処理機能［ビデオデータ（動画像データ）変換処理部］とを含むものとして構成される。
【００５１】
ここで、テキストデータ変換処理部は、例えば、データ取得処理部１０からテキストメディアのデータを取り込み、時空間レイアウト情報管理部１７で管理される時空間レイアウト情報テーブルに基づいて、テキストテロップデータを生成するものとして構成される。このため、テロップデータ生成処理部ともいう。
オーディオデータ変換処理部は、例えば、データ取得処理部１０からオーディオメディアのデータを取り込み、時空間レイアウト情報管理部１７で管理される時空間レイアウト情報テーブルに基づいて、変換指示情報に含まれる符号化条件で指定された符号化方式のオーディオデータを生成するものとして構成される。
【００５２】
ビデオデータ変換処理部（動画像データ変換処理部）は、例えば、データ取得処理部１０から取り込んだビデオメディア（動画像メディア）を、時空間レイアウト情報管理部１７で管理される時空間レイアウト情報テーブルに基づいて、変換指示情報に含まれる符号化条件で指定された符号化方式のビデオメディア（動画像メディア）に変換するものとして構成される。例えば、ビデオデータ変換処理部は、ＭＰＥＧ−４ Ｖｉｄｅｏのデコーダと、解像度変換器とを備えるものとして構成すれば良い。
【００５３】
ファイル生成処理部１３は、変換指示情報に含まれる出力ファイルフォーマット情報及び出力プレゼンテーション形態情報に基づいて、コンテンツ変換処理部１２で生成された個々のメディアを複合させて、プレゼンテーション構成情報をファイルフォーマットに依存した形式の出力複合メディアコンテンツファイルを生成するものとして構成される。
【００５４】
次に、独立したマルチメディアオブジェクトを、同期したマルチメディアプレゼンテーションに統合するための言語であるＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）によって作成された複合メディアコンテンツ（図４参照）を、個々のメディアデータ毎に異なる符号化方式で変換し、３ＧＰＰ ２６．２３４ Ｖ．５．１．０で規格化されるファイル形式の複合メディアコンテンツに変換する場合を例に説明する。
【００５５】
なお、図４中、＜ｐａｒ＞は子ノードのメディアデータを同期させて再生させることを意図した制御情報（同期制御情報）であり、＜ｓｅｑ＞は子ノードのメディアデータを順に再生することを意図した制御情報（順序制御情報）である。
例えば図４に示すように構成される複合メディアコンテンツでは、プレゼンテーションのタイムラインにおける０秒から１０秒までの間（０ｓ〜１０ｓ）は、図４中、▲１▼で示す記述に基づいて、図５（Ａ），（Ｄ），（Ｆ）に示すように、ｖ１．ｍｐｇの１０ｓ〜２０ｓの部分（ｖｓｅｇ１）が取り出されるとともに、ａ１．ｍｐｇの４０ｓ〜５０ｓの部分（ａｓｅｇ１）が取り出され、さらにｔｘ１．ｈｔｍｌ（ｔｓｅｇ１）が取り出されて、これらが同期して表示・再生されることになる。
【００５６】
次に、プレゼンテーションのタイムラインにおける１０秒から２０秒までの間（１０ｓ〜２０ｓ）は、図４中、▲２▼で示す記述に基づいて、図５（Ｂ），（Ｇ）に示すように、ｖ２．ｍｐｇの０ｓ〜１０ｓの部分（ｖｓｅｇ２）が取り出されるともに、ｔｘ２．ｈｔｍｌ（ｔｓｅｇ２）が取り出されて、これらが同期して表示されることになる。
次いで、プレゼンテーションのタイムラインにおける２０秒から４０秒までの間（２０ｓ〜４０ｓ）は、図４中、▲３▼で示す記述に基づいて、図５（Ｃ），（Ｈ），（Ｉ）に示すように、ｖ３．ｍｐｇの２０ｓ〜４０ｓの部分（ｖｓｅｇ３）が取り出されるとともに、ｔｘ３．ｈｔｍｌ（ｔｓｅｇ３），ｔｘ４．ｈｔｍｌ（ｔｓｅｇ４）が順に取り出されて、これらが同期して表示されることになる。
【００５７】
さらに、プレゼンテーションのタイムラインにおける１０秒から４０秒までの間（１０ｓ〜４０ｓ）は、図４中、▲４▼で示す記述に基づいて、図５（Ｅ）に示すように、ａ２．ｍｐｇの１０ｓ〜４０ｓの部分（ａｓｅｇ２）が取り出されて、上述のｖ２．ｍｐｇの０ｓ〜１０ｓの部分（ｖｓｅｇ２），ｔｘ２．ｈｔｍｌ（ｔｓｅｇ２），ｖ３．ｍｐｇの２０ｓ〜４０ｓの部分（ｖｓｅｇ３），ｔｘ３．ｈｔｍｌ（ｔｓｅｇ３），ｔｘ４．ｈｔｍｌ（ｔｓｅｇ４）に同期して再生されることになる。
【００５８】
以下、本複合メディアコンテンツの変換装置によって実行される変換処理について、図６のフローチャートを参照しながら説明する。
複合メディアコンテンツ変換プログラムが起動され、複合メディアコンテンツの変換装置の入力部を介して変換指令（変換指示情報を含む）が入力されると、ステップＳ１０，Ｓ２０の処理が実行される。なお、ステップＳ１０，Ｓ２０の処理の順序はどちらが先であっても良い。
【００５９】
ここで、外部からの指示によって与えられる変換指示情報には、例えば図７（Ａ）に示すような「出力ファイルフォーマット情報」、例えば図７（Ｂ）に示すような「出力プレゼンテーション形態情報」、例えば図７（Ｃ），（Ｄ）に示すような「レンダリング領域遷移情報（時空間レイアウト情報＃１）」、例えば図７（Ｅ）に示すような「レンダリング領域情報」、図７（Ｆ）に示すような「動画像表示形態情報」、図７（Ｇ）に示すような「テキスト表示形態情報」、図７（Ｈ）に示すような「スクロール情報」などが含まれる。
【００６０】
ここでは、「出力ファイルフォーマット情報」は、図７（Ａ）に示すように、出力ファイルフォーマット形式として３ＧＰＰ ＴＳ．２６．２３４ Ｖ．５．１．０を指示するものとして構成される。
「出力プレゼンテーション形態情報」は、図７（Ｂ）に示すように、出力プレゼンテーション形態として、非同期的変換方法「方法１」とするか、同期的変換方法「方法２」とするか、非同期的変換方法の中ではどの方法にするか「方法１−１」，「１−２」，「１−３」を指示するものとして構成される。
【００６１】
「レンダリング領域遷移情報」は、図７（Ｃ），（Ｄ）に示すように、レンダリング領域遷移情報として、レンダリング領域を特定する識別子（レンダリング領域ＩＤ）毎に遷移順位を指示するものとして構成される。
「レンダリング領域情報」は、例えば図７（Ｅ）に示すように、レンダリング領域ＩＤ毎に、同領域に表示・再生させるメディア種別（例えば動画像，テキスト，オーディオなど），表示位置［例えば矩形の場合、左上の座標；（０，０），（−１２，１４４）など］，表示領域［例えば矩形の場合、幅ｗｉｄｔｈと高さ ｈｅｉｇｈｔで指定する；（１７６×１４４），（２００×１０）］、メディア表示形態（例えば動画像表示形態情報，テキスト表示形態情報）などの情報を含むものとして構成される。
【００６２】
ここで、「動画像表示形態情報」は、例えば図７（Ｆ）に示すように、少なくとも、符号化方式（例えばＭＰＥＧ−４ Ｖｉｄｅｏ ＳＰ＠Ｌ０）、フレームレート（例えば最大１５ｆｐｓ）、ビットレート（例えば最大６４ｋｂｐｓ）を含むものとして構成される。
「テキスト表示形態情報」は、例えば図７（Ｇ）に示すように、少なくとも、符号化方式（例えば３ＧＰＰ Ｔｉｍｅｄ Ｔｅｘｔ）、使用するフォント名（例えばＳｅｒｉｆ）、フォントサイズ（例えば９ｐｔ）、文字間隔（例えば１ｐｔ）、フォントのピッチ（例えば固定）、及び、装飾情報（例えばスクロールに関する情報；スクロール情報）を含むものとして構成される。
【００６３】
ここで、「スクロール情報」は、例えば図７（Ｈ）に示すように、スクロール方向として、例えば上下，左右など、スクロール速度として、例えば３０ｐｉｘｃｅｌ／ｓｅｃなどを含むものとして構成される。
まず、図６のステップＳ１０で、情報解析処理部（同期情報解析処理部）１４が、図４に示すようにＳＭＩＬで作成された複合メディアコンテンツ［特に、複合メディアコンテンツのプレゼンテーション記述中に含まれる制御情報（同期制御情報，順序制御情報）］から、レンダリング領域（表示領域）毎に、プレゼンテーションのタイムラインにおいて時間区間毎に再生する各メディアデータに関する情報を取得し、図８に示すような時空間情報テーブルを作成する。
【００６４】
具体的には、図４に示すようにＳＭＩＬで作成された複合メディアコンテンツを変換プログラムによって変換すると、図８に示すような時空間情報テーブルが得られるようになっている。
なお、各メディアデータに関する情報は、ＳＭＩＬにおいて独立したマルチメディアオブジェクトを同期させるための同期制御情報や順序制御情報から得られるメディアデータの連結時刻や同期時刻であるため、同期情報ともいう。
【００６５】
ここで、各メディアデータに関する情報には、図８の時空間情報テーブルで左欄から順に示すように、少なくとも、プレゼンテーションのタイムラインの再生開始時刻，再生時間（これらは入力複合メディアコンテンツに含まれているメディアデータのタイムラインにおける開始時刻及び終了時刻から求める），メディアデータの実体の所在を示すアドレス情報（ＵＲＬ），メディアデータのタイムラインにおける開始時刻，終了時刻が含まれる。
【００６６】
例えば、図４に示すようにＳＭＩＬで作成された複合メディアコンテンツの場合、図４中、▲１▼で示す部分から、プレゼンテーションのタイムラインの再生開始時刻として０ｓ、再生時間として１０ｓ、ビデオデータの実体の所在を示すアドレス情報としてｖ１．ｍｐｇ、メディアデータのタイムラインにおける開始時刻として１０ｓ、終了時刻として２０ｓが取得され、図８（Ａ）の時空間情報テーブルの最上欄が作成される。なお、図８（Ａ）の時空間情報テーブルの他の欄、図８（Ｂ）〜（Ｆ）の時空間情報テーブルの各欄も同様に作成される。
【００６７】
次に、ステップＳ２０で、時空間レイアウト情報テーブル作成部１６が、変換指示情報に基づいて、変換後の複合メディアコンテンツのための時空間レイアウト情報テーブルを仮作成する。
ここで、時空間レイアウト情報テーブルの仮作成について、図１２のフローチャートを参照しながら説明する。
【００６８】
まず、ステップＡ１０で、時空間レイアウト情報テーブル作成部１６が、変換指示情報に含まれる「出力プレゼンテーション形態情報」の「プレゼンテーション形態」の項目値を参照する。つまり、時空間レイアウト情報テーブル作成部１６は、「プレゼンテーション形態」の項目値が「方法１」（非同期）を指示する項目値であるか、「方法２」（同期）を指示する項目値であるかを判定する。
【００６９】
次に、「プレゼンテーション形態」の項目値が「方法１」（非同期）を指示する項目値であると判定した場合はステップＡ２０へ進み、時空間レイアウト情報テーブル作成部１６が、時空間レイアウト情報管理部１７に記憶されている非同期用の時空間レイアウト情報テーブル及びセグメント情報テーブル［図９（Ａ），（Ｂ）参照］を読み出す。なお、ここで読み出されるテーブルは項目値が空欄になっているテンプレートである。
【００７０】
ここで、非同期の場合に用いられる時空間レイアウト情報テーブルは、図９（Ａ）に示すように、レンダリング領域毎に管理され、レンダリング領域ＩＤ（例えばＶＲｅｇｉｏｎＩＤ１，ＴＲｅｇｉｏｎＩＤ１）、表示・再生するメディアの種別（メディア種別；例えば動画像，テキスト）、再生すべきメディアデータのセグメントＩＤの順序集合（Ｖｓｅｇ＃１・・・Ｖｓｅｇ＃ｓ，Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｔ）、プレゼンテーションのタイムラインにおける再生開始時刻（例えば０；レンダリング領域の表示開始時刻）、再生時間［例えばＴＭＰ，ＤｕｒＯｆ（Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｔ）；レンダリング領域の再生時間（有効時間）］、効果指示情報（例えば、メディアデータ間で再生時間が異なる場合に、再生時間の短いメディアデータの表示・再生が終わってしまった後の残り時間に、そのレンダリング領域においてどのような効果を生じさせるか、即ち、どのような表示・再生とするかを指示するもの）などを含むものとして構成される。
【００７１】
特に、時空間レイアウト情報テーブルの「セグメント」の項目値としては、該当するレンダリング領域に表示させるセグメントの「セグメントＩＤ」が設定されるが、この「セグメントＩＤ」によって特定されるセグメントに関する情報は、時空間レイアウト情報テーブルと「セグメントＩＤ」によって関連づけられている「セグメント情報テーブル」［図９（Ｂ）参照］で管理される。
【００７２】
また、非同期の場合に用いられるセグメント情報テーブルは、図９（Ｂ）に示すように、少なくとも、セグメントＩＤ（例えばＶｓｅｇ＃１・・・Ｖｓｅｇ＃ｓ，Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｔ）、表示・再生するメディアの種別（メディア種別；動画像，テキスト）、セグメントの再生時間［ｖ＃１＿ｅｄ− ｖ＃１＿ｓｔ・・・ｖ＃ｓ＿ｅｄ− ｖ＃ｓ＿ｓｔ，ＤｕｒＯｆ（Ｔｓｅｇ＃１）・・・ＤｕｒＯｆ（Ｔｓｅｇ＃ｔ）］、メディアデータの所在を示すアドレス情報（例えばＵＲＬ；ＵＲＬｖ１・・・ＵＲＬｖｓ，ＵＲＬｔ１・・・ＵＲＬｔｓ）、メディアデータのタイムラインにおける開始時刻（ｖ＃１＿ｓｔ・・・ｖ＃１＿ｅｄ）、終了時刻（ｖ＃ｓ＿ｓｔ・・・ｖ＃ｓ＿ｅｄ）を含むものとして構成される。
【００７３】
一方、「プレゼンテーション形態」の項目値が「方法２」（同期）を指示する項目値であると判定した場合はステップＡ３０へ進み、時空間レイアウト情報テーブル作成部１６が、時空間レイアウト情報管理部１７に記憶されている同期用の時空間レイアウト情報テーブル及びセグメント情報テーブル［図１０（Ａ），（Ｂ）参照］を読み出す。なお、ここで読み出されるテーブルは項目値が空欄になっているテンプレートである。
【００７４】
ここで、同期の場合に用いられる時空間レイアウト情報テーブルは、図１０（Ａ）に示すように、レンダリング領域毎に管理され、レンダリング領域ＩＤ（例えばＶＲｅｇｉｏｎＩＤ１，ＴＲｅｇｉｏｎＩＤ１）、表示・再生するメディアの種別（メディア種別；例えば動画像，テキスト）、再生すべきメディアデータのセグメントＩＤの順序集合（Ｖｓｅｇ＃１・・・Ｖｓｅｇ＃ｓ，Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｓ）、プレゼンテーションのタイムラインにおける再生開始時刻（例えば０；レンダリング領域の表示開始時刻）、再生時間［例えばＤｕｒＯｆ（Ｖｓｅｇ＃１・・・Ｖｓｅｇ＃ｓ），ＤｕｒＯｆ（Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｓ）；レンダリング領域の再生時間（有効時間）］などを含むものとして構成される。
【００７５】
特に、時空間レイアウト情報テーブルの「セグメント」の項目値としては、該当するレンダリング領域に表示させるセグメントの「セグメントＩＤ」が設定されるが、この「セグメントＩＤ」によって特定されるセグメントに関する情報は、時空間レイアウト情報テーブルと「セグメントＩＤ」によって関連づけられている「セグメント情報テーブル」［図１０（Ｂ）参照］で管理される。
【００７６】
また、同期の場合に用いられるセグメント情報テーブルは、図１０（Ｂ）に示すように、少なくとも、セグメントＩＤ（例えばＶｓｅｇ＃１・・・Ｖｓｅｇ＃ｓ，Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｓ）、表示・再生するメディアの種別（メディア種別；動画像，テキスト）、セグメントの再生時間［Ｍａｘ（ＤｕｒＯｆ（Ｔｓｅｇ＃１），（ｖ＃１＿ｅｄ− ｖ＃１＿ｓｔ））・・・Ｍａｘ（ＤｕｒＯｆ（Ｔｓｅｇ＃ｓ），（ ｖ＃ｓ＿ｅｄ− ｖ＃ｓ＿ｓｔ））；Ｍａｘ（ｘ，ｙ）］、効果指示情報（例えば、メディアデータのセグメント間で再生時間が異なる場合に、再生時間の短いメディアデータのセグメントの表示・再生が終わってしまった後の残り時間に、そのレンダリング領域においてどのような効果を生じさせるか、即ち、どのような表示・再生とするかを指示するもの）、メディアデータの所在を示すアドレス情報（例えばＵＲＬ；ＵＲＬｖ１・・・ＵＲＬｖｓ，ＵＲＬｔ１・・・ＵＲＬｔｓ）、メディアデータのタイムラインにおける開始時刻（ｖ＃１＿ｓｔ・・・ｖ＃１＿ｅｄ）、終了時刻（ｖ＃ｓ＿ｓｔ・・・ｖ＃ｓ＿ｅｄ）を含むものとして構成される。
【００７７】
このようにして、いずれかのルートを経て、時空間レイアウト情報テーブル及びセグメント情報テーブルを読み出した後、ステップＡ４０で、時空間レイアウト情報テーブル作成部１６が、変換指示情報に含まれる「レンダリング領域遷移順位情報（時空間レイアウト情報＃１）」の「レンダリング領域ＩＤ」及び「レンダリング領域情報」の「表示メディア種別」に設定されている項目値を参照して、時空間レイアウト情報テーブル（時空間レイアウト情報＃２）の「レンダリング領域ＩＤ」，「メディア種別」の項目値を設定する。なお、時空間レイアウト情報テーブルの「再生時刻」の項目値は予め０に設定されている。
【００７８】
ここで、非同期の場合に用いられる時空間レイアウト情報テーブル［図９（Ａ）参照］の「効果指示情報」の項目値としては、「メディア種別」の項目値として「動画像」が設定されるレンダリング領域（ビデオ用レンダリング領域；ＶＲｅｇｉｏｎＩＤ１）には「繰返し」（メディアを指定された回数だけ繰り返し再生することを指示するもの）が設定され、「メディア種別」の項目値として「テキスト」が設定されるレンダリング領域（テキスト用レンダリング領域；ＴＲｅｇｉｏｎＩＤ１）には「フリーズ」（再生終了時の状態を継続させることを指示するもの；例えばブランク状態を継続させるスクロールを指示するもの、例えばステイ状態を維持することを指示するもの）が設定されるようになっている。
【００７９】
なお、「テキスト」のレンダリング領域には「Ｎ／Ａ」（Ｎｏ Ａｓｓｉｇｎ；ブランク化もしくはレンダリング領域を消去することを指示するもの）が設定されるようにしても良い。
一方、同期の場合に用いられるセグメント情報テーブル［図１０（Ｂ）参照］の「効果指示情報」の項目値としては、「メディア種別」の項目値として「動画像」が設定されるレンダリング領域（ビデオ用レンダリング領域；ＶＲｅｇｉｏｎＩＤ１）には「フリーズ」（繰返しでも良い）が設定され、「メディア種別」の項目値として「テキスト」が設定されるレンダリング領域（テキスト用レンダリング領域；ＴＲｅｇｉｏｎＩＤ１）には「Ｎ／Ａ」（フリーズでも良い）が設定されるようになっている。
【００８０】
次に、ステップＡ５０で、情報解析処理部１４によって作成された時空間情報テーブルを用いて、時空間レイアウト情報テーブル及びセグメント情報テーブルの所定の項目値を設定する。
ここで、非同期用の時空間レイアウト情報テーブルが読み出されている場合［図９（Ａ）参照］の時空間レイアウト情報テーブル及びセグメント情報テーブルの所定の項目値の設定について、図１３のフローチャートを参照しながら説明する。
【００８１】
まず、ステップＢ１０で、入力複合メディアコンテンツを構成するメディアデータのうち、出力複合メディアコンテンツに含ませるメディアのセグメント（又はその一部）が選択されると（つまり、選択指令が入力されると）、時空間レイアウト情報テーブル作成部１６が、選択されたセグメントのセグメントＩＤを、時空間レイアウト情報テーブルの「セグメント」の項目値として設定するとともに、選択されたセグメントのセグメントＩＤ及びメディア種別を、セグメント情報テーブルの「セグメントＩＤ」及び「メディア種別」の項目値として設定する［図９（Ａ），（Ｂ）参照］。
【００８２】
そして、時空間レイアウト情報テーブル作成部１６は、情報解析処理部１４によって作成された時空間情報テーブル［図８（Ａ）〜（Ｆ）参照）］から、選択されたセグメントの開始時刻，終了時刻，データの所在を示すアドレス情報などを読み出し、それぞれ、セグメント情報テーブルの「開始時刻」，「終了時刻」，「データの所在」の項目値として設定する。
【００８３】
ここでは、セグメントＩＤ（Ｖｓｅｇ＃１）のセグメントについて、「開始時刻」の項目値として「ｖ＃１＿ｓｔ」が設定され、「終了時刻」の項目値として「ｖ＃１＿ｅｄ」が設定され、「データの所在」の項目値として「ＵＲＬｖ１」が設定される。また、セグメントＩＤ（Ｖｓｅｇ＃ｓ）のセグメントについて、「開始時刻」の項目値として「ｖ＃ｓ＿ｓｔ」が設定され、「終了時刻」の項目値として「ｖ＃ｓ＿ｅｄ」が設定され、「データの所在」の項目値として「ＵＲＬｖｓ」が設定される。さらに、セグメントＩＤ（Ｔ ｓｅｇ＃１）のセグメントについて、「データの所在」の項目値として「ＵＲＬｔ１」が設定され、セグメントＩＤ（Ｔｓｅｇ＃ｔ）のセグメントについて、「データの所在」の項目値として「ＵＲＬｔｓ」が設定される。
【００８４】
なお、セグメントの選択は、時空間情報テーブル（図８参照）を参照して任意に行なわれるようにすれば良い。また、オペレータが入力しても良い。
次に、ステップＢ２０で、時空間レイアウト情報テーブル作成部１６は、セグメント情報テーブルの「メディア種別」の項目値として「動画像」が設定されているセグメントの「再生時間」の項目値として、「終了時刻」と「開始時刻」の差分の値が設定される。
【００８５】
ここでは、セグメントＩＤ（Ｖｓｅｇ＃１）のセグメントについて、「開始時刻」の項目値として「ｖ＃１＿ｓｔ」が設定され、「終了時刻」の項目値として「ｖ＃１＿ｅｄ」が設定されているため、「再生時間」の項目値として、「ｖ＃１＿ｅｄ−ｖ＃１＿ｓｔ」が設定される。また、セグメントＩＤ（Ｖｓｅｇ＃ｓ）のセグメントについて、「開始時刻」の項目値として「ｖ＃ｓ＿ｓｔ」が設定され、「終了時刻」の項目値として「ｖ＃ｓ＿ｅｄ」が設定されているため、「再生時間」の項目値として、「ｖ＃ｓ＿ｅｄ−ｖ＃ｓ＿ｓｔ」が設定される。
【００８６】
次いで、ステップＢ３０で、時空間レイアウト情報テーブル作成部１６は、セグメント情報テーブルの「メディア種別」の項目値として「テキスト」が設定されているセグメントの「再生時間」（テキストメディアのセグメントの再生終了時刻）の項目値として、後でテキストメディアのセグメントの表示時間が算出された場合に、算出された値が設定されることを示す表記ＤｕｒＯｆ（）を設定する。
【００８７】
ここでは、セグメントＩＤ（Ｔｓｅｇ＃１）のセグメントについて、「再生時間」の項目値として「ＤｕｒＯｆ（Ｔｓｅｇ＃１）」が設定され、セグメントＩＤ（Ｔｓｅｇ＃ｔ）のセグメントについて、「再生時間」の項目値として「ＤｕｒＯｆ（Ｔｓｅｇ＃ｔ）」が設定される。
また、時空間レイアウト情報テーブル作成部１６は、時空間レイアウト情報テーブルの「メディア種別」の項目値として「動画像」が設定されるレンダリング領域（ビデオ用レンダリング領域；ＶＲｅｇｉｏｎＩＤ１）の「再生時間」（プレゼンテーションのタイムラインにおける動画像メディアの再生時間；レンダリング領域の有効時間）の項目値として、後で設定されることを示す表記ＴＭＰを設定する。
【００８８】
なお、ＴＭＰには、動画像メディアの全てのセグメントを繰り返し再生することを考慮した時間（即ち、動画像メディアの再生終了時刻）が後で設定されることになる。
また、時空間レイアウト情報テーブル作成部１６は、時空間レイアウト情報テーブルの「メディア種別」の項目値として「テキスト」が設定されるレンダリング領域（テキスト用レンダリング領域；ＴＲｅｇｉｏｎＩＤ１）の「再生時間」（プレゼンテーションのタイムラインにおけるテキストメディアの再生時間；レンダリング領域の有効時間）の項目値として、「セグメント」の項目値として設定された全セグメント（Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｔ）の合計再生時間（効果を含めた時間；即ち、テキストの再生終了時刻）として後で算出された場合に、算出された値が設定されることを示す表記ＤｕｒＯｆ（Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｔ）を設定する。
【００８９】
このように、非同期の場合に用いられる時空間レイアウト情報テーブルは、動画像メディアのプレゼンテーションのタイムラインの再生時間のフィールドに変数ＴＭＰを設定し、「効果指示情報」に「繰返し」が設定されている点が特徴である。
一方、同期用の時空間レイアウト情報テーブルが読み出されている場合［図１０（Ａ）参照］の時空間レイアウト情報テーブル及びセグメント情報テーブルの所定の項目値の設定について、図１４のフローチャートを参照しながら説明する。
【００９０】
まず、ステップＣ１０で行なわれる処理は、上述の非同期の時空間レイアウト情報テーブルが読み出されている場合と同様である（図１３のステップＢ１０参照）。
次に、ステップＣ２０で、時空間レイアウト情報テーブル作成部１６は、セグメント情報テーブルの「メディア種別」の項目値として「動画像」が設定されているセグメントの「再生時間」（即ち、動画像メディアの再生終了時刻）の項目値として、「終了時刻」と「開始時刻」の差分の値ｘと、後で算出されるテキストメディアのセグメントの表示時間の値ｙとで大きい方の値が後で設定されることを示すＭａｘ（ｘ，ｙ）を設定する。
【００９１】
ここでは、セグメントＩＤ（Ｖｓｅｇ＃１）のセグメントについて、「再生時間」の項目値として「Ｍａｘ（ＤｕｒＯｆ（Ｔｓｅｇ＃１），（ｖ＃１＿ｅｄ−ｖ＃１＿ｓｔ））」が設定される。また、セグメントＩＤ（Ｖｓｅｇ＃ｓ）のセグメントについて、「再生時間」の項目値として、「Ｍ ａｘ（ＤｕｒＯｆ（Ｔｓｅｇ＃ｓ），（ｖ＃ｓ＿ｅｄ−ｖ＃ｓ＿ｓｔ））」が設定される。
また、時空間レイアウト情報テーブル作成部１６は、セグメント情報テーブルの「メディア種別」の項目値として「テキスト」が設定されているセグメントの「再生時間」（即ち、テキストメディアの再生終了時刻）の項目値として、同期して再生される「動画像」のセグメントの「再生時間」の項目値として設定される値と同一の値が設定されるようにＭａｘ（ｘ，ｙ）を設定する。
【００９２】
ここでは、セグメントＩＤ（Ｔｓｅｇ＃１）のセグメントについて、「再生時間」の項目値として「Ｍａｘ（ＤｕｒＯｆ（Ｔｓｅｇ＃１），（ｖ＃１＿ｅｄ−ｖ＃１＿ｓｔ））」が設定される。また、セグメントＩＤ（Ｔｓｅｇ＃ｓ）のセグメントについて、「再生時間」の項目値として、「Ｍａｘ（ＤｕｒＯｆ（Ｔｓｅｇ＃ｓ），（ｖ＃ｓ＿ｅｄ−ｖ＃ｓ＿ｓｔ））」が設定される。
また、時空間レイアウト情報テーブル作成部１６は、時空間レイアウト情報テーブルの「メディア種別」の項目値として「動画像」が設定されるレンダリング領域（ビデオ用レンダリング領域；ＶＲｅｇｉｏｎＩＤ１）の「再生時間」（プレゼンテーションのタイムラインにおける動画像メディアの再生時間；レンダリング領域の有効時間）の項目値として、「セグメント」の項目値として設定された全セグメント（Ｖｓｅｇ＃１・・・Ｖｓｅｇ＃ｓ）の合計再生時間（効果を含めた時間；即ち、テキストの再生終了時刻）として後で算出された場合に、算出された値が設定されることを示す表記ＤｕｒＯｆ（Ｖｓｅｇ＃１・・・Ｖｓｅｇ＃ｓ）を設定する。
【００９３】
また、時空間レイアウト情報テーブル作成部１６は、時空間レイアウト情報テーブルの「メディア種別」の項目値として「テキスト」が設定されるレンダリング領域（テキスト用レンダリング領域；ＴＲｅｇｉｏｎＩＤ１）の「再生時間」（プレゼンテーションのタイムラインにおけるテキストメディアの再生時間；レンダリング領域の有効時間）の項目値として、「セグメント」の項目値として設定された全セグメント（Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｓ）の合計再生時間（効果を含めた時間；即ち、テキストの再生終了時刻）として後で算出された場合に、算出された値が設定されることを示す表記ＤｕｒＯｆ（Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｓ）を設定する。
【００９４】
このように、同期の場合に用いられるセグメント情報テーブルのセグメントの再生時間の項目は、動画像データのセグメントの再生時間と、これに同期して表示されるテキストデータのセグメントの再生時間とで大きい方が設定されるようにＭａｘ（ｘ，ｙ）で記述し、動画像の「効果指示情報」に「フリーズ」を設定する点が特徴である。
【００９５】
なお、時空間レイアウト情報テーブル（時空間レイアウト情報＃２）は、レンダリング領域遷移順位情報（時空間レイアウト情報＃１）を拡張して作成される。
このようにして時空間レイアウト情報テーブルを作成した後、図６のステップＳ３０で、データ取得処理部１０が、入力複合メディアコンテンツに含まれるメディアデータから、ステップＳ２０で作成された時空間レイアウト情報テーブルを用いて、出力複合メディアコンテンツに含ませるメディアデータをセグメント毎に取得する。
【００９６】
つまり、ビデオデータ取得処理部は、入力複合メディアコンテンツに含まれるビデオデータから、時空間レイアウト情報テーブル（特にアドレス情報）を用いて、出力複合メディアコンテンツに含ませるビデオデータをセグメント毎に取得し、オーディオデータ取得処理部は、入力複合メディアコンテンツに含まれるオーディオデータから、時空間レイアウト情報テーブル（特にアドレス情報）を用いて、出力複合メディアコンテンツに含ませるオーディオデータをセグメント毎に取得し、テキストデータ取得処理部は、入力複合メディアコンテンツに含まれるテキストデータから、時空間レイアウト情報テーブル（特にアドレス情報）を用いて、出力複合メディアコンテンツに含ませるテキストデータをセグメント毎に取得する。
【００９７】
なお、入力複合メディアコンテンツに含まれるメディアデータを構成するセグメントの全部を取得するようにしても良いし、一部を取得するようにしても良い。
次に、ステップＳ４０で、テキスト表示時間算出処理部１５が、入力複合メディアコンテンツに含まれるテキストデータを変換指示情報に基づいて（即ち、時空間レイアウト情報テーブルを用いて）変換する場合に出力複合メディアコンテンツに含まれるテキストデータの表示時間を算出する。
【００９８】
まず、テキスト表示時間算出処理部１５は、テキストデータ取得処理部から入力複合メディアコンテンツに含まれるテキストデータを読み出し、テキストデータの文字数（テキスト情報）を算出する。そして、テキストデータの文字数と、変換指示情報として入力されるテキスト表示形態情報（例えばスクロール速度，表示領域の大きさ，フォントタイプ，フォントサイズ，文字間隔）とに基づいて、変換後の複合メディアコンテンツ（出力複合メディアコンテンツ）に含まれるテキストデータのセグメントの表示時間を算出する。
【００９９】
例えば、図１１に示すように、変換前の入力複合メディアコンテンツのテキスト表示領域（テキストレンダリング領域）に表示されるテキストメディアのセグメントに含まれるキャラクタの数（文字数）が２００文字で、変換後の出力複合メディアコンテンツのテキスト表示領域（テキストテロップ表示領域）２００×１０ｐｉｘｅｌ、ピッチ固定で、フォントサイズ９ｐｔ、文字間隔１ｐｔ、スクロール方向を左右としてスクロール速度４０ｐｉｘｅｌ／ｓｅｃでテキスト表示領域の右側からスクロールインして左側からスクロールアウトさせる場合、テキストメディアの表示時間は、次式により、５５秒と算出される。
｛２００×（９＋１）＋２００｝／４０＝５５ｓｅｃ
次に、ステップＳ５０で、時空間レイアウト情報テーブル作成部１６が、ステップＳ４０でテキスト表示時間算出処理部１５によって算出されたテキストデータのセグメントの表示時間を用いて、時空間レイアウト情報テーブルの未設定の項目値を設定して、出力複合メディアコンテンツのための時空間レイアウト情報テーブルを完成させる。
【０１００】
特に、本実施形態では、時空間レイアウト情報テーブル作成部１６は、テキスト表示時間算出処理部１５で算出されたテキストメディアの表示時間に基づいて時空間レイアウト情報テーブルのテキストメディアの表示時間の項目値を設定するとともに、時空間レイアウト情報テーブルのテキストメディアの表示時間の項目値に基づいて時空間レイアウト情報テーブルのテキストメディア以外のメディアの再生時間の項目値を設定する。
【０１０１】
このようにして作成された時空間レイアウト情報テーブルは時空間レイアウト情報管理部１７に記憶されて管理されることになる。
以下、（１）出力プレゼンテーション形態として「方法１」（非同期）が指示されている場合と、（２）出力プレゼンテーション形態として「方法２」（同期）が指示されている場合とに分けて、具体的に説明する。
（１）出力プレゼンテーション形態として「方法１」（非同期）が指示されている場合
時空間レイアウト情報テーブル作成部１６は、ステップＳ４０でテキスト表示時間算出処理部１５によって算出されたテキストメディアのセグメントの表示時間（テキストメディアの表示時間）を、セグメント情報テーブルのテキストメディアのセグメントの再生時間［ＤｕｒＯｆ（Ｔｓｅｇ＃１）・・・ＤｕｒＯｆ（Ｔｓｅｇ＃ｔ）；ＤｕｒＯｆ（ＴＳｅｇ＃ｎ）］に設定する［図９（Ｂ）参照］。
【０１０２】
また、時空間レイアウト情報テーブル作成部１６は、ステップＳ４０でテキスト表示時間算出処理部１５によって算出されたテキストメディアの各セグメントの表示時間を用いて、全セグメントの合計表示時間を算出し、算出された合計表示時間（テキストメディアの表示時間）を時空間レイアウト情報テーブルのテキストメディアの再生時間ＤｕｒＯｆ（Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｔ）に設定する［図９（Ａ）参照］。
【０１０３】
また、時空間レイアウト情報テーブル作成部１６は、時空間レイアウト情報テーブルに設定されたテキストメディアの表示時間（即ち、テキストメディアの各セグメントの表示時間又は全テキストメディアの合計表示時間）に基づいて、出力複合メディアコンテンツに含まれるテキストメディア以外のメディアの再生時間を設定する（この機能を再生時間設定処理部という）。
【０１０４】
このため、時空間レイアウト情報テーブル作成部１６は、出力複合メディアコンテンツに含まれるテキストメディア以外のメディア（ここではビデオメディア）のセグメントの再生時間を設定する機能（セグメント再生時間設定部），セグメント再生時間設定部で設定されたテキストメディア以外のメディアの各セグメントの再生時間に基づいてテキストメディア以外のメディアの全セグメント（これらが繰り返しの基本単位となる）の合計再生時間を算出する機能（合計再生時間算出部），テキスト表示時間算出処理部１５で算出されたテキストメディアの表示時間及びテキストメディア以外のメディアの全セグメントの合計再生時間に基づいて、テキストメディア以外のメディアの繰返再生回数を設定する機能（繰返再生回数設定処理部）を含むものとして構成すれば良い。
【０１０５】
本実施形態では、以下に示すように、時空間レイアウト情報テーブルの動画像メディアの再生時間ＴＭＰを設定することで、例えば図３（Ｃ）に示すように、出力複合メディアコンテンツに含まれるテキストメディアのセグメントと、テキストメディア以外の他のメディア（ここではビデオメディア）のセグメントとが非同期に表示されるようにしている。
▲１▼「方法１−１」が指示されている場合
時空間レイアウト情報テーブル作成部１６は、時空間レイアウト情報テーブルのテキストメディアの再生時間ＤｕｒＯｆ（Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｔ）に設定した値と同一の値を、時空間レイアウト情報テーブルの動画像メディアの再生時間ＴＭＰに設定する［図９（Ａ）参照］。つまり、時空間レイアウト情報テーブル作成部（再生時間設定処理部）１６は、時空間レイアウト情報テーブルのテキストメディアの表示時間の項目値と一致するように時空間レイアウト情報テーブルの動画像メディアの再生時間の項目値を設定する。
【０１０６】
この場合、時空間レイアウト情報テーブルのテキストメディア以外の他のメディア（ここではビデオメディア）の「効果指示情報」は「繰返し」になっているため［図９（Ａ）参照］、他のメディア（ここではビデオメディア）を構成する全セグメントが繰り返し再生されることになる。しかし、時空間レイアウト情報テーブル作成部（再生時間設定処理部）１６によって設定されるテキストメディア以外の他のメディアの再生時間（レンダリング領域の有効時間）は、テキストメディアの表示時間（レンダリング領域の有効時間）と同じになっているため、テキストメディアの表示終了時に他のメディア（ここではビデオメディア）の表示も終了することになる。
【０１０７】
なお、「方法１−２」のように繰返再生回数をｎ回と設定しても良い。この場合、時空間レイアウト情報テーブル作成部１６が、ｎ回の繰返再生終了後にテキストメディア以外のメディアのレンダリング領域がフリーズされるように、時空間レイアウト情報テーブルのテキストメディア以外のメディアの「効果指示情報」に「フリーズ」を追加して設定すれば良い。このように「効果指示情報」に「フリーズ」を設定すると、例えばビデオメディアの場合、ビデオメディアの最終フレームの静止画像がテキストメディアの表示終了時刻まで表示されることになる。
▲２▼「方法１−２」が指示されている場合
時空間レイアウト情報テーブル作成部（再生時間設定処理部）１６は、時空間レイアウト情報テーブルのテキストメディアの再生時間ＤｕｒＯｆ（Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｔ）に設定した値を、セグメント情報テーブルに設定されているビデオメディアの最初のセグメントの終了時刻ｖ＃ｓ＿ｅｄからビデオメディアの最後のセグメントの開始時刻ｖ＃１＿ｓｔを引いた値（ｖ＃ｓ＿ｅｄ−ｖ＃１＿ｓｔ）で割算した場合［ＤｕｒＯｆ（Ｔｓｅｇ＃１・・・Ｔ ｓｅｇ＃ｔ）／（ｖ＃ｓ＿ｅｄ−ｖ＃１＿ｓｔ）］の整数値ｎを求め、時空間レイアウト情報テーブルの動画像メディアの再生時間ＴＭＰに、式（ｖ＃ｓ＿ｅｄ−ｖ＃１＿ｓｔ）×ｎによって算出される値を設定する［図９（Ａ）参照］。
【０１０８】
この場合、上述の繰返再生回数設定処理部を、テキストメディア以外のメディア（ここではビデオメディア）の繰返再生回数をｎ（ｎ：整数）回とする場合に、テキストメディア以外のメディアの再生時間がテキストメディアの表示時間よりも短くなり、かつ、テキストメディア以外のメディアの繰返再生回数をｎ＋１回とする場合に、テキストメディア以外のメディアの再生時間がテキストメディアの表示時間よりも長くなるという条件を満たすｎを繰返再生回数として設定するように構成すれば良い。
【０１０９】
ここでは、時空間レイアウト情報テーブルのテキストメディア以外の他のメディア（ここではビデオメディア）の「効果指示情報」は「繰返し」になっているおり［図９（Ａ）参照］、繰返再生回数設定処理部によって繰返再生回数がｎ回と設定され、時空間レイアウト情報テーブル作成部（再生時間設定処理部）１６によって設定されるテキストメディア以外の他のメディアの再生時間（レンダリング領域の有効時間）として（ｖ＃ｓ＿ｅｄ−ｖ＃１＿ｓｔ）×ｎによって算出される値が設定される。
【０１１０】
このため、テキストメディアの表示時間（レンダリング領域の有効時間）よりも短くなり、テキストメディア以外の他のメディア（ここではビデオメディア）を構成する全セグメントがｎ回だけ繰り返し再生されて、他のメディア（ここではビデオメディア）の再生時間（レンダリング領域の有効時間；（ｖ＃ｓ＿ｅｄ−ｖ＃１＿ｓｔ）×ｎ；繰返再生時間）の終了時に、他のメディア（ここではビデオメディア）の表示領域（レンダリング領域）を消去することになる。なお、テキストメディアの表示領域（レンダリング領域）はこれよりも後に消去される。
▲３▼「方法１−３」が指示されている場合
時空間レイアウト情報テーブル作成部１６は、「方法１−２」の場合と同様にして［ＤｕｒＯｆ（Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｔ）／（ｖ＃ｓ＿ｅｄ−ｖ＃１＿ｓｔ）］の整数値ｎを求め、時空間レイアウト情報テーブルの動画像メディアの再生時間ＴＭＰに、式（ｖ＃ｓ＿ｅｄ−ｖ＃１＿ｓｔ）×（ｎ＋１）によって算出される値を設定する［図９（Ａ）参照］。
【０１１１】
この場合、上述の繰返再生回数設定処理部を、繰返再生回数設定処理部を、テキストメディア以外のメディアの繰返再生回数をｎ（ｎ：整数）回とする場合に、テキストメディア以外のメディアの再生時間がテキストメディアの表示時間よりも短くなり、かつ、テキストメディア以外のメディアの繰返再生回数をｎ＋１回とする場合に、テキストメディア以外のメディアの再生時間がテキストメディアの表示時間よりも長くなるという条件を満たすｎ＋１を繰返再生回数として設定するように構成しても良い。
【０１１２】
ここでは、時空間レイアウト情報テーブルのテキストメディア以外の他のメディア（ここではビデオメディア）の「効果指示情報」は「繰返し」になっているおり［図９（Ａ）参照］、繰返再生回数設定処理部によって繰返再生回数がｎ＋１回と設定され、時空間レイアウト情報テーブル作成部（再生時間設定処理部）１６によって設定されるテキストメディア以外の他のメディアの再生時間（レンダリング領域の有効時間）として（ｖ＃ｓ＿ｅｄ−ｖ＃１＿ｓｔ）×（ｎ＋１）によって算出される値が設定される。
【０１１３】
このため、テキストメディアの表示時間（レンダリング領域の有効時間）よりも長くなり、テキストメディア以外の他のメディア（ここではビデオメディア）を構成する全セグメントがｎ＋１回だけ繰り返し再生されて、他のメディア（ここではビデオメディア）の再生時間（レンダリング領域の有効時間；（ｖ＃ｓ＿ｅｄ−ｖ＃１＿ｓｔ）×（ｎ＋１）；繰返再生時間）の終了時に、他のメディア（ここではビデオメディア）の表示領域（レンダリング領域）を消去することになる。なお、テキストメディアの表示領域（レンダリング領域）はこれよりも前に消去される。
（２）出力プレゼンテーション形態として「方法２」（同期）が指示されている場合
時空間レイアウト情報テーブル作成部１６は、ステップＳ４０でテキスト表示時間算出処理部１５によって算出され、時空間レイアウト情報テーブルのテキストメディアのセグメントの表示時間の項目値として設定されるＤｕｒＯｆ（Ｔｓｅｇ＃１）・・・ＤｕｒＯｆ（Ｔｓｅｇ＃ｔ）と、これに関連するビデオメディアのセグメントの再生時間［セグメント情報テーブルに設定されているビデオメディアのセグメントの終了時刻ｖ＃１＿ｅｄ・・・ｖ＃ｓ＿ｅｄからビデオメディアのセグメントの開始時刻ｖ＃１＿ｓｔ・・・ｖ＃ｓ＿ｓｔを引いた値（ｖ＃１＿ｅｄ−ｖ＃１＿ｓｔ）・・・（ｖ＃ｓ＿ｅｄ−ｖ＃ｓ＿ｓｔ）］とを比較して大きい方の値を、セグメント情報テーブルのテキストメディア及びビデオメディアのセグメントの再生時間Ｍａｘ（ｘ，ｙ）に設定する［図１０（Ｂ）参照］。
【０１１４】
つまり、時空間レイアウト情報テーブル作成部１６は、セグメント情報テーブルのテキストメディアのセグメントの再生時間Ｍａｘ（ｘ，ｙ）と、セグメント情報テーブルのビデオメディアのセグメントの再生時間Ｍａｘ（ｘ，ｙ）とに同一の値を設定する。
ここでは、時空間レイアウト情報テーブル作成部１６は、セグメント情報テーブルのテキストメディアのセグメントの表示時間（テキストメディアの表示時間）の項目値と一致するようにセグメント情報テーブルのテキストメディア以外のメディアのセグメントの再生時間（ビデオメディアの再生時間）の項目値を設定することで、テキストメディアのセグメントと、ビデオメディアのセグメントとが同期して再生されるようにしている。
【０１１５】
これにより、例えば図３（Ｄ）に示すように、出力複合メディアコンテンツに含まれるテキストメディアのセグメントＴｓｅｇ（１１），Ｔｓｅｇ（１２）と、テキストメディア以外の他のメディア（ここではビデオメディア）のセグメントＶｓｅ ｇ（１１）′，Ｖｓｅｇ（ｍ１）′とが同期して表示されることになる。
ここでは、変換指示情報に基づいて、入力複合メディアコンテンツに含まれるテキストメディア以外のメディア（ここではビデオメディア）を変換したときの出力複合メディアコンテンツに含まれるテキストメディア以外のメディア（ここではビデオメディア）のセグメントの再生時間が、出力複合メディアコンテンツに含まれるテキストメディアのセグメントの表示時間よりも短くなるため、図３（Ｄ）に示すように、セグメント情報テーブルの「効果指示情報」の項目値として設定されている「フリーズ」にしたがって、他のメディア（ここではビデオメディア）の各セグメントの終了時に再生がフリーズされることになる。
【０１１６】
なお、セグメント情報テーブルのテキストメディアのセグメントの再生時間Ｍａｘ（ｘ，ｙ）と、セグメント情報テーブルのビデオメディアのセグメントの再生時間Ｍａｘ（ｘ，ｙ）とに同一の値を設定することは、出力複合メディアコンテンツに含まれるテキストメディアのセグメントの再生開始時刻と一致するように、出力複合メディアコンテンツに含まれるテキストメディア以外のメディアのセグメントの再生開始時刻を設定することを意味する。
【０１１７】
この場合、時空間レイアウト情報テーブル作成部１６は、出力複合メディアコンテンツに含まれるテキストメディアのセグメントの再生開始時刻に基づいて、出力複合メディアコンテンツに含まれるテキストメディア以外のメディアのセグメントの再生開始時刻を設定する機能（再生開始時刻設定処理部）を含むものとして構成されることになる。
【０１１８】
また、時空間レイアウト情報テーブル作成部１６は、上述のようにしてセグメント情報テンプレートのテキストメディアのセグメントの再生時間として設定された値（テキストメディアのセグメントの表示時間と、これに同期するビデオメディアのセグメントの再生時間とを比較して大きい方の値；Ｍａｘ（ｘ，ｙ））の全てを足算してテキストメディアのセグメントの合計表示時間を算出し、算出された合計表示時間を、時空間レイアウト情報テンプレートのテキストデータの再生時間ＤｕｒＯｆ（Ｔｓｅｇ＃１・・・Ｔｓｅｇ＃ｓ）に設定する［図１０（Ａ）参照］。
【０１１９】
また、上述のようにしてセグメント情報テンプレートのビデオメディアのセグメントの再生時間として設定された値（テキストメディアのセグメントの表示時間と、これに同期するビデオメディアのセグメントの再生時間とを比較して大きい方の値；Ｍａｘ（ｘ，ｙ））の全てを足算してビデオメディアの全セグメントの合計表示時間を算出し、算出された合計表示時間を、時空間レイアウト情報テンプレートのビデオメディアの再生時間ＤｕｒＯｆ（Ｖｓｅｇ＃１・・・Ｖｓｅｇ＃ｓ）に設定する［図１０（Ａ）参照］。
【０１２０】
この場合、時空間レイアウト情報テンプレートのテキストメディアの再生時間と、ビデオメディアの再生時間とは、同一になる。
なお、ここでは、テキストメディアの表示時間やビデオメディアの再生時間について説明しているが、他のメディアの表示時間（再生時間）についても同様に行なえば良い。
【０１２１】
次に、ステップＳ６０で、コンテンツ変換処理部１２が、データ取得処理部１０からメディアデータを取り込んで変換（メディア変換）処理を行なう。
つまり、テキストデータ変換処理部は、例えば、テキストデータ取得処理部からテキストデータを取り込み、上述のステップＳ５０で作成され、時空間レイアウト情報管理部１７で管理される時空間レイアウト情報テーブルや変換指示情報に基づいて変換（テキスト変換）して、出力複合メディアコンテンツを構成するテキストメディアを作成する（ここではテキストテロップデータを生成する）。
【０１２２】
このため、テキストデータ変換処理部は、変換指示情報によって指定された符号化方式（例えば３ＧＰＰ Ｔｉｍｅｄ Ｔｅｘｔ形式）のテキストテロップデータを生成するテロップ生成器（例えば３ＧＰＰ Ｔｉｍｅｄ Ｔｅｘｔ形式のテロップ生成器）を含むものとして構成される。
ビデオデータ変換処理部（動画像変換処理部）は、例えば、ビデオデータ取得処理部からビデオデータを取り込み、入力データの符号化方式の復号化器を用いて一旦原画像に変換した後、上述のステップＳ５０で作成され、時空間レイアウト情報管理部１７で管理される時空間レイアウト情報テーブルや変換指示情報に基づいて変換（再符号化条件で動画像変換）して、出力複合メディアコンテンツを構成するビデオメディアを作成する。
【０１２３】
このため、ビデオデータ変換処理部は、原画像データを変換指示情報によって指定された符号化方式（例えばＭＰＥＧ−４ Ｖｉｄｅｏ ＳＰ＠Ｌ０）の動画像データに変換する動画像変換器（例えばＭＰＥＧ−４ Ｖｉｄｅｏ ＳＰ＠Ｌ０の符号化器）を含むものとして構成される。
オーディオデータ変換処理部は、例えば、オーディオデータ取得処理部からオーディオデータを取り込み、入力データの符号化方式の復号化器を用いて一旦原オーディオデータに変換した後、上述のステップＳ５０で作成され、時空間レイアウト情報管理部１７で管理される時空間レイアウト情報テーブルや変換指示情報に基づいて変換（再符号化条件でオーディオ変換）して、出力複合メディアコンテンツを構成するオーディオデータを作成する。
【０１２４】
このため、オーディオデータ変換処理部は、原オーディオデータを変換指示情報によって指定された符号化方式（例えば、ＧＳＭ−ＡＭＲ）のオーディオデータに変換する変換器（例えばＧＳＭ−ＡＭＲの符号化器）を含むものとして構成される。
次に、ステップＳ７０で、ファイル生成処理部１３が、上述のステップＳ５０で作成され、時空間レイアウト情報管理部１７で管理される時空間レイアウト情報テーブル（具体的にはこれに関連づけられている変換指示情報）に基づいて指定されたファイルフォーマット形式で出力複合メディアコンテンツを生成する。
【０１２５】
このため、ファイル生成処理部１３は、例えば３ＧＰＰ ＴＳ ２６．２３４． Ｖ．５．１０形式のファイル化器を有するものとして構成される。
したがって、本実施形態にかかる複合メディアコンテンツの変換装置及び変換方法によれば、例えばＰＣ向けの複合メディアコンテンツを、例えば携帯端末向けの複合メディアコンテンツに変換する場合に、意味的情報を含むテキストメディアの内容を損なわずに、テキストメディアが確実に表示され、また、可読性が確保されるように自動的に変換できるようになるという利点がある。これにより、人手の掛かっていたコンテンツ作成作業の負荷を大幅に軽減することができるようになる。
【０１２６】
特に、例えば複合メディアコンテンツ変換プログラムを、例えば携帯電話のような携帯端末に搭載し、その制御部で動作させることで、ＰＣ向けの複合メディアコンテンツをダウンロードしながら携帯端末向けの複合メディアコンテンツに変換する場合であって、時空間レイアウト情報に含まれる「効果指示情報」に「繰返し」が設定されている場合、他のメディア（ここではビデオメディア）を繰り返し再生する際には、繰り返しの基本単位となるセグメントは既に携帯端末のメモリにダウンロードされているため、これを用いて繰り返し再生を行なうことができる。この場合、繰り返し再生を行なうにあたって新たにデータをダウンロードする必要がないため、時間がかかることがなく、また通信コストがかかることもないため好ましい。
【０１２７】
なお、上述の実施形態では、複合メディアコンテンツのデータ容量をできるだけ少なくするには、テキストメディア以外のビデオメディア，オーディオメディアなどの他のメディアのデータ容量をできるだけ少なくするのが効果的であるため、ビデオメディア（テキストメディア以外のメディア）の各セグメントの再生時間が、対応するテキストメディアの各セグメントの再生時間よりも短くなるように変換しているが、これに限られるものではない。
【０１２８】
つまり、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換することができるのであれば、ビデオメディア（テキストメディア以外のメディア）の各セグメントの再生時間が、対応するテキストメディアの各セグメントの再生時間よりも長くなっても良い。また、非同期的変換方法の場合には、テキストメディアの表示時間（レンダリング領域の有効時間）よりも他のメディアの表示時間（レンダリング領域の有効時間）が長くなっても良い。
【０１２９】
このため、テキストメディアの表示時間と、テキストメディア以外のメディア（ここではビデオメディア）の再生時間とを比較し、テキストメディア以外のメディアの再生時間がテキストメディアの表示時間よりも長い場合には、他のメディアの終了時に適用していた効果指示情報をテキストメディアの効果指示情報として適用すれば良い。
【０１３０】
ところで、上述の実施形態では、複合メディアコンテンツの変換装置として説明したが、このような複合メディアコンテンツの変換装置を実現するためのプログラム（複合メディアコンテンツ変換プログラム）は、コンピュータ読取可能な記録媒体に格納することができ、記録媒体に格納した状態で頒布し、市場を流通させ、また売買することができる。
【０１３１】
そして、このような記録媒体に格納されている複合メディアコンテンツ変換プログラムをコンピュータ（例えばパソコンや携帯端末）にインストールし、コンピュータ（例えばパソコンや携帯端末）がこのプログラムを実行することで、上述の実施形態で説明した複合メディアコンテンツの変換装置を実現することができるため、記録媒体に格納されている複合メディアコンテンツ変換プログラムによって上述した複合メディアコンテンツの変換装置によって得られる効果と同様の効果が得られることになる。
【０１３２】
ここで、記録媒体には、例えば半導体メモリなどのメモリ，磁気ディスク，光ディスク（例えばＣＤ−ＲＯＭ等），光磁気ディスク（ＭＯ），磁気テープ，ハードディスク，フレキシブルディスク，ＩＣカード，ＲＯＭカートリッジ，パンチカード，コンピュータ内部の記憶装置（ＲＡＭやＲＯＭなどのメモリ），外部記憶装置等のプログラムを記録することができるものが含まれる。また、バーコードなどの符号が印刷された印刷物等のコンピュータ読取可能な種々の媒体を利用することもできる。なお、ＣＤ−ＲＯＭ，ＭＯ，磁気テープ，ＩＣカード等を可搬型記録媒体ともいう。
【０１３３】
なお、ここでは、複合メディアコンテンツ変換プログラムをコンピュータ読取可能な記録媒体に格納しているが、記録媒体に格納しなくても良い。また、複合メディアコンテンツ変換プログラムは、上述のような記録媒体に格納せずに、例えば伝送媒体としてのネットワーク（通信ネットワーク）を介して伝送（送受信）することもでき、これにより複合メディアコンテンツ変換プログラムを頒布し、市場を流通させ、また売買することもできる。例えば、複合メディアコンテンツ変換プログラムをウェブサーバ等にアップロードしたり、インターネット等のネットワークを経由して例えばウェブサーバ等からダウンロードしたりすることもできる。
【０１３４】
なお、本発明は、上述した実施形態に限定されず、上記以外にも、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
（付記１） テキストメディア，テキストメディア以外のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する複合メディアコンテンツの変換装置であって、変換指示情報に基づいて出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出するテキスト表示時間算出処理部と、変換指示情報に基づいて出力複合メディアコンテンツの時空間レイアウト情報を設定する時空間レイアウト情報設定処理部と、時空間レイアウト情報に基づいて、入力複合メディアコンテンツを出力複合メディアコンテンツに変換するコンテンツ変換処理部とを備え、時空間レイアウト情報設定処理部が、テキスト表示時間算出処理部で算出されたテキストメディアの表示時間に基づいて時空間レイアウト情報に含まれるテキストメディアの表示時間を設定するとともに、時空間レイアウト情報として設定された前記テキストメディアの表示時間に基づいて時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間を設定することを特徴とする、複合メディアコンテンツの変換装置。
【０１３５】
（付記２） 前記テキスト表示時間算出処理部が、前記入力複合メディアコンテンツから得られるテキスト情報と、前記変換指示情報として入力されるテキスト表示形態情報とに基づいて、前記出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出することを特徴とする、付記１記載の複合メディアコンテンツの変換装置。
【０１３６】
（付記３） 時空間レイアウト情報設定処理部が、前記時空間レイアウト情報として設定された前記テキストメディアの表示時間と一致するように前記時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間を設定することを特徴とする、付記１又は２記載の複合メディアコンテンツの変換装置。
【０１３７】
（付記４） 前記出力複合メディアコンテンツに含まれる前記テキストメディア以外のメディアのセグメントの再生時間を設定するセグメント再生時間設定部と、
前記セグメント再生時間設定部で設定された前記テキストメディア以外のメディアの各セグメントの再生時間に基づいて前記テキストメディア以外のメディアの全セグメントの合計再生時間を算出する合計再生時間算出部と、
前記テキスト表示時間算出処理部で算出された前記テキストメディアの表示時間及び前記テキストメディア以外のメディアの全セグメントの合計再生時間に基づいて、前記テキストメディア以外のメディアの繰返再生回数を設定する繰返再生回数設定処理部とを含み、
前記コンテンツ変換処理部が、前記繰返再生回数設定処理部で設定された繰返再生回数に基づいて前記入力複合メディアコンテンツに含まれるテキストメディア以外のメディアを変換することを特徴とする、付記１〜３のいずれか１項に記載の複合メディアコンテンツの変換装置。
【０１３８】
（付記５） 前記繰返再生回数設定処理部が、前記テキストメディア以外のメディアの繰返再生回数をｎ（ｎ：整数）回とする場合に、前記テキストメディア以外のメディアの再生時間が前記テキストメディアの表示時間よりも短くなり、かつ、前記テキストメディア以外のメディアの繰返再生回数をｎ＋１回とする場合に、前記テキストメディア以外のメディアの再生時間が前記テキストメディアの表示時間よりも長くなるという条件を満たすｎを繰返再生回数として設定することを特徴とする、付記４記載の複合メディアコンテンツの変換装置。
【０１３９】
（付記６） 前記時空間レイアウト情報設定処理部が、ｎ回の繰返再生終了後に、前記テキストメディア以外のメディアが前記テキストメディアの表示終了時刻までフリーズされるように設定することを特徴とする、請求項５記載の複合メディアコンテンツの変換装置。
（付記７） 前記繰返再生回数設定処理部が、前記テキストメディア以外のメディアの繰返再生回数をｎ（ｎ：整数）回とする場合に、前記テキストメディア以外のメディアの再生時間が前記テキストメディアの表示時間よりも短くなり、かつ、前記テキストメディア以外のメディアの繰返再生回数をｎ＋１回とする場合に、前記テキストメディア以外のメディアの再生時間が前記テキストメディアの表示時間よりも長くなるという条件を満たすｎ＋１を繰返再生回数として設定することを特徴とする、請求項４記載の複合メディアコンテンツの変換装置。
【０１４０】
（付記８） テキストメディア，前記テキストメディア以外のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する複合メディアコンテンツの変換方法であって、
変換指示情報に基づいて前記出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出するテキスト表示時間算出処理ステップと、
前記変換指示情報に基づいて前記出力複合メディアコンテンツの時空間レイアウト情報を設定する時空間レイアウト情報設定処理ステップと、
前記時空間レイアウト情報に基づいて、前記入力複合メディアコンテンツを前記出力複合メディアコンテンツに変換するコンテンツ変換処理ステップとを備え、
前記時空間レイアウト情報設定処理ステップにおいて、前記テキスト表示時間算出処理ステップで算出された前記テキストメディアの表示時間に基づいて前記時空間レイアウト情報に含まれるテキストメディアの表示時間が設定されるとともに、前記時空間レイアウト情報として設定された前記テキストメディアの表示時間に基づいて前記時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間が設定されることを特徴とする、複合メディアコンテンツの変換方法。
【０１４１】
（付記９） 前記テキスト表示時間算出処理ステップにおいて、前記入力複合メディアコンテンツから得られるテキスト情報と、前記変換指示情報として入力されるテキスト表示形態情報とに基づいて、前記出力複合メディアコンテンツに含まれるテキストメディアの表示時間が算出されることを特徴とする、付記８記載の複合メディアコンテンツの変換方法。
【０１４２】
（付記１０） 前記時空間レイアウト情報作成処理ステップにおいて、前記時空間レイアウト情報として設定された前記テキストメディアの表示時間と一致するように前記時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間を設定することを特徴とする、付記８又は９記載の複合メディアコンテンツの変換方法。
【０１４３】
（付記１１） 前記出力複合メディアコンテンツに含まれる前記テキストメディア以外のメディアのセグメントの再生時間を設定するセグメント再生時間設定ステップと、
前記セグメント再生時間設定ステップで設定された前記テキストメディア以外のメディアの各セグメントの再生時間に基づいて前記テキストメディア以外のメディアの全セグメントの合計再生時間を算出する合計再生時間算出ステップと、
前記テキスト表示時間算出処理ステップで算出された前記テキストメディアの表示時間及び前記テキストメディア以外のメディアの全セグメントの合計再生時間に基づいて、前記テキストメディア以外のメディアの繰返再生回数を設定する繰返再生回数設定処理ステップとを含み、
前記コンテンツ変換処理ステップにおいて、前記繰返再生回数設定処理ステップで設定された繰返再生回数に基づいて前記入力複合メディアコンテンツに含まれるテキストメディア以外のメディアが変換されることを特徴とする、付記８〜１０のいずれか１項に記載の複合メディアコンテンツの変換方法。
【０１４４】
（付記１２） テキストメディア，前記テキストメディア以外のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する処理をコンピュータに実行させるための複合メディアコンテンツ変換プログラムであって、
前記変換処理が、
変換指示情報に基づいて前記出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出するテキスト表示時間算出処理ステップと、
前記変換指示情報に基づいて前記出力複合メディアコンテンツの時空間レイアウト情報を設定する時空間レイアウト情報設定処理ステップと、
前記時空間レイアウト情報に基づいて、前記入力複合メディアコンテンツを前記出力複合メディアコンテンツに変換するコンテンツ変換処理ステップとを含み、
前記時空間レイアウト情報設定処理ステップにおいて、前記テキスト表示時間算出処理ステップで算出された前記テキストメディアの表示時間に基づいて前記時空間レイアウト情報に含まれるテキストメディアの表示時間が設定されるとともに、前記時空間レイアウト情報として設定された前記テキストメディアの表示時間に基づいて前記時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間が設定されることを特徴とする、複合メディアコンテンツ変換プログラム。
【０１４５】
（付記１３） 前記テキスト表示時間算出処理ステップにおいて、前記入力複合メディアコンテンツから得られるテキスト情報と、前記変換指示情報として入力されるテキスト表示形態情報とに基づいて、前記出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出する処理を前記コンピュータに実行させること特徴とする、付記１２記載の複合メディアコンテンツ変換プログラム。
【０１４６】
（付記１４） 前記時空間レイアウト情報設定処理ステップにおいて、前記時空間レイアウト情報として設定されたテキストメディアの表示時間と一致するように前記時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間を設定する処理を前記コンピュータに実行させることを特徴とする、付記１２又は１３記載の複合メディアコンテンツ変換プログラム。
【０１４７】
（付記１５） 前記出力複合メディアコンテンツに含まれる前記テキストメディア以外のメディアのセグメントの再生時間を設定するセグメント再生時間設定ステップと、
前記セグメント再生時間設定ステップで設定された前記テキストメディア以外のメディアの各セグメントの再生時間に基づいて前記テキストメディア以外のメディアの全セグメントの合計再生時間を算出する合計再生時間算出ステップと、
前記テキスト表示時間算出処理ステップで算出された前記テキストメディアの表示時間及び前記テキストメディア以外のメディアの全セグメントの合計再生時間に基づいて、前記テキストメディア以外のメディアの繰返再生回数を設定する繰返再生回数設定処理ステップとを含む処理を前記コンピュータに実行させるものとして構成され、
前記コンテンツ変換処理ステップにおいて、前記繰返再生回数設定処理ステップで設定された繰返再生回数に基づいて前記入力複合メディアコンテンツに含まれるテキストメディア以外のメディアを変換する処理を前記コンピュータに実行させることを特徴とする、付記１２〜１４のいずれか１項に記載の複合メディアコンテンツ変換プログラム。
【０１４８】
（付記１６） テキストメディア，前記テキストメディア以外のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する処理をコンピュータに実行させるための複合メディアコンテンツ変換プログラムを格納したコンピュータ読取可能な記憶媒体であって、
前記変換処理が、
変換指示情報に基づいて前記出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出するテキスト表示時間算出処理ステップと、
前記変換指示情報に基づいて前記出力複合メディアコンテンツの時空間レイアウト情報を設定する時空間レイアウト情報設定処理ステップと、
前記時空間レイアウト情報に基づいて、前記入力複合メディアコンテンツを前記出力複合メディアコンテンツに変換するコンテンツ変換処理ステップとを含み、
前記時空間レイアウト情報設定処理ステップにおいて、前記テキスト表示時間算出処理ステップで算出された前記テキストメディアの表示時間に基づいて前記時空間レイアウト情報に含まれるテキストメディアの表示時間が設定されるとともに、前記時空間レイアウト情報として設定されたテキストメディアの表示時間に基づいて前記時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間が設定されることを特徴とする、複合メディアコンテンツ変換プログラムを格納したコンピュータ読取可能な記憶媒体。
【０１４９】
（付記１７） 前記テキスト表示時間算出処理ステップにおいて、前記入力複合メディアコンテンツから得られるテキスト情報と、前記変換指示情報として入力されるテキスト表示形態情報とに基づいて、前記出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出する処理を前記コンピュータに実行させること特徴とする、付記１６記載の複合メディアコンテンツ変換プログラムを格納したコンピュータ読取可能な記憶媒体。
【０１５０】
（付記１８） 前記時空間レイアウト情報設定処理ステップにおいて、前記時空間レイアウト情報として設定されたテキストメディアの表示時間と一致するように前記時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間を設定する処理を前記コンピュータに実行させることを特徴とする、付記１６又は１７記載の複合メディアコンテンツ変換プログラムを格納したコンピュータ読取可能な記憶媒体。
【０１５１】
（付記１９） 前記出力複合メディアコンテンツに含まれる前記テキストメディア以外のメディアのセグメントの再生時間を設定するセグメント再生時間設定ステップと、
前記セグメント再生時間設定ステップで設定された前記テキストメディア以外のメディアの各セグメントの再生時間に基づいて前記テキストメディア以外のメディアの全セグメントの合計再生時間を算出する合計再生時間算出ステップと、
前記テキスト表示時間算出処理ステップで算出された前記テキストメディアの表示時間及び前記テキストメディア以外のメディアの全セグメントの合計再生時間に基づいて、前記テキストメディア以外のメディアの繰返再生回数を設定する繰返再生回数設定処理ステップとを含む処理を前記コンピュータに実行させるものとして構成され、
前記コンテンツ変換処理ステップにおいて、前記繰返再生回数設定処理ステップで設定された繰返再生回数に基づいて前記入力複合メディアコンテンツに含まれるテキストメディア以外のメディアを変換する処理を前記コンピュータに実行させることを特徴とする、付記１６〜１８のいずれか１項に記載の複合メディアコンテンツ変換プログラムを格納したコンピュータ読取可能な記憶媒体。
【０１５２】
（付記２０） テキストメディア，テキストメディア以外のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、変換指示情報に基づいて、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する処理を実行する制御部と、
時空間レイアウト情報テーブルを記憶する記憶部とを備え、
前記制御部が、前記変換指示情報に基づいて、前記入力複合メディアコンテンツから所定のテキストメディアに関する情報を取得し、前記記憶部から前記時空間レイアウト情報テーブルを読み出して、所定のテキストメディアに関する情報を設定して前記時空間レイアウト情報テーブルの仮作成を行なうステップと、
前記時空間レイアウト情報テーブルに設定された所定のテキストメディアに関する情報を用いて、前記入力複合メディアコンテンツから所定のテキストメディアのデータを取得するステップと、
所定のテキストメディアのデータに基づいて前記出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出し、算出されたテキストメディアの表示時間に基づいて前記時空間レイアウト情報テーブルにテキストメディアの表示時間を設定するとともに、前記時空間レイアウト情報テーブルに設定されたテキストメディアの表示時間に基づいて前記出力複合メディアコンテンツに含まれるテキストメディア以外のメディアの再生時間を前記時空間レイアウト情報テーブルに設定して前記時空間レイアウト情報テーブルを完成させるステップと、
完成した時空間レイアウト情報テーブルに基づいて、前記入力複合メディアコンテンツを前記出力複合メディアコンテンツに変換するステップとを含む処理を実行するように構成されることを特徴とする、複合メディアコンテンツの変換装置。
【０１５３】
【発明の効果】
以上詳述したように、本発明の複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム（複合メディアコンテンツ変換プログラムを格納したコンピュータ読取可能な記憶媒体）によれば、例えばＰＣ向けの複合メディアコンテンツを、例えば携帯端末向けの複合メディアコンテンツに変換する場合に、意味的情報を含むテキストメディアの内容を損なわずに、テキストメディアが確実に表示され、また、可読性が確保されるように自動的に変換できるようになるという利点がある。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる複合メディアコンテンツの変換装置の全体構成を示す機能ブロック図である。
【図２】本発明の一実施形態にかかる複合メディアコンテンツの変換装置の概略を説明するための模式図である。
【図３】（Ａ）〜（Ｄ）は、本発明の一実施形態にかかる複合メディアコンテンツの変換装置によって変換される変換前の複合メディアコンテンツ及び変換後の複合メディアコンテンツの時間的な構成を示す図である。
【図４】本発明の一実施形態にかかる複合メディアコンテンツの変換装置によって変換される入力複合メディアコンテンツのプログラムデータの構成を示す図である。
【図５】（Ａ）〜（Ｉ）は、本発明の一実施形態にかかる複合メディアコンテンツの変換装置によって変換される入力複合メディアコンテンツの時間的な構成を示す模式図である。
【図６】本発明の一実施形態にかかる複合メディアコンテンツの変換装置によって実行される処理を示すフローチャートである。
【図７】（Ａ）〜（Ｈ）は、本発明の一実施形態にかかる複合メディアコンテンツの変換装置に入力される変換指示情報を示す図である。
【図８】（Ａ）〜（Ｆ）は、本発明の一実施形態にかかる複合メディアコンテンツの変換装置によって変換される入力複合メディアコンテンツ（図４参照）を解析して得られる時空間情報テーブルを示す図である。
【図９】（Ａ），（Ｂ）は、本発明の一実施形態にかかる複合メディアコンテンツの変換装置において非同期的変換方法によって変換する場合の時空間レイアウト情報テーブル及びセグメント情報テーブルを示す図である。
【図１０】（Ａ），（Ｂ）は、本発明の一実施形態にかかる複合メディアコンテンツの変換装置において同期的変換方法によって変換する場合の時空間レイアウト情報テーブル及びセグメント情報テーブルを示す図である。
【図１１】本発明の一実施形態にかかる複合メディアコンテンツの変換装置のテキスト表示時間算出処理部による処理を説明するための模式図である。
【図１２】本発明の一実施形態にかかる複合メディアコンテンツの変換装置によって実行される処理を示すフローチャートである。
【図１３】本発明の一実施形態にかかる複合メディアコンテンツの変換装置によって実行される処理を示すフローチャートである。
【図１４】本発明の一実施形態にかかる複合メディアコンテンツの変換装置によって実行される処理を示すフローチャートである。
【図１５】一般的な方法によって複合メディアコンテンツを変換する場合の課題を説明するための図である。
【符号の説明】
１０ データ取得処理部
１１ 時空間レイアウト情報設定処理部
１２ コンテンツ変換処理部
１３ ファイル生成処理部
１４ 情報解析処理部
１５ テキスト表示時間算出処理部
１６ 時空間レイアウト情報テーブル作成部
１７ 時空間レイアウト情報管理部

Claims (10)

1. テキストメディア，前記テキストメディア以外のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する複合メディアコンテンツの変換装置であって、
   変換指示情報に基づいて前記出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出するテキスト表示時間算出処理部と、
   前記変換指示情報に基づいて前記出力複合メディアコンテンツの時空間レイアウト情報を設定する時空間レイアウト情報設定処理部と、
   前記時空間レイアウト情報に基づいて、前記入力複合メディアコンテンツを前記出力複合メディアコンテンツに変換するコンテンツ変換処理部とを備え、
   前記時空間レイアウト情報設定処理部が、前記テキスト表示時間算出処理部で算出された前記テキストメディアの表示時間に基づいて前記時空間レイアウト情報に含まれるテキストメディアの表示時間を設定するとともに、前記時空間レイアウト情報として設定された前記テキストメディアの表示時間に基づいて前記時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間を設定することを特徴とする、複合メディアコンテンツの変換装置。
2. 前記テキスト表示時間算出処理部が、前記入力複合メディアコンテンツから得られるテキスト情報と、前記変換指示情報として入力されるテキスト表示形態情報とに基づいて、前記出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出することを特徴とする、請求項１記載の複合メディアコンテンツの変換装置。
3. 前記時空間レイアウト情報設定処理部が、前記時空間レイアウト情報として設定された前記テキストメディアの表示時間と一致するように前記時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間を設定することを特徴とする、請求項１又は２記載の複合メディアコンテンツの変換装置。
4. 前記出力複合メディアコンテンツに含まれる前記テキストメディア以外のメディアのセグメントの再生時間を設定するセグメント再生時間設定部と、
   前記セグメント再生時間設定部で設定された前記テキストメディア以外のメディアの各セグメントの再生時間に基づいて前記テキストメディア以外のメディアの全セグメントの合計再生時間を算出する合計再生時間算出部と、
   前記テキスト表示時間算出処理部で算出された前記テキストメディアの表示時間及び前記テキストメディア以外のメディアの全セグメントの合計再生時間に基づいて、前記テキストメディア以外のメディアの繰返再生回数を設定する繰返再生回数設定処理部とを含み、
   前記コンテンツ変換処理部が、前記繰返再生回数設定処理部で設定された繰返再生回数に基づいて前記入力複合メディアコンテンツに含まれるテキストメディア以外のメディアを変換することを特徴とする、請求項１〜３のいずれか１項に記載の複合メディアコンテンツの変換装置。
5. 前記繰返再生回数設定処理部が、前記テキストメディア以外のメディアの繰返再生回数をｎ（ｎ：整数）回とする場合に、前記テキストメディア以外のメディアの再生時間が前記テキストメディアの表示時間よりも短くなり、かつ、前記テキストメディア以外のメディアの繰返再生回数をｎ＋１回とする場合に、前記テキストメディア以外のメディアの再生時間が前記テキストメディアの表示時間よりも長くなるという条件を満たすｎを繰返再生回数として設定することを特徴とする、請求項４記載の複合メディアコンテンツの変換装置。
6. 前記時空間レイアウト情報設定処理部が、ｎ回の繰返再生終了後に、前記テキストメディア以外のメディアが前記テキストメディアの表示終了時刻までフリーズされるように設定することを特徴とする、請求項５記載の複合メディアコンテンツの変換装置。
7. 前記繰返再生回数設定処理部が、前記テキストメディア以外のメディアの繰返再生回数をｎ（ｎ：整数）回とする場合に、前記テキストメディア以外のメディアの再生時間が前記テキストメディアの表示時間よりも短くなり、かつ、前記テキストメディア以外のメディアの繰返再生回数をｎ＋１回とする場合に、前記テキストメディア以外のメディアの再生時間が前記テキストメディアの表示時間よりも長くなるという条件を満たすｎ＋１を繰返再生回数として設定することを特徴とする、請求項４記載の複合メディアコンテンツの変換装置。
8. テキストメディア，前記テキストメディア以外のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する複合メディアコンテンツの変換方法であって、
   変換指示情報に基づいて前記出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出するテキスト表示時間算出処理ステップと、
   前記変換指示情報に基づいて前記出力複合メディアコンテンツの時空間レイアウト情報を設定する時空間レイアウト情報設定処理ステップと、
   前記時空間レイアウト情報に基づいて、前記入力複合メディアコンテンツを前記出力複合メディアコンテンツに変換するコンテンツ変換処理ステップとを備え、
   前記時空間レイアウト情報設定処理ステップにおいて、前記テキスト表示時間算出処理ステップで算出された前記テキストメディアの表示時間に基づいて前記時空間レイアウト情報に含まれるテキストメディアの表示時間が設定されるとともに、前記時空間レイアウト情報として設定されたテキストメディアの表示時間に基づいて前記時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間が設定されることを特徴とする、複合メディアコンテンツの変換方法。
9. テキストメディア，前記テキストメディア以外のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する処理をコンピュータに実行させるための複合メディアコンテンツ変換プログラムであって、
   前記変換処理が、
   変換指示情報に基づいて前記出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出するテキスト表示時間算出処理ステップと、
   前記変換指示情報に基づいて前記出力複合メディアコンテンツの時空間レイアウト情報を設定する時空間レイアウト情報設定処理ステップと、
   前記時空間レイアウト情報に基づいて、前記入力複合メディアコンテンツを前記出力複合メディアコンテンツに変換するコンテンツ変換処理ステップとを含み、
   前記時空間レイアウト情報設定処理ステップにおいて、前記テキスト表示時間算出処理ステップで算出された前記テキストメディアの表示時間に基づいて前記時空間レイアウト情報に含まれるテキストメディアの表示時間が設定されるとともに、前記時空間レイアウト情報として設定された前記テキストメディアの表示時間に基づいて前記時空間レイアウト情報に含まれるテキストメディア以外のメディアの再生時間が設定されることを特徴とする、複合メディアコンテンツの変換プログラム。
10. テキストメディア，テキストメディア以外のメディアを含み、所定の大きさの画面上に表示させる入力複合メディアコンテンツを、変換指示情報に基づいて、所定の大きさよりも小さい画面上に表示させる出力複合メディアコンテンツに変換する処理を実行する制御部と、
    時空間レイアウト情報テーブルを記憶する記憶部とを備え、
    前記制御部が、前記変換指示情報に基づいて、前記入力複合メディアコンテンツから所定のテキストメディアに関する情報を取得し、前記記憶部から前記時空間レイアウト情報テーブルを読み出して、所定のテキストメディアに関する情報を設定して前記時空間レイアウト情報テーブルの仮作成を行なうステップと、
    前記時空間レイアウト情報テーブルに設定された所定のテキストメディアに関する情報を用いて、前記入力複合メディアコンテンツから所定のテキストメディアのデータを取得するステップと、
    所定のテキストメディアのデータに基づいて前記出力複合メディアコンテンツに含まれるテキストメディアの表示時間を算出し、算出されたテキストメディアの表示時間に基づいて前記時空間レイアウト情報テーブルにテキストメディアの表示時間を設定するとともに、前記時空間レイアウト情報テーブルに設定されたテキストメディアの表示時間に基づいて前記出力複合メディアコンテンツに含まれるテキストメディア以外のメディアの再生時間を前記時空間レイアウト情報テーブルに設定して前記時空間レイアウト情報テーブルを完成させるステップと、完成した時空間レイアウト情報テーブルに基づいて、前記入力複合メディアコンテンツを前記出力複合メディアコンテンツに変換するステップとを含む処理を実行するように構成されることを特徴とする、複合メディアコンテンツの変換装置。

Images