JP2005287035A - マルチメディアデータの表示方法および表示システム - Google Patents

Abstract

【課題】 リモート装置にマルチメディアデータを表示する方法およびその装置を提供する。
【解決手段】 コンピュータなどのデータソース装置は、無線ネットワークなどの伝送チャンネルにより、プロジェクターなどのリモート装置へ接続され、リモート装置にデータソース装置の画面を表示する。先ず、データソース装置のフレーム更新領域が表示されて分析される。そして、異なるフレーム更新領域の内容特性により、対応する圧縮方法が選定される。続いて、フレーム更新領域が圧縮されて、伝送チャンネルによりリモート装置へ伝送される。リモート装置は、フレーム更新領域の座標および圧縮方法の類型を含む受信データにより、表示内容を更新する。
【選択図】 図２

Description

本発明は、マルチメディアデータの表示方法およびその装置に関し、特にマルチメディアデータをリモート装置に表示する方法および表示システムに関する。

電子技術の発展に伴い、使用の利便性に対する要求に合致させるために、データ保存およびデータ表示は徐々に多様化してきている。例えば、アプリケーションソフトウェアを使用してプレゼンテーションの資料を作るとき、人々はコンピュータをプロジェクターへ接続することにより従来行っていた投影用透明シートの印刷作業を代替することができる。そして、このような方法は、不必要な印刷コストがかからず、非常に高い柔軟性とデータの再利用性とを備えている。

これは、例えばコンピュータとプロジェクターとを接続することができる他に、その他の各種電子装置間の互換性により、利便性を大幅に向上させることができる。例えば、ユーザがパーソナルデジタルアシスタント（Personal Digital Assistant：ＰＤＡ）を使用して事柄を記録した場合、プレゼンテーションを行う際に、ＰＤＡを簡便にプロジェクターへ接続してその中にあるデータを使用して、利便性を大幅に向上させることができる。また、コンピュータ中に保存されているプレゼンテーション用データを、会議に参加している人達のＰＤＡまたはテレビなどのその他の装置へ出力することにより、生活における利便性を更に強化し、効率良い生活を提供することができる。

しかし、今日の無線通信技術および有線通信技術の継続的な発展にも関わらず、電子装置間でマルチメディアデータを伝送する際には、制限された帯域幅が原因となり、問題がよく発生した。そのため、各種電子装置の間でマルチメディアデータを伝送することのできる効率的な解決方法を提供して、人々の生活をさらに便利にすることが求められていた。

本発明の目的は、マルチメディアデータをリモート装置に表示する方法および表示システムを提供することにある。

上述の目的を達成するために、本発明はマルチメディアデータをリモート装置に表示する方法およびその装置を提供する。本発明はマルチメディアデータソースのフレームデータを、伝送チャンネルを介してリモート装置へ伝送し、リモート装置により画面を表示する。この方法には少なくとも次のステップが含まれる。先ず、マルチメディアデータソースのフレーム更新領域を検知する。続いて、カラーエントロピーなどのフレーム更新領域の内容特性により、対応する圧縮方法を決定する。例えば、カラーエントロピーが閾値よりも高いときには自然画像データであるため、ＪＰＥＧ等の圧縮方法を採用することが適当であり、カラーエントロピーが閾値よりも低いときには、文字などの合成画像データであるため、ＰＮＧ等の圧縮方法を採用することが適当である。これにより歪みを防止することができる。続いて、対応する圧縮方法によりフレーム更新領域を圧縮して圧縮データを得る。その後、圧縮データ、フレーム更新領域の座標および対応する圧縮方法の類型などを伝送チャネルによりリモート装置へ伝送する。その後、リモート装置は圧縮データ、フレーム更新領域の座標および対応する圧縮方法の類型により表示内容を更新する。

本発明は少なくとも以下に述べるような長所を有する。先ず、フレーム更新部分のデータのみを伝送するために、必要な伝送データ量が少なく、例えば、伝送チャンネルを無線ネットワークとする、帯域幅が制限された様々な環境に適用することができる。また、フレーム内容により圧縮方法を決定するために、文字等の内容が表示されるときに歪みが発生しない条件下で最高の圧縮率を達成することができる。このように、伝送されるデータ量が減り、様々な応用に用いる可能性を高めることができる。また、本発明の概念は、複数のマルチメディアデータソースとリモート装置との組み合せにまで簡単に応用することができるため、非常に高い柔軟性を備えている。従って、本発明はマルチメディアデータの表示と、電子装置の間で相互作用を行うことのできる便利な解決方法を提供することができる。

以下、複数の好適な実施形態により本発明を説明する。
図１は本実施形態の表示システムを示す模式図である。マルチメディアデータソース１０は、伝送チャンネル１２を介してリモート装置１４へ接続されているが、この接続目的の一つは、マルチメディアデータソースのフレームをリモート装置１４に表示させることである。ここで述べるマルチメディアデータソース１０とは、例えば文字、フレーム、音声、映像などのマルチメディアデータを発生させる各種装置を指し、例えばこれは一般または特殊な用途を有する各種コンピュータ、パーソナルデジタルアシスタント、テレビなどの装置である。伝送チャンネル１２には、データの伝送に使用される各種の有線または無線のデータ伝送経路のハードウェアおよび／またはソフトウェアが含まれる。リモート装置１４とはマルチメディアデータソース１０に対応する、例えばプロジェクター、コンピュータ、パーソナルデジタルアシスタント、携帯電話などといったフレーム出力を提供する各種電子装置である。

図２は本実施形態のステップを示す流れ図である。マルチメディアデータは、フレームデータなどのように、一般にデータ量が非常に大きく、伝送チャンネルの帯域幅の制限を受けるため、マルチメディアデータソース１０がフレームを更新する度に、全体のフレームをリモート装置１４へ直接伝送することは実際的でなかった。そのため、この実施形態の方法においては、先ずフレーム更新領域を検知する（ステップ２０２）。

図３は一つのフレーム更新の検知を示す図である。例えば、マルチメディアデータソース１０がコンピュータであり、リモート装置１４がプロジェクターであるとき、コンピュータ端に一つのソフトウェア、ハードウェアまたはソフトウェアとハードウェアとが結合されたシステムを加えて、コンピュータのビデオフレームバッファ（video frame buffer）を検知するとともに、前回検知された履歴データと比較することにより、前回および今回検知した更新領域を得ることができる。例えば、全体のスクリーンフレーム３０中において、二つのフレーム更新領域３２、３４だけにデータが変化している場合、これら二つのフレーム更新領域３２、３４だけを処理することにより、伝送する帯域幅と処理にかかるコストとを節減することができる。

次に、フレーム更新領域３２、３４を検知してから、フレーム移動領域の内容特性に対応する圧縮方法を決定する（ステップ２０４）。マルチメディアフレーム中で最も良く見られる二種類のフレームデータは、合成画像（synthetic image）および自然画像（natural image）である。前記合成画像には文字、線または図形などが含まれ、自然画像には撮影画像などが含まれる。各画像にはそれぞれに適した圧縮方法があり、例えば合成画像にはＰＮＧ、ＧＩＦなどの圧縮方法を使用することが適しており、自然画像にはＪＰＥＧなどの圧縮方法を使用することが適している。そのため、本実施形態では、フレーム更新領域の内容特性に対して、例えば自然画像または合成画像なのかを判断して、使用する圧縮方法を決定する。

自然画像または合成画像なのかを判断する方法の一つとして、フレーム更新領域のカラーエントロピー（color entropy）を判断する方法がある。実験によると、自然画像および合成画像の両者はカラーエントロピーが異なるために、実験統計を通して両者の臨界値を探し出して閾値とすることができる。自然画像のカラーエントロピーは、特定の閾値よりも一般に高いが、合成画像のカラーエントロピーはそれほど高くはない。そのため、フレーム更新領域の画素に対して行うカラーエントロピーの計算は、画素間のランダム度のレベル計算でもあるため、各領域にどのような圧縮方法を採用した方が適当か判断することができる。

また、同じ種類の圧縮方法で別のパラメータを調整することもできる。言い換えると、圧縮方法を決定した後にも、伝送チャンネルの特性を参照して圧縮方法の詳細を更に決定することができる。例を挙げると、解析度が比較的低いプロジェクターをリモート装置１４にして、使用帯域幅が低い無線ネットワークを伝送チャンネルにするとき、圧縮方法のパラメータを調整するか圧縮方法を変更して対応させることもできる。当然、他の応用例では、拡大率を適当に調整することもできる。

続いて、決定した圧縮方法によりフレーム更新領域を圧縮するとともに、その圧縮データをリモート装置１４へ伝送する（ステップ２０６）。当然、圧縮データに関するフレーム更新領域の座標と圧縮方法の類型も伝送チャンネル１２を介してリモート装置１４へ送られる。
リモート装置１４は、これらのデータを受信した後に、フレーム更新領域の座標、圧縮方法の類型を利用し、受信した圧縮データを伸長して表示内容を更新する（ステップ２０８）。

上述したように、本実施形態はマルチメディアデータソース１０およびリモート装置１４の二つの部分を含み、これら二つの部分が互いに通信できるように、マルチメディアデータソース１０とリモート装置１４との二つの部分には、対応するハードウェア、ソフトウェアまたはソフトウェアにハードウェアが加えられた内蔵式または外接式の構成要素が別々に設けられて上述の動作を行う。以下、図４および図５により、関連要素の構成を説明する。

図４は、マルチメディアデータソース１０端で使用される装置を示す模式図である。この装置は、フレーム取り込み回路４２、フレーム更新領域検知回路４４、更新領域類型判定回路４６および圧縮回路４８を備える。これらの回路から構成される装置は、例えばコンピュータ内部または全部／一部が外付けボックスなどであるマルチメディアデータソース１０に統合することができる。フレーム取り込み回路４２は、コンピュータなどのマルチメディアデータソース１０のビデオフレームバッファを読み取り、フレーム更新領域検知回路４４はフレーム更新領域を比較する。更新領域類型判定回路４６は、カラーエントロピーを計算するなどして、更新フレーム領域の内容特性を判断する。最後に、圧縮回路４８は選定された圧縮方法を使用して、フレーム更新領域を圧縮して圧縮データを発生させ、伝送チャンネル１２へ伝送する。

図５は、リモート装置１４端で使用される装置を示す模式図である。受信回路５２は、伝送チャンネル１２から圧縮データ、フレーム更新領域の座標および圧縮方法の類型を受信する。伸長回路５４は、圧縮方法の類型に合わせて圧縮データを伸長する。そして表示回路５６は、伸長された後のフレーム更新領域データを、対応する座標値により、プロジェクターなどのリモート装置上でフレームを更新する。

本発明では好適な実施形態を前述の通り開示したが、これらは決して本発明を限定するものではなく、当該技術に熟知するものなら誰でも、本発明の趣旨と領域を脱しない範囲内で各種の変更や修正を加えることができる。従って本発明の保護の範囲は、特許請求の範囲で指定した内容を基準とする。

本発明の一実施形態による構造を示す模式図である。 本発明の一実施形態によるステップを示す流れ図である。 本発明の一実施形態によるフレーム更新領域を示す模式図である。 本発明の一実施形態によるマルチメディアデータソース端で使用される装置を示す模式図である。 本発明の一実施形態によるリモート装置端で使用される装置を示す模式図である。

符号の説明

１０ マルチメディアデータソース、１２ 伝送チャンネル、１４ リモート装置、３０ スクリーンフレーム、３２、３４ フレーム更新領域、４２ フレーム取り込み回路、４４ フレーム更新領域検知回路、４６ 更新領域類型判定回路、４８ 圧縮回路、５２ 受信回路、５４ 伸長回路、５６ 表示回路

Claims (21)

1. マルチメディアデータソースのフレーム更新領域を検知するステップと、
   前記フレーム更新領域の内容特性により、対応する圧縮方法を決定するステップと、
   前記対応する圧縮方法により、前記フレーム更新領域を圧縮して圧縮データを得るステップと、
   前記圧縮データ、前記フレーム更新領域の座標および前記対応する圧縮方法の類型を伝送チャンネルを介してリモート装置へ伝送するステップと、
   前記リモート装置は、前記圧縮データ、前記フレーム更新領域の座標および前記対応する圧縮方法の類型に基づいて、表示する内容を更新するステップと、
   を含むことを特徴とするリモート装置にマルチメディアデータを表示する方法。
2. 前記フレーム更新領域の内容特性は、前記フレーム更新領域のカラーエントロピーであることを特徴とする請求項１記載のリモート装置にマルチメディアデータを表示する方法。
3. 実験により定められた前記フレーム更新領域のカラーエントロピーの閾値から、前記フレーム更新領域の前記カラーエントロピーが前記閾値よりも高いとき、自然画像に対応する圧縮方法の類型を決定し、前記フレーム更新領域の前記カラーエントロピーが前記閾値よりも低いとき、合成画像に対応する圧縮方法の類型を決定することを特徴とする請求項２記載のリモート装置にマルチメディアデータを表示する方法。
4. 前記自然画像に対応する圧縮方法の類型にはＪＰＥＧ形式による圧縮法が含まれることを特徴とする請求項３記載のリモート装置にマルチメディアデータを表示する方法。
5. 前記合成画像に対応する圧縮方法の類型にはＰＮＧ形式による圧縮法が含まれることを特徴とする請求項３記載のリモート装置にマルチメディアデータを表示する方法。
6. 前記マルチメディアデータソースの前記フレーム更新領域を検知するステップにおいて、前記マルチメディアデータソースのメモリ装置をスキャンし、履歴データを比較することにより、前記フレーム更新領域を検出することを特徴とする請求項１記載のリモート装置にマルチメディアデータを表示する方法。
7. 前記伝送チャンネルの特性を参考にして前記対応する圧縮方法を決定するステップをさらに含むことを特徴とする請求項１記載のリモート装置にマルチメディアデータを表示する方法。
8. 前記フレーム更新領域データの拡大率を調整するステップをさらに含むことを特徴とする請求項１記載のリモート装置にマルチメディアデータを表示する方法。
9. 前記リモート装置はプロジェクターであることを特徴とする請求項１記載のリモート装置にマルチメディアデータを表示する方法。
10. 前記リモート装置はスクリーンであることを特徴とする請求項１記載のリモート装置にマルチメディアデータを表示する方法。
11. 前記伝送チャンネルは無線伝送チャンネルであることを特徴とする請求項１記載のリモート装置にマルチメディアデータを表示する方法。
12. 前記伝送チャンネルは有線伝送チャンネルであることを特徴とする請求項１記載のリモート装置にマルチメディアデータを表示する方法。
13. 前記リモート装置は、前記圧縮データ、前記フレーム更新領域の座標および前記対応する圧縮方法の類型により、表示する内容を伸長方式で更新することを特徴とする請求項１記載のリモート装置にマルチメディアデータを表示する方法。
14. マルチメディアデータソースに接続された、リモート装置にマルチメディアデータを表示する表示システムであって、
    前記マルチメディアデータソースのリアルタイムのフレームデータを取り込むフレームデータ取り込み回路と、
    前記フレームデータの少なくとも一つのフレーム更新領域を検知するフレーム更新領域検知回路と、
    前記フレーム更新領域の内容特性により、対応する圧縮方法を決定するフレーム領域類型判断回路と、
    前記フレーム更新領域を前記対応する圧縮方法により圧縮して圧縮データを発生させ、前記圧縮データ、前記フレーム更新領域の座標および前記対応する圧縮方法の類型を前記リモート装置へ伝送して表示内容を更新する圧縮回路と、
    を備えることを特徴とする表示システム。
15. 前記フレーム更新領域の内容特性は、前記フレーム更新領域のカラーエントロピーであることを特徴とする請求項１４記載の表示システム。
16. 実験により定められた前記フレーム更新領域のカラーエントロピーの閾値から、前記フレーム更新領域の前記カラーエントロピーが前記閾値よりも高いとき、自然画像に対応する圧縮方法の類型を決定し、前記フレーム更新領域の前記カラーエントロピーが前記閾値よりも低いとき、合成画像に対応する圧縮方法の類型を決定することを特徴とする請求項１５記載の表示システム。
17. 前記圧縮データ、前記フレーム更新領域の座標および前記対応する圧縮方法の類型を前記リモート装置へ伝送する無線伝送回路をさらに備えることを特徴とする請求項１４記載の表示システム。
18. リモート装置および伝送チャンネルに接続された、リモート装置にマルチメディアデータを表示する表示システムであって、
    前記伝送チャンネルを介して、マルチメディアデータソースから圧縮データ、フレーム更新領域の座標および圧縮方法の類型を受信する受信回路と、
    前記圧縮方法の類型により、前記圧縮データを伸長してフレーム更新領域データを得る伸長回路と、
    前記フレーム更新領域の座標により、前記フレーム更新領域データを前記リモート装置へ出力して表示内容を更新する表示回路と、
    を備えることを特徴とする表示システム。
19. 前記圧縮方法の類型は、前記フレーム更新領域のカラーエントロピーにより決定されることを特徴とする請求項１８記載の表示システム。
20. 実験により定められた前記フレーム更新領域のカラーエントロピーの閾値から、前記フレーム更新領域の前記カラーエントロピーが前記閾値よりも高いとき、自然画像に対応する圧縮方法の類型を決定し、前記フレーム更新領域の前記カラーエントロピーが前記閾値よりも低いとき、合成画像に対応する圧縮方法の類型を決定することを特徴とする請求項１９記載の表示システム。
21. 前記リモート装置はプロジェクターであることを特徴とする請求項１８記載の表示システム。
    

Images