JP2005505860A - グラフィックデータ及びデジタルドキュメント処理の視覚的表現を生成するシステム及び方法 - Google Patents

Abstract

デジタルドキュメント処理システムにおいて複数の互いに重なり合うグラフィックオブジェクトを混合する方法である。前記グラフィックオブジェクトは、少なくとも１つの静的オブジェクトと少なくとも１つの動画オブジェクトを含む、順序付けられたスタックの中に配列されている。前記各オブジェクトは少なくとも１つの関連する混合パラメータ（例えばトランスペアレンシ）を有する。前記方法は、（ａ） 前記静的オブジェクトの各混合パラーメータを考慮して、少なくとも１つの合成の静的オブジェクトを形成するために前記静的オブジェクトのコンテンツを混合し、そして
（ｂ） 前記動画オブジェクトの混合パラメータを考慮して、前記動画オブジェクトのコンテンツと前記合成の静的オブジェクトとを混合することからなる。ステップ（ａ）で形成された合成の静的オブジェクトは、前記動画オブジェクトのコンテンツが変化する場合に再利用されてもよい。好ましい実施形態では、ステップ（ａ）において前記スタック中の静的オブジェクトの全てのコンテンツが、前記スタック中のオブジェクトの全ての混合パラメータを考慮して、単一の合成の静的オブジェクトに混合される。混合パラメータ値のステンシルは、前記スタック中の各動画オブジェクトに対して、対応する動画オブジェクトと前記スタック中の前記対応する動画オブジェクトの上方のあらゆるオブジェクトとの混合パラメータ値を考慮して作り出される。ステップ（ｂ）は、各動画オブジェクトのコンテンツを、対応するステンシルに基づいて、合成の静的オブジェクトと混合することからなる。
【選択図】図１

Description

【技術分野】
【０００１】
本発明は、データ処理方法及びシステムに関するものである。より詳しくは、本発明は「グラフィックデータ」及び「デジタルドキュメント」（ここで定義されるようなものである）を処理する方法及びシステム、及び、そのような方法及びシステムを組み込んだデバイスに関するものである。概括的には、本発明は、例えば視覚表示として又はハードコピーとして、ソースデータ及びドキュメントの出力表現を生成することに関するものである。より具体的には、本発明は、合成グラフィック出力を作成するために、１つ又はそれ以上の動画オブジェクトを含む、相互に重ね書きされたグラフィックオブジェクトのスタックを混合することに関するものである。
【０００２】
（背景技術）
ここで用いられるように、「グラフィックデータ」、「グラフィックオブジェクト」、及び「デジタルドキュメント」という用語は、典型的には表示され又は視覚的に複製されることにより（例えば視覚表示装置又はプリンタを用いて）、あるいはテキスト音声変換等により、全部又は一部が、人間のユーザーに、最終的に何かの形式で出力されるように意図されたデータ処理システムにより処理される、あらゆる形式のデータのデジタル表現を述べるために用いられる。そのようなデータ、オブジェクトやドキュメントは、表現が可能なあらゆる特徴を含んでよく、次のもの、すなわち、テキスト、グラフィックイメージ、動画のグラフィックイメージ、フルモーションのビデオイメージ、対話型のアイコン、ボタン、メニュー又はハイパーリンクを含むがこれらに限られない。デジタルドキュメントは音声（音）の要素のような非視覚的な要素も含んでいてもよい。デジタルドキュメントは一般に、グラフィックデータ及び／又は少なくとも１つのグラフィックオブジェクトを含むか又はそれらから成る。
【０００３】
パーソナルコンピュータシステムのようなデータ処理システムは、典型的には、多数のローカルの又はリモートのソースのいずれか１つから生じることができ、かつ広範囲のデータフォーマット（「ファイルフォーマット」）のいずれか１つに存在できる「デジタルドキュメント」を処理することが要求される。ドキュメントの出力バージョンを生成するためには、視覚表示としてであろうと印刷したコピーとしてであろうと、例えば、コンピュータシステムが元のデータファイルを翻訳し、該当する出力デバイス（例えばモニター、あるいは他の視覚表示デバイス、又はプリンタ）と互換の出力を生成することが必要である。一般には、この処理はデータファイルを翻訳するのに適するアプリケーションプログラムと、コンピュータのオペレーティングシステムと、所望の出力デバイスに固有のソフトウェア「ドライバ」と、場合によっては（特にモニタや他の視覚表示装置に対しては）、拡張カードの形式で追加のハードウェアを必要とする。
【０００４】
出力を生成するための従来のこのデジタルドキュメントの処理の方法は、ハードウェアのリソース、ソフトウェアのオーバーヘッド、及び処理時間の点で非効率であり、ワイヤレス通信システムを含む低パワーでポータブルのデータ処理システムや、ネットワーク端末のような低コストのデータ処理システム等には全く不適当である。従来のデジタルドキュメント処理システムでは、複数のシステムコンポーネント（ハードウェアとソフトウェアのコンポーネントの両方を含む）を所望の様式で対話するように構成する必要性と、異なるシステム（例えばフォーマッティング、カラー再生における違い）により同じソースマテリアルを処理する際の不整合とを含めた、その他の問題に直面する。さらに、従来のデジタルドキュメント処理の方法は、ファイルフォーマットの構成要素の共通性及び／又は再利用性を活用することができない。
【０００５】
（発明の開示）
本発明の目的は、従来の方法及びシステムの前述した不都合を未然に防ぎ又は軽減する、グラフィックデータ、グラフィックオブジェクト及びデジタルドキュメントを処理する方法及びシステム、及びそのような方法及びシステムを組み込んだデバイスを提供することである。
【０００６】
本発明は、その様々な態様において、ここに添付した特許請求の範囲に規定される。本発明の更なる態様と特徴は、以下の記載から明らかとなる。
【０００７】
第一の態様において、本発明は、デジタルドキュメント処理システムにおいて複数の互いに重なり合うグラフィックオブジェクトを混合する方法であって、前記複数のグラフィックオブジェクトは、少なくとも１つの静的オブジェクトと少なくとも１つの動画オブジェクトを含む、順序付けられたスタックの中に配列されており、前記オブジェクトの各々はグラフィックのコンテンツからなり且つ前記オブジェクトの少なくとも一部に対して関連する少なくとも１つの混合パラメータを有しており、前記方法は、
（ａ） 前記静的オブジェクトの各混合パラーメータを考慮して、少なくとも１つの合成の静的オブジェクトを形成するために前記静的オブジェクトのコンテンツを混合し、
（ｂ） 前記動画オブジェクトの混合パラメータを考慮して、前記動画オブジェクトのコンテンツと前記の又は各々の合成の静的オブジェクトとを混合することを特徴とする方法に関するものである。
【０００８】
本発明の典型的な実施形態において、前記の少なくとも１つの各オブジェクトの混合パラメータは、前記オブジェクトの少なくとも一部に対して関連するトランスペアレンシを表す少なくとも１つのアルファ値を含むものである。
【０００９】
好ましい実施形態において、ステップ（ａ）は、第一の合成の静的オブジェクトを形成するために、前記スタックの中で動画オブジェクトの下方に位置する静的オブジェクトを混合し、第二の合成の静的オブジェクトを形成するために、前記スタックの中で前記動画オブジェクトの上方に位置する静的オブジェクトを混合することからなり、ステップ（ｂ）は、前記動画オブジェクトを前記第一及び第二の合成の静的オブジェクトと混合することを含むものである。
【００１０】
二者択一的な好ましい実施形態において、ステップ（ａ）は、前記スタックの中の全ての静的及び動画オブジェクトの相対的な混合パラーメータを考慮して、前記スタックの中の全ての静的オブジェクトのコンテンツを単一の合成の静的オブジェクトに混合し、前記スタックの中の前記の又は各々の動画オブジェクトに対して混合パラーメータ値のステンシルを形成し、前記の又は各々のステンシルの混合パラメータ値は、前記対応する動画オブジェクトと前記スタックの中の前記対応する動画オブジェクトの上方のあらゆるオブジェクトとの混合パラメータ値を考慮していることからなり、ステップ（ｂ）は、前記対応する混合パラメータ値のステンシルに基づいて、前記の又は各々の動画オブジェクトのコンテンツを前記合成の静的オブジェクトと混合することからなるものである。
【００１１】
本発明の第二の態様に従って、第一の態様の方法を実行するために適用したデジタルドキュメント処理システムが提供される。
【００１２】
本発明の第二の態様に従う好ましいシステムは、
複数の所定のデータフォーマットの１つにおいてソースデータを表す入力バイトストリームを受け取るための入力機構と、
前記バイトストリームを翻訳するための翻訳機構と、
前記バイトストリームから翻訳したコンテンツを内部表現データのフォーマットへ変換するための変換機構と、
出力デバイスを駆動するために適した出力表現データを生成するために前記内部表現データを処理するための処理機構とを備えるものである。
【００１３】
さらなる態様において、本発明は、データ処理システムのためのグラフィカルユーザーインターフェイスであって、該ユーザーインターフェイスにより用いられる対話形の視覚表示は、本発明の第二の態様に従うデジタルドキュメント処理システムにより生成されるものであることを特徴とするグラフィカルユーザーインターフェイス、及び、そのようなグラフィカルユーザーインターフェイスを組み込んでいるデータ処理システムに関するものである。
【００１４】
またさらなる態様において、本発明は、ハードウェアデバイス、データ処理システム及び周辺デバイスを含む、本発明の第二の態様に従うデジタルドキュメント処理システムを組み込んだ様々な形式のデバイスに関するものである。
【００１５】
本発明の実施形態は、添付の図面を参照して、単に例示のためにここで述べられる。
【００１６】
（発明を実施するための最良の形態）
図面を参照して、図１は本発明の様々な態様の方法が実施されてもよい好ましいデジタルドキュメント処理システム８を説明する。本発明の方法を詳細に記述する前に、システム８が背景知識として最初に記述される。本発明の方法は、ここに記述されるようなシステム８以外の処理システムにおいて実施されてもよいことが理解されるであろう。
【００１７】
概括的に言って、システム８は公知のフォーマットのデータファイルからなる１つ又はそれ以上のソースドキュメント１０を処理する。システム８への入力は、ソースドキュメントのコンテンツからなるバイトストリームである。入力モジュール１１は、ドキュメント内部の明白なファイル形式識別のような様々な基準のいずれか１つに基づいて、ファイル名（特にファイル名の拡張子）から、又は特定のファイル形式のコンテンツの公知の特徴から、ソースドキュメントのファイルフォーマットを識別する。バイトストリームはソースドキュメントのファイルフォーマットに固有の「ドキュメントエージェント１２」に入力される。ドキュメントエージェント１２は入ってくるバイトストリームを翻訳し、それをシステム８により用いられている標準フォーマットへ変換して、結果としてシステム８による処理に適した「固有」のフォーマットにおけるソースデータの内部表現１４になるように適用している。システム８は一般的に複数の異なるドキュメントエージェント１２を含み、各々は対応する複数の所定のファイルフォーマットの１つを処理するように適合されている。
【００１８】
システム８はデジタルカメラ又はスキャナのような入力デバイスから受け取った入力にも適用されてよい。この場合は、入力バイトストリームは「ソースドキュメント」それ自体からよりむしろ入力デバイスから直接生じてもよい。しかしながら、入力バイトストリームは依然としてこのシステムにより処理するのに適する予測可能なデータフォーマットにあるであろうし、システムの目的にとっては、そのような入力デバイスから受け取る入力は「ソースドキュメント」とみなされてよい。
【００１９】
ドキュメントエージェント１２は内部表現１４を生成するために標準のオブジェクトのライブラリ１６を用い、その内部表現１４は、ライブラリ１６において形式が定義される包括的オブジェクトと、ドキュメントの内部の様々な包括的オブジェクトの特定のインスタンスの性質を定義するパラメータとの収集に関して、ソースドキュメントのコンテンツを記述する。内部表現はシステムに固有のファイルフォーマットで保存／記憶されていてもよいし、システム８に入力され得るソースドキュメント１０の範囲はシステムの固有のファイルフォーマットにおけるドキュメントを含んでいてもよいことが理解されるだろう。内部表現１４が、適切な変換エージェント（不図示）を用いて、必要に応じて他のファイルフォーマットの範囲のいずれかに変換されることもできる。
【００２０】
内部表現１４において用いられている包括的オブジェクトは、典型的にはテキスト、ビットマップグラフィックスとベクトルグラフィックス（動画のものであってもなくてもよく、二次元又は三次元のものであってもよい）、ビデオ、音声、そしてボタンやアイコンのような様々な形式の対話型のオブジェクトを含む。包括的オブジェクトの特定のインスタンスを定義するパラメータは、一般的にはオブジェクトの物理的形状、サイズ及び位置を定義する次元の座標と、時間によって性質が変化するオブジェクトを定義するためのあらゆる関連する時間のデータとを含む（システムがダイナミックなドキュメント構造及び／又は表示機能を取り扱うことを可能にする）。テキストオブジェクトに対しては、パラメータは文字列に適用されるフォントとサイズも標準的に含む。オブジェクトパラメータは、トランスペアレンシ（透明度）のような他の性質も定義してもよい。
【００２１】
内部表現１４のフォーマットは、オブジェクトの形式とそれらのパラメータにより記述されるようなドキュメントの「構造」（または「レイアウト」）を、様々なオブジェクトの「コンテンツ」から分離する。例えば、テキストオブジェクトの文字列（コンテンツ）は、そのオブジェクトの次元パラメータから分離される。グラフィックオブジェクトのイメージデータ（コンテンツ）は、その次元パラメータから分離される。このことは、ドキュメント構造が非常にコンパクトな様式で定義されることを可能とするし、コンテンツデータのオプションが遠隔（リモート）に記憶され、必要な時のみシステムによって取り出されることを提供する。
【００２２】
内部表現１４は、ドキュメントとその構成オブジェクトを「高レベル」の記述によって記述する。
【００２３】
内部表現データ１４は、内部表現１４によって表現されるドキュメントのコンテキスト（文脈）特定表現２０又は「ビュー」を生成するパーシング及びレンダリングモジュール１８に入力される。必要なビューは、全ドキュメントのものであってもその一部（サブセット）のものであってもよい。パーサー／レンダラー１８は、ビューのコンテキストと生成される特定のドキュメントのビューのあらゆる関連した時間のパラメータとを定義する、ビュー制御入力４０を受け取る。例えば、システムが、ドキュメントの部分の拡大縮小したビューを生成し、そのドキュメントの隣接する部分を表示するためにその拡大縮小したビューをパン又はスクロールすることを要求してもよい。ビュー制御入力４０は、内部表現のどの部分が特定のビューに対して要求されているか、そしてどのように、いつ、どのくらいの時間そのビューが表示されるべきかを決定するために、パーサー／レンダラー１８によって翻訳される。
【００２４】
コンテキスト特定表現／ビュー２０は、基本形状とパラメータに関して表現される。
【００２５】
パーサー／レンダラー１８は、ソースドキュメント１０の必要なビュー２０を生成する時に、内部表現１４の関連する部分に関する追加の前処理機能も実行してもよい。ビューの表現２０は、表示デバイスやプリンタのような出力デバイス２６（または複合出力デバイス）を駆動するために適したフォーマットで最終出力２４を生成するために、最終処理のための形状処理モジュール２２に入力される。
【００２６】
パーサー／レンダラー１８の前処理機能は色補正、解像度調整／拡張及びエイリアス除去を含んでいてもよい。解像度拡張は、対象とする出力デバイスにより表示されまたは複製された時にオブジェクトのコンテンツの読みやすさを保つスケーリング機能を備えていてもよい。解像度調整はコンテキストに敏感であってもよい。例えば、特性のオブジェクトの表示の解像度は、表示したドキュメントのビューがパンされ又はスクロールされる間は減少され、ドキュメントのビューが静止しているときは増加されてもよい。
【００２７】
レンダラー／パーサー１８と内部表現１４との間にフィードバック経路４２があってもよい。例えば、内部表現によって表現されたドキュメント１０がマルチフレームの動画からなる場合におけるように、内部表現１４のコンテンツの更新を引き起こす目的でである。
【００２８】
パーサー／レンダラー１８からの出力表現２０は、「基本」オブジェクトに関してドキュメントを表現する。各ドキュメントのオブジェクトに対して、表現２０は、好ましくは、少なくとも、物理的な矩形のバウンダリボックスと、バウンダリボックスにより境界をつけたオブジェクトの実際の形状と、オブジェクトのデータコンテンツと、そのトランスペアレンシとに関して、オブジェクトを定義する。
【００２９】
形状プロセッサ２２は表現２０を翻訳し、それを対象とする出力デバイス２６に適する出力フレームフォーマット２４へ変換する。例えば、プリンターに対するドットマップ、プロッターに対するベクトル命令のセット、あるいは表示デバイスに対するビットマップである。形状プロセッサ２２への出力制御入力４４は、形状プロセッサ２２が特定の出力デバイス２６に適する出力２４を生成するために必要なパラメーターを定義する。
【００３０】
形状プロセッサ２２は、好ましくは、「形状」（すなわちオブジェクトの輪郭形状）、「フィル」（オブジェクトのデータコンテンツ）及びアルファ（オブジェクトのトランスペアレンシ）に関してビュー表現２０により定義されたオブジェクトを処理し、必要なビュー及び出力に適するスケーリング及びクリッピングを実行し、オブジェクトを出力デバイスに適するように表現する（ほとんどの形式の表示デバイス又はプリンタに対しては、典型的には走査変換等による画素によって）。
【００３１】
形状プロセッサ２２は、好ましくは、オブジェクトの形状を走査変換した画素によって定義するエッジバッファを含んでおり、好ましくは、輪郭形状にエイリアス除去を適用する。エイリアス除去は、好ましくは、出力デバイス２６の特性により決定される様式で（すなわち、制御入力４４に基づいて）、オブジェクトの境界を横切るグレイスケールのランプ（傾斜面）を適用することにより実行される。この手法はメモリ効率のよい形状クリッピング及び形状交差処理を可能にする。
【００３２】
非線形レンダリング制御（ガンマ補正）を可能にする複数のトーンレスポンスカーブを定義するために参照テーブルが用いられてもよい。
【００３３】
形状プロセッサ２２により処理された個々のオブジェクトは、合成出力フレーム２４において結合される。最終出力の品質は、出力制御入力４４を経由してユーザーにより制御されることも可能である。
【００３４】
形状プロセッサ２２は、多段のパイプラインアーキテクチャを持ち、それは、その形状プロセッサのパイプラインの複数のインスタンスを用いることにより、複数のオブジェクトの、又は複数のドキュメントの、あるいは１つ又はそれ以上のドキュメントの複数のサブセットの並列処理に役立つものである。このパイプラインアーキテクチャはまた、必要に応じて追加の処理機能（例えばフィルタ機能）を含むように容易に修正される。複数の形状プロセッサ２２からの出力は、複数の出力フレーム２４を生成してもよいし、単一の出力フレーム２４に結合されてもよい。
【００３５】
このシステムのアーキテクチャは本質的にはモジュール方式である。このことは、たとえば、追加のソースファイルフォーマットを扱うために、必要に応じてそして必要な時に、さらなるドキュメントエージェントが付加されることを可能にする。モジュール方式のアーキテクチャは、ライブラリ１６、パーサー／レンダラー１８あるいは形状プロセッサ２２のような個々のモジュールが、他のモジュールに対して交換を要求することなしに修正又はアップグレードされることも可能にする。
【００３６】
このシステムアーキテクチャは全体として、１つ又はそれ以上のドキュメントエージェント１２、１２ａを経由した、１つ又はそれ以上のファイルフォーマットにおける、複数の入力ドキュメント１０ａ、１０ｂ等又はドキュメントのサブセットを同時処理するための、全体又は一部の並列処理にも役立つものである。
【００３７】
このシステムの統合された、モジュール形式の性質は、システムモジュールの複数のインスタンスが、利用可能な処理及びメモリのリソースによってのみ制限されて、必要に応じて必要なときにデータ処理システム又はデバイスの中に生成されることを可能にする。
【００３８】
このシステム全体と特に形状プロセッサ２２とにより提供される柔軟な並列処理への可能性は、所定のデバイスのための表示経路が利用可能な帯域とメモリとに対して最適化されるということを可能にする。表示の更新及び動画は改善され、より速く、より少ないメモリを必要とするようできる。使用されるオブジェクト／パラメータドキュメントモデルは、決定論的で、矛盾のないものである。このシステムは十分に拡張が容易であり、複数のＣＰＵを横断するシステムの複数のインスタンスを可能にする。
【００３９】
パーサー／レンダラー１８と形状プロセッサ２２とは、利用可能なメモリと帯域の使用を最適化するような様式で、ビュー制御入力４０に応じて動的に対話する。これは特に視覚表示を駆動する時、例えば表示がユーザーによりスクロール又はパンされる時に、再描画機能に適用される。
【００４０】
このシステムは、ドキュメントビューの、あるいはビュー内の１つ又はそれ以上のオブジェクトの表示解像度が表示が修正されるべき様式に従って動的に変化するような、拡張可能な遅延再描画モデルを実行してもよい。これは典型的には、画面で動いている間は減少した解像度で表示され、静止している時には最大限の解像度で表示されるようなオブジェクトを含むものであってもよい。このシステムはこの目的のために複数のレベルの表示品質を用いてもよい。典型的には、これは予め作られたドキュメントオブジェクトの低解像度のビットマップ表現及び／又は、補間あり又は補間なしで動的に作られスケーリングされたビッドマップを含む。この手法は、利用可能なメモリ／帯域を最大限に利用する高い応答性の表示を提供する。
【００４１】
今まで述べられてきたシステムは、本発明により提供される方法を実施するために適応できる。
【００４２】
本発明の第一の態様に従って、複数の重ね書きされた（すなわち少なくとも部分的に重なり合う）オブジェクトであってその少なくとも１つは動画オブジェクトであるものの合成の視覚的表現を生成する、ここではオブジェクトを「混合する」と称する方法が提供される。混合は少なくとも１つの所定の混合機能に基づいて実行される。各オブジェクトは、それと関連付けられ、少なくとも１つの混合機能が適用される、少なくとも１つの混合パラメータ値を有する。この方法が適用できる最も一般的な混合パラメータはトランスペアレンシであり、本発明はここではトランスペアレンシを特に参照して説明される。しかしながら、本発明は他の混合パラメータに等しく適用できるものであることが理解されるだろう。
【００４３】
ここで用いられるように、「動画オブジェクト」は、そのコンテンツ（データコンテンツ、及び／又は他の視覚的な性質及び／又は位置及び／又は方向、及び／又は形状及び又はサイズを含む）が時間によって周期的に又は非周期的に、あらゆる様式で且つあらゆる理由で変化するオブジェクトを含み、ビデオオブジェクト、フレーム動画オブジェクト、そして漸次更新されるグラフィックオブジェクトを含むがこれらに限られない。
【００４４】
またここで用いられるように、「部分的に透明なオブジェクト」とは、完全には不透明でないオブジェクトを意味し、用語「アルファ値」は、完全な透明性と完全な不透明性との間の、オブジェクト又はその一部の相対的トランスペアレンシを示す数値を意味する。部分的トランスペアレンシはオブジェクトのエイリアス除去した「ソフト」エッジにも言及する。「静的オブジェクト」は、そのコンテンツ（位置、方向、形状、サイズ及び他の関連する性質）が所定の時間の間変化しないオブジェクトを意味する。
【００４５】
ここで図２を参照して、図１のようなシステムが、重ね書きされた部分的に透明なグラフィックオブジェクトの順序付けられたスタックの合成の視覚的表現を、各オブジェクトの相対的なトランスペアレンシ（アルファ値）を考慮して、オブジェクトの全てのコンテンツを結合することによって生成するために要求されてもよい。もしスタック中のオブジェクトの１つが動画（上記で定義したようなもの）であれば、その動画オブジェクトのコンテンツが他のオブジェクトに対して変化するたびに、普通は動画オブジェクトの更新したコンテンツを反映する新しい表現を生成するためにオブジェクトの全スタックを処理する必要がある。
【００４６】
本発明の一実施形態に従って、オブジェクトのスタックは動画オブジェクト（以下、「動画」と称する）の上方と下方の静的オブジェクトのクラスタに、オブジェクトがレンダリングされる順序で分割される。下位クラスタ１５０はスタックの中で動画１５２の下方の１つ又はそれ以上のオブジェクトからなり、上位クラスタ１５４はスタックの中で動画１５２の上方の１つ又はそれ以上のオブジェクトからなる。下位クラスタ１５０は単一の下位ビットマップオブジェクト１５６を作成するためにレンダリング／混合され、上位クラスタ１５４は単一の上位ビットマップオブジェクト１５８を作成するためにレンダリング／混合される。そして動画１５２は分離したままであり、上位ビットマップと下位ビットマップの間に置かれる。そして、動画１５２のコンテンツが変化するたびに必要な合成出力を得るためには、この２つのビットマップオブジェクトと動画とを混合することのみが必要である。すなわち、下位クラスタのオブジェクトを一度、そして上位クラスタのオブジェクトを一度混合することのみが必要であり、動画１５２における繰り返す変化のための処理オーバーヘッドについての大幅な減少を提供する。
【００４７】
処理オーバーヘッドを節約する際のこの方法の利益は各クラスタ内のオブジェクトの数が増加するにつれて増大するが、この方法は１つ又はそれ以上のクラスタが単一の静的オブジェクトのみからなる場合でさえも適用できることが理解されるだろう。
【００４８】
この方法は動画１５２がスタックの最上位にある（上位クラスタがない）又はスタックの最下位にある（下位クラスタがない）場合に適用することができることもまた理解されるだろう。
【００４９】
動画１５２は、それに関連するクリップマスク（その形状を定義する）及びアルファマスク（そのトランスペアレンシを定義する）を有していてもよい。同様のマスクがトランスペアレンシ以外の混合パラメータを定義するために用いられてもよい。
【００５０】
この方法は、図３に示すように、スタック内に複数の動画がある場合にも適用できる。ここで、クラスタ１６０は動画１５２Ｂに対する下位クラスタからなり、クラスタ１６２は動画１５２Ｂに対する上位クラスタと動画１５２Ａに対する下位クラスタとからなり、そしてクラスタ１６４は動画１５２Ａに対する上位クラスタからなり、クラスタ１６０、１６２及び１６４はそれぞれ混合され、対応する単一のビットマップオブジェクト１６６、１６８及び１７０になる。この形式の「分割クラスタリング」は、オブジェクトスタック中のいかなる数の動画に対しても、無制限に入れ子にされる／繰り返されることができる。この方法は、スタック内で、スタックの最上位で、あるいはスタックの最下位で、複数の動画がお互いに隣接している場合にも、等しく適用できることがわかる。
【００５１】
図４に示されるように、スタック中の動画１５２のいずれの側のオブジェクトも、お互いに、及び動画と、異なる量だけ重なり合っていてもよい。この場合は、オブジェクトの混合は、静的オブジェクトを動画１５２との重なりの領域へクリッピングすることを含むものであり（図４の斜線部分）、その結果混合したクラスタオブジェクト１５８及び１５６は動画１５２の領域にクリッピングされる。
【００５２】
処理が「オブジェクトベース」であれば、これは不定の量のメモリを要求する。クラスタ化法は、クリッピングしたオブジェクトを最も近い固定のタイルサイズに丸めることにより、同時係属の国際特許出願ＰＣＴ／ＧＢ０１／０１７４２号及び米国特許出願０９／８３５４８３号に記載されるようなタイリング方法と結合することができ、その結果メモリと処理要求が予測可能となり、こうしてメモリと性能の特性を改善し、関連するコードを簡略化できる。これは、以下に記述する本発明の二者択一的な実施形態にも適用できる。
【００５３】
本発明の方法において様々なグラフィックオブジェクトの処理に用いられるようなバッファリング処理の効率は、順序付けたリストにインデックスを付したタイルのアレイ１３６としてバッファコンテンツを定義することにより改善されてもよい。各タイルは固定のサイズのビットマップ（例えば３２ｘ３２又は６４ｘ６４）からなり、「ミニバッファ」とみなされてもよい。必要な表示ビューコンテンツが変化したり、クリッピングされたり、バッファ領域の外側に移動する等の場合、必要なことは、もう必要のないタイルを捨て、いかなる新しい表示コンテンツをもカバーする新しいタイルを形成し、タイルリストを更新することだけである。これは従来のバッファリング処理よりも高速で且つ効率的である、なぜならバッファ内でのブロックコピーが不要であり、移動され又はコピーされる物理メモリが不要であるからである。
【００５４】
記載されているタイリングのスキームは、全てのドキュメントと画面の再描画操作に対するタイルプールを提供するために全体的に用いられてもよい。タイルは、ドキュメント及び／又はオブジェクトのオフスクリーンをキャッシュに入れ、高速で効率的なビューの再描画を可能にするために用いられる。
【００５５】
記述したようなタイルプールの使用は、メモリとプロセッサのリソースのより効率的な用法も考慮に入れる。図１０（ａ）は、任意の予測できないサイズを有するデータブロックを含む従来のオフスクリーンのバッファリング方法が、予測できない隣接ブロックの割当て要求によるメモリの断片化という結果をどのようにして招くかを示すものである。バッファリング操作により要求されるメモリのブロックは、プロセッサのメモリ管理機構（ＭＭＵ）のブロックとうまく組み合わず、その結果メモリの再割当て非効率となり、大量の物理メモリのコピー操作が必要となり、そしてキャッシュの整合性が損なわれる。固定した所定のサイズのタイルを用いることにより、メモリの要求がはるかに予測可能となり、その結果メモリとプロセッサのリソースははるかに効率的に使われ且つ管理されることができ、断片化は有用性に影響を与えることがなく制限のないものとでき、そしてメモリのコピー操作の必要性は多くの形式のバッファリング操作に対して実質的に除かれることができる（図１０（ｂ））。理想的には、タイルサイズはプロセッサのＭＭＵのブロックサイズと一致するように選択される。
【００５６】
図１０（ｃ）は、タイルプール内のタイルを管理するための好ましいスキームを説明する。タイル番号ゼロは各々の新しいタイルを形成するために常に予約されている。一旦新しいタイルが形成されたら、そのタイルは次の利用可能な空き番号を用いて再番号付けされる（タイルプールが最大ｎタイルを提供できる場合は、割当てられるタイルのアドレスの数はｎ−１に制限される）。タイルプールの再番号付け障害の事象においては、タイルプールが一杯でもう空きタイルがない場合は、新しいタイル０が直接画面に書き込まれ、バックグラウンド処理（スレッド）がゴミの収集（例えば「老化した」タイルの特定と除去）及び／又は臨時のタイルアドレスの割当てのために開始される。これによってリソース割り当て障害を取り扱うための適応機構が提供される。
【００５７】
記載されているタイリングのスキームは、図１１に説明されるように並列処理に役立つ。１つのセットのタイルの処理は複数の並列処理の間で分割される（例えば、図１の形状プロセッサ２２の複数のインスタンスの間で）。例えば、タイル１−２０のセットは、タイルの画面上の位置に基づいて分割されることができ、その結果タイル１−１０の処理はあるプロセッサＷＡＳＰ−Ａにより取り扱われ、タイル１１−２０の処理は第二のプロセッサＷＡＳＰ−Ｂにより取り扱われる。従って、もし再描画命令が、タイル１−３、７−９及び１２−１４が再描画されることを要求すれば、タイル２−４と７−９とはＷＡＳＰ−Ａにより取り扱われ、タイル１２−１４はＷＡＳＰ−Ｂにより取り扱われる。二者択一的には、タイルのセットは、タイルのメモリをＷＡＳＰ−Ａにより処理するためのメモリＡとＷＡＳＰ−Ｂにより処理するためのメモリＢに分割して、タイルのメモリマップにおけるタイルの位置に基づいて分割されることができる。
【００５８】
記載されているタイリングのスキームは、複数のバッファリングとオフスクリーンのキャッシングの使用を容易にする。それはまた、ソフトウェア中での中断可能な再描画機能（例えば、ユーザーの入力に応答して現在の再描画が中断されて新しい再描画が開始されてもよいように）、効率的な色／表示変換とディザリング、表示全体の高速９０度（縦長の／横長の）回転も容易にし、個々のオブジェクトに対して要求される再描画メモリも減少させる。タイリングはまた、補間したビットマップのスケーリングをより高速に且つより効率的にもする。図１のようなシステムは、データ処理システムの全てのオペレーティングシステム／ＧＵＩとアプリケーション表示機能とに共通のタイルプールを用いてもよいこともまた認められるだろう。
【００５９】
本発明のこの態様の二者択一的な実施形態において、スタック中の静的オブジェクトの全ては、単一のビットマップオブジェクトへと結合される（混合される）ことができる。そしてそのとき動画は、静的オブジェクトを混合する処理において生成した「ステンシル」又は「マスク」（以下にさらに記述されるように混合パラメータがトランスペアレンシを表す場合には「アルファマスク」）に基づいて、その単一のビットマップオブジェクトと混合される。これは図５、６、及び７で説明される。
【００６０】
この方法は、混合したオブジェクトの合成画素値の一時記憶のための表示バッファ２００を用い、またオブジェクトスタック中の混合した静的オブジェクトの全てを表現する表示バッファコンテンツと１つ又はそれ以上の動画とを混合する際に用いるためのステンシルの対応する画素値の一時記憶のための、１つ又はそれ以上のステンシルバッファ２０２を用いる。
【００６１】
本発明のこの態様の一例は、オブジェクトＡ−Ｆ（スタックの最下位から最上位へ向かって）のスタックを参照して記述されるだろう。ここでＤは動画でありＡ、Ｂ、Ｃ、Ｅ及びＦは静的オブジェクトである。各オブジェクトは関連するアルファ値を持つ。１つのオブジェクトは単一で一定のアルファ値を持ってもよいし、あるいはアルファ値はオブジェクトの領域を超えて変化してもよい（例えば、オブジェクトは「ソフトエッジ」を持ち、エッジに向かって次第に透明になっていてもよい）。このことはアルファ値以外の混合機能及びパラメータに等しくあてはまる。ここで述べられる例は、各オブジェクトの混合パラメータ値（この例ではアルファ値）が画素から画素へと任意に変化するような最も一般的な場合に関するものである。
【００６２】
この処理の第一段階において、静的オブジェクトＡ、Ｂ、Ｃ、Ｅ及びＦは、それぞれの画素値（典型的には、使用する色モデルに依存する様式において、色及び彩度、又はクロミナンス及びルミナンス等を定義するもの）及びアルファ値を考慮して、また動画Ｄのアルファ値も考慮して、スタックの最下位から最上位へ順番に混合される。動画Ｄの画素値はこの静的オブジェクトの混合の間は考慮されず、結果として、静的オブジェクトＡ、Ｂ、Ｃ、Ｅ及びＦの全ての画素値とオブジェクトＡ−Ｆの全てのアルファ値とから導かれる合成物である単一のビットマップオブジェクトＧを含むような表示バッファ２００になる。
【００６３】
静的オブジェクトが表示バッファ２００において混合されているのと同時に、ステンシルＨが、動画Ｄ自体のアルファ値と、スタック中で動画Ｄの上方にある静的オブジェクト、この例ではＥとＦのアルファ値とに基づいて、ステンシルバッファ２０２において生成される。静的オブジェクトの全てが上記のように混合された後に得られる最終的なステンシルは、スタック中の全てのオブジェクトに相対し且つスタック内の動画Ｄの位置を考慮する動画Ｄのトランスペアレンシを反映する、各画素に対する合成したアルファ値からなる。
【００６４】
処理の最終段階では、合成ビットマップＧの画素値は、動画Ｄの画素値と、ステンシルＨからのアルファ値を用いて混合され、オブジェクトＡ−Ｆの全ての合成物である最終ビットマップを作成する。動画Ｄのコンテンツがいつ変化しても、必要なことは以前に得たステンシルＨを用いて新しい動画コンテンツを以前に得たビットマップＧと混合することのみである。
【００６５】
もし動画のトランスペアレンシが他のオブジェクトに対して変化すれば、そのときはもちろん、新しい合成ビットマップＧとステンシルＨとを生成する必要がある。下記に述べる本発明のさらなる実施形態は、例えばオブジェクトをフェイドイン又はフェイドアウトするために、オブジェクトのトランスペアレンシ（又は他の混合パラメータ）が時間とともに変更される場合に、新しい合成ビットマップとステンシルとを生成する処理を簡略化できる（トランスペアレンシ又は他の混合パラメータが時間とともに変わるその他の静的オブジェクトは、上記で提供された定義の用語の範囲内で動画オブジェクトであるか又は動画オブジェクトとなる）。
【００６６】
この方法は、スタック内の複数の動画に対して、スタック中の各オブジェクトのトランスペアレンシと位置を考慮している、各動画に対する単一の合成ビットマップＧとステンシルＨとを生成して、適合してもよい。
【００６７】
この方法は、図５、６及び７で説明するような特定の簡略化した例を参照することにより、よりよく理解されることができる。
【００６８】
図６は、１０画素掛ける１０画素の表示バッファ２００と対応する１０ｘ１０のステンシルバッファ２０２とを示す。これらのバッファの各々の下には、各バッファのある列２０４の各ピクセルのコンテンツが、この方法のステップ［１］−［７］の各々に対して、概略的に図示されている。このバッファのコンテンツの説明図において、垂直方向は各オブジェクトから及びオブジェクトの結合物から導かれたコンテンツの比率を示す。これらの比率の変化は、様々なアルファ値に基づいた様々なオブジェクトと結合物との画素値の「スケーリング」を参照することにより、ここでは述べられる。この方法は図示された列の左側の画素２０６を特に参照することにより述べられるだろう。
【００６９】
図７は、表示とステンシルとのバッファのコンテンツが図６の列の左側の画素に対してどのように計算され変化するかを示す表である。オブジェクトＡ−Ｆの各々の該当する列の左側の画素のアルファ値は、下記のようなものであると仮定する。
【００７０】

【００７１】
予備的なステップ（図示せず）において、表示バッファ２００のコンテンツは、例えば黒又は白に初期化され、ステンシルバッファ２０２は、「１００％」に初期化される。便宜のため、この初期の表示バッファ２００の状態は初期オブジェクトＩと称することにする。
【００７２】
各ステップ［１］−［６］において、表示バッファの新しいコンテンツは、現在のバッファの画素値をそれと混合される次の静的オブジェクトＮのアルファ値の補数によりスケーリングし、オブジェクトＮの画素値をそれ自体のアルファ値によりスケーリングし、そして２つを一緒に加えることによって決定される。すなわち、本例のステップ［１］においては、
合成した画素値＝（１００−６０）％Ｉ＋６０％Ａ
ｄ［１］＝４０％Ｉ＋６０％Ａ
【００７３】
処理が動画Ｄに到達するとき、現在のバッファコンテンツは動画のアルファ値の補数によりスケーリングされている。しかしバッファには何も加えられない。その後は、現在のバッファの値と次の静的オブジェクトの値がスケーリングされ、以前のように付加がなされる。最後の静的オブジェクトＦがスケーリングされてバッファに加えられた後は、バッファのコンテンツは合成の静的ビットマップＧからなる（ステップ［６］）。
【００７４】
ステップ［１］−［６］の間、ステンシルバッファのコンテンツは動画Ｄに達する（ステップ［４］）までは変わらないままである。ステンシルの値はそこで動画のアルファ値によりスケーリングされる。その後のオブジェクト（例えばスタック中で動画の上方のオブジェクト）に対しては、ステンシルの値は各オブジェクトのアルファ値の補数によりスケーリングされる。最後の（最上位の）オブジェクトが処理されたらすぐに、最後のステンシル値Ｈが得られる（ステップ［６］）。
【００７５】
最後に、ステップ［７］において、動画Ｄの画素値はステンシル値Ｈによってスケーリングされ、合成ビットマップ値Ｇに加えられ、最終的な、動画コンテンツを含む合成表示を得る。動画コンテンツにおけるその後の変化に対しては、表示を更新するために新しい動画コンテンツを用いてステップ［７］を繰り返すことのみが必要である（合成ビットマップＧとステンシルＨとを再計算することが必要となるときに、他のオブジェクトに対する動画のトランスペアレンシが変化しない限り）。
【００７６】
上で述べたように、この方法は複数の動画を含むオブジェクトのスタックに対して適用できる。合成の静的ビットマップＧは各動画の位置（スタック中の）とトランスペアレンシとを考慮して計算されるだろうし、ステンシルＨは、個々の動画自体と、スタック中でその動画の上方にある全ての静的及び動画オブジェクトとのトランスペアレンシを考慮して、各動画に対して計算されるだろう。
【００７７】
本発明のこの実施形態の目的にとっては、様々なオブジェクトの画素値のスケーリングが正しい順序（スタックの最下位から最上位へ）で実行され、その結果最終的な合成イメージが順序とオブジェクトの相対的なトランスペアレンシとを正確に反映するものであることが重要であるが、様々なオブジェクトのスケーリングした値が一緒に加えられる際の順序は重要ではないことが理解されるであろう。
【００７８】
この方法は動画混合処理の２つの段階、スケーリングと付加とを有効に分離し、第二段階である付加が、フレームの更新が実行されるまで延期されることを可能にする。こうして、スケーリングした動画の画素値を単に差し引くだけで、合成イメージから前の動画オブジェクトのフレームを除去することができる。前のフレームが単一のステップで除去できる間に、新しいフレームはスケーリングされ且つ付加されることができ、システムのオーバーヘッドを減少させ、従来の方法でしばしば発生する視覚表示のちらつきも減少させる。このことは図８に説明され、図８は、最初は合成の静的コンテンツＧと、第一の動画コンテンツＫと、第二の動画コンテンツＬとの結合からなる合成表示フレームを示す。第一の動画コンテンツＫは、そのスケーリングした画素値を合成表示コンテンツから単に差し引くだけで除去でき、前にコンテンツＫに対して用いたものと同じステンシル値を用いてスケーリングした新しい動画コンテンツＭを単に加えるだけで置き換えることができる。
【００７９】
本発明のこの方法で用いられる合成の静的オブジェクトと動画オブジェクトのコンテンツは、表示コンテンツを生成し、更新を実行するための多くの異なる方法で結合／混合が行なわれてもよいことが理解されるであろう。例えば、混合は現在の表示コンテンツを更新する前に独立して実行されてもよいし、又は混合と更新が、例えば上に述べたように、現在の表示コンテンツから差し引き及びそれに付加することによって「同時に」実行されてもよい。
【００８０】
図９は、従来のオブジェクトの混合処理を、図２と３の「分割クラスタ」法及び図５から８の「フリップサイド分割クラスタ」法と、図５と同じオブジェクトのスタックを参照することにより比較するものである。従来の方法においては、動画コンテンツが変化するたびに、正確な新しい合成表示出力を生成するためにスタック中の個々のオブジェクトの全てを処理する必要がある。この処理は、最初の表示フレームを描画する前に前処理が不要なので、初期化するためには「安価」（システムリソースの点で）である、しかしオブジェクトの全てがそのたびに再処理されなければならないので、後に続く再描画に対しては高価である。
【００８１】
分割クラスタ法は、隣接する静的オブジェクトの群を単一のオブジェクトＴ及びＢに減らし、その結果、従来法における６つのオブジェクトＡ−Ｆと比較して、各再描画は３つのオブジェクトＴ、Ｄ及びＢの処理のみを含む。合成の静的オブジェクトＴ及びＢを生成する必要があるので、初期化はより高価である。従来法及び分割クラスタ法の両方において、各再描画はオブジェクトＡ−Ｆ及びＴ、Ｄ、Ｂのコンテンツとトランスペアレンシ（及び／又は他の混合パラメータ値）との両方を処理することを必要とすることに注意する。
【００８２】
フリップサイド分割クラスタ法は、静的オブジェクトの全てを単一の合成の静的オブジェクトＧに減らし、また上述したように、動画のアルファステンシル（及び／又は他の混合パラメータステンシル）の生成もまた必要とし、その結果初期化は前述の方法のいずれよりも高価である。しかしながら、各再描画は、新しい動画コンテンツがアルファステンシルの値によりスケーリングされ、単一の合成オブジェクトＧに付加されることのみを必要とする。この段階における「混合」は、スケーリングされた動画コンテンツが前に決定された合成オブジェクトＧのコンテンツに付加されることのみを含む。オブジェクトＧのトランスペアレンシを考慮する必要はない。たとえ動画Ｄがスタックの最上位又は最下位にある（例えばオブジェクトＴとＢのうち１つのみがある）場合でも、再描画は従って分割クラスタ法を用いるものよりも安価である。
【００８３】
フリップサイド分割クラスタ法は、たとえスタックが単一の静的オブジェクトとその静的オブジェクトの下方に位置する単一の動画とだけからなる場合であっても有利であることは、さらに注意すべきである。動画をスタックの最上位に「フリップする」処理は、再描画のコストをさらに減らす。また、分割クラスタ法とフリップサイドフリップクラスタ法の両方とも、たとえこれらの方法がコストの節約を提供しない場合であっても、なおも単一の静的オブジェクトのみを含むスタック又はクラスタとともに用いられることができる。
【００８４】
前述の例は、各オブジェクト（あるいは、最も一般的な場合では、各オブジェクトの各画素）に対して、単一のアルファ値を仮定している。しかしながら、各オブジェクト／画素における各々の色成分がそれ自体のアルファ値を持っていてもよいことが理解されるであろう。例えば、ＲＧＢカラースキームが使われれば、オブジェクト中の各画素は３つの色成分、赤、緑、青に対してそれぞれ１つ（通常（Ｒ、Ｇ、Ｂ）と表示される）、を持つであろう。前の例はこれを取り扱うが、それは３成分全てに同じアルファ値を掛けることによってである。しかしながら、３成分の各々に対して異なるアルファ値、すなわちＲ成分に対してあるアルファ値、Ｇ成分に対してもう一つのもの、そしてＢ成分に対して３つめのものを持つことも可能である。本発明のこの方法は、実質的に前と同じ様式で適用されてもよく、唯一の拡張は、ここでは３つの表示バッファと３つのステンシルとが、Ｒ、Ｇ、Ｂの各々に対して１セットあることである。
【００８５】
二者択一的には、既存のバッファとステンシルとが深さ３のアレイとしてみなされてもよい。演算は変わらない。例えば、赤のアルファを用いて作業するときは、全ての赤成分に対して補数（１−赤のアルファ）を用いる、等々である。
【００８６】
この形式の「色混合」（全ての色チャンネルに均等に適用される「無彩色混合」とは異なるようなもの）は、ＲＧＢに基づいた色を参照して記述したが、ＹＵＶ、ＹＣＣ等のような色モデルに基づいたあらゆる成分に対して等しく適用できる。異なる混合機能が、異なる色チャンネルに対して同様の様式で独立に適用されることができることも理解されるだろう。
【００８７】
上記のように、本発明の「フリップオーダー」混合法は、１つ又はそれ以上の動画（混合パラメータの時間変化を除いて他の点では静的なオブジェクトを含む）をフェードする（トランスペアレンシ又は他の混合パラメータを変化させる）ことに適応ことができる。（前述のように、これも無彩色混合及び色混合の両方に適用できる）。
【００８８】
トランスペアレンシとしてアルファを持つ動画Ａが中間のどこかにあるオブジェクトのスタックを考えてみる。スタック全ては、トランスペアレンシのアルファ又はあらゆる修正されたトランスペアレンシ値を持つＡを含めて、次の方法により表示されることができる。
【００８９】
上記のフリップオーダーのアルゴリズムは表示バッファとステンシルとのセットを２つ作成するために用いられてもよい。第一のセット（Ｄ０、Ｓ０）は動画Ａに対するゼロの仮トランスペアレンシ値を用いて作成される。第二のセット（Ｄ１、Ｓ１）は動画Ａに対する１のトランスペアレンシ値を用いて計算される。
【００９０】
次に合成した表示バッファ（Ｄ、Ｓ）は、Ａに対するトランスペアレンシのあらゆる選択された値（ｔ）に対して、次のように作り出されることができる。
Ｄ＝（１−ｔ）Ｄ０＋ｔＤ１
Ｓ＝（１−ｔ）Ｓ０＋ｔＳ１
そして最終結果は、これまでのように合成したステンシルを動画Ａに適用し、表示バッファを加える（＝ＡＳ＋Ｄ）ことでもたらされる。ｔ＝アルファのときは、これは元々の結果を作成する。しかしながら、単に方程式の中のｔの値を変えるだけで、Ｄ０、Ｄ１、Ｓ０あるいはＳ１を生成する混合ステップのいずれをも繰り返すことなしに、フェードした結果を迅速に作り出すこともできる。
【００９１】
より一般的に言って、この方法は、前述したようなフリップオーダー法を用いて、１つ又はそれ以上のステップにおいてグラフィックオブジェクトの順序付けられたスタック中の少なくとも１つの動画オブジェクトの混合パラメータの値を変化させるために適応する。この方法は、第一及び第二の混合パラメータステンシルと第一及び第二の表示バッファとを、第一及び第二の混合パラメータ値又は混合パラメータ値のセットに対応するスタック中の前記の又は各々の動画オブジェクトに対して形成することからなる。前記第一及び第二のステンシルの各々の混合パラメータ値は、対応する動画オブジェクトと、スタック中でその対応する動画オブジェクトの上方にあるあらゆるオブジェクトとの混合パラメータ値を考慮に入れる。混合パラメータの値を変化させる各ステップに対して、合成した混合パラメータステンシル及び合成した表示バッファコンテンツが、第一及び第二のステンシルと第一及び第二の表示バッファと現在のステップに対して要求されたパラメータ混合値とから導かれる。合成したステンシル及び表示バッファは、次に動画オブジェクトと合成の静的オブジェクトのコンテンツを混合する際に使用される。
【００９２】
再び図１を参照して、本発明の方法が好ましく実施される好適なシステムは、デバイス非依存の色モデル、好適にはＣＩＥ Ｌ＊ａ＊ｂ＊ １９７６モデルのようなルミナンス／クロミナンスモデルを用いる。これはグラフィックオブジェクトにおける冗長性を減らし、データの圧縮率を改善し、また異なる出力デバイス間での色出力の整合性を改善する。デバイス依存の色補正は、デバイス依存の制御入力４４に基づいて、形状プロセッサ２２に適用されることができる。
【００９３】
本発明の方法で用いられる様々なオブジェクト及び／又はステンシルの解像度は、お互いに及び／又は最終出力表示の解像度と異なっていてもよいということもまた理解されるだろう。異なるオブジェクトはまた異なる色モデルを用いてもよい。この方法が適用されるグラフィックオブジェクトの元々のセットはまた、マスク、ステンシル及びフィルタのようなオブジェクト含んでもよい。
【００９４】
図１はソースのバイトストリームが受け取られる入力端と最終出力フレーム２４がシステムから出力される出力端とを持つシステムを示す。しかしながら、このシステムは、中間入力又は出力を、例えばデータコンテンツを取出すため又は処理の過程で生成したデータを保存／変換するための他の中間段階に含んでいてもよいということが理解されるだろう。
【００９５】
本発明は、ここでは統合された又は少なくともローカルのデータ処理デバイス及びシステムを特に参照して述べられている。一方、本発明はまた、１つ又はそれ以上のコンテンツソースを１つ又はそれ以上の出力ロケーションに連結するあらゆる形式のデータ通信ネットワークを経由する分散システムにおいて実施されてもよい。本発明はこのような状況において有利である、なぜなら、例えば、帯域を節約し、ネットワークのリソースを維持して、混合されたオブジェクト及び／又はステンシルがネットワークを経由して一度だけ送信されることが必要であり、動画コンテンツの最新のもののみがその後送信されることが必要だからである。異なるソースからのコンテンツは、１つ又はそれ以上の最終ユーザーのロケーションへの送信のための１つ又はそれ以上の中間にあるロケーションにおいて混合され、そこで最終的な混合が必要に応じて実行されてもよい。
【００９６】
本発明の第二の態様に従うデジタルドキュメント処理システムは、様々な形式のデータ処理システム及びデバイスに、そして周辺デバイスに、多くの異なる方法で組み込まれてもよい。
【００９７】
汎用のデータ処理システム（「ホストシステム」）においては、本発明のシステムはホストシステムのオペレーティングシステム及びアプリケーションと並べて組み込まれていてもよいし、ホストのオペレーティングシステムに完全に又は部分的に組み込まれてもよい。
【００９８】
例えば、本発明のシステムは、ＬＣＤ表示装置を持つポータブルデータ処理デバイスにおいて、ブラウザやアプリケーションプログラムの使用を必要とせずに、様々な形式のデータファイルの高速表示を可能にする。この部類のデータ処理デバイスは、携帯性のために小さいサイズ、低パワーのプロセッサを必要とする。典型的には、エレクトロニクスの実装ができるだけ小さく且つ高集積になるように、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ、特定用途向けＩＣ）に設計された高度なＲＩＳＣ型コアプロセッサの使用を必要とする。この形式のデバイスはまた、限られたランダムアクセスメモリを持ち、典型的には不揮発性データ記憶装置（例えばハードディスク）を持たない。標準のデスクトップコンピュータシステム（ＰＣｓ）において用いられているような従来のオペレーティングシステムのモデルは、デジタルドキュメントを処理して有用な出力を生成するために高いパワーの中央演算装置と大量のメモリとを必要とし、この形式のデータ処理デバイスにとっては完全に不適当である。特に、従来のシステムは統合した様式での複数のファイルフォーマットの処理を提供しない。それに対して、本発明は全てのファイルフォーマットに対して共通の処理とパイプラインとを利用することができ、それによって、消費電力とシステムリソースの利用とに関して極めて効率的な、高度に統合されたドキュメント処理システムを提供する。
【００９９】
本発明のシステムは、従来のシステムモデルよりはるかに低いオーバーヘッドを有するドキュメント処理及び出力を可能にするために、ポータブルデータ処理デバイスのＢＩＯＳレベルに統合されてもよい。二者択一的に、本発明はトランスポートプロトコルスタックの直上の最下位のシステムレベルで実施されてもよい。例えば、本システムは、ネットワークトラフィックのインライン処理を提供するために、ネットワークデバイス（カード）又はシステムに組み込まれてもよい（例えばＴＣＰ／ＩＰシステムにおいてパケットレベルで動作する）。
【０１００】
特定のデバイスにおいては、本発明のシステムは、データファイルフォーマットの所定のセットと特定の出力デバイス、例えばデバイスの視覚表示装置及び／又は少なくとも１つの形式のプリンタ、と共に動作するように構成される。
【０１０１】
本システムを用いることができるポータブルデータ処理デバイスの例は、「パームトップ」コンピュータ、ポータブル・デジタル・アシスタント（ＰＤＡｓ、主要なユーザーインターフェイスが、ユーザーがスタイラスデバイスを用いて直接対話するグラフィック表示からなる、タブレット形式のＰＤＡｓを含む）、インターネット接続が可能な携帯電話、そしてその他の通信デバイス等を含む。
【０１０２】
本システムはまた、高機能電話及び「シン」ネットワーククライアント端末（例えば限られたローカルの処理と記憶装置のリソースとを有するネットワーク端末）のような低コストのデータ処理端末や、双方向の／インターネット接続が可能なケーブルＴＶシステムにおいて使用するための「セットトップボックス」にも組み込まれてもよい。
【０１０３】
データ処理システムのオペレーティングシステムに統合された場合は、本発明のシステムはまた、オペレーティングシステム（ＯＳ）のための新規のグラフィカルユーザーインターフェイス（ＧＵＩ）の基礎を形成してもよい。このシステムにより処理され表示されるドキュメントは、メニュー、ボタン、アイコン等のような、オペレーティングシステムの基礎を成す機能にユーザーインターフェイスを提供する対話式の機能を含んでいてもよい。拡大解釈すれば、システムの「ドキュメント」に関しては、完全なＯＳ／ＧＵＩが表現され、処理され、表示されてもよい。このＯＳ／ＧＵＩは、複数の「章」で単一のドキュメントを構成できる。
【０１０４】
本発明のシステムはまた、ハードコピーデバイス（プリンタやプロッタ）、表示デバイス（デジタルプロジェクタのようなもの）、ネットワークデバイス、入力デバイス（カメラ、スキャナ等）、そしてまた多機能周辺装置（ＭＦＰｓ）のような周辺デバイスにも組み込まれてもよい。
【０１０５】
プリンタに組み込まれる場合は、本システムは、ホストシステムにより提供される特定のアプリケーション又はドライバに対する必要性なく、プリンタが未加工のデータファイルをホストデータ処理システムから受け取り、元のデータファイルのコンテンツを正確に複製することを可能にすることができる。これによりコンピュータシステムを特定の形式のプリンタを駆動するように構成する必要性が回避される。本システムは、プリンタによる出力に適するソースドキュメントのドットマップイメージを直接生成してもよい（これは本システムがプリンタ自体に組み込まれようがホストシステムに組み込まれようが正しい）。同様な考慮はプロッタのような他のハードコピーデバイスに適用される。
【０１０６】
プロジェクタのような表示デバイスに組み込まれる場合は、本システムは、この場合も同様に、ホストシステム上のアプリケーション又はドライバの使用なしに、そしてホストシステム及び／又は表示デバイスの特定の構成の必要性なしに、そのデバイスが元のデータファイルのコンテンツを正確に表示することを可能にすることができる。これらの形式の周辺デバイスは、本システムを備えた場合には、あらゆる形式のデータ通信ネットワークを経由して、あらゆるソースからデータファイルを受け取り、出力することができる。
【０１０７】
以上のことから、本発明のシステムは、「ハードワイヤードされる」、例えばＲＯＭの中で実現される及び／又はＡＳＩＣｓや他のシングルチップシステムに集積されるものであってもよく、あるいはファームウェア（一括消去できるｅＰＲＯＭのようなプログラマブルＲＯＭ）として実現されても、あるいはローカルに又はリモートに記憶され、特定のデバイスによる要求に応じて取出され実行されるようなソフトウェアとして実現されてもよいことが理解されるであろう。
【０１０８】
なお、改善と変更が、本発明の範囲を逸脱すること無しに取り入れられてもよい。
【図面の簡単な説明】
【０１０９】
【図１】本発明の様々な態様を実施する際に用いることができる好ましいデジタルドキュメント処理システムの実施形態を説明するブロック図である。
【図２】本発明の一態様に従ってグラフィックオブジェクトを混合する方法の第一の実施形態を説明する図である。
【図３】本発明の一態様に従ってグラフィックオブジェクトを混合する方法のさらなる実施形態を説明する図である。
【図４】本発明の一態様に従ってグラフィックオブジェクトを混合する際のタイリング方法の使用を説明する図である。
【図５】本発明の一態様に従ってグラフィックオブジェクトを混合する方法の別の実施形態を説明する図である。
【図６】図５の方法の一例の実施の間にどのように表示及びステンシルのバッファのコンテンツが変化するかを示す概略図である。
【図７】図６の例をさらに説明する表である。
【図８】動画コンテンツを合成グラフィックイメージに加えそしてそこから差し引くための図５乃至７の方法の実施を概略的に説明する図である。
【図９】従来のオブジェクト混合処理を図２と３の方法及び図５−８の方法と比較する図である。
【図１０】（ａ）は従来のバッファリング方法に関連したメモリの割当てと断片化を説明する図であり、（ｂ）は本発明の好ましい実施形態において用いられるタイリング方法に関連したメモリの割当てと断片化を説明する図であり、（ｃ）は本発明の好ましい実施形態において用いられるタイリング方法を実施する好ましい方法を説明する図である。
【図１１】図４Ｂの方法を実施するための複数の並列プロセッサモジュールの使用を説明する図である。

Claims (52)

1. デジタルドキュメント処理システムにおいて複数の互いに重なり合うグラフィックオブジェクトを混合する方法であって、前記複数のグラフィックオブジェクトは、少なくとも１つの静的オブジェクトと少なくとも１つの動画オブジェクトを含む、順序付けられたスタックの中に配列されており、前記オブジェクトの各々はグラフィックのコンテンツからなり且つ前記オブジェクトの少なくとも一部に対して関連する少なくとも１つの混合パラメータを有しており、前記方法は、
   （ａ） 前記静的オブジェクトの各混合パラーメータを考慮して、少なくとも１つの合成の静的オブジェクトを形成するために前記静的オブジェクトのコンテンツを混合し、
   （ｂ） 前記動画オブジェクトの混合パラメータを考慮して、前記動画オブジェクトのコンテンツと前記の又は各々の合成の静的オブジェクトとを混合することを特徴とする方法。
2. 請求項１の方法であって、さらに、
   （ｃ） 動画オブジェクトのコンテンツが変化するときは、ステップ（ａ）で形成された、前に得られた合成の静的オブジェクトを用いて、ステップ（ｂ）を繰り返すことを特徴とする方法。
3. 請求項２の方法であって、第一の動画オブジェクトのコンテンツを用いてステップ（ｂ）で形成された現在の表示コンテンツが、第二の動画オブジェクトのコンテンツと前に得られた合成の静的オブジェクトとを混合することにより形成された、新しい表示コンテンツに置き換えられることを特徴とする方法。
4. 請求項２の方法であって、第一の動画オブジェクトのコンテンツを用いてステップ（ｂ）で形成された現在の表示コンテンツが、該現在の表示コンテンツから前記第一の動画のコンテンツを差し引き、第二の動画オブジェクトのコンテンツを加えることによって更新されることを特徴とする方法。
5. 請求項１乃至４のいずれか１項の方法であって、前記動画オブジェクトは前記スタックの最上位にあり、ステップ（ａ）は、単一の合成の静的オブジェクトを形成するために、前記スタックの中で動画オブジェクトの下方に位置する静的オブジェクトを混合することからなり、ステップ（ｂ）は、前記動画オブジェクトを前記単一の合成の静的オブジェクトと混合することを含むことを特徴とする方法。
6. 請求項１乃至４のいずれか１項の方法であって、前記動画オブジェクトは前記スタックの最下位にあり、ステップ（ａ）は、単一の合成の静的オブジェクトを形成するために、前記スタックの中で前記動画オブジェクトの上方に位置する静的オブジェクトを混合することからなり、ステップ（ｂ）は、前記動画オブジェクトを前記単一の合成の静的オブジェクトと混合することを含むことを特徴とする方法。
7. 請求項１乃至４のいずれか１項の方法であって、ステップ（ａ）は、第一の合成の静的オブジェクトを形成するために、前記スタックの中で動画オブジェクトの下方に位置する静的オブジェクトを混合し、第二の合成の静的オブジェクトを形成するために、前記スタックの中で前記動画オブジェクトの上方に位置する静的オブジェクトを混合することからなり、ステップ（ｂ）は、前記動画オブジェクトを前記第一及び第二の合成の静的オブジェクトと混合することを含むことを特徴とする方法。
8. 請求項７の方法であって、前記スタックは、複数の動画オブジェクトを含み、ステップ（ｂ）は、前記スタックの中で最下位の動画オブジェクトの下方に位置する、又は最上位の動画オブジェクトの上方に位置する、あるいは動画オブジェクトの間に挟まれて位置する静的オブジェクトの群の各々に対して合成の静的オブジェクトを形成することを含むことを特徴とする方法。
9. 請求項１乃至４のいずれか１項の方法であって、ステップ（ａ）は、前記スタックの中の全ての静的及び動画オブジェクトの相対的な混合パラーメータを考慮して、前記スタックの中の全ての静的オブジェクトのコンテンツを単一の合成の静的オブジェクトに混合し、前記スタックの中の前記の又は各々の動画オブジェクトに対して混合パラーメータ値のステンシルを形成し、前記の又は各々のステンシルの混合パラメータ値は、前記対応する動画オブジェクトと前記スタックの中の前記対応する動画オブジェクトの上方のあらゆるオブジェクトとの混合パラメータ値を考慮していることからなり、ステップ（ｂ）は、前記対応する混合パラメータ値のステンシルに基づいて、前記の又は各々の動画オブジェクトのコンテンツを前記合成の静的オブジェクトと混合することからなることを特徴とする方法。
10. 請求項９の方法であって、前記オブジェクトは表示バッファにおいて混合されるものであり、かつ、
    前記スタックの中の次のオブジェクトの混合パラメータ値の補数により前記表示バッファの現在のコンテンツをスケーリングすることにより、前記オブジェクトを前記スタックの最下位から最上位まで順番に処理し、
    前記スタックの中の次のオブジェクトは静的オブジェクトであり、該静的オブジェクトのコンテンツをそれ自体の混合パラメータ値によりスケーリングし、該静的オブジェクトのスケーリングされたコンテンツを、前記表示バッファのスケーリングされたコンテンツに加えることからなることを特徴とする方法。
11. 請求項１０の方法であって、各々の動画オブジェクトに対する混合パラーメータ値のステンシルはステンシルバッファにおいて形成されるものであり、かつ、
    前記スタックの中の次のオブジェクトは前記ステンシルバッファに対応する動画オブジェクトであり、該動画オブジェクトの混合パラーメータ値により前記ステンシルの混合パラーメータ値をスケーリングし、かつ
    前記スタックの中の次のオブジェクトは前記ステンシルバッファに対応する動画オブジェクトの上方にあり、該次のオブジェクトの混合パラメータ値の補数により前記ステンシルバッファの現在の混合パラメータ値をスケーリングすることからなることを特徴とする方法。
12. 請求項１１の方法であって、ステップ（ｂ）は、前記対応するステンシルの混合パラメータ値により前記動画オブジェクトのコンテンツをスケーリングし、該スケーリングした動画オブジェクトのコンテンツを、前記表示バッファの合成しスケーリングした静的オブジェクトのコンテンツに加えることからなることを特徴とする方法。
13. 請求項１２の方法であって、現在の表示コンテンツは、新しい動画オブジェクトのコンテンツを前に得られた混合パラメータ値のステンシルを用いてスケーリングし、該新しいスケーリングした動画オブジェクトのコンテンツを前記前に得られた合成の静的オブジェクトに加えることにより、更新されることを特徴とする方法。
14. 請求項１２の方法であって、現在の表示コンテンツは、新しい動画オブジェクトのコンテンツを前に得られた混合パラメータ値のステンシルを用いてスケーリングし、現在のスケーリングした動画オブジェクトのコンテンツを前記現在の表示コンテンツから差し引き、前記新しいスケーリングした動画オブジェクトのコンテンツを加えることにより、更新されることを特徴とする方法。
15. 順序付けられたグラフィックオブジェクトのスタックの中の少なくとも１つの動画オブジェクトの混合パラメータの値を１又はそれ以上のステップで変えるために適応した、請求項１０乃至１４のいずれか１項の方法であって、第一及び第二の混合パラメータ値又は混合パラメータ値のセットに対応した前記スタックの中の前記の又は各々の動画オブジェクトに対して、第一及び第二の混合パラメータのステンシルと第一及び第二の表示バッファを形成し、前記第一及び第二のステンシルの各々の混合パラメータ値は、前記対応する動画オブジェクトと前記スタック中の前記対応する動画オブジェクトの上方のあらゆるオブジェクトとの混合パラメータ値を考慮しており、かつ、前記混合パラメータの値を変える各ステップに対して、前記ステップ（ｂ）での使用のために、合成した混合パラメータステンシル及び合成した表示バッファコンテンツを、前記第一及び第二のステンシルと前記第一及び第二の表示バッファと現在のステップに対して要求されたパラメータ混合値とから導入することを特徴とする方法。
16. 請求項１５の方法であって、前記第一のステンシルＳ０及び前記第一の表示バッファＤ０は、ゼロの混合パラメータ値を用いて作り出され、前記第二のステンシルＳ０及び前記第二の表示バッファＤ１は、１の混合パラメータ値を用いて作り出され、かつ、前記合成したステンシルＳ及び前記合成した表示バッファのコンテンツＤは、前記現在のステップの要求されたパラメータ混合値ｔに対して次のように計算されることを特徴とする方法。
    Ｄ＝（１−ｔ）Ｄ０＋ｔＤ１
    Ｓ＝（１−ｔ）Ｓ０＋ｔＳ１
17. 請求項１乃至１６のいずれか１項に記載された方法であって、前記の少なくとも１つの各オブジェクトの混合パラメータは、前記オブジェクトの少なくとも一部に対して関連するトランスペアレンシを表す少なくとも１つのアルファ値を含むことを特徴とする方法。
18. 前のいずれかの請求項に記載された方法であって、前記の少なくとも１つの混合パラメータは、関連する前記オブジェクトの全ての色チャンネルに適用できる無彩色混合パラメータであることを特徴とする方法。
19. 請求項１７に記載の方法であって、前記の少なくとも１つの混合パラメータは、複数の色混合パラメータ値からなり、各々の色混合パラメータ値は、関連する前記オブジェクトの少なくとも１つの色チャンネルに適用できることを特徴とする方法。
20. 請求項１乃至１９のいずれか１項に記載の方法であって、前記グラフィックオブジェクトと合成オブジェクトとを、固定された所定のサイズの複数のビットマップタイルに分割し、該タイルをインデックスを付したアレイに記憶することを含むことを特徴とする方法。
21. 請求項２０に記載の方法であって、前記オブジェクトの少なくとも１つを、最も近いタイルサイズに丸めることにより、選択的にクリッピングすることを含むことを特徴とする方法。
22. 請求項２０に記載の方法であって、前記グラフィックオブジェクトの現在のコンテンツは、余剰なタイルを前記選択されたセットから取り除き且つ新しいタイルを前記選択されたセットに加えることにより、更新されることを特徴とする方法。
23. 請求項１５乃至２２のいずれか１項に記載の方法であって、前記タイルのサブセットを並列に処理することを含むことを特徴とする方法。
24. 請求項１乃至１９のいずれかに記載の方法であって、前記オブジェクトと合成表示のコンテンツは、請求項２０乃至２３のいずれかに従って、タイルから組み立てられることを特徴とする方法。
25. 前のいずれかの請求項に記載された方法であって、前記グラフィックオブジェクトは、データ通信ネットワーク経由での少なくとも１つの出力ロケーションへの送信のための、少なくとも１つのコンテンツソースから生じており、かつ、前記混合のステップ（ａ）及び（ｂ）は、前記コンテンツソースの少なくとも１つ及び／又は前記出力ロケーションの少なくとも１つ、及び／又は少なくとも１つの中間にあるロケーションにおいて、少なくとも１部が実行されることを特徴とする方法。
26. デジタルドキュメント処理システムであって、請求項１乃至２６のいずれかの方法を実行するために適応したものであることを特徴とするデジタルドキュメント処理システム。
27. 請求項２６に記載のシステムであって、
    複数の所定のデータフォーマットの１つにおいてソースデータを表す入力バイトストリームを受け取るための入力機構と、
    前記バイトストリームを翻訳するための翻訳機構と、
    前記バイトストリームから翻訳したコンテンツを内部表現データのフォーマットへ変換するための変換機構と、
    出力デバイスを駆動するために適した出力表現データを生成するために前記内部表現データを処理するための処理機構とを備えるものであることを特徴とするシステム。
28. 請求項２７に記載のシステムであって、前記ソースデータはデジタルドキュメントのコンテンツと構造を定義し、かつ、前記内部表現データは、前記構造を、複数のデータ形式を定義する包括的オブジェクトと包括的オブジェクトの特定のインスタンスの性質を定義するパラメータとに関して、前記コンテンツとは分離して記述することを特徴とするシステム。
29. 請求項２８に記載のシステムであって、さらに包括的オブジェクトの形式のライブラリを含み、前記内部表現データは、前記ライブラリのコンテンツに基づくものであることを特徴とするシステム。
30. 請求項２８又は請求項２９に記載のシステムであって、オブジェクトとパラメータに基づく前記内部表現データの少なくとも１部の特定のビューの表現を、第一の制御入力に基づいて生成するのに適合したパーシング及びレンダリングモジュールを含むことを特徴とするシステム。
31. 請求項３０に規定されたシステムであって、さらに、前記特定のビューの前記オブジェクトとパラメータに基づく表現を、前記パーシング及びレンダリングモジュールから受け取るのに適合し、かつ、前記オブジェクトとパラメータに基づく表現を、特定の出力デバイスを駆動するのに適した出力データフォーマットへ変換するのに適合した形状処理モジュールを含むことを特徴とするシステム。
32. 請求項３１に記載のシステムであって、前記形状処理モジュールは、前記オブジェクトを、オブジェクトの境界を定義するバウンダリボックスと、該バウンダリボックスにより境界をつけた前記オブジェクトの実際の形状を定義する形状と、前記オブジェクトのデータコンテンツと、前記オブジェクトのトランスペアレンシとに基づいて処理することを特徴とするシステム。
33. 請求項３２に記載のシステムであって、前記形状処理モジュールは、前記オブジェクトのエッジにグレイスケールのエイリアス除去を適用するのに適したものであることを特徴とするシステム。
34. 請求項３１、請求項３２、又は請求項３３に記載のシステムであって、前記形状処理モジュールは、パイプラインアーキテクチャを有するものであることを特徴とするシステム。
35. 請求項２８乃至３４のいずれか１項に記載のシステムであって、前記オブジェクトのパラメータは、次元の、物理的な、及び時間のパラメータを含むものであることを特徴とするシステム。
36. 請求項２７乃至３５のいずれかに記載のシステムであって、該システムは、色データを記述するために、クロミナンス／ルミナンスに基づく色モデルを用いることを特徴とするシステム。
37. 請求項２７乃至３６のいずれかに記載のシステムであって、該システムは、１つ又はそれ以上のデータソースからの１つ又はそれ以上のセットのソースデータを処理して１つ又はそれ以上のセットの出力表現データを生成するための、全部又は一部における複数の並列実行に適応したものであることを特徴とするシステム。
38. データ処理システムのためのグラフィカルユーザーインターフェイスであって、該ユーザーインターフェイスにより用いられる対話型の視覚表示は、請求項２６乃至３７のいずれか１項に記載されたデジタルドキュメント処理システムにより生成されるものであることを特徴とするグラフィカルユーザーインターフェイス。
39. データ処理デバイスであって、請求項３８に記載されたグラフィカルユーザーインターフェイスを組み込んでいるものであることを特徴とするデータ処理デバイス。
40. ハードウェアデバイスであって、請求項２６乃至３７のいずれか１項に記載のデジタルドキュメント処理システムをデータ処理し及び／又はストレージエンコードするためのものであることを特徴とするハードウェアデバイス。
41. 請求項４０に記載のハードウェアデバイスであって、さらにコアプロセッサシステムを含むことを特徴とするハードウェアデバイス。
42. 請求項４１に記載のハードウェアデバイスであって、前記コアプロセッサはＲＩＳＣプロセッサであることを特徴とするハードウェアデバイス。
43. データ処理システムであって、請求項２６乃至３７のいずれか１項に記載のデジタルドキュメント処理システムを含むものであることを特徴とするデータ処理システム。
44. 請求項４３に記載のデータ処理システムであって、該データ処理システムは、ポータブルデータ処理デバイスを備えるものであることを特徴とするデータ処理システム。
45. 請求項４４に記載のデータ処理システムであって、前記ポータブルデータ処理デバイスは、ワイヤレス通信デバイスを備えるものであることを特徴とするデータ処理システム。
46. 請求項４３に記載のデータ処理システムであって、該データ処理システムは、ネットワークのユーザー端末を備えるものであることを特徴とするデータ処理システム。
47. データ処理システムと共に用いるための周辺デバイスであって、請求項２６乃至３７のいずれか１項に記載のデジタルドキュメント処理システムを含むものであることを特徴とする周辺デバイス。
48. 請求項４７に記載の周辺デバイスであって、該周辺デバイスは視覚表示デバイスであることを特徴とする周辺デバイス。
49. 請求項４７に記載の周辺デバイスであって、該周辺デバイスはハードコピー出力デバイスであることを特徴とする周辺デバイス。
50. 請求項４７に記載の周辺デバイスであって、該周辺デバイスは入力デバイスであることを特徴とする周辺デバイス。
51. 請求項４７に記載の周辺デバイスであって、該周辺デバイスはネットワークデバイスであることを特徴とする周辺デバイス。
52. 請求項４７に記載の周辺デバイスであって、該周辺デバイスは多機能周辺デバイスであることを特徴とする周辺デバイス。

Images