JP2003067758A - デジタル・ビデオ・パイプライン内で異なるグラフィックス形式を組み合わせるためのシステム - Google Patents

Abstract

(57)【要約】 【課題】 オブジェクト指向（ベクトル）とビットマッ
プ（ラスター）の両方のグラフィックスや画像を交互に
効果的かつ効率的に処理する。 【解決手段】 グラフィック・オブジェクトを処理する
ように構成された第１の複数ステージ（１１１、１１
２、１１３、１１４、１１５）を含むグラフィックス・
パイプライン（１０９）と、ビットマップ・イメージを
処理するように構成された第２の複数ステージ（１０
２、１０３、１０４、１０５、１０６、１０７、１０
８）を含むビットマップ・イメージ・パイプライン（１
００）と、前記パイプラインの１つに含まれる前記ステ
ージの選択された１つ又は複数の出力を、前記パイプラ
インの１つに含まれる前記ステージの選択された別の１
つ又は複数の入力に提供するためのイメージ・パスを定
義する、選択的に構成可能な相互接続マトリックス（１
４０）を備える。

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は一般に画像処理に関
し、特にオブジェクト指向グラフィックス処理パイプラ
インとラスター・グラフィックス処理パイプラインを組
み合わせるための装置と方法に関する。 【０００２】 【従来の技術】画像は、一般的にラスター・グラフィッ
クス（ビットマップ・データ）とグラフィック・オブジ
ェクトの２種類の画像情報のいずれかを使用して表現さ
れ、表示される。通常、コンピュータで生成されるデジ
タル画像は赤、緑、青（ＲＧＢ）の燐ドットの三原色を
使用して表示装置（モニタ）に表示される。コンピュー
タの表示装置はピクセルの行と列で構成される。各ピク
セルは燐ドットの三原色（ＲＧＢ）である。各ピクセル
の赤、緑、青の輝度を制御し、コンピュータの表示装置
で様々な色をシミュレートする。デジタル画像は、ピク
セルを構成する３つのドットの三原色のそれぞれについ
てアドレスを指定し、ＲＧＢの輝度を定義することによ
ってコンピュータの表示装置に表示される。 【０００３】ピクセルの照度に関する情報は、生のラス
ター・データとしてコンピュータから表示装置に送信さ
れる。この情報は、ＲＧＢピクセルの輝度で構成されて
おり、通常、コンピュータ画面の左上のピクセルから始
まってコンピュータ画面最上部の１行目に配置された後
続の各ピクセル・グループに関する赤、緑、青のピクセ
ル輝度値が続く。１行目が完了すると、生のラスター・
データはコンピュータ画面の２行目の１番左に配置され
たピクセルに続き、同様にコンピュータ画面内の各ピク
セル・グループについて、生のラスター・データからピ
クセル・グループの各ピクセルの輝度値が指定される。
コンピュータはこうしてコンピュータ画面に表示される
デジタル画像を生成し、ユーザーはこれを画像として認
識する。この種のピクセル照度情報は、一般に「ビット
マップ」イメージと呼ばれる。すなわち、画面上の各ピ
クセルは、表示装置のピクセル・レイアウトに対応する
２次元メモリ配列に格納された値にマップされる。各メ
モリ要素には、０から２５５までの対応するピクセル輝
度値が格納される。 【０００４】デジタル・カメラやデジタル・カムコーダ
などの入力装置には、４つのカラー・センサー（緑を感
知する左上のセンサー、青を感知する右上のセンサー、
赤を感知する左下のセンサー、緑を感知する右下のセン
サー）をグループ化したＢａｙｅｒパターンを実装する
Ｂａｙｅｒフィルターを使用できる。センサーの要素は
既知のパターンで繰り返される。前述のＢａｙｅｒパタ
ーンは、赤、緑、青ピクセルの位置を指定する標準入力
のセンサー・カラー・フォーマットであるが、通常の当
業者はこのパターンの様々な並べ替えが可能であり、コ
ンピュータ業界全体で使用されていることを理解できる
であろう。 【０００５】コンピュータは、センサーから取り込まれ
た生のビットマップ・イメージに対して多くの処理や手
順を実行することで、画像全体の美的価値を向上でき
る。例えば、４つのセンサーによるＢａｙｅｒグループ
のフィールドから得られた色（センサー自体の強さによ
って決まる）を周囲のセンサーの色と比較し、抽出され
たＲＧＢ三原色の輝度値を確立及び調整して人物の顔の
色合いなどの色が必ず緩やかに変化するようにしてか
ら、最終的にデジタル画像として表示することができ
る。色の要素の輝度を調整することによって、センサー
またはピクセル・グループから得られた色を調整する各
ステップは、全体としてビットマップ・パイプライン又
は生のラスター・パイプラインを確立する。デジタル画
像を構成するビットマップ・イメージは、コンピュータ
にとっては一連の色の輝度値である。 【０００６】コンピュータは、一般にオブジェクト指向
グラフィックスを使用してグラフィック・イメージを生
成し、点、線、多角形、英数字、特殊記号、フォントな
どの１つ又は複数のグラフィック基本形（primitives）
を作成し、さらにこれらの基本的なグラフィック基本形
を組み合わせて画像全体を表現することができる。例え
ば、標準のグラフィック基本形オブジェクトである正方
形は、サイズ、位置、線、塗りつぶしの色など、該当す
る正方形を構成するのに必要なデータとして表され、正
方形のグラフィック・イメージを構成する。しかし、グ
ラフィック・イメージに含まれる人物は、多くの独立し
たグラフィック基本形から構成されており、全体として
複数の基本形から構成される別の複雑なオブジェクト
（ここでは人物）を表現する。現在では、ビットマップ
・グラフィックス又はラスター・グラフィックスによる
デジタル画像をオブジェクト指向グラフィック表現によ
るデジタル画像に変換する認識ソフトウェアが存在す
る。変換のアルゴリズムの機能は様々であり、デジタル
画像のグラフィック表現は変換に使用するアルゴリズム
の機能の直接的な関数である。例えば、このアルゴリズ
ムを人物のデジタル画像に使用する場合、人物のグラフ
ィック・イメージの外観の質は人物のラスターによるデ
ジタル画像を人物のオブジェクト指向グラフィック表現
に変換するアルゴリズムの質の直接的な関数である。 【０００７】デジタル画像をオブジェクト指向グラフィ
ック表現に変換すると、コンピュータはデジタル画像を
表現する様々な基本形の位置と向きを変えることでグラ
フィック表現の動きをシミュレートできる。例えば、人
物のデジタル画像をグラフィック表現に変換すると、そ
の人物の足を表すオブジェクト指向グラフィック基本形
オブジェクトの向きを変更することで歩いている人物を
シミュレートできる。グラフィック・イメージが複雑に
なり、シミュレートする動きが向上すると、グラフィッ
ク・イメージ全体の質がリアルな画像すなわち人工的で
ない画像に近付く。 【０００８】コンピュータ画面に表示されるグラフィッ
ク・データは、多くのステージを経て画像全体の外観が
向上する。換言すれば、グラフィック・イメージがグラ
フィックス・パイプラインを通過する間に、グラフィッ
ク・イメージ全体の外観を向上し、様々な補正を施し、
基本形要素や構成コンポーネントを１つの画像に統合す
ることができる。 【０００９】前述のように、コンピュータ画面に表示さ
れる画像は、通常、オブジェクト指向グラフィック・イ
メージ又はビットマップ（ラスター・スキャン）イメー
ジから生成される。ビットマップ・イメージが表示され
る場合は、ビットマップ・パイプラインすなわちラスタ
ー・パイプラインを使用してピクセルの色の輝度を調整
してからコンピュータ画面に画像が表示される。オブジ
ェクト指向グラフィック・イメージが表示される場合
は、グラフィック・イメージはグラフィックス・パイプ
ラインを通過して基本形を合成画像に統合してから表示
される。従来技術によるシステムでは、今日のテレビの
「ピクチャ・イン・ピクチャ」機能と同様に、画面上で
ビットマップ・イメージを表示できる部分又はウィンド
ウとオブジェクト指向グラフィック・イメージを表示で
きる部分又はウィンドウが分離されており、２種類の画
像は別々のグラフィック・パイプを通過してくるため、
画面の１つの領域又はウィンドウに表示される画像は依
然としてビットマップ・イメージとオブジェクト指向グ
ラフィック・イメージのいずれかである。 【００１０】 【発明が解決しようとする課題】オブジェクト指向（ベ
クトル）とビットマップ（ラスター）の両方のグラフィ
ックスや画像を交互に効果的かつ効率的に処理すること
が望まれる場合には問題がある。 【００１１】 【課題を解決するための手段】オブジェクト指向とビッ
トマップの両方のグラフィックスや画像を効果的かつ効
率的に処理する必要がある場合は、オブジェクト指向
（「ベクトル」）のグラフィックス・パイプラインとラ
スター・スキャン（「ビットマップ」イメージ）パイプ
ラインのいずれか又は両方の選択されたステージで画像
データを処理できるように、両方のパイプラインを組み
合わせたシステムと方法によって目的が達成される。す
なわち、オブジェクト指向グラフィックス・パイプライ
ンにはグラフィック・データを順次処理するよう構成さ
れたいくつかの処理ステージを含めることができ、グラ
フィックス・データには点、線、多角形、英数字、特殊
記号、フォントなどの１つ又は複数のグラフィック基本
形を生成するためのデータを含めることができる。オブ
ジェクト指向グラフィックス・パイプラインのグラフィ
ック処理ステージの例には、走査変換、クリッピング、
ビューポートへのウィンドウ処理、投影、ソート処理の
組み合わせ又は部分的な組み合わせを含めることができ
る。他の機能や代わりの機能などを代用又は併用しても
よい。同様に、ビットマップ・パイプラインすなわちラ
スター・スキャン・パイプラインには、複数のピクセル
輝度値や他のピクセル特性で画像を表すビットマップ・
データを順次処理するように構成されたいくつかの処理
ステージを含めることができる。これらのビットマップ
・パイプラインすなわちラスター・スキャン・パイプラ
インの処理ステージには、（ｉ）モザイク解除（demosa
icing）、（ｉｉ）色補正／ホワイト・バランス、（ｉ
ｉｉ）全領域（gamut）マッピング、（ｉｖ）階調補
正、（ｖ）フレア補正、（ｖｉ）色変換、（ｖｉｉ）ス
ケーリングの組み合わせ又は部分的な組み合わせを含め
ることができる。他の機能や代わりの機能などを代用又
は併用してもよい。プロセッサは、それぞれのパイプラ
インを経由して選択的にステージを連結し、必要なデー
タ変換（ビットマップ・イメージからオブジェクト指向
グラフィック・データを形成するための多角形認識と多
角形変換、及びオブジェクト指向グラフィック・データ
形式からビットマップ・データ形式への同様の変換）を
行って各パイプラインのステージ間でデータを「クロス
オーバー」することができるので便利である。 【００１２】本発明の１つの態様に従って、イメージ・
プロセッサは、グラフィック・オブジェクトを処理する
ように構成された第１の複数ステージを含むオブジェク
ト指向グラフィックス・パイプラインと、ビットマップ
・イメージを処理するように構成された第２の複数ステ
ージを含むビットマップ・イメージ・パイプラインを備
えることができる。相互接続は、パイプラインの一方
（グラフィックス・パイプライン又はビットマップ・イ
メージ・パイプライン）のステージの１つの出力を、同
じパイプラインの選択された次のステージかデフォルト
の次のステージ（ある場合）の入力に、又は他方のパイ
プラインの選択されたステージ（１つ以上）に提供する
ように選択的に構成できる。本発明の１つの機能に従っ
て、第１の複数ステージのそれぞれ（グラフィックス・
パイプラインの各ステージ）は、異なる機能を実行でき
る。これらの機能には、走査変換、クリッピング、ビュ
ーポートへのウィンドウ処理、投影、ソート処理などの
（しかし必ずしもこれらに限定されない）グループの１
つ又は複数が含まれる。同様に、本発明のもう１つの機
能に従って、第２の複数ステージのそれぞれ（ビットマ
ップ・イメージ・パイプラインの各ステージ）は、異な
る機能を実行できる。これらの機能には、モザイク解
除、色補正／ホワイト・バランス、全領域マッピング、
階調補正、フレア補正、色変換、スケーリングなどの
（しかし必ずしもこれらに限定されない）グループの１
つ又は複数が含まれる。 【００１３】本発明のもう１つの機能に従って、出力ス
テージにはそれぞれのパイプラインの出力（グラフィッ
クス・パイプラインとビットマップ・イメージ・パイプ
ラインの選択されたステージの出力）を接続できる。パ
イプライン間の相互接続には、第１の（グラフィック
ス）複数ステージの１つ又は複数の出力を、第１の（グ
ラフィックス）複数ステージの指定された次の１つ又は
選択された次の１つと、第２の（ビットマップ・イメー
ジ）複数ステージの選択された１つにルーティングする
ように構成できるスイッチング・マトリックスを含める
ことができる。同様に、このスイッチング・マトリック
スは、第２の（ビットマップ・イメージ）複数ステージ
のいくつかの出力を、第２の（ビットマップ・イメー
ジ）複数ステージの次の１つと、第１の（グラフィック
ス）複数ステージの選択された１つにルーティングする
よう構成できる。本発明のもう１つの機能に従って、グ
ラフィックス・パイプラインは、グラフィック識別デー
タとグラフィック位置データを含むグラフィック・デー
タを受信するよう構成され、ビットマップ・イメージ・
パイプラインは、ピクセル輝度情報を表すラスター・ス
キャン・イメージ・データを受信するよう構成される。
データ・フォーマット・コンバータを配置し、オブジェ
クト指向グラフィックス・データ形式とビットマップ・
イメージ・データ形式とを、いずれか一方から一方向
に、又はいずれか一方の形式から他方の形式に双方向
に、変換するように構成することもできる。 【００１４】本発明のもう１つの機能に従って、画像認
識ステージはビットマップ・イメージ内でオブジェクト
指向グラフィック・イメージを識別し、コード化するよ
うに構成できる。例えば、画像認識ステージでは、ビッ
トマップすなわちラスター・ベースの表現内で多角形、
多面体、線、面、曲線、孤、点、ベクトル、キャラク
タ、記号や他の基本形を含む基本形要素や形状と、合成
されたグラフィック構造を認識し、同じものを適切なオ
ブジェクト指向グラフィック・データ表現に変換するこ
とができる。変換には変換された部分を元のビットマッ
プから削除する作業を含めることができるので、変換さ
れたオブジェクトがグラフィックス・パイプラインで処
理される間にビットマップ・イメージの残りの部分を適
切に処理できる。共通の命令デコーダによって相互接続
（たとえば、スイッチング・マトリックス）を制御でき
るので、グラフィックスとビットマップ・イメージの両
方のパイプラインの間でグラフィック・オブジェクトと
ビットマップ・イメージ・オブジェクトの少なくとも１
つをルーティングできる。 【００１５】本発明のもう１つの態様に従って、画像処
理の方法に、オブジェクト指向グラフィックス・パイプ
ラインのステージの１つ又は複数とビットマップ・イメ
ージ・パイプラインのステージの１つ又は複数の選択的
な構成を含めることができる。結果として得られる構成
では、一方のパイプラインの１つのステージの出力が、
他方のパイプラインの１つのステージの入力に送信さ
れ、各パイプラインの少なくとも１つのステージを経由
して画像を送信することで画像を処理できることにな
る。 【００１６】本発明の１つの機能に従って、グラフィッ
クス・パイプラインの各ステージで実行される処理は、
このパイプラインの別のステージで実行される処理とは
異なり、走査変換、クリッピング、ビューポートへのウ
ィンドウ処理、投影、ソート処理を含む（しかしこれら
に限定されない）処理のグループから選択できる。同様
に、ビットマップ・イメージ・パイプラインの各ステー
ジで実行される処理は、別のステージで実行される処理
とは異なり、モザイク解除、色補正／ホワイト・バラン
ス、全領域マッピング、階調補正、フレア補正、色変
換、スケーリングを含む（しかしこれらに限定されな
い）処理のグループから選択できる。 【００１７】本発明のもう１つの機能に従って、ステッ
プを組み合わせることで、両パイプラインの出力によっ
て提供される信号すなわちデータからマージ出力を形成
できる。 【００１８】本発明のもう１つの機能に従って、選択的
にパイプラインを構成するステップで、１つ又は複数の
ステージの出力を、次の１つのステージに、又は他方の
パイプラインの選択された１つのステージに選択的にル
ーティングすることができる。オブジェクト指向グラフ
ィックス・データはグラフィックス識別データとグラフ
ィックス位置データを含む形式でグラフィックス・パイ
プラインを通過し、かつ／または個々のピクセル特性
（たとえば、輝度、色、他のピクセル表示情報など）を
表すラスター・スキャン（ビットマップ）イメージ・デ
ータはビットマップ・イメージ・パイプラインを通過す
る。オブジェクト指向グラフィックス・データ形式とビ
ットマップ・イメージ・データ形式間の変換用に変換の
ステップを含めることができる（いずれか１方向又は双
方向のデータ変換を行う）。画像認識のステップによっ
て、ビットマップ・イメージ内のグラフィック・イメー
ジを識別し、コード化するための準備ができる。本発明
のもう１つの機能に従って、相互接続を制御するステッ
プで、グラフィックス・パイプラインとビットマップ・
イメージ・パイプラインの間でグラフィック・オブジェ
クトとビットマップ・イメージ・オブジェクトのいずれ
か（又は両方）をルーティングできる。 【００１９】本発明のもう１つの態様に従って、プロセ
ッサは２つのパイプライン方式を備えることができる。
第１のパイプライン方式はオブジェクト指向グラフィッ
ク・オブジェクトを処理する複数のグラフィック・イメ
ージ処理方式を備えることができ、第２のパイプライン
方式はビットマップ・イメージを処理する複数のビット
マップ・イメージ処理方式を備えることができる。相互
接続方式は、一方のパイプライン方式の１つの処理方式
の出力を、他方のパイプライン方式の１つの処理方式の
入力に選択的に接続できる。 【００２０】以上、後述の発明の実施の形態をより深く
理解するために、本発明の特定の機能と技術的な利点に
ついて広く概要を示した。本発明の特許請求の範囲の対
象となるその他の機能と利点については以下で説明す
る。開示された概念と特定の実施態様が本発明の同じ目
的を達成するために他の構造を変更又は設計する基礎と
して直ちに使用できることを、当業者は理解するであろ
う。このような均等の構造が前述の特許請求の範囲に規
定される本発明の趣旨と適用範囲を逸脱しないことも、
当業者は理解するであろう。 【００２１】 【発明の実施の形態】ここで添付の図と後述のその説明
を参照することによって、本発明をより詳細に理解でき
る。 【００２２】デジタル画像を表示するには、ビットマッ
プ・パイプラインすなわちラスター・パイプラインを使
用してビットマップ・イメージを処理し、赤、緑、青の
ピクセル情報を含む表示可能な画像を取得する必要があ
る。ビットマップ・パイプラインには多くのステップが
含まれており、画像はこれらのステップで修正され、処
理され、結果として精密で写実的で満足を与える画像の
表示が保証される。例えば、デジタル・ビデオの表示で
は、通常、１秒間に３０デジタル画像フレームが表示さ
れ、各デジタル画像は後述のラスター・パイプラインを
通過する。デジタル画像又はフル・モーション・デジタ
ル・ビデオやパーシャル・モーション・デジタル・ビデ
オを表示するコンピュータでは、１つ又は複数のデジタ
ル画像はコンピュータの表示モニターに表示されるデジ
タル画像を構成するピクセルの輝度値の組み合わせとし
て解釈される。新たな処理を実行しないと、コンピュー
タはデジタル画像又はデジタル・ビデオのオブジェクト
を認識しない。 【００２３】しかし、コンピュータが実行できるビット
マップ・デジタル画像の変更は限定的である。コンピュ
ータはデジタル画像を一連の輝度値として解釈するの
で、コンピュータは輝度の値を増大又は減少することで
結果として表示される色をそれぞれ濃くしたり薄くした
りできる。 【００２４】図に示すのは、本発明の実施態様に従って
ビットマップ・パイプラインの処理ステージとオブジェ
クト指向グラフィックス・パイプラインの処理ステージ
を備える複合パイプラインである。複合パイプラインに
は相互接続が含まれており、相互接続によってパイプラ
インの１つのステージの出力を別のステージに送信して
さらに処理することができる。例えば、Ｂａｙｅｒパタ
ーンのビットマップ・イメージ形式の画像１０１がモザ
イク解除ステージ１０２で従来のビットマップ・パイプ
ライン１００に入るのが示されている。モザイク解除ス
テージ１０２では、各ピクセルのＢａｙｅｒパターンの
入力要素の赤、緑、青の三原色の輝度を変換し、アーテ
ィファクト（artifacts）（あらかじめ指定された輝度
値の影響）を補償する。従来のビットマップ・パイプラ
インでは、モザイク解除ステージ１０２から出力された
輝度値は、色補正とホワイト・バランスのステージ１０
３に進む。色補正とホワイト・バランスのステージ１０
３では、処理ソフトウェアがビットマップ全体のホワイ
ト・バランスを検査し、白を表示するために組み合わせ
る各ピクセルの構成要素である色が適正な輝度を持ち、
実際にその組み合わせが白として表示されることを保証
する。さらに、他の色の輝度は、表示される色が意図し
た実際の色に、できるだけ近付くように、赤、緑、青の
構成要素の輝度を調整することによって補正される。 【００２５】様々な装置によって特定の色が様々に作成
されるので、全領域マッピング・ステージ１０４で様々
なプラットフォーム間の色の違いを補正する。この補償
によって、コンピュータ画面、プリンタ、プロッタな
ど、画像が表示又は記録される任意の装置を含めて、様
々な装置間の違いが修正される。全領域マッピング１０
４の目的は、ある色空間と別の色空間との間に発生し得
る違いを除去し、デジタル画像で表示される色が正確に
作成されるようにすることである。すなわち、コンピュ
ータ画面に表示されるデジタル画像は印刷されたコピー
のデジタル画像と同じ色合いを持つ必要がある。全領域
マッピング・ステージ１０４は、画像の忠実なレンダリ
ングを促進するためのものである。 【００２６】階調補正ステージ１０５はビデオ用のパイ
プラインにも含まれ、２つのピクセルが同じ色を表す場
合にピクセル間の色の変化を除去又は緩和する。例え
ば、図の中心に正方形の赤い箱があり、箱全体の色が均
一な場合は、階調補正によって正方形の赤い箱を構成す
るピクセルの色の構成要素をチェックし、赤、緑、青の
構成要素の輝度を調整して同じ色になるようにする。 【００２７】フレア補正ステージ１０６は生のイメージ
のパイプラインにも含まれ、元の画像における白色光の
効果とその白色光が結果の画像にどう影響するかを制御
する。例えば、前述の正方形の赤い箱の部分が白色スポ
ットライトで照らされ、赤い箱の別の部分がスポットラ
イトの光の外側にある場合、白色スポットライトの存在
は正方形の赤い箱の赤の濃淡（shade）には影響せず、
赤い箱の該当する部分自体の照度だけに影響するはずで
ある。フレア補正ステージ１０６では、色の各構成要素
の輝度を調整し、結果の色が他の照明状態においてピク
セル間で適正な釣り合いが保たれるようにする。 【００２８】色変換ステージ１０７では１つのオブジェ
クトの色むらを補償する。スケーリング・ステージ１０
８はビデオのパイプラインに含まれ、所望の表示装置又
は出力装置に合わせてデジタル画像をスケーリングす
る。ただし、複合パイプラインのビットマップ・パイプ
ライン１００に含まれるステップは、考えられるラスタ
ー・イメージすなわちビットマップ・イメージを処理す
る例、及びその処理を別個のステージに分割する例とし
て示されており、各ステージは特定のデジタル画像を処
理するために使用され、表示されるデジタル画像のいず
れを処理するときにも必要というわけではない。さら
に、複合パイプラインに含まれるビットマップ・パイプ
ライン１００は、処理ステップを実行する１つの順序に
過ぎない。例えば、階調補正ステージ１０５は全領域マ
ッピング・ステージ１０６の前に実行してもよい。全領
域マッピング１０６では目的の出力装置についての情報
が必要である。一部の例では、全領域マッピングをビッ
トマップ・パイプライン１００の最後のステップにする
こともできる。ビットマップ・パイプラインで特定のデ
ジタル画像を処理するステージの順序やステージの数も
変更できる。１つの実施態様に従って、前述の各ステー
ジはビットマップ・パイプラインに含まれ、適切な補正
を行うのが好ましい。 【００２９】複合パイプライン構造には、オブジェクト
指向グラフィックス・パイプライン１０９も含まれる。
２つの端点ｘ１、ｙ１、ｚ１とｘ２、ｙ２、ｚ２で定義
される線１１０など、最初のオブジェクト指向グラフィ
ック・イメージは、走査変換ステージ１１１でグラフィ
ックス・パイプライン１０９に入る。線の場合は、走査
変換ステージ１１１で線１１０に沿ったすべての点を表
す想像上の線がアルゴリズム的に描かれる。アルゴリズ
ム的に線が決定すると、線の画像を構成するピクセルが
識別され、レンダリングされる。レンダリングは、画像
に写実的な外観を与えるように、幾何学的なモデルを使
用し、色と影を使用する画像の作成を表す用語である。
走査変換ステージ１１１の全体的な機能には、多角形の
画像をレンダリングするための多角形など、リンクのな
い形状の幾何学的描写を変形するプロセスを含めること
ができる。 【００３０】クリッピング・ステージ１１２は、イメー
ジ・ウィンドウが定義され、特定のイメージ・ウィンド
ウの外側にある、レンダリングする画像の部分をレンダ
リングする画像から削除する場合に実行される。クリッ
ピング・ステージには多くの様々なアルゴリズムが適用
される。クリッピングでは、ユーザーが定義した大きさ
と形状のウィンドウを使用して定義空間の外側にある部
分の画像をインテリジェントに削除できる。 【００３１】ビューポートへのウィンドウ・ステージ１
１３では、直交座標（一般的にｕとｖ）が定義され、グ
ラフィック・イメージを取り囲む空間を定義する。空間
が定義されると、定義された空間の幾何変換を実行する
一連のアルゴリズムを適用することによってその空間が
正規化される。正規化された空間を使用すると、投影ス
テージ１１４で実行される投影の複雑性が最小化され
る。 【００３２】投影ステージ１１４では、グラフィック・
オブジェクトを見るための様々な投影又は視点を定義
し、様々な視点から見たグラフィック・オブジェクトや
グラフィック・オブジェクトの部分を表示する。投影ス
テージ１１４では、正規化された幾何学的形状が、そこ
から光線が投影される投影の中心と対になり、幾何学的
形状の投影の中心から見える部分が識別される。例え
ば、背面クリッピング平面が定義され、ここに画像の背
面又は背後から見た画像の形状を含む画像の投影が生成
される。同様に、前面クリッピング平面が定義され、こ
こに前面から見た画像の投影が取り込まれる。２次元の
視点又は３次元の視点からの投影が可能である。一般
に、平行投影が使用される。平行投影では、投影の中心
が無限遠と定義される。平行投影を利用することによ
り、オブジェクトの投影は視点が空間の１点でなくオブ
ジェクトの表面に面平行であるように表示できる。投影
の中心は、事前に定義してもユーザーが決定してもよ
い。 【００３３】一般に、ソート・ステージ１１５はビュー
参照点を定義した後に配置される。ビュー参照点は、オ
ブジェクトの投影が表示画面に表示される起点を定義す
る。ビュー参照点が定義されると、投影ステージ１１４
で作成される画像の投影が並べ替えられ（ソートさ
れ）、ビュー参照点からの適切な投影を識別する。例え
ば、ソート・ステージ１１５で使用するアルゴリズムの
１つは、ビュー参照点から見てグラフィック・オブジェ
クトの後ろになる面を除去する背面選択アルゴリズムで
ある。ソート・ステージ１１５は、グラフィック・イメ
ージの表示される部分を決定するアルゴリズム群であ
る。一般に、様々な奥行きのグラフィック・オブジェク
トを想定して適宜表示するための奥行きソート処置アル
ゴリズムも含まれる。ビュー参照点は、事前に定義して
もユーザーが決定してもよい。 【００３４】オブジェクト指向グラフィックス・パイプ
ライン１０９の出力とラスター・パイプライン１００の
出力は、結合してマージ出力１１６を形成する。マージ
出力は、グラフィックス・パイプライン１０９かラスタ
ー・パイプライン１００のいずれかの最終出力ステージ
から得られる。代替的に、マージ出力は適切な手段でイ
ンターリーブされた２つのパイプラインの出力である。
従って、マージ出力１１６はコンピュータ画面又は他の
任意の装置に表示できる。 【００３５】複合パイプラインにはルーティング・マト
リックス１４０を形成する交差接続１１７及至１３９が
含まれており、ラスター・パイプラインのステージとグ
ラフィックス・パイプラインのステージの間に存在す
る。ルーティング・マトリックス１４０は制御ロジック
１４１で制御される。制御ロジックには、ルーティング
・マトリックス１４０で実現されるパイプライン・ステ
ージ間の相互接続を定義するための構成レジスタ１４２
が含まれる。制御ロジック１４１には、特定の画像デー
タが複合パイプラインを通過するパスの自動制御を含め
ることができる。このパスは、（所定又はユーザー制
御）アプリケーション・ソフトウェア設定で制御して
も、（所定又はユーザー制御）オペレーティング・シス
テム設定で制御しても、画像データ、入力装置、出力装
置の１つ以上の特性に依存する確立済みの規則に基づい
て制御してもよい。 【００３６】これらの接続によって、各パイプラインか
ら得られた画像データは複合画像に変換され、複合パイ
プラインの任意のステージで処理できる。例えば、モザ
イク解除ステージ１０２の処理を終えると、結果のビッ
トマップ・イメージ・データは、デジタル画像を表す一
連の色の輝度値になる。これらの輝度値はパス１１７を
介して走査変換ステージ１１１に送られる。走査変換ス
テージ１１１で、一連のＲＧＢ値からなる画像はソフト
ウェアがビットマップ・イメージ内に含まれるオブジェ
クト指向グラフィック・オブジェクトを認識できるよう
に処理される。このオブジェクト認識ソフトウェアはス
テージ１４３に存在し、ビットマップ・パイプライン１
００のステージの出力に双方向で接続される。例えば、
元のデジタル画像が人物のデジタル画像である場合は、
多くのピクセル１０１がモザイク解除ステージ１０２で
処理される。この一連のピクセルがデジタル画像の処理
後に走査変換ステージ１１１に送られ、デジタル画像に
含まれる人物の画像は元のビットマップ・デジタル画像
に近い一連のオブジェクト指向の幾何学的形状（基本
形）に変換される。この変換が完了すると、走査変換ス
テージ１１１で幾何学的オブジェクトがデジタル画像に
含まれる人物の３次元表現に変換される。これで、３次
元表現はグラフィックス・パイプライン内の他の任意の
ステージで適宜処理できる。 【００３７】代替的に、パイプラインの様々なステージ
間のデータのルーティングは、ルーティング・マトリッ
クス１４０を使用する代わりに、処理する画像データに
ルーティング情報を複合パイプライン内のパスを定義す
るルーティング・タグなどの形で付加又は関連付けする
ことによっても実現できる。 【００３８】逆に、走査変換ステージ１１１で線の形の
グラフィック基本形１１０を受信した場合は、一般にそ
の線の３次元表現が走査変換の最終的な結果である。ユ
ーザーがその３次元の線を色補正／ホワイト・バランス
・ステージ１０３に送信する場合は、その３次元の線が
デジタル形式で線を表すビットマップ表現に変換され
る。この変換は、オブジェクト指向グラフィックス・パ
イプライン１０９の各ステージの出力に双方向で接続さ
れるデータ・フォーマット・コンバータ１４４によって
実行される。これで、このＲＧＢ４ピクセル表現をビッ
トマップ・パイプライン１００の他の任意のステージを
経由して送信し、画質を向上することができる。 【００３９】代替的に、画像を表す２つの方法の望まし
い属性を備え、コンピュータがオブジェクト指向グラフ
ィック形式のオブジェクトを認識及び操作でき、しかも
コンピュータ画面にビットマップ・イメージ形式で画像
を正確に描くことができる複合形式を作成できるのが好
ましい。この複合形式を使用すると、通常はビットマッ
プ・パイプラインに含まれるステージにユーザーが画像
を送信するたびにグラフィック表現からＲＧＢピクセル
表現に画像を変換する必要性も、グラフィックス・パイ
プラインのステージを使用する場合に画像をＲＧＢビッ
トマップ表現からオブジェクト指向グラフィック（又は
多角形）表現に変換する必要性もなくなる。この複合形
式は、ＲＧＢラスター空間とオブジェクト指向グラフィ
ック空間とのマッピングであるのが好ましい。複合形式
によって、２つの形式のスーパーセットを構成すること
もできる。 【００４０】本発明の開示によって通常の当業者が理解
するように、ここで説明した当該の実施態様と事実上同
じ機能を実行するか事実上同じ結果をもたらす既存の又
は後に開発されるプロセス、機械、製品、組成物、手
段、方法、ステップは、本発明に従って利用できる。従
って、特許請求の範囲により、当該のプロセス、機械、
製品、組成物、手段、方法、ステップをそれらの適用範
囲内に含むものとする。 【００４１】本発明の態様を以下に例示する。 【００４２】１．イメージ・プロセッサであって、グラ
フィック・オブジェクトを処理するように構成された第
１の複数ステージ（１１１、１１２、１１３、１１４、
１１５）を含むグラフィックス・パイプライン（１０
９）と、ビットマップ・イメージを処理するように構成
された第２の複数ステージ（１０２、１０３、１０４、
１０５、１０６、１０７、１０８）を含むビットマップ
・イメージ・パイプライン１００と、前記パイプライン
の１つに含まれる前記ステージの選択された１つ又は複
数の出力を、前記パイプラインの１つに含まれる前記ス
テージの選択された別の１つ又は複数の入力に提供する
ためのイメージ・パスを定義する、選択的に構成可能な
相互接続マトリックス（１４０）を備えるイメージ・プ
ロセッサ。 【００４３】２．前記第１の複数ステージ（１１１、１
１２、１１３、１１４、１１５）のそれぞれが他のステ
ージと異なっており、走査変換（１１１）、クリッピン
グ（１１２）、ビューポートへのウィンドウ処理（１１
３）、投影（１１４）、ソート処理（１１５）などのス
テージのグループから選択される上記１に記載のイメー
ジ・プロセッサ。 【００４４】３．前記第２の複数ステージ（１０２、１
０３、１０４、１０５、１０６、１０７、１０８）のそ
れぞれが他のステージと異なっており、モザイク解除
（１０２）、色補正／ホワイト・バランス（１０３）、
全領域マッピング（１０４）、階調補正（１０５、フレ
ア補正（１０６）、色変換（１０７）、スケーリング
（１０８）などのステージのグループから選択される上
記１に記載のイメージ・プロセッサ。 【００４５】４．さらに、出力ステージ（１１６）が前
記パイプラインのそれぞれの出力に接続される上記１に
記載のイメージ・プロセッサ。 【００４６】５．前記相互接続が、前記第１の複数ステ
ージ（１１１、１１２、１１３、１１４、１１５）の１
つ又は複数の出力を、前記第１の複数ステージの次の１
つ又は前記第２の複数ステージ（１０２、１０３、１０
４、１０５、１０６、１０７、１０８）の選択された１
つにルーティングし、記第２の複数ステージの１つ又は
複数の出力を、前記第２の複数ステージの次の１つ又は
前記第１の複数ステージの選択された１つにルーティン
グするように構成できるスイッチング・マトリックス
（１４０）を備える上記１に記載のイメージ・プロセッ
サ。 【００４７】６．前記グラフィックス・パイプライン
（１０９）がグラフィックス識別データとグラフィック
ス位置データを含むグラフィックス・データ（１１０）
を受信するように構成され、前記ビットマップ・イメー
ジ・パイプライン（１００）がピクセル輝度情報を表す
ラスター・スキャン・イメージ・データ（１０１）を受
信するように構成される上記１に記載のイメージ・プロ
セッサ。 【００４８】７．グラフィックス・データ形式とビット
マップ・イメージ・データ形式との変換を行うように構
成されたデータ・フォーマット・コンバータ（１４４）
をさらに備える上記１に記載のイメージ・プロセッサ。 【００４９】８．前記ビットマップ・イメージ内のグラ
フィック・イメージを識別し、コード化するように構成
された画像認識ステージ（１４３）をさらに備える上記
１に記載のイメージ・プロセッサ。 【００５０】９．前記グラフィックス・パイプライン１
０９とビットマップ・イメージ・パイプライン（１０
０）の間で、前記グラフィック・オブジェクト（１１
０）と前記ビットマップ・イメージ・オブジェクト（１
０１）の少なくとも１つをルーティングする前記相互接
続（１１７乃至１３９）を制御するように動作できる共
通の命令デコーダをさらに備える上記１に記載のイメー
ジ・プロセッサ。 【００５１】１０．画像処理の方法であって、ラフィッ
クス・パイプライン（１０９）のステージ（１１１、１
１２、１１３、１１４、１１５）の１つ又は複数と、ビ
ットマップ・イメージ・パイプライン（１００）のステ
ージ（１０２、１０３、１０４、１０５、１０６、１０
７、１０８）の１つ又は複数を通過するイメージ・パス
を確立するためのパイプライン相互接続マトリックス
（１４０）を選択的に構成するステップと各パイプライ
ンの少なくとも１つのステージを通過する前記イメージ
・パスに沿って送信することで画像を処理するステップ
を含む方法。

【図面の簡単な説明】 【図１】ビットマップ・パイプラインのステージがグラ
フィックス・パイプラインのステージと相互に接続され
る本発明の実施態様に従った複合パイプラインのブロッ
ク図である。 【符号の説明】 １００ ビットマップ・イメージ・パイプライン（ラス
ター・パイプライン） １０２ モザイク解除 １０３ 色補正／ホワイト・バランス １０４ 全領域マッピング １０５ 階調補正 １０６ フレア補正 １０７ 色変換 １０８ スケーリング １０９ グラフィックス・パイプライン １１０ グラフィックス・データ １１１ 走査変換 １１２ クリッピング １１３ ビューポートへのウィンドウイング １１４ 投影 １１５ ソート １１６ 出力ステージ、マージ出力

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA20 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD05 CE11 CE17 CH05 CH08 CH14 CH18 5B080 BA03 BA05 BA07 CA04 CA05

Claims (1)

1. 【特許請求の範囲】 【請求項１】イメージ・プロセッサであって、 グラフィック・オブジェクトを処理するように構成され
   た第１の複数ステージを含むグラフィックス・パイプラ
   インと、 ビットマップ・イメージを処理するように構成された第
   ２の複数ステージを含むビットマップ・イメージ・パイ
   プラインと、 前記パイプラインの１つに含まれる前記ステージの選択
   された１つ又は複数の出力を、前記パイプラインの１つ
   に含まれる前記ステージの選択された別の１つ又は複数
   の入力に提供するためのイメージ・パスを定義する、選
   択的に構成可能な相互接続マトリックスを備えるイメー
   ジ・プロセッサ。