JP2007519068A

JP2007519068A - 変換技術を用いて意味記述を生成するコンピュータによる計算方法及びコンピュータシステム

Info

Publication number: JP2007519068A
Application number: JP2006534129A
Authority: JP
Inventors: ライジング、ホーレー、ケー．、サード
Original assignee: ソニーエレクトロニクスインク
Priority date: 2003-09-29
Filing date: 2004-09-29
Publication date: 2007-07-12
Also published as: WO2005033893A8; WO2005033893A2; EP1668464A4; CN101084510B; KR20060126928A; WO2005033893A3; CN101084510A; US20050091279A1; EP1668464A2

Abstract

現在の記述を混合して新たな記述を生成し、現在の複数の記述のそれぞれから残りの記述を抽出する。更に、現在の記述から抽出された残りの記述を用いて新たな記述の画像スタイルピラミッドの集合を生成する。

Description

本発明は、一般的には、マルチメディアコンテンツの記述に関し、特に、変換技術を用いた意味記述の生成に関する。

関連出願

本出願は、２００３年９月２９日に出願された米国仮出願番号第６０／５０６，９３１号の優先権を主張し、その出願の明細書及び図面は、引用により本願に援用される。

著作権注意／許可

本明細書の一部は、著作権保護の対象となる内容を含んでいる。著作権者は、米国特許商標庁の特許ファイル又は記録としての特許文献又は特許公報の複製に対しては、異論はないが、それ以外の全ての著作権は保有する。明細書及び図面に記載したソフトウェア及びデータの著作権は、ソニーエレクトロニクスインクに帰属する。

デジタルマルチメディア情報は、例えばデジタルテレビジョン信号のような放送による伝送、例えばインターネットのような双方向伝送によって、広く配信されるようになっている。デジタルマルチメディア情報は、静止画像、オーディオフィード（audio feeds）又はビデオデータストリームであってもよい。しかしながら、このような大量の情報が入手可能になると、利用者が特に興味のあるコンテンツを特定することは困難になっている。様々な組織が、特定のコンテンツを見つけるための検索、フィルタリング及び／又は閲覧に用いることができる情報の記述を提供することによって、この問題に対処しようとしている。「ムービングピクチャエクスパートグループ（Moving Picture Experts Group：以下、ＭＰＥＧという。）」は、マルチメディア情報のコンテンツ記述を標準化するために、一般的にはＭＰＥＧ−７と呼ばれるマルチメディアコンテンツ記述インタフェースを公布している。先行のＭＰＥＧ規格、例えばオーディオビデオコンテンツの符号化を定義したＭＰＥＧ−１及びＭＰＥＧ−２とは対照的に、ＭＰＥＧ−７におけるコンテンツ記述は、コンテンツ自体ではなく、コンテンツの構造及び意味（semantic）を記述するものである。

映画を例にとって説明すると、ＭＰＥＧ−７による映画のコンテンツ記述は、「記述子」を含んでおり、記述子は、映画の特徴（feature）、例えばシーン、シーンのタイトル、シーン内のショット、時間、色、形状、動き及びショットに関する音声情報等を記述した要素である。また、ＭＰＥＧ−７のコンテンツ記述は、１つ以上の「記述スキーム（description scheme）」を含み、記述スキームは、２つ以上の記述子間の関係を記述する要素であり、例えばショット記述スキームは、１つのショットの複数の特徴を互いに関係付けるものである。また、記述スキームは、他の記述スキームとの関係、記述スキームと記述子間の関係についても記述することができ、例えばシーン記述スキームは、１つのシーン内の異なるショットを関係付け、ショットにシーンのタイトル特徴を関係付けるものである。

ＭＰＥＧ−７は、記述子及び記述スキームを定義するデータ定義言語（Data Definition Language：以下、ＤＤＬという。）を用い、記述子と記述スキームのコアセットを提供する。記述子と記述スキームのセットのＤＤＬ定義は、コンテンツの異なるクラスの「スキーマ（schema）」に纏められる。スキーマにおける各記述子のＤＤＬ定義は、対応する特徴の表記方法（syntax）及び意味を定義する。スキーマにおける各記述スキームのＤＤＬ定義は、その子要素（children component）、記述子及び記述スキーム間の関係の構造及び意味を定義する。ＤＤＬは、現在の記述スキームを変更及び拡張し、新たな記述スキーム及び記述子を生成するのにも用いることができる。

ＭＰＥＧ−７のＤＤＬは、拡張マークアップ言語（extensible markup language：以下、ＸＭＬという。）及びＸＭＬスキーマ規則に基づいている。記述子、記述スキーム、意味、表記方法及び構造は、ＸＭＬ要素及びＸＭＬ属性で表される。ＸＭＬ要素及びＸＭＬ属性の一部は、オプションとすることができる。

コンテンツの特定の一部のＭＰＥＧ−７コンテンツ記述は、ＭＰＥＧ−７スキーマのインスタンス（instance）であり、すなわちスキーマで定義される表記方法及び意味に忠実なデータを含んでいる。コンテンツ記述は、適切なスキーマを参照するインスタンス文書（instance document）に符号化される。インスタンス文書は、スキーマで定義される要求された要素（element）及び属性（attribute）、及びあらゆる必要なオプションの要素及び／又は属性の「記述子の値（descriptor value）」のセットを含んでいる。例えば、特定の映画に関する幾つかの記述子の値は、その映画が３つのシーンを有し、第１のシーンは６つのショット、第２のシーンは５つのショット、第３のシーンは１０のショットを有することを定義する。インスタンス文書は、ＸＭＬを用いてテキストフォーマット、あるいはバイナリフォーマット、例えば「ＢｉＭ」として知られるＭＰＥＧ−７データ用の定義されたバイナリフォーマット、あるいはこれらの２つのフォーマットを組み合わたフォーマットに符号化することができる。

インスタンス文書は、通信チャンネル、例えばコンピュータネットワークを介して他の装置に伝送され、この他の装置は、インスタンス文書に含まれているコンテンツ記述データを用いて、対応するコンテンツのデータストリームを検索、フィルタリング及び／又は閲覧する。通常、インスタンス文書は、より速く伝送するために圧縮される。符号化器は、インスタンス文書の符号化と圧縮の両方を行うことができるが、符号化機能と圧縮機能を別々の回路によって行うこともできる。更にまた、インスタンス文書は、１つの装置によって生成された後、異なる装置によっても伝送することができる。受信装置の対応する復号器は、スキーマを参照してインスタンス文書を復号する。スキーマは、同じ伝送の一部として、インスタンス文書とは別に復号器に伝送してもよく、あるいは他のソースから受信するようにしてもよい。あるいは、特定のスキーマを復号器に組み込んでもよい。

コンテンツの記述を対象とした記述スキームは、一般的に、コンテンツの構造又は意味に関係している。構造をベースとした記述スキームは、通常は、コンテンツの物理的、空間的及び／又は時間的特徴、例えば地域（area）、シーン、ショット及びこれらの関係を表すセグメントによって定義される。セグメントの詳細は、通常は信号、例えば色、テクスチャ、形状、動き等の信号で記述される。

コンテンツの意味記述（semantic description）は、意味をベースとした記述スキームによって行われる。これらの記述スキームは、コンテンツが表すもの、例えばオブジェクト、人、イベント及びこれらの関係によってコンテンツを記述する。コンテンツは、ユーザの範囲（domain）及び用途（application）に応じて、異なる種類の特徴を用いて記述することができ、応用範囲（area of application）に合わせることができる。例えば、コンテンツは、オブジェクトの形状、大きさ、テクスチャ、色、動き、位置等のコンテンツの特徴の記述を用いて、低い抽象化レベルで記述することができる。より高い抽象化レベルでは、記述スキームは、コンテンツ、例えばオブジェクトに関する情報、イベント、オブジェクト間の相互作用によって得られる現実の概念上の情報を提供することができる。例えば、高い抽象化レベルの記述は、意味情報（semantic information）、例えば「左側では茶色の犬が吠えていて、右側には青いボールが転がっており、その背景には、車が通り過ぎる音がしているシーンである。」といった意味情報を提供することができる。

意味記述を生成する現在の方法では、単純で低いレベルの記述を自動的に生成することができる。しかしながら、人間が行う記述は、多くの場合、参照的（referential）及び比喩的である。したがって、現在の方法は、より複雑な人間の記述に似た意味記述には用いることができない。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。図面において、類似した構成要素には、同じ指示符号を付している。なお、これらの実施の形態は、当業者が本発明を実施することができるように十分細部に亘って記載しているが、本発明の範囲を逸脱することなく、他の実施の形態を実施したり、論理的、機械的、電気的、機能的及び他の変更を加えたりすることができることは明らかである。したがって、以下の詳細な説明は、限定的なものではなく、本発明の範囲は、特許請求の範囲によってのみ定義される。

先ず、本発明の動作の概要を説明する。図１は、マルチメディアコンテンツ記述システム１００の構成を示すブロック図である。新たなコンテンツ記述１０１は、サーバ１０７上の記述生成器１２７（description constructor）によって生成される。記述生成器１２７は、コンテンツ記述の保管装置１０３（repository）に格納されている１つ以上の現在のコンテンツ記述から、新たなコンテンツ記述１０１を生成する。コンテンツ記述１０１は、サーバ１０７上の符号化器１０９を用いて、インスタンス文書１１１に符号化される。インスタンス文書１１１は、サーバ１０７によってクライアント装置１１３に伝送される。

クライアント装置１１３は、コンテンツアクセスモジュール１１５を備え、コンテンツアクセスモジュール１１５は、新たなコンテンツ記述１０１を用いて、対応するコンテンツデータストリームを検索、フィルタリング及び／又は閲覧する。また、コンテンツアクセスモジュール１１５は、インスタンス文書１１１を用いて、コンテンツに関する構造及び意味情報を得るために、復号器１１９を利用することもできる。

一実施の形態において、記述生成器１２７は、新たなコンテンツ記述１０１の画像スタイルピラミッド（a set of image style pyramids）の集合を生成する。画像スタイルピラミッドの集合は、例えばガウスピラミッド（Gaussian pyramid）、ラプラシアンピラミッド（Laplacian pyramid）、ウェーブレットピラミッド（wavelet pyramid）を含むことができる。そして、符号化器１０９は、新たなコンテンツ記述の画像スタイルピラミッドをクライアント装置１１３に送信する。一実施の形態において、保管装置１０３は、新たなコンテンツ記述の効率的な生成を容易にするための意味記述の画像スタイルピラミッドを格納している。また、画像スタイルピラミッドは、意味記述の解析又は意味記述の他のあらゆる処理に用いることができる。データロスを制御する規則（restrictions governing data loss）を前提とすると、画像スタイルピラミッドを復号して、元の記述を再生することができる。

一実施の形態において、新たなコンテンツ記述は、コンテンツの意味的側面に関するＭＰＥＧ−７の記述スキーム（description scheme：以下、ＤＳという。）である。各意味記述は、図形として表すことができ、この図形は、意味ベースのＤＳから導き出されるノードと意味オブジェクトの関係に従ったリストから選択される意味関係（semantic relation）であるエッジとを有する。特に、図形分類体系（graphical classification schemes：以下、ＧＣＳという）は、再利用可能な記述のテンプレート及び再利用可能な図形変換処理（graph transformation steps）を格納するために用いることができる。図形変換は、例えば、ペースト操作として知られる１回のプッシュアウト（pushout）、カットアンドペースト操作として知られる２回のプッシュアウト、ノード置換操作として知られる１回のプルバック（pullback）、複雑な部分の置換操作として知られる２回のプルバックを含むことができる。記述は、コンテンツの範囲（area of content）に応じて、ＧＣＳにおけるテンプレート及び変換に関する文法を表す特定の応用範囲に属してもよい。この文法は、記述を区分するために用いることができる。すなわち、ＧＣＳにおけるテンプレート又は幾つかの異なる文法（distinct grammar）による記述の分解（factoring）を、記述を分割するのに用いることができる。

一実施の形態において、記述生成器１２７は、メンタル空間モデル（mental space model）に類似した処理を用いて、新たな意味記述１０１を生成する。メンタル空間は、音声に含まれない多くの情報をインポートすることによって、会話における文脈（context）を提供し、それによって言葉における意味内容（semantic content）を解釈する機構を提供する。この情報は、マップを用いてインポートされる。これらのマップは、解釈の所定の概念を表すフレームを用い（すなわち集め（recruit））、１つのメンタル空間から他のメンタル空間に構造を投影し（project）、２つ以上の他のメンタル空間からインポートした情報（material）を統合又は抽出することによって、機能する。したがって、各メンタル空間は、エンティティ、関係及びフレームを含む拡張された記述を表すことができる。幾つかのメンタル空間は、記述内の全てのエンティティを適切に定義するために、同時にアクティブにすることができる。これらのメンタル空間は、互いに関連し合っている。他のメンタル空間の構造及びエンティティを模倣している（borrow）ので、これらのメンタル空間の間ではマッピング（mapping）が必要である。全体の構成（whole composite）は、表現された記述に対する背景を形成し、関係するエンティティに意味論的な意味（semantic meaning）を与える処理を完了する。

図２及び図３は、従来のメンタル空間の生成について説明する図である。図２に示すように、新たなメンタル空間２５０は、幾つかのフレーム２１０を集め、現在のメンタル空間２２０、２３０の構造を模倣することによって生成される。構造は、要素（例えばオブジェクト、イベント、位置等）と、部分空間とを含み、部分空間は、所定の規則に従った現在の空間、あるいは文脈に依存した方法で同時にアクティブにされた集合体として生成された空間を縮めることによって形成される。

図３に示すように、新たなメンタル空間３７０は、現在の２つのメンタル空間３６２、３６４を混合（blending）又は統合（integrating）することによって生成される。そして、汎用空間（generic space）３６６は、３つのメンタル空間、すなわち新たなメンタル空間３７０と現在のメンタル空間３６４、３６２から構造を抽出することによって生成される。汎用空間３６６は、メンタル空間３６２、３６４、３７０の全てに共通な構造を含んでいる。

「ＭＰＥＧ−７」モデルにより、メンタル空間は、例えば、現在の記述に対して生成された基本記述と、検証及び採用（recruitment）を可能にするテンプレート要素と、生成処理（「メンタル空間を実行する」）と、解釈及び採用を可能にする生成処理及び存在論的なリンク（ontology links）と、図形及び生成である基本要素とを含むことができる。また、「ＭＰＥＧ−７」モデルは、混合を可能にしている。混合の結果は、選択的な射影（入力集合の部分集合に制約することによって可能なプッシュアウトマップの制約）と、構成（composition：反復的な処理への融合）と、完備（completion：記述を行うために利用されたＧＣＳからの採用）と、仕上げ（elaboration：完備によって見いだされた処理の試験的な実行）と、新たな構造（emergent structure：ＧＣＳに新たなエントリを追加するために、あるいは記述を完全にするために記録された）として表すことができる。

図４及び図５は、サーバ１０７によって実行される本発明の実施の形態による処理を説明するフローチャートである。この処理は、処理論理回路によって実行することができ、処理論理回路は、ハードウェア（例えば回路、専用の論理回路等）、ソフトウェア（汎用コンピュータシステム又は専用マシン（dedicated machine）によって実行される）、あるいはその両方から構成することができる。ソフトウェアで実行する処理の場合、フローチャートの説明によって、当業者は、最適に構成されたコンピュータ（メモリを含むコンピュータ読出可能媒体からのインストラクションを実行するコンピュータのプロセッサ）上で処理を実行するインストラクションを有するプログラムを開発することができる。コンピュータで実行可能なインストラクションは、コンピュータプログラミング言語で書き、あるいはファームウェア論理回路に組み込むことができる。公認の規格に準拠したプログラミング言語で書く場合、このようなインストラクションは、様々なハードウェアプラットフォーム上で実行するすることができるとともに、様々なオペレーティングシステムにインタフェースすることができる。なお、本発明の実施の形態は、特定のプログラミング言語に対して述べたものではない。様々なプログラミング言語を用いて、ここで説明する発明を実施できることはいうまでもない。更にまた、ソフトウェアについて、どのような形（例えばプログラム、手順、処理、アプリケーション、モジュール、ロジック等）にせよ、動作を実行する又は結果を生成すると論議することは、技術的に普通のことである。このような表現は、ソフトウェアのコンピュータによる実行が、コンピュータのプロセッサに動作を起こさせ、あるいは結果を生じさせることを単に簡単で明瞭に述べたものである。本発明の範囲を逸脱することなく、図４及び図５で説明する処理に、動作を追加し、あるいは削除できるとともに、ここで示し、説明する処理の順番は、特定の順番を意図したものでないことはいうまでもない。

図４は、記述を生成する処理４００の実施の形態を示すフローチャートである。

図４に示すように、処理４００は、処理ステップ４０２から開始し、処理論理回路は、コンテンツ記述のソースとして用いることができる２つ以上のコンテンツ記述を同定（identify）する。この同定処理は、新たなコンテンツ記述に関連した１つ以上の要素（例えば、記述されるエンティティの形容詞的な属性（property）、このエンティティと他のエンティティとの関係、エンティティの構造等）が供給されると、直ちに行うことができる。供給された要素に基づいて、処理論理回路は、共通の要素を有する現在のコンテンツ記述と新たなコンテンツ記述とを同定することができる。一実施の形態において、コンテンツ記述は、コンテンツの意味的側面に関するＭＰＥＧ−７の記述スキーム（ＤＳ）である。

次に、処理論理回路は、同定されたコンテンツ記述を混合する。特に、処理論理回路は、同定された記述の各対に対して混合を行い（処理ステップ４０４）、同定された記述の各対に対する汎用空間を生成し（処理ステップ４０６）、入力された各記述から残りの記述（residue）を抽出する（処理ステップ４０８）。そして、処理論理回路は、前の結果の各対を混合し（処理ステップ４１０）、前の結果の各対に対する次の汎用空間を生成し（処理ステップ４１２）、前の各結果から残りの記述を抽出する（処理ステップ４１４）。処理ステップ４１０〜４１４までの処理ステップは、処理ステップ４１０で単一の出力（single output）が生成されるまで、繰り返し実行される。

更に、処理論理回路は、残りの記述、得られた汎用空間及び／又は得られた混合を用いて、新たな記述の画像スタイルピラミッドの集合を生成する（処理ステップ４１８）。画像スタイルピラミッドの集合は、例えばガウスピラミッド、ラプラシアンピラミッド、ウェーブレットピラミッドを含むことができる。

画像スタイルピラミッドを生成することにより、記述の解析、効率的な伝送、記述の保管及び新たな記述の効率的な構成を行うことができる。

一実施の形態において、混合を実行する規則及びウェーブレットピラミッドに保存された情報に基づいて、集合内の全ての画像スタイルピラミッドは、元の記述を復元する（reconstruct）ために用いることができる。混合空間（blended space）から汎用空間を削除する（切り取る）ことにより２つの空間になる場合は、ウェーブレット変換は再生することができる。そうでない場合は、図６Ｃを参照して後述するように、別の空間（extra spaces）を保存することが必要となる。

一実施の形態において、複数の画像記述（image description）は、新たな画像記述のセットを含むウェーブレット変換として符号化される。その後、元の画像記述は、ウェーブレット変換から、データロスを制御する規則に応じた可逆的又は不可逆的方法（lossless or lossy fashion）で復号することができる。

図５は、ソース記述を混合する処理５００の一実施の形態を説明するフローチャートである。

図５に示すように、処理５００は、処理ステップ５０２から開始し、処理論理回路は、ソース記述の第１の対に対して直和（disjoint union）を求め、これらのソース記述の要素を融合（fuse）する規則を検索する。

処理ステップ５０４において、処理論理回路は、一致する要素に基づいて、これらのソース記述の混合を生成する。混合は、プッシュアウトを行い、そして、混合を実行することによって生成することができる。

処理ステップ５０６において、処理論理回路は、得られるマップを汎用空間に戻すことによって、ソース記述の汎用空間を生成する。

処理ステップ５０８において、処理論理回路は、入力された各ソース記述の残りを抽出する。

ソース記述が２つ以上の記述を含む場合、処理５００は、ソース記述の増えた対のそれぞれに対して繰り返され、そして、結果は、単一の出力が得られるまで、後続の繰返しにおいて混合される。

図６Ａ〜図６Ｃは、処理５００の動作を示す図である。

図６Ａに示すように、直和６０６は、入力された２つの記述６０２、６０４に対して形成される。そして、プッシュアウトが行われるとともに、混合が実行されて、混合空間６１０が生成される。更に、プルバックが行われ、汎用空間６０８が得られる。４つのソース記述を用いる場合、混合空間は示さないが、図６Ｃに示すように、一連の汎用空間によって、ガウスピラミッド６２０を導出する。

汎用空間６０８は、入力された記述６０２、６０４から残りの記述を抽出するために用いることができる。図６Ｂは、残りの記述６１２、６１４を用いて表される混合空間６１０を示す図である。４つのソース記述を用いる場合、図６Ｃに示すように、一連の汎用空間によって、ラプラシアンピラミッド６２２を導出する。

また、残りの記述から、混合を導出することもできる。そして、図６Ｃに示すように、一連の汎用空間によって、ウェーブレットピラミッド６２４又はウェーブレットピラミッド６２６を導出することができる。混合空間（Ｂ）から汎用空間（Ｇ）を削除する（切り取る）ことによって、２つの空間になる場合は、ウェーブレット変換６２６は、再生することができる。そうならない場合は、ウェーブレットピラミッド６２４におけるように、別の空間（Ｒ）を保存しなければならない。ウェーブレットピラミッド６２６は、例えば、新たな記述を生成し、階層を分解するために用いることができる。それぞれの組合せは、汎用空間と混合空間の両方を生成するので、画像スタイルピラミッドの生成は、画像スタイルピラミッドのどの部分からも開始することができる（信号処理設定におけるウェーブレット変換と異なる）。

画像スタイルピラミッド６２０〜６２４は、よく知られている画像解析、マルチメディアの名前及び属性を有しており、記述の効率的な保存、伝送及び生成だけではなく、記述の解析も可能にする。

図７は、上述した１つ以上の動作を実行するのに用いることができる例示的なコンピュータシステム７００の構成を示すブロック図である。他の実施の形態では、コンピュータシステム７００は、ネットワークルータ、ネットワーク交換機、ネットワークブリッジ、携帯情報端末（ＰＤＡ）、移動電話機、ウェブ機器又はそのマシンによって行われる動作を指示する一連のインストラクションを実行できるあらゆるマシンとすることもできる。コンピュータシステム７００は、プロセッサ７０２と、主記憶装置７０４と、スタティックメモリ７０６とを備え、これらは、バス７０８を介して互いに情報を送受する。また、コンピュータシステム７００は、ビデオ表示装置（例えば液晶表示装置（ＬＣＤ）又は陰極線管（ＣＲＴ））７１０を備えていてもよい。また、コンピュータシステム７００は、英数字入力装置（例えばキーボード）７１２と、カーソル制御装置（例えばマウス）７１４と、ディスク駆動装置７１６と、信号発生装置（例えばスピーカ）７２０と、ネットワークインタフェース装置７２２とを備える。ディスク駆動装置７１６は、上述の方法の任意の１つ又は全てを実現する一連のインストラクション（すなわちソフトウェア）７２６が記憶されているコンピュータ読出可能媒体７２４を備える。ソフトウェア７２６は、完全に又は少なくとも部分的に主記憶装置７０４内及び／又はプロセッサ７０２内に常駐する。また、ソフトウェア７２６は、ネットワークインタフェース装置７２２を介して送信又は受信することができる。本明細書では、用語「コンピュータ読出可能媒体」は、コンピュータシステムによって実行され、本発明の方法のうちのいずれか１つの方法をコンピュータシステムに実行させる一連のインストラクションを格納又はエンコードすることができる全ての媒体を含むものとする。したがって、用語「コンピュータ読出可能媒体」は、これらに限定されるものではないが、半導体メモリ、光ディスク、磁気ディスク及び搬送波信号を含む。

変換技術を用いて意味記述を生成する方法及び装置について、特定の実施の形態を用いて説明したが、当業者にとって、同様の目的を達成するように意図されたいかなる構成を、説明した特定の実施の形態の代わりに用いることができることは、明らかである。この出願は、本発明の適用及び変更をカバーすることを意図したものである。

本出願において用いられるＭＰＥＧ−７に関する用語は、コンテンツ記述を提供する全ての環境を含むと意図されている。したがって、本発明の範囲は、請求の範囲によってのみ限定される。

マルチメディアコンテンツ記述システムの一実施の形態を示すブロック図である。従来のメンタル空間の生成について説明するための図である。従来のメンタル空間の生成について説明するための図である。本発明の一実施の形態に基づくサーバによって実行される処理を説明するフローチャートである。本発明の一実施の形態に基づくサーバによって実行される処理を説明するフローチャートである。本発明の一実施の形態に基づいて記述を混合する処理のステップを示す図である。本発明の一実施の形態に基づいて記述を混合する処理のステップを示す図である。本発明の一実施の形態に基づいて記述を混合する処理のステップを示す図である。例示的なコンピュータシステムの構成を示すブロック図である。

Claims

現在の複数の記述を混合して新たな記述を生成するステップと、
上記現在の複数の記述のそれぞれから残りの記述を抽出するステップと、
上記現在の複数の記述から抽出された残りの記述を用いて、上記新たな記述の画像スタイルピラミッドの集合を生成するステップとを有するコンピュータによる計算方法。
上記現在の複数の記述のそれぞれは、意味記述スキームであることを特徴とする請求項１記載のコンピュータによる計算方法。
上記現在の複数の記述のそれぞれは、図形として表されることを特徴とする請求項１記載のコンピュータによる計算方法。
上記現在の複数の記述は、図形変換処理を用いて混合されることを特徴とする請求項３記載のコンピュータによる計算方法。
上記図形変換処理は、プッシュアウト処理であることを特徴とする請求項４記載のコンピュータによる計算方法。
上記現在の複数の記述を混合するステップは、
上記現在の複数の記述の各対の混合を生成するステップと、
上記生成された混合の各対を混合するステップとを有することを特徴とする請求項４記載のコンピュータによる計算方法。
上記現在の複数の記述の各対に対する汎用空間を生成するステップを更に有することを特徴とする請求項６記載のコンピュータによる計算方法。
上記画像スタイルピラミッドの集合は、上記現在の複数の記述に対して生成された残りの記述、混合空間及び汎用空間を用いて生成されることを特徴とする請求項７記載のコンピュータによる計算方法。
上記図形変換処理は、プルバック処理であることを特徴とする請求項７記載のコンピュータによる計算方法。
上記現在の複数の記述のそれぞれから残りの記述を抽出するステップは、
上記現在の複数の記述のそれぞれと、対応する汎用空間との違いを判定するステップを有することを特徴とする請求項７記載のコンピュータによる計算方法。
上記画像スタイルピラミッドの集合は、ウェーブレットピラミッド、ラプラシアンピラミッド及びガウスピラミッドからなることを特徴とする請求項１記載のコンピュータによる計算方法。
上記新たな記述の画像スタイルピラミッドの集合をクライアントに伝送するステップを更に有する請求項１記載のコンピュータによる計算方法。
上記画像スタイルピラミッドの集合を、データベース内に保存するステップを更に有する請求項１記載のコンピュータによる計算方法。
上記画像スタイルピラミッドの集合を用いて、上記新たな記述を解析するステップを更に有する請求項１記載のコンピュータによる計算方法。
プロセッサで実行されたときにプロセッサに以下の方法を実施させるインストラクションを提供するコンピュータ読出可能媒体において、
上記方法は、
現在の複数の記述を混合して新たな記述を生成するステップと、
上記現在の複数の記述のそれぞれから残りの記述を抽出するステップと、
上記現在の複数の記述から抽出された残りの記述を用いて、上記新たな記述の画像スタイルピラミッドの集合を生成するステップを有することを特徴とするコンピュータ読出可能媒体。
上記現在の複数の記述のそれぞれは、意味記述スキームであることを特徴とする請求項１５記載のコンピュータ読出可能媒体。
上記現在の複数の記述のそれぞれは、図形として表されることを特徴とする請求項１５記載のコンピュータ読出可能媒体。
上記現在の複数の記述は、図形変換処理を用いて混合されることを特徴とする請求項１７記載のコンピュータ読出可能媒体。
メモリと、
上記メモリに接続された１つのプロセッサとを少なくとも備え、
上記プロセッサは、現在の複数の記述を混合して新たな記述を生成し、該現在の複数の記述のそれぞれから残りの記述を抽出し、該現在の複数の記述から抽出された残りの記述を用いて新たな記述の画像スタイルピラミッドの集合を生成する一連のインストラクションを実行することを特徴とするコンピュータシステム。
上記現在の複数の記述のそれぞれは、意味記述スキームであることを特徴とする請求項１９記載のコンピュータシステム。
上記現在の複数の記述のそれぞれは、図形として表されることを特徴とする請求項１９記載のコンピュータシステム。
上記現在の複数の記述は、図形変換処理を用いて混合されることを特徴とする請求項２１記載のコンピュータシステム。
メモリと、
上記メモリに接続されたプロセッサとを少なくとも備え、
上記プロセッサは、現在の複数の画像記述を新たな画像記述のセットを含むウェーブレット変換として符号化する一連のインストラクションを実行し、
上記ウェーブレット変換は、後に、上記現在の複数の画像記述を復号するために用いられることを特徴とするコンピュータシステム。
上記現在の複数の画像記述は、上記ウェーブレット変換から、可逆的な方法によって復号されることを特徴とする請求項２３記載のコンピュータシステム。
上記現在の複数の画像記述は、上記ウェーブレット変換から、不可逆的な方法で復号されることを特徴とする請求項２３記載のコンピュータシステム。
現在の複数の記述を混合して新たな記述を生成する手段と、
上記現在の複数の記述のそれぞれから残りの記述を抽出する手段と、
上記現在の複数の記述から抽出された残りの記述を用いて新たな記述の画像スタイルピラミッドの集合を生成する手段とを備える装置。