はじめに、JPEG2000による符号化について以下に説明する。
JPEG2000の標準仕様においては、画像領域をタイル領域単位あるいは、プレシンクト領域単位に符号データが区別できるような形式で符号データが形成される。JPEG2000(ISO/IEC 15444-1)規格の符号化は、おおよそ以下の手順でなされる。
先ず、インターレース画像のフレームデータを、Y,Cr,Cbの色成分毎のデータに変換する。そして、各色成分の色データに対しては、2次元離散ウェーブレット変換を施す。次に、得られるウェーブレット係数に、JPEG2000に規定のスカラ量子化処理を施し、スカラ量子化されたデータに対しJPEG2000に規定のエントロピー符号化処理(いわゆる係数モデリングによる算術符号化処理)を施す。また、全ての色データに対しては、2次元離散ウェーブレット変換を施す。次に、得られるウェーブレット係数に、JPEG2000に規定のスカラ量子化処理を施して、スカラ量子化されたデータに対しJPEG2000に規定のエントロピー符号化処理を施す。その後、JPEG2000で規定する符号列を生成する。なお、復号化処理はこの逆の手順である。もちろん、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。また、JPEG2000に準拠する符号化処理を全てハードウェア回路で実現する画像処理装置は、既に存在する。
図1はJPEG2000の基本となる階層符号化アルゴリズムを説明するためのブロック図である。同図に示すように、階層符号化・復号化部は、2次元ウェーブレット変換・逆変換部12、量子化・逆量子化部13、エントロピー符号化・復号化部14、タグ処理部15で構成されている。JPEGアルゴリズムと比較して6、最も大きく異なる点の一つは変換方法である。JPEGでは離散コサイン変換(DCT:Discrete Cosine Transform)を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換(DWT:Discrete Wavelet Transform)を、各々用いている。DWTはDCTに比べて、高圧縮領域における画質が良いという長所が、JPEGの後継アルゴリズムであるJPEG2000で採用された大きな理由の一つとなっている。また、他の大きな相違点は、後者では最終段に符号形成を行うために、タグ処理部15と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、後述する図3に示すように、ブロック・ベースでのDWTにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。
なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YUVあるいはYCbCr表色系への変換又は逆の変換を行う部分がこれに相当する。
以下、JPEG2000アルゴリズムについて説明する。
カラー画像は、一般に、図2に示すように、原画像の各コンポーネント(ここではRGB原色系)が、矩形をした領域(タイル)によって分割される。そして、個々のタイル、例えば、R00,R01,・・・,R15/G00,G01,・・・,G15/B00,B01,・・・,B15が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
符号化時には、各コンポーネントの各タイルのデータが、図1の色空間変換・逆変換部11に入力され、色空間変換を施された後、2次元ウェーブレット変換部12で2次元ウェーブレット変換(順変換)が適用されて周波数帯に空間分割される。
図3はデコンポジション・レベル数が3の場合の各デコンポジション・レベルにおけるサブ・バンドを示す図である。すなわち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジション・レベル0)に対して、2次元ウェーブレット変換を施し、デコンポジション・レベル1に示すサブ・バンド(1LL,1HL,1LH,1HH)を分離する。そして、引き続き、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジション・レベル2に示すサブ・バンド(2LL,2HL,2LH,2HH)を分離する。順次同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジション・レベル3に示すサブ・バンド(3LL,3HL,3LH,3HH)を分離する。更に、図3では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。例えば、デコンポジション・レベル数を3とした時、グレーで示したサブ・バンド(3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)が符号化対象となり、サブ・バンド(3LL)は符号化されない。
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図1の量子化・逆量子化部13で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図4に示すように、一つのプレシンクトは、空間的に一致した3つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
図1のエントロピー符号化・復号化部14では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。このようにして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。エントロピー符号化・復号化部14で形成される符号データの最小単位は、パケットと呼ばれる。パケットは、図5に示すように、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントの中の1つで示される。全てのプレシンクトのパケットを集めると画像全域の符号の一部(例えば、画像全域のウェーブレット係数のMSBから3枚目までのビットプレーンの符号)ができるが、それをレイヤと呼ぶ。レイヤは画像全体のビットプレーン符号の一部であり、復号されるレイヤ数が増えると画質が向上する。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号となる。
図6は画像全域のビットプレーン符号化例についてサブ・バンドをプレシンクトとした時のレイヤとパケットとの関係を示す図である。この例では、ウェーブレット変数の階層数(デコンポジション・レベル)が2でありデコンポジション・レベル2のサブ・バンドは4つのコードブロックに、デコンポジション・レベル1のサブ・バンドは9個のコードブロックにそれぞれ分割されている。パケットはプレシンクトを単位としていくつかのプレシンクトにより構成され、図6の例では、プレシンクトはサブ・バンドであるので、パケットはいくつかのサブ・バンドHLからHHサブ・バンドまでをまたいだものとなっている。
パケットは、あるプログレッシブ順データといえば、それぞれ、領域、解像度、レイヤ、および色成分によって配列される。即ち、JPEG2000規格では、画質(レイヤ(L))、解像度(R)、コンポーネント(C)、位置(プレシンクト(P))という4つの画像の要素の優先順位を変更することによって、以下に示す5通りのプログレッションが定義されている。
・LRCP プログレッション:プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現できる。レイヤプログレッションとも呼ばれる。
・RLCP プログレッション:プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現できる。
・RPCL プログレッション:レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCP同様、解像度のプログレッションであるが、特定位置の優先度を高くすることができる。
・PCRL プログレッション:レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現できる。
・CPRL プログレッション:レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現できる。
このようにJPEG2000規格では、画像は領域(タイルまたはプレシンクトといった画像構成要素)、解像度、階層(レイヤ)、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。
図7の(a)は、LRプログレッション(レイヤプログレッション)のプログレッシブ順序を模式的に表した図である。図7の(b)は、RLプログレッション(解像度プログレッション)のプログレッシブ順序を模式的に表した図である。
最後に、図1のタグ処理部15は、エントロピー符号化・復号化部14からの全符号化データを1本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。図8には、コード・ストリームの構造を示す。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図1を用いて簡単に説明する。この場合、タグ処理部15は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎にエントロピー符号化・復号化部14で復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部13で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部14で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを2次元ウェーブレット変換・逆変換部12で2次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部11によって元の表色系のデータに変換される。
次に、JPIPにおける符号データのやり取りについて説明する。
本発明の実施の形態における別の特徴として、遠隔地に表示された部分画像データをアクセスして、遠隔地から遠隔操作対象である複写機(画像処理装置)に保存された階層符号データの一部または全部をアップロードして再表示する機能がある。典型的には、最初は転送効率を高めるために符号データを一部削減した部分符号データを受信し再生し、その後、さらに詳しく調べるために、残りの符号データを受信(アップロード)して再表示する。そのような機能を実現するために、画像符号化データのプロトコルとしてJPIP(JPEG2000 image coding system-Part9:Interactivity tools, APIs and protocols)がある。
ここで、サーバにあるJPEG2000符号から、必要な符号だけを受信するためのプロトコルとして国際規格JPIP(JPEG2000 image coding system − Part 9: Interactivity tools, APIs and protocols)がある。このような、階層的な画像を部分的にアクセスするためのプロトコルは、古くは、画像の多重解像度表現であるFlash Pixと、それにアクセスするためのプロトコルであるIIP(Internet Imaging Protocol)に見ることができる。
図9はJPIPにおける典型的なクライアント・サーバ間のプロトコル概要を示す図である。先ず、クライアントからサーバへ画像符号データの送信要求が出され、サーバはその応答としてクライアントへ対応する画像符号化データを転送する。クライアントは送られてきた画像符号化データを再生した後、当該画像の部分画像を指示し、指示された部分画像に対応する符号データの転送要求をサーバに送る。サーバはそれに応答し、要求に対応する部分符号データをクライアントに送り、クライアントは送られてきた画像符号化データを再生するというものである。このように、JPIPにおけるプロトコルでは、クライアントからサーバへ要求を出し、サーバがクライアントに要求に対応する応答をするというプロトコルを形成する。すなわち、JPIPにおいては、クライアントからの要求(リクエスト)に応じて、サーバは完全な画像ファイル、タイルパートストリーム(JPT−ストリーム)またはプレシンクトストリーム(JPP−ストリーム)の形式をもつ符号データを戻す(応答する)。JPT−ストリームは、JPEG2000パート1規格で規定されるタイルパートの組としてサブ画像の符号データを戻す方法である。一方、JPP−ストリームは、JPEG2000パート1規格で規定されるプレシンクトの組としてサブ画像の符号データを戻す方法である。JPT−ストリームにより順次アクセスした符号データを再生する場合は、タイル分割されたタイル領域毎に順次完全に再生するのに対して、JPP−ストリームにより順次アクセスした符号データを再生する場合は、タイル領域に跨った広い領域で、小さい領域(プレシンクト)単位に徐々に再生することができる。すなわち、JPT−ストリームのアクセスによる再生では、一時に再生する範囲が画像全体の中であるタイル領域に限定されているのに対し、JPP−ストリームのアクセスによる再生では、一時に再生する範囲はタイル領域に限定されず画像全体での再生が可能なのである。
このように、JPIPのクライアントは、受信された符号データの部分を識別でき、それらの部分を復号し、かつ画像を生成することのできるように、タイルパートストリーム又はプレシンクトストリームの形式で、JPEG2000コード・ストリームのサブセットを戻す機能を提供する。すなわち、JPP−ストリームはJPEG2000コード・ストリームへ変換されJPEG2000デコーダで復号することができる。この変換は、復号されるデータと共に、メインヘッダの全てとタイルヘッダの全てを受信すれば十分である。図10はJPEG2000ファイルとデータビンとの関係を例示している。JPP−ストリームは、図11に示すように、メッセージのシーケンスより構成される。各メッセージは、含まれるデータビン情報の形式を示す(メインヘッダ、メタデータ、プレシンクト、又はタイルヘッダ)。各メッセージは、データビン内の開始位置とメッセージの長さも示す。各メッセージは、その形式、その形式内のインデックス、その形式とインデックスを有する“データビン”へのメッセージのオフセット、及びメッセージ長を識別するヘッダを有する。メッセージは、典型的には、データビン全てを含まず、データビンの一部を含む。メッセージには、データビンがどのタイル、コンポーネント、位置及び解像度データビンに対してであるかを示す識別子を含む。
本発明では、タイル、コンポーネント、位置及び解像度を階層としており、データビンに含まれる符号列(パケット)は、各階層のどのレベル(階層レベル)のデータであるかという情報が対応している。例えば、データビンに含まれるある符号列がタイルAでコンポーネントが、Cbで位置4で、解像度1レベルであることが示されている。
プレシンクト・データビンは、図12に示すように、一連のパケットヘッダ(PH)とパケットデータ(PD)より構成される。パケットヘッダは、どのコードブロックがパケットのパケットデータ部分内のデータを有するかに関する情報、各符号ブロックに格納されたバイト数に関する情報、及び各符号ブロックについての符号化パスの数を含む。JPIPの標準仕様では、パケットヘッダには、どのコンポーネント、位置、解像度、タイル、あるいは、それが属するレイヤを識別する情報(階層レベル情)はもってない。本発明の一実施の形態として、先に示したメッセージデータを解析して、パケット単位の階層レベル情報をパケットヘッダに記録してもかまわない。クライアント側でJPP−ストリーム受信後、これらの情報を記録することもできる。
同様に、JPIPの標準仕様では、パケットヘッダの長さに関する明確な情報も持たない。パケットデータの長さは、パケット内の全てのコードブロックにデータの長さを加算することにより決定できる。本発明の一実施例として、パケットヘッダにこれらのデータ長を計算した結果を保存する構成にすることができる。JPP−ストリームに規定された構成によりパケットを抽出することができる。
また、JPIPのプロトコルは、二つの異なるタイプの要求をもっている。サーバがキャッシュモデルを維持する必要がないという意味におけるステートレスリクエストとそれ以外のリクエストがある。サーバのキャッシュモデルには、それまでにサーバに送信したことについての情報の記録がなされている。クライアントのキャッシュには、サーバから受信した符号データが保存され、サーバはキャッシュモデルを用いることによって、既に転送した符号データをクライントに転送することなく、再利用できる。典型的には、クライアントは、断片的に受信したJPEG2000の符号データを、受信した順番にデータをアペンドしキャッシュに保存する。続いて、前述したようにキャッシュしたデータからJPEG2000のシンタックスに準拠したビットストリームを作成し、そのビットストリームをデコードする。
次に、JPIPにおけるクライアント、サーバ及びネットワークについて説明する。ここで、図13はJPIPにおけるキャッシュを持ったクライアントサーバモデル構成例であり、図14はJPIPにおけるクライアントサーバネットワークモデルの構成例である。
図13の(a)に示すように、サーバ22は、ある種のネットワークを介してクライアント21のような少なくとも1つのクライアントに接続されている。クライアント21は、しばしば、人間のユーザにより制御される“プログラム”であるが、完全に自動化されたシステムでも良い。クライアント21は、ある画像のサブセットに対する要求のような、要求(リクエスト)を発行し、この要求に示された方法で対応する符号データを含む、応答のような応答を受信する。ネットワークの帯域幅又はサーバ22の資源又はファイル要求の構造のために、クライアント21は要求された画像の部分符号データ以外のおおよその符号データを受信し得る。クライアント21は、典型的には、キャッシュを用いて、画像の異なる部分の出力に対する要求を発行し、前に受信された符号データに対する追加分の符号データを受信する。
ここで、JPIPの基本的特徴の一つは、クライアントが既に受信した符号データを繰返すことを避ける能力である。この符号データの再送信を避ける2つの方法がある。第1の方法としては、図13の(a)に示すように、クライアント21が、サーバ22へ送信されクライアント21で既に受信された符号データについての情報を持つことで、クライント21は冗長なデータの配信をサーバ22に要求しないで済ませ、それにより、サーバ22は冗長な符号データを送信しないで済ます方法がある。サーバ22が、“ステートレス”で動作する場合にあっては、それまでの相互動作を記憶することなく動作する。サーバが、それまでの相互動作を記憶する特別なキャッシュモデルを維持する必要がないことから、一般的には、ステートレスで動作しているということが多い。
また、第2の方法としては、図13の(a)に示すように、クライアント21とサーバ22は、“セッション”を確立し、サーバ22は、クライアント21へ送られた符号データを記憶しておくキャッシュモデル26をもっている。すなわち、サーバ22のキャッシュモデル26には、それまでにサーバ22に送信したことについての情報の記録がなされている。クライアント21のキャッシュ23には、サーバ22から受信した符号データが保存され、サーバ22は、キャッシュモデル26を用いることによって、既に転送した符号データをクライント21に転送することなく、再利用できる。典型的には、クライアント21は、断片的に受信したJPEG2000の符号データを、受信した順番にデータをアペンドしキャッシュ23に保存する。続いて、前述したようにキャッシュしたデータからJPEG2000のシンタックスに準拠したビットストリームを作成し、そのビットストリームをデコードする。
また、本発明は、主に、図13の(b)に示すようなステートレスな要求を処理するに係り、キャッシュ管理部28を有することで、キャッシュ23のキャッシュデータを管理するところに特徴がある。クライアント21は、それまでに要求した符号データの全てを受信する前にさえも、興味のある画像の部分に対応する符号データを変更し得る。あるサーバは、これらの変更を扱うために、前の要求に対する応答を割り込みすることができる。
図14は典型的なネットワークを示す図である。同図に示すように、ネットワークは、複数のクライアント、例えばクライアント31〜35と複数のサーバ、例えばサーバ36,37を含んで構成されている。単一のサーバは、数100万の異なるクライアントへ同じ画像の異なる部分を扱い得る。単一のクライアントは、画像と他のデータ(例えば、HTMLページ)を、幾つかのサーバから受信する。プロキシサーバは、オリジナルサーバと通信すること無しにいくつかの要求への素早い応答を可能とするために、ネットワーク内に存在しうる。有効な帯域幅と帯域幅のコストは、異なるクライアントと同じサーバの間で又は、異なるサーバの間で広く変わる。
最も一般的に使用されるネットワークは、インターネット又はワールドワイドウェブである。しかし、JPIPは、ローカルエリアネットワーク又は、どのような一般的な相互接続システムに適用できる。同様に、JPIPは、ハイパーテキスト転送プロトコル(HTTP)の上で”最も一般的に転送されるが、TCP/IP及びUDPを含む他の転送プロトコルと共に使用されると予想される。
以上のことから、JPIPストリームの符号フォーマット(メッセージ)を分析することで、コンポーネント数、レイヤ数、プレシンクトサイズ、デコンポジション分割数などの階層符号データを構成する各階層のレベル数がわかる。また、プログレッション順序についても知ることができる。
図15はJPIPを使用した場合の出力表示画面例を示す図である。最上位画面では、2つのタイルからなるデータが表示されていて、例えば、図15の(a)に示すようにそれぞれのタイルをクリックすることによって画像データが表示され、図15の(b)のような画質の劣ったタイル4枚からなる画像となる。更に、右下の画像をクリックすることによって、図15の(c)に示すようにクリックしたタイルの部分画像の解像度が変倍され、部分画質レベルが向上する。このように、部分画像データを参照する場合に使用される。部分画像データを参照する都度、表示クライント側からサーバ側へ符号データを転送要求し再生する。
このようにJPIPにおいては、クライアント(出力側)では、全ての(階層)符号データではなく、部分符号データを必要としていることを前提としている。そのため、部分符号データからオリジナルの符号データの階層構造を知ることができないという問題があった。
なお、JPIPの“主な使用事例”は、2002年7月15日に発行されたISO/IECJTC1/SC29/WG1N2656に詳細に記載されている。JPIPの主要な応用例としては、大きな画像のブラウジングである。JPIPは、航空画像、医療画像及び、プリプレス画像を代表とする大きな画像の低解像度版又は部分を小さな携帯表示装置(例えば、携帯電話、携帯情報端末等)で見る方法を提供する。
次に、JPEG2000のコード・ストリームのフォーマットについて説明する。
JPEG2000のコード・ストリームは、画像についての全てのエントロピー符号化されたデータと、その符号化されたデータを復号するために使用されるべき方法を記述するデータを含む。コード・ストリームは、使用されるウェーブレット変換に関する情報、タイルのサイズ、プレシンクトのサイズ、解像度に関する情報、ファイル内のパケットの順序等を含む。コード・ストリームは、エントロピー符号化されたデータを画像サンプルに復号するのに必要な全てのパラメータを含まなければならない。コード・ストリームは、例えばパケットの長さのような、符号化されたデータの部分への高速アクセスを提供する情報も含み得る。
図16の(a)はJPEG2000のコード・ストリームのフォーマットの概略構成を示す図である。JPEG2000の“コード・ストリーム”には、いくつかのマーカセグメントをもっている。マーカセグメントとは、一つの2バイト長よりなるマーカとそれに付随するパラメータ群から構成されている。各マーカセグメントには機能、用途、データ長が表されている。コード・ストリームのフォーマットは符号データの始まりを示すSOC(Start of Codestream)マーカで始まる。SOCマーカの後には、符号化のパラメータや量子化のパラメータ等を記述したメインヘッダが続き、その後に実際の符号データが続く。
図16の(b)はメインヘッダの概略構成を示す図である。メインヘッダはCOD,QCDの必須マーカセグメントとCOC,QCC,RGN,POC,PPM,TLM,PLM,CRG,COMのオプションマーカセグメントで構成される。ここで、SIZマーカセグメントには、コンポーネント数とかタイルサイズなどの非圧縮時の画像の情報が記述され画像コンポーネントの幅と高さについての情報を含む。CODとCOCマーカセグメントは、圧縮されたデータはどの様に復号されるべきかを示すパラメータを含む。CODマーカにはプログレッション順序、レイヤ数、プレシンクトサイズ、デコンポジション分割数が記述されている。QCDマーカは量子化に係る情報が記載されている。また、COMマーカはコメント等の情報を付加したいときに利用するマーカで、メインヘッダ、タイルヘッダの双方で使用することが可能である。メインヘッダの後に、一連の“タイルパート”がある。各タイルパートは、特定のタイルと部分を識別する“SOT”マーカセグメントで始まる。各タイルパートについて符号化されたデータには、“SOT”マーカセグメントが先行する。“SOT”マーカセグメントには、タイルパート数に係る情報を含んでいる。
図17に示すような実際の符号データは、SOT(Start of Tile−part)マーカで始まり、タイルヘッダ、SOD(Startof data)マーカ、タイルデータ(符号)で構成される。これら画像全体に相当する符号データの後に、符号の終了を示すEOC(End of Codestream)マーカが付加される。メインヘッダはCOD,QCDの必須マーカセグメントとCOC,QCC,RGN,POC,PPM,TLM,PLM,CRG,COMのオプションマーカセグメントで構成される。
図16の(c)に示すタイルヘッダ構成は、タイルデータの先頭に付加されるマーカセグメント列であり、COD,COC,QCD,QCC,RGN,POC,PPT,PLT,COMのマーカセグメントが使用可能である。一方、図16の(d)は、タイル内が複数に分割されている場合における分割されたタイルパートの先頭に付加されるマーカセグメント列であり、POC,PPT,PLT,COMのマーカセグメントが使用可能である。タイルヘッダでは必須マーカセグメントはなく、すべてオプションである。タイルデータ(符号)は、連続したパケットで構成される。コード・ストリーム中のパケットの順番をプログレッション順序と呼んでいる。
以上のことから、JPEG2000コードフォーマットを分析することで、コンポーネント数、レイヤ数、プレシンクトサイズ、デコンポジション分割数などの階層符号データを構成する各階層のレベル数がわかる。また、プログレッション順序についても知ることができる。
図18は本発明の遠隔監視システムの構成例を示すブロック図である。同図に示す本発明の典型的な遠隔監視システムは、監視対象としている画像読取装置を有する画像処理装置(例えば、複写機)70及び監視処理装置80を含んで構築される。画像処理装置70は、画像読取部71、符号化処理部72、データ保存部73、出力処理部74、監視解析部75、符号データ編集処理部76、操作指令部77、復号化処理部78及び送受信処理部79を有し、一方監視処理装置80は、復号化処理部81、表示処理部82、データ保存部83、遠隔要求解析部84、部分画像指定部85及び送受信処理部86を有している。
図19は画像処理装置の処理を示すフローチャートである。同図において、画像処理装置70では、操作指令部77で操作指令がなされると(ステップS101;YES)、画像読取部71で画像(原稿)が読み取られ、読み取られた原稿を符号化処理部72で符号化する(ステップS104,S106)。そして、符号化された符号データは一旦データ保存部73に保存し、続いて符号データ編集処理部76で符号データを編集して、編集後の符号データを送受信処理部79を介して監視処理装置80に送信する(ステップS105,S107,S108)。読み取られた画像データは出力処理部74で出力される。また、監視解析部75では、監視処理装置80からの要求を解析し対応する処理を実行する。
図20は監視処理装置の処理を示すフローチャートである。同図において、監視処理装置80は、送受信処理部86で符号データを受信し(ステップS201;YES)、復号化処理部81で復号し、表示処理部82で再生する(ステップS202)。一方、部分画像指示部85で部分画像を指定すると(ステップS203;YES)、遠隔要求解析部84で通信用のフォーマットに置き換えて(ステップS204)、送受信処理部86を介して画像処理装置70へ部分画像指示(アクセス)要求を送信する(ステップS205)。監視処理装置80で部分画像の指示(アクセス)によって遠隔からの要求をしている。
次に、本発明の実施の形態で取り上げている複写機の構成について具体的に説明する。図21に示した複写機100は、カラーであってもモノクロであってもかまわないが、CPU101、イメージスキャナ102、イメージプロセッサ103、プリンタ104、コンソール105、自動原稿搬送装置(ADF)106、ソータ107、インターフェース108、磁気ディスク109等で構成されている。
このような構成を有する複写機100によれば、イメージスキャナ102によって読取られた画像の情報は、イメージプロセッサ103により必要とされる画像処理を受けた後、プリンタ104に出力される。プリンタ104がカラーである場合においては、C(シアン),M(マゼンタ),Y(イエロー)及びBK(ブラック)の各色画像を互いに離れた位置の独立した作像部で各色トナー像として形成し、それらのトナー像を同一の転写紙上に重ね合わせて転写する必要があるので、各色作像部間を転写紙が搬送されるのに要する時間だけ、各色の画像情報を遅延させる必要がある。そのため、プリンタ出力前に各色画像の位置合わせのために遅延メモリが使用される。遅延メモリを通すことによって、各色毎に定められた遅延時間だけ遅らせてその画像情報をプリンタ104に出力する。複写機全体の制御はCPU101によって実施される。CPU101は、コンソール105から入力される各種コピーモード指定情報に応じて各ユニットの動作仕様を決定し、コピー処理が開始される前に動作パラメータを各ユニットに送信したり、また処理開始信号や処理の最中に必要な各種リアルタイムクロック信号を他ユニットに供給する。
また、イメージスキャナ103は、コンタクトガラス上に載置される原稿の二次元画像を主走査及び副走査しながら読取る。読取られる光学情報は、カラー画像の読み取りの場合は、R(レッド),G(グリーン)及びB(ブルー)の3原色に色分解され、各色の光像は一次元CCDイメージセンサによって400dpiの標本化密度で標本化され電気信号に変換される。これらの電気信号は、それぞれ8ビットの量子化レベルに量子化され、デジタルカラー画像情報としてイメージスキャナ12から出力される。
そして、イメージスキャナ103が出力する画像情報は、通常はイメージプロセッサ103を介してプリンタ104に出力されるが、インターフェース108を介してLANに出力したり、磁気ディスク109に書込んで保存することもできる。イメージプロセサ103は、イメージスキャナ102又はインターフェース108を介して外部から供給されるRGB画像情報に対して、色補正やディザ処理など種々の画像処理を施し、最終的にプリント信号であるCMYK信号(シアン,マゼンタ,イエロー及びブラックの信号)に変換する画像加工機能,原稿のサイズや特定部分の色を検知してその情報をCPU11に出力する画像検知機能及び各種模様や数字パターンを発生する画像生成機能を備えている。
また、磁気ディスク109は、数ページの画像情報と必要なプログラム情報を保持することができる。例えば、磁気ディスク109には、画面単位の表示画像データが複数組登録してあり、特定のシリンダ番号、トラック番号及びセクタ番号により定まる領域には、例えば給紙コロが損傷したときのサービスマンコール画面の情報が登録されている。登録されたデータの形式は、例えば512×256画素の構成をもつ白黒パターンをランレングスコード化したものである。また、ディスク上には、OS、複写機制御プログラム、課金管理情報などが常時保持されている。
更に、プリンタ104は、C,M,Y及びBK4色の独立した作像部を有するデジタルカラープリンタである。各々の作像部では、画像情報に応じて変調されたレーザ光が感光体に照射され、感光体上に画像の濃淡に応じた電位分布、即ち静電潜像が形成される。この静電潜像が現像部を通る時にC,M,Y又はBK色のトナーが電位の高低に応じて付着し、トナーによって静電潜像が可視化される。このトナー像は、画像の形成に同期して搬送される転写紙上に転写される。C,M,Y及びBKの4つの作像部で形成されたトナー像をそれらが重なるように転写紙上に転写することによって、フルカラー画像が転写紙上に形成される。転写紙上のトナー像は、定着部を通る時に定着される。
また、コンソール105は、複写機の状態などをオペレータに対して表示する表示部と、複写モード指定などのオペレータからの入力を受付ける入力部を備えている。具体的には、例えば表示部は512×256ドット構成のビットマップ表示が可能な液晶表示器で構成されており、入力部は表示部に重ねて配置された透明タッチシートで構成されている。透明タッチシートは、感圧スイッチを128×64の各領域に等間隔で配列したものであり、128×64の分解能で入力(押圧)のあった座標を検出することができる。
次に、複写機のユーザインターフェースの構成について図22を参照して説明する。
図21のコンソール105は主にコンソールボード201とその制御回路で構成されている。コンソールボード201には、液晶表示器202、操作スイッチ(キースイッチマトリクス)203が設けられている。例えば、液晶表示器202は、例えば512×256ドット構成である。操作スイッチ203には、透明タッチシートが含まれている。制御装置としては、CPU204、ROM205、RAM206、画像インターフェース207、割込みコントローラ208、シリアルI/O209、LCDコントロ−ラ210、ビデオRAM211、(I/O+デコーダ)用のドライバ212、スイッチ入力ドライバ213及びバッテリ214が設けられている。
そして、ROM205は、液晶表示器202に関する表示処理を実行する表示制御プログラム、透明タッチシートからのキー入力を識別する入力判定プログラム、通信制御プログラム、ポインタの情報各種表示要素の情報などの予め定められた固定データを保持している。コンソールのRAM206は、プログラム実行時のワークエリア及び液晶表示器202に表示される二次元表示画像に相当する二次元画像情報をビットマップ情報として保持する表示情報エリアを備えている。二次元画像情報は、例えば512×256画素構成で各画素の値は0又は1の二値が表示情報エリアのために割り当てられている。液晶表示器202に二次元表示画像を表示する場合、先ずRAM206上の表示情報エリアに表示画像をビットマップ形式で作成し、作成した画像データをビデオRAM211に転送する。これによってLCDコントローラ210がビデオRAM211上の画像情報を液晶表示器202に表示する。なお、RAM206には、二次元表示情報を記憶するエリアが複数画面分設けられている。複数画面分の記憶エリアを確保してあるのは、複写モード設定画面、コピーラン画面のような画面の種類毎に独立した画面領域を割り当てることや画像オーバーレイの制御を容易にするためである。
また、CPU204が表示画像を作成及び更新する場合には、表示要素毎にROM205上に予め登録された当該表示要素のビットマップ情報、ベクトル情報、文字情報等を読み出して、各々の要素のパターン情報を画像情報としてRAM206上の前記表示情報エリアに書込む。RAM206上の表示情報エリアの情報をデュアルポートメモリで構成されるビデオRAM211に転送すると、LCDコントローラ210がビデオRAM211上の画像情報をサイクリックにスイッチ入力ドライバ213に出力する。これにより、表示画面が、液晶表示器202上に二次元画面として表示される。透明タッチシートにより表示した各ボタン(キー)の位置で押下が検出されると、それに応じて複写モードや表示内容が変わる。表示内容を変更する時には、新しい表示要素の画像情報をRAM25上に書込み、その情報をビデオRAM211に転送する。なお、表示頻度が低くしかも固定的な表示内容の画面、例えば給紙コロが壊れてその部品を交換するためにサービスマンによる修理を促すための画面については、その二次元表示情報が図21の磁気ディスク109上に予め登録されているので、その1画面全体の情報を磁気ディスク109から読み出して直接RAM206に書込み、RAM206上の情報をビデオRAM211に転送する。
また、液晶表示器202の表示面上には、透明タッチシートが重なっているので、それによって表示画面上の押下されたボタンの位置が検出される。表示画面上のボタンの存在しない位置を押下したり、予め定められた範囲外の数値を入力した場合には、その入力を無効とする。
更に、図21のコンソール105のROM205のある領域には、各表示要素の情報がビットマップ形式で登録してある。各表示要素のデータの構成は次のようになっている。アイコンの識別コード;id、アイコンの属性;a1,a2,・・・ax、横方向の長さ(画素数);Lx、縦方向の長さ(画素数);Ly、画素データビット列;d1,d2,d3,・・・dn。また、ROM205のある領域には、表示プログラムによって利用される座標やアドレスポインタの情報が画面の種別毎に、例えば画面上の第1表示要素を配置する座標x1,y1、第1表示要素の情報が登録されているメモリアドレス、画面上の第2表示要素を配置する座標x2,y2、第2表示要素の情報が登録されているメモリアドレス、当該画面データ終了の識別マークが登録されている。このようなデータ構成になっているので、ROM205上の表示プログラムは、表示画面の画像を作成する際には、表示要素毎に、それを配置する位置の座標データ(x,y)と、その要素の情報が登録されているメモリアドレスを参照し、必要な情報を当該アドレスから読み出して、RAM206上の表示エリア中の指定された座標(x,y)の位置に書込む。作成されたRAM206上の画像情報は、ビデオRAM211に転送され書込まれる。また、作成された画像情報は、複写機のCPU204を介してコンピュータPCに送信される。
図21のコンソール105のROM205に登録された入力判定プログラムは、透明タッチシート上の押下された座標(x,y)を調べる。つまり配置アドレスデータやアイコンIDや属性を元に特定ボタンが入力されたか否かを判定する。複写機のコンソール105では、操作入力に対して入力判定プログラムが起動される。この入力判定プログラムは、その時に液晶表示器202に表示し、またコンピュータPCにも送ってある表示画面の状態パラメ−タを知ることができる。この状態パラメ−タはRAM206上のワークエリアに保持されている。状態パラメ−タは、表示プログラムによって作られたものであり、その時の表示画面に含まれるボタンのID、属性、座標などの情報が含まれている。従って、入力判定プログラムは、状態パラメ−タの情報を参照することによって、コンピュータPCから入力された座標xp、ypが特定のボタンの内側にあるか否かを照合することができる。例えば「呼出」ボタンの表示座標をx1,y1とし、該ボタンの横方向の長さをLx、縦方向の長さをLyとする場合、x1≦xp≦x1+Lx、及びy1≦yp≦y1+Lyの両方の条件を満たす場合に、マウスでクリックした点が「呼出」ボタンの内側であるものと判定する。
次に、コンピュータPCの構成について図23を用いて説明する。
図23に示すコンピュータPC300は、CPU301、ROM302、RAM303、ビデオRAM304、ディスプレイコントローラ305、ディスクコントローラ306、キーボードコントローラ307、RS−232Cコントロ−ラ308、LANコントローラ309、液晶表示器などのLCDユニット310、磁気ディスクドライブ(3.5インチFDD)311、キーボード312及びマウス313を有している。それ以外にも、割り込みコントローラ、DMAコントローラ、タイマ、リアルタイムクロック、漢字ROM、ディスクコントローラ、プリンタコントローラ、200Mバイトハードディスクが備わっていてもかまわない。
そして、CPU301は、例えば32ビット構成であり、LCDユニット309は1280×1024画素構成の二次元表示器である。コンピュータPC300のソフトウェアには、複写機側と同様にLAN対応のオペレーティングシステム(OS)が備わっている。LANコントローラ308には、ネットワークLANの同軸ケ−ブルと接続できる端子が設けられている。この実施の形態では、コンピュータPC300は複写機の表示情報を表示するだけでなく、それ自身からの入力によって複写機のボタン操作と同一の遠隔操作を複写機に対して行う。コンピュータPC300における入力操作は、この例では、LCDユニット309に表示されたボタンをマウス312により指示してクリックすることによって実施される。また、英数値入力に関しては、マウス以外にキーボード311からの入力も可能になっている。画面がLCDユニット309に表示されている時に、例えばスタートボタンをマウスで指示してダブルクリックすると、クリックした位置の座標により、表示されている画像に対する相対位置座標が算出できる。よって、本発明では、表示されている画像は矩形領域単位に分割され、相対位置座標によって矩形領域単位の位置を特定することができる。そして、その指定された矩形領域の位置がコンピュータPCから複写機に送信される。
コンピュータPC300の表示画面においては、マウス312によって位置を移動しうるマウスカーソル(例えば矢印形状のマーク)が表示され、それで表示されるボタンを指示した状態でマウス312上のスイッチを押す(クリックする)ことにより、指示した表示ボタンを操作する。より具体的には、コンピュータPC300のコンソールでは入力判定プログラムが起動される。入力判定プログラムは、コンピュータPC300上のマウス312から入力された座標xp,ypが表示画像データの特定の矩形領域の内側にあるか否かを照合する。例えば、表示画像データのコンソール上の表示画像データの特定の矩形領域の表示座標(左上位置座標)をx1、y1とし、該矩形領域の横方向の長さをLx、縦方向の長さをLyとする場合、x1≦xp≦x1+Lx、かつy1≦yp≦y1+Lyの両方の条件を満たす場合に、マウス412でクリックした点(座標xp,yp)が該矩形領域の内側であるものと判定する。矩形領域の表示座標(左上位置座標)x1、y1は、特定した値をもっていている場合もあるが、表示画像データのコンソール上の表示位置と、表示画像上の矩形位置との関係によって決められてもかまわない。したがって、矩形領域の座標値を順次取り出し、上記比較をすることにより、マウスでクリックした座標を含む矩形領域を判別できる。矩形領域は複数個別々に独立に指定することもできる。
また、マウス312では一定の範囲を指定することもできる。例えば、マウス312で範囲を指定した左上座標を(座標xp0,yp0)、横方向の長さをLxp0、縦方向の長さをLyp0とし、右下座標を(座標xp0+Lxp0,yp0+Lyp0)とする。同様に、表示画像データの特定の矩形領域の表示座標(左上位置座標)をx1、y1とし、該矩形領域の横方向の長さをLx、縦方向の長さをLyとする場合、xp0+Lxp0≦x1 かつ x1+Lx≦xp0、かつyp0+Lyp0≦y1 かつ y1+Ly≦yp0の条件を満たす場合に、マウスで指定された範囲にその矩形領域は含まれるとする。
図24は本発明の監視システムの信号の流れを示すフロー例である。画像処理装置としては複写機を想定しているが、プリンタやFAXであってもかまわない。画像処理装置側の複写機では、原稿をスキャンすると、原稿データが監視処理装置側の複写機へ送信される。監視処理装置側の複写機では人が簡易目視チェックをしている。スキャンした原稿は符号化されて監視処理装置側の複写機へ転送される。符号化し符号量を減らすことで転送負荷を軽減することができる。このとき本発明の構成では、例えば、後で詳細チェックが必要な場合に転送可能なようにロスレスの符号データを保存しておいて、符号データを編集して編集後の符号量の少ない符号データを転送する。目視チェックで問題があったときは、画像処理装置側の複写機に注意警報を送る。警報は通信を介さなくてもかまわなく、公衆電話を使用してもよい。更に、目視チェックで問題があったときは、警報と同時に、監視処理装置側の複写機は画像処理装置側の複写機に詳細データの再送要求を送る。画像処理装置側の複写機は、その要求を受けて、符号データを再編集し、符号量の多い詳しい再現をする符号データを監視処理装置側の複写機に送り返す。そして、詳細な目視判別によって問題があると断定される場合には、監視処理装置側の複写機は画像処理装置側の複写機に警報を出す。この時、遠隔からの操作指令で複写機を使用できないようにしてもかまわない。
図25は連写の場合を含むコピー監視システムの動作フロー例である。図24と異なる点として、画像処理装置側の複写機では、スキャン原稿(画像データ)が符号化されてデータ保存される。保存された符号データを編集して、新たに生成された符号データを監視処理装置側の複写機に転送され復号再生する。このときに、最初送られてくるデータは詳細レベルが最も低くなっている。次の原稿スキャンの開始がなされない場合には、符号データが追加転送され、監視処理装置の再生画像が自動的に詳しくなる。
次に、本発明の実施の形態のJPEG2000符号を例に、プログレシブ表示の実現方式について詳細に説明する。
図26は一つのコンポーネントの1タイルにおいて解像度分解レベル3の場合のウェーブレット変換後のサブ・バンド係数例を示す図である。係数を符号化する順番は(1)から(4)である。係数(1)の復号データを復号化してウェーブレット逆変換を実施すると、一番低い解像度の画像が得られる。この画像の解像度をrとした場合、解像度2rの画像データは(1)および(2)の係数復号データを復号化してウェーブレット逆変換を行うと得ることができる。同様に、解像度4rの画像データは(1)〜(3)の係数符号データから得ることができる。同様に、解像度8r(最高画質)の画像は(1)〜(4)から得ることができる。
図27は解像度分解レベル3データイル数が1の場合におけるJPEG2000フォーマットの例を示す図である。同図の係数符号データ(1)〜(4)は、図26のそれぞれ(1)〜(4)の係数符号化データに対応する。本JPEG2000フォーマットでは各解像度別に符号データを取り出すときにSOPマーカを検出して符号データを取り出している。JPEG2000符号データでは、さらにEOPマーカが使用されてもよい。
図28は画像処理装置(複写機)サーバの符号データ編集部で再構成するJPEG2000符号データの例を示す図である。解像度分解レベル4データイル数が1の場合は、A(解像度r)からD(解像度8r)の4本のJPEG2000符号データに分割再構成され、クライアントの要求に従って、A,B,C,Dの順番で送信される。
図29は遠隔監視装置(クライアント)がプログレッシブに画像の表示を行う場合に入力する部分号データと保持する係数LLとの関係を示す図である。図29のJPEG2000符号データAを復号化器に入力する。復号化器は、解像度rの画像が必要な場合は、符号データAに対して算術符号の復号化を行い、ウェーブレット逆変換を行い、画像を再生する。このとき、算術符号の復号化を行う過程で、サブ・バンド係数LL0が生成される。単色の場合はひとつの係数LLが使用されるが、RGBなどカラーの場合は、コンポーネントの数だけの独立な復号処理が行われるのでコンポーネントの数だけ必要となる。このとき、プログレシブ復号するコンポーネントは、全てのコンポーネントである必要はなく一部のコンポーネントだけであってもかまわない。コンポーネント毎に復号処理歯互いに独立であるからである。
そして、解像度2rの画像が必要な場合は、符号データBと先に出力した係数LL0とを入力し、符号データBに対して算術符号の復号化を行ったデータと、係数LL0とを用いてウェーブレット逆変換すると、解像度2rの画像とを得る。このとき、符号データBに対して算術符号の復号化を行ったデータと、係数LL0とを用いて係数LL1が算出される。
そして、解像度4rの画像及び解像度8rの画像を得る場合も同様に、受信した符号データに対して算術符号の復号化を行い、前の解像度の係数を用いてウェーブレット逆変換を行うことに復号すると共に、とよって得ることができる。最高解像度の係数データは破棄する。
図30はプログレシブ復号処理に係る構成例を示す図である。また、図31はプログレシブ復号処理の概略フロー例を示すフローチャートである。本発明の遠隔監視システムでは、画像処理装置(サーバ)で符号データは保存され(図31の(b)のステップS402)、符号データを図27の構成から図28の構成に編集し(ステップS403)、順次部分符号データが送信され(ステップS405)、上述のように復号処理される(図31の(a)のステップS303〜S306)。
本発明の構成では、プログレシブ復号処理の途中に、新しい符号データが入力された場合には、例えば原稿が新たに読み込まれ符号化された場合には、その前の符号データについてのそれ以降のプログレシブ復号処理は中止する。もちろん、次の新たな符号データが入力されなければ、順次全ての符号データの復号することができる。
次に、タイル単位の合成による連続スキャン画像の監視について説明する。図25に示すように、連写などの連続印刷の場合は、直ぐに転送されることなく、複数枚の原稿の符号化データが一旦符号化されて保存し、複数個の符号データを編集(合成)し符号量を調整し、監視装置では複数個の原稿をまとめて目視チェックできるようにする。複数枚数の原稿スキャンが終了した後で合成原稿の符号データが監視装置へ転送される。以下図25で説明したものと同様に、目視チェックをして問題があれば詳細データを再送要求して、詳細画像を再生して詳細なチェックをする。
図32は合成された複数原稿を監視する場合の原稿の流れを示す図である。同図は4枚のスキャン画像の符号データが合成し監視装置へ転送する場合の原稿画像の合成例を示している。この例では、詳細データの再送要求の場合に、4枚のスキャン画像のうちの1枚を指定し、詳細な部分画像の符号データが転送され監視装置で復号再生されている。このように、本発明の実施例における監視システムは、部分画像データアクセス機能をもっている。
図33は合成画像の符号化を実現するためのJPEG2000における符号列レベルでの編集についての説明図である。連続的にスキャンされた原稿が4枚あるような場合に、JPEG2000で符号化される場合の例である。夫々の原稿画像が符号化された符号データが、領域(タイル)単位(タイルパート)に合成され、新たに生成した符号データを復号し合成画像を再生する。
図34は符号データが合成される場合のJPEG2000の符号ストリームの構成についての説明図である。独立に符号化したコード・ストリームがそれぞれタイルとして複数のタイルが合成されて新たな符号データが生成される。すなわち、合成後のコード・ストリームは、先頭にメインヘッダ、末尾にEOC(End Of Codestream)が位置していて、その間には、各タイルのタイルヘッダ及びビットストリームからなるタイルが、タイル番号の順番に並ぶ。逆に、上述したように合成された符号データから、あるタイルにかかる部分符号データを取り出し、新たに独立したコード・ストリームを生成することも容易である。
なお、図19に示した本発明の監視システムにおける典型的な画像処理装置の処理フローの中に、連続に読み取るような(連写の)場合に、複数原稿の符号データをまとめて遠隔装置へ転送する処理手順例を示している。4枚の原稿をまとめている例を示しているが、4でなくてもかまわない。また、図示はしないが、複写機などの画像処理装置が読み込んだ時に、事務機器内で簡易な検査をして、特に問題がありそうだと推定される場合は、符号化する場合にのみ符号化することで監視効率を上げることもできる。更に、図示はしないが、画像をスキャンしたときに画像サイズによって、大きい画像の場合は、符号量削減量を多くするように、符号データを編集してもよい。サイズの大きい画像の符号量は、小さいもの比べて符号量が大きくなり転送負担が大きいためである。
また、監視体制が装備しているビルなどの監視カメラの映像は、集中監視室のモニタに表示し監視する。それを流用することで低コストによるビルにおける情報の流れの集中監視が可能となる。遠隔監視用の監視カメラのモニタを共用することで、低コストで実現できる。
図35は監視カメラと切り替えて使用する構成を示す図である。同図に示すように、監視切替装置401は監視対象を監視カメラ402の撮影映像と本発明の複写機等の事務機器403で処理されたデータとを切り替えてモニタ404に表示する。
なお、本発明は上記実施の形態に限定されるものではなく、特許請求の範囲内の記載であれば多種の変形や置換可能であることは言うまでもない。