JP2008147898A - 遠隔監視システム及び事務機器の遠隔監視装置 - Google Patents

Abstract

【課題】本発明はできるだけ早期に問題を発見し、そのために必要とするコストも少なくし、できるだけ原稿チェックのための原稿の記録容量を少なくできる。
【解決手段】本発明は、画像データの読み取り機能を有する事務機器と、該事務機器に情報伝送路を介して接続され、読み取られた画像データを表示する表示部を有している。事務機器は、読み取った二次元画像情報を保持する第１のイメージ記憶手段と、所定の指示に応答して第１のイメージ記憶手段に保持された二次元画像情報を符号化する符号化手段と、符号化された第１の符号データを編集する符号データ編集手段と、符号データ編集により生成された第２の符号データを遠隔監視ユニットに転送する通信手段とを有している。また、遠隔監視ユニットは、事務機器が通信手段により受信した第２の符号データを復号する復号手段と、復号された第２の二次元画像情報を表示する表示手段とを有している。
【選択図】 図１８

Description

本発明は遠隔監視システム及び遠隔監視装置に関し、詳細には複写機で禁止されたコピーがないかどうかを遠隔地で監視するシステムに関する。

最近では、個人情報や企業の機密文書の漏洩などに代表されるような情報（データ）の流出が社会問題として取り上げられるようになった。行政機関では、行政文書を電子的な保存を認める法律(通称:「e-文書法」)の制定が検討されていることに代表されるように、機密文書の閲覧管理が大きな課題となっている。上記に示した監視カメラと同様に、その多くは、人が見ないと区別がつかないような情報である。そして、最近では、スキャナ等でイメージデータ化した行政文書も電子的原本とみなす法律(通称:「e-文書法」)が成立し、電子データ化されたデータは通信回線を通して容易に転送できるため、機密文書に係る電子データの流出が大きな社会問題化されるようになった。

ところが、これまで、監視カメラを用いた人やものを対象とした監視はなされていたが、情報の流出を監視するシステムについては構築されていなかった。遠隔監視システムの典型的な実施例としては、監視カメラによりビルの人あるいは荷物の出入り（行為）を集中管理室等で監視しているシステムがある。自動的に判別することが困難であることなどから、人が監視する方法をとっている。しかしながら、監視カメラで監視している対象は、人であったり物であったり、あるいはその行為であり、情報（電子データ）の流れを監視しているのではない。

そこで、従来より遠隔地の事務機器を監視する提案がいくつかなされている。その一つとして、特許文献１には、画像処理装置（複写機）のパネル表示の表示変化のタイミングでビットマップ表示データを遠隔操作部へ転送し、遠隔操作するという、ビットマップ表示用の符号データが転送される構成である事務機器の遠隔監視装置が提案されている。
特許第３，３２７，５６６号明細書

しかしながら、近年デバイス速度の向上により通信速度も著しく向上するものとなり、ブロードバンド通信の普及とあいまって、ますます処理速度が向上するものと予想されるが、上記特許文献１のような監視システムにおいては、複写機などの画像処理装置が連続的に処理をしているような場合においては、処理速度に追従できないという問題がある。典型的な実施方法としては、複写機でコピーされた原稿を蓄積しておいてまとめて検査することである。その場合、実時間で検査できないことから、人を特定する対応が遅れるという問題がある。また、原稿を記録するための記憶装置が必要であり、この方式では記録容量が検査の範囲を限定し、大量の原稿を扱う場合には記憶容量不足になる問題がある。

また、個人情報の漏洩とか企業の機密情報の持ち出しとか、重要文書の閲覧管理が大きな課題となってきている。有価証券などの違法コピーの場合には、予め違法である原稿がわかっているので、自動チェックをすることが考えられるが、私用コピーのチェックなどでは、原稿が特定できないので、原稿内容を見て検査する必要がある。直接、画像を目視して検査するには、外部でまとめて目視することが望まれるが、そのためには一般にネットワークを介す必要があり、かつオフィス等では高頻度に画像の読み取りや再生がなされるため、転送速度が問題となる。

本発明はこれらの問題点を解決するためのものであり、できるだけ早期に問題を発見し、そのために必要とするコストも少なくし、またできるだけ原稿チェックのための原稿の記録容量を少なくすませて原稿のコピーの問題が起こったときにはできるだけ早く発見できる、遠隔監視システムを提供することを目的とする。

前記問題点を解決するために、本発明の遠隔監視システムは、監視カメラの遠隔監視装置と事務機器の遠隔監視装置を有している。監視カメラの遠隔監視装置は、映像対象を撮影する監視カメラと、該監視カメラに情報伝送路を介して接続され、撮影された画像情報を表示する表示部を有する遠隔監視ユニットとを具備している。また、事務機器の遠隔監視装置は、画像データ読み取り機能を有する事務機器と、該事務機器に情報伝送路を介して接続され、読み取られた画像データを表示する表示部を有する遠隔監視ユニットとを具備している。そして、本発明の遠隔監視システムによれば、監視カメラの遠隔監視装置と事務機器の遠隔監視装置との各遠隔監視ユニットの表示部が、監視カメラで撮影された画像情報と事務機器の画像情報とを切り替えて表示することに特徴がある。よって、事務機器の情報を監視する遠隔監視装置において遠隔監視用の監視カメラのモニタを共用することでシステム全体の低コストを実現できると共に、監視カメラの集中監視システムを利用することで低コストによるビルにおける情報の流れの集中監視が可能となる。

また、別の発明としての事務機器の遠隔監視装置は、画像データの読み取り機能を有する事務機器と、該事務機器に情報伝送路を介して接続され、読み取られた画像データを表示する表示部を有している。事務機器は、読み取った二次元画像情報を保持する第１のイメージ記憶手段と、所定の指示に応答して第１のイメージ記憶手段に保持された二次元画像情報を符号化する符号化手段と、符号化された第１の符号データを編集する符号データ編集手段と、符号データ編集により生成された第２の符号データを遠隔監視ユニットに転送する通信手段とを有している。また、遠隔監視ユニットは、事務機器が通信手段により受信した第２の符号データを復号する復号手段と、復号された第２の二次元画像情報を表示する表示手段とを有している。よって、前スキャンから次のスキャンまでの処理時間間隔である事務機器操作トラフィックに応じて監視対象のコピー原稿の符号化データの構成を編集し、編集後の符号データを転送し遠隔監視ユニットで復号再生することで、コピーの枚数や転送速度に対応可能であり、実時間に近い監視が可能となる。

更に、事務機器は、複数枚まとめて原稿を読み込む原稿読込手段と、複数枚まとめて原稿を読み込む場合に符号化された第１の符号データの符号量を減らす編集をする符号データ編集手段とを有し、遠隔監視ユニットは、第１の符号データの符号量を減らされた符号データを復号する復号手段と、復号した画像を表示する表示手段とを有している。よって、原稿搬送装置等による連続プリントの場合とそうでない場合とを区別して符号データの構成をペリフェラルに選択し監視データを再生し、プリントの方法（コピーモード）によって符号データの構成を選択し監視データとすることで、実時間に近い監視が可能となると共に、監視のために必要となる符号データの量を減らし処理時間の遅延を回避することができる。

また、事務機器は、複数枚まとめて原稿を読み込む原稿読込手段と、複数枚まとめて原稿を読み込む場合にそれぞれの原稿を符号化した第２の符号データを保存する保存手段と、保存された符号データがあるかないかを判定する判定手段と、保存された符号データがある場合には保存されたそれぞれの符号データを複数枚合成した第３の符号データを生成する符号データ編集手段とを有し、遠隔監視ユニットは、複数原稿まとめた合成画像を表示す表示手段を有している。よって、未チェックの符号データがたくさんたまっている場合にまとめて監視処理することで効率的な処理が可能となると共に、未処理画像データの保存状況によって処理の効率化を図ることができるので原稿監視のために必要なデータ保存容量を少なく抑えることができる。

更に、遠隔監視ユニットは、表示された第２の二次元画像情報を矩形単位に一部の画像領域を指定し、事務機器に指定した画像領域を転送する画像領域指定手段を有し、事務機器は、遠隔監視ユニットに指定された画像領域の符号データを事務機器に保存された部分符号データを取り出し、当該部分符号データを遠隔監視ユニットに転送し、復号する復号手段と、復号された第３の二次元画像情報を表示する部分領域の画像アクセス手段とを備えている。よって、領域を指定して再監視を図れ、疑われる領域を再検査することができる。

また、第３の符号データは合成元のそれぞれの符号データを復号再生した画像毎に指定するデータであることにより、順次領域を指定して再監視を図ることができる。

更に、事務機器における次のスキャン画像の入力の有無を検査する検査手段を有し、次のスキャン画像の入力がない間に遠隔監視ユニットで再生する画像における画質または解像度を示す表示詳細レベルを段階的に向上することにより、スキャン画像が入力されない間に徐々に画像データの詳細レベルが詳しくすることができる。

また、部分領域の画像アクセス手段による画像アクセスにおいて、符号データ編集手段によって遠隔監視ユニットで再生する画像における画質または解像度を示す表示詳細レベルが画像領域指定をする度に段階的に向上することにより、画像の表示詳細レベルを順次変更しながらコピー画像を観察することができ、効率的に監視ができる。

更に、符号データは、ＪＰＥＧ２０００(ISO/IEC 15444-1)規格に基づき符号化されたデータであることにより、部分符号データのアクセスが容易に達成でき、標準化されているため汎用的である。

また、上記符号データの通信手段は、JPIP（ＪＰＥＧ２０００ image coding system-Part9:Interactivity tools， APIs and protocols）規格に基づき、事務機器に保存された符号化データの一部である部分符号データを、遠隔監視装置が受信する部分符号データアクセス機能を有している。よって、JPIP規格に準拠して実現するので、標準化されているため汎用性を図れる。

本発明によれば、連続的に処理する場合には転送データの符号量をできるだけ少なくして転送する符号データの符号量を調整する。一時的に原稿の符号データを保存しておいて原稿符号化データを合成して合成原稿に対して検査をして、まとめて検査することにより効率的な検査ができる。また、複写機などの画像処理装置が読み込んだ時に、事務機器内で簡易な検査をして、特に問題がありそうだと推定される場合は符号化する場合にのみ符号化することで監視効率を上げ、大きい画像の場合は符号量削減量を多くする。このように、できるだけ早期に問題を発見し、そのために必要とするコストも少なくし、またできるだけ原稿チェックのための原稿の記録容量を少なくすませて原稿のコピーの問題が起こったときにはできるだけ早く発見できるのである。

はじめに、ＪＰＥＧ２０００による符号化について以下に説明する。
ＪＰＥＧ２０００の標準仕様においては、画像領域をタイル領域単位あるいは、プレシンクト領域単位に符号データが区別できるような形式で符号データが形成される。ＪＰＥＧ２０００(ISO/IEC 15444-1)規格の符号化は、おおよそ以下の手順でなされる。

先ず、インターレース画像のフレームデータを、Ｙ，Ｃｒ，Ｃｂの色成分毎のデータに変換する。そして、各色成分の色データに対しては、２次元離散ウェーブレット変換を施す。次に、得られるウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施し、スカラ量子化されたデータに対しＪＰＥＧ２０００に規定のエントロピー符号化処理（いわゆる係数モデリングによる算術符号化処理）を施す。また、全ての色データに対しては、２次元離散ウェーブレット変換を施す。次に、得られるウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施して、スカラ量子化されたデータに対しＪＰＥＧ２０００に規定のエントロピー符号化処理を施す。その後、ＪＰＥＧ２０００で規定する符号列を生成する。なお、復号化処理はこの逆の手順である。もちろん、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。また、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する画像処理装置は、既に存在する。

図１はＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するためのブロック図である。同図に示すように、階層符号化・復号化部は、２次元ウェーブレット変換・逆変換部１２、量子化・逆量子化部１３、エントロピー符号化・復号化部１４、タグ処理部１５で構成されている。ＪＰＥＧアルゴリズムと比較して６、最も大きく異なる点の一つは変換方法である。ＪＰＥＧでは離散コサイン変換(ＤＣＴ:Discrete Cosine Transform)を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換(ＤＷＴ:Discrete Wavelet Transform)を、各々用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。また、他の大きな相違点は、後者では最終段に符号形成を行うために、タグ処理部１５と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、後述する図３に示すように、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。

なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のＲ(赤)／Ｇ(緑)／Ｂ(青)の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ(黄)／Ｍ(マゼンタ)／Ｃ(シアン)の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆の変換を行う部分がこれに相当する。

以下、ＪＰＥＧ２０００アルゴリズムについて説明する。
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント(ここではＲＧＢ原色系)が、矩形をした領域(タイル)によって分割される。そして、個々のタイル、例えば、R00，R01，・・・，R15／G00，G01，・・・，G15／B00，B01，・・・，B15が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。

符号化時には、各コンポーネントの各タイルのデータが、図１の色空間変換・逆変換部１１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１２で２次元ウェーブレット変換(順変換)が適用されて周波数帯に空間分割される。

図３はデコンポジション・レベル数が３の場合の各デコンポジション・レベルにおけるサブ・バンドを示す図である。すなわち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジション・レベル0)に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブ・バンド(1LL，1HL，1LH，1HH)を分離する。そして、引き続き、この階層における低周波成分１LLに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブ・バンド(2LL，2HL，2LH，2HH)を分離する。順次同様に、低周波成分２LLに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブ・バンド(3LL，3HL，3LH，3HH)を分離する。更に、図３では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。例えば、デコンポジション・レベル数を３とした時、グレーで示したサブ・バンド(3HL，3LH，3HH，2HL，2LH，2HH，1HL，1LH，1HH)が符号化対象となり、サブ・バンド（3LL）は符号化されない。

次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化・逆量子化部１３で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示すように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。

図１のエントロピー符号化・復号化部１４では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。このようにして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。エントロピー符号化・復号化部１４で形成される符号データの最小単位は、パケットと呼ばれる。パケットは、図５に示すように、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントの中の１つで示される。全てのプレシンクトのパケットを集めると画像全域の符号の一部（例えば、画像全域のウェーブレット係数のＭＳＢから３枚目までのビットプレーンの符号）ができるが、それをレイヤと呼ぶ。レイヤは画像全体のビットプレーン符号の一部であり、復号されるレイヤ数が増えると画質が向上する。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号となる。

図６は画像全域のビットプレーン符号化例についてサブ・バンドをプレシンクトとした時のレイヤとパケットとの関係を示す図である。この例では、ウェーブレット変数の階層数（デコンポジション・レベル）が２でありデコンポジション・レベル２のサブ・バンドは４つのコードブロックに、デコンポジション・レベル１のサブ・バンドは９個のコードブロックにそれぞれ分割されている。パケットはプレシンクトを単位としていくつかのプレシンクトにより構成され、図６の例では、プレシンクトはサブ・バンドであるので、パケットはいくつかのサブ・バンドＨＬからＨＨサブ・バンドまでをまたいだものとなっている。

パケットは、あるプログレッシブ順データといえば、それぞれ、領域、解像度、レイヤ、および色成分によって配列される。即ち、ＪＰＥＧ２０００規格では、画質(レイヤ(L))、解像度(R)、コンポーネント(C)、位置(プレシンクト(P))という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッションが定義されている。

・LRCP プログレッション：プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現できる。レイヤプログレッションとも呼ばれる。
・RLCP プログレッション：プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現できる。
・RPCL プログレッション：レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCP同様、解像度のプログレッションであるが、特定位置の優先度を高くすることができる。
・PCRL プログレッション：レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現できる。
・CPRL プログレッション：レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現できる。

このようにＪＰＥＧ２０００規格では、画像は領域（タイルまたはプレシンクトといった画像構成要素）、解像度、階層（レイヤ）、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。

図７の（ａ）は、ＬＲプログレッション（レイヤプログレッション）のプログレッシブ順序を模式的に表した図である。図７の（ｂ）は、ＲＬプログレッション（解像度プログレッション）のプログレッシブ順序を模式的に表した図である。

最後に、図１のタグ処理部１５は、エントロピー符号化・復号化部１４からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。図８には、コード・ストリームの構造を示す。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。

一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部１５は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎にエントロピー符号化・復号化部１４で復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１３で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部１４で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１１によって元の表色系のデータに変換される。

次に、ＪＰＩＰにおける符号データのやり取りについて説明する。
本発明の実施の形態における別の特徴として、遠隔地に表示された部分画像データをアクセスして、遠隔地から遠隔操作対象である複写機（画像処理装置）に保存された階層符号データの一部または全部をアップロードして再表示する機能がある。典型的には、最初は転送効率を高めるために符号データを一部削減した部分符号データを受信し再生し、その後、さらに詳しく調べるために、残りの符号データを受信（アップロード）して再表示する。そのような機能を実現するために、画像符号化データのプロトコルとしてＪＰＩＰ（ＪＰＥＧ２０００ image coding system-Part9:Interactivity tools， APIs and protocols）がある。

ここで、サーバにあるＪＰＥＧ２０００符号から、必要な符号だけを受信するためのプロトコルとして国際規格ＪＰＩＰ（ＪＰＥＧ２０００ ｉｍａｇｅ ｃｏｄｉｎｇ ｓｙｓｔｅｍ − Ｐａｒｔ ９： Ｉｎｔｅｒａｃｔｉｖｉｔｙ ｔｏｏｌｓ， ＡＰＩｓ ａｎｄ ｐｒｏｔｏｃｏｌｓ）がある。このような、階層的な画像を部分的にアクセスするためのプロトコルは、古くは、画像の多重解像度表現であるFlash Pixと、それにアクセスするためのプロトコルであるIIP（Internet Imaging Protocol）に見ることができる。

図９はＪＰＩＰにおける典型的なクライアント・サーバ間のプロトコル概要を示す図である。先ず、クライアントからサーバへ画像符号データの送信要求が出され、サーバはその応答としてクライアントへ対応する画像符号化データを転送する。クライアントは送られてきた画像符号化データを再生した後、当該画像の部分画像を指示し、指示された部分画像に対応する符号データの転送要求をサーバに送る。サーバはそれに応答し、要求に対応する部分符号データをクライアントに送り、クライアントは送られてきた画像符号化データを再生するというものである。このように、ＪＰＩＰにおけるプロトコルでは、クライアントからサーバへ要求を出し、サーバがクライアントに要求に対応する応答をするというプロトコルを形成する。すなわち、ＪＰＩＰにおいては、クライアントからの要求（リクエスト）に応じて、サーバは完全な画像ファイル、タイルパートストリーム（ＪＰＴ−ストリーム）またはプレシンクトストリーム（ＪＰＰ−ストリーム）の形式をもつ符号データを戻す（応答する）。ＪＰＴ−ストリームは、ＪＰＥＧ２０００パート１規格で規定されるタイルパートの組としてサブ画像の符号データを戻す方法である。一方、ＪＰＰ−ストリームは、ＪＰＥＧ２０００パート１規格で規定されるプレシンクトの組としてサブ画像の符号データを戻す方法である。ＪＰＴ−ストリームにより順次アクセスした符号データを再生する場合は、タイル分割されたタイル領域毎に順次完全に再生するのに対して、ＪＰＰ−ストリームにより順次アクセスした符号データを再生する場合は、タイル領域に跨った広い領域で、小さい領域（プレシンクト）単位に徐々に再生することができる。すなわち、ＪＰＴ−ストリームのアクセスによる再生では、一時に再生する範囲が画像全体の中であるタイル領域に限定されているのに対し、ＪＰＰ−ストリームのアクセスによる再生では、一時に再生する範囲はタイル領域に限定されず画像全体での再生が可能なのである。

このように、ＪＰＩＰのクライアントは、受信された符号データの部分を識別でき、それらの部分を復号し、かつ画像を生成することのできるように、タイルパートストリーム又はプレシンクトストリームの形式で、ＪＰＥＧ２０００コード・ストリームのサブセットを戻す機能を提供する。すなわち、ＪＰＰ−ストリームはＪＰＥＧ２０００コード・ストリームへ変換されＪＰＥＧ２０００デコーダで復号することができる。この変換は、復号されるデータと共に、メインヘッダの全てとタイルヘッダの全てを受信すれば十分である。図１０はＪＰＥＧ２０００ファイルとデータビンとの関係を例示している。ＪＰＰ−ストリームは、図１１に示すように、メッセージのシーケンスより構成される。各メッセージは、含まれるデータビン情報の形式を示す（メインヘッダ、メタデータ、プレシンクト、又はタイルヘッダ）。各メッセージは、データビン内の開始位置とメッセージの長さも示す。各メッセージは、その形式、その形式内のインデックス、その形式とインデックスを有する“データビン”へのメッセージのオフセット、及びメッセージ長を識別するヘッダを有する。メッセージは、典型的には、データビン全てを含まず、データビンの一部を含む。メッセージには、データビンがどのタイル、コンポーネント、位置及び解像度データビンに対してであるかを示す識別子を含む。

本発明では、タイル、コンポーネント、位置及び解像度を階層としており、データビンに含まれる符号列（パケット）は、各階層のどのレベル（階層レベル）のデータであるかという情報が対応している。例えば、データビンに含まれるある符号列がタイルＡでコンポーネントが、Ｃｂで位置４で、解像度１レベルであることが示されている。

プレシンクト・データビンは、図１２に示すように、一連のパケットヘッダ（ＰＨ）とパケットデータ（ＰＤ）より構成される。パケットヘッダは、どのコードブロックがパケットのパケットデータ部分内のデータを有するかに関する情報、各符号ブロックに格納されたバイト数に関する情報、及び各符号ブロックについての符号化パスの数を含む。JPIPの標準仕様では、パケットヘッダには、どのコンポーネント、位置、解像度、タイル、あるいは、それが属するレイヤを識別する情報（階層レベル情）はもってない。本発明の一実施の形態として、先に示したメッセージデータを解析して、パケット単位の階層レベル情報をパケットヘッダに記録してもかまわない。クライアント側でＪＰＰ−ストリーム受信後、これらの情報を記録することもできる。

同様に、ＪＰＩＰの標準仕様では、パケットヘッダの長さに関する明確な情報も持たない。パケットデータの長さは、パケット内の全てのコードブロックにデータの長さを加算することにより決定できる。本発明の一実施例として、パケットヘッダにこれらのデータ長を計算した結果を保存する構成にすることができる。ＪＰＰ−ストリームに規定された構成によりパケットを抽出することができる。

また、ＪＰＩＰのプロトコルは、二つの異なるタイプの要求をもっている。サーバがキャッシュモデルを維持する必要がないという意味におけるステートレスリクエストとそれ以外のリクエストがある。サーバのキャッシュモデルには、それまでにサーバに送信したことについての情報の記録がなされている。クライアントのキャッシュには、サーバから受信した符号データが保存され、サーバはキャッシュモデルを用いることによって、既に転送した符号データをクライントに転送することなく、再利用できる。典型的には、クライアントは、断片的に受信したＪＰＥＧ２０００の符号データを、受信した順番にデータをアペンドしキャッシュに保存する。続いて、前述したようにキャッシュしたデータからＪＰＥＧ２０００のシンタックスに準拠したビットストリームを作成し、そのビットストリームをデコードする。

次に、ＪＰＩＰにおけるクライアント、サーバ及びネットワークについて説明する。ここで、図１３はＪＰＩＰにおけるキャッシュを持ったクライアントサーバモデル構成例であり、図１４はＪＰＩＰにおけるクライアントサーバネットワークモデルの構成例である。

図１３の（ａ）に示すように、サーバ２２は、ある種のネットワークを介してクライアント２１のような少なくとも１つのクライアントに接続されている。クライアント２１は、しばしば、人間のユーザにより制御される“プログラム”であるが、完全に自動化されたシステムでも良い。クライアント２１は、ある画像のサブセットに対する要求のような、要求（リクエスト）を発行し、この要求に示された方法で対応する符号データを含む、応答のような応答を受信する。ネットワークの帯域幅又はサーバ２２の資源又はファイル要求の構造のために、クライアント２１は要求された画像の部分符号データ以外のおおよその符号データを受信し得る。クライアント２１は、典型的には、キャッシュを用いて、画像の異なる部分の出力に対する要求を発行し、前に受信された符号データに対する追加分の符号データを受信する。

ここで、ＪＰＩＰの基本的特徴の一つは、クライアントが既に受信した符号データを繰返すことを避ける能力である。この符号データの再送信を避ける２つの方法がある。第１の方法としては、図１３の（ａ）に示すように、クライアント２１が、サーバ２２へ送信されクライアント２１で既に受信された符号データについての情報を持つことで、クライント２１は冗長なデータの配信をサーバ２２に要求しないで済ませ、それにより、サーバ２２は冗長な符号データを送信しないで済ます方法がある。サーバ２２が、“ステートレス”で動作する場合にあっては、それまでの相互動作を記憶することなく動作する。サーバが、それまでの相互動作を記憶する特別なキャッシュモデルを維持する必要がないことから、一般的には、ステートレスで動作しているということが多い。

また、第２の方法としては、図１３の（ａ）に示すように、クライアント２１とサーバ２２は、“セッション”を確立し、サーバ２２は、クライアント２１へ送られた符号データを記憶しておくキャッシュモデル２６をもっている。すなわち、サーバ２２のキャッシュモデル２６には、それまでにサーバ２２に送信したことについての情報の記録がなされている。クライアント２１のキャッシュ２３には、サーバ２２から受信した符号データが保存され、サーバ２２は、キャッシュモデル２６を用いることによって、既に転送した符号データをクライント２１に転送することなく、再利用できる。典型的には、クライアント２１は、断片的に受信したＪＰＥＧ２０００の符号データを、受信した順番にデータをアペンドしキャッシュ２３に保存する。続いて、前述したようにキャッシュしたデータからＪＰＥＧ２０００のシンタックスに準拠したビットストリームを作成し、そのビットストリームをデコードする。

また、本発明は、主に、図１３の（ｂ）に示すようなステートレスな要求を処理するに係り、キャッシュ管理部２８を有することで、キャッシュ２３のキャッシュデータを管理するところに特徴がある。クライアント２１は、それまでに要求した符号データの全てを受信する前にさえも、興味のある画像の部分に対応する符号データを変更し得る。あるサーバは、これらの変更を扱うために、前の要求に対する応答を割り込みすることができる。

図１４は典型的なネットワークを示す図である。同図に示すように、ネットワークは、複数のクライアント、例えばクライアント３１〜３５と複数のサーバ、例えばサーバ３６，３７を含んで構成されている。単一のサーバは、数１００万の異なるクライアントへ同じ画像の異なる部分を扱い得る。単一のクライアントは、画像と他のデータ（例えば、ＨＴＭＬページ）を、幾つかのサーバから受信する。プロキシサーバは、オリジナルサーバと通信すること無しにいくつかの要求への素早い応答を可能とするために、ネットワーク内に存在しうる。有効な帯域幅と帯域幅のコストは、異なるクライアントと同じサーバの間で又は、異なるサーバの間で広く変わる。

最も一般的に使用されるネットワークは、インターネット又はワールドワイドウェブである。しかし、ＪＰＩＰは、ローカルエリアネットワーク又は、どのような一般的な相互接続システムに適用できる。同様に、ＪＰＩＰは、ハイパーテキスト転送プロトコル（ＨＴＴＰ）の上で”最も一般的に転送されるが、ＴＣＰ／ＩＰ及びＵＤＰを含む他の転送プロトコルと共に使用されると予想される。

以上のことから、ＪＰＩＰストリームの符号フォーマット（メッセージ）を分析することで、コンポーネント数、レイヤ数、プレシンクトサイズ、デコンポジション分割数などの階層符号データを構成する各階層のレベル数がわかる。また、プログレッション順序についても知ることができる。

図１５はＪＰＩＰを使用した場合の出力表示画面例を示す図である。最上位画面では、２つのタイルからなるデータが表示されていて、例えば、図１５の（ａ）に示すようにそれぞれのタイルをクリックすることによって画像データが表示され、図１５の（ｂ）のような画質の劣ったタイル４枚からなる画像となる。更に、右下の画像をクリックすることによって、図１５の（ｃ）に示すようにクリックしたタイルの部分画像の解像度が変倍され、部分画質レベルが向上する。このように、部分画像データを参照する場合に使用される。部分画像データを参照する都度、表示クライント側からサーバ側へ符号データを転送要求し再生する。

このようにＪＰＩＰにおいては、クライアント（出力側）では、全ての（階層）符号データではなく、部分符号データを必要としていることを前提としている。そのため、部分符号データからオリジナルの符号データの階層構造を知ることができないという問題があった。

なお、ＪＰＩＰの“主な使用事例”は、２００２年7月１５日に発行されたＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１Ｎ２６５６に詳細に記載されている。ＪＰＩＰの主要な応用例としては、大きな画像のブラウジングである。ＪＰＩＰは、航空画像、医療画像及び、プリプレス画像を代表とする大きな画像の低解像度版又は部分を小さな携帯表示装置（例えば、携帯電話、携帯情報端末等）で見る方法を提供する。

次に、ＪＰＥＧ２０００のコード・ストリームのフォーマットについて説明する。
ＪＰＥＧ２０００のコード・ストリームは、画像についての全てのエントロピー符号化されたデータと、その符号化されたデータを復号するために使用されるべき方法を記述するデータを含む。コード・ストリームは、使用されるウェーブレット変換に関する情報、タイルのサイズ、プレシンクトのサイズ、解像度に関する情報、ファイル内のパケットの順序等を含む。コード・ストリームは、エントロピー符号化されたデータを画像サンプルに復号するのに必要な全てのパラメータを含まなければならない。コード・ストリームは、例えばパケットの長さのような、符号化されたデータの部分への高速アクセスを提供する情報も含み得る。

図１６の（ａ）はＪＰＥＧ２０００のコード・ストリームのフォーマットの概略構成を示す図である。ＪＰＥＧ２０００の“コード・ストリーム”には、いくつかのマーカセグメントをもっている。マーカセグメントとは、一つの２バイト長よりなるマーカとそれに付随するパラメータ群から構成されている。各マーカセグメントには機能、用途、データ長が表されている。コード・ストリームのフォーマットは符号データの始まりを示すＳＯＣ（Ｓｔａｒｔ ｏｆ Ｃｏｄｅｓｔｒｅａｍ）マーカで始まる。ＳＯＣマーカの後には、符号化のパラメータや量子化のパラメータ等を記述したメインヘッダが続き、その後に実際の符号データが続く。

図１６の（ｂ）はメインヘッダの概略構成を示す図である。メインヘッダはＣＯＤ，ＱＣＤの必須マーカセグメントとＣＯＣ，ＱＣＣ，ＲＧＮ，ＰＯＣ，ＰＰＭ，ＴＬＭ，ＰＬＭ，ＣＲＧ，ＣＯＭのオプションマーカセグメントで構成される。ここで、ＳＩＺマーカセグメントには、コンポーネント数とかタイルサイズなどの非圧縮時の画像の情報が記述され画像コンポーネントの幅と高さについての情報を含む。ＣＯＤとＣＯＣマーカセグメントは、圧縮されたデータはどの様に復号されるべきかを示すパラメータを含む。ＣＯＤマーカにはプログレッション順序、レイヤ数、プレシンクトサイズ、デコンポジション分割数が記述されている。ＱＣＤマーカは量子化に係る情報が記載されている。また、ＣＯＭマーカはコメント等の情報を付加したいときに利用するマーカで、メインヘッダ、タイルヘッダの双方で使用することが可能である。メインヘッダの後に、一連の“タイルパート”がある。各タイルパートは、特定のタイルと部分を識別する“ＳＯＴ”マーカセグメントで始まる。各タイルパートについて符号化されたデータには、“ＳＯＴ”マーカセグメントが先行する。“ＳＯＴ”マーカセグメントには、タイルパート数に係る情報を含んでいる。

図１７に示すような実際の符号データは、ＳＯＴ（Ｓｔａｒｔ ｏｆ Ｔｉｌｅ−ｐａｒｔ）マーカで始まり、タイルヘッダ、ＳＯＤ（Ｓｔａｒｔｏｆ ｄａｔａ）マーカ、タイルデータ（符号）で構成される。これら画像全体に相当する符号データの後に、符号の終了を示すＥＯＣ（Ｅｎｄ ｏｆ Ｃｏｄｅｓｔｒｅａｍ）マーカが付加される。メインヘッダはＣＯＤ，ＱＣＤの必須マーカセグメントとＣＯＣ，ＱＣＣ，ＲＧＮ，ＰＯＣ，ＰＰＭ，ＴＬＭ，ＰＬＭ，ＣＲＧ，ＣＯＭのオプションマーカセグメントで構成される。

図１６の（ｃ）に示すタイルヘッダ構成は、タイルデータの先頭に付加されるマーカセグメント列であり、ＣＯＤ，ＣＯＣ，ＱＣＤ，ＱＣＣ，ＲＧＮ，ＰＯＣ，ＰＰＴ，ＰＬＴ，ＣＯＭのマーカセグメントが使用可能である。一方、図１６の（ｄ）は、タイル内が複数に分割されている場合における分割されたタイルパートの先頭に付加されるマーカセグメント列であり、ＰＯＣ，ＰＰＴ，ＰＬＴ，ＣＯＭのマーカセグメントが使用可能である。タイルヘッダでは必須マーカセグメントはなく、すべてオプションである。タイルデータ（符号）は、連続したパケットで構成される。コード・ストリーム中のパケットの順番をプログレッション順序と呼んでいる。

以上のことから、ＪＰＥＧ２０００コードフォーマットを分析することで、コンポーネント数、レイヤ数、プレシンクトサイズ、デコンポジション分割数などの階層符号データを構成する各階層のレベル数がわかる。また、プログレッション順序についても知ることができる。

図１８は本発明の遠隔監視システムの構成例を示すブロック図である。同図に示す本発明の典型的な遠隔監視システムは、監視対象としている画像読取装置を有する画像処理装置（例えば、複写機）７０及び監視処理装置８０を含んで構築される。画像処理装置７０は、画像読取部７１、符号化処理部７２、データ保存部７３、出力処理部７４、監視解析部７５、符号データ編集処理部７６、操作指令部７７、復号化処理部７８及び送受信処理部７９を有し、一方監視処理装置８０は、復号化処理部８１、表示処理部８２、データ保存部８３、遠隔要求解析部８４、部分画像指定部８５及び送受信処理部８６を有している。

図１９は画像処理装置の処理を示すフローチャートである。同図において、画像処理装置７０では、操作指令部７７で操作指令がなされると（ステップＳ１０１；ＹＥＳ）、画像読取部７１で画像（原稿）が読み取られ、読み取られた原稿を符号化処理部７２で符号化する（ステップＳ１０４，Ｓ１０６）。そして、符号化された符号データは一旦データ保存部７３に保存し、続いて符号データ編集処理部７６で符号データを編集して、編集後の符号データを送受信処理部７９を介して監視処理装置８０に送信する（ステップＳ１０５，Ｓ１０７，Ｓ１０８）。読み取られた画像データは出力処理部７４で出力される。また、監視解析部７５では、監視処理装置８０からの要求を解析し対応する処理を実行する。

図２０は監視処理装置の処理を示すフローチャートである。同図において、監視処理装置８０は、送受信処理部８６で符号データを受信し（ステップＳ２０１；ＹＥＳ）、復号化処理部８１で復号し、表示処理部８２で再生する（ステップＳ２０２）。一方、部分画像指示部８５で部分画像を指定すると（ステップＳ２０３；ＹＥＳ）、遠隔要求解析部８４で通信用のフォーマットに置き換えて（ステップＳ２０４）、送受信処理部８６を介して画像処理装置７０へ部分画像指示（アクセス）要求を送信する（ステップＳ２０５）。監視処理装置８０で部分画像の指示（アクセス）によって遠隔からの要求をしている。

次に、本発明の実施の形態で取り上げている複写機の構成について具体的に説明する。図２１に示した複写機１００は、カラーであってもモノクロであってもかまわないが、ＣＰＵ１０１、イメージスキャナ１０２、イメージプロセッサ１０３、プリンタ１０４、コンソール１０５、自動原稿搬送装置（ＡＤＦ）１０６、ソータ１０７、インターフェース１０８、磁気ディスク１０９等で構成されている。

このような構成を有する複写機１００によれば、イメージスキャナ１０２によって読取られた画像の情報は、イメージプロセッサ１０３により必要とされる画像処理を受けた後、プリンタ１０４に出力される。プリンタ１０４がカラーである場合においては、Ｃ（シアン），Ｍ（マゼンタ），Ｙ（イエロー）及びＢＫ（ブラック）の各色画像を互いに離れた位置の独立した作像部で各色トナー像として形成し、それらのトナー像を同一の転写紙上に重ね合わせて転写する必要があるので、各色作像部間を転写紙が搬送されるのに要する時間だけ、各色の画像情報を遅延させる必要がある。そのため、プリンタ出力前に各色画像の位置合わせのために遅延メモリが使用される。遅延メモリを通すことによって、各色毎に定められた遅延時間だけ遅らせてその画像情報をプリンタ１０４に出力する。複写機全体の制御はＣＰＵ１０１によって実施される。ＣＰＵ１０１は、コンソール１０５から入力される各種コピーモード指定情報に応じて各ユニットの動作仕様を決定し、コピー処理が開始される前に動作パラメータを各ユニットに送信したり、また処理開始信号や処理の最中に必要な各種リアルタイムクロック信号を他ユニットに供給する。

また、イメージスキャナ１０３は、コンタクトガラス上に載置される原稿の二次元画像を主走査及び副走査しながら読取る。読取られる光学情報は、カラー画像の読み取りの場合は、Ｒ（レッド），Ｇ（グリーン）及びＢ（ブルー）の３原色に色分解され、各色の光像は一次元ＣＣＤイメージセンサによって４００ｄｐｉの標本化密度で標本化され電気信号に変換される。これらの電気信号は、それぞれ８ビットの量子化レベルに量子化され、デジタルカラー画像情報としてイメージスキャナ１２から出力される。

そして、イメージスキャナ１０３が出力する画像情報は、通常はイメージプロセッサ１０３を介してプリンタ１０４に出力されるが、インターフェース１０８を介してＬＡＮに出力したり、磁気ディスク１０９に書込んで保存することもできる。イメージプロセサ１０３は、イメージスキャナ１０２又はインターフェース１０８を介して外部から供給されるＲＧＢ画像情報に対して、色補正やディザ処理など種々の画像処理を施し、最終的にプリント信号であるＣＭＹＫ信号（シアン，マゼンタ，イエロー及びブラックの信号）に変換する画像加工機能，原稿のサイズや特定部分の色を検知してその情報をＣＰＵ１１に出力する画像検知機能及び各種模様や数字パターンを発生する画像生成機能を備えている。

また、磁気ディスク１０９は、数ページの画像情報と必要なプログラム情報を保持することができる。例えば、磁気ディスク１０９には、画面単位の表示画像データが複数組登録してあり、特定のシリンダ番号、トラック番号及びセクタ番号により定まる領域には、例えば給紙コロが損傷したときのサービスマンコール画面の情報が登録されている。登録されたデータの形式は、例えば５１２×２５６画素の構成をもつ白黒パターンをランレングスコード化したものである。また、ディスク上には、ＯＳ、複写機制御プログラム、課金管理情報などが常時保持されている。

更に、プリンタ１０４は、Ｃ，Ｍ，Ｙ及びＢＫ４色の独立した作像部を有するデジタルカラープリンタである。各々の作像部では、画像情報に応じて変調されたレーザ光が感光体に照射され、感光体上に画像の濃淡に応じた電位分布、即ち静電潜像が形成される。この静電潜像が現像部を通る時にＣ，Ｍ，Ｙ又はＢＫ色のトナーが電位の高低に応じて付着し、トナーによって静電潜像が可視化される。このトナー像は、画像の形成に同期して搬送される転写紙上に転写される。Ｃ，Ｍ，Ｙ及びＢＫの４つの作像部で形成されたトナー像をそれらが重なるように転写紙上に転写することによって、フルカラー画像が転写紙上に形成される。転写紙上のトナー像は、定着部を通る時に定着される。

また、コンソール１０５は、複写機の状態などをオペレータに対して表示する表示部と、複写モード指定などのオペレータからの入力を受付ける入力部を備えている。具体的には、例えば表示部は５１２×２５６ドット構成のビットマップ表示が可能な液晶表示器で構成されており、入力部は表示部に重ねて配置された透明タッチシートで構成されている。透明タッチシートは、感圧スイッチを１２８×６４の各領域に等間隔で配列したものであり、１２８×６４の分解能で入力（押圧）のあった座標を検出することができる。

次に、複写機のユーザインターフェースの構成について図２２を参照して説明する。
図２１のコンソール１０５は主にコンソールボード２０１とその制御回路で構成されている。コンソールボード２０１には、液晶表示器２０２、操作スイッチ（キースイッチマトリクス）２０３が設けられている。例えば、液晶表示器２０２は、例えば５１２×２５６ドット構成である。操作スイッチ２０３には、透明タッチシートが含まれている。制御装置としては、ＣＰＵ２０４、ＲＯＭ２０５、ＲＡＭ２０６、画像インターフェース２０７、割込みコントローラ２０８、シリアルＩ／Ｏ２０９、ＬＣＤコントロ−ラ２１０、ビデオＲＡＭ２１１、（Ｉ／Ｏ＋デコーダ）用のドライバ２１２、スイッチ入力ドライバ２１３及びバッテリ２１４が設けられている。

そして、ＲＯＭ２０５は、液晶表示器２０２に関する表示処理を実行する表示制御プログラム、透明タッチシートからのキー入力を識別する入力判定プログラム、通信制御プログラム、ポインタの情報各種表示要素の情報などの予め定められた固定データを保持している。コンソールのＲＡＭ２０６は、プログラム実行時のワークエリア及び液晶表示器２０２に表示される二次元表示画像に相当する二次元画像情報をビットマップ情報として保持する表示情報エリアを備えている。二次元画像情報は、例えば５１２×２５６画素構成で各画素の値は０又は１の二値が表示情報エリアのために割り当てられている。液晶表示器２０２に二次元表示画像を表示する場合、先ずＲＡＭ２０６上の表示情報エリアに表示画像をビットマップ形式で作成し、作成した画像データをビデオＲＡＭ２１１に転送する。これによってＬＣＤコントローラ２１０がビデオＲＡＭ２１１上の画像情報を液晶表示器２０２に表示する。なお、ＲＡＭ２０６には、二次元表示情報を記憶するエリアが複数画面分設けられている。複数画面分の記憶エリアを確保してあるのは、複写モード設定画面、コピーラン画面のような画面の種類毎に独立した画面領域を割り当てることや画像オーバーレイの制御を容易にするためである。

また、ＣＰＵ２０４が表示画像を作成及び更新する場合には、表示要素毎にＲＯＭ２０５上に予め登録された当該表示要素のビットマップ情報、ベクトル情報、文字情報等を読み出して、各々の要素のパターン情報を画像情報としてＲＡＭ２０６上の前記表示情報エリアに書込む。ＲＡＭ２０６上の表示情報エリアの情報をデュアルポートメモリで構成されるビデオＲＡＭ２１１に転送すると、ＬＣＤコントローラ２１０がビデオＲＡＭ２１１上の画像情報をサイクリックにスイッチ入力ドライバ２１３に出力する。これにより、表示画面が、液晶表示器２０２上に二次元画面として表示される。透明タッチシートにより表示した各ボタン（キー）の位置で押下が検出されると、それに応じて複写モードや表示内容が変わる。表示内容を変更する時には、新しい表示要素の画像情報をＲＡＭ２５上に書込み、その情報をビデオＲＡＭ２１１に転送する。なお、表示頻度が低くしかも固定的な表示内容の画面、例えば給紙コロが壊れてその部品を交換するためにサービスマンによる修理を促すための画面については、その二次元表示情報が図２１の磁気ディスク１０９上に予め登録されているので、その１画面全体の情報を磁気ディスク１０９から読み出して直接ＲＡＭ２０６に書込み、ＲＡＭ２０６上の情報をビデオＲＡＭ２１１に転送する。

また、液晶表示器２０２の表示面上には、透明タッチシートが重なっているので、それによって表示画面上の押下されたボタンの位置が検出される。表示画面上のボタンの存在しない位置を押下したり、予め定められた範囲外の数値を入力した場合には、その入力を無効とする。

更に、図２１のコンソール１０５のＲＯＭ２０５のある領域には、各表示要素の情報がビットマップ形式で登録してある。各表示要素のデータの構成は次のようになっている。アイコンの識別コード；ｉｄ、アイコンの属性；ａ１，ａ２，・・・ａｘ、横方向の長さ（画素数）；Ｌｘ、縦方向の長さ（画素数）；Ｌｙ、画素データビット列；ｄ１，ｄ２，ｄ３，・・・ｄｎ。また、ＲＯＭ２０５のある領域には、表示プログラムによって利用される座標やアドレスポインタの情報が画面の種別毎に、例えば画面上の第１表示要素を配置する座標ｘ１，ｙ１、第１表示要素の情報が登録されているメモリアドレス、画面上の第２表示要素を配置する座標ｘ２，ｙ２、第２表示要素の情報が登録されているメモリアドレス、当該画面データ終了の識別マークが登録されている。このようなデータ構成になっているので、ＲＯＭ２０５上の表示プログラムは、表示画面の画像を作成する際には、表示要素毎に、それを配置する位置の座標データ（ｘ，ｙ）と、その要素の情報が登録されているメモリアドレスを参照し、必要な情報を当該アドレスから読み出して、ＲＡＭ２０６上の表示エリア中の指定された座標（ｘ，ｙ）の位置に書込む。作成されたＲＡＭ２０６上の画像情報は、ビデオＲＡＭ２１１に転送され書込まれる。また、作成された画像情報は、複写機のＣＰＵ２０４を介してコンピュータＰＣに送信される。

図２１のコンソール１０５のＲＯＭ２０５に登録された入力判定プログラムは、透明タッチシート上の押下された座標（ｘ，ｙ）を調べる。つまり配置アドレスデータやアイコンＩＤや属性を元に特定ボタンが入力されたか否かを判定する。複写機のコンソール１０５では、操作入力に対して入力判定プログラムが起動される。この入力判定プログラムは、その時に液晶表示器２０２に表示し、またコンピュータＰＣにも送ってある表示画面の状態パラメ−タを知ることができる。この状態パラメ−タはＲＡＭ２０６上のワークエリアに保持されている。状態パラメ−タは、表示プログラムによって作られたものであり、その時の表示画面に含まれるボタンのＩＤ、属性、座標などの情報が含まれている。従って、入力判定プログラムは、状態パラメ−タの情報を参照することによって、コンピュータＰＣから入力された座標ｘｐ、ｙｐが特定のボタンの内側にあるか否かを照合することができる。例えば「呼出」ボタンの表示座標をｘ１，ｙ１とし、該ボタンの横方向の長さをＬｘ、縦方向の長さをＬｙとする場合、ｘ１≦ｘｐ≦ｘ１＋Ｌｘ、及びｙ１≦ｙｐ≦ｙ１＋Ｌｙの両方の条件を満たす場合に、マウスでクリックした点が「呼出」ボタンの内側であるものと判定する。

次に、コンピュータＰＣの構成について図２３を用いて説明する。
図２３に示すコンピュータＰＣ３００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ビデオＲＡＭ３０４、ディスプレイコントローラ３０５、ディスクコントローラ３０６、キーボードコントローラ３０７、ＲＳ−２３２Ｃコントロ−ラ３０８、ＬＡＮコントローラ３０９、液晶表示器などのＬＣＤユニット３１０、磁気ディスクドライブ（３．５インチＦＤＤ）３１１、キーボード３１２及びマウス３１３を有している。それ以外にも、割り込みコントローラ、ＤＭＡコントローラ、タイマ、リアルタイムクロック、漢字ＲＯＭ、ディスクコントローラ、プリンタコントローラ、２００Ｍバイトハードディスクが備わっていてもかまわない。

そして、ＣＰＵ３０１は、例えば３２ビット構成であり、ＬＣＤユニット３０９は１２８０×１０２４画素構成の二次元表示器である。コンピュータＰＣ３００のソフトウェアには、複写機側と同様にＬＡＮ対応のオペレーティングシステム（ＯＳ）が備わっている。ＬＡＮコントローラ３０８には、ネットワークＬＡＮの同軸ケ−ブルと接続できる端子が設けられている。この実施の形態では、コンピュータＰＣ３００は複写機の表示情報を表示するだけでなく、それ自身からの入力によって複写機のボタン操作と同一の遠隔操作を複写機に対して行う。コンピュータＰＣ３００における入力操作は、この例では、ＬＣＤユニット３０９に表示されたボタンをマウス３１２により指示してクリックすることによって実施される。また、英数値入力に関しては、マウス以外にキーボード３１１からの入力も可能になっている。画面がＬＣＤユニット３０９に表示されている時に、例えばスタートボタンをマウスで指示してダブルクリックすると、クリックした位置の座標により、表示されている画像に対する相対位置座標が算出できる。よって、本発明では、表示されている画像は矩形領域単位に分割され、相対位置座標によって矩形領域単位の位置を特定することができる。そして、その指定された矩形領域の位置がコンピュータＰＣから複写機に送信される。

コンピュータＰＣ３００の表示画面においては、マウス３１２によって位置を移動しうるマウスカーソル（例えば矢印形状のマーク）が表示され、それで表示されるボタンを指示した状態でマウス３１２上のスイッチを押す（クリックする）ことにより、指示した表示ボタンを操作する。より具体的には、コンピュータＰＣ３００のコンソールでは入力判定プログラムが起動される。入力判定プログラムは、コンピュータＰＣ３００上のマウス３１２から入力された座標ｘｐ，ｙｐが表示画像データの特定の矩形領域の内側にあるか否かを照合する。例えば、表示画像データのコンソール上の表示画像データの特定の矩形領域の表示座標（左上位置座標）をｘ１、ｙ１とし、該矩形領域の横方向の長さをＬｘ、縦方向の長さをＬｙとする場合、ｘ１≦ｘｐ≦ｘ１＋Ｌｘ、かつｙ１≦ｙｐ≦ｙ１＋Ｌｙの両方の条件を満たす場合に、マウス４１２でクリックした点（座標ｘｐ，ｙｐ）が該矩形領域の内側であるものと判定する。矩形領域の表示座標（左上位置座標）ｘ１、ｙ１は、特定した値をもっていている場合もあるが、表示画像データのコンソール上の表示位置と、表示画像上の矩形位置との関係によって決められてもかまわない。したがって、矩形領域の座標値を順次取り出し、上記比較をすることにより、マウスでクリックした座標を含む矩形領域を判別できる。矩形領域は複数個別々に独立に指定することもできる。

また、マウス３１２では一定の範囲を指定することもできる。例えば、マウス３１２で範囲を指定した左上座標を（座標ｘｐ０，ｙｐ０）、横方向の長さをＬｘｐ０、縦方向の長さをＬｙｐ０とし、右下座標を（座標ｘｐ０＋Ｌｘｐ０，ｙｐ０＋Ｌｙｐ０）とする。同様に、表示画像データの特定の矩形領域の表示座標（左上位置座標）をｘ１、ｙ１とし、該矩形領域の横方向の長さをＬｘ、縦方向の長さをＬｙとする場合、ｘｐ０＋Ｌｘｐ０≦ｘ１ かつ ｘ１＋Ｌｘ≦ｘｐ０、かつｙｐ０＋Ｌｙｐ０≦ｙ１ かつ ｙ１＋Ｌｙ≦ｙｐ０の条件を満たす場合に、マウスで指定された範囲にその矩形領域は含まれるとする。

図２４は本発明の監視システムの信号の流れを示すフロー例である。画像処理装置としては複写機を想定しているが、プリンタやＦＡＸであってもかまわない。画像処理装置側の複写機では、原稿をスキャンすると、原稿データが監視処理装置側の複写機へ送信される。監視処理装置側の複写機では人が簡易目視チェックをしている。スキャンした原稿は符号化されて監視処理装置側の複写機へ転送される。符号化し符号量を減らすことで転送負荷を軽減することができる。このとき本発明の構成では、例えば、後で詳細チェックが必要な場合に転送可能なようにロスレスの符号データを保存しておいて、符号データを編集して編集後の符号量の少ない符号データを転送する。目視チェックで問題があったときは、画像処理装置側の複写機に注意警報を送る。警報は通信を介さなくてもかまわなく、公衆電話を使用してもよい。更に、目視チェックで問題があったときは、警報と同時に、監視処理装置側の複写機は画像処理装置側の複写機に詳細データの再送要求を送る。画像処理装置側の複写機は、その要求を受けて、符号データを再編集し、符号量の多い詳しい再現をする符号データを監視処理装置側の複写機に送り返す。そして、詳細な目視判別によって問題があると断定される場合には、監視処理装置側の複写機は画像処理装置側の複写機に警報を出す。この時、遠隔からの操作指令で複写機を使用できないようにしてもかまわない。

図２５は連写の場合を含むコピー監視システムの動作フロー例である。図２４と異なる点として、画像処理装置側の複写機では、スキャン原稿（画像データ）が符号化されてデータ保存される。保存された符号データを編集して、新たに生成された符号データを監視処理装置側の複写機に転送され復号再生する。このときに、最初送られてくるデータは詳細レベルが最も低くなっている。次の原稿スキャンの開始がなされない場合には、符号データが追加転送され、監視処理装置の再生画像が自動的に詳しくなる。

次に、本発明の実施の形態のＪＰＥＧ２０００符号を例に、プログレシブ表示の実現方式について詳細に説明する。
図２６は一つのコンポーネントの１タイルにおいて解像度分解レベル３の場合のウェーブレット変換後のサブ・バンド係数例を示す図である。係数を符号化する順番は（１）から（４）である。係数（１）の復号データを復号化してウェーブレット逆変換を実施すると、一番低い解像度の画像が得られる。この画像の解像度をｒとした場合、解像度２ｒの画像データは（１）および（２）の係数復号データを復号化してウェーブレット逆変換を行うと得ることができる。同様に、解像度４ｒの画像データは（１）〜（３）の係数符号データから得ることができる。同様に、解像度８ｒ（最高画質）の画像は（１）〜（４）から得ることができる。

図２７は解像度分解レベル３データイル数が１の場合におけるＪＰＥＧ２０００フォーマットの例を示す図である。同図の係数符号データ（１）〜（４）は、図２６のそれぞれ（１）〜（４）の係数符号化データに対応する。本ＪＰＥＧ２０００フォーマットでは各解像度別に符号データを取り出すときにＳＯＰマーカを検出して符号データを取り出している。ＪＰＥＧ２０００符号データでは、さらにＥＯＰマーカが使用されてもよい。

図２８は画像処理装置（複写機）サーバの符号データ編集部で再構成するＪＰＥＧ２０００符号データの例を示す図である。解像度分解レベル４データイル数が１の場合は、Ａ（解像度ｒ）からＤ（解像度８ｒ）の４本のＪＰＥＧ２０００符号データに分割再構成され、クライアントの要求に従って、Ａ，Ｂ，Ｃ，Ｄの順番で送信される。

図２９は遠隔監視装置（クライアント）がプログレッシブに画像の表示を行う場合に入力する部分号データと保持する係数LLとの関係を示す図である。図２９のＪＰＥＧ２０００符号データＡを復号化器に入力する。復号化器は、解像度ｒの画像が必要な場合は、符号データＡに対して算術符号の復号化を行い、ウェーブレット逆変換を行い、画像を再生する。このとき、算術符号の復号化を行う過程で、サブ・バンド係数LL0が生成される。単色の場合はひとつの係数LLが使用されるが、ＲＧＢなどカラーの場合は、コンポーネントの数だけの独立な復号処理が行われるのでコンポーネントの数だけ必要となる。このとき、プログレシブ復号するコンポーネントは、全てのコンポーネントである必要はなく一部のコンポーネントだけであってもかまわない。コンポーネント毎に復号処理歯互いに独立であるからである。

そして、解像度２ｒの画像が必要な場合は、符号データＢと先に出力した係数LL0とを入力し、符号データＢに対して算術符号の復号化を行ったデータと、係数LL0とを用いてウェーブレット逆変換すると、解像度２ｒの画像とを得る。このとき、符号データＢに対して算術符号の復号化を行ったデータと、係数LL0とを用いて係数LL1が算出される。

そして、解像度４ｒの画像及び解像度８ｒの画像を得る場合も同様に、受信した符号データに対して算術符号の復号化を行い、前の解像度の係数を用いてウェーブレット逆変換を行うことに復号すると共に、とよって得ることができる。最高解像度の係数データは破棄する。

図３０はプログレシブ復号処理に係る構成例を示す図である。また、図３１はプログレシブ復号処理の概略フロー例を示すフローチャートである。本発明の遠隔監視システムでは、画像処理装置（サーバ）で符号データは保存され（図３１の（ｂ）のステップＳ４０２）、符号データを図２７の構成から図２８の構成に編集し（ステップＳ４０３）、順次部分符号データが送信され（ステップＳ４０５）、上述のように復号処理される（図３１の（ａ）のステップＳ３０３〜Ｓ３０６）。

本発明の構成では、プログレシブ復号処理の途中に、新しい符号データが入力された場合には、例えば原稿が新たに読み込まれ符号化された場合には、その前の符号データについてのそれ以降のプログレシブ復号処理は中止する。もちろん、次の新たな符号データが入力されなければ、順次全ての符号データの復号することができる。

次に、タイル単位の合成による連続スキャン画像の監視について説明する。図２５に示すように、連写などの連続印刷の場合は、直ぐに転送されることなく、複数枚の原稿の符号化データが一旦符号化されて保存し、複数個の符号データを編集（合成）し符号量を調整し、監視装置では複数個の原稿をまとめて目視チェックできるようにする。複数枚数の原稿スキャンが終了した後で合成原稿の符号データが監視装置へ転送される。以下図２５で説明したものと同様に、目視チェックをして問題があれば詳細データを再送要求して、詳細画像を再生して詳細なチェックをする。

図３２は合成された複数原稿を監視する場合の原稿の流れを示す図である。同図は４枚のスキャン画像の符号データが合成し監視装置へ転送する場合の原稿画像の合成例を示している。この例では、詳細データの再送要求の場合に、４枚のスキャン画像のうちの１枚を指定し、詳細な部分画像の符号データが転送され監視装置で復号再生されている。このように、本発明の実施例における監視システムは、部分画像データアクセス機能をもっている。

図３３は合成画像の符号化を実現するためのＪＰＥＧ２０００における符号列レベルでの編集についての説明図である。連続的にスキャンされた原稿が４枚あるような場合に、ＪＰＥＧ２０００で符号化される場合の例である。夫々の原稿画像が符号化された符号データが、領域（タイル）単位（タイルパート）に合成され、新たに生成した符号データを復号し合成画像を再生する。

図３４は符号データが合成される場合のＪＰＥＧ２０００の符号ストリームの構成についての説明図である。独立に符号化したコード・ストリームがそれぞれタイルとして複数のタイルが合成されて新たな符号データが生成される。すなわち、合成後のコード・ストリームは、先頭にメインヘッダ、末尾にＥＯＣ（Ｅｎｄ Ｏｆ Ｃｏｄｅｓｔｒｅａｍ）が位置していて、その間には、各タイルのタイルヘッダ及びビットストリームからなるタイルが、タイル番号の順番に並ぶ。逆に、上述したように合成された符号データから、あるタイルにかかる部分符号データを取り出し、新たに独立したコード・ストリームを生成することも容易である。

なお、図１９に示した本発明の監視システムにおける典型的な画像処理装置の処理フローの中に、連続に読み取るような（連写の）場合に、複数原稿の符号データをまとめて遠隔装置へ転送する処理手順例を示している。４枚の原稿をまとめている例を示しているが、４でなくてもかまわない。また、図示はしないが、複写機などの画像処理装置が読み込んだ時に、事務機器内で簡易な検査をして、特に問題がありそうだと推定される場合は、符号化する場合にのみ符号化することで監視効率を上げることもできる。更に、図示はしないが、画像をスキャンしたときに画像サイズによって、大きい画像の場合は、符号量削減量を多くするように、符号データを編集してもよい。サイズの大きい画像の符号量は、小さいもの比べて符号量が大きくなり転送負担が大きいためである。

また、監視体制が装備しているビルなどの監視カメラの映像は、集中監視室のモニタに表示し監視する。それを流用することで低コストによるビルにおける情報の流れの集中監視が可能となる。遠隔監視用の監視カメラのモニタを共用することで、低コストで実現できる。

図３５は監視カメラと切り替えて使用する構成を示す図である。同図に示すように、監視切替装置４０１は監視対象を監視カメラ４０２の撮影映像と本発明の複写機等の事務機器４０３で処理されたデータとを切り替えてモニタ４０４に表示する。

なお、本発明は上記実施の形態に限定されるものではなく、特許請求の範囲内の記載であれば多種の変形や置換可能であることは言うまでもない。

ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するためのブロック図である。 タイル分割の基本を示す図である。 デコンポジション・レベルとサブ・バンドを示す図である。 プレシンクトとコード・フロックを示す図である。 ＪＰＥＧ２０００のパケットを示す図である。 画像全域のビットプレーン符号化例についてサブ・バンドをプレシンクトとした時のレイヤとパケットとの関係を示す図である。 本発明のプログレッシブ順を制御する処理を示す図である。 コード・ストリームの構造を示す図である。 ＪＰＩＰにおける典型的なクライアント・サーバ間のプロトコル概要を示す図である。 ＪＰＥＧ２０００ファイルとデータビンとの関係を示す図である。 プレシンクト・データビンとメッセージとの関係を示す図である。 プレシンクト・データビンの一例を示す図である。 ＪＰＩＰにおけるキャッシュを持ったクライアントサーバモデル構成例を示す図である。 ＪＰＩＰにおけるクライアントサーバネットワークモデルの構成例を示す例である。 ＪＰＩＰを使用した場合の出力表示画面例を示す図である。 ＪＰＥＧ２０００のコード・ストリームのフォーマットの概略構成とメインヘッダの概略構成を示す図である。 ＪＰＥＧ２０００のコード・ストリーム例を示す図である。 本発明の遠隔監視システムの構成例を示すブロック図である。 画像処理装置の処理を示すフローチャートである。 監視処理装置の処理を示すフローチャートである。 複写機の構成を示すブロック図である。 複写機のユーザインターフェースの構成を示すブロック図である。 コンピュータの構成を示すブロック図である。 本発明の監視システムの信号の流れを示すフロー例である。 連写の場合を含むコピー監視システムの動作フロー例である。 一つのコンポーネントの１タイルにおいて解像度分解レベル３の場合のウェーブレット変換後のサブ・バンド係数例を示す図である。 解像度分解レベル３データイル数が１の場合におけるＪＰＥＧ２０００フォーマットの例を示す図である。 画像処理装置（複写機）サーバの符号データ編集部で再構成するＪＰＥＧ２０００符号データの例を示す図である。 遠隔監視装置（クライアント）がプログレッシブに画像の表示を行う場合に入力する部分号データと保持する係数ＬＬとの関係を示す図である。 プログレシブ復号処理に係る構成例を示す図である。 プログレシブ復号処理の概略フロー例を示すフローチャートである。 合成された複数原稿を監視する場合の原稿の流れを示す図である。 合成画像の符号化を実現するためのＪＰＥＧ２０００における符号列レベルでの編集についての説明図である。 符号データが合成される場合のＪＰＥＧ２０００の符号ストリームの構成についての説明図である。 監視カメラと切り替えて使用する構成を示す図である。

符号の説明

７０；画像処理装置、７１；画像読取部、７２；符号化処理部、
７３，８３；データ保存部、７４；出力処理部、７５；監視解析部、
７６；符号データ編集処理部、７７；操作指令部、
７８，８１；復号化処理部、７９，８６；送受信処理部、
８０；監視処理装置、８２；表示処理部、８４；遠隔要求解析部、
８５；部分画像指定部。

Claims (10)

1. 映像対象を撮影する監視カメラと、該監視カメラに情報伝送路を介して接続され、撮影された画像情報を表示する表示部を有する遠隔監視ユニットとを具備する監視カメラの遠隔監視装置と、
   画像データ読み取り機能を有する事務機器と、該事務機器に情報伝送路を介して接続され、読み取られた画像データを表示する表示部を有する遠隔監視ユニットとを具備する事務機器の遠隔監視装置とを有し、
   前記監視カメラの遠隔監視装置と前記事務機器の遠隔監視装置との各遠隔監視ユニットの表示部が、前記監視カメラで撮影された画像情報と前記事務機器の画像情報とを切り替えて表示することを特徴とする遠隔監視システム。
2. 画像データの読み取り機能を有する事務機器と、該事務機器に情報伝送路を介して接続され、読み取られた画像データを表示する表示部を有する遠隔監視ユニットとを具備する事務機器の遠隔監視装置において、
   前記事務機器は、
   読み取った二次元画像情報を保持する第１のイメージ記憶手段と、所定の指示に応答して前記第１のイメージ記憶手段に保持された二次元画像情報を符号化する符号化手段と、前記符号化された第１の符号データを編集する符号データ編集手段と、前記符号データ編集により生成された第２の符号データを前記遠隔監視ユニットに転送する通信手段とを有し、
   前記遠隔監視ユニットは、
   前記事務機器が前記通信手段により受信した第２の符号データを復号する復号手段と、復号された第２の二次元画像情報を表示する表示手段とを有することを特徴とする事務機器の遠隔監視装置。
3. 前記事務機器は、複数枚まとめて原稿を読み込む原稿読込手段と、複数枚まとめて原稿を読み込む場合に前記符号化された第１の符号データの符号量を減らす編集をする符号データ編集手段とを有し、前記遠隔監視ユニットは、第１の符号データの符号量を減らされた符号データを復号する復号手段と、復号した画像を表示する表示手段とを有することを特徴とする請求項２記載の事務機器の遠隔監視装置。
4. 前記事務機器は、複数枚まとめて原稿を読み込む原稿読込手段と、複数枚まとめて原稿を読み込む場合にそれぞれの原稿を符号化した第２の符号データを保存する保存手段と、保存された符号データがあるかないかを判定する判定手段と、保存された符号データがある場合には保存されたそれぞれの符号データを複数枚合成した第３の符号データを生成する符号データ編集手段とを有し、前記遠隔監視ユニットは、複数原稿まとめた合成画像を表示す表示手段を有することを特徴とする請求項１記載の事務機器の遠隔監視装置。
5. 前記遠隔監視ユニットは、表示された第２の二次元画像情報を矩形単位に一部の画像領域を指定し、前記事務機器に指定した画像領域を転送する画像領域指定手段を有し、前記事務機器は、前記遠隔監視ユニットに指定された画像領域の符号データを前記事務機器に保存された部分符号データを取り出し、当該部分符号データを前記遠隔監視ユニットに転送し、復号する復号手段と、復号された第３の二次元画像情報を表示する部分領域の画像アクセス手段とを備えることを特徴とする請求項２〜４のいずれか１項に記載の事務機器の遠隔監視装置。
6. 前記第３の符号データは、合成元のそれぞれの符号データを復号再生した画像毎に指定するデータであることを特徴とする請求項４記載の事務機器の遠隔監視装置。
7. 前記事務機器における次のスキャン画像の入力の有無を検査する検査手段を有し、次のスキャン画像の入力がない間に、前記遠隔監視ユニットで再生する画像における画質または解像度を示す表示詳細レベルを段階的に向上することを特徴とする請求項２〜６のいずれか１項に記載の事務機器の遠隔監視装置。
8. 前記部分領域の画像アクセス手段による画像アクセスにおいて、前記符号データ編集手段によって前記遠隔監視ユニットで再生する画像における画質または解像度を示す表示詳細レベルが画像領域指定をする度に段階的に向上することを特徴とする請求項２〜６のいずれか１項に記載の事務機器の遠隔監視装置。
9. 前記符号データは、ＪＰＥＧ２０００(ISO/IEC 15444-1)規格に基づき符号化されたデータであることを特徴とする請求項２〜８のいずれか１項に記載の事務機器の遠隔監視装置。
10. 請求項２〜９のいずれか１項に記載の符号データの通信手段は、JPIP（ＪＰＥＧ２０００ image coding system-Part9:Interactivity tools, APIs and protocols）規格に基づき、前記事務機器に保存された符号化データの一部である部分符号データを、遠隔監視装置が受信する部分符号データアクセス機能を有することを特徴とする事務機器の遠隔監視装置。

Images