JP2008147893A - クライアントサーバシステム及び遠隔操作システム - Google Patents
クライアントサーバシステム及び遠隔操作システム Download PDFInfo
- Publication number
- JP2008147893A JP2008147893A JP2006331310A JP2006331310A JP2008147893A JP 2008147893 A JP2008147893 A JP 2008147893A JP 2006331310 A JP2006331310 A JP 2006331310A JP 2006331310 A JP2006331310 A JP 2006331310A JP 2008147893 A JP2008147893 A JP 2008147893A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- code data
- data
- remote
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Telephonic Communication Services (AREA)
- Facsimiles In General (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】本発明は通信負担を軽減して効率的な遠隔操作処理を実現できる。
【解決手段】本発明のクライアントサーバシステムは、画像データを符号化し符号データをクライアントへ転送する機能を有するサーバと、符号データを受信し、復号した二次元画像情報を表示する表示機能を有するクライアントとを有して構築している。そして、本発明のクライアントサーバシステムにおけるサーバは、表示された二次元画像情報の一部の画像領域を矩形単位に指定する画像領域指定手段と、サーバに保存された符号データの、指定された画像領域に対応する部分符号データを識別する部分符号データ識別手段と、部分符号データを使用してクライアントが指定した部分画像データに対応する画像領域を識別する画像領域識別手段と、識別した画像領域に基づいて、サーバの処理装置の操作指令をする指令手段とを具備する。
【選択図】 図13
【解決手段】本発明のクライアントサーバシステムは、画像データを符号化し符号データをクライアントへ転送する機能を有するサーバと、符号データを受信し、復号した二次元画像情報を表示する表示機能を有するクライアントとを有して構築している。そして、本発明のクライアントサーバシステムにおけるサーバは、表示された二次元画像情報の一部の画像領域を矩形単位に指定する画像領域指定手段と、サーバに保存された符号データの、指定された画像領域に対応する部分符号データを識別する部分符号データ識別手段と、部分符号データを使用してクライアントが指定した部分画像データに対応する画像領域を識別する画像領域識別手段と、識別した画像領域に基づいて、サーバの処理装置の操作指令をする指令手段とを具備する。
【選択図】 図13
Description
本発明はクライアントサーバシステム及び遠隔操作システムに関し、詳細には遠隔地にある遠隔操作装置から複写機などの画像処理装置を制御する遠隔操作システムに関する。
近年、オペレーションパネルと呼ばれる操作パネルを用いて操作を設定する機器が増えている。操作パネルの画面上にボタンなどの表示が示され、その上を指で触れると操作指定がなされるという形態である。表示画面には、同時にメッセージを表示することができ、特に次々と操作パネルの画面表示内容を変えながら指示していくことができ、多くの機能を持ち複雑な指示が可能な機器に用いられることが多い。
一方、インターネットの普及等により、家電なども含めた機器の遠隔操作が普及してきている。遠隔地で操作指令を出して機器に所定の動作をすることができる。その場合、複雑な操作パネルなどの操作においては、ローカルに機器の操作をするときと同じインターフェースで遠隔で操作できることが望ましい。特に操作パネル上のメッセージも同じように表示されることが望ましい。例えば、遠隔で誤操作を正すような場合に、ローカルな操作と連動しながら共同で操作指令ができることが望ましい。例えば、操作パネルの操作が難しくてわからないような場合に遠隔のサービスセンターで共同操作するような場合である。また、ローカルな機器(事務機器)の操作と共通のインターフェースで効率的な共同操作をする遠隔操作環境において、事務機器の操作パネルの画像データを遠隔操作ユニットに転送しそのまま利用することで、特別なインターフェースを実現する手間が省け、共通のインターフェースで遠隔操作ができる。
このような遠隔操作システムとして従来よりいくつかの提案がなされている。その一つとして、特許文献1には、画像処理装置(複写機)のパネル表示の表示変化のタイミングでビットマップ表示データを遠隔操作部へ転送し、遠隔操作するという遠隔監視装置が提案されている。
特許第3,327,566号明細書
しかしながら、上記特許文献1などの従来の遠隔操作システムでは、操作パネルの画像データを転送する転送トラフィックが問題となる。頻繁にローカルで操作している場合には、その画面表示内容の変化に追従する必要があるが、その画面表示内容を遠隔地に転送する速度が遅いと、遠隔装置ユニットで充分に遠隔操作対応のための表示ができないという問題があった。
本発明はこれらの問題点を解決するためのものであり、通信負担を軽減して効率的な遠隔操作処理を実現できるクライアントサーバシステム及び遠隔操作システムを提供することを目的とする。
前記問題点を解決するために、本発明のクライアントサーバシステムは、画像データを符号化し符号データをクライアントへ転送する機能を有するサーバと、符号データを受信し、復号した二次元画像情報を表示する表示機能を有するクライアントとを有して構築している。そして、本発明のクライアントサーバシステムにおけるサーバは、表示された二次元画像情報の一部の画像領域を矩形単位に指定する画像領域指定手段と、サーバに保存された符号データの、指定された画像領域に対応する部分符号データを識別する部分符号データ識別手段と、部分符号データを使用してクライアントが指定した部分画像データに対応する画像領域を識別する画像領域識別手段と、識別した画像領域に基づいて、サーバの処理装置の操作指令をする指令手段とを具備することに特徴がある。よって、クライアントサーバシステムにおいて画像矩形領域と符号データの部分符号データ領域との対応を介して、クライアントの指示領域とサーバの元画像領域との対応をとり、予め設定された元画像領域に対応した処理内容を実行する機能を提供でき、領域単位に指定領域の対応関係をとって領域識別することから効率的な(簡易な)処理指定インターフェースを実現できる。また、クライアントからサーバへ特定のアクションを要求することを許容することで、応用範囲は大幅に広がった。
また、別の発明としての遠隔操作システムは、表示部を有する事務機器と、該事務機器に情報伝送路を介して接続される、表示部を有する遠隔操作ユニットとを有して構築している。そして、本発明の遠隔操作システムにおける事務機器は、事務機器の状態を示すとともに、操作指令のインターフェースである操作表示パネルの表示情報を二次元画像情報として保持する第1のイメージ記憶手段と、該第1のイメージ記憶手段が記憶する二次元画像情報を表示する第1のビットマップ表示手段と、所定の指示に応答して第1のイメージ記憶手段に保持された二次元画像情報を符号化する符号化手段と、符号化された第1の符号データを編集する符号データ編集手段と、該符号データ編集手段により生成された第2の符号データを遠隔操作ユニットに転送する制御手段とを具備している。また、本発明の遠隔操作システムにおける遠隔操作ユニットは、事務機器が受信した第2の符号データを復号化する復号化手段と、復号化された第2の二次元画像情報を表示する第2のビットマップ表示手段とを具備している。よって、パネル表示用のビットマップデータを符号化するときに例えばロスレスで符号化しデータ保存しておいて、転送時には、一部符号列を削減してペリフェラル符号制御を行い、通信負担を軽減して遠隔地のPC等で再生でき、かつ効率的な処理が実現できる。
更に、遠隔操作ユニットは、表示された第2の二次元画像情報の一部の画像領域を矩形単位に指定する画像領域指定手段と、事務機器に指定した画像領域に対応する部分符号データを指定する部分符号データ指定手段とを有し、また事務機器は、遠隔操作ユニットに指定された部分符号データに対応する画像領域と、事務機器のパネル表示上の操作指令領域との位置関係に基づいて、事務機器の操作指令をする指令手段とを有している。よって、遠隔操作においては、遠隔地のパソコンでもパネル画面と同様な画像が表示され、画像データの部分画像領域を指示できる。パネル画面の部分画像をアクセスした場合に(操作指令を含む領域をアクセスする場合には)、アクセス情報が部分符号データの範囲の指定としてサーバへ転送され、かかる画像領域と操作指令との対応がとられ、部分画像アクセスを操作指令に置き換える機能をもつことで簡易に遠隔操作指令をすることが可能となる。また、サーバがクライアントから受け取った部分画像データへのアクセス要求を操作指令要求に置き換えることが効率的にでき、効率的な遠隔操作を可能となる。
また、事務機器の第1のイメージ記憶手段に保持された二次元画像情報を事務機器の操作表示パネルの表示情報に合わせて矩形単位に分割する画像データ分割手段と、矩形単位に符号化する符号化手段とを有することにより、画像の矩形領域と部分符号データとの対応がとることができて、領域単位での部分画像のアクセスにおける位置関係の対応が容易になる。また、符号データを領域単位にペリフェラル制御することにより表示内容に適応した符号量制御が容易となる。
更に、遠隔操作ユニットは、表示された第2の二次元画像情報を矩形単位に一部の画像領域を指定し事務機器に指定した画像領域を転送する画像領域指定手段を有し、また事務機器は、遠隔操作ユニットに指定された画像領域の符号データを事務機器に保存された部分符号データを取り出し、部分符号データを遠隔操作ユニットに転送し、復号する復号手段と、復号した第3の二次元画像情報を表示する第2のビットマップ表示手段とを有している。よって、パネル表示の符号データを再編集し新たな符号列を追加することによって、パネルのメッセージ領域の解像度や画質を変更して表示を変更する。パネル表示用のビットマップデータを符号化するときに例えばロスレスで符号化しデータ保存しておいて、転送時には、一部符号列を削減して通信負担を軽減して遠隔地のPC等で再生できる。また、再生表示内容が読みづらく操作上に支障をきたすような場合に、パネル表示の解像度や画質を変更して再生できる。
また、遠隔操作ユニットの画像領域指定手段が、画像領域と、事務機器のパネル表示上の操作指令領域との位置関係に基づいて、画像領域の指定に基づいて事務機器が何も処理しないように設定するアクセス制限領域設定手段を有することにより、アクセス可能領域を制限することで、無駄なアクセスをなくし効率的な処理が可能となると共に操作性をよくすることができる。
更に、遠隔操作ユニットの画像領域指定手段が、画像領域と、事務機器のパネル表示上の操作指令領域との位置関係に基づいて、画像領域の指定に基づいて事務機器が処理する処理内容を設定するアクセス制限領域設定手段を有することにより、領域によって遠隔操作ユニットから複写機等の画像処理装置へ操作信号が送られる領域と、画像処理装置から遠隔操作ユニットへ表示内容が送られ表示される領域とが区別して制御できる。
また、事務機器の操作ボタンをイメージ化する操作ボタンイメージ化手段を有し、事務機器の第1のイメージ記憶手段が保持する画像情報が、操作表示パネルの表示情報と操作ボタンをイメージ化した画像情報であることにより、操作ボタンによる遠隔操作が可能となる。
更に、遠隔操作ユニットで入力したテキストを、事務機器の操作表示パネル上に表示するする遠隔メッセージ表示機能を有することが好ましい。
また、事務機器の操作表示パネルがマルチウィンドウに表示する手段を有し、テキストが事務機器の操作表示パネル上の操作表示パネル表示しているウィンドウとは別のウィンドウ上に表示する遠隔メッセージ表示機能を備えることが好ましい。
更に、符号データは、JPEG2000(ISO/IEC 15444-1)規格に基づき符号化されたデータであることにより、部分符号データのアクセスが容易に達成でき、標準化されているため汎用性を図れる。
また、上記符号データの通信手段は、JPIP(JPEG2000 image coding system-Part9:Interactivity tools, APIs and protocols)規格に基づき、事務機器に保存された符号化データの一部である部分符号データを、遠隔操作装置が受信する部分符号データアクセス機能を有することにより、標準化されているため汎用性を図れる。
更に、アクセス制限領域設定手段が、JPIP規格のクライアントキャッシュによって実現する。よって、JPIPの標準仕様の中にはキャッシュを使用して転送後の二重アクセスを防止できる。また、クライアントはサーバから既に送られてきた符号データは再送要求しないで再利用するような場合に使用する。非アクセス領域のデータは、既に転送ずみであるとすることで、遠隔操作ができないように制御できる。更に、アクセス制限は、部分画像単位でなされるので、JPIPのキャッシュを用いてアクセスを制御することで、簡易にアクセス制御を実現することが可能となる。
本発明の遠隔操作システムによれば、複写機等の画像処理装置から操作用のパネルの操作対象である画像データが、インターネットを介して結合された遠隔操作対象である遠隔操作ユニットへ転送され、この画像を見ながら、遠隔操作情報をサーバ側へ送り、複写機等の画像処理装置は、ローカルマシーン上のパネル操作画面からの指令に置き換え、操作指令とすることにより、操作パネル画面の画像データの転送時間を調整可能であり、同時に操作指令を簡易にするために矩形領域単位のペリフェラル符号化をし、一つの好適な符号化が世界標準であるJPEG2000符号化であって通信プロトコルとしては部分符号データアクセス機能を具備するJPIPを使用することができる。また、転送トラフィックの負荷を軽減するために、転送対象である画像の符号化データの符号量の調整が容易な符号化仕様をもつ階層符号を用いて符号化し、ペリフェラル制御を行う。典型的には、JPEG2000で符号化する。よって、通信負担を軽減して遠隔地のPC等で再生でき、かつ効率的な処理が実現できる。
はじめに、JPEG2000による符号化について以下に説明する。
JPEG2000の標準仕様においては、画像領域をタイル領域単位あるいは、プレシンクト領域単位に符号データが区別できるような形式で符号データが形成される。JPEG2000(ISO/IEC 15444-1)規格の符号化は、おおよそ以下の手順でなされる。
JPEG2000の標準仕様においては、画像領域をタイル領域単位あるいは、プレシンクト領域単位に符号データが区別できるような形式で符号データが形成される。JPEG2000(ISO/IEC 15444-1)規格の符号化は、おおよそ以下の手順でなされる。
先ず、インターレース画像のフレームデータを、Y,Cr,Cbの色成分毎のデータに変換する。そして、各色成分の色データに対しては、2次元離散ウェーブレット変換を施す。次に、得られるウェーブレット係数に、JPEG2000に規定のスカラ量子化処理を施し、スカラ量子化されたデータに対しJPEG2000に規定のエントロピー符号化処理(いわゆる係数モデリングによる算術符号化処理)を施す。また、全ての色データに対しては、2次元離散ウェーブレット変換を施す。次に、得られるウェーブレット係数に、JPEG2000に規定のスカラ量子化処理を施して、スカラ量子化されたデータに対しJPEG2000に規定のエントロピー符号化処理を施す。その後、JPEG2000で規定する符号列を生成する。なお、復号化処理はこの逆の手順である。もちろん、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。また、JPEG2000に準拠する符号化処理を全てハードウェア回路で実現する画像処理装置は、既に存在する。
図1はJPEG2000の基本となる階層符号化アルゴリズムを説明するためのブロック図である。同図に示すように、階層符号化・復号化部は、2次元ウェーブレット変換・逆変換部12、量子化・逆量子化部13、エントロピー符号化・復号化部14、タグ処理部15で構成されている。JPEGアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。JPEGでは離散コサイン変換(DCT:Discrete Cosine Transform)を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換(DWT:Discrete Wavelet Transform)を、各々用いている。DWTはDCTに比べて、高圧縮領域における画質が良いという長所が、JPEGの後継アルゴリズムであるJPEG2000で採用された大きな理由の一つとなっている。また、他の大きな相違点は、後者では最終段に符号形成を行うために、タグ処理部15と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、後述する図3に示すように、ブロック・ベースでのDWTにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。
なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YUVあるいはYCbCr表色系への変換又は逆の変換を行う部分がこれに相当する。
以下、JPEG2000アルゴリズムについて説明する。
カラー画像は、一般に、図2に示すように、原画像の各コンポーネント(ここではRGB原色系)が、矩形をした領域(タイル)によって分割される。そして、個々のタイル、例えば、R00,R01,・・・,R15/G00,G01,・・・,G15/B00,B01,・・・,B15が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
カラー画像は、一般に、図2に示すように、原画像の各コンポーネント(ここではRGB原色系)が、矩形をした領域(タイル)によって分割される。そして、個々のタイル、例えば、R00,R01,・・・,R15/G00,G01,・・・,G15/B00,B01,・・・,B15が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
符号化時には、各コンポーネントの各タイルのデータが、図1の色空間変換・逆変換部11に入力され、色空間変換を施された後、2次元ウェーブレット変換部12で2次元ウェーブレット変換(順変換)が適用されて周波数帯に空間分割される。
図3はデコンポジション・レベル数が3の場合の各デコンポジション・レベルにおけるサブ・バンドを示す図である。すなわち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジション・レベル0)に対して、2次元ウェーブレット変換を施し、デコンポジション・レベル1に示すサブ・バンド(1LL,1HL,1LH,1HH)を分離する。そして、引き続き、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジション・レベル2に示すサブ・バンド(2LL,2HL,2LH,2HH)を分離する。順次同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジション・レベル3に示すサブ・バンド(3LL,3HL,3LH,3HH)を分離する。更に、図3では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。例えば、デコンポジション・レベル数を3とした時、グレーで示したサブ・バンド(3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)が符号化対象となり、サブ・バンド(3LL)は符号化されない。
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図1の量子化・逆量子化部13で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図4に示すように、一つのプレシンクトは、空間的に一致した3つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
図1のエントロピー符号化・復号化部14では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。このようにして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。エントロピー符号化・復号化部14で形成される符号データの最小単位は、パケットと呼ばれる。パケットは、図5に示すように、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントの中の1つで示される。全てのプレシンクトのパケットを集めると画像全域の符号の一部(例えば、画像全域のウェーブレット係数のMSBから3枚目までのビットプレーンの符号)ができるが、それをレイヤと呼ぶ。レイヤは画像全体のビットプレーン符号の一部であり、復号されるレイヤ数が増えると画質が向上する。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号となる。
図6は画像全域のビットプレーン符号化例についてサブ・バンドをプレシンクトとした時のレイヤとパケットとの関係を示す図である。この例では、ウェーブレット変数の階層数(デコンポジション・レベル)が2でありデコンポジション・レベル2のサブ・バンドは4つのコードブロックに、デコンポジション・レベル1のサブ・バンドは9個のコードブロックにそれぞれ分割されている。パケットはプレシンクトを単位としていくつかのプレシンクトにより構成され、図6の例では、プレシンクトはサブ・バンドであるので、パケットはいくつかのサブ・バンドHLからHHサブ・バンドまでをまたいだものとなっている。
パケットは、あるプログレッシブ順データといえば、それぞれ、領域、解像度、レイヤ、および色成分によって配列される。即ち、JPEG2000規格では、画質(レイヤ(L))、解像度(R)、コンポーネント(C)、位置(プレシンクト(P))という4つの画像の要素の優先順位を変更することによって、以下に示す5通りのプログレッションが定義されている。
・LRCP プログレッション:プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現できる。レイヤプログレッションとも呼ばれる。
・RLCP プログレッション:プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現できる。
・RPCL プログレッション:レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCP同様、解像度のプログレッションであるが、特定位置の優先度を高くすることができる。
・PCRL プログレッション:レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現できる。
・CPRL プログレッション:レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現できる。
・RLCP プログレッション:プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現できる。
・RPCL プログレッション:レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCP同様、解像度のプログレッションであるが、特定位置の優先度を高くすることができる。
・PCRL プログレッション:レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現できる。
・CPRL プログレッション:レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現できる。
このようにJPEG2000規格では、画像は領域(タイルまたはプレシンクトといった画像構成要素)、解像度、階層(レイヤ)、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。
図7の(a)は、LRプログレッション(レイヤプログレッション)のプログレッシブ順序を模式的に表した図である。図7の(b)は、RLプログレッション(解像度プログレッション)のプログレッシブ順序を模式的に表した図である。
最後に、図1のタグ処理部15は、エントロピー符号化・復号化部14からの全符号化データを1本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。図8には、コード・ストリームの構造を示す。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図1を用いて簡単に説明する。この場合、タグ処理部15は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎にエントロピー符号化・復号化部14で復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部13で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部14で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを2次元ウェーブレット変換・逆変換部12で2次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部11によって元の表色系のデータに変換される。
次に、JPIPにおける符号データのやり取りについて説明する。
本発明の実施の形態における別の特徴として、遠隔地に表示された部分画像データをアクセスして、遠隔地から遠隔操作対象である複写機(画像処理装置)に保存された階層符号データの一部または全部をアップロードして再表示する機能がある。典型的には、最初は転送効率を高めるために符号データを一部削減した部分符号データを受信し再生し、その後、さらに詳しく調べるために、残りの符号データを受信(アップロード)して再表示する。そのような機能を実現するために、画像符号化データのプロトコルとしてJPIP(JPEG2000 image coding system-Part9:Interactivity tools, APIs and protocols)がある。
本発明の実施の形態における別の特徴として、遠隔地に表示された部分画像データをアクセスして、遠隔地から遠隔操作対象である複写機(画像処理装置)に保存された階層符号データの一部または全部をアップロードして再表示する機能がある。典型的には、最初は転送効率を高めるために符号データを一部削減した部分符号データを受信し再生し、その後、さらに詳しく調べるために、残りの符号データを受信(アップロード)して再表示する。そのような機能を実現するために、画像符号化データのプロトコルとしてJPIP(JPEG2000 image coding system-Part9:Interactivity tools, APIs and protocols)がある。
ここで、サーバにあるJPEG2000符号から、必要な符号だけを受信するためのプロトコルとして国際規格JPIP(JPEG2000 image coding system − Part 9: Interactivity tools, APIs and protocols)がある。このような、階層的な画像を部分的にアクセスするためのプロトコルは、古くは、画像の多重解像度表現であるFlash Pixと、それにアクセスするためのプロトコルであるIIP(Internet Imaging Protocol)に見ることができる。
図9はJPIPにおける典型的なクライアント・サーバ間のプロトコル概要を示す図である。先ず、クライアントからサーバへ画像符号データの送信要求が出され、サーバはその応答としてクライアントへ対応する画像符号化データを転送する。クライアントは送られてきた画像符号化データを再生した後、当該画像の部分画像を指示し、指示された部分画像に対応する符号データの転送要求をサーバに送る。サーバはそれに応答し、要求に対応する部分符号データをクライアントに送り、クライアントは送られてきた画像符号化データを再生するというものである。このように、JPIPにおけるプロトコルでは、クライアントからサーバへ要求を出し、サーバがクライアントに要求に対応する応答をするというプロトコルを形成する。すなわち、JPIPにおいては、クライアントからの要求(リクエスト)に応じて、サーバは完全な画像ファイル、タイルパートストリーム(JPT−ストリーム)またはプレシンクトストリーム(JPP−ストリーム)の形式をもつ符号データを戻す(応答する)。JPT−ストリームは、JPEG2000パート1規格で規定されるタイルパートの組としてサブ画像の符号データを戻す方法である。一方、JPP−ストリームは、JPEG2000パート1規格で規定されるプレシンクトの組としてサブ画像の符号データを戻す方法である。JPT−ストリームにより順次アクセスした符号データを再生する場合は、タイル分割されたタイル領域毎に順次完全に再生するのに対して、JPP−ストリームにより順次アクセスした符号データを再生する場合は、タイル領域に跨った広い領域で、小さい領域(プレシンクト)単位に徐々に再生することができる。すなわち、JPT−ストリームのアクセスによる再生では、一時に再生する範囲が画像全体の中であるタイル領域に限定されているのに対し、JPP−ストリームのアクセスによる再生では、一時に再生する範囲はタイル領域に限定されず画像全体での再生が可能なのである。
このように、JPIPのクライアントは、受信された符号データの部分を識別でき、それらの部分を復号し、かつ画像を生成することのできるように、タイルパートストリーム又はプレシンクトストリームの形式で、JPEG2000コード・ストリームのサブセットを戻す機能を提供する。すなわち、JPP−ストリームはJPEG2000コード・ストリームへ変換されJPEG2000デコーダで復号することができる。前記変換は、復号されるデータと共に、メインヘッダの全てとタイルヘッダの全てを受信すれば十分である。図10はJPEG2000ファイルとデータビンとの関係を例示している。JPP−ストリームは、図11に示すように、メッセージのシーケンスより構成される。各メッセージは、含まれるデータビン情報の形式を示す(メインヘッダ、メタデータ、プレシンクト、又はタイルヘッダ)。各メッセージは、データビン内の開始位置とメッセージの長さも示す。各メッセージは、その形式、その形式内のインデックス、その形式とインデックスを有する“データビン”へのメッセージのオフセット、及びメッセージ長を識別するヘッダを有する。メッセージは、典型的には、データビン全てを含まず、データビンの一部を含む。メッセージには、データビンがどのタイル、コンポーネント、位置及び解像度データビンに対してであるかを示す識別子を含む。
本発明では、タイル、コンポーネント、位置及び解像度を階層としており、データビンに含まれる符号列(パケット)は、各階層のどのレベル(階層レベル)のデータであるかという情報が対応している。例えば、データビンに含まれるある符号列がタイルAでコンポーネントが、Cbで位置4で、解像度1レベルであることが示されている。
プレシンクト・データビンは、図12に示すように、一連のパケットヘッダ(PH)とパケットデータ(PD)より構成される。パケットヘッダは、どのコードブロックがパケットのパケットデータ部分内のデータを有するかに関する情報、各符号ブロックに格納されたバイト数に関する情報、及び各符号ブロックについての符号化パスの数を含む。JPIPの標準仕様では、パケットヘッダには、どのコンポーネント、位置、解像度、タイル、あるいは、それが属するレイヤを識別する情報(階層レベル情)はもってない。本発明の一実施の形態として、先に示したメッセージデータを解析して、パケット単位の階層レベル情報をパケットヘッダに記録してもかまわない。クライアント側でJPP−ストリーム受信後、これらの情報を記録することもできる。
同様に、JPIPの標準仕様では、パケットヘッダの長さに関する明確な情報も持たない。パケットデータの長さは、パケット内の全てのコードブロックにデータの長さを加算することにより決定できる。本発明の一実施例として、パケットヘッダにこれらのデータ長を計算した結果を保存する構成にすることができる。JPP−ストリームに規定された構成によりパケットを抽出することができる。
また、JPIPのプロトコルは、二つの異なるタイプの要求をもっている。サーバがキャッシュモデルを維持する必要がないという意味におけるステートレスリクエストとそれ以外のリクエストがある。サーバのキャッシュモデルには、それまでにサーバに送信したことについての情報の記録がなされている。クライアントのキャッシュには、サーバから受信した符号データが保存され、サーバはキャッシュモデルを用いることによって、既に転送した符号データをクライントに転送することなく、再利用できる。典型的には、クライアントは、断片的に受信したJPEG2000の符号データを、受信した順番にデータをアペンドしキャッシュに保存する。続いて、前述したようにキャッシュしたデータからJPEG2000のシンタックスに準拠したビットストリームを作成し、そのビットストリームをデコードする。
次に、JPIPにおけるクライアント、サーバ及びネットワークについて説明する。ここで、図13はJPIPにおけるキャッシュを持ったクライアントサーバモデル構成例であり、図14はJPIPにおけるクライアントサーバネットワークモデルの構成例である。
図13の(a)に示すように、サーバ22は、ある種のネットワークを介してクライアント21のような少なくとも1つのクライアントに接続されている。クライアント21は、しばしば、人間のユーザにより制御される“プログラム”であるが、完全に自動化されたシステムでも良い。クライアント21は、ある画像のサブセットに対する要求のような、要求(リクエスト)を発行し、この要求に示された方法で対応する符号データを含む、応答のような応答を受信する。ネットワークの帯域幅又はサーバ22の資源又はファイル要求の構造のために、クライアント21は要求された画像の部分符号データ以外のおおよその符号データを受信し得る。クライアント21は、典型的には、キャッシュを用いて、画像の異なる部分の出力に対する要求を発行し、前に受信された符号データに対する追加分の符号データを受信する。
ここで、JPIPの基本的特徴の一つは、クライアントが既に受信した符号データを繰返すことを避ける能力である。この符号データの再送信を避ける2つの方法がある。第1の方法としては、図13の(a)に示すように、クライアント21が、サーバ22へ送信されクライアント21で既に受信された符号データについての情報を持つことで、クライント21は冗長なデータの配信をサーバ22に要求しないで済ませ、それにより、サーバ22は冗長な符号データを送信しないで済ます方法がある。サーバ22が、“ステートレス”で動作する場合にあっては、それまでの相互動作を記憶することなく動作する。サーバが、それまでの相互動作を記憶する特別なキャッシュモデルを維持する必要がないことから、一般的には、ステートレスで動作しているということが多い。
また、第2の方法としては、図13の(a)に示すように、クライアント21とサーバ22は、“セッション”を確立し、サーバ22は、クライアント21へ送られた符号データを記憶しておくキャッシュモデル26をもっている。すなわち、サーバ22のキャッシュモデル26には、それまでにサーバ22に送信したことについての情報の記録がなされている。クライアント21のキャッシュ23には、サーバ22から受信した符号データが保存され、サーバ22は、キャッシュモデル26を用いることによって、既に転送した符号データをクライント21に転送することなく、再利用できる。典型的には、クライアント21は、断片的に受信したJPEG2000の符号データを、受信した順番にデータをアペンドしキャッシュ23に保存する。続いて、前述したようにキャッシュしたデータからJPEG2000のシンタックスに準拠したビットストリームを作成し、そのビットストリームをデコードする。
また、本発明は、主に、図13の(b)に示すようなステートレスな要求を処理するに係り、キャッシュ管理部28を有することで、キャッシュ23のキャッシュデータを管理するところに特徴がある。クライアント21は、それまでに要求した符号データの全てを受信する前にさえも、興味のある画像の部分に対応する符号データを変更し得る。あるサーバは、これらの変更を扱うために、前の要求に対する応答を割り込みすることができる。
図14は典型的なネットワークを示す図である。同図に示すように、ネットワークは、複数のクライアント、例えばクライアント31〜35と複数のサーバ、例えばサーバ36,37を含んで構成されている。単一のサーバは、数100万の異なるクライアントへ同じ画像の異なる部分を扱い得る。単一のクライアントは、画像と他のデータ(例えば、HTMLページ)を、幾つかのサーバから受信する。プロキシサーバは、オリジナルサーバと通信すること無しにいくつかの要求への素早い応答を可能とするために、ネットワーク内に存在しうる。有効な帯域幅と帯域幅のコストは、異なるクライアントと同じサーバの間で又は、異なるサーバの間で広く変わる。
最も一般的に使用されるネットワークは、インターネット又はワールドワイドウェブである。しかし、JPIPは、ローカルエリアネットワーク又は、どのような一般的な相互接続システムに適用できる。同様に、JPIPは、ハイパーテキスト転送プロトコル(HTTP)の上で”最も一般的に転送されるが、TCP/IP及びUDPを含む他の転送プロトコルと共に使用されると予想される。
以上のことから、JPIPストリームの符号フォーマット(メッセージ)を分析することで、コンポーネント数、レイヤ数、プレシンクトサイズ、デコンポジション分割数などの階層符号データを構成する各階層のレベル数がわかる。また、プログレッション順序についても知ることができる。
図15はJPIPを使用した場合の出力表示画面例を示す図である。最上位画面では、2つのタイルからなるデータが表示されていて、例えば、図15の(a)に示すようにそれぞれのタイルをクリックすることによって画像データが表示され、図15の(b)のような画質の劣ったタイル4枚からなる画像となる。更に、右下の画像をクリックすることによって、図15の(c)に示すようにクリックしたタイルの部分画像の解像度が変倍され、部分画質レベルが向上する。このように、部分画像データを参照する場合に使用される。部分画像データを参照する都度、表示クライント側からサーバ側へ符号データを転送要求し再生する。
このようにJPIPにおいては、クライアント(出力側)では、全ての(階層)符号データではなく、部分符号データを必要としていることを前提としている。そのため、部分符号データからオリジナルの符号データの階層構造を知ることができないという問題があった。
なお、JPIPの“主な使用事例”は、2002年7月15日に発行されたISO/IECJTC1/SC29/WG1N2656に詳細に記載されている。JPIPの主要な応用例としては、大きな画像のブラウジングである。JPIPは、航空画像、医療画像及び、プリプレス画像を代表とする大きな画像の低解像度版又は部分を小さな携帯表示装置(例えば、携帯電話、携帯情報端末等)で見る方法を提供する。
次に、JPEG2000のコード・ストリームのフォーマットについて説明する。
JPEG2000のコード・ストリームは、画像についての全てのエントロピー符号化されたデータと、その符号化されたデータを復号するために使用されるべき方法を記述するデータを含む。コード・ストリームは、使用されるウェーブレット変換に関する情報、タイルのサイズ、プレシンクトのサイズ、解像度に関する情報、ファイル内のパケットの順序等を含む。コード・ストリームは、エントロピー符号化されたデータを画像サンプルに復号するのに必要な全てのパラメータを含まなければならない。コード・ストリームは、例えばパケットの長さのような、符号化されたデータの部分への高速アクセスを提供する情報も含み得る。
JPEG2000のコード・ストリームは、画像についての全てのエントロピー符号化されたデータと、その符号化されたデータを復号するために使用されるべき方法を記述するデータを含む。コード・ストリームは、使用されるウェーブレット変換に関する情報、タイルのサイズ、プレシンクトのサイズ、解像度に関する情報、ファイル内のパケットの順序等を含む。コード・ストリームは、エントロピー符号化されたデータを画像サンプルに復号するのに必要な全てのパラメータを含まなければならない。コード・ストリームは、例えばパケットの長さのような、符号化されたデータの部分への高速アクセスを提供する情報も含み得る。
図16の(a)はJPEG2000のコード・ストリームのフォーマットの概略構成を示す図である。JPEG2000の“コード・ストリーム”には、いくつかのマーカセグメントをもっている。マーカセグメントとは、一つの2バイト長よりなるマーカとそれに付随するパラメータ群から構成されている。各マーカセグメントには機能、用途、データ長が表されている。コード・ストリームのフォーマットは符号データの始まりを示すSOC(Start of Codestream)マーカで始まる。SOCマーカの後には、符号化のパラメータや量子化のパラメータ等を記述したメインヘッダが続き、その後に実際の符号データが続く。
図16の(b)はメインヘッダの概略構成を示す図である。メインヘッダはCOD,QCDの必須マーカセグメントとCOC,QCC,RGN,POC,PPM,TLM,PLM,CRG,COMのオプションマーカセグメントで構成される。ここで、SIZマーカセグメントには、コンポーネント数とかタイルサイズなどの非圧縮時の画像の情報が記述され画像コンポーネントの幅と高さについての情報を含む。CODとCOCマーカセグメントは、圧縮されたデータはどの様に復号されるべきかを示すパラメータを含む。CODマーカにはプログレッション順序、レイヤ数、プレシンクトサイズ、デコンポジション分割数が記述されている。QCDマーカは量子化に係る情報が記載されている。また、COMマーカはコメント等の情報を付加したいときに利用するマーカで、メインヘッダ、タイルヘッダの双方で使用することが可能である。メインヘッダの後に、一連の“タイルパート”がある。各タイルパートは、特定のタイルと部分を識別する“SOT”マーカセグメントで始まる。各タイルパートについて符号化されたデータには、“SOT”マーカセグメントが先行する。“SOT”マーカセグメントには、タイルパート数に係る情報を含んでいる。
図17に示すような実際の符号データは、SOT(Start of Tile−part)マーカで始まり、タイルヘッダ、SOD(Startof data)マーカ、タイルデータ(符号)で構成される。これら画像全体に相当する符号データの後に、符号の終了を示すEOC(End of Codestream)マーカが付加される。メインヘッダはCOD,QCDの必須マーカセグメントとCOC,QCC,RGN,POC,PPM,TLM,PLM,CRG,COMのオプションマーカセグメントで構成される。
図16の(c)に示すタイルヘッダ構成は、タイルデータの先頭に付加されるマーカセグメント列であり、COD,COC,QCD,QCC,RGN,POC,PPT,PLT,COMのマーカセグメントが使用可能である。一方、図16の(d)は、タイル内が複数に分割されている場合における分割されたタイルパートの先頭に付加されるマーカセグメント列であり、POC,PPT,PLT,COMのマーカセグメントが使用可能である。タイルヘッダでは必須マーカセグメントはなく、すべてオプションである。タイルデータ(符号)は、連続したパケットで構成される。コード・ストリーム中のパケットの順番をプログレッション順序と呼んでいる。
以上のことから、JPEG2000コードフォーマットを分析することで、コンポーネント数、レイヤ数、プレシンクトサイズ、デコンポジション分割数などの階層符号データを構成する各階層のレベル数がわかる。また、プログレッション順序についても知ることができる。
次に、部分画像のアクセスと操作指令の対応について説明する。
本発明では、クライアントで部分画像をアクセス(指定)した場合に、サーバでそれに対応する(予め領域毎に決められた)操作指令(処理)をするところである。この時、処理内容を識別することが課題となるが、一般的に、このような処理を実現するために、座標間の対応をとることによって識別する。ところが、座標値の計算では、符号化や復号化の処理を介する場合においては、あるいは、表示系の縦横解像度が異なるような場合においては、表示サイズがサーバとクライアントの表示装置上で異なる場合があり、座標の計算ではこれらを考慮して座標値を算出する必要がある。そこで、本発明では、画像データは、矩形単位に区別できるような形式で符号化し、画像の部分領域と符号データの部分符号との対応をとることにより(符号データと再生画像の位置情報との対応をとることによって)画像の部分領域の指定を操作指令(処理)に変更することができる。
本発明では、クライアントで部分画像をアクセス(指定)した場合に、サーバでそれに対応する(予め領域毎に決められた)操作指令(処理)をするところである。この時、処理内容を識別することが課題となるが、一般的に、このような処理を実現するために、座標間の対応をとることによって識別する。ところが、座標値の計算では、符号化や復号化の処理を介する場合においては、あるいは、表示系の縦横解像度が異なるような場合においては、表示サイズがサーバとクライアントの表示装置上で異なる場合があり、座標の計算ではこれらを考慮して座標値を算出する必要がある。そこで、本発明では、画像データは、矩形単位に区別できるような形式で符号化し、画像の部分領域と符号データの部分符号との対応をとることにより(符号データと再生画像の位置情報との対応をとることによって)画像の部分領域の指定を操作指令(処理)に変更することができる。
図18は部分画像アクセスと操作指令との対応関係を示す図である。同図に示すように、符号データがどのように復号再生したかに依存せず画像範囲を特定することができるので、部分画像アクセスに対応する処理内容を容易に識別することができる。
図19は部分画像アクセスと操作指令との対応に係る処理を示すフローチャートである。同図に示すように、矩形単位に区別できるような形式で符号化された画像データを該矩形領域単位にアクセス(指定)をして、以下のような手順で対応する(操作指令)処理をする。
まず、クライアント側において、画像領域アクセスによる操作を指令すると(ステップS101)、画像の矩形領域を指定する(ステップS102)。そして、対応する部分符号データを抽出し、画像指定領域に対応する符号データの領域情報を転送する(ステップS103,S104)。そして、サーバ側において、画像指定領域に対応する符号データの領域情報を受信すると(ステップS105)、符号データの領域指定情報に対応する画像指定領域を抽出し、画像指定領域に対応する操作指令処理を施す(ステップS106,S107)。
以下の実施の形態の説明では複写機を遠隔操作(制御)する例を用いて具体的な実現手段について説明していくが、同様な構成要素を有する事務機器であれば、他の装置例えばファクシミリであっても本発明を実施し得る。
図20は本発明に係る遠隔制御システムの一例を示す図である。同図に示す遠隔制御システムには監視機能を搭載したコンピュータ(以下PCと略す)と複写機が備わっている遠隔制御対象である画像処理装置の一例として実施の形態では複写機を取り上げる。もちろん、FAXであっても、プリンタであってもかまわない。同図に示す本発明の遠隔制御システムは、一例として、複写機41,42とPC43は、ローカルエリアネットワークLAN44により互いに接続されている。なお、同図には複写機を2台のみ示したが、ローカルエリアネットワークLAN44にはさらに多数台の複写機を接続することができ、1台でもかまわない。同図に示す複写機41,42とローカルエリアネットワークLAN44で接続されたPC43には、各複写機を遠隔操作するための入力機能を備えている。つまり、PC43からの入力操作によって、複写機41,42のコンソールにおけるボタン操作と同一の機能を実行する。
図21は遠隔操作装置における操作パネルの表示例を示す図である。これは、複写機(画像処理装置)に備わっている簡単な操作パネルの概観と同じである。本発明の実施の形態では、複写機(画像処理装置)に備わっている操作パネルの表示データ(ビットマップデータ)がそのまま符号化され、遠隔操作装置に転送後復号再生される。同図に示すように、操作パネル51は表示領域52と操作領域53とその他の領域54に区別されている。タッチパネルになっていて操作ボタンが描かれている範囲を指で触れることにより、その操作ボタンに予め設定された複写機(画像処理装置)の動作を指令する。操作領域53は外部からのポインティングデバイス等による座標の指定により指令することもできるが、特別なポインティングデバイスが必要になってくるという欠点をもっている。
本発明では、遠隔地から遠隔操作をする機能を提供するのであるが、そのインターフェースにおいても座標値(点)ではなく矩形領域(面)を指定することで、ユーザインターフェースの向上を図っている。特に座標点で指定する場合は、操作ボタンの境界領域にある場合など、確実に指定できたかどうかの認識が難しいという問題がある。
本実施の形態では、複写機等の画像処理装置の操作パネルの画面を遠隔操作装置上に表示する例を示す。操作パネルの画面情報を複写機等の画像処理装置から遠隔操作装置に転送することで実現するが、転送表示する内容は、操作パネルの画面情報に限らず、例えば読取原稿を転送し表示してもかまわない。
よって、図21では遠隔操作装置において操作パネルの表示画面しか表示していないが、複写機等の監視において図22に示すように、読取原稿表示領域55に読取原稿を表示させていてもかまわない。
図23は本発明の遠隔操作処理の概念図である。操作パネル51はビットマップイメージで表示されているので、それを符号化(圧縮)し、遠隔操作装置(監視装置)側にネットワークを介して送信し遠隔操作装置で復号し遠隔操作装置の表示領域61に再生することで実現する。余分な描画処理をすることなくビットマップイメージをそのまま転送することにより効率的に処理を実現している。パネル画面上の描画内容の変化があったときに、変化に対応して描画内容を再転送する。そのため、操作パネルの表示変化スピード(実操作スピード)に対応する必要があり、転送効率を上げる必要があるため描画イメージの符号量は小さいことが望ましい。そこで、本発明では、パネルイメージを符号化した後で、符号データの編集をして符号量を減らす処理をする。高速に転送することを可能としている。ところが、符号量をへらした符号データを復号再生するとテキストの解像度が落ちるなどして望ましくない場合がある。そこで、パネル表示にテキストが表示されたような場合には、遠隔操作装置は、その部分画像を詳しく再生することを画像処理装置側に要求する高精細表示要求を行う。画像処理装置はこの要求を受けて符号データを再構成し、編集により減らされた符号の部分を補充した符号データを作成し、当該符号データを転送し、遠隔操作装置側で復号し再生する。一方、遠隔操作装置での遠隔操作は、遠隔操作装置上のパネル上に記された操作ボタンを指示することによって指令を転送し、操作指令を出す。本発明では、画像データは矩形領域単位に区別して画像領域を指定することができて、上記高精細表示要求における領域の指定も、操作指示をする場合の要求においても、矩形領域を指定することにより実現し両者の指定のためのインターフェースを統一し簡略化している。指定された内容の解釈は、描画内容との対応によって簡単に決められる。すなわち、操作パネル上の操作ボタンの領域の矩形領域を指定すれば、操作指令であると解釈する。メッセージ表示領域であれば、高精細表示要求であるとする。それ以外は何もしない。
以上要約すると、本発明の典型的な実施の形態である遠隔操作システムは次のように動作する。
遠隔地にある遠隔装置(クライアント)は複写機等の画像処理装置(サーバ)から遠隔操作のために必要なパネル表示画像データ(ビットマップデータ)を受け取る。複写機等の画像処理装置(サーバ)の表示パネルは、元々表示用のデータであるので、それを画像データとして送る。複写機等の画像処理装置(サーバ)上で表示されていたビットマップデータを遠隔装置上でもそのまま表示することで操作を共通にすることができる。遠隔地にある遠隔装置(クライアント)はサーバから受けとったパネル画像に従って、直接操作と同様に操作の指示を部分画像の指定によって行う。通常、パネル操作は、パネル表示されたボタン等に触れることによって指令するので、同様な感覚で指令をする。遠隔地にあるクライアントにおける部分画像の指定は、サーバへの部分画像データへのアクセス要求とされる。
遠隔地にある遠隔装置(クライアント)は複写機等の画像処理装置(サーバ)から遠隔操作のために必要なパネル表示画像データ(ビットマップデータ)を受け取る。複写機等の画像処理装置(サーバ)の表示パネルは、元々表示用のデータであるので、それを画像データとして送る。複写機等の画像処理装置(サーバ)上で表示されていたビットマップデータを遠隔装置上でもそのまま表示することで操作を共通にすることができる。遠隔地にある遠隔装置(クライアント)はサーバから受けとったパネル画像に従って、直接操作と同様に操作の指示を部分画像の指定によって行う。通常、パネル操作は、パネル表示されたボタン等に触れることによって指令するので、同様な感覚で指令をする。遠隔地にあるクライアントにおける部分画像の指定は、サーバへの部分画像データへのアクセス要求とされる。
図24は本発明の遠隔操作システムの構成例を示すブロック図である。同図に示す本発明の典型的な遠隔操作システムは、遠隔からの操作対象である画像処理装置(例えば、複写機)70、遠隔操作インターフェース装置80及び遠隔操作装置90を含んで構築される。画像処理装置70は、操作パネル出力処理部71、操作パネル指定処理部72、画像処理部73及び操作信号出力部74を有している。また、遠隔操作インターフェース装置80は、符号データ編集部81、符号化処理部82、データ保存部83、操作要求解析処理部84及び送受信処理部85を有している。更に、遠隔操作装置90は、表示処理部91、アクセス制御部92、復号化処理部93、部分画像指示部94、データ保存部95及び送受信処理部96を有している。
図25は遠隔操作システムの処理の流れの一例を示すブロック図である。同図に示すように、画像処理装置70では、操作パネル指定処理部72で操作指令がなされ、操作信号出力部74で画像処理装置の操作指令が出され、画像処理部73で画像処理動作がなされる。同時に、操作パネル出力処理部71では、操作指令に基づいて出力(表示)内容が変更される。操作信号出力部74では、遠隔操作装置90からの操作要求がなされることも含んでいる。本発明の構成では、操作パネルの出力(表示)は、ビットマップデータのまま操作パネルに出力(表示)されるのと同時に、遠隔地に符号化されて送信される。遠隔操作インターフェース装置80では、符号化処理部82で操作パネルの出力(表示)画像のビットマップデータを符号化し、符号化された符号データは一旦データ保存部83に保存し、続いて符号データ編集部81で符号データを編集して、編集後の符号データを送受信処理部85を介して遠隔操作装置90に送信する。一方、遠隔操作インターフェース装置80は、遠隔操作装置90からの部分画像指示(アクセス)要求を受信し、操作要求解析部84で、遠隔操作装置90で部分画像の指示(アクセス)によって指定された画像領域に基づいて処理要求内容を識別し、画像処理装置70に操作信号を出力したり、符号データを再編集して、遠隔操作装置90に新たな符号データを送信する。遠隔操作装置90は、送受信処理部96で符号データを受信し、復号化処理部93で復号し、表示処理部91で再生する。一方、部分画像指示部94で部分画像を指定すると、アクセス制御部92で通信用のフォーマットに置き換えて、送受信処理部96を介して遠隔操作インターフェース装置80へ部分画像指示(アクセス)要求を送信する。
図26は本発明の遠隔操作システムの通信動作を示す図である。なお、同図は画像処理装置(複写機)の遠隔操作における通信動作フローを示す図である。遠隔操作装置の表示(出力)、入力及び通信処理と画像処理装置(複写機)の表示(出力)、入力、動作、及び通信処理間の信号の流れを矢印で示している。複写機のシステムコントローラは、遠隔操作装置からコマンドCnmを受信すると、所定の制御プログラムを起動し、必要に応じて遠隔装置へ応答Rij信号を送信する。以上の処理は、遠隔操作の開始処理である。図26に示す例では、遠隔操作装置の入力により開始指令C11が出され、初期設定がなされる。続いて、操作パネルの表示内容が遠隔操作装置の通信処理を経て遠隔操作装置側へ転送され、遠隔操作装置に表示される。遠隔操作の開始は複写機側で開始指令が出されてもかまわない。その場合は、開始指令が複写機側から遠隔操作装置側に伝えられると共に、操作パネルの表示内容が符号化され遠隔操作装置側に転送され、復号後遠隔操作装置上に複写機のパネルの内容が表示される。
次に、遠隔操作装置から複写機の操作のための情報(テキストメッセージ)を転送する指令C12の例について説明する。図27は遠隔操作装置側から複写機へメッセージを転送した場合の表示画面例を示す図である。同図に示すように、遠隔操作装置上で入力された『原稿セット 原稿をコンタクトガラス上にセットしてください。』というメッセージがそのまま複写機のパネル上に表示されている。遠隔地から使用者(オペレータ)へ指示に使用することができる。遠隔故障診断にも有効である。
続いて、使用者(オペレータ)は指示に従って原稿をセットしてスタートボタンを押すなどの操作をして操作パネル上の表示内容が変化すると上記と同様に操作パネルの表示内容が通信処理を経て遠隔操作装置側へ転送され(図26の指令R13)、遠隔操作装置に表示される。
そして、遠隔操作装置上でパネル表示の内容をより詳しく知りたい場合に、遠隔操作装置では、受信して表示されたパネル表示の内容の部分画像を詳しく再生することを画像処理装置側に要求する(図26の指令C14)ことができる。複写機側は、パネルが総符号データを再編集し、遠隔操作装置側へ再編集後の符号データを再送する(図26の指令R14)。表示内容を詳しくする(表示変更する)場合としては、パネル表示の解像度や画質の変更がある。
また、遠隔操作装置から複写機へ操作指令を出す場合、遠隔操作指令が遠隔操作装置から出されると、複写機は、指令に基づく処理をする。続いて、パネル表示の内容が通信処理を経て遠隔操作装置側へ転送され(図26の指令R15)、遠隔操作装置に表示される。
図28は画像処理装置の処理を示すフローチャートである。さらに具体的に処理内容を明らかにしたのが、図29の処理フローである。
本発明の実施の形態においては、図28に示すように、画像処理装置(複写機)は、基本的には、パネル表示画像データを遠隔操作装置へ提供するサーバとして機能する。画像処理装置(複写機)は、始動スイッチが押されるなどで初期設定がなされた後(ステップS201)、操作指令によって所定の動作をする。本発明の実施の形態においては、ローカル操作と遠隔操作の二種類があり、それぞれ指令に基づいて所定の動作をする。遠隔からの操作内容としては、遠隔操作開始処理と表示変更処理と遠隔操作処理とがある。ローカル操作があった場合(ステップS202;YES)、当該ローカル操作の内容による遠隔操作処理を開始し、処理されてパネル表示画像を転送する(ステップS203,S204)。そして、遠隔操作があった場合(ステップS205;YES)、遠隔操作の内容による遠隔操作処理を開始し、処理されたパネル表示画像を転送する。そして、当該パネル表示の表示を変更した上で遠隔操作処理を行う(ステップS206〜S209)。
本発明の実施の形態においては、図28に示すように、画像処理装置(複写機)は、基本的には、パネル表示画像データを遠隔操作装置へ提供するサーバとして機能する。画像処理装置(複写機)は、始動スイッチが押されるなどで初期設定がなされた後(ステップS201)、操作指令によって所定の動作をする。本発明の実施の形態においては、ローカル操作と遠隔操作の二種類があり、それぞれ指令に基づいて所定の動作をする。遠隔からの操作内容としては、遠隔操作開始処理と表示変更処理と遠隔操作処理とがある。ローカル操作があった場合(ステップS202;YES)、当該ローカル操作の内容による遠隔操作処理を開始し、処理されてパネル表示画像を転送する(ステップS203,S204)。そして、遠隔操作があった場合(ステップS205;YES)、遠隔操作の内容による遠隔操作処理を開始し、処理されたパネル表示画像を転送する。そして、当該パネル表示の表示を変更した上で遠隔操作処理を行う(ステップS206〜S209)。
図29に示すように、パネル表示画像は、表示画像データの矩形区分(ステップS305,S312,S320)、符号化(ステップS306,S313,S321)、符号データ編集(ステップS306,S313,S321)、符号データ転送(ステップS307,S314,S322)という手順で転送される。表示画像データの矩形区分化によって、画像データは矩形領域単位で符号化される。典型的には、階層符号化していて、符号レベルで編集される。この構成によって、符号量は適応的に制御することができて、転送符号量を減らすことにより、遠隔装置上で高速に再生することが可能となる。
一般に、複写機が監視装置に画像情報を転送する際には、転送トラフィックの負荷を軽減するために、転送対象である画像情報を符号化圧縮し、圧縮された符号データを送受信し、符号データを受取った監視装置は符号化伸張処理を実行して元の画像情報を再現する。ところが、符号データの編集ができない符号化では、符号量を調整するために圧縮率(符号化パラメータ)を変更して再符号化しなければならない等の効率的な符号量の調整ができないという問題があった。
そこで、本発明では、符号データの符号量の調整が容易な符号化仕様をもつ階層符号を用いて符号化し上述したような、符号データ編集機能を使用して符号量を調整する。典型的には、先に説明したJPEG2000で符号化することで、符号データレベルでの符号量の調整が容易に実現でき好適である。
図30は遠隔処理を示すフローチャートである。遠隔操作装置上の操作用の画像の一部をアクセスして処理要求をする場合は、画像領域(矩形領域)の情報のみを画像処理装置(複写機)に送る。画像処理装置(複写機)側では、矩形領域単位に、部分符号データが対応しているので、該部分符号データに対応する元画像データとの対応関係から(ステップS403〜S405)、アクセス領域を特定することができる(ステップS406,S407)。
次に、本発明の実施の形態で取り上げている複写機の構成について具体的に説明する。図31に示した複写機100は、カラーであってもモノクロであってもかまわないが、CPU101、イメージスキャナ102、イメージプロセッサ103、プリンタ104、コンソール105、自動原稿搬送装置(ADF)106、ソータ107、インターフェース108、磁気ディスク109等で構成されている。
このような構成を有する複写機100によれば、イメージスキャナ102によって読取られた画像の情報は、イメージプロセッサ103により必要とされる画像処理を受けた後、プリンタ104に出力される。プリンタ104がカラーである場合においては、C(シアン),M(マゼンタ),Y(イエロー)及びBK(ブラック)の各色画像を互いに離れた位置の独立した作像部で各色トナー像として形成し、それらのトナー像を同一の転写紙上に重ね合わせて転写する必要があるので、各色作像部間を転写紙が搬送されるのに要する時間だけ、各色の画像情報を遅延させる必要がある。そのため、プリンタ出力前に各色画像の位置合わせのために遅延メモリが使用される。遅延メモリを通すことによって、各色毎に定められた遅延時間だけ遅らせてその画像情報をプリンタ104に出力する。複写機全体の制御はCPU101によって実施される。CPU101は、コンソール105から入力される各種コピーモード指定情報に応じて各ユニットの動作仕様を決定し、コピー処理が開始される前に動作パラメータを各ユニットに送信したり、また処理開始信号や処理の最中に必要な各種リアルタイムクロック信号を他ユニットに供給する。
また、イメージスキャナ103は、コンタクトガラス上に載置される原稿の二次元画像を主走査及び副走査しながら読取る。読取られる光学情報は、カラー画像の読み取りの場合は、R(レッド),G(グリーン)及びB(ブルー)の3原色に色分解され、各色の光像は一次元CCDイメージセンサによって400dpiの標本化密度で標本化され電気信号に変換される。これらの電気信号は、それぞれ8ビットの量子化レベルに量子化され、デジタルカラー画像情報としてイメージスキャナ12から出力される。
そして、イメージスキャナ103が出力する画像情報は、通常はイメージプロセッサ103を介してプリンタ104に出力されるが、インターフェース108を介してLANに出力したり、磁気ディスク109に書込んで保存することもできる。イメージプロセサ103は、イメージスキャナ102又はインターフェース108を介して外部から供給されるRGB画像情報に対して、色補正やディザ処理など種々の画像処理を施し、最終的にプリント信号であるCMYK信号(シアン,マゼンタ,イエロー及びブラックの信号)に変換する画像加工機能,原稿のサイズや特定部分の色を検知してその情報をCPU11に出力する画像検知機能及び各種模様や数字パターンを発生する画像生成機能を備えている。
また、磁気ディスク109は、数ページの画像情報と必要なプログラム情報を保持することができる。例えば、磁気ディスク109には、画面単位の表示画像データが複数組登録してあり、特定のシリンダ番号、トラック番号及びセクタ番号により定まる領域には、例えば給紙コロが損傷したときのサービスマンコール画面の情報が登録されている。登録されたデータの形式は、例えば512×256画素の構成をもつ白黒パターンをランレングスコード化したものである。また、ディスク上には、OS、複写機制御プログラム、課金管理情報などが常時保持されている。
更に、プリンタ104は、C,M,Y及びBK4色の独立した作像部を有するデジタルカラープリンタである。各々の作像部では、画像情報に応じて変調されたレーザ光が感光体に照射され、感光体上に画像の濃淡に応じた電位分布、即ち静電潜像が形成される。この静電潜像が現像部を通る時にC,M,Y又はBK色のトナーが電位の高低に応じて付着し、トナーによって静電潜像が可視化される。このトナー像は、画像の形成に同期して搬送される転写紙上に転写される。C,M,Y及びBKの4つの作像部で形成されたトナー像をそれらが重なるように転写紙上に転写することによって、フルカラー画像が転写紙上に形成される。転写紙上のトナー像は、定着部を通る時に定着される。
また、コンソール105は、複写機の状態などをオペレータに対して表示する表示部と、複写モード指定などのオペレータからの入力を受付ける入力部を備えている。具体的には、例えば表示部は512×256ドット構成のビットマップ表示が可能な液晶表示器で構成されており、入力部は表示部に重ねて配置された透明タッチシートで構成されている。透明タッチシートは、感圧スイッチを128×64の各領域に等間隔で配列したものであり、128×64の分解能で入力(押圧)のあった座標を検出することができる。
次に、複写機のユーザインターフェースの構成について図32を参照して説明する。
図31のコンソール105は主にコンソールボード201とその制御回路で構成されている。コンソールボード201には、液晶表示器202、操作スイッチ(キースイッチマトリクス)203が設けられている。例えば、液晶表示器202は、例えば512×256ドット構成である。操作スイッチ203には、透明タッチシートが含まれている。制御装置としては、CPU204、ROM205、RAM206、画像インターフェース207、割込みコントローラ208、シリアルI/O209、LCDコントロ−ラ210、ビデオRAM211、(I/O+デコーダ)用のドライバ212、スイッチ入力ドライバ213及びバッテリ214が設けられている。
図31のコンソール105は主にコンソールボード201とその制御回路で構成されている。コンソールボード201には、液晶表示器202、操作スイッチ(キースイッチマトリクス)203が設けられている。例えば、液晶表示器202は、例えば512×256ドット構成である。操作スイッチ203には、透明タッチシートが含まれている。制御装置としては、CPU204、ROM205、RAM206、画像インターフェース207、割込みコントローラ208、シリアルI/O209、LCDコントロ−ラ210、ビデオRAM211、(I/O+デコーダ)用のドライバ212、スイッチ入力ドライバ213及びバッテリ214が設けられている。
そして、ROM205は、液晶表示器202に関する表示処理を実行する表示制御プログラム、透明タッチシートからのキー入力を識別する入力判定プログラム、通信制御プログラム、ポインタの情報各種表示要素の情報などの予め定められた固定データを保持している。コンソールのRAM206は、プログラム実行時のワークエリア及び液晶表示器202に表示される二次元表示画像に相当する二次元画像情報をビットマップ情報として保持する表示情報エリアを備えている。二次元画像情報は、例えば512×256画素構成で各画素の値は0又は1の二値が表示情報エリアのために割り当てられている。液晶表示器202に二次元表示画像を表示する場合、先ずRAM206上の表示情報エリアに表示画像をビットマップ形式で作成し、作成した画像データをビデオRAM211に転送する。これによってLCDコントローラ210がビデオRAM211上の画像情報を液晶表示器202に表示する。なお、RAM206には、二次元表示情報を記憶するエリアが複数画面分設けられている。複数画面分の記憶エリアを確保してあるのは、複写モード設定画面、コピーラン画面のような画面の種類毎に独立した画面領域を割り当てることや画像オーバーレイの制御を容易にするためである。
また、CPU204が表示画像を作成及び更新する場合には、表示要素毎にROM205上に予め登録された当該表示要素のビットマップ情報、ベクトル情報、文字情報等を読み出して、各々の要素のパターン情報を画像情報としてRAM206上の前記表示情報エリアに書込む。RAM206上の表示情報エリアの情報をデュアルポートメモリで構成されるビデオRAM211に転送すると、LCDコントローラ210がビデオRAM211上の画像情報をサイクリックにスイッチ入力ドライバ213に出力する。これにより、表示画面が、液晶表示器202上に二次元画面として表示される。透明タッチシートにより表示した各ボタン(キー)の位置で押下が検出されると、それに応じて複写モードや表示内容が変わる。表示内容を変更する時には、新しい表示要素の画像情報をRAM25上に書込み、その情報をビデオRAM211に転送する。なお、表示頻度が低くしかも固定的な表示内容の画面、例えば給紙コロが壊れてその部品を交換するためにサービスマンによる修理を促すための画面については、その二次元表示情報が図31の磁気ディスク109上に予め登録されているので、その1画面全体の情報を磁気ディスク109から読み出して直接RAM206に書込み、RAM206上の情報をビデオRAM211に転送する。
また、液晶表示器202の表示面上には、透明タッチシートが重なっているので、それによって表示画面上の押下されたボタンの位置が検出される。表示画面上のボタンの存在しない位置を押下したり、予め定められた範囲外の数値を入力した場合には、その入力を無効とする。
更に、図31のコンソール105のROM205のある領域には、各表示要素の情報がビットマップ形式で登録してある。各表示要素のデータの構成は次のようになっている。アイコンの識別コード;id、アイコンの属性;a1,a2,・・・ax、横方向の長さ(画素数);Lx、縦方向の長さ(画素数);Ly、画素データビット列;d1,d2,d3,・・・dn。また、ROM205のある領域には、表示プログラムによって利用される座標やアドレスポインタの情報が画面の種別毎に、例えば画面上の第1表示要素を配置する座標x1,y1、第1表示要素の情報が登録されているメモリアドレス、画面上の第2表示要素を配置する座標x2,y2、第2表示要素の情報が登録されているメモリアドレス、当該画面データ終了の識別マークが登録されている。このようなデータ構成になっているので、ROM205上の表示プログラムは、表示画面の画像を作成する際には、表示要素毎に、それを配置する位置の座標データ(x,y)と、その要素の情報が登録されているメモリアドレスを参照し、必要な情報を当該アドレスから読み出して、RAM206上の表示エリア中の指定された座標(x,y)の位置に書込む。作成されたRAM206上の画像情報は、ビデオRAM211に転送され書込まれる。また、作成された画像情報は、複写機のCPU204を介してコンピュータPCに送信される。
図31のコンソール105のROM205に登録された入力判定プログラムは、透明タッチシート上の押下された座標(x,y)を調べる。つまり配置アドレスデータやアイコンIDや属性を元に特定ボタンが入力されたか否かを判定する。複写機のコンソール105では、操作入力に対して入力判定プログラムが起動される。この入力判定プログラムは、その時に液晶表示器202に表示し、またコンピュータPCにも送ってある表示画面の状態パラメ−タを知ることができる。この状態パラメ−タはRAM206上のワークエリアに保持されている。状態パラメ−タは、表示プログラムによって作られたものであり、その時の表示画面に含まれるボタンのID、属性、座標などの情報が含まれている。従って、入力判定プログラムは、状態パラメ−タの情報を参照することによって、コンピュータPCから入力された座標xp、ypが特定のボタンの内側にあるか否かを照合することができる。例えば「呼出」ボタンの表示座標をx1,y1とし、該ボタンの横方向の長さをLx、縦方向の長さをLyとする場合、x1≦xp≦x1+Lx、及びy1≦yp≦y1+Lyの両方の条件を満たす場合に、マウスでクリックした点が「呼出」ボタンの内側であるものと判定する。
次に、コンピュータPCの構成について図33を用いて説明する。
図33に示すコンピュータPC300は、CPU301、ROM302、RAM303、ビデオRAM304、ディスプレイコントローラ305、ディスクコントローラ306、キーボードコントローラ307、RS−232Cコントロ−ラ308、LANコントローラ309、液晶表示器などのLCDユニット310、磁気ディスクドライブ(3.5インチFDD)311、キーボード312及びマウス313を有している。それ以外にも、割り込みコントローラ、DMAコントローラ、タイマ、リアルタイムクロック、漢字ROM、ディスクコントローラ、プリンタコントローラ、200Mバイトハードディスクが備わっていてもかまわない。
図33に示すコンピュータPC300は、CPU301、ROM302、RAM303、ビデオRAM304、ディスプレイコントローラ305、ディスクコントローラ306、キーボードコントローラ307、RS−232Cコントロ−ラ308、LANコントローラ309、液晶表示器などのLCDユニット310、磁気ディスクドライブ(3.5インチFDD)311、キーボード312及びマウス313を有している。それ以外にも、割り込みコントローラ、DMAコントローラ、タイマ、リアルタイムクロック、漢字ROM、ディスクコントローラ、プリンタコントローラ、200Mバイトハードディスクが備わっていてもかまわない。
そして、CPU301は、例えば32ビット構成であり、LCDユニット409は1280×1024画素構成の二次元表示器である。コンピュータPC300のソフトウェアには、複写機側と同様にLAN対応のオペレーティングシステム(OS)が備わっている。LANコントローラ308には、ネットワークLANの同軸ケ−ブルと接続できる端子が設けられている。この実施の形態では、コンピュータPC300は複写機の表示情報を表示するだけでなく、それ自身からの入力によって複写機のボタン操作と同一の遠隔操作を複写機に対して行う。コンピュータPC400における入力操作は、この例では、LCDユニット309に表示されたボタンをマウス312により指示してクリックすることによって実施される。また、英数値入力に関しては、マウス以外にキーボード311からの入力も可能になっている。画面がLCDユニット309に表示されている時に、例えばスタートボタンをマウスで指示してダブルクリックすると、クリックした位置の座標により、表示されている画像に対する相対位置座標が算出できる。よって、本発明では、表示されている画像は矩形領域単位に分割され、相対位置座標によって矩形領域単位の位置を特定することができる。そして、その指定された矩形領域の位置がコンピュータPCから複写機に送信される。
コンピュータPC300の表示画面においては、マウス312によって位置を移動しうるマウスカーソル(例えば矢印形状のマーク)が表示され、それで表示されるボタンを指示した状態でマウス312上のスイッチを押す(クリックする)ことにより、指示した表示ボタンを操作する。より具体的には、コンピュータPC300のコンソールでは入力判定プログラムが起動される。入力判定プログラムは、コンピュータPC300上のマウス312から入力された座標xp,ypが表示画像データの特定の矩形領域の内側にあるか否かを照合する。例えば、表示画像データのコンソール上の表示画像データの特定の矩形領域の表示座標(左上位置座標)をx1、y1とし、該矩形領域の横方向の長さをLx、縦方向の長さをLyとする場合、x1≦xp≦x1+Lx、かつy1≦yp≦y1+Lyの両方の条件を満たす場合に、マウス312でクリックした点(座標xp,yp)が該矩形領域の内側であるものと判定する。矩形領域の表示座標(左上位置座標)x1、y1は、特定した値をもっていている場合もあるが、表示画像データのコンソール上の表示位置と、表示画像上の矩形位置との関係によって決められてもかまわない。したがって、矩形領域の座標値を順次取り出し、上記比較をすることにより、マウスでクリックした座標を含む矩形領域を判別できる。矩形領域は複数個別々に独立に指定することもできる。
また、マウス312では一定の範囲を指定することもできる。例えば、マウス312で範囲を指定した左上座標を(座標xp0,yp0)、横方向の長さをLxp0、縦方向の長さをLyp0とし、右下座標を(座標xp0+Lxp0,yp0+Lyp0)とする。同様に、表示画像データの特定の矩形領域の表示座標(左上位置座標)をx1、y1とし、該矩形領域の横方向の長さをLx、縦方向の長さをLyとする場合、xp0+Lxp0≦x1 かつ x1+Lx≦xp0、かつyp0+Lyp0≦y1 かつ y1+Ly≦yp0の条件を満たす場合に、マウスで指定された範囲にその矩形領域は含まれるとする。
次に、部分画像アクセスから操作指令の生成においては、本発明では、画面上の画像の部分領域を指定することで、遠隔地から複写機が所定の処理をするように指令を出すわけであるが、描画内容に対応して操作内容が特定される。
また、図34は操作パネル画像符号化データの生成の様子を示す図である。本発明では、操作パネルの表示画像データ(ビットマップデータ)を、その再生画像が矩形領域単位に区分できる形式で符号化する。典型的には、JPEG2000仕様に基づき矩形をタイルあるいはプレシンクトとして指定して符号化する。JPEG2000仕様の符号化では、符号データレベルで符号データ編集が容易に実現できる符号データ構成になっており、領域毎に符号量を制御することもできる。従って、転送速度や、遠隔装置ユニットにおける再生画質要求レベルに適応して、再現画像の画質のレベル(詳細レベル)を柔軟に制御することができるのである。そして、操作パネル画像は遠隔装置ユニット上のコンソールで再生される。操作パネル画像には、複写機(画像処理装置)の動作を指令する操作ボタンも表示され、それを指示することによって、遠隔からの操作指示をする。このとき、特定の座標をマウスで指定して、その座標値によって操作を特定することもできるが、本発明では、矩形領域を特定して、操作を特定する。矩形領域単位の指定の方が簡易なユーザインターフェースで実現できる。
本発明では、パネル表示画像は画像の矩形領域単位にブロック符号化されるので、表示画像データの構造区分化による符号化ができて、上述したように、領域毎に符号データを編集することが可能となりペリフェラル制御ができるだけでなく、画像領域と部分符号データとの対応関係が保持されるので、指示された位置を容易に把握することができ、効率的なアクセスが可能となる。すなわち、画像表示領域レベルで画像データと符号データとの対応関係がとられているので、遠隔装置上である画像領域を指示すると、対応する部分符号データ(の範囲)が特定でき、逆に、部分符号データ(の範囲)が特定できれば、画像の再現サイズ(またはアスペクト比)に依存することなく指示した画像領域が特定できる。上述したように符号データを編集して、符号量を調整するために符号データを編集する場合もあるが、その編集をする場合においても、画像表示領域レベルの画像データと符号データとの対応関係を保持する範囲で符号データを編集する。相対的な位置関係(ブロックの縦横位置)情報だけで制御可能であるので、より簡易な指定ができるのである。
図30の処理フローに記載している画像アクセスは、遠隔装置ユニットのコンソール上の表示画像データの特定の矩形領域をマウスで指定することでなされる。前述したように、マウスで矩形領域を指定することができる。このとき、図35のアクセス制御テーブルを予め遠隔装置ユニットが受信していて使用することで、矩形領域毎の画像座標を参照する。画像が等分割されて矩形の区分をすることによって、矩形領域の座標を簡単に特定することができる。縦方向横方向のそれぞれの分割数は、予め決められていてもよいが、複写機側で符号化したときの分割数を遠隔装置ユニットに送信することで簡単に設定できる。矩形領域が指定された場合に、指定された矩形領域の識別番号をサーバ側の複写機へ転送し、対応の処理がなされる。指定は、アクセスした矩形領域の座標値で特定でき、例えば指定された矩形領域の中心座標値を使用して、対応する指定を判別する。操作パネル表示の領域は、パネル操作テーブルを参照することで操作を判別する。例えば、矩形領域の表示座標(左上位置座標)をx1、y1とし、該矩形領域の横方向の長さをLx、縦方向の長さをLyとする場合には、中心座標値であるx1+Lx/2、y1+Ly/2の座標が指定されたものとする。
そして、遠隔からの矩形領域の座標の指定を、ローカルな操作パネルの操作入力の場合の座標の指定とみなすことで、図36に示すパネル操作テーブルを参照し、図30に示す動作と同様な制御ができる。このようにして、部分画像アクセス領域をローカル操作指令領域に置き換え、遠隔からの操作指令を生成する。
図36のパネル操作テーブルは、パネルからの指令操作あるいはパネル表示の制御をするためのテーブルである。現状態、操作種別(識別記号)、表示位置(例えば、矩形画像の左上座標値xx1、yy1と横方向の長さLxxと縦方向の長さLyy)、操作指令(識別記号)、表示出力(識別記号)、次状態よりなる。操作パネルは初期状態の設定では、状態は状態1であり、表示1で表示されている。操作入力は、表示位置の矩形範囲で特定され、操作入力によって、現状態が次々に遷移してテーブルに示された操作指令が出され、あるいはパネルの表示内容が変化したり、状態が変更されたりして制御される。
前述したように、図29の画像処理装置(複写機)上でのパネル操作処理は、図36のパネル操作テーブルを参照しながら処理をする。パネルの操作指令が操作処理である場合は、操作種別を判別し、操作種別に基づく操作指令を行い、更に操作種別に基づく表示を行い、操作種別に基づく表示を行う。操作種別の判別は、矩形領域と、該部分符号データとの対応関係から判別する。
次に、遠隔操作画面形成について説明する。画像処理装置(複写機)には、操作指令が操作パネル画面でするように限定されていないような場合もある。例えば、コピーのスタートボタンが、操作パネル画面以外の特別なボタンが用意されているような場合である。
図37は操作パネル画面とそれ以外の操作ボタンとの合成画像を生成し、遠隔装置の操作画面とする場合の合成画像の例を示す図である。同図に示すように、新たに操作ボタン画面を作成し、遠隔装置上でその画面を用いて画像をアクセスすることで遠隔操作を実施する。前述した方式と同様な方式で操作指令をすることができるが、画像処理装置(複写機)側では、新たに追加した操作ボタンの処理の対応ができるように構成されている必要がある。それ以外の操作ボタンは、操作パネル画面上の指令ボタンと異なり装置に固定であるので、予め一つ操作パネル外の操作ボタンを用意しておき、画面からの操作ボタンの指令が、操作パネル外の操作ボタンから指令されたように置き換えればよいだけである。合成されたパネル画面が自動的に作られる。
図38はマルチウインドゥ対応の操作パネル画面の場合の処理の概観を示す図である。同図に示すように、画像処理装置(複写機)側の操作パネルは、マルチウインドゥ対応になっていて、ポップアップ画面上にメッセージが表示されている。そのような場合には、遠隔地の操作画面上にも、その通りに表示する方法も考えられるが、そのようにすると操作ボタンの表示が隠れてしまう場合がある。本発明の方式では、先に説明したように、画面から指令を与える場合に、配置の位置が一致している必要はない。画像データと符号データとの対応がとれていればかまわないのである。そこで、マルチウィンドウの場合は、図38に示すように、別々の画面に表示するようにする。
同様な理由から遠隔装置の操作画面の生成として、例えば、図23の画面例に示すように、一部を拡大して表示することもできる。その場合も、表示位置に関しては、任意に設定してもかまわない。その画像データと符号データとの対応関係から指示を特定することができる。
また、本発明では遠隔地に表示された画像をアクセスすることによって操作指令を出す。その時、アクセス領域を判別し、アクセスした領域とアクセス事務機器のパネル表示上の操作指令領域との位置関係に基づいてアクセス内容が特定される。位置関係の判別は、アクセスの度に、座標の計算によってなされるが、予めアクセス単位である矩形領域毎に矩形領域と処理内容の対応をとるアクセス制御テーブルを用意しておいて、それを使用してアクセスがあったときに、処理内容を決める処理をすることもできる。
更に、図35に示すアクセス制御テーブルは、矩形領域の識別番号、画像領域、アクセス領域の内容を定めるフラグにより構成されている。操作パネルの表示画像データ(ビットマップデータ)を矩形領域に分割したときに、操作パネル上の操作領域と表示領域に含まれる矩形領域を特定しておいて、それを、遠隔装置ユニット側で使用することで、部分画像をアクセス(矩形画像を指定)したときの処理の内容を予め特定することができる。また、アクセス制御により、矩形領域単位で、操作パネルなど、部分データのアクセスが操作信号に対応している特定画像領域と、操作パネル表示情報を表示する領域と、アクセスしても何もしないアクセス無効領域区別することができる。
図35のアクセス制御テーブルは、予め遠隔操作装置側に転送しておけば、アクセスの場合に、操作対象でない矩形領域をアクセスした場合に、処理指令を画像処理装置(複写機)側に転送しなくてもすむ。
ところで、先に、図13を参照してJPIPのキャッシュについて説明したが、JPIPにはキャッシュが仕様に定義されていて、部分画像に対応する部分符号データの参照(アクセス)を制御する機能をもつ。JPIPでは、サーバからクライアントへ転送済みの部分符号データの二重の転送をなくし効率的なアクセスを可能とする目的をで、該当する部分符号データが既に転送済みの場合は再転送しないように制御する。本発明でも、同様にアクセス制御を実現することから、JPIPのキャッシュの機能を利用して、画像生成時に予めわかっている何も処理しない矩形領域については、部分符号データのアクセスを拒絶するように制御することもできる。非アクセス領域のデータは、既に転送ずみであるとすることで、遠隔操作ができないように制御する。このようなアクセス制限は、部分画像単位でなされるので、JPIPのキャッシュを用いてアクセスを制御することで、簡易にアクセス制御を実現することが可能となる。
また、図37を参照して上述したように、合成画像を遠隔装置の操作画面とするような場合に、同図の例で、操作ボタンの領域以外の領域は予め非アクセス領域とするように、非アクセスの矩形領域に対応する符号データは既に転送済みであると設定したキャッシュを使用することで、JPIPの仕様に基づいてアクセス制御できる。
なお、本発明は上記実施の形態に限定されるものではなく、特許請求の範囲内の記載であれば多種の変形や置換可能であることは言うまでもない。
70;画像処理装置、71;操作パネル出力部、
72;操作パネル指定処理部、73;画像処理部、
74;操作信号出力部、80;遠隔操作インターフェース装置、
81;符号データ編集部、82;符号化処理部、
83,95;データ保存部、84;遠隔要求解析処理部、
85,96;送受信処理部、90;遠隔操作装置、91;表示処理部、
92;アクセス制御部、93;復号化処理部、94;部分画像指示部。
72;操作パネル指定処理部、73;画像処理部、
74;操作信号出力部、80;遠隔操作インターフェース装置、
81;符号データ編集部、82;符号化処理部、
83,95;データ保存部、84;遠隔要求解析処理部、
85,96;送受信処理部、90;遠隔操作装置、91;表示処理部、
92;アクセス制御部、93;復号化処理部、94;部分画像指示部。
Claims (13)
- 画像データを符号化し符号データをクライアントへ転送する機能を有するサーバと、前記符号データを受信し、復号した二次元画像情報を表示する表示機能を有するクライアントとを有して構築するクライアントサーバシステムにおいて、
前記サーバは、
表示された二次元画像情報の一部の画像領域を矩形単位に指定する画像領域指定手段と、
前記サーバに保存された符号データの、指定された画像領域に対応する部分符号データを識別する部分符号データ識別手段と、
前記部分符号データを使用して前記クライアントが指定した部分画像データに対応する画像領域を識別する画像領域識別手段と、
識別した画像領域に基づいて、前記サーバの処理装置の操作指令をする指令手段と
を具備することを特徴とするクライアントサーバシステム。 - 表示部を有する事務機器と、該事務機器に情報伝送路を介して接続される、表示部を有する遠隔操作ユニットとを有して構築する遠隔操作システムにおいて、
前記事務機器は、
前記事務機器の状態を示すとともに、操作指令のインターフェースである操作表示パネルの表示情報を二次元画像情報として保持する第1のイメージ記憶手段と、
該第1のイメージ記憶手段が記憶する二次元画像情報を表示する第1のビットマップ表示手段と、
所定の指示に応答して前記第1のイメージ記憶手段に保持された二次元画像情報を符号化する符号化手段と、
符号化された第1の符号データを編集する符号データ編集手段と、
該符号データ編集手段により生成された第2の符号データを前記遠隔操作ユニットに転送する制御手段とを具備し、
前記遠隔操作ユニットは、
前記事務機器が受信した第2の符号データを復号化する復号化手段と、
復号化された第2の二次元画像情報を表示する第2のビットマップ表示手段とを具備することを特徴とする遠隔操作システム。 - 前記遠隔操作ユニットは、表示された第2の二次元画像情報の一部の画像領域を矩形単位に指定する画像領域指定手段と、前記事務機器に指定した画像領域に対応する部分符号データを指定する部分符号データ指定手段とを有し、前記事務機器は、前記遠隔操作ユニットに指定された部分符号データに対応する画像領域と、前記事務機器のパネル表示上の操作指令領域との位置関係に基づいて、前記事務機器の操作指令をする指令手段とを有することを特徴とする請求項2に記載の遠隔操作システム。
- 前記事務機器の前記第1のイメージ記憶手段に保持された二次元画像情報を前記事務機器の操作表示パネルの表示情報に合わせて矩形単位に分割する画像データ分割手段と、矩形単位に符号化する符号化手段とを有することを特徴とする請求項1に記載の遠隔操作システム。
- 前記遠隔操作ユニットは、表示された第2の二次元画像情報を矩形単位に一部の画像領域を指定し前記事務機器に指定した画像領域を転送する画像領域指定手段を有し、前記事務機器は、前記遠隔操作ユニットに指定された画像領域の符号データを前記事務機器に保存された部分符号データを取り出し、部分符号データを前記遠隔操作ユニットに転送し、復号する復号手段と、復号した第3の二次元画像情報を表示する第2のビットマップ表示手段とを有することを特徴とする請求項2に記載の遠隔操作システム。
- 前記遠隔操作ユニットの前記画像領域指定手段が、前記画像領域と、前記事務機器のパネル表示上の操作指令領域との位置関係に基づいて、画像領域の指定に基づいて前記事務機器が何も処理しないように設定するアクセス制限領域設定手段を有することを特徴とする請求項3又は5に記載の遠隔操作システム。
- 前記遠隔操作ユニットの前記画像領域指定手段が、前記画像領域と、前記事務機器のパネル表示上の操作指令領域との位置関係に基づいて、画像領域の指定に基づいて前記事務機器が処理する処理内容を設定するアクセス制限領域設定手段を有することを特徴とする請求項3又は5に記載の遠隔操作システム。
- 前記事務機器の操作ボタンをイメージ化する操作ボタンイメージ化手段を有し、前記事務機器の第1のイメージ記憶手段が保持する画像情報が、操作表示パネルの表示情報と操作ボタンをイメージ化した画像情報であることを特徴とする請求項2又は7に記載の遠隔操作システム。
- 前記遠隔操作ユニットで入力したテキストを、前記事務機器の操作表示パネル上に表示するする遠隔メッセージ表示機能を有することを特徴とする請求項2又は7に記載の遠隔操作システム。
- 前記事務機器の操作表示パネルがマルチウィンドウに表示する手段を有し、テキストが前記事務機器の操作表示パネル上の操作表示パネル表示しているウィンドウとは別のウィンドウ上に表示する遠隔メッセージ表示機能を備えることを特徴とする請求項2又は7に記載の遠隔操作システム。
- 前記符号データは、JPEG2000(ISO/IEC 15444-1)規格に基づき符号化されたデータであることを特徴とする請求項2〜10のいずれか1項に記載の遠隔操作システム。
- 請求項2〜11のいずれか1項に記載の符号データの通信手段は、JPIP(JPEG2000 image coding system-Part9:Interactivity tools, APIs and protocols)規格に基づき、前記事務機器に保存された符号化データの一部である部分符号データを、遠隔操作装置が受信する部分符号データアクセス機能を有することを特徴とする遠隔操作システム。
- 前記アクセス制限領域設定手段が、JPIP規格のクライアントキャッシュによって実現することを特徴とする請求項6又は7に記載の遠隔操作システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006331310A JP2008147893A (ja) | 2006-12-08 | 2006-12-08 | クライアントサーバシステム及び遠隔操作システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006331310A JP2008147893A (ja) | 2006-12-08 | 2006-12-08 | クライアントサーバシステム及び遠隔操作システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008147893A true JP2008147893A (ja) | 2008-06-26 |
Family
ID=39607590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006331310A Pending JP2008147893A (ja) | 2006-12-08 | 2006-12-08 | クライアントサーバシステム及び遠隔操作システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008147893A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2015107622A1 (ja) * | 2014-01-14 | 2017-03-23 | 富士通株式会社 | 画像処理プログラム、画像処理方法、画像処理装置、および情報処理装置 |
CN113571162A (zh) * | 2021-07-19 | 2021-10-29 | 蓝网科技股份有限公司 | 一种多用户协同操作医学影像的实现方法、装置及*** |
-
2006
- 2006-12-08 JP JP2006331310A patent/JP2008147893A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2015107622A1 (ja) * | 2014-01-14 | 2017-03-23 | 富士通株式会社 | 画像処理プログラム、画像処理方法、画像処理装置、および情報処理装置 |
CN113571162A (zh) * | 2021-07-19 | 2021-10-29 | 蓝网科技股份有限公司 | 一种多用户协同操作医学影像的实现方法、装置及*** |
CN113571162B (zh) * | 2021-07-19 | 2024-02-06 | 蓝网科技股份有限公司 | 一种多用户协同操作医学影像的实现方法、装置及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4538430B2 (ja) | サーバクライアント環境におけるシステム及び方法 | |
JP4111268B2 (ja) | サムネイル画像の表示方法、サーバコンピュータ、クライアントコンピュータ及びプログラム | |
JP2008258994A (ja) | 画像処理装置 | |
JP4111926B2 (ja) | 画像処理装置、プログラム、記憶媒体及び画像送信方法 | |
JP4612782B2 (ja) | 画像処理装置、及びその方法、並びにプログラム、記憶媒体 | |
JP4898513B2 (ja) | クライアント・サーバシステム | |
US7386175B2 (en) | Modifying wavelet division level before transmitting data stream | |
Lee | JPEG 2000: Retrospective and new developments | |
JP2009009334A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2008140361A (ja) | 画像処理装置、または画像処理方法 | |
JP2004254133A (ja) | 動画再生システム、動画再生装置、動画送信装置、動画再生方法、プログラム、及び、記録媒体 | |
JP2004135122A (ja) | 画像データ入出力装置、プログラム及び記憶媒体 | |
EP1296287A2 (en) | Image information code processing system | |
JP2004254298A (ja) | 画像処理装置、プログラム及び記憶媒体 | |
US7721971B2 (en) | Image processing system, image processing method and computer readable information recording medium | |
JP2004242290A (ja) | 画像処理装置および画像処理方法、画像編集処理システム、画像処理プログラム及び記憶媒体 | |
JP4789192B2 (ja) | 符号処理装置、プログラム及び情報記録媒体 | |
JP2008147893A (ja) | クライアントサーバシステム及び遠隔操作システム | |
JP4633464B2 (ja) | 圧縮ビデオ信号におけるサブ画像の操作 | |
JP4812071B2 (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
JP4097146B2 (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
JP2008147898A (ja) | 遠隔監視システム及び事務機器の遠隔監視装置 | |
JP2006086579A (ja) | 画像処理装置、プログラム、及び記憶媒体 | |
JP4743613B2 (ja) | 符号生成装置、ファイル生成装置、符号処理装置、プログラム、情報記録媒体 | |
JP2006339972A (ja) | 画像処理装置及びその制御方法、コンピュータプログラム、記憶媒体 |