JP4675944B2

JP4675944B2 - 画像処理装置、画像処理方法、画像処理プログラム

Info

Publication number: JP4675944B2
Application number: JP2007223124A
Authority: JP
Inventors: 中信吾田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-08-29
Filing date: 2007-08-29
Publication date: 2011-04-27
Anticipated expiration: 2027-08-29
Also published as: JP2009060168A; US20090058886A1; US8675026B2

Description

本発明は、画像データを記憶媒体に一旦記憶し、記憶された画像データを周期的に読み出して画像データを生成する画像処理装置、画像処理方法および画像処理プログラムに関する。

ＰＣ（Personal Computer）やワークステーションのディスプレイ、マウス、キーボードなどのユーザインタフェースのみを端末としてユーザの手元に置き、演算能力を持つコンピュータ本体をネットワークの先におくという形態のシンクライアントシステムがある。シンクライアントシステムでは、従来のように複数ユーザに対して複数のコンピュータを用意する必要はなく、ユーザに対しては端末のみを提供し、本体に複数台の端末を収容できる能力を持たせる形になるので、結果としてトータルの低コスト化がはかられ、また、本体を一元管理できることによってメンテナンス性を向上することができる。

ディスプレイ画面が要求するピクセル情報は帯域が大きく、一般の通信では通信速度が足りないため、画面を伝送する際は画像データの圧縮を行う必要がある。動画の圧縮はMPEG（Moving Picture Experts Group）などが有名であるが、パソコン画面の場合、発生する画面の更新頻度が少なく、また、更新領域が画面の中において局所的であることが多いため、単純に動画と同じようにフレーム毎に画面全体を対象として圧縮処理を行うより、更新が発生したときに、更新が発生した領域の部分画像のみを圧縮して伝送する方が効率がよい。例えば図 16のように画面の一部にウィンドウが現れたときは、そのウィンドウの画像のみを抽出して（図 16点線部）、その圧縮画像データと、それが表示される画面上の位置座標を伝送し、受信する端末側では、まず圧縮画像データを伸張し、図 17のように受信した位置座標にその伸張した画像を貼り付ければ、所望の画面が得られる。

さらに、そのウィンドウがマウスドラッグなどで移動した場合を考える。この場合、まず移動後の位置を指定して先ほどと同じウィンドウの圧縮画像を伝送すれば、移動後の位置にウィンドウを表示できる（図 18の左側）。ただし、このままでは移動前のウィンドウの残骸が残るので、それを上書きするように移動前の位置の位置座標を指定して背景画像を伝送すれば、ウィンドウの移動を表現することができる（図 18の右側）。このような画面を転送する技術は例えば特開2006-285302号公報で開示されている。
特開２００６−２８５３０２号公報

しかしながら、ウィンドウの移動の際は既に画面に表示されている画像（この場合はウィンドウの画像）を送ることになる。受信側はその画像を既にフレームバッファ上に記憶しているので、本質的に再度それを送る必要はない。そこで、画面の一部を別の領域にコピーするというコピー命令を用いると、単純にこの画像の伝送を省略することができる。すなわち、送信側ではウィンドウの元の位置とサイズ、及び、その移動先の位置を、コピー元の位置とサイズ、及び、コピー先の位置としたコピー命令を発行して送信する。端末では、それを受信すると、フレームバッファのコピー元として指定された位置の指定されたサイズの領域を読み出し、読み出した画像をコピー先の位置に書き込む。こうすることで、移動後のウィンドウの画像を得ることができる。その後に移動前のウィンドウの残骸を背景画像で上書きする処理は先ほどと同様である。

このように、コピー命令を用いると画面上にある画像の伝送を省略することができる場合がある。しかしながら、この場合、画像の伝送が省略されたものの、画像をフレームバッファから読み出すという処理が追加されてしまう。フレームバッファへのアクセスは例えばSDRAMへのメモリアクセスであり、少なからず電力を消費してしまう。

本発明は、コピー命令の実行を低消費電力で実現可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。

本発明の一態様としての画像処理装置は、
１フレームの画像を表す画像データを記憶する第一画像記憶手段と、
前記１フレームの領域の全部または一部における画像データを受信する画像受信手段と、
前記画像受信手段により受信された画像データを前記第一画像記憶手段に書き込む画像書き込み手段と、
前記第一画像記憶手段から周期的に前記１フレームの画像データを予め定められたアドレス順序で読み出す画像読み出し手段と、
前記画像読み出し手段により読み出された画像データを出力する画像出力手段と、
前記第一画像記憶手段に記憶された前記１フレームの画像のうちコピーするべき一部領域であるコピー元領域のアドレス情報と、前記コピー元領域からコピーされた一部画像を配置するべき一部領域であるコピー先領域のアドレス情報とを指定したコピー指示を受信するコピー指示受信手段と、
前記画像読み出し手段により読み出されたアドレスが前記コピー元領域のアドレス情報に含まれるとき、前記画像読み出し手段により読み出されたアドレスの画像データを前記コピー先領域のアドレス情報に基づき前記第一画像記憶手段に書き込むコピー画像書き込み手段と、
を備える。

本発明の一態様としての画像処理装置は、
１フレームの画像を表す画像データを記憶する第一画像記憶手段と、
前記１フレームの領域の全部または一部における画像データを受信する画像受信手段と、
前記画像受信手段により受信された画像データを前記第一画像記憶手段に書き込む画像書き込み手段と、
前記第一画像記憶手段から周期的に前記１フレームの画像データを予め定められたアドレス順序で読み出す画像読み出し手段と、
前記画像読み出し手段により読み出された画像データを出力する画像出力手段と、
前記第一画像記憶手段に記憶された前記１フレームの画像のうちコピーするべき一部領域であるコピー元領域のアドレス情報と、前記コピー元領域からコピーされた一部画像を配置するべき一部領域であるコピー先領域のアドレス情報とを指定したコピー指示を受信するコピー指示受信手段と、
前記コピー先領域からの画像データの読み出しの際、前記コピー先領域に代えて前記コピー元領域から画像データを読み出すように前記画像読み出し手段に指示する指示手段と、
前記指示手段による指示に従って前記コピー元領域から読み出された画像データを、前記第一画像記憶手段における前記コピー先領域に書き込むコピー画像書き込み手段と、
を備えた画像処理装置。

本発明の一態様としての画像処理方法は、
１フレームの領域の全部または一部における画像データを受信する画像受信ステップと、
前記画像受信ステップにより受信された画像データを、前記１フレームの画像を表す画像データを記憶する第一画像記憶手段に書き込む画像書き込みステップと、
前記第一画像記憶手段から周期的に前記１フレームの画像データを予め定められたアドレス順序で読み出す画像読み出しステップと、
前記画像読み出しステップにより読み出された画像データを出力する画像出力ステップと、
前記第一画像記憶手段に記憶された前記１フレームの画像のうちコピーするべき一部領域であるコピー元領域のアドレス情報と、前記コピー元領域からコピーされた一部画像を配置するべき一部領域であるコピー先領域のアドレス情報とを指定したコピー指示を受信するコピー指示受信ステップと、
前記画像読み出しステップにより読み出されたアドレスが前記コピー元領域のアドレス情報に含まれるとき、前記画像読み出しステップにより読み出されたアドレスの画像データを前記コピー先領域のアドレス情報に基づき前記第一画像記憶手段に書き込むコピー画像書き込みステップと、
を備える。

本発明の一態様としての画像処理方法は、
１フレームの領域の全部または一部における画像データを受信する画像受信ステップと、
前記画像受信ステップにより受信された画像データを、前記１フレームの画像を表す画像データを記憶する第一画像記憶手段に書き込む画像書き込みステップと、
前記第一画像記憶手段から周期的に前記１フレームの画像データを予め定められたアドレス順序で読み出す画像読み出しステップと、
前記画像読み出しステップにより読み出された画像データを出力する画像出力ステップと、
前記第一画像記憶手段に記憶された前記１フレームの画像のうちコピーするべき一部領域であるコピー元領域のアドレス情報と、前記コピー元領域からコピーされた一部画像を配置するべき一部領域であるコピー先領域のアドレス情報とを指定したコピー指示を受信するコピー指示受信ステップと、
前記画像読み出しステップによる前記コピー先領域からの画像データの読み出しの際、前記コピー先領域に代えて前記コピー元領域から画像データを読み出すように指示する指示ステップと、
前記指示ステップによる指示に従って前記コピー元領域から読み出された画像データを、前記第一画像記憶手段における前記コピー先領域に書き込むコピー画像書き込みステップと、
を備えた画像処理方法。

本発明の一態様としての画像処理プログラムは、
１フレームの領域の全部または一部における画像データを受信する画像受信ステップと、
前記画像受信ステップにより受信された画像データを、前記１フレームの画像を表す画像データを記憶する第一画像記憶手段に書き込む画像書き込みステップと、
前記第一画像記憶手段から周期的に前記１フレームの画像データを予め定められたアドレス順序で読み出す画像読み出しステップと、
前記画像読み出しステップにより読み出された画像データを出力する画像出力ステップと、
前記第一画像記憶手段に記憶された前記１フレームの画像のうちコピーするべき一部領域であるコピー元領域のアドレス情報と、前記コピー元領域からコピーされた一部画像を配置するべき一部領域であるコピー先領域のアドレス情報とを指定したコピー指示を受信するコピー指示受信ステップと、
前記画像読み出しステップにより読み出されたアドレスが前記コピー元領域のアドレス情報に含まれるとき、前記画像読み出しステップにより読み出されたアドレスの画像データを前記コピー先領域のアドレス情報に基づき前記第一画像記憶手段に書き込むコピー画像書き込みステップと、
をコンピュータに実行させる。

本発明の一態様としての画像処理プログラムは、
１フレームの領域の全部または一部における画像データを受信する画像受信ステップと、
前記画像受信ステップにより受信された画像データを、前記１フレームの画像を表す画像データを記憶する第一画像記憶手段に書き込む画像書き込みステップと、
前記第一画像記憶手段から周期的に前記１フレームの画像データを予め定められたアドレス順序で読み出す画像読み出しステップと、
前記画像読み出しステップにより読み出された画像データを出力する画像出力ステップと、
前記第一画像記憶手段に記憶された前記１フレームの画像のうちコピーするべき一部領域であるコピー元領域のアドレス情報と、前記コピー元領域からコピーされた一部画像を配置するべき一部領域であるコピー先領域のアドレス情報とを指定したコピー指示を受信するコピー指示受信ステップと、
前記画像読み出しステップによる前記コピー先領域からの画像データの読み出しの際、前記コピー先領域に代えて前記コピー元領域から画像データを読み出すように指示する指示ステップと、
前記指示ステップによる指示に従って前記コピー元領域から読み出された画像データを、前記第一画像記憶手段における前記コピー先領域に書き込むコピー画像書き込みステップと、
をコンピュータに実行させる。

本発明により、コピー命令の実行を低消費電力で実現できる。

（第一の実施の形態）
本発明の第一の実施の形態を図 1に示す。図 1は、画像送信装置から圧縮画像を受信してディスプレイパネルにその画像を出力する画像処理装置であり、そのうち本発明に関わる部分の構成を示したものである。この画像処理装置は、画像送信装置およびディスプレイパネルとネットワークを介して接続され、画像送信装置およびディスプレイパネルは、端末としてユーザの手元に置かれている。

この画像処理装置は、画像送信装置と通信を行う通信部（画像受信手段）１１と、画面に出力する画像フレームを記憶する第一画像記憶部１２と、画像送信装置から受信した圧縮画像を伸張する画像伸張部１３と、伸張された画像を第一画像記憶部１２に書き込む受信画像書き込み部（画像書き込み手段）１４と、記憶されている画像をディスプレイパネルに出力するため、画像を周期的に読み出す出力画像読み出し部（画像読み出し手段）１５と、読み出された画像を一旦記憶する出力画像記憶部１６と、記憶した画像を領域毎（たとえばピクセル毎）にディスプレイパネルに出力する画像出力部１７を備える。ディスプレイパネルは例えば解像度XGA（1024×768）であり、例えばRGBで1ピクセルあたり16bitの情報を持つとすると、第一画像記憶部１２は少なくとも1024×768×16=12582912bitの情報を記憶する領域を持つことになる。

以上は従来の画像処理装置にもある構成で、本発明ではさらに、コピー指示を受信するコピー指示受信部１８と、受信されたコピー指示に基づき、出力画像読み出し部１５がコピー元領域の画像を読み出したかどうかを判定するコピー元読み出し判定部１９と、コピー元読み出し判定部１９がコピー元領域の画像を読み出したことを判定した場合、出力画像記憶部１６からコピー元領域の画像を受け取って第一画像記憶部１２のコピー先領域に書き込むコピー画像書き込み部２０を備える。

本発明のポイントを説明する前に、従来でも行われている画像の受信から出力までの具体的な動作を説明する。まず、画像送信装置から画面全体に表示する画像の圧縮画像が送られ、通信部１１がそれを受信し、画像伸張部１３がその圧縮画像を伸張し、受信画像書き込み部１４が伸張した画像を第一画像記憶部１２に書き込む。一方で、出力画像読み出し部１５が一定周期ごとに一ラインずつ画像を読み出し、出力画像記憶部１６が読み出されたラインを記憶する。また一方で、画像出力部１７が出力画像記憶部１６に記憶された画像を一定のタイミングでピクセルごとに読み出してディスプレイパネルに出力する。

画像出力についてさらに詳細に説明すると、一般にディスプレイパネルは一定のタイミングで画面の左上から右下までの画像ピクセルのデータを、ピクセルごとに図 7のような順番（予め定められたアドレス順序）で入力することを要求する。タイミングに関しては、例えば60Hzで画像を表示するディスプレイパネルの場合、画面全体のピクセルを1/60秒で一巡するように入力する必要がある。なお、実際にはこの他にブランク期間というものが存在し、ピクセルを出力しない期間が存在するが、本発明とは無関係なので省略する。

ここで、この画像ピクセルのデータを記憶している第一画像記憶部１２は、書き込みアクセスなど画像出力のための読み出しアクセスとは別のアクセスもあり、それらのアクセス調停を行う（不図示）必要がある場合があるので、その場合は画像出力部１７だけがアクセスを占有することができない。その場合、画像出力のためには、読み出しアクセスが可能なときにある程度のまとまった量のデータを一度に読み出し、それを一旦バッファリングしつつ、バッファリングしたデータをディスプレイパネルが要求するタイミングで出力するという動作を行うことになる。本実施の形態では、まとまった量のデータとは一ライン分のピクセルデータとし、一ライン分のデータを読み出すのを出力画像読み出し部１５、バッファリングする部分を出力画像記憶部１６としている。出力画像読み出し部１５は、画像出力部１７がディスプレイパネルの要求するタイミングでピクセルデータを出力するとき、出力画像記憶部１６がバッファ・アンダーフローしないように、適切なタイミングで読み出しを行う。具体的には、例えば画像出力部１７がn番目ラインを出力画像記憶部１６から読み出して出力しているとき、出力画像読み出し部１５は、画像出力部１７が次のn+1番目のラインの出力を開始する前に、n+1番目のラインを読み出して出力画像記憶部１６に記憶しておく。すると、画像出力部１７がn+1番目のラインのピクセルを出力する際にはそのデータが既に出力画像記憶部１６に記憶されているので、このような動作を繰り返すことで常に出力画像記憶部１６がバッファ・アンダーフローすることがなくなり、画像出力部１７は正しく画像出力を行うことができる。

以上が従来でも行われていた画像の受信から出力までの処理だが、本発明ではさらに、画像フレームの一部領域をコピーするという動作を行う。具体的に説明すると、まず、画像送信装置がコピー指示を送信すると、画像処理装置は通信部１１を介してコピー指示受信部１８でそれを受信する。コピー指示には、コピー元領域の座標、コピー先領域の座標、コピー領域のサイズがコピー情報として含まれる。例えば図 8のようなコピーの場合、コピー元領域の座標は(400, 360)、コピー先領域の座標は(200, 90)、コピー領域のサイズは320×240である。コピー元領域の座標(400, 360)およびコピー領域のサイズ320×240の組はたとえばコピー元領域のアドレス情報に相当し、コピー先領域の座標(200, 90)およびコピー領域のサイズ320×240の組はたとえばコピー先領域のアドレス情報に相当する。

従来ではこのようなコピーを行う場合、コピー処理を行う専用の処理部があり、それが第一画像記憶部１２のコピー元領域の画像を読み出し、読み出した画像をコピー先領域に書き込む動作を行うが、本発明では、そのうちの読み出し処理は、画像出力のための出力画像読み出し部１５が画像を読み出すのを利用するように動作する。本実施の形態に係わる動作の流れを図5のフローチャートに示す。

コピー指示受信部１８が通信部１１を介してコピー指示を受信する（ステップS11）。コピー元読み出し判定部１９が、出力画像読み出し部１５が現在画像フレームのどの領域を読み出しているかを読み出しアドレスを見て判断し、コピー指示のコピー元領域の座標とコピー元領域のサイズに基づき、出力画像読み出し部１５が読み出すアドレスがコピー元領域含まれるときにそれを判定する（ステップS12のYES）。コピー画像書き込み部２０はその判定結果を受け、出力画像記憶部１６内の読み出されたコピー元画像を、コピー指示のコピー先領域の座標を参照し、第一画像記憶部１２のコピー先領域の対応する部分に書き込む（ステップS13）。画像フレームの様子を表すと例えば図 9のようになる。図 9は画面中央の斜線領域がコピー元領域で、画面左上の斜線領域がコピー先領域の場合を示しており、出力画像読み出し部１５がコピー元領域を読み出したとき、それをコピー先領域の対応する位置に書き込んでいる様子を現している。この後、コピー元領域の画像を上書きするように移動前の位置の位置座標を指定した背景画像を画像送信装置が伝送すれば、受信画像書き込み部１４がこの背景画像を第一画像記憶部１２におけるコピー元領域に書き込むことで、画像の移動を表現することができる。

なお、本実施の形態では、出力画像読み出し部１５がラインごとに読み出し、出力画像記憶部１６がラインごとに記憶する場合を示したが、これはほんの一例であり、どのような単位で読み出して記憶してもよい。また、出力画像読み出し部１５が読み出しアクセスをする際に第一画像記憶部１２に調停が必要な場合を説明したが、これはほんの一例であり、調停はなくてもよく、さらには出力画像記憶部１６もなくてもよい。本発明は、画像領域のコピー指示情報に基づき、出力画像読み出し部１５が第一画像記憶部１２から周期的に読み出している読み出しアドレスがコピー元領域のアドレスであるかどうかを判定し、それが判定された場合は読み出された画像を第一画像記憶部１２のコピー先領域に書き込むことでコピーを実行することがポイントであり、この間でバッファリングを必ずしも必要とするわけではない。ただし、バッファ（たとえば出力画像記憶部１６）を設けることで本発明をより広く適用することができる。

以上のように、本実施の形態によれば、画像フレームの読み出しの際に第一画像記憶部から読み出した画像のアドレスがコピー元領域に含まれるときその画像をコピー先領域に書き込むことで画像のコピーを行うようにしたことにより、画像のコピーを行うために画像バッファへ読み出しアクセスを行う必要はなく、これによりメモリアクセスを減らすことが出来る。よって、コピー命令（コピー指示情報）の実行のために要する消費電力を削減することが出来る。

（第二の実施の形態）
本発明の第二の実施の形態を図 2に示す。図 2は図 1と比べてコピー元読み出し判定部１９の代わりにコピー先読み出し判定部２２を備え、コピー元読み出しアドレス生成部２１を備えるところが異なる。それ以外は図 1と同じである。

コピー先読み出し判定部２２は、コピー指示情報に基づいて、出力画像読み出し部１５が読み出そうとする画像のアドレスがコピー先領域のアドレスに含まれるかどうかを判定する。コピー元読み出しアドレス生成部２１は、出力画像読み出し部１５が読み出そうとする画像のアドレスがコピー先領域のアドレスに含まれるとコピー先読み出し判定部２２が判定したとき、出力画像読み出し部１５が画像を読み出す前に、コピー指示情報に基づいてコピー元領域の読み出しアドレスを生成するものである。具体的には、出力画像読み出し部１５がコピー先の領域を読み出すとき、その部分にはコピー元の画像がコピーされるべきなので、そのままコピー先領域の画像を読み出す代わりに、対応するコピー元領域の画像を読み出すように読み出しアドレスを生成する。画像フレームの様子は図 10のようになる。図 10は図 9と同様に画面中央の斜線領域がコピー元領域で、画面左上の斜線領域がコピー先領域である例を示しているが、出力画像読み出し部１５がコピー先領域を読み出そうとするとき、コピー元領域の対応する領域から画像を読み出す様子を示している。こうすることで、ディスプレイパネルの画面上にはコピー元画像がコピー先にあるように表示されるので、この段階でコピーが実行された後の画面を表示できる。さらに、コピー先読み出し判定部２２は出力画像読み出し部１５が読み出そうとする画像のアドレスがコピー先領域のアドレスに含まれることを判定するので、読み出されたコピー元領域の画像はコピー画像書き込み部２０によってコピー先領域に書き込まれる。これによりコピーも実行されることになる。コピー先読み出し判定部２２およびコピー元読み出しアドレス生成部２１の組は、たとえばコピー先領域からの画像データの読み出しの際、コピー先領域に代えてコピー元領域から画像データを読み出すように出力画像読み出し部１５に指示する指示手段に相当する。

以上のように、出力画像読み出し部１５がコピー先領域を読み出すときにコピー元領域を読み出すように動作することで、特に図 9、図 10のようにコピー先領域がコピー元領域より位置座標でみて上方にあるとき、第一の実施の形態よりも早く画面上にコピー結果が反映されるので、レスポンスが向上するという効果がある。

ここで、出力画像読み出し部１５が図 11の（２）の領域を読み出しているときにコピー指示が発生したときは、確かに、第一の実施の形態より早く画面上にコピー結果が反映される。しかしながら、出力画像読み出し部１５が（１）の領域を読み出しているときにコピー指示が発生したときは、コピーを開始するのは現在の画像フレームの読み出しを終了し、次の画像フレームの読み出しでコピー先領域の読み出しを開始するときになってしまう。結局、第一の実施の形態と同じく次の画像フレームの読み出しのときに画面にコピーが反映されることになる。しかも、第一の実施の形態では現在の画像フレームの読み出しのときにコピー処理自体は終了するが、第二の実施の形態では次の画像フレームの読み出しのときまでコピーが実行されないことになるので、第一の実施の形態に比べてコピー処理の終了が遅くなり、その後の処理が滞ってしまうという問題がある。よって、これを回避するため、出力画像読み出し部１５が図 11の（１）の領域を読み出しているときにコピー指示を受信した場合は、第二の実施の形態の動作ではなく第一の実施の形態の動作を選択する、という動作を行ってもよい。

（第三の実施の形態）
コピー元領域とコピー先領域のとりうるパターンは様々だが、図 12のようにコピー先領域がコピー元領域より下方にあり、かつ、双方に重なり領域がある場合、第一の実施の形態または第二の実施の形態では問題が生じる。具体的に述べると、図 12の場合に今まで述べてきたようにコピーを行うと図 13のように上から順次コピーを実行することになるが、3行目をコピーするとき、コピー元領域の3行目を読み出そうとすると、本来ならばコピー元領域の3行目を読み出すべきだが、そこにはコピー先領域の1行目が重なっているので、既に書き込まれたコピー元領域の1行目を読み出してしまう（図 13の太線部の×印があるところ）ことになり、所望のコピー結果が得られなくなる。

この問題はコピー先領域がコピー元領域より上方向にある場合には生じないので、これを回避するためには、逆に下から上の順番にコピーを実行すればよいことなる。すなわち、コピー元領域を下から順に読み出していき、順次コピー先領域に下から順に書き込んでいけばこのような問題は発生しなくなる。しかしながら、本発明では出力画像の読み出しを利用してコピーを行うことから、読み出す順序を変えて下から順に読み出すことができない。よって、別の方法にて回避する必要があり、それを行うのが本実施の形態である。

本発明の第三の実施の形態を図 3に示す。図 3は図 1と比べて次読み出しバッファ反転部３１、次読み出しバッファ記憶部３２、読み出しバッファ更新部３３、読み出しバッファ記憶部３４を備え、さらに、画像フレームを記憶する第一画像記憶部１２に加えて第二画像記憶部３５を備えるところが異なる。それ以外は図 1と同じである。第一画像記憶部１２と第二画像記憶部３５は画像記憶装置３６内に含まれる。

読み出しバッファ記憶部３４は、出力画像読み出し部１５が第一画像記憶部１２と第二画像記憶部３５のいずれから読み出しを行うか、というバッファ選択情報を画像フレームの領域毎（たとえばピクセル毎）に保持する。次読み出しバッファ記憶部３２は、出力画像読み出し部１５による現在の画像フレームの読み出しが終了し、次の画像フレームの読み出しを行うときに、出力画像読み出し部１５が第一画像記憶部１２と第二画像記憶部３５のいずれから読み出しを行うか、というバッファ選択情報を画像フレームの領域毎に保持する。読み出しバッファ更新部３３は、出力画像読み出し部１５による現在の画像フレームの読み出しが終了してから、次の画像フレームの読み出しを行うまでに、次読み出しバッファ記憶部３２の情報に従って、読み出しバッファ記憶部３４の情報を更新する。次読み出しバッファ反転部３１は、コピーが行われる際、次読み出しバッファ記憶部３２のコピー先領域の読み出しバッファ選択情報を反転させる。

コピーに関わる具体的な処理の流れは図6のフローチャートのようになる。図 14は本実施の形態によりコピーが行われる基本的な場合を示したものである。まず、出力画像読み出し部１５が画像フレームを読み出すが、このとき、読み出しバッファ記憶部３４の情報を元に第一画像記憶部１２と第二画像記憶部３５のいずれから読み出すかを画像フレームの領域毎に選択する。この段階では、読み出しバッファ記憶部３４にも次読み出しバッファ記憶部３２にも、全ての領域に関して第一画像記憶部１２から読み出すという情報が記憶されているとする。これに従い、図 14のように出力画像読み出し部１５が第一画像記憶部１２から画像を読み出し、今までの実施の形態と同じく、出力画像読み出し部１５がコピー元（図の第一画像記憶部１２の斜線部）を読み出すと（ステップS21、ステップS22のYES）、コピー元読み出し判定部１９がそれを判定し、読み出したコピー元画像の書き込みをコピー画像書き込み部２０が行う（ステップS23）。ただし、コピー画像書き込み部２０は読み出しバッファ記憶部３４の読み出しバッファ情報をみて、読み出しバッファとは別のバッファを選択して書き込む。現段階では全ての領域に関して読み出しバッファは第一画像記憶部１２を示しているので、図 14のように第二画像記憶部３５の相当する領域（図の第二画像記憶部の斜線部）に書き込むことになる。それにあわせて、次読み出しバッファ反転部３１は、次読み出しバッファ記憶部３２の、コピー先の領域のバッファ情報を反転させる（同ステップS23）。この段階でコピーは実行されたが、まだ出力画面にはコピーは反映されていない。次に、出力画像読み出し部１５が現在の画像フレームの読み出しを終了し（ステップS24）、次の画像フレームの読み出しを開始するとき、読み出しバッファ更新部３３が、次読み出しバッファ記憶部３２の情報を元に読み出しバッファ記憶部３４の情報を更新する（ステップS25）。具体的には、先ほどコピー画像書き込み部２０が第二画像記憶部３５に書き込んだ領域が反転されるように読み出しバッファ記憶部３４の情報を更新する。そうすると、出力画像読み出し部１５が次の画像フレームを読み出すときは、図 14の下の様に先ほどコピー画像書き込み部２０が書き込んだ領域に関してのみ第二画像記憶部３５から読み出し、それ以外は第一画像記憶部１２から読み出すようになる（ステップS26）。このように動作することで、コピー結果が出力画面に反映されることになる。

読み出しバッファ記憶部３４の具体的なデータ構造は、例えば2次元ビットマップのようになる。画面がXGAサイズ（1024×768）だとすると、例えば1024×768のビットマップ情報になる。各ビットが画面の1ピクセルに対応しており、0は第一画像記憶部１２、1は第二画像記憶部３５を読み出しバッファとすること意味する。出力画像読み出し部１５は各ピクセルを読み出すときに対応するビットを参照し、読み出したビットが示す画像記憶部からピクセルを読み出す。コピー画像書き込み部２０は各ピクセルを書き込むときに対応するビットを参照し、読み出したビットが示す画像記憶部と別の画像記憶部にピクセルを書き込む。次読み出しバッファ記憶部３２も、同じように次の画像フレームの読み出しで、各ピクセルをいずれのバッファから読み出すかのビット情報を記憶する。次読み出しバッファ反転部３１は、読み出しバッファ記憶部３４の該当するビットの値を反転した値を、次読み出しバッファ記憶部３２の該当するビットにセットする。読み出しバッファ更新部３３は、次読み出しバッファ記憶部３２の全ビット情報を読み出しバッファ記憶部３４にコピーする。このような処理で、前述した実施の形態が容易に実現できる。

なお、以上はほんの一例である。もう1つの例として、次読み出しバッファ記憶部３２は、次の画像フレームの読み出しで現在と異なる画像記憶部から読み出すピクセルに対応するビットは1、現在と同じ画像記憶部から読み出すピクセルに対応するビットは0などとしてもよい。この場合、次読み出しバッファ反転部３１の処理は、次読み出しバッファ記憶部３２の該当するビットに単純に1をセットする処理になり、読み出しバッファ更新部３３の処理は、読み出しバッファ記憶部３４の各ビットを、次読み出しバッファ記憶部３２の対応するビットに1がセットされている場合は反転させ、0がセットされている場合はそのままにするという処理になる。

また、以上は1ピクセルに1ビットを対応された例を示したが、これもほんの一例であり、例えばビット量を削減するために16×16ピクセルに1ビットを対応させるようにするなどとしてもよい。

ここで、画像フレームの読み出しが図 14の下のような状態のとき、さらに、新たなコピーが行われ、さらに、そのコピー先はコピー元より下方であり、双方に重なり領域がある場合を示したのが図 15である。この場合でも、図 3の構成で全く問題なく処理することができる。具体的に説明すると、まず、図 15は図 14のコピーの後に、図 14のコピー先領域をさらに下方にコピーする場合であり、画面フレーム中の二つの矩形のうち、左上の方がコピー元領域で、右下の方がコピー先領域である。図 14の後なので、読み出しバッファ記憶部３４の情報により、出力画像読み出し部１５はコピー元領域の画像を第二画像記憶部３５から読み出す。すると、今までと同様にコピー元読み出し判定部１９が判定を行い、コピー画像書き込み部２０が読み出された画像をコピー先領域に書き込むが、このとき、やはり読み出しバッファ記憶部３４の情報を参照し、領域毎に読み出しバッファとは別のバッファに書き込む。具体的には、図 15上のようにコピー先領域の左上部の領域は第二画像記憶部３５が読み出しバッファとなっているので、その領域は第一画像記憶部１２に書き込まれる。そして、コピー先領域のそれ以外の部分に関しては、読み出しバッファが第一画像記憶部１２になっているので、第二画像記憶部３５に書き込まれる。あわせて、次読み出しバッファ反転部３１は次読み出しバッファ記憶部３２のコピー先領域のバッファ情報を反転する。このとき、もともと反転していた（読み出しバッファが第二画像記憶部３５になっていた）領域はさらに反転され、もとの第一画像記憶部１２を示すようになる。すると、出力画像読み出し部１５が次の画像フレームを読み出すとき、その前に読み出しバッファ更新部３３が読み出しバッファを更新するので、出力画像読み出し部１５は、図 15下のように先ほどコピー画像書き込み部２０が書き込んだ領域を適切に読み出すようになる。このような動作を行うことにより、コピー先領域がコピー元領域より下方にあり、かつ、双方に重なり領域がある場合が連続して発生しても、問題なく動作することができる。

ただし、出力画像読み出し部１５が次の画像フレームの読み出しに移行する前、例えば図 14の上の処理が終わり、下に移行する前に図 15のコピーが発生した場合、出力画像読み出し部１５はそのときの画像フレームの読み出しではコピー元領域を読み出さない（次の画像フレームの読み出しにならないと読み出さないため）ので、コピーを実行することができない。この場合は、出力画像読み出し部１５が次の画像フレームの読み出しを開始するまで待つ必要がある。

（第四の実施の形態）
本発明の第四の実施の形態を図 4に示す。図 4は第二の実施の形態の図 2と第三の実施の形態の図 3の双方の機能を併せ持つ構成で、これらの方式を切り替えるコピー方式指示部４１をさらに備える。コピー方式指示部４１はたとえばコピー元領域とコピー先領域との位置関係に基づいて第一のコピー方式または第二のコピー方式を選択するコピー方式選択部に相当する。

コピー方式指示部４１は、コピー元領域の座標とコピー先領域の座標を参照し、コピー先領域がコピー元領域より上にあるか下にあるかを判定し、下にある場合は第三の実施の形態の動作（第一のコピー方式）を行うように、そうでない場合は第二の実施の形態の動作（第二のコピー方式）を行うように、各部に指示をする。こうすることにより、コピー方向に応じて最適な方式でコピーを行うことができる。

ここで、本実施の形態における第二のコピー方式では、出力画像読み出し部１５は、画像データを読み出す際、領域毎に読み出しバッファ記憶部３４内のバッファ選択情報が示す記憶部から読み出し、コピー画像書き込み部２０は、出力画像読み出し部１５により読み出された画像データを、領域毎に読み出しバッファ記憶部３４内のバッファ選択情報が示す記憶手段に書き込む。また、次読み出しバッファ反転部３１は動作を停止する。

上記説明では、コピー先領域がコピー元領域よりも下にある場合は第三の実施の形態の動作（第一のコピー方式）を行うとしたが、コピー先領域がコピー元領域より下にある場合でも、重なり領域がなければ第二の実施の形態の動作（第二のコピー方式）を行っても前述した問題は生じないため、このようにしてもよい。すなわち、コピー方式指示部４１は、コピー元領域の座標とコピー先領域の座標に加えてコピー領域のサイズも参照し、コピー元領域とコピー先領域に重なり領域があるかどうかを判定する。そして、コピー先の領域がコピー元の領域より下にあり、かつ、重なり領域がある場合には第三の実施の形態の動作（第一のコピー方式）を行うように、そうでない場合は第二の実施の形態の動作（第二のコピー方式）を行うように、各部に指示をする。こうすることにより、より的確にコピー方式の選択を行うことができる。なお、本実施の形態では第二のコピー方式に第二の実施の形態の例を用いたが、第二のコピー方式に第一の実施の形態の動作を行ってもよい。第二のコピー方式のポイントは、コピー画像書き込み部が領域毎に読み出しバッファ記憶部３４内のバッファ選択情報が示す記憶手段に書き込み、また、次読み出しバッファ反転部３１は動作を停止することである。

なお、第一〜第四の各実施の形態で示した画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、各実施の形態で示した画像処理装置内の各構成要素（画像記憶部を除く）は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像処理装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、各実施の形態で示した画像処理装置内の画像記憶部は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

本発明の第一の実施の形態としての画像処理装置を示すブロック図。本発明の第二の実施の形態としての画像処理装置を示すブロック図。本発明の第三の実施の形態としての画像処理装置を示すブロック図。本発明の第四の実施の形態としての画像処理装置を示すブロック図。第一の実施の形態に係わる動作の流れを示すフローチャート。第三の実施の形態においてコピーに関わる具体的な処理の流れを示すフローチャート。画像フレームをピクセルごとにあらかじめ指定されたアドレス順序で読み出す様子を示す図。コピー指示を説明する図。画面中央にコピー元領域があり、画面左上にコピー先領域がある場合を示す図。図９の場合に、コピー先領域を読み出そうとするとき、コピー元領域の対応する領域から画像を読み出す様子を示す図。第二の実施の形態の問題点を説明する図。第三の実施の形態において、コピー先領域がコピー元領域より下方にあり、かつ、双方に重なり領域がある場合を示す図。図１２の場合に生じうる問題点を説明する図。第三の実施の形態によりコピーが行われる基本的な場合を示した図。図１４の下の状態からさらにコピーを行う場合を示す図。画面において更新が発生した領域の部分画像のみを圧縮して伝送する例を示す図。図１６の部分画像を所望の位置座標に表示する例を示す図。ウィンドウの移動を示す図。

符号の説明

１１：通信部
１２：第一画像記憶部
１３：画像伸張部
１４：受信画像書き込み部
１５：出力画像読み出し部
１６：出力画像記憶部
１７：画像出力部
１８：コピー指示受信部
１９：コピー元読み出し判定部
２０：コピー画像書き込み部
２１：コピー元読み出しアドレス生成部
２２：コピー先読み出し判定部
３１：次読み出しバッファ反転部
３２：次読み出しバッファ記憶部
３３：読み出しバッファ更新部
３４：読み出しバッファ記憶部
３５：第二画像記憶部
３６：記憶装置
４１：コピー方式指示部

Claims

１フレームの画像を表す画像データを記憶する第一画像記憶手段と、
前記１フレームの領域の全部または一部における画像データを受信する画像受信手段と、
前記画像受信手段により受信された画像データを前記第一画像記憶手段に書き込む画像書き込み手段と、
前記第一画像記憶手段から周期的に前記１フレームの画像データを予め定められたアドレス順序で読み出す画像読み出し手段と、
前記画像読み出し手段により読み出された画像データを出力する画像出力手段と、
前記第一画像記憶手段に記憶された前記１フレームの画像のうちコピーするべき一部領域であるコピー元領域のアドレス情報と、前記コピー元領域からコピーされた一部画像を配置するべき一部領域であるコピー先領域のアドレス情報とを指定したコピー指示を受信するコピー指示受信手段と、
前記画像読み出し手段により読み出されたアドレスが前記コピー元領域のアドレス情報に含まれるとき、前記画像読み出し手段により読み出されたアドレスの画像データを前記コピー先領域のアドレス情報に基づき前記第一画像記憶手段に書き込むコピー画像書き込み手段と、
を備えた画像処理装置。
１フレームの画像を表す画像データを記憶する第一画像記憶手段と、
前記１フレームの領域の全部または一部における画像データを受信する画像受信手段と、
前記画像受信手段により受信された画像データを前記第一画像記憶手段に書き込む画像書き込み手段と、
前記第一画像記憶手段から周期的に前記１フレームの画像データを予め定められたアドレス順序で読み出す画像読み出し手段と、
前記画像読み出し手段により読み出された画像データを出力する画像出力手段と、
前記第一画像記憶手段に記憶された前記１フレームの画像のうちコピーするべき一部領域であるコピー元領域のアドレス情報と、前記コピー元領域からコピーされた一部画像を配置するべき一部領域であるコピー先領域のアドレス情報とを指定したコピー指示を受信するコピー指示受信手段と、
前記コピー先領域からの画像データの読み出しの際、前記コピー先領域に代えて前記コピー元領域から画像データを読み出すように前記画像読み出し手段に指示する読み出しアドレス変換指示手段と、
前記読み出しアドレス変換指示手段による指示に従って前記コピー元領域から読み出された画像データを、前記第一画像記憶手段における前記コピー先領域に書き込むコピー画像書き込み手段と、
を備えた画像処理装置。
１フレームの画像を表す画像データを記憶する第二の画像記憶手段と、
前記第一および第二の画像記憶手段のいずれから画像データを読み出すのかを前記１フレームの領域毎に表したバッファ選択情報を保持する読み出しバッファ記憶手段と、
前記画像読み出し手段により前記１フレームの画像データの読み出しが完了し、次の１フレームの画像データの読み出しのときに、前記第一および第二の画像記憶手段のいずれから画像データを読み出すのかを前記次の１フレームの領域毎に表した次バッファ選択情報を保持する次読み出しバッファ記憶手段と、
前記コピー指示受信手段により前記コピー指示が受信された場合、前記次読み出しバッファ記憶手段において前記コピー先領域に対応する前記次バッファ選択情報を反転する次読み出しバッファ反転手段と、
前記１フレームの画像データの読み出しが完了した後、前記次のフレームの画像データの読み出しが開始する前までに、前記次読み出しバッファ記憶手段内の前記次バッファ選択情報に基づき、前記読み出しバッファ記憶手段内の前記バッファ選択情報を更新する読み出しバッファ更新手段と、
をさらに備え、
前記画像読み出し手段は、前記１フレームの領域毎に、前記第一および第二の画像記憶手段のうち前記読み出しバッファ記憶手段内の前記バッファ選択情報により示される画像記憶手段から画像データを読み出し、
前記コピー画像書き込み手段は、前記コピー元領域から読み出された画像データを、領域毎に前記読み出しバッファ記憶手段内の前記バッファ選択情報が示す画像記憶手段とは別の画像記憶手段に書き込む、
ことを特徴とする請求項１または２に記載の画像処理装置。
前記コピー先領域のアドレス情報と前記コピー元領域のアドレス情報とに基づき、前記１フレーム内において前記コピー先領域が前記コピー元領域より下にあるか上にあるかを検出し、下にあるときは第一のコピー方式を選択し、上にあるときは第二のコピー方式を選択するコピー方式選択手段と、
をさらに備え、
前記第一のコピー方式が選択された場合は、
前記画像読み出し手段、前記コピー画像書き込み手段、前記次読み出しバッファ反転手段および前記読み出しバッファ更新手段は、請求項３に記載された動作を行い、
前記第二のコピー方式が選択された場合は、
前記コピー画像書き込み手段は、前記画像読み出し手段により読み出された画像データを、領域毎に前記読み出しバッファ記憶手段内の前記バッファ選択情報が示す画像記憶手段に書き込み、
前記次読み出しバッファ反転手段は、前記次バッファ選択情報の反転を中止する、
ことを特徴とする請求項３に記載の画像処理装置。
前記コピー方式選択手段は、前記コピー先領域が前記コピー元領域より下にあっても、前記コピー先領域と前記コピー元領域とが重ならない場合は、前記第二のコピー方式を選択することを特徴とする請求項４に記載の画像処理装置。
１フレームの領域の全部または一部における画像データを受信する画像受信ステップと、
前記画像受信ステップにより受信された画像データを、前記１フレームの画像を表す画像データを記憶する第一画像記憶手段に書き込む画像書き込みステップと、
前記第一画像記憶手段から周期的に前記１フレームの画像データを予め定められたアドレス順序で読み出す画像読み出しステップと、
前記画像読み出しステップにより読み出された画像データを出力する画像出力ステップと、
前記第一画像記憶手段に記憶された前記１フレームの画像のうちコピーするべき一部領域であるコピー元領域のアドレス情報と、前記コピー元領域からコピーされた一部画像を配置するべき一部領域であるコピー先領域のアドレス情報とを指定したコピー指示を受信するコピー指示受信ステップと、
前記画像読み出しステップにより読み出されたアドレスが前記コピー元領域のアドレス情報に含まれるとき、前記画像読み出しステップにより読み出されたアドレスの画像データを前記コピー先領域のアドレス情報に基づき前記第一画像記憶手段に書き込むコピー画像書き込みステップと、
を備えた画像処理方法。
１フレームの領域の全部または一部における画像データを受信する画像受信ステップと、
前記画像受信ステップにより受信された画像データを、前記１フレームの画像を表す画像データを記憶する第一画像記憶手段に書き込む画像書き込みステップと、
前記第一画像記憶手段から周期的に前記１フレームの画像データを予め定められたアドレス順序で読み出す画像読み出しステップと、
前記画像読み出しステップにより読み出された画像データを出力する画像出力ステップと、
前記第一画像記憶手段に記憶された前記１フレームの画像のうちコピーするべき一部領域であるコピー元領域のアドレス情報と、前記コピー元領域からコピーされた一部画像を配置するべき一部領域であるコピー先領域のアドレス情報とを指定したコピー指示を受信するコピー指示受信ステップと、
前記画像読み出しステップによる前記コピー先領域からの画像データの読み出しの際、前記コピー先領域に代えて前記コピー元領域から画像データを読み出すように指示する指示ステップと、
前記指示ステップによる指示に従って前記コピー元領域から読み出された画像データを、前記第一画像記憶手段における前記コピー先領域に書き込むコピー画像書き込みステップと、
を備えた画像処理方法。
１フレームの領域の全部または一部における画像データを受信する画像受信ステップと、
前記画像受信ステップにより受信された画像データを、前記１フレームの画像を表す画像データを記憶する第一画像記憶手段に書き込む画像書き込みステップと、
前記第一画像記憶手段から周期的に前記１フレームの画像データを予め定められたアドレス順序で読み出す画像読み出しステップと、
前記画像読み出しステップにより読み出された画像データを出力する画像出力ステップと、
前記第一画像記憶手段に記憶された前記１フレームの画像のうちコピーするべき一部領域であるコピー元領域のアドレス情報と、前記コピー元領域からコピーされた一部画像を配置するべき一部領域であるコピー先領域のアドレス情報とを指定したコピー指示を受信するコピー指示受信ステップと、
前記画像読み出しステップにより読み出されたアドレスが前記コピー元領域のアドレス情報に含まれるとき、前記画像読み出しステップにより読み出されたアドレスの画像データを前記コピー先領域のアドレス情報に基づき前記第一画像記憶手段に書き込むコピー画像書き込みステップと、
をコンピュータに実行させるための画像処理プログラム。
１フレームの領域の全部または一部における画像データを受信する画像受信ステップと、
前記画像受信ステップにより受信された画像データを、前記１フレームの画像を表す画像データを記憶する第一画像記憶手段に書き込む画像書き込みステップと、
前記第一画像記憶手段から周期的に前記１フレームの画像データを予め定められたアドレス順序で読み出す画像読み出しステップと、
前記画像読み出しステップにより読み出された画像データを出力する画像出力ステップと、
前記第一画像記憶手段に記憶された前記１フレームの画像のうちコピーするべき一部領域であるコピー元領域のアドレス情報と、前記コピー元領域からコピーされた一部画像を配置するべき一部領域であるコピー先領域のアドレス情報とを指定したコピー指示を受信するコピー指示受信ステップと、
前記画像読み出しステップによる前記コピー先領域からの画像データの読み出しの際、前記コピー先領域に代えて前記コピー元領域から画像データを読み出すように指示する指示ステップと、
前記指示ステップによる指示に従って前記コピー元領域から読み出された画像データを、前記第一画像記憶手段における前記コピー先領域に書き込むコピー画像書き込みステップと、
をコンピュータに実行させるためのプログラム。