JP4585809B2

JP4585809B2 - 画像処理制御装置

Info

Publication number: JP4585809B2
Application number: JP2004226202A
Authority: JP
Inventors: 明村形
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2004-08-02
Filing date: 2004-08-02
Publication date: 2010-11-24
Anticipated expiration: 2024-08-02
Also published as: JP2006048254A

Description

本発明は、クライアントＰＣから画像処理を実行して結果を出力する画像処理制御装置に関する。

近年、クライアントＰＣのＣＰＵは飛躍的に性能が向上し、ディジタル化された画像データをクライアントＰＣのＣＰＵで画像処理させて結果を出力することが容易に行われるようになってきた。また、汎用メモリ容量も増加し、クライアントＰＣでの画像処理は一般的になってきている。しかし、クライアントＰＣのＣＰＵは汎用的な使用用途のために、画像処理特有の同じ計算の反復に対しすべて同様に計算するので、画像データが増大になれば、その増加量に比例して処理計算量も増加する。
図１に画像処理のうちのフィルタ処理における計算例を示す。一般的なクライアントＰＣのＣＰＵは１画素単位に画像処理を実現するので、図の画像処理を実現するためには６サイクル必要になる（図１（ａ）参照）。それに対し、ＤＳＰ(ディジタルシグナルプロセッサ)で同様の画像処理を実現しようとした場合、１ＳＩＭＤ(約数百画素)を同時に計算することができるので、１サイクルで６画素ではなく数百画素画像処理を実行することができる（図１（ｂ）参照）。
このようにクライアントＰＣの性能が向上していても画像処理のアルゴリズムにおいては繰り返しで同じ計算を実行することがあるので、ＤＳＰで実現したほうがより高速化できることがある。関連技術として、特許文献１乃至３がある。
特開２００１−１３３８９１公報特開２００２−１２３８２８公報特開２００２−２６２０１２公報

しかし、逆にこのＳＩＭＤ計算による同時計算をすることにより計算時間がかかることもある。例えばスキュー補正やアフィン変換の場合である。一般にＤＳＰは複写機の組込み系の画像処理実現手段に用いられることが多く、スキュー補正やアフィン変換のような複雑な画像処理を実現する要求がなく、これらの処理に最適に設計されていない。
クライアントＰＣでの画像処理実行にはすべての画像処理が要求可能なので実現しなくてはいけない。この画像処理手段の得意不得意を画像処理制御装置が判断し、画像処理実行を切り分けることによって高速化することが望まれている。
本発明は、装置を単純化し、画像処理の高速化を図ることができる画像処理制御装置を提供することを目的とする。

上記目的を達成するために、請求項１記載の発明は、クライアントＰＣからの画像処理を実行して結果を出力する画像処理制御装置であって、クライアントＰＣから画像処理を実行して結果を出力する画像処理制御装置であって、取り扱う画像を表示できると共に、行いたい画像処理を決定できる表示部と、前記表示部で決められた情報を入力管理情報として管理する入力情報管理部と、前記入力管理情報に基づいて画像処理を実行する画像処理制御部とを備え、前記画像処理制御部は、前記クライアントＰＣのＣＰＵにより画像処理を実行させる第１の手段と、前記クライアントＰＣに設置されている画像処理デバイスにより画像処理を実行させる第２の手段と、前記表示部で決定された画像処理を実行する際、前記第１の手段又は前記第２の手段の何れを実行すれば高速化するかの判断を行わせるために画像処理パスに対して制御情報を用意する第３の手段と、前記第３の手段における前記制御情報に基づく前記判断の結果に応じて前記第１の手段又は前記第２の手段の実行を画像処理手段に対して切り替え制御させる第４の手段と、を備え、更に、前記第４の手段の切り替え制御により前記第１の手段で前記ＣＰＵの画像処理を実行するときに当該ＣＰＵの画像処理を実行するための画像単位を前記画像処理デバイスの制約に合わせる機能を有することを特徴する。
請求項２記載の発明は、請求項１記載の画像処理制御装置において、前記画像処理制御部は、前記第１の手段で前記ＣＰＵの画像処理を実行する際、１ラインずつ処理を実行する機能を有することを特徴とする。
請求項３記載の発明は、請求項１記載の画像処理制御装置において、前記画像処理制御部は、前記第２の手段での前記画像処理デバイスの画像処理に必要なプログラムとデータとをダウンロードする機能を有することを特徴とする。

本発明によれば、画像処理制御装置においてクライアントＰＣからの画像処理を実行して結果を出力する際、装置内の画像処理制御部により表示部で決定された画像処理を実行する場合に画像処理パスに対して用意された制御情報に基づいてクライアントＰＣのＣＰＵ又はクライアントＰＣに設置されている画像処理デバイス（ＤＳＰ）による画像処理の何れを実行すれば高速化されるかを判断して画像処理手段を切り替え制御して画像処理を実行すると共に、ＣＰＵの画像処理を実行するときにはその実行に要する画像単位を画像処理デバイスの制約に合わせて行うため、画像処理デバイス（ＤＳＰ）の汎用メモリに無駄にデータが蓄積されるのを回避することができ、その結果として、装置を単純化して画像処理の高速化を図ることができる。

以下、図面を参照して、本発明の各実施例を詳細に説明する。
〔実施例１〕
図２は本発明の画像処理制御装置の構成図である。本装置は、取り扱う画像の表示や行いたい画像処理を決定する表示部１と、表示部１で決められた情報を管理する入力情報管理部２と、入力管理情報を元に画像処理を実行する画像処理制御部３の３つのモジュールを備えている。
表示部１でユーザとのインターフェースと画像処理やパラメータの指定を行う。入力情報管理部２はユーザからの設定値を具体的な値に変換して画像処理制御部３に伝える。画像処理制御部３が画像処理を終了して出力結果を表示部１に出力して処理を終了する。本発明は画像処理制御部３に特徴がある。
この画像処理制御部３の特徴は、クライアントＰＣのＣＰＵで画像処理を実行する手段と、クライアントＰＣに設置されている画像処理デバイスで画像処理を実行する手段とを有している点である。
図３は、第１の画像処理制御部の構成図である。画像処理制御部３は、マネージャー層１１と、画像処理サービスを提供する複数のサービス層１２から構成される。マネージャー層１１の機能は、画像処理制御部３に入力された情報の詳細化、サービス１３の構築、リソースの管理を行う。
入力情報の詳細化は、入力情報そのままではサービス１３が画像処理を実行するのに困難であることに対処したものであり、サービス１３ごとに扱う情報が違うのでそれぞれのサービス１３に適した情報に変換して画像処理を実現するタイミングに情報を伝達する。
実装されている画像処理デバイスをあらかじめ設定しておき、ＰＣＩボード上にディジタルシグナルプロセッサ(以下ＤＳＰ)を搭載したボードを設置しておくと、マネージャー層１１はクライアントＰＣのＣＰＵ(以下ＣＰＵ)用のサービス１３とＤＳＰ用のサービス１３を構築する。
入力情報の詳細化に際しても、２つのサービス１３が画像処理を実行できるようにそれぞれのサービス１３に適した値に変換する。リソース管理に際しては、連続で複数の画像処理要求が入力情報管理部２から送られてくることも想定され、前の画像処理が各サービス１３で終了していない状態になることがあるので、サービス１３のリソース状態を管理し、画像処理実行可能かを判断する。
また、画像処理要求が入力情報管理部２からなされた場合、画像処理要求内容によって実行に必要なサービス１３に、詳細化したパラメータとともに画像処理設定及び実行要求を送る。各サービス１３は、マネージャー層１１から画像処理設定及び実行要求を受け取った場合、変換された詳細情報を元に、ＣＰＵ用のサービス１３は画像処理に必要な１次変数の確保を実行する。ＤＳＰ用のサービス１３はダウンロード設定を行って画像処理実行の準備や、実際にビデオ情報を送られたときにその設定に従って画像処理を実行する。

〔実施例２〕
図４は画像処理制御部のマネージャー層の構成図である。マネージャー層１１は、実装されているサービスを制御するためのサービス構築部２１、複数もしくは単一のサービス１３の状態を判断するためのリソース管理部２２、各画像処理モジュールに必要な詳細情報に変換する詳細変換部２３を有する。
マネージャー層１１は本装置ではこの３つの責務(機能)があるので最低限この処理を実現すればよい。ＣＰＵと画像処理デバイスＤＳＰ(以下ＣＰＵの他にＤＳＰが実装されているとする)のどちらで処理を実現した方が高速化するか判断する手段は詳細変換部２３が有する。
図５は第１のマネージャー層の詳細変換部の構成図である。ここで画像処理モジュールごとにどのサービス１３用に詳細変換するか決定し、各画像処理モジュールを担当する詳細変換が決定したサービス１３用に詳細変換を実行し、詳細情報を出力する。
まず、詳細変換マネージャー３１は入力情報管理部２のユーザ入力情報から今回の画像処理で必要なモジュール用変換を決定する。決定されたモジュール、例えばフィルタ、スキュー補正、孤立点除去はそれぞれの詳細情報に変換するフィルタ用詳細変換部３２、スキュー補正用詳細変換部３３、孤立点除去用詳細変換部３４によって変換される。
詳細変換マネージャー３１は画像処理を実行するためにどのモジュールに詳細変換を要求するかわかるので、画像処理パスごとに使用するサービスをＣＰＵやＤＳＰに切り替えて個々のモジュールの変換部に伝える。個々の変換部はその詳細変換マネージャー３１のどのサービス用の詳細情報に変換するかという情報を元にＣＰＵ用の詳細情報、ＤＳＰ用の詳細情報を作成する。

〔実施例３〕
図６は第２の画像処理制御部の構成図である。画像処理制御部３は、マネージャー層１１と、画像処理サービスを提供する複数のサービス層１２から構成される。サービス層１２はＣＰＵ用サービス４１とＤＳＰ用サービス４２を持つ。
本画像処理制御装置は複数もしくは単一の画像処理デバイスを制御できるが、制御対象がＣＰＵとＤＳＰの２つと限定したものになる。したがって、図６の構成のマネージャー層１１は、ＣＰＵ用サービス４１用の詳細情報とＤＳＰ用サービス４２の詳細情報を管理する。他に、サービス構築部２１やリソース管理部２２もこの２つのサービス４１、４２が管理対象になる。
実施例３ではＣＰＵ用サービス４１での画像処理実行要求時の動作になるのでこの処理部の説明をする。図７は画像処理実行要求時の画像ビデオ情報の流れを示す図である。
例として、指定された画像処理はフィルタ、スキュー補正、孤立点除去の順番で要求される。また、フィルタ、孤立点除去はＤＳＰ用サービス４２が画像処理実行を担当し、スキュー補正処理はＣＰＵ用サービス４１が担当することとする。
ＤＳＰは組込み系の画像処理装置に用いられることが多く内部に画像処理結果を保存する汎用メモリ５１を持っている。しかし、クライアントＰＣに搭載されている汎用メモリに比べて容量が小さく、数ラインの画像データを確保する容量である。また、画像処理単位も数百画素で１ライン分画像データをためて出力する。
それに対しＣＰＵでの画像処理単位は１画素なので、ＤＳＰからの処理結果を全ライン分クライアントＰＣの汎用メモリにためた後で画像処理を実行や、１ラインの出力データ(もしくは画像処理に必要な参照領域分のラインの画像データ)が出力された時点で画像処理を実行できる。
後者の１ラインの出力データ(もしくは画像処理に必要な参照領域分のラインの画像データ)が出力された時点で画像処理を実行するというように、ＣＰＵの画像処理を実行するための画像単位をＤＳＰの制約に合わせることによって、無駄に汎用メモリ５１に蓄積することを回避する。また、ＤＳＰからＣＰＵへ処理を実行する画像処理デバイスを変更し、またＤＳＰへ変更したとしても組込み系で実装されているＤＳＰの画像処理プログラムを変更することなく扱うことが可能になる。

〔実施例４〕
図８はＤＳＰ用サービスとＤＳＰを搭載したＰＣＩボードの関係を示す図である。この図は、マネージャー層１１から画像処理設定要求がＤＳＰ用サービス４２として受け付けたときの関係を示している。ＤＳＰ用サービス４２は、ＤＳＰ制御部６１と、プログラムとデータのライブラリ６２で構成される。
クライアントＰＣに実装されている場合、本装置すべて含めてプログラムなので、図７に示した汎用メモリ５１に保存されている。また、本装置の制御対象であるＤＳＰを搭載したＰＣＩボード６３はＰＣＩバス６４に拡張ボードとして搭載していて、ＤＳＰを搭載したＰＣＩボード６３に画像処理を実行するＤＳＰ６５が実装されている。
制御の流れを説明する。マネージャー層１１から画像処理設定要求を受けたとき、ＤＳＰ制御部６１は、マネージャー層１１の詳細変換部２３がモジュールごとに変換した詳細情報を元に、今回の画像処理でＤＳＰ６５に設定が必要なプログラムとデータを自身が保持するプログラムとデータのライブラリ６２を参照し具体的な設定値を取得する。具体的な設定値を取得した後、ＰＣＩバス６４を経由してＰＣＩボード６３に搭載されている制御対象であるＤＳＰ６５にプログラム、データのダウンロードを行い、要求されている画像処理が実現できる状態にする。
また、画像処理実行要求時にはプログラム、データのダウンロード同様にＰＣＩバス６４を経由して画像ビデオ情報を、ＰＣＩボード６３送り、ＤＳＰ６５で画像処理を実行させ、その出力結果を汎用メモリ５１に保存する制御を行う。

〔実施例５〕
実施例２は画像処理パスからそのパスを構成する全モジュールについてどのサービス１３用の詳細情報に変換するか決定したが、画像処理モジュール単位にサービスを切り替えた方が高速化する例を示す。
図９は第２のマネージャー層の詳細変換部の構成図である。図５との違いは、フィルタ用詳細変換部３２はＤＳＰ用のフィルタ処理の詳細情報を出力し、スキュー補正用詳細変換部３３はＣＰＵ用のスキュー補正処理の詳細情報を出力し、孤立点除去用詳細変換部３４はＤＳＰ用の孤立点除去の詳細情報を出力する点である。
実施例２では詳細変換マネージャー３１が画像処理パス等の情報から全体的に決定していたのに対し、図９に示す詳細変換部２３は、各モジュールであるフィルタ用詳細変換部３２、スキュー補正用詳細変換部３３、孤立点除去用詳細変換部３４が出力する変換情報を切り替えて作成する。切り替えに際しては前回の画像処理実行時間にかかった時間を計測し、その結果で判断することや、画像サイズから判断する。
しかし、これらの方法で判断することも可能であるが、判断のための処理にも時間がかかる。基本的にＣＰＵの特徴で１処理は高速であるが１画素単位に画像処理を実行する。ＤＳＰの特徴で１処理はＣＰＵに比べると遅いが数百画素単位に画像処理を実行する。
このことより、ＤＳＰは繰り返し処理には高速に対応できるので、フィルタや孤立点除去処理のように同じ計算の繰り返し処理はあらかじめＤＳＰ用の詳細情報しか作成しないように設定し、繰り返し処理ではないスキュー補正処理はＣＰＵ用の詳細情報しか作成しないように設定する。
画像処理単位で得意不得意をサービス１３ごとに設定しておき、判断せずにその得意の画像処理の詳細情報変換のみを作成しておき、サービス１３はこの詳細変換部２３が変換した詳細情報を元に変換すれば画像処理の高速化を図ることができる。

〔実施例６〕
図１０は画像処理デバイスがＤＳＰとＣＰＵである場合の画像ビデオ情報の流れを示す図である。図の各画像処理デバイスの状態は、マネージャー層１１が各サービス１３に画像処理設定要求をし終え、各サービスは画像ビデオ情報を送ればユーザが指定した画像処理が実行できる状態である。
また、各画像処理デバイスが担当する画像処理モジュールはフィルタ、スキュー補正、孤立点除去が選ばれた場合で、フィルタと孤立点除去処理はＤＳＰ６５が担当し、スキュー補正のみＣＰＵで演算することとする。
また、縦軸は時間軸なので、ＤＳＰ６５を搭載したＰＣＩボード６３とＤＳＰ６５は２セット存在しているわけではなく、ＣＰＵ演算処理後の画像を再び同一のＤＳＰを搭載したＰＣＩボード６３とＤＳＰ６５が実行していることを示している。画像ビデオ情報の流れもマネージャー層１１の画像処理実行要求とともに各サービス１３が担当し、担当する画像処理デバイスに送る。
ユーザの指定する画像ファイルを開き読み取り可能にし、最初の画像処理はＤＳＰ用サービス４２で画像処理を実現するので、ＤＳＰ制御部６１がＰＣＩボード６３上のＤＳＰ６５に対し画像ビデオ情報を１もしくは数ライン単位で送る。画像ビデオ情報が送られたＤＳＰ６５はマネージャー層１１からの画像処理設定要求時にＤＳＰ用サービス４２に設定された画像処理プログラムとデータを用いてフィルタ演算を行い、１もしくは数ライン単位で処理結果を出力する。
その画像ビデオ情報を汎用メモリ５１に格納せずに、ＣＰＵ用サービス４１に送りＣＰＵ用サービス４１の画像処理演算部は画像処理を実行する。その出力画像ビデオ情報を再びＤＳＰ用サービス４２のＤＳＰ制御部６１に送り、ＰＣＩボード６３上のＤＳＰ６５に対し画像ビデオ情報を１もしくは数ライン単位で送る。最後に孤立点除去処理を終了した画像ビデオ情報を画像ファイルとして保存し、表示部１に情報を送り画像処理出力結果を表示する。
このようにユーザが意識することなく画像処理制御装置は、画像処理デバイスを切り替えて、切り替えた順番に画像ビデオ情報を送り画像処理を実行させることによって高速に出力結果を得ることができる。

フィルタ処理におけるサイクル数を示す図である。本発明の画像処理制御装置の構成図である。第１の画像処理制御部の構成図である。画像処理制御部のマネージャー層の構成図である。第１のマネージャー層の詳細変換部の構成図である。第２の画像処理制御部の構成図である。画像処理実行要求時の画像ビデオ情報の流れを示す図である。ＤＳＰ用サービスとＤＳＰを搭載したＰＣＩボードの関係を示す図である。第２のマネージャー層の詳細変換部の構成図である。画像処理デバイスがＤＳＰとＣＰＵである場合の画像ビデオ情報の流れを示す図である。

符号の説明

１表示部、２入力情報管理部、３画像処理制御部、１１マネージャー層、１２サービス層、１３サービス

Claims

クライアントＰＣからの画像処理を実行して結果を出力する画像処理制御装置であって、取り扱う画像を表示できると共に、行いたい画像処理を決定できる表示部と、前記表示部で決められた情報を入力管理情報として管理する入力情報管理部と、前記入力管理情報に基づいて画像処理を実行する画像処理制御部とを備え、
前記画像処理制御部は、前記クライアントＰＣのＣＰＵにより画像処理を実行させる第１の手段と、前記クライアントＰＣに設置されている画像処理デバイスにより画像処理を実行させる第２の手段と、前記表示部で決定された画像処理を実行する際、前記第１の手段又は前記第２の手段の何れを実行すれば高速化するかの判断を行わせるために画像処理パスに対して制御情報を用意する第３の手段と、前記第３の手段における前記制御情報に基づく前記判断の結果に応じて前記第１の手段又は前記第２の手段の実行を画像処理手段に対して切り替え制御させる第４の手段と、を備え、更に、前記第４の手段の切り替え制御により前記第１の手段で前記ＣＰＵの画像処理を実行するときに当該ＣＰＵの画像処理を実行するための画像単位を前記画像処理デバイスの制約に合わせる機能を有することを特徴する画像処理制御装置。
請求項１記載の画像処理制御装置において、前記画像処理制御部は、前記第１の手段で前記ＣＰＵの画像処理を実行する際、１ラインずつ処理を実行する機能を有することを特徴とする画像処理制御装置。
請求項１記載の画像処理制御装置において、前記画像処理制御部は、前記第２の手段での前記画像処理デバイスの画像処理に必要なプログラムとデータとをダウンロードする機能を有することを特徴とする画像処理制御装置。