JP2008092419A

JP2008092419A - 画像処理装置、画像処理方法

Info

Publication number: JP2008092419A
Application number: JP2006272847A
Authority: JP
Inventors: Susumu Muto; 晋武藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-10-04
Filing date: 2006-10-04
Publication date: 2008-04-17

Abstract

【課題】読み取られる原稿のレイアウト情報を抽出して、ユーザ選択される領域の画像を操作性よくレイアウト出力することである。
【解決手段】原稿画像を読み取る（Ｓ６１）。そして、読み取られた原稿画像を複数の領域に分割する（Ｓ６２）。次に、分割された各領域から、ユーザの指示に基づいて画像出力する複数の領域を選択する（Ｓ６４）。次に、選択された各領域を出力ページ領域に配置すべきレイアウトデータを生成し、該生成されたレイアウトデータに基づいて前記原稿画像を加工する（Ｓ６５〜Ｓ６７）構成を特徴とする。
【選択図】図６

Description

本発明は、画像処理装置に関するものである。

プレゼンテーション用に作られたのではない通常の文書を、特定のフォームに自動的に適応させることによりプレゼンテーション用文書を容易に得る文書作成装置が知られている（例えば、特許文献１参照）。

特許文献１に記載された文書作成装置は、具体的には、原稿を読み取って得た入力画像データをプレゼンテーション用データに加工する。この際、原稿を読み取って得た入力画像データからどのような領域をプレゼンテーション用のデータを抽出するかは、予めプレゼンテーション用フォーマットとして用意しておく。そして、プレゼンテーション用フォーマットにスキャンしたデータを埋め込むことで、プレゼンテーション用のデータを生成する。
特開平６−１８７３３３号公報

しかしながら、特許文献１では、プレゼンテーション用データを抽出するためのプレゼンテーションフォーマットを予め用意しておく必要があり、多様な形式でプレゼンテーション用のデータを生成できないという課題があった。

また、特許文献１では、プレゼンテーション用フォーマットは予め用意されているので、フォーマットに適した原稿でないと適切にプレゼンテーション用データを生成できず、汎用性に乏しかった。

本発明は、上記の課題を解決するためになされたもので、本発明の目的は、原稿を読み取って得た入力画像データを複数の領域に分割し、複数の領域の中から選択した領域を適切にレイアウトしたうえで出力手段に出力させるための出力画像データを生成することができる画像処理装置及び画像処理方法を提供することである。

上記目的を達成する本発明の画像処理装置は以下に示す構成を備える。

原稿を読み取って入力画像データを得る入力手段と、前記入力手段により入力された入力画像データを複数の領域に分割する分割手段と、ユーザの指示に基づいて前記複数の領域の中から少なくともいずれかの領域を選択する選択手段と、前記選択手段により選択された領域を拡大又は縮小して一定サイズのページ領域に配置してレイアウトデータを生成するレイアウト手段と、前記レイアウト手段により生成されたレイアウトデータに基づいて出力画像データを生成する生成手段と、前記生成手段により生成された出力画像データを出力する出力手段と、を有することを特徴とする。

本発明によれば、原稿を読み取って得た入力画像データを複数の領域に分割し、複数の領域の中から選択した領域を適切にレイアウトしたうえで出力手段に出力させるための出力画像データを生成することができる画像処理装置及び画像処理方法を提供することができる。

次に本発明を実施するための最良の形態について図面を参照して説明する。

＜システム構成の説明＞
〔第１実施形態〕
図１は、本発明の第１実施形態を示す画像処理装置を適用する画像処理システムの一例を示す図である。本例は、画像処理装置として機能するＭＦＰ１００にクライアントＰＣがＬＡＮ１０３を介して接続される画像処理システム例である。

図１において、ＬＡＮ１０３には、マルチファンクションペリフェラル（以降ＭＦＰと記す）１００と、このＭＦＰ１００に対して印刷または画像蓄積指示を行うクライアントＰＣ１０２が接続されている。なお、複数のクライアントＰＣ１０２を有するシステムであっても、本発明を適用可能である。

また、ＭＦＰ１００には、インタフェース１０９を介してディスプレイ表示のためのビデオ信号を出力する外部表示装置１０１が接続されている。

なお、ＭＦＰ１００には、後述するスキャナ２０１５とプリンタ２０１７を備え、スキャナ２０１５から入力される画像データを記憶するＨＤＤ２００４等を備えている。

さらに、ＭＦＰ１００には、後述する操作部２００６を備えて、各種の操作案内や、画像処理指示を行う操作画面を表示可能なタッチパネルディスプレイを備える。

図２は、本実施形態を示す画像処理装置の構成を説明するブロック図である。本例は、図１に示したＭＦＰ１００の画像処理部の構成に対応する。

図２においては、ＣｏｎｔｒｏｌｌｅｒＵｎｉｔ（ＣＵ）２０００は、画像入力デバイスであるカラースキャナであるスキャナ２０１５や画像出力デバイスであるカラープリンタであるプリンタ２０１７と接続される。スキャナ２０１５は、原稿を読み取って入力画像データを得る機能を有するものであり、ＣＰＵ２００１の指示に基づいて入力画像データをＲＡＭ２００２へ記憶させる。また、ＣＵ２０００は、一方ではＬＡＮ２０５６や公衆回線（ＷＡＮ）２０５１接続することで、画像情報やデバイス情報の入出力を行う為のコントローラとして機能する。

ＣＰＵ２００１はシステム全体を制御するコントローラである。ＲＡＭ２００２は、ＣＰＵ２００１が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリとしても機能する。

ＲＯＭ２００３はブートＲＯＭであり、システムのブートプログラムが格納されている。

２００４はハードディスクドライブ（ＨＤＤ）で、後述するフローチャートに示す手順を示す制御プログラム、システムソフトウェア、画像データを格納する。なお、ＨＤＤ２００４には、ユーザ毎に割り当て可能なボックス領域が確保されており、スキャナ２０１５から入力された画像データや、クライアントＰＣ１０２から受信した印刷データを記憶することが可能に構成されている。

操作部Ｉ／Ｆ２００５は、操作部（ＵＩ）２００６とインタフェース部で、操作部２００６に表示する画像データを操作部２００６に対して出力する。

また、操作部２００６から本システム使用者が入力した情報を、ＣＰＵ２００１に伝える役割をする。Ｎｅｔｗｏｒｋ２００７はＬＡＮ２０５６に接続し、情報の入出力を行う。Ｍｏｄｅｍ２０５０は公衆回線２０５１に接続し、画像情報の入出力を行う。

２値画像回転２０５２、および２値画像圧縮・伸張２０５３はＭｏｄｅｍ２０５０で２値画像を送信する前に画像の方向を変換したり、所定の解像度、あるいは相手能力に合わせた解像度に変換したりするためのものである。

なお、本実施形態において、画像処理装置は、圧縮、伸張の処理において、ＪＢＩＧ、ＭＭＲ、ＭＲ、ＭＨをサポートしている。

２００９はＤＭＡコントローラ（ＤＭＡＣ）であり、ＲＡＭ２００２に格納されている画像をＣＰＵ２００１を介することなく読み取り、ＩｍａｇｅＢｕｓＩ／Ｆ２０１１に対して画像転送する。

また、ＤＭＡＣ２００９は、画像バス２０１０からの画像データをＣＰＵ２００１を介することなくＲＡＭ２００２に書き込む処理を行う。以上のデバイスがシステムバス２００８に接続される。

ＩｍａｇｅＢｕｓＩ／Ｆ２０１１は画像バス２０１０を介して高速な画像の入出力を制御するためのインタフェースである。圧縮器２０１２は、画像バス２０１０に画像を送出する前に３２画素×３２画素の単位でＪＰＥＧ圧縮する。伸張器２０１３は画像バス２０１０を介して送られた画像を伸張する。

ラスタイメージプロセッサ（ＲＩＰ）２０１８はホストコンピュータからのＰＤＬコードをＮｅｔｗｏｒｋ２００７を介して受け取り、システムバス２００８を通して、ＣＰＵ２００１がＲＡＭ２００２に格納する。

ＣＰＵ２００１は、ＰＤＬを中間コードに変換し、再度システムバス２００８を介してＲＩＰ２０１８に入力し、ビットマップイメージ（多値）に展開する。スキャナ画像処理部２０１４はスキャナ２０１５からのカラー画像、白黒画像に対して適切な各種画像処理（例えば補正、加工、編集）を行い多値画像データとして出力する。

同様に、プリンタ画像処理部２０１６は、プリンタ２０１７に対して適切な各種画像処理（例えば補正、加工、編集）を行うプリント時は伸張器２０１３で２値多値変換を行うので、２値、および多値出力が可能である。

画像変換部２０３０は、ＲＡＭ２００２上にある画像を画像変換し、再度、ＲＡＭ２００２に書き戻すときに使われる各種画像変換機能を有する。

回転器２０１９は、例えば３２画素×３２画素単位の画像を指定された角度で回転でき、２値、および多値の入出力に対応している。

変倍器２０２０は、画像の解像度を変換（例えば６００ｄｐｉから２００ｄｐｉ）したり、変倍したりする機能（例えば２５％から４００％まで）を有する。変倍する前には３２×３２画素の画像を３２ライン単位の画像に並び替える。

色空間変換器２０２１は、多値入力された画像をマトリクス演算、およびＬＵＴにより、例えばメモリ上にあるＹＵＶ画像をＬａｂ画像に変換し、メモリ上に格納する。

また、この色空間変換は、例えば３×８のマトリクス演算および、１次元ＬＵＴを持ち、公知の下地とばしや裏写り防止を行うことができる。そして、色変換された画像は多値で出力される。

２値多値器２０２２は、１ｂｉｔ２値画像を多値８ｂｉｔ、２５６階調にする。逆に多値２値器２０２６は、例えばメモリ上にある８ｂｉｔ、２５６階調の画像を誤差拡散処理などの手法により１ｂｉｔ、２階調に変換し、ＲＡＭ２００２上に格納する。

なお、合成器２０２３はＲＡＭ２００２上の２枚の多値画像を合成し、１枚の多値画像にする機能を有する。例えば、ＲＡＭ２００２上にある会社ロゴの画像と原稿画像を合成することで、原稿画像に簡単に会社ロゴをつけることができる。

間引き器２０２４は、多値画像の画素を間引くことで、解像度変換を行うユニットであり１／２，１／４，１／８の多値画像を出力可能である。なお、間引き器２０２４は、変倍器２０２０と組み合わせて画像処理を行うことで、より広範囲な画像データに対して拡大、縮小を行うことができる。

移動器２０２５は、入力された２値画像、多値画像に余白部分をつけたり、余白部分を削除したりして出力することができる。

なお、回転器２０１９、変倍器２０２０、色空間変換器２０２１、２値多値器２０２２、合成器２０２３、間引き器２０２４、移動器２０２５、多値２値器２０２６はそれぞれ連結して動作することが可能である。例えばＲＡＭ２００２上の多値画像を画像回転、解像度変換する場合は、両処理をＲＡＭ２００２を介さずに連結して行うことができる。

グラフィックアクセラレータ（ＧＡ）２０５４はＣＰＵ２００１からの要求を受けて、ＲＡＭ２００３上に画像データを生成し、外部表示装置２０５５に出力する。

なお、本実施形態で使用されるアルゴリズムのプログラムコード（図６、図１５、図１６、図１７に示す制御手順を含む）は、ＨＤＤ２００４上のシステムソフトウェアの一部に格納されている。また、ＨＤＤ２００４上のシステムソフトウェアは、インターネットを介して、サーバ装置から最新のソフトウエアをダウンロードして更新可能に構成されている。

図３は、図２に示したスキャナ画像処理２０１４の詳細構成を説明するブロック図である。

図３において、スキャナ２０１５から入力されたＲＧＢ各８ｂｉｔの輝度信号はマスキング２５０１によりＣＣＤのフィルタ色に依存しない標準的なＲＧＢ色信号に変換される。フィルタ２５０２では、例えば９×９のマトリクスを使用し、画像をぼかしたり、メリハリをつけたりする処理が行われる。

ヒストグラム２５０３は、入力画像中の画像信号データのサンプリングをする処理部であり、入力画像の下地レベル判定に使用される。このヒストグラム２５０３では主走査方向、副走査方向にそれぞれ指定した開始点から終了点で囲まれた矩形領域内のＲＧＢデータを、主走査方向、副走査方向に一定のピッチでサンプリングし、ヒストグラムを作成する。

このヒストグラム２５０３により作成されたヒストグラムは、下地とばしや、裏写り防止が指定されたとき、ＣＰＵ２００１の指示で読み出される。そして、読み出されたヒストグラムから原稿の下地を推測し、下地とばしレベルとして、画像とともにメモリやＨＤＤに保存、管理され、印刷や送信時の画像処理に使用される。

ガンマ２５０４では、画像全体の濃度を濃くあるいは薄くするように処理が行われる。例えば入力画像の色空間を任意の色空間に変換したり、入力系の色味に関する補正処理を行ったりする部分である。なお、原稿がカラーか白黒かを判断するために変倍前の画像信号を色空間変換器２５０５によって公知のＬａｂに変換する。

このうちａ，ｂは色信号成分を表しており、比較器２５０６内の所定のレベル以上であれば有彩色、そうでなければ無彩色として１ｂｉｔの判定信号を比較器２５０６から出力する。

カウンタ２５０７は、比較器２５０６からの出力を計測する。文字／写真判定器２５０８は画像から文字エッジを抽出し、画像を文字と写真に分離する機能である。文字／写真判定器２５０８からは出力として文字写真判定信号が得られる。この文字写真判定信号も画像とともにＲＡＭ２００２やＨＤＤ２００４に格納され、印刷時に使用される。

２５０９は特定原稿判定器で、入力画像信号と、特定原稿判定器２５０９の内部に保持されるパターンがどの程度一致するかを比較し、図示したように一致、不一致という判定結果を読み出すことが可能である。この判定結果に応じて、ＣＰＵ２００１は、画像データを加工し、原稿として紙幣や有価証券が読み取られた場合に、その偽造となるような画像出力が行われてしまうことを防止する。

図４は、図２に示した操作部２００６の構成を示す平面図である。本操作部２００６は、スキャナ２０１５に一体として構成されていてもよいし、ユーザの操作性を考慮して、操作方向や位置を調節できるように、支持部材が可動可能に構成されていてもよい。

図４において、ＬＣＤ表示部３００１は、ＬＣＤ上にタッチパネルシート３００２が貼られており、システムの操作画面およびソフトキーを表示する。さらに、ＬＣＤ表示部３００１は、表示してあるキーが押されるとその位置情報をＣＵ２０００のＣＰＵ２００１に伝える。

スタートキー３００３は、スキャナ２０１５による原稿画像の読み取り動作を開始する時などに押下指示される。スタートキー３００３の中央部には、緑と赤の２色ＬＥＤ３００４があり、その色によってスタートキー３００３が使える状態にあるかどうかを示す。

ストップキー３００５は、ＭＦＰ１００稼働中の動作を止める場合に押下する。ＩＤキー３００６は、使用者のユーザＩＤを入力する時に押下指示される。ユーザＩＤは、ログオンするユーザの認証処理に利用される。リセットキー３００７は、操作部２００６からの設定を初期化する時に押下指示される。

図５は、本実施形態を示す画像処理装置のモジュール構成を説明するブロック図である。なお、本例は、図１に示したＭＦＰ１００のモジュール構成に対応するが、ＭＦＰ１００が備えるプリント機能やスキャナ機能等によっては、モジュール構成が異なる場合がある。

図５において、４０１０はＵＩ制御部で、表示操作部を制御する。また、ＵＩ制御部４０１０からの指示を受け、コピー動作を実行するコピーアプリケーション部（ＣＡＰ部）４０２０を備える。同様に、ＵＩ制御部４０１０からの指示を受け、送信動作を実行する送信アプリケーション部４０２１を備える。同様に、同様に、ＵＩ制御部４０１０からの指示を受け、ボックス画面からのスキャン、プリントを実行するＢＯＸアプリケーション部４０２２を備える。

また、ネットワークアプリケーション４１２０からのＰＤＬプリントデータをうけＰＤＬプリントジョブを投入するＰＤＬアプリケーション部４０２３を備える。４０３０は共通インタフェース部で、機器制御部分の機器依存部分を吸収する。４０４０はジョブマネージャで、共通インタフェース部４０３０から受け取ったジョブ情報を整理し、下位層のドキュメント処理部に伝達する。

ドキュメント処理部は、ローカルコピーであればスキャンマネージャ４０５０とプリントマネージャ４０９０により処理を行う。また、ドキュメント処理部は、リモートコピーの送信ジョブ、あるいは送信ジョブであればスキャンマネージャ４０５０とファイルストアマネージャ４１００により処理を行う。

また、ドキュメント処理部は、リモートコピーの受信ジョブであればファイルリードマネージャ４０６０とプリントマネージャ４０９０により処理を行う。

さらに、ドキュメント処理部は、ＬＩＰＳ（登録商標）やＰｏｓｔＳｃｒｉｐｔ（登録商標）などのＰＤＬプリントではＰＤＬマネージャ４０７０とプリントマネージャ４０９０により処理を行う。

シンクマネージャ４０８０は、各ドキュメントマネージャ間の同期取りを行う。また、シンクマネージャ４０８０は、各種画像処理を行うイメージマネージャ４１１０への画像処理の依頼を行う。また、イメージマネージャ４１１０は、スキャン、プリント時の画像処理や画像ファイルの格納処理を行う。

まず、ローカルコピーのソフト処理について説明する。

使用者の指示によりＵＩ制御部４０１０からコピー指示とともにコピーの設定がコピーアプリケーション部４０２０に伝わる。

ＣＡＰ部４０２０はＵＩ制御部４０１０からの情報を共通インタフェース部４０３０を介して、機器制御を行うジョブマネージャ４０４０に伝える。ジョブマネージャ４０４０は、スキャンマネージャ４０５０とプリントマネージャ４０９０にジョブの情報を伝達する。

スキャンマネージャ４０５０は、デバイスＩ／Ｆ、例えばコントローラ２０００とスキャナ２０１５、及びコントローラ２０００とプリンタ２０１７を結ぶシリアルＩ／Ｆを介してスキャナ２０７０にスキャン要求を行う。

また、同時にシンクマネージャ４０８０を介してイメージマネージャ４１１０にスキャン用の画像処理要求を出す。

イメージマネージャ４１１０はスキャンマネージャ４０５０の指示に従って、スキャナ画像処理部２０１４の設定を行う。このような設定が完了したら、シンクマネージャ４０８０を介してスキャン準備完了を伝える。その後、スキャンマネージャ４０５０はスキャナ２０７０に対してスキャンを指示する。スキャン画像転送完了は、ＣＵ２０００内のハードウェアからの割り込み信号によってイメージマネージャ４１１０に伝わる。

イメージマネージャ４１１０からのスキャン完了を受けてシンクマネージャ４０８０はスキャン完了をスキャンマネージャ４０５０、プリントマネージャ４０９０に伝える。

同時に、シンクマネージャ４０８０はＲＡＭ２００２に蓄積された圧縮画像をＨＤＤ２００４にファイル化するためイメージマネージャ４１１０に指示する。

イメージマネージャ４１１０は、上記指示に従ってＲＡＭ２００２上の画像（文字／写真判定信号を含めて）をＨＤＤ２００４に格納する。

画像の付随情報としてＣＵ２０００内に具備可能なＳＲＡＭにカラー判定／白黒判定結果、下地とばしを行うための下地とばしレベル、画像入力元としてスキャン画像、色空間ＲＧＢも格納しておく。

また、ＨＤＤ２００４への格納が終了し、スキャナ２０７０からのスキャン完了を受けたら、シンクマネージャ４０８０を介してスキャンマネージャ４０５０にファイル化終了を通知する。

スキャンマネージャ４０５０はジョブマネージャ４０４０に対して終了通知を返し、ジョブマネージャ４０４０は共通インタフェース部４０３０を介してコピーアプリケーション部４０２０へ返す。

また、プリントマネージャ４０９０はメモリに画像が入った時点でデバイスＩ／Ｆを介して、プリンタ２０９５に印刷要求を出す。同時にシンクマネージャ４０８０にプリント画像処理要求を行う。シンクマネージャ４０８０は、プリントマネージャ４０９０から要求を受けたら画像処理設定をイメージマネージャ４１１０に依頼する。

そして、イメージマネージャ４１１０は前記の画像の付随情報に従ってプリンタ画像処理部２０１６の設定を行い、シンクマネージャ４０８０を介してプリントマネージャ４０９０にプリント準備完了を伝える。

そして、プリントマネージャ４０９０はプリンタ２０１７に対して印刷指示を出す。プリント画像転送完了は、ＣＵ２０００内のハードウェアからの割り込み信号によってイメージマネージャ４１１０に伝わる。

このようにしてイメージマネージャ４１１０からのプリント完了を受けてシンクマネージャ４０８０はプリント完了をプリントマネージャ４０９０に伝える。プリントマネージャ４０９０は、プリンタ２０１７からの排紙完了を受け、ジョブマネージャ４０４０に対して終了通知を返し、ジョブマネージャ４０４０は共通インタフェース部４０３０を介してコピーアプリケーション部４０２０へ返す。コピーアプリケーション部４０２０はスキャン、プリントが終了したらジョブ終了をＵＩ制御部４０１０に通知する。

リモートコピーのスキャンジョブ、送信ジョブの場合は、プリントマネージャ４０９０に代わってファイルストアマネージャ４１００がジョブマネージャ４０４０からの要求を受ける。

スキャン画像をＨＤＤ２００４に格納し終わった時点で、シンクマネージャ４０８０から格納完了通知を受け、それを共通インタフェース部４０３０を介してリモートコピーならコピーアプリケーション部４０２０に通知する。一方、送信ジョブなら共通インタフェース部４０３０を介して送信アプリケーション部４０２１に通知する。

コピーアプリケーション部４０２０、送信アプリケーション部４０２１はこの通知の後、ネットワークアプリケーション４４２０に対してＨＤＤ２００４に格納されたファイルの送信を依頼する。

そして、このようにして依頼を受けたネットワークアプリケーション４４２０がファイルを送信する。ネットワークアプリケーション４４２０は、ジョブ開始時にコピーアプリケーション部４０２０からコピーに関する設定情報を受け、それもリモート側の機器に通知する。

ネットワークアプリケーション４４２０はリモートコピーの場合、機器固有の通信プロトコルを使用して送信を行う。また、送信ジョブの場合はＦＴＰ、ＳＭＢのような標準的なファイル転送プロトコルを使用する。

このファクス送信する場合は、ファイル格納後、送信アプリケーション部４０２１から共通インタフェース部４０３０、ジョブマネージャ４０４０を介してＦＡＸマネージャ４０４１に送信が指示される。

ＦＡＸマネージャ４０４１はＭｏｄｅｍ２０５０を介して、相手機器とネゴシエーションし、必要な画像処理をイメージマネージャ４１１０に依頼し、変換後の画像をＭｏｄｅｍを使って送信する。ここで、上記必要な画像処理とは、カラー→白黒変換、多値２値変換、回転、変倍等が含まれる。

また、送信先にプリンタがある場合、送信アプリケーションは共通インタフェース部４０３０を介してプリントジョブとしてプリントの指示を行う。その時の動作は以下で説明するリモートコピーのプリントジョブの場合と同様である。

また、送信宛先が機器内のボックス宛先になっているときはファイルストアマネージャ４１００によって機器内のファイルシステムに格納する。

ＦＡＸ受信時はＦＡＸマネージャがＭｏｄｅｍを使って画像データを受信し、画像ファイルとしてＨＤＤ２００４に格納する。

そして、ＨＤＤ２００４に画像ファイルを格納後にボックスアプリケーション部４０２１に通知する。すると、ボックスアプリケーション部４０２１から受信プリントの指示が共通インタフェース部４０３０を介して、ジョブマネージャ４０４０に通知される。その後は通常のボックスプリントジョブと同じ動作になるため説明は省略する。

一方、リモートコピーのプリントジョブの場合は、送信側からの画像をネットワークアプリケーション４４２０がＨＤＤ２００４に保存するとともにコピーアプリケーション部４０２０に対してジョブを発行する。

コピーアプリケーション部４０２０は、共通インタフェース部４０３０を介してジョブマネージャ４０４０にプリントジョブを投入する。ローカルコピーとは異なり、スキャンマネージャ４０５０に代わってファイルリードマネージャ４０６０がジョブマネージャ４０４０からの要求を受ける。

そして、受信画像をＨＤＤ２００４からメモリに展開するための要求をシンクマネージャ４０８０を介して、イメージマネージャ４１１０に行う。

イメージマネージャ４１１０は、ＲＡＭ２００２に画像を展開する。イメージマネージャ４１１０はＲＡＭ２００２にイメージ展開が終了した時点で、展開終了をシンクマネージャ４０８０を経由して、ファイルリードマネージャ４０６０とプリントマネージャ４０９０に伝える。

プリントマネージャ４０９０は、ＲＡＭ２００２に画像データが入った時点でデバイスＩ／Ｆを介して、プリンタ２０１７にジョブマネージャから指示された給紙段、もしくはその用紙サイズを有する段を選択し、印刷要求を出力する。

なお、自動用紙の場合には画像サイズから給紙段を決定し印刷要求を出力する。同時に、シンクマネージャ４０８０にプリント画像処理要求を行う。

シンクマネージャ４０８０は、プリントマネージャ４０９０から要求を受けたらプリント画像処理設定をイメージマネージャ４１１０に依頼する。

なお、この時、例えば最適サイズ用紙がなくなり、回転が必要になれば別途回転指示も依頼する。回転指示があった場合にはイメージマネージャ４１１０が画像回転器２０１９を使って画像データを回転する。

イメージマネージャ４１１０はプリンタ画像処理部２０９０の設定を行い、シンクマネージャ４０８０を介してプリントマネージャ４０９０にプリント準備完了を伝える。これにより、プリントマネージャ４０９０はプリンタ２０１７に対して印刷指示を出す。プリント画像転送完了は、ＣＵ２０００内のハードウェアからの割り込み信号によってイメージマネージャ４１１０に伝わる。

イメージマネージャ４１１０からのプリント完了を受けてシンクマネージャ４０８０はプリント完了をファイルリードマネージャ４０６０とプリントマネージャ４０９０に伝える。そして、ファイルリードマネージャ４０６０は、終了通知をジョブマネージャ４０４０に返す。

次に、プリントマネージャ４０９０はプリンタ２０１７からの排紙完了を受け、ジョブマネージャ４０４０に対して終了通知を返す。

そして、ジョブマネージャ４０４０は共通インタフェース部４０３０を介してコピーアプリケーション部４０２０へ終了通知を返す。

コピーアプリケーション部４０２０はスキャン、プリントが終了したらジョブ終了をＵＩ制御部４０１０に通知する。

ＰＤＬデータ展開格納ジョブの場合は、ＰＤＬプリントを投入したクライアントＰＣ１０２からの要求がネットワークアプリケーション４１２０を経由してＰＤＬアプリケーション部４０２３に伝達される。

ＰＤＬアプリケーション部４０２３がＰＤＬデータ展開格納ジョブを共通インタフェース部４０３０を介してジョブマネージャ４０４０に指示する。

この時、ＰＤＬマネージャ４０７０とファイルストアマネージャ４１００がジョブマネージャ４０４０からの要求を受ける。なお、画像のＲＩＰが終了した後の画像入力する部分に関しては前述のスキャンジョブと同様である。

また、ＲＡＭ２００２上の画像（文字／写真判定信号を含めて）をＨＤＤ２００４に格納する。また、画像の付随情報としてＣＵ２０００内に具備可能なＳＲＡＭにカラー／白黒情報、画像入力元としてＰＤＬ画像、色空間ＣＭＹＫもしくはＲＧＢも格納しておく。

このようにしてＰＤＬ画像をＨＤＤ２００４に格納し終わった時点で、シンクマネージャ４０８０から格納完了通知を受け、それを共通インタフェース部４０３０を介してＰＤＬアプリケーション部４０２３に通知する。

ＰＤＬアプリケーション部４０２３はこの通知の後、ネットワークアプリケーション４４２０にＨＤＤ２００４に格納完了を通知し、ＰＤＬプリントを投入したクライアントＰＣ１０２へこの情報が伝達される。

また、ＰＤＬプリントジョブの場合にはＰＤＬマネージャ４０７０とプリントマネージャ４０９０によって、ＲＡＭ２００２上に展開された画像を印字する。

なお、ＰＤＬ展開され格納された画像のプリントはＵＩで印刷指示された格納文書をＢＯＸアプリケーション部４０２２に対してプリントジョブとして発行する。

ＢＯＸアプリケーション部４０２２は共通インタフェース部４０３０を介してジョブマネージャ４０４０にプリントジョブを投入する。この場合は、ローカルコピーとは異なり、スキャンマネージャ４０５０に代わってファイルリードマネージャ４０６０がジョブマネージャ４０４０からの要求を受ける。このようにして、印刷指示された画像をＨＤＤ２００４からＲＡＭ２００２に展開するための要求をシンクマネージャ４０８０を介して、イメージマネージャ４１１０に行う。この後の動作はリモートコピーのプリントジョブで説明した動作と同様のため、省略する。

次に、本実施形態を示す画像処理装置における画像処理全体の概要処理について図６を参照して説明する。

図６は、本実施形態を示す画像処理装置における第１のデータ処理手順の一例を示すフローチャートである。本例は、図１に示したＭＦＰ１００のＣＵ２０００によるスキャン原稿のディスプレイ出力処理例である。なお、Ｓ６１〜Ｓ６９は各ステップを示す。また、各ステップは、ＣＵ２０００内のＣＰＵ２００１がＨＤＤ２００４から制御プログラムをＲＡＭ２００２にロードして実行することで実現される。

まず、Ｓ６１で、入力画像となる原稿１ページを図２に示したスキャナ２０１５を介して読み込む。なお、原稿は、ＡＤＦ、あるいはＲＤＦ等から自動給紙されてスキャンされるものであっても、プラテンガラスにユーザにより載置されてスキャンされるものであってもよい。

次に、Ｓ６２で、ＣＰＵ２００１は、ＲＡＭ２００２を介して入力された画像に対して、矩形に分離されたブロックの画像部分、背景部等、所謂ブロック毎に独立したオブジェクトに分割するブロックセレクション処理を行う。以下、図７に示す例を参照して、ブロックセレクション処理を説明する。

図７は、本実施形態を示す画像処理装置における画像処理例を説明する図である。

図７において、７００１はスキャンされる入力原稿であり、テキストと、図表から構成される例である。なお、本例は、ユーザに任意に作成されたレイアウトに従って、ヘッダ、タイトル、小項目、内容、図表等が配置されているものであり、汎用性はない例である。

本実施形態において、ブロックセレクション処理とは、Ｓ６１で読み取った一頁の画像データを、ブロック群７００２に示すようにオブジェクト毎の塊として認識する。本例では、ブロックＴ１〜Ｔ９と、ブロックＬ１〜Ｌ４、Ｐ１、Ｐ２と認識するが、Ｔはテキストを示し、Ｌは線を示し、Ｐは画像を示す。

そして、該ブロック各々を文字／図画／写真／線／表等の属性に判定し、異なる属性を持つ領域に分割する処理である。なお、ブロックセレクション処理の実施形態については後述する。

次に、Ｓ６３で、ブロックセレクション処理に矩形に分離された各ブロックを図８に示すように操作部２００６のＬＣＤ表示部３００１に表示する。

図８は、図２に示した操作部２００６に表示されるブロックセレクション表示画面の一例を示す図である。

図８において、３００１はタッチパネル画面で、図７に示したブロック群７００２をスクロール可能に表示されている状態に対応する。３００８は決定ボタンで、表示されたブロックセレクション結果を確定する場合に押下される。なお、本実施形態ではＬＣＤ表示部３００１で表示されるブロックは、入力画像となる原稿ページと同じレイアウトで簡易表示した例を示している。

各ブロックは、矩形と共に属性に応じて、文字属性のブロックであれば”Ｔ＋＜ＩＤ＞”、線属性のブロックであれば”Ｌ＋＜ＩＤ＞”、図形・写真属性であれば”Ｐ＋＜ＩＤ＞”が表示される。

このような簡易表示をすることで、ＬＣＤ表示部３００１に表示する際の処理時間を短縮することができるとともに、オペレータにブロック選択する際の視認性向上にも役立つ。なお、各ブロックを属性別に色別表示して、視認性を向上させてもよい。

また、選択されるブロックの属性の割合が極端に画像よりであるとか、テキストよりであるかを判別して、ユーザにブロック選択のやり直しを示唆する表示を行ってもよい。これにより、出力される選択ブロックが偏ったものとなってしまうことを回避できる。

次に、Ｓ６４で、操作部２００６からオペレータによって外部表示装置１０１に表示するブロックをタッチパネル操作で選択する。なお、操作部２００６を介して入力された操作内容は、ＣＰＵ２００１によって認識される。そして、ＣＰＵ２００１は、操作部を介して入力された操作者の指示に基づいて複数の領域（ブロック）の中から少なくともいずれかの領域が操作者により選択されたものと判断する。

なお、図８に示す表示例では、オペレータから選択されたブロックとしてブロックＰ２およびブロックＴ９が選択された状態を示している。なお、表示画面からはスクロールしないと判別できないが、ブロックＴ２も選択されているものとして説明する。

オペレータが図８に示した選択決定ボタン３００８を押下することで、選択されたブロックが確定され、Ｓ６５に進み、外部表示装置１０１から解像度や表示特性等の表示装置情報を取得する。

次に、Ｓ６６において、オペレータから操作部２００６を介して、外部表示装置１０１に表示するブロックの画像に対する表示方法を図９に示す表示画面を介して設定する。本例は、出力装置として外部表示装置１０１がプロジェクタタイプの表示装置が接続された場合の表示設定の入力画面例を示している。

図９は、図２に示した操作部２００６に表示されるモニタ表示設定画面の一例を示す図である。本例は、スキャンした画像から抽出し、ユーザが選択した”ある属性の領域（例えば文字属性のブロック）”に対して、フォント、テキスト色、ライン色等を設定する例である。

なお、スキャンした画像から抽出したブロックに代えて、ユーザが選択したブロックの各々について、図９に示したモニタ表示画面を介して出力フォーマットの指定ができるように構成してもよい。

また、本実施形態では、文字属性についてはフォント及びテキスト色の設定が可能であり、線属性については色の設定が可能であり、写真属性については枠線の設定が可能な例を示す。

なお、各属性について、図示するもの以外にも、文字属性については、太字、網掛け等の文書処理で設定可能なものであれば設定可能な項目に加えてもよい。同様に、写真属性については枠線の設定の設定以外に、トリミング等を設定可能に構成してもよい。

なお、図９に示す属性の設定画面において、文字属性についてはフォント及びテキスト色の設定を視認性よく行えるように構成してもよい。

具体的には、例えば図９の（ｂ）に示すようなアイコンを図９の（ａ）に示す画面の文字あるいはイメージと記される位置に、それぞれアイコンＴＩ（テキスト用）、アイコンＩＩ（イメージ用）を配置する。そして、それぞれの設定に応じて、その結果をパネル表示（カラー表示）のアイコンの表示に反映させる制御を行う。

これにより、ユーザは、設定している内容をパネル表示で確認しながら、属性の設定を視認性よく行うことができる。

図９において、３００１はタッチパネル画面で、図８に示した選択決定ボタン３００８が押下された場合にＣＰＵ２００１の制御で表示されている状態に対応する。３００９は設定ボタンで、表示されたモニタ表示設定の内容を確定する場合にユーザの操作で押下される。

本画面では、パネル表示するブロック画像の内、文字属性のブロックに対して表示文字フォント９００１として角ゴシック体、文字色（テキスト色）９００２として青色に変換して表示する設定を行っている例である。つまり、オリジナル原稿の文字色属性を、ブロック選択時にユーザが指定することができ、出力する画像の視認性を高めることができる。例えば原稿上は赤色であっても、青色で画像出力することができる。また、強調文字等の属性を設定可能とすることで、認識される文字の書体や、修飾を変更して、太字や、イタリックとしたりすることも可能である。

なお、青色部分をカラーディスプレイ機能で、青色表示することで視認性を高めてもよい。

さらに、線属性のオブジェクトに対して、表示ライン色９００３として黒を表示する設定を行っている例である。

さらに、図画、写真属性のオブジェクトに対しては、ブロック境界を示す枠線を付加表示する設定のチェックボックＣＫ２にチェックを行っている。

したがって、ブロックＰ２に対する枠線として、黒色が指定されることとなる。つまり、オリジナル原稿にはない枠属性を、ブロック選択時にユーザが付加することができ、出力する画像の視認性を高めることができる。また、枠線についても、色枠線指定可能としてもよい。

なお、ＣＫ１はチェックボックスで、テキスト属性のオブジェクトに対しては、ブロック境界を示す枠線を表示する設定を指定する場合にチェックされる。

本画面において、設定ボタン３００９をオペレータが押下することで、表示設定情報が確定し、前記表示ブロック選択情報、表示装置情報、表示設定情報に従い、Ｓ６７で再レイアウト処理が行なわれる。なお、再レイアウト処理の詳細については後述する。

そして、再レイアウト処理された画像データは、Ｓ６８で、図１０に示すように外部表示装置１０１に画像出力される。本例は、スクリーン１０４に再レイアウト処理された画像が投影表示される出力例である。なお、画像出力として、カラー印刷することも可能であることはいうまでもない。

そして、Ｓ６９進み、入力画像となる原稿ページが存在する場合には、Ｓ６１に戻り、入力ページが無くなるまで処理を繰り返す。

なお、本実施形態では、Ｓ６８において、外部表示装置１０１に出力する例を示したが、再レイアウト処理された画像データの出力先としてＭＦＰ１００のプリンタ部２０１７に出力し、紙文書として出力させてもよい。

或いは、再レイアウト処理された画像データを再度外部表示装置１０１に表示させたい場合に備えて、Ｓ６８の処理と合わせて、ＭＦＰ１００のＨＤＤ２００４に保存させる処理を加えるよう構成させてもよい。

以下、本実施形態を示す画像処理装置におけるブロックセレクション処理について説明する。なお、下記に説明するブロックセレクション処理は、ＣＰＵ２００１が、ＨＤＤ２００４に記憶されたブロックセレクション処理に関するプログラムＲＡＭ２００２に読み出して実行することにより行われる。

先ず、入力画像を白黒を二値化して、黒画素で構成される輪郭で囲まれる画素の領域を抽出する。

そして、抽出された黒画素の領域を、大きさおよび形状という属性で分類することで、スキャナ２０１５が得た入力画像データを複数の領域に分割する。

例えば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字領域とする。

同様に、扁平な画素塊を線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域、不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域等とする。

具体的には、図７に示した入力原稿７００１の様な画像を読み取り、ブロック群７００２に示すようにブロック分割された各ブロック情報は、ＣＰＵ２００１によりＲＡＭ２００２上でブロック情報テーブルとして一時的に記憶管理される。

図１１は、図２に示したＣＰＵ２００１がＲＡＭ２００２で管理するブロック情報テーブルの一例を示す図である。

本実施形態では、ブロック情報は、属性、座標Ｘ、座標Ｙ、幅Ｗ、高さＨ、ＯＣＲ情報、選択ブロックＩＤがブロック情報テーブルに登録される。ここで、図８に示した操作画面において、選択ブロックＩＤは操作部２００６からオペレータによって外部表示装置１０１に表示するブロック群から選択されたブロックに対して、後述の再レイアウト処理の処理順序を示すＩＤである。

なお、文字や表については、公知の文字認識処理であるＯＣＲ処理を行う。これらのブロック毎の情報は、ベクトル化処理の為の情報として用いる。

次に、図１１に示すブロック情報に基づきブロック毎にベクトル化する。また、文字ブロックに対しては各文字に対して文字認識処理を行う。

このようなベクトル化処理によって、線画および文字は、座標の相対位置を計算することで、拡大縮小が可能となる。

また、ベクトル化できないイメージデータは、図１２に示す変倍処理で指定倍率に変倍する。

図１２は、本実施形態を示す画像処理装置における変倍処理のアルゴリズムを説明する図である。本例は、変倍処理が縮小の場合を示している。

図１２において、レンダリング対象の画像ブロックに対して、出力したい画素数から、位置をＣＰＵ２００１が計算する。次に、ＣＰＵ２００１により計算された位置の周辺の画素値を原画像から４点サンプル（ＳＰ１〜ＳＰ４）を取る。

次に、ＣＰＵ２００１は、取得したサンプルと本来欲しい位置との距離（Ｗｘ，Ｗｙ）から、それぞれのサンプルをどの程度重みを付けるか決定し、４点に重みをつけて足し合わせることで、目的の画像のピクセルを得る。これを目的の画像の画素すべてについて計算する。

以下、本実施形態を示す画像処理装置における文字認識処理について説明する。

文字認識部では、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。

この認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルと比較し、最も距離の近い字種を認識結果とする処理である。

特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。

上述したブロックセレクションで抽出された文字領域に対して文字認識を行う場合は、まず該当領域に対し横書き、縦書きの判定を行う。そして、各々対応する方向に行を切り出し、その後、文字を切り出して文字画像を得る。

なお、横書き、縦書きの判定は、該当領域内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断すればよい。

また、文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。縦書きの文字領域に対しては、水平と垂直を逆にすればよい。尚この時文字のサイズが検出できる。

次に、本実施形態を示す画像処理装置におけるフォント認識処理について説明する。

文字認識の際に用いる、字種数分の辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数ＨＤＤ２００４内に用意し、マッチングの際に文字コードとともにフォント種を出力する。これにより、ＣＰＵ２００１が文字のフォントを認識する。

次に、本実施形態を示す画像処理装置における文字のベクトル化処理について説明する。

上述した文字認識およびフォント認識よって得られた、文字コードおよびフォント情報を用いて、ＣＰＵ２００１は、各々あらかじめ用意されたアウトラインデータを用いて、文字部分の情報をベクトルデータに変換する。

なお、元原稿がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。

以上の処理により文字ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換出来る。

次に、本実施形態を示す画像処理装置における文字以外の部分のベクトル化処理について説明する。

本実施形態では、ＣＰＵ２００１がブロックセレクション処理で、図画あるいは線、表領域とされた領域を対象に、中で抽出された画素塊の輪郭をベクトルデータに変換する。

具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。以下、その処理について図１３、図１４を参照して説明する。

図１３、図１４は、本実施形態を示す画像処理装置における画像処理例を説明する図である。図１３、図１４は輪郭の区分線近似例である。

図１３において、角とは曲率が極大となる点であり、曲率が極大となる点は、任意点Ｐｉに対し左右ｋ個の離れた点Ｐｉ−ｋ，Ｐｉ＋ｋの間に弦を引いたとき、この弦とＰｉの距離が極大となる点として求められる。

さらに、Ｐｉ−ｋ，Ｐｉ＋ｋ間の弦の長さ／弧の長さをＲとし、Ｒの値が閾値以下である点を角とみなすことができる。また、角によって分割された後の各区間は、直線は点列に対する最小二乗法など、曲線は３次スプライン関数などを用いてベクトル化することができる。

また、対象が内輪郭を持つ場合、ブロックセレクションで抽出した白画素輪郭の点列を用いて、同様に部分的直線あるいは曲線で近似する。

以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。

さらに、図１４に示す様に、ある区間で外輪郭と、内輪郭あるいは別の外輪郭が近接している場合、２つの輪郭線をひとまとめにし、太さを持った線として表現することができる。

具体的には、図１４に示すように、ある輪郭の各点Ｐｉから別輪郭上で最短距離となる点Ｑｉまで線を引き、各距離ＰＱｉが平均的に一定長以下の場合、注目区間はＰＱｉ中点を点列として直線あるいは曲線で近似する。そして、その太さはＰＱｉの平均値とする。また、線や線の集合体である表罫線は、前記のような太さを持つ線の集合として効率よくベクトル表現することができる。

なお、先に文字ブロックに対する文字認識処理を用いたベクトル化を説明したが、該文字認識処理の結果、辞書からの距離が最も近い文字を認識結果として用いる。しかしながら、この距離が所定値以上の場合は、必ずしも本来の文字に一致せず、形状が類似する文字に誤認識している場合が多い。

従って、本実施形態では、この様な文字に対しては、上記した様に、一般的な線画と同じに扱い、該文字をアウトライン化する。

即ち、従来文字認識処理で誤認識を起こす文字に対しても誤った文字にベクトル化されず、可視的にイメージデータに忠実なアウトライン化によるベクトル化が行える。

また、写真と判定されたブロックに対しては本実施形態では、ベクトル化出来ない為、イメージデータのままとする。

次に、本実施形態を示す画像処理装置における図形認識処理について説明する。

上述したように任意形状の図形のアウトラインをベクトル化した後、これらベクトル化された区分線を図形オブジェクト毎にグループ化する処理について説明する。

図１５は、本実施形態を示す画像処理装置における第２のデータ処理手順の一例を示すフローチャートである。本例は、図形オブジェクト認識処理（ベクトルデータを図形オブジェクト毎にグループ化するまでの処理）例である。なお、Ｓ１５０１〜Ｓ１５０３は各ステップを示す。また、各ステップは、ＣＵ２０００内のＣＰＵ２００１がＨＤＤ２００４から制御プログラムをＲＡＭ２００２にロードして実行することで実現される。

まず、Ｓ１５０１でＣＰＵ２００１は、ＲＡＭ２００２上に保持される各ベクトルデータの始点、終点を算出する。次に、Ｓ１５０２で、ＣＰＵ２００１は、各ベクトルの始点、終点情報を用いて、図形要素を検出する。ここで、図形要素の検出とは、区分線が構成している閉図形を検出することである。検出に際しては、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用し、検出を行う。

次に、Ｓ１５０３で、ＣＰＵ２００１は、図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとして、本処理を終了する。

なお、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。

図１６は、本実施形態を示す画像処理装置における第３のデータ処理手順の一例を示すフローチャートである。本例は、本例は、図形要素検出処理例である。なお、Ｓ１６０１〜Ｓ１６０３は各ステップを示す。また、各ステップは、また、各ステップは、ＣＵ２０００内のＣＰＵ２００１がＨＤＤ２００４から制御プログラムをＲＡＭ２００２にロードして実行することで実現される。

先ず、Ｓ１６０１で、ＣＰＵ２００１は、作成されてＲＡＭ２００２に保持されるベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形構成ベクトルを抽出する。

次に、Ｓ１６０２で、ＣＰＵ２００１は、閉図形構成ベクトルの中から該ベクトルの始点を開始点とし、時計回りに順にベクトルを追っていく。そして、開始点に戻るまで行い、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する。

また、ＣＰＵ２００１は、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。

最後に、Ｓ１６０３で、ＣＰＵ２００１は、除去された不要ベクトルのうち、Ｓ１６０２で閉図形としてグループ化されたベクトルに接合しているものを検出し一つの図形要素としてグループ化して、本処理を終了する。

以上によって図形ブロックを個別に拡大縮小再配置可能な個別の図形オブジェクトとして扱う事が可能になる。

次に、本実施形態を示す画像処理装置における再レイアウト処理について説明する。

図１７は、本実施形態を示す画像処理装置における第４のデータ処理手順の一例を示すフローチャートである。本例は、本例は、再レイアウト処理例であって、図６に示したＳ６７の再レイアウト処理の詳細手順例ある。なお、Ｓ１７０１〜Ｓ１７０７は各ステップを示す。また、各ステップは、ＣＵ２０００内のＣＰＵ２００１がＨＤＤ２００４から制御プログラムをＲＡＭ２００２にロードして実行することで実現される。

なお、本フローチャートでは入力画像として図７に示した入力原稿７００１であって、図８に示した操作画面で、ユーザによりブロックＴ２，Ｐ２，Ｐ３のブロックが選択されたものとして説明を行う。

また、再レイアウト処理の直前に予め各ブロックの矩形サイズは、入力画像のページ全体が外部表示装置１０１の表示サイズに収まるように縮小処理済みであるとする。

まず、Ｓ１７０１で、ＣＰＵ２００１は、選択されたブロックを外部表示装置１０１の表示領域内に左上端詰め、かつ各ブロック間のマージンを水平方向Δｘ，垂直方向Δｙを保つように再配置する。

図１８は、本実施形態を示す画像処理装置における再レイアウト処理を説明する図である。

図１８において、幅Ｘ，Ｙで示した囲まれる閉じた領域が外部表示装置１０１の表示領域を示しており、各ブロックＴ２，Ｐ２，Ｐ３に対応する入力画像を示している。

次に、Ｓ１７０２に進み、ＣＰＵ２００１は、再配置されたブロックのレイアウト領域の横幅（図１８に示すｘ）と縦幅（図１８に示すｙ）を大きさを比較し、横幅が大きいかどうかを判断する。ここで、横幅が大きいと判断した場合には、Ｓ１７０３に進み、各ブロックサイズをＸ／ｘ倍に拡大し、さらにＳ１７０４でブロックのレイアウト領域を水平方向にセンタリング（中央揃えに配置）する。

一方、Ｓ１７０２で、縦幅が大きいと判断した場合には、Ｓ１７０６で、ＣＰＵ２００１は、各ブロックサイズをＹ／ｙ倍に拡大し、Ｓ１７０７で、ＣＰＵ２００１は、レイアウト領域を垂直方向にセンタリング（中央揃えに配置）する。以上説明したステップＳ１７０１〜Ｓ１７０４を実行することにより、ＣＰＵ２００１は、ユーザにより選択されたブロック（Ｔ２，Ｐ２，Ｐ３）を、拡大又は縮小することにより外部表示装置の表示領域に配置してレイアウトデータを生成する。

そして、Ｓ１７０５で、ＣＰＵ２００１は、前述の表示ブロック選択、表示装置情報取得、表示設定の各情報に基づき、レイアウトデータに基づいてブロック毎に画像生成および画像変換処理を行い外部表示装置１０１に表示する出力画像データを生成して、処理を終了する。

以上説明した処理においては、スキャンしたデータを出力（プレゼンテーション、印刷）用画像データとして加工する際に、予めフォーマットを用意しておく必要がない。このため、フォーム情報をあらかじめ記憶する記憶手段を不要できるため安価なシステムとなる。また、選択する領域も出力する領域に対応して柔軟にレイアウトできる。

これにより、例えばユーザの指示に応じた領域を選択し、選択された領域に対応する画像データを１ページにレイアウトしたプレゼンテーションデータに自在に加工して出力手段から出力することができる。

図１９は、本実施形態に示す画像処理装置における再レイアウト処理を説明する図である。本例は、図１８に示す外部表示装置１０１の表示領域に選択したブロックを再配置した状態例である。

これにより、図２０に示すスキャン入力原稿から、ユーザが図９に示した操作画面でブロックの属性を指定した場合に図１に示した外部表示装置１０１に画像出力する例を図２１に示す。

図２０は、図２に示したスキャナ２０１５から入力される原稿ＯＲの一例を示す図である。なお、本例のレイアウトは、ＭＦＰ１００にあらかじめ登録されたフォーマットに基づくものではない。したがって、テキスト、図形、画像等の配置は上述したようなブロック分割とその属性の抽出処理により、それぞれの領域と、属性が決定される。

図２１は、図２０に示した入力原稿に対するユーザ選択されたブロックを抽出して自動レイアウトした画像出力例を示す図である。なお、本実施形態において、画像出力とは、図１に示すような外部表示装置１０１に対する表示出力と、図２に示したプリンタ２０１７に対する印刷出力とが含まれる。なお、これらの組み合わせであってもよい。

図２１において、斜線で示す部分は、本来出力されるものではなく、説明上記載している。つまり、テキスト領域ＴＸ１に対して、図９の（ａ）に示す操作画面において、テキスト属性に対して、フォント属性が角ゴシックで、テキスト色が青とユーザ指定されている。

したがって、再レイアウト処理された画像処理時には、指定されたフォントで、かつ、指定された色、すなわち、ゴシック体で、出力テキスト色が青色となる。しかしながら、図面では、そのテキストの色を青色で示すことができないため、斜線領域のテキストは青色であるものとすることを強調するために斜線で示した。

また、同様に、図９の（ａ）で示した表示ライン色９００３は、図画、写真属性のオブジェクトに対しては、ブロック境界を示す枠線を付加して表示する設定のチェックボックＣＫ２にチェックを行っている。

したがって、ブロックＰ２に対する枠線として、黒色が指定されているので、原稿ＯＲのブロックＰ２に対応する箇所には、オリジナル画像には枠線がないが、再レイアウト処理により、ユーザから指定された枠線も画像出力される。

このように本実施形態では、特許文献１に記載されているように、レイアウト用にあらかじめフォームを用意する必要ななく、ＭＦＰ１００が備える記憶装置に無駄なフォーム領域を持つ必要がない。

また、レイアウトについては、オリジナルの原稿から認識されて、かつ、ユーザが画像出力したいと選択したブロックを出力領域に対して最適に割り当てることができる。

したがって、ユーザは、レイアウト構成を気にすることなく、認識されたブロック群から出力したいブロックを選択し、かつ選択したブロックに対して、オリジナルとは異なる属性をテキスト、写真等に施した状態で画像出力できる。

〔第２実施形態〕
本実施形態では、ＭＦＰ１００の操作パネルを介して、ユーザ選択されるブロックを再レイアウトして画像出力する場合について説明した。しかしながら、クライアントＰＣのスキャナドライバを介して、再レイアウトすべきブロックを選択して画像出力するように制御してもよい。例えば無線通信可能なクライアントＰＣ等を移動して、ＭＦＰ１００の操作パネルに代えて、スキャナドライバの表示画面で操作するといったことにも柔軟に対応することができる。

〔第３実施形態〕
本実施形態では、原稿画像から認識されたブロック群からユーザにより選択されたブロックを再レイアウトして画像出力する場合について説明したが、選択したブロック中で出力したくない領域が存在する場合がある。例えば教授が講義において、学生に注意を喚起したい等の様々な要因によりブロック中の一部をマスクしたいという要求が発生する場合がある。

そこで、ブロック選択時に、マスク設定画面を表示して、選択したブロックごとにマスク領域を設定して、画像出力時に、そのマスクとの論理積を施して画像出力を制御することで、上記マスク要求にも対応できるようにしてもよい。

また、上記画像出力中に、マスクデータのみを解除して、マスク箇所を表示するように制御して、隠蔽されていたマスク領域の内容を表示あるいは印刷することで、柔軟に画像出力を切り替えることができるように制御してもよい。

〔第４実施形態〕
以下、図２２に示すメモリマップを参照して本発明に係る画像処理装置で読み取り可能なデータ処理プログラムの構成について説明する。

図２２は、本発明に係る画像処理装置で読み取り可能な各種データ処理プログラムを格納する記憶媒体のメモリマップを説明する図である。

なお、特に図示しないが、記憶媒体に記憶されるプログラム群を管理する情報、例えばバージョン情報，作成者等も記憶され、かつ、プログラム読み出し側のＯＳ等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。

さらに、各種プログラムに従属するデータも上記ディレクトリに管理されている。また、各種プログラムをコンピュータにインストールするためのプログラムや、インストールするプログラムが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。

本実施形態における図６、図１５、図１６、図１７に示す機能が外部からインストールされるプログラムによって、ホストコンピュータにより遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記憶媒体により、あるいはネットワークを介して外部の記憶媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。

以上のように、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

従って、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、該ホームページから本発明のコンピュータプログラムそのもの、もしくは、圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバやｆｔｐサーバ等も本発明の請求項に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。例えばそのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行う。そして、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込ませる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から排除するものではない。

本発明の様々な例と実施形態を示して説明したが、当業者であれば、本発明の趣旨と範囲は、本明細書内の特定の説明に限定されるのではない。

本発明の第１実施形態を示す画像処理装置を適用する画像処理システムの一例を示す図である。本実施形態を示す画像処理装置の構成を説明するブロック図である。図２に示したスキャナ画像処理の詳細構成を説明するブロック図である。図２に示した操作部の構成を示す平面図である。本実施形態を示す画像処理装置のモジュール構成を説明するブロック図である。本実施形態を示す画像処理装置における第１のデータ処理手順の一例を示すフローチャートである。本実施形態を示す画像処理装置における画像処理例を説明する図である。図２に示した操作部に表示されるブロックセレクション表示画面の一例を示す図である。図２に示した操作部に表示されるモニタ表示設定画面の一例を示す図である。図である。図２に示したＣＰＵがＲＡＭで管理するブロック情報テーブルの一例を示す図である。本実施形態を示す画像処理装置における変倍処理のアルゴリズムを説明する図である。本実施形態を示す画像処理装置における画像処理例を説明する図である。本実施形態を示す画像処理装置における画像処理例を説明する図である。本実施形態を示す画像処理装置における第２のデータ処理手順の一例を示すフローチャートである。本実施形態を示す画像処理装置における第３のデータ処理手順の一例を示すフローチャートである。本実施形態を示す画像処理装置における第４のデータ処理手順の一例を示すフローチャートである。本実施形態を示す画像処理装置における再レイアウト処理を説明する図である。本実施形態に示す画像処理装置における再レイアウト処理を説明する図である。図２に示したスキャナから入力される原稿ＯＲの一例を示す図である。図２０に示した入力原稿に対するユーザ選択されたブロックを抽出して自動レイアウトした画像出力例を示す図である。本発明に係る画像処理装置で読み取り可能な各種データ処理プログラムを格納する記憶媒体のメモリマップを説明する図である。

符号の説明

１００ＭＦＰ
１０１外部表示装置
１０２クライアントＰＣ

Claims

原稿を読み取って入力画像データを得る入力手段と、
前記入力手段により入力された入力画像データを複数の領域に分割する分割手段と、
ユーザの指示に基づいて前記複数の領域の中から少なくともいずれかの領域を選択する選択手段と、
前記選択手段により選択された領域を変倍して一定サイズのページ領域に配置してレイアウトデータを生成するレイアウト手段と、
前記レイアウト手段により生成されたレイアウトデータに基づいて出力画像データを生成する生成手段と、
前記生成手段により生成された出力画像データを出力する出力手段と、
を有することを特徴とする画像処理装置。
前記選択手段により選択された領域に対して、前記選択された領域の前記出力画像データを前記生成手段で生成する際の生成属性を指定する属性指定手段を備え、
前記生成手段は、前記属性指定手段により指定された生成属性に基づいて、前記レイアウトデータに基づいて前記出力画像データを生成することを特徴とする請求項１記載の画像処理装置。
前記選択された領域が文字データを含む文字領域である場合、前記属性指定手段は、前記生成属性として前記文字データのフォント種を指定することを特徴とする請求項２記載の画像処理装置。
前記選択手段により選択された領域を表示する表示手段を有し、
前記選択手段は、前記表示手段により表示された前記複数の領域の中から、ユーザの指示に基づいて前記複数の領域の少なくともいずれかを選択することを特徴とすることを特徴とする請求項１記載の画像処理装置。
前記生成手段は、前記選択手段により選択された各領域の座標情報と前記表示手段の表示領域とに基づいて、前記レイアウトデータを生成することを特徴とする請求項１記載の画像処理装置。
前記分割手段により分割された領域は、文字領域、図形領域、写真領域又は枠線領域のいずれかであることを特徴とする請求項１記載の画像処理装置。
前記出力手段は、前記生成手段により生成された出力画像データを表示することを特徴とする請求項１記載の画像処理装置。
前記出力手段は、前記生成手段により生成された出力画像データの印刷をすることを特徴とする請求項１記載の画像処理装置。
原稿を読み取って入力画像データを得る入力部を備える画像処理装置における画像処理方法であって、
前記入力部により入力された入力画像データを複数の領域に分割する分割工程と、
ユーザの指示に基づいて前記複数の領域の中から少なくともいずれかの領域を選択する選択工程と、
前記選択工程により選択された領域を変倍して一定サイズのページ領域に配置してレイアウトデータを生成するレイアウト工程と、
前記レイアウト工程により生成されたレイアウトデータに基づいて出力画像データを生成する生成工程と、
前記生成工程により生成された出力画像データを出力する出力工程と、
を有することを特徴とする画像処理方法。
前記選択工程により選択された領域に対して、前記選択された領域の前記出力画像データを前記生成工程にて生成する際の生成属性を指定する属性指定工程を備え、
前記生成工程は、前記属性指定手段により指定された生成属性に基づいて、前記レイアウトデータに基づいて前記出力画像データを生成することを特徴とする請求項９記載の画像処理方法。
前記選択された領域が文字データを含む文字領域である場合、前記属性指定工程は、前記生成属性として前記文字データのフォント種を指定することを特徴とする請求項１０記載の画像処理方法。
前記選択工程により選択された領域を操作部に表示する表示工程を有し、
前記選択工程は、前記操作部により表示された前記複数の領域の中から、ユーザの指示に基づいて前記複数の領域の少なくともいずれかを選択することを特徴とすることを特徴とする請求項９記載の画像処理方法。
前記生成工程は、前記選択工程により選択された各領域の座標情報と前記操作部の表示領域とに基づいて、前記レイアウトデータを生成することを特徴とする請求項９記載の画像処理方法。
前記分割工程により分割された領域は、文字領域、図形領域、写真領域又は枠線領域のいずれかであることを特徴とする請求項９記載の画像処理方法。
前記出力工程は、前記生成工程により生成された出力画像データを表示することを特徴とする請求項９記載の画像処理方法。
前記出力工程は、前記生成工程により生成された出力画像データの印刷をすることを特徴とする請求項９記載の画像処理方法。