JP2007336143A

JP2007336143A - 画像処理装置

Info

Publication number: JP2007336143A
Application number: JP2006164464A
Authority: JP
Inventors: Akira Muragata; 明村形
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2006-06-14
Filing date: 2006-06-14
Publication date: 2007-12-27
Also published as: US8422811B2; US20080056598A1

Abstract

【課題】画像処理装置において、画像スキューなどの認識精度を向上させ、認識処理と補正処理を高速化し、装置構成を簡素化する。
【解決手段】読取装置101からの画像データの特性を統一して保存する。画像データの状態を認識して付帯情報として保持する。付帯情報を調べて、目的の出力形式に合わせて、画像スキューなどを検知して補正処理を行う。その際、ハードウェアとソフトウェアの実装状態に合わせて、最適な画像処理パスを選択して処理する。簡単な処理であれば、画像処理装置で実行できる。複雑な処理であれば、ネットワーク接続されたPCにより実行する。画像処理の目的に合わせて装置構成を選択できるので、簡単な構成で高速に処理できる。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に、画像の状態を認識して天地識別やスキュー補正などの補正処理を行う画像処理装置に関する。

従来のアナログ複写機は、デジタル化された画像データによりコピーを作成するデジタル複写機となった。デジタル複写機となって、デジタル画像データを扱う他の装置との親和性が高まった。複写機としての機能だけでなく、ファクシミリ機能やプリンタ機能やスキャナー機能等のいろいろな機能と複合して、単なるデジタル複写機ではなく、デジタル複合機（MFP機器）と呼ばれるようになった。メモリの大容量化と低コスト化により、紙原稿をデジタル画像データにする機能が進化した。MFP機器に関連する技術も進化している。高速のネットワークが普及し、CPUの処理能力が向上し、デジタル画像データに関連する圧縮技術等が発達している。これに伴い、MFP機器に搭載される機能も多種・多様化してきている。近年では、MFP機器の使われ方も多種・多様化してきている。MFP機器内部にデジタル画像データを蓄積保存しておき、その情報が必要になった場合に、再出力する使われ方が増えてきている。

MFP機器は、小型から大型まで多様化してきている。PCの横にペアで設置され、操作者が手軽に複写機・ファクシミリ・プリンタ・スキャナの機能を使用することができる小型MFP機器がある。部署や課単位の複数名で共有され、ある程度の生産性やソート・パンチ・ステープル等の機能が使用できる中型のMFP機器がある。企業の中で複写関連業務を集中して行う部署や、複写関連業務そのものを本業とする会社では、高生産性・高品位で多機能な大型のMFP機器が使用されている。

各クラスにわたって共有できる機能も存在するが、クラスごとに要求が強い機能も存在する。例えば、大型MFP機器では、パンチ・ステープル・紙折り等、プロット後の紙に対する後加工や、複写業務と同時に電子ファイリング化すること等が求められる。小型MFP機器では、インターネットFAXやPC-FAX等の充実や、パーソナル的な使用目的として専用紙に対する高品位画像印刷等が求められる。このように多種・多様化してきているMFP機器に対して、各クラスに必要な機能をセットにしたシステムを構築している。

ところで、MFP機器の読取装置においては、原稿が傾いた状態で読み取られることがある。例えば、大量の原稿を印刷する場合によく使用されるドキュメントフィーダ(DF)を使って原稿を搬送する際に、原稿が傾くことがある。その結果、読取画像の電子データが傾いてしまい、紙に印刷した画像も傾いてしまう。デジタルデータをOCRにかけてテキストデータにする場合に、原稿の傾きにより認識率が低下する。また、ユーザーが原稿の天地を意識することなくセットすることによって、電子データの天地が読み取られた状態のままになり、印刷結果に天地が逆のものが混在することなる。MFP機器をビジネス用途で使用する場合は、天地をそろえて出力するために、あらかじめ自分で原稿の天地を揃える必要がある。

このような不便を解消するために、原稿の天地を認識して補正し、原稿傾きを検出して補正する機能を備えて、ユーザーが原稿の傾きを意識する必要をなくしたMFP機器がある。また、MFP機器にオプション接続したPCで、天地を自動判別して回転し、原稿の傾き角度を判別して傾きを補正するものもある。以下に、これに関連する従来技術の例をいくつかあげる。

特許文献１に開示された「画像読取装置」は、ADFで読み取られた原稿に対して傾きを検出し補正するものである。ADF機構によるスキャナー部への原稿の傾きに対し傾き補正を行う。原稿を主走査方向の１ライン毎に逐次画像情報に変換し、自動原稿送り機構（ADF機構）を用いて原稿を副走査方向に移動させる。スキャナー部に対する原稿の傾き角θを検出するための識別枠線を有するキャリアシートを用いて、原稿の走査方向の傾き角を検出する。傾き角θを記憶する。記憶された傾き角θを用いて画像情報の位置を補正する。スキャナー部の機械的ずれ等による原稿の走査方向の傾き角θを検出し、傾き角θを保持することによって、再度原稿を読み取る毎に、画像データの傾き角θを傾き補正して出力する。

特許文献２に開示された「画像読取装置」は、原稿の傾きに応じて補正された画像データを出力することができ、出力される画像データにおける原稿周縁近傍の画像データの欠落を防止することができて、出力される画像データの利便性を向上することができる画像読取装置である。原稿の画像面全体を含む画像データを読み込み記憶する。画像データおよび定型サイズの原稿の載置位置を指定する長方形を表示する。画像データを画像読込記憶手段から画像表示手段へ転送する。長方形の１辺に対する１辺と交差する原稿の周縁部分の傾きに応じて画像データを補正する。データ補正手段によって補正された画像データを出力する。

特許文献３に開示された「画像処理装置」は、原稿面と読取部との傾きに応じた補正処理を実行し、ゆがみのない良好な画像を得るものである。原稿の被読取面と該読取面を読み取る読取部とを指定角度だけ傾かせる。入力部により入力された画像情報を処理する。原稿の移動読取方向と読取部との傾きである指定角度に応じて画像処理時の補正を実行する。原稿面と読取装置との傾きに応じた補正処理を行う。

特許文献４に開示された「画像読取装置」は、読取装置自体にスキュー検知を取り入れてその検知結果より補正処理を行うものである。原稿の画像を読み取るラインセンサの出力に基づいて原稿のスキューを判別して画像データのスキューを補正する。画像読取装置は、CCDで、原稿に向かって照射された光の反射光を受光して原稿の画像を読み取るに際して、CCDの出力から原稿の位置及び幅を検知する原稿サイズ検知処理を画像処理部で行う。当該検知結果に基づいて原稿の傾きであるスキューをCPUで判別する。判別したスキューに基づいて読み取った原稿の画像データの傾きをCPUの制御下で画像処理部により補正している。従って、新たな検知手段を設けることなく、原稿の画像を読み取るCCDの読取結果に基づいて原稿のスキューを検知して、当該原稿のスキューに応じて画像データの傾き補正を行うことができる。

特許文献５に開示された「画像処理装置」は、蓄積・保存した画像データに対し、画像処理を行う第２の画像処理手段を設けたものである。高画質化処理を容易にする。画像処理速度を向上させる。処理システム全体での高画質化処理および処理速度向上を容易にする。画像入力手段、FCU、PCが与える画像データを処理する第１の画像処理手段がある。IPPに対する、データバスの画像データ送受、を一括管理する画像バス管理CDICがある。メモリに対する、データバスの画像データ送受アクセスを一括管理するメモリ管理IMACがある。メモリ管理IMACによってメモリに対するアクセスを管理され、メモリ上のデータに対してアクセスして画像データ処理を行うことができる第２の画像処理手段がある。この画像処理装置は更に、第２のIPP２がメモリに直接にアクセスしてデータを読み書きするための専用のバスがある。

特許文献６に開示された「文書画像処理方法」は、多値の画像データの画像で暗い背景中に明るい文字など明度反転状態にかかわらず画像の傾きや文書方向の判別が可能となり、文字認識処理のための情報として有効な情報を出力する方法である。入力される多値の画像からグレー画像を作成し、二値画像Ａを作成し、画像の傾きの検出や画像の方向の検出を行い、傾きや方向の検出の成功を判断する。成功時には画像を角度補正する。一方、失敗時には明度反転したグレー画像を作成し、二値画像Ｂを作成し、再度、角度や方向を検出し、角度補正された画像を作成する。これにより明度反転の有無にかかわらず画像の傾きや方向を正確に検出し補正できる。
特開平09-200507号公報特開平10-327310号公報特開平11-017892号公報特開2001-358914号公報特開2002-111988号公報特開2003-281469号公報

しかし、従来の画像補正方法などでは、次のような問題がある。MFP機器内部に蓄積・保存しておいたデジタル画像データを再度出力する場合、利用目的に応じた最適な画質で使うことが困難である。例えば、コピーの際に保存したデジタル画像データをFAX送信する場合に、スキュー補正して文字部を強調するとFAXに不適な画質となることがある。また、MFP機器やオプションのPCに高精度の補正手段を備えれば、全ての利用目的に最適な画像補正処理を行うことができるが、利用しないユーザーにとってはコストがかかるだけ負担になる。さらに、スキュー補正以外の補正処理についても、利用目的に応じた最適な画像を得ることは、従来方法では不可能である。

本発明の目的は、上記従来の問題を解決して、画像データの状態を認識して、利用目的に応じた最適な補正処理を行う画像処理装置において、構成を簡素化しながら、よい認識精度で高速に補正処理することである。

上記の課題を解決するために、本発明では、画像読取装置から出力される画像データの画質を所定の統一的基準に合致するように処理して一定の画質の入力画像データとその付帯情報を生成する第１画像データ処理装置と、入力画像データと付帯情報を蓄積するメモリ装置と、入力画像データと付帯情報を処理して目的の出力装置に適した出力画像データを生成する第２画像データ処理装置と、ネットワークを介してクライアント情報処理装置を接続するための外部インタフェース手段とを具備する画像処理装置の第２画像データ処理装置に、入力画像データの状態を認識して認識結果を出力する画像認識手段と、認識結果を画像データに反映させる反映処理を行う反映手段と、認識結果と機器構成とに応じて反映処理の内容と手順を切り替える切替手段とを備える構成とした。

また、画像認識手段は、認識結果の確信度を求める手段を備え、切替手段は、認識結果の確信度に応じて反映処理の実行可否を判断する手段を備える。切替手段は、ソフトウェア構成とハードウェア構成とに応じて反映処理の内容を切り替える手段を備え、記憶容量に応じて反映処理の内容を切り替える手段を備え、記憶容量と入力画像の解像度とサイズに応じて反映処理の実行可否を判断する手段を備え、オプションハードウェアの装着の有無に応じてハードウェア処理とソフトウェア処理を切り替える手段を備える。

また、画像認識手段は、画像の天地を識別する天地識別手段と画像の傾きを検出するスキュー検知手段を備え、反映手段は、画像の天地が正しくなるように回転する天地回転手段と画像の傾きをなくすスキュー補正手段を備える。切替手段は、入力画像データから文字と非文字が分離された分離データが付帯情報にあるか否かに応じて反映処理の内容を切り替える手段を備える。

また、画像処理装置とクライアント情報処理装置とがネットワークで接続された画像処理システムのクライアント情報処理装置に、画像処理装置から入力画像データと付帯情報を受信する手段と、入力画像データの状態を認識して認識結果を出力するクライアント画像認識手段と、認識結果を入力画像データに反映させるクライアント反映手段と、反映した結果を画像処理装置に送信する手段とを備える。

また、受信した付帯情報に認識結果がなかった場合には、入力画像データの状態を認識して認識結果を求めるようにクライアント画像認識手段を制御する手段を備える。反映処理を施していない入力画像データを受信した場合には、入力画像データの状態を認識して認識結果を求めるようにクライアント画像認識手段を制御するとともに、認識結果を入力画像データに反映させるようにクライアント反映手段を制御する手段を備える。クライアント画像認識手段による認識結果の確信度が閾値より低い場合には、反映処理を実行しないように制御する手段を備える。ユーザー判定結果を認識結果に対応するデータとしてユーザーが設定する手段と、ユーザー判定結果を入力画像データに反映させるようにクライアント反映手段を制御する手段とを備える。

上記のように構成したことにより、簡素な構成の画像処理装置で、画像データの状態を精度よく認識して、利用目的に応じて最適な補正処理を高速に行うことができる。すなわち、特性が統一された画像データに対して、単一の方法で最適な認識処理を行うことができるため、装置構成もプログラム構成も簡素化できる。

以下、本発明を実施するための最良の形態について、図１〜図16を参照しながら詳細に説明する。

本発明の実施例１は、第１画像データ処理装置で、画像読取装置からの画像データの特性を統一して入力画像データと付帯情報としてHDDに格納し、第２画像データ処理装置で、HDDから読み出した入力画像データと付帯情報について、画像状態の認識処理と画像データの補正などの反映処理を行い、画像データと付帯情報をネットワーク接続されたクライアントPCに送信し、クライアントPCで、認識結果の有無などに基づいて、認識処理と反映処理の実行の有無を決定できるようにした画像処理装置である。

図１は、本発明の実施例１における画像処理装置（MFP機器）のシステム構成の概要を示す概念図と、第２画像データ処理装置で状態認識処理と反映処理を実行する手順を示す流れ図である。図２は、ネットワークに接続されたクライアントPCでの処理手順を示す流れ図と、ユーザー指示による反映処理の手順を示す流れ図である。

図１において、読取装置101は、原稿を光学的に読み取って、電子化した画像データを出力する装置である。第１画像データ処理装置102は、画像読取装置からの画像データを処理する装置である。バス制御装置103は、各装置を接続する装置である。第２画像データ処理装置104は、メモリ装置からの画像データを処理する装置である。HDD105は、ハードディスク装置である。CPU106は、全体を管理する演算制御装置である。メモリ107は、画像データとその付帯情報を蓄積する装置である。

プロッタI/F装置108は、CPUとプロッタ装置を接続する装置である。プロッタ装置109は、転写紙に画像データを印字する装置である。操作表示装置110は、操作用のタッチパネルなどである。回線I/F装置111は、電話線などを接続する装置である。外部I/F装置112は、外部装置と画像データを送受する装置である。CPU113は、プリンタエンジン制御用の演算制御装置である。ROM114は、固定的なデータを保持する不揮発性メモリである。FAX115は、外部のFAX装置である。クライアントPC116は、ネットワークを介して接続されたパソコンである。

上記のように構成された本発明の実施例１における画像処理装置の機能と動作を説明する。MFP機器とクライアントPCにおける状態認識処理が天地識別とスキュー検知である場合を説明する。その他の状態認識処理としては、OCRや画像データのノイズ認識や色バランス認識や形状歪認識などがある。反映処理としては、テキスト化してPDFにすることや不正コピー防止や圧縮処理や形状補正やノイズ除去や色補正などがある。これらの処理についても同様に適用できる。天地識別とスキュー補正については、公知技術(特許文献６等参照)をそのまま使用するので、そのアルゴリズムの詳細説明は省略する。その他の状態認識処理や反映処理についても、周知技術であるので説明は省略する。

最初に、図１（ａ）を参照しながら、画像処理装置の機能の概要を説明する。読取装置101は、CCD光電変換素子からなるラインセンサとA/Dコンバータとそれらの駆動回路を備えている。セットされた原稿をスキャンして原稿の濃淡情報を得て、RGB各８ビットのデジタル画像データを生成して出力する。第１画像データ処理装置102は、読取装置101からのデジタル画像データに対し、予め定めた特性に統一する処理を行う。読取装置101の特性は不変であり、出力特性も予め定められているので、専用の画像処理回路であるASICにより、決められた画像処理を行う。制御用のCPU113で画像データの流れを制御し、画像処理回路のASICを制御する。プロッタIF装置108とプロッタ装置109をまとめてエンジン部と呼び、CPU113でエンジン部全体を管理する。

バス制御装置103はASIC化されており、デジタル画像処理装置内で必要な画像データや制御コマンド等各種データのやり取りを行う。複数種の異なる規格のバス間を接続するブリッジ機能も有している。第１画像データ処理装置102と第２画像データ処理装置104とCPU106は、PCIバスやPCI-Expressバスで接続されている。HDD105はATAバスで接続されている。第２画像データ処理装置104は、第１画像データ処理装置102により予め定められた特性に統一されたデジタル画像データに対し、ユーザーから指定される出力先に適した画像処理を施して出力する。第２画像データ処理装置104の入力画像データの特性は統一化されているので、出力先に適した画像処理を行う前段で認識処理を施し、その結果に応じて後段で必要な処理を行う。

HDD105は、デスクトップパソコンにも使用されている電子データを保存するための大型の記憶装置である。デジタル画像処理装置内では、主にデジタル画像データとその付帯情報を蓄積する。IDEを拡張して規格化されているATAバス接続のハードディスクを使用する。CPU106は、デジタル画像処理装置の制御全体を司るマイクロプロセッサである。全体制御のためのシーケンス管理や各装置への要求管理やハードウェアの設定管理、タイミング管理や複数のユーザー要求に対するタスク管理、第２画像データ処理装置104のソフトウェアによる画像処理も、このCPU106を用いて実行される。メモリ107は、CPU106がプログラムを実行する際に、プログラムや中間処理データや画像データを一時的に記憶する揮発性メモリである。オブジェクト指向プログラムにより、各制御単位にオブジェクト化されたオブジェクトデータを保存しておき、ユーザー要求と各オブジェクトの責務に従って制御処理を遂行する。

バス制御装置103と第２画像データ処理装置104とHDD105とメモリ107は、コントローラ部に属する。ROM114と操作表示装置110と回線I/F装置111と外部I/F装置112も、コントローラ部に属する。これらは、コントローラを制御するCPU106によって制御される。プロッタI/F装置108は、CPU106のプリント要求に従い、汎用規格I/F経由で送られてくるCMYK色データからなるデジタル画像データを受け取ると、プロッタ装置109の専用I/Fに出力するバスブリッジ処理を行う。汎用規格I/Fは、PCIやPCI-Expressバスである。プロッタ装置109は、CMYKからなるデジタル画像データを受け取ると、レーザービームを用いた電子写真プロセスを使って、受け取った画像データを転写紙に出力する。プロッタI/F装置108とプロッタ装置109は、エンジン部に属する。

ROM114は、CPU106がデジタル画像処理装置の制御を行う際の制御プログラムが格納されるメモリである。また、第２画像データ処理装置104内のミドルウェア（デジタルシグナルプロセッサDSP）用の画像処理アセンブラコードや、画像処理であるフィルタ処理やγ処理等の画像処理パラメータが格納されている。DSPで画像処理を行う場合、ROM114にあらかじめ格納されているアセンブラコードや画像処理パラメータをダウンロードして用いる。操作表示装置110は、デジタル画像処理装置とユーザーのインタフェースを行う部分である。液晶表示装置（LCD）とキースイッチから構成され、装置の各種状態や操作方法をLCDに表示し、ユーザーからのキースイッチ入力を検知する。PCIやPCI-Expressバスを介して、CPU106と接続する。コピー、スキャナー、HDD蓄積、FAX送信に対応している。回線I/F装置111は、PCIやPCI-Expressバスと電話回線を接続する装置である。この装置により、デジタル画像処理装置は、電話回線を介して各種データのやり取りを行うことが可能になる。FAX115は、通常のファクシミリである。電話回線を介して、デジタル画像処理装置から画像データを受信する。

外部I/F装置112は、PCIやPCI-Expressバスと外部装置を接続する装置である。この装置により、デジタル画像処理装置は、外部装置と各種データのやり取りを行うことが可能になる。MFP機器側にIPアドレスが割り振られ、外部I/F装置112に、LANがTCP/IP接続される。クライアントPC116は、いわゆるパーソナルコンピュータである。パーソナルコンピュータにインストールされたアプリケーションソフトやドライバを介して、ユーザーはTwainドライバによるスキャナー読取りや、プリントアウトを行う。クライアントPCには、MFP機器と連携するアプリケーションソフトがインストールされている。そのアプリケーションソフトは、MFP機器での認識結果を解析し、解析結果に応じて反映処理の内容と手順を切り替える。

次に、図１（ｂ）〜（ｄ）を参照しながら、第２画像データ処理装置104で状態認識処理と反映処理を行う場合について説明する。コピー動作の場合、読取装置101でデジタル化された画像データが得られる。その画像データを、第１画像データ処理装置102で、ある特性（色空間等）に統一化された画像データに変換する。第２画像データ処理装置104への入力画像205は、第１画像データ処理装置102で統一化されたデジタル画像データである。付帯情報206は、入力画像205の付帯情報である。この付帯情報とは、操作表示装置110での操作指示入力情報（原稿モード、変倍率、画像サイズ等）や、画像データの１画素ごとに対応した分離データ（文字/写真/網点等）である。分離データは、第１画像データ処理装置102で生成される。

図１（ｂ）は、従来と同様にフィルタ処理とγ処理を行う基本処理構成を示す流れ図である。プリント出力のため、フィルタ処理（ステップ201）とγ処理（ステップ202）を行う。プロッタ装置109に最適となるように画像処理を行い、出力画像207と付帯情報206を出力する。付帯情報206は、フィルタ処理（ステップ201）とγ処理（ステップ202）の画像処理パラメータを切り替えるために用いる。認識処理（ステップ203）や、認識処理の結果による反映処理（ステップ204）は行わない。この基本処理構成に対し、認識処理（ステップ203）と、認識処理の結果による反映処理（ステップ204）を追加する。

認識処理（ステップ203）を行う処理手段と反映処理（ステップ204）を行う処理手段の２つの処理手段を独立に備えることにより、図１（ｃ）と図１（ｄ）に示すように、処理構成を変えることが可能である。特性認識処理では、入力画像205と付帯情報206を用いて、画像の特徴量を認識して、認識結果208を得る。認識処理の結果による反映処理（ステップ204）では、この認識結果208を元にして、入力画像205や分離データなどの付帯情報206に対して反映処理を行う。フィルタ処理（ステップ201）とγ処理（ステップ202）に、反映処理（ステップ204）による画質の変化が影響を与えないようにするために、ここでは図１（ｃ）に示す処理構成を採用する。

次に、図２を参照しながら、ネットワークに接続されたクライアントPCでの動作手順について説明する。図２は、認識処理が行えるMFP機器から電子配信された入力画像301と付帯情報302が、ネットワークに接続されたクライアントPC116に配信されてきた後に、クライアントPC116で認識処理を選択した時の処理フローである。認識処理を選択しない場合は、図２（ａ）と図２（ｂ）ともに、入力画像と付帯情報がそのまま出力される。図２（ａ）と図２（ｂ）の違いは、出力結果が紙出力されるか、電子データとしてクライアントPC116の二次記憶装置であるHDDに保存されるかである。図２（ａ）では、MFP機器または他のプリンタを介して紙出力される。図２（ｂ）では、付帯情報302にも認識処理結果を反映している。図２（ｂ）の電子データ出力の場合は、MFP機器側で行われた認識処理の結果と、クライアントPC116で行われた認識処理の結果が保存される。以前の認識結果を付帯情報302に保存しておくので、クライアントPC116で認識処理が要求されても、すでに処理済であれば再度実行はしない。

図２（ｂ）の電子データ出力を例に、クライアントPC116にインストールされた認識処理手段の説明を行う。まず、MFP機器側で認識処理を行ったかどうかと、認識処理が反映されているかどうかを、付帯情報302をみて調べる。MFP機器側で確信がある認識結果が得られ、入力画像301に対して反映処理が行われているならば、クライアントPC116で認識処理を行って反映する必要が無いため、入力画像301をそのまま出力画像303として出力し、付帯情報306もそのまま出力する。この場合、付帯情報306は、入力された付帯情報302と同じになる。MFP機器側で認識処理が行われなかった場合、または、認識処理は行われたが確信が持てずに反映処理が行われていない場合にのみ、クライアントPC116側で認識処理（ステップ304）を行う。確信がある認識結果とは、認識の確信度が閾値以上である場合の認識結果である。確信度については周知技術であるので、説明は省略する。クライアントPCに搭載されているCPUやメモリやHDDは、MFP機器に搭載されているCPU106やメモリ107やHDD105に比べて性能が高いことが多いため、MFP機器よりも高精度な認識処理（ステップ304）を行うことができる。

具体的には例えば、OCRを用いた文字認識処理を行い、天地識別処理やスキュー検知処理を行う。OCR処理を行うためには、膨大な計算量や膨大な辞書が必要であるが、クライアントPC116のCPUやメモリやHDDを用いて、十分に対応して処理できる。高精度な認識処理（ステップ304）を実行した後、認識処理の確信性を調べる。高精度に認識処理を行ったにもかかわらず、認識処理結果に確信が持てない場合は、文書画像ではない等の画像のコンテンツによる問題の可能性が高いので、認識結果の反映処理（ステップ305）を行わずに、そのまま出力する。認識結果に確信が持てる場合は、認識処理（ステップ304）で出力した認識結果に従って、認識結果の反映処理（ステップ305）を行って出力する。付帯情報306に対して、クライアントPC116側で認識処理（ステップ304）を行い、認識結果の反映処理（ステップ305）を行った内容を保存する。MFP機器側の認識結果が間違っていて、正しく認識結果が反映されていない場合は、クライアントPC116側で認識処理（ステップ304）をやり直すこともできる。

次に、図２（ｃ）、（ｄ）を参照しながら、認識結果に対応するデータをユーザーが手動で設定して、認識結果の反映処理（ステップ305）を実行させる方法を説明する。図４に、ユーザー指示による反映処理の流れを示す。クライアントPC116の処理は、認識結果の反映処理（ステップ305）のみになる。認識処理を自動的には行わず、ユーザーによる判定結果401を、ユーザーが手動で入力することにより、そのユーザーによる判定結果401を認識結果として、認識結果の反映処理（ステップ305）を実行する。図２（ｃ）の紙出力と図２（ｄ）の電子データ出力の違いは、図２（ａ）と図２（ｂ）の違いと同じである。電子データ出力の場合、付帯情報302にも反映処理をして、付帯情報306として保存する。

上記のように、本発明の実施例１では、画像処理装置を、第２画像データ処理装置で認識処理と反映処理を行い、画像データと付帯情報をネットワーク接続されたクライアントPCに送信し、クライアントPCで、認識結果の有無などに基づいて、認識処理と反映処理の実行の有無を決定できるように構成したので、認識精度を向上させ、処理を高速化し、構成を簡素化できる。

本発明の実施例２は、第２画像データ処理装置における認識処理の確信度に基づいて、反映処理を実行するか否かを決定する画像処理装置である。

図３は、本発明の実施例２における画像処理装置の第２画像データ処理装置内の画像処理手順を示す流れ図である。図４は、天地識別処理と天地補正処理の入出力の例を示す図と、スキュー検知処理とスキュー補正処理の入出力の例を示す図である。

上記のように構成された本発明の実施例２における画像処理装置の機能と動作を説明する。図３を参照しながら、コピー動作において、読取装置101から画像データが入力される場合の動作を説明する。認識処理（ステップ203）として、天地識別処理（ステップ501）とスキュー検知処理（ステップ502）を行う。天地識別処理（ステップ501）では、画像の特徴量に基づいて画像の方向を認識する。画像を地図になぞらえて上方を北ということにする。天地識別結果505は、東西南北の方向と確信度になる。図４（ａ）に、天地識別処理の入出力の例を示す。天地補正処理では、東西南３方向を向いている入力画像に対し、画像や文字や図形が北向きになるように補正する。

スキュー検知処理（ステップ502）では、画像の特徴量に基づいて画像の傾きを検出する。スキュー検出結果506は、スキュー角度（±Ｘ度）とスキュー判別結果（スキュー角度検知の確信度）になる。図４（ｂ）に、スキュー補正処理の入出力の例を示す。スキュー補正処理では、ある角度傾いて入力された入力画像を回転して、傾いていない画像にする。認識処理（ステップ203）である天地識別処理（ステップ501）とスキュー検知処理（ステップ502）を、第２画像データ処理装置104の最初で行っているのは、フィルタ処理（ステップ201）やγ処理（ステップ202）等の影響により認識精度が変わるので、それらの画像処理が行なわれていない状態でスキュー検知処理を行って、スキュー検知精度を高めるためである。

認識処理（ステップ203）である天地識別処理（ステップ501）とスキュー検知処理（ステップ502）を行い、認識結果208である天地識別結果505とスキュー検出結果506を出力し、次のフィルタ処理（ステップ201）やγ処理（ステップ202）を行う。出力装置に最適な画像処理が施された状態の画像データに対し、認識処理の結果による補正処理である天地回転処理（ステップ503）とスキュー補正処理（ステップ504）を行う。フィルタ処理（ステップ201）やγ処理（ステップ202）は、画像の特徴を変更する処理であるが、位置情報に影響しないため、フィルタ処理（ステップ201）やγ処理（ステップ202）が行なわれた画像に対し、フィルタ処理（ステップ201）やγ処理（ステップ202）が行なわれていない状態で検知した認識結果208を用いても、特に問題ない。

天地回転処理（ステップ503）では、入力画像205を天地識別結果505により、90度単位の回転を行う。天地識別結果505の確信度を用いて、しきい値処理を行う。あるしきい値以上であれば、天地識別処理（ステップ501）は自信を持って認識処理が行えたと判断できるので、入力画像205を、天地識別結果505により90度単位の回転を行う。あるしきい値以下であれば、認識結果に自信を持てないので、認識結果を反映しても正しい結果が得られないことがある。そこで、天地回転処理（ステップ503）を行わず、処理をスルーして入力をそのまま出力とする。

スキュー補正処理（ステップ504）では、スキュー検出結果506に応じて入力画像205の微小角度の回転を行う。スキュー検出結果506の確信度を用いて、しきい値処理を行う。あるしきい値以上であれば、スキュー検知処理（ステップ502）は自信を持って認識処理が行えたと判断できるので、スキュー検出結果506に応じて入力画像205の微小角度の回転を行う。あるしきい値以下であれば、認識結果に自信を持てないので、認識結果を反映しても正しい結果が得られないことがある。そこで、スキュー補正処理（ステップ504）を行わず、処理をスルーして入力をそのまま出力とする。このように、確信度を用いることにより、天地識別処理（ステップ501）とスキュー検知処理（ステップ502）の結果を反映させるか否かを制御できる。

上記のように、本発明の実施例２では、画像処理装置を、第２画像データ処理装置における認識処理の確信度に基づいて、反映処理を実行するか否かを決定する構成としたので、構成を簡素化できる。

本発明の実施例３は、ソフトウェアの画像処理制御手段で、認識処理と反映処理を行う画像処理装置である。

図５は、本発明の実施例３における画像処理装置の認識処理のための画像処理制御手段の構成を示す概念図である。図６は、画像処理制御手段の処理手順を示すフローチャートである。図７は、付帯情報の例を示す図である。

図５を参照しながら、認識処理のための画像処理制御手段801の構成とそれぞれの処理内容を説明する。MFP機器内部の認識処理を制御する手段は、CPU106で実行されるソフトウェアである。フィルタ処理（ステップ201）とγ処理（ステップ202）は、常に実行される画像処理であるため、通常は専用回路のASICで実行される。ASICのレジスタはソフトウェアにより処理される。インタフェース802は、ユーザーが操作部(図１の操作表示装置110)で指定する設定情報を変換する。設定情報の形式は、さまざまな機種でそれぞれ異なっているので、機種間の違いを統一して画像処理ライブラリ群806に適した形式に変換するために、プロトコル変換を行う。マネージャ803は、画像処理制御手段801の全体のシーケンスを管理する。どの順番に処理をすればよいかということと、どこにどんな情報を伝えればよいかということを把握していて、あらかじめ決められたシーケンスに従って処理を行うように管理する。

メモリ管理部804はグローバル的に存在し、マネージャ803から参照されるし、画像処理ライブラリ群806からも参照される。メモリ管理部804は、処理に必要なメモリ容量が実装されているか否かを判断し、画像処理ライブラリ群806で画像処理を行うために必要なメモリの確保と開放を行う。また、最終的な処理結果をHDD105に保存する。パス管理部805は、実装されている画像処理ライブラリ群806の画像処理順序（パス）を管理する。ユーザーが要求する機能を実現するために、画像処理を実行するための画像処理ライブラリを選択し、その処理順序を決定する。

画像処理ライブラリ群806は、認識処理の画像処理ライブラリであり、天地識別処理（ステップ501）やスキュー補正処理（ステップ504）のような機能単位で存在する。その他に、天地識別処理（ステップ501）やスキュー補正処理（ステップ504）の認識率向上を目的とした画像処理や、文字領域とその他を判別する２値化処理も存在する。マネージャ803から画像処理実行を要求された画像処理ライブラリは、メモリ管理部804に画像処理に必要なメモリを要求して取得し、入力画像に対して認識処理（ステップ203）や反映処理（ステップ204）を実行する。

図６を参照しながら、画像処理制御手段801の処理シーケンスを説明する。大きく分けて、認識処理（ステップ203）と反映処理（ステップ204）がある。これらを１つの画像処理制御手段801で実行するので、図６（ａ）と図６(ｂ)の２種類のシーケンスがある。ほとんど処理手順は同じである。図６（ａ）の認識処理のシーケンスでは、ユーザーが指定する操作部情報901を、インタフェース変換（ステップ902）する。その後、入力画像205と付帯情報206とともに、インタフェース変換された情報がマネージャ803に伝わり、メモリ管理部804により、メモリ確認（ステップ903）を行う。これは、実装されているメモリ容量を確認して、ソフトウェアによる画像処理が実行できるか否かを判断する。判定結果がOKであれば処理を続けるが、処理ができないと判断された場合、処理を終了する。

メモリ容量がソフトウェアによる画像処理を実行するために問題ないと判定された場合、次の処理に移る。マネージャ803がパス管理部805に対して、画像処理パスの決定を要求する（ステップ904）。パス管理部805は、インタフェース変換された操作部情報901をもとに、画像処理パスを決定する。例えば、天地識別処理がユーザーから要求されると、画像処理パスとして、２値化と天地識別処理（認識）を選択する。次に、マネージャ803が、パス管理部805で決定した画像処理パスに従って、画像処理ライブラリ群806から選択して処理を実行していく（ステップ905）。まず、２値化なので、２値化ライブラリに対し、入力画像205を用いて２値化処理を行う。２値化ライブラリから、２値化後の２値画像の画像領域を確保するために、メモリ管理部804に対してメモリ取得要求（ステップ906）を行い、２値画像の画像領域を確保してもらう。２値化終了後に、マネージャ803は、天地識別処理ライブラリに対して、２値画像を用いて認識処理を要求する。天地識別処理ライブラリは、マネージャ803から送られた２値化画像をもとに、天地識別の判定処理を行い（ステップ907）、天地識別処理の認識結果909である方向と確信度を出力する。マネージャ803は、ライブラリが出力した結果を付帯情報206に書き込んで（ステップ910）、処理を終了する。

図６（ｂ）の認識処理の反映処理についても、図６（ａ）とほぼ同じであるので、同じ部分は説明を省略する。違いは、パス管理部805の画像処理パス決定（ステップ904）で、付帯情報206を用いることである。付帯情報206の天地識別処理の確信度も考慮して、画像処理パスに天地識別（回転）処理を追加するか否かを判断する。確信度が、あるしきい値以上であって、回転処理を行うと決定すれば、画像処理パスに追加する。

画像処理パスに追加されて画像処理を実行する場合、ライブラリの実行処理（ステップ907）で、付帯情報206に保存されている認識結果である回転方向結果を用いて、天地識別（回転）処理ライブラリは、入力画像に対して画像回転処理を実行する。付帯情報206の分離データのような画像の位置情報に対応している情報についても、回転処理のような位置変換を行うと、場所が合わなくなってしまうので、同様に天地識別（回転）処理を実行する。画像処理結果である出力画像207と付帯情報206について、操作部情報901の要求がHDD蓄積アプリケーションを指定している場合、HDD105に画像処理後の結果を保存する。マネージャ803からメモリ管理部804に対し、HDD書込要求を行い、出力画像207と付帯情報206の情報をメモリ管理部804が、画像データおよび付帯情報のHDD保存（ステップ908）を実行して、HDD105に出力画像207と付帯情報206を書き込んで、処理を終了する。

付帯情報206の例を、図７に示す。第２画像データ処理装置104の入力である入力画像205と、付帯情報206を構成する要素を示している。認識処理（ステップ203）である天地識別処理（ステップ501）とスキュー検知処理（ステップ502）の入力情報になる。カラー選択時、第２画像データ処理装置104には、統一された色空間であるRGBのカラー画像が、入力画像205として入力される。Ｒプレーン1001と、Ｇプレーン1002と、Ｂプレーン1003の３プレーンの画像が、（主走査サイズＸ）×（副走査サイズＹ）の量の１次元配列で入力される。

付帯情報206は、大きく分けて、分離プレーン1004と、操作表示装置110からの入力情報1005と、認識処理（ステップ203）の認識結果1006である。分離プレーン1004の情報は、画像の１画素ごとに分離情報のＮbitが対応していて、画像サイズ（主走査サイズＸ×副走査サイズＹ）の量の１次元配列となる。この分離プレーン1004は、第１画像データ処理装置102で、入力画像の特徴に基づいて生成される情報である。

操作表示装置110からの入力情報1005は、ユーザーが設定する情報のことである。図７の例では、カラーモード、アプリタイプ、原稿モード、変倍率、解像度、階調数、ノッチ（原稿の濃さ）、主走査サイズＸ、副走査サイズＹ等がある。

認識処理（ステップ203）の認識結果1006は、第２画像データ処理装置104の認識処理（ステップ203）で認識した検知結果である天地方向とスキュー角度とスキュー検出結果である。ユーザーが認識処理を選択していない場合、認識結果1006の天地方向は、ユーザーが指定した画像方向が設定される。スキュー補正角度は０度となる。スキュー検出結果としては、スキュー補正を行わないという情報が格納される。この認識結果1006を参照して、天地識別確信度とスキュー検知確信度に基づいて、認識処理（天地識別処理（ステップ501）とスキュー検知処理（ステップ502））と反映処理（天地回転処理（ステップ503）とスキュー補正処理（ステップ504））を実行するか否かを選択する。

上記のように、本発明の実施例３では、画像処理装置のソフトウェア画像処理制御手段で、認識処理と反映処理を行う構成としたので、構成を簡素化できる。

本発明の実施例４は、画像処理制御手段で、DSPとASICを制御して認識処理と反映処理を行う画像処理装置である。

図８は、本発明の実施例４における画像処理装置の画像処理制御手段の構成を示す図である。図９は、画像処理制御手段の処理の流れを示す図である。図10は、ASICにダウンロードするレジスタ設定値の参考例と、DSPにダウンロードする画像処理プログラムの参考例である。

MFP機器内部の認識処理を制御する手段は、CPU106とソフトウェアである。画像処理制御手段801でDSP1105やASIC1106に処理を行わせることで、ソフトウェア画像処理をするよりも高速に処理できる。図８に、認識処理のためのDSP1105とASIC1106を制御する画像処理制御手段801の構成を示す。実施例３の構成に、機器構成管理部1101とソフトウェア管理部1102とDSP管理部1103とASIC管理部1104が追加されている。画像処理制御手段801の制御対象であるDSP1105とASIC1106は、画像処理制御手段801の構成には含まれない。図８の画像処理制御手段801の構成要素について説明する。インタフェース802と、マネージャ803と、メモリ管理部804と、パス管理部805と、画像処理ライブラリ群806は、図５と同じなので説明を省略する。

機器構成管理部1101は、コントローラ部に実装されている画像処理用のDSP1105やASIC1106の確認を行い、マネージャ803から画像処理要求が送られてきたら、MFP機器の構成要素の情報に従って、最適な画像処理を実現できる手段を選択して、画像処理の実行を要求する。

ソフトウェア管理部1102は、ソフトウェアで画像処理をするシーケンスを管理する。メモリ管理部804に、画像処理に必要なメモリ容量を確認し、パス管理部805に画像処理パスを決定させる。その画像処理パスに従って、画像処理ライブラリ群806に対して画像処理を要求する。画像処理結果を、機器構成管理部1101やマネージャ803に伝える。

DSP管理部1103は、DSP1105へのアクセスおよびミドルウェアで画像処理をするシーケンスを管理する。パス管理部805に画像処理パスを決定させる。その画像処理パスに従って、DSP1105に対して画像処理を実行させるために必要な画像処理プログラムをROM114から読み取って、DSP1105へダウンロードする。画像処理プログラムを設定し、画像処理が実行できる準備を整えた後、画像処理を要求する。画像処理結果を、機器構成管理部1101やマネージャ803に伝える。

ASIC管理部1103は、ASIC1106へのアクセスおよびハードウェアで画像処理をするシーケンスを管理する。パス管理部805に画像処理パスを決定させる。その画像処理パスに従って、ASIC1106に対して画像処理を実行させるために必要な画像処理パラメータをROM114から読み取って、ASIC1106のレジスタへ設定する。画像処理パラメータを設定し、画像処理が実行できる準備を整えた後、画像処理を要求する。画像処理結果を、機器構成管理部1101やマネージャ803に伝える。

図９に、認識処理のためのDSP1105とASIC1106を制御する画像処理制御手段801の処理の流れを示す。画像処理を実現する手段が、認識処理および認識処理の反映処理で３通りになったので、３通りの処理の流れが存在する。ソフトウェアによる画像処理部は、図６とほとんど同じであるため説明を省略する。例として、認識処理をDSP1105で処理し、認識処理の反映処理をASIC1106で処理する場合の処理の流れについて説明する。認識処理（ステップ203）と反映処理（ステップ204）を１つの画像処理制御手段801で制御するので、大きく分けて図９（ａ）と図９（ｂ）の２種類のシーケンスがある。ほとんど処理手順は同じである。

図９（ａ）の認識処理のシーケンスでは、ユーザーが指定する操作部情報901を、インタフェース変換する（ステップ902）。その後、入力画像205と付帯情報206とともに、インタフェース変換された情報がマネージャ803に伝わり、機器構成管理部1101に、MFP機器構成の確認（ステップ1201）を要求する。機器構成管理部1101は、MFP機器に搭載されている画像処理用のDSP1105とASIC1106の実装状況を、第２画像データ処理装置104に問い合わせて、実装状況を知る。DSP1105が実装されている機種の場合、DSP管理部1103に対し、画像処理要求を送る。DSP管理部1103は、画像処理要求を受け取ると、まずパス管理部805に、DSP1105で画像処理を実行する画像処理パスを決定するため、画像処理パス決定（ステップ904）を、パス管理部805に要求する。

パス管理部805は、DSP1105内で実行できる画像処理パスを決定する。画像処理パス決定後、そのパスに存在する画像処理を実行するために、DSP1105の準備を行う。DSPへの設定パラメータ決定（ステップ1206）では、画像処理をDSP1105で実行するために必要な画像処理プログラムを決定する。DSPへのダウンロード設定（ステップ1207）では、ROM114内に保存している画像処理プログラムを、DSP1105へダウンロードする。例として、フィルタ処理が画像処理パスに存在する場合、フィルタ処理を実行するために必要な画像処理プログラムを選択し、DSP1105内部で実行されるフィルタ処理の画像処理内容を決定する。DSP1105へのダウンロードが、画像処理パスに存在する画像処理全てにおいて行われた後、入力画像205を用いて、DSP1105で画像処理を実行（ステップ1208）する。画像処理実行後、DSPから認識結果の取得（ステップ1209）を行って、DSP1105の認識結果を読み取る。その結果を、DSP管理部1103から機器構成管理部1101を経由してマネージャに伝える。マネージャ803は、付帯情報206に書き込んで（ステップ910）、処理を終了する。ASIC処理の場合も同様に行う。ソフトウェア処理の場合は既に説明した手順と同様である。

図９（ｂ）の認識処理の反映処理のシーケンスでは、ユーザーが指定する操作部情報901を、インタフェース変換する（ステップ902）。その後、入力画像205と付帯情報206とともに、インタフェース変換された情報がマネージャ803に伝わり、機器構成管理部1101に機器構成の確認（ステップ1201）を要求する。機器構成管理部1101は、MFP機器内に搭載されている画像処理用のDSP1105とASIC1106の実装状況を第２画像データ処理装置104に問い合わせて、実装状況を知る。ASIC1106が実装されている機種の場合、ASIC管理部1104に対し、画像処理要求を送る。ASIC管理部1104は、画像処理要求を受け取ると、まずパス管理805に、ASICで画像処理を実行する画像処理パスを決定するため、画像処理パス決定（ステップ904）を、パス管理部805に要求する。

パス管理部805は、ASIC1106に実装されている画像処理の専用回路の状況をあらかじめ保持していて、その内容から画像処理パスを決定する。画像処理パス決定後、そのパスに存在する画像処理を実行するために、ASIC1106の準備を行う（ステップ1202）。ASICへのダウンロード設定（ステップ1203）では、ROM114内に保持している画像処理パラメータを、ASIC1106の特定のレジスタに設定する。例として、天地識別(回転)処理を実現する場合、ASIC1106のレジスタに、天地回転する角度を設定する。ASIC1106内に実装されている専用画像処理回路は、この天地回転角度を画像処理パラメータとして、回転処理を実行する。ASIC1106へのダウンロードが、画像処理パスに存在する画像処理全てにおいて行われた後、画像処理実行（ステップ1204）で、付帯情報206に保存されている認識結果である回転方向結果を用いて、天地識別（回転）処理で、入力画像に対して画像回転処理を実行する。

付帯情報206の分離データのような画像の位置情報に対応している情報についても、回転処理のような位置変換を行うと、場所が合わなくなってしまうので、同様に天地識別（回転）処理を実行する。画像処理結果である出力画像207と付帯情報206について、操作部情報901の要求が、HDD蓄積アプリケーションを指定している場合、HDD105に画像処理後の結果を保存する。マネージャ803からメモリ管理804に対し、HDD書込要求を行う。メモリ管理部804が、出力画像207と付帯情報206の情報をHDD保存（ステップ908）して、処理を終了する。DSP処理の場合も同様に行う。ソフトウェア処理の場合は既に説明した手順と同様である。

ASIC管理部1104でASIC1106にダウンロードするレジスタ設定値の参考例を、図10（ａ）に示す。ASICのレジスタ群に、const領域のテーブルを用いて、各bitにアサインされた内容に従い、画像処理パラメータを設定する。１レジスタは基本的に１ワード(16bit)である。１レジスタは１ワード単位なので、FilC_Tblのテーブル要素２つを、上位８bitと下位８bitとして16bit書き込む。具体例として、実際に設定しているパラメータの簡略例を示す。ASICに設定するパラメータは、テーブルの要素の８bitか16bit単位の数字である。すべて、図１のROM114に格納されている。フィルタ処理のレジスタは、レジスタＡ(上位８bit：縦マトリクスサイズ、下位８bit:横マトリクスサイズ)と、レジスタＢ(16bitフィルタマトリクス強度)と、レジスタＣ〜レジスタＺ(各レジスタ16bitフィルタマトリクス)で構成されている。

DSP管理部1103でDSP1105にダウンロードする画像処理プログラムの参考例を、図10（ｂ）に示す。DSPに設定するパラメータも、基本的にASICと同じであるが、画像処理プログラムそのものも取り扱う点が異なる。DSPに設定するパラメータとしては、プログラムとデータがある。プログラムは、実際にDSPにダウンロードされて、そのプログラムを元に画像処理を実行する。配列で管理された16進数の数字である。プログラム１単位は２ワードであるが、上位16bit下位16bitとして設定する。データは、DSPにダウンロードしたプログラムが、処理の際に参照して、画像処理をする値になる。しきい値処理やγデータ等にあたる。プログラムもデータも、テーブルの要素や配列要素(const領域)の数字になる。書き込みの単位は、８bitか16bit単位になる。すべて、図１のR0M114に格納されている。フィルタ処理のプログラムとデータは、プログラムＡ(主走査用)と、プログラムＢ(副走査用)と、データＡ(強度)で構成されている。

上記のように、本発明の実施例４では、画像処理装置の画像処理制御手段で、DSPとASICを制御して認識処理と反映処理を行う構成としたので、構成を簡素化できる。

本発明の実施例５は、電源投入時のみにメモリ容量を調べて、処理可能な最大画像データサイズを求め、メモリ容量不足により画像処理が実行できない場合は、その旨を表示して、設定変更をユーザーに促す画像処理装置である。

図11は、本発明の実施例５における画像処理装置の画像処理制御手段の処理手順を示す流れ図である。図12は、メモリ管理部による判定を電源投入時のみに実行する処理手順を示す流れ図と、メモリ容量不足の場合に設定変更を促す表示の例を示す図である。

図11を参照しながら、画像処理制御手段でメモリ容量を確認する方法を説明する。メモリ管理部804で、搭載されているメモリ107の総メモリ容量を把握する。比較対象であるソフトウェアによる画像処理で使用するメモリ使用量は、画像サイズ(総画素数)を用いる。CPU106で実行される画像処理制御手段801の一部であるメモリ管理部は、メモリ容量の確認を行う。CPU106とメモリ107は信号線で直接つながっているので、CPU106は、接続されているメモリ容量を確認できる。

入力画像205と付帯情報206と操作部情報901とともに、第４の情報としてシステム内部情報を、画像処理制御手段801に入力する。全体的な処理の流れは、図６で説明した流れとほとんど同じである。インタフェース802によってプロトコル変換した後、マネージャ803を経由して、メモリ管理部804にその情報が伝われば、MFP機器が使用できるメモリ容量を把握できるので、ソフトウェアによる画像処理が実行できるかどうか判断できる。図９に示した画像処理制御手段801の処理の流れについても同様である。図６に示した処理フローでは、コピーやスキャナーやFAXや蓄積アプリケーションが１回設定されたごとに、メモリ管理部804が判定処理を行い、実行可否を判定している。

図12を参照しながら、電源投入時のみにメモリ管理部による判定を実行する方法を説明する。MFP機器に搭載されているメモリ107の容量判定を、電源投入時の１回だけ行うことによって、通常の処理フローには含まれないようにする。この処理にかかっていた処理時間を省けるので、高速化できる。図12（ｃ）に示すように、電源投入時に１度、メモリ管理部804により、画像処理が可能な最大処理サイズを調べるメモリ確認（ステップ903）を行う。その処理可能な画像サイズ情報1401の結果を返すことによって、ユーザーが指定する画像サイズが処理可能な範囲外である場合、図12（ａ）と図12（ｂ）の処理を実行しないで打ち切る。図12に示す処理では、画像処理に必要な最大メモリサイズの結果を、処理可能画像サイズ情報1401として出力しているが、その他の要因でソフトウェアによる画像処理が実行不可能な場合は、その情報も出力する。

電源を落としてメモリ107を装着したり取り外したりして、総メモリ容量に変化が生じたときにも、１回は総メモリ容量を確認して、画像処理の実行可否の判断ができる。図９に示した画像処理制御手段801の処理についても同様に適用できる。

画像処理制御手段801に実装されている画像処理ライブラリ群806の処理可能な画像サイズを出力することによって、操作表示装置110を管理する制御手段も、画像最大サイズを把握できるようになる。これにより、図12（ｄ）に示すように、操作表示装置110で、ユーザーが最大解像度と画像サイズを指定して、さらに認識処理を選択しようとした場合、MFP機器に搭載されているメモリ容量では画像処理が行えないと判断できるので、解像度を下げるか画像サイズを小さく設定するか、機能を実行しないようにするか警告して、ユーザーに再設定を要求する。これにより、ユーザーが機能を指定したにもかかわらず、MFP機器側で画像処理を行うためのメモリ容量不足のために処理が行われずに出力されることは無くなる。

上記のように、本発明の実施例５では、画像処理装置を、電源投入時のみにメモリ容量を調べて、処理可能な最大画像データサイズを求め、メモリ容量不足により画像処理が実行できない場合は、その旨を表示して、設定変更をユーザーに促す構成としたので、処理時間を短縮でき、指示した処理が実行されずに出力されることを防止できる。

本発明の実施例６は、第３画像データ処理装置で認識処理と反映処理を行う画像処理装置である。

図13（ａ）は、本発明の実施例６における画像処理装置のオプションハードウェアである第３画像データ処理装置を含む構成を示す図である。図13（ｂ）、（ｃ）は、第２、第３画像データ処理装置の構成を示す図である。図14は、第２、第３画像データ処理装置の処理を示す図である。

第２画像データ処理装置104で、画像補正処理と認識反映処理を行う構成とすると、認識反映処理を必要としないユーザーには無駄な機能を備えることとなり、コストパフォーマンスが低下する。画像補正処理は、出力画像の画質を改善する処理であるため、必須の処理であるが、認識反映処理は、ユーザーの選択によって実行される処理である。そこで、第２画像データ処理装置で、必須の画像補正処理を行い、オプションの第３画像データ処理装置で、認識反映処理を行う構成とする。図13（ａ）に示すように、コントローラ部に、オプションの第３画像データ処理装置117を設ける。第３画像データ処理装置117は、例えばPCI-Expressバスに接続できるオプションボードであり、装着や取り外しが自由にできる。

図13（ｂ）、（ｃ）に、第２画像データ処理装置と第３画像データ処理装置のミドルウェアとハードウェアの構成を示す。第２画像データ処理装置104は、コピー、スキャナー、FAX、プリント、蓄積アプリケーションのようなさまざまなアプリケーションにおいて、最適な画像処理をして画像を補正する処理のみを行う。第２画像データ処理装置104には、画像補正処理のためにASIC1801が実装されている。天地識別処理やスキュー補正処理などの認識処理（ステップ203）を行わないので、回路規模は小さい。第３画像データ処理装置117には、認識処理のために認識処理用DSP1802と、認識処理を反映するための画像座標変換用ASIC1803が実装されている。

図14に、第２、第３画像データ処理装置による処理を示す。第２画像データ処理装置104では、画像補正用ASIC1801で、フィルタ処理（ステップ201）とγ処理（ステップ202）を実行する。第３画像データ処理装置117には、天地識別処理（ステップ501）を実現するための認識処理用DSP1802と、天地回転処理（ステップ503）を実現するための画像座標変換用ASIC1803が実装されている。入力画像205と付帯情報206が処理される順番は次の通りである。第３画像データ処理装置117で認識処理（ステップ203）が実行され、第２画像データ処理装置104で画像補正処理が実行され、最後に第３画像データ処理装置117で認識処理の結果による反映処理（ステップ204）が実行される。

第３画像データ処理装置117を含むMFP機器では、認識処理（ステップ203）と認識処理の結果による反映処理（ステップ204）を、第３画像データ処理装置117で実行する。第３画像データ処理装置117には、認識処理（ステップ203）を実行する認識処理用DSP1802とともに、認識処理の結果による画像座標変換を行う画像座標変換用ASIC1803が存在する。この構成により、MFP機器で天地識別処理やスキュー補正処理を実行させたいユーザーのみに、オプションとして提供できるので、コストパフォーマンスが向上する。

上記のように、本発明の実施例６では、画像処理装置を、第３画像データ処理装置で認識処理と反映処理を行う構成としたので、処理効率が向上する。

本発明の実施例７は、分離データを利用して認識処理と反映処理を行う画像処理装置である。

図15は、本発明の実施例７における画像処理装置の入力画像と分離データを示す図である。図16は、画像処理制御手段の処理手順を示す流れ図である。

図15に、入力画像と分離データを示す。図15（ａ）に示す入力画像に対し、第１画像データ処理装置102で、文字/非文字の分離処理を行う。その分離結果が、図15（ｂ）に示す分離データになる。文字は白で表され、非文字(背景)は黒で表されている２値データである。第１画像データ処理装置102で行われる分離処理の結果は、第２画像データ処理装置104の画像補正処理にも使用される。そのため、MFP機器に常に必要な処理である。認識処理（ステップ203）において、入力画像から文字領域を抽出することなく、すでに存在している分離データを使用することによって、２値化処理を省略できるため、処理を高速化できる。

図16に、画像処理制御手段801の処理の流れを示す。分離データの有無によって、認識処理を切り替える方法である。付帯情報206に存在する分離データ2001は、第１画像データ処理装置102で生成される。画像処理制御手段801の構成は、図５に示したものである。

図16（ａ）に示す認識処理のシーケンスでは、ユーザーが指定する操作部情報901について、インタフェース変換を行う（ステップ902）。その後、入力画像205と付帯情報206とともに、インタフェース変換された情報がマネージャ803に伝わり、メモリ管理部804によりメモリ確認を行う（ステップ903）。実装されているメモリ容量を確認して、ソフトウェアによる画像処理が実行できるか否かを判断する。判定結果がOKであれば処理を続けるが、処理ができないと判断された場合、処理を終了する。付帯情報206に分離データ2001が存在するか否かの判断を行う。分離データの有無も、メモリ容量に応じた処理可能性判断の条件に盛り込む。分離データがあれば、２値画像を作成する領域が不要であるため、分離データ2001の有無も判断条件に加える。付帯情報206についても、マネージャ803からメモリ管理部804にメモリ確認情報が伝わる。メモリ容量がソフトウェアによる画像処理を実行するために問題ないと判定された場合、次の処理に移る。

マネージャ803がパス管理部805に対して、画像処理パスの決定を要求する（ステップ904）。パス管理部805は、操作部情報901をもとに、画像処理パスを決定する。パス管理部805についても、分離データの有無をパス決定の判断条件に盛り込む。分離データがある場合、２値化が不要になるため、パスの内容が変わる。天地識別処理（ステップ501）がユーザーから要求された場合、画像処理パスとして、天地識別処理（認識）を選択する。次に、マネージャ803がパス管理部805で決定した画像処理パスに従って、画像処理ライブラリ群806から必要なライブラリを選択して処理を実行する。

マネージャ803は、分離データ2001の有無を判断し、天地識別処理(認識)において、入力画像205か分離データ2001のいずれを入力とするか選択する。分離データ2001がある場合、分離データ2001を入力として認識処理（ステップ203）を要求する。天地識別処理(認識)では、マネージャ803から送られた分離データ2001をもとに天地識別の判定処理を行う。天地識別処理の認識結果909である方向と確信度を出力する。マネージャ803は、ライブラリが出力した結果を付帯情報206に書き込んで処理を終了する。この例では、２値化ライブラリによる処理が選択されないため、メモリ取得要求（ステップ906）がされないが、認識処理（ステップ203）によっては、メモリ107を用いて画像処理を行うので、画像処理パスに存在する画像処理ライブラリの内容による。

図16（ｂ）の認識処理の反映処理についても、図16（ａ）とほぼ同じであるので、同じ部分は説明を省略する。違いは、パス管理部805の画像処理パス決定（ステップ904）で、付帯情報206を用いる点である。付帯情報206の天地識別処理の確信度も考慮して、画像処理パスに、天地識別（回転）処理を追加するか否かを判断する。確信度が、あるしきい値以上であって、回転処理を行うと決定すれば、画像処理パスに追加する。

ライブラリの実行処理（ステップ907）で、付帯情報206にある回転方向結果を用いて、天地識別(回転)処理では、画像回転処理を実行する。認識処理の反映処理についても、認識処理同様に、分離データ2001の有無を調べる。認識処理の反映処理では、入力画像205に対して反映処理を実行するのは当然であるが、分離データ2001が存在する場合、分離データ2001についても、入力画像205と同様に、認識処理の反映処理を行う。画像の位置情報に対応している情報について、回転処理のような位置変換を行うと場所が合わなくなってしまうので、同様に天地識別(回転)処理を実行する。出力画像207と付帯情報206について、操作部情報901の要求がHDD蓄積アプリケーションを指定している場合、HDD105に画像処理後の結果を保存する。マネージャ803からメモリ管理部804に対し、HDD書込要求を行う。メモリ管理部804が、出力画像207と付帯情報206をHDD105に書き込むHDD保存（ステップ908）を実行して、処理を終了する。

上記のように、本発明の実施例７では、画像処理装置を、分離データを利用して認識処理と反映処理を行う構成としたので、少ないメモリ容量で高速に処理できる。

本発明の画像処理装置は、天地識別やスキュー補正を行うコピーやFAXやプリンタやスキャナー等の機能を複合したデジタル複合機（MFP）として最適である。

本発明の実施例１における画像処理装置の構成を示す概念図と、第２画像データ処理装置の処理手順を示す流れ図である。本発明の実施例１における画像処理装置にネットワーク接続されたクライアントPCでの処理手順を示す流れ図と、ユーザー指示による反映処理の手順を示す流れ図である。本発明の実施例２における画像処理装置の第２画像データ処理装置の処理手順を示す流れ図である。本発明の実施例２における画像処理装置の天地識別処理と天地補正処理の入出力例を示す図と、スキュー検知処理とスキュー補正処理の入出力例を示す図である。本発明の実施例３における画像処理装置の画像処理制御手段の構成を示す概念図である。本発明の実施例３における画像処理装置の画像処理制御手段の処理手順を示す流れ図である。本発明の実施例３における画像処理装置の付帯情報例を示す図である。本発明の実施例４における画像処理装置の画像処理制御手段の構成を示す概念図である。本発明の実施例４における画像処理装置の画像処理制御手段の処理手順を示す流れ図である。本発明の実施例４における画像処理装置の画像処理制御手段のASICにダウンロードするレジスタ設定値の参考例と、DSPにダウンロードする画像処理プログラムの参考例である。本発明の実施例５における画像処理装置の画像処理制御手段の処理手順を示す流れ図である。本発明の実施例５における画像処理装置のメモリ管理部による判定を電源投入時のみに実行する処理手順を示す流れ図と、メモリ容量不足の場合に設定変更を促す表示例を示す図である。本発明の実施例６における画像処理装置のオプションを含む構成を示す図と、第２、第３画像データ処理装置の構成を示す概念図である。本発明の実施例６における画像処理装置の第２、第３画像データ処理装置の処理手順を示す流れ図である。本発明の実施例７における画像処理装置の入力画像と分離データを示す図である。本発明の実施例７における画像処理装置の画像処理制御手段の処理手順を示す流れ図である。

符号の説明

101・・・読取装置、102・・・第１画像データ処理装置、103・・・バス制御装置、104・・・第２画像データ処理装置、105・・・HDD、106・・・CPU、107・・・メモリ、108・・・プロッタI/F装置、109・・・プロッタ装置、110・・・操作表示装置、111・・・回線I/F装置、112・・・外部I/F装置、113・・・CPU、114・・・ROM、115・・・FAX、116・・・クライアントPC、117・・・第３画像データ処理装置、205・・・入力画像、206・・・付帯情報、207・・・出力画像、208・・・認識結果、301・・・入力画像、302・・・付帯情報、303・・・出力画像、306・・・付帯情報、401・・・判定結果、505・・・天地識別結果、506・・・スキュー検出結果、801・・・画像処理制御手段、802・・・インタフェース、803・・・マネージャ、804・・・メモリ管理部、805・・・パス管理部、806・・・画像処理ライブラリ群、901・・・操作部情報、1001・・・Ｒプレーン、1002・・・Ｇプレーン、1003・・・Ｂプレーン、1004・・・分離プレーン、1005・・・入力情報、1006・・・認識結果、1101・・・機器構成管理部、1102・・・ソフトウェア管理部、1103・・・DSP管理部、1104・・・ASIC管理部、1105・・・DSP、1106・・・ASIC、1401・・・画像サイズ情報、2001・・・分離データ、1801・・・画像補正用ASIC、1802・・・認識処理用DSP、1803・・・画像座標変換用ASIC。

Claims

画像読取装置から出力される画像データの画質を所定の統一的基準に合致するように処理して一定の画質の入力画像データとその付帯情報を生成する第１画像データ処理装置と、前記入力画像データと前記付帯情報を蓄積するメモリ装置と、前記入力画像データと前記付帯情報を処理して目的の出力装置に適した出力画像データを生成する第２画像データ処理装置と、ネットワークを介してクライアント情報処理装置を接続するための外部インタフェース手段とを具備する画像処理装置において、前記第２画像データ処理装置は、前記入力画像データの状態を認識して認識結果を出力する画像認識手段と、前記認識結果を前記入力画像データに反映させる反映処理を行う反映手段と、前記認識結果と機器構成とに応じて反映処理の内容と手順を切り替える切替手段とを備えることを特徴とする画像処理装置。
前記画像認識手段は、認識結果の確信度を求める手段を備え、前記切替手段は、認識結果の確信度に応じて反映処理の実行可否を判断する手段を備えることを特徴とする請求項１記載の画像処理装置。
前記切替手段は、ソフトウェア構成とハードウェア構成とに応じて反映処理の内容を切り替える手段を備えることを特徴とする請求項１記載の画像処理装置。
前記切替手段は、記憶容量に応じて反映処理の内容を切り替える手段を備えることを特徴とする請求項１記載の画像処理装置。
前記切替手段は、記憶容量と前記入力画像データの解像度とサイズに基づいて反映処理の実行可否を判断する手段を備えることを特徴とする請求項１記載の画像処理装置。
前記切替手段は、オプションハードウェアの装着の有無に応じてハードウェア処理とソフトウェア処理を切り替える手段を備えることを特徴とする請求項１記載の画像処理装置。
前記画像認識手段は、前記入力画像データの天地を識別する天地識別手段と前記入力画像データの傾きを検出するスキュー検知手段を備え、前記反映手段は、前記入力画像データの天地が正しくなるように回転する天地回転手段と前記入力画像データの傾きをなくすスキュー補正手段を備えることを特徴とする請求項１記載の画像処理装置。
前記切替手段は、前記入力画像データから文字と非文字が分離された分離データが前記付帯情報にあるか否かに応じて反映処理の内容を切り替える手段を備えることを特徴とする請求項１記載の画像処理装置。
第１画像データ処理装置とメモリ装置と第２画像データ処理装置とを有する画像処理装置と、前記画像処理装置にネットワークを介して接続されたクライアント情報処理装置とを具備する画像処理システムにおいて、前記第１画像データ処理装置は、画像読取装置から出力される画像データの画質を所定の統一的基準に合致するように処理して一定の画質の入力画像データとその付帯情報を生成する手段を備え、前記メモリ装置は、前記入力画像データと前記付帯情報を蓄積する手段を備え、前記第２画像データ処理装置は、前記入力画像データと前記付帯情報を処理して目的の出力装置に適した出力画像データとする手段であって、前記入力画像データの状態を認識して認識結果を出力する画像認識手段と、前記認識結果を前記入力画像データに反映させる反映処理を行う反映手段と、前記認識結果と機器構成とに応じて反映処理の内容と手順を切り替える切替手段とを備え、前記クライアント情報処理装置は、前記画像処理装置から前記入力画像データと前記付帯情報を受信する手段と、前記入力画像データの状態を認識して認識結果を出力するクライアント画像認識手段と、前記認識結果を前記入力画像データに反映させるクライアント反映手段と、反映した結果を前記画像処理装置に送信する手段とを備えることを特徴とする画像処理システム。
前記クライアント情報処理装置は、受信した付帯情報に認識結果がなかった場合には、前記入力画像データの状態を認識して認識結果を求めるように前記クライアント画像認識手段を制御する手段を備えることを特徴とする請求項９記載の画像処理システム。
前記クライアント情報処理装置は、反映処理を施していない入力画像データを受信した場合には、前記入力画像データの状態を認識して認識結果を求めるように前記クライアント画像認識手段を制御するとともに、前記認識結果を前記入力画像データに反映させるようにクライアント反映手段を制御する手段を備えることを特徴とする請求項９記載の画像処理システム。
前記クライアント情報処理装置は、前記クライアント画像認識手段による認識結果の確信度が閾値より低い場合には、反映処理を実行しないように制御する手段を備えることを特徴とする請求項９記載の画像処理システム。
前記クライアント情報処理装置は、ユーザー判定結果を認識結果に対応するデータとしてユーザーが設定する手段と、前記ユーザー判定結果を前記入力画像データに反映させるようにクライアント反映手段を制御する手段とを備えることを特徴とする請求項９記載の画像処理システム。
画像読取装置から出力される画像データの画質を所定の統一的基準に合致するように処理して一定の画質の入力画像データとその付帯情報を生成して蓄積し、前記入力画像データと前記付帯情報を処理して目的の出力装置に適した出力画像データとする画像処理方法において、前記入力画像データの状態を認識して認識結果を出力し、前記認識結果と機器構成とに応じて反映処理の内容と手順を切り替えて前記認識結果を前記入力画像データに反映させることを特徴とする画像処理方法。
記憶容量に応じて反映処理の内容を切り替えることを特徴とする請求項１４記載の画像処理方法。
記憶容量と前記入力画像データの解像度とサイズに応じて反映処理の実行可否を判断することを特徴とする請求項１４記載の画像処理方法。
前記入力画像データの天地を識別して、反映処理で前記入力画像データの天地が正しくなるように回転し、前記入力画像データの傾きを検出して、反映処理で前記入力画像データの傾きをなくすことを特徴とする請求項１４記載の画像処理方法。
前記入力画像データから文字と非文字が分離された分離データが前記付帯情報にあるか否かに応じて反映処理の内容を切り替えることを特徴とする請求項１４記載の画像処理方法。
ネットワークを介してクライアント情報処理装置に前記入力画像データと前記付帯情報を送信し、前記クライアント情報処理装置で受信した付帯情報に認識結果がなかった場合と、反映処理を施していない入力画像データを受信した場合には、前記入力画像データの状態を認識して認識結果を求め、前記認識結果を前記入力画像データに反映させ、求めた認識結果の確信度が閾値より低い場合には反映処理を実行せず、ユーザーがユーザー判定結果を設定した場合には、前記ユーザー判定結果を前記入力画像データに反映させることを特徴とする請求項１４記載の画像処理方法。