JP7493954B2 - 画像処理装置、画像処理装置の制御方法 - Google Patents
画像処理装置、画像処理装置の制御方法 Download PDFInfo
- Publication number
- JP7493954B2 JP7493954B2 JP2020024366A JP2020024366A JP7493954B2 JP 7493954 B2 JP7493954 B2 JP 7493954B2 JP 2020024366 A JP2020024366 A JP 2020024366A JP 2020024366 A JP2020024366 A JP 2020024366A JP 7493954 B2 JP7493954 B2 JP 7493954B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- image data
- information
- priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 426
- 238000000034 method Methods 0.000 title claims description 164
- 230000008569 process Effects 0.000 claims description 156
- 238000000605 extraction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 5
- 238000012015 optical character recognition Methods 0.000 description 72
- 238000010586 diagram Methods 0.000 description 48
- 238000012790 confirmation Methods 0.000 description 29
- 230000007704 transition Effects 0.000 description 27
- 230000010365 information processing Effects 0.000 description 15
- 230000001960 triggered effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000003825 pressing Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
- Facsimiles In General (AREA)
Description
図1は、第1の実施形態に係る画像処理システム100の構成例を示す図である。
この画像処理システム100は、画像形成装置101,102と、情報処理端末103,104と、画像処理サーバ105と、ストレージサーバ107とを有する。画像形成装置101,102と、情報処理端末103,104と、画像処理サーバ105と、ストレージサーバ107とは、ネットワーク106により相互に接続され、通信可能である。画像処理サーバ105は、画像処理装置に相当する。
画像形成装置101は、コントローラ201、プリンタ202、スキャナ203、及び操作部204を有する。コントローラ201は、CPU211、RAM212、HDD213、ネットワークI/F214、プリンタI/F215、スキャナI/F216、操作部I/F217、及び拡張I/F218を有する。
CPU211は、画像形成装置101の全体を制御する。CPU211は、RAM212、HDD213、ネットワークI/F214、プリンタI/F215、スキャナI/F216、操作部I/F217、及び拡張I/F218とのデータの授受を制御可能である。また、CPU211は、HDD213から読み出した制御プログラム(命令)をRAM212に展開し、RAM212に展開した命令を実行する。
RAM212は、CPU211がHDD213から読み出した命令を一時的に格納するための領域を有する。また、RAM212は、命令の実行に必要な各種のデータを記憶しておくことも可能である。例えば画像処理では、CPU211は入力されたデータをRAM212に展開することで処理を行うことが可能である。
ネットワークI/F214は、画像処理システム100内の装置とネットワーク通信を行うためのインターフェイスである。ネットワークI/F214は、データ受信を行ったことをCPU211に伝達することや、RAM212上のデータをネットワーク106に送信することが可能である。
スキャナI/F216は、CPU211から送信された画像読み取り指示をスキャナ203に送信し、スキャナ203から受信した画像データをCPU211に伝達することや、スキャナ203から受信した状態をCPU211に伝達することが可能である。
操作部I/F217は、操作部204から入力されたユーザからの指示をCPU211に伝達することや、ユーザが操作するための画面情報を操作部204に伝達することが可能である。
拡張I/F218は、画像形成装置101に外部機器を接続することを可能とするインターフェイスである。拡張I/F218は、例えば、USB(Universal Serial Bus)形式のインターフェイスを具備する。画像形成装置101は、USBメモリ等の外部記憶装置が拡張I/F218に接続されることにより、当該外部記憶装置に記憶されているデータの読み取り及び当該外部記憶装置に対するデータの書き込みを行うことが可能である。
スキャナ203は、スキャナI/F216から受信した画像読み取り指示に従って、自身に置かれた用紙に表示されている情報を読み取ってデジタル化してスキャナI/F216に伝達することが可能である。また、スキャナ203は、自身の状態をスキャナI/F216に伝達することが可能である。
画像処理サーバ105は、画像処理フロントエンドサーバ301と画像処理バックエンドサーバ306とから構成される。
画像処理フロントエンドサーバ301は、CPU302、RAM303、HDD304、及びネットワークI/F305を有する。CPU302は、画像処理フロントエンドサーバ301の全体を制御する。CPU302は、RAM303、HDD304、及びネットワークI/F305とのデータの授受を制御可能である。また、CPU302は、HDD304から読み出した制御プログラム(命令)をRAM303に展開し、RAM303に展開した命令を実行する。
ストレージサーバ107は、CPU311、RAM312、HDD313、及びネットワークI/F314を有する。
CPU311は、ストレージサーバ107の全体を制御する。CPU311は、RAM312、HDD313、及びネットワークI/F314とのデータの授受を制御可能である。また、CPU311は、HDD313から読み出した制御プログラム(命令)をRAM312に展開し、RAM312に展開した命令を実行する。
図4(a)には、メタデータテンプレートとそのメタデータの構成の一例を示す。メタデータテンプレートは、対象となる画像データの分類を表現しており、そのメタデータテンプレートに応じて異なるメタデータを設定することが可能である。例えば、図4(a)の例では、メタデータテンプレートとして「会計」が設定されており、メタデータのキーとして「案件番号」「納期」「合計金額」「書類種別」が設定されている。なお、メタデータのキーのそれぞれに設定されるバリューには型が存在し、型にはテキスト型、日付型、数値型、選択型が存在する。
また同様にして、「納期」というメタデータキーが存在し、メタデータバリューには日付型の値を設定可能である。図4(a)の例では「納期」に対して「2015/10/25」が設定されている。
また同様にして、「合計金額」というメタデータキーが存在し、メタデータバリューには数値型の値を設定可能である。図4(a)の例では「合計金額」に対して「47875000」が設定されている。
また同様にして、「書類種別」というメタデータキーが存在し、メタデータバリューには選択型の値を設定可能である。図4(a)の例では「書類種別」に対してメタデータバリューの選択肢として図4(b)の値が選択可能であるとする。ここでは、「書類種別」に対して、「見積書」「納品書」「注文書」が選択的に設定可能である。
また、ストレージサーバ107のCPU311が、HDD313に格納した画像データに対しメタデータを付与することで、画像処理システム100の後続に構築されるシステムとの連携もスムーズに行うことが可能となる。例えば、ある会計システムに画像データと会計情報とを入力する際、原稿(画像データ)のアップロードをした後に、人手で会計情報を転記する必要があるユースケースが存在する。ここでストレージサーバ107が画像データをアップロードする際に必要となるメタデータを付与することで、そのまま会計システムに登録することが可能となり、転記作業の効率化を図ることが可能になる。
操作部204は、タッチパネル画面501と設定キー502、キャンセルキー504、開始キー503で構成されている。ユーザはタッチパネル画面501及び設定キー502を用いて、各ジョブの設定を行い、開始キー503の押下によりジョブを開始する。なお一度開始したジョブはキャンセルキー504を押下することでジョブ中に中止することが可能である。ここで示すジョブとは、例えばコピージョブや、ネットワークI/F214を介してスキャンした画像データを画像処理サーバ105に送信する送信ジョブ等が挙げられる。
以上説明した構成の画像処理システム100が実行する全体処理について説明する。図6aは、全体処理のうち画像形成装置101を用いてスキャンした画像データに対して画像処理サーバ105が画像処理を実行するまでの処理を示すフロー図である。
ステップS604~S606で示す処理は、画像処理フロントエンドサーバ301によって実行される処理であり、処理に係るプログラムはHDD304に格納されており、RAM303に読み出され、CPU302によって実行される。
ステップS607~S608で示す処理は、画像処理バックエンドサーバ306によって実行される処理であり、処理に係るプログラムはHDD309に格納されており、RAM308に読み出され、CPU307によって実行される。
図7は、タッチパネル画面501に表示される確認場所選択画面701の一例を示す図である。ボタン702は、画像形成装置101を設定するためのボタンである。ボタン703は、情報処理端末103,104を設定するためのボタンである。ユーザによりボタン702又は703が選択されてボタン704が押下されると、選択された情報は確認場所選択値としてHDD313に保持される。このようにして、ユーザは画像処理の結果を画像形成装置101と情報処理端末103,104のどちらに表示させるのかを選択することで、所望の端末でメタデータバリューの設定を行うことができる。なお確認場所選択値は、端末情報に相当する。
ステップS603において、画像形成装置101のCPU211は、ステップS602にて生成した画像データと当該画像データに対応するスキャン情報とをネットワークI/F214を介して画像処理フロントエンドサーバ301に送信する。すなわち、画像形成装置101のCPU211は、画像データとスキャン情報とを画像処理サーバ105に送信する送信手段として機能する。
スキャン情報には、ステップS601で選択された確認場所選択値と、その画像データがスキャン画像の何枚目かを表すページ情報とが含まれる。スキャン情報は、画像情報に相当する。
ステップS605において、画像処理フロントエンドサーバ301のCPU302は、画像処理ジョブIDを発行し(この時のジョブのステータスは画像処理未完了)、画像処理ジョブを後述の図9のスキャン画像受付キュー901に投入する。
ステップS606において、画像処理フロントエンドサーバ301のCPU302は、画像処理ジョブがキューに投入されたことをトリガーにキュー制御処理を行う。このキュー制御処理の詳細について次に説明する。
図8は、ステップS606で画像処理フロントエンドサーバ301によって実行されるキュー制御処理の詳細を示すフロー図である。また、図9は、キュー制御処理の概念を説明する図である。本フロー図に示す処理に係るプログラムは、画像処理フロントエンドサーバ301のHDD304に格納されており、RAM303に読み出され、CPU302によって実行される。
ステップS802において、画像処理フロントエンドサーバ301のCPU302は、スキャン情報のページ情報を参照し、画像データが1枚目であるか否かを判定する。CPU302が1枚目であると判定した場合、処理はステップS803に遷移する。CPU302が1枚目ではないと判定した場合、処理はステップS806に遷移する。なお、CPU302は、画像データが1枚目であるか否かを判定しているが、このような構成に代えて、画像データが1枚目から所定のページ目までであるか否かを判定するようにしてもよい。
ステップS805において、画像処理フロントエンドサーバ301のCPU302は、スキャン画像受付キュー901からデキューしたキュー902を優先度中キュー904にエンキューする。そして、キュー制御処理が終了し、処理は図6aのフローに戻る。
ステップS806において、画像処理フロントエンドサーバ301のCPU302は、スキャン画像受付キュー901からデキューしたキュー902を優先度低キュー905にエンキューする。そして、キュー制御処理が終了し、処理は図6aのフローに戻る。
以上のように、スキャン画像受付キュー901からデキューしたキュー902が、ページ情報や確認場所選択値に基づいて、優先度高キュー903、優先度中キュー904、優先度低キュー905に振り分けられる。すなわち、画像処理フロントエンドサーバ301のCPU302は、画像処理ジョブに対して的確な優先度を設定する。なお、第1の実施形態では、第1の優先度としての優先度高と、第2の優先度としての優先度中と、第3の優先度としての優先度低のように、優先度が3段階に分けて設定される。このように優先度が3段階に分けて設定されるが、他の情報等を用いることで3段階より多段階に分けて設定されてもよい。
ステップS607において、画像処理バックエンドサーバ306のCPU307は、画像処理を実行する。第1の実施形態では、前述のキュー制御処理を実行する画像処理フロントエンドサーバ301のCPU302と、次に説明する画像処理を実行する画像処理バックエンドサーバ306のCPU307が、制御手段として機能する。
図10は、ステップS607で画像処理バックエンドサーバ306によって実行される画像処理の詳細を示すフロー図である。本処理は、優先度高キュー903、優先度中キュー904、優先度低キュー905へのエンキュー、又は画像処理バックエンドサーバ306の各画像処理スレッドの処理待ち状態への遷移イベントをトリガーに開始される。
ステップS1006において、画像処理バックエンドサーバ306のCPU307は、ステップS1005で取得された画像データに対してブロック分割処理を実行する。ここでブロック分割処理とは、画像データの帳票構造を解析し、画像データに含まれる背景領域と文字列領域とを分割する処理のことである。ブロック分割処理の結果は、分割された領域の属性、すなわち領域が背景領域か文字列領域かの情報と、画像データ上における領域の位置情報とが関連付けられ、領域情報としてHDD309に記憶される。
第1の実施形態では、画像データ上における領域は矩形で表現され、上述した位置情報は領域の左上点の座標と、矩形の幅の大きさと、矩形の高さとの組で表現される。以後、ブロック分割処理の結果分割された各々の矩形領域を「ブロック」と表記する。なお、第1の実施形態において、分割領域の形状が矩形であることに限定されるものではなく、分割領域の各々が一意に表現される限りにおいて、任意の形状で領域を規定するのでよい。
ステップS1008において、画像処理バックエンドサーバ306のCPU307は、ステップS1007で取得した各文字列ブロックの文字コード情報と、領域情報に含まれるブロックの位置情報と、更にステップS1005で取得した画像データ(ページ)とを関連付けてHDD309に記憶する。そして、本処理が終了し処理は図6aのフローに戻る。
ステップS608において、画像処理バックエンドサーバ306のCPU307は、画像処理ジョブのステータスを画像処理完了にする。以上により、画像処理システム100による全体処理のうち、スキャン画像に対して画像処理が実行されるまでの処理が終了する。
ステップS609、S612~S617で示す処理は確認端末(第1の実施形態では、画像形成装置101)によって実行される処理であり、処理に係るプログラムはHDD213に格納されており、RAM212に読み出され、CPU211によって実行される。
ステップS610~S611で示す処理は、画像処理フロントエンドサーバ301によって実行される処理であり、処理に係るプログラムはHDD304に格納されており、RAM303に読み出され、CPU302によって実行される。
ステップS618~S619で示す処理は、ストレージサーバ107によって実行される処理であり、処理に係るプログラムはHDD313に格納されており、RAM312に読み出され、CPU311によって実行される。
画像形成装置101のCPU211は、ステップS603の送信後に、画像処理フロントエンドサーバ301に対して送信したスキャン画像(1枚目)の画像処理ジョブのステータスが画像処理完了になったか否かを一定間隔で問い合わせる。そのジョブステータスが完了になった場合に、本処理が開始する。
なお、ステップS601で確認端末として情報処理端末103,104が選択された場合、画像処理フロントエンドサーバ301から予め設定された情報処理端末103,104のメールアドレスに対して画像表示のためのURLが送信される。そして、そのURLに対して情報処理端末103,104からアクセスされた場合に、本処理が開始する。
ステップS610において、画像処理フロントエンドサーバ301のCPU302は、画像形成装置101のタッチパネル画面501上に表示させるために、画像データに対してメタデータを付与するための画面の描画データを生成する。第1の実施形態では、描画データはHTML(Hyper Text Markup Language)等のWebページ記述言語により記述されたページ記述データとJavaScript(登録商標)等のスクリプト言語で記述されたスクリプトデータとを含む。ページ記述データには、ステップS604で受信した画像データとステップS607で生成した画像処理結果データとが静的データとして含まれている。また、スクリプトデータには、ページ記述データに含まれる静的データと画像形成装置101の操作部204から入力されたユーザからの指示とに応じた画面表示の制御手順が含まれている。
ステップS612において、画像形成装置101のCPU211は、ステップS611で画像処理フロントエンドサーバ301が送信した描画データの受信をネットワークI/F214を通じて検知して、描画データを受信する。
ステップS613において、画像形成装置101のCPU211は、受信した描画データに含まれる静的データに基づいて、タッチパネル画面501に描画データを表示する。タッチパネル画面501に表示される画面は、画像形成装置101のユーザがスキャン画像のページごとにストレージサーバ107に付加するメタデータを設定するための画面である。以下、ステップS613で表示される画面をメタデータ設定画面と表記する。
図11は、ステップS613によりタッチパネル画面501上に表示されるメタデータ設定画面1101の一例を示す図である。メタデータ設定画面1101は、プレビュー表示部1102、ページ数表示部1103、メタデータ設定部1104、ページ遷移指示部1110から構成される。
第1の実施形態において、スキャン画像の1枚目の画像には「会計」のメタデータテンプレートが設定されている。メタデータキー表示部1105には、図4(a)で示した「会計」のメタデータテンプレートに紐づくメタデータキーである「案件番号」「納期」「合計金額」「書類種別」が表示されている。
また、メタデータバリュー入力フォーム1107のメタデータキーのそれぞれに対してメタデータバリュー入力用セル1108やメタデータバリュー選択用プルダウン1109が設けられている。ユーザはメタデータバリュー入力用セル1108からメタデータバリューを入力することや、メタデータバリュー選択用プルダウン1109から所望の選択肢を選択することが可能である。
ステップS616において、画像形成装置101のCPU211は、現在のページ画像がスキャン画像の最終ページであるか否かを判定する。CPU211が最終ページであると判定した場合、処理はステップS617に遷移する。CPU211が最終ページではないと判定した場合、スキャン画像のうちメタデータを設定するページ画像について、ステップS613の処理を再度実行する。
ステップS618において、ストレージサーバ107のCPU311は、ステップS617で送信されたスキャン画像とメタデータとをネットワークI/F314を介して受信する。
続いて、第1の実施形態の優先度再設定処理について説明する。
図12は、画像処理フロントエンドサーバ301によって実行される優先度再設定処理を示すフロー図である。上述のステップS615の処理で判定されるように、確認端末で表示しているページの次ページはかなりの確率で次に表示される。そのため本処理は、次ページに対して画像処理が行われていない場合に次ページの優先度を再設定する。
ステップS1201において、画像処理フロントエンドサーバ301のCPU302は、画像処理要求のあった画像データの次ページに対応する画像処理ジョブIDのステータスを確認し、ステータスが画像処理が完了しているか否かを判定する。CPU302が完了していると判定した場合、本処理が終了する。CPU302が未完了であると判定した場合、ステップS1202に遷移する。
ステップS1203において、画像処理フロントエンドサーバ301のCPU302は、取得したキューを優先度高キュー903にエンキューする。その後、本処理が終了する。
次に、図13~図15を参照して、第2の実施形態に係る画像処理システム100について説明する。前述の第1の実施形態では、複数の画像処理ジョブが画像処理サーバ105に投入された場合に優先度を高くした画像処理ジョブが滞留してしまう場合がある。そこで、第2の実施形態は、優先度を高くした画像処理ジョブが滞留した場合でもユーザの待ち時間を短縮することを目的としてなされたものである。第2の実施形態のハードウエア構成は、第1の実施形態に係る画像処理システム100と同様である。従って、第1の実施形態と同様の部分については同じ符号を用いてその説明を省略する。
ステップS1301で示す処理は、画像処理バックエンドサーバ306によって実行される処理であり、処理に係るプログラムはHDD309に格納されており、RAM308に読み出され、CPU307によって実行される。
ステップS1302で示す処理は、確認端末(第2の実施形態では画像形成装置101)によって実行される処理であり、処理に係るプログラムはHDD213に格納されており、RAM212に読み出され、CPU211によって実行される。
ステップS1303~S1304で示す処理は、画像処理フロントエンドサーバ301によって実行される処理であり、処理に係るプログラムはHDD304に格納されており、RAM303に読み出され、CPU302によって実行される。
ステップS1302において、画像形成装置101のCPU211は、ステップS614のメタデータ設定処理の結果としてのメタデータ設定情報を画像処理フロントエンドサーバ301に送信する。メタデータ設定情報とは、メタデータ設定画面1101を介して選択されたブロックを表す情報と、選択されたブロックに対して設定されたバリューの値情報とを含む。
図11の例では、「案件番号」のバリューの値は、「ABC-123」である。「納期」のバリューの値は、「平成27年10月25日」である。「合計金額」のバリューの値は、「4875000」である。
ステップS1304において、画像処理フロントエンドサーバ301のCPU302は、ステップS1006のブロック分割処理で分割して得られた領域情報と受信したメタデータ設定情報(選択されたブロックを表す情報とバリューの値情報)とを関連付けてHDD304に保存する。なお、画像処理フロントエンドサーバ301のHDD304は、記憶手段に相当する。
図14は、ステップS1301で画像処理バックエンドサーバ306によって実行される画像処理の詳細を示すフロー図である。図14は、図10に示すフロー図とは、ステップS1003とS1004との間にステップS1406の判定処理が実行される点で異なる。また、ステップS1005の後にステップS1006の処理が実行されずステップS1401~S1403の判定処理及びS1404の処理が実行される点、ステップS1401でNO判定された場合にステップS1006~S1008の処理が実行される点で異なる。更に、ステップS1401~S1403の全てでYES判定された場合にステップS1404、S1007~S1008、S1405の処理が実行される点、ステップS1402又はS1403でNO判定された場合にS1405の処理が実行される点で異なる。そこで、以下、ステップS1401~S1406で示す処理の詳細について説明する。
図15のビジー待ちキュー1501は、画像処理バックエンドサーバ306がビジー状態である場合に一時的に処理を退避するキューである。
ステップS1406において、画像処理バックエンドサーバ306のCPU307は、ビジー待ちキュー1501を確認し、キューがあるか否かを判定する。CPU307がキューがあると判定した場合、ビジー待ちキュー1501からデキューして、処理はステップS1005に遷移する。CPU307がキューがないと判定した場合、処理はステップS1004に遷移する。
次に、図16a~図19を参照して、第3の実施形態に係る画像処理システム100について説明する。前述の第2の実施形態では、ユーザが過去に選択したブロックについてはOCR処理が実行されるが、過去に選択したブロック以外の箇所(ブロック)についてはOCR処理が実行されない。しかしならが、ユーザが過去に選択したブロック以外のブロックについて、OCR処理の結果を利用したい場合がある。このような場合には、ユーザがブロックを指定して画像処理サーバ105に対して再度画像処理要求を行い、ユーザに指定されたブロックに対して画像処理サーバ105がOCR処理を実行することになる。以下、画像処理サーバ105が確認端末に画像データ画像処理の結果を提供した後で、画像処理サーバ105が確認端末から画像データに対して指定されたブロックを取得して、指定されたブロックに対して行うOCR処理を再OCR処理という。一方で、画像処理サーバ105で画像処理ジョブが滞留している場合、この再OCR処理のジョブが実行されるまでに時間がかかりユーザが待たされてしまう場合がある。そこで第3の実施形態は、再OCR処理の画像処理ジョブが滞留することなくユーザの待ち時間を短縮することを目的としてなされたものである。第3の実施形態の画像処理システム100のハードウエア構成は、第2の実施形態に係る画像処理システム100と同様である。従って、第2の実施形態と同様の部分については同じ符号を用いてその説明を省略する。
ステップS1602~S1603、S1610~S1611で示す処理は、確認端末(第3の実施形態では画像形成装置101)によって実行される処理であり、処理に係るプログラムはHDD213に格納されており、RAM212に読み出され、CPU211によって実行される。
ステップS1604~S1606、S1609で示す処理は、画像処理フロントエンドサーバ301によって実行される処理であり、処理に係るプログラムはHDD304に格納されており、RAM303に読み出され、CPU302によって実行される。
ステップS1607~S1608で示す処理は、画像処理バックエンドサーバ306によって実行される処理であり、処理に係るプログラムはHDD309に格納されており、RAM308に読み出され、CPU307によって実行される。
ステップS1602において、画像形成装置101のCPU211は、ユーザに選択されたブロックにOCR情報が付与されているか否かを判定する。OCR情報とは、画像データのブロックに対して、文字列を抽出するOCR処理が実行された結果として得られた文字列の文字コード情報を意味する。CPU211がOCR情報が付与されていると判定した場合、処理はステップS1611に遷移する。CPU211がOCR情報が付与されていないと判定した場合、再OCR処理の要求を行うために、処理はステップS1603に遷移する。
ステップS1603において、画像形成装置101のCPU211は、ユーザに選択されたブロックの位置を表す情報(以下、指定領域ブロックという)をネットワークI/F214を介して画像処理フロントエンドサーバ301に送信する。指定領域ブロックは、指定領域情報に相当する。
ステップS1604において、画像処理フロントエンドサーバ301のCPU302は、画像形成装置101から指定領域ブロックをネットワークI/F305が受信したことを検知すると、既に受信済みの画像データとスキャン情報と共にHDD304に指定領域ブロックを格納する。画像処理フロントエンドサーバ301のCPU302が、取得手段として機能する。
ステップS1606において、画像処理フロントエンドサーバ301のCPU302は、画像処理ジョブがスキャン画像受付キュー901に投入されたことをトリガーにキュー制御処理を行う。このキュー制御処理の詳細について次に説明する。
図18は、図16a及び図16cのステップS1606で画像処理フロントエンドサーバ301によって実行されるキュー制御処理の詳細を示すフロー図である。図18は、図8に示すフロー図とは、ステップS801の前に、ステップS1801の判定処理が実行される点、及びステップS1801でYES判定された場合に、ステップS1802の処理が実行される点で異なる。本フロー図に示す処理に係るプログラムは、画像処理フロントエンドサーバ301のHDD304に格納されており、RAM303に読み出され、CPU302によって実行される。
ステップS1802において、画像処理フロントエンドサーバ301のCPU302は、スキャン画像受付キュー901からデキューしたキュー902を再OCRキュー1901にエンキューする。そして、キュー制御処理が終了し、処理は図16cのフローに戻る。
ステップS1607において、画像処理バックエンドサーバ306のCPU307は、画像処理を実行する。第3の実施形態では、前述のキュー制御処理を実行する画像処理フロントエンドサーバ301のCPU302と、次に説明する画像処理を実行する画像処理バックエンドサーバ306のCPU307が、制御手段として機能する。
図17は、図16a及び図16cのステップS1607で画像処理バックエンドサーバ306によって実行される画像処理の詳細を示すフロー図である。図17は、図14に示すフロー図とは、ステップS1001とS1002との間にステップS1701の判定処理が実行される点、ステップS1701でYES判定された場合にステップS1005、S1705、S1706、S1008の処理が実行される点で異なる。また、ステップS1006とS1007との間にステップS1702の判定処理が実行される点、ステップS1702でYES判定された場合にステップS1703、S1704、S1008の処理が実行される点で異なる。そこで、以下、ステップS1701~S1705で示す処理の詳細について説明する。
ステップS1702において、画像処理バックエンドサーバ306のCPU307は、ステップS1006で行ったブロック分割処理(S1006)の結果得られたブロックの数(領域数)が、所定の閾値以上であるか否かを判定する。CPU307が領域数が所定の閾値以上であると判定した場合、処理はステップS1703に遷移し、その後後述する選別処理が実行される。
CPU307が領域数が所定の閾値未満であると判定した場合、処理はステップS1007に遷移し、画像データ全体から文字領域であるブロック全体に対してOCR処理が実行される。その後処理はステップS1008に遷移し、CPU307が、各ブロックの位置情報とS1007で取得したOCR処理の結果としてのOCR情報(文字列の文字コード情報)とを関連付けて、HDD309に記憶する。
ステップS1704において、画像処理バックエンドサーバ306のCPU307は、ステップS1703で選別されたブロック(優先順位が高いブロック、以下優先ブロックという)に対してOCR処理を実行する。その後処理はステップS1008に遷移し、CPU307が、優先ブロックの位置情報とS1704で取得したOCR処理の結果としてのOCR情報とを関連付けてHDD309に記憶する。これにより、第1の実施形態のように画像データ全体から文字領域であるブロック全体に対してOCR処理が実行されることなく、優先ブロックのみにOCR処理が実行される。従って、処理を更に高速に行うことができる。
ステップS1706において、画像処理バックエンドサーバ306のCPU307は、画像データに対して指定領域ブロックに基づいてユーザに選択されたブロックを特定し、特定されたブロックに対してOCR処理を実行する。その後処理はステップS1008に遷移し、CPU307が、指定領域ブロックの位置情報とS1706で取得したOCR処理の結果としてのOCR情報とを関連付けてHDD309に記憶する。このようにして、OCR処理の要求のあったブロックのみにOCR処理が実行される。従って、処理を更に高速に行うことができる。
ステップS1608において、画像処理バックエンドサーバ306のCPU307は、画像処理ジョブのステータスを画像処理完了にする。以上により、画像処理システム100による全体処理のうち、スキャン画像に対して画像処理が実行されるまでの処理が終了する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (19)
- 画像データと前記画像データに関する画像情報とを取得する取得手段と、
前記画像情報に基づいて前記画像データの優先度を判定し、当該判定された優先度に応じた順序で前記画像データに対する画像処理が行われるように制御する制御手段と、
他の端末からの要求に応じて、前記画像処理の結果を前記他の端末に提供する提供手段と、
を有する画像処理装置であって、
前記制御手段は、前記他の端末から前記画像処理の結果が要求された前記画像データの次ページに対応する画像データの画像処理が完了していない場合、当該次ページに対応する画像データに対する画像処理が優先的に行われるように制御することを特徴とする画像処理装置。 - 前記制御手段は、前記他の端末から前記画像処理の結果が要求された前記画像データの次ページに対応する画像データの画像処理が完了していない場合、前記次ページに対応する画像データの優先度を、前記他の端末から前記画像処理の結果が要求された際の状態より高くすることにより、当該次ページに対応する画像データに対する画像処理が優先的に行われるように制御することを特徴とする請求項1に記載の画像処理装置。
- 前記制御手段は、前記判定された優先度に対応するキューに前記画像データをエンキューすることにより、前記判定された優先度に応じた順序で前記画像データに対する画像処理が行われるように制御することを特徴とする請求項1に記載の画像処理装置。
- 前記画像情報には、前記画像処理の結果の提供先となる前記他の端末を示す端末情報が含まれており、
前記制御手段は、前記画像情報に含まれる前記端末情報に基づいて、前記画像データの前記優先度を判定することを特徴とする請求項1または3に記載の画像処理装置。 - 前記取得手段が、前記画像データと前記画像情報とを前記画像データを生成する画像形成装置から取得しており、
前記制御手段は、前記端末情報が前記画像形成装置を示す場合の前記優先度を、前記端末情報が前記画像形成装置とは異なる端末を示す場合の前記優先度より高くすることを特徴とする請求項4に記載の画像処理装置。 - 前記画像情報には、前記画像データが何枚目であるかを表すページ情報が含まれており、
前記制御手段は、前記画像情報に含まれる前記ページ情報に基づいて、前記画像データの前記優先度を判定することを特徴とする請求項1または3に記載の画像処理装置。 - 前記制御手段は、前記ページ情報が1枚目から所定のページ目までである場合の前記優先度を、前記ページ情報が前記所定のページ目より後の場合の前記優先度より高くすることを特徴とする請求項6に記載の画像処理装置。
- 前記制御手段は、前記優先度を少なくとも3段階に分けて判定することを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。
- 画像データと前記画像データに関する画像情報とを取得する取得手段と、
前記画像情報に基づいて前記画像データの優先度を判定し、前記判定された優先度に対応するキューに前記画像データをエンキューすることにより、前記判定された優先度に応じた順序で前記画像データに対する画像処理が行われるように制御する制御手段と、
前記画像処理の結果を他の端末に提供する提供手段と、
を有する画像処理装置であって、
前記画像情報には、前記画像処理の結果の提供先となる前記他の端末を示す端末情報と、前記画像データが何枚目であるかを表すページ情報とが含まれており、
前記取得手段が、前記画像データと前記画像情報とを前記画像データを生成する画像形成装置から取得しており、
前記制御手段は、前記ページ情報が1枚目から所定のページ目までであり、かつ、前記端末情報が前記画像形成装置を示す場合、当該画像データを最も高い優先度のキューにエンキューし、前記ページ情報が1枚目から所定のページ目までであり、かつ、前記端末情報が前記画像形成装置とは異なる端末を示す場合、当該画像データを2番目に高い優先度のキューにエンキューし、前記ページ情報が所定のページ目より後である場合、当該画像データを3番目に高い優先度のキューにエンキューすることを特徴とする画像処理装置。 - 前記画像処理には、前記画像データを要素に応じて領域に分割する分割処理と、前記画像データから文字列を抽出する抽出処理とが含まれることを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。
- 画像データと前記画像データに関する画像情報とを取得する取得手段と、
前記画像情報に基づいて前記画像データの優先度を判定し、当該判定された優先度に応じた順序で前記画像データに対する画像処理が行われるように制御する制御手段と、
前記画像処理の結果を他の端末に提供する提供手段と、
を有する画像処理装置であって、
前記画像処理には、前記画像データを要素に応じて領域に分割する分割処理と、前記画像データから文字列を抽出する抽出処理とが含まれ、
前記画像処理装置は、前記画像データに前記分割処理を行って得られた前記領域の位置情報を含む領域情報、及び前記画像データに含まれる前記領域から選択された前記領域を示す情報が関連付けられて記憶される記憶手段を更に有しており、
前記制御手段は、前記記憶手段に記憶されている、選択された前記領域の前記位置情報に基づいて、前記画像データの一部に対して前記抽出処理を行うように制御することを特徴とする画像処理装置。 - 前記制御手段は、前記画像データに対して前記分割処理を行って得られた前記領域情報と、前記記憶手段に記憶されている前記領域情報とを比較して、前記領域情報どうしが類似する場合に、類似すると判定された前記領域情報に基づいて、前記抽出処理を行うように制御することを特徴とする請求項11に記載の画像処理装置。
- 前記記憶手段には、帳票に関する前記領域情報が記憶されており、
前記制御手段は、前記画像データが前記帳票である場合に、前記抽出処理を行うように制御することを特徴とする請求項11または12に記載の画像処理装置。 - 前記制御手段は、ビジー状態である場合に、前記抽出処理を行うように制御することを特徴とする請求項11乃至13の何れか1項に記載の画像処理装置。
- 画像データと前記画像データに関する画像情報とを取得する取得手段と、
前記画像情報に基づいて前記画像データの優先度を判定し、当該判定された優先度に応じた順序で前記画像データに対する画像処理が行われるように制御する制御手段と、
前記画像処理の結果を他の端末に提供する提供手段と、
を有する画像処理装置であって、
前記画像処理には、前記画像データを要素に応じて領域に分割する分割処理と、前記画像データから文字列を抽出する抽出処理とが含まれ、
前記制御手段は、前記判定された優先度に応じた順序で前記画像データに対する画像処理を行う際、さらに、前記画像データに前記分割処理を行って得られた前記領域を選別する選別処理を行って、選別された前記領域について前記抽出処理を行うように制御することを特徴とする画像処理装置。 - 前記選別処理は、前記画像データに前記分割処理を行って得られた前記領域の大きさ、前記領域に含まれる画素塊の文字らしさ、文字らしい前記画素塊の位置、文字らしい前記画素塊の大きさのうちの少なくともいずれか1つに基づいて行われることを特徴とする請求項15に記載の画像処理装置。
- 前記制御手段は、前記画像データに前記分割処理を行って得られた前記領域の領域数が、所定の閾値以上である場合、前記選別処理を行い、所定の閾値未満である場合、前記選別処理を行わないことを特徴とする請求項15または16に記載の画像処理装置。
- 画像処理装置の制御方法であって、
画像データと前記画像データに関する画像情報とを取得する取得ステップと、
前記画像情報に基づいて前記画像データの優先度を判定し、当該判定された優先度に応じた順序で前記画像データに対する画像処理が行われるように制御する制御ステップと、
他の端末からの要求に応じて、前記画像処理の結果を前記他の端末に提供する提供ステップと、
を含み、
前記制御ステップは、前記他の端末から前記画像処理の結果が要求された前記画像データの次ページに対応する画像データの画像処理が完了していない場合、当該次ページに対応する画像データに対する画像処理が優先的に行われるように制御することを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1乃至17の何れか1項に記載された画像処理装置の各手段として機能させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019206192 | 2019-11-14 | ||
JP2019206192 | 2019-11-14 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021083068A JP2021083068A (ja) | 2021-05-27 |
JP2021083068A5 JP2021083068A5 (ja) | 2023-02-21 |
JP7493954B2 true JP7493954B2 (ja) | 2024-06-03 |
Family
ID=75965536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020024366A Active JP7493954B2 (ja) | 2019-11-14 | 2020-02-17 | 画像処理装置、画像処理装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7493954B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001228994A (ja) | 2000-02-17 | 2001-08-24 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2006313489A (ja) | 2005-05-09 | 2006-11-16 | Canon Inc | 文書登録装置及びその制御方法、並びに制御プログラム |
JP2007282771A (ja) | 2006-04-14 | 2007-11-01 | Konica Minolta Medical & Graphic Inc | 医用情報処理装置及びプログラム |
JP2011232917A (ja) | 2010-04-27 | 2011-11-17 | Renesas Electronics Corp | 半導体集積回路、及びリクエスト制御方法 |
JP2013161268A (ja) | 2012-02-06 | 2013-08-19 | Fuji Xerox Co Ltd | 画像処理装置およびプログラム |
-
2020
- 2020-02-17 JP JP2020024366A patent/JP7493954B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001228994A (ja) | 2000-02-17 | 2001-08-24 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2006313489A (ja) | 2005-05-09 | 2006-11-16 | Canon Inc | 文書登録装置及びその制御方法、並びに制御プログラム |
JP2007282771A (ja) | 2006-04-14 | 2007-11-01 | Konica Minolta Medical & Graphic Inc | 医用情報処理装置及びプログラム |
JP2011232917A (ja) | 2010-04-27 | 2011-11-17 | Renesas Electronics Corp | 半導体集積回路、及びリクエスト制御方法 |
JP2013161268A (ja) | 2012-02-06 | 2013-08-19 | Fuji Xerox Co Ltd | 画像処理装置およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021083068A (ja) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9628636B2 (en) | Print control device and computer-readable storage medium storing a program | |
US9729735B2 (en) | Intelligent pre-conversion of document formats for predicted printer selection | |
US9794447B2 (en) | Service providing system, cooperation processing method, and information processing system | |
US10423825B2 (en) | Retrieval device, retrieval method, and computer-readable storage medium for computer program | |
US8830492B2 (en) | Data processing apparatus for sending a single job based on common document information | |
JP3998012B2 (ja) | 画像出力装置およびその制御方法ならびにコンピュータプログラム | |
US11137946B2 (en) | Image processing apparatus, method for controlling the same and storage medium | |
US11307821B2 (en) | Print control method, non-transitory recording medium, information processing apparatus, and printing system for pull printing | |
US20110164283A1 (en) | Image processing apparatus, image processing system, and image processing method | |
US20090080000A1 (en) | Information processing apparatus, information processing method, and program and storage medium therefor | |
US20110107402A1 (en) | Client server system, client apparatus and server apparatus displaying contents of provided services | |
KR20240020719A (ko) | 정보 처리 장치, 저장 매체, 및 저장 방법 | |
US12028490B2 (en) | Server for providing a setting screen with previously used settings to a client apparatus for image transmission | |
KR20200115263A (ko) | 화상 처리 장치, 그 제어 방법 및 저장 매체 | |
JP6127597B2 (ja) | 情報処理装置、その制御方法及びプログラム | |
US11611677B2 (en) | Information processing apparatus that identifies related document images based on metadata and associates them based on user input, information processing system, information processing method, and storage medium | |
US11350011B2 (en) | Device, process execution system, process execution method, and non-transitory recording medium | |
US9413841B2 (en) | Image processing system, image processing method, and medium | |
CN112615970A (zh) | 控制设置元数据的画面的显示的方法、存储介质及设备 | |
US11223731B2 (en) | Image processing apparatus, method for controlling the same and storage medium | |
JP7493954B2 (ja) | 画像処理装置、画像処理装置の制御方法 | |
JP4558009B2 (ja) | 画像出力装置およびその制御方法ならびにコンピュータプログラム | |
JP2007081970A (ja) | 文書配信システム | |
JP2018106612A (ja) | 印刷管理システム、印刷管理システムの制御方法及びプログラム | |
JP7388411B2 (ja) | 情報処理システム、通信システム、情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7493954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |