JP7493954B2 - 画像処理装置、画像処理装置の制御方法 - Google Patents

画像処理装置、画像処理装置の制御方法 Download PDF

Info

Publication number
JP7493954B2
JP7493954B2 JP2020024366A JP2020024366A JP7493954B2 JP 7493954 B2 JP7493954 B2 JP 7493954B2 JP 2020024366 A JP2020024366 A JP 2020024366A JP 2020024366 A JP2020024366 A JP 2020024366A JP 7493954 B2 JP7493954 B2 JP 7493954B2
Authority
JP
Japan
Prior art keywords
image processing
image
image data
information
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020024366A
Other languages
English (en)
Other versions
JP2021083068A (ja
JP2021083068A5 (ja
Inventor
嘉仁 七海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2021083068A publication Critical patent/JP2021083068A/ja
Publication of JP2021083068A5 publication Critical patent/JP2021083068A5/ja
Application granted granted Critical
Publication of JP7493954B2 publication Critical patent/JP7493954B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、画像処理装置、画像処理装置の制御方法、画像処理装置のためのプログラムに関する。
従来、画像形成装置でスキャンした画像データに対して、OCR(Optical Character Recognition)処理を行うことで、画像データの内容を表す文字列をデジタルデータとして抽出する技術が存在する。また、画像データを文字列、背景等の要素ごとの領域ブロックに分割して、画像データの構造を認識する技術が存在する。このような技術を用いて、画像データに対して後続のシステムへの入力データとして利用するための付加情報(メタデータ)を付与し、後続のシステムに送信することがある。例えば、領収書等の帳票をスキャンした画像データから文字列ブロックごとのデジタルデータを抽出することで、ユーザが画像データに含まれる文字列ブロックを用いてメタデータを簡単に付与することができる。
また、例えば、特許文献1には、画像の領域ごとの属性(文字領域、絵、表)を解析し、文字の大きさやレイアウトに基づいて、OCR処理を行う順序を決定する技術が開示されている。
特開2012-178007号公報
上記のようなOCR処理をサーバで集中的に行うケースでは、複数の画像形成装置でスキャンした画像データを処理するため時間がかかる。そのため、特許文献1に記載される技術を用いてOCR処理を行ったとしても、スキャン後すぐに抽出結果を用いてメタデータを付与することができず、ユーザが待たされてしまう事態が生じる。
本発明は、上記の問題点に鑑み、ユーザが画像処理の結果を待つ時間を短縮し、ユーザの利便性を向上させることを目的とする。
本発明の画像処理装置は、画像データと前記画像データに関する画像情報とを取得する取得手段と、前記画像情報に基づいて前記画像データの優先度を判定し、当該判定された優先度に応じた順序で前記画像データに対する画像処理が行われるように制御する制御手段と、他の端末からの要求に応じて、前記画像処理の結果を前記他の端末に提供する提供手段とを有する画像処理装置であって、前記制御手段は、前記他の端末から前記画像処理の結果が要求された前記画像データの次ページに対応する画像データの画像処理が完了していない場合、当該次ページに対応する画像データに対する画像処理が優先的に行われるように制御することを特徴とする。
本発明によれば、ユーザが画像処理の結果を待つ時間を短縮し、ユーザの利便性を向上させることができる。
第1の実施形態に係る画像処理システムの構成例を示す図である。 第1の実施形態に係る画像形成装置の構成例を示す図である。 第1の実施形態に係る画像処理システムのサーバの構成例を示す図である。 メタデータの構成の一例を示す図である。 第1の実施形態に係る画像形成装置の操作部の構成例を示す図である。 第1の実施形態の画像処理システムの全体処理を示すフロー図である。 第1の実施形態の画像処理システムの全体処理を示すフロー図である。 確認場所選択画面の一例を示す図である。 図6aのキュー制御処理の詳細を示すフロー図である。 図6aのキュー制御処理を説明する図である。 図6aの画像処理の詳細を示すフロー図である。 メタデータ設定画面の一例を示す図である。 第1の実施形態に係る優先度再設定処理を示すフロー図である。 第2の実施形態の画像処理システムの全体処理を示すフロー図である。 第2の実施形態の画像処理システムの全体処理を示すフロー図である。 図13aの画像処理の詳細を示すフロー図である。 図13aのキュー制御処理を説明する図である。 第3の実施形態の画像処理システムの全体処理を示すフロー図である。 第3の実施形態の画像処理システムの全体処理を示すフロー図である。 図16bのメタデータ設定処理の詳細を示すフロー図である。 図16a及び図16cの画像処理の詳細を示すフロー図である。 図16a及び図16cのキュー制御処理の詳細を示すフロー図である。 図16a及び図16cのキュー制御処理を説明する図である。
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
<第1の実施形態>
図1は、第1の実施形態に係る画像処理システム100の構成例を示す図である。
この画像処理システム100は、画像形成装置101,102と、情報処理端末103,104と、画像処理サーバ105と、ストレージサーバ107とを有する。画像形成装置101,102と、情報処理端末103,104と、画像処理サーバ105と、ストレージサーバ107とは、ネットワーク106により相互に接続され、通信可能である。画像処理サーバ105は、画像処理装置に相当する。
第1の実施形態では、2つの画像形成装置101,102を有する画像処理システム100の構成を例に挙げて説明するが、画像形成装置の数は任意(1または2以上)である。また、それぞれの画像形成装置101,102は、同様なもので実現することができる。従って、以下では、画像形成装置101,102を代表して画像形成装置101について説明し、画像形成装置102についての詳細な説明を省略する。なお、ネットワーク106は、LAN(Local Area Network)、インターネット等、画像処理システム100内の装置が相互に通信できるものであればよい。
画像形成装置101は、情報処理端末103,104から画像データの印刷依頼(印刷データ)を受信して印刷することや、画像形成装置101に備わるスキャナで画像データを読み取ることや、スキャナで読み取られた画像データを印刷することが可能である。また、画像形成装置101は、情報処理端末103,104から受信した印刷データを保存したり、画像形成装置101のスキャナで読み取られた画像データを情報処理端末103,104に送信したりすることが可能である。更に、画像形成装置101は、画像処理サーバ105に画像データを送信して画像処理の依頼をしたり、ストレージサーバ107に格納されている文書を印刷したりすることが可能である。また、画像処理サーバ105は、画像形成装置101から依頼された画像処理の結果生成された画像データをストレージサーバ107に送信し、保存を依頼することが可能である。
第1の実施形態では、画像処理サーバ105及びストレージサーバ107をそれぞれ1つずつ有する画像処理システム100の構成を例に挙げて説明するが、それぞれのサーバ数は任意(1または2以上)である。また、それぞれのサーバは用途に応じた異なる役割を持っていても良い。また、本構成において、画像処理サーバ105及びストレージサーバ107は、クラウド、すなわちインターネット上に配置されていてもよい。画像形成装置101は、この他に、MFP(Multifunction Peripheral)等の公知の画像形成装置が有する機能を実現することが可能である。情報処理端末103,104は、例えばモバイル端末であってもよい。情報処理端末103,104は、外部端末に相当する。
図2は、画像形成装置101の構成の一例を示す図である。
画像形成装置101は、コントローラ201、プリンタ202、スキャナ203、及び操作部204を有する。コントローラ201は、CPU211、RAM212、HDD213、ネットワークI/F214、プリンタI/F215、スキャナI/F216、操作部I/F217、及び拡張I/F218を有する。
CPU211は、画像形成装置101の全体を制御する。CPU211は、RAM212、HDD213、ネットワークI/F214、プリンタI/F215、スキャナI/F216、操作部I/F217、及び拡張I/F218とのデータの授受を制御可能である。また、CPU211は、HDD213から読み出した制御プログラム(命令)をRAM212に展開し、RAM212に展開した命令を実行する。
HDD213は、CPU211で実行可能な制御プログラム、画像形成装置101で使用する設定値、及びユーザから依頼された処理に関するデータ等を記憶する。
RAM212は、CPU211がHDD213から読み出した命令を一時的に格納するための領域を有する。また、RAM212は、命令の実行に必要な各種のデータを記憶しておくことも可能である。例えば画像処理では、CPU211は入力されたデータをRAM212に展開することで処理を行うことが可能である。
ネットワークI/F214は、画像処理システム100内の装置とネットワーク通信を行うためのインターフェイスである。ネットワークI/F214は、データ受信を行ったことをCPU211に伝達することや、RAM212上のデータをネットワーク106に送信することが可能である。
プリンタI/F215は、CPU211から送信された印刷データをプリンタ202に送信することや、プリンタ202から受信したプリンタの状態をCPU211に伝達することが可能である。
スキャナI/F216は、CPU211から送信された画像読み取り指示をスキャナ203に送信し、スキャナ203から受信した画像データをCPU211に伝達することや、スキャナ203から受信した状態をCPU211に伝達することが可能である。
操作部I/F217は、操作部204から入力されたユーザからの指示をCPU211に伝達することや、ユーザが操作するための画面情報を操作部204に伝達することが可能である。
拡張I/F218は、画像形成装置101に外部機器を接続することを可能とするインターフェイスである。拡張I/F218は、例えば、USB(Universal Serial Bus)形式のインターフェイスを具備する。画像形成装置101は、USBメモリ等の外部記憶装置が拡張I/F218に接続されることにより、当該外部記憶装置に記憶されているデータの読み取り及び当該外部記憶装置に対するデータの書き込みを行うことが可能である。
プリンタ202は、プリンタI/F215から受信した画像データを用紙に印刷することや、プリンタ202の状態をプリンタI/F215に伝達することが可能である。
スキャナ203は、スキャナI/F216から受信した画像読み取り指示に従って、自身に置かれた用紙に表示されている情報を読み取ってデジタル化してスキャナI/F216に伝達することが可能である。また、スキャナ203は、自身の状態をスキャナI/F216に伝達することが可能である。
操作部204は、画像形成装置101に対して各種の指示を行うための操作をユーザに行わせるためのインターフェイスである。例えば、操作部204は、タッチパネルを有する液晶画面を具備し、ユーザに操作画面を提供するとともに、ユーザからの操作を受け付ける。なお、操作部204の詳細は図5で後述する。
図3(a)は、画像処理サーバ105の構成の一例を示す図である。
画像処理サーバ105は、画像処理フロントエンドサーバ301と画像処理バックエンドサーバ306とから構成される。
画像処理フロントエンドサーバ301は、CPU302、RAM303、HDD304、及びネットワークI/F305を有する。CPU302は、画像処理フロントエンドサーバ301の全体を制御する。CPU302は、RAM303、HDD304、及びネットワークI/F305とのデータの授受を制御可能である。また、CPU302は、HDD304から読み出した制御プログラム(命令)をRAM303に展開し、RAM303に展開した命令を実行する。
画像処理バックエンドサーバ306は、CPU307、RAM308、HDD309、及びネットワークI/F310を有する。CPU307は、画像処理バックエンドサーバ306の全体を制御する。CPU307は、RAM308、HDD309、及びネットワークI/F310とのデータの授受を制御可能である。また、CPU307は、HDD309から読み出した制御プログラム(命令)をRAM308に展開し、RAM308に展開した命令を実行する。
画像処理フロントエンドサーバ301は、画像形成装置101よりネットワークI/F305を通じて受信した画像データをHDD304に格納するとともに後述の図9のスキャン画像受付キュー901に画像処理ジョブを積む。画像処理バックエンドサーバ306は、スキャン画像受付キュー901にジョブが積まれると画像データに対して画像処理を実行する。画像処理バックエンドサーバ306が実行可能な画像処理には、画像データに対するOCR(Optical Character Recognition)処理や、画像データ内の文字列、背景等の要素ごとの領域ブロックに分割するブロック分割処理が含まれる。なお、OCR処理とは、文字列をデジタルデータとして抽出する抽出処理である。画像処理バックエンドサーバ306は、画像処理の処理能力を高めるために台数を容易に増やすことができる構成になっている。また、画像処理バックエンドサーバ306は、画像処理をスレッド単位で同時に実行することができ、各画像処理スレッドが画像処理を行っているときは画像処理中状態であり、画像処理が終了すると画像処理待ち状態に遷移する。
図3(b)は、ストレージサーバ107の構成の一例を示す図である。
ストレージサーバ107は、CPU311、RAM312、HDD313、及びネットワークI/F314を有する。
CPU311は、ストレージサーバ107の全体を制御する。CPU311は、RAM312、HDD313、及びネットワークI/F314とのデータの授受を制御可能である。また、CPU311は、HDD313から読み出した制御プログラム(命令)をRAM312に展開し、RAM312に展開した命令を実行する。
HDD313には、画像処理フロントエンドサーバ301からネットワークI/F314を介して受信した画像データを蓄積することが可能である。また、ストレージサーバ107は、受信した画像データに対して、メタデータテンプレートに紐づくメタデータを付与して、HDD313に保存することが可能である。ここでメタデータテンプレートとは、画像データに対して付与するメタデータのセットを規定する定義のことを指し、ユーザが任意に複数設定することが可能である。
図4(a)は、画像データに対して設定可能なメタデータの一例を示したマトリクスである。
図4(a)には、メタデータテンプレートとそのメタデータの構成の一例を示す。メタデータテンプレートは、対象となる画像データの分類を表現しており、そのメタデータテンプレートに応じて異なるメタデータを設定することが可能である。例えば、図4(a)の例では、メタデータテンプレートとして「会計」が設定されており、メタデータのキーとして「案件番号」「納期」「合計金額」「書類種別」が設定されている。なお、メタデータのキーのそれぞれに設定されるバリューには型が存在し、型にはテキスト型、日付型、数値型、選択型が存在する。
図4(a)の例では、「会計」のテンプレートにおいて「案件番号」というメタデータキーが存在し、その対応するメタデータバリューにはテキスト型の値を設定可能である。表1の例では「案件番号」に対して「ABC-123」が設定されている。
また同様にして、「納期」というメタデータキーが存在し、メタデータバリューには日付型の値を設定可能である。図4(a)の例では「納期」に対して「2015/10/25」が設定されている。
また同様にして、「合計金額」というメタデータキーが存在し、メタデータバリューには数値型の値を設定可能である。図4(a)の例では「合計金額」に対して「47875000」が設定されている。
また同様にして、「書類種別」というメタデータキーが存在し、メタデータバリューには選択型の値を設定可能である。図4(a)の例では「書類種別」に対してメタデータバリューの選択肢として図4(b)の値が選択可能であるとする。ここでは、「書類種別」に対して、「見積書」「納品書」「注文書」が選択的に設定可能である。
このようにして、ストレージサーバ107のCPU311が、画像処理の結果が確認された端末(以下、確認端末という)から受信したメタデータを画像データに付与して、HDD313に画像データとメタデータとを紐づけて格納する。これにより、ユーザはサーバに対しメタデータキーを指定して画像データを検索することが可能となる。
また、ストレージサーバ107のCPU311が、HDD313に格納した画像データに対しメタデータを付与することで、画像処理システム100の後続に構築されるシステムとの連携もスムーズに行うことが可能となる。例えば、ある会計システムに画像データと会計情報とを入力する際、原稿(画像データ)のアップロードをした後に、人手で会計情報を転記する必要があるユースケースが存在する。ここでストレージサーバ107が画像データをアップロードする際に必要となるメタデータを付与することで、そのまま会計システムに登録することが可能となり、転記作業の効率化を図ることが可能になる。
図5は、画像形成装置101の操作部204の構成例を示す図である。
操作部204は、タッチパネル画面501と設定キー502、キャンセルキー504、開始キー503で構成されている。ユーザはタッチパネル画面501及び設定キー502を用いて、各ジョブの設定を行い、開始キー503の押下によりジョブを開始する。なお一度開始したジョブはキャンセルキー504を押下することでジョブ中に中止することが可能である。ここで示すジョブとは、例えばコピージョブや、ネットワークI/F214を介してスキャンした画像データを画像処理サーバ105に送信する送信ジョブ等が挙げられる。
<全体処理>
以上説明した構成の画像処理システム100が実行する全体処理について説明する。図6aは、全体処理のうち画像形成装置101を用いてスキャンした画像データに対して画像処理サーバ105が画像処理を実行するまでの処理を示すフロー図である。
ステップS601~S603で示す処理は、画像形成装置101によって実行される処理であり、処理に係るプログラムはHDD213に格納されており、RAM212に読み出され、CPU211によって実行される。
ステップS604~S606で示す処理は、画像処理フロントエンドサーバ301によって実行される処理であり、処理に係るプログラムはHDD304に格納されており、RAM303に読み出され、CPU302によって実行される。
ステップS607~S608で示す処理は、画像処理バックエンドサーバ306によって実行される処理であり、処理に係るプログラムはHDD309に格納されており、RAM308に読み出され、CPU307によって実行される。
ステップS601において、画像形成装置101のCPU211は、ユーザがメタデータバリューの設定をどこで行うかをタッチパネル画面501で選択させる。すなわち、画像形成装置101のCPU211は、画像処理の結果を確認させる確認端末をユーザに選択させる選択手段として機能する。
図7は、タッチパネル画面501に表示される確認場所選択画面701の一例を示す図である。ボタン702は、画像形成装置101を設定するためのボタンである。ボタン703は、情報処理端末103,104を設定するためのボタンである。ユーザによりボタン702又は703が選択されてボタン704が押下されると、選択された情報は確認場所選択値としてHDD313に保持される。このようにして、ユーザは画像処理の結果を画像形成装置101と情報処理端末103,104のどちらに表示させるのかを選択することで、所望の端末でメタデータバリューの設定を行うことができる。なお確認場所選択値は、端末情報に相当する。
ステップS602において、画像形成装置101のCPU211は、開始キー503の押下等による原稿のスキャン指示を受信すると、スキャナ203に対してスキャン指示を行い、スキャン処理を実行する。そして、画像形成装置101のCPU211は、原稿に対応する画像データをページごとにファイル化して生成する。
ステップS603において、画像形成装置101のCPU211は、ステップS602にて生成した画像データと当該画像データに対応するスキャン情報とをネットワークI/F214を介して画像処理フロントエンドサーバ301に送信する。すなわち、画像形成装置101のCPU211は、画像データとスキャン情報とを画像処理サーバ105に送信する送信手段として機能する。
スキャン情報には、ステップS601で選択された確認場所選択値と、その画像データがスキャン画像の何枚目かを表すページ情報とが含まれる。スキャン情報は、画像情報に相当する。
ステップS604において、画像処理フロントエンドサーバ301のCPU302は、画像形成装置101から画像データとスキャン情報とをネットワークI/F305が受信したことを検知すると画像データとスキャン情報をHDD304に格納する。すなわち、画像処理フロントエンドサーバ301のCPU302は、画像データとスキャン情報とを画像形成装置101から取得する取得手段として機能する。
ステップS605において、画像処理フロントエンドサーバ301のCPU302は、画像処理ジョブIDを発行し(この時のジョブのステータスは画像処理未完了)、画像処理ジョブを後述の図9のスキャン画像受付キュー901に投入する。
ステップS606において、画像処理フロントエンドサーバ301のCPU302は、画像処理ジョブがキューに投入されたことをトリガーにキュー制御処理を行う。このキュー制御処理の詳細について次に説明する。
<キュー制御処理>
図8は、ステップS606で画像処理フロントエンドサーバ301によって実行されるキュー制御処理の詳細を示すフロー図である。また、図9は、キュー制御処理の概念を説明する図である。本フロー図に示す処理に係るプログラムは、画像処理フロントエンドサーバ301のHDD304に格納されており、RAM303に読み出され、CPU302によって実行される。
図9のスキャン画像受付キュー901は、画像処理ジョブの受付を管理するためのキューである。キュー制御処理は、スキャン画像受付キュー901への画像処理ジョブの投入(以後、キューの投入をエンキューと表記する)をトリガーに開始される。キュー902はスキャン画像受付キュー901にエンキューされたキューを表す。キュー902には、ステップS604で発行した画像処理ジョブIDとともに対応した画像データ及びスキャン情報への参照パス情報が格納されている。
ステップS801において、画像処理フロントエンドサーバ301のCPU302は、スキャン画像受付キュー901にエンキューされたキューを取得(以後、キューの取得をデキューと表記する)する。そして、デキューしたキュー902から画像処理ジョブIDに対応したスキャン情報を取得する。
ステップS802において、画像処理フロントエンドサーバ301のCPU302は、スキャン情報のページ情報を参照し、画像データが1枚目であるか否かを判定する。CPU302が1枚目であると判定した場合、処理はステップS803に遷移する。CPU302が1枚目ではないと判定した場合、処理はステップS806に遷移する。なお、CPU302は、画像データが1枚目であるか否かを判定しているが、このような構成に代えて、画像データが1枚目から所定のページ目までであるか否かを判定するようにしてもよい。
ステップS803において、画像処理フロントエンドサーバ301のCPU302は、スキャン情報の確認場所選択値を参照し、確認場所選択値が画像形成装置101であるか否かを判定する。CPU302が確認場所選択値が画像形成装置101であると判定した場合、処理はステップS804に遷移する。CPU302が確認場所選択値が画像形成装置101ではないと判定した場合(情報処理端末103,104であると判定した場合)、処理はステップS805に遷移する。
ステップS804において、画像処理フロントエンドサーバ301のCPU302は、スキャン画像受付キュー901からデキューしたキュー902を優先度高キュー903にエンキューする。そして、キュー制御処理が終了し、処理は図6aのフローに戻る。
ステップS805において、画像処理フロントエンドサーバ301のCPU302は、スキャン画像受付キュー901からデキューしたキュー902を優先度中キュー904にエンキューする。そして、キュー制御処理が終了し、処理は図6aのフローに戻る。
ステップS806において、画像処理フロントエンドサーバ301のCPU302は、スキャン画像受付キュー901からデキューしたキュー902を優先度低キュー905にエンキューする。そして、キュー制御処理が終了し、処理は図6aのフローに戻る。
以上のように、スキャン画像受付キュー901からデキューしたキュー902が、ページ情報や確認場所選択値に基づいて、優先度高キュー903、優先度中キュー904、優先度低キュー905に振り分けられる。すなわち、画像処理フロントエンドサーバ301のCPU302は、画像処理ジョブに対して的確な優先度を設定する。なお、第1の実施形態では、第1の優先度としての優先度高と、第2の優先度としての優先度中と、第3の優先度としての優先度低のように、優先度が3段階に分けて設定される。このように優先度が3段階に分けて設定されるが、他の情報等を用いることで3段階より多段階に分けて設定されてもよい。
以上のような手順で画像処理サーバ105がキュー制御処理を実行することにより、画像形成装置101で画像処理の結果を確認する場合、情報処理端末103,104で画像処理の結果を確認する場合より、画像処理の優先度が高く設定される。これにより、画像形成装置101で画像処理の結果を用いて作業するユーザの待ち時間を短縮させることが可能になる。また、1枚目の画像データに対する画像処理が優先して処理される。これにより、複数の画像処理ジョブが投入されたとしても、スキャン画像の1枚目を適切な順序で処理することが可能になる。従って、ユーザの利便性を向上させることができる。
続いて、図6aのフローの説明に戻る。
ステップS607において、画像処理バックエンドサーバ306のCPU307は、画像処理を実行する。第1の実施形態では、前述のキュー制御処理を実行する画像処理フロントエンドサーバ301のCPU302と、次に説明する画像処理を実行する画像処理バックエンドサーバ306のCPU307が、制御手段として機能する。
<画像処理>
図10は、ステップS607で画像処理バックエンドサーバ306によって実行される画像処理の詳細を示すフロー図である。本処理は、優先度高キュー903、優先度中キュー904、優先度低キュー905へのエンキュー、又は画像処理バックエンドサーバ306の各画像処理スレッドの処理待ち状態への遷移イベントをトリガーに開始される。
ステップS1001において、画像処理バックエンドサーバ306のCPU307は、処理待ち状態の画像処理スレッドがあるか否かを判定する。CPU307が処理待ち状態のスレッドがあると判定した場合、処理はステップS1002に遷移する。CPU307が処理待ち状態のスレッドがないと判定した場合、本処理が終了し、処理は図6aのフローに戻る。
ステップS1002において、画像処理バックエンドサーバ306のCPU307は、優先度高キュー903を確認し、キューがあるか否かを判定する。CPU307がキューがあると判定した場合、優先度高キュー903からデキューして、処理はステップS1005に遷移する。CPU307がキューがないと判定した場合、処理はステップS1003に遷移する。
ステップS1003において、画像処理バックエンドサーバ306のCPU307は、優先度中キュー904を確認し、キューがあるか否かを判定する。CPU307がキューがあると判定した場合、優先度中キュー904からデキューして、処理はステップS1005に遷移する。CPU307がキューがないと判定した場合、処理はステップS1004に遷移する。
ステップS1004において、画像処理バックエンドサーバ306のCPU307は、優先度低キュー905を確認し、キューがあるか否かを判定する。CPU307がキューがあると判定した場合、優先度低キュー905からデキューして、処理はステップS1005に遷移する。CPU307がキューがないと判定した場合、本処理が終了し、処理は図6aのフローに戻る。
ステップS1005において、画像処理バックエンドサーバ306のCPU307は、キューから画像データの参照パスを読み取り、画像データを取得する。
ステップS1006において、画像処理バックエンドサーバ306のCPU307は、ステップS1005で取得された画像データに対してブロック分割処理を実行する。ここでブロック分割処理とは、画像データの帳票構造を解析し、画像データに含まれる背景領域と文字列領域とを分割する処理のことである。ブロック分割処理の結果は、分割された領域の属性、すなわち領域が背景領域か文字列領域かの情報と、画像データ上における領域の位置情報とが関連付けられ、領域情報としてHDD309に記憶される。
第1の実施形態では、画像データ上における領域は矩形で表現され、上述した位置情報は領域の左上点の座標と、矩形の幅の大きさと、矩形の高さとの組で表現される。以後、ブロック分割処理の結果分割された各々の矩形領域を「ブロック」と表記する。なお、第1の実施形態において、分割領域の形状が矩形であることに限定されるものではなく、分割領域の各々が一意に表現される限りにおいて、任意の形状で領域を規定するのでよい。
ステップS1007において、画像処理バックエンドサーバ306のCPU307は、ステップS1006でHDD309に記憶された領域情報を読み出し、領域情報に含まれるブロックのうち属性が文字列であるブロックの各々についてOCR処理を実行する。そして、CPU307は、文字列ブロックの各々から文字列の文字コード情報を取得する。
ステップS1008において、画像処理バックエンドサーバ306のCPU307は、ステップS1007で取得した各文字列ブロックの文字コード情報と、領域情報に含まれるブロックの位置情報と、更にステップS1005で取得した画像データ(ページ)とを関連付けてHDD309に記憶する。そして、本処理が終了し処理は図6aのフローに戻る。
以上のような手順で画像処理サーバ105が画像処理を実行することにより、画像形成装置101においてステップS602でスキャン処理された画像データに対してブロック分割処理されて得られた文字列ブロックに対してOCR処理が実行される。これにより、画像データ上のブロックの位置情報と当該ブロックに含まれる文字情報とを画像データに関連付けて確認端末に提供することが可能になる。
続いて、図6aのフロー図の説明に戻る。
ステップS608において、画像処理バックエンドサーバ306のCPU307は、画像処理ジョブのステータスを画像処理完了にする。以上により、画像処理システム100による全体処理のうち、スキャン画像に対して画像処理が実行されるまでの処理が終了する。
次に、画像処理システム100が実行する全体処理のうち、確認端末での処理フローについて説明する。図6bは、確認端末から受信した画像データとメタデータをストレージサーバ107が保存するまでの処理を示すフロー図である。以下、ステップS601で確認端末として画像形成装置101が選択されているものとして説明する。
ステップS609、S612~S617で示す処理は確認端末(第1の実施形態では、画像形成装置101)によって実行される処理であり、処理に係るプログラムはHDD213に格納されており、RAM212に読み出され、CPU211によって実行される。
ステップS610~S611で示す処理は、画像処理フロントエンドサーバ301によって実行される処理であり、処理に係るプログラムはHDD304に格納されており、RAM303に読み出され、CPU302によって実行される。
ステップS618~S619で示す処理は、ストレージサーバ107によって実行される処理であり、処理に係るプログラムはHDD313に格納されており、RAM312に読み出され、CPU311によって実行される。
画像形成装置101のCPU211は、ステップS603の送信後に、画像処理フロントエンドサーバ301に対して送信したスキャン画像(1枚目)の画像処理ジョブのステータスが画像処理完了になったか否かを一定間隔で問い合わせる。そのジョブステータスが完了になった場合に、本処理が開始する。
なお、ステップS601で確認端末として情報処理端末103,104が選択された場合、画像処理フロントエンドサーバ301から予め設定された情報処理端末103,104のメールアドレスに対して画像表示のためのURLが送信される。そして、そのURLに対して情報処理端末103,104からアクセスされた場合に、本処理が開始する。
ステップS609において、画像形成装置101のCPU211は、画像処理フロントエンドサーバ301に対して画像表示要求を送信する。
ステップS610において、画像処理フロントエンドサーバ301のCPU302は、画像形成装置101のタッチパネル画面501上に表示させるために、画像データに対してメタデータを付与するための画面の描画データを生成する。第1の実施形態では、描画データはHTML(Hyper Text Markup Language)等のWebページ記述言語により記述されたページ記述データとJavaScript(登録商標)等のスクリプト言語で記述されたスクリプトデータとを含む。ページ記述データには、ステップS604で受信した画像データとステップS607で生成した画像処理結果データとが静的データとして含まれている。また、スクリプトデータには、ページ記述データに含まれる静的データと画像形成装置101の操作部204から入力されたユーザからの指示とに応じた画面表示の制御手順が含まれている。
ステップS611において、画像処理フロントエンドサーバ301のCPU302は、ネットワークI/F305を介して生成した描画データを画像形成装置101に送信する。
ステップS612において、画像形成装置101のCPU211は、ステップS611で画像処理フロントエンドサーバ301が送信した描画データの受信をネットワークI/F214を通じて検知して、描画データを受信する。
ステップS613において、画像形成装置101のCPU211は、受信した描画データに含まれる静的データに基づいて、タッチパネル画面501に描画データを表示する。タッチパネル画面501に表示される画面は、画像形成装置101のユーザがスキャン画像のページごとにストレージサーバ107に付加するメタデータを設定するための画面である。以下、ステップS613で表示される画面をメタデータ設定画面と表記する。
ステップS614において、画像形成装置101のCPU211は、メタデータ設定画面からユーザの操作によりメタデータを設定するためのメタデータ設定処理を実行する。
図11は、ステップS613によりタッチパネル画面501上に表示されるメタデータ設定画面1101の一例を示す図である。メタデータ設定画面1101は、プレビュー表示部1102、ページ数表示部1103、メタデータ設定部1104、ページ遷移指示部1110から構成される。
プレビュー表示部1102は、ステップS602で生成されたスキャン画像をページ単位で表示する。ページ数表示部1103は、ステップS602で生成されたスキャン画像のうち、プレビュー表示部1102が現在表示しているページ画像が何枚目であるかを表示する。図11に示す例では、10枚のスキャン画像のうち1枚目を表示していることを示している。
メタデータ設定部1104は、メタデータキー表示部1105と、メタデータバリュー画像表示部1106と、メタデータバリュー入力フォーム1107とで構成されている。
第1の実施形態において、スキャン画像の1枚目の画像には「会計」のメタデータテンプレートが設定されている。メタデータキー表示部1105には、図4(a)で示した「会計」のメタデータテンプレートに紐づくメタデータキーである「案件番号」「納期」「合計金額」「書類種別」が表示されている。
ユーザは所望のブロックを選択してプレビュー表示部1102に表示させることが可能である。そして、メタデータバリュー画像表示部1106には、ユーザに選択されたブロックに対応するメタデータキー、及びメタデータバリューが並べて表示される。メタデータバリュー画像表示部1106に表示された画像を確認することで、ユーザはメタデータキーの値として設定するメタデータバリューが正しいかの確認を行うことができる。メタデータバリュー入力フォーム1107は、対応するメタデータキーに紐づくメタデータバリューを設定するためのフォームである。
また、メタデータバリュー入力フォーム1107のメタデータキーのそれぞれに対してメタデータバリュー入力用セル1108やメタデータバリュー選択用プルダウン1109が設けられている。ユーザはメタデータバリュー入力用セル1108からメタデータバリューを入力することや、メタデータバリュー選択用プルダウン1109から所望の選択肢を選択することが可能である。
ステップS615において、画像形成装置101のCPU211は、ユーザからのページ遷移指示があるか否かを判定する。ここでページ遷移指示とは、ページ遷移指示部1110にあるボタンがユーザによって押下されることを指す。CPU211がページ遷移指示があったと判定するまでステップS615の処理が繰り返され、CPU211がページ遷移指示があったと判定した場合、処理はステップS616に遷移する。
ステップS616において、画像形成装置101のCPU211は、現在のページ画像がスキャン画像の最終ページであるか否かを判定する。CPU211が最終ページであると判定した場合、処理はステップS617に遷移する。CPU211が最終ページではないと判定した場合、スキャン画像のうちメタデータを設定するページ画像について、ステップS613の処理を再度実行する。
ステップS617において、画像形成装置101のCPU211は、ネットワークI/F214を介してスキャン画像とステップS614により各ページに付加したメタデータとを併せてストレージサーバ107に送信する。
ステップS618において、ストレージサーバ107のCPU311は、ステップS617で送信されたスキャン画像とメタデータとをネットワークI/F314を介して受信する。
ステップS619において、ストレージサーバ107のCPU311は、HDD313に受信したデータを保存する。以上のようにして、ページ画像とメタデータとが紐づけられてストレージサーバ107に保存される。これにより、ストレージサーバ107のユーザが、メタデータキーとメタデータバリューとを用いてストレージサーバ107上のページ画像を検索することが可能になる。以上により、画像処理システム100による全体処理のうち、スキャン画像に対してメタデータが付与されるまでの処理が終了する。
<優先度再設定処理>
続いて、第1の実施形態の優先度再設定処理について説明する。
図12は、画像処理フロントエンドサーバ301によって実行される優先度再設定処理を示すフロー図である。上述のステップS615の処理で判定されるように、確認端末で表示しているページの次ページはかなりの確率で次に表示される。そのため本処理は、次ページに対して画像処理が行われていない場合に次ページの優先度を再設定する。
本処理は、ステップS613のページ描画処理をトリガーに確認端末から画像データに対する画像処理要求イベントが画像処理フロントエンドサーバ301にリクエストされるのをトリガーに開始する。
ステップS1201において、画像処理フロントエンドサーバ301のCPU302は、画像処理要求のあった画像データの次ページに対応する画像処理ジョブIDのステータスを確認し、ステータスが画像処理が完了しているか否かを判定する。CPU302が完了していると判定した場合、本処理が終了する。CPU302が未完了であると判定した場合、ステップS1202に遷移する。
ステップS1202において、画像処理フロントエンドサーバ301のCPU302は、画像処理ジョブIDに対応するキューを優先度中キュー904、又は優先度低キュー905から取得する。
ステップS1203において、画像処理フロントエンドサーバ301のCPU302は、取得したキューを優先度高キュー903にエンキューする。その後、本処理が終了する。
以上のような手順で画像処理サーバ105が優先度再設定処理を実行することにより、ユーザ操作に応じて2枚目、3枚目と次ページの優先度が再設定されて、表示しようとするページ画像の画像処理が優先的に処理される。従って、対応するスキャン画像の画像処理を優先的に完了させ、ページ遷移時にユーザの待ち時間を発生させないようにすることが可能になる。
以上のような、第1の実施形態の画像処理システム100によれば、スキャン画像の状態やスキャン画像に対する画像処理の結果が用いられる状況等に応じて優先度が設定され、当該優先度に応じた順序で画像処理が実行される。これにより、スキャン画像に対する画像処理の結果を待つユーザの待ち時間が短縮されて、ユーザの利便性を向上させることができる。
<第2の実施形態>
次に、図13~図15を参照して、第2の実施形態に係る画像処理システム100について説明する。前述の第1の実施形態では、複数の画像処理ジョブが画像処理サーバ105に投入された場合に優先度を高くした画像処理ジョブが滞留してしまう場合がある。そこで、第2の実施形態は、優先度を高くした画像処理ジョブが滞留した場合でもユーザの待ち時間を短縮することを目的としてなされたものである。第2の実施形態のハードウエア構成は、第1の実施形態に係る画像処理システム100と同様である。従って、第1の実施形態と同様の部分については同じ符号を用いてその説明を省略する。
図13a及び13bは、第2の実施形態の画像処理システム100が実行する全体処理を示すフロー図である。図6a及び6bに示すフロー図とは、ステップS607に代えてステップS1301が実行される点、及びステップS619の後にステップS1302~S1304が実行される点で異なる。そこで、以下、ステップS1301~S1304で示す処理の詳細について説明する。以下、第1の実施形態と同様に、ステップS601で確認端末として画像形成装置101が選択されているものとして説明する。
ステップS1301で示す処理は、画像処理バックエンドサーバ306によって実行される処理であり、処理に係るプログラムはHDD309に格納されており、RAM308に読み出され、CPU307によって実行される。
ステップS1302で示す処理は、確認端末(第2の実施形態では画像形成装置101)によって実行される処理であり、処理に係るプログラムはHDD213に格納されており、RAM212に読み出され、CPU211によって実行される。
ステップS1303~S1304で示す処理は、画像処理フロントエンドサーバ301によって実行される処理であり、処理に係るプログラムはHDD304に格納されており、RAM303に読み出され、CPU302によって実行される。
ステップS1301において、画像処理バックエンドサーバ306のCPU307は、画像処理を実行する。S1301の詳細は後述する。
ステップS1302において、画像形成装置101のCPU211は、ステップS614のメタデータ設定処理の結果としてのメタデータ設定情報を画像処理フロントエンドサーバ301に送信する。メタデータ設定情報とは、メタデータ設定画面1101を介して選択されたブロックを表す情報と、選択されたブロックに対して設定されたバリューの値情報とを含む。
図11の例では、「案件番号」のバリューの値は、「ABC-123」である。「納期」のバリューの値は、「平成27年10月25日」である。「合計金額」のバリューの値は、「4875000」である。
ステップS1303において、画像処理フロントエンドサーバ301のCPU302は、確認端末(画像形成装置101)からメタデータ設定情報を受信する。
ステップS1304において、画像処理フロントエンドサーバ301のCPU302は、ステップS1006のブロック分割処理で分割して得られた領域情報と受信したメタデータ設定情報(選択されたブロックを表す情報とバリューの値情報)とを関連付けてHDD304に保存する。なお、画像処理フロントエンドサーバ301のHDD304は、記憶手段に相当する。
<画像処理>
図14は、ステップS1301で画像処理バックエンドサーバ306によって実行される画像処理の詳細を示すフロー図である。図14は、図10に示すフロー図とは、ステップS1003とS1004との間にステップS1406の判定処理が実行される点で異なる。また、ステップS1005の後にステップS1006の処理が実行されずステップS1401~S1403の判定処理及びS1404の処理が実行される点、ステップS1401でNO判定された場合にステップS1006~S1008の処理が実行される点で異なる。更に、ステップS1401~S1403の全てでYES判定された場合にステップS1404、S1007~S1008、S1405の処理が実行される点、ステップS1402又はS1403でNO判定された場合にS1405の処理が実行される点で異なる。そこで、以下、ステップS1401~S1406で示す処理の詳細について説明する。
本処理は、優先度高キュー903、優先度中キュー904、優先度低キュー905へのエンキュー、又は画像処理バックエンドサーバ306の各画像処理スレッドの処理待ち状態への遷移イベントをトリガーに開始される。
ステップS1401において、画像処理バックエンドサーバ306のCPU307は、画像処理バックエンドサーバ306の状態を確認し、ビジー状態であるか否かを判定する。CPU307がビジー状態であると判定した場合、処理はステップS1402に遷移する。CPU307がビジー状態ではないと判定した場合、処理はステップS1006に遷移する。すなわち、ビジー状態でない場合には図10のフロー図と同じ処理が実行される。ここでいうビジー状態である場合とは、優先度高キュー903、優先度中キュー904に一定以上の数のキューが滞留した状態をいう。
ステップS1402において、画像処理バックエンドサーバ306のCPU307は、ステップS1005で取得された画像データに対してステップS1006と同様のブロック分割処理を行い、その結果の文字領域の分布に基づいて、画像データが帳票であるか否かを判定する。CPU307が画像データが帳票であると判定した場合、処理はステップS1403に遷移する。CPU307が画像データが帳票ではない(パンフレットや写真等である)と判定した場合、処理はステップS1405に遷移する。
ステップS1403において、画像処理バックエンドサーバ306のCPU307は、ステップS1402で行ったブロック分割処理の結果得られた領域情報と画像処理フロントエンドサーバ301のHDD304に記録される登録データの各領域情報との比較を行う。そして、CPU307が領域情報どうしの類似度を算出し、当該類似度が所定の閾値以上であるか否かを判定する。CPU307が類似度が所定の閾値以上であると判定した場合、登録データの帳票と類似するとして、処理はステップS1404に遷移する。CPU307が類似度が所定の閾値未満であると判定した場合、登録データの帳票とは異なるとして、処理はステップS1405に遷移する。
ステップS1404において、画像処理バックエンドサーバ306のCPU307は、類似すると判定した登録データの領域情報とメタデータ設定情報とを読み出して、選択されたブロックと当該ブロックの位置情報とを取得する。そして、次のステップS1007において、ステップS1404で取得されたブロックの位置情報を用いて画像データの一部に対してOCR処理が実行される。すなわち、過去にバリューの値情報が設定されたブロック内にのみOCR処理が実行される。これにより、第1の実施形態のように画像データ全体から文字領域であるブロック全体に対してOCR処理を実行することなく、登録されたブロックのみにOCR処理が実行される。従って、処理を更に高速に行うことができる。
ステップS1405において、画像処理バックエンドサーバ306のCPU307は、対応した画像処理ジョブを図15のビジー待ちキュー1501にエンキューする。そして、本処理が終了し、処理は図13aのフローに戻る。
図15は、第2実施形態のキュー制御処理を説明する図である。
図15のビジー待ちキュー1501は、画像処理バックエンドサーバ306がビジー状態である場合に一時的に処理を退避するキューである。
ステップS1406において、画像処理バックエンドサーバ306のCPU307は、ビジー待ちキュー1501を確認し、キューがあるか否かを判定する。CPU307がキューがあると判定した場合、ビジー待ちキュー1501からデキューして、処理はステップS1005に遷移する。CPU307がキューがないと判定した場合、処理はステップS1004に遷移する。
以上のような第2の実施形態によれば、画像処理サーバ105に優先度が高い画像処理ジョブが滞留したとしても、ユーザが過去に選択した箇所(ブロック)のみにOCR処理を実行することが可能になる。これにより、滞留するジョブを高速に捌くことが可能になる。従って、ユーザが画像処理結果を待つ時間を更に短縮することができ、ユーザの利便性を更に向上させることができる。
<第3の実施形態>
次に、図16a~図19を参照して、第3の実施形態に係る画像処理システム100について説明する。前述の第2の実施形態では、ユーザが過去に選択したブロックについてはOCR処理が実行されるが、過去に選択したブロック以外の箇所(ブロック)についてはOCR処理が実行されない。しかしならが、ユーザが過去に選択したブロック以外のブロックについて、OCR処理の結果を利用したい場合がある。このような場合には、ユーザがブロックを指定して画像処理サーバ105に対して再度画像処理要求を行い、ユーザに指定されたブロックに対して画像処理サーバ105がOCR処理を実行することになる。以下、画像処理サーバ105が確認端末に画像データ画像処理の結果を提供した後で、画像処理サーバ105が確認端末から画像データに対して指定されたブロックを取得して、指定されたブロックに対して行うOCR処理を再OCR処理という。一方で、画像処理サーバ105で画像処理ジョブが滞留している場合、この再OCR処理のジョブが実行されるまでに時間がかかりユーザが待たされてしまう場合がある。そこで第3の実施形態は、再OCR処理の画像処理ジョブが滞留することなくユーザの待ち時間を短縮することを目的としてなされたものである。第3の実施形態の画像処理システム100のハードウエア構成は、第2の実施形態に係る画像処理システム100と同様である。従って、第2の実施形態と同様の部分については同じ符号を用いてその説明を省略する。
図16a及び16bは、第3の実施形態の画像処理システム100が実行する全体処理を示すフロー図である。図16a及び16bに示すフロー図は、図13a及び13bに示すフロー図とは、ステップS606に代えてステップS1606が実行される点、ステップS1301に代えてステップS1607が実行される点、及びステップS614に代えてステップS1601が実行される点で異なる。ステップS1601で示す処理は、メタデータ設定処理である。図16cに、このメタデータ設定処理(ステップS1602~S1611)の詳細を示す。そこで、以下、ステップS1601~S1611で示す処理の詳細について説明する。なお、第2の実施形態と同様に、ステップS601で確認端末として画像形成装置101が選択されているものとして説明する。
ステップS1601で示す処理は、主として確認端末(第3の実施形態では画像形成装置101)によって実行される処理である。
ステップS1602~S1603、S1610~S1611で示す処理は、確認端末(第3の実施形態では画像形成装置101)によって実行される処理であり、処理に係るプログラムはHDD213に格納されており、RAM212に読み出され、CPU211によって実行される。
ステップS1604~S1606、S1609で示す処理は、画像処理フロントエンドサーバ301によって実行される処理であり、処理に係るプログラムはHDD304に格納されており、RAM303に読み出され、CPU302によって実行される。
ステップS1607~S1608で示す処理は、画像処理バックエンドサーバ306によって実行される処理であり、処理に係るプログラムはHDD309に格納されており、RAM308に読み出され、CPU307によって実行される。
ステップS1601において、画像形成装置101のCPU211は、メタデータ設定画面1101からユーザの操作によりメタデータを設定するためのメタデータ設定処理を実行する。このメタデータ設定処理の詳細について次に説明する。
図16cは、ステップS1601で実行されるメタデータ設定処理の詳細を示すフロー図である。図16cのステップS1606で実行されるキュー制御処理は、図16aのステップS1606で実行されるキュー制御処理と同様である。また、図16cのステップS1607で実行される画像処理は、図16aのステップS1607で実行される画像処理と同様である。
ステップS1602において、画像形成装置101のCPU211は、ユーザに選択されたブロックにOCR情報が付与されているか否かを判定する。OCR情報とは、画像データのブロックに対して、文字列を抽出するOCR処理が実行された結果として得られた文字列の文字コード情報を意味する。CPU211がOCR情報が付与されていると判定した場合、処理はステップS1611に遷移する。CPU211がOCR情報が付与されていないと判定した場合、再OCR処理の要求を行うために、処理はステップS1603に遷移する。
ステップS1603において、画像形成装置101のCPU211は、ユーザに選択されたブロックの位置を表す情報(以下、指定領域ブロックという)をネットワークI/F214を介して画像処理フロントエンドサーバ301に送信する。指定領域ブロックは、指定領域情報に相当する。
ステップS1604において、画像処理フロントエンドサーバ301のCPU302は、画像形成装置101から指定領域ブロックをネットワークI/F305が受信したことを検知すると、既に受信済みの画像データとスキャン情報と共にHDD304に指定領域ブロックを格納する。画像処理フロントエンドサーバ301のCPU302が、取得手段として機能する。
ステップS1605において、画像処理フロントエンドサーバ301のCPU302は、画像処理ジョブIDを発行し(この時のステータスは再OCR処理未完了)、画像処理ジョブ(再OCR処理のジョブ)を後述の図19のスキャン画像受付キュー901に投入する。
ステップS1606において、画像処理フロントエンドサーバ301のCPU302は、画像処理ジョブがスキャン画像受付キュー901に投入されたことをトリガーにキュー制御処理を行う。このキュー制御処理の詳細について次に説明する。
<キュー制御処理>
図18は、図16a及び図16cのステップS1606で画像処理フロントエンドサーバ301によって実行されるキュー制御処理の詳細を示すフロー図である。図18は、図8に示すフロー図とは、ステップS801の前に、ステップS1801の判定処理が実行される点、及びステップS1801でYES判定された場合に、ステップS1802の処理が実行される点で異なる。本フロー図に示す処理に係るプログラムは、画像処理フロントエンドサーバ301のHDD304に格納されており、RAM303に読み出され、CPU302によって実行される。
図19は、第3の実施形態のキュー制御処理を説明する図である。図19は、図15とは、再OCR処理のジョブを振り分けるためのキューである再OCRキュー1901が設けられている点で異なる。図19のスキャン画像受付キュー901は、画像処理ジョブの受付を管理するためのキューである。キュー制御処理は、スキャン画像受付キュー901への画像処理ジョブの投入(以後、キューの投入をエンキューと表記する)をトリガーに開始される。キュー902には、ステップS605又はステップS1605で発行した画像処理ジョブIDとともに画像処理ジョブIDに対応した画像データ、スキャン情報への参照パス情報、再OCR処理のジョブであるか否かを示す情報、指定領域ブロック(再OCR処理のジョブの場合に限る)が格納されている。
ステップS1801において、画像処理フロントエンドサーバ301のCPU302は、スキャン画像受付キュー901にエンキューされたキューをデキューし、再OCR処理のジョブであるか否かを判定する。再OCR処理ジョブであるか否かは、デキューしたキューに対応する画像処理ジョブに対して、指定領域ブロックが格納されているか否かによって判定することが可能である。CPU302が再OCR処理のジョブであると判定した場合(YES判定の場合)、ステップS1802に遷移する。CPU302が再OCR処理のジョブでないと判定した場合、ステップS801に遷移する。
ステップS1802において、画像処理フロントエンドサーバ301のCPU302は、スキャン画像受付キュー901からデキューしたキュー902を再OCRキュー1901にエンキューする。そして、キュー制御処理が終了し、処理は図16cのフローに戻る。
以上のような第3の実施形態のキュー制御処理によれば、スキャン画像受付キュー901からデキューしたキュー902が、再OCR処理のジョブである場合に、再OCRキュー1901に振り分けられる。これにより再OCR処理のジョブに対して的確な優先度を設定することが可能になる。
続いて、図16cのフローの説明に戻る。
ステップS1607において、画像処理バックエンドサーバ306のCPU307は、画像処理を実行する。第3の実施形態では、前述のキュー制御処理を実行する画像処理フロントエンドサーバ301のCPU302と、次に説明する画像処理を実行する画像処理バックエンドサーバ306のCPU307が、制御手段として機能する。
<画像処理>
図17は、図16a及び図16cのステップS1607で画像処理バックエンドサーバ306によって実行される画像処理の詳細を示すフロー図である。図17は、図14に示すフロー図とは、ステップS1001とS1002との間にステップS1701の判定処理が実行される点、ステップS1701でYES判定された場合にステップS1005、S1705、S1706、S1008の処理が実行される点で異なる。また、ステップS1006とS1007との間にステップS1702の判定処理が実行される点、ステップS1702でYES判定された場合にステップS1703、S1704、S1008の処理が実行される点で異なる。そこで、以下、ステップS1701~S1705で示す処理の詳細について説明する。
本処理は、再OCRキュー1901、優先度高キュー903、優先度中キュー904、優先度低キュー905、busy待ちキュー1501へのエンキュー、又は画像処理バックエンドサーバ306の各画像処理スレッドの処理待ち状態への遷移イベントをトリガーに開始される。
ステップS1701において、画像処理バックエンドサーバ306のCPU307は、再OCRキュー1901を確認し、キューがあるか否かを判定する。CPU307がキューがあると判定した場合(YES判定の場合)、再OCRキュー1901からデキューして、処理はステップS1005に遷移する。CPU307がキューがないと判定した場合、処理はステップS1002に遷移する。これにより再OCR処理のジョブを最優先で処理することが可能になる。従って再OCR処理の画像処理ジョブが滞留することなくなる。
次に、ステップS1702の処理について説明する。ステップS1702は、画像データに対してブロック分割処理(S1006)が実行された後で実行される。
ステップS1702において、画像処理バックエンドサーバ306のCPU307は、ステップS1006で行ったブロック分割処理(S1006)の結果得られたブロックの数(領域数)が、所定の閾値以上であるか否かを判定する。CPU307が領域数が所定の閾値以上であると判定した場合、処理はステップS1703に遷移し、その後後述する選別処理が実行される。
CPU307が領域数が所定の閾値未満であると判定した場合、処理はステップS1007に遷移し、画像データ全体から文字領域であるブロック全体に対してOCR処理が実行される。その後処理はステップS1008に遷移し、CPU307が、各ブロックの位置情報とS1007で取得したOCR処理の結果としてのOCR情報(文字列の文字コード情報)とを関連付けて、HDD309に記憶する。
次に、選別処理について説明する。ステップS1703において、画像処理バックエンドサーバ306のCPU307は、ステップS1702のブロック分割処理結果得られたブロックに対して、OCR処理を行うブロックを選別するための選別処理を行う。具体的には、ブロックの大きさ、ブロックに含まれる画素塊の文字らしさ、文字らしい画素塊の位置、文字らしい画素塊の大きさ等に基づいて、文字を含む可能性が高いブロックに対して高い優先順位が付与されるようにして、各ブロックに対して優先順位を付与する。
ステップS1704において、画像処理バックエンドサーバ306のCPU307は、ステップS1703で選別されたブロック(優先順位が高いブロック、以下優先ブロックという)に対してOCR処理を実行する。その後処理はステップS1008に遷移し、CPU307が、優先ブロックの位置情報とS1704で取得したOCR処理の結果としてのOCR情報とを関連付けてHDD309に記憶する。これにより、第1の実施形態のように画像データ全体から文字領域であるブロック全体に対してOCR処理が実行されることなく、優先ブロックのみにOCR処理が実行される。従って、処理を更に高速に行うことができる。
続いて、再OCR処理のジョブに対して実行される処理について説明する。ステップS1705において、画像処理バックエンドサーバ306のCPU307は、HDD304に格納される指定領域ブロックを取得する。
ステップS1706において、画像処理バックエンドサーバ306のCPU307は、画像データに対して指定領域ブロックに基づいてユーザに選択されたブロックを特定し、特定されたブロックに対してOCR処理を実行する。その後処理はステップS1008に遷移し、CPU307が、指定領域ブロックの位置情報とS1706で取得したOCR処理の結果としてのOCR情報とを関連付けてHDD309に記憶する。このようにして、OCR処理の要求のあったブロックのみにOCR処理が実行される。従って、処理を更に高速に行うことができる。
続いて、図16cのフロー図の説明に戻る。
ステップS1608において、画像処理バックエンドサーバ306のCPU307は、画像処理ジョブのステータスを画像処理完了にする。以上により、画像処理システム100による全体処理のうち、スキャン画像に対して画像処理が実行されるまでの処理が終了する。
続いて、ステップS1609において、画像処理フロントエンドサーバ301のCPU302は、ステップS1608でデキューした画像処理ジョブが画像処理バックエンドサーバ306で処理されてステータスが画像処理完了になるのをポーリングする。その後、画像処理フロントエンドサーバ301のCPU302は、OCR処理結果としてのOCR情報をネットワークI/F305を介して画像形成装置101に送信する。
ステップS1610において、画像形成装置101のCPU211は、ステップS1609で画像処理フロントエンドサーバ301が送信したOCR情報の受信をネットワークI/F214を通じて検知して、受信したOCR情報を基にタッチパネル画面501に表示される描画データを更新する。
ステップS1611において、画像形成装置101のCPU211は、メタデータ設定画面1101からユーザの操作によりメタデータを設定するためのメタデータ設定処理(ステップS614と同様)を実行する。以上により、画像処理システム100による全体処理のうち、スキャン画像に対してメタデータが付与されるまでの処理が終了する。
以上のような第3の実施形態によれば、画像データの一部に対してOCR処理が実行された結果が提供されたユーザが、OCR処理が実行されていない箇所に対するOCR処理の結果を利用したい場合に、ユーザが利用したいブロックに対するOCR処理のジョブを優先的に実行することが可能になる。また、画像データに対して行った分割処理の結果得られたブロックの数が多い場合、選別されたブロックに対してOCR処理を実行することが可能になる。従って、ユーザが画像処理結果を待つ時間を更に短縮することができ、ユーザの利便性を更に向上させることができる。
以上、本発明を各実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:画像処理システム、101,102:画像形成装置、103,104:情報処理端末、105:画像処理サーバ、701:確認場所選択画面、901:スキャン画像受付キュー、903:優先度高キュー、904:優先度中キュー、905:優先度低キュー、1101:メタデータ設定画面、1501:ビジー待ちキュー

Claims (19)

  1. 画像データと前記画像データに関する画像情報とを取得する取得手段と、
    前記画像情報に基づいて前記画像データの優先度を判定し、当該判定された優先度に応じた順序で前記画像データに対する画像処理が行われるように制御する制御手段と、
    他の端末からの要求に応じて、前記画像処理の結果を前記他の端末に提供する提供手段と
    を有する画像処理装置であって、
    前記制御手段は、前記他の端末から前記画像処理の結果が要求された前記画像データの次ページに対応する画像データの画像処理が完了していない場合、当該次ページに対応する画像データに対する画像処理が優先的に行われるように制御することを特徴とする画像処理装置。
  2. 前記制御手段は、前記他の端末から前記画像処理の結果が要求された前記画像データの次ページに対応する画像データの画像処理が完了していない場合、前記次ページに対応する画像データの優先度を、前記他の端末から前記画像処理の結果が要求された際の状態より高くすることにより、当該次ページに対応する画像データに対する画像処理が優先的に行われるように制御することを特徴とする請求項1に記載の画像処理装置。
  3. 前記制御手段は、前記判定された優先度に対応するキューに前記画像データをエンキューすることにより、前記判定された優先度に応じた順序で前記画像データに対する画像処理が行われるように制御することを特徴とする請求項1に記載の画像処理装置。
  4. 前記画像情報には、前記画像処理の結果の提供先となる前記他の端末を示す端末情報が含まれており、
    前記制御手段は、前記画像情報に含まれる前記端末情報に基づいて、前記画像データの前記優先度を判定することを特徴とする請求項1またはに記載の画像処理装置。
  5. 前記取得手段が、前記画像データと前記画像情報とを前記画像データを生成する画像形成装置から取得しており、
    前記制御手段は、前記端末情報が前記画像形成装置を示す場合の前記優先度を、前記端末情報が前記画像形成装置とは異なる端末を示す場合の前記優先度より高くすることを特徴とする請求項に記載の画像処理装置。
  6. 前記画像情報には、前記画像データが何枚目であるかを表すページ情報が含まれており、
    前記制御手段は、前記画像情報に含まれる前記ページ情報に基づいて、前記画像データの前記優先度を判定することを特徴とする請求項1または3に記載の画像処理装置。
  7. 前記制御手段は、前記ページ情報が1枚目から所定のページ目までである場合の前記優先度を、前記ページ情報が前記所定のページ目より後の場合の前記優先度より高くすることを特徴とする請求項に記載の画像処理装置。
  8. 前記制御手段は、前記優先度を少なくとも3段階に分けて判定することを特徴とする請求項1乃至の何れか1項に記載の画像処理装置。
  9. 画像データと前記画像データに関する画像情報とを取得する取得手段と、
    前記画像情報に基づいて前記画像データの優先度を判定し、前記判定された優先度に対応するキューに前記画像データをエンキューすることにより、前記判定された優先度に応じた順序で前記画像データに対する画像処理が行われるように制御する制御手段と、
    前記画像処理の結果を他の端末に提供する提供手段と、
    を有する画像処理装置であって、
    前記画像情報には、前記画像処理の結果の提供先となる前記他の端末を示す端末情報と、前記画像データが何枚目であるかを表すページ情報とが含まれており、
    前記取得手段が、前記画像データと前記画像情報とを前記画像データを生成する画像形成装置から取得しており、
    前記制御手段は、前記ページ情報が1枚目から所定のページ目までであり、かつ、前記端末情報が前記画像形成装置を示す場合、当該画像データを最も高い優先度のキューにエンキューし、前記ページ情報が1枚目から所定のページ目までであり、かつ、前記端末情報が前記画像形成装置とは異なる端末を示す場合、当該画像データを2番目に高い優先度のキューにエンキューし、前記ページ情報が所定のページ目より後である場合、当該画像データを3番目に高い優先度のキューにエンキューすることを特徴とする画像処理装置。
  10. 前記画像処理には、前記画像データを要素に応じて領域に分割する分割処理と、前記画像データから文字列を抽出する抽出処理とが含まれることを特徴とする請求項1乃至の何れか1項に記載の画像処理装置。
  11. 画像データと前記画像データに関する画像情報とを取得する取得手段と、
    前記画像情報に基づいて前記画像データの優先度を判定し、当該判定された優先度に応じた順序で前記画像データに対する画像処理が行われるように制御する制御手段と、
    前記画像処理の結果を他の端末に提供する提供手段と、
    を有する画像処理装置であって、
    前記画像処理には、前記画像データを要素に応じて領域に分割する分割処理と、前記画像データから文字列を抽出する抽出処理とが含まれ、
    前記画像処理装置は、前記画像データに前記分割処理を行って得られた前記領域の位置情報を含む領域情報、及び前記画像データに含まれる前記領域から選択された前記領域を示す情報が関連付けられて記憶される記憶手段を更に有しており、
    前記制御手段は、前記記憶手段に記憶されている、選択された前記領域の前記位置情報に基づいて、前記画像データの一部に対して前記抽出処理を行うように制御することを特徴とする画像処理装置。
  12. 前記制御手段は、前記画像データに対して前記分割処理を行って得られた前記領域情報と、前記記憶手段に記憶されている前記領域情報とを比較して、前記領域情報どうしが類似する場合に、類似すると判定された前記領域情報に基づいて、前記抽出処理を行うように制御することを特徴とする請求項11に記載の画像処理装置。
  13. 前記記憶手段には、帳票に関する前記領域情報が記憶されており、
    前記制御手段は、前記画像データが前記帳票である場合に、前記抽出処理を行うように制御することを特徴とする請求項11または12に記載の画像処理装置。
  14. 前記制御手段は、ビジー状態である場合に、前記抽出処理を行うように制御することを特徴とする請求項11乃至13の何れか1項に記載の画像処理装置。
  15. 画像データと前記画像データに関する画像情報とを取得する取得手段と、
    前記画像情報に基づいて前記画像データの優先度を判定し、当該判定された優先度に応じた順序で前記画像データに対する画像処理が行われるように制御する制御手段と、
    前記画像処理の結果を他の端末に提供する提供手段と、
    を有する画像処理装置であって、
    前記画像処理には、前記画像データを要素に応じて領域に分割する分割処理と、前記画像データから文字列を抽出する抽出処理とが含まれ、
    前記制御手段は、前記判定された優先度に応じた順序で前記画像データに対する画像処理を行う際、さらに、前記画像データに前記分割処理を行って得られた前記領域を選別する選別処理を行って、選別された前記領域について前記抽出処理を行うように制御することを特徴とする画像処理装置。
  16. 前記選別処理は、前記画像データに前記分割処理を行って得られた前記領域の大きさ、前記領域に含まれる画素塊の文字らしさ、文字らしい前記画素塊の位置、文字らしい前記素塊の大きさのうちの少なくともいずれか1つに基づいて行われることを特徴とする請求項15に記載の画像処理装置。
  17. 前記制御手段は、前記画像データに前記分割処理を行って得られた前記領域の領域数が、所定の閾値以上である場合、前記選別処理を行い、所定の閾値未満である場合、前記選別処理を行わないことを特徴とする請求項15または16に記載の画像処理装置。
  18. 画像処理装置の制御方法であって、
    画像データと前記画像データに関する画像情報とを取得する取得ステップと、
    前記画像情報に基づいて前記画像データの優先度を判定し、当該判定された優先度に応じた順序で前記画像データに対する画像処理が行われるように制御する制御ステップと、
    他の端末からの要求に応じて、前記画像処理の結果を前記他の端末に提供する提供ステップと
    を含み、
    前記制御ステップは、前記他の端末から前記画像処理の結果が要求された前記画像データの次ページに対応する画像データの画像処理が完了していない場合、当該次ページに対応する画像データに対する画像処理が優先的に行われるように制御することを特徴とする画像処理装置の制御方法。
  19. コンピュータを、請求項1乃至17の何れか1項に記載された画像処理装置の各手段として機能させるためのプログラム。
JP2020024366A 2019-11-14 2020-02-17 画像処理装置、画像処理装置の制御方法 Active JP7493954B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019206192 2019-11-14
JP2019206192 2019-11-14

Publications (3)

Publication Number Publication Date
JP2021083068A JP2021083068A (ja) 2021-05-27
JP2021083068A5 JP2021083068A5 (ja) 2023-02-21
JP7493954B2 true JP7493954B2 (ja) 2024-06-03

Family

ID=75965536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020024366A Active JP7493954B2 (ja) 2019-11-14 2020-02-17 画像処理装置、画像処理装置の制御方法

Country Status (1)

Country Link
JP (1) JP7493954B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001228994A (ja) 2000-02-17 2001-08-24 Ricoh Co Ltd 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006313489A (ja) 2005-05-09 2006-11-16 Canon Inc 文書登録装置及びその制御方法、並びに制御プログラム
JP2007282771A (ja) 2006-04-14 2007-11-01 Konica Minolta Medical & Graphic Inc 医用情報処理装置及びプログラム
JP2011232917A (ja) 2010-04-27 2011-11-17 Renesas Electronics Corp 半導体集積回路、及びリクエスト制御方法
JP2013161268A (ja) 2012-02-06 2013-08-19 Fuji Xerox Co Ltd 画像処理装置およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001228994A (ja) 2000-02-17 2001-08-24 Ricoh Co Ltd 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006313489A (ja) 2005-05-09 2006-11-16 Canon Inc 文書登録装置及びその制御方法、並びに制御プログラム
JP2007282771A (ja) 2006-04-14 2007-11-01 Konica Minolta Medical & Graphic Inc 医用情報処理装置及びプログラム
JP2011232917A (ja) 2010-04-27 2011-11-17 Renesas Electronics Corp 半導体集積回路、及びリクエスト制御方法
JP2013161268A (ja) 2012-02-06 2013-08-19 Fuji Xerox Co Ltd 画像処理装置およびプログラム

Also Published As

Publication number Publication date
JP2021083068A (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
US9628636B2 (en) Print control device and computer-readable storage medium storing a program
US9729735B2 (en) Intelligent pre-conversion of document formats for predicted printer selection
US9794447B2 (en) Service providing system, cooperation processing method, and information processing system
US10423825B2 (en) Retrieval device, retrieval method, and computer-readable storage medium for computer program
US8830492B2 (en) Data processing apparatus for sending a single job based on common document information
JP3998012B2 (ja) 画像出力装置およびその制御方法ならびにコンピュータプログラム
US11137946B2 (en) Image processing apparatus, method for controlling the same and storage medium
US11307821B2 (en) Print control method, non-transitory recording medium, information processing apparatus, and printing system for pull printing
US20110164283A1 (en) Image processing apparatus, image processing system, and image processing method
US20090080000A1 (en) Information processing apparatus, information processing method, and program and storage medium therefor
US20110107402A1 (en) Client server system, client apparatus and server apparatus displaying contents of provided services
KR20240020719A (ko) 정보 처리 장치, 저장 매체, 및 저장 방법
US12028490B2 (en) Server for providing a setting screen with previously used settings to a client apparatus for image transmission
KR20200115263A (ko) 화상 처리 장치, 그 제어 방법 및 저장 매체
JP6127597B2 (ja) 情報処理装置、その制御方法及びプログラム
US11611677B2 (en) Information processing apparatus that identifies related document images based on metadata and associates them based on user input, information processing system, information processing method, and storage medium
US11350011B2 (en) Device, process execution system, process execution method, and non-transitory recording medium
US9413841B2 (en) Image processing system, image processing method, and medium
CN112615970A (zh) 控制设置元数据的画面的显示的方法、存储介质及设备
US11223731B2 (en) Image processing apparatus, method for controlling the same and storage medium
JP7493954B2 (ja) 画像処理装置、画像処理装置の制御方法
JP4558009B2 (ja) 画像出力装置およびその制御方法ならびにコンピュータプログラム
JP2007081970A (ja) 文書配信システム
JP2018106612A (ja) 印刷管理システム、印刷管理システムの制御方法及びプログラム
JP7388411B2 (ja) 情報処理システム、通信システム、情報処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240522

R150 Certificate of patent or registration of utility model

Ref document number: 7493954

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150