JP2021164132A - 画像処理システム、及びプログラム - Google Patents

Abstract

【課題】
画面に表示された文字領域をクリックすることで画像の中の文字領域を選択し、ファイルの属性を設定する方法において、画面に表示されている複数ある文字領域のうちマウスで選択する場合に、ユーザが正しい文字領域を選択できているか判断が困難であった。
【解決手段】
本発明は、スキャン画像に属性情報を設定する画像処理システムであって、スキャン画像の文字領域を解析する解析処理手段と、スキャン画像をプレビュー画像として画面に表示する表示手段と、前記文字領域の１つがマウスオーバーされた場合に、マウスオーバーされた文字領域を識別可能に表示し、前記マウスオーバーされた文字領域の切り抜き画像を抽出し、前記マウスオーバーされた文字領域の文字列を抽出するとともに、前記切り抜き画像と、前記文字列の少なくとも一つを属性情報として画面に表示することを特徴とする。
【選択図】図７

Description

本発明は、複合機(ＭＦＰ)又はＰＣの画面で表示するスキャン画像の属性情報を付与する処理をアシストする画像処理システム、及びプログラムに関する。

従来、紙帳票をスキャンして電子化し、該帳票の記載内容に基づいて電子化した帳票のスキャン画像のファイル名などの属性を設定することで帳票管理をする画像処理システムがある。この属性を設定する方法として、帳票のスキャン画像に文字認識処理を実行した認識結果に基づいて設定する方法がある。
上記のようなシステムにおいて、帳票画像に対して文字認識を行って表示したプレビュー画像上の文字領域をクリックすることで画像の中の文字を属性に設定する方法が考えられる。文字領域をクリックする操作において、ユーザが設定したい文字を明確にし、誤った選択を防止する処理方法として、大きな文字をポイントするときは大きなマウスカーソルを表示し、小さな文字をポイントする時は小さなマウスカーソルを表示する方法があった（特許文献１）。

特開2001-154779号公報

しかしながら特許文献１の方法では、フォントの大小でしか判別することができない。そのため、フォントの大小の違いが顕著でない見積書などの帳票に関してはユーザにとって正しい文字を選択できているか判断が難しいといった課題があった。
本発明は、上記課題に鑑みてなされたものであり、スキャン画像の文字領域をマウスオーバーしたときに、マウスオーバーされた文字領域に枠をつけるなど識別可能に表示することを目的とする。さらに、マウスオーバーされた文字領域の切り抜き画像とＯＣＲ処理で抽出した文字列を、スキャン画像とは別の属性領域に明確に表示することを目的とする。

上記の目的を達成するため、本発明は、スキャン画像に属性情報を設定する画像処理システムであって、スキャン画像の文字領域を解析する解析処理手段と、スキャン画像をプレビュー画像として画面に表示する表示手段と、前記文字領域の１つがマウスオーバーされた場合に、マウスオーバーされた文字領域を識別可能に表示する第１の表示制御手段と、前記マウスオーバーされた文字領域の切り抜き画像を抽出する第１の抽出手段と、前記マウスオーバーされた文字領域の文字列を抽出する第２の抽出手段と、前記切り抜き画像と、前記文字列の少なくとも一つを属性情報として画面に表示する第２の表示手段と、を備えることを特徴とする。

本発明によれば、スキャン画像の文字領域を選択した場合、選択されている領域及び属性として設定される文字列をユーザに明確に提示することが可能となる。

本発明の全体構成を示す図。 ＭＦＰのハードウェア構成図。 クライアントＰＣ及びＭＦＰ連携サービスサーバのハードウェア構成図。 本発明のソフトウェア構成図。 各機器間の処理の流れを示すシーケンス図。 ＭＦＰの操作部が表示する画面の一例を示す図。 ＭＦＰの操作部が表示する画面の一例を示す図。 本発明におけるスキャン画像の文字領域の表示処理のフロー。 本発明の他の実施例におけるＭＦＰの操作部の画面の一例を示す図。

以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

１．画像処理システムのハードウェア構成
図１は、本システムのハードウェアの全体構成を示す図である。画像処理システムは、画像処理装置であるＭＦＰ(Multifunction Peripheral)110、クライアントＰＣ111、ＭＦＰ連携サービスサーバ120及びクラウドストレージ130を含んでいる。ＭＦＰ110及びクライアントＰＣ111は、ＬＡＮ(Local Area Network)112経由でインターネット上の各種サービスを提供するサーバに対して通信可能に接続されている。
ＭＦＰ110は、スキャナやプリンタといった複数の機能を有する複合機であり、画像処理装置の一例である。
クライアントＰＣ111はＭＦＰ連携サービスサーバ120に対して依頼したサービスの提供を受けるコンピュータである。
ＭＦＰ連携サービスサーバ120は、ＭＦＰ110でスキャンした画像ファイルを自サーバ上に保存したり、別のストレージサービス等のファイル保存が可能なサービスに転送したりする機能を持つサーバである。
クラウドストレージ130は、インターネットを介してファイルを保存したりウェブブラウザでファイルを取得したりすることができるサービスである。
なお、本実施例の画像処理システムは、ＭＦＰ110、クライアントＰＣ111、ＭＦＰ連携サービスサーバ120及びクラウドストレージ130からなる構成としているがこれに限定されるものではない。例えば、ＭＦＰ110がクライアントＰＣ111やＭＦＰ連携サービスサーバ120の役割を兼ね備えてもよい。また、ＭＦＰ連携サービスサーバ120はインターネット上ではなくＬＡＮ112上のサーバに配置してもよい。また、クラウドストレージ130はメールサーバなどに置き換えて、スキャンした画像をメールに添付し送信することとしてもよい。

１−１．ＭＦＰのハードウェア構成
図２は、ＭＦＰ110のハードウェア構成図である。ＭＦＰ110は、制御部210、操作部220、プリンタ部221、スキャナ部222、モデム223で構成される。
制御部210は、互いにシステムバス240で接続される以下の各部211〜219で構成され、ＭＦＰ110全体の動作を制御する。
ＣＰＵ211は、ＲＯＭ212に記憶された制御プログラムを読み出して、読取/印刷/通信などＭＦＰ110が有する各種機能を実行・制御する。
ＲＡＭ213は、ＣＰＵ211の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、本実施例では１つのＣＰＵ211が１つの記憶領域(ＲＡＭ213又はＨＤＤ214)を用いて後述のフローチャートに示す各処理を実行するものとするが、これに限定されるものではない。例えば、複数のＣＰＵや複数のＲＡＭ又はＨＤＤを協働させて各処理を実行してもよい。
ＨＤＤ214は、画像データや各種プログラムを記憶する大容量記憶部である。
操作部Ｉ/Ｆ215は、操作部220と制御部210とを接続するインタフェースである。
操作部220には、タッチパネルやキーボードなどが備えられており、ユーザによる操作/入力/指示を受け付ける。
プリンタＩ/Ｆ216は、プリンタ部221と制御部210とを接続するインタフェースである。印刷用の画像データはプリンタＩ/Ｆ216を介して制御部210からプリンタ部221へ転送され、記録媒体上に印刷される。
スキャナＩ/Ｆ217は、スキャナ部222と制御部210とを接続するインタフェースである。
スキャナ部222は、不図示の原稿台やＡＤＦ（Auto Document Feeder）にセットされた原稿を読み取って画像データを生成し、スキャナＩ/Ｆ217を介して制御部210に入力する。ＭＦＰ110は、スキャナ部222で生成された画像データをプリンタ部221から印刷出力(コピー)する他、ファイル送信又はメール送信することができる。
モデムＩ/Ｆ218は、モデム223と制御部210とを接続するインタフェースである。
モデム223は、ＰＳＴＮ上のファクシミリ装置との間で画像データをファクシミリ通信する。
ネットワークＩ/Ｆ219は、制御部210(ＭＦＰ110)をＬＡＮ112に接続するインタフェースである。ＭＦＰ110は、ネットワークＩ/Ｆ219を用いてインターネット上の各サービスに画像データや情報を送信したり、各種情報を受信したりする。

１−２．クライアントＰＣ、ＭＦＰ連携サービスサーバ、クラウドストレージのハードウェア構成
図３は、クライアントＰＣ111及びＭＦＰ連携サービスサーバ120のハードウェア構成図である。クライアントＰＣ111及びＭＦＰ連携サービスサーバ120は、どちらもいわゆる情報処理装置で、ＣＰＵ311、ＲＯＭ312、ＲＡＭ313、ＨＤＤ314及びネットワークＩ/Ｆ315で構成され、互いにシステムバス316で接続されている。
ＣＰＵ311は、ＲＯＭ312に記憶された制御プログラムを読み出して各種処理を実行することで、全体の動作を制御する。
ＲＡＭ313は、ＣＰＵ311の主メモリ、ワークエリア等の一時記憶領域として用いられる。
ＨＤＤ314は、画像データや各種プログラムを記憶する大容量記憶部である。
ネットワークＩ/Ｆ315は、クライアントＰＣ111、ＭＦＰ連携サービスサーバ120、クラウドストレージ130をネットワークに接続するインタフェースである。クライアントＰＣ111は、構内のＬＡＮ112に、ＭＦＰ連携サービスサーバ120及びクラウドストレージ130は、構内のＬＡＮを通してインターネットに接続される。そして、ＭＦＰ連携サービスサーバ120、クラウドストレージ130は、ネットワークＩ/Ｆ315を介して他の装置（ＭＦＰ110など）から処理リスエストを受けて各種情報を送受信する。

２．画像処理システムのソフトウェア構成
図４は、本実施例に係る画像処理システムのソフトウェア構成図である。
２−１．ＭＦＰ
ＭＦＰ110は、ネイティブ機能部410と追加機能部420の大きく２つに分けられる。ネイティブ機能部410に含まれる各部はＭＦＰ110に標準的に備えられたものであり、追加機能部420はＭＦＰ110に追加インストールされたアプリケーションである。追加機能部420は Java(登録商標)をベースとしたアプリケーションで、ＭＦＰ110への機能追加を容易に実現できる。なお、ＭＦＰ110には図示しない他の追加アプリケーションがインストールされていてもよい。
ネイティブ機能部410は、スキャン実行部411及び画像データ保存部412を有する。追加機能部420は、表示制御部421、スキャン指示部422、連携サービスリクエスト部423を有する。
表示制御部421は、ＭＦＰ110の操作部220のタッチパネル機能を有する液晶表示部に、ユーザによる操作を受け付けるためのＵＩ画面を表示する。例えば、ＭＦＰ連携サービスサーバ120へアクセスするための認証情報の入力、スキャン設定、ならびに、スキャン開始の操作、プレビュー画面などのＵＩ画面を表示する。
スキャン指示部422は、ＵＩ画面を介して入力されたユーザ指示に応じたスキャン設定と共にスキャン実行部411にスキャン処理を要求する。
スキャン実行部411は、スキャン指示部422からのスキャン設定を含んだスキャン要求を受け取る。スキャン実行部411は、スキャン要求に従い、スキャナＩ/Ｆ217を介してスキャナ部222により読取られた原稿台ガラスに置かれた原稿のスキャン画像データを生成する。生成したスキャン画像データは、画像データ保存部412に送られる。また、スキャン実行部411は、保存したスキャン画像データを一意に示すスキャン画像識別子をスキャン指示部422へ送る。スキャン画像識別子はＭＦＰ110においてスキャンした画像を一意に識別するための番号や記号、アルファベットなどである（不図示）。画像データ保存部412は、スキャン実行部411から受け取ったスキャン画像データをＨＤＤ214に保存する。
スキャン指示部422は、スキャン実行部411から受け取ったスキャン画像識別子に対応するスキャン画像データを画像データ保存部412から取得する。スキャン指示部422は、取得したスキャン画像データをＭＦＰ連携サービスサーバ120で処理させる指示を連携サービスリクエスト部423に要求する。
連携サービスリクエスト部423は、ＭＦＰ連携サービスサーバ120に対して各種処理の要求を行う。例えば、ログイン、スキャン画像の解析、スキャン画像の送信などの要求を行う。ＭＦＰ連携サービスサーバ120とのやり取りはＲＥＳＴやＳＯＡＰなどのプロトコルを使用するが、その他の通信手段を用いてもよい。

２−２．ＭＦＰ連携サービスサーバ
ＭＦＰ連携サービスサーバ120は、リクエスト制御部431、画像処理部432、クラウドストレージアクセス部433、データ管理部434、表示制御部435を有する。
リクエスト制御部431は、外部装置からの要求を受信できる状態で常に待機している。処理要求を受けると要求に応じて適宜、画像処理部432、クラウドストレージアクセス部433、データ管理部434に処理を指示する。
画像処理部432は、画像に対して文字領域解析、ＯＣＲ(Optical Character Recognition）、類似帳票判定(後述の図５のＳ510の処理で説明する）、画像の回転や傾き補正などの画像に対する認識処理や画像の加工処理を行う。
クラウドストレージアクセス部433は、クラウドストレージ130に対する処理の要求を行う。クラウドサービスは一般的にＲＥＳＴやＳＯＡＰなどのプロトコルで、クラウドストレージにファイルを保存したり、保存したファイルを取得したりするための様々なインタフェースを公開している。クラウドストレージアクセス部433は、公開されたクラウドストレージのインタフェースを使用してクラウドストレージ130の操作を行う。
データ管理部434は、ＭＦＰ連携サービスサーバ120で管理するユーザ情報や各種設定データ等を保持する。
表示制御部435は、インターネット経由で接続されたＰＣやモバイル等の別端末（不図示）上で動作しているウェブブラウザからのリクエストを受けて画面表示に必要な画面構成情報（ＨＴＭＬ、ＣＳＳ等）を返す。ユーザは、ウェブブラウザで表示される画面経由でＭＦＰ連携サービスサーバ120に登録しているユーザ情報を確認したり、スキャンする際の設定を変更したりする。
なお図４ではＭＦＰ110に追加機能部420をインストールする構成の例について説明したが、本発明は、この構成に限定されず、クライアントＰＣ111に追加機能部420の機能が含まれていても構わない。

３．スキャン画像の保存処理
３−１．全体の処理シーケンス
図５は、ＭＦＰ110でスキャンした画像をファイル化してクラウドストレージに送信する際の各装置間の処理の流れを示すシーケンス図である。ここでは、各装置間のやり取りを中心に説明する。なお、図５ではＭＦＰ110がＭＦＰ連携サービスサーバ120とやり取りする動作としているが、後述する解析結果取得、画面の表示、学習の指示等はＭＦＰ110でなくクライアントＰＣ111が実行する構成でも構わない。
ＭＦＰ110は、通常の状態では提供する各機能を実施するためのボタンを並べたメイン画面を操作部220のタッチパネル上に表示する。
ＭＦＰ110に、帳票をスキャンしてその画像ファイルをクラウドストレージ130に送信するための追加アプリケーション（以下「スキャンアプリ」という。）をインストールすることで、アプリケーションの機能を使用するボタンがＭＦＰ110のメイン画面に表示される。このボタンを押すとスキャンした帳票をクラウドストレージ130に送信するための画面が表示され、図５のシーケンスで示す処理が行われる。
Ｓ501で、スキャンアプリは、ＭＦＰ連携サービスサーバ120にアクセスするための認証情報を入力するログイン画面（不図示）を表示する。
S502で、ユーザによりログイン画面にユーザＩＤ等が入力されると、スキャンアプリは、ＭＦＰ連携サービスサーバ120に対してログイン要求を実行する。
S503で、ＭＦＰ連携サービスサーバ120は、ログイン要求に含まれるユーザ名とパスワードが正しいかを、データ管理部434が管理しているユーザ情報と照合、検証し、正しければアクセストークンをＭＦＰ110に返信する。
以降のＭＦＰ110からＭＦＰ連携サービスサーバ120に対して行う各種リクエストにはこのアクセストークンと共に出され、このアクセストークンにより処理対象のユーザを特定することができる。ユーザ認証の方法は一般的に公知な手法（Basic認証、Digest認証、OAuthを用いた認可等）を用いて行う。

ＭＦＰ110は、ログイン処理が完了したらＭＦＰは、S504でスキャン設定画面を表示する。ユーザは、各種スキャンの読み込みに関する設定を行い、原稿台ガラス又はＡＤＦにスキャンする対象の紙帳票を置き、「スキャン開始」ボタンを押下する。
すると、S505で、ＭＦＰ110はスキャンを実行して、紙帳票を電子化したスキャン画像のデータを生成する。
続く、S506で、ＭＦＰ110はスキャン処理により生成した画像とともにスキャン画像の解析要求をＭＦＰ連携サービスサーバ120に送信する。
S507で、ＭＦＰ連携サービスサーバ120のリクエスト制御部431は、スキャン画像の解析要求を受信すると、画像処理部432に画像解析を依頼する。
その後、ＭＦＰ連携サービスサーバ120のリクエスト制御部431は、画像解析処理の終了を待たずに、依頼されたスキャン画像の解析要求を一意に示す識別子である”processId”をＭＦＰ110に返信する。
一方、画像解析の要求を受けたＭＦＰ連携サービスサーバ120の画像処理部432は、画像解析処理（S508〜S510）を行う。
画像処理部432は、画像解析処理のS508で、画像内に存在する文字領域の解析を行う。これは文字領域の配置情報等の解析を行うものである。
続いて、S509で帳票内の文字領域の配置情報を利用して、過去にスキャンした画像の配置情報と今回スキャンした画像の配置情報を比較し類似した文字領域の配置を持つ画像をスキャンしたかどうかを判定する。この処理を類似帳票判定という。この判定で使用する過去のスキャン画像の情報は後述するS517の処理により保存、蓄積がなされている。
その後S510で判定結果に基づいて、解析した文字領域に対して文字認識処理を行う。なおS508〜S510の画像解析処理結果に基づく表示処理の詳細については図７を用いて後述する。

一方、S511で、ＭＦＰ110はS506のレスポンスで受け取った”processId”を使用してＭＦＰ連携サービスサーバ120に定期的（例えば数百ミリ秒から数ミリ秒程度毎など）に”processId”に係るスキャン画像の解析処理状況の確認を行う。図では省略するが、S511の処理はＭＦＰ連携サービスサーバ120の画像処理完了のレスポンスが取得できるまで（S512のタイミングまで）定期的に継続して行われる。ＭＦＰ連携サービスサーバ120のリクエスト制御部431は、Ｓ511の処理状況確認の要求を受けると”processId”の処理の状況を確認し、処理ステータスをレスポンスとして返信する。
レスポンスには、statusに現在の処理状況を示す文字列が格納される。例えばstatusが”processing”の時は、ＭＦＰ連携サービスサーバ120で処理中であることを示し、”completed”の時は処理が完了している状態であることを示す。なお、処理が失敗した場合に”failed”など、この他のステータスが返信されることもある。また処理完了時（statusが”completed”の場合）のレスポンスには、ステータスと共にスキャン画像を解析した結果やスキャン設定等の情報が含まれる。
画像解析処理が終了すると、画像処理部432からリクエスト制御部431に画像解析処理が完了した旨の通知がなされる。
ＭＦＰ連携サービスサーバ120において画像解析処理が完了した後、S512で、ＭＦＰ110が、ＭＦＰ連携サービスサーバ120に対して処理状況確認を行うと、リクエスト制御部431から、画像解析処理が完了している旨の処理ステータスのレスポンスが返信される。
続いて、S513において、ＭＦＰ110はリクエスト制御部431に対し画像解析結果を取得要求をし、リクエスト制御部431から解析結果についてのレスポンスを受ける。そして、そのレスポンスに含まれる結果情報が格納されたＵＲＬから画像解析結果情報を取得する。類似帳票があった場合には、画像解析結果としての属性情報も含まれる。
ＭＦＰ110は、スキャン済み帳票一覧画面600(図６A)を操作部220に表示する。

S514で、操作部220に表示された、スキャン済み帳票一覧画面600からユーザがスキャン画像を選択すると、ＭＰＦ110は、ファイル名等の属性情報を設定するための属性設定画面610(図６B)を操作部220に表示する。
ユーザは、属性設定画面でスキャンされた帳票に属性を設定し、「ＯＫ」ボタンを押下する。
S515で、ＭＦＰ110は、属性を設定するために使用した文字領域の情報を入力情報として、帳票の学習の依頼をＭＦＰ連携サービスサーバ120に送信する。
S516で、属性を設定するために使用した文字領域の情報を受信したＭＦＰ連携サービスサーバ120のリクエスト制御部431は、画像処理部432に帳票学習を依頼する。
S517で、画像処理部432は画像全体の文字領域の情報とS516で受け取ったユーザが属性に使用した文字領域の情報を学習の入力情報として保存する。
またS518において、ＭＦＰ連携サービスサーバ120は、S517で保存した帳票と類似する帳票が存在する場合には再度類似帳票判定処理を行う。学習が終了したらその旨をＭＦＰ110に通知する。ここで、学習とは、帳票とその帳票の文字領域の配置情報のデータを関係づけて保存することである。
その後S519で、ＭＦＰ110はスキャン画像と、スキャン画像をファイル化した後に設定するファイル名等の属性情報をＭＦＰ連携サービスサーバ120に送信する。ＭＦＰ連携サービスサーバ120はリクエストを受信すると、リクエストを正常に受けたことをＭＦＰ110に返す。
ＭＦＰ110は送信のレスポンスを受けると処理を終了し、S504のスキャン設定画面表示に戻る。
S520で、ＭＦＰ連携サービスサーバ120のリクエスト制御部431は、ファイル生成処理を開始する。ここで、ＭＦＰ連携サービスサーバ120は、ＭＦＰ連携サービスサーバ120に登録されたスキャン設定からクラウドストレージ130に送信するファイルフォーマットの情報を取得し、その設定に基づいてスキャン画像からファイルを生成する。
そして、S521でＭＦＰ連携サービスサーバ120のリクエスト制御部431は、生成したファイルをS519で受信した属性情報を設定してクラウドストレージ130に送信する。
クラウドストレージ130は、ファイルを受信すると、送信完了のレスポンスをＭＦＰ連携サービスサーバ120に返す。

３−２．表示画面
図６Ａ、ＢはＭＦＰ110が表示する画面の一例を示す図である。これらの画面の制御は表示制御部421が表示制御を行う。なお、前述のとおりこの画面を表示するのはクライアントＰＣ111であってもよい。
図６Ａはスキャン済み帳票一覧画面600の一例を示す図である。本画面はスキャン及び画像解析処理が完了し、クラウドストレージ130に送信前の帳票の一覧を閲覧することができる(図５のS513)。また本画面はスキャン済み帳票一覧601、送信ボタン602、編集ボタン603、削除ボタン604から構成されている。
スキャン済み帳票一覧601はスキャン及び画像解析（S505〜S510）が完了した帳票の一覧を表示するエリアである。本エリアは帳票名605、送信先606、ステータス607、種類608のフィールドから構成されている。
帳票名605は帳票の名前を一意に識別する識別子である。
送信先606は帳票のファイルの送信先であるクラウドストレージ130の名前である。
ステータス607は帳票に対して類似帳票判定を行った際の結果を示しており、"未学習"又は"学習済"のいずれかが表示される。"未学習"は類似帳票が存在しないと判定されたことを、"学習済"は類似帳票が存在したと判定されたことを意味している。
種類608は帳票の種類を表している。例えば"見積書"や"請求書"が表示される。またステータス607が学習済の帳票に関しては、"請求書ＡＡＡ"や"請求書ＢＢＢ"のように、どの請求書のフォーマットに該当するか詳細な種類も表示される。これは類似帳票判定処理により決定した最も類似する帳票と関連付けられている。
送信ボタン602はクラウドストレージ130に対して帳票を送信するためのボタンである。スキャン済み帳票一覧601から任意の帳票を選択し、送信ボタン602を押下することで送信先606に表示されているクラウドストレージ130に対して送信を行う。なお送信が正常に完了した場合、その帳票は一覧から削除される。
編集ボタン603は、後述する属性設定画面610に移動するためのボタンである。スキャン済み帳票一覧601から任意の帳票を選択し、編集ボタン603を押下することで選択した帳票の属性設定画面610(図６Ｂ)へと移動し、ユーザにより属性設定を編集可能する。
削除ボタン604は帳票の削除を行うボタンである。スキャン済み帳票一覧601から任意の帳票を選択し、削除ボタン604を押下することで選択した帳票を削除することができる。

図６Bは属性設定画面610の一例を示す図である（図５のS514)。
属性領域611は、ユーザが設定した属性情報を表示する領域である。属性領域611には属性情報を入力するテキストフィールド618と後述する文字領域の切り抜き画像619が表示される。文字領域が選択されていない場合、テキストフィールドは空であり、切り抜き画像は設定されていない状態で表示される。また、クリック等で選択状態となった属性領域はユーザに識別できるように背景色が変えたり、枠で囲ったりしてもよい。
プレビュー領域612は、スキャン画像を表示する。画像の文字領域をマウスオーバーすると、当該文字領域を識別可能に線、枠線などの形状や色を付与する。さらに、テキストフィールド618に当該文字領域の文字列が表示される。また、切り抜き画像619に当該文字領域の切り抜き画像が表示される。マウスオーバーされる文字領域が変わるたびにテキストフィールド618及び切り抜き画像619が切り替わる。このとき、仮設定であることをユーザに知らせるために、後述する文字領域クリックによって選択が確定された際の表示形式と異なる表示形式で文字領域を表現してもよい。詳細は、図７のフローチャートを用いて後述する。文字領域をクリックすると、クリックした位置に対応する文字領域の選択が確定される。選択したことがわかるように選択した文字領域などに線、枠線などの形状や色などを付与して表示する。属性ごとに文字領域の色を異なる色にしてもよいし、一つの属性に対して複数の文字領域を選択した場合、それぞれの文字領域の色を異なる色にしてもよい。また、選択した文字領域が中央になるようにプレビュー表示位置の変更や、拡大率の変更を行ってもよい。
一度選択した文字領域を再度クリックすると、選択が解除されて対応するファイル名の文字列を削除して、文字領域に付与した線や色なども表示しない状態に戻す。例では文字列が非選択時の場合に、文字領域はプレビュー上には表示されないように記載している。しかし、ユーザにどの領域がクリックできるのかを示すために色や枠線を用いて文字領域がわかるように表示してもよい。また、文字領域がわかるようにする表示は、ボタンなどで表示と非表示が切り替えられるようにしてもよい。また、プレビュー領域に対してスワイプ操作を行うと、プレビュー領域で表示される画像の位置を移動するようにする。

文字領域削除ボタン613は、文字領域削除ボタン613に紐づいた文字領域を削除し、当該文字領域に関する属性領域611を更新する。具体的には、テキストフィールド618の該当する文字列を削除し、及び切り抜き画像619を非設定状態にする。
プレビュー拡大ボタン614は、プレビュー領域に表示している画像の拡大倍率を大きくする。
プレビュー縮小ボタン615は、プレビュー領域に表示している画像の拡大倍率を小さくする。
なお、拡大及び縮小時にプレビュー領域の中央の座標が拡大及び縮小前と同一となるように表示位置の調整を行う。
プレビュー初期表示ボタン616は、スワイプによるプレビュー画像の表示位置の移動やプレビュー拡大ボタンやプレビュー縮小ボタンを押して表示倍率を変更していた場合に、初期状態の倍率と表示位置に戻す。
ＯＫボタン617は、属性設定画面610で設定したファイル名と共にスキャン画像をＭＦＰ連携サービスサーバ120へ送信し、機械学習処理（S515〜S518）を実行する。送信が完了するとスキャン済み帳票一覧画面600に戻る。

３−２．表示処理
図７は、本システムにおける文字領域にマウスオーバーした時の表示処理の詳細を示すフローチャートである。カーソルがプレビュー画像上にある場合に繰り返し実行される。
はじめにS1において、マウスオーバーされた箇所が文字領域かどうか判定する。S1において、マウスオーバーされた箇所が文字領域であると判定された場合(Yes)は、S2に進み、文字領域でないと判定された場合(No)は、S7に進む。
文字領域であった場合、S2で、当該文字領域を線、枠線などの形状や色を付与する。
続くS3で、当該文字領域の枠に合わせて画像を切り取ることで、切り取り画像を抽出する。
S4で、当該文字領域の文字列を抽出する。S4の時点でＯＣＲ処理を行い、文字列を抽出してもよい。また、事前にプレビュー画像内の全文字領域にＯＣＲ処理を行うか、S513の解析結果の取得要求のレスポンスとして、S510での全文字医療域の文字認識処理の結果を取得し、利用してもよい。
S5で、S3で抽出した切り抜き画像619を属性領域に表示する。
S6で、S4で抽出した文字列を属性領域のテキストフィールド618に表示し、本フローを終了する。
一方、文字領域でないと判定された場合は、S7で、文字領域に付与された枠や線を消し、属性領域の切り抜き画像及びテキストフィールドを元の表示に戻し、本フローを終了する。

実施例１では、図７の判定処理で文字領域にマウスオーバーした際に文字領域の切り抜き画像と文字列を属性領域に表示することで、正しい文字領域を設定しているかユーザが確認することができた。しかし、文字領域にマウスオーバーしないと文字領域に対して識別可能に枠や線などの形状や色が付与されないため、文字領域をマウスオーバーする操作にそもそも気づきにくい可能性がある。実施例２では、プレビュー画像をマウスオーバーすると、プレビュー画像内の全文字領域に枠や線などの形状や色を付与する例について説明する。

図８は属性設定画面610の一例を示す図である。
図８(a)は、マウスカーソル801がプレビュー画像802の領域の外にある場合を図示している。この時点では、プレビュー画像802内の文字領域に対して、枠や線などの形状や色が付与されていない。
一方、図８(b)のマウスカーソル801がプレビュー画像の領域の中にある場合では、プレビュー画像802内の全文字領域を識別可能に枠や線などの形状や色を付与する（803）。そして、この状態で、実施例１で説明したようにプレビュー画像内の文字領域にマウスオーバーされると、前記全文字領域に付与された色や形状と異なる色や形状を当該マウスオーバーされた文字領域に付与することで識別可能に表示する。

(その他の実施例)
以上本発明は、画像処理装置（ＭＦＰ)とＭＦＰ連携サービスサーバ、クラウドストレージを組み合わせたシステムとして説明したが、説明した各機能はそれぞれ他の装置が備えるものであってもよい。例えば、全ての機能を画像処理装置（ＭＦＰ)が備えてもよく、また、サービスサーバがストレージの機能を備えるものであってもよい。
また、本発明では、帳票の文字領域の配置情報から類似帳票を判定しているが、その判定に、文字領域の配置情報と帳票との関係を学習したニューラルネットワークを用いて、判定させるようにしてもよい。
また、本発明における、画像の文字領域の選択機能は、画像を表示、選択可能とする情報処理装置であれば適用可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路(例えば、ＡＳＩＣ)によっても実現可能である。

110 ＭＦＰ
111 クライアントＰＣ
120 ＭＦＰ連携サービスサーバ
421 表示制御部
431 リクエスト制御部
432 画像処理部
434 データ管理部

Claims (14)

1. スキャン画像に属性情報を設定する画像処理システムであって、
   スキャン画像の文字領域を解析する解析処理手段と、
   スキャン画像をプレビュー画像として画面に表示する表示手段と、
   前記文字領域の１つがマウスオーバーされた場合に、
   マウスオーバーされた文字領域を識別可能に表示する第１の表示制御手段と、
   前記マウスオーバーされた文字領域の切り抜き画像を抽出する第１の抽出手段と、
   前記マウスオーバーされた文字領域の文字列を抽出する第２の抽出手段と、
   前記切り抜き画像と、前記文字列の少なくとも一つを属性情報として画面に表示する第２の表示手段と、
   を備えることを特徴とする画像処理システム。
2. 前記プレビュー画像がマウスオーバーされた場合、
   プレビュー画像にマウスオーバーすると、プレビュー画像内の全文字領域を識別可能に表示する第２の表示制御手段を有し、
   前記第１の表示制御手段は、さらに、前記文字領域の１つがマウスオーバーされた場合、マウスオーバーされた文字領域を識別可能に表示すること
   を有することを特徴とする請求項１に記載の画像処理システム。
3. 前記第１の表示制御手段は、前記文字領域に、線又は枠線による形状及び／又は色を付与し識別可能に表示することを特徴とする請求項１に記載の画像処理システム。
4. 前記第２の表示制御手段は、前記文字領域に、線又は枠線による形状及び／又は色を付与し識別可能に表示することを特徴とする請求項２に記載の画像処理システム。
5. スキャン画像は、帳票の画像であることを特徴とする請求項１〜４の何れか１項に記載の画像処理システム。
6. 前記解析処理手段は、文字領域の配置情報も解析することを特徴とする請求項１〜５のいずれか１項に記載の画像処理システム。
7. 前記第２の表示手段により画面に表示された属性情報は、ユーザにより確定がなされることを特徴とすることを特徴とする請求項１〜６の何れか１項に記載の画像処理システム。
8. 前記スキャン画像のファイルをストレージに保存することを特徴とする請求項１〜７の何れか１項に記載の画像処理システム。
9. 前記ストレージは、ネットワークにより接続された外部のストレージであることを特徴とする請求項８の何れか１項に記載の画像処理システム。
10. 前記解析処理手段は、前記スキャン画像と保存された帳票との類似の判定を行い、類似する帳票が存在する場合には、その帳票の種類を解析結果とすることを特徴とする請求項１〜９の何れか１項に記載の画像処理システム。
11. 前記画像処理システムは、画像処理装置と、前記画像処理装置とネットワークにて通信可能に接続されているサーバから構成され、
    前記解析処理手段は、前記サーバが備えていることを特徴とする請求項１〜１０の何れか１項に記載の画像処理システム。
12. 前記画像処理システムは、画像処理装置のみから構成されていることを特徴とする請求項１〜１０の何れか１項に記載の画像処理システム。
13. スキャン画像に属性情報を設定する画像処理システムの制御方法であって、
    スキャン画像の文字領域を解析する解析ステップと、
    スキャン画像をプレビュー画像として画面に表示する第１の表示ステップと、
    前記文字領域の１つがマウスオーバーされた場合に、
    マウスオーバーされた文字領域を識別可能に表示する表示制御ステップと、
    前記マウスオーバーされた文字領域の切り抜き画像を抽出する第１の抽出ステップと、
    前記マウスオーバーされた文字領域の文字列を抽出する第２の抽出ステップと、
    前記切り抜き画像と、前記文字列の少なくとも一つを属性情報として画面に表示する第２の表示ステップと、
    を備えることを特徴とする画像処理システムの制御方法
14. 請求項１３に記載の画像処理システムの制御方法を、コンピュータに実行させるためのプログラム。

Images