JP2023031908A - 画像処理装置、プログラム、画像処理方法 - Google Patents

Abstract

【課題】 文字認識結果に基づいてエンティティ抽出を行った結果、所定の項目に対応する文字列を抽出できない場合がある。【解決手段】 エンティティ抽出処理により文書画像についての所定の項目に対応する文字列が抽出されなかった場合、以前に前記文書画像と同じフォーマットの文書において所定の項目に対応する文字列が抽出された領域の位置情報に基づいて、前記文書画像についての前記所定の項目に対応する文字列を取得する。【選択図】 図５

Description

紙文書から所定の項目に対応する文字列を抽出するための方法に関する。

文書画像に含まれている文字列から、所望の項目に対応する値となる文字列を抽出する技術として、文書画像から当該項目の文字列を見つけ、項目に応じた探索ルールを用いて対応する文字列を抽出する方法がある（例えば特許文献１参照）。

特開２０２０－２０１８２２号公報

しかしながら、文書画像から所定の項目に対応する文字列が抽出できない場合がある。

上記課題を解決するために、本発明の画像処理装置は、処理対象の文書画像に対して文字認識処理を行うことにより文字認識結果を得る文字認識手段と、前記文字認識結果に基づいてエンティティ抽出を行うことにより、所定の項目に対応する文字列を抽出するエンティティ抽出手段と、前記エンティティ抽出手段により前記文書画像についての前記所定の項目に対応する文字列が抽出されなかった場合、以前に前記文書画像と同じフォーマットの文書において前記所定の項目に対応する文字列が抽出された領域の位置情報に基づいて、前記文書画像についての前記所定の項目に対応する文字列を取得する取得手段と、を備えることを特徴とする。

本提案によれば、エンティティ抽出処理により所定の項目に対応する文字列が抽出できなかった場合でも、抽出結果を補正できる。

画像処理システムの構成例を示す図である。 本システムを構成する処理端末のハードウェア構成例を示す図である。 本システムを構成する処理端末のソフトウェア構成例を示す図である。 本システムで実行する処理全体を説明するフローチャートである。 実施例１における画像処理サーバでの画像処理を説明するフローチャートである。 実施例１における情報端末での処理結果表示を説明するフローチャートである。 実施例１における処理結果表示における表示の例を示す図である。 実施例１における画像処理サーバでの帳票学習を説明するフローチャートである。 実施例２における画像処理サーバでの画像処理を説明するフローチャートである。 スキャン設定テーブルの例である。 ＢＳ／ＯＣＲ結果テーブルの例である。 学習済帳票テーブルの例である。 エンティティ結果テーブルの例である。 エンティティ結果テーブルの例である。 同じフォーマットと判断された学習済帳票のデータの例である。

以下、本発明を実施するための形態について図面を用いて説明する。

図１は、本実施例における画像処理システムの構成の一例を表す図である。画像処理システムは、画像形成装置１０１と、画像処理サーバ（画像処理装置）１０２、情報処理端末１０３、ストレージサーバ１０４を有する。これらの各装置および各サーバは、ネットワーク１０５により相互に接続されて、通信可能である。

本実施例では、画像形成装置１０１として、スキャン機能、印刷機能、複写機能などを備える複合機を例にして説明するが、複合機に限るものではない。例えば、スキャン機能を備える装置であれば、後述する本発明の処理を実行可能である。なお、スキャン機能とは、画像形成装置１０１に備わるスキャナで文書（帳票など）を読み取ることにより生成した画像データを外部に送信したりする機能である。また、印刷機能とは、情報処理端末１０３などから受信した印刷データを印刷する機能である。また複写機能では、スキャナで読み取った文書の画像データを印刷することにより、文書の複写物を得る機能である。

なお、後述するように、本実施例の画像形成装置１０１は、画像処理サーバ１０２を介してスキャンした文書の画像データをストレージサーバ１０４への画像送信の依頼をしたりすることが可能である。

画像処理サーバ１０２は、画像形成装置１０１から受信した画像データに対して画像処理を行い、当該画像処理後の画像データをストレージサーバ１０４に送信して保存させることが可能である。また、画像処理サーバ１０２は、情報処理端末１０３に対して画像形成装置１０１から画像データを受信した旨を送信し、情報処理端末１０３からの画像データ保存要求を受信することでストレージサーバ１０４へ画像データを送信するように構成してもよい。

図２は、本実施例における画像処理システムのハードウェア構成の一例を表す図である。画像形成装置１０１は、プリンタ２０２、スキャナ２０３、および操作部２０４、ＣＰＵ２１１、ＲＡＭ２１２、ＨＤＤ２１３、ネットワークＩ／Ｆ２１４、プリンタＩ／Ｆ２１５、スキャナＩ／Ｆ２１６、操作部Ｉ／Ｆ２１７、および拡張Ｉ／Ｆ２１８を有する。ＣＰＵ２１１は、ＲＡＭ２１２、ＨＤＤ２１３、ネットワークＩ／Ｆ２１４、プリンタＩ／Ｆ２１５、スキャナＩ／Ｆ２１６、操作部Ｉ／Ｆ２１７、および拡張Ｉ／Ｆ２１８とデータを授受することが可能である。また、ＣＰＵ２１１は、ＨＤＤ２１３から読み出した命令（コンピュータプログラム）をＲＡＭ２１２に展開し、ＲＡＭ２１２に展開した命令を実行することにより、後述する各処理の実行を制御する。すなわち、画像形成装置１０１のプロセッサは、コンピュータ読取可能な記憶媒体（ＨＤＤ等）からプログラムを読み出して実行することにより、後述する各処理を実行する処理部として機能する。

ＨＤＤ２１３は、ＣＰＵ２１１で実行可能な命令（プログラム）、画像形成装置１０１で使用する設定値、およびユーザから依頼された処理に関するデータ等を記憶しておくことが可能である。ＲＡＭ２１２は、ＣＰＵ２１１がＨＤＤ２１３から読み出した命令を一時的に格納するための領域である。またＲＡＭ２１２は、命令の実行に必要な各種のデータを記憶しておくことも可能である。たとえば画像処理では、入稿されたデータをＲＡＭ２１２に展開することで処理を行うことが可能である。

ネットワークＩ／Ｆ２１４は、画像形成システム内の装置とネットワーク通信を行うためのインターフェイスである。ネットワークＩ／Ｆ２１４は、データ受信を行ったことをＣＰＵ２１１に伝達することや、ＣＰＵ２１１からの指示にしたがって、ＲＡＭ２１２上のデータをネットワーク１０５に送信することが可能である。

プリンタＩ／Ｆ２１５は、ＣＰＵ２１１からの指示にしたがって印刷対象の印刷データをプリンタ２０２に送信し、プリンタ２０２から受信したプリンタの状態をＣＰＵ２１１に伝達することが可能である。

スキャナＩ／Ｆ２１６は、ＣＰＵ２１１から指示された画像読み取り指示をスキャナ２０３に送信したり、スキャナ２０３から受信した画像データをＣＰＵ２１１に伝達したりすることが可能である。またスキャナＩ／Ｆ２１６は、スキャナ２０３から受信した当該スキャナの状態の情報をＣＰＵ２１１に伝達したりすることも可能である。

操作部Ｉ／Ｆ２１７は、操作部２０４を介して為されたユーザからの指示をＣＰＵ２１１に伝達したり、ユーザが操作するための画面情報を操作部２０４に表示させたりことが可能である。拡張Ｉ／Ｆ２１８は、画像形成装置１０１に外部機器を接続することを可能とするインターフェイスである。拡張Ｉ／Ｆ２１８は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）形式のインターフェイスを具備する。画像形成装置１０１は、ＵＳＢメモリ等の外部記憶装置が拡張Ｉ／Ｆ２１８に接続されることにより、当該外部記憶装置に記憶されているデータの読み取りおよび当該外部記憶装置に対するデータの書き込みを行うことが可能である。

プリンタ２０２は、プリンタＩ／Ｆ２１５を介して受信した画像データを用紙に印刷することができ、また、プリンタ２０２の状態をプリンタＩ／Ｆ２１５に伝達することもできる。スキャナ２０３は、スキャナＩ／Ｆ２１６を介して受信した画像読み取り指示に従って、スキャナに置かれた文書（帳票など）を読み取ることによって得た画像データをスキャナＩ／Ｆ２１６に伝達することが可能である。また、スキャナ２０３は、スキャナの状態をスキャナＩ／Ｆ２１６に伝達することも可能である。操作部２０４は、ユーザの操作に基づいて、画像形成装置１０１に対して各種の指示を行うためのインターフェイスである。例えば、操作部２０４は、タッチパネル液晶画面を具備し、操作画面を表示すると共に、ユーザからの操作を受け付ける。

画像処理サーバ１０２は、ＣＰＵ２２１、ＲＡＭ２２２、ＨＤＤ２２３、ネットワークＩ／Ｆ２２４から構成される。ＣＰＵ２２１は、装置全体の制御を司り、ＲＡＭ２２２、ＨＤＤ２２３、及びネットワークＩ／Ｆ２２４の間でデータの授受を制御可能である。また、ＣＰＵ２２１はＨＤＤ２２３から読みだした制御プログラム（命令）をＲＡＭ２２２に展開して実行する。すなわち、画像処理サーバ１０２のプロセッサは、コンピュータ読取可能な記憶媒体（ＨＤＤ２２３等）からプログラムを読み出して実行することにより、後述する各処理を実行する処理部として機能する。また、画像処理サーバ１０２のＨＤＤ２２３は、スキャンに関する情報や、抽出するエンティティを識別するための情報を管理することが可能である。

情報処理端末１０３は、ＣＰＵ２３１、ＲＡＭ２３２、ＨＤＤ２３３、ネットワークＩ／Ｆ２３４、操作部Ｉ／Ｆ２３５、操作部２３６から構成される。ＣＰＵ２３１は、装置全体の制御を司り、ＲＡＭ２３２、ＨＤＤ２３３、ネットワークＩ／Ｆ２３４、操作部Ｉ／Ｆ２３５、及び操作部２３６の間でデータの授受を制御可能である。また、ＣＰＵ２３１はＨＤＤ２３３から読みだした制御プログラム（命令）をＲＡＭ２３２に展開し実行する。操作部Ｉ／Ｆ２３５は、操作部２３６から入力されたユーザからの指示をＣＰＵ２３１に伝達し、ＣＰＵ２３１による表示制御に基づき、表示すべき操作画面に関する情報を操作部２３６に伝達するインターフェイスである。情報処理端末１０３には、画像データを確認するためのアプリケーションがインストールされており、該アプリケーションを実行することで、画像処理サーバの画像データを表示し、画像データの保存を要求する機能を利用することができる。画像データを確認するためのアプリケーションは、Ｗｅｂアプリケーションとして提供されている場合は、情報処理端末１０３は、Ｗｅｂブラウザを介してＷｅｂアプリケーションを実行することで画像データの表示、画像データの保存を要求する形態でも構わない。すなわち、情報処理端末１０３のプロセッサは、コンピュータ読取可能な記憶媒体（ＨＤＤ２３３等）からプログラムを読み出して実行するか、ネットワークを介して受信したプログラムを実行することにより、画像データを確認できる。

ストレージサーバ１０４は、ＣＰＵ２４１、ＲＡＭ２４２、ＨＤＤ２４３、ネットワークＩ／Ｆ２４４から構成される。ＣＰＵ２４１は、装置全体の制御を司り、ＲＡＭ２４２、ＨＤＤ２４３、及びネットワークＩ／Ｆ２４４の間でデータの授受を制御可能である。また、ＣＰＵ２４１はＨＤＤ２４３から読みだした制御プログラム（命令）をＲＡＭ２４２に展開して実行する。ストレージサーバ１０４のＨＤＤ２４３は、画像処理サーバ１０２より受信した画像データを保持することが可能である。

図３は、本実施例における画像処理システムのソフトウェア構成の一例を表す概念図であり、各装置のＣＰＵがソフトウェアプログラムを実行して、スキャナやＨＤＤ等のハードウェアと協働することにより、以下の各処理を行う処理部として機能する。

画像形成装置１０１のコントローラ３１０は、制御部３１１、記憶部３１２、通信部３１３、表示部３１４、スキャン部３１５で構成される。制御部３１１は、コントローラ３１０の機能に関する処理全般の機能を有する。記憶部３１２は、スキャンに関わる設定を保持する機能とスキャンによって受信した画像データを保持する機能を有する。通信部３１３は、ネットワーク１０５を介してスキャンした画像データとスキャンに関わる設定情報を画像処理サーバ１０２へ送信する機能を有する。表示部３１４は、操作部２０４を介してユーザからのスキャン要求を受信し、制御部３１１へ通知する機能を有する。スキャン部３１５は、制御部３１１からのスキャン要求を受信し、スキャナＩ／Ｆ２１６を介してスキャナ２０３へスキャン処理を実行する。スキャン実行して受信した画像データを制御部３１１へ送信する。

画像処理サーバ１０２により提供される画像処理サービス３２０は、制御部３２１、記憶部３２２、通信部３２０、画像処理部３２４で実現される。制御部３２１は、画像処理サービス３２０の機能に関する処理全般の機能を有する。記憶部３２２は、スキャンに関わる設定を保持する機能、画像形成装置１０１から受信した画像データを保持する機能、画像データのマッチングを行うための学習済帳票を保持する機能を有する。

記憶部３２２のスキャンに関わる設定を保持する機能について説明する。スキャン設定は、ユーザが実行するボタンごとに異なる設定が可能となっており、例えば、図１０のようなスキャン設定テーブルに保持される。

図１０のスキャン設定テーブルは、ボタン番号、名称、エンティティ設定、カラー、解像度、両面／片面、用紙サイズ、ファイルタイプ、送信先の９つの列で構成される。

ボタン番号は、ボタンを識別するための一意の番号であり、名称は画像形成装置１０１の表示部にボタンと共に表示するボタン名称である。エンティティ設定は、画像処理サーバ１０２の画像処理部３２４が、スキャン画像のＯＣＲ結果から抽出するエンティティの種別が記載される。エンティティの取得については後述する。

カラー、解像度、両面／片面、用紙サイズは、スキャン時の動作設定を示している。すなわち、スキャンで生成する画像がカラー画像または白黒画像のいずれであるか、画像の解像度、両面スキャンなのか片面のみスキャンなのか、スキャンする紙のサイズをそれぞれ示している。

ファイルタイプと送信先は、スキャン画像を出力する際のファイルのフォーマットと送信先を示す。

画像形成装置１０１は、ユーザログイン（不図示）するとスキャン設定テーブルを取得して表示部にボタンを表示する。ユーザが、表示されたボタンを選択すると、画像形成装置１０１は選択したボタンを検知し、当該選択されたボタンの設定に従って、帳票などの文書のスキャンを実行してスキャン画像（文書画像）を生成する。画像形成装置１０１は、スキャンで生成したスキャン画像（文書画像）とユーザが選択したボタンの番号とを送信する。

通信部３２３は、画像形成装置１０１から文書画像データを受信する機能、情報処理端末１０３に処理結果を送信する機能、情報処理端末１０３からの文書画像データ保存要求を受信する機能、ストレージサーバ１０４へ画像データを送信する機能を有する。

画像処理部３２４は、画像形成装置１０１から受信した画像データを処理する機能として、画像二値化、文字や表や図形などの属性ごとの領域に分割する処理（ＢＳ処理）、文字認識処理（ＯＣＲ処理）を有する。また、ＢＳ処理により得られた領域の位置やサイズを比較して同じフォーマットの帳票であるかどうかを判定する帳票マッチングの機能、帳票を学習済帳票として学習する機能、及びＢＳ／ＯＣＲの処理結果からエンティティを抽出する機能を有している。

なお、画像二値化は、カラーの文書画像を二値の例えば白と黒に変換する処理である。変換方法については特に問わない。

画像処理部３２４が実行するＢＳ／ＯＣＲについて説明する。ＢＳ（ＢｌｏｃｋＳｅｌｅｃｔｉｏｎ）処理は、スキャン画像を解析して文字列や図形など位置を示す領域を特定する処理である。ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理は、文字画像から文字列（文字コード）を認識する処理である。本実施例では、画像処理部３２４がＢＳ／ＯＣＲを行うと、図１１のようなＢＳ／ＯＣＲ結果テーブルが生成される。

図１１のＢＳ／ＯＣＲ結果テーブルは、番号、ＢＳ領域、文字列の３列から構成され、文字列毎に１行のデータが生成される。番号は、各文字列領域を識別する一意の番号である。本実施例では、ＢＳ１～ＢＳ９である。ＢＳ領域（ＢＳ処理で判定された領域の情報）は、文字列領域の位置を示す座標であり、例えば、各領域の左上のＸ座標とＹ座標、ならびに、各領域の幅と高さの４つの数字で構成される。番号ＢＳ１のＢＳ領域は、８７４、３３３、５１１、７３であり、Ｘ座標は８７４、Ｙ座標は３３３、幅は５１１、高さは７３である。番号ＢＳ１のＢＳ領域に含まれる文字列が見積書となる。

次に画像処理部３２４が実行する学習について説明する。

画像形成装置から受信した文書画像（スキャン画像データ）にＢＳ／ＯＣＲ処理を実行し、そのＢＳ／ＯＣＲ結果テーブルと情報処理端末１０３より取得したエンティティ結果テーブルとに基づいて学習済帳票を生成し、図１２のような学習済帳票テーブルに追加する。

学習済帳票テーブルは、画像のＢＳ領域の情報とエンティティ抽出結果を関連付けて保持することで、ＢＳ領域の位置が同じである画像（即ち、同じ帳票フォーマットの画像）を処理する際に、以前のエンティティ抽出結果を検索することができる。図１２の学習済帳票テーブルは、ボタン番号、帳票番号、番号、ＢＳ領域、種別の５列から構成される。ボタン番号は、ボタン毎に学習済帳票を識別するための一意の番号である。帳票番号は、学修済帳票を識別するための一意の番号である。番号はＢＳ領域を示すものにＢＳを先頭に付与した番号、エンティティ抽出の結果を示すものはＥＴを先頭に付与した番号で一意に識別される。

例えば、ボタン番号のＢＴＮ１でスキャンを実行し、ＢＳ／ＯＣＲ結果テーブルに対してエンティティ抽出の処理を行った結果、タイトルがＢＳ１の領域、文書発行側の組織名がＢＳ７の領域、文書発行側の個人名ＢＳ８の領域だったとする。この場合、ボタン番号にＢＴＮ１、帳票番号が１で認識される学習済帳票が学習済帳票テーブルに追加される。この場合、学習済帳票テーブルに、ＢＳ／ＯＣＲテーブルと同じ番号とＢＳ領域が追加され、さらに、エンティティ抽出処理の結果として得られた番号とＢＳ領域と種別とが追加される。

次に、画像処理部３２４が実行する帳票マッチングについて説明する。

帳票マッチングは、ＢＳ領域の座標位置同士を比較して同じかどうかを判定する処理である。ＢＳ領域同士が同じとは、Ｘ座標、Ｙ座標、幅、高さがほぼ同じであることを意味する。画像処理部３２４は、学習済帳票テーブルの全ＢＳ領域を取得して、取得した学習済帳票テーブルの帳票番号毎にＢＳ領域の比較を行う。例えば、スキャン画像データに対してＢＳ処理を行った結果のＢＳ領域が、図１１のＢＳ／ＯＣＲ結果テーブルであった場合、ＢＳ／ＯＣＲ結果テーブルのＢＳ１のＢＳと学習済帳票テーブルの帳票番号が１のＢＳ１～９とを比較する。ＢＳ／ＯＣＲ結果テーブルのＢＳ１～９と学習済帳票テーブルの帳票番号が１のＢＳ１～９のそれぞれがほぼ一致した場合、同じであると判定する。帳票番号が１の学習済帳票と異なると判断した場合は、次に帳票番号が２の学習済帳票と比較する。全ての学習済帳票と比較した結果、全て異なると判断した場合、マッチング帳票が無いと判定する。

次に、画像処理部３２４が実行するエンティティ抽出処理について説明する。

本実施例でのエンティティとは、自然言語処理によって抽出される値（文字列）であって、所定の項目に対応する値（文字列）を意味する。本実施例のエンティティ抽出では、「文書発行側の組織名」「文書受取側の組織名」「文書発行側の個人名」「文書受取側の個人名」「文書作成日」「書類番号」「タイトル」などの項目の種別に対応する値が抽出されるものとする。なお、上述したエンティティの種別は一例であり、他の種別の文字列をエンティティとして抽出するように構成してもよい。これらエンティティを抽出する方法としては、文字列を形態素解析により単語分割し、分割した単語を利用して、Ｔｒａｎｓｆｏｒｍｅｒベースの機械学習モデルを生成する。この生成したモデルに文字列を入力して推論することで、文字列の中から所望の項目種別に対応するエンティティを抽出し、エンティティ結果テーブルが生成される。一般的なモデルの生成には、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）やＧＰＴ （Ｇｅｎｅｒａｔｉｖｅ Ｐｒｅ－ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒｓ）などの事前学習モデルを利用する。事前学習モデルをベースに抽出したいエンティティの特徴である文字列から形態素解析によって分割した単語群を利用してＦｉｎｅ－ｔｕｎｉｎｇしモデルを生成する。

エンティティ抽出処理により抽出された各項目種別に対応する値（文字列）とその文字列を含むＢＳ領域の座標情報とが、エンティティ結果テーブルに格納される。例えば、図１３のエンティティ結果テーブルは、番号、種別、ＢＳ領域、文字列、要確認の５列から構成され、文字列毎に１行のデータが生成される。番号は、テーブル中の文字列を一意に識別するための番号である。本実施例では、ＥＴ１、ＥＴ２、ＥＴ３である。種別は、抽出対象となるエンティティを示す。ＢＳ領域は、抽出対象の各エンティティとして判定された文字列の領域を示す座標であり、Ｘ座標、Ｙ座標、幅、高さの４つの数字で構成される。番号１のＢＳ領域は、８７４、３３３、５１１、７３であり、Ｘは８７４、Ｙは３３３、幅は５１１、高さは７３である。文字列は、抽出対象の各エンティティとして判定された文字列である。要確認は、ユーザにとって特に確認が必要な抽出結果であるかを示す。特に確認が必要な場合は１、そうでない場合は０が記入される。尚、エンティティとなる文字列が抽出できなかった種別に関しては、ＢＳ領域と文字列の欄が空の行が生成される（例えば、図１４のＥＴ３参照）。

情報処理端末１０３の画像データ確認アプリケーション３３０は、制御部３３１、記憶部３３２、通信部３３３、表示部３３４で構成される。

制御部３３１は、画像データ確認アプリケーション３３０の機能に関する処理全般の機能を有する。記憶部３３２は、画像処理サーバ１０２から受信した画像データおよびエンティティ結果テーブルを保持する機能を有する。通信部３３３は、画像処理サーバ１０２から画像データおよびエンティティ抽出結果テーブルを受信する機能、スキャン画像データ保存要求を送信する機能を有する。表示部３３４は、画像処理サーバ１０２から受信した画像データとエンティティ抽出結果を表示し、ユーザに確認を促す機能を有する。

ストレージサーバ１０４のデータ保存サービス３４０は、制御部３４１、記憶部３４２、通信部３４３で構成される。

制御部３４１は、データ保存サービス３４０の機能に関する処理全般の機能を有する。記憶部３４２は、画像処理サーバ１０２から受信した画像データとエンティティ抽出結果を関連付けて記憶する機能を有する。通信部３４３は、画像処理サーバ１０２から画像データとエンティティ抽出結果テーブルを受信する機能を有する。

図４は、画像形成装置（ＭＦＰ）１１０でスキャンした画像から、画像処理サーバ１０２によってエンティティを抽出し、ストレージサーバ１０４へ送信する処理の流れを示すシーケンス図である。ここでは、各装置間のやり取りを中心に説明する。

まず、スキャン画像をクラウドストレージに送信するためのボタンが、スキャン設定テーブルに記憶されている情報に従ってＭＦＰ１１０のタッチパネルに表示される。このボタンがユーザにより押下されると、スキャンした画像をクラウドストレージに送信するための、図４のシーケンスで示す処理が開始される。本実施例ではユーザがスキャン設定テーブルのＢＴＮ１を実行する例で説明する。

画像形成装置１０１の制御部３１１は、表示部３１４においてユーザにより押下されたボタンＢＴＮ１に設定されているスキャン設定にしたがって、スキャン部３１５を介して文書のスキャン処理を実行する（Ｓ４０１）。

制御部３１１は、Ｓ４０１で生成されたスキャン画像データとＳ４０１でスキャン実行を行ったボタン番号ＢＴＮ１を、通信部３１３を介して画像処理サーバ１０２へ送信する（Ｓ４０２）。なお、本実施例では、文書をスキャンすることにより生成されたスキャン画像データを処理対象画像として画像処理サーバに送信するものとしたが、これに限るものではない。例えば、ファクシミリ通信により受信した文書画像を処理対象画像として、画像処理サーバに送信するようにしてもよい。

画像処理サーバ１０２の制御部３２１は、Ｓ４０２で送信されたスキャン画像データとボタン番号ＢＴＮ１を通信部３２３を介して受信し、記憶部３２２を介して記憶する（Ｓ４０３）。

制御部３２１は、画像処理部３２４を用いて、Ｓ４０３で受信したスキャン画像データに対する画像処理を行う（Ｓ４０４）。詳細は後段にて説明する。

制御部３２１は、記憶部３２２を介して、Ｓ４０４で処理した結果を保存する（Ｓ４０５）。

制御部３２１は、通信部３２３を介して、Ｓ４０４で処理した結果（ＢＳ／ＯＣＲ結果テーブル、エンティティ結果テーブル、スキャン画像データ）を情報処理端末（クライアント）１０３へ送信する（Ｓ４０６）。

情報処理端末１０３の制御部３３１は、Ｓ４０６で送信された処理結果を、通信部３３３を介して受信する（Ｓ４０７）。

制御部３３１は、表示部３３４を用いて処理結果を表示し、ユーザに確認を促す（Ｓ４０８）。詳細は後段にて説明する。

制御部３３１は、ユーザにより確認、修正済みのエンティティ抽出結果をエンティティ結果テーブルに反映し、スキャン画像データの保存要求とともに、当該修正後のエンティティ結果テーブルの情報を、通信部３３３を介して画像処理サーバ１０２へ送信する（Ｓ４０９）。

画像処理サーバ１０２の制御部３２１は、通信部３２３を介してスキャン画像データ保存要求を受信する（Ｓ４１０）。

制御部３２１は、Ｓ４１０で受信したスキャン画像データ保存要求に含まれるエンティティ結果テーブルを取得し、記憶部３２２を介してスキャン画像データを取得し、さらに、当該取得したエンティティ結果テーブルとスキャン画像データとを通信部３２３を介してストレージサーバ１０４へ送信する。

ストレージサーバ１０４の制御部３４１は、通信部３４２を介してエンティティ結果テーブルとスキャン画像データとを受信する（Ｓ４１２）。

制御部３４１は、Ｓ４１２で受信したエンティティ結果テーブルを同受信したスキャン画像データのメタデータとして関連付け、記憶部３４２を介して保存する（Ｓ４１３）。

画像処理サーバ１０２の制御部３２１は、Ｓ４１０で受信したスキャン画像データ保存要求に含まれるエンティティ結果テーブルを取得し、画像処理部３２４を介して学習を行う（Ｓ４１４）。詳細は、後段にて説明する。

図５は、Ｓ４０４の画像処理の詳細を示したフローチャートである。

画像処理サーバ１０２の制御部３２１は、Ｓ４０３で受信したスキャン画像データを画像処理部３２４に読み込ませる（Ｓ５０１）。

制御部３２１は、画像処理部３２４を介して、Ｓ５０１で読み込ませたスキャン画像データに対して二値化処理を行い、二値化画像データを生成する（Ｓ５０２）。

制御部３２１は、画像処理部３２４を介して、生成した二値化画像データに対して、ＢＳ／ＯＣＲを実行し、ＢＳ／ＯＣＲ結果（文書画像内における文字列領域の位置情報と、各文字列の文字認識処理結果）を取得する。取得したＢＳ領域と文字列の文字認識結果は記憶部３２２を介してＢＳ／ＯＣＲ結果テーブルとして記憶する（Ｓ５０３）。本実施例では、図１１に示したＢＳ／ＯＣＲテーブルを作成したとする。

制御部３２１は、スキャン設定テーブルからＳ４０３で記憶したボタン番号ＢＴＮ１に応じたエンティティ設定を取得し、当該取得したエンティティ設定に記載の種別を抽出対象としてＳ５０３で取得した文字列に対して、エンティティ抽出処理を行う。エンティティ抽出の結果は記憶部３２２を介してエンティティ結果テーブルとして記憶する（Ｓ５０４）。本実施例では、Ｓ５０４の時点では、図１４に示すようなエンティティ結果テーブルを作成したとする。図１４の例では、ＥＴ３の「文書発行側の個人名」に対応するエンティティが抽出されなかったため、そのＢＳ領域と文字列が空欄となっている。

制御部３２１は、Ｓ４０３で記憶したボタン番号ＢＴＮ１と同じボタン番号が関連づけられた学習済帳票の情報を学習済帳票テーブルから取得する（Ｓ５０５）。本実施例では、図１２に示した学習済帳票テーブルの中から同じボタン番号の学習済み帳票（学習済み文書）の情報を取得して帳票マッチングの比較対象にする。

制御部３２１は、Ｓ５０５で取得した学習済帳票のＢＳ領域とＳ５０３で取得したスキャン画像データのＢＳ領域とを比較して帳票マッチングを行い、スキャン画像データと同じレイアウト（すなわち同じフォーマット）の学習済帳票があるか判定する（Ｓ５０６）。本実施例では、図１５に示す学習済帳票の情報が同じレイアウト（同フォーマット）の帳票として判定されたものとする。

制御部３２１は、Ｓ５０６の帳票マッチングの結果、同じフォーマットの学習済帳票（文書）があると判定した場合（Ｓ５０７でＹｅｓ）、Ｓ５０８へ進む。一方、同じフォーマットの学習済帳票が無いと判定した場合（Ｓ５０７でＮｏ）、処理を終了する。

制御部３２１は、エンティティ結果テーブルに含まれる行のうち、Ｓ５０９以降の処理を行っていない行があるかを判定する（Ｓ５０８）。Ｓ５０９以降の処理を行っていない行がある場合（Ｓ５０８でＹｅｓ）、Ｓ５０９へ進む。全ての行でＳ５０９以降の処理を行った場合（Ｓ５０８でＮｏ）、処理を終了する。

制御部３２１は、エンティティ結果テーブルに含まれる行のうち、Ｓ５１０以降の処理を行っていない行を一つ選択する（Ｓ５０９）。例えば、図１４の番号ＥＴ３の行を選択したとする。

制御部３２１は、Ｓ５０９で選択したエンティティ結果テーブル中の行について、ＢＳ領域と文字列の欄が空でないかを判定する（Ｓ５１０）。ＢＳ領域と文字列の欄が空でない（即ち、当該種別のエンティティが抽出されている）場合（Ｓ５１０でＹｅｓ）、Ｓ５０８へ戻る。ＢＳ領域と文字列の欄が空である（すなわち、当該種別のエンティティが抽出されなかった場合（Ｓ５１０でＮｏ）、Ｓ５１１へ進む。例えば、図１４の番号ＥＴ３の行はＢＳ領域と文字列の欄が空である為、Ｓ５１１へ進む。

制御部３２１は、Ｓ５０６で取得した学習済み帳票のうち、種別がＳ５０９で選択したものと同じ行のＢＳ領域が空でないかを判定する（Ｓ５１１）。ＢＳ領域が空でなかった、即ち学習済帳票では当該種別のエンティティが抽出できていた場合（Ｓ５１１でＹｅｓ）、Ｓ５１２へ進む。そうでない場合（Ｓ５１１でＮｏ）、Ｓ５０８へ戻る。例えば、図１４の番号ＥＴ３の種別「文書発行側の個人名」と同じ種別を持つ図１５の行は、番号ＥＴ３の行であり、ＢＳ領域の欄が空ではないためＳ５１２へ進む。

制御部３２１は、Ｓ５０６で取得した学習済帳票のうち、種別がＳ５０９で選択した物と同じ行のＢＳ領域の位置情報を取得する（Ｓ５１２）。例えば、図１５の番号ＥＴ３のＢＳ領域の位置情報である「１９７、８３３、３０９、３５」を取得する。

制御部３２１は、Ｓ５０３で記憶したＢＳ／ＯＣＲ結果テーブルから、Ｓ５１２で取得したＢＳ領域の位置情報に一致する行の文字列を取得する（Ｓ５１３）。例えば、Ｓ５１２で取得した位置情報「１９７、８３３、３０９、３５」に対応する位置に存在するＢＳ領域の文字列である「三木 登四郎」を取得する。

制御部３２１は、Ｓ５１２で取得したＢＳ領域、及びＳ５１３で取得した文字列を、Ｓ５０９で選択したエンティティ結果テーブルの行に反映する（Ｓ５１４）。

制御部３２１は、Ｓ５０９で選択したエンティティ結果テーブルの行の「要確認」の欄に「１」を記入し、確認が必要なエンティティであることを記録する（Ｓ５１５）。これは、Ｓ５０６でスキャン画像とは別のフォーマットの帳票が誤ってマッチングされてしまった場合、Ｓ５１４の処理によってユーザの所望のものとは別のＢＳ領域でエンティティ結果が修正されていないか、確認を促すためである。

Ｓ５１４及びＳ５１５の処理の結果、図１４に示したエンティティ結果テーブルは、図１３に示すように更新される。

図６は、Ｓ４０８の詳細を示したフローチャートである。

情報処理端末１０３の制御部３３１は、Ｓ４０７にて受信した処理結果から、スキャン画像データとエンティティ結果テーブルの内容とに基づく画面を、表示部３３４に表示させる（Ｓ６０１）。この表示の一例を図７に示す。図７において、領域７０１はスキャン画像データのプレビューを表示する領域である。領域７０２はエンティティ抽出結果を表示する領域であり、種別ごとにエンティティ結果テーブルにおけるＢＳ領域および文字列を表示する。ユーザは当該表示されたＢＳ領域および文字列のテキストボックスを選択して修正操作を行う事で、操作部２３６を介してエンティティ結果テーブルの内容を修正する事が出来る。保存ボタン７０３はユーザによる確認および修正が終了し、画像の保存を指示するボタンである。警告表示７０４は、ユーザによる確認が必要なエンティティを示すものであり、種別の横に表示される。警告表示７０４は後述するＳ６０３の処理によって表示されるものである。

制御部３３１は、Ｓ４０７にて受信したエンティティ結果テーブルのうち、要確認の欄が「１」の行があるかを判定する（Ｓ６０２）。要確認の欄が「１」の行がある場合（Ｓ６０２でＹｅｓ）、Ｓ６０３へ進む。そうでない場合（Ｓ６０２でＮｏ）、処理を終了する。

制御部３３１は、要確認の欄が「１」である行に相当する種別の横に警告表示７０４を表示して処理を終了する（Ｓ６０３）。

図８は、Ｓ４１４の詳細を示したフローチャートである。

画像処理サーバ１０２の制御部３２１は、Ｓ４１０にて受信したスキャン画像データ保存要求に含まれる、ユーザによる確認・修正済のエンティティ結果テーブルを取得する（Ｓ８０１）。

制御部３２１は、Ｓ５０３で記憶したＢＳ領域と文字列のＯＣＲ結果とを取得する（Ｓ８０２）。

制御部３２１は、記憶部３２２を介してＳ５０５と同様に学習済帳票を取得する（Ｓ８０３）。

制御部３２１は、画像処理部３２４を介して、Ｓ８０３で取得した学習済帳票のＢＳ領域と、Ｓ８０２で取得した処理結果のＢＳ領域とを比較して帳票マッチングを行い、同じレイアウトと判断された学習済み帳票を取得する（Ｓ８０４）。

制御部３２１は、Ｓ８０４にて取得した学習済み帳票（同じレイアウトと判断された学習済み帳票）があるか否かを判定する（Ｓ８０５）。

制御部３２１は、帳票マッチングの結果、同じレイアウトの学習済み帳票があると判定した場合（Ｓ８０５でＹｅｓ）、Ｓ８０４で取得した学習済帳票のＢＳ領域を、Ｓ８０２で取得したＢＳ領域およびＳ８０１で取得したエンティティ結果テーブルのＢＳ領域で更新して処理を終了する（Ｓ８０６）。

一方、制御部３２１は、帳票マッチングの結果、同じレイアウトの学習済み帳票が無い（すなわち、未学習である）と判定した場合（Ｓ８０５でＮｏ）、Ｓ８０２で取得したＢＳ領域およびＳ８０１で取得したエンティティ結果テーブルから学習済帳票を生成して、学習済帳票テーブルに追加して処理を終了する（Ｓ８０７）。

本実施例では、ネットワーク１０５は、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、Ｉｎｔｅｒｎｅｔ等、画像処理システム内の装置が相互に通信できるものであれば構わない。

画像処理サーバ１０２、クラウドストレージサーバ１０４は、ローカルネットワーク上のサーバＰＣで動作するでも良いし、クラウドサービス上で実現される仮想サーバやサービスであっても良い。

スキャンに関わる設定をスキャン設定テーブルに保持するが、外部から任意に設定されるようにしても良い。

なお、帳票マッチングでのＢＳ領域の比較において、本実施例では、座標の位置と幅、高さが同じの場合、同一であると判定しているが、同一判定とする座標値に幅を持たせて、一定以内であれば同じと判定する方法でも構わない。また、帳票マッチングにおいて、全てのＢＳ領域が同じである場合に一致と判定しているが、例えば、帳票の上部（例えば上半分）にあるＢＳ領域が同じであれば、一致と判定しても良いし、ＢＳ領域が所定数以上同じであれば一致と判定するようにしてもよい。

以上、本実施例によれば、文書から所望の項目に対応するエンティティの文字列が抽出できなかった場合（例えば、図１４のＥＴ３）、同じフォーマットの学習済み帳票において以前にエンティティ文字列を抽出した際の位置情報（例えば図１５）を用いて、エンティティ抽出結果を補正できる（例えば図１３）。

本実施例２では、実施例１に加え、処理対象画像のエンティティ抽出の結果が空でなかった場合でも、学習済み帳票のエンティティ抽出結果と照らし合わせることにより、妥当性の低いと判断される抽出結果についてユーザに確認を促す方法を説明する。本実施例においてシステム構成やソフトウェア構成など、実施例１と同様の説明は割愛する。

図９は、Ｓ４０４の詳細を示したフローチャートである。

制御部３２１は、Ｓ５０９で選択したエンティティ結果テーブル中の行について、ＢＳ領域と文字列が空でない場合（Ｓ５１０でＹｅｓ）、Ｓ５０６で取得した学習済み帳票のうち種別がＳ５０９で選択したものと同じ行のＢＳ領域が空でないかを判定する（Ｓ９０１）。

制御部３２１は、学習済み帳票の該当する行のＢＳ領域が空でない場合（Ｓ９０１でＮｏ）、Ｓ５０９で選択したエンティティ結果テーブルの行の「要確認」の欄に「１」を記入し、確認が必要なエンティティであることを記録する（Ｓ９０２）。これは、同一のフォーマットでは同一の座標に同一のエンティティが抽出される事が自然だが、以前の抽出結果と今回のスキャン画像の抽出結果で抽出成否が異なる状態は抽出結果の妥当性が低いと考えられ、ユーザに確認を促す為である。

制御部３２１は、Ｓ５０９で取得したエンティティ結果テーブル中の行のＢＳ領域の位置座標と、Ｓ５０５で取得した学習済帳票のうち、種別がＳ５０９で取得したものと同じ行のＢＳ領域の位置座標とを比較して、両ＢＳ領域間の距離が所定の閾値以上離れているかを判定する（Ｓ９０３）。両ＢＳ領域の距離は、各ＢＳ領域の左上頂点の座標間の距離を測定する。両ＢＳ領域の距離が閾値より小さい場合（Ｓ９０３でＮｏ）、Ｓ５０８へ戻る。

制御部３２１は、両ＢＳ領域の距離が閾値以上である場合（Ｓ９０３でＹｅｓ）、Ｓ５０９で選択したエンティティ結果テーブルの行の「要確認」の欄に「１」を記入し、確認が必要なエンティティであることを記録する（Ｓ９０４）。これは、同一のフォーマットでは同一の座標に同一のエンティティが抽出される事が自然だが、以前の抽出結果と今回のスキャン画像の抽出結果で座標が離れている状態は抽出結果の妥当性が低いと考えられ、ユーザに確認を促す為である。

本実施例では、ＢＳ領域間の距離には左上頂点の座標間の距離を用いたが、例えばＢＳ領域の重心間の距離など、別の方法を用いても構わない。

以上、本実施系によれば、エンティティ抽出の結果が空でなかった場合でも、学習済帳票のエンティティ抽出結果と照らし合わせ、妥当性の低い抽出結果はユーザに確認を促す事ができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。その処理は、上述した実施例の機能を実現させるソフトウェア（プログラム）を、ネットワーク又はコンピュータ読取可能な記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ等）がプログラムを実行する、というものである。

Claims (10)

1. 処理対象の文書画像に対して文字認識処理を行うことにより文字認識結果を得る文字認識手段と、
   前記文字認識結果に基づいてエンティティ抽出を行うことにより、所定の項目に対応する文字列を抽出するエンティティ抽出手段と、
   前記エンティティ抽出手段により前記文書画像についての前記所定の項目に対応する文字列が抽出されなかった場合、以前に前記文書画像と同じフォーマットの文書において前記所定の項目に対応する文字列が抽出された領域の位置情報に基づいて、前記文書画像についての前記所定の項目に対応する文字列を取得する取得手段と、
   を備えることを特徴とする画像処理装置。
2. 前記文字認識手段は、前記処理対象の文書画像内の文字列領域に対して文字認識処理を行うことにより、前記文字認識結果を得ることを特徴とする請求項１に記載の画像処理装置。
3. 前記エンティティ抽出は、自然言語処理を含む、ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記処理対象の文書画像は、スキャンにより生成された文書画像またはファクシミリにより受信した文書画像の少なくともいずれかであることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記同じフォーマットの文書は、前記文書画像内の文字列領域の位置に基づいて判定されることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記取得手段により前記所定の項目に対応する文字列を取得した場合、当該文字列の確認をユーザに促すことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記エンティティ抽出手段により前記文書画像についての前記所定の項目に対応する文字列が抽出され、かつ、以前に前記文書画像と同じフォーマットの文書において前記所定の項目に対応する文字列が抽出されていなかった場合、当該エンティティ抽出手段により抽出された前記所定の項目に対応する文字列の確認をユーザに促すことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記エンティティ抽出手段により前記文書画像についての前記所定の項目に対応する文字列が抽出され、かつ、以前に前記文書画像と同じフォーマットの文書において前記所定の項目に対応する文字列が抽出され、かつ、それらの文字列が抽出された領域間の距離が所定の閾値以上離れている場合、当該エンティティ抽出手段により抽出された前記所定の項目に対応する文字列の確認をユーザに促すことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
10. 処理対象の文書画像に対して文字認識処理を行うことにより文字認識結果を得る文字認識ステップと、
    前記文字認識結果に基づいてエンティティ抽出を行うことにより、所定の項目に対応する文字列を抽出するエンティティ抽出ステップと、
    前記エンティティ抽出ステップで前記文書画像についての前記所定の項目に対応する文字列が抽出されなかった場合、以前に前記文書画像と同じフォーマットの文書において前記所定の項目に対応する文字列が抽出された領域の位置情報に基づいて、前記文書画像についての前記所定の項目に対応する文字列を取得する取得ステップと、
    を備えることを特徴とする画像処理方法。

Images