JP2021135868A - 改ざん検知システム及び改ざん検知方法 - Google Patents

Abstract

【課題】帳票に対して金額等の改ざん防止等のために行われる従来の文字認識システムでは、帳票内の単一箇所にのみ存在する金額等の文字列に対しては改ざんの有無を判定することはできなかった。また、改ざん検知処理の確認作業を行うユーザが理解しやすいように改ざん検知処理の結果が通知されていなかった。【解決手段】本発明の画像処理システムでは、スキャン画像に対して学習モデルを用いて改ざん検知処理を行い、改ざん判定結果をユーザが理解しやすいような形態で通知する。これにより、ユーザによるスキャン画像に対する改ざんの有無や内容に対する確認作業の効率を向上させることが可能な画像処理システムを提供できる。【選択図】図７

Description

本発明は、スキャン画像に対して改ざん検知処理を行う改ざん検知システム及び改ざん検知方法に関する。

一般に、企業などの組織においては、領収書、請求書、申込書、契約書等の帳票に記載された数字を元に金額を確定し、金銭のやり取りを行う帳票処理業務が存在する。帳票処理業務では、例えば、個人から組織に対して業務上必要な経費に関する領収書が提出された際、その領収書に記載された数字を元に金額を確定し、組織から個人に対して金銭を支払う。
このとき、仮に、領収書に記載された数字が、本来よりも大きい数値を示す数字に改ざんされていた場合、組織から個人に対して本来よりも多い金額の金銭が支払われることで、組織の不利益となる損失が発生してしまう。

ここで、金額に関わる数字の改ざんを検知することができれば、不正な金銭の支払いを未然に防ぐことができる。改ざんを検知する方法としては、組織において帳票処理業務を担当するユーザが目視確認によって発見する方法の他に、スキャン画像において改ざんが疑われる箇所を自動検知する改ざん検知処理を行い、その結果をユーザに表示する方法が知られている。更に、改ざん検知処理の結果に対するユーザによる確認作業の効率を高めるために、改ざん箇所を目視確認しやすく表示するだけでなく、改ざん内容の意味を理解しやすいように通知する方法も知られている。

特許文献１には、帳票に対して金額等の改ざん防止等のために行われる文字認識システムが開示されている。特許文献１では、帳票内の２つの欄に二重エントリされた金額等に対してＯＣＲ処理により文字列を取得し、これらの文字列が漢数字と算用数字で異なる場合であっても一方の文字種に合わせて変換することで、一致または不一致を判定するように構成されている。

特開２０１６−９５７５３号公報

しかしながら、特許文献１の文字認識システムでは、帳票内の複数の個所に二重エントリされた金額等の文字列に対してのみ適用可能であり、帳票内の単一箇所にのみ存在する金額等の文字列に対しては改ざんの有無を判定することはできない。また、特許文献１の文字認識システムでは、改ざん検知処理の確認作業を行うユーザが理解しやすいように改ざん検知処理の結果を通知することも行われていない。

本発明は、上記のような事情に鑑みてなされたものであり、改ざん検知処理の結果に対するユーザによる確認作業の効率を高めることが可能な改ざん検知システムを提供することを目的とする。

本発明の改ざん検知システムは、文字列が記入された原稿を読み取ることにより原稿画像を取得する取得手段と、前記原稿画像に含まれている前記文字列の画像のうち、改ざんされた部分があると判断した文字に関する第１の画像を抽出する抽出手段と、前記改ざんされた部分を補正することにより、前記第１の画像に対応する第２の画像を取得する取得手段と、前記第１の画像と前記第２の画像とについて文字認識処理を行う文字認識手段と、前記第１の画像についての文字認識処理の第１の結果と前記第２の画像についての文字認識処理の第２の結果とに基づいて、改ざんの検知結果を表示する表示手段と、を有することを特徴とする。

本発明によれば、ユーザによるスキャン画像に対する改ざんの有無や内容に対する確認作業の効率を高めることが可能である。

画像処理システムの構成を示す図である。 画像処理装置、学習装置、画像処理サーバの各ハードウェア構成を示すブロック図である。 改ざん検知処理の学習時と実行時の流れを示すシーケンスである。 スキャン画像データの送受信処理を示すフローチャートである。 学習データの生成処理を示すフローチャートである。 学習モデルの更新処理を示すフローチャートである。 改ざん判定結果の出力処理を示すフローチャートである（実施形態１）。 改ざん判定結果の出力処理を示すフローチャートである（実施形態２）。 学習データ記入帳票の例を示す図である。 スキャン画像データを送信する際の操作画面の例を示す図である。 原本画像、改ざん画像、学習データの各例を示す図である。 改ざん前後の画像と改ざん画素抽出画像の例を示す図である。 改ざん判定結果を表示する警告画面の一例を示す図である（実施形態１）。 改ざん判定結果を表示する警告画面の一例を示す図である（実施形態１）。 改ざん判定結果を表示する警告画面の一例を示す図である（実施形態２）。 改ざん判定結果を表示する警告画面の一例を示す図である（実施形態２）。 改ざん判定結果を表示する警告画面の一例を示す図である（実施形態２）。

以下に、図面を参照して、本発明を実施するための各実施形態について説明する。ただし、以下に説明する実施形態はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。また、以下の各実施形態で説明されている特徴の組み合わせのすべてが本発明の解決手段に必須のものとは限らない。

＜実施形態１＞
＜画像処理システム＞
図１は、本実施形態の画像処理システム１００の構成の一例を示した図である。
本実施形態において、画像処理システム１００は、後述する改ざん検知処理を実行する改ざん検知システムとして機能する。画像処理システム１００は、図１に示すように、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３の各装置を備える。各装置は、ネットワーク１０４を介して互いに接続される。

画像処理装置１０１は、プリント、スキャン、ファクス等の複数の機能を実現可能な複合機（ＭＦＰ：Multi Function Peripheral）等で実現される。
画像処理装置１０１は、画像取得部１１１において、例えば、ＰＣ（Personal Computer）等で実現される不図示の端末装置から、ＰＤＬ（Page Description Language）等で記述された帳票等の文書を受信する。そして、画像処理装置１０１は、受信した帳票に対して画像処理を実行し、帳票原稿を印刷出力する。

また、画像処理装置１０１は、改ざん検知処理のための学習シーケンスにおいて、手書きの文字が記入された帳票原稿の原本に対して、スキャン処理を実行し、スキャン画像データを生成する（以下、このようなスキャン画像データを「原本画像」という）。また、画像処理装置１０１は、手書きの文字が記入された帳票原稿に対して別の人物が異なるペンで改ざんを施した原稿を、再びスキャンして、スキャン画像データを生成する（以下、このようなスキャン画像データを「改ざん画像」という）。また、画像処理装置１０１は、取得された原本画像と改ざん画像を、ネットワーク１０４を介して、学習装置１０２に送信する。

また、画像処理装置１０１は、改ざん検知処理を実行する際に、手書きの文字が含まれる原稿に対して、スキャン処理を実行し、スキャン画像データを取得する（以下、このようなスキャン画像データを「処理対象画像」と呼ぶ）。また、画像処理装置１０１は、ここで取得された処理対象画像を、ネットワーク１０４を介して、画像処理サーバ１０３に送信する。

学習装置１０２は、画像蓄積部１２０を含む学習データ生成部１１２、学習部１１３を備える。
学習装置１０２における画像蓄積部１２０は、例えば、画像処理装置１０１から送信された改ざん画像と原本画像を受信して蓄積する。また、学習装置１０２における学習データ生成部１１２は、画像蓄積部１２０に蓄積された改ざん画像と原本画像を用いて、学習データを生成する。ここにおいて、学習データとは、改ざん検知機能を実現する学習モデルとしてのニューラルネットワークを学習するために用いられるデータである。

また、学習装置１０２における学習部１１３は、生成された学習データを用いて、ニューラルネットワークを学習することによって、学習結果としての学習モデル（ニューラルネットワークのパラメータ等）を生成する。なお、本実施形態で用いられる機械学習手法の一つであるニューラルネットワークとしては、例えば、多層ニューラルネットワークを用いたディープラーニングが挙げられる。
また、学習装置１０２は、生成された学習モデルを、ネットワーク１０４を介して、画像処理サーバ１０３に送信する。

画像処理サーバ１０３は、画像変換部１１４、文字認識部１１５、記憶部１１６を備える。
画像処理サーバ１０３における画像変換部１１４は、例えば、学習装置１０２から受信した学習モデルを用いて、画像処理装置１０１から受信した処理対象画像に対して、改ざん検知処理を実行し、処理対象画像において改ざんが疑われる画素を抽出する。また、画像変換部１１４は、改ざん検知処理で抽出された画素を取り除いき、改ざんがされる前の画像の候補（以下、このような画像を「改ざん前画像」と呼ぶ）を生成する。そして、改ざん前画像を、改ざん検知処理が行われた処理対象画像（以下、このような画像を「改ざん後画像」と呼ぶ）と対応付けて記憶する。

また、画像処理サーバ１０３における文字認識部１１５は、改ざん前画像、及び、改ざん後画像のそれぞれに対して、ＯＣＲ（Optical Character Recognitionを用いた文字認識処理を実行し、文字認識結果を生成する。
また、画像処理サーバ１０３における記憶部１１６は、改ざん前画像、改ざん後画像、及び、両者の画像に対する文字認識結果を記憶する。
また、画像処理サーバ１０３は、改ざん検知処理の結果として、改ざん判定結果を、表示したり、不図示の端末装置を操作するユーザに対して通知したりする。

＜各装置の構成＞
図２は、図１に示した画像処理システム１００を構成する画像処理装置１０１、学習装置１０２、画像処理サーバ１０３の各ハードウェア構成の一例を示したブロック図である。
図２（ａ）は、画像処理装置１０１のハードウェア構成を示すブロック図である。
図２（ａ）に示すように、画像処理装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０４、ストレージ２０８などのデバイスを備える。また、画像処理装置１０１は、プリンタデバイス２０５、スキャナデバイス２０６、原稿搬送デバイス２０７、ストレージ２０８、入力デバイス２０９、表示デバイス２１０、外部インタフェース２１１などのデバイスも備える。これらのデバイスは、データバス２０３を介して互いに接続される。

ＣＰＵ（Central Processing Unit）２０１は、画像処理装置１０１における動作全体を制御するための制御部である。ＣＰＵ２０１は、ＲＯＭ２０２に記憶されたブートプログラムを実行することで、画像処理装置１０１のシステムを起動する。また、ＣＰＵ２０１は、ストレージ２０８に記憶された制御プログラムを実行することで、画像処理装置１０１のプリント、スキャン、ファクス等の機能を実現する。
ＲＯＭ（Read Only Memory）２０２は、不揮発性メモリで実現されるものであって、画像処理装置１０１を起動するブートプログラムを格納するための記憶部である。
ＲＡＭ（Random Access Memory）２０４は、揮発性メモリで実現されるものであって、ＣＰＵ２０１が制御プログラムを実行する際のワークメモリとして使用される記憶部である。

プリンタデバイス２０５は、画像出力デバイスであって、画像処理装置１０１の内部の画像データを記憶媒体に印字して印刷出力するための処理部である。
スキャナデバイス２０６は、画像入力デバイスであって、文字、図表、写真等が印字された記録媒体を光学的に読み取って画像データを取得するための処理部である。
原稿搬送デバイス２０７は、ＡＤＦ（Auto Document Feeder）等で実現されるものであって、原稿台に載置された帳票等の原稿を検知し、検知した原稿を一枚ずつスキャナデバイス２０６に搬送するための処理部である。

ストレージ２０８は、ＨＤＤ（Hard Disk Drive）等で実現されるものであって、前述の制御プログラムや画像データを記憶するための記憶部である。
入力デバイス２０９は、タッチパネルやハードキー等で実現されるものであって、ユーザからの画像処理装置１０１に対する操作入力を受け付けるための処理部である。
表示デバイス２１０は、液晶ディスプレイ等で実現されるものであって、画像処理装置１０１の設定画面をユーザに対して表示出力するための表示部である。

外部インタフェース２１１は、画像処理装置１０１とネットワーク１０４との間を接続するものであって、不図示の端末装置からの電子文書データを受信したり、画像処理サーバ１０３に対して処理対象画像を送信したりするためのインタフェース部である。
データバス２０３は、画像処理装置１０１を構成する各デバイス間で相互にデータを送受信するための通信部である。

図２（ｂ）は、学習装置１０２のハードウェア構成を示すブロック図である。
図２（ｂ）に示すように、学習装置１０２は、ＣＰＵ２３１、ＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５、入力デバイス２３６、表示デバイス２３７、外部インタフェース２３８、ＧＰＵ２３９などのデバイスを備える。これらのデバイスは、データバス２３３を介して互いに接続される。

ＣＰＵ２３１は、学習装置１０２における動作全体を制御するための制御部である。ＣＰＵ２３１は、ＲＯＭ２３２に記憶されたブートプログラムを実行することで、学習装置１０２のシステムを起動する。また、ＣＰＵ２３１は、ストレージ２０８に記憶された学習プログラムを実行することで、改ざん検知を実現するためのニューラルネットワークを学習する。
ＲＯＭ２３２は、不揮発性メモリで実現されるものであって、学習装置１０２を起動するブートプログラムを格納するための記憶部である。
ＲＡＭ２３４は、揮発性メモリで実現されるものであって、ＣＰＵ２３１が学習プログラムを実行する際のワークメモリとして使用される記憶部である。
ＧＰＵ（Graphics Processing Unit）２３９は、画像処理プロセッサで構成された演算部である。ＧＰＵ２３９は、例えば、ＣＰＵ２３１からの指示に従い、与えられた学習データを用いて、学習モデルを構成するパラメータの値を更新するための演算を実行する。

ストレージ２３５は、ＨＤＤ等で実現されるものであって、前述の学習プログラムや学習データを記憶するための記憶部である。
入力デバイス２３６は、マウスやキーボード等で実現されるものであって、ユーザからの学習装置１０２に対する操作入力を受け付けるための処理部である。
表示デバイス２３７は、液晶ディスプレイ等で実現されるものであって、学習装置１０２の設定画面をユーザに対して表示出力するための表示部である。

外部インタフェース２３８は、学習装置１０２と、ネットワーク１０４との間を接続するものであって、画像処理装置１０１から原本画像と改ざん画像を受信したり、画像処理サーバ１０３に対して学習モデルを送信したりするためのインタフェース部である。
データバス２３３は、学習装置１０２を構成するデバイス間で相互にデータを送受信するための通信部である。

図２（ｃ）は、画像処理サーバ１０３のハードウェア構成を示すブロック図である。
図２（ｃ）に示すように、画像処理サーバ１０３は、ＣＰＵ２６１、ＲＯＭ２６２、ＲＡＭ２６４、ストレージ２６５、入力デバイス２６６、表示デバイス２６７、外部インタフェース２６８などのデバイスを備える。これらのデバイスは、データバス２６３を介して互いに接続される。
ＣＰＵ２６１は、画像処理サーバ１０３における動作全体を制御するための制御部である。ＣＰＵ２６１は、ＲＯＭ２６２に記憶されたブートプログラムを実行することで、画像処理サーバ１０３のシステムを起動する。また、ＣＰＵ２６１は、ストレージ２６５に記憶された画像処理プログラムを実行することで、改ざん検知やＯＣＲを用いた文字認識処理などの画像処理を実行する。
ＲＯＭ２６２は、不揮発性メモリで実現されるものであって、画像処理サーバ１０３を起動するブートプログラムを格納するための記憶部である。
ＲＡＭ２６４は、揮発性メモリで実現されるものであって、ＣＰＵ２６１が画像処理プログラムを実行する際のワークメモリとして使用される記憶部である。

ストレージ２６５は、ＨＤＤ（ハードディスクドライブ）等で実現されるものであって、前述の画像処理プログラムや学習モデル、改ざん判定結果を記憶するための記憶部である。
入力デバイス２６６は、マウスやキーボード等で実現されるものであって、ユーザからの画像処理サーバ１０３に対する操作入力を受け付けるための処理部である。
表示デバイス２６７は、液晶ディスプレイ等で実現されるものであって、画像処理サーバ１０３の操作画面をユーザに対して表示出力するための表示部である。

外部インタフェース２６８は、画像処理サーバ１０３と、ネットワーク１０４との間を接続するものであって、学習装置１０２から学習モデルを受信したり、画像処理装置１０１から処理対象画像を受信したりするためのインタフェース部である。また、外部インタフェース２６８は、不図示の端末装置を操作するユーザに対して、画像処理サーバ１０３に記憶した改ざん判定結果を通知又は表示するためのインタフェース部としても用いられる。
データバス２６３は、画像処理サーバ１０３を構成するデバイス間で相互にデータを送受信するための通信部である。

＜学習シーケンス＞
図３（ａ）は、画像処理システム１００において実行される、改ざん検知処理のための学習シーケンスを示す図である。ここでは、ユーザ（例えば、エンジニア）が、画像処理装置１０１を用いて取得したスキャン画像データを学習装置１０２に送信し、学習装置１０２が学習データを生成して学習モデルを更新するまでの流れを説明する。

まず、画像処理装置１０１は、手書きの文字が記入された原稿がユーザによって原稿搬送デバイス２０７に載置された状態で、入力デバイス２０９からスキャン実行の指示を受け付ける（Ｓ３０１）。

ここで、図９に、学習データを生成するために手書きの文字が記入された原稿として用いられる、学習データ記入帳票の一例を示す。図９に示すように、学習データ記入帳票９０１は、例えば、学習データを記入するための複数の記入枠９０２と、帳票を一意に識別するための帳票ＩＤを二次元コードで表現した埋め込み情報９０３を含む。

図１０（ａ）は、Ｓ３０１で入力デバイス２０９からスキャン実行を指示する際の操作画面１０００の一例である。図１０（ａ）に示すように、入力デバイス２０９に表示される操作画面１０００は、スキャンボタン１００１、送信ボタン１００２、プレビュー表示部１００３、送信先アドレス１００４、などから構成される。図１０（ａ）に示す操作画面１０００おいて、ユーザは、Ｓ３０１でスキャンボタン１００１を押下することで、Ｓ３０２のスキャン実行を指示できる。

次に、画像処理装置１０１は、Ｓ３０１でスキャン実行の指示がされた原稿に対して、スキャナデバイス２０６を用いてスキャン処理を実行し、スキャン画像データを生成する（Ｓ３０２）。

図１０（ａ）に示すように、Ｓ３０２で生成されたスキャン画像データは、プレビュー表示部１００３に表示される。ここで、Ｓ３０１〜Ｓ３０２で生成されるスキャン画像データには、図１１（ａ）に例示するような原本画像１１０１と、図１１（ｂ）に例示するような改ざん画像１１５１の２種類が存在する。
原本画像１１０１は、用意された原本原稿から生成されるものである。なお、原本原稿は、図９に示すような学習データ記入帳票９０１に対して、記入枠９０２に数字などから構成される手書きの文字列が記入されたものである。
また、改ざん画像１１５１は、用意された改ざん原稿から生成されるものである。なお、改ざん原稿は、原本原稿に対して、記入枠９０２に別の人物が異なるペンで手書きの文字列を記入して改ざんが施されたものである。

すなわち、画像処理装置１０１は、まず、帳票の原本に対してスキャン処理を実行して、図１１（ａ）に示すような原本画像１１０１を生成する。次に、画像処理装置１０１は、改ざんされた帳票に対してスキャン処理を実行して、図１１（ｂ）に示すような改ざん画像１１５１を生成する。
すなわち、Ｓ３０２では、同一の帳票原稿に対して、原本画像と改ざん画像とで二回に分けてスキャン処理が実行される。しかし、同一の帳票原稿に対しては、埋め込み情報１１０３と１１５３が同一であるため、画像蓄積部１２０において両者を対応付けて管理することができる。

次に、画像処理装置１０１は、Ｓ３０２で生成した原本画像１１０１と改ざん画像１１５１とからなるスキャン画像データを送信するためのユーザからの指示を受け付ける（Ｓ３０３）。
具体的には、図１０（ａ）に示す操作画面１０００において、ユーザは、プレビュー画面１００３と送信先アドレス１００４を確認の上、送信ボタン１００２を押下することにより、スキャン画像データの送信を指示できる。

次に、画像処理装置１０１は、Ｓ３０２で生成した原本画像１１０１と改ざん画像１１５１とからなるスキャン画像データを、学習装置１０２に対して送信する（Ｓ３０４）。
なお、Ｓ３０１〜Ｓ３０４に対応した、画像処理装置１０１におけるスキャン画像データの送信処理の詳細については、図４（ａ）を用いて後述する。

次に、学習装置１０２は、受信したスキャン画像データを、画像蓄積部１２０としてのストレージ２３５に蓄積する（Ｓ３０５）。
なお、Ｓ３０５に対応した、学習装置１０２におけるスキャン画像データの受信処理の詳細については、図４（ｂ）を用いて後述する。

次に、学習装置１０２は、Ｓ３０４で受信した原本画像１１０１と改ざん画像１１５１を用いて、図１１（ｃ）に例示するような、入力画像と教師ラベルで構成される学習データを生成する（Ｓ３０６）。
なお、Ｓ３０６に対応した、学習装置１０２における学習データの生成処理の詳細については、図５を用いて後述する。

次に、学習装置１０２は、Ｓ３０５で生成した学習データを用いて、学習モデルを更新する（Ｓ３０７）。
なお、Ｓ３０７に対応した、学習装置１０２における学習モデルの更新処理の詳細については、図６を用いて後述する。

＜実行シーケンス＞
図３（ｂ）は、画像処理システム１００において実行される改ざん検知処理の実行シーケンスを示す図である。ここでは、ユーザ（例えば、オペレータ）が画像処理装置１０１を用いて取得した処理対象画像を画像処理サーバ１０３に送信し、学習モデルを用いて改ざん検知処理を実行し、改ざん判定結果を通知するまでの流れを説明する。

まず、画像処理システム１００は、画像処理サーバ１０３の導入時に、学習装置１０２が生成した学習モデルを画像処理サーバ１０３に送信する。そして、画像処理サーバ１０３は、画像変換部１１４において学習モデルを用いた改ざん検知を実現できるように、学習モデルをロードする（Ｓ３５１）。

次に、画像処理装置１０１は、改ざん検知処理の対象とする帳票原稿が原稿搬送デバイス２０７に載置された状態で、入力デバイス２０９からスキャン実行の指示を受け付ける（Ｓ３５２）。

図１０（ｂ）は、Ｓ３５２で入力デバイス２０９からスキャン実行を指示する際の操作画面１０５０の一例である。図１０（ｂ）に示すように、入力デバイス２０９に表示される操作画面１０５０は、スキャンボタン１０５１、送信ボタン１０５２、プレビュー表示１０５３、送信先アドレス１０５４、などから構成される。図１０（ｂ）に示す操作画面１０５０において、ユーザは、Ｓ３５２でスキャンボタン１０５１を押下することで、Ｓ３５３のスキャン実行を指示できる。

次に、画像処理装置１０１は、Ｓ３５２で載置された帳票原稿に対して、スキャナデバイス２０６を用いてスキャン処理を実行し、改ざん検知処理の処理対象画像を生成する（Ｓ３５３）。
図１２（ａ）は、Ｓ３５３で生成される処理対象画像１２０１の一例である。図１２（ａ）に示すように、処理対象画像１２０１は、金銭のやり取りに関わる領収書、請求書、申込書、契約書等の帳票原稿から生成され、手書きの数字や文字を含む画像であって、改ざんされている可能性がある画像（以下、これを「改ざん後画像」ともいう）である。

次に、画像処理装置１０１は、Ｓ３５３で生成した処理対象画像を送信するためのユーザからの指示を受け付ける（Ｓ３５４）。
具体的には、図１０（ｂ）に示す操作画面１０５０において、ユーザは、プレビュー画面１０５３と送信先アドレス１０５４を確認の上、送信ボタン１０５２を押下することにより、処理対象画像の送信を指示できる。

次に、画像処理装置１０１は、Ｓ３５３で生成した処理対象画像を、画像処理サーバ１０３に対して送信する（Ｓ３５５）。
なお、Ｓ３５２〜Ｓ３５５に対応した、画像処理装置１０１におけるスキャン画像データの送信処理の詳細については、図４（ａ）を用いて後述する。

次に、画像処理サーバ１０３の画像変換部１１４は、Ｓ３５５で送信された処理対象画像を受信し、処理対象画像において改ざんされた箇所を特定するために、学習モデルを用いて改ざん検知処理を実行し、改ざんが疑われる画素を抽出する（Ｓ３５６）。

図１２（ｂ）は、図１２（ａ）に示した処理対象画像１２０１に対して、Ｓ３５６で抽出した改ざんが疑われる画素（以下、「改ざん画素」という）を抽出した改ざん画素抽出画像１２０２の一例である。図１２（ｂ）に示すように、改ざん画素抽出画像１２０２は、改ざん画素と、改ざん画素以外の画素とで、互いに異なる画素値を有するように出力したものである。

次に、画像処理サーバ１０３の画像変換部１１４は、Ｓ３５３で生成した処理対象画像（改ざん後画像）から、Ｓ３５６で抽出した改ざん画素を除去するなどの画像補正を行い、疑われる改ざんがされる前の画像の候補（改ざん前画像）生成する（Ｓ３５７）。

図１２（ｃ）は、Ｓ３５７で生成される改ざん前画像１２０３の一例である。図１２（ｃ）に示すように、改ざん前画像１２０３は、図１２（ａ）の処理対象画像（改ざん後画像）１２０１に対して、図１２（ｂ）の改ざん画素抽出画像１２０２で抽出された改ざん画素を取り除くように画像補正処理を行うことで生成できる。

次に、画像処理サーバ１０３の文字認識部１１５は、改ざん前画像、及び、改ざん後画像のそれぞれに対して、ＯＣＲを用いた文字認識処理を実行し、文字認識結果を生成する（Ｓ３５８）。
ここで、Ｓ３５７〜Ｓ３５８で生成された、改ざん前画像、改ざん後画像、及び、両者の画像に対する文字認識結果は、画像処理サーバ１０３における記憶部１１６に改ざん判定結果として記憶される。

次に、画像処理サーバ１０３は、不図示の端末装置を操作するユーザに対して、改ざん判定結果を通知する（Ｓ３５９）。
なお、Ｓ３５１、及び、Ｓ３５６〜Ｓ３５９に対応した、画像処理サーバ１０３における改ざん判定結果の出力処理の詳細については、図７を用いて後述する。また、Ｓ３５９に対応した、ユーザが操作する不図示の端末装置における改ざん判定結果の表示例については、図１３を用いて後述する。

＜スキャン画像データの送受信処理＞
図４（ａ）は、図３（ａ）のＳ３０１〜Ｓ３０４、及び、図３（ｂ）のＳ３５２〜Ｓ３５５に対応したものであって、画像処理装置１０１による、スキャン画像データの送信処理の流れを説明するためのフローチャートである。なお、図４（ａ）に示す各ステップは、画像処理装置１０１のＲＯＭ２０２、ＲＡＭ２０４、ストレージ２０８のいずれかに記憶されたプログラムを、ＣＰＵ２０１が実行することによって実現される。

まず、ＣＰＵ２０１は、入力デバイス２０９を介してユーザからスキャン指示の操作入力があったか否かを検知する（Ｓ４０１）。
ここで、ＣＰＵ２０１は、スキャン指示を受け付けたならば（Ｓ４０１でＹＥＳ）、Ｓ４０２に遷移し、スキャン指示を受け付けていなければ（Ｓ４０１でＮＯ）、Ｓ４０１を繰り返す。

次に、ＣＰＵ２０１は、手書きの文字が記入された原稿に対して、スキャン処理を実行し、スキャン画像データを生成する（Ｓ４０２）。

次に、ＣＰＵ２０１は、入力デバイス２０９を介してユーザから送信指示の操作入力があったか否かを検知する（Ｓ４０３）。
ここで、ＣＰＵ２０１は、送信指示を受け付けたならば（Ｓ４０３でＹＥＳ）、Ｓ４０４に遷移し、送信指示を受け付けていなければ（Ｓ４０３でＮＯ）、Ｓ４０５に遷移する。

次に、ＣＰＵ２０１は、Ｓ４０２で生成したスキャン画像データを、Ｓ４０１での指示に基づいて、学習装置１０２又は画像処理サーバ１０３のいずれかに対して送信する（Ｓ４０４）。
なお、Ｓ４０４で、学習装置１０２や画像処理サーバ１０３における送信先は、例えば、操作画面１０００における送信先アドレス１００４や、操作画面１０５０における送信先アドレス１０５４において設定することができる。

最後に、ＣＰＵ２０１は、次の原稿があるか否かを判断する（Ｓ４０５）。
ここで、ＣＰＵ２０１は、次の原稿があれば（Ｓ４０５でＹＥＳ）、Ｓ４０１に遷移して、Ｓ４０１〜Ｓ４０４を繰り返し、次の原稿がなければ（Ｓ４０５でＮＯ）、スキャン画像データの送信処理を終了する。

図４（ｂ）は、図３（ａ）のＳ３０５に対応したものであって、学習装置１０２による、スキャン画像データの受信処理の流れを説明するためのフローチャートである。なお、図４（ｂ）に示す各ステップは、学習装置１０２のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５のいずれかに記憶され、学習装置１０２のＣＰＵ２３１、ＧＰＵ２３９のいずれかによって実行される。

まず、ＣＰＵ２３１は、外部インタフェース２３８を介して画像処理装置１０１からスキャン画像データとして改ざん画像を受信したか否かを判断する（Ｓ４５１）。
ここで、ＣＰＵ２３１は、改ざん画像を受信したならば（Ｓ４５１でＹＥＳ）、Ｓ４５２に遷移し、改ざん画像を受信していなければ（Ｓ４５１でＮＯ）、Ｓ４５３に遷移する。

次に、ＣＰＵ２３１は、Ｓ４５１で受信した改ざん画像を画像蓄積部１２０としてのストレージ２３５に蓄積する（Ｓ４５２）。

次に、ＣＰＵ２３１は、外部インタフェース２３８を介して画像処理装置１０１からスキャン画像データとして原本画像を受信したか否かを判断する（Ｓ４５３）。
ここで、ＣＰＵ２３１は、原本画像を受信したならば（Ｓ４５３でＹＥＳ）、Ｓ４５４に遷移し、原本画像を受信していなければ（Ｓ４５３でＮＯ）、Ｓ４５５に遷移する。

次に、ＣＰＵ２３１は、Ｓ４５３で受信した原本画像を画像蓄積部１２０としてのストレージ２３５に蓄積する（Ｓ４５４）。

最後に、ＣＰＵ２３１は、次のスキャン画像データがあるか否かを判断する（Ｓ４５５）。
ここで、ＣＰＵ２３１は、次のスキャン画像データとしての改ざん画像又は原本画像があれば、Ｓ４５１に遷移し、次のスキャン画像データとしての改ざん画像又は原本画像がなければ、スキャン画像データの受信処理を終了する。

＜学習データの生成処理＞
図５は、図３（ａ）のＳ３０６に対応したものであって、学習装置１０２による、学習データの生成処理の流れを説明するためのフローチャートである。なお、図５に示す各ステップは、学習装置１０２のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５のいずれかに記憶され記憶されたプログラムを、学習装置１０２のＣＰＵ２３１、ＧＰＵ２３９のいずれかが実行することによって、実現される。

まず、ＣＰＵ２３１は、画像蓄積部１２０としてのストレージ２３５から、原本画像を選択する（Ｓ５０１）。
ここで、図４のＳ４５４が繰り返し実行されることにより、ストレージ２３５には複数の原本画像が記憶されているため、ＣＰＵ２３１はこの中からいずれか一つを選択して読み出す。

次に、ＣＰＵ２３１は、Ｓ５０１で取得した原本画像の埋め込み情報９０３に含まれる帳票ＩＤを参照し、ストレージ２３５から、同一の帳票ＩＤを持つ改ざん画像を検索する（Ｓ５０２）。
ここで、帳票ＩＤは、図９を用いて前述したとおり、学習データ記入帳票毎に異なるため、同一の帳票ＩＤを持つ原本画像と改ざん画像とは、同一の学習データ記入帳票に基づく原本画像と改ざん画像であることを意味する。

次に、ＣＰＵ２３１は、原本画像と同一の帳票ＩＤを持つ改ざん画像を見つけられたか否かを判断する（Ｓ５０３）。
ここで、ＣＰＵ２３１は、改ざん画像を見つけられたならば（Ｓ５０３でＹＥＳ）、Ｓ５０４に遷移し、改ざん画像を見つけられなかったならば（Ｓ５０３でＮＯ）、Ｓ５０８に遷移する。なお、ここにおいて、改ざん画像が見つからない場合は、例えば、原本画像がスキャンされたものの、原本画像に対して改ざんが施されずに、結果として対応する改ざん画像が得られなかった場合などに発生する。

次に、ＣＰＵ２３１は、原本画像と改ざん画像のそれぞれから、予め登録された領域情報を用いて、記入枠９０２の位置を切り出した画像（以下、この画像を「記入枠画像」という）を取得する（Ｓ５０４）。
ここで、領域情報は、例えば、図９で示した学習データ記入帳票９０１の記入枠９０２の位置及び大きさ情報を予め登録しておくことで、取得することができる。このように取得した領域情報を用いて、学習データ記入帳票９０１に含まれる全ての記入枠９０２に対する記入枠画像を取得することで、原本画像の記入枠画像と、改ざん画像の記入枠画像をそれぞれ取得する。

次に、ＣＰＵ２３１は、それぞれの記入枠について、原本画像の記入枠画像と、改ざん画像の記入枠画像の位置合わせ処理を実行する（Ｓ５０５）。
ここで、仮に、位置合わせ処理を実行しなかった場合、後述する改ざん画素の差分抽出処理において、改ざん画素以外の位置ずれによる差分画素がノイズ成分として混入してしまい、良質な学習データが得られない問題がある。そこで、Ｓ５０５の位置合わせ処理を実行することで、この問題を解消し、スキャナデバイス２０６と原稿の位置関係のずれによるノイズ成分が画像差分として混入しないように制御することができる。
なお、位置合わせ処理は、例えば、二つの画像に含まれる各画素の画素値（輝度）に対する差の絶対値の総和（輝度差総和）を基準にして適用することができる。具体的には、例えば、改ざん画像の記入枠画像に対して、対応する原本画像の記入枠画像を上下左右に一画素ずつシフトしながら輝度差総和が最も小さくなるシフト量を探索し、このシフト量を位置合わせ処理結果として一時記憶する。

次に、ＣＰＵ２３１は、記入枠９０２のそれぞれについて、改ざん画像の記入枠画像と、Ｓ５０５で算出したシフト量を用いてシフトさせた原本画像の記入枠画像との差分画像を生成する（Ｓ５０６）。
なお、本実施形態において、差分画像は、例えば、二つの画像に対する画素値の差分を算出し、差分が０とならなかった画素だけを残すように合成した画像を生成すればよい。このように差分画像を生成することで、差分画像として、改ざんされた部分だけが白画素となる白黒画像が生成される。

次に、ＣＰＵ２３１は、各記入枠について、Ｓ５０６で生成した差分画像を、Ｓ５０４で取得した改ざん画像の記入枠画像に対する改ざん画素の正解ラベル画像として対応付ける。そして、これを学習データとして、画像蓄積部１２０としてのストレージ２３５に蓄積する（Ｓ５０７）。

一方、Ｓ５０３で改ざん画像が見つからなかった場合には、ＣＰＵ２３１は、原本画像から事前に得られている領域情報を用いて、記入枠９０２の位置を切り出した画像を取得する（Ｓ５０８）。同様に、学習データ記入帳票９０１に含まれる全ての記入枠９０２に対して記入枠画像を取得することで、原本画像について複数の記入枠画像を取得する。

次に、ＣＰＵ２３１は、各記入枠について、全面黒画素の画像を、Ｓ５０４で取得した原本画像の記入枠画像に対する改ざん画素の正解ラベル画像として対応付けて、これを学習データとして画像蓄積部１２０としてのストレージ２３５に蓄積する（Ｓ５０９）。
ここで、差分画像のうち全面黒画素の画像を正解ラベル画像として用いることで、対応する原本画像の記入枠画像に対して改ざん画素が存在しないことを意味する学習データを生成できる。

次に、ＣＰＵ２３１は、追加の学習データとして利用可能な次の原本画像と改ざん画像のスキャン画像データがストレージ２３５に存在するか否かを判断する（Ｓ５１０）。
ここで、ＣＰＵ２３１は、次のスキャン画像データが存在するならば（Ｓ５１０でＹＥＳ）、Ｓ５０１に遷移して、Ｓ５０１〜Ｓ５０９を繰り返し、次のスキャン画像データが存在しないならば（５１０でＮＯ）、学習データ生成処理を終了する。

＜学習モデルの更新処理＞
図６は、図３（ａ）のＳ３０７に対応したものであって、学習装置１０２による、学習モデルの更新処理の流れを説明するためのフローチャートである。なお、図６に示す各ステップは、学習装置１０２のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５のいずれかに記憶され記憶されたプログラムを、学習装置１０２のＣＰＵ２３１、ＧＰＵ２３９のいずれかが実行することによって、実現される。

まず、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、学習モデルとして用いるニューラルネットワークを準備し、当該ニューラルネットワークを構成する重みパラメータの値を初期化する（Ｓ６０１）。
具体的には、ＣＰＵ２３１は、ニューラルネットワークを構成する重みパラメータをランダムな値に設定したり、事前に学習済みの値をロードして再設定したりする。ここにおいて、使用するニューラルネットワークの構造は、入力される画像に対して画素ごとの出力を結果として生成可能な構造を持つものである。ニューラルネットワークとして、例えば、公知技術であるＦＣＮ（Fully Convolutional Network）などを用いることができる。

次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、Ｓ５０７及びＳ５０９で生成した学習データを取得する（Ｓ６０２）。

次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、Ｓ６０１で準備したニューラルネットワークと、Ｓ６０２で取得した学習データを用いて、ニューラルネットワークの出力誤差を算出する処理を実行する（Ｓ６０３）。
すなわち、ＣＰＵ２３１は、原本画像の記入枠画像又は改ざん画像の記入枠画像を入力画像としてニューラルネットワークに入力した際の出力画像と、当該入力画像に対応付けされた正解ラベル画像との出力誤差を算出する。ここで、入力画像と出力画像は同一の画像サイズである。
また、改ざん判定結果として、改ざんされていると判定された画素は、改ざんであることを示す画素値を持つ画素として出力される。一方、改ざんされていないと判定された画素は、改ざんでないことを示す画素値を持つ画素として出力される。なお、出力画像と正解ラベル画像との差を評価するための指標としては、例えば、交差エントロピーなどを用いることができる。

次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、一般に、誤差逆伝搬法（バックプロパゲーション）と呼ばれる、ニューラルネットワークの重みパラメータの値を更新する演算処理を実行する（Ｓ６０４）。

次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、所定の学習データ数を用いて、Ｓ６０２〜Ｓ６０４の演算処理を所定の学習回数だけ実行したか否かを判断する（Ｓ６０５）。
ここで、ＣＰＵ２３１は、所定の学習データ数を用いた所定の学習回数が終了したならば（Ｓ６０５でＹＥＳ）、Ｓ６０６に遷移し、終了していなければ（Ｓ６０５でＮＯ）、Ｓ６０２〜Ｓ６０４の演算処理を繰り返す。

次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、学習済みのニューラルネットワークを構成する重みパラメータの値を学習モデル（「学習済みモデル」ともいう）として画像蓄積部１２０としてのストレージ２３５に保存する（Ｓ６０６）。

＜改ざん判定結果の出力処理＞
図７は、図３（ｂ）のＳ３５１、及び、Ｓ３５６〜Ｓ３５９に対応したものであって、画像処理サーバ１０３による改ざん判定結果の出力処理の流れを説明するためのフローチャートである。なお、図７に示す各ステップは、画像処理サーバ１０３のＲＯＭ２６２、ＲＡＭ２６４、ストレージ２６５のいずれかに記憶され記憶されたプログラムを、画像処理サーバ１０３のＣＰＵ２６１が実行することによって、実現される。

まず、ＣＰＵ２６１は、画像処理サーバ１０３の導入時に、Ｓ３５１で学習装置１０２から送信された学習モデルを、画像変換部１１４で利用できるように取得する（Ｓ７０１）。

次に、ＣＰＵ２６１は、Ｓ３５５で画像処理装置１０１から送信された処理対象画像を、画像変換部１１４に対して入力できるように取得する（Ｓ７０２）。

次に、ＣＰＵ２６１は、Ｓ７０２で取得した処理対象画像に対して、Ｓ７０１で取得した学習モデルを用いて、画像変換部１１４による改ざん画素抽出処理を実行する（Ｓ７０３）。

次に、ＣＰＵ２６１は、Ｓ７０３での改ざん画素抽出処理において、改ざん画素が抽出されたか否か（すなわち、改ざんされた部分を含むかどうか）を判断する（Ｓ７０４）。
ここで、ＣＰＵ２６１は、改ざん画素が存在するならば（Ｓ７０４でＹＥＳ）、Ｓ７０５に遷移し、改ざん画素が存在しないならば（Ｓ７０４でＮＯ）、Ｓ７０８に遷移する。

次に、ＣＰＵ２６１は、Ｓ７０４で改ざん画素が存在すると判断された処理対象画像（改ざん後画像）に対して、改ざん画素マスク処理として、Ｓ７０３で抽出された改ざん画素を用いて、改ざん画素を補正した画像（改ざん前画像）を生成する（Ｓ７０５）。
具体的には、ＣＰＵ２６１は、図１２（ａ）に示すような処理対象画像１２０１に対して、図１２（ｂ）に示すような改ざん画素抽出画像１２０２を用いて改ざん画素マスク処理を行う。これにより、図１２（ｃ）に示すような改ざん前画像１２０３を生成する。なお、スキャナで読み取った原稿画像全体に対して、改ざん画素の画像補正処理を行うことにより、図１２（ｃ）のような改ざん前画像を生成しているが、これに限るものではない。例えば、改ざん画素が検出された文字を含む領域についてのみ画像補正処理を行って、当該文字を含む領域についての改ざん前画像を生成するようにしてもよい。

次に、ＣＰＵ２６１は、Ｓ７０５で生成した改ざん前画像、及び、改ざん後画像のそれぞれの文字領域（改ざん画素が検出された文字領域）に対して、文字認識処理（ＯＣＲ処理）を実行し、文字認識結果の文字列を取得する（Ｓ７０６）。

次に、ＣＰＵ２６１は、ユーザに警告するために、Ｓ７０６で取得した改ざん前画像と改ざん後画像のそれぞれの画像に対して文字認識結果として取得した文字列を用いて、改ざんの検知結果として、改ざん判定結果を出力する。そして、改ざん判定結果をユーザに通知する警告画面を生成し、表示デバイス２６７に表示する（Ｓ７０７）。

図１３に、Ｓ７０７で表示される警告画面の具体例を示す。図１３Ａ（１）は、Ｓ７０５で生成した改ざん前画像、及び、改ざん後画像のそれぞれについて、画像解析結果とともに、これらの文字認識結果を表示した警告画面の一例である。

図１３Ａ（１）の警告画面の例では、帳票である入院手術証明書Ａについて、入院日数の項目に対応する記入枠において改ざん画素が抽出されたことに加えて、改ざんの内容として「１６」から「４６」に改ざんされた可能性が高いことが示されている。これに対して、入院手術証明書Ｂでは、入院日数の項目に対応する記入枠において改ざん画素が抽出されたものの、改ざん前後でいずれの文字認識結果も「６３」であって、変化がないことから、改ざんの可能性が低いことが示されている。

また、図１３Ａ（２）の警告画面の例では、変形例として、改ざんの内容をユーザに通知する警告メッセージを表示する例を示したものである。具体的には、定型の帳票について、入院日数や金額に関わる数字などを含む、改ざんされる可能性の高い項目として予め登録された項目に対して、項目名、単位、文字認識結果の文字列などを組み合わせて、警告メッセージを表示する。例えば、改ざんされた項目名が「入院日数」、単位が「日」、改ざん前後画像の文字認識結果が「１」と「４」であれば、図１３Ａ（２）に示すように、「入院日数が１日から４日に改ざんされた可能性があります」等の警告メッセージを生成して表示する。

また、図１３Ｂ（１）の警告画面は、更なる変形例として、図１３Ａ（２）と同様の警告メッセージを吹き出し表示により表示した例である。

また、図１３Ｂ（２）の警告画面は、更なる変形例として、改ざん前画像と改ざん後画像の文字認識結果の数字が示す数値から算出された別の数値を用いて、警告メッセージを表示した例である。ここでは、改ざん前画像と改ざん後画像の文字認識結果が「１」と「４」であった場合に、両者の差分である「３」を用いて、「入院日数が３日だけ改ざんされた可能性があります」という警告メッセージが表示される例を示している。
なお、図１３の各例では、警告画面を画像処理サーバ１０３の表示デバイス２６７に表示する方式を示したが、警告画面の出力形態はこの方式に限られるものではない。例えば、「入院手術証明書Ｃで、改ざん検知されました。入院日数が１日から４日に改ざんされた可能性があります。」等の警告メッセージを、ユーザが操作する不図示の端末装置に対してメールやチャットにより自動送信する方式などであってもよい。

次に、ＣＰＵ２６１は、次の処理対象画像があるか否かを判断する（Ｓ７０８）。
ここで、ＣＰＵ２６１は、次の処理対象画像があるならば（Ｓ７０８でＹＥＳ）、Ｓ７０２に遷移して、Ｓ７０２〜Ｓ７０７を繰り返し、次の処理対象画像がないならば（Ｓ７０８でＮＯ）、改ざん判定結果の出力処理を終了する。

以上のように、実施形態１によれば、スキャン画像に対して改ざん検知処理を行う画像処理システムにおいて、学習モデルを用いて改ざん検知処理を行い、改ざん判定結果をユーザが理解しやすいような形態で通知する。これにより、ユーザによるスキャン画像に対する改ざんの有無や内容に対する確認作業の効率を向上させることが可能な画像処理システムを提供できる。

＜第２の実施形態＞
第１の実施形態では、警告画面において、すべての項目に対して、改ざん判定結果として改ざん前画像と改ざん後画像を順不同に表示するように構成した。
これに対して、第２の実施形態では、原稿画像内に改ざんされた部分が複数ある場合、予め定められた所定の条件に決定された優先順位に基づいて、項目ごとにソートをした改ざん判定結果を警告画面に表示するように構成する。

＜改ざん判定結果の出力処理＞
図８は、第1の実施形態における図７に対応するものであって、画像処理サーバ１０３による改ざん判定結果の出力処理の流れを説明するためのフローチャートである。なお、図８に示す各ステップは、画像処理サーバ１０３のＲＯＭ２６２、ＲＡＭ２６４、ストレージ２６５のいずれかに記憶され記憶されたプログラムを、画像処理サーバ１０３のＣＰＵ２６１が実行することによって、実現される。なお、図８のＳ８０１〜Ｓ８０８は、図７のＳ７０１〜Ｓ７０８と同様の処理であるため、説明を省略し、Ｓ８０８及びＳ８０９のみ説明する。

ＣＰＵ２６１は、Ｓ８０７で出力した改ざん判定結果を用いて警告画面し、表示デバイス２６７に表示する（Ｓ８０８）。
図１４に、Ｓ８０８で表示される警告画面の具体例を示す。図１４Ａは、「金額」、「入院日数」、「日付」等の複数の項目に対して優先順位が設定されている場合に、各項目を優先順位に応じてソートした警告画面の例である。

すなわち、図１４Ａの例では、改ざん検知処理において金銭のやり取りに関わる「金額」や「入院日数」等の項目については、警告画面において優先順位を上げて表示するようにソートする。一方で、金銭のやり取りに関わる可能性が低い「日付」等の項目に対しても、優先順位を下げて警告画面において表示するようにする。これによって、金銭のやり取りに関わる項目のような、改ざんされるリスクの高い項目を優先的に表示するとともに、改ざんされるリスクの高い項目についても表示することができる。

また、図１４Ｂは、警告画面の変形例として、文字認識結果の文字確信度を算出可能な場合に、文字確信度を用いて、警告画面において表示する項目の優先順位をソートする例である。
すなわち、図１４Ｂの例では、改ざん判定結果として、改ざん前画像と改ざん後画像に対するＯＣＲを用いた文字認識結果の確からしさの指標となる文字確信度を併せて出力し、文字確信度が高い順に、優先順位を上げて表示するようにソートする。これによって、ＯＣＲを用いた文字認識結果として、改ざん前画像と改ざん後画像のいずれの文字認識結果も文字確信度が高いと判定された項目を優先的に表示することができる。
なお、図１４Ｂでは、文字確信度を確からしさの指標とする例を示したが、文字確信度の代わりに、例えば、改ざん検知画素数を確からしさの指標として用いてもよい。すなわち、改ざん検知画素数が多ければ、改ざん判定結果も確からしい可能性が高く、改ざん検知画素数が少なければ、改ざん判定結果は確からしい可能性が低いと考えられるため、改ざん検知画素数が多いものを優先的に表示してもよい。

また、図１４Ｃは、警告画面の変形例として、改ざん前画像と改ざん後画像のそれぞれの数字に対する文字認識結果の数値から算出される数値差分を用いて、優先順位をソートする例を示したものである。すなわち、入院手術証明書Ａ、Ｂ、Ｃについての入院日数の数値差分が、それぞれ、「＋５０」、「＋３０」、「±０」であった場合、この数値差分を降順にソートして、数値差分が大きいものほど優先順位を上げて表示するようにソートする。これによって、数値差分が大きく、改ざんによって生じる損失額が大きい項目から優先的に表示することができる。

次に、ＣＰＵ２６１は、Ｓ８０８で警告画面において表示した改ざん判定結果に対する、ユーザからの表示条件の変更指示を受け付ける（Ｓ８０９）。
表示条件の変更指示を受け付けたならば、ＣＰＵ２６１は、指示に基づいて警告画面を改めて生成し、表示デバイス２６７に表示する。
ここで、表示条件の変更指示を受け付ける方法は、画像処理サーバ１０３の入力デバイス２６６を介した操作入力でもよいし、ユーザが操作する不図示の端末装置の画面表示上の操作入力でもよい。

なお、図１４に示した各例では、それぞれ単一の条件に基づいてソートすることによって、優先順位の高い項目から順番に表示する例を示したが、複数条件の組合せによってソートしてもよい。
また、図１４に示した例では、すべての項目について改ざん判定結果を表示する例を示したが、ソートした上で、優先順位の低い項目については非表示としてもよい。例えば、文字確信度が０．５以下である項目については改ざん判定結果を非表示としてもよい。また、例えば、１文字あたりの改ざん検知画素数が２０画素以下である項目については改ざん判定結果を非表示としてもよい。また、例えば、数値差分が±０である項目については改ざん判定結果を非表示としてもよい。

以上のように、実施形態２によれば、スキャン画像に対して改ざん検知処理を行う画像処理システムにおいて、金銭のやり取りに関する項目のような改ざんの有無を確認する必要性の高い項目については、優先順位を上げて改ざん判定結果をユーザに通知する。これにより、ユーザによるスキャン画像に対する改ざんの有無や内容に対する確認作業の効率を更に向上させることが可能な画像処理システムを提供できる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。すなわち、上述した構成例及びその変形例を組み合わせた構成もすべて本発明に含まれるものである。

１０１ 画像処理装置
１０２ 学習装置
１０３ 画像処理サーバ

Claims (11)

1. 文字列が記入された原稿を読み取ることにより原稿画像を取得する取得手段と、
   前記原稿画像に含まれている前記文字列の画像のうち、改ざんされた部分があると判断した文字に関する第１の画像を抽出する抽出手段と、
   前記改ざんされた部分を補正することにより、前記第１の画像に対応する第２の画像を取得する取得手段と、
   前記第１の画像と前記第２の画像とについて文字認識処理を行う文字認識手段と、
   前記第１の画像についての文字認識処理の第１の結果と前記第２の画像についての文字認識処理の第２の結果とに基づいて、改ざんの検知結果を表示する表示手段と、
   を有することを特徴とする改ざん検知システム。
2. 前記表示手段は、前記第１の画像と、前記第２の画像と、前記改ざんの検知結果とを表示する、ことを特徴とする請求項１に記載の改ざん検知システム。
3. 前記表示手段により表示される前記改ざんの検知結果は、前記第１の結果と前記第２の結果とを含む、ことを特徴とする請求項１または２に記載の改ざん検知システム。
4. 前記表示手段により表示される前記改ざんの検知結果は、前記第１の結果と前記第２の結果とに基づいて生成されるメッセージを含む、ことを特徴とする請求項１乃至３のいずれか１項に記載の改ざん検知システム。
5. 前記表示手段は、前記原稿画像内に改ざんされた部分が複数あると判断した場合、予め定められた条件により決定される優先順位に基づいて、前記改ざんの検知結果を表示することを特徴とする請求項１乃至４のいずれか１項に記載の改ざん検知システム。
6. 前記文字列は、数字および文字の少なくともいずれかで構成されることを特徴とする請求項１乃至５のいずれか１項に記載の改ざん検知システム。
7. 前記改ざんされた部分は、学習モデルを用いることによって前記原稿画像から検出されることを特徴とする請求項１乃至６のいずれか１項に記載の改ざん検知システム。
8. 前記学習モデルは、ニューラルネットワークにより構成されることを特徴とする請求項７に記載の改ざん検知システム。
9. 改ざんされていない原稿の画像と改ざんされた原稿の画像とを用いて学習することにより、前記学習モデルを生成する生成手段、を更に有することを特徴とする請求項７または８に記載の改ざん検知システム。
10. コンピュータを、請求項１乃至９のいずれか１項に記載の改ざん検知システムの各手段として機能させるためのプログラム。
11. 原稿画像に含まれている文字列の画像のうち、改ざんされた部分があると判断した文字に関する第１の画像を抽出する抽出工程と、
    前記改ざんされた部分を補正することにより、前記第１の画像に対応する第２の画像を取得する取得工程と、
    前記第１の画像と前記第２の画像とについて文字認識処理を行う文字認識工程と、
    前記第１の画像についての文字認識処理の第１の結果と前記第２の画像についての文字認識処理の第２の結果とに基づいて、改ざんの検知結果を表示する表示工程と、
    を有することを特徴とする改ざん検知方法。

Images