JP5277750B2 - 画像処理プログラム、画像処理装置及び画像処理システム - Google Patents

Description

本発明は、画像処理プログラム、画像処理装置及び画像処理システムに関する。

従来、修正前後の画像データを比較して、正確に修正が行われたかの検版作業を補助するデジタル検版装置が知られている（例えば、特許文献１参照。）。

このデジタル検版装置は、修正前のビットマップ形式の画像データを保存する保存手段と、修正後のビットマップ形式の画像データと、保存手段により保存された修正前のビットマップ形式とをビット単位で比較することにより、その差異点を検出するデータ比較手段と、データ比較手段により検出された差異点を表示する表示手段とを備える。
特開平７−２１９２０２号公報

本発明の目的は、文字の挿入や削除等の編集により画像データにおける文字の位置がずれた場合でも、編集対象外の文字を差異として検出することがない画像処理プログラム、画像処理装置及び画像処理システムを提供することにある。

本発明の一態様は、上記目的を達成するため、以下の画像処理プログラム、画像処理装置及び画像処理システムを提供する。

［１］基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力ステップと、前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択ステップと、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を前記第１及び第２の単位画像要素列に含まれる単位画像要素について単位画像要素毎に特徴情報を抽出することにより行う判断ステップと、前記第２の単位画像要素列の中から前記第１の単位画像要素列に対して差異のある単位画像要素を前記判断の結果に基づいて検出する検出ステップとをコンピュータに実行させるための画像処理プログラム。

［２］前記判断ステップは、前記複数の第１の単位画像要素列と前記第２の単位画像要素列との間の複数の評価情報を前記特徴情報を用いてそれぞれ算出し、その算出した複数の評価情報を代表する代表評価情報と閾値情報とを比較することにより前記判断を行う前記［１］に記載の画像処理プログラム。

［３］前記判断ステップは、前記第１及び第２の単位画像要素列内で同じ位置同士の単位画像要素の前記特徴情報を比較することにより前記判断を行う前記［１］に記載の画像処理プログラム。

［４］前記判断ステップは、前記第１及び第２の単位画像要素列に含まれる単位画像要素間の関連性をそれぞれ示す第１及び第２の関連性情報を前記特徴情報を用いて算出し、その算出した前記第１及び第２の関連性情報を比較することにより前記判断を行う前記［１］に記載の画像処理プログラム。

［５］基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力手段と、前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択手段と、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を前記第１及び第２の単位画像要素列に含まれる単位画像要素について単位画像要素毎に特徴情報を抽出することにより行う判断手段と、前記第２の単位画像要素列の中から前記第１の単位画像要素列に対して差異のある単位画像要素を前記判断の結果に基づいて検出する検出手段とを備えた画像処理装置。

［６］基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力手段と、前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択手段と、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を前記第１及び第２の単位画像要素列に含まれる単位画像要素について単位画像要素毎に特徴情報を抽出することにより行う判断手段と、前記第２の単位画像要素列の中から前記第１の単位画像要素列に対して差異のある単位画像要素を前記判断の結果に基づいて検出する検出手段と、前記検出手段により検出された前記単位画像要素を、前記第２の画像データに含まれる他の単位画像要素と比較が可能な状態で出力する出力手段とを備えた画像処理システム。

請求項１、５、６に係る発明によれば、文字の挿入や削除等の編集により画像データにおける文字の位置がずれた場合でも、編集対象外の文字を差異として検出することがない。

請求項２、３、４に係る発明によれば、特徴情報の比較によって差異があるか否か判断することができ、画像データに対してＯＣＲ（光学文字認識）処理を行う場合に比べて、より簡便に差異を検出することができる。

本発明の実施の形態に係る画像処理プログラムは、基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力ステップと、前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択ステップと、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を行う判断ステップと、前記判断ステップにおいて前記第２の画像データに存在しないと判断された前記第２の単位画像要素列を、前記第２の画像データのうち前記第１の画像データに対して前記形状の並びに同一性を有していない単位画像要素として検出する検出ステップとをコンピュータに実行させるためのプログラムである。

ここで、「単位画像要素」は、画像データにおいて所定の領域を占める画像であり、例えば、文字像を含むものである。単位画像要素が占める領域の形状は、矩形、円形、楕円及びその他多角形等でもよいし、これらに限られない。なお、第１及び第２の実施の形態は、単位画像要素の形状を外接矩形としてものである。また、単位画像要素は、同一のサイズを有する領域でもよいし、単位画像要素毎にサイズが異なる領域でもよい。また、単位画像要素は、文字像自体を示すものでもよい。

「画像データ」は、単位画像要素と、その単位画像要素の形状に関する情報が取得可能なデータであればよく、例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧ、ＪＰＥＧ、ＧＩＦ等のラスタ形式のデータでもよいし、ページ記述言語（ＰＤＬ）等で記述されたベクタ形式のデータでもよいし、独自の形式でもよい。なお、画像データは、文字の他に、例えば、図表、写真等を含んでいてもよい。また、画像データは、原稿を光学的に走査して生成された画像データでもよい。

「文字」は、画像データに文字像として含まれており、点や線等の組み合わせで構成されている。文字は、ある言語において所定の意味・内容を示す、例えば、数字、漢字等の表意文字でもよいし、仮名・アルファベット等の表音文字でもよい。文字には、絵文字、装飾記号、製図記号、電気回路記号、地図記号及び天気記号等も含まれる。また、文字は、活字でもよいし、手書きでもよい。

「形状の並びに同一性を有する」とは、比較される第１及び第２の単位画像要素列が、その形状、外観等の並びにおいて完全に同一の場合だけでなく、相似形や類似性の高い場合を含む。また、単位画像要素列に含まれるパターンが同一又は類似する場合も含む。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像処理装置の構成例を示す概略図である。この画像処理装置１は、オリジナル画像２及びターゲット画像３の２つの画像データを入力する画像入力部１０と、それら２つの画像データからオリジナル文章及びターゲット文章をそれぞれ取得する文章取得部１１と、オリジナル文章に対してターゲット文章を比較して差異のある文字を取得する差異取得部１２と、差異取得部１２により取得された差異のある文字を出力する出力手段としての差異出力部１３と、文章取得部１１によりオリジナル画像２及びターゲット画像３から取得される特徴量をそれぞれ記憶する第１及び第２の記憶部１４Ａ，１４Ｂとから構成されている。

オリジナル画像２は、基準となるオリジナル文章を含む画像データである。ターゲット画像３は、そのオリジナル文章との比較の対象となるターゲット文章を含む画像データである。

オリジナル文章及びターゲット文章は、複数の文字列からなる。文字列は、複数の文字からなる。オリジナル文章及びターゲット文章は、その一方が活字による文章、他方が手書きによる文章でもよく、両方が活字又は手書きによる文章でもよい。また、文章は、活字と手書きからなる文章でもよい。

ここで、「差異のある文字」とは、オリジナル文章とターゲット文章との間で形状の並びに同一性を有していない文字であり、例えば、修正、挿入、削除等によって変更された文字である。

（画像入力部）
画像入力部１０は、ユーザにより指定された画像データとして、オリジナル画像２及びターゲット画像３を入力する。なお、画像入力部１０は、例えば、スキャナ、デジタルカメラ、複合機等の画像読取装置に接続し、画像データを入力してもよい。また、画像入力部１０は、光ディスク、半導体メモリ等の外部記録メディアから画像データを取り込んでもよい。

（文章取得部）
文章取得部１１は、画像入力部１０を介して入力されたオリジナル画像２及びターゲット画像３の２つの画像データに対して一連の画像処理を行い、オリジナル文章及びターゲット文章を取得する。

すなわち、文章取得部１１は、２つの画像データにおいて文字像が含まれる外接矩形を抽出する外接矩形抽出部１１０と、抽出された外接矩形に対して外接矩形特徴量を算出する外接矩形特徴量算出部１１１と、複数の外接矩形からなる文字列候補を抽出する文字列候補抽出部１１２と、抽出された文字列候補に対して画像認識処理により文字列特徴量を算出する文字列特徴量算出部１１３と、抽出された文字列特徴量から文字列候補が文字列であるか否かを判定する文字列判定部１１４と、文字列と判定された文字列候補を連結することによりオリジナル文章及びターゲット文章を算出する文章算出部１１５とを備える。

ここで、「画像認識処理」とは、ＯＣＲ処理に比べて処理量が少ない処理であり、例えば、文字列候補を構成する外接矩形毎に、その外接矩形に含まれる文字像に関する特徴情報を取得する処理である。具体的には、画像認識処理は、ノイズ除去等の前処理を行ってから、外接矩形に含まれる画素の平均輝度、文字像の面積や幅、及びエッジ（文字像の輪郭）方向の分布や曲率等を特徴情報として取得する。

外接矩形特徴量は、例えば、画像認識処理により取得される特徴情報や、画像データにおける外接矩形の位置及びサイズ等の情報である。また、文字列特徴量は、文字列候補を構成する各外接矩形の特徴情報や、画像データにおける文字列候補が配置された領域の位置、サイズ、色及び向き（縦書き、横書き）等の情報である。

（差異取得部）
差異取得部１２は、距離算出部１２０、距離判断部１２１及び差異検出部１２２を備える。

距離算出部１２０は、オリジナル文章の異なる位置から複数の第１の文字列を選択し、その選択した複数の第１の文字列との間で形状の並びに同一性を有する第２の文字列が、ターゲット文章に存在するか否かを判断するための判断基準値（代表評価情報）を算出する。

本実施の形態では、距離算出部１２０は、第１の文字列及び第２の文字列をそれぞれ構成する外接矩形の外接矩形特徴量を用いて、文字空間上の距離を算出することにより、判断基準値を算出する。ここで、文字空間上の距離（以下、「距離」という）とは、文字同士を比較したときに、それらの文字の形状の並びに同一性があるか否かを示す指標であり、同一の文字と判定される場合には相対的に小さな値となる。なお、距離算出部１２０は、ユークリッド距離、シティブロック距離等の各種の距離算出方法を用いることができる。

距離判断部１２１は、距離算出部１２０により算出された判断基準値に基づいて第２の文字列がターゲット文章に存在するか否かを判断し、その判断結果を差異検出部１２２に送る。

差異検出部１２２は、距離判断部１２１の判断結果に基づいて、ターゲット文章のうちオリジナル文章に対して形状の並びに同一性を有していない文字を差異のある文字として検出する。

（差異出力部）
差異出力部１３は、例えば、液晶ディスプレイ等により構成され、差異取得部１２により取得された差異のある文字を、ターゲット文章と比較が可能な状態で画面上に表示出力する。なお、差異出力部１３は、表示出力する他に、例えば、プリンタによる印刷出力、記憶装置への書き込み等により出力するようにしてもよい。

（第１及び第２の記憶部）
第１及び第２の記憶部１４Ａ，１４Ｂは、例えば、ＲＯＭ，ＲＡＭ，ハードディスク等により構成されている。

第１の記憶部１４Ａは、オリジナル画像２から外接矩形特徴量算出部１１１により算出された外接矩形特徴量１４０Ａと、文字列特徴量算出部１１３により算出された文字列特徴量１４１Ａとを記憶する。また、第２の記憶部１４Ｂは、ターゲット画像３から同様にして算出された外接矩形特徴量１４０Ｂと、文字列特徴量１４１Ｂとを記憶する。なお、第１及び第２の記憶部１４Ａ，１４Ｂは、１つの記憶部であってもよい。

このような画像処理装置１は、例えば、パーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＤＡ）、携帯電話機等により構成することができる。

なお、差異取得部１２の各部は、画像処理装置１に設けられたＣＰＵ等を備えた制御部（図示せず）が、例えば、記憶部に記憶された画像処理プログラムに従って動作することにより機能する。また、文章取得部１１の各部は、同様に、制御部が文章取得プログラムに従って動作することにより機能する。なお、画像処理プログラムと文章取得プログラムは、１つのプログラムであってもよい。

（第１の実施の形態の動作）
次に、本実施の形態に係る画像処理装置１の動作の一例を図２〜図７を用いて説明する。

（１）画像データの入力
まず、ユーザは、オリジナル画像２及びターゲット画像３を指定して、それら２つの画像データを画像入力部１０に入力すると、画像入力部１０は、指定されたオリジナル画像２及びターゲット画像３を外接矩形抽出部１１０に送る。

図２（ａ）は、オリジナル画像の一例を示す図である。オリジナル画像２は、例えば、任意の文字列であるタイトル部１００、図表や写真等の図形部１０１、オリジナル文章が含まれるオリジナル文章部１０２等から構成されている。オリジナル文章部１０２は、複数の行に配置された複数の文字からなる。なお、オリジナル画像２は、図形部１０１及びオリジナル文章部１０２を複数含んでいてもよい。

図２（ｂ）は、ターゲット画像の一例を示す図である。ターゲット画像３は、図２（ａ）に例示するオリジナル画像２のオリジナル文章部１０２が部分的に変更された画像データである。すなわち、ターゲット画像３は、オリジナル画像２と同様のタイトル部１００及び図形部１０１の他に、オリジナル文章に対してユーザにより部分的に変更されたターゲット文章が含まれるターゲット文章部１０３等から構成されている。

（２）文章の取得
文章取得部１１の外接矩形抽出部１１０は、入力された２つの画像データに対して画像処理をそれぞれ行って、オリジナル文章部１０２及びターゲット文章部１０３において文字と認識される領域を含む複数の外接矩形を抽出する。

図３（ａ）は、外接矩形抽出部１１０により抽出された外接矩形の一例を示す図である。外接矩形抽出部１１０は、オリジナル文章部１０２内のオリジナル文章を構成する各文字に対して外接矩形１０４を抽出する。なお、外接矩形抽出部１１０は、ターゲット文章部１０３においても同様に外接矩形１０４を抽出する。

次に、外接矩形特徴量算出部１１１は、２つの画像データから抽出された外接矩形１０４の各々に対して外接矩形特徴量１４０Ａ,１４０Ｂを算出する。外接矩形特徴量算出部１１１は、その算出した外接矩形特徴量１４０Ａ,１４０Ｂを算出元の外接矩形１０４と関連付けて、２つの画像データにそれぞれ対応する第１及び第２の記憶部１４Ａ，１４Ｂに記憶する。なお、この段階では外接矩形特徴量の特徴情報は算出されていない。

次に、文字列候補抽出部１１２は、外接矩形抽出部１１０により抽出された複数の外接矩形１０４を連結することにより、複数の外接矩形１０４からなる文字列候補を抽出する。例えば、文字列候補抽出部１１２は、２つの外接矩形１０４を取り出して、それら外接矩形１０４の間隔を外接矩形特徴量から算出し、その間隔が所定値以下の場合には、それら２つの外接矩形１０４を連結して１つの文字列候補を抽出する。そして、文字列候補抽出部１１２は、その文字列候補との間隔が所定値以下の他の外接矩形１０４がある場合には、その外接矩形１０４をさらにその文字列候補に連結する。

図３（ｂ）は、文字列候補抽出部１１２により抽出された文字列候補の一例を示す図である。文字列候補抽出部１１２は、オリジナル文章部１０２を構成する各行毎に複数の外接矩形１０４を連結し、複数の文字列候補１０５を抽出する。なお、文字列候補抽出部１１２は、ターゲット画像３においても同様に文字列候補１０５を抽出する。

次に、文字列特徴量算出部１１３は、文字列候補抽出部１１２により抽出された文字列候補１０５の各々に対して、画像認識処理を行って文字列特徴量１４１Ａ，１４１Ｂを算出する。そして、文字列特徴量算出部１１３は、その算出した文字列特徴量を算出元の文字列候補１０５と関連付けて、２つの画像データにそれぞれ対応する第１及び第２の記憶部１４Ａ，１４Ｂに記憶する。

次に、文字列特徴量算出部１１３は、その算出した文字列特徴量１４１Ａ，１４１Ｂを外接矩形１０４毎に分解し、その分解して得られた各特徴情報を、各外接矩形１０４と関連付けて、外接矩形特徴量１４０Ａ，１４０Ｂの特徴情報として第１及び第２の記憶部１４Ａ，１４Ｂに記憶する。

そして、文字列判定部１１４は、文字列特徴量算出部１１３により抽出された文字列特徴量から、文字列候補１０５に文字列が含まれているか否かを判定する。

次に、文章算出部１１５は、文字列が含まれていると判定された文字列候補１０５同士を連結して、オリジナル文章及びターゲット文章を算出する。文章算出部１１５は、例えば、文字列特徴量における文字列候補が配置された領域の位置、サイズ、色及び向き等を用いて文字列候補を連結するか否かを判断し、オリジナル文章及びターゲット文章を算出する。そして、文章算出部１１５は、算出したオリジナル文章及びターゲット文章を差異取得部１２に送る。

図３（ｃ）は、文章算出部１１５により算出されたオリジナル文章の一例を示す図である。文章算出部１１５は、各行毎の文字列候補１０５を連結することにより、オリジナル文章１０６を算出する。なお、文章算出部１１５は、ターゲット画像３においても同様にターゲット文章を算出する。

（３）差異のある文字の取得
差異取得部１２の距離算出部１２０は、文章算出部１１５により算出されたオリジナル文章及びターゲット文章を受け取ると、それらを構成する各外接矩形１０４の外接矩形特徴量１４０Ａ，１４０Ｂを第１及び第２の記憶部１４Ａ，１４Ｂから読み出す。

そして、距離算出部１２０は、外接矩形単位で順次処理を行うべく、その外接矩形特徴量１４０Ａ，１４０Ｂを、オリジナル線形リストＲｏ（ｉ）（ただし、ｉ＝１，２，…，Ｍ、Ｍはオリジナル文章の文字数）、及びターゲット線形リストＲｔ（ｊ）（ただし、ｊ＝１，２，…，Ｎ、Ｎはターゲット文章の文字数）の各要素にそれぞれ格納する。

次に、距離算出部１２０は、ターゲット文章を構成する各外接矩形の判断基準値Ｓ_ｊ（ｊ＝１，２，…，Ｎ）を、図６のフローチャートに従って算出する。

まず、距離算出部１２０は、ターゲット線形リストＲｔ（ｊ）において注目する１つの要素を示す第１の注目外接矩形を順次選択するためのターゲットカウンタｊを「１」に初期化する（Ｓ１）。

次に、距離算出部１２０は、同様に、オリジナル線形リストＲｏ（ｉ）において注目する１つの要素を示す第２の注目外接矩形を順次選択するためのオリジナルカウンタｉを「１」に初期化する（Ｓ１０）。

次に、距離算出部１２０は、オリジナルカウンタｉにより選択した第１の注目外接矩形及びその前後ｋ個の外接矩形と、ターゲットカウンタｊにより選択した第２の注目外接矩形及びその前後ｋ個の外接矩形との外接矩形間距離Ｄ_ｉｊを外接矩形特徴量１４０Ａ，１４０Ｂを用いて算出する（Ｓ１１）。この算出方法は、以下の計算式により表すことができる。

図４は、外接矩形間距離の算出方法の一例を説明する図である。図４では、第１及び第２の注目外接矩形１０７Ａ，１０７Ｂは、文字「こ」の外接矩形であり、距離算出文字数ｋは「２」であるものとする。また、第１の注目外接矩形１０７Ａとその前後２個の外接矩形１０４とを第１の外接矩形列（第１の単位画像要素列）１０８Ａとし、第２の注目外接矩形１０７Ｂとその前後２個の外接矩形１０４を第２の外接矩形列（第２の単位画像要素列）１０８Ｂとする。

このとき、距離算出部１２０は、第１の外接矩形列１０８Ａと、第２の外接矩形列１０８Ｂとの距離を、外接矩形の外接矩形特徴量１４０Ａ，１４０Ｂを用いて算出する。すなわち、距離算出部１２０は、Ｒｏ（ｉ−２）とＲｔ（ｊ−２）、Ｒｏ（ｉ−１）とＲｔ（ｊ−１）、Ｒｏ（ｉ）とＲｔ（ｊ）、Ｒｏ（ｉ＋１）とＲｔ（ｊ＋１）、Ｒｏ（ｉ＋２）とＲｔ（ｊ＋２）の計５組の外接矩形特徴量から距離をそれぞれ算出し、それら５つの距離の総和として、外接矩形間距離２００を算出する。

次に、距離算出部１２０は、第１及び第２の外接矩形列１０８Ａ，１０８Ｂに含まれる外接矩形間の関連性をそれぞれ示す第１及び第２の関連性情報を算出する。そして、距離算出部１２０は、それら第１及び第２の関連性情報を比較することにより、外接矩形関連性間距離Ｅ_ｉｊを算出する（Ｓ１２）。この算出方法は、以下の計算式により表すことができる。

図５は、外接矩形関連性間距離の算出方法の一例を説明する図である。図５における注目外接矩形、及び距離算出文字数ｋは、図４と同様である。

このとき、距離算出部１２０は、第１の外接矩形列１０８Ａにおいて、第１の注目外接矩形１０７Ａと、その前後２個の外接矩形との間の各距離を外接矩形特徴量を用いて算出する。すなわち、距離算出部１２０は、Ｒｏ（ｉ−２）とＲｏ（ｉ）、Ｒｏ（ｉ−１）とＲｏ（ｉ）、Ｒｏ（ｉ＋１）とＲｏ（ｉ）、Ｒｏ（ｉ＋２）とＲｏ（ｉ）の計４組の外接矩形の特徴量から距離をそれぞれ算出し、それら４つの距離の総和として、第１の関連性情報を算出する。なお、その他の外接矩形の組み合わせ、例えば、Ｒｏ（ｉ−２）とＲｏ（ｉ＋２）による距離を第１の関連性情報に加算してもよい。

次に、距離算出部１２０は、第２の外接矩形列１０８Ｂにおいても同様に、第２の注目外接矩形１０７Ｂと、その前後２個の外接矩形との間の各距離を外接矩形特徴量を用いて算出し、それら４つの距離の総和として、第２の関連性情報を算出する。そして、距離算出部１２０は、それら第１及び第２の関連性情報の差を演算し、外接矩形関連性間距離２０１を算出する。

そして、距離算出部１２０は、オリジナルカウンタｉをインクリメントし（Ｓ２２）、オリジナル線形リストＲｏ（ｉ）における第１の注目外接矩形１０７Ａを１つ分シフトする。その結果、オリジナルカウンタｉがオリジナル文章の文字数Ｍを超えていない場合には（Ｓ２３：Ｎｏ）、上記ステップＳ２０に戻る。

一方、オリジナルカウンタｉがオリジナル文章の文字数Ｍを超えている場合には（Ｓ２３：Ｙｅｓ）、距離算出部１２０は、上記で算出した外接矩形間距離Ｄ_ｉｊと、外接矩形関連性間距離Ｅ_ｉｊとを加算した評価値（評価情報）が最小となるターゲットカウントｊを検索する。そして、距離算出部１２０は、その検索した最小値としての判断基準値Ｓ_ｊを算出する（Ｓ３０）。この算出方法は、以下の計算式により表すことができる。

そして、距離算出部１２０は、ターゲットカウンタｊをインクリメントし（Ｓ３１）、ターゲット線形リストＲｔ（ｊ）における第２の注目外接矩形１０７Ｂを１つ分シフトする。その結果、ターゲットカウンタｊがターゲット文章の文字数Ｎを超えていない場合には（Ｓ３２：Ｎｏ）、上記ステップＳ１０に戻り、超えている場合には（Ｓ３２：Ｙｅｓ）、処理を終了する。

上記のようにして、距離算出部１２０は、ターゲット文章を構成する外接矩形毎に、判断基準値Ｓ_ｊを算出する。そして、距離判断部１２１は、その外接矩形毎に算出された判断基準値Ｓ_ｊと、所定の閾値（閾値情報）とをそれぞれ比較し、各判断基準値が所定の閾値を越えているか否かを判断し、その判断結果を差異検出部１２２に送る。

次に、差異検出部１２２は、距離判断部１２１から判断結果を受け取り、判断基準値が所定の閾値を越えていると判断されたときは、その判断基準値に対応する外接矩形に含まれる文字を差異のある文字として検出する。

（４）差異出力画面の表示
差異出力部１３は、差異検出部１２２により検出された差異のある文字を差異出力画面に表示する。

図７は、差異出力画面の一例を示す図である。この差異出力画面１５には、ターゲット画像３を表示するターゲット画像表示領域１５０が設けられている。ターゲット画像表示領域１５０には、差異のある文字として検出された外接矩形が、例えば、枠線１５１Ａ，１５１Ｂで囲まれた状態で表示される。

第１の枠線１５１Ａは、オリジナル文章に対して文字「さ」が挿入されたことを表示する。また、第２の枠線１５１Ｂは、オリジナル文章において文字「ちて」の間に存在した文字「つ」が削除されたことを表示する。なお、枠線１５１Ａ，１５１Ｂの枠外の部分を、例えば、ぼかし処理を施した状態で表示するようにしてもよい。また、差異出力画面１５には、拡大、縮小、移動等のターゲット画像表示領域１５０を操作する機能が付加されていてもよいし、ターゲット画像表示領域１５０を印刷する機能が設けられていてもよい。

そして、ユーザは、この差異出力画面１５を目視確認して、オリジナル画像２に対する変更箇所、すなわち、第１及び第２の枠線１５１Ａ，１５１Ｂ内の文字を確認し、意図した通りに変更が行われているか、意図しない変更が含まれていないか等を検査する。

以上のようにして、文字列同士を比較することで文字の並びが加味された状態で差異のある文字だけが検出され、差異出力画面１５に表示される。

［第２の実施の形態］
図８は、本発明の第２の実施の形態に係る画像処理システムの概略構成の一例を示す全体図である。第１の実施の形態では、画像処理装置１が、オリジナル画像２及びターゲット画像３の入力機能、入力された２つの画像データに対する差異検出機能、及び検出された差異のある文字を表示する表示出力機能の３つの機能を備えていた。これに対し、本実施の形態に係る画像処理システム３００は、差異検出機能を備えた画像処理装置１と、入力機能及び表示出力機能を備えた端末装置４と、画像処理装置１及び端末装置４を相互に接続するネットワーク５とから構成されている。なお、ネットワーク５は、ＬＡＮ（ローカルエリアネットワーク）、インターネット等の通信網である。

端末装置４は、入力されたオリジナル画像２及びターゲット画像３を、ネットワーク５を介して画像処理装置１に送信し、その返信として画像処理装置１から画面情報を受信する。そして、端末装置４は、その画面情報に基づいて、図７に例示する差異出力画面を表示する。このような端末装置４は、例えば、コンピュータ、携帯情報端末（ＰＤＡ）、携帯電話機等により構成することができる。

画像処理装置１は、端末装置４からネットワーク５を介してオリジナル画像２及びターゲット画像３を受信する画像入力部と、差異取得部により取得された差異のある文字を表示するための画面情報を作成し、その画面情報を端末装置４に送信する差異出力部とを備える。なお、文章取得部、差異取得部及び第１及び第２の記憶部は、第１の実施の形態と同様に構成されている。

以上のようにして、画像処理装置１は、異なる場所に設置された端末装置４にネットワーク５を介して差異検出機能を提供する。

［第３の実施の形態］
第１の実施の形態では、オリジナル画像２及びターゲット画像３の２つの画像データを画像処理装置１に入力したが、本実施の形態では、２つのテキストデータを画像処理装置１に入力するものである。

ここで、「テキストデータ」は、文字列と、各文字の位置、フォント、フォントサイズ等が指定されたデータであり、例えば、ワープロソフト、プレゼンテーションソフト等のアプリケーションにより作成されるデータである。従って、テキストデータには、文章がデータとして記録されており、画像データのように画像認識処理を行って文章データを取得する必要がないデータである。

本実施の形態に係る画像処理装置１について、図１を参照して第１の実施の形態と異なる構成を以下に説明する。

画像処理装置１の画像入力部１０は、２つのテキストデータとして、オリジナルテキスト及びターゲットテキストを入力する。それらオリジナルテキスト及びターゲットテキストは、オリジナル文章及びターゲット文章が取得可能なデータであるため、文章取得部１１を介することなく、差異取得部１２に送られる。

差異取得部１２は、オリジナルテキスト及びターゲットテキストからオリジナル文章及びターゲット文章を取得し、第１の実施の形態と同様の処理を行って差異のある文字を取得する。

なお、画像入力部１０は、１つの画像データと１つのテキストデータを入力してもよい。その場合には、画像データは、文章取得部１１に送られ、テキストデータは、差異取得部１２に送られる。差異取得部１２は、文章取得部１１により画像データから取得された文章データと、テキストデータに含まれる文章データとを比較して、差異のある文字を取得する。

［他の実施の形態］
なお、本発明は、上記各実施の形態に限定されず、本発明の趣旨を逸脱しない範囲内で種々に変形してもよい。例えば、上記各実施の形態では、画像処理装置が有する各部を、制御部と画像処理プログラムとによって実現したが、それらの一部または全部をハードウェアによって実現してもよい。

また、上記各実施の形態で使用されるプログラムは、ＣＤ−ＲＯＭ等の記録媒体から装置内の記憶部に読み込んでもよく、インターネット等のネットワークに接続されているサーバ等から装置内の記憶部にダウンロードしてもよい。

また、上記各実施の形態では、オリジナル文章及びターゲット文章は、日本語で作成されたものを対象としたが、同一の言語であれば、他の言語で作成されていてもよい。

また、上記各実施の形態では、文字の形状の同一性を判断する際に画像認識処理により取得された特徴情報を用いたが、比較対象の文字を含む切り出し画像の差画像を取って、その差画像において差異があるとされる画素の総和と閾値との比較に基づいて、形状の同一性を判断してもよい。

図１は、本発明の第１の実施の形態に係る画像処理装置の概略構成の一例を示す全体図である。 図２（ａ）は、オリジナル画像の一例を示し、図２（ｂ）は、ターゲット画像の一例を示す図である。 図３（ａ）は、外接矩形抽出部により抽出された外接矩形の一例を示し、図３（ｂ）は、文字列候補抽出部により抽出された文字列候補の一例を示し、図３（ｃ）は、文章算出部により算出されたオリジナル文章の一例を示す図である。 図４は、外接矩形間距離の算出方法の一例を説明する図である。 図５は、外接矩形関連性間距離の算出方法の一例を説明する図である。 図６は、判断基準値を算出する動作の一例を示すフローチャートである。 図７は、差異出力画面の一例を示す図である。 図８は、本発明の第２の実施の形態に係る画像処理システムの概略構成の一例を示す全体図である。

符号の説明

１…画像処理装置、２…オリジナル画像、３…ターゲット画像、４…端末装置、５…ネットワーク、１０…画像入力部１０…文章取得部、１２…差異取得部、１３…差異出力部、１４Ａ，１４Ｂ…記憶部、１５…差異出力画面、１００…タイトル部、１０１…図形部、１０２…オリジナル文章部、１０３…ターゲット文章部、１０４…外接矩形、１０５…文字列候補、１０６…オリジナル文章、１０７Ａ，１０７Ｂ…注目外接矩形、１０８Ａ…外接矩形列、１０８Ｂ…外接矩形列、１１０…外接矩形抽出部、１１１…外接矩形特徴量算出部、１１２…文字列候補抽出部、１１３…文字列特徴量算出部、１１４…文字列判定部、１１５…文章算出部、１２０…距離算出部、１２１…距離判断部、１２２…差異検出部、１４０Ａ，１４０Ｂ…外接矩形特徴量、１４１Ａ，１４１Ｂ…文字列特徴量、１５０…ターゲット画像表示領域、１５１Ａ，１５１Ｂ…枠線、２００…接矩形間距離、２０１…外接矩形関連性間距離、３００…画像処理システム

Claims (6)

1. 基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力ステップと、
   前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択ステップと、
   前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を前記第１及び第２の単位画像要素列に含まれる単位画像要素について単位画像要素毎に特徴情報を抽出することにより行う判断ステップと、
   前記第２の単位画像要素列の中から前記第１の単位画像要素列に対して差異のある単位画像要素を前記判断の結果に基づいて検出する検出ステップとをコンピュータに実行させるための画像処理プログラム。
2. 前記判断ステップは、前記複数の第１の単位画像要素列と前記第２の単位画像要素列との間の複数の評価情報を前記特徴情報を用いてそれぞれ算出し、その算出した複数の評価情報を代表する代表評価情報と閾値情報とを比較することにより前記判断を行う請求項１に記載の画像処理プログラム。
3. 前記判断ステップは、前記第１及び第２の単位画像要素列内で同じ位置同士の単位画像要素の前記特徴情報を比較することにより前記判断を行う請求項１に記載の画像処理プログラム。
4. 前記判断ステップは、前記第１及び第２の単位画像要素列に含まれる単位画像要素間の関連性をそれぞれ示す第１及び第２の関連性情報を前記特徴情報を用いて算出し、その算出した前記第１及び第２の関連性情報を比較することにより前記判断を行う請求項１に記載の画像処理プログラム。
5. 基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力手段と、
   前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択手段と、
   前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を前記第１及び第２の単位画像要素列に含まれる単位画像要素について単位画像要素毎に特徴情報を抽出することにより行う判断手段と、
   前記第２の単位画像要素列の中から前記第１の単位画像要素列に対して差異のある単位画像要素を前記判断の結果に基づいて検出する検出手段とを備えた画像処理装置。
6. 基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力手段と、
   前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択手段と、
   前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を前記第１及び第２の単位画像要素列に含まれる単位画像要素について単位画像要素毎に特徴情報を抽出することにより行う判断手段と、
   前記第２の単位画像要素列の中から前記第１の単位画像要素列に対して差異のある単位画像要素を前記判断の結果に基づいて検出する検出手段と、
   前記検出手段により検出された前記単位画像要素を、前記第２の画像データに含まれる他の単位画像要素と比較が可能な状態で出力する出力手段とを備えた画像処理システム。

Images