JP5962419B2 - 画像処理装置及び画像処理プログラム - Google Patents
画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP5962419B2 JP5962419B2 JP2012227964A JP2012227964A JP5962419B2 JP 5962419 B2 JP5962419 B2 JP 5962419B2 JP 2012227964 A JP2012227964 A JP 2012227964A JP 2012227964 A JP2012227964 A JP 2012227964A JP 5962419 B2 JP5962419 B2 JP 5962419B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- image
- module
- character recognition
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
- G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Character Discrimination (AREA)
Description
請求項1の発明は、第1の画像を文字認識し、該第1の画像と関連する第2の画像を文字認識する文字認識手段と、前記第1の画像に対する前記文字認識手段による第1の文字認識結果と前記第2の画像に対する前記文字認識手段による第2の文字認識結果を比較し、2つの文字認識結果間で一致する文字を抽出し、該一致する文字の間にある該第1の文字認識結果又は該第2の文字認識結果である文字を、該第1の画像から削除された文字、該第1の画像には無いが該第2の画像にはある挿入された文字、該第1の画像内の文字を置換した文字のいずれであるかを判定する判定手段と、前記判定手段による判定結果を出力する出力手段を具備することを特徴とする画像処理装置である。
<第1の実施の形態>
図1は、第1の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判定し、Aであると判定した場合はBをする」の意味で用いる。ただし、Aであるか否かの判定が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
ステップS202では、文字認識モジュール110が、画像(旧)100Aに対して文字認識を行う。
ステップS204では、文字認識モジュール110が、画像(新)100Bに対して文字認識を行う。
ステップS206では、文字列比較モジュール120が、新旧の文字認識結果を文字列比較する。
ステップS208では、結果出力モジュール190が、文字列比較結果を出力する。
画像(旧)100Aの文字認識結果の一部である「ABCDEG」と画像(新)100Bの文字認識結果の一部である「BcDEFG」を比較する例を示す。「B」と「D」の対応関係から「C」と「c」が対応することが分かる。つまり、一致文字である認識文字B:302と認識文字B:351の組、認識文字D:304と認識文字D:353の組に挟まれている文字である認識文字C:303(認識文字B:302と認識文字D:304に挟まれている)、認識文字c:352(認識文字B:351と認識文字D:353に挟まれている)は対応しており、この認識文字C:303と認識文字c:352は置換文字である。なお、置換文字の関係には、1文字対1文字の関係の他に、N文字対M文字の関係(N、Mは1以上の整数)であってもよい。例えば、1文字が2文字に置換される場合も、同様に置換文字の関係になる。
また、認識文字A:301は、画像(旧)100Aの文字認識結果にはあって、画像(新)100Bの文字認識結果には無いので、削除文字である。認識文字F:355は、画像(旧)100Aの文字認識結果には無くて、画像(新)100Bの文字認識結果にはあるので、挿入文字である。
文字認識モジュール110は、画像(旧)400Aに対して文字認識処理410Aを行い、文字認識結果420Aを文字列比較モジュール120に渡す。文字認識モジュール110は、画像(新)400Bに対して文字認識処理410Bを行い、文字認識結果420Bを文字列比較モジュール120に渡す。文字認識処理410A、410Bの処理は、いずれが先に行ってもよいし、平行して行われてもよい。
そして、文字列比較モジュール120は、文字認識結果420Aと文字認識結果420Bに対して文字列比較処理430を行い、比較結果テーブル490を結果出力モジュール190に渡す。
比較結果テーブル490は、文字列比較結果欄492、文書(旧)欄494A、文書(新)欄494Bを有している。文書(旧)欄494Aは、No.欄496A、文字欄498Aを有している。文書(新)欄494Bは、No.欄496B、文字欄498Bを有している。「A」(文書(旧)欄494A内のNo.3の文字)は、削除文字である。「2」(文書(旧)欄494A内のNo.7の文字)と「0」(文書(新)欄494B内のNo.6の文字)は置換文字である。「と」(文書(新)欄494B内のNo.16の文字)は挿入文字である。「、」(文書(新)欄494B内のNo.18の文字)は挿入文字である。
図5は、第2−1の実施の形態の構成例についての概念的なモジュール構成図である。なお、前述の実施の形態と同種の部位には同一符号を付し重複した説明を省略する(以下、同様)。第2の実施の形態は、第1の実施の形態の処理と比べると、文字列比較モジュール120による処理結果を画像(旧)100A、画像(新)100Bを用いて補正する処理を加えたものであり、図2の例に示すように、文字認識モジュール110、文字列比較モジュール120、補正モジュール530、結果出力モジュール190を有している。
文字認識モジュール110は、文字列比較モジュール120と接続されている。文字認識モジュール110は、画像(旧)100A、画像(新)100Bのそれぞれの文字認識結果を含む文字列情報512を文字列比較モジュール120に渡す。
文字列比較モジュール120は、文字認識モジュール110、補正モジュール530と接続されている。
補正モジュール530は、文字列比較モジュール120、結果出力モジュール190と接続されている。補正モジュール530は、画像(旧)100Aと画像(新)100B内の対応する文字画像を比較することによって、文字列比較モジュール120による比較結果522を補正する。
結果出力モジュール190は、補正モジュール530と接続されている。結果出力モジュール190は、補正モジュール530によって補正された補正後の比較結果532を出力する。
ステップS602では、文字認識モジュール110が、画像(旧)100Aに対して文字認識を行う。
ステップS604では、文字認識モジュール110が、画像(新)100Bに対して文字認識を行う。
ステップS606では、文字列比較モジュール120が、新旧の文字認識結果を文字列比較する。
ステップS608では、補正モジュール530が、文字列比較結果を補正する。
ステップS610では、結果出力モジュール190が、文字列比較結果を出力する。
文字認識モジュール110は、対象文字画像(旧)700Aと対象文字画像(新)700Bを文字認識処理710する。その結果、対象文字画像(旧)700Aは「Software」という文字認識結果(旧)712Aとなり、対象文字画像(新)700Bは「S0ftware」という文字認識結果(新)712Bとなる。
文字列比較モジュール120は、文字認識結果(旧)712Aと文字認識結果(新)712Bを文字列比較処理720する。その結果、文字認識結果(旧)712Aと文字認識結果(新)712Bの第2文字目の「o」と「0」が差分という文字列比較結果722となる。ここで、差分文字については、編集モードを「置換」とする。
補正モジュール530は、文字列比較結果722として異なるとされた対象文字画像(旧)700Aと対象文字画像(新)700Bの第2文字目の文字画像(文字画像(旧)734A、文字画像(新)734B)を比較し、一致するという文字画像比較結果732を出力する。
ここで、編集モードを「置換」から「一致」に修正する。そして、結果出力モジュール190は、「対象文字画像(旧)700Aと対象文字画像(新)700Bは差分なし」という結果792を出力する。各文字認識結果の編集モードは「一致」となる。
文字認識モジュール110は、対象文字画像(旧)800Aと対象文字画像(新)800Bを文字認識処理810する。その結果、対象文字画像(旧)800Aは「software」という文字認識結果(旧)812Aとなり、対象文字画像(新)800Bは「software」という文字認識結果(新)812Bとなる。
文字列比較モジュール120は、文字認識結果(旧)812Aと文字認識結果(新)812Bを文字列比較処理820する。その結果、差分なしという文字列比較結果822となる。ここで、比較対象の文字列(各文字)については、編集モードを「一致」とする。
補正モジュール530は、文字列比較結果822として差分なしとされた対象文字画像(旧)800Aと対象文字画像(新)800Bの第1文字目の文字画像(文字画像(旧)834A、文字画像(新)834B)を比較し、異なるという文字画像比較結果832を出力する。
ここで、編集モードを「一致」から「置換」に修正する。そして、結果出力モジュール190は、「対象文字画像(旧)800Aと対象文字画像(新)800Bはそれぞれ第1文字目の文字画像が差分」という結果892を出力する。文字認識結果である「S」と「s」の編集モードは「置換」となる。なお、正しい文字コードは不明なままである。具体的には、対象文字画像(旧)800Aの第1文字目が「S」でないのか、対象文字画像(新)800Bの第1文字目が「S」でないのか、は不明のままである。
図9は、第2−2の実施の形態の構成例についての概念的なモジュール構成図である。第2−2の実施の形態は、第2−1の実施の形態の補正モジュール530内のモジュール構成を詳細にしたものであり、補正モジュール530は、文字画像切出モジュール932、文字画像比較モジュール934、文字列比較結果修正モジュール936を有している。
文字画像切出モジュール932は、文字画像比較モジュール934と接続されている。文字画像切出モジュール932は、画像100(画像(旧)100A又は画像(新)100Bのいずれか一方)から文字座標リスト900を用いて文字画像933を切り出す。文字座標リスト900は、文字認識モジュール110が文字認識結果とともに出力する。
文字画像比較モジュール934は、文字画像切出モジュール932、文字列比較結果修正モジュール936と接続されている。文字画像比較モジュール934は、画像(旧)100Aと画像(新)100B内の対応する文字画像933を比較する。比較結果である一致か不一致かのフラグ935を文字列比較結果修正モジュール936に渡す。対応するとは、文字列比較モジュール120によって対応するとされた文字の文字画像の組み合わせ(一致文字の組み合わせ、置換文字の組み合わせ)であってもよいし、画像(旧)100A内の文字画像と画像(新)100B内の文字画像の全ての組み合わせであってもよいし(図14を用いて詳述する組み合わせ)、その他の組み合わせ(後に詳述する組み合わせ)であってもよい。比較処理については、第2−3の実施の形態と第2−4の実施の形態を用いて詳述する。
文字列比較結果修正モジュール936は、文字画像比較モジュール934と接続されている。文字列比較結果修正モジュール936は、文字画像比較モジュール934で“一致”と判定したら、対応する文字の編集モードを“一致”に書き換える。“不一致”と判定したら、対応する文字の編集モードを“置換”に書き換える。
ステップS1002では、文字画像切出モジュール932が、両者の画像100から文字座標リスト900を用いて文字画像を切り出す。
ステップS1004では、文字画像比較モジュール934が、切り出した両者の文字画像933を比較する。
ステップS1006では、文字列比較結果修正モジュール936が、一致か不一致かのフラグ935を用いて、文字列比較モジュール120の比較結果522を修正する。
文字認識モジュール110は、画像(旧)1100Aに対して文字認識処理1110Aを行い、文字認識結果1120Aを文字列比較モジュール120に渡す。文字認識モジュール110は、画像(新)1100Bに対して文字認識処理1110Bを行い、文字認識結果1120Bを文字列比較モジュール120に渡す。文字認識処理1110A、1110Bの処理は、いずれが先に行ってもよいし、平行して行われてもよい。
そして、文字列比較モジュール120は、文字認識結果1120Aと文字認識結果1120Bに対して文字列比較処理1130を行い、比較結果テーブル1190を結果出力モジュール190に渡す。
比較結果テーブル1190は、文字列比較結果欄1192、文書(旧)欄1194A、文書(新)欄1194Bを有している。文書(旧)欄1194Aは、No.欄1196A、文字欄1198Aを有している。文書(新)欄1194Bは、No.欄1196B、文字欄1198Bを有している。図4の例に示した比較結果テーブル490と同等のものである。ただし、比較結果テーブル1190は、文字列比較結果修正モジュール936による補正処理の結果である。
文字画像比較モジュール934による文字画像の比較により、文書(旧)1100Aの4番目の文字と文書(新)1100Bの3番目の文字が一致していると判定される。さらに、文書(旧)1100Aの7番目の文字と文書(新)1100Bの3番目の文字が一致しているとも判定される。
このとき、文字列比較結果修正モジュール936による処理によって、文書(旧)1100Aの4番目の文字との一致関係が採用される。なぜなら、文字列比較処理によって、文書(新)1100Bの3番目の文字と文書(旧)1100Aの4番目の文字とが対応付いていると仮定すると、その後の2文字も一致しており、文書(新)1100Bの3番目の文字と文書(旧)1100Aの7番目の文字とが対応付いていると仮定すると、その後の文字は一致しないことになるためである。つまり、文字画像比較モジュール934の比較処理結果によって一致している文字が複数ある場合は、それぞれの文字が一致していると仮定して、その後に続く文字であって一致している文字が多い方を対応付いていると判定する。また、その後に続く文字ではなく、その前にある文字としてもよいし、前後両方の文字を対象としてもよい。
このとき、文字列比較結果修正モジュール936は、テキストコードも「Z」から「2」へ、又は「2」から「Z」へ置き換えてもよい。ただし、新旧どちらのテキストコードが正しいのであるかについては判定しない。本実施の形態は、文字認識結果を補正するものではない。
比較結果テーブル1190は、文字列比較結果を示す表である。同じ行に並んでいる文字は、文字列比較処理の結果、対応付いたことを意味している。置換文字であっても、前述のように前後の一致文字の対応関係から対応する文字を求めることができる。
文字認識モジュール110は、文字認識結果とともに、その文字の座標を出力する。文字画像切出モジュール932は、その座標に基づいて、文字画像を切り出す。図12(a)の例に示す画像(旧)1200の文字認識結果と文字の座標は、図12(c)の例に示す文字認識結果等テーブル1220のようになる。文字認識結果等テーブル1220は、No.欄1222、文字欄1224、左X欄1226、上Y欄1228、右X欄1230、下Y欄1232、確信度欄1234を有している。文字欄1224は、文字認識結果であるテキストコードを記憶する。左X欄1226、上Y欄1228、右X欄1230、下Y欄1232は、文字の座標を記憶する。つまり、図12(b)の例に示す文字矩形1210の左上座標1212と右下座標1214を示している。もちろんのことながら、右上、左下の座標の組み合わせであってもよいし、文字矩形1210の4角のいずれかの座標と幅と高さによって文字矩形1210の座標を表すようにしてもよい。確信度欄1234は、文字認識モジュール110による文字認識処理によって、その文字認識結果の確からしさを示す情報を記憶する。例えば、数値が高いほど、そのテキストコードらしいことを示している。確信度欄1234が記憶する情報を用いる処理については、後述する。
文字画像切出モジュール932は、この文字認識結果等テーブル1220を用いて、画像(旧)100A、画像(新)100Bから文字画像を切り出す。
なお、文字画像比較処理1334で行う比較対象の組み合わせは、全ての組み合わせであってもよい。図14(a)の例に示すように、文字画像群(旧)1333A内の認識文字1400Aと文字画像群(新)1333B内の各文字画像(認識文字1400B、1401B、1402B、1403B等)の組み合わせに対して処理を行い、次に、図14(b)の例に示すように、文字画像群(旧)1333A内の認識文字1401Aと文字画像群(新)1333B内の各文字画像(認識文字1400B、1401B、1402B、1403B等)の組み合わせに対して処理を行う。
図15は、第2−3の実施の形態の構成例についての概念的なモジュール構成図である。第2−3の実施の形態は、第2−2の実施の形態の文字画像比較モジュール934内のモジュール構成を詳細にしたものであり、文字画像比較モジュール934は、相関係数算出モジュール1510、相関係数決定モジュール1520、一致判定モジュール1530を有している。
相関係数決定モジュール1520は、相関係数算出モジュール1510、一致判定モジュール1530と接続されている。相関係数決定モジュール1520は、一番相関が高かったところの差分量を、この候補文字の相関係数とする。図16の例では、(e)が、それに該当する。
一致判定モジュール1530は、相関係数決定モジュール1520と接続されている。一致判定モジュール1530は、相関係数決定モジュール1520から渡された相関係数と予め定められた閾値を比較して、「相関係数が閾値より大きい又は以上」ならば、文字画像(旧)933Aと文字画像(新)933Bは一致していると判定する。そして、「相関係数が閾値以下又は未満」ならば、異なる文字だと判定する。
その後、文字列比較結果修正モジュール936は、一致判定モジュール1530からの一致か不一致かのフラグ935を用いて、文字列比較モジュール120による比較結果を補正する。
ステップS1702では、相関係数算出モジュール1510が、文字画像(旧)933Aと文字画像(新)933Bの各ずらし量における相関係数を算出する。
ステップS1704では、相関係数決定モジュール1520が、各ずらし量における相関係数から、この文字画像対の相関係数を決定する。
ステップS1706では、一致判定モジュール1530が、予め定めた閾値と相関係数を比較して、一致するか否かの判定を行う。
ステップS1708では、一致判定モジュール1530が、判定結果を出力する。
図15の例に示したように、文字画像同士の相関係数を算出する(図18(a)、(b))。そして、例えば、閾値を0.83として、閾値処理1810では、相関係数が閾値以上の文字画像があるかどうかを判定する(図18(c))。閾値以上の文字画像があれば、その文字と一致していると判定する。閾値以上の文字画像がなければ、一致していない文字と判定する。図18の例では、「文書(旧)の0番目の認識文字1400A(契)と文書(新)の0番目の認識文字1400B(契)が一致していると判定する」という閾値処理結果1835を出力する(図18(d))。
図15の例に示したように、文字画像同士の相関係数を求める。(図19(a)、(b))。そして、例えば、閾値を0.83として、閾値処理1810では、相関係数が閾値以上の文字画像があるかどうかを判定する(図19(c))。閾値以上の文字画像があれば、その文字と一致していると判定する。閾値以上の文字画像がなければ、一致していない文字と判定する。図19の例では、「文書(旧)の3番目の認識文字1403A(A)と一致する文字はないと判定する」という閾値処理結果1935を出力する(図19(d))。
図20は、第2−4の実施の形態の構成例についての概念的なモジュール構成図である。第2−4の実施の形態は、第2−2の実施の形態の文字画像比較モジュール934内のモジュール構成を詳細にしたものであり、文字画像比較モジュール934は、特徴量算出モジュール2010、特徴量距離算出モジュール2020、一致判定モジュール2030を有している。
特徴量距離算出モジュール2020は、特徴量算出モジュール2010、一致判定モジュール2030と接続されている。特徴量距離算出モジュール2020は、画像(旧)100A内の文字画像(旧)933Aと画像(新)100B内の文字画像(新)933Bとの間の特徴空間における距離を算出する。
特徴量の距離D=|p1−q1|2+|p2−q2|2+…+|pn−qn|2
その後、文字列比較結果修正モジュール936は、一致判定モジュール2030からの一致か不一致かのフラグ935を用いて、文字列比較モジュール120による判定結果を補正する。
ステップS2202では、特徴量算出モジュール2010が、文字画像(旧)933Aと文字画像(新)933Bのそれぞれの特徴量を算出する。
ステップS2204では、特徴量距離算出モジュール2020が、文字画像(旧)933Aと文字画像(新)933Bの特徴量距離を算出する。
ステップS2206では、一致判定モジュール2030が、予め定めた閾値と特徴量距離を比較して、一致するか否かの判定を行う。
ステップS2208では、一致判定モジュール2030が、判定結果を出力する。
図20の例に示したように、文字画像同士の特徴間の距離を算出する(図23(a)、(b))。各文字画像特徴量を算出する。例えば、認識文字1400Aの特徴量ベクトルを、(p01,p02,…,p0n)とする。認識文字1400B等の特徴量ベクトルを、(q01,q02,…,q0n)とする。文字画像同士の特徴量の距離Dを前述の式で算出する。そして、例えば、閾値を0.15として、閾値処理2310では、距離Dが閾値以下の文字画像があるかどうかを判定する(図23(c))。閾値以下の文字画像があれば、その文字と一致していると判定する。閾値以下の文字画像がなければ、一致していない文字と判定する。図23の例では、「文書(旧)の0番目の認識文字1400A(契)と文書(新)の0番目の認識文字1400B(契)が一致していると判定する」という閾値処理結果2335を出力する(図23(d))。
図20の例に示したように、文字画像同士の特徴間の距離を算出する(図24(a)、(b))。各文字画像特徴量を算出する。例えば、認識文字1403Aの特徴量ベクトルを、(p31,p32,…,p3n)とする。認識文字1400B等の特徴量ベクトルを、(q01,q02,…,q0n)とする。文字画像同士の特徴量の距離Dを前述の式で算出する。そして、例えば、閾値を0.15として、閾値処理2410では、距離Dが閾値以下の文字画像があるかどうかを判定する(図24(c))。閾値以下の文字画像があれば、その文字と一致していると判定する。閾値以下の文字画像がなければ、一致していない文字と判定する。図24の例では、「文書(旧)の3番目の認識文字1403A(A)と一致する文字はないと判定する」という閾値処理結果2435を出力する(図24(d))。
図25は、第2−5の実施の形態の構成例についての概念的なモジュール構成図である。第2−5の実施の形態は、補正候補文字選別モジュール2520が、文字認識結果の確信度を用いて、補正処理の対象となる文字画像を選択するものである。なお、補正処理モジュール2530は、前述の実施の形態(第2−1の実施の形態から第2−4の実施の形態)における補正モジュール530に相当する。つまり、図5の例を用いて説明すれば、文字列比較モジュール120と補正モジュール530の間に補正候補文字選別モジュール2520があり、補正モジュール530の代わりに補正処理モジュール2530がある。
図25の例では、補正候補文字選別モジュール2520、補正処理モジュール2530を有している。補正処理モジュール2530は、補正候補文字画像切出モジュール2532、文字画像比較モジュール934、文字列比較結果修正モジュール936を有している。
さらに、各文字の確信度2500が予め定められた値以下又はより低い場合は、削除された文字、挿入された文字を補正対象として選択を行うようにしてもよい。したがって、補正対象は、文字認識結果の全ての文字となるように文字座標リスト2522を生成してもよい。
さらに、各文字の確信度2500が予め定められた値より高い場合又は以上である場合の補正対象は、削除された文字、挿入された文字、置換された文字となり、一致した文字は対象としないように文字座標リスト2522を生成するようにしてもよい。
文字画像比較モジュール934は、補正候補文字画像切出モジュール2532、文字列比較結果修正モジュール936と接続されている。
文字列比較結果修正モジュール936は、文字画像比較モジュール934と接続されている。
ステップS2602では、補正候補文字選別モジュール2520が、各文字の確信度2500と文字座標リスト900から補正候補となる文字画像を選択する。
ステップS2604では、補正候補文字画像切出モジュール2532が、画像100から候補文字の文字座標リスト2522を用いて文字画像を切り出す。
ステップS2606では、文字画像比較モジュール934が、切り出した文字画像933を比較する。
ステップS2608では、文字列比較結果修正モジュール936が、一致か不一致かのフラグ935を用いて、文字列比較モジュール120の比較結果522を修正する。
図27は、第2−6の実施の形態の構成例についての概念的なモジュール構成図である。第2−6の実施の形態は、補正候補文字選別モジュール2720が、各文字の編集モードを用いて、補正処理の対象となる文字画像を選択するものである。図5の例を用いて説明すれば、文字列比較モジュール120と補正モジュール530の間に補正候補文字選別モジュール2720があり、補正モジュール530の代わりに補正処理モジュール2530がある。
図27の例では、補正候補文字選別モジュール2720、補正処理モジュール2530を有している。補正処理モジュール2530は、補正候補文字画像切出モジュール2532、文字画像比較モジュール934、文字列比較結果修正モジュール936を有している。
補正候補文字画像切出モジュール2532は、補正候補文字選別モジュール2720、文字画像比較モジュール934と接続されている。
文字画像比較モジュール934は、補正候補文字画像切出モジュール2532、文字列比較結果修正モジュール936と接続されている。
文字列比較結果修正モジュール936は、文字画像比較モジュール934と接続されている。
ステップS2802では、補正候補文字選別モジュール2720が、各文字の編集モード2700と文字座標リスト900から補正候補となる文字画像を選択する。
ステップS2804では、補正候補文字画像切出モジュール2532が、画像100から候補文字の文字座標リスト2722を用いて文字画像を切り出す。
ステップS2806では、文字画像比較モジュール934が、切り出した文字画像933を比較する。
ステップS2808では、文字列比較結果修正モジュール936が、一致か不一致かのフラグ935を用いて、文字列比較モジュール120の比較結果522を修正する。
例えば、第2−5の実施の形態と第2−6の実施の形態を組み合わせた場合、以下のようにしてもよい。
(1)確信度と予め定められた閾値とを比較して確信度が低く、かつ、編集モードが「置換」である場合を、少なくとも含むように比較対象として選択する。その他の場合は、以下のいずれか1つ又はその組み合わせを採用する。
(2)確信度と予め定められた閾値とを比較して確信度が高く、かつ、編集モードが「一致」である場合は、比較対象として選択しないようにしてもよい。
(3)精度向上を図るために、確信度が低く、かつ、編集モードが「一致」、「削除」、「挿入」である場合は、比較対象として選択するようにしてもよい。
(4)精度を落とさずに、高速化を図る場合は、確信度が高く、かつ、編集モードが「削除」、「挿入」、「置換」である場合は、比較対象として選択しないようにしてもよい。
第1の画像を文字認識し、該第1の画像と関連する第2の画像を文字認識する文字認識手段と、
前記第1の画像に対する前記文字認識手段による第1の文字認識結果と前記第2の画像に対する前記文字認識手段による第2の文字認識結果を比較し、2つの文字認識結果間で一致する文字を抽出し、該一致する文字の間にある該第1の文字認識結果又は該第2の文字認識結果である文字を、該第1の画像から削除された文字、該第1の画像には無いが該第2の画像にはある挿入された文字、該第1の画像内の文字を置換した文字のいずれであるかを判定する判定手段と、
前記判定手段による判定結果を出力する出力手段
を具備することを特徴とする画像処理装置。
この画像処理装置によれば、複数の画像を比較する場合にあって、その画像の文字認識結果を、一致する文字、削除された文字、挿入された文字、置換した文字に分けることができる。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray Disc(登録商標))、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
120…文字列比較モジュール
190…結果出力モジュール
530…補正モジュール
932…文字画像切出モジュール
934…文字画像比較モジュール
936…文字列比較結果修正モジュール
1510…相関係数算出モジュール
1520…相関係数決定モジュール
1530…一致判定モジュール
2010…特徴量算出モジュール
2020…特徴量距離算出モジュール
2030…一致判定モジュール
2520…補正候補文字選別モジュール
2530…補正処理モジュール
2532…補正候補文字画像切出モジュール
2720…補正候補文字選別モジュール
Claims (9)
- 第1の画像を文字認識し、該第1の画像と関連する第2の画像を文字認識する文字認識手段と、
前記第1の画像に対する前記文字認識手段による第1の文字認識結果と前記第2の画像に対する前記文字認識手段による第2の文字認識結果を比較し、2つの文字認識結果間で一致する文字を抽出し、該一致する文字の間にある該第1の文字認識結果又は該第2の文字認識結果である文字を、該第1の画像から削除された文字、該第1の画像には無いが該第2の画像にはある挿入された文字、該第1の画像内の文字を置換した文字のいずれであるかを判定する判定手段と、
前記判定手段による判定結果を出力する出力手段
を具備することを特徴とする画像処理装置。 - 前記第1の画像と前記第2の画像内の対応する文字画像を比較することによって、前記判定手段による判定結果を補正する補正手段
をさらに具備し、
前記出力手段は、前記補正手段によって補正された結果を出力する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記補正手段は、前記第1の画像内の文字画像と前記第2の画像内の文字画像との相関係数を算出し、該相関係数に基づいて前記判定手段による判定結果を補正する
ことを特徴とする請求項2に記載の画像処理装置。 - 前記補正手段は、前記第1の画像内の文字画像と前記第2の画像内の文字画像との間の特徴空間における距離を算出し、該距離に基づいて前記判定手段による判定結果を補正する
ことを特徴とする請求項2に記載の画像処理装置。 - 前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が低い場合は第1の文字認識結果と第2の文字認識結果が一致する場合も補正対象として補正を行う
ことを特徴とする請求項2から4のいずれか一項に記載の画像処理装置。 - 前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が高い場合は第1の文字認識結果と第2の文字認識結果が一致する場合は補正対象としない
ことを特徴とする請求項2から5のいずれか一項に記載の画像処理装置。 - 前記補正手段は、前記一致する文字の文字画像に対しては比較処理を行わない
ことを特徴とする請求項2から4のいずれか一項に記載の画像処理装置。 - 前記補正手段は、前記置換した文字の文字画像のみに対して比較処理を行う
ことを特徴とする請求項2から4のいずれか一項に記載の画像処理装置。 - コンピュータを、
第1の画像を文字認識し、該第1の画像と関連する第2の画像を文字認識する文字認識手段と、
前記第1の画像に対する前記文字認識手段による第1の文字認識結果と前記第2の画像に対する前記文字認識手段による第2の文字認識結果を比較し、2つの文字認識結果間で一致する文字を抽出し、該一致する文字の間にある該第1の文字認識結果又は該第2の文字認識結果である文字を、該第1の画像から削除された文字、該第1の画像には無いが該第2の画像にはある挿入された文字、該第1の画像内の文字を置換した文字のいずれであるかを判定する判定手段と、
前記判定手段による判定結果を出力する出力手段
として機能させるための画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012227964A JP5962419B2 (ja) | 2012-10-15 | 2012-10-15 | 画像処理装置及び画像処理プログラム |
PCT/JP2013/067071 WO2014061309A1 (ja) | 2012-10-15 | 2013-06-21 | 画像処理装置及び画像処理プログラム |
US14/683,237 US20150213332A1 (en) | 2012-10-15 | 2015-04-10 | Image processing apparatus, non-transitory computer readable medium, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012227964A JP5962419B2 (ja) | 2012-10-15 | 2012-10-15 | 画像処理装置及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014081714A JP2014081714A (ja) | 2014-05-08 |
JP5962419B2 true JP5962419B2 (ja) | 2016-08-03 |
Family
ID=50487887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012227964A Active JP5962419B2 (ja) | 2012-10-15 | 2012-10-15 | 画像処理装置及び画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150213332A1 (ja) |
JP (1) | JP5962419B2 (ja) |
WO (1) | WO2014061309A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5920293B2 (ja) * | 2013-08-23 | 2016-05-18 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
WO2016005485A1 (en) * | 2014-07-10 | 2016-01-14 | Sanofi-Aventis Deutschland Gmbh | Apparatus for capturing and processing images |
JP2018195248A (ja) * | 2017-05-22 | 2018-12-06 | パナソニックIpマネジメント株式会社 | 翻訳表示装置、コンピュータ端末及び翻訳表示方法 |
JP7206729B2 (ja) * | 2018-09-18 | 2023-01-18 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
JP7172351B2 (ja) * | 2018-09-21 | 2022-11-16 | 富士フイルムビジネスイノベーション株式会社 | 文字列認識装置及び文字列認識プログラム |
CN111340029A (zh) * | 2018-12-19 | 2020-06-26 | 富士通株式会社 | 用于识别收件人地址中的至少部分地址的装置和方法 |
JP2020187777A (ja) * | 2020-07-14 | 2020-11-19 | パナソニックIpマネジメント株式会社 | 翻訳表示装置、コンピュータ端末、翻訳表示方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5748807A (en) * | 1992-10-09 | 1998-05-05 | Panasonic Technologies, Inc. | Method and means for enhancing optical character recognition of printed documents |
JP3333250B2 (ja) * | 1992-11-17 | 2002-10-15 | 株式会社リコー | 画像比較装置 |
JP3526821B2 (ja) * | 1999-08-25 | 2004-05-17 | 松下電器産業株式会社 | 文書検索装置 |
US8175394B2 (en) * | 2006-09-08 | 2012-05-08 | Google Inc. | Shape clustering in post optical character recognition processing |
US8073256B2 (en) * | 2007-11-15 | 2011-12-06 | Canon Kabushiki Kaisha | Image processing apparatus and method therefor |
JP5381225B2 (ja) * | 2009-03-26 | 2014-01-08 | 富士ゼロックス株式会社 | 情報処理装置およびプログラム |
US9275368B1 (en) * | 2012-09-25 | 2016-03-01 | Amazon Technologies, Inc. | Annotation mapping |
-
2012
- 2012-10-15 JP JP2012227964A patent/JP5962419B2/ja active Active
-
2013
- 2013-06-21 WO PCT/JP2013/067071 patent/WO2014061309A1/ja active Application Filing
-
2015
- 2015-04-10 US US14/683,237 patent/US20150213332A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20150213332A1 (en) | 2015-07-30 |
WO2014061309A1 (ja) | 2014-04-24 |
JP2014081714A (ja) | 2014-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5962419B2 (ja) | 画像処理装置及び画像処理プログラム | |
US8059896B2 (en) | Character recognition processing system and computer readable medium storing program for character recognition processing | |
JP6119952B2 (ja) | 画像処理装置及び画像処理プログラム | |
US20070206851A1 (en) | Information processing apparatus, information processing method, computer readable medium, and computer data signal | |
US20110135209A1 (en) | Business document processor | |
JPWO2018021163A1 (ja) | シグネチャ作成装置、シグネチャ作成方法、シグネチャ作成プログラムが記録された記録媒体、及び、ソフトウェア判定システム | |
JP5672828B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2011028370A (ja) | 画像処理装置及び画像処理プログラム | |
JP6221220B2 (ja) | 画像処理装置及び画像処理プログラム | |
US9009026B2 (en) | Information processing apparatus, non-transitory computer readable medium storing information processing program, and information processing method | |
JP5481965B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP5440043B2 (ja) | 画像処理装置及び画像処理プログラム | |
US20150043832A1 (en) | Information processing apparatus, information processing method, and computer readable medium | |
JP6260181B2 (ja) | 情報処理装置及び情報処理プログラム | |
US20140169676A1 (en) | Information processing apparatus, information processing method, and computer-readable medium | |
JP6421568B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP5821648B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP6003375B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP5928714B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP7075011B2 (ja) | 情報処理装置、パッチ適用確認システム、パッチ適用確認方法、およびパッチ適用確認プログラム | |
JP2016053797A (ja) | 画像処理装置及び画像処理プログラム | |
JP4793429B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2015135640A (ja) | 情報処理装置及び情報処理プログラム | |
JP2010039810A (ja) | 画像処理装置及び画像処理プログラム | |
JP5935324B2 (ja) | 情報処理装置及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160506 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5962419 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |