JP5628514B2 - Image processing apparatus, image processing method, and computer program - Google Patents

Description

本発明は、画像処理装置、画像処理方法、コンピュータプログラム、及び、そのコンピュータプログラムを記録した記録媒体に関し、特に、傾斜文字の範囲及びその傾斜角を検知する技術に関する。   The present invention relates to an image processing apparatus, an image processing method, a computer program, and a recording medium on which the computer program is recorded, and more particularly to a technique for detecting a range of inclined characters and an inclination angle thereof.

現在、光学式文字読取装置（ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）によって文字を含む画像を読取り、読取った文字を認識する技術が知られている。このような文字認識技術では、読取った画像から識別される文字と、予め記憶される文字パターンとを照合し、最も一致したものを認識結果として出力する。   2. Description of the Related Art Currently, a technique for reading an image including characters by an optical character reader (OCR (Optical Character Reader) and recognizing the read character is known. In such a character recognition technology, the image is identified from the read image. The character is collated with a character pattern stored in advance, and the best match is output as a recognition result.

上記したＯＣＲによって、傾斜文字を含む画像が読取られる場合、及び、文字を含む画像が斜めに載置された状態で読取られる場合等には、読取った画像からは、傾斜した状態の文字が識別される。このような状態の文字に対して上記した文字認識を行なうためには、傾斜文字に対応する文字パターンをも予め準備しておく必要があり、予め記憶すべき文字パターンの量が膨大になる。また、照合回数も増加し、文字認識に要する計算量も膨大になるため、現実的ではない。   When an image including a tilted character is read by the above-described OCR, or when an image including a character is read obliquely, the tilted character is identified from the read image. Is done. In order to perform the above-described character recognition for a character in such a state, it is necessary to prepare a character pattern corresponding to an inclined character in advance, and the amount of character patterns to be stored in advance is enormous. Moreover, since the number of collations increases and the amount of calculation required for character recognition becomes enormous, it is not realistic.

このような問題を解決するために、例えば、後掲の特許文献１に開示される文字認識装置は、文字列画像を文字列方向に対して垂直方向に走査して得られる画素のヒストグラムを生成し、生成したヒストグラムを用いて文字列画像が正立文字であるか否かを判定する。判定後、正立文字列でないと判断された文字列画像をずらし変形させて文字列の傾斜角が相互に異なる複数の文字列画像を生成する。そして、これらの文字列画像に基づくヒストグラムを生成し、生成したヒストグラムを用いて複数の文字列画像から正立文字列を選択している。   In order to solve such a problem, for example, the character recognition device disclosed in Patent Document 1 described later generates a pixel histogram obtained by scanning a character string image in a direction perpendicular to the character string direction. Whether or not the character string image is an erect character is determined using the generated histogram. After the determination, the character string image determined not to be an erect character string is shifted and deformed to generate a plurality of character string images having different inclination angles of the character string. A histogram based on these character string images is generated, and an erect character string is selected from a plurality of character string images using the generated histogram.

また、後掲の特許文献２に開示される装置は、文字列画像に対して所定のずらし角刻みで重み付けした複数の輪郭画像を形成し、これらの輪郭画像を垂直方向に投影して投影ヒストグラム画像を作成する。そして、投影ヒストグラム画像から、１文字に相当する最適な尾根成分を抽出し、抽出した尾根成分から文字の傾斜角及び範囲を求め、対応するずらし角度の傾斜画像から直立した文字画像を取出している。   In addition, the apparatus disclosed in Patent Document 2 described later forms a plurality of contour images weighted with predetermined shift angle increments on a character string image, and projects these contour images in the vertical direction to project a projection histogram. Create an image. Then, the optimum ridge component corresponding to one character is extracted from the projection histogram image, the inclination angle and range of the character are obtained from the extracted ridge component, and the upright character image is extracted from the inclination image of the corresponding shift angle. .

上記したように、特許文献１及び特許文献２で開示される技術では、縦線を多く含む正立文字に対応するヒストグラムには縦線部分に対応するピークが多く出現し、傾斜線を多く含む傾斜文字に対応するヒストグラムには、縦線部分に対応するピークが出現しにくくなるという特徴を利用して、正立文字と傾斜文字との区別を行なっている。   As described above, in the techniques disclosed in Patent Document 1 and Patent Document 2, in the histogram corresponding to the erect character including many vertical lines, many peaks corresponding to the vertical line portion appear and many inclined lines are included. The histogram corresponding to the slanted character is distinguished from the upright character and the slanted character by utilizing the feature that the peak corresponding to the vertical line portion is less likely to appear.

特開平６−４７０３号公報JP-A-6-4703 特開２００７−１０２７０２号公報JP 2007-102702 A

特許文献１に開示される技術では、傾斜文字列全体を正立文字列に補正するため、傾斜文字列内に正立文字と傾斜文字とが混在する場合には、傾斜文字を適切に補正できないおそれがある。   In the technique disclosed in Patent Document 1, since the entire inclined character string is corrected to an erect character string, when the erect character and the inclined character are mixed in the inclined character string, the inclined character cannot be corrected appropriately. There is a fear.

特許文献２に開示される技術では、文字単位で傾斜文字を検知するために文字の切出しを行なうが、傾斜文字と正立文字との重なりが発生している場合には、文字の切出しを適切に行なえないおそれがある。また、縦線の少ないひらがな文字、及び、傾斜線を多く含むカタカナ文字等は、文字単位で適切な傾斜を検知することは困難である。   In the technique disclosed in Patent Document 2, characters are cut out in order to detect inclined characters in units of characters. However, if there is an overlap between inclined characters and upright characters, the characters are appropriately extracted. There is a risk that it may not be possible. In addition, it is difficult to detect an appropriate inclination in units of characters for hiragana characters with few vertical lines and katakana characters with many inclined lines.

本発明の目的は、傾斜文字の範囲及びその傾斜角を正確に検知することのできる画像処理装置、画像処理方法、コンピュータプログラム、及び、そのコンピュータプログラムを記録した記録媒体を提供することである。   An object of the present invention is to provide an image processing apparatus, an image processing method, a computer program, and a recording medium on which the computer program is recorded, which can accurately detect a range of inclined characters and an inclination angle thereof.

本発明の第１の局面に係る画像処理装置は、少なくとも１つの行画像を含む画像に基づく画像データの入力を受付ける受付手段と、入力された画像データに基づいて、二値化画像を生成する二値化手段と、二値化画像から、対象となる行画像を抽出する抽出手段と、抽出された行画像における対応する部分が正立文字に属する可能性が高いか否かを示す評価値を、行画像を傾斜させたときの少なくとも１つ以上の傾斜角毎に算出する評価値算出手段と、評価値に基づいて、抽出された行画像に含まれる傾斜文字の範囲及び傾斜角を検知する検知手段と、を含み、評価値算出手段は、評価値を算出する際の基準となる基準位置を、抽出された行画像上でずらしながら、基準位置毎の評価値を順次算出する。   An image processing apparatus according to a first aspect of the present invention generates a binarized image based on an acceptance unit that accepts input of image data based on an image including at least one row image, and the input image data. An evaluation value indicating whether or not there is a high possibility that a corresponding part in the extracted line image belongs to an erecting character, and a binarizing means, an extracting means for extracting a target line image from the binarized image Evaluation value calculation means for calculating at least one inclination angle when the line image is inclined, and the range and inclination angle of the inclined characters included in the extracted line image are detected based on the evaluation value The evaluation value calculation means sequentially calculates an evaluation value for each reference position while shifting a reference position serving as a reference for calculating the evaluation value on the extracted row image.

このように、評価値を算出する際の基準となる基準位置を行画像上でずらしながら基準位置毎の評価値を順次算出し、算出された評価値に基づいて傾斜文字の範囲及び傾斜角を検知するので、適切な傾きを検知しにくい文字に影響されることなく、正確な検知を行なうことができる。また、傾斜文字の範囲及び傾斜角を検知するために文字単位の切出しを行なう必要がないので、傾斜文字と正立文字との重なりが発生している場合においても、適切に傾斜文字の範囲を検知することができる。したがって、傾斜文字の範囲及びその傾斜角を正確に検知することができる。   In this way, the evaluation value for each reference position is sequentially calculated while shifting the reference position serving as the reference for calculating the evaluation value on the line image, and the range and the inclination angle of the inclined character are determined based on the calculated evaluation value. Since it is detected, accurate detection can be performed without being affected by characters that are difficult to detect an appropriate inclination. In addition, since it is not necessary to cut out character units in order to detect the range and the inclination angle of inclined characters, even if there is an overlap between inclined characters and upright characters, the range of inclined characters is appropriately set. Can be detected. Therefore, it is possible to accurately detect the range of the inclined character and its inclination angle.

好ましくは、少なくとも１つ以上の傾斜角は、０°を含む。これによって、傾斜文字の範囲及びその傾斜角をより一層正確に検知することができる。   Preferably, the at least one inclination angle includes 0 °. As a result, the range of the inclined character and its inclination angle can be detected more accurately.

より好ましくは、画像処理装置は、抽出された行画像の高さ情報に基づいて、検知された傾斜文字の範囲を補正する補正手段をさらに含む。このように、傾斜文字の範囲が補正されるので、傾斜文字の範囲及び傾斜角をより一層正確に検知することができる。   More preferably, the image processing apparatus further includes a correcting unit that corrects the range of the detected inclined character based on the height information of the extracted line image. As described above, since the range of the inclined character is corrected, the range and the inclination angle of the inclined character can be detected more accurately.

さらに好ましくは、画像処理装置は、傾斜文字の範囲の区切り位置を文字の区切り位置と一致させるように、検知された傾斜文字の範囲を補正する区切り位置補正手段をさらに含む。このように、傾斜文字の範囲が補正されるので、傾斜文字の範囲及び傾斜角をより一層正確に検知することができる。   More preferably, the image processing apparatus further includes a delimiter position correcting unit that corrects the detected inclined character range so that the delimiter position of the inclined character range coincides with the character delimiter position. As described above, since the range of the inclined character is corrected, the range and the inclination angle of the inclined character can be detected more accurately.

さらに好ましくは、画像処理装置は、抽出された行画像における行方向に対して垂直方向の文字部分を構成する画素のヒストグラムを生成する生成手段をさらに含み、区切り位置補正手段は、ヒストグラムに基づいて、検知された傾斜文字の範囲を補正する。このように、ヒストグラムに基づいて傾斜文字の範囲が補正されるので、傾斜文字の範囲及び傾斜角をさらに正確に検知することができる。   More preferably, the image processing apparatus further includes a generating unit that generates a histogram of pixels constituting a character portion perpendicular to the line direction in the extracted line image, and the delimiter position correcting unit is based on the histogram. Correct the range of detected tilted characters. As described above, since the range of the inclined character is corrected based on the histogram, the range of the inclined character and the inclination angle can be detected more accurately.

さらに好ましくは、評価値算出手段は、抽出された行画像に基づいて、少なくとも１つ以上の傾斜角に対応する傾斜画像を生成する傾斜画像生成手段を含み、評価値算出手段は、基準位置を、抽出された行画像及び生成された傾斜画像上でずらしながら、基準位置毎の評価値を、少なくとも１つ以上の傾斜角毎に順次算出する。このように、評価値を、抽出された行画像及び生成された傾斜画像を利用して求めるので、評価値をより一層容易に算出することができる。   More preferably, the evaluation value calculation means includes an inclination image generation means for generating an inclination image corresponding to at least one inclination angle based on the extracted row image, and the evaluation value calculation means determines the reference position. The evaluation value for each reference position is sequentially calculated for each at least one inclination angle while shifting on the extracted row image and the generated inclination image. Thus, since the evaluation value is obtained using the extracted row image and the generated inclined image, the evaluation value can be calculated more easily.

さらに好ましくは、評価値は、基準位置を中心とする行方向の幅を有する所定範囲内における、行方向に対して垂直方向の文字部分を構成する画素の分散値に基づいて求められる。これによって、行画像における対応する部分が正立文字に属する可能性が高いか否かを正確に判断できるようになるので、傾斜文字の範囲及び傾斜角をより一層正確に検知することができるようになる。   More preferably, the evaluation value is obtained based on a variance value of pixels constituting a character portion in a direction perpendicular to the row direction within a predetermined range having a width in the row direction centered on the reference position. As a result, it is possible to accurately determine whether or not the corresponding portion of the line image is likely to belong to an upright character, so that the range and the inclination angle of the inclined character can be detected more accurately. become.

さらに好ましくは、評価値算出手段は、基準位置を中心とする行方向の幅を有する所定範囲を、少なくとも１つ以上の傾斜角に対応するように変形させる変形手段を含み、評価値は、変形された所定範囲内における、行方向に対して少なくとも１つ以上の傾斜角に対応する方向の文字部分を構成する画素の分散値に基づいて求められる。このように、評価値を、変形された所定範囲を利用して求めるので、評価値をより一層容易に算出することができる。   More preferably, the evaluation value calculation means includes deformation means for deforming a predetermined range having a width in the row direction centered on the reference position so as to correspond to at least one inclination angle, and the evaluation value is It is obtained based on the dispersion value of the pixels constituting the character portion in the direction corresponding to at least one inclination angle with respect to the row direction within the predetermined range. Thus, since the evaluation value is obtained using the modified predetermined range, the evaluation value can be calculated more easily.

さらに好ましくは、所定範囲の行方向の幅は、抽出された行画像の高さの２倍から４倍に設定される。これによって、傾斜文字の範囲及び傾斜角を検知するのにより一層適した評価値を算出できるので、傾斜文字の範囲及び傾斜角をさらに正確に検知することができる。   More preferably, the width in the row direction of the predetermined range is set to 2 to 4 times the height of the extracted row image. As a result, an evaluation value more suitable for detecting the range and the inclination angle of the inclined character can be calculated, so that the range and the inclination angle of the inclined character can be detected more accurately.

本発明の第２の局面に係る画像処理方法は、少なくとも１つの行画像を含む画像に基づく画像データの入力を受付ける受付ステップと、入力された画像データに基づいて、二値化画像を生成する二値化ステップと、二値化画像から、対象となる行画像を抽出する抽出ステップと、抽出された行画像における対応する部分が正立文字に属する可能性が高いか否かを示す評価値を、行画像を傾斜させたときの少なくとも１つ以上の傾斜角毎に算出する評価値算出ステップと、評価値に基づいて、抽出された行画像に含まれる傾斜文字の範囲及び傾斜角を検知する検知ステップと、を含み、評価値算出ステップでは、評価値を算出する際の基準となる基準位置を、抽出された行画像上でずらしながら、基準位置毎の評価値を順次算出する。   An image processing method according to a second aspect of the present invention generates a binarized image based on an accepting step of accepting input of image data based on an image including at least one row image, and the input image data. A binarization step, an extraction step for extracting a target line image from the binarized image, and an evaluation value indicating whether or not the corresponding part in the extracted line image is likely to belong to an erecting character And an evaluation value calculation step for calculating at least one inclination angle when the line image is inclined, and a range and an inclination angle of the inclined character included in the extracted line image are detected based on the evaluation value. In the evaluation value calculation step, evaluation values for each reference position are sequentially calculated while shifting a reference position serving as a reference for calculating the evaluation value on the extracted row image.

このように、評価値を算出する際の基準となる基準位置を行画像上でずらしながら基準位置毎の評価値を順次算出し、算出された評価値に基づいて傾斜文字の範囲及び傾斜角を検知するので、適切な傾きを検知しにくい文字に影響されることなく、正確な検知を行なうことができる。また、傾斜文字の範囲及び傾斜角を検知するために文字単位の切出しを行なう必要がないので、傾斜文字と正立文字との重なりが発生している場合においても、適切に傾斜文字の範囲を検知することができる。したがって、傾斜文字の範囲及びその傾斜角を正確に検知することができる。   In this way, the evaluation value for each reference position is sequentially calculated while shifting the reference position serving as the reference for calculating the evaluation value on the line image, and the range and the inclination angle of the inclined character are determined based on the calculated evaluation value. Since it is detected, accurate detection can be performed without being affected by characters that are difficult to detect an appropriate inclination. In addition, since it is not necessary to cut out character units in order to detect the range and the inclination angle of inclined characters, even if there is an overlap between inclined characters and upright characters, the range of inclined characters is appropriately set. Can be detected. Therefore, it is possible to accurately detect the range of the inclined character and its inclination angle.

本発明の第３の局面に係るコンピュータプログラムは、コンピュータを、少なくとも１つの行画像を含む画像に基づく画像データの入力を受付ける受付手段と、入力された画像データに基づいて、二値化画像を生成する二値化手段と、二値化画像から、対象となる行画像を抽出する抽出手段と、抽出された行画像における対応する部分が正立文字に属する可能性が高いか否かを示す評価値を、行画像を傾斜させたときの少なくとも１つ以上の傾斜角毎に算出する評価値算出手段と、評価値に基づいて、抽出された行画像に含まれる傾斜文字の範囲及び傾斜角を検知する検知手段と、を含み、評価値算出手段は、評価値を算出する際の基準となる基準位置を、抽出された行画像上でずらしながら、基準位置毎の評価値を順次算出する画像処理装置として機能させる。   According to a third aspect of the present invention, there is provided a computer program that accepts a computer from a receiving unit that receives input of image data based on an image including at least one row image, and a binarized image based on the input image data. Indicates the binarizing means to be generated, the extracting means for extracting the target line image from the binarized image, and whether or not the corresponding part of the extracted line image is likely to belong to an erect character Evaluation value calculating means for calculating an evaluation value for each of at least one inclination angle when the line image is inclined, and a range and an inclination angle of the inclined characters included in the line image extracted based on the evaluation value The evaluation value calculating means sequentially calculates the evaluation value for each reference position while shifting the reference position serving as a reference for calculating the evaluation value on the extracted row image. Image processing equipment To function as.

上記コンピュータプログラムをコンピュータに実行させることによって、評価値を算出する際の基準となる基準位置を行画像上でずらしながら基準位置毎の評価値を順次算出し、算出された評価値に基づいて傾斜文字の範囲及び傾斜角を検知するので、適切な傾きを検知しにくい文字に影響されることなく、正確な検知を行なうことができる。また、傾斜文字の範囲及び傾斜角を検知するために文字単位の切出しを行なう必要がないので、傾斜文字と正立文字との重なりが発生している場合においても、適切に傾斜文字の範囲を検知することができる。したがって、傾斜文字の範囲及びその傾斜角を正確に検知することができる。   By causing the computer to execute the above computer program, the evaluation value for each reference position is sequentially calculated while shifting the reference position serving as the reference for calculating the evaluation value on the line image, and the inclination is calculated based on the calculated evaluation value. Since the character range and the inclination angle are detected, accurate detection can be performed without being affected by characters for which it is difficult to detect an appropriate inclination. In addition, since it is not necessary to cut out character units in order to detect the range and the inclination angle of inclined characters, even if there is an overlap between inclined characters and upright characters, the range of inclined characters is appropriately set. Can be detected. Therefore, it is possible to accurately detect the range of the inclined character and its inclination angle.

本発明の第４の局面に係る記録媒体は、上記したコンピュータプログラムを記録した、コンピュータ読取可能な記録媒体である。   A recording medium according to the fourth aspect of the present invention is a computer-readable recording medium on which the above-described computer program is recorded.

なお、上記記録媒体としては、例えば、コンピュータ内部の主記憶又は補助記憶を構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び補助記憶装置としてのハードディスクドライブ（ＨＤＤ（（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）））等がある。コンピュータの外部記憶装置としてプログラム読取装置が設けられ、この装置に挿入することで読取可能な記録媒体であってもよい。通常は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が主記憶以外の記録媒体からコンピュータプログラムを読出し、この読出されたコンピュータプログラムを主記憶装置にロードして実行する。ＣＰＵは、インストールされたコンピュータプログラムに従って所定の処理を行なうようにコンピュータの各部を統括的に制御する。   As the recording medium, for example, a RAM (Random Access Memory), a ROM (Read-Only Memory) constituting a main memory or an auxiliary memory in the computer, and a hard disk drive (HDD ((Hard Disk) as an auxiliary storage device). Drive))) and the like. A program reading device may be provided as an external storage device of a computer, and a recording medium that can be read by being inserted into this device may be used. Normally, a CPU (Central Processing Unit) reads a computer program from a recording medium other than the main memory, and loads the read computer program into the main memory and executes it. The CPU comprehensively controls each part of the computer so as to perform predetermined processing according to the installed computer program.

プログラム読取装置で読取可能な記録媒体としては、（１）磁気テープ、カセットテープ等のテープ系、（２）フレキシブルディスク（ＦＤ）、ハードディスク（ＨＤ）等の磁気ディスク、又はＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ Ｄｉｓｋ）、ＭＤ（Ｍｉｎｉ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の光ディスクといったディスク系、（３）メモリカードを含むＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、光カード等のカード系、及び（４）マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリを含めた固定的にプログラムを記録する媒体等を例示することができる。   Recording media that can be read by the program reader include (1) tape systems such as magnetic tape and cassette tape, (2) magnetic disks such as flexible disk (FD) and hard disk (HD), or CD-ROM (Compact Disc). -Read Only Memory (MO), Magnet (Optical Disk) such as MD (Mini Disk), DVD (Digital Versatile Disk), etc. (3) IC (Integrated Circuit) card including memory card, optical card, etc. (4) Mask ROM, EPROM (Erasable Programmable Read-Only Memory), EEPROM (Electrically Er) sable Programmable Read Only Memory), can be exemplified medium or the like for recording fixedly programmed, including a semiconductor memory such as a flash memory.

コンピュータを、インターネットを含む通信ネットワークに接続可能な構成とし、通信ネットワークからコンピュータプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。このように通信ネットワークからコンピュータプログラムをダウンロードする場合には、そのダウンロード用プログラムは予めコンピュータに格納しておけばよい。また、他の記録媒体からインストールされてもよい。   The medium may be configured to connect the computer to a communication network including the Internet and carry the program fluidly so as to download the computer program from the communication network. When the computer program is downloaded from the communication network in this way, the download program may be stored in the computer in advance. Moreover, you may install from another recording medium.

本発明によれば、評価値を算出する際の基準となる基準位置を行画像上でずらしながら基準位置毎の評価値を順次算出し、算出された評価値に基づいて傾斜文字の範囲及び傾斜角を検知するので、適切な傾きを検知しにくい文字に影響されることなく、正確な検知を行なうことができる。また、傾斜文字の範囲及び傾斜角を検知するために文字単位の切出しを行なう必要がないので、傾斜文字と正立文字との重なりが発生している場合においても、適切に傾斜文字の範囲を検知することができる。したがって、傾斜文字の範囲及びその傾斜角を正確に検知することができる。   According to the present invention, the evaluation value for each reference position is sequentially calculated while shifting the reference position serving as a reference for calculating the evaluation value on the line image, and the range of the inclined character and the inclination are calculated based on the calculated evaluation value. Since the corners are detected, accurate detection can be performed without being affected by characters that are difficult to detect an appropriate inclination. In addition, since it is not necessary to cut out character units in order to detect the range and the inclination angle of inclined characters, even if there is an overlap between inclined characters and upright characters, the range of inclined characters is appropriately set. Can be detected. Therefore, it is possible to accurately detect the range of the inclined character and its inclination angle.

本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an image processing apparatus according to an embodiment of the present invention. 画像処理部の機能ブロック図である。It is a functional block diagram of an image processing part. 傾斜文字認識処理を実現するためのプログラム構造をフローチャート形式で示す図である。It is a figure which shows the program structure for implement | achieving slant character recognition processing in the flowchart format. 図３のステップＳ１０３における評価値算出処理を実現するためのプログラム構造をフローチャート形式で示す図である。It is a figure which shows the program structure for implement | achieving the evaluation value calculation process in FIG.3 S103 in a flowchart format. 図３のステップＳ１０４における傾斜範囲／角度検知処理を実現するためのプログラム構造をフローチャート形式で示す図である。It is a figure which shows the program structure for implement | achieving the inclination range / angle detection process in FIG.3 S104 in a flowchart format. 抽出された行画像の一例を示す図である。It is a figure which shows an example of the extracted line image. 傾斜前の行画像及び生成された複数の傾斜画像を示す図である。It is a figure which shows the row image before inclination, and the some produced | generated inclination image. 基準位置Ｘとスコープとの関係を示す図である。It is a figure which shows the relationship between the reference position X and a scope. 行画像及び傾斜画像と、算出された評価値を示すグラフとを、それぞれ対応させて示す図である。It is a figure which matches and shows the line image and the inclination image, and the graph which shows the calculated evaluation value, respectively. 行画像及び傾斜画像における選択範囲を示す図である。It is a figure which shows the selection range in a line image and an inclination image. 行画像と、生成されたヒストグラムとを示す図である。It is a figure which shows a line image and the produced | generated histogram. 行画像及び傾斜画像における、第１の補正処理後の選択範囲を示す図である。It is a figure which shows the selection range after a 1st correction process in a row image and an inclination image. 行画像及び傾斜画像における、第２の補正処理後の選択範囲を示す図である。It is a figure which shows the selection range after a 2nd correction process in a row image and an inclination image. 行画像及び傾斜画像における、第３の補正処理後の選択範囲を示す図である。It is a figure which shows the selection range after a 3rd correction process in a row image and an inclination image. 文字認識部による補正後の行画像を示す図である。It is a figure which shows the line image after the correction | amendment by a character recognition part. 変形されたスコープの一例を示す図である。It is a figure which shows an example of the deform | transformed scope.

以下の説明及び図面においては、同一の部品には同一の参照符号及び名称を付してある。それらの機能も同様である。したがって、それらについての詳細な説明は繰返さない。   In the following description and drawings, the same reference numerals and names are assigned to the same components. Their functions are also the same. Therefore, detailed description thereof will not be repeated.

［画像処理装置１０］
〈ハードウェア構成〉
図１は、本発明の一実施の形態に係る画像処理装置１０の構成を示すブロック図である。図１を参照して、画像処理装置１０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）からなり、制御部１２、画像入力部１４、画像メモリ１６、画像処理部１８、文字認識部２０、ＨＤＤ２２、表示部２４、及び、操作部２６を含む。 [Image processing apparatus 10]
<Hardware configuration>
FIG. 1 is a block diagram showing a configuration of an image processing apparatus 10 according to an embodiment of the present invention. Referring to FIG. 1, the image processing apparatus 10 includes, for example, a PC (Personal Computer), and includes a control unit 12, an image input unit 14, an image memory 16, an image processing unit 18, a character recognition unit 20, an HDD 22, and a display unit. 24 and the operation unit 26.

制御部１２は、実質的にコンピュータであって、ＣＰＵ１２２、ＲＯＭ１２４、及び、ＲＡＭ１２６を含む。ＣＰＵ１２２には、バスライン１２８が接続されており、このバスライン１２８には、ＲＯＭ１２４及びＲＡＭ１２６が電気的に接続される。ＣＰＵ１２２は、操作部２６等からの指示に応じて各種コンピュータプログラム（以下単に「プログラム」と記す場合がある。）を実行することによって、画像処理装置１０の各構成部の動作及び外部装置との通信等の所望の処理を実行する。   The control unit 12 is substantially a computer, and includes a CPU 122, a ROM 124, and a RAM 126. A bus line 128 is connected to the CPU 122, and a ROM 124 and a RAM 126 are electrically connected to the bus line 128. The CPU 122 executes various computer programs (hereinafter may be simply referred to as “programs”) in accordance with instructions from the operation unit 26 and the like, thereby operating the components of the image processing apparatus 10 and the external device. A desired process such as communication is executed.

上記の各種コンピュータプログラムは、予めＲＯＭ１２４又はＨＤＤ２２に記憶されており、所望の処理の実行時において、当該ＲＯＭ１２４又はＨＤＤ２２から読出されてＲＡＭ１２６に転送される。ＣＰＵ１２２は、ＣＰＵ１２２内の図示しないプログラムカウンタと呼ばれるレジスタに格納された値によって指定される、ＲＡＭ１２６内のアドレスからプログラムの命令を読出し、解釈する。ＣＰＵ１２２はまた、読出された命令によって指定されるアドレスから演算に必要なデータを読出し、そのデータに対し命令に対応する演算を実行する。実行の結果も、ＲＡＭ１２６，ＨＤＤ２２及びＣＰＵ１２２内のレジスタ等の、命令によって指定されるアドレスに格納される。   The various computer programs are stored in advance in the ROM 124 or the HDD 22, and are read from the ROM 124 or the HDD 22 and transferred to the RAM 126 when a desired process is executed. The CPU 122 reads and interprets a program instruction from an address in the RAM 126 specified by a value stored in a register called a program counter (not shown) in the CPU 122. CPU 122 also reads data necessary for the operation from the address specified by the read instruction, and executes an operation corresponding to the instruction on the data. The execution result is also stored in an address specified by an instruction, such as a register in the RAM 126, HDD 22, and CPU 122.

画像入力部１４は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）インターフェイス（以下「ＬＡＮ Ｉ／Ｆ」と記す。）１４２、及び、装置インターフェイス（以下「装置Ｉ／Ｆ」と記す。）１４４を含む。ＬＡＮ Ｉ／Ｆ１４２及び装置Ｉ／Ｆ１４４は、バスライン１２８に電気的に接続される。   The image input unit 14 includes a LAN (Local Area Network) interface (hereinafter referred to as “LAN I / F”) 142 and a device interface (hereinafter referred to as “device I / F”) 144. The LAN I / F 142 and the device I / F 144 are electrically connected to the bus line 128.

ＬＡＮ Ｉ／Ｆ１４２は、ＬＡＮ回線等からなるネットワーク１４６とのインターフェイスをとる。画像処理装置１０は、ＬＡＮ Ｉ／Ｆ１４２を介して、ネットワーク１４６上に接続される外部装置とのデータ通信が可能である。ネットワーク１４６上の外部装置としては、例えば、画像処理装置１０に対して入力するための画像データを記憶する半導体メモリ及び磁気メモリ等を搭載するコンピュータがある。   The LAN I / F 142 has an interface with a network 146 formed of a LAN line or the like. The image processing apparatus 10 can perform data communication with an external apparatus connected to the network 146 via the LAN I / F 142. As an external device on the network 146, for example, there is a computer on which a semiconductor memory, a magnetic memory, and the like that store image data to be input to the image processing apparatus 10 are mounted.

装置Ｉ／Ｆ１４４は、画像処理装置１０に対して画像データを入力する入力装置１４８とのインターフェイスをとる。入力装置１４８は、画像の読取を行なう装置である。入力装置１４８としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ及びＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等を搭載する、携帯電話装置、デジタルカメラ、コピー機及びイメージスキャナ装置等がある。   The device I / F 144 interfaces with an input device 148 that inputs image data to the image processing device 10. The input device 148 is a device that reads an image. Examples of the input device 148 include a mobile phone device, a digital camera, a copier, an image scanner device, and the like on which a CCD (Charge-Coupled Device) image sensor and a CMOS (Complementary Metal Oxide Semiconductor) image sensor are mounted.

バスライン１２８には、さらに、画像メモリ１６、画像処理部１８、文字認識部２０、ＨＤＤ２２、表示部２４、及び、操作部２６が電気的に接続される。   Further, the image memory 16, the image processing unit 18, the character recognition unit 20, the HDD 22, the display unit 24, and the operation unit 26 are electrically connected to the bus line 128.

画像メモリ１６は、入力装置１４８及びネットワーク１４６上の外部装置等から入力される画像データ、並びに、画像処理部１８及び文字認識部２０による処理中の画像データ等を記憶する。   The image memory 16 stores image data input from the input device 148 and an external device on the network 146, image data being processed by the image processing unit 18 and the character recognition unit 20, and the like.

画像処理部１８は、後述する傾斜文字認識処理を実行することによって、入力された画像データに基づく画像から行画像を抽出し、抽出した行画像における傾斜文字の範囲及び傾斜角θを検知する。ここで、行画像とは、少なくとも１つの文字列を含む文書画像において、一行の文字列に対応する画像のことを示す。画像処理部１８の機能の詳細については後述する。   The image processing unit 18 extracts a line image from an image based on the input image data by executing an inclined character recognition process to be described later, and detects the range of the inclined character and the inclination angle θ in the extracted line image. Here, the line image indicates an image corresponding to a character string in one line in a document image including at least one character string. Details of the function of the image processing unit 18 will be described later.

文字認識部２０は、画像処理部１８から通知される傾斜文字の範囲及び傾斜角θの検知結果に基づいて、行画像に含まれる文字列が全て正立文字からなるように行画像を補正する。文字認識部２０は、また、補正後の行画像における対象文字から文字のパターンを抽出し、抽出したパターンと後述するパターンデータベース（以下「パターンＤＢ」と記す。）とに基づいて対象文字の文字認識を行なう。   The character recognition unit 20 corrects the line image based on the detection result of the inclined character range and the inclination angle θ notified from the image processing unit 18 so that the character strings included in the line image are all upright characters. . The character recognition unit 20 also extracts a character pattern from the target character in the corrected line image, and based on the extracted pattern and a pattern database (hereinafter referred to as “pattern DB”) described later, the character of the target character. Recognize.

ＨＤＤ２２は、画像処理装置１０の一般的な動作を実現するための各種データ及び各種コンピュータプログラムとともに、後述する、傾斜文字認識処理、評価値算出処理、及び、傾斜範囲／角度検知処理を実現するためのコンピュータプログラムを記憶する。   The HDD 22 implements inclined character recognition processing, evaluation value calculation processing, and inclination range / angle detection processing, which will be described later, together with various data and various computer programs for realizing general operations of the image processing apparatus 10. A computer program is stored.

ＨＤＤ２２は、さらに、文字のパターンを記憶するパターンＤＢを格納する。このパターンＤＢは、対象文字の文字認識を行なう際に、文字認識部２０によって参照される。   The HDD 22 further stores a pattern DB that stores character patterns. This pattern DB is referred to by the character recognition unit 20 when performing character recognition of the target character.

表示部２４は、画像処理装置１０における処理結果（例えば、文字認識結果）等を表示するための、液晶ディスプレイ等からなる表示装置である。操作部２６は、ユーザの指示等に応じた各種入力及び文字入力等を行なうキーボード、及び、ポインティングデバイスであるマウス等からなる。   The display unit 24 is a display device including a liquid crystal display or the like for displaying a processing result (for example, a character recognition result) in the image processing device 10. The operation unit 26 includes a keyboard that performs various inputs and character inputs in accordance with user instructions and the like, a mouse that is a pointing device, and the like.

画像処理装置１０の各構成部には電源（図示せず。）が接続され、この電源から電圧が印加されることで、画像処理装置１０の各構成部の動作が可能になる。   A power supply (not shown) is connected to each component of the image processing apparatus 10, and a voltage is applied from this power supply, so that each component of the image processing apparatus 10 can operate.

［画像処理部１８］
図２は、画像処理部１８の機能ブロック図である。図２を参照して、画像処理部１８は、二値化処理部１８２と、行抽出部１８４と、評価値算出部１８６と、傾斜範囲／角度検知部１８８と、を含む。上記した各部は、実際には、制御部１２によって実行されるコンピュータプログラムによって実現される。 [Image processing unit 18]
FIG. 2 is a functional block diagram of the image processing unit 18. Referring to FIG. 2, image processing unit 18 includes a binarization processing unit 182, a row extraction unit 184, an evaluation value calculation unit 186, and an inclination range / angle detection unit 188. Each unit described above is actually realized by a computer program executed by the control unit 12.

二値化処理部１８２は、入力装置１４８から入力される画像データに対して二値化処理を施すことで、二値化画像を生成する。二値化処理の方法としては、当該分野において一般的に使用される方法であれば特に限定されないが、例えば、画像データの輝度成分に対して予め閾値を定めておき、輝度値が閾値より高い画素を白とし、低い画素を黒とする単純二値化処理等が挙げられる。なお、上記二値化処理によって、黒画素は、文字部分を形成する画素となる。   The binarization processing unit 182 generates a binarized image by performing binarization processing on the image data input from the input device 148. The binarization processing method is not particularly limited as long as it is a method generally used in this field. For example, a threshold value is set in advance for the luminance component of the image data, and the luminance value is higher than the threshold value. For example, a simple binarization process in which the pixels are white and the low pixels are black. Note that, by the binarization process, the black pixel becomes a pixel that forms a character portion.

行抽出部１８４は、二値化画像に含まれる少なくとも１つの行画像から、対象となる行画像を抽出する。行画像抽出の方法としては、ＯＣＲの分野にて一般的に使用される方法であれば特に限定されないが、例えば、対象となる文字列画像が存在する行画像を自動的に認識する方法であってもよいし、操作部２６からの入力操作によって、ユーザが所望の行画像を選択する方法であってもよい。   The row extraction unit 184 extracts a target row image from at least one row image included in the binarized image. The line image extraction method is not particularly limited as long as it is a method generally used in the field of OCR. For example, the line image extraction method automatically recognizes a line image in which a target character string image exists. Alternatively, a method in which the user selects a desired row image by an input operation from the operation unit 26 may be used.

評価値算出部１８６は、後述する評価値算出処理を実行する。傾斜範囲／角度検知部１８８は、後述する傾斜範囲／角度検知処理を実行する。   The evaluation value calculation unit 186 executes an evaluation value calculation process described later. The inclination range / angle detection unit 188 executes an inclination range / angle detection process described later.

画像処理部１８は、上記した各部の動作によって、行画像における傾斜文字の範囲及び傾斜角θを検知し、その検知結果を文字認識部２０に対して通知する。   The image processing unit 18 detects the range of the inclined character and the inclination angle θ in the line image by the operation of each unit described above, and notifies the character recognition unit 20 of the detection result.

〈ソフトウェア構成〉
［傾斜文字認識処理］
図３は、傾斜文字認識処理を実現するためのプログラム構造をフローチャート形式で示す図である。上記したように、画像処理装置１０のＨＤＤ２２に記憶されるコンピュータプログラムは、傾斜文字認識処理を実行するようにプログラミングされている。この傾斜文字認識処理を実現するためのプログラムは、画像処理装置１０に対し、入力装置１４８又はネットワーク１４６上の外部装置から画像データが入力されることによって、起動される。 <Software configuration>
[Inclined character recognition processing]
FIG. 3 is a diagram showing a program structure for realizing the inclined character recognition process in a flowchart format. As described above, the computer program stored in the HDD 22 of the image processing apparatus 10 is programmed to execute the inclined character recognition process. The program for realizing the inclined character recognition process is started when image data is input to the image processing apparatus 10 from the input device 148 or an external device on the network 146.

図３を参照して、このプログラムは、二値化処理部１８２によって、入力された画像データに対して二値化処理が施されることで、二値化画像が生成されるステップＳ１０１と、行抽出部１８４によって、二値化画像に含まれる少なくとも１つの行画像から、対象となる行画像が抽出されるステップＳ１０２と、を含む。   Referring to FIG. 3, this program includes step S101 in which a binarization processing unit 182 performs binarization processing on input image data to generate a binarized image; Step S102 in which the row extraction unit 184 extracts a target row image from at least one row image included in the binarized image.

このプログラムはさらに、評価値算出部１８６によって、後述する評価値算出処理が実行されるステップＳ１０３と、傾斜範囲／角度検知部１８８によって、後述する傾斜範囲／角度検知処理が実行されるステップＳ１０４と、を含む。   The program further includes step S103 in which an evaluation value calculation process described later is executed by the evaluation value calculation unit 186, and step S104 in which an inclination range / angle detection process described later is executed by the inclination range / angle detection unit 188. ,including.

［評価値算出処理］
図４は、図３のステップＳ１０３における評価値算出処理を実現するためのプログラム構造をフローチャート形式で示す図である。上記したように、画像処理装置１０のＨＤＤ２２に記憶されるコンピュータプログラムは、評価値算出処理を実行するようにプログラミングされている。この評価値算出処理を実現するためのプログラムは、制御部１２によって実現される評価値算出部１８６によって実行される。 [Evaluation value calculation process]
FIG. 4 is a flowchart showing a program structure for realizing the evaluation value calculation process in step S103 of FIG. As described above, the computer program stored in the HDD 22 of the image processing apparatus 10 is programmed to execute the evaluation value calculation process. A program for realizing the evaluation value calculation process is executed by the evaluation value calculation unit 186 realized by the control unit 12.

図４を参照して、このプログラムは、行抽出部１８４によって抽出された行画像に基づいて、予め定められる少なくとも１つ以上の傾斜角θに対応する傾斜画像を生成するステップＳ２０１を含む。上記した傾斜角θとは、行画像上において行方向に伸びる軸に対して直角に交わる線を基準線とし、この基準線に対して時計回りに適用される画像の傾斜量を示す値である。本実施の形態において、傾斜角θが正の値である場合は基準線に対して時計回りに傾斜することを示し、傾斜角θが負の値である場合は基準線に対して反時計回りに傾斜することを示す。傾斜角θとしては、ＯＣＲによって画像の傾斜が認識可能な程度であれば特に限定されないが、例えば、一定の角度範囲内において１０°刻みで設定された値であってもよいし、一定の角度範囲内において５°刻みで設定された値であってもよい。本実施の形態においては、傾斜角θとして、−３０°から３０°までの角度範囲内において１０°刻みで設定された値（０°を除く）が使用される。   Referring to FIG. 4, the program includes step S <b> 201 for generating an inclination image corresponding to at least one predetermined inclination angle θ based on the line image extracted by line extraction unit 184. The inclination angle θ described above is a value indicating the amount of inclination of the image applied clockwise with respect to the reference line, with a line intersecting at right angles to the axis extending in the row direction on the row image. . In the present embodiment, when the tilt angle θ is a positive value, it indicates that the tilt is clockwise with respect to the reference line, and when the tilt angle θ is a negative value, it is counterclockwise with respect to the reference line. It shows that it is inclined. The inclination angle θ is not particularly limited as long as the inclination of the image can be recognized by OCR. For example, the inclination angle θ may be a value set in increments of 10 ° within a certain angle range, or a certain angle. It may be a value set in increments of 5 ° within the range. In the present embodiment, as the inclination angle θ, a value (excluding 0 °) set in increments of 10 ° within an angle range from −30 ° to 30 ° is used.

このプログラムはさらに、評価値を算出する際の基準となる基準位置Ｘを評価値算出の開始位置にセットするステップＳ２０２を含む。上記した評価値算出の開始位置とは、抽出された行画像及び生成された傾斜画像に含まれる文字列画像の行方向一端部を示す。   The program further includes a step S202 for setting a reference position X, which is a reference for calculating the evaluation value, to a start position for calculating the evaluation value. The above-described evaluation value calculation start position indicates one end of the extracted line image and the character string image included in the generated inclined image in the line direction.

このプログラムはさらに、基準位置Ｘにおける評価値を、抽出された行画像及び生成された傾斜画像毎に算出するステップＳ２０３を含む。上記した評価値とは、行画像又は傾斜画像における基準位置Ｘに対応する部分が、正立文字に属する可能性が高いか否かを示す数値である。本実施の形態においては、評価値の値が大きいほど、対応する部分が正立文字に属する可能性が高いものとする。評価値の算出方法としては、特に限定されない。本実施の形態において、上記した評価値は、一定範囲（以下「スコープ」と記す。）内における、行方向に対して垂直方向の黒画素の分散値に基づいて求められるものとする。上記したスコープは、基準位置Ｘを中心とする行方向の幅Ｗ（ピクセル）と、行画像の高さＨ（ピクセル）とを隣合う二辺として有する長方形状又は正方形状からなる範囲である。基準位置Ｘ（＝０）に対する相対位置を示す値をｉとした場合において、スコープ内の位置Ｘｉにおける行方向に対して垂直方向の黒画素数をＢ（Ｘｉ）、黒画素数Ｂ（Ｘｉ）の平均値をａｖｇ（Ｂ（Ｘ））とすると、評価値Ｖは、下記式（１）によって算出される。なお、スコープの幅Ｗとしては、特に限定されないが、例えば、行画像の高さＨに基づいて設定されることが好ましく、特には、行画像の高さＨの２倍から４倍に設定されることが好ましい。本実施の形態においては、スコープの幅Ｗを、行画像の高さＨの３．５倍に設定する。例えば、下記式（１）において、行画像の高さＨが４０ピクセルであり、スコープの幅Ｗが１４０ピクセルである場合、ｉは−７０〜７０となり、評価値は、スコープ内の１４１箇所の位置Ｘｉにおける行方向に対して垂直方向の黒画素の分散値に基づいて求められる。   The program further includes a step S203 of calculating an evaluation value at the reference position X for each extracted row image and generated tilt image. The above-described evaluation value is a numerical value indicating whether or not a portion corresponding to the reference position X in the line image or the inclined image is likely to belong to an erect character. In the present embodiment, it is assumed that the larger the evaluation value is, the higher the possibility that the corresponding part belongs to an upright character. The method for calculating the evaluation value is not particularly limited. In the present embodiment, it is assumed that the above-described evaluation value is obtained based on the dispersion value of black pixels in the direction perpendicular to the row direction within a certain range (hereinafter referred to as “scope”). The scope described above is a range formed of a rectangular shape or a square shape having a width W (pixel) in the row direction centered on the reference position X and a height H (pixel) of the row image as two adjacent sides. When the value indicating the relative position with respect to the reference position X (= 0) is i, the number of black pixels in the direction perpendicular to the row direction at the position Xi in the scope is B (Xi), and the number of black pixels B (Xi) Assuming that avg (B (X)) is an average value, the evaluation value V is calculated by the following equation (1). The scope width W is not particularly limited, but is preferably set based on, for example, the height H of the row image, and in particular, set to 2 to 4 times the height H of the row image. It is preferable. In the present embodiment, the width W of the scope is set to 3.5 times the height H of the row image. For example, in the following formula (1), when the height H of the row image is 40 pixels and the width W of the scope is 140 pixels, i is −70 to 70, and the evaluation value is 141 locations in the scope. It is obtained based on the dispersion value of black pixels in the direction perpendicular to the row direction at the position Xi.

このプログラムはさらに、基準位置Ｘが評価値算出の終了位置に達したか否かを判定するステップＳ２０４を含む。上記した評価値算出の終了位置とは、抽出された行画像及び生成された傾斜画像に含まれる文字列画像の行方向他端部を示す。ステップＳ２０４にて、終了位置に達したと判定された場合（ＹＥＳの場合）には、本制御は終了する。 The program further includes step S204 for determining whether or not the reference position X has reached the evaluation value calculation end position. The above-described evaluation value calculation end position indicates the other end in the row direction of the character string image included in the extracted row image and the generated inclined image. If it is determined in step S204 that the end position has been reached (in the case of YES), this control ends.

このプログラムはさらに、ステップＳ２０４にて、終了位置に達していないと判定された場合（ＮＯの場合）に実行され、基準位置Ｘを文字列画像の行方向終了位置側に、予め定められる所定幅（以下「サンプリング幅」と記す。）分ずらすステップＳ２０５を含む。ステップＳ２０５の終了後、制御はステップＳ２０３に戻る。上記したサンプリング幅としては、特に限定されないが、例えば、行画像の高さＨに基づいて設定されることが好ましい。本実施の形態では、サンプリング幅を、行画像の高さＨの１／１２倍に設定する。   The program is further executed when it is determined in step S204 that the end position has not been reached (in the case of NO), and the reference position X is set to a predetermined width that is set in advance in the row direction end position side of the character string image. (Hereinafter referred to as “sampling width”.) Step S205 for shifting is included. After completion of step S205, control returns to step S203. The sampling width is not particularly limited, but is preferably set based on the height H of the row image, for example. In the present embodiment, the sampling width is set to 1/12 times the height H of the row image.

［傾斜範囲／角度検知処理］
図５は、図３のステップＳ１０４における傾斜範囲／角度検知処理を実現するためのプログラム構造をフローチャート形式で示す図である。上記したように、画像処理装置１０のＨＤＤ２２に記憶されるコンピュータプログラムは、傾斜範囲／角度検知処理を実行するようにプログラミングされている。この傾斜範囲／角度検知処理を実現するためのプログラムは、制御部１２によって実現される傾斜範囲／角度検知部１８８によって実行される。 [Inclination range / angle detection processing]
FIG. 5 is a flowchart showing the program structure for realizing the tilt range / angle detection process in step S104 of FIG. As described above, the computer program stored in the HDD 22 of the image processing apparatus 10 is programmed to execute the tilt range / angle detection process. A program for realizing the inclination range / angle detection processing is executed by the inclination range / angle detection unit 188 realized by the control unit 12.

図５を参照して、このプログラムは、ある基準位置Ｘに着目し、抽出された行画像及び生成された少なくとも１つの傾斜画像の中から、着目した基準位置Ｘにおいて最大の評価値を有するものを選択する処理を基準位置Ｘ毎に実行するステップＳ３０１を含む。ステップＳ３０１の処理によって、基準位置Ｘ毎に選択された行画像又は傾斜画像からなる選択範囲が生じる。   Referring to FIG. 5, this program pays attention to a certain reference position X, and has the maximum evaluation value at the reference position X of interest from among the extracted row image and the generated at least one inclined image. Step S301 is executed for each reference position X. By the processing in step S301, a selection range including a row image or a tilt image selected for each reference position X is generated.

このプログラムはさらに、抽出された行画像における行方向に対して垂直方向の黒画素のヒストグラムを生成するステップＳ３０２を含む。   The program further includes step S302 for generating a histogram of black pixels in the direction perpendicular to the row direction in the extracted row image.

このプログラムはさらに、選択範囲に対し、極小な範囲を無視するための第１の補正処理を施すステップＳ３０３を含む。本実施の形態では、第１の補正処理は、「行方向の幅が行画像の高さＨの１／３倍以下である選択範囲は、選択されなかったものとする。」というルールに基づいて行なわれるものとする。   The program further includes step S303 of applying a first correction process for ignoring the minimal range to the selected range. In the present embodiment, the first correction process is based on the rule that “the selection range whose width in the row direction is not more than 1/3 times the height H of the row image is not selected”. Shall be performed.

このプログラムはさらに、第１の補正処理後の選択範囲に対し、第２の補正処理を施すステップＳ３０４を含む。本実施の形態では、第２の補正処理は、「行方向の幅が行画像の高さＨ以下である選択範囲は、選択されなかったものとする。」というルールに基づいて行なわれるものとする。これは、一般の文書では、複数文字を連続して斜体にすることが多いため、行方向の幅が文字の幅（文字の高さとほぼ等しい）以下の選択範囲を無視するために行なわれる。   The program further includes step S304 for performing the second correction process on the selection range after the first correction process. In the present embodiment, the second correction process is performed based on the rule that “the selection range in which the width in the row direction is equal to or less than the height H of the row image is not selected”. To do. This is done in order to ignore a selection range in which the width in the line direction is equal to or smaller than the width of the character (approximately equal to the height of the character), because in general documents, a plurality of characters are often italicized continuously.

このプログラムはさらに、第２の補正処理後の選択範囲に対し、選択範囲の区切り位置を文字の区切り位置と一致させるための第３の補正処理を施すステップＳ３０５を含む。本実施の形態では、第３の補正処理は、行画像の高さをＨとして「選択範囲の区切り位置を中心とした行方向±Ｈ／３の範囲内においてヒストグラムが最低値を示す位置が、選択範囲の新たな区切り位置となるように、選択範囲の区切り位置を補正する。」というルールに基づいて行なわれるものとする。   The program further includes a step S305 of performing a third correction process for matching the delimiter position of the selection range with the delimiter position of the character with respect to the selection range after the second correction process. In the present embodiment, the third correction processing is performed by setting the height of the row image to H, and “the position where the histogram shows the lowest value in the range of the row direction ± H / 3 with the separation position of the selection range as the center, It is assumed that the determination is made based on the rule that “the delimitation position of the selection range is corrected to be a new delimitation position of the selection range”.

〈動作〉
図１〜図５を参照して、画像処理装置１０は、以下のように動作する。なお、以下に示す動作を除く、画像処理装置１０の一般的な動作は、従来の画像処理装置の動作と同じである。 <Operation>
1 to 5, the image processing apparatus 10 operates as follows. The general operation of the image processing apparatus 10 other than the operation described below is the same as the operation of the conventional image processing apparatus.

［傾斜文字認識処理］
ユーザは、デジタルカメラ等の入力装置１４８によって文書画像を撮影し、画像処理装置１０に対し、撮影した文書画像に基づく画像データを装置Ｉ／Ｆ１４４を介して入力する。画像データが入力されると、画像処理装置１０の画像処理部１８は、以下のようにして傾斜文字認識処理を実行する。 [Inclined character recognition processing]
A user captures a document image using an input device 148 such as a digital camera, and inputs image data based on the captured document image to the image processing apparatus 10 via the device I / F 144. When the image data is input, the image processing unit 18 of the image processing apparatus 10 executes the inclined character recognition process as follows.

すなわち、二値化処理部１８２は、入力された画像データに対して二値化処理を施すことで、二値化画像を生成する（Ｓ１０１）。行抽出部１８４は、二値化画像に含まれる少なくとも１つの行画像から、対象となる行画像を抽出する（Ｓ１０２）。図６は、抽出された行画像６００の一例を示す図である。図６を参照して、行画像６００は、「地下鉄・栄駅から徒歩」という文字列が３回繰り返されて並ぶ文字列画像を含む。行画像６００において、上記繰返される文字列のうち、２回目に繰返される文字列、すなわち、行方向中央に位置する文字列は、基準線に対して時計回りに傾斜した傾斜文字からなる。   That is, the binarization processing unit 182 generates a binarized image by performing binarization processing on the input image data (S101). The row extraction unit 184 extracts a target row image from at least one row image included in the binarized image (S102). FIG. 6 is a diagram illustrating an example of the extracted row image 600. Referring to FIG. 6, line image 600 includes a character string image in which the character string “walk from subway / Sakae station” is repeated three times. In the line image 600, among the repeated character strings, the character string repeated the second time, that is, the character string located at the center in the row direction is composed of inclined characters inclined clockwise with respect to the reference line.

対象となる行画像が抽出されると、評価値算出部１８６は、以下のようにして評価値算出処理を実行する（Ｓ１０３）。   When the target row image is extracted, the evaluation value calculation unit 186 executes the evaluation value calculation process as follows (S103).

［評価値算出処理］
評価値算出部１８６は、まず、抽出された行画像６００に基づいて、予め定められる少なくとも１つ以上の傾斜角θ（本実施の形態では、θ＝−３０°，−２０°，−１０°，１０°，２０°，３０°）に対応する傾斜画像を生成する(Ｓ２０１)。 [Evaluation value calculation process]
The evaluation value calculation unit 186 first determines at least one or more predetermined inclination angles θ (in this embodiment, θ = −30 °, −20 °, −10 ° based on the extracted row image 600. , 10 °, 20 °, 30 °) is generated (S201).

図７（Ａ）〜図７（Ｇ）は、傾斜前の行画像６００及び生成された複数の傾斜画像７０２を示す図である。図７（Ａ）〜図７（Ｃ）及び図７（Ｅ）〜図７（Ｇ）を参照して、傾斜画像７０２Ａ〜７０２Ｆは、それぞれ、傾斜角θ＝−３０°，−２０°，−１０°，１０°，２０°，３０°に対応して生成された傾斜画像である。図７（Ｄ）を参照して、行画像６００は、傾斜前の、すなわち、傾斜角θ＝０°に対応する画像である。   FIGS. 7A to 7G are diagrams showing a row image 600 before tilting and a plurality of tilted images 702 generated. With reference to FIGS. 7A to 7C and FIGS. 7E to 7G, the tilt images 702A to 702F are tilt angles θ = −30 °, −20 °, − It is the inclination image produced | generated corresponding to 10 degrees, 10 degrees, 20 degrees, and 30 degrees. Referring to FIG. 7D, the row image 600 is an image before tilting, that is, an image corresponding to the tilt angle θ = 0 °.

複数の傾斜画像７０２の生成後、評価値算出部１８６は、評価値を算出する際の基準となる基準位置Ｘを、行画像６００及び傾斜画像７０２に含まれる文字列画像における評価値算出の開始位置にセットする（Ｓ２０２）。基準位置Ｘのセット後、評価値算出部１８６は、基準位置Ｘにおける評価値を、行画像６００及び傾斜画像７０２Ａ〜７０２Ｆ毎に算出する（Ｓ２０３）。   After the generation of the plurality of inclined images 702, the evaluation value calculation unit 186 starts calculation of evaluation values in the character string images included in the line image 600 and the inclined image 702, using the reference position X as a reference for calculating the evaluation values. The position is set (S202). After setting the reference position X, the evaluation value calculation unit 186 calculates an evaluation value at the reference position X for each of the row image 600 and the inclined images 702A to 702F (S203).

図８は、基準位置Ｘとスコープ８００との関係を示す図である。スコープ８００は、基準位置Ｘを中心とする行方向の幅Ｗ（本実施の形態において、幅Ｗは行画像の高さＨの３．５倍）を長辺とし、行画像の高さＨを短辺とする長方形状の範囲である。評価値は、スコープ８００内における、行方向に対して垂直方向（図中、矢符Ｘで示す方向）の黒画素の分散値に基づいて、上記式（１）を用いて算出される。   FIG. 8 is a diagram showing the relationship between the reference position X and the scope 800. The scope 800 has a width W in the row direction around the reference position X (in the present embodiment, the width W is 3.5 times the height H of the row image) as a long side, and the height H of the row image is It is a rectangular area with short sides. The evaluation value is calculated using the above formula (1) based on the dispersion value of black pixels in the scope 800 in the direction perpendicular to the row direction (the direction indicated by the arrow X in the figure).

評価値の算出後、評価値算出部１８６は、基準位置Ｘが評価値算出の終了位置に達していないと判定し（Ｓ２０４にてＮＯ）、基準位置Ｘを文字列画像の行方向終了位置側に、予め定められるサンプリング幅（本実施の形態において、サンプリング幅は、行画像の高さＨの１／１２倍）分ずらす（Ｓ２０５）。その後、評価値算出部１８６は、基準位置Ｘが評価値算出の終了位置に達したと判定されるまで（Ｓ２０４にてＹＥＳ）、基準位置Ｘを順次ずらしながら、基準位置Ｘにおける評価値を行画像６００及び傾斜画像７０２Ａ〜７０２Ｆ毎に算出する上記した処理を繰返す。図９に、行画像６００及び傾斜画像７０２Ａ〜７０２Ｆと、算出された評価値を示すグラフとを、それぞれ対応させて示す。   After calculating the evaluation value, the evaluation value calculation unit 186 determines that the reference position X has not reached the evaluation value calculation end position (NO in S204), and sets the reference position X to the line direction end position side of the character string image. The sampling width is shifted by a predetermined sampling width (in this embodiment, the sampling width is 1/12 times the height H of the row image) (S205). Thereafter, evaluation value calculation unit 186 performs evaluation values at reference position X while sequentially shifting reference position X until it is determined that reference position X has reached the end position of evaluation value calculation (YES in S204). The above-described processing that is calculated for each of the image 600 and the inclined images 702A to 702F is repeated. FIG. 9 shows the row image 600 and the tilted images 702A to 702F and the graph indicating the calculated evaluation values in association with each other.

上記した評価値算出処理が終了すると、傾斜範囲／角度検知部１８８は、以下のようにして傾斜範囲／角度検知処理を実行する（Ｓ１０４）。   When the above-described evaluation value calculation process ends, the tilt range / angle detection unit 188 executes the tilt range / angle detection process as follows (S104).

［傾斜範囲／角度検知処理］
傾斜範囲／角度検知部１８８は、ある基準位置Ｘに着目し、行画像６００及び傾斜画像７０２Ａ〜７０２Ｆの中から、着目した基準位置Ｘにおいて最大の評価値を有するものを選択する処理を基準位置Ｘ毎に実行する（Ｓ３０１）。これによって、基準位置Ｘ毎に選択された行画像６００又は傾斜画像７０２Ａ〜７０２Ｆからなる選択範囲が生じる。図１０に、行画像６００及び傾斜画像７０２Ａ〜７０２Ｆにおける選択範囲（ハッチング部分）を示す。 [Inclination range / angle detection processing]
The inclination range / angle detection unit 188 pays attention to a certain reference position X, and selects a process having a maximum evaluation value at the reference position X of interest from the row image 600 and the inclination images 702A to 702F. This is executed for each X (S301). As a result, a selection range including the row image 600 or the inclined images 702A to 702F selected for each reference position X is generated. FIG. 10 shows a selection range (hatched portion) in the row image 600 and the tilted images 702A to 702F.

次いで、傾斜範囲／角度検知部１８８は、行画像６００における行方向に対して垂直方向の黒画素のヒストグラムを生成する（Ｓ３０２）。図１１に、行画像６００と、生成されたヒストグラム１１００とを示す。   Next, the inclination range / angle detection unit 188 generates a histogram of black pixels in the direction perpendicular to the row direction in the row image 600 (S302). FIG. 11 shows a line image 600 and a generated histogram 1100.

ヒストグラムの生成後、傾斜範囲／角度検知部１８８は、行画像６００及び傾斜画像７０２Ａ〜７０２Ｆにおける選択範囲に対し、極小な範囲を無視するための第１の補正処理を施す（Ｓ３０３）。すなわち、傾斜範囲／角度検知部１８８は、「行方向の幅が行画像の高さＨの１／３倍以下である選択範囲は、選択されなかったものとする。」というルールに基づいて、第１の補正処理を行なう。第１の補正処理において、上記ルールが適用された場合、行方向の幅が行画像の高さＨの１／３倍以下である選択範囲は無視され、対応する基準位置Ｘにおける選択範囲として、直前の基準位置Ｘにおいて選択された行画像６００又は傾斜画像７０２Ａ〜７０２Ｆが選択されたものとされる。   After the generation of the histogram, the tilt range / angle detection unit 188 performs a first correction process for ignoring the minimum range on the selection range in the row image 600 and the tilt images 702A to 702F (S303). That is, the inclination range / angle detection unit 188 is based on the rule that “the selection range in which the width in the row direction is not more than 1/3 times the height H of the row image is not selected”. A first correction process is performed. In the first correction process, when the above rule is applied, the selection range in which the width in the row direction is 1/3 or less the height H of the row image is ignored, and the selection range at the corresponding reference position X is It is assumed that the row image 600 or the tilted images 702A to 702F selected at the immediately preceding reference position X is selected.

図１０を参照して、行画像６００及び傾斜画像７０２Ａ〜７０２Ｆにおける、行方向左側に位置する「地下鉄・栄駅から徒歩」という文字列においては、θ＝０°に対応する行画像６００からなる選択範囲１００２Ａ，１００２Ｂと、θ＝−１０°に対応する傾斜画像７０２Ｃからなる選択範囲１００４とが生じている。選択範囲１００２Ａ，１００２Ｂの行方向の幅は行画像の高さＨの１／３倍より大きく、選択範囲１００４の行方向の幅は行画像の高さＨの１／３倍以下である。図１２は、行画像６００及び傾斜画像７０２Ａ〜７０２Ｆにおける、第１の補正処理後の選択範囲を示す図である。図１２を参照して、第１の補正処理が実行されると、上記した「地下鉄・栄駅から徒歩」という文字列においては、θ＝０°に対応する行画像６００からなる選択範囲１２０２のみが生じるように、選択範囲１００２Ａ，１００２Ｂ，１００４が補正される。このように、第１の補正処理によって、極小な選択範囲１００４が無視される処理が行なわれ、選択範囲１００４は選択されなかったものとされる。   Referring to FIG. 10, the character string “walk from subway / Sakae station” located on the left side in the row direction in row image 600 and inclined images 702A to 702F includes row image 600 corresponding to θ = 0 °. The selection ranges 1002A and 1002B and the selection range 1004 including the tilted image 702C corresponding to θ = −10 ° are generated. The width in the row direction of the selection ranges 1002A and 1002B is larger than 1/3 times the height H of the row image, and the width in the row direction of the selection range 1004 is not more than 1/3 times the height H of the row image. FIG. 12 is a diagram illustrating a selection range after the first correction processing in the row image 600 and the tilted images 702A to 702F. Referring to FIG. 12, when the first correction process is executed, only the selection range 1202 including the row image 600 corresponding to θ = 0 ° is included in the character string “walking from the subway / Sakae station” described above. The selection ranges 1002A, 1002B, and 1004 are corrected so that. In this way, the first correction process performs a process in which the minimal selection range 1004 is ignored, and the selection range 1004 is not selected.

第１の補正処理後、傾斜範囲／角度検知部１８８は、第１の補正処理後の選択範囲に対し、第２の補正処理を施す（Ｓ３０４）。すなわち、傾斜範囲／角度検知部１８８は、「行方向の幅が行画像の高さＨ以下である選択範囲は、選択されなかったものとする。」というルールに基づいて、第２の補正処理を行なう。第２の補正処理において、上記ルールが適用された場合、行方向の幅が行画像の高さＨ以下である選択範囲は無視され、対応する基準位置Ｘにおける選択範囲として、直前の基準位置Ｘにおいて選択された行画像６００又は傾斜画像７０２Ａ〜７０２Ｆが選択されたものとされる。   After the first correction process, the tilt range / angle detection unit 188 performs the second correction process on the selection range after the first correction process (S304). That is, the inclination range / angle detection unit 188 performs the second correction process based on the rule that “the selection range in which the width in the row direction is equal to or less than the height H of the row image is not selected”. To do. In the second correction process, when the above rule is applied, the selection range in which the width in the row direction is equal to or less than the height H of the row image is ignored, and the immediately preceding reference position X is selected as the selection range at the corresponding reference position X. It is assumed that the row image 600 or the tilted images 702A to 702F selected in (1) are selected.

図１２を参照して、行画像６００及び傾斜画像７０２Ａ〜７０２Ｆにおける、行方向中央に位置する「地下鉄・栄駅から徒歩」という文字列においては、θ＝−２０°に対応する傾斜画像７０２Ｂからなる選択範囲１２０４Ａ，１２０４Ｂと、θ＝−３０°に対応する傾斜画像７０２Ａからなる選択範囲１２０６とが生じている。選択範囲１２０４Ａ，１２０４Ｂの行方向の幅は行画像の高さＨより大きく、選択範囲１２０６の行方向の幅は行画像の高さＨ以下である。図１３は、行画像６００及び傾斜画像７０２Ａ〜７０２Ｆにおける、第２の補正処理後の選択範囲を示す図である。図１３を参照して、第２の補正処理が実行されると、上記した「地下鉄・栄駅から徒歩」という文字列においては、θ＝−２０°に対応する傾斜画像７０２Ｂからなる選択範囲１３０２のみが生じるように、選択範囲１２０４Ａ，１２０４Ｂ，１２０６が補正される。このように、第２の補正処理によって、傾斜文字に関係しないと考えられる選択範囲１２０６が無視される処理が行なわれ、選択範囲１２０６は選択されなかったものとされる。   Referring to FIG. 12, in the character string “walking from the subway / Sakae station” located in the center in the row direction in the row image 600 and the tilt images 702A to 702F, from the tilt image 702B corresponding to θ = −20 °. The selection ranges 1204A and 1204B and the selection range 1206 including the tilted image 702A corresponding to θ = −30 ° are generated. The width in the row direction of the selection ranges 1204A and 1204B is larger than the height H of the row image, and the width in the row direction of the selection range 1206 is less than or equal to the height H of the row image. FIG. 13 is a diagram illustrating a selection range after the second correction processing in the row image 600 and the tilted images 702A to 702F. Referring to FIG. 13, when the second correction process is executed, in the above-described character string “walking from subway / Sakae station”, selection range 1302 including an inclined image 702B corresponding to θ = −20 °. The selection ranges 1204A, 1204B, and 1206 are corrected so that only occurs. As described above, the second correction process performs a process of ignoring the selection range 1206 that is considered not to be related to the inclined character, and the selection range 1206 is not selected.

第２の補正処理後、傾斜範囲／角度検知部１８８は、第２の補正処理後の選択範囲に対し、選択範囲の区切り位置を文字の区切り位置と一致させるための第３の補正処理を施す（Ｓ３０５）。すなわち、傾斜範囲／角度検知部１８８は、行画像の高さをＨとして「選択範囲の区切り位置を中心とした行方向±Ｈ／３の範囲内においてヒストグラムが最低値を示す位置が、選択範囲の新たな区切り位置となるように、選択範囲の区切り位置を補正する。」というルールに基づいて、第３の補正処理を行なう。   After the second correction process, the tilt range / angle detection unit 188 performs a third correction process for matching the delimiter position of the selection range with the delimiter position of the character for the selection range after the second correction process. (S305). In other words, the inclination range / angle detection unit 188 sets the height of the row image to H, and the position where the histogram shows the lowest value within the range of the row direction ± H / 3 with respect to the selection range separation position is the selection range. The third correction process is performed based on the rule that “the position of the selected range is corrected so as to be a new position.

図１３を参照して、第２の補正処理後の選択範囲１２０２，１３０２の区切り位置を、位置Ｐ１，Ｐ２として示す。傾斜範囲／角度検知部１８８は、選択範囲の区切り位置Ｐ１，Ｐ２を中心とした行方向±Ｈ／３の範囲Ｓ１，Ｓ２内において、図１１に示すヒストグラム１１００が最低値を示す位置が、選択範囲１２０２，１３０２の新たな区切り位置となるように、選択範囲１２０２，１３０２の区切り位置Ｐ１，Ｐ２を補正する。図１４は、行画像６００及び傾斜画像７０２Ａ〜７０２Ｆにおける、第３の補正処理後の選択範囲を示す図である。図１４を参照して、第３の補正処理によって、「徒歩」という文字列と「地下鉄」という文字列との間の区切り位置Ｐ３，Ｐ４が、選択範囲１２０２，１３０２の区切り位置となる。なお、第３の補正処理による補正は微小な補正であるため、図１４においては、第３の補正処理によって生じる補正の効果が図１３と比較して判りづらくなっている。   Referring to FIG. 13, the delimitation positions of selection ranges 1202 and 1302 after the second correction processing are shown as positions P1 and P2. The inclination range / angle detection unit 188 selects the position at which the histogram 1100 shown in FIG. 11 shows the lowest value in the ranges S1 and S2 in the row direction ± H / 3 centered on the separation positions P1 and P2 of the selection range. The delimiter positions P1 and P2 of the selection ranges 1202 and 1302 are corrected so as to be new delimiter positions of the ranges 1202 and 1302. FIG. 14 is a diagram illustrating a selection range after the third correction processing in the row image 600 and the tilted images 702A to 702F. Referring to FIG. 14, by the third correction process, separation positions P3 and P4 between the character string “walking” and the character string “subway” become separation positions of selection ranges 1202 and 1302. Since the correction by the third correction process is a minute correction, the effect of the correction generated by the third correction process is not easily understood in FIG. 14 compared to FIG.

第３の補正処理が終了すると、画像処理部１８は、行画像６００における傾斜文字の範囲及び傾斜角θの検知結果を文字認識部２０に対して通知する。   When the third correction process is completed, the image processing unit 18 notifies the character recognition unit 20 of the detection result of the range of inclined characters and the inclination angle θ in the line image 600.

文字認識部２０は、通知された傾斜文字の範囲及び傾斜角θの検知結果に基づいて、行画像６００に含まれる文字列が全て正立文字からなるように行画像６００を補正する。すなわち、文字認識部２０は、まず、傾斜文字の範囲及び傾斜角θの検知結果に基づいて、行画像６００の行方向中央に位置する「地下鉄・栄駅から徒歩」という文字列が傾斜文字の範囲であり、その傾斜角θが−２０°であることを理解する。そして、行画像６００の行方向中央に位置する「地下鉄・栄駅から徒歩」という文字列を、基準線に対して２０°反時計回りに傾斜させることで、行画像６００を補正する。図１５は、文字認識部２０による補正後の行画像１５００を示す図である。図１５を参照して、補正後の行画像１５００に含まれる文字列は、全て正立文字からなる。   The character recognition unit 20 corrects the line image 600 so that the character strings included in the line image 600 are all composed of upright characters based on the notified inclination character range and inclination angle θ detection result. That is, the character recognition unit 20 first determines that the character string “walk from subway / Sakae station” located in the center of the line image 600 in the line direction is the line of the inclined character based on the detection result of the inclined character range and the inclination angle θ. It is understood that the inclination angle θ is −20 °. Then, the line image 600 is corrected by inclining the character string “walking from the subway / Sakae station” located in the center of the line image 600 in the counterclockwise direction by 20 ° with respect to the reference line. FIG. 15 is a diagram showing a line image 1500 after correction by the character recognition unit 20. Referring to FIG. 15, the character strings included in the corrected line image 1500 are all made upright characters.

行画像６００の補正後、文字認識部２０は、補正後の行画像１５００における対象文字から文字のパターンを抽出し、抽出したパターンとＨＤＤ２２に記憶されるパターンＤＢとに基づいて対象文字の文字認識を行なう。   After correcting the line image 600, the character recognition unit 20 extracts a character pattern from the target character in the corrected line image 1500, and recognizes the character of the target character based on the extracted pattern and the pattern DB stored in the HDD 22. To do.

〈作用・効果〉
上記実施の形態によれば、画像処理装置１０は、少なくとも１つの行画像を含む画像に基づく画像データの入力を受付ける画像入力部１４と、入力された画像データに基づいて、二値化画像を生成する二値化処理部１８２と、二値化画像から、対象となる行画像６００を抽出する行抽出部１８４と、抽出された行画像６００における対応する部分が正立文字に属する可能性が高いか否かを示す評価値を、行画像６００を傾斜させたときの少なくとも１つ以上の傾斜角毎に算出する評価値算出部１８６と、評価値に基づいて、抽出された行画像６００に含まれる傾斜文字の範囲及び傾斜角を検知する傾斜範囲／角度検知部１８８と、を含み、評価値算出部１８６は、評価値を算出する際の基準となる基準位置Ｘを、抽出された行画像６００上でずらしながら、基準位置毎の評価値を順次算出する。 <Action and effect>
According to the above embodiment, the image processing apparatus 10 receives the input of image data based on an image including at least one row image, and the binarized image based on the input image data. There is a possibility that the binarization processing unit 182 to be generated, the line extraction unit 184 that extracts the target line image 600 from the binarized image, and the corresponding part in the extracted line image 600 may belong to an erect character. An evaluation value indicating whether or not the evaluation value is high is calculated for each of at least one inclination angle when the line image 600 is inclined, and the extracted row image 600 is based on the evaluation value. A tilt range / angle detector 188 that detects a range of tilted characters and a tilt angle, and the evaluation value calculation unit 186 extracts a reference position X that serves as a reference when calculating an evaluation value. On image 600 While Rashi, sequentially calculates an evaluation value for each reference position.

このように、評価値を算出する際の基準となる基準位置を行画像上でずらしながら基準位置毎の評価値を順次算出し、算出された評価値に基づいて傾斜文字の範囲及び傾斜角を検知するので、適切な傾きを検知しにくい文字に影響されることなく、正確な検知を行なうことができる。また、傾斜文字の範囲及び傾斜角を検知するために文字単位の切出しを行なう必要がないので、傾斜文字と正立文字との重なりが発生している場合においても、適切に傾斜文字の範囲を検知することができる。したがって、傾斜文字の範囲及びその傾斜角を正確に検知することができる。   In this way, the evaluation value for each reference position is sequentially calculated while shifting the reference position serving as the reference for calculating the evaluation value on the line image, and the range and the inclination angle of the inclined character are determined based on the calculated evaluation value. Since it is detected, accurate detection can be performed without being affected by characters that are difficult to detect an appropriate inclination. In addition, since it is not necessary to cut out character units in order to detect the range and the inclination angle of inclined characters, even if there is an overlap between inclined characters and upright characters, the range of inclined characters is appropriately set. Can be detected. Therefore, it is possible to accurately detect the range of the inclined character and its inclination angle.

また上記実施の形態によれば、少なくとも１つ以上の傾斜角は、０°を含む。すなわち、傾斜角が０°に対応する行画像６００に対しても、評価値が算出される。これによって、傾斜文字の範囲及びその傾斜角をより一層正確に検知することができる。   Further, according to the above-described embodiment, the at least one inclination angle includes 0 °. That is, an evaluation value is also calculated for the row image 600 corresponding to an inclination angle of 0 °. As a result, the range of the inclined character and its inclination angle can be detected more accurately.

また上記実施の形態によれば、傾斜範囲／角度検知部１８８は、抽出された行画像６００の高さ情報に基づいて、検知された傾斜文字の範囲を補正する。このように、傾斜文字の範囲が補正されるので、傾斜文字の範囲及び傾斜角をより一層正確に検知することができる。   Further, according to the above-described embodiment, the tilt range / angle detection unit 188 corrects the detected tilt character range based on the height information of the extracted line image 600. As described above, since the range of the inclined character is corrected, the range and the inclination angle of the inclined character can be detected more accurately.

また上記実施の形態によれば、傾斜範囲／角度検知部１８８は、傾斜文字の範囲の区切り位置を文字の区切り位置と一致させるように、検知された傾斜文字の範囲を補正する。このように、傾斜文字の範囲が補正されるので、傾斜文字の範囲及び傾斜角をより一層正確に検知することができる。   Further, according to the above embodiment, the tilt range / angle detection unit 188 corrects the detected tilt character range so that the tilt character range break position matches the character break position. As described above, since the range of the inclined character is corrected, the range and the inclination angle of the inclined character can be detected more accurately.

また上記実施の形態によれば、傾斜範囲／角度検知部１８８は、抽出された行画像における行方向に対して垂直方向の黒画素のヒストグラムを生成し、生成したヒストグラムに基づいて、検知された傾斜文字の範囲を補正する。このように、ヒストグラムに基づいて傾斜文字の範囲が補正されるので、傾斜文字の範囲及び傾斜角をさらに正確に検知することができる。   Further, according to the above embodiment, the tilt range / angle detection unit 188 generates a histogram of black pixels in the direction perpendicular to the row direction in the extracted row image, and is detected based on the generated histogram. Correct the range of slant characters. As described above, since the range of the inclined character is corrected based on the histogram, the range of the inclined character and the inclination angle can be detected more accurately.

また上記実施の形態によれば、評価値算出部１８６は、抽出された行画像６００に基づいて、少なくとも１つ以上の傾斜角に対応する傾斜画像７０２を生成し、基準位置を、抽出された行画像６００及び生成された傾斜画像７０２上でずらしながら、基準位置毎の評価値を、少なくとも１つ以上の傾斜角毎に順次算出する。このように、評価値を、抽出された行画像６００及び生成された傾斜画像７０２を利用して求めるので、評価値をより一層容易に算出することができる。   Further, according to the embodiment, the evaluation value calculation unit 186 generates the tilt image 702 corresponding to at least one tilt angle based on the extracted row image 600, and the reference position is extracted. Evaluation values for each reference position are sequentially calculated for each of at least one inclination angle while shifting on the row image 600 and the generated inclination image 702. As described above, the evaluation value is obtained using the extracted row image 600 and the generated inclined image 702, so that the evaluation value can be calculated more easily.

また上記実施の形態によれば、評価値は、基準位置を中心とする行方向の幅を有する所定範囲（スコープ）内における、行方向に対して垂直方向の黒画素の分散値に基づいて求められる。これによって、行画像における対応する部分が正立文字に属する可能性が高いか否かを正確に判断できるようになるので、傾斜文字の範囲及び傾斜角をより一層正確に検知することができるようになる。   Further, according to the embodiment, the evaluation value is obtained based on the dispersion value of the black pixels in the vertical direction with respect to the row direction within a predetermined range (scope) having a width in the row direction centered on the reference position. It is done. As a result, it is possible to accurately determine whether or not the corresponding portion of the line image is likely to belong to an upright character, so that the range and the inclination angle of the inclined character can be detected more accurately. become.

また上記実施の形態によれば、所定範囲（スコープ）の行方向の幅は、抽出された行画像６００の高さの２倍から４倍に設定される。これによって、傾斜文字の範囲及び傾斜角を検知するのにより一層適した評価値を算出できるので、傾斜文字の範囲及び傾斜角をさらに正確に検知することができる。   Further, according to the embodiment, the width in the row direction of the predetermined range (scope) is set to 2 to 4 times the height of the extracted row image 600. As a result, an evaluation value more suitable for detecting the range and the inclination angle of the inclined character can be calculated, so that the range and the inclination angle of the inclined character can be detected more accurately.

［変形例］
なお、上記実施の形態において、評価値算出部１８６は、傾斜画像７０２を生成し、傾斜前の行画像６００及び傾斜画像７０２に対して評価値の算出を行なったが、本発明はそのような実施の形態に限定されない。例えば、評価値算出部１８６は、基準位置Ｘを中心とする行方向の幅を有する所定範囲（スコープ）を、少なくとも１つ以上の傾斜角θに対応するように変形させ、評価値を、変形された所定範囲内における、行方向に対して少なくとも１つ以上の傾斜角に対応する方向の黒画素の分散値に基づいて求めてもよい。 [Modification]
In the above embodiment, the evaluation value calculation unit 186 generates the tilt image 702 and calculates the evaluation value for the row image 600 and the tilt image 702 before the tilt. The present invention is not limited to the embodiment. For example, the evaluation value calculation unit 186 deforms a predetermined range (scope) having a width in the row direction around the reference position X so as to correspond to at least one inclination angle θ, and transforms the evaluation value. It may be obtained based on a dispersion value of black pixels in a direction corresponding to at least one inclination angle with respect to the row direction within the predetermined range.

図１６は、変形されたスコープ１６００の一例を示す図である。図１６を参照して、評価値算出部１８６は、スコープ１６００を、少なくとも１つ以上の傾斜角θに対応するように変形させる。そして、評価値を、基準位置Ｘを中心とする行方向の幅を有するスコープ１６００内における、行方向に対して傾斜角θだけ傾けた方向Ｙの黒画素の分散値に基づいて上記式（１）を用いて求める。このように、評価値を、変形された所定範囲を利用して求めるので、傾斜画像７０２を生成することなく評価値を求めることができるようになり、評価値をより一層容易に算出することができる。   FIG. 16 is a diagram illustrating an example of a modified scope 1600. Referring to FIG. 16, evaluation value calculation unit 186 deforms scope 1600 so as to correspond to at least one inclination angle θ. The evaluation value is based on the dispersion value of the black pixels in the direction Y inclined by the inclination angle θ with respect to the row direction in the scope 1600 having a width in the row direction with the reference position X as the center. ). As described above, since the evaluation value is obtained using the modified predetermined range, the evaluation value can be obtained without generating the inclined image 702, and the evaluation value can be calculated more easily. it can.

また上記実施の形態において、入力装置１４８と画像処理装置１０とは別個に構成されたが、本発明はそのような実施の形態に限定されない。例えば、入力装置１４８が画像処理装置１０に組込まれて一体化されていてもよい。   In the above embodiment, the input device 148 and the image processing device 10 are configured separately, but the present invention is not limited to such an embodiment. For example, the input device 148 may be integrated into the image processing apparatus 10.

また上記実施の形態において、入力装置１４８又はネットワーク１４６上の外部装置からの画像データの入力は有線を介して行なわれたが、本発明はそのような実施の形態に限定されず、無線を介して行なわれてもよい。
また上記実施の形態において、文字認識部２０は、補正後の行画像１５００における対象文字の文字認識を行なったが本発明はそのような実施の形態に限定されない。例えば、文字認識部２０は、補正後の行画像１５００に基づいて、文書画像の天地方向を判定してもよい。 In the above embodiment, the input of image data from the input device 148 or the external device on the network 146 is performed via a wire. However, the present invention is not limited to such an embodiment, and the image data is wirelessly transmitted. May be performed.
Moreover, in the said embodiment, although the character recognition part 20 performed the character recognition of the object character in the line image 1500 after correction | amendment, this invention is not limited to such embodiment. For example, the character recognition unit 20 may determine the top / bottom direction of the document image based on the corrected line image 1500.

今回開示された実施の形態は単に例示であって、この発明が上記した実施の形態のみに制限されるわけではない。この発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。   The embodiment disclosed this time is merely an example, and the present invention is not limited to the embodiment described above. The scope of the present invention is indicated by each claim in the scope of claims after taking into account the description of the detailed description of the invention, and all modifications within the meaning and scope equivalent to the wording described therein are included. Including.

１０ 画像処理装置
１２ 制御部
１４ 画像入力部
１６ 画像メモリ
１８ 画像処理部
２０ 文字認識部
２２ ＨＤＤ
２４ 表示部
２６ 操作部
１４６ ネットワーク
１４８ 入力装置
１８２ 二値化処理部
１８４ 行抽出部
１８６ 評価値算出部
１８８ 傾斜範囲／角度検知部 DESCRIPTION OF SYMBOLS 10 Image processing apparatus 12 Control part 14 Image input part 16 Image memory 18 Image processing part 20 Character recognition part 22 HDD
24 Display Unit 26 Operation Unit 146 Network 148 Input Device 182 Binarization Processing Unit 184 Line Extraction Unit 186 Evaluation Value Calculation Unit 188 Inclination Range / Angle Detection Unit

Claims (7)

少なくとも１つの行画像を含む画像に基づく画像データの入力を受付ける受付手段と、
前記入力された画像データに基づいて、二値化画像を生成する二値化手段と、
前記二値化画像から、対象となる行画像を抽出する抽出手段と、
前記抽出された行画像における対応する部分が正立文字に属する可能性が高いか否かを示す評価値を、前記行画像を傾斜させたときの複数の傾斜角毎に算出する評価値算出手段と、
前記評価値に基づいて、前記抽出された行画像に含まれる傾斜文字の範囲及び傾斜角を検知する検知手段と、
前記抽出された行画像の高さ情報に基づいて、前記検知された傾斜文字の範囲を補正する補正手段と、を含み、
前記評価値算出手段は、前記評価値を算出する際の基準となる基準位置を、前記抽出された行画像上でずらしながら、前記基準位置毎の評価値を順次算出する、画像処理装置。 Receiving means for receiving input of image data based on an image including at least one row image;
Binarization means for generating a binarized image based on the input image data;
Extracting means for extracting a target row image from the binarized image;
Evaluation value calculating means for calculating, for each of a plurality of inclination angles when the line image is inclined, an evaluation value indicating whether or not the corresponding part in the extracted line image is likely to belong to an erect character. When,
Detecting means for detecting a range and an inclination angle of an inclined character included in the extracted line image based on the evaluation value ;
Correcting means for correcting the range of the detected inclined character based on the height information of the extracted line image ,
The image processing apparatus, wherein the evaluation value calculation means sequentially calculates evaluation values for each reference position while shifting a reference position serving as a reference for calculating the evaluation value on the extracted row image. 少なくとも１つの行画像を含む画像に基づく画像データの入力を受付ける受付手段と、
前記入力された画像データに基づいて、二値化画像を生成する二値化手段と、
前記二値化画像から、対象となる行画像を抽出する抽出手段と、
前記抽出された行画像における対応する部分が正立文字に属する可能性が高いか否かを示す評価値を、前記行画像を傾斜させたときの複数の傾斜角毎に算出する評価値算出手段と、
前記評価値に基づいて、前記抽出された行画像に含まれる傾斜文字の範囲及び傾斜角を検知する検知手段と、
前記傾斜文字の範囲の区切り位置を文字の区切り位置と一致させるように、前記検知された傾斜文字の範囲を補正する区切り位置補正手段と、を含み、
前記評価値算出手段は、前記評価値を算出する際の基準となる基準位置を、前記抽出された行画像上でずらしながら、前記基準位置毎の評価値を順次算出する、画像処理装置。 Receiving means for receiving input of image data based on an image including at least one row image;
Binarization means for generating a binarized image based on the input image data;
Extracting means for extracting a target row image from the binarized image;
Evaluation value calculating means for calculating, for each of a plurality of inclination angles when the line image is inclined, an evaluation value indicating whether or not the corresponding part in the extracted line image is likely to belong to an erect character. When,
Detecting means for detecting a range and an inclination angle of an inclined character included in the extracted line image based on the evaluation value ;
Delimiter position correcting means for correcting the detected range of inclined characters so as to match the delimiter position of the range of inclined characters with the delimiter position of characters ,
The image processing apparatus, wherein the evaluation value calculation means sequentially calculates evaluation values for each reference position while shifting a reference position serving as a reference for calculating the evaluation value on the extracted row image. 少なくとも１つの行画像を含む画像に基づく画像データの入力を受付ける受付手段と、
前記入力された画像データに基づいて、二値化画像を生成する二値化手段と、
前記二値化画像から、対象となる行画像を抽出する抽出手段と、
前記抽出された行画像における対応する部分が正立文字に属する可能性が高いか否かを示す評価値を、前記行画像を傾斜させたときの複数の傾斜角毎に算出する評価値算出手段と、
前記評価値に基づいて、前記抽出された行画像に含まれる傾斜文字の範囲及び傾斜角を検知する検知手段と、を含み、
前記評価値算出手段は、前記抽出された行画像に基づいて、前記複数の傾斜角に対応する傾斜画像を生成する傾斜画像生成手段を含み、かつ、前記評価値を算出する際の基準となる基準位置を、前記抽出された行画像及び前記生成された傾斜画像上でずらしながら、前記基準位置毎の評価値を、前記複数の傾斜角毎に順次算出し、
前記評価値は、前記基準位置を中心とする行方向の幅を有する所定範囲内における、行方向に対して垂直方向の文字部分を構成する画素の分散値に基づいて求められ、
前記所定範囲の行方向の幅は、前記抽出された行画像の高さの２倍から４倍に設定される、画像処理装置。 Receiving means for receiving input of image data based on an image including at least one row image;
Binarization means for generating a binarized image based on the input image data;
Extracting means for extracting a target row image from the binarized image;
Evaluation value calculating means for calculating, for each of a plurality of inclination angles when the line image is inclined, an evaluation value indicating whether or not the corresponding part in the extracted line image is likely to belong to an erect character. When,
Detecting means for detecting a range and an inclination angle of an inclined character included in the extracted line image based on the evaluation value;
The evaluation value calculation means includes inclination image generation means for generating inclination images corresponding to the plurality of inclination angles based on the extracted row images, and serves as a reference for calculating the evaluation values. While shifting the reference position on the extracted row image and the generated tilt image, the evaluation value for each reference position is sequentially calculated for each of the plurality of tilt angles,
The evaluation value is obtained based on a variance value of pixels constituting a character portion perpendicular to the row direction within a predetermined range having a width in the row direction centered on the reference position,
The width of the predetermined range in the row direction is set to 2 to 4 times the height of the extracted row image . 少なくとも１つの行画像を含む画像に基づく画像データの入力を受付ける受付手段と、
前記入力された画像データに基づいて、二値化画像を生成する二値化手段と、
前記二値化画像から、対象となる行画像を抽出する抽出手段と、
前記抽出された行画像における対応する部分が正立文字に属する可能性が高いか否かを示す評価値を、前記行画像を傾斜させたときの複数の傾斜角毎に算出する評価値算出手段と、
前記評価値に基づいて、前記抽出された行画像に含まれる傾斜文字の範囲及び傾斜角を検知する検知手段と、を含み、
前記評価値算出手段は、前記評価値を算出する際の基準となる基準位置を中心とする行方向の幅を有する所定範囲を、前記複数の傾斜角に対応するように変形させる変形手段を含み、かつ、前記基準位置を、前記抽出された行画像上でずらしながら、前記基準位置毎の評価値を順次算出し、
前記評価値は、前記変形された所定範囲内における、行方向に対して前記複数の傾斜角に対応する方向の文字部分を構成する画素の分散値に基づいて求められる、画像処理装置。 Receiving means for receiving input of image data based on an image including at least one row image;
Binarization means for generating a binarized image based on the input image data;
Extracting means for extracting a target row image from the binarized image;
Evaluation value calculating means for calculating, for each of a plurality of inclination angles when the line image is inclined, an evaluation value indicating whether or not the corresponding part in the extracted line image is likely to belong to an erect character. When,
Detecting means for detecting a range and an inclination angle of an inclined character included in the extracted line image based on the evaluation value;
The evaluation value calculation means includes a deformation means for deforming a predetermined range having a width in a row direction centering on a reference position serving as a reference when calculating the evaluation value so as to correspond to the plurality of inclination angles. And while sequentially shifting the reference position on the extracted row image, the evaluation value for each reference position is calculated sequentially,
The image processing apparatus , wherein the evaluation value is obtained based on a variance value of pixels constituting a character portion in a direction corresponding to the plurality of inclination angles with respect to a row direction within the deformed predetermined range . 前記抽出された行画像の高さ情報に基づいて、前記検知された傾斜文字の範囲を補正する補正手段をさらに含む、請求項２〜請求項４のいずれか１つに記載の画像処理装置。 5. The image processing apparatus according to claim 2 , further comprising a correction unit that corrects a range of the detected inclined character based on height information of the extracted line image. 6. 少なくとも１つの行画像を含む画像に基づく画像データの入力を受付ける受付ステップと、
前記入力された画像データに基づいて、二値化画像を生成する二値化ステップと、
前記二値化画像から、対象となる行画像を抽出する抽出ステップと、
前記抽出された行画像における対応する部分が正立文字に属する可能性が高いか否かを示す評価値を、前記行画像を傾斜させたときの複数の傾斜角毎に算出する評価値算出ステップと、
前記評価値に基づいて、前記抽出された行画像に含まれる傾斜文字の範囲及び傾斜角を検知する検知ステップと、
前記抽出された行画像の高さ情報に基づいて、前記検知された傾斜文字の範囲を補正する補正ステップと、を含み、
前記評価値算出ステップでは、前記評価値を算出する際の基準となる基準位置を、前記抽出された行画像上でずらしながら、前記基準位置毎の評価値を順次算出する、画像処理方法。 An accepting step of accepting input of image data based on an image including at least one row image;
A binarization step for generating a binarized image based on the input image data;
An extraction step of extracting a target row image from the binarized image;
An evaluation value calculation step of calculating an evaluation value indicating whether or not a corresponding portion in the extracted line image is likely to belong to an erecting character for each of a plurality of inclination angles when the line image is inclined. When,
A detection step of detecting a range and an inclination angle of an inclined character included in the extracted line image based on the evaluation value ;
A correction step of correcting a range of the detected inclined character based on height information of the extracted line image ,
In the evaluation value calculation step, an evaluation value for each reference position is sequentially calculated while shifting a reference position serving as a reference for calculating the evaluation value on the extracted row image. コンピュータを、
少なくとも１つの行画像を含む画像に基づく画像データの入力を受付ける受付手段と、
前記入力された画像データに基づいて、二値化画像を生成する二値化手段と、
前記二値化画像から、対象となる行画像を抽出する抽出手段と、
前記抽出された行画像における対応する部分が正立文字に属する可能性が高いか否かを示す評価値を、前記行画像を傾斜させたときの複数の傾斜角毎に算出する評価値算出手段と、
前記評価値に基づいて、前記抽出された行画像に含まれる傾斜文字の範囲及び傾斜角を検知する検知手段と、
前記抽出された行画像の高さ情報に基づいて、前記検知された傾斜文字の範囲を補正する補正手段と、を含み、
前記評価値算出手段は、前記評価値を算出する際の基準となる基準位置を、前記抽出された行画像上でずらしながら、前記基準位置毎の評価値を順次算出する画像処理装置として機能させる、コンピュータプログラム。
Computer
Receiving means for receiving input of image data based on an image including at least one row image;
Binarization means for generating a binarized image based on the input image data;
Extracting means for extracting a target row image from the binarized image;
Evaluation value calculating means for calculating, for each of a plurality of inclination angles when the line image is inclined, an evaluation value indicating whether or not the corresponding part in the extracted line image is likely to belong to an erect character. When,
Detecting means for detecting a range and an inclination angle of an inclined character included in the extracted line image based on the evaluation value ;
Correcting means for correcting the range of the detected inclined character based on the height information of the extracted line image ,
The evaluation value calculation means functions as an image processing device that sequentially calculates evaluation values for each reference position while shifting a reference position serving as a reference for calculating the evaluation value on the extracted row image. , Computer program.

Images