WO2011074067A1 - 文字認識方法、文字認識装置および文字認識プログラム - Google Patents

文字認識方法、文字認識装置および文字認識プログラム Download PDF

Info

Publication number
WO2011074067A1
WO2011074067A1 PCT/JP2009/070886 JP2009070886W WO2011074067A1 WO 2011074067 A1 WO2011074067 A1 WO 2011074067A1 JP 2009070886 W JP2009070886 W JP 2009070886W WO 2011074067 A1 WO2011074067 A1 WO 2011074067A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
type
handwriting
image
score
Prior art date
Application number
PCT/JP2009/070886
Other languages
English (en)
French (fr)
Inventor
靖之 工藤
将平 長谷川
真一 江口
Original Assignee
富士通フロンテック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通フロンテック株式会社 filed Critical 富士通フロンテック株式会社
Priority to EP09852261.8A priority Critical patent/EP2515257A4/en
Priority to JP2011545873A priority patent/JP5363591B2/ja
Priority to PCT/JP2009/070886 priority patent/WO2011074067A1/ja
Publication of WO2011074067A1 publication Critical patent/WO2011074067A1/ja
Priority to US13/472,065 priority patent/US8588520B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18105—Extraction of features or characteristics of the image related to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/2455—Discrimination between machine-print, hand-print and cursive writing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • the present invention relates to a character recognition method, a character recognition device, and a character recognition program, and more particularly to a character recognition method, a character recognition device, and a character recognition program for discriminating characters printed on forms used in financial institutions and the like and characters entered by handwriting. About.
  • a character recognition device that recognizes characters on a form is used to automate the input of characters printed and entered on the form.
  • this character recognition device in order to improve the accuracy of character recognition, a definition body that defines in what order the headings to be printed on the form and the corresponding data are written in what order is created in advance. The character string is recognized based on the definition information.
  • the form includes type characters printed in advance and handwritten characters written by the user, and the definition body is set to indicate whether the character recognition target item is handwritten or typed.
  • the character recognition device refers to the definition body, uses the handwriting character recognition engine if the character recognition target item is set to handwriting, and sets the character recognition engine for printing if the character setting is set. Use to recognize characters.
  • the character string is extracted from the image data of the document, the center position in the height direction of each character is calculated, whether the handwritten character or the printed character is determined based on the regularity of the center position, and character recognition is performed based on the determination result.
  • a method of performing this has been proposed (see, for example, Patent Document 1).
  • Patent Document 1 the regularity of the center position varies when the character string includes a cloud point or a roar. For this reason, there is also known a method of extracting characters from a character string without including mazes and stuttering, and determining whether the characters are handwritten characters or printed characters from the regularity of the center positions of all extracted characters (for example, Patent Documents). 2).
  • As the feature amount density uniformity, pixel value variation, character stroke linearity, character height, width uniformity, character line width uniformity, and the like are used.
  • any of the conventional character recognition methods it is determined only whether the character string of the character recognition target item is a handwritten character or a printed character. For this reason, even in a method of performing character recognition using a definition body, it is impossible to deal with a character recognition target item in which both handwritten and typed characters may be entered. Therefore, at the time of character recognition, since both the handwriting and the print type character recognition engines are called, there is a problem that processing time is required.
  • the present invention has been made in view of the above points, and has improved the accuracy of handwriting / type discrimination in character recognition processing, shortening the processing time by character recognition, and improving the character recognition accuracy, and the character
  • An object is to provide a recognition device and a character recognition program.
  • an item to be recognized is specified from the image data of the form. Calculating the position and size of the image character of the identified recognition target item, analyzing the characteristics of the handwriting and type of the image character, calculating the score of the probability of handwriting or type, and calculating the score based on the score. Whether the image character is handwritten or typed, calculates the average score of each character in the recognition target item to check the mixture of handwritten and typed, and whether the character of each recognition target item is handwritten or typed Character recognition is performed using a character recognition engine in accordance with a determination result and a mixed handwriting and mixed character check result.
  • a first score obtained by analyzing the gradation distribution of the di-character and quantifying the probability of handwriting or type is calculated, and a second score obtained by analyzing the character color of the image character and quantifying the probability of hand-writing or type Calculating the ratio of the gradation of the inflection point at which the character stroke changes from the character stroke extracted from the image character and the gradation of the character stroke other than the inflection point to determine the certainty of handwriting or type
  • a third score that is digitized is calculated, and a fourth score is calculated by analyzing the character stroke edge strength representing the intensity of the change in shading at the boundary between the character stroke and the background, and quantifying the probability of handwriting or type.
  • the fifth score is calculated by analyzing the vertical size and center position of the character from the position and size of the image character to quantify the probability of handwriting or type. Analyzing the character size and pitch from the position and size of the image character to calculate a sixth score obtained by quantifying the probability of handwriting or type, and determining whether the image character is handwritten or type, There is provided a character recognition method characterized in that the first to sixth scores are summed up in consideration of weights set in accordance with their importance.
  • the gradation distribution of the image character of the recognition target item specified from the image data of the form is analyzed to check whether the handwritten or printed character is correct.
  • a tone distribution analysis unit that calculates a first score that quantifies the likelihood; a character color analysis unit that calculates a second score that analyzes the character color of the image character to quantify the likelihood of handwriting or type;
  • the ratio of the inflection point gradation at which the character stroke changes from the character stroke extracted from the image character and the gradation of the character stroke other than the inflection point are analyzed to quantify the probability of handwriting or type.
  • Character stroke gradation ratio analysis unit for calculating a score, and a character stroke edge strength representing the intensity of shade change at the boundary between the character stroke and the background
  • a character stroke edge strength analysis unit that calculates a fourth score obtained by quantifying the probability of handwriting or type by analyzing, and analyzing the vertical size and center position of the character from the position and size of the image character
  • a character size / center position analysis unit for calculating a fifth score in which the probability is quantified, and a sixth score in which the character size and pitch are analyzed from the position and size of the image character to quantify the probability of handwriting or type
  • a character size / pitch analysis unit for calculating the handwriting
  • a handwriting / printing mixed checking unit for calculating an average value of the first to sixth scores of each character in the recognition target item and checking a mixture of handwriting and type A total score obtained by counting the first to sixth scores in consideration of weights set according to importance, and the handwriting Based on the check result by the mixed character check unit, the handwriting / printing discriminating unit that
  • a character recognition program for causing a computer to execute a process for discriminating between handwritten characters and printed characters on a form, and the computer is configured to recognize items from image data of the form. Identifying the position and size of the image character of the identified recognition target item, analyzing the gradation distribution of the image character to calculate a first score that quantifies the probability of handwriting or type, A second score obtained by analyzing the character color of the image character to quantify the probability of handwriting or type is calculated, and the gradation and inflection of the inflection point where the character stroke changes from the character stroke extracted from the image character A third score is calculated by analyzing a ratio with the gradation of a character stroke other than a point, and quantifying the probability of handwriting or type.
  • a fourth score is calculated by analyzing the character stroke edge intensity representing the intensity of the change in shading at the boundary between the roke and the background, and quantifying the probability of handwriting or type, and from the position and size of the image character, Analyzing the size and center position to calculate the 5th score that digitizes the likelihood of handwriting or type, and analyzing the character size and pitch from the position and size of the image character to quantify the probability of handwriting or type
  • the sixth score is calculated, and the first to sixth scores are counted in consideration of the weight set according to the importance, thereby determining whether the image character is a handwritten character or a printed character. Calculates the average score of each character, checks for mixed handwriting and type, and determines whether each recognition target character is handwritten or typed. And handwriting and in accordance with the printing type of the mixed results of the check performed for character recognition, the character recognition program for causing to execute a process is provided.
  • a character recognition method a character recognition device, and a character recognition program
  • a combination of a plurality of analysis results and determination of handwriting or type by a mixed handwriting and type check are performed, and a character recognition engine corresponding to the determination result
  • the processing time for character recognition is shortened and the character recognition accuracy is improved.
  • the character recognition method, the character recognition device, and the character recognition program configured as described above determine whether the character described in the character recognition item is handwritten or printed by combining a plurality of analyzes, the accuracy of the determination is increased.
  • the handwritten character can be recognized as a handwritten character, and the typed character can be recognized as a typed character, thereby improving the character recognition accuracy.
  • handwriting / type determination is performed for each character, so that handwritten characters can be recognized as handwritten characters and type characters can be recognized as type characters. Character recognition accuracy is improved.
  • a handwritten character string can be excluded from the headline extraction target by utilizing the function of the handwriting / type discrimination unit. This leads to an improvement in the performance of the process of extracting the headline.
  • a transfer request document used in a financial institution or the like is used as a target form, and a device that recognizes a character string printed and handwritten on the transfer request document The case where this is applied will be described in detail with reference to the drawings.
  • FIG. 1 is a block diagram showing a character recognition apparatus according to an embodiment of the present invention.
  • the character recognition device 10 includes a control unit 11 that controls the entire device, and a scanner control unit 12, a character recognition position specifying unit 13, a handwriting / type discrimination unit 14 and a recognition result display unit 15 are connected to the control unit 11.
  • the handwriting / type discrimination unit 14 is connected to a character recognition processing unit 16, and the character recognition processing unit 16 is associated with a handwritten character recognition dictionary 17 and a type character recognition dictionary 18 referred to in the character recognition processing. Yes.
  • the handwriting / type discrimination unit 14 is an element having a function of discriminating whether the character of the recognition target item is handwritten or type. Based on the discrimination result, the character recognition processing unit 16 selects an appropriate character recognition engine. Character recognition processing using is possible. That is, the handwriting / type discrimination unit 14 includes a tone distribution analysis unit 19, a character color analysis unit 20, a character stroke tone ratio analysis unit 21, a character stroke edge strength analysis unit 22, and a character size / center position. An analysis unit 23, a character size / pitch analysis unit 24, and a handwritten / printed mixed check unit 25 are provided.
  • the gradation distribution analysis unit 19 uses characteristics that tend to have a large density distribution in the case of handwritten characters whose density distribution is small for prints with a constant print density and whose density is not constant due to writing pressure. Yes.
  • the gradation distribution analysis unit 19 calculates a score (first score) obtained by quantifying the probability of handwriting or type from the analysis result.
  • the character color analysis unit 20 calculates a score (second score) obtained by quantifying the probability of handwriting or type depending on whether the character is an achromatic color or a chromatic color from the analysis result.
  • the character stroke gradation ratio analysis unit 21 is seen in a type in which the character density at the inflection point increases because the writing speed decreases at the point where the character stroke changes (inflection point). Features that tend not to be used for analysis.
  • the character stroke gradation ratio analysis unit 21 analyzes the ratio between the gradation of the character stroke and the gradation of the inflection point, and calculates a score (third score) obtained by quantifying the probability of handwriting or type.
  • the character stroke edge strength analysis unit 22 is characterized in that the edge strength (strength change strength) at the boundary between the printed character and the background is high in the case of printed characters, and the edge strength is weak in the case of handwritten characters. Is used for analysis.
  • the character stroke edge strength analysis unit 22 analyzes the strength of the edge and calculates a score (fourth score) obtained by digitizing the probability of handwriting or type.
  • the character size / center position analysis unit 23 analyzes the vertical size and center position of the character. That is, the character size entered in the form is printed with a certain vertical width in the case of printed characters, but the vertical width varies in the case of handwriting. As for the character entry position, the type is printed at a certain center position, but handwriting cannot be entered at a certain position like the type, so the center position varies. The character size / center position analysis unit 23 uses such tending characteristics for analysis, and calculates a score (fifth score) obtained by quantifying the probability of handwriting or type.
  • the character size / pitch analysis unit 24 has a function to compensate for determining that characters smaller than usual such as stuttering are variations in the analysis by the character size / center position analysis unit 23.
  • the character size / pitch analysis unit 24 determines that the character determined to be a variation between the same type of characters is likely to be a type, and obtains a score (sixth score) obtained by quantifying the probability of handwriting or type. calculate.
  • the handwriting / printing mixed check unit 25 checks whether or not the character string in the recognition target item includes both handwritten characters and printed characters. Thereby, even if it is a character in the same recognition object item, if a handwritten character and a printed character are mixed, the character recognition process part 16 will use the character recognition engine suitable for character recognition processing for every character. It becomes possible.
  • the handwriting / printing type discriminating unit 14 calculates a total score obtained by counting the first to sixth scores calculated by the respective analyzing units in consideration of weights according to importance, and a check result by the handwriting / printing mixed checking unit 25. Based on this, it is determined whether the image character is handwritten or printed.
  • FIG. 2 is a flowchart showing the overall flow of character recognition processing
  • FIG. 3 is a diagram showing an example of a form to be recognized
  • FIG. 4 is a diagram showing a state in which a part to be character recognition is specified from a form image
  • FIG. 5 is a diagram illustrating an example of weights attached to each score in the score totaling process.
  • the character recognition device 10 first inputs an image of a form read by the scanner by the scanner control unit 12 (step S1). As shown in FIG. 2, the form to be read is, for example, a transfer request form. Character strings other than the title are printed and handwritten in a ruled line frame.
  • the control unit 11 of the character recognition device 10 specifies a location for character recognition from the form image (step S2).
  • the recognition target portion can be a ruled line frame that is an area in the ruled line frame and does not include a heading character. In FIG. This is indicated by a bold frame.
  • the control unit 11 performs a labeling process or the like for cutting out image characters from the image of the identified recognition target portion, specifies the position and size of the image characters (step S3), and passes them to the handwriting / type discrimination unit 14. .
  • the gradation distribution analysis unit 19 analyzes the distribution of gradation values representing the density of characters, and calculates a first score of a value corresponding to the degree of gradation distribution (step) S4), the character color analysis unit 20 analyzes the color of the character and calculates a second score having a value corresponding to the character color (step S5).
  • the character stroke gradation ratio analysis unit 21 analyzes the ratio between the gradation of the character stroke and the gradation of the inflection point at which the character stroke changes, and calculates a third score corresponding to the magnitude of the ratio.
  • the character stroke edge strength analysis unit 22 analyzes the edge strength indicating the change in shading of the character stroke edge, and calculates a fourth score corresponding to the blur of the character stroke edge (Step S7).
  • the character size / center position analysis unit 23 analyzes the vertical size and center position of the character, calculates a fifth score according to the variation (step S8), and the character size / pitch analysis unit 24 recognizes it. Comparison of the vertical size of the target character and the adjacent characters and the character pitch size of the adjacent characters are analyzed, and a sixth score corresponding to a specific condition is calculated with respect to the vertical size and pitch of the character (step S9). ).
  • the handwriting / type discrimination unit 14 aggregates the first to sixth scores calculated as described above, and discriminates whether the recognition target character is a handwritten character or a type character (step S10).
  • the first to sixth scores are weighted according to their importance as shown in FIG. In the example of FIG. 5, the first score and the fifth score indicate the highest importance related to the handwriting / type discrimination process.
  • the total score is calculated by the sum of values obtained by multiplying the first to sixth scores by the corresponding weights.
  • the first to sixth scores calculated in each analysis process are quantified as ⁇ 50 to +50 according to the likelihood of handwriting or type. Whether it is handwritten or typed is based on 0, and when the total score is a positive number, it is determined as a typed character, and when it is a negative number, it is determined as a handwritten character.
  • the handwriting / printing mixed check unit 25 checks whether handwritten characters and printed characters are mixed in the character string in the recognition target item (step S11).
  • the character recognition processing unit 16 uses the handwritten character recognition dictionary 17 or the character recognition dictionary 18 based on the determination result in the handwriting / printing determination unit 14 and the check result in the handwriting / printing mixed check unit 25.
  • a recognition process is performed (step S12), and a character recognition result is notified to a device that performs, for example, a transfer process (step S13).
  • FIG. 6 is a flowchart showing the flow of handwritten type analysis processing based on gradation distribution
  • FIG. 7 is a diagram for explaining gradation distribution analysis processing
  • (A) shows a histogram of gradation values of handwritten characters
  • (B ) Shows a histogram of gradation values of type characters.
  • the gradation distribution analysis unit 19 creates a gray image from the image of the image character whose position and size are specified in the character recognition target item (step S21), and the character of the character obtained by excluding the background pixels from the gray image. For example, a histogram of the number of pixels (gradation value) when the pixels are scanned one by one is created (step S22). Next, the half width is calculated from the created histogram (step S23), and the first score is calculated using the threshold of the half width (step S24). This process is performed individually for all characters in the character recognition target item.
  • the gradation value is dispersed and the distribution is widened.
  • the half-value width of the gradation value distribution is also large and larger than the threshold value.
  • the half-value width represents a width that is set so as to take half of the pixels by excluding background pixels from the histogram and scanning left and right from the point where the number of pixels is maximum in the remaining histograms.
  • a negative number generated based on a value obtained by calculating the difference between the half width and the threshold value is set as the first score.
  • FIG. 8 is a flowchart showing the flow of handwritten type analysis processing by character color
  • FIG. 9 is a diagram for explaining character color analysis processing
  • (A) shows a histogram of saturation of handwritten characters
  • (B) shows handwriting A lightness histogram of characters is shown
  • (C) shows a histogram of the saturation of type characters
  • (D) shows a histogram of the lightness of type characters.
  • the character color analyzing unit 20 converts an image character image whose position and size are specified in the character recognition target item into an HSV color space composed of components of hue (H), saturation (S), and lightness (V). (Step S31). Next, histograms for saturation (S) and lightness (V) are created to obtain respective distributions (step S32), and the presence / absence of a character color is calculated from the distribution of saturation (S) and lightness (V). (Step S33).
  • the saturation distribution value uses a brighter color as the numerical value increases, and if a brighter color is not used, The degree is concentrated around zero.
  • the lightness distribution value uses a brighter color as the numerical value increases, and is 0 when a brighter color is not used. Lightness is distributed to close positions.
  • a threshold value is set for each of the saturation distribution value and the lightness distribution value.
  • the saturation distribution value is smaller than the threshold value and the lightness distribution value is smaller than the threshold value, it can be determined that the color is achromatic.
  • both the saturation distribution value and the lightness distribution value are larger than the threshold value, it can be determined that the color is chromatic.
  • step S34 After calculating the character color in the process of step S33, it is determined whether or not the character color is an achromatic color (step S34). If the character color is an achromatic color, the second score is set to -50, and a hue histogram is not created. (Step S35). If the character color is not an achromatic color, +50 is set to the second score (step S36).
  • a process for determining that the color is blue is added. That is, if the saturation distribution value and the lightness distribution value are larger than the threshold values and it is determined in step S34 that the color is not an achromatic color, a hue (H) histogram is created and the used color is determined.
  • the hue (H) histogram represents the color distribution used in the image.
  • the background pixels are excluded from the hue (H) histogram, and the proportion of pixels in the blue region among the total pixels in the remaining histogram is calculated. If the threshold value of the ratio of pixels existing in the blue region is set and the ratio exceeds the threshold value, it is determined that the character is blue.
  • the score in this case is the difference between the ratio of pixels existing in the blue region and the threshold value, and a numerical value created based on the difference is set as the second score.
  • FIG. 10 is a flowchart showing the flow of handwritten type analysis processing by character strokes
  • FIG. 11 is a diagram for explaining each stroke and inflection points
  • (A) shows an example of inflection points of handwritten characters
  • (B ) Shows examples of inflection points of type characters.
  • the character stroke gradation ratio analysis unit 21 extracts character strokes by searching for continuous black pixels from the image of the image character whose position and size are specified in the character recognition target item.
  • a character stroke vector is obtained (step S41).
  • a place where the vector changes is obtained, and the place is set as an inflection point (step S42).
  • This inflection point is a portion where character stroke vectors intersect, and in the case of a handwritten character, as shown by a circle in FIG. In the case of the type), there is no such shade.
  • step S43 The ratio between the average gradation value of the inflection point and the average gradation value of the entire character stroke other than the inflection point tends to be large when handwritten and small when printed.
  • a threshold value of the gradation value ratio is set, a difference between the threshold value and the gradation value ratio is calculated, and a numerical value created based on the difference is used as a score as a third score. In this case, a positive number is set (step S44).
  • FIG. 12 is a flowchart showing the flow of the handwritten type analysis process based on the character stroke edge strength
  • FIG. 13 is a diagram for explaining the character stroke edge strength
  • (A) shows the change in the gradation value in the case of a handwritten character
  • (B) shows a change in gradation value in the case of type characters.
  • the character stroke edge strength analysis unit 22 uses the characteristic that the strength of the change in shading, that is, the character stroke edge strength differs between the handwritten character and the printed character at the edge of the boundary between the character and the background.
  • the character stroke edge strength differs between the handwritten character and the printed character at the edge of the boundary between the character and the background.
  • all the strokes of a character are divided into three in the left-right direction as seen from the direction of vector movement, and the gradation value average (first gradation value) of the edges serving as the left boundary and the right boundary is calculated (step S51).
  • the gradation value average (referred to as the second gradation value) of the stroke of the entire character is calculated (step S52), and the difference between the first gradation value and the second gradation value is calculated (step S53).
  • the gradation value average referred to as the second gradation value
  • the first gradation value is lowered due to the blurring of the character stroke edge portion, so the difference from the second gradation value is large.
  • the difference between the first gradation value and the second gradation value becomes small.
  • a threshold value of the difference between the first gradation value and the second gradation value is set, and a score is calculated using the difference between the first gradation value and the second gradation value and the set threshold value, and the handwritten In the case of a negative number, and in the case of type, a positive number is set as the fourth score (step S54).
  • the above steps S52 and S53 calculate the average of the background gradation values around the edge (the third gradation value, which is the second gradation value in the claims), and the first floor It is replaced with the step of calculating the difference between the tone value and the third gradation value. Since the difference between the first gradation value and the third gradation value is small for handwritten characters and large for printed characters, the sign of the score set for the fourth score is determined based on this determination. It is done.
  • FIG. 14 is a flowchart showing the flow of handwritten type analysis processing based on the character size / center position.
  • FIG. 15 is a diagram for explaining an analysis example based on the character size / center position of the handwritten character.
  • (B) shows the calculation result of classification by character vertical size
  • (C) shows the center coordinate average of each character
  • (D) shows the center coordinate average and center coordinate of each character.
  • 16 is a diagram for explaining an analysis example based on the character size / center position of type characters, (A) shows the calculation result of the circumscribed rectangle of the set of black pixels, and (B) Indicates a calculation result of classification by character vertical size, (C) indicates a center coordinate average of each character, and (D) indicates a calculation result of a difference between the center coordinate average of each character and the center coordinate.
  • the character size / center position analysis unit 23 calculates the vertical size of each character in the character recognition target item (step S61), and collects characters having the same size to create a character string set (step S62).
  • the same size is a size that allows a certain degree of error, including complete identity.
  • the calculation result of the vertical size of the character is managed together with the data of the character order, the character frame center coordinates, and the character frame width in the character recognition target item. Is done.
  • the character string sets are classified according to the vertical size of characters from within the character recognition target items. There are three classifications.
  • the ratio of the average vertical size, average center coordinates, and vertical size is also calculated for each classified character string.
  • the ratio of the vertical size is calculated using the calculated average vertical size as S1, S2,. . . , Sn, where Smax is the largest of S1 to Sn, and S is representative of the other character strings, and the average vertical size Smax of the largest character string and the average vertical length of the other character strings. It is obtained by the ratio (S / Smax) with the size S.
  • the center position of the character string in which characters having the same vertical size are collected is evaluated (step S63). That is, the center coordinate average M of the recognition item is calculated by dividing the sum of the products of the average center coordinates of each character string and the square of the number of characters by the sum of the squares of the number of characters.
  • the center coordinate average M of the recognition item is calculated by dividing the sum of the products of the average center coordinates of each character string and the square of the number of characters by the sum of the squares of the number of characters.
  • 33.5 ⁇ 4 + 64 ⁇ 1 + 43 ⁇ 1) / (4 + 1 + 1) 40.2 (1)
  • the central coordinate average M and the characters of the character recognition target item have a positional relationship as shown in (C) of FIG. 15 and (C) of FIG.
  • character strings having a vertical size ratio equal to or less than a certain ratio are not evaluated by the center position.
  • the character string of the second classification is excluded from the calculation formula (2) of the central coordinate average M because the vertical size ratio is as low as 56%.
  • step S64 the difference between the center coordinate average M and the center coordinates of each character is calculated to investigate the variation, and the fifth score is calculated using the threshold value (step S64). If the variation is large, the character is handwritten, and if it is small, the character is determined as a type.
  • FIG. 15D and FIG. 16D show examples of character variations and scores in the character recognition target item. The handwritten type analysis process based on the character size / center position is performed for each character recognition target item, and the score performed for each item is set as the score for each character.
  • FIG. 17 is a flowchart showing a flow of handwritten type analysis processing between character frames
  • FIG. 18 is a diagram for explaining an example of handwritten type analysis between character frames.
  • the character size / pitch analysis unit 24 calculates the character size of the character positioned on both sides of the recognition target character (step S71), calculates the character pitch between the recognition target character and the adjacent character (step S72), and the corresponding character. Determines whether or not a predetermined condition is satisfied, and sets a sixth score (step S73).
  • This specific condition is that the vertical size of the character is equal to or smaller than the character size on both sides, and the pitch between the characters on both sides is approximately equal.
  • the character size of “” is within the height of both adjacent characters (“B” and “”), and the position is also inferred from both adjacent characters, so it is determined as a type. . Thereby, in the stuttering sound between the same type of characters, a character that matches this specific condition is determined as a type.
  • the sixth score is set to +50 when a character satisfying the above specific condition is determined as a printed character, and is set as ⁇ 50 when it is determined that the character is not a handwritten character.
  • the handwriting / printing type discriminating unit 14 totals the first to sixth scores analyzed as described above, and discriminates between handwritten characters and printed characters. Since a plurality of analysis results are combined and based on this, it is discriminated comprehensively whether it is a handwritten character or a printed character, so that discrimination with higher accuracy is possible.
  • FIG. 19 is a flowchart showing a flow of mixed handwriting / printing check processing
  • FIG. 20 is an explanatory diagram of processing when handwritten characters and printed characters are mixed in the recognition target item.
  • the handwriting / printing mixed check unit 25 calculates an average score of all characters of the recognition target item and checks a difference from each character (step S81), excludes characters having an extreme difference, and averages again. A value is calculated and it is checked whether there is a change in the difference to determine whether it is handwritten or typed (step S82).
  • Each character in the recognition target item is analyzed and a total score is calculated.
  • a difference between the first average value and the total score of each character is calculated, and it is determined whether or not the absolute value of the difference is larger than a set threshold value. If the threshold value is “10”, for example, in the example of FIG. 20, since the absolute value of the difference between the first average value and the total score of each character is larger than the set threshold value in each example, the determination at this stage Are all x.
  • the difference between the first average value and the second average value is large, it is determined that the character type of the excluded character is different from other characters. In the illustrated example, since the difference between the first average value and the second average value is large, it is determined that the excluded character and the remaining character have different character types.
  • the difference between the second average value and the total score of each remaining character is calculated, and it is determined whether or not the absolute value of the difference is larger than the set threshold value.
  • the absolute value of the difference between the second average value and the total score of each character is smaller than the set threshold value “10” and can be estimated as the same character type in all the characters, all the determinations are ⁇ . Yes.
  • the characters “flat”, “sei”, “month”, and “day” are determined as type characters, and the excluded characters “2”, “1”, “1”, “1”, “3”, and “3” “0” is determined as a handwritten character.
  • the determination process by the above analysis demonstrated the case where a definition body is not used, the precision of a handwriting / type determination process can be improved by using together the process using a definition body.
  • any one of the tone distribution analysis unit 19, the character color analysis unit 20, the character stroke tone ratio analysis unit 21, the character stroke edge strength analysis unit 22, the character size / center position analysis unit 23, and the character size / pitch analysis unit 24 In such an analysis process, if it is determined that the certainty of the type character exceeds a certain predetermined threshold value, the remaining analysis regarding the image character may be skipped and the analysis may proceed to the next image character. .
  • FIG. 21 is a diagram illustrating a hardware configuration example of a computer used in the character recognition device.
  • a part of the character recognition device 10 is configured by a computer 50.
  • the entire computer 50 is controlled by a CPU (Central Processing Unit) 51.
  • a random access memory (RAM) 52, a hard disk drive (HDD) 53, a graphic processing device 54, an input interface 55, and a communication interface 56 are connected to the CPU 51 via a bus 57.
  • RAM Central Processing Unit
  • HDD hard disk drive
  • FIG. 21 is a diagram illustrating a hardware configuration example of a computer used in the character recognition device.
  • a part of the character recognition device 10 is configured by a computer 50.
  • the entire computer 50 is controlled by a CPU (Central Processing Unit) 51.
  • a random access memory (RAM) 52, a hard disk drive (HDD) 53, a graphic processing device 54, an input interface 55, and a communication interface 56 are connected to the CPU 51 via a bus 57.
  • HDD hard disk drive
  • the RAM 52 temporarily stores at least a part of an OS (Operating System) program to be executed by the CPU 51 and an application program necessary for character recognition processing.
  • the RAM 52 stores various data necessary for processing by the CPU 51.
  • the hard disk drive 53 stores an OS, an application program for character recognition, a dictionary used for character recognition, and the like.
  • a monitor 58 is connected to the graphic processing device 54.
  • the graphic processing device 54 displays an image on the screen of the monitor 58 in accordance with a command from the CPU 51.
  • a scanner 59, a keyboard 60 and a mouse 61 are connected to the input interface 55.
  • the input interface 55 transmits signals sent from the scanner 59, keyboard 60, and mouse 61 to the CPU 51 via the bus 57.
  • the communication interface 56 is connected to a network in the financial institution.
  • the communication interface 56 transmits / receives data to / from other computers via a network.
  • the processing functions related to the character recognition device 10 of the present embodiment can be realized.
  • a program describing the processing contents of the functions that the character recognition apparatus 10 should have is provided.
  • the above processing functions are realized on the computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

　文字認識処理における手書き／活字判別の精度を向上させ、文字認識による処理時間を短縮するともに文字認識精度を向上させること。　イメージ文字の階調分布を解析し（Ｓ４）、イメージ文字の文字色を解析し（Ｓ５）、文字ストロークの変曲点の階調と変曲点以外の文字ストロークの階調との比を解析し（Ｓ６）、文字ストロークエッジ強度を解析し（Ｓ７）、イメージ文字の縦サイズおよび中心位置を解析し（Ｓ８）、イメージ文字の文字サイズおよびピッチを解析し（Ｓ９）、それぞれの解析結果を数値化した第１ないし第６スコアを集計して手書きか活字かを判定し（Ｓ１０）、認識対象項目内の手書きおよび活字の混在をチェックする（Ｓ１１）。これにより、手書きか活字かの判定精度が上がるので、文字認識の処理時間が短縮され、文字認識精度を向上させることができる。

Description

文字認識方法、文字認識装置および文字認識プログラム
　本発明は文字認識方法、文字認識装置および文字認識プログラムに関し、特に金融機関等で使用する帳票に印字された文字および手書きで記入された文字を判別する文字認識方法、文字認識装置および文字認識プログラムに関する。
　金融機関等では、帳票に印刷および記入された文字の入力を自動化するために、帳票上の文字を認識する文字認識装置が用いられている。この文字認識装置では、文字認識の精度を高めるために、帳票に印刷される見出しおよびそれに対応するデータがどの位置にどのような順序で記載されているかを定義した定義体をあらかじめ作成しておき、その定義情報に基づいて文字列を認識している。
　帳票には、あらかじめ印刷された活字文字と、利用者によって書き込まれる手書き文字とがあり、定義体には、文字認識対象項目が手書きであるか活字であるかを設定してある。文字認識装置は、帳票の文字を認識するときに、定義体を参照し、文字認識対象項目が手書きの設定ならば手書き用文字認識エンジンを使用し、活字の設定ならば活字用文字認識エンジンを使用して文字認識する。
　このように、定義体を使用した文字認識では、文字認識対象項目が手書き文字であるか活字文字であるかが事前に判明しているので、それぞれに応じた文字認識処理を行うことで認識精度を向上させることができる。しかし、定義体を作成する場合、事前に認識したい帳票を入手する必要があり、また、収集できる帳票は限られているため、文字認識装置で使用できる帳票が限定されてしまう。しかも、実際に定義体を作成する際、文字認識する各文字認識対象項目に対し、手書き／活字の設定を行なうことになるので、定義体を作成するときの作業工数が大きい。
　そこで、文書のイメージデータから文字列を抽出し、各文字の高さ方向の中心位置を算出し、中心位置の規則性により手書き文字か活字文字かを判別し、その判別結果に基づき文字認識を行う方法が提案されている（たとえば、特許文献１参照）。
　この特許文献１の方法では、文字列内に濁点や拗音が含まれる場合に中心位置の規則性にばらつきが出てしまう。このことから、文字列から濁点、拗音を含めずに文字を抽出し、抽出した全文字の中心位置の規則性から手書き文字か活字文字かを判別する方法も知られている（たとえば、特許文献２参照）。
　また、文字を切り出して、複数の特徴量を算出し、得られた特徴量により手書き文字か活字文字かを判断する方法も知られている（たとえば、特許文献３参照）。特徴量としては、濃度の均一性、画素値のばらつき、文字ストロークの直線性、文字の高さ、幅の均一性、文字線幅の均一性等が用いられている。
特開２０００－１８１９９３号公報 特開２０００－３３１１２２号公報 特開２００６－９２３４５号公報
　従来の文字認識方法の何れにおいても、文字認識対象項目の文字列が手書き文字であるか活字文字であるかしか判断していない。そのため、たとえ定義体を使用して文字認識を行う方法においても、手書きおよび活字のどちらも記入される可能性がある文字認識対象項目については対処することができない。したがって、文字認識のときには、手書き用および活字用の両方の文字認識エンジンを呼び出すことになるので、処理時間がかかるという問題点があった。
　本発明はこのような点に鑑みてなされたものであり、文字認識処理における手書き／活字判別の精度を向上させ、文字認識による処理時間を短縮するとともに文字認識精度を向上させる文字認識方法、文字認識装置および文字認識プログラムを提供することを目的とする。
　本発明では上記の課題を解決するために、帳票上の手書きの文字と活字の文字とを判別して認識する文字認識方法において、前記帳票のイメージデータから文字認識の対象となる項目を特定し、特定された認識対象項目のイメージ文字の位置およびサイズを算出し、前記イメージ文字の手書きおよび活字の特性を解析して手書きまたは活字の確からしさを数値化したスコアを算出し、前記スコアを基に前記イメージ文字が手書きか活字かを判定し、認識対象項目内の各文字のスコアの平均値を算出して手書きおよび活字の混在をチェックし、各認識対象項目の文字を手書きか活字かの判定結果および手書きおよび活字の混在のチェック結果に応じた文字認識エンジンを用いて文字認識を行う、ことからなり、前記スコアの算出は、前記イメージ文字の階調分布を解析して手書きまたは活字の確からしさを数値化した第１スコアを算出し、前記イメージ文字の文字色を解析して手書きまたは活字の確からしさを数値化した第２スコアを算出し、前記イメージ文字から抽出した文字ストロークから前記文字ストロークが変化する変曲点の階調と変曲点以外の文字ストロークの階調との比を解析して手書きまたは活字の確からしさを数値化した第３スコアを算出し、前記文字ストロークと背景との境界における濃淡変化の強さを表す文字ストロークエッジ強度を解析して手書きまたは活字の確からしさを数値化した第４スコアを算出し、前記イメージ文字の位置およびサイズから文字の縦サイズおよび中心位置を解析して手書きまたは活字の確からしさを数値化した第５スコアを算出し、前記イメージ文字の位置およびサイズから文字サイズおよびピッチを解析して手書きまたは活字の確からしさを数値化した第６スコアを算出する、ことを含み、前記イメージ文字が手書きか活字かの判定では、前記第１ないし第６スコアをそれらの重要度に応じて設定されたウエイトを考慮して前記スコアを集計している、ことを特徴とする文字認識方法が提供される。
　また、本発明では、帳票上の手書きおよび活字の文字を認識する文字認識装置において、前記帳票のイメージデータから特定された認識対象項目のイメージ文字の階調分布を解析して手書きまたは活字の確からしさを数値化した第１スコアを算出する階調分布解析部と、前記イメージ文字の文字色を解析して手書きまたは活字の確からしさを数値化した第２スコアを算出する文字色解析部と、前記イメージ文字から抽出した文字ストロークから前記文字ストロークが変化する変曲点の階調と変曲点以外の文字ストロークの階調との比を解析して手書きまたは活字の確からしさを数値化した第３スコアを算出する文字ストローク階調比解析部と、前記文字ストロークと背景との境界における濃淡変化の強さを表す文字ストロークエッジ強度を解析して手書きまたは活字の確からしさを数値化した第４スコアを算出する文字ストロークエッジ強度解析部と、前記イメージ文字の位置およびサイズから文字の縦サイズおよび中心位置を解析して手書きまたは活字の確からしさを数値化した第５スコアを算出する文字サイズ／中心位置解析部と、前記イメージ文字の位置およびサイズから文字サイズおよびピッチを解析して手書きまたは活字の確からしさを数値化した第６スコアを算出する文字サイズ／ピッチ解析部と、認識対象項目内の各文字の前記第１ないし第６スコアの平均値を算出して手書きおよび活字の混在をチェックする手書き／活字混在チェック部と、を有し、前記第１ないし第６スコアを重要度に応じて設定されたウエイトを考慮して集計した集計スコアと、前記手書き／活字混在チェック部によるチェック結果とを基に、前記イメージ文字が手書きか活字かを判定する手書き／活字判別部と、各認識対象項目の文字について、前記手書き／活字判別部による判定結果に応じた文字認識エンジンを用いて文字認識を行う文字認識処理部と、を備えていることを特徴とする文字認識装置が提供される。
　さらに、本発明では、帳票上の手書きの文字と活字の文字とを判別する処理をコンピュータに実行させる文字認識プログラムであって、前記コンピュータに、前記帳票のイメージデータから文字認識の対象となる項目を特定し、特定された認識対象項目のイメージ文字の位置およびサイズを算出し、前記イメージ文字の階調分布を解析して手書きまたは活字の確からしさを数値化した第１スコアを算出し、前記イメージ文字の文字色を解析して手書きまたは活字の確からしさを数値化した第２スコアを算出し、前記イメージ文字から抽出した文字ストロークから前記文字ストロークが変化する変曲点の階調と変曲点以外の文字ストロークの階調との比を解析して手書きまたは活字の確からしさを数値化した第３スコアを算出し、前記文字ストロークと背景との境界における濃淡変化の強さを表す文字ストロークエッジ強度を解析して手書きまたは活字の確からしさを数値化した第４スコアを算出し、前記イメージ文字の位置およびサイズから文字の縦サイズおよび中心位置を解析して手書きまたは活字の確からしさを数値化した第５スコアを算出し、前記イメージ文字の位置およびサイズから文字サイズおよびピッチを解析して手書きまたは活字の確からしさを数値化した第６スコアを算出し、前記第１ないし第６スコアを重要度に応じて設定されたウエイトを考慮して集計することにより前記イメージ文字が手書きか活字かを判定し、認識対象項目内の各文字のスコアの平均値を算出して手書きおよび活字の混在をチェックし、各認識対象項目の文字を手書きか活字かの判定結果および手書きおよび活字の混在のチェック結果に応じて文字認識を行う、処理を実行させることを特徴とする文字認識プログラムが提供される。
　このような文字認識方法、文字認識装置および文字認識プログラムによれば、複数の解析結果を組み合わせると共に手書きおよび活字の混在チェックで手書きか活字かの判定を行い、この判定結果に応じた文字認識エンジンを用いることができるので、文字認識による処理時間を短縮するともに文字認識精度が向上する。
　上記構成の文字認識方法、文字認識装置および文字認識プログラムは、複数の解析を組み合わせて文字認識項目に記載されている文字が手書きか活字かを判断しているので、判断の精度が上がることから、手書き文字は手書き文字、活字文字は活字文字としてそれぞれ文字認識することが可能になり、文字認識精度が向上するという利点がある。
　１つの認識対象項目内に手書きと活字が混在している場合でも、文字ごとに手書き／活字判定を行っていることから、手書き文字は手書き文字、活字文字は活字文字としてそれぞれ文字認識することが可能になり、文字認識精度が向上する。
　定義体を使用しない文字認識装置で、帳票内にある見出しを抽出する際に、手書き／活字判別部の機能を活用することにより、手書きの文字列を見出しの抽出対象から除外することができるので、見出しを抽出する処理の性能向上に繋がる。
　本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
本発明の実施の形態に係る文字認識装置を示すブロック図である。 文字認識の処理の全体の流れを示すフローチャートである。 認識対象の帳票の例を示す図である。 帳票の画像から文字認識の対象となる箇所を特定した状態を示す図である。 スコア集計処理において各スコアに付けられるウエイトの例を示す図である。 階調分布による手書き活字解析処理の流れを示すフローチャートである。 階調分布解析処理を説明する図であって、（Ａ）は手書き文字の階調値のヒストグラムを示し、（Ｂ）は活字文字の階調値のヒストグラムを示している。 文字色による手書き活字解析処理の流れを示すフローチャートである。 文字色解析処理を説明する図であって、（Ａ）は手書き文字の彩度のヒストグラムを示し、（Ｂ）は手書き文字の明度のヒストグラムを示し、（Ｃ）は活字文字の彩度のヒストグラムを示し、（Ｄ）は活字文字の明度のヒストグラムを示している。 文字ストロークによる手書き活字解析処理の流れを示すフローチャートである。 各ストロークと変曲点を説明する図であって、（Ａ）は手書き文字の変曲点の例を示し、（Ｂ）は活字文字の変曲点の例を示している。 文字ストロークエッジ強度による手書き活字解析処理の流れを示すフローチャートである。 文字ストロークエッジ強度を説明する図であって、（Ａ）は手書き文字の場合の階調値の変化を示し、（Ｂ）は活字文字の場合の階調値の変化を示している。 文字サイズ／中心位置による手書き活字解析処理の流れを示すフローチャートである。 手書き文字の文字サイズ／中心位置による解析例を説明する図であって、（Ａ）は黒画素の集合の外接矩形の算出結果を示し、（Ｂ）は文字縦サイズによる分類の算出結果を示し、（Ｃ）は各文字の中心座標平均を示し、（Ｄ）は各文字の中心座標平均と中心座標との差の算出結果を示している。 活字文字の文字サイズ／中心位置による解析例を説明する図であって、（Ａ）は黒画素の集合の外接矩形の算出結果を示し、（Ｂ）は文字縦サイズによる分類の算出結果を示し、（Ｃ）は各文字の中心座標平均を示し、（Ｄ）は各文字の中心座標平均と中心座標との差の算出結果を示している。 文字枠間による手書き活字解析処理の流れを示すフローチャートである。 文字枠間による手書き活字解析例を説明する図である。 手書き／活字混在チェック処理の流れを示すフローチャートである。 認識対象項目に手書き文字と活字文字とが混在しているときの処理の説明図である。 文字認識装置に用いられるコンピュータのハードウェア構成例を示す図である。
　以下、本発明の実施の形態について、対象の帳票として金融機関等で使用している振込依頼書を使用し、この振込依頼書に印字および手書きで記載されている文字列の認識を行う装置に適用した場合を例に図面を参照して詳細に説明する。
　図１は本発明の実施の形態に係る文字認識装置を示すブロック図である。
　文字認識装置１０は、装置全体を制御する制御部１１を備え、この制御部１１には、スキャナ制御部１２、文字認識位置特定部１３、手書き／活字判別部１４および認識結果表示部１５が接続されている。手書き／活字判別部１４は、文字認識処理部１６が接続され、この文字認識処理部１６には、文字認識処理のときに参照される手書き文字認識辞書１７および活字文字認識辞書１８が関連されている。
　手書き／活字判別部１４は、認識対象項目の文字が手書きであるか活字であるかを判別する機能を有する要素であり、この判別結果に基づいて文字認識処理部１６は、適切な文字認識エンジンを用いた文字認識処理を可能にしている。すなわち、この手書き／活字判別部１４は、階調分布解析部１９と、文字色解析部２０と、文字ストローク階調比解析部２１と、文字ストロークエッジ強度解析部２２と、文字サイズ／中心位置解析部２３と、文字サイズ／ピッチ解析部２４と、手書き／活字混在チェック部２５とを備えている。
　階調分布解析部１９は、印字濃度が一定の活字では、濃度分布が小さく、筆圧により濃度が一定でない手書き文字の場合には、濃度分布が大きいという傾向のある特徴を解析に利用している。この階調分布解析部１９は、解析結果から手書きまたは活字の確からしさを数値化したスコア（第１スコア）を算出する。
　文字色解析部２０は、銀行業務で使用する帳票に手書きで記入する場合、大抵は黒色またはカーボン転写した青色であり、それに対して、活字は様々な色で印字されているという傾向のある特徴を解析に利用している。この文字色解析部２０は、解析結果から文字が無彩色であるか有彩色であるかに応じて手書きまたは活字の確からしさを数値化したスコア（第２スコア）を算出する。
　文字ストローク階調比解析部２１は、手書き文字の場合、文字ストロークが変化する箇所（変曲点）において、記入速度が低下するため、変曲点の文字濃度が高くなるという活字には見られない傾向のある特徴を解析に利用している。この文字ストローク階調比解析部２１は、文字ストロークの階調と変曲点の階調との比を解析し、手書きまたは活字の確からしさを数値化したスコア（第３スコア）を算出する。
　文字ストロークエッジ強度解析部２２は、活字の場合、印字された文字と背景との境界のエッジの強度（濃淡変化の強さ）が高く、手書き文字の場合、エッジ強度が弱いという傾向のある特徴を解析に利用している。この文字ストロークエッジ強度解析部２２は、そのエッジの強度を解析し、手書きまたは活字の確からしさを数値化したスコア（第４スコア）を算出する。
　文字サイズ／中心位置解析部２３は、文字の縦サイズおよび中心位置を解析している。すなわち、帳票に記入される文字サイズは、活字の場合、ある一定の縦幅で印字されるが、手書きの場合、縦幅にばらつきがある。また、文字の記入位置についても、活字は一定の中心位置に印字されるが、手書きは、活字のように一定の位置に記入することができないため、中心位置にばらつきがある。文字サイズ／中心位置解析部２３は、このような傾向のある特徴を解析に利用し、手書きまたは活字の確からしさを数値化したスコア（第５スコア）を算出する。
　文字サイズ／ピッチ解析部２４は、文字サイズ／中心位置解析部２３による解析では、拗音等、通常より小さい文字をばらつきと判断してしまうのを補う機能を有するものである。この文字サイズ／ピッチ解析部２４は、同種の文字間にあるばらつきと判断された文字については、これを活字らしいと判断し、手書きまたは活字の確からしさを数値化したスコア（第６スコア）を算出する。
　手書き／活字混在チェック部２５は、認識対象項目内の文字列が手書き文字および活字文字が混在していないかどうかをチェックする。これにより、同一の認識対象項目内の文字であっても、手書き文字および活字文字が混在していれば、文字認識処理部１６は、文字ごとに文字認識処理に適切な文字認識エンジンを使用することが可能になる。
　手書き／活字判別部１４は、各解析部で算出された第１ないし第６スコアを重要度に応じたウエイトを考慮して集計した集計スコアと、手書き／活字混在チェック部２５によるチェック結果とを基に、イメージ文字が手書きであるか活字であるかを判定する。
　図２は文字認識の処理の全体の流れを示すフローチャート、図３は認識対象の帳票の例を示す図、図４は帳票の画像から文字認識の対象となる箇所を特定した状態を示す図、図５はスコア集計処理において各スコアに付けられるウエイトの例を示す図である。
　文字認識装置１０は、まず、スキャナ制御部１２によりスキャナによって読み取った帳票の画像を入力する（ステップＳ１）。この読み取りの対象の帳票は、図２に示したように、たとえば振込依頼書であり、その表題以外の文字列は、罫線枠の中に印刷および手書きで記載されている。
　次に、文字認識装置１０の制御部１１は、帳票の画像から文字認識の対象となる箇所を特定する（ステップＳ２）。この認識対象箇所の特定は、たとえば図３中に示したように、罫線枠の中の領域であって、中に見出し文字を含まない罫線枠とすることができ、図３では、認識対象は、太線の枠で示している。制御部１１は、次に、特定された認識対象箇所の画像に対しイメージ文字を切り出すラベリング処理等を行い、イメージ文字の位置およびサイズを特定し（ステップＳ３）、手書き／活字判別部１４に渡す。
　手書き／活字判別部１４では、まず、階調分布解析部１９が文字の濃淡を表す階調値の分布を解析して階調の分布の具合に応じた値の第１スコアを算出し（ステップＳ４）、文字色解析部２０が文字の色を解析して文字色に応じた値の第２スコアを算出する（ステップＳ５）。
　次に、文字ストローク階調比解析部２１が文字ストロークの階調と文字ストロークが変化する変曲点の階調との比を解析してその比の大きさに応じた第３スコアを算出し（ステップＳ６）、文字ストロークエッジ強度解析部２２が文字ストロークエッジの濃淡変化を表すエッジ強度を解析し、文字ストロークエッジのかすれ具合に応じた第４スコアを算出する（ステップＳ７）。
　次に、文字サイズ／中心位置解析部２３が文字の縦サイズおよび中心位置を解析し、それらのばらつき具合に応じた第５スコアを算出し（ステップＳ８）、文字サイズ／ピッチ解析部２４が認識対象文字とその両隣の文字との縦サイズの比較および両隣の文字との文字ピッチの大きさを解析し、文字の縦サイズおよびピッチに関して特定の条件に応じた第６スコアを算出する（ステップＳ９）。
　手書き／活字判別部１４は、以上のようにして算出された第１ないし第６スコアを集計し、認識対象文字が手書き文字か活字文字かを判別する（ステップＳ１０）。この集計処理のとき、第１ないし第６スコアは、図５に示したように、重要度に応じてウエイトが付けられる。この図５の例では、第１スコアおよび第５スコアは、手書き／活字判別処理に係る重要度が最も高いことを示している。集計スコアは、第１ないし第６スコアにそれぞれの対応するウエイトが乗ぜられた値の総和によって算出される。なお、本実施の形態では、各解析処理にて算出される第１ないし第６スコアは、手書きまたは活字の確からしさに応じて－５０～＋５０と数値化される。手書きであるか活字であるかは、０を基準とし、集計スコアが正数の場合は活字、負数の場合は手書き文字と判別している。
　次に、手書き／活字混在チェック部２５が認識対象項目内の文字列の中に手書き文字および活字文字が混在していないかどうかをチェックする（ステップＳ１１）。
　次に、手書き／活字判別部１４での判別結果および手書き／活字混在チェック部２５によるチェック結果を基に、文字認識処理部１６が手書き文字認識辞書１７または活字文字認識辞書１８を使用して文字認識処理を行い（ステップＳ１２）、文字認識結果をたとえば振込処理を行う装置に通知する（ステップＳ１３）。
　次に、手書き／活字判別部１４で行う各解析処理の具体例について説明する。
　図６は階調分布による手書き活字解析処理の流れを示すフローチャート、図７は階調分布解析処理を説明する図であって、（Ａ）は手書き文字の階調値のヒストグラムを示し、（Ｂ）は活字文字の階調値のヒストグラムを示している。
　階調分布解析部１９は、まず、文字認識対象項目内にて位置およびサイズが特定されたイメージ文字の画像からグレー画像を作成し（ステップＳ２１）、そのグレー画像から背景画素を除外した文字の画素に対し、たとえば１画素ずつ走査したときの画素数（階調値）のヒストグラムを作成する（ステップＳ２２）。次に、作成されたヒストグラムより半値幅を算出し（ステップＳ２３）、その半値幅の閾値を用いて第１スコアを算出する（ステップＳ２４）。この処理は、文字認識対象項目内のすべての文字に対して個々に実施される。
　作成された図７に示すヒストグラムによれば、（Ａ）の手書き文字の場合、筆圧により文字の濃度が一定でないことから、階調値が分散されてその分布が広がってしまい、その結果、階調値の分布の半値幅も大きく、その閾値よりも大きくなる。なお、半値幅は、ヒストグラムから背景画素を除外し、残りのヒストグラム内で画素数が最大となる点から左右に走査し、画素の半分を取るように設定した幅を表す。この手書き文字の場合、第１スコアには、たとえば半値幅とその閾値との差を算出した値を元に生成した負数が設定される。
　一方、図７の（Ｂ）の活字の場合は、文字の濃度が一定であって文字と背景の中間の階調値を有する部分が少ないので、階調値の分布が狭まり、半値幅が小さくなって、その閾値よりも小さくなる。この活字文字の場合、第１スコアには、たとえば半値幅とその閾値との差を算出した値を元に生成した正数が設定される。
　図８は文字色による手書き活字解析処理の流れを示すフローチャート、図９は文字色解析処理を説明する図であって、（Ａ）は手書き文字の彩度のヒストグラムを示し、（Ｂ）は手書き文字の明度のヒストグラムを示し、（Ｃ）は活字文字の彩度のヒストグラムを示し、（Ｄ）は活字文字の明度のヒストグラムを示している。
　文字色解析部２０は、まず、文字認識対象項目内にて位置およびサイズが特定されたイメージ文字の画像を色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の成分からなるＨＳＶ色空間に変換する（ステップＳ３１）。次に、彩度（Ｓ）および明度（Ｖ）についてのヒストグラムを作成してそれぞれの分布を求め（ステップＳ３２）、彩度（Ｓ）、明度（Ｖ）の分布から文字色の有無を算出する（ステップＳ３３）。
　彩度の分布値は、図９の（Ａ）および（Ｃ）に示したように、数値が高くなる程、鮮やかな色を使用しており、鮮やかな色を使用していない場合は、彩度が０付近に集中する。明度の分布値も同様に、図９の（Ｂ）および（Ｄ）に示したように、数値が高くなる程、明るい色を使用しており、明るい色を使用していない場合は、０に近い位置まで明度が分布する。
　彩度分布値および明度分布値にはそれぞれ閾値が設定されており、彩度分布値が閾値より小さく、かつ明度分布値が閾値より小さい場合は、無彩色であると判断できる。逆に、彩度分布値、明度分布値が共に閾値より大きい場合は、有彩色であると判断できる。
　ステップＳ３３の処理において文字色を算出した後、その文字色は無彩色かどうかが判断され（ステップＳ３４）、無彩色の場合は、第２スコアに－５０が設定され、色相のヒストグラムは作成しない（ステップＳ３５）。文字色が無彩色でない場合は、第２スコアに＋５０が設定される（ステップＳ３６）。
　ただし、青色を手書きと設定する場合は、青色であることを判別するための処理が追加される。すなわち、彩度分布値、明度分布値がそれぞれ閾値より大きくて、ステップＳ３４で無彩色でないと判断された場合に、色相（Ｈ）のヒストグラムを作成し、使用色を判断する。色相（Ｈ）のヒストグラムでは、画像で使用している色の分布を表現している。色相（Ｈ）のヒストグラム内で背景画素が除外され、残りのヒストグラム内で全体画素の中で青色の領域に存在する画素の割合が算出される。青色の領域に存在する画素の割合の閾値が設定されていて、割合が閾値を超えた場合、文字が青色であると判断される。この場合のスコアは、青色の領域に存在する画素の割合と閾値の差であり、その差を元に作成した数値が第２スコアに設定される。
　図１０は文字ストロークによる手書き活字解析処理の流れを示すフローチャート、図１１は各ストロークと変曲点を説明する図であって、（Ａ）は手書き文字の変曲点の例を示し、（Ｂ）は活字文字の変曲点の例を示している。
　文字ストローク階調比解析部２１は、まず、文字認識対象項目内にて位置およびサイズが特定されたイメージ文字の画像より連続する黒画素を探索することによって文字のストロークを抽出し、抽出した各文字ストロークのベクトルを求める（ステップＳ４１）。次に、ベクトルが変化する箇所が求められ、その箇所を変曲点とする（ステップＳ４２）。この変曲点は、文字ストロークのベクトルが交差する部分であって、手書き文字の場合、図１１の（Ａ）に丸で示す部分のように、筆圧の関係で濃淡ができやすく、（Ｂ）の活字の場合は、そのような濃淡がない部分である。
　次に、変曲点の平均階調値と変曲点以外の文字ストローク全体の平均階調値とが算出され、変曲点の平均階調値と変曲点以外の文字ストローク全体の平均階調値との比が算出される（ステップＳ４３）。変曲点の平均階調値と変曲点以外の文字ストローク全体の平均階調値との比は、手書きの場合、大きく、活字の場合は、小さくなる傾向を有する。そして、階調値の比の閾値が設定され、閾値と階調値の比との差が算出され、その差を元に作成した数値をスコアとして第３スコアに、手書きの場合は負数、活字の場合は正数で設定される（ステップＳ４４）。
　図１２は文字ストロークエッジ強度による手書き活字解析処理の流れを示すフローチャート、図１３は文字ストロークエッジ強度を説明する図であって、（Ａ）は手書き文字の場合の階調値の変化を示し、（Ｂ）は活字文字の場合の階調値の変化を示している。
　文字ストロークエッジ強度解析部２２は、文字と背景との境界のエッジでは、手書き文字と活字とで濃淡変化の強さ、すなわち文字ストロークエッジ強度が異なる特性を利用している。まず、文字の全ストロークについてベクトルの進行方向から見て左右方向に３分割し、左側境界および右側境界とするエッジの階調値平均（第１階調値とする）を算出する（ステップＳ５１）。次に、文字全体のストロークの階調値平均（第２階調値とする）が算出され（ステップＳ５２）、第１階調値と第２階調値との差が算出される（ステップＳ５３）。ここで、手書き文字の場合は、図１３の（Ａ）に示したように、文字ストロークエッジの部分がかすれ具合によって第１階調値が低下するため、第２階調値との差が大きくなり、活字の場合は、図１３の（Ｂ）に示したように、第１階調値の低下がほとんどないので、第１階調値と第２階調値との差が小さくなる。そして、第１階調値と第２階調値の差の閾値を設定し、第１階調値と第２階調値の差と設定された閾値とを用いてスコアが算出され、手書きの場合は負数、活字の場合は正数で第４スコアに設定される（ステップＳ５４）。
　なお、この例では、文字ストロークエッジと文字ストロークとのエッジ強度を用いて手書きか活字かの判断をしているが、文字ストロークエッジとその周辺の背景とのエッジ強度を用いてもよい。この場合、上記のステップＳ５２およびＳ５３は、エッジ周辺の背景の階調値の平均（第３階調値とする：請求の範囲では、第２階調値としてある）を算出し、第１階調値と第３階調値との差を算出するステップに置き換えられる。第１階調値と第３階調値との差は、手書き文字の場合は小さく、活字の場合は大きくなるので、この判断に基づいて、第４スコアに設定されるスコアの正負記号が決められる。
　図１４は文字サイズ／中心位置による手書き活字解析処理の流れを示すフローチャート、図１５は手書き文字の文字サイズ／中心位置による解析例を説明する図であって、（Ａ）は黒画素の集合の外接矩形の算出結果を示し、（Ｂ）は文字縦サイズによる分類の算出結果を示し、（Ｃ）は各文字の中心座標平均を示し、（Ｄ）は各文字の中心座標平均と中心座標との差の算出結果を示し、図１６は活字文字の文字サイズ／中心位置による解析例を説明する図であって、（Ａ）は黒画素の集合の外接矩形の算出結果を示し、（Ｂ）は文字縦サイズによる分類の算出結果を示し、（Ｃ）は各文字の中心座標平均を示し、（Ｄ）は各文字の中心座標平均と中心座標との差の算出結果を示している。
　文字サイズ／中心位置解析部２３は、文字認識対象項目内における各文字の縦サイズを算出し（ステップＳ６１）、同一のサイズを持つ文字を集めて文字列集合を作成する（ステップＳ６２）。ここで、同一のサイズとは、完全な同一を含め、ある程度の誤差は許容したサイズとする。文字の縦サイズの算出結果は、図１５の（Ａ）および図１６の（Ａ）に示したように、文字認識対象項目内の文字の順番、文字枠中心座標および文字枠幅のデータと共に管理される。文字列集合の作成は、図１５の（Ｂ）および図１６の（Ｂ）に示したように、文字認識対象項目内から文字の縦サイズ別に分類され、図示の例では、それぞれ第１ないし第３分類の３つに分類されている。このとき、それぞれ分類された文字列に対し、平均縦サイズ、平均中心座標および縦サイズの割合も算出されている。この縦サイズの割合は、算出された平均縦サイズをＳ１、Ｓ２、．．．、Ｓｎとし、Ｓ１～Ｓｎの中で最大のものをＳｍａｘ、それ以外の文字列のものを代表してＳとするとき、最大の文字列の平均縦サイズＳｍａｘとそれ以外の文字列の平均縦サイズＳとの比（Ｓ／Ｓｍａｘ）で求められる。
　次に、縦サイズが同一の文字を集めた文字列について中心位置を評価する（ステップＳ６３）。すなわち、各文字列の平均中心座標と文字数の二乗との積の総和を文字数の二乗の総和で除すことにより認識項目の中心座標平均Ｍが算出される。この中心座標平均Ｍは、図１５に例示した例では、
Ｍ＝（３３．５×４＋６４×１＋４３×１）／（４＋１＋１）＝４０．２・・（１）
となり、図１６に例示した例では、
Ｍ＝（８７．８×２５＋８６．８×１６）／（２５＋１６）＝８７．４・・（２）
となる。この中心座標平均Ｍおよび文字認識対象項目の文字は、図１５の（Ｃ）および図１６の（Ｃ）に示したような位置関係になる。なお、中心座標平均Ｍの算出において、縦サイズの割合が一定の割合以下の文字列は、ここの中心位置による評価は行わないようにしている。たとえば、図１６の（Ｂ）の例では、第２分類の文字列は、その縦サイズの割合が５６％と低いので、中心座標平均Ｍの算出式（２）から除外している。
　次に、中心座標平均Ｍと各文字の中心座標との差を算出してばらつきが調査され、閾値を用いて第５スコアが算出される（ステップＳ６４）。ばらつきが大きい場合、文字は手書き、小さい場合は活字と判断する。図１５の（Ｄ）および図１６の（Ｄ）に文字認識対象項目内の文字のばらつきとスコアの例を示している。この文字サイズ／中心位置による手書き活字解析処理は、文字認識対象項目単位で行い、文字単位でのスコアは、項目単位で行ったスコアを設定する。
　図１７は文字枠間による手書き活字解析処理の流れを示すフローチャート、図１８は文字枠間による手書き活字解析例を説明する図である。
　文字サイズ／ピッチ解析部２４は、認識対象文字の両隣に位置する文字の文字サイズを算出し（ステップＳ７１）、認識対象文字と両隣の文字との文字ピッチを算出し（ステップＳ７２）、該当文字が所定の条件を満たすかどうか判定し、第６スコアを設定する（ステップＳ７３）。文字サイズ／中心位置解析部２３による文字の縦サイズおよび中心位置に基づいた解析では、拗音等、通常文字より小さいものをばらつきと判断していたが、文字サイズ／ピッチ解析部２４による解析では、特定の条件に一致したものは、活字と判断することにしている。
　この特定の条件とは、文字の縦サイズが両隣の文字サイズ以下であり、かつ、両隣の文字とのピッチがほぼ等間隔であることである。図１８の例では、「ッ」の文字サイズが両隣の文字（「ロ」と「ク」）の高さ以内であり、かつ位置も両隣文字から推定した位置にあるので、活字と判断される。これにより、同種の文字間にある拗音において、この特定の条件に一致したものは、活字と判断される。
　第６スコアは、以上の特定の条件が成立する文字を活字と判断して＋５０が設定され、そうでない場合には手書き文字と判断して－５０が設定される。
　手書き／活字判別部１４では、以上のようにして解析された第１ないし第６スコアを集計して手書き文字か活字文字かを判別している。複数の解析結果を組み合わせ、これを基に総合的に手書き文字か活字文字かを判別しているので、より精度の高い判別を可能にしている。
　図１９は手書き／活字混在チェック処理の流れを示すフローチャート、図２０は認識対象項目に手書き文字と活字文字とが混在しているときの処理の説明図である。
　手書き／活字混在チェック部２５は、認識対象項目の全文字についてスコアの平均値を算出して各文字との差をチェックし（ステップＳ８１）、極端な差がある文字は除外して、再度平均値を算出し、差に変化がないかをチェックして手書きか活字かを判断する（ステップＳ８２）。
　この認識対象項目内に手書き文字、活字文字が混在しているかどうかをチェックする処理を図２０の例で説明すると、認識対象項目内の各文字についてそれぞれ解析が行われ、集計スコアが算出される。次に、各文字の集計スコアから文字全体の平均値（第１平均値とする）を算出する（図示の例では、第１平均値＝－０．９）。次に、第１平均値と各文字の集計スコアとの差を算出し、その差の絶対値が設定した閾値より大きいかどうかを判断する。閾値を、たとえば「１０」とすると、図２０の例では、何れの文字も第１平均値と各文字の集計スコアとの差の絶対値が設定した閾値より大きいことから、この段階での判定はすべて×になっている。
　次に、極端に差がある文字については、他の文字とは異なる文字種（手書き／活字）の可能性がある。このため、認識対象項目から第１平均値より小さな文字を除外し、第１平均値より大きな文字だけで再度、集計スコアの平均値（第２平均値とする）を算出する（図示の例では、第２平均値＝４２．８６）。
　第１平均値と第２平均値との差が大きい場合は、除外した文字の文字種が他の文字とは異なると判断する。図示の例では、第１平均値と第２平均値との差が大きいので、除外した文字と残された文字とは、文字種が異なると判断される。
　さらに、第２平均値と残された各文字の集計スコアとの差を算出し、その差の絶対値が設定した閾値より大きいかどうかを判断する。図２０の例では、何れの文字も第２平均値と各文字の集計スコアとの差の絶対値が設定した閾値「１０」より小さく、同一文字種と推定できるから、判定はすべて○になっている。この結果、文字「平」、「成」、「月」および「日」は、活字と判別され、除外した文字「２」、「１」、「１」、「１」、「３」および「０」は手書き文字と判別されることになる。
　また、第１平均値を算出したときに、この第１平均値と極端に差がある文字が存在しない場合には、先に算出した集計スコア通りの判別が用いられる。
　なお、以上の解析による判別処理は、定義体を使用しない場合について説明したが、定義体を使用した処理を併用することにより、手書き／活字判別処理の精度を向上させることができる。また、階調分布解析部１９、文字色解析部２０、文字ストローク階調比解析部２１、文字ストロークエッジ強度解析部２２、文字サイズ／中心位置解析部２３および文字サイズ／ピッチ解析部２４のいずれかの解析処理において、活字の確からしさが確実な所定の閾値を超えていると判断された場合、当該イメージ文字に関する残りの解析をスキップして次のイメージ文字の解析に進めるようにしてもよい。
　図２１は文字認識装置に用いられるコンピュータのハードウェア構成例を示す図である。
　文字認識装置１０は、その一部がコンピュータ５０によって構成されている。コンピュータ５０は、ＣＰＵ（Central Processing Unit）５１によって装置全体が制御されている。ＣＰＵ５１には、バス５７を介してＲＡＭ（Random Access Memory）５２、ハードディスクドライブ（ＨＤＤ:Hard Disk Drive）５３、グラフィック処理装置５４、入力インタフェース５５、および通信インタフェース５６が接続されている。
　ＲＡＭ５２には、ＣＰＵ５１に実行させるＯＳ（Operating System）のプログラムや文字認識処理に必要なアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ５２には、ＣＰＵ５１による処理に必要な各種データが格納される。ハードディスクドライブ５３には、ＯＳ、文字認識のためのアプリケーションプログラム、文字認識に使われる辞書等が格納されている。
　グラフィック処理装置５４には、モニタ５８が接続されている。グラフィック処理装置５４は、ＣＰＵ５１からの命令に従って、画像をモニタ５８の画面に表示させる。入力インタフェース５５には、スキャナ５９、キーボード６０およびマウス６１が接続されている。入力インタフェース５５は、スキャナ５９、キーボード６０およびマウス６１から送られてくる信号を、バス５７を介してＣＰＵ５１に送信する。
　通信インタフェース５６は、金融機関内のネットワークに接続されている。通信インタフェース５６は、ネットワークを介して、他のコンピュータとの間でデータの送受信を行う。
　以上のようなハードウェア構成によって、本実施の形態の文字認識装置１０に係る処理機能を実現することができる。その場合、文字認識装置１０が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
　上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
　１０　文字認識装置
　１１　制御部
　１２　スキャナ制御部
　１３　文字認識位置特定部
　１４　手書き／活字判別部
　１５　認識結果表示部
　１６　文字認識処理部
　１７　手書き文字認識辞書
　１８　活字文字認識辞書
　１９　階調分布解析部
　２０　文字色解析部
　２１　文字ストローク階調比解析部
　２２　文字ストロークエッジ強度解析部
　２３　文字サイズ／中心位置解析部
　２４　文字サイズ／ピッチ解析部
　２５　手書き／活字混在チェック部
　５０　コンピュータ
　５１　ＣＰＵ
　５２　ＲＡＭ
　５３　ハードディスクドライブ
　５４　グラフィック処理装置
　５５　入力インタフェース
　５６　通信インタフェース
　５７　バス
　５８　モニタ
　５９　スキャナ
　６０　キーボード
　６１　マウス

Claims (12)

  1. 　帳票上の手書きの文字と活字の文字とを判別して認識する文字認識方法において、
    　前記帳票のイメージデータから文字認識の対象となる項目を特定し、
    　特定された認識対象項目のイメージ文字の位置およびサイズを算出し、
    　前記イメージ文字の手書きおよび活字の特性を解析して手書きまたは活字の確からしさを数値化したスコアを算出し、
    　前記スコアを基に前記イメージ文字が手書きか活字かを判定し、
    　認識対象項目内の各文字のスコアの平均値を算出して手書きおよび活字の混在をチェックし、
    　各認識対象項目の文字を手書きか活字かの判定結果および手書きおよび活字の混在のチェック結果に応じた文字認識エンジンを用いて文字認識を行う、
    　ことからなり、
    　前記スコアの算出は、
    　前記イメージ文字の階調分布を解析して手書きまたは活字の確からしさを数値化した第１スコアを算出し、
    　前記イメージ文字の文字色を解析して手書きまたは活字の確からしさを数値化した第２スコアを算出し、
    　前記イメージ文字から抽出した文字ストロークから前記文字ストロークが変化する変曲点の階調と変曲点以外の文字ストロークの階調との比を解析して手書きまたは活字の確からしさを数値化した第３スコアを算出し、
    　前記文字ストロークと背景との境界における濃淡変化の強さを表す文字ストロークエッジ強度を解析して手書きまたは活字の確からしさを数値化した第４スコアを算出し、
    　前記イメージ文字の位置およびサイズから文字の縦サイズおよび中心位置を解析して手書きまたは活字の確からしさを数値化した第５スコアを算出し、
    　前記イメージ文字の位置およびサイズから文字サイズおよびピッチを解析して手書きまたは活字の確からしさを数値化した第６スコアを算出する、
    　ことを含み、
    　前記イメージ文字が手書きか活字かの判定では、前記第１ないし第６スコアをそれらの重要度に応じて設定されたウエイトを考慮して前記スコアを集計している、
    　ことを特徴とする文字認識方法。
  2. 　前記階調分布の解析、前記文字色の解析、前記文字ストロークの解析、前記文字ストロークエッジ強度の解析、前記文字の縦サイズおよび中心位置の解析、および前記文字サイズおよびピッチの解析において、前記第１ないし第６スコアのいずれかが確実に活字と判断できる所定の閾値を超えている場合、当該イメージ文字に関する残りの解析をスキップして次の前記イメージ文字の解析に進めることを特徴とする請求の範囲第１項記載の文字認識方法。
  3. 　前記階調分布の解析は、前記イメージ文字のグレー画像を作成し、１文字単位の階調値のヒストグラムを作成し、前記ヒストグラムよりその半値幅を算出し、前記半値幅と所定の閾値との差を算出して前記第１スコアとすることを特徴とする請求の範囲第１項記載の文字認識方法。
  4. 　前記文字色の解析は、前記イメージ文字を色相、彩度および明度の成分からなる色空間に変換し、前記彩度および前記明度についてのヒストグラムを作成し、前記彩度および前記明度の分布値により無彩色か有彩色かを判断し、無彩色または有彩色に応じた値を前記第２スコアに設定することを特徴とする請求の範囲第１項記載の文字認識方法。
  5. 　有彩色の中から特定の文字色を判別する場合、前記色相についてのヒストグラムを作成し、前記色相の分布値に応じた値を前記第２スコアに設定することを特徴とする請求の範囲第４項記載の文字認識方法。
  6. 　前記文字ストロークの解析は、前記イメージ文字から抽出した文字ストロークのベクトルを求め、前記ベクトルの交点である変曲点を算出し、前記変曲点の平均階調値および前記変曲点以外の前記文字ストローク全体の平均階調値を算出し、前記変曲点の平均階調値と前記変曲点以外の前記文字ストローク全体の平均階調値との比に応じた値を前記第３スコアとして設定することを特徴とする請求の範囲第１項記載の文字認識方法。
  7. 　前記文字ストロークエッジ強度の解析は、前記イメージ文字から文字ストロークを抽出し、前記文字ストロークのエッジの階調値の平均である第１階調値を算出し、前記文字ストロークの全体の階調値の平均である第２階調値を算出し、前記第１階調値と前記第２階調値との差と所定の閾値との差を前記第４スコアとして設定することを特徴とする請求の範囲第１項記載の文字認識方法。
  8. 　前記文字ストロークエッジ強度の解析は、前記イメージ文字から文字ストロークおよびその背景を抽出し、前記文字ストロークのエッジの階調値の平均である第１階調値を算出し、前記エッジの周辺における前記背景の階調値の平均である第２階調値を算出し、前記第１階調値と前記第２階調値との差と所定の閾値との差を前記第４スコアとして設定することを特徴とする請求の範囲第１項記載の文字認識方法。
  9. 　前記文字の縦サイズおよび中心位置の解析は、縦サイズが同一の文字を集めた文字列についての文字列中心位置を算出し、文字の中心位置と前記文字列中心位置との差と所定の閾値との差を前記第５スコアとして設定することを特徴とする請求の範囲第１項記載の文字認識方法。
  10. 　前記文字サイズおよびピッチの解析は、認識対象項目にて判定対象となる文字およびその両隣の文字に対して縦サイズ差と文字間ピッチとを算出し、前記縦サイズ差および前記文字間ピッチが所定の関係にあるかどうかに応じた値を前記第６スコアに設定することを特徴とする請求の範囲第１項記載の文字認識方法。
  11. 　帳票上の手書きおよび活字の文字を認識する文字認識装置において、
    　前記帳票のイメージデータから特定された認識対象項目のイメージ文字の階調分布を解析して手書きまたは活字の確からしさを数値化した第１スコアを算出する階調分布解析部と、
    　前記イメージ文字の文字色を解析して手書きまたは活字の確からしさを数値化した第２スコアを算出する文字色解析部と、
    　前記イメージ文字から抽出した文字ストロークから前記文字ストロークが変化する変曲点の階調と変曲点以外の文字ストロークの階調との比を解析して手書きまたは活字の確からしさを数値化した第３スコアを算出する文字ストローク階調比解析部と、
    　前記文字ストロークと背景との境界における濃淡変化の強さを表す文字ストロークエッジ強度を解析して手書きまたは活字の確からしさを数値化した第４スコアを算出する文字ストロークエッジ強度解析部と、
    　前記イメージ文字の位置およびサイズから文字の縦サイズおよび中心位置を解析して手書きまたは活字の確からしさを数値化した第５スコアを算出する文字サイズ／中心位置解析部と、
    　前記イメージ文字の位置およびサイズから文字サイズおよびピッチを解析して手書きまたは活字の確からしさを数値化した第６スコアを算出する文字サイズ／ピッチ解析部と、
    　認識対象項目内の各文字の前記第１ないし第６スコアの平均値を算出して手書きおよび活字の混在をチェックする手書き／活字混在チェック部と、
    　を有し、前記第１ないし第６スコアを重要度に応じて設定されたウエイトを考慮して集計した集計スコアと、前記手書き／活字混在チェック部によるチェック結果とを基に、前記イメージ文字が手書きか活字かを判定する手書き／活字判別部と、
    　各認識対象項目の文字について、前記手書き／活字判別部による判定結果に応じた文字認識エンジンを用いて文字認識を行う文字認識処理部と、
    　を備えていることを特徴とする文字認識装置。
  12. 　帳票上の手書きの文字と活字の文字とを判別する処理をコンピュータに実行させる文字認識プログラムであって、
    　前記コンピュータに、
    　前記帳票のイメージデータから文字認識の対象となる項目を特定し、
    　特定された認識対象項目のイメージ文字の位置およびサイズを算出し、
    　前記イメージ文字の階調分布を解析して手書きまたは活字の確からしさを数値化した第１スコアを算出し、
    　前記イメージ文字の文字色を解析して手書きまたは活字の確からしさを数値化した第２スコアを算出し、
    　前記イメージ文字から抽出した文字ストロークから前記文字ストロークが変化する変曲点の階調と変曲点以外の文字ストロークの階調との比を解析して手書きまたは活字の確からしさを数値化した第３スコアを算出し、
    　前記文字ストロークと背景との境界における濃淡変化の強さを表す文字ストロークエッジ強度を解析して手書きまたは活字の確からしさを数値化した第４スコアを算出し、
    　前記イメージ文字の位置およびサイズから文字の縦サイズおよび中心位置を解析して手書きまたは活字の確からしさを数値化した第５スコアを算出し、
    　前記イメージ文字の位置およびサイズから文字サイズおよびピッチを解析して手書きまたは活字の確からしさを数値化した第６スコアを算出し、
    　前記第１ないし第６スコアを重要度に応じて設定されたウエイトを考慮して集計することにより前記イメージ文字が手書きか活字かを判定し、
    　認識対象項目内の各文字のスコアの平均値を算出して手書きおよび活字の混在をチェックし、
    　各認識対象項目の文字を手書きか活字かの判定結果および手書きおよび活字の混在のチェック結果に応じて文字認識を行う、
    　処理を実行させることを特徴とする文字認識プログラム。
PCT/JP2009/070886 2009-12-15 2009-12-15 文字認識方法、文字認識装置および文字認識プログラム WO2011074067A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP09852261.8A EP2515257A4 (en) 2009-12-15 2009-12-15 METHOD, DEVICE AND PROGRAM FOR CHARACTER RECOGNITION
JP2011545873A JP5363591B2 (ja) 2009-12-15 2009-12-15 文字認識方法、文字認識装置および文字認識プログラム
PCT/JP2009/070886 WO2011074067A1 (ja) 2009-12-15 2009-12-15 文字認識方法、文字認識装置および文字認識プログラム
US13/472,065 US8588520B2 (en) 2009-12-15 2012-05-15 Character recognition method, character recognition apparatus, and character recognition program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/070886 WO2011074067A1 (ja) 2009-12-15 2009-12-15 文字認識方法、文字認識装置および文字認識プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/472,065 Continuation US8588520B2 (en) 2009-12-15 2012-05-15 Character recognition method, character recognition apparatus, and character recognition program

Publications (1)

Publication Number Publication Date
WO2011074067A1 true WO2011074067A1 (ja) 2011-06-23

Family

ID=44166864

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/070886 WO2011074067A1 (ja) 2009-12-15 2009-12-15 文字認識方法、文字認識装置および文字認識プログラム

Country Status (4)

Country Link
US (1) US8588520B2 (ja)
EP (1) EP2515257A4 (ja)
JP (1) JP5363591B2 (ja)
WO (1) WO2011074067A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201038A (ja) * 2014-04-08 2015-11-12 富士通株式会社 情報処理装置及び情報処理プログラム
CN112733902A (zh) * 2020-12-30 2021-04-30 杭州海康威视数字技术股份有限公司 烟盒识别方法
JP2022067086A (ja) * 2020-10-19 2022-05-02 アクセンチュア グローバル ソリューションズ リミテッド デジタル化された筆記の処理

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2640322C2 (ru) * 2014-01-30 2017-12-27 Общество с ограниченной ответственностью "Аби Девелопмент" Способы и системы эффективного автоматического распознавания символов
US10725650B2 (en) * 2014-03-17 2020-07-28 Kabushiki Kaisha Kawai Gakki Seisakusho Handwritten music sign recognition device and program
US9405997B1 (en) 2014-06-17 2016-08-02 Amazon Technologies, Inc. Optical character recognition
US9330311B1 (en) * 2014-06-17 2016-05-03 Amazon Technologies, Inc. Optical character recognition
US10489051B2 (en) * 2014-11-28 2019-11-26 Samsung Electronics Co., Ltd. Handwriting input apparatus and control method thereof
JP6142882B2 (ja) * 2015-01-28 2017-06-07 コニカミノルタ株式会社 画像形成装置
JP6492894B2 (ja) * 2015-04-01 2019-04-03 富士通株式会社 認識プログラム、認識方法及び認識装置
CN104992188B (zh) * 2015-07-15 2018-04-20 南京邮电大学 一种基于t混合因子分析的分布式手写数字识别方法
CN106096601B (zh) * 2016-06-06 2019-06-18 深圳辰通智能股份有限公司 一种自动检测票据中字符类型的方法和***
CN109243244B (zh) * 2018-08-13 2020-10-30 广东小天才科技有限公司 一种书写评分方法、装置、设备及存储介质
CN109871910B (zh) * 2019-03-12 2021-06-22 成都工业学院 一种手写字符识别方法及装置
JP2021033855A (ja) * 2019-08-28 2021-03-01 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP7282314B2 (ja) * 2019-08-29 2023-05-29 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN110705362B (zh) * 2019-09-06 2022-12-09 航天新长征大道科技有限公司 一种字印分析方法和装置
US11488407B1 (en) * 2021-06-01 2022-11-01 Lead Technologies, Inc. Method, apparatus, and computer-readable storage medium for recognizing characters in a digital document

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6414682A (en) * 1987-07-08 1989-01-18 Toshiba Corp Device for deciding kind of address
JP2000181993A (ja) 1998-12-16 2000-06-30 Fujitsu Ltd 文字認識方法および装置
JP2000331122A (ja) 1999-05-21 2000-11-30 Fujitsu Ltd 文字認識方法および装置
JP2006092345A (ja) 2004-09-24 2006-04-06 Fuji Xerox Co Ltd 文字認識装置、文字認識方法および文字認識プログラム
JP2008033604A (ja) * 2006-07-28 2008-02-14 Univ Of Tokyo 画像処理システム、文字認識システムおよび画像処理プログラム
JP2009053826A (ja) * 2007-08-24 2009-03-12 Fuji Xerox Co Ltd 文書処理装置及び文書処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63261486A (ja) * 1987-04-20 1988-10-28 Nec Corp 書体識別装置
US5181255A (en) * 1990-12-13 1993-01-19 Xerox Corporation Segmentation of handwriting and machine printed text
US7072514B1 (en) * 2003-02-06 2006-07-04 The United States Of America As Represented By The National Security Agency Method of distinguishing handwritten and machine-printed images
JP2006092027A (ja) * 2004-09-21 2006-04-06 Fuji Xerox Co Ltd 文字認識装置、文字認識方法および文字認識プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6414682A (en) * 1987-07-08 1989-01-18 Toshiba Corp Device for deciding kind of address
JP2000181993A (ja) 1998-12-16 2000-06-30 Fujitsu Ltd 文字認識方法および装置
JP2000331122A (ja) 1999-05-21 2000-11-30 Fujitsu Ltd 文字認識方法および装置
JP2006092345A (ja) 2004-09-24 2006-04-06 Fuji Xerox Co Ltd 文字認識装置、文字認識方法および文字認識プログラム
JP2008033604A (ja) * 2006-07-28 2008-02-14 Univ Of Tokyo 画像処理システム、文字認識システムおよび画像処理プログラム
JP2009053826A (ja) * 2007-08-24 2009-03-12 Fuji Xerox Co Ltd 文書処理装置及び文書処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2515257A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201038A (ja) * 2014-04-08 2015-11-12 富士通株式会社 情報処理装置及び情報処理プログラム
US9921742B2 (en) 2014-04-08 2018-03-20 Fujitsu Limited Information processing apparatus and recording medium recording information processing program
JP2022067086A (ja) * 2020-10-19 2022-05-02 アクセンチュア グローバル ソリューションズ リミテッド デジタル化された筆記の処理
JP7364639B2 (ja) 2020-10-19 2023-10-18 アクセンチュア グローバル ソリューションズ リミテッド デジタル化された筆記の処理
CN112733902A (zh) * 2020-12-30 2021-04-30 杭州海康威视数字技术股份有限公司 烟盒识别方法
CN112733902B (zh) * 2020-12-30 2023-09-05 杭州海康威视数字技术股份有限公司 烟盒识别方法

Also Published As

Publication number Publication date
EP2515257A4 (en) 2016-12-07
EP2515257A1 (en) 2012-10-24
US8588520B2 (en) 2013-11-19
JPWO2011074067A1 (ja) 2013-04-25
JP5363591B2 (ja) 2013-12-11
US20120308127A1 (en) 2012-12-06

Similar Documents

Publication Publication Date Title
JP5363591B2 (ja) 文字認識方法、文字認識装置および文字認識プログラム
JP3833153B2 (ja) 画像処理方法及び装置
US8494273B2 (en) Adaptive optical character recognition on a document with distorted characters
JP5379085B2 (ja) スキャンされた文書画像内の前景画素群の連結グループをマーキング種類に基づき分類する方法及びシステム
US20210064859A1 (en) Image processing system, image processing method, and storage medium
US7653244B2 (en) Intelligent importation of information from foreign applications user interface
US20030063802A1 (en) Image processing method, apparatus and system
CN111027297A (zh) 一种对图像型pdf财务数据关键表格信息的处理方法
CN109784342B (zh) 一种基于深度学习模型的ocr识别方法及终端
US20070253040A1 (en) Color scanning to enhance bitonal image
US9646230B1 (en) Image segmentation in optical character recognition using neural networks
US11983910B2 (en) Image processing system, image processing method, and storage medium each for obtaining pixels of object using neural network
KR20150137752A (ko) 문자 인식 방법 및 그 장치
JP2002352191A (ja) 手書き判別能力を持つプリンティング制御インターフェースシステムとその方法
US8194941B2 (en) Character noise eliminating apparatus, character noise eliminating method, and character noise eliminating program
US20080175483A1 (en) Pattern separating extraction program, pattern separating extraction device, and pattern separating extraction method
Al Abodi et al. An effective approach to offline Arabic handwriting recognition
CN111738252A (zh) 图像中的文本行检测方法、装置及计算机***
CN111047618B (zh) 基于多尺度的无参考屏幕内容图像质量评估方法
US8687239B2 (en) Relevance based print integrity verification
Pati et al. Handwriting Quality Assessment using Structural Features and Support Vector Machines
US8589416B2 (en) System and method of performing data processing on similar forms
US8488886B2 (en) Font matching
US20240176951A1 (en) Electronic document validation
US11948342B2 (en) Image processing apparatus, image processing method, and non-transitory storage medium for determining extraction target pixel

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09852261

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2011545873

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2009852261

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009852261

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE