WO2012091180A1 - 文字検出装置、文字検出方法、および記録媒体 - Google Patents
文字検出装置、文字検出方法、および記録媒体 Download PDFInfo
- Publication number
- WO2012091180A1 WO2012091180A1 PCT/JP2012/000007 JP2012000007W WO2012091180A1 WO 2012091180 A1 WO2012091180 A1 WO 2012091180A1 JP 2012000007 W JP2012000007 W JP 2012000007W WO 2012091180 A1 WO2012091180 A1 WO 2012091180A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- pixel
- frequency
- gradation
- character
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/147—Determination of region of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/16—Image preprocessing
- G06V30/168—Smoothing or thinning of the pattern; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/18086—Extraction of features or characteristics of the image by performing operations within image blocks or by using histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/155—Removing patterns interfering with the pattern to be recognised, such as ruled lines or underlines
Definitions
- the present invention relates to an apparatus and a method for performing image processing on an image including a transmission image.
- image forming apparatuses having various functions such as copying, PC printing, scanning, faxing, and file servers have become widespread.
- image forming apparatus is called a “multifunction machine” or “MFP (Multi Function Peripherals)”.
- PC print is a function for receiving image data from a personal computer and printing the image on paper.
- drawing software has a function of displaying a transparent image on a display.
- Transparent image has the property that even if there is an image of another object behind it, the image of the other object can be seen through.
- the transparent image 40a is superimposed on the left half of the back image 40b.
- the portion of the background image 40b that overlaps the transparent image 40a is seen through.
- a non-transparent image 40c that is not a transparent image is superimposed on the right half of the back image 40b, it cannot be seen through.
- the higher the transmittance of the transparent image the more transparent the background image on which it is superimposed.
- the image forming apparatus can print the transparent image displayed on the personal computer on paper. Before printing, the transparent image is subjected to pixel thinning processing as shown in FIGS. 5B and 5C in accordance with the high transmittance. Then, an image behind the transparent image is printed at the thinned pixel position. As a result, the background image appears to show through.
- a digital image is divided into a plurality of blocks, a contrast amount relating to pixel values of a plurality of pixels included in the block is obtained, a pixel value bimodal evaluation value relating to a histogram of pixel values of a plurality of pixels included in the block is obtained, and a plurality of A contrast threshold value based on the contrast amount is obtained, a bimodal threshold value is obtained based on a plurality of the pixel value bimodal evaluation values, and the block is classified as a text block or a non-text block.
- the block in which the contrast amount and the pixel value bimodal evaluation value satisfy the first criterion based on the contrast threshold and the bimodal threshold is classified as a text block, and the first The above blocks that do not satisfy one standard are classified as non-text blocks (Patent Document 1).
- the present invention has been made in view of such problems, and an object of the present invention is to detect characters with superimposed transmission images more accurately than in the past.
- a character detection device is a character detection device that detects a character from an image including a first image representing a character and a second image representing a translucent object, A calculation unit that calculates the frequency of appearance of each pixel attribute gradation for each block obtained by dividing the overlapping area, which is an area where the second image overlaps the image, and the frequency of each gradation And a detection unit that detects the character from the superimposition region.
- a first frequency that is a frequency in a first gradation of the gradations a second frequency that is a frequency in a second gradation of the gradations
- the third frequency that is the frequency in the third gradation of the gradations is a peak, and the difference between the third frequencies in any two of the blocks is the second frequency in the two blocks.
- a first replacement image is generated by changing to a first pixel that is a pixel of the first gradation, and the third pixel of the pixels in the overlapping region is a pixel of the second gradation Second replacement image by changing to some second pixel A generating unit; a first closing processing unit that closes the second pixel of the first replacement image; and a second closing process that closes the first pixel of the second replacement image.
- the detection unit has the same position as the first pixel of the first replacement image after closing or the second replacement image after closing of the pixels in the overlapping region.
- a set of pixels at the same position as the second pixel is detected as the character.
- the attribute is, for example, color brightness.
- the attribute is, for example, density.
- FIG. 1 is a diagram illustrating an example of a network system including an image forming apparatus.
- FIG. 2 is a diagram illustrating an example of a hardware configuration of the image forming apparatus.
- FIG. 3 is a diagram illustrating an example of the configuration of the image processing circuit.
- FIG. 4A and FIG. 4B are diagrams for explaining an example of superimposing a transparent image and a non-transparent image on the background image.
- FIG. 5A to FIG. 5C are diagrams for explaining an example of the characteristics of a transmission image.
- FIG. 6 is a diagram for explaining an example of superimposing a transparent image on a background image.
- FIG. 7A and 7B are diagrams illustrating an example of the positional relationship between the transparent image superimposed region and the transparent image non-superimposed region when the transparent image is superimposed on the background image.
- FIG. 8A and FIG. 8B are diagrams illustrating examples of pixels constituting the transparent image overlapping region.
- FIG. 9A to FIG. 9C are histograms showing examples of the distribution of the number of pixels of each brightness.
- FIG. 10 is a diagram illustrating an example of the configuration of the character pixel determination unit.
- FIG. 11 is a diagram for explaining an example of processing of the first pixel replacement unit, the first closing processing unit, and the first character pixel determination unit.
- FIG. 12 is a diagram for describing an example of processing of the second pixel replacement unit, the second closing processing unit, and the second character pixel determination unit.
- FIG. 13 is a diagram for explaining an example of processing of the logical sum operation unit.
- FIG. 1 is a diagram illustrating an example of a network system including an image forming apparatus 1.
- FIG. 2 is a diagram illustrating an example of a hardware configuration of the image forming apparatus 1.
- An image forming apparatus 1 shown in FIG. 1 is an apparatus generally called a multifunction peripheral or an MFP (Multi Function Peripherals), and is an apparatus in which functions such as copying, network printing (PC printing), fax, and scanner are integrated. .
- MFP Multi Function Peripherals
- the image forming apparatus 1 can exchange image data with an apparatus such as a personal computer 4A via a communication line 4T such as a LAN (Local Area Network), a public line, or the Internet.
- a communication line 4T such as a LAN (Local Area Network), a public line, or the Internet.
- the image forming apparatus 1 includes a CPU (Central Processing Unit) 10a, a RAM (Random Access Memory) 10b, a ROM (Read Only Memory) 10c, a mass storage device 10d, a scanner 10e, a printing device 10f,
- the network interface 10g, the touch panel display 10h, the modem 10i, and the image processing circuit 10j are configured.
- the scanner 10e is a device that generates image data by reading an image such as a photograph, a character, a picture, a chart, or the like written on a document sheet.
- the touch panel display 10h displays a screen for giving a message or an instruction to the user, a screen for the user to input processing instructions and conditions, a screen showing the processing result of the CPU 10a, and the like. Moreover, the position which the user touched with the finger
- the network interface 10g is a NIC (Network Interface Card) for communicating with other devices such as the personal computer 4A via the communication line 4T.
- NIC Network Interface Card
- the modem 10i is a device for exchanging image data with other fax terminals using a protocol such as G3 via a fixed telephone network.
- the image processing circuit 10j performs image processing on the image to be printed based on the image data transmitted from the personal computer 4A.
- Each part of the image processing circuit 10j is realized by a circuit such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array). The processing of each part of the image processing circuit 10j will be described later.
- the printing apparatus 10f prints an image read by the scanner 10e or an image subjected to image processing by the image processing circuit 10j on a sheet.
- the ROM 10c and the large-capacity storage device 10d store programs such as firmware and applications in addition to the OS (Operating System). These programs are loaded into the RAM 10b as necessary and executed by the CPU 10a.
- a hard disk or a flash memory is used as the large capacity storage device 10d.
- FIG. 3 is a diagram showing an example of the configuration of the image processing circuit 10j.
- FIG. 4 is a diagram for explaining an example of superimposing the transparent image 40a and the non-transparent image 40c on the background image 40b.
- FIG. 5 is a diagram for explaining an example of characteristics of a transparent image.
- FIG. 6 is a diagram for explaining an example of superimposing the transparent image 41a on the background image 41b.
- FIG. 7 is a diagram illustrating an example of a positional relationship between the transparent image superimposed region 50K and the transparent image non-superimposed region 50L when the transparent image 50a is superimposed on the background image 50b.
- FIG. 8 is a diagram illustrating an example of pixels constituting the transparent image overlapping region 50K.
- FIG. 9 is a histogram showing an example of the distribution of the number of pixels of each brightness.
- FIG. 10 is a diagram illustrating an example of the configuration of the character pixel determination unit 104.
- FIG. 11 is a diagram for explaining an example of processing of the first pixel replacement unit 303, the first closing processing unit 304, and the first character pixel determination unit 305.
- FIG. 12 is a diagram for describing an example of processing of the second pixel replacement unit 306, the second closing processing unit 307, and the second character pixel determination unit 308.
- FIG. 13 is a diagram for explaining an example of processing of the logical sum operation unit 309.
- the image processing circuit 10j includes a transparent image superimposition area extraction unit 101, a block division unit 102, a histogram calculation unit 103, a character pixel determination unit 104, a transparent image superimposition area correction unit 105, and the like. .
- the image processing circuit 10j performs image processing on an image to be printed. Specifically, the image processing is information processing for editing image data 70 representing an image to be printed.
- image data 70 image data representing a state in which the transparent image is superimposed on another image is used.
- a “transparent image” is an image having a property that an image of another object can be seen through even if there is an image of another object behind. That is, it can be said that the transmission image represents a translucent object such as glass and cellophane.
- An example of a transparent image is a transparent GIF (Graphics (Interchange Format) image.
- the transparent image 40a is overlaid on the left half of the back image 40b
- the non-transparent image 40c is overlaid on the right half of the back image 40b.
- the portion of the background image 40b that overlaps the transparent image 40a is seen through.
- the portion of the background image 40b that overlaps the non-transparent image 40c does not appear at all.
- FIG. 5A when a transparent image is displayed on a personal computer 4A or the like, as shown in FIG. 5A, even if all pixels have a constant density, FIG. 5B or FIG. As shown in FIG. 5C, conversion is performed so as to be constituted by pixels having a certain density and pixels not having the density.
- hatched pixels are pixels having a certain density.
- pixels that are not hatched are pixels that do not have a certain density.
- a pixel having a constant density is referred to as a “density pixel”
- a pixel having no constant density is referred to as a “non-density pixel”.
- Density is the gradation of each color (for example, Red, Green, and Blue, respectively) when the transparent image is a color image, and is gray scale when the transparent image is a monochrome image.
- Pixels with density are printed at a fixed density.
- the non-density pixel is not printed if there is no other image behind, but if there is another image, the pixel at the same position as the non-density pixel in the other image is printed.
- the transmittance of the transmission image shown in FIG. 5B is higher than that of the transmission image shown in FIG.
- pixels with density there are non-density pixels on the top, bottom, left, and right of the pixels with density shown in FIG.
- pixels with density exist on the top, bottom, left, and right of the non-density pixel shown in FIG.
- a pixel in which the other type of pixel exists vertically and horizontally is referred to as an “isolated point”. Therefore, in FIG. 5B, a pixel with density is an isolated point pixel, and in FIG. 5C, a pixel without density is an isolated point pixel.
- image processing by the image processing circuit 10j will be described by taking as an example the case where image data representing the original image 50 is handled as the image data 70.
- the original image 50 is obtained by superimposing a transparent image 50a on a background image 50b.
- the user creates the original image 50 using an application such as drawing software installed in the personal computer 4A.
- data for reproducing the original image 50 is generated as the image data 70.
- the transparent image 50a is smaller than the background image 50b. Therefore, as shown in FIG. 7B, the original image 50 includes an area where the background image 50b and the transparent image 50a overlap and an area only of the background image 50b.
- the former is referred to as “transparent image superimposing region 50K”, and the latter is referred to as “transparent image non-superimposing region 50L”.
- a character “A” is written in a portion of the background image 50b where the transparent image 50a overlaps.
- the color of this character is one specific color (for example, blue).
- the background color of this character is another specific one color (for example, yellow).
- the personal computer 4A transmits the image data 70 to the image forming apparatus 1 together with a print command.
- each unit of the image processing circuit 10j executes the following processing.
- the transparent image superimposed region extraction unit 101 determines and extracts the transparent image superimposed region 50K from the original image 50.
- the transparent image superimposed region extraction unit 101 determines and detects the transparent image superimposed region 50K, for example, as follows based on the above-described characteristics of the transparent image.
- the transparent image superimposed region extraction unit 101 detects isolated points from the original image 50 as follows. Pay attention to one pixel. Hereinafter, this pixel is referred to as a “target pixel”. The density (gradation) of the target pixel is compared with the densities of other pixels (hereinafter referred to as “adjacent pixels”) adjacent to the target pixel in the upper, lower, left, and right directions.
- the transmission image overlapping area extracting unit 101 detects the target pixel as an isolated point.
- the transparent image superimposed region extraction unit 101 performs this comparison independently for each color. If any one of the requirements is satisfied, the target pixel is detected as an isolated point. The same applies to the determination of whether or not the original image 50 is a color image.
- the appearance of isolated points in the transmission image has a certain periodicity (regularity). Therefore, the transparent image overlapping region extraction unit 101 extracts a plurality of isolated points having periodicity in appearance in the detected isolated points.
- the transparent image overlapping region extraction unit 101 performs a closing process on an image representing a distribution of a plurality of extracted isolated points (hereinafter referred to as “distribution image”). That is, a process of expanding (expanding) and reducing (contracting) the dot at the position of each isolated point is performed.
- the position and shape of the distribution image subjected to the closing process substantially correspond to the position and shape of the transmission image superimposing region 50K.
- the transparent image superimposed region extraction unit 101 identifies the position and shape of the transparent image superimposed region 50K in this way, and extracts the transparent image superimposed region 50K from the original image 50.
- the pixels with density are detected as isolated points, and the pixels of the background image appearing at the positions without density pixels are also detected as isolated points. That is, most pixels in the area are detected as isolated points.
- the density of each pixel with density is constant, but the pixel of the background image that appears at the position of each pixel without density is not constant. Therefore, when most of the pixels in the region are detected as isolated points, the transparent image overlapping region extraction unit 101 selects only isolated points having a certain density, and displays an image representing the distribution of the selected isolated points. What is necessary is just to perform closing as a distribution image.
- the block dividing unit 102 divides the transparent image superimposed region 50K extracted by the transparent image superimposed region extracting unit 101 into a predetermined number of blocks 51.
- the transparent image overlapping area 50K shown in FIG. 8A is divided into 4 ⁇ 4 blocks 51A to 51P as shown in FIG. 8B.
- the sizes of the blocks 51A to 51P are all equal.
- hatched pixels are pixels with density in the transmission image 50a.
- Both the black pixel and the gray pixel are pixels of the background image 50b that appear at the non-density pixel position of the transmission image 50a, but the black pixel is a pixel of the character “A” and is gray These are the pixels of the background of the character.
- the histogram calculation unit 103 calculates a frequency distribution in which the number of pixels of each brightness of each of the blocks 51A to 51P is a frequency. Each calculated frequency distribution can be represented as a histogram as shown in FIG.
- 9A, 9B, and 9C are histograms representing the frequency distribution of the block 51A, the block 51B, and the block 51C, respectively.
- Each peak has a distribution of the number of pixels having the same brightness as the pixels having density in the transmission image 50a, a distribution of the number of pixels having the same brightness as the characters in the background image 50b, and the background and brightness of the characters in the background image 50b. Corresponds to any one of the distributions of the number of pixels having the same.
- the character pixel determination unit 104 includes 24 comparison operation units, a pixel type lightness determination unit 302, a first pixel replacement unit 303, a first closing processing unit 304, and a first character pixel determination. 305, a second pixel replacement unit 306, a second closing processing unit 307, a second character pixel determination unit 308, an OR operation unit 309, and the like.
- the character pixel determination unit 104 determines character pixels from the transparent image overlapping region 50K based on the frequency distribution of each block 51 calculated by the histogram calculation unit 103 as follows.
- each of the 24 comparison operation units is distinguished from “first comparison operation unit 201”, “second comparison operation unit 202”,..., “24th comparison operation unit 224”. May be described.
- the character pixel determination unit 104 is provided with a comparison operation unit for each of these combinations. Then, the comparison operation unit compares the frequency distributions of the blocks 51 calculated by the histogram calculation unit 103.
- the first comparison operation unit 201 compares the frequency distribution of the block 51A with the frequency distribution of the block 51B.
- the second comparison operation unit 202 compares the frequency distribution of the block 51B with the frequency distribution of the block 51C.
- the third comparison operation unit 203 compares the frequency distribution of the block 51C with the frequency distribution of the block 51D.
- the comparison operation unit compares the frequency distribution of each block 51 as follows. As described with reference to FIG. 9, the frequency distribution of the block 51 has two or three peaks. The comparison operation unit compares the peaks of the two blocks 51 having the same brightness.
- the first comparison operation unit 201 compares the frequency of the first brightness Br1 of the block 51A with the frequency of the first brightness Br1 of the block 51B.
- the frequency of the second brightness Br2 of the block 51A is compared with the frequency of the second brightness Br2 of the block 51B.
- the frequency of the third brightness Br3 of the block 51A is compared with the frequency of the third brightness Br3 of the block 51B.
- the second comparison operation unit 202 compares the frequency of the first brightness Br1 of the block 51B with the frequency of the first brightness Br1 of the block 51C.
- the frequency of the second brightness Br2 of the block 51B is compared with the frequency of the second brightness Br2 of the block 51C.
- the frequency of the third brightness Br3 of the block 51B is compared with the frequency of the third brightness Br3 of the block 51C.
- the comparison calculation unit notifies the pixel type lightness determination unit 302 that the lightness difference between the two powers is less than the predetermined value ⁇ as a constant lightness, and the difference between the two powers is greater than or equal to the predetermined value ⁇ .
- the brightness is notified as indefinite brightness.
- the frequency distribution of the block 51A is as shown in the histogram of FIG. 9A
- the frequency distribution of the block 51B is as shown in the histogram of FIG. 9B.
- the frequencies of the pixels of lightness Br3 in both blocks 51 are equal, but the frequencies of the pixels of lightness Br1 are different, and the frequencies of the pixels of lightness Br2 are also different.
- the first comparison operation unit 201 notifies the pixel type lightness determination unit 302 with the lightness Br3 as a constant lightness. Further, the lightness Br1 and the lightness Br2 are notified to the pixel type lightness determination unit 302 as constant lightness or indefinite lightness according to a predetermined value ⁇ . For example, if the predetermined value ⁇ is “1”, the difference is equal to or greater than “1” if the two frequencies are slightly different. Therefore, the brightness Br1 and the brightness Br2 are notified as indefinite brightness.
- the pixel type lightness determination unit 302 is notified of a total of about 24 constant lightness and about 48 indefinite lightness from the 24 comparison operation units.
- the colors of the pixels with density in the transparent image 50a are all the same, the colors of the pixels of the characters in the background image 50b are all the same, and the colors of the background pixels of the characters in the background image 50b are all the same. . Therefore, these constant brightness and indefinite brightness match any one of the first brightness Br1, the second brightness Br2, and the third brightness Br3.
- the pixel type lightness determination unit 302 classifies the about 24 notified constant lightness values by value. In this example, it should be classified into one of the first brightness Br1, the second brightness Br2, and the third brightness Br3. Then, it is determined that the constant lightness classified most is the lightness of the pixels with density of the transmission image 50a. As a result, in this example, the constant lightness classified as the third lightness Br3 is the largest, and it should be determined that the third lightness Br3 is the lightness of the pixels with density in the transmission image 50a. This is because the lightness distribution of the pixels with density in the transmission image 50 a is almost constant in all the blocks 51.
- the lightness (constant lightness) determined to be the lightness of the pixels with density in the transmission image 50a is referred to as “density lightness Bn”.
- the pixel type lightness determination unit 302 similarly classifies the notified about 48 indefinite lightness values by value. In this example, it should be classified into one of the first brightness Br1, the second brightness Br2, and the third brightness Br3. Then, the classified indefinite brightness is determined as the brightness of the pixel of the background image 50b if it is not the brightness of the pixel with density of the transmission image 50a. In this example, since the third brightness Br3 is first determined as the brightness of the pixels with density in the transmission image 50a, the first brightness Br1 and the second brightness Br2 are determined by the brightness of the pixels of the background image 50b. If there is, it is determined.
- first background image brightness Bh1 the two brightness values (undefined brightness values) determined to be the brightness values of the pixels of the background image 50b are referred to as “first background image brightness Bh1” and “second background image brightness Bh2,” respectively.
- first brightness Br1 is the first background image brightness Bh1
- second brightness Br2 is the second background image brightness Bh2
- the pixel type lightness determination unit 302 sends the density pixel lightness Bn, the first background image lightness Bh1, and the second background image lightness Bh2 to the first pixel replacement unit 303 and the second pixel replacement unit 306. Notice.
- the first pixel replacement unit 303, the first closing processing unit 304, and the first character pixel determination unit 305 are provided with the image data 70, the density pixel brightness Bn, the first background image brightness Bh 1, and the second background Processing is performed based on the image brightness Bh2.
- the procedure of this processing will be described with reference to FIG.
- the first pixel replacement unit 303 searches the original image 50 for pixels that belong to the transparent image superimposing area 50K and whose brightness is the density-concentrated pixel brightness Bn. Thereby, pixels indicated by hatching in FIG. 11A are found. Then, the first pixel replacement unit 303 replaces the pixels having the density pixel brightness Bn with the pixels whose brightness is the first background image brightness Bh1, as shown in FIG. 11B. Replace with.
- the image of the transparent image overlapping region 50K that has been subjected to the replacement process by the first pixel replacement unit 303 is referred to as a “replacement processed image 52A”.
- the first closing processing unit 304 performs a closing process on the replacement processed image 52A by expanding and contracting the pixels (pixels indicated by black) of the second background image brightness Bh2. Thereby, a result as shown in FIG. 11C is obtained.
- the replacement processed image 52A that has been subjected to the closing process by the first closing processing unit 304 is referred to as a “closing processed image 52B”.
- the brightness of the pixels constituting the closing processed image 52B is one of the first background image brightness Bh1 and the second background image brightness Bh2.
- the first character pixel discriminating unit 305 discriminates the pixel having the smaller number of pixels of the first background image brightness Bh1 and the second background image brightness Bh2 as a character pixel. Then, the closing processing image 52B is binarized so that those pixels become “1” and other pixels become “0”. Thereby, a result as shown in FIG. 11D is obtained. In FIG. 11D, the value of a pixel with a black dot is “1”, and the value of a pixel without a black dot is “0”. The same applies to FIG. 12D and FIG. Hereinafter, the closing image 52B binarized by the first character pixel determination unit 305 is referred to as a “first binary image 52C”.
- the second pixel replacement unit 306, the second closing processing unit 307, and the second character pixel determination unit 308 are also the first pixel replacement unit 303, the first closing processing unit 304, and the first character pixel determination.
- processing is performed based on the image data 70, the density pixel brightness Bn, the first background image brightness Bh1, and the second background image brightness Bh2.
- the usage of the first background image brightness Bh1 and the second background image brightness Bh2 is different.
- the second pixel replacement unit 306 searches the original image 50 for pixels that belong to the transparent image superimposition area 50K and whose brightness is the density-concentrated pixel brightness Bn. As shown in FIG. The pixel is replaced with a pixel (pixel shown in black) whose brightness is the second background image brightness Bh2.
- the image of the transparent image overlapping region 50K that has been subjected to the replacement process by the second pixel replacement unit 306 is referred to as a “replacement processed image 53A”.
- the second closing processing unit 307 performs a closing process on the replacement processed image 53A by expanding and contracting the pixels (pixels shown in gray) of the first background image brightness Bh1. As a result, a result as shown in FIG.
- the replacement processed image 53A subjected to the closing process by the second closing processing unit 307 is referred to as a “closing processed image 53B”.
- the brightness of the pixels constituting the replacement processed image 53A is also one of the first background image brightness Bh1 and the second background image brightness Bh2, similarly to the brightness of the pixels constituting the closing processed image 52B.
- the second character pixel discriminating unit 308 discriminates the pixel having the smaller number of pixels of the first background image brightness Bh1 and the second background image brightness Bh2 as a character pixel. Then, the closing processing image 53B is binarized so that those pixels become “1” and other pixels become “0”. As a result, a result as shown in FIG. Hereinafter, the closing processed image 53B binarized by the second character pixel determining unit 308 is referred to as a “second binary image 53C”.
- the logical sum operation unit 309 calculates the logical sum of the pixel values of the first binary image 52C and the pixel values of the second binary image 53C at the same position.
- the binary image 54 represents the logical sum of each position.
- a pixel having a value “1” in the binary image 54 corresponds to a character pixel in the transparent image overlapping area 50K.
- the pixel of the character in the transparent image superimposing region 50K is determined by the processing of each unit of the character pixel determining unit 104.
- the transparent image superimposing area correction unit 105 corrects the transparent image superimposing area 50 ⁇ / b> K in the original image 50 based on the determination result by the character pixel determining unit 104. For example, edge enhancement processing is performed on a pixel group determined to be a pixel of a character, and blurring processing is performed on the remaining portion.
- the original image 50 processed by the transparent image superimposing region correction unit 105 is referred to as a “corrected image 60”.
- the printing apparatus 10f prints the corrected image 60 on a sheet.
- the network interface 10g transmits the image data of the corrected image 60 to the personal computer 4A or the like.
- the transparent image overlapping region 50K is detected based on the regularity of the position of the isolated point that is a pixel with density, but the image data 70 includes data indicating the position of the transparent image 50a in advance. May be detected based on this data.
- the transparent image superimposing region 50K is divided into 16 blocks 51, but it may be divided into less than 16 blocks 51, or may be divided into 17 or more blocks 51.
- the frequency distributions of the blocks 51 that are adjacent vertically and horizontally are compared with each other, but other combinations may be used.
- the frequency distributions of the blocks 51 arranged in an oblique direction may be compared.
- only the frequency distributions of the blocks 51 adjacent in the vertical direction may be compared, or only the frequency distributions of the blocks 51 adjacent in the horizontal direction may be compared.
- the transparent image overlapping region 50K is equally divided into a plurality of blocks 51, but may be divided into a plurality of blocks 51 having different sizes. In this case, however, it is desirable that the histogram calculation unit 103 in FIG. 3 calculates the ratio of the pixels of each brightness with respect to the entire block 51 instead of the number.
- the pixels constituting the character are determined by the closing process and the logical sum operation.
- the lightness of the pixel with density of the transmission image 50a can be specified first.
- the third brightness Br3 is the brightness of the pixels with density in the transmission image 50a.
- one of the lightness of the remaining two peaks is a pixel constituting the character, and the other is a pixel constituting the character background.
- the sum of the frequencies of the first brightness Br1 of the blocks 51A to 51P is calculated, and the sum of the frequencies of the second brightness Br2 of the blocks 51A to 51P is calculated. Then, the lightness with the smaller sum may be determined as the lightness of the character, and the lightness with the larger sum may be determined as the lightness of the background of the character.
- the second lightness Br2 is the lightness of the character
- the first lightness Br1 is determined to be the lightness of the background of the character.
- detection of characters from the transparent image overlapping area 50K is mainly performed by the image processing circuit 10j, but it can also be performed by causing the CPU 10a to execute a computer program.
- a program module whose main routine is the processing procedure of the transparent image superimposing region extraction unit 101 to the transparent image superimposing region correction unit 105 shown in FIG. What is necessary is just to prepare the computer program which has the program module which makes the procedure of the process of the part 309 a subroutine.
- the computer program may be stored in the ROM 10c or the mass storage device 10d and executed by the CPU 10a.
- the histogram calculation unit 103 calculates the frequency distribution of brightness, but may calculate the frequency distribution of other attributes. For example, hue or saturation may be used instead of lightness.
- the density frequency distribution may be calculated.
- the configuration of the entire image forming apparatus 1 or each unit, the processing content, the processing order, the data configuration, and the like can be appropriately changed in accordance with the spirit of the present invention.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出する文字検出装置を提供する。前記文字検出装置に、前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出する、算出部と、前記各階調の前記度数に基づいて、前記重畳領域から前記文字を検出する、検出部と、を設ける。
Description
本発明は、透過画像を含む画像に対して画像処理を行う装置および方法などに関する。
本出願は、日本特許出願2010-294504(2010年12月29日出願)に基づくものであり、当該日本出願に記載された全ての記載内容を援用するものである。
近年、コピー、PCプリント、スキャン、ファックス、およびファイルサーバなどの様々な機能を備えた画像形成装置が普及している。このような画像形成装置は、「複合機」または「MFP(Multi Function Peripherals)」などと呼ばれる。
PCプリントは、パーソナルコンピュータから画像データを受信し画像を用紙に印刷する機能である。
また、近年、パーソナルコンピュータで描画を行うためのアプリケーションが流通している。このようなアプリケーションは、「描画ソフト」と呼ばれている。描画ソフトの中には、透過画像をディスプレイに表示する機能が備わっているものがある。
「透過画像」は、後ろに他のオブジェクトの画像があっても当該他のオブジェクトの画像が透けて表れる性質を有する。
つまり、例えば、図4(A)に示すように、背後画像40bの左半分の上に透過画像40aを重ねる。すると、図4(B)に示すように、背後画像40bの、透過画像40aと重なる部分は、透けて見える。しかし、背後画像40bの右半分の上に透過画像でない非透過画像40cを重ねても、透けて見えない。透過画像の透過率が高いほど、それが重ねられた背後の画像は、よく透けて見える。
画像形成装置は、パーソナルコンピュータに表示されている透過画像を用紙に印刷することができる。印刷されるまでに透過画像は、透過率の高さに応じて、図5(B)および図5(C)に示すように、画素の間引きの処理が施される。そして、間引かれた画素の位置に、透過画像の背後の画像が印刷される。これにより、背後の画像が透けて表れているように見える。
また、画像の中の文字または数字などの字を検出する技術が、実用化されている。さらに、字を精度よく検出する方法が提案されている。例えば、次のような方法が提案されている。
デジタル画像を複数のブロックに分割し、ブロックに含まれる複数の画素の画素値に関するコントラスト量を求め、ブロックに含まれる複数の画素の画素値のヒストグラムに関する画素値二峰性評価値を求め、複数の上記コントラスト量に基づくコントラスト閾値を求め、複数の上記画素値二峰性評価値に基づく二峰性閾値を求め、上記ブロックをテキストブロックまたは非テキストブロックとして分類する。上記分類においては、上記コントラスト量および上記画素値二峰性評価値が、上記コントラスト閾値および上記二峰性閾値に基づいた第1基準を満たしている上記ブロックを、テキストブロックとして分類し、上記第1基準を満たしていない上記ブロックを、非テキストブロックとして分類する(特許文献1)。
しかし、特許文献1に記載されるような従来の方法では、透過画像が重ねられた字を上手く検出することは、できない。透過画像を重ねられた部分の全面がテキストの領域であると、判定されるからである。
本発明は、このような問題点に鑑み、透過画像が重ねられた字を従来よりも精度よく検出することを、目的とする。
本発明の一形態に係る文字検出装置は、文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出する文字検出装置であって、前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出する、算出部と、前記各階調の前記度数に基づいて、前記重畳領域から前記文字を検出する、検出部と、を有する。
好ましくは、前記度数のうちの、前記階調のうちの第一の階調における度数である第一の度数、前記階調のうちの第二の階調における度数である第二の度数、および前記階調のうちの第三の階調における度数である第三の度数がピークであり、かつ、任意の2つの前記ブロックにおける前記第三の度数同士の差が、当該2つのブロックにおける前記第一の度数同士の差および当該2つのブロックにおける前記第二の度数同士の差よりも大きい場合に、前記重畳領域の画素のうちの前記第三の階調の画素である第三の画素を前記第一の階調の画素である第一の画素に変更することによって第一の置換画像を生成し、前記重畳領域の画素のうちの前記第三の画素を前記第二の階調の画素である第二の画素に変更することによって第二の置換画像を生成する、生成部と、前記第一の置換画像の前記第二の画素をクロージングする第一のクロージング処理部と、前記第二の置換画像の前記第一の画素をクロージングする第二のクロージング処理部と、を有し、前記検出部は、前記重畳領域の画素のうちの、クロージング後の前記第一の置換画像の前記第一の画素と同じ位置またはクロージング後の前記第二の置換画像の前記第二の画素と同じ位置にある画素の集合を、前記文字として検出する。
前記第二の画像がカラー画像である場合は、前記属性は、例えば、色の明るさである。または、前記第一の画像および前記第二の画像がモノクロ画像である場合は、前記属性は、例えば、濃度である。
以下、図面を参照しながら好適な実施例を説明することによって、本発明の上記および他の特徴や目的を明示する。
図1は、画像形成装置1を含むネットワークシステムの例を示す図である。図2は、画像形成装置1のハードウェア構成の例を示す図である。
図1に示す画像形成装置1は、一般に複合機またはMFP(Multi Function Peripherals)などと呼ばれる装置であって、コピー、ネットワークプリンティング(PCプリント)、ファックス、およびスキャナなどの機能を集約した装置である。
画像形成装置1は、LAN(Local Area Network)、公衆回線、またはインターネットなどの通信回線4Tを介してパーソナルコンピュータ4Aなどの装置と画像データのやり取りを行うこととができる。
画像形成装置1は、図2に示すように、CPU(Central Processing Unit)10a、RAM(Random Access Memory)10b、ROM(Read Only Memory)10c、大容量記憶装置10d、スキャナ10e、印刷装置10f、ネットワークインタフェース10g、タッチパネルディスプレイ10h、モデム10i、および画像処理回路10jなどによって構成される。
スキャナ10eは、原稿の用紙に記されている写真、文字、絵、図表などの画像を読み取って画像データを生成する装置である。
タッチパネルディスプレイ10hは、ユーザに対してメッセージまたは指示を与えるための画面、ユーザが処理の指令および条件を入力するための画面、およびCPU10aの処理の結果を示す画面などを表示する。また、ユーザが指で触れた位置を検知し、検知結果を示す信号をCPU10aに送信する。
ネットワークインタフェース10gは、通信回線4Tを介してパーソナルコンピュータ4Aなどの他の装置と通信を行うためのNIC(Network Interface Card)である。
モデム10iは、固定電話網を介して他のファックス端末との間でG3などのプロトコルで画像データをやり取りするための装置である。
画像処理回路10jは、パーソナルコンピュータ4Aから送信されてきた画像データに基づいて、印刷の対象の画像に対して画像処理を施す。画像処理回路10jの各部は、ASIC(Application Specific Integrated Circuit)またはFPGA(Field Programmable Gate Array)などの回路によって実現される。画像処理回路10jの各部の処理については、後述する。
印刷装置10fは、スキャナ10eによって読み取られた画像または画像処理回路10jによって画像処理が施された画像などを用紙に印刷する。
ROM10cおよび大容量記憶装置10dには、OS(Operating System)のほかファームウェアおよびアプリケーションなどのプログラムが記憶されている。これらのプログラムは、必要に応じてRAM10bにロードされ、CPU10aによって実行される。大容量記憶装置10dとして、ハードディスクまたはフラッシュメモリなどが用いられる。
次に、画像処理回路10jの構成および画像処理回路10jによる画像処理について、説明する。
図3は、画像処理回路10jの構成の例を示す図である。図4は、背後画像40bへの透過画像40aおよび非透過画像40cの重ね合わせの例を説明するための図である。図5は、透過画像の特性の例を説明するための図である。図6は、背後画像41bへの透過画像41aの重ね合わせの例を説明するための図である。図7は、背後画像50bに透過画像50aを重ね合せた際の透過画像重畳領域50Kと透過画像非重畳領域50Lとの位置関係の例を示す図である。図8は、透過画像重畳領域50Kを構成する画素の例を示す図である。図9は、各明度の画素の個数の分布の例を示すヒストグラムである。図10は、文字画素判別部104の構成の例を示す図である。図11は、第一の画素置換部303、第一のクロージング処理部304、および第一の文字画素判別部305の処理の例を説明するための図である。図12は、第二の画素置換部306、第二のクロージング処理部307、および第二の文字画素判別部308の処理の例を説明するための図である。図13は、論理和演算部309の処理の例を説明するための図である。
画像処理回路10jは、図3に示すように、透過画像重畳領域抽出部101、ブロック分割部102、ヒストグラム算出部103、文字画素判別部104、および透過画像重畳領域補正部105などによって構成される。画像処理回路10jは、印刷の対象の画像に対して画像処理を施す。画像処理は、具体的には、印刷の対象の画像を表す画像データ70を編集する情報処理である。
本実施形態では、画像データ70として、透過画像が他の画像に重なった様子を表す画像データが用いられる。
一般に、「透過画像」は、後ろに他のオブジェクトの画像があっても当該他のオブジェクトの画像が透けて表れる性質を有する画像である。つまり、透過画像はガラスおよびセロハンなどのような半透明のオブジェクトを表わしていると、言える。透過画像の一例として、透過GIF(Graphics Interchange Format)の画像がある。
例えば、図4(A)に示すように、背後画像40bの左半分の上に透過画像40aを重ね、背後画像40bの右半分の上に非透過画像40cを重ねる。すると、図4(B)に示すように、背後画像40bの、透過画像40aと重なる部分は、透けて見える。しかし、背後画像40bの、非透過画像40cと重なる部分は、全く表れない。
透過画像の透過率が高いほど、その透過画像が上に重ねられた他の画像(つまり、背後画像)は、よく透けて見える。
また、一般に、透過画像は、パーソナルコンピュータ4Aなどで表示されるときには図5(A)に示すようにすべての画素が一定の濃度を有していても、印刷時には、図5(B)または図5(C)に示すように一定の濃度を有する画素と有しない画素とによって構成されるように変換される。
なお、図5(B)および図5(C)において、ハッチングした画素が、一定の濃度を有する画素である。一方、ハッチングしていない画素が、一定の濃度を有しない画素である。図6、図8、図11(A)~(C)、および図12(A)~(C)においても、同様である。以下、一定の濃度を有する画素を「濃度有画素」と記載し、一定の濃度を有しない画素を「濃度無画素」と記載する。また、「濃度」は、透過画像がカラー画像である場合は各色(例えば、Red、Green、Blueそれぞれ)の階調であり、透過画像がモノクロ画像である場合はグレースケールである。
濃度有画素は、決められた濃度で印刷される。一方、濃度無画素は、後ろに他の画像がなければ印刷されないが、他の画像があれば、当該他の画像の中の、この濃度無画素と同じ位置にある画素が印刷される。
よって、例えば図6に示すように透過画像41aの一部分が背後画像41bの一部分の上に重なっている場合は、透過画像41aの濃度無画素の位置に背後画像41bの対応する画素を配置して印刷することによって、背後画像41bが透過画像41aに透けているかのように、両画像が印刷される。
また、透過画像の透過率が高いほど、濃度有画素が出現する頻度が低い。したがって、図5(B)に示す透過画像のほうが図5(C)に示す透過画像よりも透過率が高い。
図5(B)に示す濃度有画素の上下左右には、濃度無画素が存在する。一方、図5(C)に示す濃度無画素の上下左右には、濃度有画素が存在する。
以下、他方のタイプの画素が上下左右に存在する画素を「孤立点」と記載する。したがって、図5(B)においては、濃度有画素が孤立点画素であり、図5(C)においては、濃度無画素が孤立点画素である。
本実施形態では、画像データ70として、オリジナル画像50を表す画像データを取り扱う場合を例に、画像処理回路10jによる画像処理を説明する。
オリジナル画像50は、図7(A)に示すように、背後画像50bの上に透過画像50aを重ねたものである。ユーザは、オリジナル画像50を、パーソナルコンピュータ4Aにインストールされている描画ソフトなどのアプリケーションを用いて作成する。これにより、オリジナル画像50を再現するためのデータが画像データ70として生成される。
なお、透過画像50aは、背後画像50bよりも小さい。よって、オリジナル画像50には、図7(B)に示すように、背後画像50bと透過画像50aとが重なっている領域と背後画像50bのみの領域とがある。以下、前者を「透過画像重畳領域50K」と記載し、後者を「透過画像非重畳領域50L」と記載する。また、背後画像50bの、透過画像50aが重なった部分には、「A」という文字が記されている。この文字の色は、特定の1つの色(例えば、青色)である。また、この文字の背景の色は、別の特定の1つの色(例えば、黄色)である。
パーソナルコンピュータ4Aは、印刷の指令とともに画像データ70を画像形成装置1へ送信する。
画像形成装置1において、印刷の指令および画像データ70が受信されると、画像処理回路10jの各部は、次のような処理を実行する。
透過画像重畳領域抽出部101は、オリジナル画像50の中から透過画像重畳領域50Kを判別し、抽出する。
具体的には、透過画像重畳領域抽出部101は、透過画像の上述の特性に基づいて、透過画像重畳領域50Kを、例えば次のように判別し検出する。
透過画像重畳領域抽出部101は、オリジナル画像50の中から孤立点を次のように検出する。ある1つの画素に注目する。以下、この画素を「注目画素」と記載する。注目画素の濃度(階調)と、注目画素の上下左右に隣接する他の画素(以下、「隣接画素」と記載する。)それぞれの濃度とを比較する。
注目画素の濃度と当該他の画素それぞれの濃度との差がすべて所定の値β以上であるという要件を満たす場合は、透過画像重畳領域抽出部101は、注目画素を孤立点として検出する。
なお、オリジナル画像50がカラー画像である場合は、透過画像重畳領域抽出部101は、この比較を各色それぞれについて独立して行う。そして、いずれか1つでも要件を満たす場合は、注目画素を孤立点として検出する。以下、オリジナル画像50がカラー画像である場合における要件の具備の判断において、同様である。
図5(B)および図5(C)に示したように、透過画像の孤立点の出現には、一定の周期性(規則性)がある。そこで、透過画像重畳領域抽出部101は、検出した孤立点のうちの、出現の仕方に周期性がある複数の孤立点を抽出する。
そして、透過画像重畳領域抽出部101は、抽出した複数の孤立点の分布を表す画像(以下、「分布画像」と記載する。)に対してクロージングの処理を行う。つまり、各孤立点の位置にあるドットを拡張(膨張)させ縮小(収縮)させる処理を行う。クロージングの処理がなされた分布画像の位置および形状が、透過画像重畳領域50Kの位置および形状にほぼ対応する。
透過画像重畳領域抽出部101は、このようにして透過画像重畳領域50Kの位置および形状を特定し、オリジナル画像50から透過画像重畳領域50Kを抽出する。
なお、透過画像の透過率が50%前後である場合は、濃度有画素が孤立点として検出されるとともに、濃度無画素の位置に表れている背後画像の画素も孤立点として検出される。つまり、領域の中のほとんどの画素が孤立点として検出される。各濃度有画素の濃度は一定であるが、各濃度無画素の位置に表れている背後画像の画素は、一定でない。そこで、領域の中のほとんどの画素が孤立点として検出された場合は、透過画像重畳領域抽出部101は、一定の濃度を有する孤立点だけを選出し、選出した孤立点の分布を表す画像を分布画像としてクロージングを行えばよい。
ブロック分割部102は、透過画像重畳領域抽出部101によって抽出された透過画像重畳領域50Kを所定の個数のブロック51に分割する。本実施形態では、図8(A)に示す透過画像重畳領域50Kを、図8(B)に示すように、4×4個のブロック51A~51Pに分割する。ブロック51A~51Pのサイズはすべて等しいものとする。
なお、図8(A)および図8(B)において、ハッチングした画素は、透過画像50aの濃度有画素である。黒色の画素およびグレー色の画素は、ともに、透過画像50aの濃度無画素の位置に表れた、背後画像50bの画素であるが、黒色の画素は「A」の文字の画素であり、グレー色の画素は文字の背景の画素である。
ヒストグラム算出部103は、ブロック51A~51Pそれぞれの、各明度の画素の個数を度数とする度数分布を算出する。算出された各度数分布は、図9に示すように、ヒストグラムとして表すことができる。
図9(A)、図9(B)、および図9(C)に示すヒストグラムは、それぞれ、ブロック51A、ブロック51B、およびブロック51Cの度数分布を表すヒストグラムである。
これらの3つのヒストグラムには、2つまたは3つのピークが表れている。各ピークは、透過画像50aの濃度有画素と明度が同じである画素の個数の分布、背後画像50bの文字と明度が同じである画素の個数の分布、および背後画像50bの文字の背景と明度が同じである画素の個数の分布のうちのいずれか1つに対応している。
文字画素判別部104は、図10に示すように、24個の比較演算部、画素種別明度判別部302、第一の画素置換部303、第一のクロージング処理部304、第一の文字画素判別部305、第二の画素置換部306、第二のクロージング処理部307、第二の文字画素判別部308、および論理和演算部309などによって構成される。このような構成により、文字画素判別部104は、ヒストグラム算出部103によって算出された各ブロック51の度数分布に基づいて、透過画像重畳領域50Kの中から文字の画素を次のように判別する。以下、24個の比較演算部の1つ1つを「第一の比較演算部201」、「第二の比較演算部202」、…、「第二十四の比較演算部224」と区別して記載することがある。
透過画像重畳領域50Kには、上下または前後に隣り合う2つのブロック51の組合せが、24通りある。文字画素判別部104には、これらの組合せごとに、比較演算部が設けられている。そして、比較演算部は、ヒストグラム算出部103によって算出された、ブロック51それぞれの度数分布を比較する。
例えば、第一の比較演算部201は、ブロック51Aの度数分布とブロック51Bの度数分布とを比較する。第二の比較演算部202は、ブロック51Bの度数分布とブロック51Cの度数分布とを比較する。第三の比較演算部203は、ブロック51Cの度数分布とブロック51Dの度数分布とを比較する。
比較演算部は、ブロック51それぞれの度数分布を次のように比較する。図9で説明した通り、ブロック51の度数分布には、2つまたは3つのピークがある。比較演算部は、2つのブロック51の、明度が同じであるピーク同士を比較する。
例えば、第一の比較演算部201は、ブロック51Aの第一の明度Br1の度数とブロック51Bの第一の明度Br1の度数とを比較する。ブロック51Aの第二の明度Br2の度数とブロック51Bの第二の明度Br2の度数とを比較する。さらに、ブロック51Aの第三の明度Br3の度数とブロック51Bの第三の明度Br3の度数とを比較する。
同様に、第二の比較演算部202は、ブロック51Bの第一の明度Br1の度数とブロック51Cの第一の明度Br1の度数とを比較する。ブロック51Bの第二の明度Br2の度数とブロック51Cの第二の明度Br2の度数とを比較する。さらに、ブロック51Bの第三の明度Br3の度数とブロック51Cの第三の明度Br3の度数とを比較する。
そして、比較演算部は、画素種別明度判別部302へ、2つの度数の差が所定の値α未満である明度を一定明度として通知するとともに、2つの度数の差が所定の値α以上である明度を不定明度として通知する。
例えば、ブロック51Aの度数分布は、図9(A)のヒストグラムの通りであり、ブロック51Bの度数分布は、図9(B)のヒストグラムの通りである。両者を比較すると、両ブロック51の明度Br3の画素の度数は等しいが、明度Br1の画素の度数は相違し、明度Br2の画素の度数も相違する。
よって、第一の比較演算部201は、明度Br3を一定明度として画素種別明度判別部302へ通知する。さらに、明度Br1および明度Br2を、所定の値αに応じて、一定明度または不定明度として画素種別明度判別部302へ通知する。例えば、所定の値αが「1」であれば、2つの度数が少しでも違えば差が「1」以上になるので、不定明度に決まる。したがって、明度Br1および明度Br2を不定明度として通知する。
画素種別明度判別部302には、24個の比較演算部から、合計、約24個の一定明度と約48個の不定明度とが通知される。
前述の通り、透過画像50aの濃度有画素の色はすべて同じであり、背後画像50bの文字の画素の色はすべて同じであり、背後画像50bの文字の背景の画素の色はすべて同じである。したがって、これらの一定明度および不定明度は、第一の明度Br1、第二の明度Br2、および第三の明度Br3のうちのいずれかと一致する。
画素種別明度判別部302は、通知された約24個の一定明度を、値ごとに分類する。本例では、第一の明度Br1、第二の明度Br2、および第三の明度Br3のいずれかに分類されるはずである。そして、最も多く分類された一定明度を、透過画像50aの濃度有画素の明度であると、判別する。その結果、本例では、第三の明度Br3に分類される一定明度が最も多く、第三の明度Br3が透過画像50aの濃度有画素の明度であると判別されるはずである。透過画像50aの濃度有画素の明度の分布は、すべてのブロック51において、ほぼ一定だからである。以下、透過画像50aの濃度有画素の明度であると判別された明度(一定明度)を「濃度有画素明度Bn」と記載する。
さらに、画素種別明度判別部302は、通知された約48個の不定明度も同様に、値ごとに分類する。本例では、第一の明度Br1、第二の明度Br2、および第三の明度Br3のいずれかに分類されるはずである。そして、分類された不定明度のうちの、透過画像50aの濃度有画素の明度でないものを、背後画像50bの画素の明度であると、判別する。本例では、先に第三の明度Br3を透過画像50aの濃度有画素の明度であると判別しているので、第一の明度Br1および第二の明度Br2を背後画像50bの画素の明度であると、判別する。以下、背後画像50bの画素の明度であると判別された2つの明度(不定明度)をそれぞれ「第一の背後画像明度Bh1」、「第二の背後画像明度Bh2」と記載する。以下、第一の明度Br1が第一の背後画像明度Bh1であり、第二の明度Br2が第二の背後画像明度Bh2である場合を例に、説明する。
そして、画素種別明度判別部302は、第一の画素置換部303および第二の画素置換部306へ、濃度有画素明度Bn、第一の背後画像明度Bh1、および第二の背後画像明度Bh2を通知する。
第一の画素置換部303、第一のクロージング処理部304、および第一の文字画素判別部305は、画像データ70、濃度有画素明度Bn、第一の背後画像明度Bh1、および第二の背後画像明度Bh2に基づいて処理を行う。ここで、この処理の手順を、図11を参照しながら説明する。
第一の画素置換部303は、オリジナル画像50の中から、透過画像重畳領域50Kに属しかつ明度が濃度有画素明度Bnである画素を検索する。これにより、図11(A)においてハッチングで示す画素が見つかる。そして、第一の画素置換部303は、濃度有画素明度Bnである画素を、図11(B)に示すように、明度が第一の背後画像明度Bh1である画素(グレー色で示す画素)に置換する。以下、第一の画素置換部303によって置換の処理がなされた透過画像重畳領域50Kの画像を「置換処理画像52A」と記載する。
第一のクロージング処理部304は、第二の背後画像明度Bh2の画素(黒色で示す画素)を膨張させ収縮させることによって、置換処理画像52Aに対してクロージングの処理を行う。これにより、図11(C)に示すような結果が得られる。以下、第一のクロージング処理部304によってクロージングの処理がなされた置換処理画像52Aを「クロージング処理画像52B」と記載する。
クロージング処理画像52Bを構成する画素の明度は、第一の背後画像明度Bh1および第二の背後画像明度Bh2のうちのいずれかである。
第一の文字画素判別部305は、第一の背後画像明度Bh1の画素および第二の背後画像明度Bh2の画素のうちの個数が少ない方を画素を、文字の画素であると、判別する。そして、それらの画素が「1」になり、それ以外の画素が「0」になるように、クロージング処理画像52Bを二値化する。これにより、図11(D)に示すような結果が得られる。なお、図11(D)において、黒点を付した画素の値が「1」であり、付していない画素の値が「0」である。後に示す図12(D)および図13においても、同様である。以下、第一の文字画素判別部305によって二値化されたクロージング処理画像52Bを「第一の二値画像52C」と記載する。
第二の画素置換部306、第二のクロージング処理部307、および第二の文字画素判別部308も、第一の画素置換部303、第一のクロージング処理部304、および第一の文字画素判別部305と同様に、画像データ70、濃度有画素明度Bn、第一の背後画像明度Bh1、および第二の背後画像明度Bh2に基づいて処理を行う。ただし、第一の背後画像明度Bh1および第二の背後画像明度Bh2の使い方が、異なる。
以下、第二の画素置換部306、第二のクロージング処理部307、および第二の文字画素判別部308の処理を、図12を参照しながら説明する。
第二の画素置換部306は、オリジナル画像50の中から、透過画像重畳領域50Kに属しかつ明度が濃度有画素明度Bnである画素を検索し、図12(B)に示すように、それらの画素を、明度が第二の背後画像明度Bh2である画素(黒色で示す画素)に置換する。以下、第二の画素置換部306によって置換の処理がなされた透過画像重畳領域50Kの画像を「置換処理画像53A」と記載する。
第二のクロージング処理部307は、第一の背後画像明度Bh1の画素(グレー色で示す画素)を膨張させ収縮させることによって、置換処理画像53Aに対してクロージングの処理を行う。これにより、図12(C)に示すような結果が得られる。以下、第二のクロージング処理部307によってクロージングの処理がなされた置換処理画像53Aを「クロージング処理画像53B」と記載する。
置換処理画像53Aを構成する画素の明度も、クロージング処理画像52Bを構成する画素の明度と同様に、第一の背後画像明度Bh1および第二の背後画像明度Bh2のうちのいずれかである。
第二の文字画素判別部308は、第一の背後画像明度Bh1の画素および第二の背後画像明度Bh2の画素のうちの個数が少ない方を画素を、文字の画素であると、判別する。そして、それらの画素が「1」になり、それ以外の画素が「0」になるように、クロージング処理画像53Bを二値化する。これにより、図12(D)に示すような結果が得られる。以下、第二の文字画素判別部308によって二値化されたクロージング処理画像53Bを「第二の二値画像53C」と記載する。
論理和演算部309は、図13に示すように、同じ位置にある、第一の二値画像52Cの画素の値および第二の二値画像53Cの画素の値同士の論理和を算出する。二値画像54は、各位置の論理和を表している。
二値画像54の中の値が「1」である画素が、透過画像重畳領域50Kの中の文字の画素に対応する。
以上のようにして、文字画素判別部104の各部による処理によって、透過画像重畳領域50Kの中の文字の画素が判別される。
図3に戻って、透過画像重畳領域補正部105は、文字画素判別部104による判別結果などに基づいて、オリジナル画像50の中の透過画像重畳領域50Kの補正を行う。例えば、文字の画素であると判別された画素群に対して、エッジ強調処理を行い、残りの部分に対して、ぼかしの処理を行う。以下、透過画像重畳領域補正部105によって処理がなされたオリジナル画像50を「補正画像60」と記載する。
その後、印刷装置10fは、補正画像60を用紙に印刷する。または、ネットワークインタフェース10gは、補正画像60の画像データをパーソナルコンピュータ4Aなどに送信する。
本実施形態によると、透過画像が重ねられた字を従来よりも精度よく検出することができる。
本実施形態では、透過画像重畳領域50Kを、濃度有画素である孤立点の位置の規則性に基づいて検出したが、画像データ70に透過画像50aの位置を示すデータが予め含まれている場合は、このデータに基づいて検出すればよい。
本実施形態では、透過画像重畳領域50Kを16個のブロック51に分割したが、16個未満のブロック51に分割してもよいし、17個以上のブロック51に分割してもよい。
本実施形態では、上下左右に隣り合うブロック51の度数分布同士を比較したが、他の組合せであってもよい。例えば、さらに、斜めの方向に並ぶブロック51の度数分布同士を比較してもよい。または、上下に隣り合うブロック51の度数分布同士のみを比較してもよいし、左右に隣り合うブロック51の度数分布同士のみを比較してもよい。
本実施形態では、透過画像重畳領域50Kを複数のブロック51に等分したが、サイズの異なる複数のブロック51に分割してもよい。ただし、その場合は、図3のヒストグラム算出部103は、各明度の画素の度数として、個数の代わりに、ブロック51全体に対して占める割合を算出するのが、望ましい。
本実施形態では、図11~図13で説明した通り、クロージングの処理および論理和の演算によって、文字を構成する画素を判別した。
上述の通り、3つのピークの明度のうち、透過画像50aの濃度有画素の明度を最初に特定することができる。図9の例では、第三の明度Br3が、透過画像50aの濃度有画素の明度である。
よって、残りの2つのピークの明度(第一の明度Br1、第二の明度Br2)のうちの、一方が文字を構成する画素であり、もう一方が文字の背景を構成する画素である。
両明度のうちのどちらがどちらのオブジェクトのものであるのかを、図11~図13で説明した方法以外の方法によって、判別してもよい。
例えば、ブロック51A~51Pの第一の明度Br1の度数の合計を算出し、ブロック51A~51Pの第二の明度Br2の度数の合計を算出する。そして、合計が少ない方の明度を文字の明度であると判別し、合計が多い方の明度を文字の背景の明度であると判別してもよい。
この方法によると、図9の例では、第二の明度Br2が文字の明度であると判別され、第一の明度Br1が文字の背景の明度であると判別される。
本実施形態では、透過画像重畳領域50Kからの文字の検出を主に画像処理回路10jによって行ったが、コンピュータプログラムをCPU10aに実行させることによって行うこともできる。この場合は、図3に示す透過画像重畳領域抽出部101ないし透過画像重畳領域補正部105の処理の手順をメインルーチンとするプログラムモジュールと図10に示す第一の比較演算部201ないし論理和演算部309の処理の手順をサブルーチンとするプログラムモジュールとを有するコンピュータプログラムを、用意すればよい。そして、このコンピュータプログラムをROM10cまたは大容量記憶装置10dに記憶させておき、CPU10aに実行させればよい。
本実施形態では、ヒストグラム算出部103は、明度の度数分布を算出したが、他の属性の度数分布を算出してもよい。例えば、明度の代わりに、色相または彩度を用いてもよい。オリジナル画像50がモノクロ画像である場合は、濃度の度数分布を算出してもよい。
本発明の一実施形態によると、透過画像が重ねられた字を従来よりも精度よく検出することができる。
その他、画像形成装置1全体または各部の構成、処理内容、処理順序、データの構成などは、本発明の趣旨に沿って適宜変更することができる。
本発明は以上に述べた以外の実施態様とすることができ、各種の方法で実施しまたは遂行することができるものである。よって、本発明は、図面に示した例に制約されるものではない。また、この明細書中に用いた表現および用語は、説明を目的としたものであって、それに限定されるものではない。
Claims (12)
- 文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出する文字検出装置であって、
前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出する、算出部と、
前記各階調の前記度数に基づいて、前記重畳領域から前記文字を検出する、検出部と、
を有することを特徴とする文字検出装置。 - 前記度数のうちの、前記階調のうちの第一の階調における度数である第一の度数、前記階調のうちの第二の階調における度数である第二の度数、および前記階調のうちの第三の階調における度数である第三の度数がピークであり、かつ、任意の2つの前記ブロックにおける前記第三の度数同士の差が、当該2つのブロックにおける前記第一の度数同士の差および当該2つのブロックにおける前記第二の度数同士の差よりも大きい場合に、前記重畳領域の画素のうちの前記第三の階調の画素である第三の画素を前記第一の階調の画素である第一の画素に変更することによって第一の置換画像を生成し、前記重畳領域の画素のうちの前記第三の画素を前記第二の階調の画素である第二の画素に変更することによって第二の置換画像を生成する、生成部と、
前記第一の置換画像の前記第二の画素をクロージングする第一のクロージング処理部と、
前記第二の置換画像の前記第一の画素をクロージングする第二のクロージング処理部と、を有し、
前記検出部は、前記重畳領域の画素のうちの、クロージング後の前記第一の置換画像の前記第一の画素と同じ位置またはクロージング後の前記第二の置換画像の前記第二の画素と同じ位置にある画素の集合を、前記文字として検出する、
請求項1記載の文字検出装置。 - 前記第二の画像がカラー画像である場合は、前記属性は、色の明るさである、
請求項1に記載の文字検出装置。 - 前記第一の画像および前記第二の画像がモノクロ画像である場合は、前記属性は、濃度である、
請求項1に記載の文字検出装置。 - 文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出する文字検出方法であって、
前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出する第一のステップと、
前記各階調の前記度数に基づいて、前記重畳領域から前記文字を検出する第二のステップと、
を有することを特徴とする文字検出方法。 - 前記度数のうちの、前記階調のうちの第一の階調における度数である第一の度数、前記階調のうちの第二の階調における度数である第二の度数、および前記階調のうちの第三の階調における度数である第三の度数がピークであり、かつ、任意の2つの前記ブロックにおける前記第三の度数同士の差が、当該2つのブロックにおける前記第一の度数同士の差および当該2つのブロックにおける前記第二の度数同士の差よりも大きい場合に、前記重畳領域の画素のうちの前記第三の階調の画素である第三の画素を前記第一の階調の画素である第一の画素に変更することによって第一の置換画像を生成し、前記重畳領域の画素のうちの前記第三の画素を前記第二の階調の画素である第二の画素に変更することによって第二の置換画像を生成する、第三のステップと、
前記第一の置換画像の前記第二の画素をクロージングする第四のステップと、
前記第二の置換画像の前記第一の画素をクロージングする第五のステップと、
を有し、
前記第二のステップは、前記重畳領域の画素のうちの、クロージング後の前記第一の置換画像の前記第一の画素と同じ位置またはクロージング後の前記第二の置換画像の前記第二の画素と同じ位置にある画素の集合を、前記文字として検出する処理である、
請求項5に記載の文字検出方法。 - 前記第二の画像がカラー画像である場合は、前記属性は、色の明るさである、
請求項5に記載の文字検出方法。 - 前記第一の画像および前記第二の画像がモノクロ画像である場合は、前記属性は、濃度である、
請求項5に記載の文字検出方法。 - 文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出する第一の処理を実行させ、
前記各階調の前記度数に基づいて、前記重畳領域から前記文字を検出する第二の処理を実行させる、
コンピュータプログラムを記録する、
ことを特徴とするコンピュータによる読取りが可能でありかつ非一時的な記録媒体。 - 前記コンピュータプログラムは、前記コンピュータに、
前記度数のうちの、前記階調のうちの第一の階調における度数である第一の度数、前記階調のうちの第二の階調における度数である第二の度数、および前記階調のうちの第三の階調における度数である第三の度数がピークであり、かつ、任意の2つの前記ブロックにおける前記第三の度数同士の差が、当該2つのブロックにおける前記第一の度数同士の差および当該2つのブロックにおける前記第二の度数同士の差よりも大きい場合に、前記重畳領域の画素のうちの前記第三の階調の画素である第三の画素を前記第一の階調の画素である第一の画素に変更することによって第一の置換画像を生成し、前記重畳領域の画素のうちの前記第三の画素を前記第二の階調の画素である第二の画素に変更することによって第二の置換画像を生成する、第三の処理と、
前記第一の置換画像の前記第二の画素をクロージングする第四の処理と、
前記第二の置換画像の前記第一の画素をクロージングする第五の処理と、
を実行させ、
前記第二の処理として、前記重畳領域の画素のうちの、クロージング後の前記第一の置換画像の前記第一の画素と同じ位置またはクロージング後の前記第二の置換画像の前記第二の画素と同じ位置にある画素の集合を前記文字として検出する処理を、前記コンピュータに実行させる、
請求項9に記載の記録媒体。 - 前記第二の画像がカラー画像である場合は、前記属性は、色の明るさである、
請求項9に記載の記録媒体。 - 前記第一の画像および前記第二の画像がモノクロ画像である場合は、前記属性は、濃度である、
請求項9に記載の記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/393,768 US9098768B2 (en) | 2010-12-29 | 2012-01-04 | Character detection apparatus, character detection method, and computer-readable storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010294504A JP5454466B2 (ja) | 2010-12-29 | 2010-12-29 | 文字検出装置、文字検出方法、およびコンピュータプログラム |
JP2010-294504 | 2010-12-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012091180A1 true WO2012091180A1 (ja) | 2012-07-05 |
Family
ID=46383243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/000007 WO2012091180A1 (ja) | 2010-12-29 | 2012-01-04 | 文字検出装置、文字検出方法、および記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9098768B2 (ja) |
JP (1) | JP5454466B2 (ja) |
WO (1) | WO2012091180A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020110309A1 (ja) * | 2018-11-30 | 2020-06-04 | 日本電気株式会社 | 画像照合装置、画像照合方法、プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63131272A (ja) * | 1986-11-21 | 1988-06-03 | Fuji Electric Co Ltd | 2値化しきい値決定方法 |
JP2002369011A (ja) * | 2001-06-06 | 2002-12-20 | Canon Inc | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2005150855A (ja) * | 2003-11-11 | 2005-06-09 | Fujitsu Ltd | カラー画像の圧縮方法及びカラー画像圧縮装置 |
JP2010004137A (ja) * | 2008-06-18 | 2010-01-07 | Konica Minolta Business Technologies Inc | 画像処理装置および画像処理方法 |
JP2011029856A (ja) * | 2009-07-23 | 2011-02-10 | Canon Inc | 画像処理方法、画像処理装置、及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5594809A (en) * | 1995-04-28 | 1997-01-14 | Xerox Corporation | Automatic training of character templates using a text line image, a text line transcription and a line image source model |
US7505604B2 (en) * | 2002-05-20 | 2009-03-17 | Simmonds Precision Prodcuts, Inc. | Method for detection and recognition of fog presence within an aircraft compartment using video images |
US8189917B2 (en) | 2008-09-25 | 2012-05-29 | Sharp Laboratories Of America, Inc. | Methods and systems for locating text in a digital image |
JP2012155010A (ja) * | 2011-01-24 | 2012-08-16 | Keyence Corp | 顕微鏡システム、表面状態観察方法および表面状態観察プログラム |
-
2010
- 2010-12-29 JP JP2010294504A patent/JP5454466B2/ja not_active Expired - Fee Related
-
2012
- 2012-01-04 US US13/393,768 patent/US9098768B2/en active Active
- 2012-01-04 WO PCT/JP2012/000007 patent/WO2012091180A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63131272A (ja) * | 1986-11-21 | 1988-06-03 | Fuji Electric Co Ltd | 2値化しきい値決定方法 |
JP2002369011A (ja) * | 2001-06-06 | 2002-12-20 | Canon Inc | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2005150855A (ja) * | 2003-11-11 | 2005-06-09 | Fujitsu Ltd | カラー画像の圧縮方法及びカラー画像圧縮装置 |
JP2010004137A (ja) * | 2008-06-18 | 2010-01-07 | Konica Minolta Business Technologies Inc | 画像処理装置および画像処理方法 |
JP2011029856A (ja) * | 2009-07-23 | 2011-02-10 | Canon Inc | 画像処理方法、画像処理装置、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20120201461A1 (en) | 2012-08-09 |
JP5454466B2 (ja) | 2014-03-26 |
US9098768B2 (en) | 2015-08-04 |
JP2012142802A (ja) | 2012-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5274495B2 (ja) | 文書画像サイズ変更方法 | |
US9723177B2 (en) | Image processing system, image processing apparatus, and image forming apparatus | |
JP2022147074A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2010074342A (ja) | 画像処理装置、画像形成装置、及びプログラム | |
US9858513B2 (en) | Document file output apparatus, document file output method, and computer readable medium | |
JP5056899B2 (ja) | 透過画像検出装置、透過画像エッジ検出装置、透過画像検出方法、および透過画像エッジ検出方法 | |
US8577132B2 (en) | Electronic document generation system, electronic document generation method, and program | |
JP5598325B2 (ja) | 文字検出装置、文字検出方法、およびコンピュータプログラム | |
JP5454466B2 (ja) | 文字検出装置、文字検出方法、およびコンピュータプログラム | |
JP4710672B2 (ja) | 文字色判別装置、文字色判別方法、およびコンピュータプログラム | |
US9305250B2 (en) | Image processing apparatus and image processing method including location information identification | |
JP5212425B2 (ja) | 画像処理装置および画像処理方法 | |
US10924634B2 (en) | Image processing apparatus and image processing method | |
JP2012145978A (ja) | 文字検出装置、文字検出方法、およびコンピュータプログラム | |
JP6292061B2 (ja) | 情報処理装置およびプログラム | |
JP5884509B2 (ja) | 画像処理装置、画像読取装置およびプログラム | |
JP5825142B2 (ja) | 画像処理装置、画像処理方法およびコンピュータープログラム | |
JP2011139373A (ja) | 色黒判定装置および色黒判定方法 | |
US11405525B2 (en) | Image processing apparatus, control method, and product capable of improving compression efficiency by converting close color to background color in a low light reading mode | |
JP6163964B2 (ja) | 画像処理装置 | |
JP2010004152A (ja) | 画像処理装置および文字領域抽出方法、並びにコンピュータプログラム | |
WO2022065298A1 (ja) | 画像形成装置 | |
JP2012151730A (ja) | 文字検出装置、文字検出方法、およびコンピュータプログラム | |
JP2009060216A (ja) | 画像処理装置及び画像処理プログラム | |
JP5803643B2 (ja) | 画像処理装置、画像処理方法およびコンピュータープログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 13393768 Country of ref document: US |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12729815 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12729815 Country of ref document: EP Kind code of ref document: A1 |