WO2020021832A1 - 刻印検査装置、刻印検査方法および物品検査装置 - Google Patents
刻印検査装置、刻印検査方法および物品検査装置 Download PDFInfo
- Publication number
- WO2020021832A1 WO2020021832A1 PCT/JP2019/020192 JP2019020192W WO2020021832A1 WO 2020021832 A1 WO2020021832 A1 WO 2020021832A1 JP 2019020192 W JP2019020192 W JP 2019020192W WO 2020021832 A1 WO2020021832 A1 WO 2020021832A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- article
- engraved
- engraving
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
- G06V30/1448—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on markings or identifiers characterising the document or the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
- G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8861—Determining coordinates of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8861—Determining coordinates of flaws
- G01N2021/8864—Mapping zones of defects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/141—Image acquisition using multiple overlapping images; Image stitching
Definitions
- the present invention relates to an engraving inspection apparatus and method for inspecting an engraved area including an engraved part having an engraved mark on the surface of an article, and an article inspection apparatus equipped with the engraved inspection apparatus for inspecting an article.
- an apparatus for inspecting a three-dimensional article such as a metal part, a resin part, and a rubber part based on a plurality of images obtained by capturing images from various angles.
- a metal part for example, an automobile part
- a plurality of light source units are provided. Then, two types of images are acquired while switching the lighting mode of the light source unit, and it is determined from these images whether a concave or convex defect exists on the surface of the article.
- characters including alphanumeric characters, katakana, kanji, symbols, etc. in this specification
- characters may be marked on the article. Since various irregularities are generated on the surface of the article in the engraved portion provided with a plurality of types of engraved portions, if the engraved portion is directly inspected by the apparatus described in Patent Literature 1, there is a risk of being erroneously recognized as a defect. For this reason, a countermeasure has been adopted such that inspection is not performed in a certain range including the inscribed portion (hereinafter referred to as “engraved region”) on the surface of the article.
- the inscription has a function of identifying and identifying the article, and it is important to inspect whether the inscription is properly provided.
- the present invention has been made in view of the above-described problems, and has an engraving inspection apparatus and method capable of accurately inspecting an engraved area including an engraved part having an engraved part on the surface of an article, and an article including an engraved area.
- An object of the present invention is to provide an article inspection device capable of inspecting with high accuracy.
- a first aspect of the present invention is a marking inspection apparatus for inspecting a marking area including a marking part with a marking for specifying an article on a surface of the article, wherein the marking inspection apparatus has an marking and a defect having no defect.
- a reference image storage unit that stores an image as a reference image, an imaging unit that captures an article, and a part corresponding to the marking area is cut out from the article image obtained by capturing the article to be inspected by the imaging unit and stamped.
- An area image is acquired, an engraving determining section that performs character recognition of the engraving section on the engraved area image to determine whether the engraving is properly provided, and an engraving obtained by removing the image of the engraving section from the engraved area image
- An engraving periphery determination unit that compares the peripheral image with a reference image and determines whether or not a defect is included in the engraved periphery of the engraved area other than the engraved portion is provided.
- a second aspect of the present invention is a marking inspection method for inspecting a marking area including a marking part with a marking for specifying an article on a surface of the article, and having no marking and a defect.
- a third aspect of the present invention is an article inspection apparatus for inspecting an article having a stamp on a part of its surface, the reference image storing an image of the article having no stamp and no defect as a reference image.
- An area image is acquired, an engraving determining section that performs character recognition of the engraving section on the engraved area image to determine whether the engraving is properly provided, and an engraving obtained by removing the image of the engraving section from the engraved area image
- the peripheral image is compared with the reference image, and corresponds to an engraved periphery determining unit that determines whether or not a defect is included in the engraved peripheral part of the engraved area other than the engraved part, and a non-engraved area of the article other than the engraved area.
- Non-engraved area image Obtained from the image, and characterized by comprising a non-marking area determination unit determines whether or include defects in the non-marking area is compared with the reference image and the non-marking area image.
- a part corresponding to the engraved area is cut out from the article image obtained by imaging the article to be inspected and the engraved area image is obtained. Then, character recognition of the marking portion is performed on the marking region image, and it is determined whether or not the marking is properly provided.
- the stamp peripheral image obtained by removing the image of the stamp from the stamp area image is compared with the reference image. . By this comparison, it is determined whether or not a defect is included in the engraved area excluding the engraved part in the engraved area.
- an engraved area image corresponding to an engraved area including an engraved area with an engraved area is obtained, and the engraved area and the inspection of the engraved area are respectively performed based on the engraved area image. You. For this reason, it is possible to accurately inspect the engraved area including the engraved portion where the surface of the article is engraved.
- All of the plurality of constituent elements of each embodiment of the present invention described above are not essential. To solve some or all of the above-described problems, or some or all of the effects described in the present specification. In order to achieve the above, it is possible to appropriately change or delete some of the plurality of components, replace them with other new components, and partially delete the limited contents.
- FIG. 2 is a plan view illustrating a main body of the article inspection device illustrated in FIG. 1. It is a flowchart which shows the flow of an inspection process in an article inspection apparatus. 9 is a flowchart illustrating a creation process of a reference image.
- FIG. 8 is a diagram illustrating an example of display contents on a display unit in a reference image creation process. It is a figure showing an example of the contents displayed on a display in setting of the inspection sensitivity of a marking area. It is a schematic diagram which shows the outline
- FIG. 1 is a view showing a configuration of an article inspection apparatus equipped with a first embodiment of an engraving inspection apparatus according to the present invention.
- FIG. 2 is a plan view showing a main body of the article inspection apparatus shown in FIG.
- the article inspection apparatus 1 is an apparatus that performs three types of inspection (engraved inspection, engraved area inspection, and non-engraved area inspection) from an article image obtained by imaging a metal article W manufactured by, for example, forging or casting. is there.
- the article inspection apparatus 1 includes a main body 11, a control unit 12 including a computer, and an input unit 13 having a keyboard, a mouse, and the like for giving various data and instructions to the control unit 12. And a display section 14 for displaying an article image and a frame line for designating an engraved area as described later.
- the main body 11 includes the stage 2, the imaging unit 3, and the light source unit 4. Then, the article W is placed on the stage 2.
- the main body 11 is provided with a light-shielding cover (not shown) for preventing external light from reaching the stage 2, and the stage 2, the imaging unit 3 and the light source unit 4 are provided inside the light-shielding cover. .
- the imaging unit 3 includes one upper imaging unit 31, eight oblique imaging units 32, and eight side imaging units 33.
- the illustration of the upper imaging unit 31 is omitted (the same applies to an upper light source unit 41 described later).
- the upper imaging unit 31 is disposed on a center axis J1 extending vertically above the center of the stage 2 above the stage 2 as shown in FIG. An original image taken from above is output to the control unit 12.
- the eight oblique imaging units 32 are arranged around the stage 2.
- the eight oblique imaging sections 32 are arranged at an angular interval (pitch) of 45 ° in the circumferential direction around the central axis J1.
- the angle ⁇ 2 formed by the imaging optical axis K2 and the central axis J1 is approximately 45 °.
- the eight side imaging units 33 are also arranged around the stage 2 like the eight oblique imaging units 32.
- the eight side imaging units 33 are arranged at an angular interval of 45 ° in the circumferential direction around the center axis J1.
- an angle ⁇ 3 formed by the imaging optical axis K3 and the central axis J1 is approximately 90 °.
- the upper imaging unit 31, the oblique imaging unit 32, and the side imaging unit 33 are, for example, a CCD (Charge Coupled Device) or a CMOS (Complementary). Metal-Oxide Semiconductor) and the like, and a multi-tone image is obtained.
- the upper imaging unit 31, the oblique imaging unit 32, and the side imaging unit 33 are supported by a support (not shown).
- the light source unit 4 includes one upper light source unit 41, eight oblique light source units 42, and eight side light source units 43.
- the upper light source unit 41 is a light source unit in which a plurality of LEDs (light emitting diodes) are arranged in a ring shape around the central axis J1.
- the ring-shaped upper light source unit 41 is fixed to the upper imaging unit 31 so as to surround the upper imaging unit 31.
- the upper light source 41 can illuminate the article W on the stage 2 from directly above in the direction parallel to the central axis J1.
- the eight oblique light source units 42 are arranged around the stage 2.
- the eight oblique light source units 42 are arranged at 45 ° angular intervals in the circumferential direction around the central axis J1.
- Each of the oblique light source units 42 is a light source unit in which a plurality of LEDs are arranged in a bar shape extending in a tangential direction of a circle around the center axis J1.
- each oblique illumination axis When a line connecting the center of the emission surface of each oblique light source unit 42 and (the center of) the article W is referred to as an “oblique illumination axis”, the oblique illumination axis of the oblique light source unit 42 and the central axis J1 are defined. In the plane including the angle, the angle formed by the oblique illumination axis and the central axis J1 is about 45 °.
- Each oblique light source section 42 can irradiate the article W on the stage 2 with illumination light from obliquely upward along the oblique illumination axis.
- the oblique light source unit 42 In the article inspection device 1, the oblique light source unit 42 is fixed to the oblique imaging unit 32, respectively.
- each side light source unit 43 is a light source unit in which a plurality of LEDs are arranged in a bar shape extending in a tangential direction of a circle around the center axis J1.
- each side light source unit 43 can irradiate the article W on the stage 2 with illumination light from the side along the side illumination axis.
- the side light source units 43 are fixed to the side imaging units 33, respectively.
- the illumination light can be applied to the article W from all or some of the 17 different illumination directions.
- the distance between the upper imaging unit 31 and the upper light source unit 41 and the article W is about 55 cm (centimeter).
- the distance between the oblique imaging section 32 and the oblique light source section 42 and the article W is about 50 cm
- the distance between the side imaging section 33 and the side light source section 43 and the article W is about 40 cm. is there.
- a light source of a type other than the LED may be used.
- control unit 12 is provided to control each part of the main body 11 and to inspect the article W by comparing the article image of the article W with the reference image as described later.
- the control unit 12 includes an arithmetic processing unit 5 composed of a CPU (Central Processing Unit) and various types of data such as reference image data 61, article image data 62, stamp area image data 63, stamp peripheral image data 64, and command range data 65.
- a storage unit 6 for storing data, programs, and the like is provided.
- the arithmetic processing unit 5 obtains a plurality of article images while switching the illumination light to the article W in multiple stages by controlling each unit of the apparatus according to the program.
- the arithmetic processing unit 5 performs various image processes on the article image to determine whether or not the engraving is properly provided, and determines whether or not the peripheral part of the engraving includes a defect.
- An engraved area determination process and a non-engraved region determination process for determining whether a defect is included in a non-engraved region excluding the engraved region are performed.
- the article W is comprehensively inspected by performing these three types of determination processing.
- the arithmetic processing unit 5 creates a reference image used for making the above determination. As described above, the arithmetic processing unit 5 functions as the reference image creating unit 51, the marking determining unit 52, the marking peripheral determining unit 53, and the non-marking region determining unit 54.
- the non-marked area determination unit 54 inspects a non-marked area (an area other than the marked area) in the same manner as in the device described in Patent Document 1.
- the outline of the inspection is as follows. A first article image is acquired by the imaging unit by irradiation of light from one of the plurality of light source units, and a second article image is acquired by the imaging unit by irradiation of light from the plurality of light source units. You. Further, a first defect candidate area is detected by comparing the first article image with the first reference image corresponding to the first article image, and the second reference image corresponding to the second article image and the second article image is detected. The second defect candidate area is detected by comparing the image with the image.
- an overlapping area in the first defect candidate area and the second defect candidate area is specified as a defective area in the target area.
- a false defect area in the first and second defect candidate areas caused by minute irregularities on the surface of the article W is appropriately removed, and a defect (true defect) on the surface of the article W is accurately detected.
- the first reference image and the second reference image need to be created in advance and stored in the storage unit 6. Further, as described later in detail, the first reference image and the second reference image are used in the engraving periphery determination processing. Therefore, in the present embodiment, as shown in FIG. 3, the arithmetic processing unit 5 uses the first reference image and the second reference image using an engraved article that does not include a defect before inspecting the article W, that is, a non-defective article. After creating the image, the inspection of the article W to be inspected is performed.
- FIG. 3 is a flowchart showing the flow of the inspection process in the article inspection device.
- FIG. 4 is a flowchart showing a reference image creation process.
- the arithmetic processing unit 5 executes the following processing according to the program.
- a reference image is created (step S1). That is, as shown in FIG. 4, a reference image using a plurality of non-defective articles (in this embodiment, i non-defective articles) is created (step S1).
- the first reference image and the second reference image are acquired under the same imaging conditions as the first article image and the second article image, respectively, the creation of the first reference image corresponding to the first article image will be described below.
- the creation of the second reference image corresponding to the second article image is omitted.
- the reference image and the second reference image are described without distinction, they are simply referred to as “reference images”. Note that the reference image may be created in advance separately from the inspection processing.
- step S11 to S15 a series of steps (steps S11 to S15) are executed for each of i different non-defective articles W0 (see FIG. 1). That is, the non-defective article W0 is loaded on the stage 2 (step S11). A holding unit (not shown) that conforms to the shape and size of the non-defective article W0 and the article W to be inspected is provided on the stage 2, and the main surface of the article W0 is directed vertically upward. The article W0 is held at a predetermined position on the stage 2. Subsequently, the non-defective article W0 on the stage 2 is imaged under the same imaging conditions as the first article image based on the input by the operator via the input unit 13 or the like. As a result, an image of the non-defective article W0, that is, the non-defective article image G0 is acquired under the predetermined imaging condition (step S12).
- the good article image G0 thus obtained is displayed at the center of the display unit 14, for example, as shown in FIG. 5, and it can be seen from the figure that “1” is engraved on the upper center of the good article W0.
- icons for performing range designation, processing, and the like on the non-defective article image G0 are displayed.
- a dotted frame B for designating an engraved area is additionally displayed on the non-defective article image G0 as shown in FIG. You.
- by changing the position and size of the dotted frame B by the operation of the operator it is possible to arbitrarily adjust the marking area R1 (FIG. 2).
- the marking area R1 is set so as to include the image G11 of the marking part R11 (FIG. 2) with the marking. Therefore, the marking region R1 has a marking portion R11 and a marking peripheral portion R12 surrounding the marking portion R11 as shown in FIG. 2, and an image corresponding to the marking region R1 as shown in FIG.
- the “engraved area image G1”) includes an image G11 of the engraved portion R11 and an image of the engraved peripheral portion R12 (hereinafter, “engraved peripheral image G12”).
- the arithmetic processing unit 5 displays the current time.
- the dotted line frame B is accepted as the designated range of the marking area R1 (step S13).
- the designated range data indicating the range is stored in the storage unit 6.
- the pixel values of the pixels constituting the marking area image G1 corresponding to the marking area R1 are averaged to obtain a reference candidate image.
- the data of the reference candidate image that is, the reference candidate image data, is stored in the storage unit 6 (step S14).
- the averaging process the image of the engraved part R11 is erased based on the engraved peripheral image G12 corresponding to the engraved peripheral part R12, and becomes substantially the same as the image of the article having no engraved part and no defect.
- the reference candidate image is created by the averaging process.
- the reference candidate image may be created by another filtering process.
- the arithmetic processing unit 5 executes the following processing (steps S2 to S8) for each article W to be inspected.
- the article W to be inspected is loaded on the stage 2 (Step S2).
- the non-defective article W0 on the stage 2 is imaged under an imaging condition suitable for acquiring the first article image, and is imaged under an imaging condition suitable for acquiring the second article image.
- an article image is obtained for each imaging condition, and the image data, that is, the article image data is stored in the storage unit 6 (Step S3).
- the specified range data of the marking area R1 is read from the storage unit 6 (step S4), and the marking area image G1 of the marking area R1 and the non-marking area of the non-marking area R2 are read from the article image according to the specified range data.
- the image G2 is extracted, and the image data of the engraved area image G1 (engraved area image data) and the image data of the non-engraved area image G2 (non-engraved area image data) are stored in the storage unit 6 (Step S5).
- the engraved area image G1 is obtained by extracting only the range designated by the operator (portion of the dotted frame B in FIGS. 5 and 6) from the article image G0, and the non-engraved area image G2 is as shown in FIGS. Remains after extracting the marking area R1 from the article image G0.
- Step S6 the inspection of the engraved area R1 based on the engraved area image G1 (Step S6) and the inspection of the non-engraved area R2 based on the non-engraved area image G2 (Step S7) are performed in parallel.
- the inspection target article W on the stage 2 is unloaded (step S8).
- Such a series of processing steps S2 to S8) is repeated while the article W to be inspected exists ("YES" in step S9).
- Step S7 the inspection of the non-marked region R2 (Step S7) is performed in the same manner as the apparatus described in Patent Document 1, so that the details of the inspection are omitted here.
- the inspection of the engraved area R1 (step S6) is a unique one that has not been achieved in the past, and will be described in detail with reference to FIGS.
- FIG. 8 is a flowchart showing the procedure for inspecting the marking area.
- FIG. 9 is a diagram schematically showing the inspection contents of the engraved area.
- the article W to be inspected is placed on the stage 2 by a robot (not shown). For this reason, the mark attached to the article W according to the arm posture when the robot picks up the article W and the direction of the article W has the standard orientation (in the present embodiment, the article image is displayed as shown in FIGS. 5 and 6). In G0, the direction in which the engraving faces directly is standard). Therefore, in order to favorably perform optical character recognition (Optical Character Recognition), which will be described later, it is determined in step S601 whether the direction of the marking is standard, that is, whether the marking is directly facing.
- optical character recognition Optical Character Recognition
- step S601 when it is determined that they are not facing each other ("NO” in step S601), the marking area image G1 extracted in step S5 is rotated so that the markings face, for example, as shown in FIG. After correcting the marking area image G1 (step S602), the process proceeds to the next step S603. On the other hand, when the engraving is right (“YES” in step S601), the process proceeds to step S603.
- step S603 after performing the edge emphasis processing on the engraved area image G1 in which the engraved face is facing directly, the image is binarized by a predetermined threshold value.
- the boundary between the engraved portion R11 and the engraved peripheral portion R12 becomes clearer, and the engraved shape clearly appears.
- optical character recognition is performed on the engraved area image G1 that has been subjected to the binarization processing in this way to make an engraved determination (step S604).
- the total number of pixels included in the portion determined as the marking portion R11 by the optical character recognition is equal to or greater than a certain value (for example, 200 pixels), and the width of the portion corresponding to the line segment is a certain width ( It is determined that the engraving is properly provided when the determination condition of being equal to or less than 45 pixels is satisfied. On the other hand, when the above-mentioned determination condition is not satisfied, it is determined that the engraving is not properly provided.
- the arithmetic processing unit 5 inspects the engraved peripheral portion R12 as follows (Steps S606 to S606). S610).
- the image G11 of the engraved part R11 is removed from the engraved area image G1, and the engraved peripheral image G12 of the engraved peripheral part R12 is specified (Step S606).
- the stamped peripheral image G12 is compared with the reference image GR to check the image identity (step S607).
- the engraved peripheral image G12 is substantially the same as the image corresponding to the engraved peripheral image G12 in the reference image GR (the image obtained by removing the dotted line image GR2 from the reference image GR). Determine whether or not. If they are the same, it is determined that the article W on the stage 2 is good (step S609), and if they are not the same, it is determined that the article W is defective (step S610).
- step S605 if it is determined in step S605 that the article W has not been properly engraved, the processing unit 5 does not inspect the engraved peripheral portion R12 and the article W on the stage 2 is immediately defective. Is determined (step S610).
- the stamp area image G1 corresponding to the stamp area R1 is acquired from the article image G0 obtained by imaging the article W to be inspected. Then, by performing character recognition of the marking portion R11 on the marking region image G1, it is determined whether or not the marking is properly provided. In addition to such a marking inspection, a marking peripheral image G12 obtained by removing the image G11 of the marking portion R11 from the marking area image G1 is compared with an image GR2 in the reference image GR, and a defect is found in the marking peripheral portion R12 based on the comparison result. It is determined whether or not it is included. Therefore, it is possible to accurately inspect the engraved area R1 including the engraved portion R11 in which the surface of the article W is engraved.
- the inspection of the marking area R1 (step S6) and the inspection of the non-marking area R2 (step S7) are performed in parallel
- the inspection of the article W including the marking area R1 can be performed in a short time.
- the above inspections may be performed completely in parallel or partially in parallel. That is, the inspection of the non-engraved area R2 may be performed in parallel with at least one of the engraving determination based on the character recognition of the engraved part R11 and the presence or absence of a defect in the engraved peripheral part R12 based on the engraved peripheral image G12.
- the operator can point out the engraved area R1 while looking at the article image G0 displayed on the display unit 14. Therefore, the marking region R1 can be set according to the type and size of the marking, and the article W can be inspected with high accuracy.
- the non-defective article W0 corresponds to an example of the “article having no defect” of the present invention
- the article W corresponds to an example of the “article to be inspected” of the present invention.
- the upper imaging unit 31, the oblique imaging unit 32, and the side imaging unit 33 correspond to an example of the “imaging unit” of the present invention
- the storage unit 6 corresponds to an example of the “reference image storage unit” of the present invention.
- these components and the arithmetic processing unit 5 functioning as the stamp determining unit 52 and the stamp surrounding determining unit 53 cooperate to function as the “marking inspection device” of the present invention.
- the present invention is not limited to the above-described embodiment, and various changes other than those described above can be made without departing from the gist of the present invention.
- it is determined whether or not the marking is properly provided based on the pixel information of the portion determined to be the marking portion R11 by the optical character recognition, but based on other determination conditions. It may be determined whether or not the engraving is properly provided. For example, in the optical character recognition method that has been frequently used in the related art, a character recognition result is indicated by a score. It may be determined that the engraving has not been properly performed. Further, the appropriateness of the marking may be determined by combining the pixel information and the score.
- a plurality of character candidates may be shown as a recognition result together with a score.
- the character candidate having the highest score that is, the closest character candidate
- it is determined that the closest character candidate has been engraved Further, an inspection of the engraved peripheral portion R12 (steps S606 to S610) may be performed (second embodiment). According to the second embodiment, the following operation and effect can be obtained.
- the marking portion R11 Even if a relatively small defect that is relatively small and does not pose a problem in actual use exists adjacent to the marking portion R11, it is determined that the marking is not performed properly in the determination based on the pixel information. is there. On the other hand, according to the second embodiment, even if a minute defect exists, character recognition can be performed, and an inspection suitable for actual use can be performed.
- an image of an article having no marking and no defect that is, a reference image GR is created using a plurality of non-defective articles W0. May be created. Further, the reference image GR may be created using an article having no stamp and no defect in place of the non-defective article W0. In this case, the reference image GR can be obtained immediately by imaging the article. .
- the present invention can be applied to an engraving inspection technique for inspecting an engraved area including an engraved part having an engraved mark on the surface of an article, and to an article inspection apparatus for inspecting an article in general.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Biochemistry (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
物品の表面に刻印が付された刻印部を含む刻印領域を精度良く検査する。 物品の表面のうち物品を特定するための刻印が付された刻印部を含む刻印領域を検査する刻印検査装置であって、刻印および欠陥を有していない物品の画像を参照画像として記憶する参照画像記憶部と、物品を撮像する撮像部と、検査対象となる物品を撮像部により撮像することで取得された物品画像から刻印領域に対応する部分を切り抜いて刻印領域画像を取得し、刻印領域画像に対して刻印部の文字認識を行って刻印が適切に設けられているか否かを判定する刻印判定部と、刻印領域画像から刻印部の画像を取り除いた刻印周辺画像を参照画像と比較して刻印領域のうち刻印部を除く刻印周辺部に欠陥が含まれるか否かを判定する刻印周辺判定部とを備えている。
Description
この発明は、物品の表面に刻印が付された刻印部を含む刻印領域を検査する刻印検査装置および方法、ならびに当該刻印検査装置を装備して物品を検査する物品検査装置に関するものである。
関連出願の相互参照
以下に示す日本出願の明細書、図面および特許請求の範囲における開示内容は、参照によりその全内容が本書に組み入れられる:
特願2018-140938(2018年7月27日出願)。
関連出願の相互参照
以下に示す日本出願の明細書、図面および特許請求の範囲における開示内容は、参照によりその全内容が本書に組み入れられる:
特願2018-140938(2018年7月27日出願)。
金属製部品、樹脂製部品やゴム製部品などの立体的な物品を種々の角度から撮像して得られる複数の画像に基づいて物品を検査する装置が知られている。例えば、特許文献1の検査装置では、鍛造や鋳造により形成された金属部品(例えば自動車部品)を検査対象の物品としており、ステージにより保持された物品に対して複数の方向からそれぞれ光を照射する複数の光源部が設けられている。そして、光源部の点灯態様を切り替えながら2種類の画像を取得し、それらの画像から物品の表面に凹状または凸状の欠陥が存在しているか否かを判定している。
検査対象となる物品を特定あるいは識別するために、文字(本明細書では、英数字、ひながら、カタカナ、漢字、記号などを含む)の刻印が物品に付されることがある。複数種の刻印が付された刻印部では、物品の表面に種々の凹凸が生じているため、特許文献1に記載の装置により刻印部をそのまま検査すると、欠陥と誤認するおそれがある。そのため、物品の表面のうち刻印部を含む一定範囲(以下「刻印領域」という)については検査を行わないなどの対応策が採用されていた。
しかしながら、上記したように刻印は物品の特定機能や識別機能を有しており、刻印が適切に設けられているか否を検査することは重要である。また、刻印領域に欠陥が生じている可能性もあるため、物品の検査精度を高める上で、刻印領域に欠陥が含まれているか否かを検査することも重要である。
この発明は上記課題に鑑みなされたものであり、物品の表面に刻印が付された刻印部を含む刻印領域を精度良く検査することができる刻印検査装置および方法、ならびに刻印領域を含めて物品を高精度に検査することができる物品検査装置を提供することを目的とする。
本発明の第1態様は、物品の表面のうち物品を特定するための刻印が付された刻印部を含む刻印領域を検査する刻印検査装置であって、刻印および欠陥を有していない物品の画像を参照画像として記憶する参照画像記憶部と、物品を撮像する撮像部と、検査対象となる物品を撮像部により撮像することで取得された物品画像から刻印領域に対応する部分を切り抜いて刻印領域画像を取得し、刻印領域画像に対して刻印部の文字認識を行って刻印が適切に設けられているか否かを判定する刻印判定部と、刻印領域画像から刻印部の画像を取り除いた刻印周辺画像を参照画像と比較して刻印領域のうち刻印部を除く刻印周辺部に欠陥が含まれるか否かを判定する刻印周辺判定部とを備えることを特徴としている。
また、本発明の第2態様は、物品の表面のうち物品を特定するための刻印が付された刻印部を含む刻印領域を検査する刻印検査方法であって、刻印および欠陥を有していない物品の画像を参照画像として作成し、参照画像記憶部に記憶する工程と、検査対象となる物品を撮像して物品画像を取得する工程と、物品画像から刻印領域に対応する部分を切り抜いて刻印領域画像を取得する工程と、刻印領域画像に対して刻印部の文字認識を行って刻印が適切に設けられているか否かを判定する工程と、刻印領域画像から刻印部の画像を取り除いた刻印周辺画像を参照画像と比較して刻印領域のうち刻印部を除く刻印周辺部に欠陥が含まれるか否かを判定する工程とを備えることを特徴としている。
さらに、本発明の第3態様は、表面の一部に刻印が付された物品を検査する物品検査装置であって、刻印および欠陥を有していない物品の画像を参照画像として記憶する参照画像記憶部と、物品を撮像する撮像部と、検査対象となる物品を撮像部により撮像することで取得された物品画像から刻印が付された刻印部を含む刻印領域に対応する部分を切り抜いて刻印領域画像を取得し、刻印領域画像に対して刻印部の文字認識を行って刻印が適切に設けられているか否かを判定する刻印判定部と、刻印領域画像から刻印部の画像を取り除いた刻印周辺画像を参照画像と比較して刻印領域のうち刻印部を除く刻印周辺部に欠陥が含まれるか否かを判定する刻印周辺判定部と、物品のうち刻印領域を除く非刻印領域に対応する非刻印領域画像を物品画像から取得し、非刻印領域画像と参照画像とを比較して非刻印領域に欠陥が含まれるか否かを判定する非刻印領域判定部とを備えることを特徴としている。
このように構成された発明では、検査対象となる物品を撮像して取得された物品画像から刻印領域に対応する部分が切り抜かれて刻印領域画像が取得される。そして、刻印領域画像に対して刻印部の文字認識を行って刻印が適切に設けられているか否かが判定される。また、刻印および欠陥を有していない物品の画像を参照画像として予め参照画像記憶部に記憶しておく一方、刻印領域画像から刻印部の画像を取り除いた刻印周辺画像が参照画像と比較される。その比較によって、刻印領域のうち刻印部を除く刻印周辺部に欠陥が含まれるか否かが判定される。
以上のように、本発明によれば、刻印が付された刻印部を含む刻印領域に対応する刻印領域画像が取得され、当該刻印領域画像に基づいて刻印および刻印周辺部の検査がそれぞれ実行される。このため、物品の表面に刻印が付された刻印部を含む刻印領域を精度良く検査することができる。
上述した本発明の各態様の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部又は全部を解決するため、あるいは、本明細書に記載された効果の一部又は全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部又は全部を解決するため、あるいは、本明細書に記載された効果の一部又は全部を達成するために、上述した本発明の一態様に含まれる技術的特徴の一部又は全部を上述した本発明の他の態様に含まれる技術的特徴の一部又は全部と組み合わせて、本発明の独立した一形態とすることも可能である。
上述した本発明の各態様の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部又は全部を解決するため、あるいは、本明細書に記載された効果の一部又は全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部又は全部を解決するため、あるいは、本明細書に記載された効果の一部又は全部を達成するために、上述した本発明の一態様に含まれる技術的特徴の一部又は全部を上述した本発明の他の態様に含まれる技術的特徴の一部又は全部と組み合わせて、本発明の独立した一形態とすることも可能である。
図1は本発明に係る刻印検査装置の第1実施形態を装備する物品検査装置の構成を示す図である。図2は図1に示す物品検査装置の本体を示す平面図である。物品検査装置1は、例えば鍛造や鋳造などにより製造された金属製の物品Wを撮像して得られる物品画像から3種類の検査(刻印検査、刻印周辺検査、非刻印領域検査)を行う装置である。
図1に示すように、物品検査装置1は、本体11と、コンピュータにより構成される制御ユニット12と、各種データや指令などを制御ユニット12に与えるためのキーボードやマウスなどを有する入力部13と、後述するように物品画像や刻印領域を指示するための枠線などを表示する表示部14とを備えている。この物品検査装置1では、本体11は、ステージ2と、撮像ユニット3と、光源ユニット4とを備える。そして、物品Wはステージ2上に載置される。また、本体11には、外部の光がステージ2上に到達することを防止する図示省略の遮光カバーが設けられ、ステージ2、撮像ユニット3および光源ユニット4は、遮光カバー内に設けられている。
図1および図2に示すように、撮像ユニット3は、1個の上方撮像部31と、8個の斜方撮像部32と、8個の側方撮像部33とを備えている。図2では、上方撮像部31の図示を省略している(後述の上方光源部41についても同様)。上方撮像部31は、図1に示すようにステージ2の上方にてステージ2の中心から鉛直上方に延びる中心軸J1上に配置され、上方撮像部31によりステージ2上の物品Wの上面を真上から撮像した原画像を制御ユニット12に出力する。
図2に示すように、上側から下方を向いて本体11を見た場合に(すなわち、本体11を平面視した場合に)、8個の斜方撮像部32はステージ2の周囲に配置されている。8個の斜方撮像部32は、中心軸J1を中心とする周方向に45°の角度間隔(ピッチ)にて配列されている。各斜方撮像部32の撮像光軸K2と中心軸J1とを含む面において(図1参照)、撮像光軸K2と中心軸J1とがなす角度θ2は、およそ45°である。各斜方撮像部32によりステージ2上の物品Wを斜め上から撮像した原画像が取得可能である。
本体11を平面視した場合に、8個の側方撮像部33も、8個の斜方撮像部32と同様にステージ2の周囲に配置されている。8個の側方撮像部33は、中心軸J1を中心とする周方向に45°の角度間隔にて配列されている。各側方撮像部33の撮像光軸K3と中心軸J1とを含む面において、撮像光軸K3と中心軸J1とがなす角度θ3は、およそ90°である。各側方撮像部33によりステージ2上の物品Wを横から撮像した原画像が取得可能である。上方撮像部31、斜方撮像部32および側方撮像部33は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary
Metal-Oxide Semiconductor)等を有し、多階調の画像が取得される。上方撮像部31、斜方撮像部32および側方撮像部33は、図示省略の支持部により支持されている。
Metal-Oxide Semiconductor)等を有し、多階調の画像が取得される。上方撮像部31、斜方撮像部32および側方撮像部33は、図示省略の支持部により支持されている。
光源ユニット4は、1個の上方光源部41と、8個の斜方光源部42と、8個の側方光源部43とを備える。上方光源部41は、中心軸J1を中心とするリング状に複数のLED(発光ダイオード)が配列された光源部である。リング状の上方光源部41は上方撮像部31の周囲を囲むように、上方撮像部31に固定されている。上方光源部41によりステージ2上の物品Wに対して真上から中心軸J1に平行な方向に沿って照明光が照射可能となっている。
本体11を平面視した場合に、8個の斜方光源部42はステージ2の周囲に配置されている。8個の斜方光源部42は、中心軸J1を中心とする周方向に45°の角度間隔にて配列されている。各斜方光源部42は、中心軸J1を中心とする円周の接線方向に伸びるバー状に複数のLEDが配列された光源部である。各斜方光源部42の出射面の中央と物品W(の中心)とを結ぶ線を「斜方照明軸」と呼ぶと、当該斜方光源部42の斜方照明軸と中心軸J1とを含む面において、当該斜方照明軸と中心軸J1とがなす角度は、およそ45°である。各斜方光源部42では、ステージ2上の物品Wに対して斜め上から当該斜方照明軸に沿って照明光が照射可能となっている。物品検査装置1では、斜方光源部42は斜方撮像部32にそれぞれ固定されている。
本体11を平面視した場合に、8個の側方光源部43はステージ2の周囲に配置されている。8個の側方光源部43は、中心軸J1を中心とする周方向に45°の角度間隔にて配列されている。各側方光源部43は、中心軸J1を中心とする円周の接線方向に伸びるバー状に複数のLEDが配列された光源部である。斜方光源部42と同様に、各側方光源部43の出射面の中央と物品Wとを結ぶ線を「側方照明軸」と呼ぶと、当該側方光源部43の側方照明軸と中心軸J1とを含む面において、当該側方照明軸と中心軸J1とがなす角度は、およそ90°である。各側方光源部43では、ステージ2上の物品Wに対して横から当該側方照明軸に沿って照明光が照射可能となっている。物品検査装置1では、側方光源部43は側方撮像部33にそれぞれ固定されている。
このように本実施形態では、17個の光源部(=1個の上方光源部41+8個の斜方光源部42+8個の側方光源部43)がステージ2の周囲をドーム状に取り囲むように配設され、互いに異なる17個の照明方向の全部または一部から照明光を物品Wに照射可能となっている。例えば、上方撮像部31および上方光源部41と物品Wとの間の距離は、約55cm(センチメートル)である。また、斜方撮像部32および斜方光源部42と物品Wとの間の距離は約50cmであり、側方撮像部33および側方光源部43と物品Wとの間の距離は約40cmである。上方光源部41、斜方光源部42および側方光源部43では、LED以外の種類の光源が用いられてよい。
本実施形態では、本体11の各部を制御するとともに後で説明するように物品Wの物品画像を参照画像と比較して物品Wの検査を行うために制御ユニット12が設けられている。制御ユニット12は、CPU(Central Processing Unit)により構成される演算処理部5と、参照画像データ61、物品画像データ62、刻印領域画像データ63、刻印周辺画像データ64および指令範囲データ65などの各種データやプログラムなどを記憶する記憶部6を備えている。演算処理部5は、上記プログラムにしたがって装置各部を制御することで、物品Wへの照明光を多段階に切り替えながら複数の物品画像を取得する。また、演算処理部5は物品画像に対して種々の画像処理を施し、刻印が適切に設けられているか否かを判定する刻印判定処理、刻印周辺部に欠陥が含まれるか否かを判定する刻印周辺判定処理、ならびに刻印領域を除く非刻印領域に欠陥が含まれるか否かを判定する非刻印領域判定処理を実行する。これら3種類の判定処理を行って物品Wを総合的に検査する。また、上記判定を行う際に用いる参照画像を演算処理部5が作成する。このように、演算処理部5は、参照画像作成部51、刻印判定部52、刻印周辺判定部53および非刻印領域判定部54として機能する。
非刻印領域判定部54は特許文献1に記載の装置と同様にして非刻印領域(刻印領域以外の領域)の検査を行う。その検査概要は以下の通りである。複数の光源部のうちの一の光源部からの光の照射により撮像部にて第1物品画像が取得され、複数の光源部からの光の照射により撮像部にて第2物品画像が取得される。また、第1物品画像と当該第1物品画像に対応する第1参照画像とを比較することにより第1欠陥候補領域が検出され、第2物品画像と当該第2物品画像に対応する第2参照画像とを比較することにより第2欠陥候補領域が検出される。そして、第1欠陥候補領域および第2欠陥候補領域において重複する領域が、対象領域における欠陥領域として特定される。これにより、物品Wの表面における微小な凹凸に起因する第1および第2欠陥候補領域における偽欠陥領域を適切に除去して、物品Wの表面における欠陥(真欠陥)を精度よく検出する。
ここで、第1参照画像および第2参照画像を事前に作成して記憶部6に記憶させておく必要がある。また、後で詳述するように、刻印周辺判定処理では第1参照画像および第2参照画像が用いられる。そこで、本実施形態では、図3に示すように、演算処理部5は物品Wの検査を行う前に欠陥を含まない刻印付きの物品、つまり良品物品を用いて第1参照画像および第2参照画像を作成した後で、検査対象となる物品Wの検査を行う。
図3は物品検査装置における検査処理の流れを示すフローチャートである。また、図4は参照画像の作成処理を示すフローチャートである。演算処理部5はプログラムにしたがって以下の処理を実行する。まず、検査対象となる物品Wを物品検査装置1にローディングして検査する前に、参照画像を作成する(ステップS1)。つまり、図4に示すように複数の良品物品(本実施形態ではi個の良品物品)を用いた参照画像が作成される(ステップS1)。なお、ここでは、第1参照画像および第2参照画像はそれぞれ第1物品画像および第2物品画像と同じ撮像条件で取得されるため、以下では第1物品画像に対応する第1参照画像の作成について説明し、第2物品画像に対応する第2参照画像の作成については省略する。また、第1参照画像および第2参照画像を区別せずに説明する際には、単に「参照画像」と称する。なお、参照画像は、検査処理とは別にあらかじめ作成されていても良い。
第1参照画像の作成においては、互いに異なるi個の良品物品W0(図1参照)毎に一連の工程(ステップS11~15)が実行される。すなわち、良品物品W0をステージ2上にローディングする(ステップS11)。ステージ2上には、良品物品W0や検査対象となる物品Wの形状や大きさなどに適合する保持部(図示省略)が設けられており、物品W0の主面を鉛直上方に向けた状態でステージ2上の所定位置に物品W0を保持する。続いて、入力部13を介した操作者による入力等に基づいてステージ2上の良品物品W0を第1物品画像と同じ撮像条件で撮像する。これによって、所定の撮像条件で良品物品W0の画像、つまり良品物品画像G0が取得される(ステップS12)。
こうして取得された良品物品画像G0は例えば図5に示すように表示部14の中央部に表示されており、同図から良品物品W0の中央上部に「1」が刻印されていることがわかる。また、表示部14の左上部には、良品物品画像G0に対して範囲指定や加工などを施すためのアイコンが表示されている。例えば矩形枠が示されたアイコン(ドットが付されているアイコン)を操作者がクリックすると、同図に示すように、刻印領域を指定するための点線枠Bが良品物品画像G0に追加表示される。また、操作者の操作により点線枠Bの位置やサイズを変更することで刻印領域R1(図2)を任意に調整することが可能となっている。この刻印領域R1は、刻印が付された刻印部R11(図2)の画像G11を含むように設定される。このため、刻印領域R1は、図2に示すように、刻印部R11と刻印部R11を取り囲む刻印周辺部R12とを有し、また図5に示すように刻印領域R1に対応する画像(以下「刻印領域画像G1」という)には、刻印部R11の画像G11と、刻印周辺部R12の画像(以下「刻印周辺画像G12」という)とが含まれている。
刻印領域R1の調整指定が完了し、操作者により決定ボタンがクリックされると、図6に示す画面に切り替わる。つまり、良品物品画像G0と刻印領域R1を示す点線枠Bとを残したまま、アイコンを消去する一方で領域の属性などを指定するためのボックスを表示部14に表示する。当該ボックスでは、点線枠Bと指定した領域が、検査を禁止する禁止領域であるのか、欠陥検査を行う検査領域であるのか、刻印が付された刻印部R11を含む刻印領域R1であるのかを選択可能となっており、刻印領域R1を指定する際には同図に示すように領域属性として「刻印」のチェックボックスにチェックを入れておけばよい。また、検査により検出する欠陥のタイプを選択可能となっている。さらに、欠陥には比較的暗く表現されるものや比較的明るく表現されるものが幅広く存在するため、検出対象となる欠陥を効果的に見つけ出すために検査感度を設定可能となっている。
そして、図6に示すように刻印領域R1の範囲が指定されるとともに領域属性として「刻印」が選択された状態で操作者により決定ボタンがクリックされると、演算処理部5はその時点での点線枠Bを刻印領域R1の指定範囲として受け付ける(ステップS13)。そして、当該範囲を示す指定範囲データを記憶部6に記憶する。
次に、刻印領域R1に対応する刻印領域画像G1を構成する画素の画素値を平均化し、参照候補画像とする。また、当該参照候補画像のデータ、つまり参照候補画像データを記憶部6に記憶する(ステップS14)。上記平均化処理によって刻印部R11の画像が刻印周辺部R12に対応する刻印周辺画像G12に基づいて消し込まれ、刻印および欠陥を有していない物品の画像と実質的に同じものとなる。なお、本実施形態では、平均化処理により参照候補画像を作成しているが、その他のフィルタ処理などによって参照候補画像を作成してもよい。また、こうして参照候補画像が得られると、ステージ上の良品物品W0をアンローディングする(ステップS15)。
このような一連の処理を良品物品W0の数だけ繰り返す。これによって、例えば図7に示すように3つの良品物品W0(それぞれ「1」、「10」、「6」の刻印が付されているが、ともに欠陥は含まれていない)について、第1物品画像を取得するための撮像条件に対して3つの参照候補画像GR(1)、GR(10)、GR(6)が得られる。本実施形態では、これらを平均化して参照画像GRを作成し、当該参照画像GRのデータ、つまり第1物品画像に対応する参照画像データを記憶部6に記憶する(ステップS16)。さらに、刻印領域R1の指定範囲を示すデータ、つまり指定範囲データを記憶部6に記憶する(ステップS17)。なお、これらの処理は上記したように第2参照画像を作成するために実行される。
次に参照画像の作成が完了すると、演算処理部5は検査すべき物品W毎に以下の処理(ステップS2~S8)を実行する。まず、検査対象となる物品Wをステージ2上にローディングする(ステップS2)。それに続いて、ステージ2上の良品物品W0を第1物品画像の取得に適した撮像条件で撮像し、また第2物品画像の取得に適した撮像条件で撮像する。これによって、撮像条件毎に物品画像が取得され、その画像データ、つまり物品画像データが記憶部6に記憶される(ステップS3)。
次のステップS4では、刻印領域R1の指定範囲データを記憶部6から読み出し(ステップS4)、当該指定範囲データにしたがって物品画像から刻印領域R1の刻印領域画像G1と非刻印領域R2の非刻印領域画像G2とを抽出し、刻印領域画像G1の画像データ(刻印領域画像データ)および非刻印領域画像G2の画像データ(非刻印領域画像データ)を記憶部6に記憶する(ステップS5)。なお、刻印領域画像G1は物品画像G0から操作者による指定範囲(図5、6中の点線枠Bの部分)だけ抜き取ったものであり、非刻印領域画像G2は図5や図6に示すように物品画像G0から刻印領域R1を抜き取った後に残るものである。
そして、刻印領域画像G1に基づく刻印領域R1の検査(ステップS6)と、非刻印領域画像G2に基づく非刻印領域R2の検査(ステップS7)とを並行して実行する。これらの検査がともに完了すると、ステージ2上の検査対象の物品Wをアンローディングする(ステップS8)。このような一連の処理(ステップS2~S8)は、検査対象となる物品Wが存在している(ステップS9で「YES」)の間、繰り返される。
上記した検査のうち非刻印領域R2の検査(ステップS7)は特許文献1に記載の装置と同様にして実行されるため、ここでは当該検査の詳細については省略する。一方、刻印領域R1の検査(ステップS6)は従来にはない独自なものであるため、図8および図9を参照しつつ詳述する。
図8は刻印領域の検査手順を示すフローチャートである。また、図9は刻印領域の検査内容を模式的に示す図である。本実施形態では、検査対象となる物品Wは図示を省略するロボットによりステージ2上に載置される。このため、ロボットが物品Wをピックアップしたときのアーム姿勢や物品Wの向きに応じて物品Wに付された刻印が標準の向き(本実施形態では、図5や図6に示すように物品画像G0において刻印が正対する向きを標準としている)と異なることがある。そこで、後で説明する光学式文字認識(Optical Character Recognition)を良好に行うために、ステップS601で刻印の向きが標準、つまり刻印が正対しているか否かを判定している。そして、正対していないと判定した(ステップS601で「NO」)際には、ステップS5で抽出された刻印領域画像G1を回転させ、例えば図9に示すように刻印が正対する向きとなるように刻印領域画像G1を補正した(ステップS602)上で、次のステップS603に進む。一方、刻印が正対している(ステップS601で「YES」)場合、そのままステップS603に進む。
このステップS603では、刻印が正対した向きとなっている刻印領域画像G1に対してエッジ強調処理を施した後で所定のしきい値で二値化する。こうした画像処理を受けた刻印領域画像G1においては刻印部R11と刻印周辺部R12との境界がより明確となり、刻印がはっきりと現れる。そして、このように二値化処理された刻印領域画像G1に対して光学式文字認識を実行して刻印判定を行う(ステップS604)。より具体的には、光学式文字認識により刻印部R11と判定された部位に含まれる画素の総数が一定値(例えば200画素)以上であり、しかも線分に相当する部位の幅が一定幅(例えば45画素)以下であるという判定条件を満足した場合に刻印が適切に設けられていると判定する。一方、上記判定条件が満足されない場合には刻印が適切に設けられていないと判定する。
上記のように物品Wに対して適切に刻印されていると判定する(ステップS605で「YES」)と、演算処理部5は以下のようにして刻印周辺部R12の検査を行う(ステップS606~S610)。すなわち、図9中の「刻印周辺部の検査」の行に示すように、刻印領域画像G1から刻印部R11の画像G11を取り除いて刻印周辺部R12の刻印周辺画像G12を特定する(ステップS606)。そして、刻印部R11に相当する箇所を除いて、刻印周辺画像G12を参照画像GRと比較して画像の同一性を検査する(ステップS607)。というのも、検査対象の物品Wの刻印周辺部R12に欠陥が含まれない場合には、刻印領域R1に対応する範囲においては、参照画像GRのうち刻印部R11に相当する画像GR1(点線部分)を除いた画像GR2と刻印周辺画像G12とは一致あるいはほぼ一致するからである。逆に、検査対象の物品Wの刻印周辺部R12に欠陥が含まれている場合には、欠陥に相当する箇所で大きく相違する。そこで、本実施形態では、各画像を構成する画素毎に画素値の差分を求め、それらの差分の累積値が所定の閾値以下となっているときには両画像は一致しており、例えば図9の「良品の一例」の列に示すように、刻印周辺部R12に欠陥は含まれていないと結論付けることができる。逆に、閾値を超えるときには、例えば図9の「不良品の一例」の列に示すように、刻印周辺部R12に欠陥は含まれていると結論付けることができる。したがって、本実施形態では、ステップS608で刻印周辺画像G12が参照画像GRにおいて刻印周辺画像G12に対応する画像(参照画像GRから点線部分の画像GR2を除去した画像)と実質的に同一であるか否かを判定する。そして、同一である場合にはステージ2上の物品Wは良品であると判定し(ステップS609)、同一でない場合には上記物品Wは不良品であると判定する(ステップS610)。
一方、ステップS605で物品Wに対して適切に刻印されていないと判定した場合に、演算処理部5は刻印周辺部R12の検査を行うことなく、直ちにステージ2上の物品Wは不良品であると判定する(ステップS610)。
以上のように、本実施形態では、検査対象となる物品Wを撮像して得られた物品画像G0から刻印領域R1に対応する刻印領域画像G1を取得する。そして、刻印領域画像G1に対して刻印部R11の文字認識を行うことで刻印が適切に設けられているか否かを判定している。また、こうした刻印検査のみならず、刻印領域画像G1から刻印部R11の画像G11を取り除いた刻印周辺画像G12を参照画像GR中の画像GR2と比較し、その比較結果によって刻印周辺部R12に欠陥が含まれるか否かを判定している。したがって、物品Wの表面に刻印が付された刻印部R11を含む刻印領域R1を精度良く検査することができる。
また、上記実施形態では、刻印が適切に行われていないと判定すると、刻印周辺部R12の検査を省略し、直ちに検査対象となっている物品Wを不良品と認定している。このため、無駄な検査処理(ステップS606~S609)を省略することができる。
また、上記実施形態では、刻印領域R1の検査(ステップS6)と非刻印領域R2の検査(ステップS7)とを並行して行っているため、刻印領域R1を含めた物品Wの検査を短時間で行うことができる。なお、上記検査については完全に並行して行ってもよいし、部分的に並行するように実行してもよい。つまり、非刻印領域R2の検査は、刻印部R11の文字認識による刻印判定および刻印周辺画像G12に基づく刻印周辺部R12での欠陥の有無判定の少なくとも一方と並行して実行してもよい。
また、上記実施形態では、表示部14に映し出された物品画像G0を見ながら操作者により刻印領域R1を指摘することができる。したがって、刻印の種類や大きさなどに応じて刻印領域R1を設定することができ、物品Wの検査を精度良く行うことができる。
このように上記実施形態においては、良品物品W0が本発明の「欠陥を有さない物品」の一例に相当し、物品Wが本発明の「検査対象となる物品」の一例に相当している。また、上方撮像部31、斜方撮像部32および側方撮像部33が本発明の「撮像部」の一例に相当し、記憶部6が本発明の「参照画像記憶部」の一例に相当している。また、これらの構成と、刻印判定部52および刻印周辺判定部53として機能する演算処理部5とが協働して本発明の「刻印検査装置」として機能している。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば本実施形態では、光学式文字認識により刻印部R11と判定された部位の画素情報に基づいて刻印が適切に設けられているか否かを判定しているが、それ以外の判定条件に基づいて刻印が適切に設けられているか否かを判定してもよい。例えば従来より多用されている光学式文字認識方法では文字認識結果をスコアで示すものであり、当該スコアが一定以上となったときに刻印が適切に設けられていると判定する一方、一定未満となったときに刻印が適切に行われていないと判定してもよい。また、上記画素情報とスコアとを組み合わせて刻印の適正度を判定してもよい。
また、光学式文字認識では、スコアとともに複数の文字候補を認識結果として示すことがある。このような文字認識を採用する場合、最もスコアが高い文字候補(つまり最も近似する文字候補)が物品Wに刻印されていると認定してもよい。そして、図9中の白抜き矢印で示すように、画素情報に基づく判定において刻印が適正に設けられていないと判定される場合であっても、最も近似する文字候補が刻印されたと判定し、さらに刻印周辺部R12の検査(ステップS606~S610)を行ってもよい(第2実施形態)。この第2実施形態によれば、次のような作用効果が得られる。刻印部R11に比較的小さく、実使用上問題とならない程度の微小な欠陥が隣接して存在する場合であっても、画素情報に基づく判定において刻印が適正に行われないと判定されることがある。これに対し、第2実施形態によれば、微小な欠陥が存在しても文字認識を行うことができ、実使用に適合した検査を行うことができる。
また、上記した実施形態では、複数の良品物品W0を用いて刻印および欠陥を有していない物品の画像、つまり参照画像GRを作成しているが、1つの良品物品W0のみで参照画像GRを作成してもよい。また、良品物品W0の代わりに刻印および欠陥を有していない物品を用いて参照画像GRを作成してもよく、この場合、当該物品を撮像することで参照画像GRを直ちに取得することができる。
なお、本発明の適用対象は、特許文献1に記載の装置に限定されるものでなく、表面の一部に刻印が付された物品を検査する物品検査装置全般に適用することができる。
以上、特定の実施例に沿って発明を説明したが、この説明は限定的な意味で解釈されることを意図したものではない。発明の説明を参照すれば、本発明のその他の実施形態と同様に、開示された実施形態の様々な変形例が、この技術に精通した者に明らかとなるであろう。故に、添付の特許請求の範囲は、発明の真の範囲を逸脱しない範囲内で、当該変形例または実施形態を含むものと考えられる。
以上、特定の実施例に沿って発明を説明したが、この説明は限定的な意味で解釈されることを意図したものではない。発明の説明を参照すれば、本発明のその他の実施形態と同様に、開示された実施形態の様々な変形例が、この技術に精通した者に明らかとなるであろう。故に、添付の特許請求の範囲は、発明の真の範囲を逸脱しない範囲内で、当該変形例または実施形態を含むものと考えられる。
この発明は、物品の表面に刻印が付された刻印部を含む刻印領域を検査する刻印検査技術ならびに物品を検査する物品検査装置全般に適用することができる。
1…物品検査装置
5…演算処理部
6…記憶部
31…上方撮像部
32…斜方撮像部
33…側方撮像部
51…参照画像作成部
52…刻印判定部
53…刻印周辺判定部
54…非刻印領域判定部
G0…物品画像
G1…刻印領域画像
G2…非刻印領域画像
G11…(刻印部の)画像
G12…刻印周辺画像
GR…参照画像
R11…刻印部
R12…刻印周辺部
W…(検査対象となる)物品
W0…良品物品
5…演算処理部
6…記憶部
31…上方撮像部
32…斜方撮像部
33…側方撮像部
51…参照画像作成部
52…刻印判定部
53…刻印周辺判定部
54…非刻印領域判定部
G0…物品画像
G1…刻印領域画像
G2…非刻印領域画像
G11…(刻印部の)画像
G12…刻印周辺画像
GR…参照画像
R11…刻印部
R12…刻印周辺部
W…(検査対象となる)物品
W0…良品物品
Claims (8)
- 物品の表面のうち前記物品を特定するための刻印が付された刻印部を含む刻印領域を検査する刻印検査装置であって、
前記刻印および欠陥を有していない物品の画像を参照画像として記憶する参照画像記憶部と、
前記物品を撮像する撮像部と、
検査対象となる前記物品を前記撮像部により撮像することで取得された物品画像から前記刻印領域に対応する部分を切り抜いて刻印領域画像を取得し、前記刻印領域画像に対して前記刻印部の文字認識を行って前記刻印が適切に設けられているか否かを判定する刻印判定部と、
前記刻印領域画像から前記刻印部の画像を取り除いた刻印周辺画像を前記参照画像と比較して前記刻印領域のうち前記刻印部を除く刻印周辺部に欠陥が含まれるか否かを判定する刻印周辺判定部と
を備えることを特徴とする刻印検査装置。 - 請求項1に記載の刻印検査装置であって、
前記刻印周辺判定部は、前記刻印判定部により前記刻印が適切に行われていないと判定されたときには、前記欠陥が含まれるか否かの判定を行わない刻印検査装置。 - 請求項1に記載の刻印検査装置であって、
前記刻印判定部は前記文字認識によって前記刻印部に最も近似する文字候補を取得し、
前記刻印周辺判定部は前記刻印判定部により取得された文字候補の画像を前記刻印部の画像として用いて前記欠陥が含まれるか否かの判定を行う刻印検査装置。 - 請求項1ないし3のいずれか一項に記載の刻印検査装置であって、
前記刻印判定部は、前記刻印領域画像に対して前記刻印部を強調する強調処理を施し、さらに二値化処理を施した上で前記文字認識を行う刻印検査装置。 - 請求項1ないし4のいずれか一項に記載の刻印検査装置であって、
欠陥を有さない物品を前記撮像部により撮像して得られる良品物品画像のうち前記刻印部の画像を前記刻印周辺画像に基づいて消し込んで前記参照画像を作成する参照画像作成部を備える刻印検査装置。 - 物品の表面のうち前記物品を特定するための刻印が付された刻印部を含む刻印領域を検査する刻印検査方法であって、
前記刻印および欠陥を有していない物品の画像を参照画像として作成し、参照画像記憶部に記憶する工程と、
検査対象となる前記物品を撮像して物品画像を取得する工程と、
前記物品画像から前記刻印領域に対応する部分を切り抜いて刻印領域画像を取得する工程と、
前記刻印領域画像に対して前記刻印部の文字認識を行って前記刻印が適切に設けられているか否かを判定する工程と、
前記刻印領域画像から前記刻印部の画像を取り除いた刻印周辺画像を前記参照画像と比較して前記刻印領域のうち前記刻印部を除く刻印周辺部に欠陥が含まれるか否かを判定する工程と
を備えることを特徴とする刻印検査方法。 - 表面の一部に刻印が付された物品を検査する物品検査装置であって、
前記刻印および欠陥を有していない物品の画像を参照画像として記憶する参照画像記憶部と、
前記物品を撮像する撮像部と、
検査対象となる前記物品を前記撮像部により撮像することで取得された物品画像から前記刻印が付された刻印部を含む刻印領域に対応する部分を切り抜いて刻印領域画像を取得し、前記刻印領域画像に対して前記刻印部の文字認識を行って前記刻印が適切に設けられているか否かを判定する刻印判定部と、
前記刻印領域画像から前記刻印部の画像を取り除いた刻印周辺画像を前記参照画像と比較して前記刻印領域のうち前記刻印部を除く刻印周辺部に欠陥が含まれるか否かを判定する刻印周辺判定部と、
前記物品のうち前記刻印領域を除く非刻印領域に対応する非刻印領域画像を前記物品画像から取得し、前記非刻印領域画像と前記参照画像とを比較して前記非刻印領域に欠陥が含まれるか否かを判定する非刻印領域判定部と
を備えることを特徴とする物品検査装置。 - 請求項7に記載の物品検査装置であって、
前記非刻印領域判定部は、前記刻印判定部による判定および前記刻印周辺判定部による判定の少なくとも一方と並行して前記非刻印領域に欠陥が含まれるか否かを判定する物品検査装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/261,791 US11680911B2 (en) | 2018-07-27 | 2019-05-22 | Marking inspection device, marking inspection method and article inspection apparatus |
EP19841831.1A EP3832539A4 (en) | 2018-07-27 | 2019-05-22 | BRAND INSPECTION DEVICE, BRAND INSPECTION METHOD AND ARTICLE INSPECTION PROGRAM |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-140938 | 2018-07-27 | ||
JP2018140938A JP7188930B2 (ja) | 2018-07-27 | 2018-07-27 | 刻印検査装置、刻印検査方法および物品検査装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020021832A1 true WO2020021832A1 (ja) | 2020-01-30 |
Family
ID=69182170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/020192 WO2020021832A1 (ja) | 2018-07-27 | 2019-05-22 | 刻印検査装置、刻印検査方法および物品検査装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11680911B2 (ja) |
EP (1) | EP3832539A4 (ja) |
JP (1) | JP7188930B2 (ja) |
TW (1) | TWI703320B (ja) |
WO (1) | WO2020021832A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07131779A (ja) * | 1993-09-10 | 1995-05-19 | Sony Corp | 図形検査方法及び図形検査装置 |
JP2001126064A (ja) * | 1999-10-26 | 2001-05-11 | Nachi Fujikoshi Corp | 金属表面の欠陥検出方法 |
JP2016057075A (ja) | 2014-09-05 | 2016-04-21 | 株式会社Screenホールディングス | 検査装置および検査方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0792813B2 (ja) * | 1990-01-05 | 1995-10-09 | 新日本製鐵株式会社 | 打刻印の検出方法及び装置 |
CA2347181A1 (en) * | 2000-06-13 | 2001-12-13 | Eastman Kodak Company | Plurality of picture appearance choices from a color photographic recording material intended for scanning |
US6781724B1 (en) * | 2000-06-13 | 2004-08-24 | Eastman Kodak Company | Image processing and manipulation system |
US7068363B2 (en) * | 2003-06-06 | 2006-06-27 | Kla-Tencor Technologies Corp. | Systems for inspection of patterned or unpatterned wafers and other specimen |
US20070116350A1 (en) * | 2005-11-21 | 2007-05-24 | Cheverton Mark A | Method for detecting the alignment of films for automated defect detection |
US20070115464A1 (en) * | 2005-11-21 | 2007-05-24 | Harding Kevin G | System and method for inspection of films |
JP5509773B2 (ja) * | 2009-01-21 | 2014-06-04 | オムロン株式会社 | パラメータ決定支援装置およびパラメータ決定支援プログラム |
US9558544B2 (en) | 2011-04-29 | 2017-01-31 | Monnaie Royale Canadienne/Royal Canadian Mint | Method and apparatus for authentication of a coin or other manufactured item |
JP6403445B2 (ja) * | 2014-06-09 | 2018-10-10 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
JP6290720B2 (ja) * | 2014-06-09 | 2018-03-07 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
JP6569697B2 (ja) * | 2017-04-11 | 2019-09-04 | コニカミノルタ株式会社 | 検査装置及び検査プログラム |
JP7210873B2 (ja) * | 2017-07-26 | 2023-01-24 | 横浜ゴム株式会社 | 欠陥検査方法及び欠陥検査装置 |
-
2018
- 2018-07-27 JP JP2018140938A patent/JP7188930B2/ja active Active
-
2019
- 2019-05-22 EP EP19841831.1A patent/EP3832539A4/en active Pending
- 2019-05-22 US US17/261,791 patent/US11680911B2/en active Active
- 2019-05-22 WO PCT/JP2019/020192 patent/WO2020021832A1/ja unknown
- 2019-05-31 TW TW108118996A patent/TWI703320B/zh not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07131779A (ja) * | 1993-09-10 | 1995-05-19 | Sony Corp | 図形検査方法及び図形検査装置 |
JP2001126064A (ja) * | 1999-10-26 | 2001-05-11 | Nachi Fujikoshi Corp | 金属表面の欠陥検出方法 |
JP2016057075A (ja) | 2014-09-05 | 2016-04-21 | 株式会社Screenホールディングス | 検査装置および検査方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3832539A4 |
Also Published As
Publication number | Publication date |
---|---|
JP2020017163A (ja) | 2020-01-30 |
US20210342618A1 (en) | 2021-11-04 |
EP3832539A4 (en) | 2022-08-31 |
TWI703320B (zh) | 2020-09-01 |
EP3832539A1 (en) | 2021-06-09 |
JP7188930B2 (ja) | 2022-12-13 |
TW202007953A (zh) | 2020-02-16 |
US11680911B2 (en) | 2023-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6705777B2 (ja) | 機械学習装置、検査装置及び機械学習方法 | |
KR101338576B1 (ko) | 화상 해석에 의해서 결함 검사를 실시하는 결함검사장치 | |
US20210150695A1 (en) | Inspection device | |
CN107315011A (zh) | 图像处理装置、图像处理方法及存储介质 | |
JP2018096908A (ja) | 検査装置及び検査方法 | |
JP2009115566A (ja) | パネルの欠陥位置の特定装置 | |
WO2015015945A1 (ja) | 欠陥候補特定装置、欠陥候補特定方法、欠陥判定装置、欠陥検査装置、欠陥候補特定プログラム及び記録媒体 | |
CN113916893A (zh) | 模切产品缺陷的检测方法 | |
WO2020021832A1 (ja) | 刻印検査装置、刻印検査方法および物品検査装置 | |
JP2009109243A (ja) | 樹脂封止材の検査装置 | |
KR20230066937A (ko) | 딥러닝을 이용한 웨이퍼 검사방법과 이것을 구현하기 위한 웨이퍼 검사장치 | |
JP2003068813A (ja) | プローブ痕測定方法およびプローブ痕測定装置 | |
JP2005024565A (ja) | ウェハ外観検査装置およびウェハ外観検査方法 | |
JP2006145228A (ja) | ムラ欠陥検出方法及び装置 | |
JP4420796B2 (ja) | 容器の外観検査方法 | |
JP2006035505A (ja) | 印刷物の検査方法及び装置 | |
JP2002267619A (ja) | 欠陥検査方法及び装置 | |
JP5966853B2 (ja) | 塗布状態検査装置及び方法 | |
JP2020003452A (ja) | 検査装置、検査方法、および、検査装置用のプログラム | |
JP2019124524A (ja) | 表面傷の検査方法及び検査装置 | |
KR101349662B1 (ko) | 광학 필름의 결함 판별 방법 | |
WO2023286518A1 (ja) | デブリ判定方法 | |
JP2008139088A (ja) | 外観検査方法 | |
JP2017146248A (ja) | 欠陥検出装置、欠陥検出方法およびプログラム | |
KR20080082278A (ko) | 문자인식방법 및 반도체디바이스에 형성된 문자의문자인식방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19841831 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019841831 Country of ref document: EP Effective date: 20210301 |