WO2010032562A1 - 検査対象物の欠陥の発見を支援するシステム及び方法 - Google Patents
検査対象物の欠陥の発見を支援するシステム及び方法 Download PDFInfo
- Publication number
- WO2010032562A1 WO2010032562A1 PCT/JP2009/063730 JP2009063730W WO2010032562A1 WO 2010032562 A1 WO2010032562 A1 WO 2010032562A1 JP 2009063730 W JP2009063730 W JP 2009063730W WO 2010032562 A1 WO2010032562 A1 WO 2010032562A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- defect
- unit
- acquisition unit
- captured
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N2021/9513—Liquid crystal panels
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells
- G02F1/1306—Details
- G02F1/1309—Repairing; Testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
Definitions
- the present invention relates to a system and method for supporting the discovery of a defect in an inspection object.
- the present invention relates to a system and method for processing an image of an inspection object to assist in finding the defect.
- Patent Document 1 As a technique for inspecting defects of extremely small patterns such as a photomask used when manufacturing an LCD, an optical image in a photomask and a reference image created from graphic data included in a CAD data file are used. A technique for outputting the comparison result has been proposed (see, for example, Patent Document 1).
- an optical image acquisition unit acquires an optical image on a photomask serving as a sample on which a graphic indicated by graphic data included in a CAD data file is drawn. Then, in the comparison circuit, the optical image and the reference image created by converting the graphic data included in the CAD data file into image data and applying a predetermined filtering process are compared using a predetermined algorithm, and the defect is detected. The determined image or the like is output to the review device.
- the comparison circuit needs to focus on image processing. There is a possibility that it becomes out of proportion to the transfer amount. It is also conceivable to compress an image determined to be defective in order to reduce the transfer data amount. However, this process causes a new problem that the performance of the original image processing is degraded.
- An object of the present invention is to avoid a situation in which the bandwidth of a communication line connected to a unit that performs image processing for determining an image of a defective portion of an inspection object is insufficient. In particular, the increase in bandwidth between the image processing unit and the result storage unit is eliminated.
- the present invention is a system that supports the discovery of defects in an inspection object, an acquisition unit that acquires a captured image obtained by imaging the inspection object, and a first acquisition unit. Connected to the communication line and connected to the acquisition unit by a second communication line for determining a defect image that is an image of an area including the defective portion of the inspection object among the captured images acquired by the acquisition unit.
- a storage unit that stores the defect image determined by the determination unit, and the acquisition unit transmits the captured image to the determination unit via the first communication line and stores the captured image in its own memory.
- the image specifying information for specifying the defect image is received from the determination unit via the first communication line, the defect image specified by the image specifying information among the captured images stored in the memory is stored in the storage unit. Sending via communication line To provide a beam.
- the image specifying information may include at least one of the identification number of the photographed image, the number of defective portions, and a group including defect area information including coordinates and areas of the defective portions.
- the acquisition unit may cut out a defect image from the captured image stored in the memory and transmit the defect image to the storage unit.
- the acquisition unit may delete the captured image from the memory when receiving information from the determination unit that the captured image stored in the memory does not include a defect image.
- the captured image includes a plurality of image fragments
- the acquisition unit transmits an image fragment including a defect image among the plurality of image fragments included in the captured image stored in the memory to the storage unit.
- the acquisition unit receives, from the determination unit, fragment specifying information that specifies an image fragment including a defective image among a plurality of image fragments included in the captured image stored in the memory
- the plurality of images are acquired.
- the image fragment specified by the fragment specifying information among the fragments may be transmitted to the storage unit.
- the captured image includes a plurality of image fragments, and the acquisition unit receives information from the determination unit that the specific image fragment among the plurality of image fragments included in the captured image stored in the memory does not include a defect image. Upon receipt, the specific image fragment may be deleted from the memory.
- the determination unit may delete the determined defect image without transmitting it to the acquisition unit. Furthermore, the second communication line may have a wider bandwidth than the first communication line.
- the present invention is a method for supporting discovery of a defect in an inspection object, wherein the acquisition unit acquires a captured image obtained by the imaging unit imaging the inspection object from the imaging unit, and acquisition A step of transmitting the captured image to the determination unit via the first communication line, a step of storing the captured image in its own memory, and a determination unit from the acquisition unit to the first communication line Determining a defect image that is an image of a region including a defective portion of the inspection object from among the captured images received via the image, and the determination unit receives image specifying information for specifying the defect image in the acquisition unit. A step of transmitting via the communication line, and a step of transmitting the defect image identified by the image identification information of the captured image stored in the memory to the storage unit via the second communication line. A method is also provided.
- the present invention is a method for supporting discovery of a defect in an inspection object, wherein the acquisition unit acquires a plurality of image fragments of a captured image obtained by the imaging unit imaging the inspection object from the imaging unit.
- a step in which the acquisition unit transmits a plurality of image fragments to the determination unit via the first communication line, a step in which the acquisition unit stores the plurality of image fragments in its own memory, and a determination unit A step of discriminating a defect image that is an image of a region including a defective portion of an inspection object among a plurality of image fragments received from the acquisition unit via the first communication line, and the discriminating unit stored in the memory
- Fragment specifying information for specifying an image fragment including a defective image among a plurality of image fragments, and area specifying information for specifying an area occupied by the defective image in the image fragment are sent to the acquisition unit via the first communication line.
- Sending step and acquisition unit A step of cutting out a region specified by region specifying information in an image fragment specified by fragment specifying information from a plurality of image fragments stored in a memory as a defect image, and an acquiring unit storing a cut-out defect image And transmitting to the method.
- the present invention it is possible to avoid a situation in which the bandwidth of a communication line connected to a unit that performs image processing for determining an image of a defective portion of an inspection object is insufficient.
- FIG. 1 is a diagram showing an example of the overall configuration of such a defect detection support system 100.
- the defect detection support system 100 includes a camera 10, a capture unit 20, an image processing unit 30, and a result storage unit 40.
- the camera 10 may be a high-performance area scan camera or line scan camera.
- the capture unit 20 and the result storage unit 40 can be realized by a server, for example.
- the image processing unit 30 can be realized by a blade server equipped with a multi-core CPU.
- the camera 10 is represented by one box.
- the inspection area of the LCD or the like it is preferable to provide a plurality of cameras 10 and each photograph a small area on the surface of the LCD or the like.
- the capture unit 20 and the image processing unit 30 are connected via a communication line 52, and the capture unit 20 and the result storage unit 40 are connected via a communication line 54.
- the communication line 52 and the communication line 54 are connected via Ethernet (registered trademark) using an Ethernet (registered trademark) switch, connected via InfiniBand using an IB switch, or PCIe using a PCIe bridge. It can be realized by connecting with.
- the communication line 52 is an example of a first communication line
- the communication line 54 is an example of a second communication line. The bandwidth of the second communication line is set wider than the bandwidth of the first communication line.
- the camera 10 captures the surface of the lighting display screen of the LCD. That is, when the LCD to be inspected flows on the manufacturing process line, a predetermined screen area on the LCD is photographed.
- the lighting display screen may include various test patterns for finding defects. Then, the image data obtained by photographing is sequentially sent to the capture unit 20.
- the capture unit 20 is an example of an acquisition unit that acquires an image, and includes a reception unit 21, a transmission queue 22, a transmission / reception unit 23, a buffer 24, an image extraction unit 25, and a transmission unit 26.
- the receiving unit 21 sequentially receives image data obtained by the camera 10 by photographing.
- the transmission queue 22 stores image data acquired by the reception unit 21 (hereinafter referred to as “capture image”) for transfer to the image processing unit 30.
- the captured image is an example of a captured image obtained by capturing an inspection target.
- the transmission / reception unit 23 transfers the captured image stored in the transmission queue 22 to the image processing unit 30, and information indicating the position where the defect is found in which captured image or the size of the defect (hereinafter, “Defect information”) is received from the image processing unit 30.
- the buffer 24 holds a certain amount of captured images even after transmitting the captured images to the image processing unit 30.
- the image extraction unit 25 Based on the defect information received by the transmission / reception unit 23, the image extraction unit 25 extracts image data (hereinafter referred to as “defect image”) of an area including a defective portion from the captured image held in the buffer 24.
- the transmission unit 26 transmits the defect image extracted by the image extraction unit 25 to the result storage unit 40.
- the image processing unit 30 is an example of a determination unit that determines a defect image, and includes a transmission / reception unit 31, a buffer 32, an image analysis unit 33, and a defect information generation unit 34.
- the transmission / reception unit 31 receives a capture image from the capture unit 20, and transmits a defect information to the capture unit 20 if a defect is found when a defect is not found in the capture image.
- the buffer 32 stores the captured image received from the capture unit 20 by the transmission / reception unit 31. This captured image is deleted when image processing including image analysis and defect information generation ends.
- the image analysis unit 33 performs image processing on the captured image stored in the buffer 32, and analyzes whether the captured image has a defect and, if there is a defect, the position and size (shape, area, etc.).
- the defect information generation unit 34 generates defect information when the image analysis unit 33 determines that the captured image is defective.
- the defect information is not the image data of the defective portion but includes information for specifying the defective portion, and is a data amount having a size smaller than the image data amount.
- the result storage unit 40 is an example of a storage unit that receives a defect image and stores the defect image received from the capture unit 20. That is, it is a file server having a magnetic disk device (HDD) for storing defective images.
- HDD magnetic disk device
- 2 to 5 are diagrams showing states in the schematic operation in time order. It should be noted that only the components necessary for explanation are shown in the capture unit 20 and the image processing unit 30 shown in FIG.
- FIG. 2 is a diagram schematically showing an operation when the capture unit 20 stores the image data obtained by photographing with the camera 10 in the transmission queue 22.
- the camera 10 takes an image of the LCD to be inspected and sequentially transmits image data to the capture unit 20 (1).
- the capture unit 20 stores the captured image received from the camera 10 in the transmission queue 22 (2).
- the capture image is given a “capture image ID” for uniquely identifying the capture image.
- the capture image with the capture image ID “N” is expressed as “capture image #N”.
- captured images # 1 to # 3 are stored in the transmission queue 22, and then captured images # 4 and # 5 are sent from the camera 10. Note that the shading in the captured image represents a defective portion. This portion will be recognized as a defect in later image analysis.
- FIG. 3 is a diagram schematically showing an operation when the capture unit 20 transfers the captured image to the image processing unit 30.
- the capture unit 20 transmits the captured image stored in the transmission queue 22 to the image processing unit 30 (3).
- the captured images # 1 to # 3 stored in the transmission queue 22 in FIG. 2 are being transmitted to the image processing unit 30.
- new captured images # 4 to # 8 are sent from the camera 10, and among them, the captured images # 4, # 5, and # 6 are stored in the transmission queue 22.
- the capture unit 20 moves the captured image transferred to the image processing unit 30 to the buffer 24 (4).
- the captured images # 1 to # 3 are shown after being transferred to the image processing unit 30, and the captured images # 1 to # 3 are moved to the buffer 24. That is, the capture unit 20 and the image processing unit 30 temporarily have the same captured image.
- FIG. 4 is a diagram schematically showing an operation when it is determined that there is no defect in the image processing in the image processing unit 30.
- the image processing unit 30 performs image processing on the captured image # 1 among the captured images sent in FIG. 3, and determines that there is no defect (5).
- the image processing unit 30 discards the captured image # 1 after the image processing (6).
- the image processing unit 30 notifies the capture unit 20 that there is no defect in the captured image # 1 (7).
- the capture unit 20 discards the captured image # 1 held in the buffer 24 (8).
- FIG. 5 is a diagram schematically showing an operation when it is determined that there is a defect in the image processing in the image processing unit 30.
- the image processing unit 30 performs image processing on the captured image # 3 among the captured images sent in FIG. 3 and finds that there is a defect (9).
- the image processing unit 30 discards the captured image # 3 after the image processing (10). That is, when there is a defect, the captured image is discarded as in the case where there is no defect.
- the image processing unit 30 notifies the defect information to the capture unit 20 (11).
- the defect information is not the defect image itself but data including information specifying the position and size of the defect image in the capture image. That is, the data amount is small compared to the data amount of the defect image.
- the capture unit 20 extracts a defect image from the captured image stored in the buffer 24 and transmits it to the result storage unit 40 (12). As a result, the result storage unit 40 stores the defect image (13). Finally, the capture unit 20 discards the captured image that has been processed, that is, the defective image has been extracted (14). In the figure, the captured image # 3 is discarded from the buffer 24.
- FIG. 6 is a diagram showing a specific example of defect information.
- the defect information is not image data itself but data having a smaller size than image data having the following information.
- defect information is used as an example of image specifying information for specifying a defect image.
- the defect information includes a capture image ID, the number of defect areas, and defect area information.
- the capture image ID is identification information for uniquely identifying the capture image as described above. This capture image ID is assigned to each capture image obtained by photographing the screen area obtained by dividing the LCD.
- captured image IDs such as # 5, # 6, # 7, and # 8 are assigned to the four captured images, respectively.
- capture image # 5 an example of capture image # 5 is shown.
- a captured image ID is used as an example of fragment specifying information for specifying an image fragment.
- the number of defective areas is the number of defective areas found in the captured image.
- a plurality of defects may be included in one captured image.
- a rectangular area including each defect is defined as a defect area.
- the defect area information is information for specifying the number of areas indicated by the number of defect areas, and specifically includes the following information.
- top-left which indicates the coordinates of the upper left corner of the defect area when the upper left corner point of the captured image is the origin.
- width which indicates the width of the defect area.
- height which indicates the height of the defect area.
- defect area information is provided as an example of area specifying information for specifying an area occupied by a defect image.
- the coordinates, width, and height are used as the area specifying information.
- any information may be used as long as the area can be specified.
- the coordinates of the upper left corner point and the lower right corner may be used. Point coordinates or the like may be used.
- the defect information may include information on the severity of the defect obtained by analyzing the density of the image of the defective portion and information on the size (area) of the defect.
- FIG. 7 is a flowchart showing an example of the operation of the capture unit 20 until a capture image is received from the camera 10 and transferred to the image processing unit 30.
- the receiving unit 21 receives a captured image from the camera 10 (step 201).
- the received captured image is stored in the transmission queue 22 (step 202).
- information indicating that the captured image is stored in the transmission queue 22 is notified from the reception unit 21 to the transmission / reception unit 23, and the transmission / reception unit 23 extracts the capture image from the transmission queue 22 and transmits the captured image to the image processing unit 30 (step).
- the transmission / reception unit 23 stores the transferred captured image in the buffer 24 (step 204).
- the transmission / reception unit 23 takes out the captured image and transfers it to the image processing unit 30.
- the transmission / reception unit 23 may extract the captured image and transfer it to the image processing unit 30 asynchronously with the capture image transmitted from the camera 10 being stored in the transmission queue 22.
- the transmission / reception unit 23 checks whether a capture image is stored in the transmission queue 22 at regular time intervals. If the capture image is stored, the capture image is taken out and transferred to the image processing unit 30. May be.
- FIG. 8 is a flowchart illustrating an operation example of the image processing unit 30 that has received the captured image.
- the transmission / reception unit 31 receives a captured image and stores it in the buffer 32 (step 301).
- the image analysis unit 33 analyzes the captured image stored in the buffer 32 (step 302). Specifically, the captured image is compared with a reference image showing a correct pattern of the LCD area corresponding to the captured image. For example, if the LCD area to be photographed by the camera 10 is determined, the identification information of the camera 10 is sent to the capture unit 20 together with the image data obtained by photographing.
- an LCD area corresponding to the captured image is specified based on the identification information of the camera 10, and a reference image indicating a correct pattern of this area may be read from a reference image storage unit (not shown).
- the image analysis unit 33 obtains the number of areas that differ in pattern from the corresponding area of the reference image among the small areas in the capture image, and the position and size of such areas.
- the image analysis unit 33 determines whether or not the number of defect areas is “0” (step 303). That is, it is determined whether or not the captured image has a defect. As a result, if it is determined that the number of defect areas is “0”, the image analysis unit 33 informs the transmission / reception unit 31 of the fact, and the transmission / reception unit 31 transmits the captured image ID and information indicating that there is no defect. The data is transmitted to the capture unit 20 (step 304). Then, the transmission / reception unit 31 deletes the capture image corresponding to the capture image ID from the buffer 32 (step 310).
- the image analysis unit 33 informs the defect information generation unit 34 of the captured image ID, the number of defect areas, the position, and the size, and the defect information generation unit 34. Generates defect information. That is, first, the defect information generation unit 34 sets the capture image ID as defect information (step 305). Next, the defect area number is set in the defect information (step 306). For one defect area, defect area information for specifying the position and size of the defect area is set in the defect information (step 307). Thereafter, it is determined whether there is another defective area (step 308). If there is another defective area, step 307 is repeated.
- the generated defect information is transferred to the transmission / reception unit 31, and the transmission / reception unit 31 transmits the defect information to the capture unit 20 (step 309). Then, the transmission / reception unit 31 deletes the capture image corresponding to the capture image ID from the buffer 32 (step 310).
- FIG. 9 is a flowchart illustrating an operation example of the capture unit 20 that has received information from the image processing unit 30.
- the transmission / reception unit 23 receives information (step 221).
- the transmission / reception unit 23 stores the captured image stored in the buffer 24.
- the captured image corresponding to the ID is deleted (step 229).
- the transmission / reception unit 23 transmits the defect information to the image extraction unit 25, and the image extraction unit 25 extracts the capture image ID from the defect information (step 223).
- the captured image corresponding to the captured image ID is read from the buffer 24 (step 224).
- the image extraction unit 25 extracts one piece of defect area information from the defect information (step 225).
- the image of the defect area specified by the defect area information that is, the defect image is cut out from the captured image (step 226).
- the cut out defect image is transferred from the image extraction unit 25 to the transmission unit 26, and the transmission unit 26 transmits the defect image to the result storage unit 40 (step 227).
- the image extraction unit 25 determines whether there is still defect area information (step 228). If there is still defect area information, the processes in steps 225 to 227 are repeated. If there is no more defective area information, a message to that effect is returned to the transmitting / receiving unit 23. Then, the transmitting / receiving unit 23 deletes the captured image corresponding to the captured image ID stored in the buffer 24 (step 229).
- the defect image is transmitted to the result storage unit 40 in step 227.
- the defect image cut out from the captured image in step 226 is held until it is determined in step 228 that there is no defect area information, and is transmitted to the result storage unit 40 after it is determined that there is no defect area information. You may make it do.
- defect information includes only defect area information.
- the captured image transferred to the image processing unit 30 and the captured image stored in the buffer 24 are linked by a method other than the captured image ID.
- one captured image is transferred to the image processing unit 30 and stored in the buffer 24.
- the captured image is deleted from both the image processing unit 30 and the buffer 24, and the next captured image is deleted.
- the capture unit 20 can cut out a defect image from one captured image stored in the buffer 24 based on the defect area information.
- a plurality of captured images are transferred to the image processing unit 30 and stored in the buffer 24.
- the capture unit 20 is notified of the captured image ID of the captured image including the defect image
- the captured image is stored in the buffer 24.
- the captured image having the notified captured image ID is selected from the captured images and transmitted to the result storage unit 40. That is, the entire captured image including the defective image is transmitted to the result storage unit 40 without cutting out the defective image from the captured image stored in the buffer 24. If the captured image is set to a small size, even if the entire captured image is transmitted, the communication load does not increase so much.
- the embodiments of the present invention have been described in detail above.
- the problems of the prior art are solved as follows. Since the image processing unit 30 does not transmit a defective image, the transfer bandwidth required for the image processing unit 30 can be small. On the other hand, although the transfer bandwidth required for the capture unit 20 is large, since a unit such as a server is used for the capture unit 20, the transfer bandwidth can be expanded more easily and cheaply than the image processing unit 30, It doesn't matter.
- the image processing unit 30 does not need to perform extra processing such as compression of a defective image, and the time that the image processing unit 30 can use for original image analysis is not affected.
- the process of extracting the defect image is also offloaded to the capture unit 20, the time that the image processing unit 30 can perform the original image analysis increases.
- the expansion of the memory and the disk can be performed easily and at a lower cost than the image processing unit 30. Accordingly, by providing the capture unit 20 with a large buffer, the amount of image processing in the entire system increases.
- the capture unit 20 is realized by a server, and the image processing unit 30 is realized by a blade server.
- the capture unit 20 may be realized by a general computer such as a PC (Personal Computer).
- the image processing unit 30 can also be realized by a general computer such as a PC incorporating a CAB (Cell Accelerator Board).
- FIG. 10 is a diagram showing an example of the hardware configuration of such a computer.
- the computer includes a CPU (Central Processing Unit) 90a which is a calculation means, a main memory 90c connected to the CPU 90a via an M / B (motherboard) chip set 90b, and an M / B chip set 90b. And a display mechanism 90d connected to the CPU 90a.
- a network interface 90f, a magnetic disk device (HDD) 90g, an audio mechanism 90h, a keyboard / mouse 90i, and a flexible disk drive 90j are connected to the M / B chip set 90b via a bridge circuit 90e. Has been.
- each component is connected via a bus.
- the CPU 90a and the M / B chip set 90b, and the M / B chip set 90b and the main memory 90c are connected via a CPU bus.
- the M / B chipset 90b and the display mechanism 90d may be connected via an AGP (Accelerated Graphics Graphics Port), but if the display mechanism 90d includes a PCI Express compatible video card, the M / B The chip set 90b and the video card are connected via a PCI-Express (PCIe) bus.
- PCI Express can be used for the network interface 90f.
- serial ATA ATttaAttachment
- parallel transfer ATA PCI (Peripheral Components Interconnect)
- USB Universal Serial Bus
- the present invention may be realized entirely by hardware or entirely by software. It can also be realized by both hardware and software.
- the present invention can be realized as a computer, a data processing system, and a computer program.
- This computer program may be stored and provided on a computer readable medium.
- the medium may be an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system (apparatus or equipment), or a propagation medium.
- Examples of computer readable media include semiconductors, solid state storage devices, magnetic tape, removable computer diskettes, random access memory (RAM), read only memory (ROM), rigid magnetic disks, and optical disks.
- the Current examples of optical disks include compact disk-read only memory (CD-ROM), compact disk-read / write (CD-R / W) and DVD.
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
ところで、昨今、LCD等における検査面積の巨大化、大量のデータを表示するためのLCD等の高精細化に伴い、光学画像と参照画像とを比較する画像処理に対するパフォーマンス要求が高くなっている。そこで、特許文献1において、光学画像と参照画像とを比較する比較回路を、光学画像を取得する光学画像ユニット装置とは別の高機能の専用ユニットとすることは考えられる。
しかしながら、画像処理に対するパフォーマンス要求は高機能の専用ユニットを使うことで解決されたとしても、欠陥と判定した画像をレビュー装置に出力する際に、データの転送量の巨大化に伴い、システム内でのデータ通信のためのバンド幅が不足するという問題は解決されない。ここで、バンド幅とは、伝送路容量のことで、転送可能なビットレートで表す。
また、転送データ量を小さくするために、欠陥と判定した画像を圧縮することも考えられる。ところが、この処理が、本来の画像処理のパフォーマンスを低下させてしまうという新たな問題が発生する。
また、取得部は、メモリに記憶した撮影画像から欠陥画像を切り出し、欠陥画像を保存部に送信する、ものであってよい。この場合、取得部は、画像特定情報として、メモリに記憶した撮影画像内の欠陥画像が占める領域を特定する領域特定情報を判別部から受信すると、撮影画像内の領域特定情報により特定される領域を欠陥画像として切り出す、ものであってよい。
また、取得部は、メモリに記憶した撮影画像が欠陥画像を含まない旨の情報を判別部から受信すると、撮影画像をメモリから削除する、ものであってよい。
また、撮影画像は、複数の画像断片を含み、取得部は、メモリに記憶した撮影画像に含まれる複数の画像断片のうちの特定の画像断片が欠陥画像を含まない旨の情報を判別部から受信すると、特定の画像断片をメモリから削除する、ものであってよい。
更に、第2の通信回線は、第1の通信回線よりもバンド幅が広い、ものであってよい。
まず、本実施の形態における欠陥発見支援システムについて説明する。尚、ここでは、検査対象物としてLCDを例にとり説明する。
図1は、このような欠陥発見支援システム100の全体構成例を示した図である。
図示するように、欠陥発見支援システム100は、カメラ10と、キャプチャユニット20と、画像処理ユニット30と、結果保存ユニット40とを含む。
また、キャプチャユニット20と画像処理ユニット30とは通信回線52を介して接続され、キャプチャユニット20と結果保存ユニット40とは通信回線54を介して接続されている。ここで、通信回線52や通信回線54による接続は、イーサネット(登録商標)スイッチを使ってイーサネット(登録商標)で接続したり、IBスイッチを使ってInfiniBandで接続したり、PCIeブリッジを使ってPCIeで接続したりすることで実現できる。この場合、通信回線52は、第1の通信回線の一例であり、通信回線54は、第2の通信回線の一例である。そして、第2の通信回線のバンド幅は、第1の通信回線のバンド幅よりも広く設定される。
カメラ10は、LCDの点灯表示画面表面を撮影する。即ち、検査対象のLCDが製造工程ライン上を流れてくると、LCD上の決められた画面領域を撮影する。ここで点灯表示画面は、欠陥を発見するための各種テストパターンを含むものとすることができる。そして、撮影で得られた画像データを順次、キャプチャユニット20に送り込む。
送信キュー22は、受信部21が取得した画像データ(以下、「キャプチャ画像」という)を画像処理ユニット30への転送のために格納する。尚、キャプチャ画像は、検査対象物を撮影することによって得られた撮影画像の一例である。
送受信部23は、送信キュー22に格納されたキャプチャ画像を画像処理ユニット30に転送し、どのキャプチャ画像のどの位置に欠陥が発見されたか、或いは、その欠陥の大きさを示す情報(以下、「欠陥情報」という)を画像処理ユニット30から受信する。
バッファ24は、キャプチャ画像を画像処理ユニット30に送信した後も、一定量のキャプチャ画像を保持する。
画像抽出部25は、送受信部23が受信した欠陥情報に基づいて、バッファ24に保持していたキャプチャ画像から欠陥部分を含む領域の画像データ(以下、「欠陥画像」という)を抽出する。
送信部26は、画像抽出部25が抽出した欠陥画像を結果保存ユニット40に送信する。
ここで、送受信部31は、キャプチャユニット20からキャプチャ画像を受信し、キャプチャ画像に欠陥が見つからなければその旨を、欠陥が見つかれば欠陥情報をキャプチャユニット20に送信する。
バッファ32は、送受信部31がキャプチャユニット20から受信したキャプチャ画像を格納する。このキャプチャ画像は、画像の解析及び欠陥情報の生成を含む画像処理が終了すると削除される。
画像解析部33は、バッファ32に格納されたキャプチャ画像を画像処理して、キャプチャ画像に欠陥があるかどうか、欠陥があればその位置及び大きさ(形状、面積等)を解析する。
欠陥情報生成部34は、画像解析部33によりキャプチャ画像に欠陥があると判断された場合に欠陥情報を生成する。尚、後で詳しく述べるが、欠陥情報は、欠陥部分の画像データではなく、欠陥部分を特定するための情報を含み、画像データ量よりも小さなサイズのデータ量である。
図2~図5は、概略動作における状態を時間順に示した図である。尚、図1に示したキャプチャユニット20、画像処理ユニット30内の構成要素については、説明に必要なもののみを示す。
まず、カメラ10は検査対象のLCDを撮影し、画像データを順次キャプチャユニット20に送信する(1)。
次に、キャプチャユニット20は、カメラ10から受信したキャプチャ画像を送信キュー22に格納する(2)。尚、キャプチャ画像には、キャプチャ画像を一意に識別するための「キャプチャ画像ID」が付与されており、以下、キャプチャ画像IDが「N」のキャプチャ画像を「キャプチャ画像#N」のように表記する。図では、先に、キャプチャ画像#1~#3が送信キュー22に格納され、その後、キャプチャ画像#4、#5がカメラ10から送られている。尚、キャプチャ画像中の網かけは欠陥部分を表す。この部分が後の画像解析で欠陥と認識されることになる。
まず、キャプチャユニット20は、送信キュー22に格納されたキャプチャ画像を画像処理ユニット30に送信する(3)。ここでは、図2で送信キュー22に格納されていたキャプチャ画像#1~#3が画像処理ユニット30に送信されている途中を示している。その後、カメラ10からは新たなキャプチャ画像#4~#8が送られ、そのうち、キャプチャ画像#4、#5、#6は送信キュー22に格納されている。
次に、キャプチャユニット20は、画像処理ユニット30に転送済みのキャプチャ画像をバッファ24に移動する(4)。ここでは、キャプチャ画像#1~#3が画像処理ユニット30に転送された後の状態を示し、キャプチャ画像#1~#3をバッファ24に移動している。
即ち、キャプチャユニット20と画像処理ユニット30とが、一時的に同じキャプチャ画像を持つことになる。
まず、画像処理ユニット30は、図3で送られたキャプチャ画像のうちキャプチャ画像#1を画像処理し、欠陥がないと判定する(5)。
次に、画像処理ユニット30は、画像処理後のキャプチャ画像#1を廃棄する(6)。 そして、画像処理ユニット30は、キャプチャ画像#1に欠陥がない旨をキャプチャユニット20に通知する(7)。
最後に、キャプチャユニット20は、バッファ24に保持していたキャプチャ画像#1を廃棄する(8)。
まず、画像処理ユニット30は、図3で送られたキャプチャ画像のうちキャプチャ画像#3を画像処理し、欠陥があることを発見する(9)。
次に、画像処理ユニット30は、画像処理後のキャプチャ画像#3を廃棄する(10)。即ち、欠陥がある場合も、欠陥がない場合と同様にキャプチャ画像は廃棄される。
そして、画像処理ユニット30は、欠陥情報をキャプチャユニット20に通知する(11)。ここで、欠陥情報は、欠陥画像そのものではなく、キャプチャ画像内での欠陥画像の位置や大きさを特定する情報を含むデータである。つまり、欠陥画像のデータ量に比べて、データ量も少ない。
すると、キャプチャユニット20は、バッファ24に格納されたキャプチャ画像から欠陥画像を抜き出して結果保存ユニット40に送信する(12)。
これにより、結果保存ユニット40は、欠陥画像を保存する(13)。
最後に、キャプチャユニット20は、処理済、つまり、欠陥画像を抜き出し終わったキャプチャ画像を廃棄する(14)。図では、バッファ24からキャプチャ画像#3が廃棄されている。
図6は、欠陥情報の具体例を示した図である。
欠陥情報は、前述の通り、画像データそのものでなく、以下のような情報を持つ画像データよりも小さなサイズのデータである。本実施の形態では、欠陥画像を特定する画像特定情報の一例として、欠陥情報を用いている。
図示するように、欠陥情報は、キャプチャ画像IDと、欠陥エリア数と、欠陥エリア情報とを含む。
キャプチャ画像IDは、既に述べた通り、キャプチャ画像を一意に識別するための識別情報である。このキャプチャ画像IDは、LCDを分割した画面領域を撮影して得られたキャプチャ画像ごとに付与される。例えば、LCDの画面を4分割して4つのキャプチャ画像を得た場合であれば、4つのキャプチャ画像にそれぞれ、#5、#6、#7、#8といったキャプチャ画像IDが付与される。尚、ここでは、キャプチャ画像#5の例を示している。本実施の形態では、画像断片を特定する断片特定情報の一例として、キャプチャ画像IDを用いている。
欠陥エリア数は、キャプチャ画像内で発見された欠陥エリアの個数である。1つのキャプチャ画像に複数の欠陥が含まれることもあり、そのような場合は、各欠陥を含む矩形の領域を欠陥エリアとする。尚、ここでは、キャプチャ画像#5内に3つの欠陥エリアが発見された場合の例を示している。
欠陥エリア情報は、欠陥エリア数で示された個数分のエリアを特定する情報であり、具体的には、以下の情報を含む。まず、top-leftであり、これはキャプチャ画像の左上隅の点を原点とした場合の欠陥エリアの左上隅の座標を示す。また、widthであり、これは欠陥エリアの幅を示す。更に、heightであり、これは欠陥エリアの高さを示す。尚、ここでは、欠陥エリア数が「3」なので、3個分の欠陥エリア情報を含んでいる。本実施の形態では、欠陥画像が占める領域を特定する領域特定情報の一例として、欠陥エリア情報を設けている。尚、ここでは、領域特定情報として、座標、幅、高さを用いたが、領域を特定できる情報であれば、如何なる情報を用いてもよく、例えば、左上隅の点の座標と右下隅の点の座標等を用いてもよい。
また、この欠陥情報には、欠陥部分の画像の濃度を解析することで得た欠陥の重度の情報や、欠陥のサイズ(面積)の情報を含めてもよい。
図7は、カメラ10からキャプチャ画像を受信して画像処理ユニット30に転送するまでのキャプチャユニット20の動作例を示したフローチャートである。
キャプチャユニット20では、まず、受信部21がカメラ10からキャプチャ画像を受信する(ステップ201)。そして、受信したキャプチャ画像を送信キュー22に格納する(ステップ202)。
すると、キャプチャ画像が送信キュー22に格納された旨の情報が受信部21から送受信部23へ通知され、送受信部23が、送信キュー22からキャプチャ画像を取り出して画像処理ユニット30に送信する(ステップ203)。また、送受信部23は、転送済みのキャプチャ画像をバッファ24に格納する(ステップ204)。
画像処理ユニット30では、まず、送受信部31がキャプチャ画像を受信し、バッファ32に格納する(ステップ301)。
次に、画像解析部33が、バッファ32に格納されたキャプチャ画像を解析する(ステップ302)。具体的には、キャプチャ画像と、そのキャプチャ画像に対応するLCDの領域の正しいパターンを示す参照画像とを比較する。例えば、カメラ10で撮影するLCDの領域が決まっている場合であれば、撮影で得た画像データと共にカメラ10の識別情報もキャプチャユニット20に送っておく。そして、カメラ10の識別情報に基づいてキャプチャ画像に対応するLCDの領域を特定し、この領域の正しいパターンを示す参照画像を参照画像記憶部(図示せず)から読み出せばよい。これにより、画像解析部33は、キャプチャ画像内の小さなエリアのうち、参照画像の対応するエリアとパターンが異なっているエリアの数と、そのようなエリアの位置及び大きさとを求める。
その結果、欠陥エリアの数が「0」であると判定されれば、画像解析部33は、その旨を送受信部31に伝え、送受信部31がキャプチャ画像IDと欠陥がない旨の情報とをキャプチャユニット20に送信する(ステップ304)。そして、送受信部31は、バッファ32からこのキャプチャ画像IDに対応するキャプチャ画像を削除する(ステップ310)。
一方、欠陥エリアの数が「0」でないと判定されれば、画像解析部33は、キャプチャ画像ID、欠陥エリアの数、位置、大きさを欠陥情報生成部34に伝え、欠陥情報生成部34が欠陥情報を生成する。即ち、まず、欠陥情報生成部34は、キャプチャ画像IDを欠陥情報にセットする(ステップ305)。次に、欠陥エリア数を欠陥情報にセットする(ステップ306)。そして、1つの欠陥エリアについて、欠陥エリアの位置及び大きさを特定する欠陥エリア情報を欠陥情報にセットする(ステップ307)。その後、他に欠陥エリアがあるかどうかを判定する(ステップ308)。そして、他に欠陥エリアがあれば、ステップ307を繰り返す。また、他に欠陥エリアがなければ、生成した欠陥情報を送受信部31に受け渡し、送受信部31が欠陥情報をキャプチャユニット20に送信する(ステップ309)。そして、送受信部31は、バッファ32からこのキャプチャ画像IDに対応するキャプチャ画像を削除する(ステップ310)。
キャプチャユニット20では、まず、送受信部23が情報を受信する(ステップ221)。
次に、その情報が欠陥情報であるかどうかを判定する(ステップ222)。
その結果、欠陥情報でないと判定されれば、つまり、キャプチャ画像IDとキャプチャ画像に欠陥がなかった旨の情報であると判定されれば、送受信部23は、バッファ24に格納されたそのキャプチャ画像IDに対応するキャプチャ画像を削除する(ステップ229)。
一方、欠陥情報であると判定されれば、送受信部23は、欠陥情報を画像抽出部25に伝え、画像抽出部25が、欠陥情報からキャプチャ画像IDを取り出す(ステップ223)。そして、キャプチャ画像IDに対応するキャプチャ画像をバッファ24から読み出す(ステップ224)。次に、画像抽出部25は、欠陥情報から1つの欠陥エリア情報を取り出す(ステップ225)。そして、欠陥エリア情報によって特定される欠陥エリアの画像、つまり、欠陥画像をキャプチャ画像から切り出す(ステップ226)。すると、この切り出された欠陥画像は画像抽出部25から送信部26に渡され、送信部26が、欠陥画像を結果保存ユニット40に送信する(ステップ227)。その後、画像抽出部25は、欠陥エリア情報がまだあるかどうかを判定する(ステップ228)。そして、欠陥エリア情報がまだあれば、ステップ225~227の処理を繰り返す。また、欠陥エリア情報がもうなければ、その旨を送受信部23に返す。そして、送受信部23が、バッファ24に格納されたそのキャプチャ画像IDに対応するキャプチャ画像を削除する(ステップ229)。
例えば、欠陥情報に欠陥エリア情報のみを含める場合を考える。この場合は、画像処理ユニット30に転送されたキャプチャ画像と、バッファ24に格納されたキャプチャ画像とが、キャプチャ画像ID以外の方法で紐付けされていることが前提となる。例えば、1つのキャプチャ画像を画像処理ユニット30に転送してバッファ24に格納し、キャプチャ画像の処理が終わるとそのキャプチャ画像を画像処理ユニット30からもバッファ24からも削除して次のキャプチャ画像の処理に移るといった場合である。この場合は、画像処理ユニット30から欠陥エリア情報を伝えることにより、キャプチャユニット20は、バッファ24に格納された1つのキャプチャ画像から欠陥エリア情報に基づいて欠陥画像を切り出すことができる。
本実施の形態では、このような動作を行うことにより、従来技術の問題点が次のように解決される。
・画像処理ユニット30が欠陥画像を送信することがなくなるので、画像処理ユニット30に必要な転送バンド幅は小さなものですむようになる。一方で、キャプチャユニット20に必要な転送バンド幅は大きくなるが、キャプチャユニット20にはサーバのようなユニットが使われるため、転送バンド幅の拡張は画像処理ユニット30よりも容易かつ安価に行え、問題とはならない。
・画像処理ユニット30において欠陥画像の圧縮のような余分な処理を行わなくてよくなり、画像処理ユニット30が本来の画像解析に使える時間に影響を与えることがなくなる。
・欠陥画像を抜き出す処理もキャプチャユニット20にオフロードされるため、画像処理ユニット30が本来の画像解析にかけることのできる時間が増加する。
・キャプチャユニット20では、メモリやディスクの拡張が画像処理ユニット30よりも容易かつ安価に行える。従って、キャプチャユニット20に大きなバッファを持たせることにより、システム全体での画像処理量が増大する。
また、画像処理ユニット30も、CAB(Cell Accelerator Board)を組み込んだPC等、一般のコンピュータで実現することができる。
図10は、このようなコンピュータのハードウェア構成の一例を示した図である。図示するように、コンピュータは、演算手段であるCPU(Central Processing Unit)90aと、M/B(マザーボード)チップセット90bを介してCPU90aに接続されたメインメモリ90cと、同じくM/Bチップセット90bを介してCPU90aに接続された表示機構90dとを備える。また、M/Bチップセット90bには、ブリッジ回路90eを介して、ネットワークインターフェイス90fと、磁気ディスク装置(HDD)90gと、音声機構90hと、キーボード/マウス90iと、フレキシブルディスクドライブ90jとが接続されている。
Claims (12)
- 検査対象物の欠陥の発見を支援するシステムであって、
前記検査対象物を撮影することによって得られた撮影画像を取得する取得部と、
前記取得部に第1の通信回線で接続され、当該取得部により取得された前記撮影画像のうち、前記検査対象物の欠陥部分を含む領域の画像である欠陥画像を判別する判別部と、 前記取得部に第2の通信回線で接続され、前記判別部により判別された前記欠陥画像を保存する保存部と
を含み、
前記取得部は、前記撮影画像を前記判別部に前記第1の通信回線を介して送信し、かつ、当該撮影画像を自身のメモリに記憶し、前記欠陥画像を特定する画像特定情報を当該判別部から当該第1の通信回線を介して受信すると、当該メモリに記憶した当該撮影画像のうちの当該画像特定情報により特定される当該欠陥画像を前記保存部に前記第2の通信回線を介して送信する、システム。 - 前記画像特定情報は、前記撮影画像の識別番号、前記欠陥部分の個数、及び、前記欠陥部分の座標と領域とからなる欠陥エリア情報を含むグループのうち、少なくとも1つを含む、請求項1のシステム。
- 前記取得部は、前記メモリに記憶した前記撮影画像から前記欠陥画像を切り出し、当該欠陥画像を前記保存部に送信する、請求項1のシステム。
- 前記取得部は、前記画像特定情報として、前記メモリに記憶した前記撮影画像内の前記欠陥画像が占める領域を特定する領域特定情報を前記判別部から受信すると、当該撮影画像内の当該領域特定情報により特定される領域を当該欠陥画像として切り出す、請求項3のシステム。
- 前記取得部は、前記メモリに記憶した前記撮影画像が前記欠陥画像を含まない旨の情報を前記判別部から受信すると、当該撮影画像を当該メモリから削除する、請求項1のシステム。
- 前記撮影画像は、複数の画像断片を含み、
前記取得部は、前記メモリに記憶した前記撮影画像に含まれる複数の画像断片のうちの前記欠陥画像を含む画像断片を前記保存部に送信する、請求項1のシステム。 - 前記取得部は、前記画像特定情報として、前記メモリに記憶した前記撮影画像に含まれる複数の画像断片のうちの前記欠陥画像を含む画像断片を特定する断片特定情報を前記判別部から受信すると、当該複数の画像断片のうちの当該断片特定情報により特定される画像断片を前記保存部に送信する、請求項6のシステム。
- 前記撮影画像は、複数の画像断片を含み、
前記取得部は、前記メモリに記憶した前記撮影画像に含まれる複数の画像断片のうちの特定の画像断片が前記欠陥画像を含まない旨の情報を前記判別部から受信すると、当該特定の画像断片を当該メモリから削除する、請求項1のシステム。 - 前記判別部は、判別した前記欠陥画像を前記取得部に送信することなく削除する、請求項1のシステム。
- 前記第2の通信回線は、前記第1の通信回線よりもバンド幅が広い、請求項1のシステム。
- 検査対象物の欠陥の発見を支援する方法であって、
取得部が、撮像部が前記検査対象物を撮像することによって得た撮影画像を当該撮像部から取得するステップと、
前記取得部が、前記撮影画像を判別部に第1の通信回線を介して送信するステップと、 前記取得部が、前記撮影画像を自身のメモリに記憶するステップと、
前記判別部が、前記取得部から前記第1の通信回線を介して受信した前記撮影画像のうち、前記検査対象物の欠陥部分を含む領域の画像である欠陥画像を判別するステップと、 前記判別部が、前記欠陥画像を特定する画像特定情報を前記取得部に前記第1の通信回線を介して送信するステップと、
前記取得部が、前記メモリに記憶した前記撮影画像のうちの前記画像特定情報により特定される前記欠陥画像を保存部に第2の通信回線を介して送信するステップと
を含む、方法。 - 検査対象物の欠陥の発見を支援する方法であって、
取得部が、撮像部が前記検査対象物を撮像することによって得た撮影画像の複数の画像断片を当該撮像部から取得するステップと、
前記取得部が、前記複数の画像断片を判別部に第1の通信回線を介して送信するステップと、
前記取得部が、前記複数の画像断片を自身のメモリに記憶するステップと、
前記判別部が、前記取得部から前記第1の通信回線を介して受信した前記複数の画像断片のうち、前記検査対象物の欠陥部分を含む領域の画像である欠陥画像を判別するステップと、
前記判別部が、前記メモリに記憶した前記複数の画像断片のうちの前記欠陥画像を含む画像断片を特定する断片特定情報と、当該画像断片内の前記欠陥画像が占める領域を特定する領域特定情報とを、前記取得部に前記第1の通信回線を介して送信するステップと、 前記取得部が、前記メモリに記憶した前記複数の画像断片のうちの前記断片特定情報により特定される画像断片内の前記領域特定情報により特定される領域を前記欠陥画像として切り出すステップと、
前記取得部が、切り出した前記欠陥画像を保存部に送信するステップと
を含む、方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200980134528.5A CN102144155B (zh) | 2008-09-18 | 2009-08-03 | 支援发现检查对象物的缺陷的***及方法 |
JP2010529690A JP5480149B2 (ja) | 2008-09-18 | 2009-08-03 | 検査対象物の欠陥の発見を支援するシステム及び方法 |
EP09814407.4A EP2312301A4 (en) | 2008-09-18 | 2009-08-03 | SYSTEM AND METHOD FOR SUPPORTING THE COLLECTION OF DEFECTS IN AN OBJECT TO BE TESTED |
US13/020,227 US8630476B2 (en) | 2008-09-18 | 2011-02-03 | System and method for supporting discovery of defect included in inspection subject |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008-239073 | 2008-09-18 | ||
JP2008239073 | 2008-09-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010032562A1 true WO2010032562A1 (ja) | 2010-03-25 |
Family
ID=42039404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/063730 WO2010032562A1 (ja) | 2008-09-18 | 2009-08-03 | 検査対象物の欠陥の発見を支援するシステム及び方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8630476B2 (ja) |
EP (1) | EP2312301A4 (ja) |
JP (1) | JP5480149B2 (ja) |
KR (1) | KR20110067020A (ja) |
CN (1) | CN102144155B (ja) |
TW (1) | TW201024715A (ja) |
WO (1) | WO2010032562A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2472841A1 (en) * | 2010-12-28 | 2012-07-04 | Konica Minolta Business Technologies, Inc. | Image scanning system, scanned image processing apparatus, computer readable storage programs for their executions, image scanning method, and scanned image processing method |
US8630476B2 (en) | 2008-09-18 | 2014-01-14 | International Business Machines Corporation | System and method for supporting discovery of defect included in inspection subject |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9196031B2 (en) * | 2012-01-17 | 2015-11-24 | SCREEN Holdings Co., Ltd. | Appearance inspection apparatus and method |
JP2017111092A (ja) * | 2015-12-18 | 2017-06-22 | 株式会社フジクラ | 光学素子および光学装置、光学素子および光学装置の検査装置、並びに光学素子および光学装置の検査方法 |
WO2017130550A1 (ja) * | 2016-01-29 | 2017-08-03 | 富士フイルム株式会社 | 欠陥検査装置、方法およびプログラム |
CN107290345B (zh) * | 2017-05-16 | 2021-02-12 | 武汉精测电子集团股份有限公司 | 一种基于aoi的显示面板缺陷分类方法及装置 |
JP7051244B2 (ja) * | 2019-04-19 | 2022-04-11 | Ckd株式会社 | メンテナンス支援システム |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11258178A (ja) * | 1998-03-13 | 1999-09-24 | Omron Corp | 検査装置および方法 |
JP2000028547A (ja) * | 1998-07-09 | 2000-01-28 | Nkk Corp | 鋼板の表面欠陥検査装置 |
JP2000197035A (ja) * | 1998-12-28 | 2000-07-14 | Dainippon Printing Co Ltd | 画像検査方法及び装置 |
JP2000356512A (ja) * | 1999-06-14 | 2000-12-26 | Hitachi Ltd | 外観検査システムおよび外観検査方法 |
WO2002023480A1 (fr) * | 2000-09-18 | 2002-03-21 | Olympus Optical Co., Ltd. | Systeme et procede de gestion de fichiers de donnees d'image |
US6721391B2 (en) * | 2001-04-03 | 2004-04-13 | L-3 Communications Security And Detection Systems | Remote baggage screening system, software and method |
JP2004226328A (ja) * | 2003-01-24 | 2004-08-12 | Hitachi Ltd | 外観検査システムおよびそれらを用いた品質評価システムおよび品質評価情報提供システム |
JP2005303269A (ja) * | 2004-03-15 | 2005-10-27 | Omron Corp | 部品実装基板用の検査方法および検査システム、部品実装基板の製造方法 |
JP2006171816A (ja) * | 2004-12-10 | 2006-06-29 | Sony Corp | 画像処理装置 |
JP2006322774A (ja) * | 2005-05-18 | 2006-11-30 | Meinan Mach Works Inc | 木材の節探査方法及び装置及びプログラム |
JP2007085995A (ja) | 2005-09-26 | 2007-04-05 | Advanced Mask Inspection Technology Kk | インデックス情報作成装置、試料検査装置、レビュー装置、インデックス情報作成方法及びプログラム |
JP2008065555A (ja) * | 2006-09-06 | 2008-03-21 | Hitachi High-Technologies Corp | 画像処理装置の機能診断方法及び機能診断システム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5506676A (en) | 1994-10-25 | 1996-04-09 | Pixel Systems, Inc. | Defect detection using fourier optics and a spatial separator for simultaneous optical computing of separated fourier transform components |
AU1553601A (en) * | 1999-11-29 | 2001-06-12 | Olympus Optical Co., Ltd. | Defect inspecting system |
US6898305B2 (en) * | 2001-02-22 | 2005-05-24 | Hitachi, Ltd. | Circuit pattern inspection method and apparatus |
JP3904419B2 (ja) * | 2001-09-13 | 2007-04-11 | 株式会社日立製作所 | 検査装置および検査システム |
US7508973B2 (en) * | 2003-03-28 | 2009-03-24 | Hitachi High-Technologies Corporation | Method of inspecting defects |
JP2005158780A (ja) * | 2003-11-20 | 2005-06-16 | Hitachi Ltd | パターン欠陥検査方法及びその装置 |
CN100508695C (zh) * | 2004-03-15 | 2009-07-01 | 欧姆龙株式会社 | 零部件安装基板制造方法、该基板用检查方法和检查*** |
JP4518835B2 (ja) * | 2004-05-13 | 2010-08-04 | 大日本スクリーン製造株式会社 | 欠陥検出装置、配線領域抽出装置、欠陥検出方法および配線領域抽出方法 |
JP2005351631A (ja) * | 2004-06-08 | 2005-12-22 | Dainippon Screen Mfg Co Ltd | 欠陥検出装置および欠陥検出方法 |
JP2008026212A (ja) * | 2006-07-24 | 2008-02-07 | Ushio Inc | パターン検査装置 |
JP5480149B2 (ja) | 2008-09-18 | 2014-04-23 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 検査対象物の欠陥の発見を支援するシステム及び方法 |
-
2009
- 2009-08-03 JP JP2010529690A patent/JP5480149B2/ja active Active
- 2009-08-03 KR KR1020117006289A patent/KR20110067020A/ko not_active Application Discontinuation
- 2009-08-03 CN CN200980134528.5A patent/CN102144155B/zh active Active
- 2009-08-03 EP EP09814407.4A patent/EP2312301A4/en not_active Withdrawn
- 2009-08-03 WO PCT/JP2009/063730 patent/WO2010032562A1/ja active Application Filing
- 2009-09-07 TW TW098130107A patent/TW201024715A/zh unknown
-
2011
- 2011-02-03 US US13/020,227 patent/US8630476B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11258178A (ja) * | 1998-03-13 | 1999-09-24 | Omron Corp | 検査装置および方法 |
JP2000028547A (ja) * | 1998-07-09 | 2000-01-28 | Nkk Corp | 鋼板の表面欠陥検査装置 |
JP2000197035A (ja) * | 1998-12-28 | 2000-07-14 | Dainippon Printing Co Ltd | 画像検査方法及び装置 |
JP2000356512A (ja) * | 1999-06-14 | 2000-12-26 | Hitachi Ltd | 外観検査システムおよび外観検査方法 |
WO2002023480A1 (fr) * | 2000-09-18 | 2002-03-21 | Olympus Optical Co., Ltd. | Systeme et procede de gestion de fichiers de donnees d'image |
US6721391B2 (en) * | 2001-04-03 | 2004-04-13 | L-3 Communications Security And Detection Systems | Remote baggage screening system, software and method |
JP2004226328A (ja) * | 2003-01-24 | 2004-08-12 | Hitachi Ltd | 外観検査システムおよびそれらを用いた品質評価システムおよび品質評価情報提供システム |
JP2005303269A (ja) * | 2004-03-15 | 2005-10-27 | Omron Corp | 部品実装基板用の検査方法および検査システム、部品実装基板の製造方法 |
JP2006171816A (ja) * | 2004-12-10 | 2006-06-29 | Sony Corp | 画像処理装置 |
JP2006322774A (ja) * | 2005-05-18 | 2006-11-30 | Meinan Mach Works Inc | 木材の節探査方法及び装置及びプログラム |
JP2007085995A (ja) | 2005-09-26 | 2007-04-05 | Advanced Mask Inspection Technology Kk | インデックス情報作成装置、試料検査装置、レビュー装置、インデックス情報作成方法及びプログラム |
JP2008065555A (ja) * | 2006-09-06 | 2008-03-21 | Hitachi High-Technologies Corp | 画像処理装置の機能診断方法及び機能診断システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP2312301A4 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8630476B2 (en) | 2008-09-18 | 2014-01-14 | International Business Machines Corporation | System and method for supporting discovery of defect included in inspection subject |
EP2472841A1 (en) * | 2010-12-28 | 2012-07-04 | Konica Minolta Business Technologies, Inc. | Image scanning system, scanned image processing apparatus, computer readable storage programs for their executions, image scanning method, and scanned image processing method |
CN102572192A (zh) * | 2010-12-28 | 2012-07-11 | 柯尼卡美能达商用科技株式会社 | 图像读入***及方法、读入图像处理装置及方法、记录介质 |
Also Published As
Publication number | Publication date |
---|---|
TW201024715A (en) | 2010-07-01 |
CN102144155B (zh) | 2014-06-18 |
KR20110067020A (ko) | 2011-06-20 |
JP5480149B2 (ja) | 2014-04-23 |
EP2312301A4 (en) | 2015-10-28 |
EP2312301A1 (en) | 2011-04-20 |
US20110123094A1 (en) | 2011-05-26 |
JPWO2010032562A1 (ja) | 2012-02-09 |
US8630476B2 (en) | 2014-01-14 |
CN102144155A (zh) | 2011-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5480149B2 (ja) | 検査対象物の欠陥の発見を支援するシステム及び方法 | |
US8175373B2 (en) | Use of design information and defect image information in defect classification | |
JP2021501330A (ja) | Cpu+gpu+fpgaアーキテクチャに基づく自動光学検査システム | |
US8947517B2 (en) | Microscope control device, image management server, image processing method, program, and image management system | |
JP5010207B2 (ja) | パターン検査装置及び半導体検査システム | |
US20100076699A1 (en) | Wafer defect detection system and method | |
JP2012073994A (ja) | 画像処理装置および方法 | |
JP4774193B2 (ja) | 検査システムセットアップ技術 | |
JP6041865B2 (ja) | ハイブリッドレチクル検査のための方法及びシステム | |
JP5111055B2 (ja) | 画像処理装置及び画像処理方法、コンピュータプログラム | |
JP2022002376A (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2021245982A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN114257805A (zh) | 一种影像采集测试的方法、***及介质 | |
JP2009273005A (ja) | 部品実装基板の外観検査用画像の保存方法および復元方法、ならびに画像保存処理装置 | |
CN115237703B (zh) | 一种基板管理控制芯片调试方法、装置、设备及可读介质 | |
JP2013206323A (ja) | 帳票画像管理システム、帳票画像管理方法、及びプログラム | |
Andrushchak et al. | Development and implementation of image processing technique for laser-based 3D scanner | |
CN116647686B (zh) | 一种图像压缩方法、装置、服务器及图像压缩*** | |
CN112911186B (zh) | 图像存储方法及装置、电子设备、存储介质 | |
CN116012607B (zh) | 图像弱纹理特征提取方法及装置、设备、存储介质 | |
CN114881999A (zh) | 基于少量数据的绝缘子缺陷样本生成方法、***、设备和计算机可读存储介质 | |
CN118233623A (zh) | 基于监控画面的高速情报板故障检测方法、装置、介质、终端及*** | |
CN112631733A (zh) | 数据采集方法及装置 | |
CN114860970A (zh) | 图片标注方法、装置、电子设备以及存储介质 | |
CN111598053A (zh) | 图像数据的处理方法及其装置、介质和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 200980134528.5 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09814407 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2010529690 Country of ref document: JP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2009814407 Country of ref document: EP |
|
ENP | Entry into the national phase |
Ref document number: 20117006289 Country of ref document: KR Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |