WO2021010390A1 - 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体 - Google Patents

自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体 Download PDF

Info

Publication number
WO2021010390A1
WO2021010390A1 PCT/JP2020/027347 JP2020027347W WO2021010390A1 WO 2021010390 A1 WO2021010390 A1 WO 2021010390A1 JP 2020027347 W JP2020027347 W JP 2020027347W WO 2021010390 A1 WO2021010390 A1 WO 2021010390A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
discrimination
overdetection
unit
automatic discrimination
Prior art date
Application number
PCT/JP2020/027347
Other languages
English (en)
French (fr)
Inventor
敏秀 金
Original Assignee
Ｊｅインターナショナル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｊｅインターナショナル株式会社 filed Critical Ｊｅインターナショナル株式会社
Priority to US17/619,607 priority Critical patent/US20220351361A1/en
Priority to KR1020217036291A priority patent/KR20210148326A/ko
Priority to CN202080043726.7A priority patent/CN113994377A/zh
Publication of WO2021010390A1 publication Critical patent/WO2021010390A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Definitions

  • the present invention relates to an automatic discrimination processing device, an automatic discrimination processing method, an inspection system, a program, and a recording medium.
  • Optical inspection using a camera is generally used for inspection of printed circuit boards in which a copper foil wiring pattern is formed on a resin film.
  • a method in which a computer performs image processing for comparing an captured image of an inspection object with a reference image to detect a defect is widely used.
  • over-detection false news
  • the over-detection verification device displays an image with a defect reported as a result of image processing by the computer on the screen of the computer.
  • the worker person visually confirmed the image displayed on the screen and determined whether the report was true or false.
  • the worker inputs the discrimination result into the over-detection verification device or the like by using an input device such as a keyboard or a mouse. Making it possible to reduce the work performed by such workers leads to more efficient inspection.
  • the present invention has been made based on the above recognition of problems.
  • the present invention provides an automatic discrimination processing device, an automatic discrimination processing method, an inspection system, a program, which can streamline the work of visually discriminating a displayed image and minimize modifications to conventional equipment. And intends to provide a recording medium.
  • the automatic discrimination processing device of the embodiment includes an image acquisition unit, an automatic discrimination unit, and a discrimination result output unit.
  • the overdetection verification device displays the defect candidate image on the display device and acquires the determination result of the secondary inspection for the defect candidate image via the input device.
  • the image acquisition unit reads the defect candidate image displayed by the overdetection verification device from the medium for display on the display device.
  • the automatic discrimination unit performs discrimination processing based on the content of the defective candidate image read by the image acquisition unit and outputs the discrimination result.
  • the discrimination result output unit generates a signal according to the discrimination result.
  • the signal is equivalent to pressing either the "bad" button or the "good” button included in the screen displayed by the overdetection verification device via the input device connected to the overdetection verification device. Signal.
  • the automatic discrimination unit holds a model that has been machine-learned about the relationship between the defect candidate image and the discrimination result, and the discrimination process may be performed by applying the model to the image.
  • the overdetection verification device may display and output the defect candidate image detected by optically reading the electronic circuit.
  • the automatic discrimination unit may perform a process of discriminating whether the electronic circuit is good or bad based on the defect candidate image, and output the discrimination result.
  • the input device may be at least one of a mouse and a keyboard.
  • the discrimination result output unit raises a mouse event to move the mouse cursor into the area of either the "bad” button or the "good” button. Generates a signal to move and then click the mouse.
  • the determination result output unit causes a keyboard event to move the focus to either the "bad” button or the "good” button. Generate a signal for the decision operation.
  • the automatic discrimination processing device may further include a scenario execution unit.
  • the scenario execution unit executes a scenario in which a processing procedure is described.
  • the scenario execution unit functions as the image acquisition unit and the discrimination result output unit.
  • a computer is a signal corresponding to the discrimination result, and is included in a screen displayed by the overdetection verification device via an input device connected to the overdetection verification device. Generates a signal equivalent to pressing either the "good” button or the "good” button.
  • the program causes the computer to execute the above-mentioned automatic discrimination processing method.
  • the computer-readable recording medium is the one on which the above program is recorded.
  • the inspection system is configured to include an optical inspection device, an overdetection verification device, and an automatic discrimination processing device.
  • the optical inspection device detects a defective candidate image as a primary inspection based on an image taken optically.
  • the overdetection verification device displays the defect candidate image detected by the optical inspection device on the display device, and acquires information on the discrimination result of the defect candidate image via the input device as a secondary inspection.
  • the automatic discrimination processing device is any of the above-mentioned automatic discrimination processing devices described as a solution.
  • the present invention it is possible to automate the discrimination of the image displayed on the display device by the external device and the response based on the discrimination result.
  • FIG. 1 is a block diagram showing a functional configuration of an inspection system according to the first embodiment.
  • the inspection system 3 includes an automatic discrimination processing device 1, an overdetection verification device 2, and an optical inspection device 9.
  • the automatic discrimination processing device 1 includes a scenario editing unit 12, a scenario storage unit 13, a scenario execution unit 14, and an automatic discrimination unit 15.
  • the inspection system 3 includes an image memory 21 and an instruction device 22 as a part of a function for input / output.
  • the functions of each of these parts are realized by using, for example, an electronic circuit.
  • at least a part of the functions of each of these parts may be realized by a computer and a program.
  • the over-detection verification device 2 is an "external device" when viewed from the automatic discrimination processing device 1 side.
  • the outline of the functions included in the inspection system 3 is as follows.
  • the automatic discrimination processing device 1 operates as follows by using the RPA method. That is, the automatic discrimination processing device 1 captures an image of a defect candidate image displayed on the display by the overdetection verification device 2. Further, the automatic discrimination processing device 1 discriminates the defect candidate image by using the technique of artificial intelligence, that is, by using the machine learning model that has been trained. The discrimination result is good or bad (true bad). When the discrimination result is good, the automatic discrimination processing device 1 automatically generates a mouse or keyboard event to indicate that the defective candidate image is actually "good" (overdetection). The signal is returned to the overdetection verification device 2 side.
  • the optical inspection device 9 has a camera inside.
  • the optical inspection device 9 photographs a circuit board or the like using the camera, and detects a candidate for a defective portion of the circuit or the like based on the image as a primary inspection.
  • the optical inspection device 9 outputs an image (defective candidate image, NG image) of the inspection target product (circuit board or the like) including the detected defective portion.
  • the optical inspection device 9 passes the defective candidate image to the overdetection verification device 2.
  • the defect candidate image output by the optical inspection device 9 may be a grayscale image or a color image. Further, the optical inspection device 9 itself can be realized by using an existing technique.
  • the circuit board is, for example, a resin plate in which wiring is formed by a metal thin film.
  • the area where the metal wiring exists is called a wiring area
  • the other area is called a space area.
  • Examples of defects in such circuit boards are as follows. First, there is a defect in which one wiring area to be connected is separated by a spatial area into two or more wiring areas, and this defect is called "open”. Secondly, there is a defect that two wiring regions that should be separated by a spatial region are electrically connected to each other, and this defect is called a "short circuit".
  • the automatic discrimination processing device 1 automatically performs the determination (secondary inspection) on behalf of the above-mentioned worker. Therefore, the automatic discrimination processing device 1 acquires a defect candidate image (determination target image) displayed on the display device by the overdetection verification device 2 from the image memory 21. The automatic discrimination processing device 1 automatically discriminates whether the acquired image is good or bad, and outputs the discrimination result. Further, the automatic discrimination processing device 1 transmits a signal (a signal according to the above discrimination result) equivalent to the input from the input device (keyboard, mouse, etc.) originally performed by the operator via the instruction device 22. And pass it to the overdetection verification device 2.
  • the automatic discrimination processing device 1 has a scenario editing unit 12, a scenario storage unit 13, a scenario execution unit 14, and an automatic discrimination unit 15.
  • the automatic discrimination processing device 1 executes a process corresponding to the secondary inspection by executing the scenario stored in the scenario storage unit 13.
  • the scenario editing unit 12 edits a scenario for execution by the automatic discrimination processing device 1.
  • the scenario is described using the language for describing the scenario.
  • the language for describing the scenario may be a language represented as a string of characters, or a graphic language represented by combining figures.
  • the scenario editorial unit 12 has a user interface. The user can edit the scenario through the user interface (for example, by using the character data editor function or the like).
  • the scenario editing unit 12 writes the scenario, which is the editing result, into the scenario storage unit 13.
  • the scenario storage unit 13 stores the scenario. Scenarios are stored as appropriate in the form of text data or binary data.
  • the scenario storage unit 13 is realized by using, for example, a semiconductor memory, a magnetic disk device, or the like.
  • the scenario stored in the scenario storage unit 13 can be referred to by the scenario editing unit 12 and the scenario execution unit 14.
  • the scenario can be edited by the scenario editorial unit 12.
  • the scenario can be executed by the scenario execution unit 14.
  • the scenario execution unit 14 reads a scenario from the scenario storage unit 13 and executes the scenario.
  • the scenario execution unit 14 executes the scenario by an appropriate method such as an interpreter method or a compiler method.
  • the scenario execution unit 14 in the present embodiment can read image data from the image memory 21 and pass the image (discrimination target image) to the automatic discrimination unit 15. Further, the scenario execution unit 14 can receive the discrimination result from the automatic discrimination unit 15 and pass a signal based on the discrimination result to the instruction device 22.
  • the automatic discrimination unit 15 performs discrimination processing on the image (the image to be discriminated about the product) received from the scenario execution unit 14, and returns the discrimination result to the scenario execution unit 14.
  • the automatic discrimination unit 15 receives a defective candidate image of the product from the scenario execution unit 14 as a discrimination target image. Then, the automatic determination unit 15 determines whether the product included in the image is a true defect (true report) or not a defect (false report). That is, the automatic discrimination unit 15 executes the automatic discrimination process.
  • the automatic discrimination application 101 is a program having a function of discriminating between good and bad based on an image of a given product (electronic circuit, etc.).
  • the automatic discrimination application 101 has a function corresponding to the automatic discrimination processing device 1 in FIG.
  • the automatic discrimination application 101 realizes so-called RPA (Robotic Process Automation).
  • the automatic determination application 101 is also referred to as an "RPA Judgment Application”.
  • the overdetection verification application 102 is a program having a function of displaying a defect candidate image of a product (electronic circuit, etc.) obtained as a result of the primary inspection on a screen and accepting an input of the secondary inspection result (good or defective). is there.
  • the overdetection verification application 102 has a function for re-determining an image determined to be defective in the primary inspection by the optical inspection device 9 (FIG. 1).
  • the overdetection verification application 102 has a function corresponding to the overdetection verification device 2 in FIG.
  • the over-detection verification application 102 is also called "Verification Application".
  • the display output unit 121, the mouse event processing unit 122, and the keyboard event processing unit 123 each appropriately handle the input / output events of the computer. These programs belonging to the event handling layer are for controlling various input / output devices connected to the computer.
  • the display output unit 121 converts the image output from the program into an image signal that can be displayed on the display device and outputs it.
  • the display output unit 121 has and manages the image memory 21 shown in FIG. 1 inside. That is, in the present embodiment, the display output unit 121 has a function of enabling the automatic determination application 101 to acquire an image to be displayed on the display device by the overdetection verification application 102.
  • the keyboard event processing unit 123 receives a keyboard signal, which is a device for inputting characters and the like, generates a keyboard event based on the signal, and passes it to the program.
  • a keyboard event is an event that corresponds to a particular keyboard being pressed.
  • the keyboard event processing unit 123 receives an instruction for substituting the signal from the keyboard from the automatic determination application 101, generates a keyboard event based on the instruction, and sets the operating system 141 as needed. The event is passed to the overdetection verification application 102 via.
  • the defective candidate image is false news (that is, overdetected), in other words, if the state of the product corresponding to the defective candidate image is "good", the mouse event processing unit 122 or the keyboard event processing unit 123 Etc. generate an event (mouse operation or keyboard operation) corresponding to the discrimination result. As a result, it is transmitted to the overdetection verification device 2 side that the defective candidate image was a false report.
  • the defective candidate image is a true report (that is, it indicates that it is a true defect)
  • the state of the product corresponding to the defective candidate image is "defective"
  • a mouse event The processing unit 122, the keyboard event processing unit 123, and the like generate an event (mouse operation or keyboard operation) corresponding to the determination result. As a result, it is transmitted to the overdetection verification device 2 side that the defective candidate image was the true report.
  • step S1 the automatic discrimination processing device 1 determines whether or not the end condition is true.
  • step S1: YES the processing of the entire flowchart is terminated. If the end condition is not true (step S1: NO), the process proceeds to the next step S2.
  • the end condition is, for example, that there is no next image to be determined (end of images). The presence or absence of the next determination target image is appropriately notified to the scenario execution unit 14. Alternatively, other termination conditions (for example, the operator may instruct the termination of processing) may be added.
  • step S2 the scenario execution unit 14 executes the procedure until the discrimination target image is displayed.
  • This procedure may include, for example, a process of instructing the instruction device 22 to process an operation related to a mouse, a keyboard, or the like.
  • the overdetection verification device 2 performs a process for displaying the image to be discriminated on the display device.
  • step S3 when it is detected that the image to be discriminated is displayed on the display device, the scenario execution unit 14 captures the screen of the display device. Specifically, the scenario execution unit 14 acquires image data of the entire screen from the image memory 21. In order to detect that the image to be discriminated is displayed on the display device, for example, the scenario execution unit 14 determines whether or not a specific image is displayed in a predetermined area on the screen.
  • step S4 the scenario execution unit 14 extracts an area of the image to be discriminated from the image captured in step S3. For example, if the position of the region of the image to be discriminated on the captured screen (for example, the X and Y coordinates of the points in the upper left corner and the lower right corner of the rectangular region) is known, the scenario execution unit 14 , The image to be discriminated is cut using the coordinate values.
  • step S5 the scenario execution unit 14 passes the discrimination target image extracted in step S4 to the automatic discrimination unit 15.
  • the automatic determination unit 15 determines whether the passed image (defective candidate image) is a true report (defective) or a false report (good).
  • step S6 the scenario execution unit 14 acquires the determination result from the automatic determination unit 15.
  • the determination result is either true news (bad) or false news (good).
  • step S7 the scenario execution unit 14 performs a predetermined process according to the determination result received in step S6. Specifically, the scenario execution unit 14 sends an instruction to the instruction device 22 to generate and output a mouse event message or a keyboard event message according to the determination result. As a result, the instruction device 22 executes a process equivalent to performing an action corresponding to the determination result on the overdetection verification device 2.
  • the processing example of the instruction device 22 is as follows.
  • the determination result is true report (defective)
  • the instruction device 22 moves the mouse cursor to the area where the "true report (defective)" button is displayed on the screen of the overdetection verification device 2.
  • a message for clicking the left mouse button is sent to the overdetection verification device 2.
  • the determination result is false report (good)
  • the instruction device 22 moves the mouse cursor to the area where the "true report (bad)” button is displayed on the screen of the overdetection verification device 2.
  • a message for clicking the left mouse button is sent to the overdetection verification device 2.
  • the buttons in the present embodiment include the buttons in the form displayed on the display screen.
  • FIG. 4 is a schematic diagram showing an example of a scenario executed by the scenario execution unit 14.
  • the scenario shown in the figure is described in a predetermined language.
  • This scenario is sequentially interpreted and executed by, for example, the interpreter function provided in the scenario execution unit 14.
  • this scenario may be translated and executed by the compiler into a sequence of other forms of directive.
  • This scenario corresponds to the processing procedure of the flowchart shown in FIG. Line numbers are added to this scenario for convenience.
  • this scenario will be described.
  • the first line of the scenario is the will clause.
  • the condition is "not end_of_images”.
  • End_of_images is a variable having a value indicating the situation, and indicates that the image to be discriminated has ended and does not exist (end condition).
  • "not” is a negative logical operator. That is, this will clause is the part surrounded by the left curly brace (left curly brace) on the first line and the right curly brace (right curly brace) on the seventh line as long as the image to be discriminated remains. Indicates that the scenario should be executed.
  • the second to sixth lines of the scenario are a sequence of processes that are sequentially executed in a state where the conditions of the above clause are true.
  • the second line shows the process of executing the get_next_image_for_version () function.
  • This function corresponds to the process of step S2 in FIG.
  • the overdetection verification device 2 displays the next image (defective candidate image) to be determined on the screen.
  • the data of the next defective candidate image is stored in the predetermined area of the image memory 21.
  • the fifth line shows the process of executing the automated_verification () function.
  • This function corresponds to the processing of steps S5 to S6 in FIG. What is passed as an argument of this function is the data of the image to be discriminated stored in the above variable image_for_version. That is, the automatic discrimination processing device 1 executes the discrimination processing for the discrimination target image and acquires the discrimination result by executing this function.
  • the scenario execution unit 14 passes the discrimination target image to the automatic discrimination unit 15, and receives the discrimination result as the result as the return value of the above function.
  • the return value of the automated_verification () function is assigned to the variable result.
  • the value of result represents either "good” or "bad".
  • the 6th line represents the process of executing the input_process () function.
  • This function corresponds to the process of step S7 in FIG. What is passed as an argument of this function is the value of the above variable result.
  • the processing of the input_process () function generates an appropriate mouse event or keyboard event according to the discrimination result (good or bad) passed as an argument.
  • the automatic discrimination processing device 1 can correctly convey the information of the discrimination result to the overdetection verification device 2.
  • a touch panel, a pen tab, or a voice input method may be used.
  • voice input the device performs voice recognition processing.
  • the processing of the input_process () function generates an event similar to the above mouse event and keyboard event.
  • the automatic discrimination processing device 1 can pass a signal equivalent to pressing the "bad” button or the "good” button to the instruction device 22.
  • the automatic discrimination processing device 1 may move the mouse cursor to somewhere in the area of the "bad” button by generating a mouse event, and then "left-click” the mouse at that position. it can.
  • the overdetection verification device 2 receives the same information as when the "defective" button is pressed.
  • the automatic discrimination processing device 1 may move the mouse cursor to somewhere in the area of the "good” button by generating a mouse event, and then "left-click” the mouse at that position. it can. In this case, the overdetection verification device 2 receives the same information as when the “good” button is pressed.
  • the automatic discrimination processing device 1 moves the focus to the "bad” button by generating a keyboard event instead of the mouse event (for example, the "tab” key or the like is used), and then determines. (For example, the "enter” key or the like is used). In this case, the overdetection verification device 2 receives the same information as when the "defective" button is pressed. Further, the automatic discrimination processing device 1 moves the focus to the "good” button by generating an event on the keyboard (for example, the "tab” key is used as in the above case), and then the determination operation is performed. (As in the case above, for example, the "Enter” key is used). In this case, the overdetection verification device 2 receives the same information as when the “good” button is pressed.
  • the relationship between the discrimination result output from the automatic discrimination unit 15 and the event (event related to the mouse, keyboard, etc.) output from the scenario execution unit can be appropriately defined and set. It has become. Therefore, the signal (event signal) output by the automatic discrimination processing device 1 can be changed only by changing the setting of the relationship between the discrimination result and the event as needed.
  • FIG. 6 is a block diagram showing an outline of the functional configuration of the scenario execution unit 14 when a specific scenario is executed by the scenario execution unit 14.
  • the scenario execution unit 14 functions as an image acquisition unit 147 and a discrimination result output unit 148.
  • the image acquisition unit 147 reads the image displayed on the display device by the overdetection verification device 2 from the image memory 21 which is a medium for displaying on the display device. That is, the image acquisition unit 147 executes the image acquisition process.
  • the discrimination result output unit 148 receives the discrimination result from the automatic discrimination unit 15 and generates a signal according to the discrimination result.
  • the signal is a signal (event) equivalent to the case where information is input via an input device (mouse, keyboard, touch panel, etc.) connected to the overdetection verification device 2. That is, the discrimination result output unit 148 executes the discrimination result output process. As described above, in the scenario stored in the scenario storage unit 13, the scenario execution unit 14 functions as the image acquisition unit 147 and the discrimination result output unit 148.
  • the automatic discrimination unit 15 performs discrimination processing based on the content of the image (discrimination target image) read by the image acquisition unit 147, and the discrimination result (product or the like corresponding to the discrimination target image is "good” or "bad”. Is it?) Is output.
  • the input device may be at least one of a mouse and a keyboard.
  • the automatic discrimination unit 15 performs a process of discriminating whether the electronic circuit is good or bad based on the defect candidate image, and outputs the discrimination result.
  • FIG. 7 is a block diagram showing the functional configuration of the inspection system according to the present embodiment.
  • the inspection system 4 includes an automatic discrimination processing device 5, an overdetection verification device 2, and an optical inspection device 9.
  • the automatic discrimination processing device 5 includes an automatic discrimination unit 15, an image acquisition unit 247, and a discrimination result output unit 248.
  • the automatic discrimination processing device 5 according to the present embodiment does not have a function for editing a scenario, a function for storing a scenario, or a function for executing a scenario.
  • the image acquisition unit 247 and the discrimination result output unit 248 are not realized by the scenario, but are realized as their respective dedicated functions.
  • the image acquisition unit 247 and the discrimination result output unit 248 may be realized by using a dedicated electronic circuit or the like, or may be realized by using a computer and a program.
  • the image acquisition unit 247 reads the image displayed on the display device by the overdetection verification device 2 from the image memory 21 which is a medium for displaying on the display device.
  • the discrimination result output unit 248 receives the discrimination result from the automatic discrimination unit 15 and generates a signal corresponding to the discrimination result.
  • the signal is a signal (event) equivalent to the case where information is input via an input device (mouse, keyboard, touch panel, etc.) connected to the overdetection verification device 2.
  • the inspection system 4 includes an image memory 21 and an instruction device 22 as a part of the functions for input / output, as in the case of the first embodiment.
  • FIG. 8 is a block diagram showing an example of the internal configuration of the automatic discrimination processing device, the overdetection verification device, the optical inspection device, the instruction device, and the like in the first embodiment and the second embodiment.
  • the computer includes a central processing unit 901, a RAM 902, an input / output port 903, input / output devices 904 and 905, and a bus 906.
  • the computer itself can be realized using existing technology.
  • the central processing unit 901 executes the instructions included in the program read from the RAM 902 or the like.
  • the central processing unit 901 writes data to the RAM 902, reads data from the RAM 902, and performs arithmetic operations and logical operations according to each instruction.
  • the RAM 902 stores data and programs.
  • the input / output port 903 is a port for the central processing unit 901 to exchange data with an external input / output device or the like.
  • the input / output devices 904 and 905 are input / output devices.
  • the input / output devices 904 and 905 exchange data with the central processing unit 901 via the input / output ports 903.
  • Bus 906 is a common communication path used inside the computer. For example, the central processing unit 901 reads and writes data in the RAM 902 via the bus 906. Further, for example, the central processing unit 901 accesses the input / output port via the bus 906.
  • At least some functions of the automatic discrimination processing device, the overdetection verification device, the optical inspection device, the instruction device, and the like in each of the above-described embodiments can be realized by a computer program.
  • a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by a computer system and executed.
  • the term "computer system” as used herein includes hardware such as an OS and peripheral devices.
  • the "computer-readable recording medium” is a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, a DVD-ROM, or a USB memory, or a storage device such as a hard disk built in a computer system. Say that.
  • a "computer-readable recording medium” is a device that temporarily and dynamically holds a program, such as a communication line when a program is transmitted via a network such as the Internet or a communication line such as a telephone line.
  • a program such as a communication line when a program is transmitted via a network such as the Internet or a communication line such as a telephone line.
  • it may include a program that holds a program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or a client.
  • the above-mentioned program may be for realizing a part of the above-mentioned functions, and may be further realized by combining the above-mentioned functions with a program already recorded in the computer system.
  • the discrimination work conventionally performed by a human can be replaced by an automatic process by a computer or the like.
  • the operation cost of the inspection can be reduced.
  • the criteria for judgment can be set to a certain level, which is effective in terms of quality control.
  • the automatic discrimination processing device acquires the image displayed on the display device by the overdetection verification device 2, and overdetects and verifies the discrimination result via the input device connected to the overdetection verification device 2 in a pseudo manner. Pass to.
  • the automatic discrimination processing device acquires the image displayed on the display device by the overdetection verification device 2, and overdetects and verifies the discrimination result via the input device connected to the overdetection verification device 2 in a pseudo manner. Pass to.
  • the present invention can be used, for example, in an inspection system using an optical photographing means.
  • the scope of use of the present invention is not limited to those exemplified here.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

自動判別処理装置（１）は、画像取得部（１４，１４７，２４７）と、自動判別部（１５）と、判別結果出力部（１４，１４８，２４８）とを備える。過検出検証装置（２）は、不良候補画像をディスプレイ装置に表示させる。過検出検証装置（２）は、入力デバイスを介して前記不良候補画像についての２次検査の判別結果の情報を取得する。画像取得部（１４，１４７，２４７）は、過検出検証装置（２）が表示する前記不良候補画像を、前記ディスプレイ装置への表示のための媒体から読み取る。自動判別部（１５）は、前記画像取得部（１４，１４７，２４７）が読み取った前記不良候補画像の内容に基づく判別処理を行って判別結果を出力する。判別結果出力部（１４，１４８，２４８）は、前記判別結果に応じた信号を生成させる。その信号は、前記過検出検証装置（２）に接続される入力デバイスを介して前記過検出検証装置（２）が表示する画面に含まれる「不良」のボタンあるいは「良」のボタンのいずれかを押下するのと等価な信号である。

Description

自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体
　本発明は、自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体に関する。
　本願は、２０１９年７月１８日に、日本に出願された特願２０１９－１３２７２５号に基づき優先権を主張し、その内容をここに援用する。
　樹脂製のフィルムに銅箔の配線パターンが形成されたプリント基板などの検査には、一般的に、カメラを用いた光学式検査が用いられる。光学式検査では、コンピューターが、検査対象物の撮像画像を参照画像と比較する画像処理を行って、欠陥を検出する方法が広く用いられている。しかしながら、上記の方法では、本来欠陥でない部分を誤って欠陥と認識する可能性がある。これは、過検出（虚報）と呼ばれるものである。したがって、コンピューターによる画像処理結果を、作業者が再チェックしなければならないという問題がある。
　特許文献１には、上記の過検出を減らすために、欠陥を検出のための基準を調整する技術が記載されている。具体的には、特許文献１の段落０００６には、「虚報および見逃しの少なくとも一方の発生を抑制して、欠陥の検出精度を向上させることのできる、検査方法」等を提供することが記載されている。
特許第６２１８０９４号公報
　コンピューターによる画像処理の結果として報告された欠陥が、真の欠陥（真報）であるか、偽の欠陥（虚報（過検出））であるかを、効率よく判別できるようにすることが望ましい。
　従来の技術では、過検出検証装置（あるいは過検出検証プログラム）は、コンピューターによる画像処理の結果として報告された欠陥を有する画像を、コンピューターの画面上に表示していた。また、作業者（人）が、画面に表示された画像を目視して確認し、真報であるか虚報であるかを判別していた。そして、作業者が、キーボードやマウスなどといった入力デバイスを用いて、判別結果を過検出検証装置等に入力していた。このような作業者による作業を削減できるようにすることが、検査の効率化につながる。
　検査を効率化するにあたって、従来のシステム（過検出検証装置等）に加える改変をできるだけ少なくすることが、検査設備への投資効率の向上につながる。
　本発明は、上記の課題認識に基づいて行なわれたものである。本発明は、表示された画像を目視して判別する作業を効率化するとともに、従来の設備への改変をできる限り少なく済ませることのできる自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体を提供しようとするものである。
　実施形態の自動判別処理装置は、画像取得部と、自動判別部と、判別結果出力部とを備える。過検出検証装置は、不良候補画像をディスプレイ装置に表示させるとともに入力デバイスを介して前記不良候補画像についての２次検査の判別結果を取得する。画像取得部は、前記過検出検証装置が表示する前記不良候補画像を、前記ディスプレイ装置への表示のための媒体から読み取る。自動判別部は、前記画像取得部が読み取った前記不良候補画像の内容に基づく判別処理を行って判別結果を出力する。判別結果出力部は、前記判別結果に応じた信号を生成させる。その信号は、前記過検出検証装置に接続される入力デバイスを介して前記過検出検証装置が表示する画面に含まれる「不良」のボタンあるいは「良」のボタンのいずれかを押下するのと等価な信号である。
　前記自動判別部は、前記不良候補画像と前記判別結果との関係について機械学習済のモデルを保持しており、前記モデルを前記画像に適用することによって前記判別処理を行ってもよい。
　前記過検出検証装置は、電子回路を光学的に読み取ることによって検出された前記不良候補画像を表示出力するものであってよい。前記自動判別部は、前記不良候補画像に基づき前記電子回路が良または不良のいずれであるかを判別する処理を行って前記判別結果を出力してもよい。
　前記入力デバイスは、マウスまたはキーボードの少なくともいずれかであってよい。前記入力デバイスがマウスである場合には、前記判別結果出力部は、マウスのイベントを発生させることにより、前記「不良」のボタンまたは前記「良」のボタンのいずれかの領域内にマウスカーソルを移動させてからマウスをクリックさせる信号を生成させる。前記入力デバイスがキーボードである場合には、前記判別結果出力部は、キーボードのイベントを発生させることにより、フォーカスを前記「不良」のボタンまたは前記「良」のボタンのいずれかに移動させてから決定の操作の信号を生成させる。
　前記自動判別処理装置は、さらにシナリオ実行部を備えてもよい。前記シナリオ実行部は、処理手順が記述されたシナリオを実行する。前記シナリオは、前記シナリオ実行部を、前記画像取得部と前記判別結果出力部として機能させるものである。
　前記シナリオ実行部は、前記シナリオを実行することにより、さらに、前記過検出検証装置が前記ディスプレイ装置に前記画像を表示させるために必要な処理手順を遂行してもよい。
　自動判別処理方法は、画像取得過程と、自動判別過程と、判別結果出力過程とを含む。過検出検証装置は、不良候補画像をディスプレイ装置に表示させるとともに２次検査として入力デバイスを介して前記不良候補画像についての判別結果の情報を取得する。画像取得過程では、例えばコンピューターが、前記過検出検証装置が表示する前記不良候補画像を前記ディスプレイ装置への表示のための媒体から読み取る。自動判別過程では、例えばコンピューターが、前記画像取得過程で読み取った前記不良候補画像の内容に基づく判別処理を行って判別結果を出力する。判別結果出力過程では、例えばコンピューターが、前記判別結果に応じた信号であって、前記過検出検証装置に接続される入力デバイスを介して前記過検出検証装置が表示する画面に含まれる「不良」のボタンあるいは「良」のボタンのいずれかを押下するのと等価な信号を生成させる。
　プログラムは、コンピューターに、上記自動判別処理方法を実行させるものである。コンピューター読み取り可能な記録媒体は、上記プログラムを記録したものである。
　検査システムは、光学検査装置と、過検出検証装置と、自動判別処理装置とを含むように構成される。前記光学検査装置は、光学的に撮影した画像に基づいて、１次検査として、不良候補画像を検出する。前記過検出検証装置は、前記光学検査装置が検出した前記不良候補画像をディスプレイ装置に表示させるとともに、２次検査として、入力デバイスを介して前記不良候補画像についての判別結果の情報を取得する。前記自動判別処理装置は、解決手段として記載した上記のいずれかの自動判別処理装置である。
　本発明によれば、外部装置がディスプレイ装置に表示する画像についての判別と、判別結果に基づく応答とを、自動化することができる。
第１実施形態による検査システムの機能構成を示すブロック図である。 コンピューターを用いて第１実施形態による検査システムを実現する場合の、プログラムの構成を示す概略図である。 第１実施形態による自動判別処理装置が、所定のシナリオに基づいて動作するときの処理手順を示すフローチャートである。 第１実施形態による自動判別処理装置の、図３の処理手順に対応するシナリオを表すテキストデータの一例を示す概略図である。 第１実施形態による過検出検証装置が表示する画面（ユーザーインターフェース）の例を示す概略図である。 第１実施形態によるシナリオ実行部において特定のシナリオを実行させた場合の、シナリオ実行部の機能構成の概略を示すブロック図である。 第２実施形態による検査システムの機能構成を示すブロック図である。 第１実施形態や第２実施形態における自動判別処理装置や、過検出検証装置や、光学検査装置や、指示装置等の内部構成の例を示すブロック図である。
　次に、本発明の実施形態について説明する。
［第１実施形態］
　図１は、第１実施形態による検査システムの機能構成を示すブロック図である。
　図示するように、検査システム３は、自動判別処理装置１と、過検出検証装置２と、光学検査装置９とを含む。自動判別処理装置１は、シナリオ編集部１２と、シナリオ記憶部１３と、シナリオ実行部１４と、自動判別部１５とを含む。検査システム３は、入出力のための機能の一部として、画像メモリー２１と、指示装置２２とを含む。これら各部の機能は、例えば、電子回路を用いて実現される。なお、これら各部の少なくとも一部の機能を、コンピューターおよびプログラムで実現するようにしてもよい。過検出検証装置２は、自動判別処理装置１側から見た場合の「外部装置」である。検査システム３に含まれる機能の概略は、次の通りである。
　検査システム３は、ロボティックプロセスオートメーション（ＲＰＡ）方式を利用して、従来は人が判断していたプロセスを自動化して構成されるシステムである。具体的には、検査システム３は、従来は人による操作および判断を必要としていた過検出検証装置２を、人が介さずに稼働できるようにする。そのための方法として、自動判別処理装置１は、過検出検証装置２が画面に出力する不良候補画像をキャプチャーする。自動判別処理装置１は、人工知能の技術を用いて、自動的に、その不良候補画像が良（good）か不良（no good）かの判別（２次検査）を行う。自動判別処理装置１は、判別結果を自動的に過検出検証装置２に入力する。
　これにより、自動判別処理装置１は、画像に基づき自動的に判別処理を行う。したがって、検査システム３を用いる場合、光学検査装置９から１次検査の結果として出力される不良候補画像を、一つ一つ人の目で見て判定する必要がない。自動判別処理装置１は、判別結果に基づき、マウスやキーボード等をエミュレートする信号を自動的に過検出検証装置２に供給する。したがって、人が、マウスやキーボードを用いて判別結果を入力する必要がない。また、このように自動判別処理装置１を構成することにより、２次検査を行うために人の判断や人の操作を必要としない。
　つまり、自動判別処理装置１は、ＲＰＡ方式を利用して、次のように動作する。即ち、自動判別処理装置１は、過検出検証装置２によってディスプレイに表示される不良候補画像のイメージをキャプチャーする。また、自動判別処理装置１は、人工知能の技術を用いて、つまり学習処理済みの機械学習モデルを用いて、上記不良候補画像を判別する。判別結果は、良または不良（真に不良）である。判別結果が良である場合、自動判別処理装置１は、マウスまたはキーボードのイベントを自動的に発生させることによって、不良候補画像が実際には「良」である（過検出である）ことを示す信号を、過検出検証装置２側に返すようにする。判別結果が不良である場合、自動判別処理装置１は、マウスまたはキーボードのイベントを自動的に発生させることによって、不良候補画像が真に「不良」である（過検出ではなかった）ことを示す信号を、過検出検証装置２側に返すようにする。上記のように、自動判別処理装置１と過検出検証装置２との間のインターフェースは、ディスプレイ装置や、マウスまたはキーボード等を介するものである。つまり、既存の過検出検証装置２を改変することなく（例えば、そのプログラムを修正したりすることなく）、２次検査の自動化を実現することができる。
　光学検査装置９は、内部にカメラを有している。光学検査装置９は、そのカメラを用いて回路基板等を撮影し、１次検査として、その画像に基づいて回路等の不良箇所の候補を検出する。光学検査装置９は、検出された不良箇所を含む検査対象製品（回路基板等）に関して、その画像（不良候補画像、ＮＧイメージ）を出力する。光学検査装置９は、不良候補画像を、過検出検証装置２に渡す。なお、光学検査装置９が出力する不良候補画像は、グレースケール画像であってもよいし、カラー画像であってもよい。また、光学検査装置９自体は、既存の技術を用いて実現可能である。
　回路基板は、例えば、樹脂の板上に金属薄膜による配線を形成したものである。なお、回路基板上で、金属による配線が存在する領域を配線領域と呼び、その他の領域（金属による配線が存在しない領域）を空間領域と呼ぶ。そういった回路基板における不良の例には、次のようなものがある。第１に、接続されているべき１つの配線領域が空間領域によって２つまたはそれ以上の配線領域に隔てられた不良があり、この不良は「オープン」と呼ばれる。第２に、空間領域によって隔てられているべき２つの配線領域が互いに電気的に接続状態となる不良があり、この不良は「ショート」と呼ばれる。第３に線状の配線領域の長手方向と直交する方向の幅が所定の許容範囲以上に欠けている不良があり、この不良は「欠け」と呼ばれる。第４に、線状の配線領域の長手方向と直交する方向の幅が所定の許容範囲以上に広がっている不良があり、この不良は「突起」と呼ばれる。第５に、本来は空間領域であるべき領域の一部分にアイランド状上に配線が存在してしまっている不良があり、この不良は「アイランド」と呼ばれる。第６に、本来は配線領域であるべき領域として広がっている箇所の一部分にピンホール状に空間が存在してしまっている不良があり、この不良は「ピンホール」と呼ばれる。なお、ここに列挙した種類以外の不良もあり得る。これらの不良のいずれかを含む可能性がある回路基板は、１次検査として、光学検査装置９によってピックアップされる。
　過検出検証装置２は、光学検査装置９から出力される不良候補画像が、真に不良製品を撮影した画像（真報）であるか、不良ではない製品を撮影した画像（虚報、過検出）であるかを判定する（２次検査）ための装置である。この判定のため、本来、過検出検証装置２は、上記の不良候補画像をコンピューターのディスプレイ装置に表示させるための処理を行う。また、本来の過検出検証装置２は、ディスプレイ装置に表示された不良候補画像を見た人（作業者）の判定結果を、入力デバイス（例えば、キーボードやマウス等）から取得する。そして、過検出検証装置２は、入力された判定結果（良または不良）に基づいて、元の製品を区別する処理を行う。過検出検証装置２自体は、既存の技術を用いて実現可能である。
　本実施形態では、自動判別処理装置１が、上記の作業者に代わって、自動的に、判定（２次検査）を行う。そのために、自動判別処理装置１は、過検出検証装置２がディスプレイ装置に表示した不良候補画像（判定対象画像）を、画像メモリー２１から取得する。自動判別処理装置１は、取得した画像について、良または不良の判別を自動的に行い、判別結果を出力する。また、自動判別処理装置１は、本来は作業者が行っていた入力デバイス（キーボードやマウス等）からの入力と等価な信号（上記の判別結果に応じた信号）を、指示装置２２を経由して、過検出検証装置２に渡す。
　画像メモリー２１は、過検出検証装置２がディスプレイ装置に表示させる画像を少なくとも一時的に保持するメモリーである。画像メモリー２１は、例えば、半導体メモリー（読み書き可能なＲＡＭ（ランダムアクセスメモリー）等）を用いて実現される。画像メモリー２１は、通常、コンピューターのディスプレイ装置のドライバーによって管理されるメモリーである。本実施形態では、自動判別処理装置１が、画像メモリー２１にアクセスし、画像メモリー２１が保持する画像を取得できるように構成されている。
　指示装置２２は、例えば、マウスやキーボードなといった入力デバイスからの信号に基づき、その信号内容に対応する情報を過検出検証装置２側に渡す機能を有するものである。指示装置２２は、通常、マウスやキーボードなどといった入力デバイスのドライバーとして実現される。本実施形態では、自動判別処理装置１が、マウスやキーボードを仮想的に操作し、それらの操作に対応した信号を指示装置２２に供給するように構成されている。
　なお、ここでは、例としてキーボードやマウスを用いて指示を行う場合の説明をしたが、他のデバイスを用いて過検出検証装置２への情報の入力を行えるようにしてもよい。例えば、キーボードやマウスの他に、タッチパネルや、タッチペンや、音声や、光学パターン（バーコードあるいは２次元コード）リーダー等を用いるようにしてもよい。いずれの場合も、指示装置２２は、自動判別処理装置１からの指示に基づき、物理的な入力デバイスを操作したときと同様の信号を、過検出検証装置２に渡す。
　自動判別処理装置１は、前述の通り、シナリオ編集部１２と、シナリオ記憶部１３と、シナリオ実行部１４と、自動判別部１５とを有している。自動判別処理装置１は、シナリオ記憶部１３に記憶されたシナリオを実行することによって、２次検査に相当する処理を実行する。
　シナリオ編集部１２は、自動判別処理装置１が実行するためのシナリオを編集するものである。シナリオは、シナリオ記述用の言語を用いて記述される。シナリオ記述用の言語は、文字の列として表される言語であってもよいし、図形を組み合わせて表される図形的言語であってもよい。シナリオ編集部１２は、ユーザーインターフェースを有している。ユーザーは、そのユーザーインターフェースを通して（例えば、文字データのエディター機能等を用いて）、シナリオを編集することができる。シナリオ編集部１２は、編集結果であるシナリオを、シナリオ記憶部１３に書き込む。
　シナリオ記憶部１３は、シナリオを記憶しておくものである。シナリオは、テキストデータの形式や、バイナリーデータの形式で、適宜、記憶される。シナリオ記憶部１３は、例えば、半導体メモリーや磁気ディスク装置等を用いて実現される。シナリオ記憶部１３に記憶されているシナリオは、シナリオ編集部１２やシナリオ実行部１４によって参照可能である。シナリオは、シナリオ編集部１２によって編集され得る。シナリオは、シナリオ実行部１４によって実行され得る。
　シナリオ実行部１４は、シナリオ記憶部１３からシナリオを読み出し、そのシナリオを実行させるものである。シナリオ実行部１４は、例えば、インタープリター方式や、コンパイラー方式等の、適切な方式で、シナリオを実行する。本実施形態におけるシナリオ実行部１４は、具体的な処理として、画像メモリー２１から画像のデータを読み込み、その画像（判別対象画像）を自動判別部１５に渡すことができる。また、シナリオ実行部１４は、自動判別部１５から判別結果を受け取り、その判別結果に基づく信号を、指示装置２２に渡すことができる。
　自動判別部１５は、シナリオ実行部１４から受け取った画像（製品に関する判別対象画像）について判別処理を行い、その判別結果をシナリオ実行部１４に返すものである。具体例として、自動判別部１５は、製品の不良候補画像を、判別対象画像としてシナリオ実行部１４から受け取る。そして、自動判別部１５は、その画像に含まれる製品が、真の不良である（真報）であるか、不良ではない（虚報）であるかを判別する。つまり、自動判別部１５は、自動判別過程を実行する。
　自動判別部１５は、例えば、機械学習の手法を用いて、上記の判別処理を行う。つまり、自動判別部１５は、機械学習モデルを内部に有している。機械学習モデルの一例として、ニューラルネットワークを用いてもよい。この機械学習モデルは、予め学習済みである。つまり、自動判別部１５は、学習データとして正例（真報）の画像と負例（虚報）の画像を正解付きで予め大量に用意し、その学習データを用いた機械学習処理を予め実施しておく。したがって、学習済みの機械学習モデルは、入力される未知の判別対象画像に対して、正しい判別処理を行うことができる。
　図２は、コンピューターを用いて検査システム３を実現する場合の、プログラムの構成を示す概略図である。図示するように、検査システム３に含まれるプログラムは、アプリケーション層（Application Layer）、イベントハンドリング層（Event Layer）、オペレーティングシステム層（Operating System Layer ）の、いずれかの層に属するように構成される。オペレーティングシステム層には、オペレーティングシステム１４１が属する。イベントハンドリング層には、表示出力部１２１と、マウスイベント処理部１２２と、キーボードイベント処理部１２３とが属する。アプリケーション層には、自動判別アプリケーションと、過検出検証アプリケーション１０２とが属する。これらのプログラムは、いずれも、ＣＰＵ（中央処理装置）やメモリー等を有する実行環境において実行される。
　オペレーティングシステム１４１は、コンピューターの資源（ＣＰＵ時間、メモリー、入出力機器等）の全体を、適切に制御し、コンピューター上で稼働する各プロセスに適宜割り当てるものである。オペレーティングシステム１４１としては、例えば、Ｗｉｎｄｏｗｓ（ウィンドウズ）、Ｌｉｎｕｘ（リナックス）、ＵＮＩＸ（ユニックス）等（それぞれ、登録商標）が用いられる。
　自動判別アプリケーション１０１は、与えられる製品（電子回路等）の画像を基に、その良あるいは不良を判別する機能を有するプログラムである。自動判別アプリケーション１０１は、図１における自動判別処理装置１に対応する機能を有する。自動判別アプリケーション１０１は、いわゆるＲＰＡ（Robotic Process Automation）を実現するものである。なお、自動判別アプリケーション１０１は、「RPA Judgement Application」とも呼ばれる。
　過検出検証アプリケーション１０２は、１次検査の結果として得られる製品（電子回路等）の不良候補画像を画面に表示し、その２次検査結果（良あるいは不良）の入力を受け付ける機能を有するプログラムである。言い換えれば、過検出検証アプリケーション１０２は、光学検査装置９（図１）による１次検査において不良と判定された画像の再判定を行うための機能を有する。過検出検証アプリケーション１０２は、図１における過検出検証装置２に対応する機能を有する。なお、過検出検証アプリケーション１０２は、「Verification Application」とも呼ばれる。
　表示出力部１２１や、マウスイベント処理部１２２や、キーボードイベント処理部１２３は、それぞれ、コンピューターの入出力のイベントを適切にハンドリングするものである。これらの、イベントハンドリング層に属するプログラムは、コンピューターに接続されている様々な入出力デバイスを制御するためのものである。
　表示出力部１２１は、プログラムから出力される画像を、ディスプレイ装置において表示可能な画像信号に変換して出力する。なお、表示出力部１２１は、図１に示した画像メモリー２１を内部に持ち、管理する。つまり、本実施形態において、表示出力部１２１は、過検出検証アプリケーション１０２がディスプレイ装置に表示しようとする画像を、自動判別アプリケーション１０１が取得できるようにする機能を有する。
　マウスイベント処理部１２２は、ポインティングデバイスであるマウスの信号を受け取り、その信号に基づいてマウスのイベントを生成し、プログラムに渡す。マウスのイベントとは、マウスカーソルの移動や、マウスのボタン（右ボタン、左ボタン等）の各種のクリック（シングルクリック、ダブルクリック等）や、マウスホイールが存在する場合にはマウスホイールの回転等である。本実施形態では、マウスイベント処理部１２２は、マウスからの信号を代替するための指示を自動判別アプリケーション１０１から受け取り、その指示に基づいてマウスのイベントを生成し、必要に応じてオペレーティングシステム１４１を経由して、そのイベントを過検出検証アプリケーション１０２に渡す。
　キーボードイベント処理部１２３は、文字等を入力するためのデバイスであるキーボードの信号を受け取り、その信号に基づいてキーボードのイベントを生成し、プログラムに渡す。キーボードのイベントとは、特定のキーボードが押下されたことに対応するイベントである。本実施形態では、キーボードイベント処理部１２３は、キーボードからの信号を代替するための指示を自動判別アプリケーション１０１から受け取り、その指示に基づいてキーボードのイベントを生成し、必要に応じてオペレーティングシステム１４１を経由して、そのイベントを過検出検証アプリケーション１０２に渡す。
　上記のように、マウスイベント処理部１２２やキーボードイベント処理部１２３は、それぞれ、人がマウスやキーボードを操作したかのような作用を過検出検証アプリケーション１０２に及ぼすことが可能である。本実施形態では、マウスイベント処理部１２２やキーボードイベント処理部１２３は、自動判別アプリケーション１０１から出力される判別結果に応じて、それぞれ適切なイベントを発生させる。なお、ここでは、入力デバイスの例としてマウスやキーボードを用いる場合について説明したが、他の入力デバイス（例えば、タッチパネルや、タッチペンや、音声や、光学パターン（バーコードあるいは２次元コード）リーダー。ただし、これらに限定されない。）を用いる場合には、各デバイスをハンドリングするためのプログラムを、イベントハンドリング層に置くようにする。
　不良候補画像が虚報（つまり、過検出）であった場合、言い換えれば、不良候補画像に対応する製品の状態が「良」であった場合には、マウスイベント処理部１２２やキーボードイベント処理部１２３等は、その判別結果に対応するイベント（マウス操作やキーボード操作）を発生させる。これにより、過検出検証装置２側には、不良候補画像が虚報であったことが伝達される。一方、不良候補画像が真報（つまり、真の不良であることを表す）であった場合、言い換えれば、不良候補画像に対応する製品の状態が「不良」であった場合には、マウスイベント処理部１２２やキーボードイベント処理部１２３等は、その判別結果に対応するイベント（マウス操作やキーボード操作）を発生させる。これにより、過検出検証装置２側には、不良候補画像が真報であったことが伝達される。
　図３は、自動判別処理装置１が、所定のシナリオの例に基づいて動作するときの処理手順を示すフローチャートである。以下、このフローチャートに沿って動作手順を説明する。
　まず、ステップＳ１において、自動判別処理装置１は、終了条件が真であるか否かを判定する。終了条件が真である場合（ステップＳ１：ＹＥＳ）には、本フローチャート全体の処理を終了する。終了条件が真ではない場合（ステップＳ１：ＮＯ）には、次のステップＳ２に進む。なお、終了条件とは、例えば、次の判定対象画像がないこと（end of images）である。次の判定対象画像の有無は、適宜、シナリオ実行部１４に通知されるものである。あるいは、他の終了条件（例えば、オペレーターから処理終了の指示があること）を加えてもよい。
　次に、ステップＳ２において、シナリオ実行部１４は、判別対象画像を表示させるまでの手順を実行する。この手順は、例えば、指示装置２２に対してマウスあるいはキーボード等に関する操作の処理を指示する処理を含んでいてもよい。本ステップを実行することによって、過検出検証装置２は、判別対象画像をディスプレイ装置に表示するための処理を行う。
　次に、ステップＳ３において、判別対象画像がディスプレイ装置に表示されたことを検知したら、シナリオ実行部１４は、ディスプレイ装置の画面をキャプチャーする。具体的には、シナリオ実行部１４は、画像メモリー２１から、画面全体の画像のデータを取得する。なお、判別対象画像がディスプレイ装置に表示されたことを検知するためには、例えば、シナリオ実行部１４は、画面内の所定の領域に特定の画像が表示されているか否かを判定する。
　次に、ステップＳ４において、シナリオ実行部１４は、ステップＳ３でキャプチャーした画像から、判別対象画像の領域を抽出する。例えば、キャプチャーした画面上における判別対象画像の領域の位置（例えば、長方形の領域の、左上隅および右下隅のそれぞれのポイントの、Ｘ座標およびＹ座標）が既知である場合、シナリオ実行部１４は、当該座標値を用いて、判別対象画像をカットする。
　次に、ステップＳ５において、シナリオ実行部１４は、ステップＳ４で抽出した判別対象画像を、自動判別部１５に渡す。自動判別部１５は、渡された画像（不良候補画像）が、真報（不良）であるか、虚報（良）であるかを判別する。
　次に、ステップＳ６において、シナリオ実行部１４は、自動判別部１５から、判別結果を取得する。判別結果は、真報（不良）または虚報（良）のいずれかである。
　次に、ステップＳ７において、シナリオ実行部１４は、ステップＳ６において受け取った判別結果に応じた所定の処理を行う。具体的には、シナリオ実行部１４は、判別結果に応じた、マウスイベントメッセージまたはキーボードイベントメッセージを生成して出力するよう、指示装置２２に指示を送る。その結果、指示装置２２は、判別結果に対応したアクションを過検出検証装置２に対して行うことと等価な処理を実行する。
　指示装置２２の処理例は、次の通りである。判別結果が真報（不良）である場合、一例として、指示装置２２は、過検出検証装置２の画面上の「真報（不良）」のボタンが表示されている領域にマウスカーソルを移動させた上で、マウスの左ボタンをクリックするメッセージを過検出検証装置２に送る。判別結果が虚報（良）である場合、一例として、指示装置２２は、過検出検証装置２の画面上の「真報（不良）」のボタンが表示されている領域にマウスカーソルを移動させた上で、マウスの左ボタンをクリックするメッセージを過検出検証装置２に送る。上記の通り、本実施形態におけるボタンは、ディスプレイ画面に表示された形態のボタンを含む。
　図４は、シナリオ実行部１４が実行するシナリオの一例を示す概略図である。同図に示すシナリオは、所定の言語で記述されている。このシナリオは、例えば、シナリオ実行部１４が備えるインタープリター機能によって、逐次解釈され、実行される。あるいは、このシナリオは、コンパイラーによって他の形式の指令の列に翻訳され、実行されてもよい。このシナリオは、図３に示したフローチャートの処理手順に対応している。なお、このシナリオには、便宜的に行番号を付している。以下、このシナリオに沿って説明する。
　シナリオの第１行目は、ｗｈｉｌｅ節である。その条件は「ｎｏｔ　ｅｎｄ＿ｏｆ＿ｉｍａｇｅｓ」である。「ｅｎｄ＿ｏｆ＿ｉｍａｇｅｓ」は、状況を表す値を持つ変数であり、判別対象の画像が終了していて存在しないこと（終了条件）を表す。また、「ｎｏｔ」は、否定の論理演算子である。つまり、このｗｈｉｌｅ節は、判別対象の画像が残っている限りは、第１行目の左カーリーブレース（左中括弧）および第７行目の右カーリーブレース（右中括弧）で囲まれる部分のシナリオを実行すべきであることを表す。
　シナリオの第２行目から第６行目までは、上記ｗｈｉｌｅ節の条件が真である状態において順次実行される処理のシーケンスである。
　第２行目は、ｇｅｔ＿ｎｅｘｔ＿ｉｍａｇｅ＿ｆｏｒ＿ｖｅｒｉｆｉｃａｔｉｏｎ（）関数を実行する処理を示す。この関数は、図３におけるステップＳ２の処理に対応する。この関数を実行した結果として、過検出検証装置２は、判定対象である次の画像（不良候補画像）を、画面に表示させる。これにより、画像メモリー２１の所定の領域には、次の不良候補画像のデータが格納される。
　第３行目は、ｃａｐｔｕｒｅ＿ｓｃｒｅｅｎ（）関数を実行する処理を示す。この関数は、図３におけるステップＳ３の処理に対応する。この関数を実行することにより、自動判別処理装置１は、過検出検証装置２が表示した画面をキャプチャーする。言い換えれば、自動判別処理装置１は、画像メモリー２１内の画像のデータを取得する。
　第４行目は、ｅｘｔｒａｃｔ＿ｒｅｃｔａｂｇｌｅ＿ｉｍａｇｅ＿ｆｒｏｍ＿ｓｃｒｅｅｎ（）関数を実行する処理を示す。この関数は、図３におけるステップＳ４の処理に対応する。つまり、自動判別処理装置１は、表示画面内の所定の領域の画像を抽出する。本例では、抽出すべき長方形の領域を表す座標値を、この関数への実引数として渡している。一例として、長方形の左上隅の点の画像が（ｘ，ｙ）＝（１２０，２００）であり、その長方形の右下隅の点の画像が（ｘ，ｙ）＝（７２０，６００）である。なお、これらの座標値によって特定される長方形の領域に、判別対象である不良候補画像が表示されていることを前提としている。ここで抽出された画像のデータは、画像データを格納するための２次元の行列である変数ｉｍａｇｅ＿ｆｏｒ＿ｖｅｒｉｆｉｃａｔｉｏｎに代入される。
　第５行目は、ａｕｔｏｍａｔｅｄ＿ｖｅｒｉｆｉｃａｔｉｏｎ（）関数を実行する処理を示す。この関数は、図３におけるステップＳ５からＳ６の処理に対応する。この関数の引数として渡されるのは、上記の変数ｉｍａｇｅ＿ｆｏｒ＿ｖｅｒｉｆｉｃａｔｉｏｎに格納されている判別対象画像のデータである。つまり、自動判別処理装置１は、この関数を実行することにより、判別対象画像についての判別処理を行い、判別結果を取得する。
　具体的には、この関数の実行により、シナリオ実行部１４が自動判別部１５に判別対象画像を渡し、その結果である判別結果を、上記関数の戻り値として受け取る。ａｕｔｏｍａｔｅｄ＿ｖｅｒｉｆｉｃａｔｉｏｎ（）関数の戻り値は、変数ｒｅｓｕｌｔに代入される。ｒｅｓｕｌｔの値は、「良」または「不良」のいずれかを表すものである。
　第６行目は、ｉｎｐｕｔ＿ｐｒｏｃｅｓｓ（）関数を実行する処理を表す。この関数は、図３におけるステップＳ７の処理に対応する。この関数の引数として渡されるのは、上記の変数ｒｅｓｕｌｔの値である。ｉｎｐｕｔ＿ｐｒｏｃｅｓｓ（）関数の処理は、引数として渡される判別結果（良または不良）に応じて、それぞれ適切なマウスイベントあるいはキーボードイベントを発生させる。この仮想的なマウス操作あるいはキーボード操作によって、自動判別処理装置１は、判別結果の情報を過検出検証装置２に正しく伝えることができる。なお、マウス操作やキーボード操作に加えて、タッチパネルや、ペンタブや、音声による入力の方法を用いてもよい。音声による入力の場合には、装置が、音声認識処理を行う。タッチパネルや、ペンタブや、音声による入力の場合にも、ｉｎｐｕｔ＿ｐｒｏｃｅｓｓ（）関数の処理は、上記のマウスイベントやキーボードイベントと同様のイベントを発生させる。
　なお、第１行目のｗｈｉｌｅ節の条件が真である限り、第２行目から第６行目までの処理は繰り返される。これは、図４におけるステップＳ７の処理の後にステップＳ１の処理に戻ることに対応している。
　図５は、過検出検証装置２が表示する画面の例を示す概略図である。図示するように、この画面は、判別対象画像を表示するための長方形の領域を有している。また、この画面は、「不良」あるいは「良」のいずれかを選択的に入力するためのボタンを含んでいる。自動判別処理装置１は、この画面に含まれる画像等のデータを、画像メモリー２１から取得することができる。
　また、自動判別処理装置１は、「不良」のボタンあるいは「良」のボタンを押下するのと等価な信号を、指示装置２２に渡すことができる。例えば、自動判別処理装置１が、マウスのイベントを発生させることにより、「不良」のボタンの領域内のどこかにマウスカーソルを移動させてから、その位置でマウスを「左クリック」させることができる。この場合、「不良」ボタンが押下された場合と同様の情報を、過検出検証装置２は受け取る。また、自動判別処理装置１が、マウスのイベントを発生させることにより、「良」のボタンの領域内のどこかにマウスカーソルを移動させてから、その位置でマウスを「左クリック」させることができる。この場合、「良」ボタンが押下された場合と同様の情報を、過検出検証装置２は受け取る。
　また、自動判別処理装置１が、マウスのイベントの代わりに、キーボードのイベントを発生させることにより、フォーカスを「不良」ボタンに移動させ（例えば、「タブ」キー等が用いられる）てから、決定の操作をする（例えば、「エンター」キー等が用いられる）ことができる。この場合、「不良」ボタンが押下された場合と同様の情報を、過検出検証装置２は受け取る。また、自動判別処理装置１が、キーボードのイベントを発生させることにより、フォーカスを「良」ボタンに移動させ（上の場合と同様に、例えば「タブ」キーが用いられる）てから、決定の操作をする（上の場合と同様に、例えば「エンター」キーが用いられる）ことができる。この場合、「良」ボタンが押下された場合と同様の情報を、過検出検証装置２は受け取る。
　なお、自動判別処理装置１では、自動判別部１５から出力される判別結果と、シナリオ実行部から出力されるイベント（マウスやキーボード等に関するイベント）との関係を、適宜、定義し設定できるようになっている。したがって、必要に応じてこの判別結果とイベントとの関係の設定を変更するだけで、自動判別処理装置１が出力する信号（イベントの信号）を変えることができる。
　図６は、シナリオ実行部１４において特定のシナリオを実行させた場合の、シナリオ実行部１４の機能構成の概略を示すブロック図である。図示するように、シナリオを実行することにより、シナリオ実行部１４は、画像取得部１４７および判別結果出力部１４８として機能する。画像取得部１４７は、過検出検証装置２がディスプレイ装置に表示する画像をディスプレイ装置への表示のための媒体である画像メモリー２１から読み取る。つまり、画像取得部１４７は、画像取得過程を実行する。判別結果出力部１４８は、自動判別部１５から判別結果を受け取り、その判別結果に応じた信号を生成させる。その信号とは、過検出検証装置２に接続される入力デバイス（マウス、キーボード、タッチパネル等）を介して情報を入力する場合と等価な信号（イベント）である。つまり、判別結果出力部１４８は、判別結果出力過程を実行する。以上、説明したように、シナリオ記憶部１３に記憶されているシナリオは、シナリオ実行部１４を、画像取得部１４７および判別結果出力部１４８として機能させるものである。
　本実施形態の特徴をまとめると、次の通りである。
　画像取得部１４７（シナリオ実行部１４）は、外部装置（過検出検証装置２）がディスプレイ装置に表示する画像をディスプレイ装置への表示のための媒体（画像メモリー２１）から読み取る。
　自動判別部１５は、画像取得部１４７が読み取った前記画像（判別対象画像）の内容に基づく判別処理を行って判別結果（判別対象画像に対応する製品等が「良」であるか「不良」であるか）を出力する。
　自動判別部１５は、画像と判別結果との関係について機械学習済のモデルを保持しており、前記モデルを前記画像に適用することによって前記判別処理を行ってもよい。機械学習済のモデルの一例は、ニューラルネットワークである。
　判別結果出力部１４８（シナリオ実行部１４）は、前記判別結果に応じた信号であって、前記外部装置に接続される入力デバイス（マウス、キーボード、タッチパネル等）を介して情報を入力する場合と等価な信号（イベント）を生成させる。
　前記入力デバイスは、マウスまたはキーボードの少なくともいずれかであってよい。
　外部装置（過検出検証装置２）は、電子回路（プリント基板等）を光学的に読み取ることによって検出された不良候補画像を画像として表示出力するものであってよい。
　この場合、自動判別部１５は、その不良候補画像に基づき前記電子回路が良または不良のいずれであるかを判別する処理を行って前記判別結果を出力する。
　自動判別処理装置１は、シナリオ実行部１４を備えてよい。シナリオ実行部１４は、処理手順が記述されたシナリオを実行するものである。前記シナリオは、シナリオ実行部１４を、画像取得部１４７および判別結果出力部１４８として機能させるものである。なお、シナリオ実行部１４は、シナリオを実行することにより、さらに、外部装置（過検出検証装置２）がディスプレイ装置に前記画像を表示させるために必要な処理手順を遂行するものであってよい。具体的には、図３に示したステップＳ２の処理がその処理手順に相当する。つまり、この処理により、シナリオ実行部１４は、指示装置２２に、マウスのイベントやキーボードのイベント等を発生させる。それらのイベントに基づき、過検出検証装置２が、所定の動作をする。その結果として、過検出検証装置２は、不良候補画像を検証するための処理を実行する。そして、過検出検証装置２は、不良候補画像をディスプレイ装置に表示する。即ち、その不良候補画像は、画像メモリー２１に書き込まれる。
［第２実施形態］
　次に、第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
　図７は、本実施形態による検査システムの機能構成を示すブロック図である。図示するように検査システム４は、自動判別処理装置５と、過検出検証装置２と、光学検査装置９とを含む。自動判別処理装置５は、自動判別部１５と、画像取得部２４７と、判別結果出力部２４８とを含む。なお、本実施形態による自動判別処理装置５は、シナリオを編集するための機能や、シナリオを記憶するための機能や、シナリオを実行するための機能を持たない。本実施形態において、画像取得部２４７や判別結果出力部２４８は、シナリオによって実現されるものではなく、それぞれ専用の機能として実現される。画像取得部２４７や判別結果出力部２４８は、専用の電子回路等を用いて実現されてもよいし、コンピューターとプログラムとを用いて実現されてもよい。画像取得部２４７は、過検出検証装置２がディスプレイ装置に表示する画像をディスプレイ装置への表示のための媒体である画像メモリー２１から読み取る。判別結果出力部２４８は、自動判別部１５から判別結果を受け取り、その判別結果に応じた信号を生成させる。その信号とは、過検出検証装置２に接続される入力デバイス（マウス、キーボード、タッチパネル等）を介して情報を入力する場合と等価な信号（イベント）である。また、検査システム４は、第１実施形態の場合と同様に、入出力のための機能の一部として、画像メモリー２１と、指示装置２２とを含む。
　第２実施形態では、自動判別処理装置５が、シナリオを用いて実現されるものではない。しかし、過検出検証装置２が出力した画像を自動判別処理装置５が取得したり、その画像に基づいて自動判別処理装置５が画像の状況を判別したり、その判別結果に基づいて自動判別処理装置５が過検出検証装置２を操作するための指示を行ったりする点は、第１実施形態と同様である。
　以上、複数の実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。例えば、上の各実施形態では、自動判別処理装置は、画像メモリー２１から、即ち記憶媒体から判別対象の画像を取得した。しかし、記憶媒体ではなく、画像を伝送するための伝送媒体（電気ケーブルや光ケーブル等）から、判別対象画像を取得するようにしてもよい。
　図８は、第１実施形態や第２実施形態における自動判別処理装置や、過検出検証装置や、光学検査装置や、指示装置等の内部構成の例を示すブロック図である。ここに列挙した各装置は、コンピューターを用いて実現され得る。図示するように、そのコンピューターは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。
　上述した各実施形態における自動判別処理装置や、過検出検証装置や、光学検査装置や、指示装置等の少なくとも一部の機能をコンピューターのプログラムで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　以上、説明した実施形態のいずれか（変形例を含む）によると、従来は人が行っていた判別作業を、コンピューター等による自動的な処理で置き換えることができる。これにより、検査のオペレーションコストを削減することができる。また、人が判別作業を行う場合に比べて、判断の基準を一定にそろえることができ、品質管理上も有効である。
　また、自動判別処理装置は、過検出検証装置２がディスプレイ装置に表示した画像を取得するとともに、疑似的に過検出検証装置２に接続される入力デバイスを介して判別結果を過検出検証装置２に渡す。このような方式を採ることにより、既存の過検出検証装置２を改変することなく、自動判別の仕組みを追加することができる。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　本発明は、例えば、光学式撮影手段を用いた検査システム等に利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。
１，５　自動判別処理装置
２　過検出検証装置
３，４　検査システム
９　光学検査装置
１２　シナリオ編集部
１３　シナリオ記憶部
１４　シナリオ実行部
１５　自動判別部
２１　画像メモリー
２２　指示装置
１０１　自動判別アプリケーション
１０２　過検出検証アプリケーション
１２１　表示出力部
１２２　マウスイベント処理部
１２３　キーボードイベント処理部
１４１　オペレーティングシステム
１４７，２４７　画像取得部
１４８，２４８　判別結果出力部
９０１　中央処理装置
９０２　ＲＡＭ
９０３　入出力ポート
９０４，９０５　入出力デバイス
９０６　バス

Claims (10)

  1. 　不良候補画像をディスプレイ装置に表示させるとともに２次検査として入力デバイスを介して前記不良候補画像についての判別結果の情報を取得する過検出検証装置が表示する前記不良候補画像を前記ディスプレイ装置への表示のための媒体から読み取る画像取得部と、
    　前記画像取得部が読み取った前記不良候補画像の内容に基づく判別処理を行って判別結果を出力する自動判別部と、
    　前記判別結果に応じた信号であって、前記過検出検証装置に接続される入力デバイスを介して前記過検出検証装置が表示する画面に含まれる「不良」のボタンあるいは「良」のボタンのいずれかを押下するのと等価な信号を生成させる判別結果出力部と、
    　を具備する自動判別処理装置。
  2. 　前記自動判別部は、前記不良候補画像と前記判別結果との関係について機械学習済のモデルを保持しており、前記モデルを前記画像に適用することによって前記判別処理を行う、
    　請求項１に記載の自動判別処理装置。
  3. 　前記過検出検証装置は、電子回路を光学的に読み取ることによって検出された前記不良候補画像を表示出力するものであり、
    　前記自動判別部は、前記不良候補画像に基づき前記電子回路が良または不良のいずれであるかを判別する処理を行って前記判別結果を出力する、
    　請求項１または２に記載の自動判別処理装置。
  4. 　前記入力デバイスは、マウスまたはキーボードの少なくともいずれかであって、
    　前記入力デバイスがマウスである場合には、前記判別結果出力部は、マウスのイベントを発生させることにより、前記「不良」のボタンまたは前記「良」のボタンのいずれかの領域内にマウスカーソルを移動させてからマウスをクリックさせる信号を生成させ、
    　前記入力デバイスがキーボードである場合には、前記判別結果出力部は、キーボードのイベントを発生させることにより、フォーカスを前記「不良」のボタンまたは前記「良」のボタンのいずれかに移動させてから決定の操作の信号を生成させる、
    　請求項１から３までのいずれか一項に記載の自動判別処理装置。
  5. 　処理手順が記述されたシナリオを実行するシナリオ実行部、
    　を具備し、
    　前記シナリオは、前記シナリオ実行部を、前記画像取得部と前記判別結果出力部として機能させるものである、
    　請求項１から４までのいずれか一項に記載の自動判別処理装置。
  6. 　前記シナリオ実行部は、前記シナリオを実行することにより、さらに、前記過検出検証装置が前記ディスプレイ装置に前記画像を表示させるために必要な処理手順を遂行する、
    　請求項５に記載の自動判別処理装置。
  7. 　不良候補画像をディスプレイ装置に表示させるとともに２次検査として入力デバイスを介して前記不良候補画像についての判別結果の情報を取得する過検出検証装置が表示する前記不良候補画像を前記ディスプレイ装置への表示のための媒体から読み取る画像取得過程と、
    　前記画像取得過程で読み取った前記不良候補画像の内容に基づく判別処理を行って判別結果を出力する自動判別過程と、
    　前記判別結果に応じた信号であって、前記過検出検証装置に接続される入力デバイスを介して前記過検出検証装置が表示する画面に含まれる「不良」のボタンあるいは「良」のボタンのいずれかを押下するのと等価な信号を生成させる判別結果出力過程と、
    　を含む自動判別処理方法。
  8. 　コンピューターを、
    　請求項１から６までのいずれか一項に記載の自動判別処理装置、
    　として機能させるためのプログラム。
  9. 　コンピューターを、
    　請求項１から６までのいずれか一項に記載の自動判別処理装置、
    　として機能させるためのプログラムを記録した記録媒体。
  10. 　光学的に撮影した画像に基づいて、１次検査として、不良候補画像を検出する光学検査装置と、
    　前記光学検査装置が検出した前記不良候補画像をディスプレイ装置に表示させるとともに、２次検査として、入力デバイスを介して前記不良候補画像についての判別結果の情報を取得する過検出検証装置と、
    　請求項１から６までのいずれか一項に記載の自動判別処理装置と、
    　を含む検査システム。
PCT/JP2020/027347 2019-07-18 2020-07-14 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体 WO2021010390A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/619,607 US20220351361A1 (en) 2019-07-18 2020-07-14 Automatic determination process device, automatic determination process method, inspection system, program, and recording medium
KR1020217036291A KR20210148326A (ko) 2019-07-18 2020-07-14 자동 판별 처리 장치, 자동 판별 처리 방법, 검사 시스템, 프로그램 및 기록매체
CN202080043726.7A CN113994377A (zh) 2019-07-18 2020-07-14 自动判别处理装置、自动判别处理方法、检查***、程序、及记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019132725A JP6653929B1 (ja) 2019-07-18 2019-07-18 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体
JP2019-132725 2019-07-18

Publications (1)

Publication Number Publication Date
WO2021010390A1 true WO2021010390A1 (ja) 2021-01-21

Family

ID=69624562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027347 WO2021010390A1 (ja) 2019-07-18 2020-07-14 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体

Country Status (5)

Country Link
US (1) US20220351361A1 (ja)
JP (1) JP6653929B1 (ja)
KR (1) KR20210148326A (ja)
CN (1) CN113994377A (ja)
WO (1) WO2021010390A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423368B2 (ja) 2020-03-23 2024-01-29 イビデン株式会社 不良検出装置及び不良検出方法
CN112036160B (zh) * 2020-03-31 2024-04-12 北京来也网络科技有限公司 结合rpa和ai的语料数据的获取方法和装置
JP7410402B2 (ja) * 2020-05-08 2024-01-10 ダイキン工業株式会社 外観検査システム
KR102494578B1 (ko) 2020-12-09 2023-02-01 순천대학교 산학협력단 딥 러닝을 이용한 ai 기반의 농기계 탈부착형 안전 탐지 방법 및 안전장치
KR102668045B1 (ko) * 2021-04-28 2024-05-22 주식회사 크레셈 기판 검사 방법
KR20240100887A (ko) * 2022-12-23 2024-07-02 엘지이노텍 주식회사 객체의 외관 검사 장치 및 객체의 외관 검사 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002031605A (ja) * 2000-07-13 2002-01-31 Hitachi Ltd 欠陥確認装置および自動外観検査装置
JP2006047041A (ja) * 2004-08-03 2006-02-16 Honda Motor Co Ltd 表面状態を判定するためのデータマップを生成する方法および判定方法
KR20060082917A (ko) * 2005-01-13 2006-07-20 삼성전자주식회사 검사 장치
JP2009150718A (ja) * 2007-12-19 2009-07-09 Nikon Corp 検査装置および検査プログラム
JP2015075412A (ja) * 2013-10-10 2015-04-20 不二エレクトロニクス株式会社 外観検査システム
JP2018036241A (ja) * 2016-04-15 2018-03-08 Ｊｅインターナショナル株式会社 検査方法、検査装置、検査プログラム、および記録媒体
JP2018059830A (ja) * 2016-10-06 2018-04-12 川崎重工業株式会社 外観検査方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114831B2 (ja) 1992-12-12 1995-12-13 株式会社藤商事 弾球遊戯機

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002031605A (ja) * 2000-07-13 2002-01-31 Hitachi Ltd 欠陥確認装置および自動外観検査装置
JP2006047041A (ja) * 2004-08-03 2006-02-16 Honda Motor Co Ltd 表面状態を判定するためのデータマップを生成する方法および判定方法
KR20060082917A (ko) * 2005-01-13 2006-07-20 삼성전자주식회사 검사 장치
JP2009150718A (ja) * 2007-12-19 2009-07-09 Nikon Corp 検査装置および検査プログラム
JP2015075412A (ja) * 2013-10-10 2015-04-20 不二エレクトロニクス株式会社 外観検査システム
JP2018036241A (ja) * 2016-04-15 2018-03-08 Ｊｅインターナショナル株式会社 検査方法、検査装置、検査プログラム、および記録媒体
JP2018059830A (ja) * 2016-10-06 2018-04-12 川崎重工業株式会社 外観検査方法

Also Published As

Publication number Publication date
TW202109028A (zh) 2021-03-01
KR20210148326A (ko) 2021-12-07
US20220351361A1 (en) 2022-11-03
JP2021018104A (ja) 2021-02-15
CN113994377A (zh) 2022-01-28
JP6653929B1 (ja) 2020-02-26

Similar Documents

Publication Publication Date Title
WO2021010390A1 (ja) 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体
CN108351828A (zh) 用于设备无关的自动应用测试的技术
CN108829371B (zh) 界面控制方法、装置、存储介质及电子设备
CN110851299A (zh) 自动化流程的异常排除方法、装置、设备及存储介质
US11288845B2 (en) Information processing apparatus for coloring an image, an information processing program for coloring an image, and an information processing method for coloring an image
CN109324864B (zh) 一种人机交互操作信息的获取方法及装置
CN110795000B (zh) 基于界面分割的自动控制方法、装置及终端
CN115658523A (zh) 一种人机交互界面的自动控制及测试方法和计算机设备
KR102011212B1 (ko) 인공지능 신경망의 학습 데이터로 사용되는 객체의 추출 및 저장방법
CN113609028A (zh) 一种页面测试方法、计算设备及可读存储介质
CN117058421A (zh) 基于多头模型的图像检测关键点方法、***、平台及介质
CN114663902B (zh) 文档图像处理方法、装置、设备和介质
CN114430823A (zh) 软件知识捕捉方法、装置和***
CN115858049A (zh) Rpa流程组件化编排方法、装置、设备和介质
TWI842931B (zh) 自動判別處理裝置、自動判別處理方法、檢查系統、程式、及記錄媒體
CN116245808A (zh) 工件缺陷检测方法、装置、电子设备及存储介质
US12038832B2 (en) Electronic product testing systems for providing automated product testing with human-in-the loop component and/or object detection
US20230169399A1 (en) System and methods for robotic process automation
EP3992923A2 (en) System and method for identifying non-standard user interface object
CN115658544B (zh) 一种基于模拟点击的测试方法
CN117033239B (zh) 一种控件匹配方法、装置、计算机设备及存储介质
CN113127348B (zh) 软件的自动测试脚本录制方法、***和存储介质
WO2022168331A1 (ja) 操作ログ生成装置および操作ログ生成方法
Wu et al. Intelligent Software Testing based on Visual Feedback
CN117934882A (zh) 基于图像特征匹配的元素识别方法及***

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20840747

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217036291

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20840747

Country of ref document: EP

Kind code of ref document: A1