WO2020144784A1 - 画像処理装置、作業ロボット、基板検査装置および検体検査装置 - Google Patents

画像処理装置、作業ロボット、基板検査装置および検体検査装置 Download PDF

Info

Publication number
WO2020144784A1
WO2020144784A1 PCT/JP2019/000412 JP2019000412W WO2020144784A1 WO 2020144784 A1 WO2020144784 A1 WO 2020144784A1 JP 2019000412 W JP2019000412 W JP 2019000412W WO 2020144784 A1 WO2020144784 A1 WO 2020144784A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
image
image processing
processing apparatus
feature
Prior art date
Application number
PCT/JP2019/000412
Other languages
English (en)
French (fr)
Inventor
雅史 天野
信夫 大石
隆人 行方
真人 岩渕
Original Assignee
株式会社Ｆｕｊｉ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｆｕｊｉ filed Critical 株式会社Ｆｕｊｉ
Priority to US17/419,499 priority Critical patent/US11972589B2/en
Priority to EP19908808.9A priority patent/EP3910593A4/en
Priority to PCT/JP2019/000412 priority patent/WO2020144784A1/ja
Priority to CN201980082694.9A priority patent/CN113196337B/zh
Priority to JP2020565086A priority patent/JP7174074B2/ja
Publication of WO2020144784A1 publication Critical patent/WO2020144784A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Definitions

  • the present specification discloses an image processing device, a work robot, a substrate inspection device, and a sample inspection device.
  • an image processing device a device that acquires image data of a two-dimensional image (planar image) of an object and detects the position and orientation of the object in a three-dimensional space based on the image data has been proposed (for example, see Patent Document 1).
  • a template image of each surface of the target object is prepared, the visible surface is detected from the image of the target object included in the acquired image data, and the template image corresponding to each visible surface is read.
  • Converted image data in which the line-of-sight direction is changed in accordance with the line-of-sight direction of the image data is created for each.
  • the image processing device calculates the degree of coincidence between the image data and the converted image data, and based on the surface with the highest reliability among the planes where the degree of coincidence exceeds the threshold value and has the highest reliability, It is supposed to seek posture.
  • the main purpose of the present disclosure is to accurately recognize the position and orientation of an object while suppressing the processing load.
  • the present disclosure has adopted the following means in order to achieve the main purpose described above.
  • An image processing apparatus includes a storage unit that stores a three-dimensional shape model in which feature amounts of a plurality of feature points of an object and three-dimensional position information are associated with each other, and a storage unit that stores the object captured by a camera.
  • An extraction processing unit that extracts a feature amount of a feature point and two-dimensional position information from a three-dimensional image, and a matching between the feature point of the two-dimensional image and the feature point of the three-dimensional shape model using the feature amount.
  • the recognition processing unit that identifies the three-dimensional position information of the feature points of the two-dimensional image and recognizes the position and the posture of the target object.
  • An image processing apparatus extracts a feature amount of a feature point and two-dimensional position information from a two-dimensional image of an object captured by a camera, and calculates a feature point of the two-dimensional image and a feature point of a three-dimensional shape model.
  • the position and orientation of the target object are recognized by performing the matching using the feature amount.
  • it is sufficient to match the feature points extracted from the two-dimensional image of the target object with the feature points of the three-dimensional shape model, and processing of all points in the image is performed. Since it is not necessary to perform the above, the processing load can be reduced.
  • matching can be appropriately performed using the feature amount of each feature point. Therefore, it is possible to accurately recognize the position and orientation of the object while suppressing the processing load.
  • FIG. 1 is a configuration diagram showing an outline of the configuration of a robot system 10 of the first embodiment.
  • the left-right direction in FIG. 1 is the X-axis direction
  • the front-back direction is the Y-axis direction
  • the up-down direction is the Z-axis direction.
  • the robot system 10 of the first embodiment includes a supply device 12, a transfer device 14, a work robot 20, and a control device 18.
  • the supply device 12 is provided with a conveyor belt 12a laid between a driving roller and a driven roller which are arranged apart from each other in the front-rear direction (Y-axis direction).
  • a plurality of works W such as parts are supplied from the rear to the front.
  • the transport device 14 is configured by a conveyor belt, transports the tray T in a direction (X-axis direction) orthogonal to the supply direction of the works W, and positions and holds the tray T at a central position.
  • the control device 18 includes a CPU, a ROM, a RAM, a HDD, an input/output port, and the like, and controls each operation of the supply device 12, the transfer device 14, and the work robot 20.
  • the work robot 20 includes a vertical articulated robot arm 22 having a chuck as a work tool at its tip, a camera 24 attached to the tip of the robot arm 22, and an image processing device 30 for processing an image captured by the camera 24. Equipped with.
  • the work robot 20 operates the robot arm 22 to pick up the work W on the conveyor belt 12a with a chuck and place the work W on the tray T or assemble it at a predetermined location.
  • the camera 24 captures a two-dimensional image in order to recognize the position and orientation of the work W and outputs it to the image processing device 30.
  • the image processing device 30 is configured by an HDD or the like, includes a storage unit 32 that stores a program necessary for image processing, a three-dimensional shape model M, and the like, an input device 38 such as a keyboard and a mouse, and an output device 39 such as a display. And are connected.
  • FIG. 2 is a flowchart showing an example of the preparation process, which is mainly executed by the function of the image processing device 30.
  • the image processing apparatus 30 executes an image acquisition process for acquiring a plurality of two-dimensional images Gi of the reference work W (S100) and extracts a plurality of characteristic points P of each two-dimensional image Gi ( S110).
  • the image processing device 30 executes a model creating process for creating a three-dimensional model M from each feature point P (S120), and ends the preparation process.
  • the image acquisition process of S100 is executed based on the flowchart of FIG.
  • FIG. 5 is an explanatory diagram showing an example of a plurality of viewpoints in the image acquisition processing
  • FIG. 6 is an explanatory diagram showing an example of a plurality of two-dimensional images Gi
  • FIG. 7 is created from the two-dimensional image Gi.
  • It is explanatory drawing which shows an example of the three-dimensional geometric model M. In the present embodiment, a cubic work W having a simplified shape is shown.
  • the image processing device 30 first outputs an instruction to the output device 39 to dispose the work W at the center of a predetermined imaging region (S200). In the present embodiment, the worker arranges the work W based on this instruction. Next, the image processing device 30 moves the camera 24 to a predetermined height position on the viewpoint E0 at the center of the imaging area by the control of the work robot 20 by the control device 18 (S210), and causes the camera 24 to move on the viewpoint E0.
  • the two-dimensional image G0 is captured (S220, FIG. 5A).
  • the two-dimensional image G0 is an image of the work W taken from directly above.
  • the image processing device 30 calculates the amount of positional deviation of the center position of the work W in the two-dimensional image G0 (S230), and determines whether the amount of positional deviation is less than a predetermined amount (S240). Since the work W is instructed to be arranged in the center of the imaging region in S200, the image center of the two-dimensional image G0 imaged in S220 and the center of the work W in the two-dimensional image G0 are basically set. Match. However, if the work W is arranged so as to deviate from the center of the imaging region, the amount of positional deviation may exceed a predetermined amount.
  • the image processing apparatus 30 determines in S240 that the amount of positional deviation is equal to or greater than the predetermined amount, it outputs a warning of positional deviation of the work W to the output device 39 (S250), and the worker places the work W at the center of the imaging area. Wait for rearrangement (S260). When the worker rearranges the work W, he/she inputs the fact using the input device 38. When the image processing apparatus 30 determines that the work W has been rearranged, the image processing apparatus 30 returns to S220 and performs processing.
  • the control device 18 controls the work robot 20 to horizontally move the camera 24 onto the plurality of viewpoints Ei and sequentially move the plurality of cameras 24 to each other.
  • the three-dimensional image Gi is imaged (S270), and the image acquisition process ends.
  • the plurality of viewpoints Ei are a viewpoint E0 and viewpoints E1 to E8 defined at respective vertices of a rectangular area (for example, a square area) centered on the viewpoint E0 and midpoints of respective sides. There are a total of 9 viewpoints, and the distances between the viewpoints E1 to E8 are predetermined.
  • FIG. 5B shows how the camera 24 horizontally moved from the viewpoint E0 to the viewpoint E1 captures the two-dimensional image G1.
  • the two-dimensional image G1 also shows the side surface of the work W.
  • FIG. 6 shows two-dimensional images G0 to G8 captured at the respective viewpoints E0 to E8.
  • two-dimensional images Gi with various parallaxes are acquired from different viewpoints. Note that this embodiment exemplifies nine viewpoints as the plurality of viewpoints from which the two-dimensional image Gi is captured, but it may be two or more viewpoints. Further, it is sufficient that the work W and the camera 24 relatively move to capture the two-dimensional image Gi from a plurality of viewpoints, and the work W may move instead of the camera 24.
  • the image processing device 30 extracts the feature point P (feature data 2Di(x, y; f)) that is a key point from each two-dimensional image Gi in S110.
  • the image processing device 30, for example, obtains a luminance distribution in two directions orthogonal to each other from the luminance value of each pixel in each two-dimensional image Gi, and extracts a point where the variation amount is equal to or more than a predetermined amount as a feature point P. Therefore, the characteristic point P is likely to appear at the vertex of the work W, the boundary point of different materials of the work W, the boundary point of the surface texture of the work W, and the like, and it is easy to suppress the influence of light reflection and noise.
  • the characteristic point P is indicated by a circle. As shown in the figure, most of the feature points P are extracted from the vertex of the work W, but there are also feature points P that are extracted from the surface of the work W due to the influence of light reflection and noise.
  • the feature point P is extracted from each two-dimensional image Gi using machine learning such as DNN (Deep Neural Network), and the characteristic luminance distribution near the feature point is the feature of each feature point P. It is output as a descriptor f (feature amount).
  • the image processing device 30 uses, as the feature data 2Di(x, y; f) of each feature point P, the position coordinates (x, y) of each feature point P based on a predetermined position in the two-dimensional image Gi, and Data including the characteristic descriptor f of the characteristic point P is extracted.
  • the predetermined position serving as the reference of the position coordinates (x, y) can be appropriately set to, for example, a position at the center of the front surface of the work W in the two-dimensional image Gi or a position at the center of gravity of the work W.
  • the image processing device 30 first associates the feature points P extracted from different two-dimensional images Gi (S300), and associates the associated feature points P with each other.
  • the number of appearances which is the frequency of appearance in the two-dimensional image Gi, is counted (S310).
  • the image processing apparatus 30 associates the feature points P based on the feature descriptor f of the feature points P while referring to the position coordinates (x, y), and associates the feature points P.
  • the number of appearances of the characteristic point P is counted.
  • the feature points P for example, Ps
  • the feature points P at the four corners of the front surface of the work W of the two-dimensional image G0 are respectively associated with the feature points P of the four corners of the front surface of the work W of the two-dimensional images G1 to G8. Since they appear in G0 to G8, the number of appearances is counted as a value of 9, respectively.
  • the two feature points P(Pt, Pu) on the back side of the side surface of the workpiece W of the two-dimensional image G1 are the feature points P(Pt) appearing in the five images of the two-dimensional images G1 to G4, G8.
  • the number of appearances is counted as a value of 5, respectively.
  • the in-plane feature points P of the two-dimensional images G4 and G5 on the front surface of the work W both appear only in the image and cannot be associated with the feature points P in the other two-dimensional images Gi. Each number is counted as a value of 1.
  • the feature points P having such a small number of appearances are extracted by the influence of light reflection or noise as described above.
  • the image processing device 30 determines whether or not the number of appearances of the feature point P is equal to or more than a predetermined number (S320), and if it is determined to be the predetermined number or more, the feature point P is determined to be the three-dimensional shape model M. Is set to the registration target feature point Pm (S330), and when it is determined that the number is not more than the predetermined number, the feature point P is excluded from the registration target of the three-dimensional geometric model M (S340).
  • the predetermined number is appropriately set to a value that can eliminate the feature points P that appear only in the two-dimensional images G4 and G5 in FIG. 7.
  • the image processing device 30 can eliminate the influence of light reflection and noise and can appropriately set the feature point Pm to be registered in the three-dimensional shape model M. Further, the image processing device 30 calculates the height z of the feature point Pm set as the registration target from the parallax between the two-dimensional images Gi and generates three-dimensional information (x, y, z) (S350). As described above, the distance between the viewpoints Ei is determined, and the predetermined height position when the camera 24 captures the two-dimensional image Gi is also determined. Therefore, the image processing device 30 can calculate the height z of the feature point P from the parallax between the two-dimensional images Gi by the principle of a so-called stereo camera.
  • the image processing apparatus 30 determines whether or not the processing for each feature point P is completed (S360), and if it is determined that the processing is not completed, returns to S300 and repeats the processing.
  • the image processing device 30 determines in S360 that the processing of each feature point P is completed, the feature data 3Di(x of the feature point Pm having the three-dimensional information (x, y, z) and the feature descriptor f. , Y, z; f), a three-dimensional geometric model M is created and stored in the storage unit 32 (S370, see FIG. 7), and the model creation process ends.
  • the image processing device 30 creates the three-dimensional shape model M from the two-dimensional images Gi of a plurality of viewpoints.
  • FIG. 8 is a flowchart showing an example of the recognition process, which is mainly executed by the function of the image processing device 30.
  • the image processing device 30 first captures the two-dimensional image Ga of the work W to be worked on the conveyor belt 12a by the camera 24 (S400).
  • the camera 24 captures an image at the above-described predetermined height position under the control of the control device 18.
  • the image processing device 30 extracts the feature data 2Di(x, y; f) of the feature point P of the work W from the two-dimensional image Ga (S410).
  • FIG. 9 is an explanatory diagram showing an example of the two-dimensional image Ga.
  • the feature points P (circles) are extracted from each of the four works W.
  • the feature point P is extracted from the front surface other than the vertex of each work W.
  • the image processing device 30 executes a matching process of matching each feature point P of the two-dimensional image Ga and the feature point Pm of the three-dimensional model M (S420), and ends the recognition process.
  • the matching process of S420 is executed based on the flowchart of FIG.
  • FIG. 11 is an explanatory diagram showing an example of a state of the matching processing.
  • the image processing device 30 first matches the feature point P of the two-dimensional image Ga extracted in S410 with the feature point Pm of the three-dimensional shape model M (S500, see FIG. 11A). ).
  • the image processing apparatus 30 causes the feature data 2Di(x, y; f) of each feature point P in any one of the works W in the two-dimensional image Ga and the feature data of each feature point Pm of the three-dimensional shape model M.
  • the data 3Di (x, y, z; f) is matched using the feature descriptor f described above.
  • the image processing apparatus 30 selects the feature point Pm of the three-dimensional shape model M that is the same as or has a higher degree of similarity to the feature point P of the two-dimensional image Ga by matching, and the rough position Pr(x, y) of each feature point P is selected.
  • Z, Rx, Ry, Rz) are set (S510).
  • Rx, Ry, and Rz represent rotation amounts (rotation angles) with respect to the X axis, Y axis, and Z axis, respectively.
  • the image processing device 30 sets the rough position Pr(x, y, z, Rx, Ry, Rz) so that the error of the position coordinate and the error of the rotation amount are distributed as evenly as possible.
  • the image processing device 30 projects the image of the three-dimensional geometric model M on the two-dimensional image Ga based on the set rough position Pr (S520, see FIG. 11B). Note that the projected image is indicated by a dotted line in FIG. 11B.
  • the image processing device 30 performs position adjustment so that the degree of overlap between the projected image of the three-dimensional shape model M and the work W in the two-dimensional image Ga becomes large (S530), and the position where the degree of overlap becomes maximum.
  • (X, y, z, Rx, Ry, Rz) is specified as the three-dimensional position of the feature point P to recognize the position and orientation of the work W (S540), and the matching process is ended.
  • the image processing apparatus 30 acquires the brightness difference between the pixel of interest and the pixel overlapping it while adjusting the position of the projected image in pixel units, and the rate of change of the waveform obtained by interpolating the point is 0.
  • the position where the degree of overlap is maximum is specified by detecting the position where In the example of FIG. 11B, the position of the projected image is adjusted in the arrow direction in the figure.
  • the image processing apparatus 30 can recognize the position and orientation of the work W from the two-dimensional image Ga and the three-dimensional shape model M. Further, since the control device 18 controls the robot arm 22 based on the recognized position and posture of the work W, the work W can be appropriately picked up.
  • the storage unit 32 of the first embodiment corresponds to the storage unit
  • the image processing device 30 that executes S410 of the recognition process of FIG. 8 corresponds to the extraction processing unit
  • the image processing device 30 that executes S420 of the recognition process is recognized.
  • the image processing device 30 corresponds to an image processing device.
  • the image processing apparatus 30 that executes S120 of the preparation process of FIG. 2 corresponds to the creation processing unit.
  • the image processing device 30 and the output device 39 that execute S230 to S250 of the image acquisition process of FIG. 3 correspond to the notification unit.
  • the camera 24 corresponds to a camera
  • the work robot 20 corresponds to a work robot.
  • the image processing device 30 matches the feature point P of the two-dimensional image Ga of the work W captured by the camera 24 with the feature point Pm of the three-dimensional shape model M.
  • the position and posture of the work W are recognized. Therefore, the image processing device 30 does not need to process all the points in the two-dimensional image Ga, and can appropriately perform matching based on the feature descriptor f of the feature point P, resulting in a processing load. It is possible to accurately recognize the position and posture of the work W while suppressing it. Further, the work robot 20 can appropriately pick up the work W and improve work accuracy. Further, the work robot 20 does not need to include a relatively large-sized camera for capturing a three-dimensional image or a relatively expensive camera.
  • the image processing apparatus 30 can create the three-dimensional shape model M from the plurality of two-dimensional images Gi of the work W even when the three-dimensional shape data of the work W cannot be acquired. Further, since the image processing device 30 issues a warning when the work W is displaced from the center position, the height z of the feature point P can be appropriately obtained from the two-dimensional image Gi in which the parallax has appeared appropriately. .. Further, since the image processing device 30 creates the three-dimensional geometric model M by excluding the feature points P having a small number of appearances, it is possible to further improve the recognition accuracy of the work W while reducing the processing load of matching.
  • the image processing device 30 adjusts the coarse position Pr so that the degree of overlap between the projected image of the three-dimensional shape model M and the two-dimensional image Ga becomes larger, the matching error can be appropriately corrected. .. Further, the image processing device 30 can improve the extraction accuracy of the feature descriptor f of the feature point P by machine learning such as DNN.
  • FIG. 12 is a configuration diagram showing an outline of the configuration of the substrate work line 100 of the second embodiment.
  • the board work line 100 includes a printing apparatus 110 that prints solder, which is a viscous fluid, on the board B, a printing inspection apparatus 115 that inspects a printing state, a mounting apparatus 120 that mounts a component on the board B, and a mounting state of the component. And a mounting inspection device 125 for inspecting.
  • Each device is connected to a management device (not shown), executes each work based on a work instruction received from the management device, and transmits the execution status of each work to the management device. Further, each device includes an input device and an output device in addition to the configurations described below.
  • the printing device 110 includes a print control device 111, a printing unit 112, and a camera 113.
  • the printing unit 112 prints the solder on the board B by pushing the solder into the pattern holes of the screen mask using a squeegee.
  • the print control device 111 controls the printing unit 112 to print solder at a predetermined printing position based on the two-dimensional image captured by the camera 113.
  • the print inspection device 115 includes an inspection control device 116, an image processing device 117, and a camera 119.
  • the image processing apparatus 117 performs various image processing on the two-dimensional image of the board B captured by the camera 119, and includes a storage unit 118 that stores the three-dimensional shape model Mb of the solder printed on the board B and the like. ..
  • the inspection control device 116 inspects the print state based on the processing result of the image processing device 117 performed on the two-dimensional image captured by the camera 119, and controls the entire print inspection device 115.
  • the mounting device 120 includes a mounting control device 121, a mounting unit 122, and a camera 123.
  • the mounting unit 122 includes a head having a suction nozzle, sucks a component supplied by a supply unit (not shown) with the suction nozzle, moves the head onto the substrate B, and mounts the component on the substrate B.
  • the mounting control device 121 controls the mounting unit 122 to mount the component at a predetermined mounting position based on the two-dimensional image captured by the camera 123.
  • the mounting inspection device 125 includes an inspection control device 126, an image processing device 127, and a camera 129.
  • the image processing device 127 performs various kinds of image processing on a two-dimensional image of the board B captured by the camera 129, and includes a storage unit 128 that stores a three-dimensional shape model Mc of components mounted on the board B and the like. ..
  • the inspection control device 116 inspects the mounting state of components based on the processing result of the image processing device 127 performed on the two-dimensional image captured by the camera 129, and controls the entire mounting inspection device 125. ..
  • the printed matter (resultant) such as solder printed on the board B is used as an object, and the above-described preparation processing and recognition are performed by the image processing apparatus 117 of the print inspection apparatus 115 (board inspection apparatus).
  • the image processing apparatus 117 takes a plurality of two-dimensional images Gi by using a reference printed matter as an object, and extracts a feature point P such as a vertex of the printed matter from each two-dimensional image Gi. Then, the image processing apparatus 117 generates the feature data 3Di(x, y, z; f) of each extracted feature point P, creates the three-dimensional shape model Mb, and stores it in the storage unit 118.
  • the image processing apparatus 117 captures the two-dimensional image Ga of the substrate B on which the printed matter is formed, extracts the characteristic point P, and extracts the characteristic point P and the characteristic point Pm of the three-dimensional shape model Mb. Matching is performed using the characteristic descriptor f to recognize each vertex position and posture of the printed matter. Based on this recognition result, the inspection control device 116 determines whether or not the height of the solder printed on the board B is appropriate, whether the amount (volume) of solder is appropriate, and the like. An inspection can be done. That is, the print inspection device 115 can inspect the three-dimensional printing state of the substrate B from the two-dimensional image of the printed matter.
  • the print object is not limited to the object, and the following may be applied.
  • the image processing apparatus 127 of the mounting inspection apparatus 125 (board inspection apparatus) executes a preparatory process with the component (resultant) mounted on the board B as an object, and stores the three-dimensional shape model Mc in the storage unit 128. To do. Further, based on the result of the recognition processing of the image processing apparatus 127 based on the two-dimensional image Ga of the component and the three-dimensional shape model Mc, the inspection control device 126 determines that the height of the component mounted on the board B is normal. It is also possible to inspect the mounting state such as whether or not the inclination degree is within the allowable range.
  • the inspection control device 126 can also inspect the presence/absence of a defect in the component based on whether or not the characteristic point P appears at a position different from the characteristic point Pm of the three-dimensional shape model Mc.
  • the mounting apparatus 120 may include an image processing apparatus, and the preparation process and the recognition process may be performed with the supplied component as an object.
  • a bulk feeder that accommodates a plurality of components in a discrete state and supplies them while aligning them
  • a tray feeder that accommodates and supplies a plurality of components in a flat plate-shaped tray, and the like are used. There is something. It is possible to appropriately recognize the position and orientation of the component supplied from such a feeder, and appropriately pick up (suck) the component.
  • FIG. 13 is a configuration diagram showing an outline of the configuration of the sample testing device 200 of the third embodiment.
  • the sample inspection device 200 includes a microscope device 210, an image processing device 230, and an inspection control device 202.
  • the microscope apparatus 210 includes a microscope unit 212 for enlarging an image of a specimen as an inspection target, and a camera 213 built in the microscope apparatus 210 for capturing a magnified two-dimensional image of the specimen.
  • the microscope section 212 includes a stage 212a on which a sample is placed and an objective lens 212b, and although not shown, a stage drive section for moving the stage 212a in a horizontal direction or a vertical direction and a focus for focusing an objective lens 212b. And an optical system that guides the observation light of the sample to the camera 213.
  • the image processing device 230 performs various image processing on the two-dimensional image of the sample captured by the camera 213.
  • the image processing device 230 includes a storage unit 232 that stores the three-dimensional shape model Md of the sample, and the like, and is connected to an input device 238 such as a keyboard and a mouse and an output device 239 such as a display.
  • the test control device 202 tests the sample based on the processing result of the image processing device 230 performed on the two-dimensional image captured by the camera 213, and controls the entire sample test device 200.
  • the same processing as the above-described preparation processing and recognition processing is executed by the image processing device 230 with a specific inspection target in a sample as an object.
  • the target includes, for example, bacteria, viruses, proteins, etc., but is not limited to these.
  • the image processing device 230 images a plurality of two-dimensional images Gi of a reference object and extracts a feature point P such as a vertex of the object from each two-dimensional image Gi. Then, the image processing device 230 generates the feature data 3Di(x, y, z; f) of each extracted feature point P, creates the three-dimensional shape model Md, and stores it in the storage unit 232.
  • the image processing device 230 images the two-dimensional image Ga of the sample to extract the feature point P, and uses the feature point P and the feature point Pm of the three-dimensional shape model Md using the feature descriptor f. And the matching is performed to recognize the position and orientation of each vertex of the detected object.
  • the inspection control device 202 can detect or inspect the object in the sample. That is, the sample inspection apparatus 200 can accurately inspect the three-dimensional target object in the sample from the two-dimensional image of the sample. Further, in such inspection, it is difficult to acquire the three-dimensional CAD data of the object, but the three-dimensional shape model Md can be appropriately created from the plurality of two-dimensional images Gi.
  • the three-dimensional shape model M is created from a plurality of two-dimensional images Gi, but the invention is not limited to this, and the three-dimensional shape model M is created from drawing data such as CAD data of an object. It may be done.
  • the image processing device 30 is not limited to the one that creates the three-dimensional shape model M, and the three-dimensional shape model M created by another device may be stored in the storage unit 32 or the like.
  • the warning is notified when the work W is displaced from the center position when capturing a plurality of two-dimensional images Gi.
  • the present invention is not limited to this, and the warning is not notified. May be However, it is preferable that the notification is made in order to acquire the two-dimensional image Gi in which the parallax appropriately appears.
  • the three-dimensional geometric model M is created by excluding the feature points P having a small number of appearances.
  • the present invention is not limited to this, and the three-dimensional shape including the extracted feature points P regardless of the number of appearances.
  • the shape model M may be created.
  • the rough position Pr is adjusted so that the degree of overlap between the projection image obtained by projecting the three-dimensional shape model M and the two-dimensional image Ga is larger, and the three-dimensional position information of the feature point P is specified.
  • the position of the feature point P may be specified by matching without performing such superposition.
  • the feature amount is extracted using machine learning such as DNN, but the present invention is not limited to this, and any feature amount of the feature point P such as SURF feature amount or SIFT feature amount may be extracted. Any method may be used.
  • the vertical articulated work robot 20 is illustrated, but the invention is not limited to this, and a horizontal articulated robot or a parallel link robot may be used.
  • the contents of the present disclosure are not limited to those applied to the work robot, the substrate inspection device, and the sample inspection device, and may be applied to other devices such as a machine tool.
  • the image processing device is not limited to those provided in those devices, and may be configured as an independent device.
  • the third embodiment described above exemplifies the case where the content of the present disclosure is applied to the detection of proteins and the like, but the present invention is not limited to this, and is applied to image processing of minute objects such as micrometer order and nanometer order. Anything will do. Further, the contents of the present disclosure may be applied to image processing when a predetermined operation using a micromanipulator or the like is performed on such a minute object.
  • the image processing device of the present disclosure may be configured as follows.
  • the extraction processing unit may include a plurality of two-dimensional images of the object captured by the camera from a plurality of viewpoints in a state where the reference object is arranged at a predetermined position.
  • the creation processing unit that creates the three-dimensional shape model in which the feature amount and the three-dimensional position information are associated with the feature points and stores the created three-dimensional shape model in the storage unit. By doing so, a three-dimensional shape model can be created even when the three-dimensional shape data of the object cannot be acquired.
  • the extraction processing unit includes the plurality of two-dimensional images in which the camera is based on the predetermined position in a state where the reference object is arranged at the predetermined position. It is also possible to include an informing unit that acquires images captured by sequentially moving to the viewpoint, and issues an alarm when the positional displacement amount of the object with respect to the predetermined position is equal to or more than a predetermined allowable amount. By doing so, the height information of the feature points can be obtained from the two-dimensional image in which the parallax appropriately appears, so that the three-dimensional shape model can be created accurately.
  • the creation processing unit counts the frequency that appears in the plurality of two-dimensional images for each of the feature points extracted from the plurality of two-dimensional images, and the counted frequency is predetermined.
  • the three-dimensional shape model may be created by using the feature points that are equal to or more than the number. By doing this, it is possible to create a three-dimensional shape model that excludes feature points that appear less frequently and have low reliability, and thus it is possible to further improve the recognition accuracy of the object while reducing the processing load of matching. ..
  • the recognition processing unit sets a rough position of the feature point by the matching, and projects an image of the three-dimensional shape model on the two-dimensional image based on the set rough position.
  • the rough position may be adjusted so that the degree of overlap between the projected image and the two-dimensional image becomes larger, and the three-dimensional position information of the feature point may be specified. This makes it possible to appropriately correct the matching error and more accurately recognize the position and orientation of the target object.
  • the extraction processing unit may perform extraction of the feature amount by predetermined machine learning. This makes it possible to appropriately perform matching while improving the extraction accuracy of the feature amount of the feature point.
  • a work robot includes any one of the image processing devices described above, and a camera that captures the two-dimensional image of the work as the object, and the image is obtained from the two-dimensional image captured by the camera.
  • the work is picked up and a predetermined work is performed based on the recognition result of the work recognized by the processing device. Since the work robot of the present disclosure picks up a work and performs a predetermined work based on the recognition result of the work recognized by any of the above-described image processing devices, it is possible to appropriately pick up the work and improve work accuracy. You can
  • a board inspection apparatus includes any one of the above-described image processing apparatuses, and a camera that captures a two-dimensional image by using a product provided on the board as a target object by a predetermined operation on the board.
  • the inspection of the substrate is performed based on the recognition result of the resultant product recognized by the image processing apparatus from the two-dimensional image captured by the. Since the board inspection apparatus of the present disclosure inspects the board based on the recognition result of the result recognized by any of the image processing apparatuses described above, the board inspection can be performed accurately using the two-dimensional image of the result. It can be carried out.
  • the specimen inspection apparatus of the present disclosure includes any one of the image processing apparatuses described above, a microscope apparatus that magnifies an image of the specimen as the object, and a camera that captures a two-dimensional image of the specimen magnified by the microscope apparatus. And, based on the recognition result of the specimen recognized by the image processing apparatus from the two-dimensional image captured by the camera, the specimen is inspected. Since the sample inspection device of the present disclosure performs the inspection of the sample based on the recognition result of the sample recognized by any of the above-described image processing devices, the sample inspection device uses the two-dimensional image of the sample magnified by the microscope device. The inspection can be performed accurately.
  • the present disclosure can be used in the manufacturing industry of image processing devices, work robots, substrate inspection devices, and sample inspection devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置は、対象物が有する複数の特徴点の特徴量および三次元の位置情報が対応付けられた三次元形状モデルを記憶する記憶部と、カメラにより撮像された対象物の二次元画像から特徴点の特徴量および二次元の位置情報を抽出する抽出処理部と、二次元画像の特徴点と三次元形状モデルの特徴点とのマッチングを特徴量を用いて行うことにより、二次元画像の特徴点の三次元の位置情報を特定して対象物の位置および姿勢を認識する認識処理部と、を備えるものである。

Description

画像処理装置、作業ロボット、基板検査装置および検体検査装置
　本明細書は、画像処理装置、作業ロボット、基板検査装置および検体検査装置を開示する。
　従来、画像処理装置として、対象物の二次元画像（平面画像）の画像データを取得し、その画像データに基づいて三次元空間における対象物の位置および姿勢を検出するものが提案されている（例えば、特許文献１参照）。この装置では、対象物の各面のテンプレート画像を用意しておき、取得した画像データに含まれる対象物の画像から可視面を検出して各可視面に対応するテンプレート画像をそれぞれ読み込み、テンプレート画像毎に視線方向を画像データの視線方向に合わせて変更した変換画像データを作成する。そして、画像処理装置は、画像データと変換画像データとの一致度を計算し、一致度が閾値を超えて有効とされる面のうち信頼性が最も高い面に基づいて、対象物の位置および姿勢を求めるものとしている。
特開２０１２－１８５７５２号公報
　上述した画像処理装置では、撮像された画像データの可視面に存在する全ての点について変換行列を用いた変換処理を施して変換画像データを作成する。このため、画像処理装置の処理負担が大きくなって、位置や姿勢を認識するのに時間がかかる場合がある。
　本開示は、処理負担を抑えつつ対象物の位置や姿勢を精度よく認識することを主目的とする。
　本開示は、上述の主目的を達成するために以下の手段を採った。
　本開示の画像処理装置は、対象物の複数の特徴点の特徴量および三次元の位置情報が対応付けられた三次元形状モデルを記憶する記憶部と、カメラにより撮像された前記対象物の二次元画像から特徴点の特徴量および二次元の位置情報を抽出する抽出処理部と、前記二次元画像の特徴点と前記三次元形状モデルの特徴点とのマッチングを前記特徴量を用いて行うことにより、前記二次元画像の特徴点の三次元の位置情報を特定して前記対象物の位置および姿勢を認識する認識処理部と、を備えることを要旨とする。
　本開示の画像処理装置は、カメラにより撮像された対象物の二次元画像から特徴点の特徴量および二次元の位置情報を抽出し、二次元画像の特徴点と三次元形状モデルの特徴点とのマッチングを特徴量を用いて行うことにより対象物の位置および姿勢を認識する。これにより、対象物の位置および姿勢を認識する際に、対象物の二次元画像から抽出した特徴点と三次元形状モデルの特徴点とのマッチングを行えばよく、画像内の全ての点の処理を行う必要がないから処理負担を軽減することができる。また、各特徴点の特徴量を用いてマッチングを適切に行うことができる。したがって、処理負担を抑えつつ対象物の位置や姿勢を精度よく認識することができる。
第１実施形態のロボットシステム１０の構成の概略を示す構成図。 準備処理の一例を示すフローチャート。 画像取得処理の一例を示すフローチャート。 モデル作成処理の一例を示すフローチャート。 画像取得処理における複数の視点の一例を示す説明図。 複数の二次元画像Ｇｉの一例を示す説明図。 二次元画像Ｇｉから作成される三次元形状モデルＭの一例を示す説明図。 認識処理の一例を示すフローチャート。 二次元画像Ｇａの一例を示す説明図。 マッチング処理の一例を示すフローチャート。 マッチング処理の様子の一例を示す説明図。 第２実施形態の基板作業ライン１００の構成の概略を示す構成図。 第３実施形態の検体検査装置２００の構成の概略を示す構成図。
　次に、本開示を実施するための形態について図面を参照しながら説明する。
［第１実施形態］
　図１は第１実施形態のロボットシステム１０の構成の概略を示す構成図である。なお、図１の左右方向がＸ軸方向であり、前後方向がＹ軸方向であり、上下方向がＺ軸方向である。第１実施形態のロボットシステム１０は、図示するように、供給装置１２と、搬送装置１４と、作業ロボット２０と、制御装置１８とを備える。供給装置１２は、前後方向（Ｙ軸方向）に離して配置された駆動ローラおよび従動ローラに架け渡されたコンベアベルト１２ａを備え、駆動ローラの回転駆動により、コンベアベルト１２ａ上の機械部品や電子部品などの複数のワークＷを後方から前方へ供給する。搬送装置１４は、コンベアベルトにより構成され、ワークＷの供給方向と直交する方向（Ｘ軸方向）にトレイＴを搬送し、中央位置にて位置決め保持する。制御装置１８は、ＣＰＵやＲＯＭ，ＲＡＭ，ＨＤＤ，入出力ポートなどを備え、供給装置１２と搬送装置１４と作業ロボット２０の各動作を制御する。
　作業ロボット２０は、先端に作業ツールとしてのチャックを備える垂直多関節のロボットアーム２２と、ロボットアーム２２の先端に取り付けられるカメラ２４と、カメラ２４により撮像された画像を処理する画像処理装置３０とを備える。作業ロボット２０は、ロボットアーム２２の作動により、コンベアベルト１２ａ上のワークＷをチャックでピックアップして、トレイＴ上にプレースする作業や所定箇所に組み付ける作業などを行う。カメラ２４は、ワークＷの位置および姿勢を認識するために二次元画像を撮像し、画像処理装置３０に出力する。画像処理装置３０は、ＨＤＤ等によって構成され、画像処理に必要なプログラムや三次元形状モデルＭなどを記憶する記憶部３２を備え、キーボードやマウス等の入力装置３８と、ディスプレイ等の出力装置３９とが接続されている。
　次に、ロボットシステム１０がワークＷの位置および姿勢を認識するための各種処理を説明する。まず、認識するための準備処理を説明する。図２は準備処理の一例を示すフローチャートであり、主に画像処理装置３０の機能により実行される。この処理では、画像処理装置３０は、基準となるワークＷの複数の二次元画像Ｇｉを取得する画像取得処理を実行して（Ｓ１００）、各二次元画像Ｇｉの特徴点Ｐを複数抽出する（Ｓ１１０）。そして、画像処理装置３０は、各特徴点Ｐから三次元モデルＭを作成するモデル作成処理を実行して（Ｓ１２０）、準備処理を終了する。Ｓ１００の画像取得処理は図３のフローチャートに基づいて実行され、Ｓ１２０のモデル作成処理は図４のフローチャートに基づいて実行される。また、図５は画像取得処理における複数の視点の一例を示す説明図であり、図６は複数の二次元画像Ｇｉの一例を示す説明図であり、図７は二次元画像Ｇｉから作成される三次元形状モデルＭの一例を示す説明図である。本実施形態では、形状を簡略化した立方体形状のワークＷを示す。
　図３（Ｓ１００）の画像取得処理では、画像処理装置３０は、まず、所定の撮像領域の中心にワークＷを配置するように出力装置３９に指示を出力する（Ｓ２００）。本実施形態では、この指示に基づいて作業者がワークＷを配置するものとする。次に、画像処理装置３０は、制御装置１８による作業ロボット２０の制御により撮像領域の中心の視点Ｅ０上の所定高さ位置にカメラ２４を移動させて（Ｓ２１０）、視点Ｅ０上でカメラ２４により二次元画像Ｇ０を撮像させる（Ｓ２２０，図５Ａ）。二次元画像Ｇ０は、ワークＷを真上から撮像した画像となる。続いて、画像処理装置３０は、二次元画像Ｇ０におけるワークＷの中心位置の位置ずれ量を算出し（Ｓ２３０）、位置ずれ量が所定量未満であるか否かを判定する（Ｓ２４０）。なお、ワークＷは、Ｓ２００で撮像領域の中心への配置が指示されるため、Ｓ２２０で撮像された二次元画像Ｇ０の画像中心と、二次元画像Ｇ０内のワークＷの中心とが基本的には一致する。ただし、ワークＷが撮像領域の中心からずれて配置されていると、位置ずれ量が所定量以上となる場合がある。
　画像処理装置３０は、Ｓ２４０で位置ずれ量が所定量以上であると判定すると、ワークＷの位置ずれの警告を出力装置３９に出力し（Ｓ２５０）、作業者によりワークＷが撮像領域の中心に再配置されるのを待つ（Ｓ２６０）。作業者は、ワークＷを再配置すると、入力装置３８を用いてその旨を入力する。画像処理装置３０は、ワークＷが再配置されたと判定すると、Ｓ２２０に戻り処理を行う。一方、画像処理装置３０は、Ｓ２４０で位置ずれ量が所定量未満であると判定すると、制御装置１８による作業ロボット２０の制御により複数の視点Ｅｉ上にカメラ２４を順次水平移動させて複数の二次元画像Ｇｉを撮像して（Ｓ２７０）、画像取得処理を終了する。図５に示すように、複数の視点Ｅｉは、視点Ｅ０と、視点Ｅ０を中心とする矩形領域（例えば正方形領域）の各頂点や各辺の中点などに定められた視点Ｅ１～Ｅ８との計９視点であり、各視点Ｅ１～Ｅ８間の距離が予め定められたものとなっている。図５Ｂは、視点Ｅ０上から視点Ｅ１上に水平移動したカメラ２４が二次元画像Ｇ１を撮像する様子を示す。二次元画像Ｇ１では、二次元画像Ｇ０と異なりワークＷの側面も写るものとなる。また、図６は、各視点Ｅ０～Ｅ８でそれぞれ撮像された二次元画像Ｇ０～Ｇ８を示す。図示するように、異なる視点で様々な視差の二次元画像Ｇｉが取得される。なお、本実施形態は、二次元画像Ｇｉが撮像される複数の視点として９視点を例示するが、２以上の視点であればよい。また、ワークＷとカメラ２４とが相対的に移動して複数の視点で二次元画像Ｇｉが撮像されればよく、カメラ２４ではなくワークＷが移動するものとしてもよい。
　こうしてＳ１００で二次元画像Ｇｉを取得すると、画像処理装置３０は、Ｓ１１０で各二次元画像Ｇｉからキーポイントである特徴点Ｐ（特徴データ２Ｄｉ（ｘ，ｙ；ｆ））を抽出する。画像処理装置３０は、例えば、各二次元画像Ｇｉにおける各画素の輝度値から互いに直交する二方向の輝度分布を求め、それらの変化量が所定量以上となる点を特徴点Ｐとして抽出する。このため、特徴点Ｐは、ワークＷの頂点やワークＷの異なる材質の境界点、ワークＷの異なる表面性状の境界点などに現れやすく、光の反射やノイズの影響などを抑えやすいものとなる。図７では特徴点Ｐを丸印で示す。図示するように、特徴点Ｐは、その殆どがワークＷの頂点から抽出されるが、光の反射やノイズの影響などによりワークＷの面内から抽出されるものもある。本実施形態では、各二次元画像Ｇｉからの特徴点Ｐの抽出を、例えばＤＮＮ（ディープニューラルネットワーク）などの機械学習を用いて行い、特徴点近傍の固有の輝度分布が各特徴点Ｐの特徴記述子ｆ（特徴量）として出力される。画像処理装置３０は、各特徴点Ｐの特徴データ２Ｄｉ（ｘ，ｙ；ｆ）として、二次元画像Ｇｉ内の所定位置を基準とする各特徴点Ｐの位置座標（ｘ，ｙ）と、各特徴点Ｐの特徴記述子ｆとを含むデータを抽出する。なお、位置座標（ｘ、ｙ）の基準となる所定位置は、例えば二次元画像Ｇｉ内のワークＷの正面の中心となる位置やワークＷの重心となる位置などに適宜定めることができる。
　図４（Ｓ１２０）のモデル作成処理では、画像処理装置３０は、まず、異なる二次元画像Ｇｉから抽出された特徴点Ｐの対応付けを行うと共に（Ｓ３００）、対応付けられた特徴点Ｐが各二次元画像Ｇｉに出現する度数である出現数をカウントする（Ｓ３１０）。Ｓ３００，Ｓ３１０では、画像処理装置３０は、主に特徴点Ｐの特徴記述子ｆに基づいて、位置座標（ｘ，ｙ）を参照しながら、特徴点Ｐの対応付けを行い、対応付けられた特徴点Ｐの出現数をカウントする。図７では、二次元画像Ｇ０のワークＷ正面の四隅の特徴点Ｐ（例えばＰｓ）は、二次元画像Ｇ１～Ｇ８のワークＷ正面の四隅の特徴点Ｐにそれぞれ対応付けられ、各二次元画像Ｇ０～Ｇ８に出現するため、出現数がそれぞれ値９とカウントされる。また、二次元画像Ｇ１のワークＷ側面における奥側の２つの特徴点Ｐ（Ｐｔ，Ｐｕ）は、二次元画像Ｇ１～Ｇ４，Ｇ８の５つの画像に出現する特徴点Ｐ（Ｐｔ）か、二次元画像Ｇ１，Ｇ２，Ｇ６～Ｇ８の５つの画像に出現する特徴点Ｐ（Ｐｕ）にそれぞれ対応付けられるため、出現数がそれぞれ値５とカウントされる。また、二次元画像Ｇ４，Ｇ５のワークＷ正面の面内の特徴点Ｐは、いずれも当該画像にのみ出現しており、他の二次元画像Ｇｉの特徴点Ｐと対応付けられないため、出現数はそれぞれ値１とカウントされる。このような出現数の少ない特徴点Ｐは、上述したように光の反射やノイズの影響などよって抽出される。
　次に、画像処理装置３０は、特徴点Ｐの出現数が所定数以上であるか否かを判定し（Ｓ３２０）、所定数以上であると判定すると、その特徴点Ｐを三次元形状モデルＭの登録対象の特徴点Ｐｍに設定し（Ｓ３３０）、所定数以上でないと判定すると、その特徴点Ｐを三次元形状モデルＭの登録対象から除外する（Ｓ３４０）。所定数は、図７の二次元画像Ｇ４，Ｇ５のみに出現するような特徴点Ｐを排除できる値に適宜定められるものとする。これにより、画像処理装置３０は、光の反射やノイズの影響を排除して、三次元形状モデルＭの登録対象の特徴点Ｐｍを適切に設定することができる。また、画像処理装置３０は、登録対象に設定した特徴点Ｐｍの高さｚを二次元画像Ｇｉ同士の視差から算出し三次元情報（ｘ，ｙ，ｚ）を生成する（Ｓ３５０）。上述したように、各視点Ｅｉは、その間の距離が定められ、また、カメラ２４が二次元画像Ｇｉを撮像する際の所定高さ位置も定められている。このため、画像処理装置３０は、いわゆるステレオカメラの原理により、二次元画像Ｇｉ同士の視差から特徴点Ｐの高さｚを算出することができる。そして、画像処理装置３０は、各特徴点Ｐについての処理が完了したか否かを判定し（Ｓ３６０）、完了していないと判定すると、Ｓ３００に戻り処理を繰り返す。一方、画像処理装置３０は、Ｓ３６０で各特徴点Ｐの処理が完了したと判定すると、三次元情報（ｘ，ｙ，ｚ）と特徴記述子ｆとを有する特徴点Ｐｍの特徴データ３Ｄｉ（ｘ，ｙ，ｚ；ｆ）で構成された三次元形状モデルＭを作成し記憶部３２に記憶して（Ｓ３７０，図７参照）、モデル作成処理を終了する。このようにして、画像処理装置３０は、複数視点の二次元画像Ｇｉから三次元形状モデルＭを作成する。
　続いて、ロボットシステム１０がワークＷに対する作業を行う際に、対象物であるワークＷの位置および姿勢を認識するための処理を説明する。図８は認識処理の一例を示すフローチャートであり、主に画像処理装置３０の機能により実行される。この処理が開始されると、画像処理装置３０は、まず、コンベアベルト１２ａ上の作業対象のワークＷの二次元画像Ｇａをカメラ２４により撮像する（Ｓ４００）。なお、カメラ２４は、制御装置１８の制御により、上述した所定高さ位置で撮像する。次に、画像処理装置３０は、二次元画像ＧａからワークＷの特徴点Ｐの特徴データ２Ｄｉ（ｘ，ｙ；ｆ）を抽出する（Ｓ４１０）。図９は二次元画像Ｇａの一例を示す説明図である。図９の二次元画像Ｇａでは、４つのワークＷからそれぞれ特徴点Ｐ（丸印）が抽出される。なお、特徴点Ｐは、各ワークＷの頂点以外に正面の面内からも抽出されている。続いて、画像処理装置３０は、二次元画像Ｇａの各特徴点Ｐと三次元モデルＭの特徴点Ｐｍとをマッチングするマッチング処理を実行して（Ｓ４２０）、認識処理を終了する。Ｓ４２０のマッチング処理は、図１０のフローチャートに基づいて実行される。また、図１１はマッチング処理の様子の一例を示す説明図である。
　図１０（Ｓ４２０）のマッチング処理では、画像処理装置３０は、まず、Ｓ４１０で抽出した二次元画像Ｇａの特徴点Ｐと三次元形状モデルＭの特徴点Ｐｍとをマッチングする（Ｓ５００，図１１Ａ参照）。Ｓ５００では、画像処理装置３０は、二次元画像Ｇａ内のいずれかのワークＷにおける各特徴点Ｐの特徴データ２Ｄｉ（ｘ，ｙ；ｆ）と、三次元形状モデルＭの各特徴点Ｐｍの特徴データ３Ｄｉ（ｘ，ｙ，ｚ；ｆ）とを、上述した特徴記述子ｆを用いてマッチングする。画像処理装置３０は、マッチングにより、二次元画像Ｇａの特徴点Ｐに同一またはより類似度の高い三次元形状モデルＭの特徴点Ｐｍを選定し、各特徴点Ｐの粗位置Ｐｒ（ｘ，ｙ，ｚ，Ｒｘ，Ｒｙ，Ｒｚ）を設定する（Ｓ５１０）。Ｒｘ，Ｒｙ，Ｒｚは、それぞれＸ軸，Ｙ軸，Ｚ軸に対する回転量（回転角度）を示す。画像処理装置３０は、位置座標の誤差や回転量の誤差ができるだけ均等に分散されるように、粗位置Ｐｒ（ｘ，ｙ，ｚ，Ｒｘ，Ｒｙ，Ｒｚ）を設定する。
　次に、画像処理装置３０は、設定した粗位置Ｐｒに基づいて三次元形状モデルＭの画像を二次元画像Ｇａ上に投影する（Ｓ５２０，図１１Ｂ参照）。なお、図１１Ｂでは投影画像を点線で示す。続いて、画像処理装置３０は、三次元形状モデルＭの投影画像と二次元画像Ｇａ内のワークＷとの重なり具合が大きくなるように位置調整を行い（Ｓ５３０）、重なり具合が最大となる位置（ｘ，ｙ，ｚ，Ｒｘ，Ｒｙ，Ｒｚ）を特徴点Ｐの三次元の位置に特定しワークＷの位置および姿勢を認識して（Ｓ５４０）、マッチング処理を終了する。画像処理装置３０は、例えばＳ５３０，Ｓ５４０では、投影画像を画素単位で位置調整しながら、着目画素とそれに重なる画素との輝度差を取得し、その点を補間した波形の変化率が値０となる位置をサブ画素単位で検出することで重なり具合が最大となる位置を特定する。図１１Ｂの例では、図中の矢印方向に投影画像の位置を調整することになる。このようにして、画像処理装置３０は、二次元画像Ｇａと三次元形状モデルＭとからワークＷの位置および姿勢を認識することができる。また、制御装置１８は、認識されたワークＷの位置および姿勢に基づいてロボットアーム２２を制御するから、ワークＷを適切にピックアップさせることができる。
　ここで、第１実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。第１実施形態の記憶部３２が記憶部に相当し、図８の認識処理のＳ４１０を実行する画像処理装置３０が抽出処理部に相当し、認識処理のＳ４２０を実行する画像処理装置３０が認識処理部に相当し、画像処理装置３０が画像処理装置に相当する。図２の準備処理のＳ１２０を実行する画像処理装置３０が作成処理部に相当する。図３の画像取得処理のＳ２３０～Ｓ２５０を実行する画像処理装置３０と出力装置３９とが報知部に相当する。また、カメラ２４がカメラに相当し、作業ロボット２０が作業ロボットに相当する。
　以上説明した第１実施形態の作業ロボット２０では、画像処理装置３０が、カメラ２４に撮像されたワークＷの二次元画像Ｇａの特徴点Ｐと三次元形状モデルＭの特徴点ＰｍとのマッチングによりワークＷの位置および姿勢を認識する。このため、画像処理装置３０は、二次元画像Ｇａ内の全ての点の処理を行う必要がなく、特徴点Ｐの特徴記述子ｆに基づいてマッチングを適切に行うことができるから、処理負担を抑えつつワークＷの位置や姿勢を精度よく認識することができる。また、作業ロボット２０は、ワークＷを適切にピックアップして作業精度を向上させることができる。また、作業ロボット２０は、三次元画像を撮像するための比較的大型のカメラや比較的高額のカメラを備える必要がないものとなる。
　また、画像処理装置３０は、ワークＷの三次元形状データを取得できない場合でも、ワークＷの複数の二次元画像Ｇｉから三次元形状モデルＭを作成することができる。また、画像処理装置３０は、中心位置からワークＷがずれている場合に警告を報知するから、視差が適切に現れた二次元画像Ｇｉから特徴点Ｐの高さｚを適切に求めることができる。また、画像処理装置３０は、出現数の少ない特徴点Ｐを排除して三次元形状モデルＭを作成するから、マッチングの処理負担を軽減しつつワークＷの認識精度をより向上させることができる。また、画像処理装置３０は、三次元形状モデルＭの投影画像と二次元画像Ｇａとの重なり度合いがより大きくなるように粗位置Ｐｒを調整するから、マッチングの誤差を適切に修正することができる。また、画像処理装置３０は、ＤＮＮなどの機械学習により、特徴点Ｐの特徴記述子ｆの抽出精度を向上させることができる。
［第２実施形態］
　次に、第２実施形態について説明する。図１２は第２実施形態の基板作業ライン１００の構成の概略を示す構成図である。基板作業ライン１００は、基板Ｂに粘性流体であるはんだを印刷する印刷装置１１０と、印刷状態を検査する印刷検査装置１１５と、基板Ｂに部品を実装する実装装置１２０と、部品の実装状態を検査する実装検査装置１２５とを備える。各装置は、図示しない管理装置に接続されており、管理装置から受信した作業指示に基づいて各作業を実行したり、各作業の実行状況を管理装置に送信したりする。また、各装置は、下記の構成以外に入力装置と出力装置とをそれぞれ備える。
　印刷装置１１０は、印刷制御装置１１１と、印刷部１１２と、カメラ１１３とを備える。印刷部１１２は、スクリーンマスクのパターン孔にスキージを用いてはんだを押し込んで基板Ｂにはんだを印刷する。印刷制御装置１１１は、カメラ１１３により撮像された二次元画像に基づいて所定の印刷位置にはんだを印刷するように印刷部１１２を制御する。印刷検査装置１１５は、検査制御装置１１６と、画像処理装置１１７と、カメラ１１９とを備える。画像処理装置１１７は、カメラ１１９により撮像された基板Ｂの二次元画像に各種画像処理を行うものであり、基板Ｂに印刷されたはんだの三次元形状モデルＭｂなどを記憶する記憶部１１８を備える。検査制御装置１１６は、カメラ１１９により撮像された二次元画像に対してなされた画像処理装置１１７の処理結果に基づいて印刷状態を検査したり、印刷検査装置１１５の全体を制御したりする。
　実装装置１２０は、実装制御装置１２１と、実装部１２２と、カメラ１２３とを備える。実装部１２２は、吸着ノズルを備えるヘッドを備え、図示しない供給ユニットにより供給された部品を吸着ノズルで吸着し、ヘッドを基板Ｂ上に移動させて基板Ｂに部品を実装する。実装制御装置１２１は、カメラ１２３により撮像された二次元画像に基づいて所定の実装位置に部品を実装するように実装部１２２を制御する。実装検査装置１２５は、検査制御装置１２６と、画像処理装置１２７と、カメラ１２９とを備える。画像処理装置１２７は、カメラ１２９により撮像された基板Ｂの二次元画像に各種画像処理を行うものであり、基板Ｂに実装された部品の三次元形状モデルＭｃなどを記憶する記憶部１２８を備える。検査制御装置１１６は、カメラ１２９により撮像された二次元画像に対してなされた画像処理装置１２７の処理結果に基づいて部品の実装状態を検査したり、実装検査装置１２５の全体を制御したりする。
　この第２実施形態では、例えば、基板Ｂに印刷されたはんだなどの印刷物（結果物）を対象物として、印刷検査装置１１５（基板検査装置）の画像処理装置１１７により、上述した準備処理や認識処理と同様な処理が実行される。準備処理では、画像処理装置１１７は、基準となる印刷物を対象物として、複数の二次元画像Ｇｉを撮像し、各二次元画像Ｇｉから印刷物の頂点などの特徴点Ｐを抽出する。そして、画像処理装置１１７は、抽出した各特徴点Ｐの特徴データ３Ｄｉ（ｘ，ｙ，ｚ；ｆ）を生成し、三次元形状モデルＭｂを作成して記憶部１１８に記憶する。また、認識処理では、画像処理装置１１７は、印刷物が形成された基板Ｂの二次元画像Ｇａを撮像して特徴点Ｐを抽出し、特徴点Ｐと三次元形状モデルＭｂの特徴点Ｐｍとを特徴記述子ｆを用いてマッチングして、印刷物の各頂点位置や姿勢などを認識する。この認識結果に基づいて、検査制御装置１１６は、基板Ｂに印刷されたはんだの高さが適切であるか否かや、はんだの量（体積）が適切であるか否かなどの印刷状態の検査を行うことができる。即ち、印刷検査装置１１５は、印刷物の二次元画像から基板Ｂの立体的な印刷状態の検査を行うことができる。
　また、第２実施形態において、印刷物を対象物とするものに限られず、以下のようにしてもよい。例えば、基板Ｂに実装された部品（結果物）を対象物として、実装検査装置１２５（基板検査装置）の画像処理装置１２７が準備処理を実行して三次元形状モデルＭｃを記憶部１２８に記憶する。また、部品の二次元画像Ｇａと三次元形状モデルＭｃとに基づく画像処理装置１２７の認識処理の結果に基づいて、検査制御装置１２６は、基板Ｂに実装された部品の高さが正常であるか否かや傾き度合いが許容範囲内であるか否かなどの実装状態の検査を行うものとしてもよい。また、検査制御装置１２６は、三次元形状モデルＭｃの特徴点Ｐｍとは異なる位置に特徴点Ｐが現れるか否かに基づいて部品の疵の有無を検査することもできる。あるいは、実装装置１２０が画像処理装置を備え、供給される部品を対象物として準備処理や認識処理を実行してもよい。このような実装装置１２０には、複数の部品をバラバラの状態で収容してそれらを整列させながら供給するバルクフィーダや複数の部品を平板状のトレイに収容して供給するトレイフィーダなどが用いられるものがある。そのようなフィーダから供給された部品の位置や姿勢を適切に認識して、部品を適切にピックアップ（吸着）することができる。
［第３実施形態］
　次に、第３実施形態について説明する。図１３は第３実施形態の検体検査装置２００の構成の概略を示す構成図である。検体検査装置２００は、顕微鏡装置２１０と、画像処理装置２３０と、検査制御装置２０２とを備える。顕微鏡装置２１０は、検査対象物としての検体の像を拡大するための顕微鏡部２１２と、顕微鏡装置２１０に内蔵され拡大された検体の二次元画像を撮像するカメラ２１３とを備える。顕微鏡部２１２は、検体が載置されるステージ２１２ａと対物レンズ２１２ｂの他、図示は省略するが、ステージ２１２ａを水平方向や垂直方向に移動させるステージ駆動部や対物レンズ２１２ｂを合焦させる焦準部、検体に光を照射する照射部、検体の観察光をカメラ２１３に導く光学系などを備える。画像処理装置２３０は、カメラ２１３により撮像された検体の二次元画像に各種画像処理を行う。また、画像処理装置２３０は、検体の三次元形状モデルＭｄなどを記憶する記憶部２３２を備え、キーボードやマウス等の入力装置２３８と、ディスプレイ等の出力装置２３９とが接続されている。検査制御装置２０２は、カメラ２１３により撮像された二次元画像に対してなされた画像処理装置２３０の処理結果に基づいて検体の検査を行ったり、検体検査装置２００の全体を制御したりする。
　この第３実施形態では、例えば、検体中の特定の検査対象を対象物として、画像処理装置２３０により、上述した準備処理や認識処理と同様な処理が実行される。なお、対象物（特定の検査対象）としては、例えば細菌やウイルス、タンパク質などが挙げられるが、これらに限定されるものではない。画像処理装置２３０は、基準となる対象物の複数の二次元画像Ｇｉを撮像し、各二次元画像Ｇｉから対象物の頂点などの特徴点Ｐを抽出する。そして、画像処理装置２３０は、抽出した各特徴点Ｐの特徴データ３Ｄｉ（ｘ，ｙ，ｚ；ｆ）を生成し、三次元形状モデルＭｄを作成して記憶部２３２に記憶する。また、認識処理では、画像処理装置２３０は、検体の二次元画像Ｇａを撮像して特徴点Ｐを抽出し、特徴点Ｐと三次元形状モデルＭｄの特徴点Ｐｍとを特徴記述子ｆを用いてマッチングして、検出物の各頂点位置や姿勢などを認識する。この認識結果に基づいて、検査制御装置２０２は、検体中の対象物の検出や検査を行うことができる。即ち、検体検査装置２００は、検体の二次元画像から検体中の三次元形状の対象物の検査を精度よく行うことができる。また、このような検査では、対象物の三次元ＣＡＤデータなどを取得するのは困難であるが、複数の二次元画像Ｇｉから三次元形状モデルＭｄを適切に作成することができる。
　なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
　例えば、上述した実施形態では、複数の二次元画像Ｇｉから三次元形状モデルＭを作成するものとしたが、これに限られず、対象物のＣＡＤデータなどの図面データから三次元形状モデルＭを作成するものとしてもよい。また、画像処理装置３０が三次元形状モデルＭを作成するものに限られず、他の装置により作成された三次元形状モデルＭが記憶部３２などに記憶されるものとしてもよい。
　上述した実施形態では、複数の二次元画像Ｇｉを撮像する際に中心位置からワークＷがずれている場合に警告を報知するものとしたが、これに限られず、そのような警告を報知しないものとしてもよい。ただし、視差が適切に現れた二次元画像Ｇｉを取得するために報知するものが好ましい。
　上述した実施形態では、出現数の少ない特徴点Ｐを排除して三次元形状モデルＭを作成するものとしたが、これに限られず、出現数に拘わらず、抽出した特徴点Ｐを含む三次元形状モデルＭを作成するものとしてもよい。
　上述した実施形態では、三次元形状モデルＭを投影した投影画像と二次元画像Ｇａとの重なり度合いがより大きくなるように粗位置Ｐｒを調整して特徴点Ｐの三次元の位置情報を特定するものとしたが、これに限られるものではない。そのような重ね合わせを行うことなく、マッチングにより特徴点Ｐの位置を特定するものなどとしてもよい。
　上述した実施形態では、ＤＮＮなどの機械学習を用いて特徴量を抽出するものとしたが、これに限られず、ＳＵＲＦ特徴量やＳＩＦＴ特徴量など特徴点Ｐの特徴量を抽出するものであれば如何なる手法を用いてもよい。
　上述した第１実施形態では、垂直多関節の作業ロボット２０を例示したが、これに限られず、水平多関節ロボットやパラレルリンクロボットなどであってもよい。また、本開示の内容を作業ロボットや基板検査装置、検体検査装置に適用するものに限られず、工作機械などの他の装置に適用するものとしてもよい。また、画像処理装置は、それらの装置が備えるものに限られず、独立した装置として構成してもよい。上述した第３実施形態では、タンパク質などの検出に本開示の内容を適用するものを例示したが、これに限られず、マイクロメートルオーダやナノメートルオーダなどの微小な対象物の画像処理に適用するものであればよい。また、そのような微小な対象物に対して、マイクロマニピュレータなどを用いた所定操作が行われる際の画像処理に本開示の内容を適用するものでもよい。
　ここで、本開示の画像処理装置は、以下のように構成してもよい。例えば、本開示の画像処理装置において、前記抽出処理部は、基準となる前記対象物が所定位置に配置された状態で前記カメラにより複数の視点で撮像された前記対象物の複数の二次元画像を取得し、該複数の二次元画像から前記特徴点の特徴量および二次元の位置情報を抽出し、前記二次元画像間の視差から前記特徴点の高さ情報を求めて三次元の位置情報を作成し、特徴量および三次元の位置情報を前記特徴点に対応付けた前記三次元形状モデルを作成して前記記憶部に記憶する作成処理部を備えるものとしてもよい。こうすれば、対象物の三次元形状データを取得できない場合でも三次元形状モデルを作成することができる。
　本開示の画像処理装置において、前記抽出処理部は、前記複数の二次元画像として、基準となる前記対象物が前記所定位置に配置された状態で前記カメラが前記所定位置を基準とする前記複数の視点に順次移動して撮像した画像を取得し、前記所定位置に対する前記対象物の位置ずれ量が所定の許容量以上である場合に警告を報知する報知部を備えるものとしてもよい。こうすれば、視差が適切に現れた二次元画像から特徴点の高さ情報を求めることができるから、三次元形状モデルを精度よく作成することができる。
　本開示の画像処理装置において、前記作成処理部は、前記複数の二次元画像から抽出した前記特徴点の各々について、前記複数の二次元画像に出現する度数をカウントし、該カウントした度数が所定数以上となる前記特徴点を用いて前記三次元形状モデルを作成するものとしてもよい。こうすれば、出現する度数が少なく信頼性の低い特徴点を排除した三次元形状モデルを作成することができるから、マッチングの処理負担を軽減しつつ対象物の認識精度をより向上させることができる。
　本開示の画像処理装置において、前記認識処理部は、前記マッチングにより前記特徴点の粗位置を設定し、該設定した粗位置に基づいて前記二次元画像上に前記三次元形状モデルの画像を投影し、該投影した画像と前記二次元画像との重なり度合いがより大きくなるように前記粗位置を調整して前記特徴点の三次元の位置情報を特定するものとしてもよい。こうすれば、マッチングの誤差を適切に修正して、対象物の位置および姿勢をより精度よく認識することができる。
　本開示の画像処理装置において、前記抽出処理部は、前記特徴量の抽出を所定の機械学習により行うものとしてもよい。こうすれば、特徴点の特徴量の抽出精度を向上させつつマッチングを適切に行うことができる。
　本開示の作業ロボットは、上述したいずれかの画像処理装置と、前記対象物としてのワークの前記二次元画像を撮像するカメラと、を備え、前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記ワークの認識結果に基づいて前記ワークをピックアップして所定作業を行うものである。本開示の作業ロボットは、上述したいずれかの画像処理装置により認識されたワークの認識結果に基づいてワークをピックアップして所定作業を行うから、ワークを適切にピックアップして作業精度を向上させることができる。
　本開示の基板検査装置は、上述したいずれかの画像処理装置と、基板に対する所定作業により該基板に設けられた結果物を前記対象物として二次元画像を撮像するカメラと、を備え、前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記結果物の認識結果に基づいて前記基板の検査を行うものである。本開示の基板検査装置は、上述したいずれかの画像処理装置により認識された結果物の認識結果に基づいて基板の検査を行うから、結果物の二次元画像を用いて基板の検査を精度よく行うことができる。
　本開示の検体検査装置は、上述したいずれかの画像処理装置と、前記対象物としての検体の像を拡大する顕微鏡装置と、前記顕微鏡装置により拡大された前記検体の二次元画像を撮像するカメラと、を備え、前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記検体の認識結果に基づいて該検体の検査を行うものである。本開示の検体検査装置は、上述したいずれかの画像処理装置により認識された検体の認識結果に基づいて検体の検査を行うから、顕微鏡装置により拡大された検体の二次元画像を用いて検体の検査を精度よく行うことができる。
　本開示は、画像処理装置、作業ロボット、基板検査装置および検体検査装置の製造産業などに利用可能である。
　１０　ロボットシステム、１２　供給装置、１２ａ　コンベアベルト、１４　搬送装置、１８　制御装置、２０　作業ロボット、２２　ロボットアーム、２４，１１３，１１９，１２３，１２９，２１３　カメラ、３０，１１７，１２７，２３０　画像処理装置、３２，１１８，１２８，２３２　記憶部、３８，２３８　入力装置、３９，２３９　出力装置、１００　基板作業ライン、１１０　印刷装置、１１１　印刷制御装置、１１２　印刷部、１１５　印刷検査装置、１１６，１２６，２０２　検査制御装置、１２０　実装装置、１２１　実装制御装置、１２２　実装部、１２５　実装検査装置、２００　検体検査装置、２１０　顕微鏡装置、２１２　顕微鏡部、２１２ａ　ステージ、２１２ｂ　レンズ、Ｍ，Ｍｂ，Ｍｃ，Ｍｄ　三次元形状モデル、Ｂ　基板、Ｔ　トレイ、Ｗ　ワーク。

Claims (9)

  1. 　対象物の複数の特徴点の特徴量および三次元の位置情報が対応付けられた三次元形状モデルを記憶する記憶部と、
    　カメラにより撮像された前記対象物の二次元画像から特徴点の特徴量および二次元の位置情報を抽出する抽出処理部と、
    　前記二次元画像の特徴点と前記三次元形状モデルの特徴点とのマッチングを前記特徴量を用いて行うことにより、前記二次元画像の特徴点の三次元の位置情報を特定して前記対象物の位置および姿勢を認識する認識処理部と、
    　を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記抽出処理部は、基準となる前記対象物が所定位置に配置された状態で前記カメラにより複数の視点で撮像された前記対象物の複数の二次元画像を取得し、該複数の二次元画像から前記特徴点の特徴量および二次元の位置情報を抽出し、
    　前記二次元画像間の視差から前記特徴点の高さ情報を求めて三次元の位置情報を作成し、特徴量および三次元の位置情報を前記特徴点に対応付けた前記三次元形状モデルを作成して前記記憶部に記憶する作成処理部を備える
    　画像処理装置。
  3. 　請求項２に記載の画像処理装置であって、
    　前記抽出処理部は、前記複数の二次元画像として、基準となる前記対象物が前記所定位置に配置された状態で前記カメラが前記所定位置を基準とする前記複数の視点に順次移動して撮像した画像を取得し、
    　前記所定位置に対する前記対象物の位置ずれ量が所定の許容量以上である場合に警告を報知する報知部を備える
    　画像処理装置。
  4. 　請求項２または３に記載の画像処理装置であって、
    　前記作成処理部は、前記複数の二次元画像から抽出した前記特徴点の各々について、前記複数の二次元画像に出現する度数をカウントし、該カウントした度数が所定数以上となる前記特徴点を用いて前記三次元形状モデルを作成する
    　画像処理装置。
  5. 　請求項１ないし４のいずれか１項に記載の画像処理装置であって、
    　前記認識処理部は、前記マッチングにより前記特徴点の粗位置を設定し、該設定した粗位置に基づいて前記二次元画像上に前記三次元形状モデルの画像を投影し、該投影した画像と前記二次元画像との重なり度合いがより大きくなるように前記粗位置を調整して前記特徴点の三次元の位置情報を特定する
    　画像処理装置。
  6. 　請求項１ないし５のいずれか１項に記載の画像処理装置であって、
    　前記抽出処理部は、前記特徴量の抽出を所定の機械学習により行う
    　画像処理装置。
  7. 　請求項１ないし６のいずれか１項に記載の画像処理装置と、
    　前記対象物としてのワークの前記二次元画像を撮像するカメラと、
    　を備え、
    　前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記ワークの認識結果に基づいて前記ワークをピックアップして所定作業を行う
    　作業ロボット。
  8. 　請求項１ないし６のいずれか１項に記載の画像処理装置と、
    　基板に対する所定作業により該基板に設けられた結果物を前記対象物として二次元画像を撮像するカメラと、
    　を備え、
    　前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記結果物の認識結果に基づいて前記基板の検査を行う
    　基板検査装置。
  9. 　請求項１ないし６のいずれか１項に記載の画像処理装置と、
    　前記対象物としての検体の像を拡大する顕微鏡装置と、
    　前記顕微鏡装置により拡大された前記検体の二次元画像を撮像するカメラと、
    　を備え、
    　前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記検体の認識結果に基づいて該検体の検査を行う
    　検体検査装置。
PCT/JP2019/000412 2019-01-09 2019-01-09 画像処理装置、作業ロボット、基板検査装置および検体検査装置 WO2020144784A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/419,499 US11972589B2 (en) 2019-01-09 2019-01-09 Image processing device, work robot, substrate inspection device, and specimen inspection device
EP19908808.9A EP3910593A4 (en) 2019-01-09 2019-01-09 IMAGE PROCESSING DEVICE, WORKING ROBOT, SUBSTRATE INSPECTION DEVICE AND SAMPLE INSPECTION DEVICE
PCT/JP2019/000412 WO2020144784A1 (ja) 2019-01-09 2019-01-09 画像処理装置、作業ロボット、基板検査装置および検体検査装置
CN201980082694.9A CN113196337B (zh) 2019-01-09 2019-01-09 图像处理装置、作业机器人、基板检查装置及检体检查装置
JP2020565086A JP7174074B2 (ja) 2019-01-09 2019-01-09 画像処理装置、作業ロボット、基板検査装置および検体検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/000412 WO2020144784A1 (ja) 2019-01-09 2019-01-09 画像処理装置、作業ロボット、基板検査装置および検体検査装置

Publications (1)

Publication Number Publication Date
WO2020144784A1 true WO2020144784A1 (ja) 2020-07-16

Family

ID=71521602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000412 WO2020144784A1 (ja) 2019-01-09 2019-01-09 画像処理装置、作業ロボット、基板検査装置および検体検査装置

Country Status (5)

Country Link
US (1) US11972589B2 (ja)
EP (1) EP3910593A4 (ja)
JP (1) JP7174074B2 (ja)
CN (1) CN113196337B (ja)
WO (1) WO2020144784A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465890A (zh) * 2020-11-24 2021-03-09 深圳市商汤科技有限公司 深度检测方法、装置、电子设备和计算机可读存储介质
CN114264659A (zh) * 2020-09-14 2022-04-01 株式会社斯库林集团 图像处理装置及方法、检查装置及计算机可读取的存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210030147A (ko) * 2019-09-09 2021-03-17 삼성전자주식회사 3d 렌더링 방법 및 장치
CN111447504B (zh) * 2020-03-27 2022-05-03 北京字节跳动网络技术有限公司 三维视频的处理方法、装置、可读存储介质和电子设备
US20210316450A1 (en) * 2020-04-14 2021-10-14 3Deo, Inc. Robotics for three-dimensional printing
US11366983B2 (en) * 2020-09-09 2022-06-21 International Business Machines Corporation Study-level multi-view processing system
CN114820613B (zh) * 2022-06-29 2022-10-28 深圳市瑞亿科技电子有限公司 一种smt贴片加工用来料测量及定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012185752A (ja) 2011-03-07 2012-09-27 Seiko Epson Corp ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
JP2016192132A (ja) * 2015-03-31 2016-11-10 Kddi株式会社 画像認識ａｒ装置並びにその姿勢推定装置及び姿勢追跡装置
JP2016197287A (ja) * 2015-04-02 2016-11-24 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3326851B2 (ja) * 1993-03-08 2002-09-24 株式会社デンソー 視覚に基く三次元位置および姿勢の認識方法とその装置
EP0631250B1 (en) * 1993-06-21 2002-03-20 Nippon Telegraph And Telephone Corporation Method and apparatus for reconstructing three-dimensional objects
US6985620B2 (en) 2000-03-07 2006-01-10 Sarnoff Corporation Method of pose estimation and model refinement for video representation of a three dimensional scene
JP2010146303A (ja) * 2008-12-18 2010-07-01 Fuji Electric Holdings Co Ltd ３次元物体姿勢・位置検出装置、方法、およびプログラム
JP5618569B2 (ja) * 2010-02-25 2014-11-05 キヤノン株式会社 位置姿勢推定装置及びその方法
US9098744B2 (en) * 2010-05-19 2015-08-04 Tokyo Institute Of Technology Position estimation device, position estimation method, and program
US9437005B2 (en) * 2011-07-08 2016-09-06 Canon Kabushiki Kaisha Information processing apparatus and information processing method
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
EP2994883B1 (en) * 2013-05-06 2018-12-12 Hercules LLC Device and method for analysis of coating additive performance
JP6369131B2 (ja) * 2014-05-27 2018-08-08 村田機械株式会社 物体認識装置及び物体認識方法
CN108965690B (zh) * 2017-05-17 2021-02-26 欧姆龙株式会社 图像处理***、图像处理装置及计算机可读存储介质
US9990767B1 (en) * 2017-10-24 2018-06-05 Lowe's Companies, Inc. Generation of 3D models using stochastic shape distribution
JP7457968B2 (ja) * 2020-03-09 2024-03-29 パナソニックＩｐマネジメント株式会社 情報処理方法、学習済みモデルの生成方法、装置、及びプログラム
EP4145338A4 (en) * 2020-05-13 2023-06-21 Huawei Technologies Co., Ltd. TARGET DETECTION METHOD AND APPARATUS
JP2021193538A (ja) * 2020-06-09 2021-12-23 ソニーグループ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP7453192B2 (ja) * 2021-09-27 2024-03-19 Kddi株式会社 ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012185752A (ja) 2011-03-07 2012-09-27 Seiko Epson Corp ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
JP2016192132A (ja) * 2015-03-31 2016-11-10 Kddi株式会社 画像認識ａｒ装置並びにその姿勢推定装置及び姿勢追跡装置
JP2016197287A (ja) * 2015-04-02 2016-11-24 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114264659A (zh) * 2020-09-14 2022-04-01 株式会社斯库林集团 图像处理装置及方法、检查装置及计算机可读取的存储介质
CN112465890A (zh) * 2020-11-24 2021-03-09 深圳市商汤科技有限公司 深度检测方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
JP7174074B2 (ja) 2022-11-17
CN113196337B (zh) 2023-08-29
EP3910593A4 (en) 2022-01-19
US20220092330A1 (en) 2022-03-24
CN113196337A (zh) 2021-07-30
EP3910593A1 (en) 2021-11-17
US11972589B2 (en) 2024-04-30
JPWO2020144784A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
WO2020144784A1 (ja) 画像処理装置、作業ロボット、基板検査装置および検体検査装置
US11511421B2 (en) Object recognition processing apparatus and method, and object picking apparatus and method
US20040172164A1 (en) Method and apparatus for single image 3D vision guided robotics
US20090187276A1 (en) Generating device of processing robot program
JP2015135331A (ja) 実用型３ｄビジョンシステム装置およびその方法
US12002240B2 (en) Vision system for a robotic machine
CN108827154A (zh) 一种机器人无示教抓取方法、装置及计算机可读存储介质
JP2011083882A (ja) ロボットシステム
CN107680125B (zh) 在视觉***中自动选择三维对准算法的***和方法
JP6983828B2 (ja) ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法
TW200821156A (en) Screen printing equipment, and method for image recognition and alignment
JP2007101197A (ja) 物体探索装置，物体探索装置を備えるロボットシステム及び物体探索方法
CN112276936A (zh) 三维数据生成装置以及机器人控制***
US20220180499A1 (en) System and method for determining 3d surface features and irregularities on an object
US20190278991A1 (en) Control apparatus, robot system, and method of detecting object
CN112730420B (zh) 外观瑕疵检测工站
JPWO2017081773A1 (ja) 基板用の画像処理装置および画像処理方法
JP2011107083A (ja) 姿勢認識方法およびこの方法を用いた３次元視覚センサ
CN113495073A (zh) 视觉检查***的自动对焦功能
JP2018146347A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
Sansoni et al. Combination of 2D and 3D vision systems into robotic cells for improved flexibility and performance
JP7508206B2 (ja) 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法
Afanasev et al. Machine vision for selective polymer curing devices: Challenges and solutions
JP3755215B2 (ja) 多層積層板位置決め装置
CN116758160B (zh) 基于正交视觉***的光学元件装配过程位姿检测方法及装配方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19908808

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020565086

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019908808

Country of ref document: EP

Effective date: 20210809