WO2015136669A1 - 画像処理装置および基板生産システム - Google Patents

画像処理装置および基板生産システム Download PDF

Info

Publication number
WO2015136669A1
WO2015136669A1 PCT/JP2014/056694 JP2014056694W WO2015136669A1 WO 2015136669 A1 WO2015136669 A1 WO 2015136669A1 JP 2014056694 W JP2014056694 W JP 2014056694W WO 2015136669 A1 WO2015136669 A1 WO 2015136669A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
resolution
data
super
image
Prior art date
Application number
PCT/JP2014/056694
Other languages
English (en)
French (fr)
Inventor
一也 小谷
秀一郎 鬼頭
Original Assignee
富士機械製造株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士機械製造株式会社 filed Critical 富士機械製造株式会社
Priority to PCT/JP2014/056694 priority Critical patent/WO2015136669A1/ja
Priority to CN201480077045.7A priority patent/CN106104195B/zh
Priority to JP2016507205A priority patent/JP6310058B2/ja
Priority to EP14885828.5A priority patent/EP3118572B1/en
Priority to US15/125,221 priority patent/US11004177B2/en
Publication of WO2015136669A1 publication Critical patent/WO2015136669A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H04N1/19594—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays using a television camera or a still video camera
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Definitions

  • the present invention relates to an image processing apparatus applied to a production facility that produces a substrate on which electronic components are mounted, and a substrate production system including the image processing apparatus.
  • the production facility constitutes a production line for circuit board products as a board production device and an inspection device.
  • This production facility performs various production processes (including inspection processes) on the substrate.
  • the production facility takes an image of the object with the imaging device, and controls the production process based on the state of the object recognized by the image processing device using the image data acquired by the imaging.
  • Patent Document 1 discloses a component mounter that recognizes the holding state of an electronic component held by a suction nozzle by image processing and reflects it in mounting control on a board.
  • an imaging device provided in a production facility often employs a lens unit in which the focal length is set constant in consideration of the fact that the distance to an object to be imaged is substantially constant and the equipment cost.
  • An imaging apparatus employing such a lens unit captures an image with a predetermined camera field of view, and acquires image data with a resolution corresponding to the number of pixels of the image sensor.
  • the camera field of view is set to a wide area
  • the object is small
  • the area of the object occupied in the image data is small, and there is a possibility that the resolution required for image processing cannot be ensured.
  • the lens unit of the imaging apparatus is set to have a camera field of view narrow to some extent in order to acquire image data with sufficient resolution even for a small object.
  • the object may exceed the camera field of view depending on the size of the object. Therefore, Patent Document 2 is configured to acquire high resolution data by super-resolution processing. Thereby, even if the camera field of view is set in a range in which the object is accommodated, the image processing apparatus can perform image processing using high-resolution data in which a necessary resolution is ensured.
  • the present invention has been made in view of such circumstances, and provides an image processing apparatus capable of reducing the load of image processing while reducing the time required for image processing using super-resolution processing.
  • the purpose is to do.
  • An image processing apparatus is an image processing apparatus that is applied to a production facility that executes various production processes on a substrate, and the production facility captures an object and acquires image data;
  • a control device that controls the production process based on the state of the object recognized by the image processing apparatus using the image data, and the image processing apparatus performs the image processing when the production process is executed.
  • a process determination unit that determines whether or not the super-resolution processing for the data needs to be executed for each type of the object, and a super-resolution process using a plurality of the image data according to the determination result by the process determination unit And recognizing the state of the object based on one of the image data and the high resolution data corresponding to the determination result by the processing determination unit. It includes a state recognition unit for, a.
  • the super-resolution processing unit executes the super-resolution processing according to the determination result by the processing determination unit to generate high-resolution data. That is, the image processing device switches whether to execute the super-resolution processing depending on the type of the object, and recognizes the state of the object based on the low resolution data (image data) or the high resolution data. Therefore, excessive super-resolution processing is suppressed in the object recognition processing by the image processing apparatus. Therefore, when image processing is performed on a wide variety of objects, the time required for image processing is shortened, and the load of image processing is reduced.
  • FIG. 1 It is a block diagram showing the whole substrate production system in an embodiment. It is a general view which shows the component mounting machine in FIG. It is a flowchart which shows a part data generation process and a process management data generation process. It is a figure which shows the relationship between the result of suitability determination, and process management data. It is a flowchart which shows the mounting process by a component mounting machine. It is a flowchart which shows the recognition process of a holding state. It is a figure which shows the process management data in a deformation
  • the image processing apparatus is applied to a production facility constituting a board production system for circuit board products.
  • the production equipment includes a board production apparatus and an inspection apparatus for a production line in the board production system, an off-line auxiliary apparatus, and the like.
  • the substrate production system 1 includes a production line 2, a camera stand 3, a substrate transfer device 5, and a host computer 40.
  • the production line 2 is configured by installing a plurality of production facilities (substrate production apparatus and inspection apparatus) that execute various production processes on a substrate in the substrate transport direction.
  • the board production apparatus includes a component mounter 10 for mounting electronic components on a board, a screen printing machine (not shown), and the like.
  • the inspection apparatus includes a print inspection apparatus and an appearance inspection apparatus (not shown).
  • Various production facilities such as a board production apparatus and an inspection apparatus in the production line 2 are communicably connected to the host computer 40 via a network. Thereby, the production facility of the production line 2 is configured to be able to input / output various data with the host computer 40.
  • the camera stand 3 captures an object with the general-purpose camera 31 and executes various image processes.
  • the general-purpose camera 31 is configured to be relatively movable with a mounting table (not shown) on which electronic components are mounted.
  • the camera stand 3 includes a part data generation unit 32 in the present embodiment.
  • the part data generation unit 32 generates part data M2 used for the mounting process before the electronic component mounting process (production process in the component mounting machine 10) is executed by the component mounting machine 10.
  • the camera stand 3 is a production facility that assists the production of substrates offline.
  • part data is data including part types and shape data related to the specifications of electronic parts.
  • the classification includes electronic component types, identification codes assigned to the respective types, image processing for image data, vision types used in comparison with image data, shape information relating to shapes and dimensions, and the like.
  • the part data M2 is stored in the storage device 42 of the host computer 40 when used in common for mounting processing of the plurality of component mounting machines 10.
  • the part data generation unit 32 performs image processing using image data acquired by the general-purpose camera 31.
  • An object to be imaged by the general-purpose camera 31 is a type of electronic component that is mounted on a substrate in the mounting process by the component mounter 10.
  • the part data generation unit 32 recognizes the outer shape of the electronic component by image processing, and generates part data M2 by associating various types of information including the outer shape of the electronic component for each type of electronic component.
  • the substrate transport device 5 is configured by a belt conveyor or the like, and sequentially transports the substrate in the transport direction.
  • the board conveying device 5 positions the board at a predetermined position in the component mounting machine 10. Then, after the mounting process by the component mounter 10 is executed, the board transfer device 5 carries the board out of the component mounter 10.
  • the host computer 40 monitors the operation status of the production line 2 and controls a board production apparatus including the component mounter 10.
  • the host computer 40 includes a data optimization unit 41 and a storage device 42.
  • the data optimization unit 41 optimizes the mounting data M1 used by the component mounter 10 for mounting processing.
  • the mounting data M1 is an operation program that defines the mounting order of electronic components.
  • the data optimization unit 41 changes the mounting order of the electronic components in the mounting data so that the tact time of the production process is minimized. Specifically, the data optimizing unit 41 executes the optimization process in consideration of the mounting environment such as the coordinates on the board Bd on which the electronic component is mounted and the supply position for each type of electronic component. By optimizing the mounting data M1, the moving distance of the mounting head 26, which will be described later, is shortened, and the standby time is shortened, thereby improving the production efficiency.
  • the storage device 42 of the host computer 40 is constituted by a hard disk, a flash memory, or the like.
  • the storage device 42 stores various data for controlling the substrate production apparatus. Specifically, the storage device 42 stores the production plan including the type of board to be produced and the production quantity, the mounting data M1 optimized by the data optimization unit 41, and the like.
  • the configuration of the component mounter 10 will be described with reference to FIGS. 1 and 2.
  • the component mounter 10 includes a base 11, a component supply device 12, a component transfer device 13, a component camera 14, a board camera 15, and a control device 16.
  • the devices 12 and 13 and the component camera 14 are provided on the base 11 of the component mounter 10.
  • the horizontal direction of the component mounter 10 (direction from the upper left to the lower right in FIG. 2) is the X-axis direction
  • the horizontal longitudinal direction of the component mounter 10 from the upper right to the lower left in FIG. 2).
  • the direction of heading is the Y-axis direction
  • the vertical height direction vertical direction in FIG. 2) is the Z-axis direction.
  • the component supply device 12 is a device that supplies electronic components to be mounted on the board Bd.
  • the component supply device 12 is disposed on the front side in the Y-axis direction of the component mounter 10 (lower left side in FIG. 2).
  • the component supply apparatus 12 is a feeder system that uses a plurality of cassette-type feeders 21.
  • the component supply apparatus 12 pitch-feeds a component packaging tape in which electronic components are stored at predetermined intervals. Thereby, the component supply apparatus 12 supplies an electronic component in the supply position Ps located in the front end side (upper right side of FIG. 2) of the feeder 21.
  • the component transfer device 13 is configured to be movable in the X-axis direction and the Y-axis direction.
  • the component transfer device 13 is arranged from the rear side in the longitudinal direction of the component mounting machine 10 (upper right side in FIG. 2) to the upper side of the component supply device 12 on the front side.
  • the component transfer device 13 includes a head driving device 25, a mounting head 26, and a plurality of suction nozzles 27.
  • the head drive device 25 is configured to be able to move the moving table in the XY axis directions by a linear motion mechanism.
  • the mounting head 26 is detachably provided on the moving table of the head driving device 25.
  • Each suction nozzle 27 is detachably provided on the mounting head 26.
  • the mounting head 26 supports the respective suction nozzles 27 so as to be rotatable about the R axis parallel to the Z axis and to be movable up and down.
  • Each suction nozzle 27 is controlled in the elevation position and angle with respect to the mounting head 26 and the supply state of negative pressure.
  • Each suction nozzle 27 sucks and holds the electronic component supplied at the supply position Ps at the tip by being supplied with a negative pressure.
  • the component transfer device 13 has a function of holding an electronic component in the component mounter 10 and corresponds to a “holding device” of the present invention.
  • the component camera 14 and the substrate camera 15 are digital imaging devices having an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the component camera 14 and the board camera 15 execute an imaging process within a range that fits in the camera field of view based on a control signal from the control device 16 that is connected to be communicable.
  • the component camera 14 and the board camera 15 send image data acquired by imaging the object to the control device 16.
  • the component camera 14 is fixed to the base 11 and the electronic component held by each suction nozzle 27 is an object to be imaged.
  • the lens unit of the component camera 14 is set so as to focus on an object located at a certain distance from the image sensor. Further, the camera field of view Fv of the lens unit of the component camera 14 is set in a range in which all of the plurality of suction nozzles 27 supported by the mounting head 26 are accommodated. That is, when the image is captured by the component camera 14 set in the camera field of view Fv, all the electronic components held by the plurality of suction nozzles 27 can be stored in one image data.
  • the control device 16 that has acquired the image data from the component camera 14 recognizes the holding state of the electronic component by the suction nozzle 27 by image processing.
  • the control device 16 corrects the position and angle of the suction nozzle 27 in accordance with the holding state of the electronic component, thereby improving the accuracy of the mounting process. Details of the recognition processing of the holding state of the electronic component will be described later.
  • the board camera 15 is fixed to the moving table of the head driving device 25 and the board positioned in the component mounter 10 is used as an object to be imaged.
  • the control device 16 that has acquired the image data from the substrate camera 15 recognizes the positioning state of the substrate Bd by the substrate transport device 5 by recognizing, for example, a substrate mark attached to the substrate Bd by image processing. And the control apparatus 16 correct
  • the control device 16 is mainly composed of a CPU, various memories, and a control circuit.
  • the storage unit 29 of the control device 16 stores mounting data M1 for operating the component mounter 10, image data transferred from the component camera 14 and the board camera 15, and the like.
  • the control device 16 controls the mounting process based on the state of the object recognized by the image processing device 50 described later using the acquired image data.
  • the control device 16 corrects the operations of the component supply device 12 and the component transfer device 13 based on the mounting data M1 according to information acquired by image processing. This improves the accuracy of the mounting process.
  • a holding state of an electronic component used when the control device 16 of the component mounting machine 10 corrects the position and angle of the suction nozzle 27 (the “object state” of the present invention). Is included).
  • image data acquired by imaging with the component camera 14 is used.
  • the lens unit of the component camera 14 sets the camera field of view in consideration of the range in which the focal length is set constant and the plurality of suction nozzles 27 supported by the mounting head 26 are arranged. Has been. For this reason, when the acquired image data is used as it is in the holding state recognition process, the area of the small component in the image data is small, and the resolution required in the recognition process may not be ensured.
  • the image processing apparatus 50 performs super-resolution processing as necessary, such as when the target of mounting processing is a small component.
  • the image processing device 50 uses the high-resolution data that secures the required resolution in the recognition process of the holding state of the electronic component, thereby improving the accuracy of the recognition process.
  • the image processing apparatus 50 includes a mounting machine side processing unit Dp provided in the component mounting machine 10 and an auxiliary machine side processing unit Ds provided in the camera stand 3.
  • the mounting machine side processing unit Dp includes a processing determination unit 51, a super-resolution processing unit 52, and a state recognition unit 53.
  • the auxiliary machine side processing unit Ds includes a part data generation unit 32, a suitability determination unit 55, and a process management data generation unit 56.
  • the processing determination unit 51 of the mounting machine side processing unit Dp determines whether it is necessary to execute the super-resolution processing on the image data for each type of electronic component when the component mounting machine 10 executes the mounting process of the electronic component. Specifically, each time the suction nozzle 27 holds an electronic component in the mounting process, the process determination unit 51 determines whether to execute the super-resolution process according to the type of the electronic component. In the present embodiment, the process determination unit 51 determines whether or not the super-resolution process is necessary based on the process management data M3. Details of the process management data M3 will be described later.
  • the super-resolution processing unit 52 performs high-resolution processing by executing super-resolution processing using a plurality of image data according to the determination result by the processing determination unit 51 when the electronic component mounting process is executed by the component mounting machine 10. Generate data.
  • Super-resolution processing is image processing for increasing the resolution of input image data, and a plurality of types of processing methods are known.
  • the super-resolution processing unit 52 employs multi-frame type super-resolution processing. Specifically, the super-resolution processing unit 52 performs super-resolution processing using a plurality of image data captured at imaging positions where the relative positions of the component camera 14 with respect to the electronic component are different from each other.
  • the super-resolution processing unit 52 does not always execute the super-resolution processing every time the suction nozzle 27 holds an electronic component in the mounting process. That is, the super-resolution processing unit 52 executes super-resolution processing using image data with an electronic component corresponding to the specified type as an object, according to the determination result by the processing determination unit 51. As described above, the image processing apparatus 50 is configured to switch whether or not to execute the super-resolution processing depending on the type of electronic component.
  • the state recognition unit 53 recognizes the state of the electronic component based on one of the image data and the high resolution data corresponding to the determination result by the processing determination unit 51 when the electronic component mounting process is executed by the component mounting machine 10.
  • the state of the electronic component is a holding state including the position and angle of the electronic component held by the suction nozzle 27.
  • the state recognition unit 53 determines the electronic component based on the high-resolution data generated by the super-resolution processing unit 52. Perform recognition processing.
  • the state recognizing unit 53 when the process determining unit 51 determines that the execution of the super-resolution processing is “unnecessary”, the image data acquired by the imaging of the component camera 14 (hereinafter, “low resolution data”). The electronic component recognition process is performed based on the above.
  • the recognition accuracy is lowered. This is because, for example, when the number of pixels used to indicate one side of the electronic component is less than a predetermined number of pixels, it is difficult to determine the length and angle of the one side. Therefore, high-resolution data in which one side of the electronic component is indicated with a predetermined number of pixels is generated by super-resolution processing and used for recognition of the holding state.
  • the state recognition unit 53 recognizes the holding state including the position of the electronic component in the X-axis direction and the Y-axis direction with respect to the suction nozzle 27 and the rotation angle of the electronic component with respect to the central axis of the suction nozzle 27.
  • the state recognition unit 53 repeats the same process for the number of electronic components T held by the plurality of suction nozzles 27 supported by the mounting head 26.
  • the state recognition part 53 memorize
  • the adequacy determination unit 55 of the auxiliary machine side processing unit Ds uses the resolution of the image data acquired by imaging the electronic component as a recognition process by the state recognition unit 53 before the electronic component mounting process is performed by the component mounting machine 10. It is determined for each type of object whether or not it matches.
  • the image data used by the suitability determination unit 55 for the suitability determination is acquired by imaging the general-purpose camera 31 of the camera stand 3. More specifically, in the present embodiment, the suitability determination unit 55 diverts the image data used by the part data generation unit 32 to generate the part data M2.
  • the image data used by the state recognition unit 53 of the mounting machine side processing unit Dp for the recognition processing is acquired by imaging the component camera 14 of the component mounting machine 10 during the execution of the mounting process. Therefore, the image data used for the suitability determination of the suitability determination unit 55 is different from the image data used for the recognition process by the state recognition unit 53. Therefore, the suitability determination unit 55 considers the difference between the performance of the general-purpose camera 31 of the camera stand 3 and the performance of the component camera 14 of the component mounter 10, and the image data is adapted to the recognition processing by the state recognition unit 53. It is determined whether or not.
  • the performance of the general-purpose camera 31 and the performance of the component camera 14 are approximately the same.
  • the determination result as to whether the resolution of the image data acquired by the imaging of the general-purpose camera 31 is suitable for the recognition processing by the state recognition unit 53 is the same for the image data acquired by the imaging of the component camera 14. This is the same as the result of the determination of suitability.
  • the suitability determination unit 55 determines the suitability by taking into account the variation to the low resolution side due to the difference in camera field of view. To do.
  • the suitability determination unit 55 employs a method for determining the suitability based on high resolution data and low resolution data. That is, the suitability determination unit 55 is used for the high-resolution data generated by the super-resolution processing using the plurality of image data acquired by the general-purpose camera 31 imaging the electronic component, and the super-resolution processing. Based on any of the image data (low resolution data), it is determined whether or not the resolution of the image data is suitable for the recognition processing by the state recognition unit 53.
  • the suitability determination unit 55 performs image processing for recognizing the position of the electronic component on, for example, high resolution data and low resolution data. Then, the suitability determination unit 55 determines that the resolution of the low resolution data is suitable for the recognition processing by the state recognition unit 53 when each position of the electronic component falls within the allowable error. On the other hand, when each position of the recognized electronic component exceeds the allowable error, or when the position of the electronic component cannot be recognized with the low resolution data, the resolution of the low resolution data is used for the recognition processing by the state recognition unit 53. Judged as inappropriate.
  • the process management data generation unit 56 generates process management data M3 in which whether or not super-resolution processing is necessary is set for each type of electronic component based on the determination result by the suitability determination unit 55.
  • the process management data M ⁇ b> 3 indicates whether or not super-resolution processing is necessary (necessary, necessary, necessary) for each electronic component type (A, B, C,). Unnecessary, ..) is set.
  • the process management data generation unit 56 sets that super-resolution processing is necessary when the determination result of the suitability determination unit 55 is “unsuitable” when generating the process management data M3, and the determination result of the suitability determination unit 55 Is set to be super-resolution processing is unnecessary.
  • the process management data generation unit 56 sends the generated process management data M3 to the component mounter 10.
  • the component mounter 10 stores the acquired processing management data M3 in the storage unit 29. Then, at the time of executing the mounting process by the component mounter 10, the process determining unit 51 of the mounter side processing unit Dp determines whether or not the super-resolution process needs to be executed based on the process management data M3.
  • step 11 (hereinafter, “step” is expressed as “S”)).
  • the auxiliary machine side processing unit Ds performs imaging processing of the electronic component for a specified number of times by the general-purpose camera 31 (S12).
  • This imaging process is for using image data used for the subsequent super-resolution process.
  • the electronic component is imaged at a plurality of imaging positions (corresponding to the specified number of times) where the relative positions of the general-purpose camera 31 with respect to the electronic component are different from each other.
  • the “plurality of image pickup positions” are positions shifted from each other by an amount obtained by adding a distance that is an integral multiple of the above interval to a distance that is smaller than the pixel interval in the image sensor of the general-purpose camera 31, for example.
  • the “specified number of times” is a specified number of times of imaging so that a reference resolution is ensured in high-resolution data generated by multi-frame type super-resolution processing. That is, by performing super-resolution processing using a plurality of image data acquired by imaging more than the specified number of times, high-resolution data having a reference resolution suitable for at least recognition processing by the state recognition unit 53 is generated. .
  • a different value may be set for each type of electronic component, or a constant value may be set for any type.
  • the auxiliary device side processing unit Ds performs super-resolution processing using a plurality of image data to generate high resolution data (S13). Specifically, the auxiliary machine side processing unit Ds first aligns a plurality of image data. This alignment is performed based on, for example, a command value obtained by moving the general-purpose camera 31 relative to the mounting table of the camera stand 3 at the time of imaging, or a result of image processing for matching a reference point included in the image data. . Then, the auxiliary machine side processing unit Ds executes a reconstruction process for generating high resolution data based on the plurality of aligned image data. By such super-resolution processing, the auxiliary machine side processing unit Ds acquires high resolution data in which the electronic component is indicated with a predetermined number of pixels.
  • the part data generation unit 32 generates part data M2 corresponding to the type of the electronic component set in S11 using the high resolution data acquired by the super-resolution processing in S13 (S14).
  • the auxiliary machine side processing unit Ds determines whether or not the generation of the part data M2 has been completed for all types of target electronic components (S15).
  • the above processing (S11 to S15) is repeated. If the generation of the part data M2 is completed for all types of electronic components (S15: Yes), the generation process of the part data M2 (S11 to S15) is ended, and the process management data M3 is generated. To do.
  • the auxiliary machine side processing unit Ds uses one of the plurality of image data acquired by the imaging in S12 as low resolution data, and performs prescribed image processing using the low resolution data (S21). Further, the auxiliary machine side processing unit Ds performs a prescribed image process using the high resolution data acquired by the super-resolution process of S13 (S22).
  • the prescribed image processing (S21, S22) includes, for example, binarization and edge extraction. Through the prescribed image processing (S21, S22), the position, angle, and outer shape of the electronic component in each image data are recognized.
  • the suitability determination unit 55 determines whether or not the low resolution data is suitable for the recognition processing by the state recognition unit 53 based on the result of the prescribed image processing (S21, S22) (S23).
  • the suitability determination unit 55 determines that the position of the electronic component recognized using the low resolution data in S21 is within an allowable error range with respect to the position of the electronic component recognized using the high resolution data in S22. Judgment is made according to whether or not it is accommodated. This is based on the fact that when the resolution of the low resolution data is above a certain level, the position of the electronic component recognized by the image processing is the same as the result of the image processing using the high resolution data (position of the electronic component). is doing.
  • the suitability determination unit 55 When the low-resolution data is suitable for the recognition processing by the state recognition unit 53 (S23: Yes), the suitability determination unit 55 performs super-resolution when executing the mounting processing by the component mounter 10 for the type of the electronic component. The process is set as “unnecessary” in the process management data M3 (S24). On the other hand, when the low-resolution data is not suitable for the recognition processing by the state recognition unit 53 (S23: No), the suitability determination unit 55 determines the electronic component type at the time of executing the mounting processing by the component mounter 10. The super-resolution processing is set as “necessary” in the processing management data M3 (S25).
  • the auxiliary machine side processing unit Ds determines whether or not the setting (S24, S25) relating to the necessity of the super-resolution processing has been completed for all types of target electronic components (S26).
  • the type of the target electronic component remains (S26: No)
  • the above processing (S21 to S26) is repeated.
  • the setting related to the necessity of the super-resolution processing (S24, S25) is completed for all electronic component types (S26: Yes)
  • the generation processing (S21 to S26) of the processing management data M3 is ended. .
  • processing management data M3 in which necessity of execution of super-resolution processing is set for each type of all electronic components to be processed is automatically generated.
  • the determination result by the suitability determination unit 55 and the process management data M3 have a relationship as shown in FIG.
  • the suitability determination unit 55 uses the low resolution data of type A as shown in the left table of FIG. Evaluate as “impossible”.
  • the suitability determination unit 55 can recognize the position of the electronic component by the image processing of S21 for the electronic component type B, it has an allowable error from the position of the electronic component recognized by the image processing using the high resolution data. If it exceeds, the low resolution data of type B is evaluated as “insufficient”. When the position of the electronic component recognized by the image processing in S21 is within the allowable error range with respect to the position of the electronic component recognized in S22, the suitability determination unit 55 class C Are evaluated as “fit”.
  • the processing management data generation unit 56 selects the types A and B of the corresponding electronic components. Assuming that the low-resolution data according to the above is not compatible with the electronic component recognition process, “necessary” is set as to whether the super-resolution process is necessary or not (right table in FIG. 4).
  • the suitability determination unit 55 evaluates the low resolution as “conformity” (S23: Yes)
  • the process management data generation unit 56 determines whether the corresponding electronic component type C is super The necessity of resolution processing is set as “unnecessary”.
  • the control device 16 of the component mounting machine 10 first executes a suction process for sequentially sucking electronic components to the plurality of suction nozzles 27 in accordance with the mounting data M1 (S31). Next, the control device 16 moves the mounting head 26 above the mounting position on the substrate Bd.
  • the mounting machine side processing unit Dp executes a recognition process of the holding state of the electronic component held by the suction nozzle 27 while the mounting head 26 is moving (S32). Thereafter, the control device 16 of the component mounter 10 executes a mounting process for sequentially mounting electronic components on the board Bd (S33). Then, the control device 16 determines whether or not all the electronic components have been mounted (S34), and repeats the above processing (S31 to S34) until the mounting is completed.
  • control device 16 determines whether or not there is an electronic component sucked by the suction nozzle 27, whether or not the electronic component is held, whether the electronic component is held by the suction nozzle 27, based on the result of the electronic component state recognition process (S32). Recognize holding status. Then, when the electronic component to be mounted is correct, the control device 16 corrects the position and angle of the suction nozzle 27 according to the holding state of the electronic component, and controls the electronic component mounting process.
  • the mounting machine side processing unit Dp refers to the process management data M3 generated in the auxiliary machine side processing unit Ds of the camera stand 3 before executing the mounting process of the component mounting machine 10 (S41). Then, the mounting machine side processing unit Dp acquires the necessity of executing the super-resolution processing for the type of electronic component currently held by the suction nozzle 27 by the suction processing (S31).
  • the mounting machine side processing unit Dp sets the number of imaging based on the necessity of executing the acquired super-resolution processing (S42). Specifically, for the type of electronic component held by the suction nozzle 27, when it is necessary to execute super-resolution processing, for example, “4 times” defined in advance is set as the number of times of imaging. This corresponds to the quantity of image data used for super-resolution processing. In addition, when it is not necessary to perform the super-resolution processing, “one time” is set as the number of times of imaging. When the plurality of suction nozzles 27 hold different types of electronic components, the maximum number of imaging is set.
  • the control device 16 moves the mounting head 26 to the first imaging position (S43).
  • the first imaging position is, for example, a position where the optical axis of the component camera 14 coincides with the stop of the rotating member that rotatably holds the plurality of suction nozzles 27 in the mounting head 26.
  • the control apparatus 16 performs the imaging process of several electronic components (S44).
  • control device 16 inputs from the motor control circuit of the control device 16 that the suction nozzle 27 supported by the mounting head 26 is above the component camera 14. And the control apparatus 16 sends out a control command so that it may image with respect to the component camera 14.
  • FIG. As a result, all the electronic components held by the plurality of suction nozzles 27 are imaged, and image data obtained by the imaging is stored in the storage unit 29.
  • the control device 16 determines whether or not the imaging at the four imaging positions has been completed (S45), and if not completed (S45: No), the above processing (S43 to S45) is repeated.
  • the control device 16 moves the mounting head 26 in the X-axis direction or the Y-axis direction by a distance corresponding to half of the pixel interval in the image sensor (S43).
  • the control apparatus 16 performs the imaging process of the electronic component which moved only the half pixel again (S44).
  • the storage unit 29 stores image data obtained by the first imaging process.
  • the storage unit 29 adds to the above image data, image data shifted by a half pixel in the X axis direction, and a half pixel in the Y axis direction. Image data shifted by only one pixel, and image data shifted by half a pixel in the X-axis direction and Y-axis direction, respectively.
  • the process determination unit 51 determines whether or not it is necessary to perform the super-resolution process on the image data based on the process management data M3 (S46).
  • the super-resolution processing unit 52 executes the super-resolution processing using a plurality of image data to generate high-resolution data (S47). . Since this super-resolution processing is substantially the same as the super-resolution processing (S13) by the auxiliary machine side processing unit Ds, detailed description thereof is omitted.
  • the state recognition unit 53 After the super-resolution processing (S47) by the super-resolution processing unit 52 is completed, or when the processing determining unit 51 determines that the super-resolution processing is not necessary (S46: No), the state recognition unit 53. Performs a holding state recognition process including the position and angle of the electronic component held by the suction nozzle 27 (S48). Here, the state recognition unit 53 recognizes the holding state of the electronic component based on one of the image data and the high resolution data corresponding to the determination result by the processing determination unit 51.
  • the state recognition unit 53 uses the high-resolution data generated by the super-resolution processing (S47) for the recognition processing.
  • the determination result is “unnecessary” (S46: No)
  • the state recognizing unit 53 uses the image data (low-resolution data) obtained by the imaging process (S44) as it is for the recognition process.
  • the state recognition unit 53 executes a holding state recognition process based on the low resolution data or the high resolution data and the part data M2 corresponding to the type of the electronic component. Specifically, the state recognition unit 53 performs pattern matching based on the electronic component in the low resolution data or the high resolution data, and the vision type and shape information of the part data M2. The state recognition unit 53 stores, as the holding state of the electronic component, the amount of deviation of the electronic component in the X-axis direction and the Y-axis direction with respect to each suction nozzle 27 and the rotation angle of the electronic component with respect to the central axis of the suction nozzle 27. And the holding state recognition process is terminated.
  • the image processing apparatus 50 is applied to a production facility (component mounter 10) that executes various production processes (mounting processes) for the board Bd.
  • the production facility includes an imaging device (component camera 14) that captures an image of an object (electronic component) and acquires image data, and an object (electronic component) recognized by the image processing device 50 using the image data.
  • the image processing apparatus 50 includes a processing determination unit 51 that determines whether or not super-resolution processing for image data needs to be performed for each type of object (electronic component) during execution of production processing (mounting processing), and a processing determination unit A super-resolution processing unit 52 that generates high-resolution data by executing super-resolution processing using a plurality of image data according to the determination result by 51, and determination by the processing determination unit 51 among the image data and the high-resolution data A state recognizing unit 53 that recognizes the state of the object (electronic component) based on the one corresponding to the result.
  • the super-resolution processing unit 52 performs the super-resolution processing according to the determination result by the processing determination unit 51 to generate high-resolution data (S47). That is, the image processing device 50 switches whether to execute the super-resolution processing depending on the type of electronic component, and recognizes the holding state of the electronic component based on the low resolution data or the high resolution data. Accordingly, excessive super-resolution processing is suppressed in the electronic component recognition processing by the image processing device 50. Accordingly, when image processing is performed on a wide variety of electronic components, the time required for image processing is shortened, and the load of image processing is reduced.
  • the image processing apparatus 50 determines whether or not the resolution of the image data acquired by imaging the target object (electronic component) before the execution of the production process (mounting process) matches the recognition process by the state recognition unit 53. Based on the determination result by the suitability determination unit 55 for each type of object (electronic component) and the determination result by the suitability determination unit 55, the necessity of execution of the super-resolution processing is set for each type of object (electronic component). And a process management data generation unit 56 for generating the processed process management data M3. The process determination unit 51 determines whether or not the super-resolution process is necessary based on the process management data M3 (S46).
  • the process management data M3 referred to by the process determination unit 51 is automatically generated (S21 to S26). Further, the process management data M3 reflects the determination result by the suitability determination unit 55 based on the image data actually obtained by imaging the electronic component. Therefore, in the process management data M3, whether or not the super-resolution process is necessary is set more appropriately. Therefore, it is possible to reliably prevent the super-resolution processing from being performed excessively. Further, since the process management data M3 is automatically generated, the operator's workload is reduced.
  • the suitability determination unit 55 is used for high-resolution data generated by super-resolution processing using a plurality of image data acquired by imaging an object (electronic component) and the super-resolution processing. Based on any one of the image data, it is determined whether or not the resolution of the image data is compatible with the recognition processing by the state recognition unit 53 (S23).
  • the suitability determination unit 55 compares the actually generated high resolution data with the image data (low resolution data) that has not been subjected to super-resolution processing, thereby determining the suitability of the low resolution data. Is determined (S23). As a result, if it is determined that the low resolution data matches the recognition process even when compared with the high resolution data (S23: Yes), execution of unnecessary super-resolution processing is prevented. On the other hand, when it is determined that the low-resolution data is not suitable for the recognition process (S23: No), the super-resolution process (S47) is appropriately executed, and the accuracy of the recognition process is prevented from being lowered. .
  • the object is an electronic component mounted on the board Bd, and the image processing apparatus 50 uses the image data acquired by imaging the electronic component before the execution of the production process (mounting process) to use the electronic component.
  • a part data generation unit 32 is further provided for generating part data M2 in which various types of information including the shape of the electronic component are associated with each type of electronic component.
  • the suitability determination unit 55 determines whether or not the resolution of the image data used to generate the part data M2 by the part data generation unit 32 is suitable for the recognition processing by the state recognition unit 53 (S23).
  • the suitability determination unit 55 performs determination based on image data acquired by imaging using an electronic component as an electronic component in order to generate part data M2 (S23). Therefore, the image data can be diverted without newly imaging an electronic component for determination. Therefore, the process management data M3 is generated more efficiently.
  • super-resolution processing is executed in the generation of the part data M2 (S13).
  • the suitability determination unit 55 can also use the high-resolution data generated by the super-resolution processing (S13) for the suitability determination (S23).
  • the production facility is a component mounter 10 that mounts an electronic component on the board Bd, and the object (electronic component) is an electronic component that is held by a holding device of the component mounter 10.
  • the object electronic component
  • the configuration of the image processing apparatus 50 as described above it is possible to reduce the time required for the imaging process (S44) and the image process (S47, S48) during the execution of the mounting process, and to shorten the cycle time. Therefore, it is particularly useful to apply the present invention to the component mounter 10.
  • processing management data M3 ⁇ Modification of Embodiment>
  • necessity of super-resolution processing is set for each type of electronic component.
  • a process reference indicating the degree of super-resolution processing may be set for each type of object (electronic component).
  • the processing level of the processing management data M3 is defined by the quantity (frame) of image data used when the super-resolution processing unit 52 generates high-resolution data. May be.
  • the super-resolution processing unit 52 acquires a processing level corresponding to the type of the object from the processing management data M3 when the super-resolution processing is executed. Then, the super-resolution processing unit 52 generates high-resolution data that satisfies the processing level by super-resolution processing using a plurality of image data. According to such a configuration, the super-resolution processing unit 52 executes the super-resolution processing according to the processing level set in advance for each type of the target object (electronic component).
  • the image processing apparatus 50 executes the super-resolution processing with the processing contents set in stages in the case of execution.
  • the higher the amount of image data used for the processing the higher the resolution image data can be obtained.
  • the processing level according to the type of the object can be set with the above configuration, it is possible to prevent the degree of super-resolution processing from becoming excessive.
  • the processing level is defined by the quantity of image data used for the super-resolution processing
  • the operator can confirm the degree of the super-resolution processing with the quantity of the image data by referring to the processing management data M3. Therefore, the manageability of the process management data M3 is improved.
  • an aspect of defining the processing level with a target resolution or the like can be adopted as the processing level. In such a configuration, since the quantity of image data is appropriately determined according to the performance of the component camera 14, the versatility of the process management data M3 is improved.
  • the process management data M3 is automatically generated by the generation process (S21 to S26) of the auxiliary machine side processing unit Ds.
  • the process management data M3 may be generated based on production results by an operator or an administrator of the production line 2.
  • the component mounter 10 acquires the processing management data M3 from the host computer 40 together with the mounting data M1 and the part data M2 before executing the mounting process.
  • the suitability determination unit 55 is based on the high-resolution data generated by the super-resolution processing (S13) and any low-resolution data used for the super-resolution processing (S13). Whether or not the resolution of the resolution data matches the recognition process by the state recognition unit 53 is determined (S23). On the other hand, the suitability determination unit 55 may perform the suitability determination according to other modes without depending on the comparison between the high resolution data and the low resolution data.
  • the suitability determination unit 55 employs a method of comparing the position of the target obtained from the relative position of the imaging device and the target at the time of imaging with the position of the target acquired by image processing on the image data. May be. Specifically, the image processing apparatus 50 first determines the position of the electronic component based on a command value obtained by moving the general-purpose camera 31 relative to the mounting table of the camera stand 3 in the imaging process (S12).
  • the image processing device 50 calculates the position of the electronic component with respect to the general-purpose camera 31 by image processing on the image data. Then, the suitability determination unit 55 determines suitability based on whether or not the position on the image data is within the allowable error range with respect to the control position. According to such a configuration, the image processing device 50 can reduce the processing load because it is not necessary to perform the super-resolution processing for the suitability determination.
  • the board production system 1 includes a data optimization unit 41 that optimizes the mounting data M1.
  • the data optimizing unit 41 may optimize the mounting data M1 based on the coordinates on the board on which the electronic component is mounted and the necessity of the super-resolution processing in the processing management data M3.
  • the data optimization unit 41 changes the mounting order so that the grouped types of electronic components are mounted on the board Bd through a series of processes (S31 to S33).
  • the data optimization unit 41 may optimize the mounting data M1 based on the coordinates on the board Bd on which the electronic component is mounted and the necessity of the super-resolution processing in the processing management data M3. That is, the data optimizing unit 41 considers the contents of the processing management data M3 when grouping the electronic components inside the mounting data M1. For example, when a plurality of suction nozzles 27 hold different types of electronic components in the suction processing (S31), the data optimization unit 41 performs grouping into types that require super-resolution processing and types that do not need to be optimized. Turn into.
  • the mounting data M1 optimized as described above in the suction process (S31), it is suppressed that the electronic component of the type that requires the super-resolution process and the unnecessary electronic component are held together. Accordingly, in the state recognition process (S32), the number of times of repeating the process related to imaging (S43 to S45) is reduced, so that the tact time is further shortened. Further, when the processing management data M3 has a processing level set, the data optimization unit 41 may optimize the mounting data M1 based on the processing level. This further improves the efficiency of the mounting process.
  • the “production facility” is exemplified as the component mounter 10 and the “object” is an electronic component.
  • the image processing apparatus 50 may use a board production apparatus other than the component mounter 10, an inspection apparatus, or the like as the “production facility”.
  • the production facility is a print inspection apparatus
  • the object is solder printed on a substrate by a screen printer.
  • the object is a portion of the substrate corresponding to the divided inspection area. Accordingly, it is possible to set so that the super-resolution processing is performed only on a portion where small components are mounted or a portion where electronic components are densely packed.
  • each part of the image processing apparatus 50 may be configured to be provided in the component mounter 10. That is, in the component mounter 10, part data M2 and process management data M3 are generated. Even in such a configuration, the same effects as in the embodiment can be obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Manufacturing & Machinery (AREA)
  • Operations Research (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

　超解像処理を用いた画像処理に要する時間を短縮しつつ、画像処理の負荷を軽減することが可能な画像処理装置を提供することを目的とする。　画像処理装置は、生産処理の実行時において画像データに対する超解像処理の実行の要否を対象物の種別ごとに判定する処理判定部と、処理判定部による判定結果に応じて複数の画像データを用いた超解像処理を実行して高解像度データを生成する超解像処理部と、画像データおよび高解像度データのうち処理判定部による判定結果に対応する一方に基づいて対象物の状態を認識する状態認識部と、を備える。

Description

画像処理装置および基板生産システム
　本発明は、電子部品が実装された基板を生産する生産設備に適用される画像処理装置、および当該画像処理装置を備える基板生産システムに関する。
　生産設備は、基板生産装置や検査装置として、回路基板製品の生産ラインを構成する。この生産設備は、基板に対して各種の生産処理（検査処理を含む）を実行する。また、生産設備は、撮像装置により対象物を撮像し、この撮像により取得された画像データを用いて画像処理装置が認識した対象物の状態に基づいて、生産処理を制御する。例えば、特許文献１には、吸着ノズルに保持された電子部品の保持状態を画像処理により認識して、基板への実装制御に反映させる部品実装機が開示されている。
　ところで、生産設備に設けられる撮像装置は、撮像の対象物までの距離が概ね一定であることや設備コストなどを勘案して、焦点距離が一定に設定されたレンズユニットが多く採用される。このようなレンズユニットを採用された撮像装置は、所定のカメラ視野で撮像を行い、撮像素子の画素数に応じた解像度の画像データを取得する。ここで、カメラ視野を広域に設定すると、対象物が小さい場合に画像データに占める対象物の面積が小さく、画像処理で要求される解像度を確保できないおそれがある。
　そこで、撮像装置のレンズユニットは、小さい対象物としても十分な解像度を確保した画像データを取得するために、カメラ視野をある程度狭く設定される。しかし、このように設定すると、対象物の寸法によっては、対象物がカメラ視野を超えてしまうことがある。そこで、特許文献２では、超解像処理により高解像度データを取得する構成としている。これにより、カメラ視野が対象物を収める範囲に設定されても、画像処理装置は、必要な解像度が確保された高解像度データを用いて、画像処理を行うことができる。
特開２０１３－２６２７８号公報 特開平１１－１９１１５７号公報
　ところで、超解像処理としては、特許文献２に記載されているように、複数の画像データを用いて高解像度データを生成するマルチフレーム型が知られている。このマルチフレーム型の超解像処理は、超解像処理の程度に応じた処理時間を必要とする。そのため、生産設備における基板の生産処理において多くの画像処理を実行する場合には、生産処理のサイクルタイムが延びるおそれがある。
　本発明は、このような事情に鑑みてなされたものであり、超解像処理を用いた画像処理に要する時間を短縮しつつ、画像処理の負荷を軽減することが可能な画像処理装置を提供することを目的とする。
　請求項１に係る画像処理装置は、基板に対する各種の生産処理を実行する生産設備に適用される画像処理装置であって、前記生産設備は、対象物を撮像し画像データを取得する撮像装置と、前記画像データを用いて前記画像処理装置が認識した前記対象物の状態に基づいて前記生産処理を制御する制御装置と、を備え、前記画像処理装置は、前記生産処理の実行時において前記画像データに対する超解像処理の実行の要否を前記対象物の種別ごとに判定する処理判定部と、前記処理判定部による判定結果に応じて複数の前記画像データを用いた超解像処理を実行して高解像度データを生成する超解像処理部と、前記画像データおよび前記高解像度データのうち前記処理判定部による判定結果に対応する一方に基づいて前記対象物の状態を認識する状態認識部と、を備える。
　このような構成によると、超解像処理部は、処理判定部による判定結果に応じて超解像処理を実行して高解像度データを生成する。つまり、画像処理装置は、対象物の種別によって超解像処理を実行するか否かを切り換えて、低解像度データ（画像データ）または高解像度データに基づいて対象物の状態を認識する。よって、画像処理装置による対象物の認識処理において、過剰な超解像処理の実行が抑制される。従って、多種に亘る対象物について画像処理する場合に、画像処理に要する時間が短縮され、且つ画像処理の負荷が軽減される。
実施形態における基板生産システムの全体を示すブロック図である。 図１における部品実装機を示す全体図である。 パートデータ生成処理および処理管理データ生成処理を示すフロー図である。 適否判定の結果と処理管理データの関係を示す図である。 部品実装機による実装処理を示すフロー図である。 保持状態の認識処理を示すフロー図である。 変形態様における処理管理データを示す図である。
　以下、本発明の画像処理装置および基板生産システムを具体化した実施形態について図面を参照して説明する。画像処理装置は、回路基板製品の基板生産システムを構成する生産設備に適用される。生産設備には、基板生産システムにおける生産ラインの基板生産装置や検査装置、オフラインの補助装置などが含まれる。
　＜実施形態＞
　（基板生産システムの全体構成）
　基板生産システム１の全体構成について、図１を参照して説明する。基板生産システム１は、図１に示すように、生産ライン２と、カメラスタンド３と、基板搬送装置５と、ホストコンピュータ４０とを備えて構成される。生産ライン２は、基板に対する各種の生産処理を実行する複数の生産設備（基板生産装置、検査装置）を基板の搬送方向に設置して構成される。
　基板生産装置には、基板に電子部品を実装する部品実装機１０、図示しないスクリーン印刷機などが含まれる。また、検査装置には、図示しない印刷検査装置や外観検査装置などが含まれる。生産ライン２における基板生産装置や検査装置など各種の生産設備は、ネットワークを介してホストコンピュータ４０と通信可能に接続されている。これにより、生産ライン２の生産設備は、ホストコンピュータ４０と各種データを入出力可能に構成されている。
　カメラスタンド３は、汎用カメラ３１により対象物を撮像して、種々の画像処理を実行する。汎用カメラ３１は、電子部品が載置される載置台（図示しない）と相対移動可能に構成されている。カメラスタンド３は、本実施形態において、パートデータ生成部３２を有する。パートデータ生成部３２は、部品実装機１０による電子部品の実装処理（部品実装機１０における生産処理）の実行前において、当該実装処理に用いられるパートデータＭ２を生成する。このように、カメラスタンド３は、オフラインで基板生産を補助する生産設備である。
　ここで、「パートデータ」とは、電子部品の仕様に係る部品種や形状データなどが含まれたデータである。具体的には、電子部品の種別、当該種別ごとに割り付けられた識別符号、画像データに対する画像処理、画像データとの比較において使用されるビジョンタイプ、形状や寸法に係る形状情報などが含まれる。このパートデータＭ２は、複数の部品実装機１０の実装処理に共通して使用される場合には、ホストコンピュータ４０の記憶装置４２に記憶される。
　上記のパートデータ生成部３２は、汎用カメラ３１が撮像して取得された画像データを用いた画像処理を行う。汎用カメラ３１による撮像の対象物は、部品実装機１０による実装処理において基板に装着される種別の電子部品である。パートデータ生成部３２は、画像処理により電子部品の外形を認識するとともに、電子部品の外形を含む各種情報を電子部品の種別ごとに関連付けてパートデータＭ２を生成する。
　基板搬送装置５は、ベルトコンベアなどにより構成され、基板を搬送方向へと順次搬送する。基板搬送装置５は、部品実装機１０の機内における所定の位置に基板を位置決めする。そして、基板搬送装置５は、部品実装機１０による実装処理が実行された後に、基板を部品実装機１０の機外に搬出する。
　ホストコンピュータ４０は、生産ライン２の動作状況を監視し、部品実装機１０を含む基板生産装置などの制御を行う。このホストコンピュータ４０は、データ最適化部４１と、記憶装置４２とを有する。データ最適化部４１は、部品実装機１０が実装処理に用いる実装データＭ１を最適化する。この実装データＭ１は、電子部品の実装順序が規定された動作プログラムである。
　データ最適化部４１は、生産処理のタクトタイムが最短となるように、実装データにおける電子部品の実装順序を変更する。具体的には、データ最適化部４１は、電子部品が実装される基板Ｂｄ上の座標や、電子部品の種別ごとの供給位置などの実装環境などを考慮して最適化処理を実行する。実装データＭ１の最適化により、後述する実装ヘッド２６の移動距離を短縮したり、待機時間を短縮したりすることで、生産効率の向上が図られている。
　ホストコンピュータ４０の記憶装置４２は、ハードディスクやフラッシュメモリなどにより構成される。記憶装置４２には、基板生産装置を制御するための各種データが記憶されている。具体的には、記憶装置４２は、生産する基板種別や生産数量を含む生産計画、データ最適化部４１により最適化された実装データＭ１などを記憶している。
　（部品実装機１０の構成）
　部品実装機１０の構成について、図１および図２を参照して説明する。部品実装機１０は、基台１１と、部品供給装置１２と、部品移載装置１３と、部品カメラ１４と、基板カメラ１５と、制御装置１６とを備えて構成される。各装置１２，１３および部品カメラ１４は、部品実装機１０の基台１１に設けられている。また、図２に示すように、部品実装機１０の水平幅方向（図２の左上から右下に向かう方向）をＸ軸方向、部品実装機１０の水平長手方向（図２の右上から左下に向かう方向）をＹ軸方向、鉛直高さ方向（図２の上下方向）をＺ軸方向とする。
　部品供給装置１２は、基板Ｂｄに装着される電子部品を供給する装置である。部品供給装置１２は、部品実装機１０のＹ軸方向の前部側（図２の左下側）に配置されている。部品供給装置１２は、本実施形態において、複数のカセット式のフィーダ２１を用いたフィーダ方式としている。部品供給装置１２は、電子部品が所定間隔で収納された部品包装テープをピッチ送りする。これにより、部品供給装置１２は、フィーダ２１の先端側（図２の右上側）に位置する供給位置Ｐｓにおいて電子部品を供給する。
　部品移載装置１３は、Ｘ軸方向およびＹ軸方向に移動可能に構成される。部品移載装置１３は、部品実装機１０の長手方向の後部側（図２の右上側）から前部側の部品供給装置１２の上方にかけて配置されている。部品移載装置１３は、ヘッド駆動装置２５、実装ヘッド２６、および複数の吸着ノズル２７を備える。ヘッド駆動装置２５は、直動機構により移動台をＸＹ軸方向に移動可能に構成されている。実装ヘッド２６は、ヘッド駆動装置２５の移動台に着脱可能に設けられている。
　各吸着ノズル２７は、実装ヘッド２６に着脱可能に設けられている。実装ヘッド２６は、Ｚ軸と平行なＲ軸回りに回転可能に、且つ昇降可能に各吸着ノズル２７を支持する。各吸着ノズル２７は、実装ヘッド２６に対する昇降位置や角度、負圧の供給状態を制御される。各吸着ノズル２７は、負圧を供給されることにより、先端部において供給位置Ｐｓにおいて供給される電子部品を吸着して保持する。このように、部品移載装置１３は、部品実装機１０において電子部品を保持する機能を有し、本発明の「保持装置」に相当する。
　部品カメラ１４および基板カメラ１５は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有するデジタル式の撮像装置である。部品カメラ１４および基板カメラ１５は、通信可能に接続された制御装置１６による制御信号に基づいてカメラ視野に収まる範囲の撮像処理を実行する。部品カメラ１４および基板カメラ１５は、対象物を撮像して取得した画像データを制御装置１６に送出する。
　部品カメラ１４は、基台１１に固定され、各吸着ノズル２７に保持された電子部品を撮像の対象物とする。部品カメラ１４のレンズユニットは、撮像素子から一定の距離にある対象物に焦点が合うように設定されている。また、部品カメラ１４のレンズユニットのカメラ視野Ｆｖは、実装ヘッド２６が支持する複数の吸着ノズル２７の全てが収まる範囲に設定されている。つまり、このカメラ視野Ｆｖに設定された部品カメラ１４により撮像すると、複数の吸着ノズル２７に保持された全ての電子部品を１枚の画像データに収めることが可能である。
　また、部品カメラ１４から画像データを取得した制御装置１６は、画像処理により吸着ノズル２７による電子部品の保持状態を認識する。そして、制御装置１６が電子部品の保持状態に応じて吸着ノズル２７の位置および角度を補正することで、実装処理の精度向上が図られている。電子部品の保持状態の認識処理の詳細については後述する。
　基板カメラ１５は、ヘッド駆動装置２５の移動台に固定され、部品実装機１０の機内で位置決めされた基板を撮像の対象物とする。基板カメラ１５から画像データを取得した制御装置１６は、画像処理により例えば基板Ｂｄに付された基板マークの認識することで、基板搬送装置５による基板Ｂｄの位置決め状態を認識する。そして、制御装置１６は、基板Ｂｄの位置決め状態に応じてヘッド駆動装置２５の移動台の位置を補正する。
　制御装置１６は、主として、ＣＰＵや各種メモリ、制御回路により構成される。制御装置１６の記憶部２９には、部品実装機１０を動作させるための実装データＭ１、部品カメラ１４および基板カメラ１５から転送された画像データなどが記憶される。制御装置１６は、取得した画像データを用いて後述する画像処理装置５０が認識した対象物の状態に基づいて実装処理を制御する。制御装置１６は、実装データＭ１に基づく部品供給装置１２や部品移載装置１３などの動作を、画像処理により取得した情報に応じて補正する。これにより、実装処理の精度向上が図られている。
　（画像処理装置５０の構成）
　部品実装機１０およびカメラスタンド３に適用される画像処理装置５０の構成について説明する。ここで、本発明の「生産設備」は「部品実装機１０」および「カメラスタンド３」であり、本発明の「対象物」は部品実装機１０の保持装置（部品移載装置１３）に保持された「電子部品」である態様を例示する。
　画像処理装置５０が行う種々の画像処理には、部品実装機１０の制御装置１６が吸着ノズル２７の位置および角度を補正する際に用いられる電子部品の保持状態（本発明の「対象物の状態」に相当する）を認識する処理が含まれる。この保持状態の認識処理には、部品カメラ１４の撮像により取得される画像データが用いられる。
　ここで、部品カメラ１４のレンズユニットは、上記のように、焦点距離が一定に設定され、且つ実装ヘッド２６に支持された複数の吸着ノズル２７が配置される範囲を考慮してカメラ視野を設定されている。そのため、取得した画像データを保持状態の認識処理にそのまま使用した場合に、画像データに占める小型部品の面積が小さく、認識処理で要求される解像度を確保できないおそれがある。
　そこで、本実施形態では、実装処理の対象が小型部品であるなどの必要に応じて、画像処理装置５０が超解像処理を行う。このように、画像処理装置５０は、電子部品の保持状態の認識処理において、要求される解像度を確保した高解像度データを用いることにより、当該認識処理の精度向上を図っている。
　画像処理装置５０は、図１に示すように、部品実装機１０に設けられた実装機側処理部Ｄｐと、カメラスタンド３に設けられた補助機側処理部Ｄｓとを備える。実装機側処理部Ｄｐは、処理判定部５１と、超解像処理部５２と、状態認識部５３とを有する。補助機側処理部Ｄｓは、パートデータ生成部３２と、適否判定部５５と、処理管理データ生成部５６とを有する。
　実装機側処理部Ｄｐの処理判定部５１は、部品実装機１０による電子部品の実装処理の実行時において画像データに対する超解像処理の実行の要否を電子部品の種別ごとに判定する。詳細には、処理判定部５１は、実装処理において吸着ノズル２７が電子部品を保持するたびに、当該電子部品の種別に応じて超解像処理を実行するか否かを判定する。また、処理判定部５１は、本実施形態では、超解像処理の実行の要否を処理管理データＭ３に基づいて判定する。この処理管理データＭ３の詳細については後述する。
　超解像処理部５２は、部品実装機１０による電子部品の実装処理の実行時において、処理判定部５１による判定結果に応じて複数の画像データを用いた超解像処理を実行して高解像度データを生成する。超解像処理は、入力した画像データの解像度を高める画像処理であって、複数種類の処理方法が知られている。超解像処理部５２は、マルチフレーム型の超解像処理を採用している。詳細には、超解像処理部５２は、電子部品に対する部品カメラ１４の相対位置が互いに異なる撮像位置において撮像された複数の画像データを用いた超解像処理を行う。
　また、超解像処理部５２は、実装処理において吸着ノズル２７が電子部品を保持するたびに超解像処理を実行するとは限らない。即ち、超解像処理部５２は、処理判定部５１による判定結果に応じて、規定の種別に該当する電子部品を対象物とした画像データを用いて超解像処理を実行する。このように、画像処理装置５０は、電子部品の種別によって超解像処理を実行するか否かを切り換える構成となっている。
　状態認識部５３は、部品実装機１０による電子部品の実装処理の実行時において、画像データおよび高解像度データのうち処理判定部５１による判定結果に対応する一方に基づいて電子部品の状態を認識する。ここで、電子部品の状態とは、吸着ノズル２７に保持された電子部品の位置および角度を含む保持状態である。
　また、状態認識部５３は、処理判定部５１が超解像処理の実行を「必要」と判定した場合には、超解像処理部５２により生成された高解像度データに基づいて、電子部品の認識処理を行う。一方で、状態認識部５３は、処理判定部５１が超解像処理の実行を「不要」と判定した場合には、部品カメラ１４の撮像により取得された画像データ（以下、「低解像度データ」とも称する）に基づいて、電子部品の認識処理を行う。
　ここで、保持状態の認識の対象となる電子部品が画像データにおいて占める面積が小さいと、認識精度が低下する。これは、例えば電子部品のある一辺を示すために使用される画素数が所定画素数を下回ると、その一辺の長さや角度を割り出すことが困難となるためである。そこで、電子部品の一辺が所定画素数をもって示される高解像度データを超解像処理により生成し、保持状態の認識に用いている。
　これにより、状態認識部５３は、吸着ノズル２７に対する電子部品のＸ軸方向、Ｙ軸方向の位置、および吸着ノズル２７の中心軸に対する電子部品の回転角度を含む保持状態を認識する。状態認識部５３は、実装ヘッド２６が支持する複数の吸着ノズル２７に保持された複数の電子部品Ｔの数量だけ同様の処理を繰り返す。そして、状態認識部５３は、各電子部品の保持状態について記憶部２９に記憶する。
　補助機側処理部Ｄｓの適否判定部５５は、部品実装機１０による電子部品の実装処理の実行前において、電子部品を撮像して取得された画像データの解像度が状態認識部５３による認識処理に適合するか否かを対象物の種別ごとに判定する。適否判定部５５が適否判定に用いる画像データは、カメラスタンド３の汎用カメラ３１の撮像により取得されたものである。より詳細には、本実施形態では、適否判定部５５は、パートデータ生成部３２によりパートデータＭ２の生成に用いられた画像データを流用する。
　ここで、実装機側処理部Ｄｐの状態認識部５３が認識処理に用いる画像データは、実装処理の実行時において部品実装機１０の部品カメラ１４の撮像により取得されたものである。そのため、適否判定部５５の適否判定に用いられる画像データは、状態認識部５３による認識処理に用いられる画像データと相違する。そこで、適否判定部５５は、カメラスタンド３の汎用カメラ３１の性能と、部品実装機１０の部品カメラ１４の性能との差分を勘案して、状態認識部５３による認識処理に画像データが適合するか否かを判定する。
　例えば、汎用カメラ３１の性能と部品カメラ１４の性能が同程度であるとする。この場合には、汎用カメラ３１の撮像により取得された画像データの解像度が状態認識部５３による認識処理に適合するか否かの判定結果は、部品カメラ１４の撮像により取得される画像データについて同様の適否判定を行った結果と同様となる。これに対して、部品カメラ１４のカメラ視野が汎用カメラ３１のカメラ視野より広範である場合には、適否判定部５５は、カメラ視野の相違による低解像度側への変動分を勘案して適否判定する。
　また、適否判定部５５による適否判定については、種々の方法が適用される。本実施形態では、適否判定部５５は、高解像度データと、低解像度データとに基づいて上記の適否判定をする方法を採用している。つまり、適否判定部５５は、汎用カメラ３１が電子部品を撮像して取得された複数の画像データを用いた超解像処理により生成された高解像度データと、当該超解像処理に用いられた何れかの画像データ（低解像度データ）とに基づいて、画像データの解像度が状態認識部５３による認識処理に適合するか否かを判定する。
　より詳細には、適否判定部５５は、例えば高解像度データおよび低解像度データに対して、電子部品の位置を認識する画像処理をそれぞれ行う。そして、適否判定部５５は、認識されたが電子部品の各位置が許容誤差に収まる場合には、低解像度データの解像度が状態認識部５３による認識処理に適合するものと判定する。一方で、認識された電子部品の各位置が許容誤差を超える場合には、または低解像度データでは電子部品の位置を認識できない場合には、低解像度データの解像度が状態認識部５３による認識処理に不適であるものと判定する。
　処理管理データ生成部５６は、適否判定部５５による判定結果に基づいて、電子部品の種別ごとに超解像処理の実行要否が設定された処理管理データＭ３を生成する。本実施形態では、処理管理データＭ３は、図４の右側表で示されるように、電子部品の種別（Ａ，Ｂ，Ｃ・・）ごとに、超解像処理の要否（必要，必要，不要，・・）が設定されている。処理管理データ生成部５６は、処理管理データＭ３の生成に際して、適否判定部５５の判定結果が「不適」の場合には超解像処理が必要であると設定し、適否判定部５５の判定結果が「適合」の場合には超解像処理が不要であると設定する。
　また、処理管理データ生成部５６は、生成した処理管理データＭ３を部品実装機１０に送出する。部品実装機１０は、取得した処理管理データＭ３を記憶部２９に記憶する。そして、部品実装機１０による実装処理の実行時において、実装機側処理部Ｄｐの処理判定部５１は、超解像処理の実行の要否を処理管理データＭ３に基づいて判定する。
　（パートデータＭ２および処理管理データＭ３の生成処理）
　上記のカメラスタンド３におけるパートデータＭ２および処理管理データＭ３の生成処理について、図３を参照して説明する。各データＭ２，Ｍ３の生成処理は、部品実装機１０による実装処理の実行の前に行われる。各データＭ２，Ｍ３の生成処理において、図５に示すように、先ずカメラスタンド３の載置台に電子部品がセットされる（ステップ１１（以下、「ステップ」を「Ｓ」と表記する））。
　次に、補助機側処理部Ｄｓは、汎用カメラ３１により電子部品を規定回数に亘って撮像処理を行う（Ｓ１２）。この撮像処理は、後の超解像処理に用いられる画像データを用いるためのものである。具体的には、撮像処理は、電子部品に対する汎用カメラ３１の相対位置が互いに異なる複数箇所（規定回数に対応する）の撮像位置において、電子部品を撮像する。「複数箇所の撮像位置」は、例えば汎用カメラ３１の撮像素子における画素の間隔よりも小さい距離に、上記間隔の整数倍の距離を加算した分だけ互いにずれた位置である。
　また、「規定回数」は、マルチフレーム型の超解像処理により生成される高解像度データに基準の解像度が確保されるように、規定された撮像の回数である。つまり、規定回数以上の撮像により取得された複数の画像データを用いた超解像処理を行うことにより、少なくとも状態認識部５３による認識処理に適合する基準の解像度を有する高解像度データが生成される。また、規定回数については、電子部品の種別ごとに異なる値を設定してもよいし、何れの種別に対しても一定の値を設定してもよい。
　続いて、補助機側処理部Ｄｓは、複数の画像データを用いた超解像処理を実行して高解像度データを生成する（Ｓ１３）。詳細には、補助機側処理部Ｄｓは、先ず複数の画像データの位置合わせを行う。この位置合わせは、例えば、撮像時においてカメラスタンド３の載置台に対して汎用カメラ３１を相対移動させた指令値や、画像データに含まれる基準点を一致させる画像処理の結果に基づいて行われる。そして、補助機側処理部Ｄｓは、位置合わせされた複数の画像データに基づいて高解像度データを生成する再構成処理を実行する。このような超解像処理によって、補助機側処理部Ｄｓは、電子部品が所定画素数をもって示される高解像度データを取得する。
　パートデータ生成部３２は、Ｓ１３の超解像処理により取得された高解像度データを用いて、Ｓ１１でセットされた電子部品の種別に対応するパートデータＭ２を生成する（Ｓ１４）。補助機側処理部Ｄｓは、対象とする全ての電子部品の種別について、パートデータＭ２の生成が終了したか否か判定する（Ｓ１５）。
　対象の電子部品の種別が残っている場合には（Ｓ１５：Ｎｏ）、上記の処理（Ｓ１１～Ｓ１５）が繰り返される。全ての電子部品の種別について、パートデータＭ２の生成が終了した場合には（Ｓ１５：Ｙｅｓ）、パートデータＭ２の生成処理（Ｓ１１～Ｓ１５）を終了して、処理管理データＭ３の生成処理に移行する。
　補助機側処理部Ｄｓは、Ｓ１２の撮像により取得された複数の画像データのうちの一つを低解像度データとし、当該低解像度データを用いた規定の画像処理を行う（Ｓ２１）。さらに、補助機側処理部Ｄｓは、Ｓ１３の超解像処理により取得された高解像度データを用いた規定の画像処理を行う（Ｓ２２）。規定の画像処理（Ｓ２１，Ｓ２２）には、例えば二値化やエッジ抽出などが含まれる。規定の画像処理（Ｓ２１，Ｓ２２）により、各画像データにおける電子部品の位置、角度、外形が認識される。
　続いて、適否判定部５５は、規定の画像処理（Ｓ２１，Ｓ２２）の結果に基づいて、低解像度データが状態認識部５３による認識処理に適合するか否かを判定する（Ｓ２３）。本実施形態では、適否判定部５５は、Ｓ２１において低解像度データを用いて認識された電子部品の位置がＳ２２において高解像度データを用いて認識された電子部品の位置に対して許容誤差の範囲に収まっているか否かにより適否判定を行う。これは、低解像度データの解像度が一定以上である場合には、画像処理により認識した電子部品の位置が高解像度データを用いた画像処理の結果（電子部品の位置）と同様になることを利用している。
　低解像度データが状態認識部５３による認識処理に適合する場合には（Ｓ２３：Ｙｅｓ）、適否判定部５５は、当該電子部品の種別については部品実装機１０による実装処理の実行時における超解像処理を「不要」として処理管理データＭ３に設定する（Ｓ２４）。一方で、低解像度データが状態認識部５３による認識処理に適合しない場合には（Ｓ２３：Ｎｏ）、適否判定部５５は、当該電子部品の種別については部品実装機１０による実装処理の実行時における超解像処理を「必要」として処理管理データＭ３に設定する（Ｓ２５）。
　そして、補助機側処理部Ｄｓは、対象とする全ての電子部品の種別について、超解像処理の要否に係る設定（Ｓ２４，Ｓ２５）が終了したか判定する（Ｓ２６）。対象の電子部品の種別が残っている場合には（Ｓ２６：Ｎｏ）、上記の処理（Ｓ２１～Ｓ２６）が繰り返される。全ての電子部品の種別について、超解像処理の要否に係る設定（Ｓ２４，Ｓ２５）が終了した場合には（Ｓ２６：Ｙｅｓ）、処理管理データＭ３の生成処理（Ｓ２１～Ｓ２６）を終了する。
　上記の処理（Ｓ２１～Ｓ２６）により、図４に示すように、対象とする全ての電子部品の種別ごとに超解像処理の実行の要否が設定された処理管理データＭ３が自動生成される。ここで、適否判定部５５による判定結果および処理管理データＭ３は、図４に示すような関係となる。適否判定部５５は、例えば、電子部品の種別ＡについてはＳ２１の画像処理により電子部品の位置を認識できなかった場合には、図４の左側表に示すように、種別Ａの低解像度データを「不可」と評価する。
　また、適否判定部５５は、電子部品の種別ＢについてはＳ２１の画像処理により電子部品の位置を認識できたものの、高解像度データを用いた画像処理により認識した電子部品の位置とは許容誤差を超えている場合には、種別Ｂの低解像度データを「不足」と評価する。適否判定部５５は、電子部品の種別ＣについてはＳ２１の画像処理により認識した電子部品の位置がＳ２２で認識した電子部品の位置に対して許容誤差の範囲に収まっている場合には、種別Ｃの低解像度データを「適合」と評価する。
　上記のように、適否判定部５５が低解像度データを「不可」または「不足」と評価した場合には（Ｓ２３：Ｎｏ）、処理管理データ生成部５６は、対応する電子部品の種別Ａ，Ｂに係る低解像度データが電子部品の認識処理に適合しないものとして、超解像処理の要否について「必要」と設定する（図４の右側表）。また、適否判定部５５が低解像度を「適合」と評価した場合には（Ｓ２３：Ｙｅｓ）、処理管理データ生成部５６は、対応する電子部品の種別Ｃについては、実装処理の実行時における超解像処理の要否について「不要」と設定する。
　（電子部品の実装制御）
　部品実装機１０による電子部品の実装処理について、図５を参照して説明する。この実装処理において、部品実装機１０の制御装置１６は、実装データＭ１に従って、先ず複数の吸着ノズル２７に電子部品を順次吸着させる吸着処理を実行する（Ｓ３１）。次に、制御装置１６は、実装ヘッド２６を基板Ｂｄにおける装着位置の上方へと移動させる。
　実装機側処理部Ｄｐは、実装ヘッド２６が移動している間に、吸着ノズル２７に保持されている電子部品の保持状態の認識処理を実行する（Ｓ３２）。その後に、部品実装機１０の制御装置１６は、電子部品を基板Ｂｄに順次装着する装着処理を実行する（Ｓ３３）。そして、制御装置１６は、全ての電子部品の装着が終了したか否かを判定し（Ｓ３４）、装着が終了するまで上記の処理（Ｓ３１～Ｓ３４）を繰り返す。
　また、制御装置１６は、電子部品の状態の認識処理（Ｓ３２）の結果により、吸着ノズル２７が吸着している電子部品の有無、保持している電子部品の正否、吸着ノズル２７による電子部品の保持状態などを認識する。そして、制御装置１６は、装着対象の電子部品が正しい場合に、電子部品の保持状態に応じて吸着ノズル２７の位置および角度を補正して、電子部品の実装処理を制御する。
　（電子部品の保持状態の認識処理）
　上記の電子部品の保持状態の認識処理（Ｓ３２）について、図５および図６を参照して説明する。実装機側処理部Ｄｐは、部品実装機１０の実装処理の実行前にカメラスタンド３の補助機側処理部Ｄｓにおいて生成された処理管理データＭ３を参照する（Ｓ４１）。そして、実装機側処理部Ｄｐは、吸着処理（Ｓ３１）により吸着ノズル２７が現在保持している電子部品の種別について、超解像処理の実行の要否を取得する。
　実装機側処理部Ｄｐは、取得した超解像処理の実行の要否に基づいて、撮像回数を設定する（Ｓ４２）。詳細には、吸着ノズル２７が保持する電子部品の種別について、超解像処理の実行を必要とする場合には、撮像回数として例えば予め規定された「４回」が設定される。これは、超解像処理に用いられる画像データの数量に相当する。また、超解像処理の実行を不要とする場合には、撮像回数として「１回」が設定される。なお、複数の吸着ノズル２７が異なる種別の電子部品を保持している場合には、最大数の撮像回数が設定される。
　制御装置１６は、最初の撮像位置に実装ヘッド２６を移動させる（Ｓ４３）。この最初の撮像位置としては、例えば部品カメラ１４の光軸と、実装ヘッド２６において複数の吸着ノズル２７を回転可能に保持する回転部材の中止とが一致する位置である。そして、制御装置１６は、複数の電子部品の撮像処理を行う（Ｓ４４）。
　具体的には、制御装置１６は、実装ヘッド２６が支持する吸着ノズル２７が部品カメラ１４の上方にあることを制御装置１６のモータ制御回路より入力する。そして、制御装置１６は、部品カメラ１４に対して撮像を行うように制御指令を送出する。これにより、複数の吸着ノズル２７に保持された状態の全ての電子部品が撮像され、当該撮像による画像データが記憶部２９に記憶される。
　次に、制御装置１６は、４箇所の撮像位置での撮像が終了したかを判定し（Ｓ４５）、終わっていない場合には（Ｓ４５：Ｎｏ）、上記の処理（Ｓ４３～Ｓ４５）を繰り返す。再び実装ヘッド２６を移動させる際に、制御装置１６は、撮像素子における画素の間隔の半分にあたる距離だけＸ軸方向またはＹ軸方向に実装ヘッド２６を移動させる（Ｓ４３）。そして、制御装置１６は、半画素だけ移動した電子部品の撮像処理を再び行う（Ｓ４４）。
　全ての撮像位置での撮像が終了すると（Ｓ４５：Ｙｅｓ）と、記憶部２９は、最初の撮像処理による画像データを記憶している。また、Ｓ４２において設定された撮像回数が「４回」の場合には、記憶部２９は、上記の画像データに加えて、Ｘ軸方向に半画素だけシフトした画像データ、Ｙ軸方向に半画素だけシフトした画像データ、Ｘ軸方向およびＹ軸方向にそれぞれ半画素だけシフトした画像データを記憶している。
　続いて、処理判定部５１は、画像データに対する超解像処理の実行の要否を処理管理データＭ３に基づいて判定する（Ｓ４６）。超解像処理の実行が必要な場合には（Ｓ４６：Ｙｅｓ）、超解像処理部５２は、複数の画像データを用いた超解像処理を実行して高解像度データを生成する（Ｓ４７）。この超解像処理については、補助機側処理部Ｄｓによる超解像処理（Ｓ１３）と実質的に同様であるため詳細な説明を省略する。
　超解像処理部５２による超解像処理（Ｓ４７）が終了した後に、または処理判定部５１により超解像処理の実行が不要と判定された場合には（Ｓ４６：Ｎｏ）、状態認識部５３は、吸着ノズル２７に保持された電子部品の位置および角度を含む保持状態の認識処理を実行する（Ｓ４８）。ここで、状態認識部５３は、画像データおよび高解像度データのうち処理判定部５１による判定結果に対応する一方に基づいて電子部品の保持状態を認識する。
　つまり、状態認識部５３は、判定結果が「必要」の場合には（Ｓ４６：Ｙｅｓ）、超解像処理（Ｓ４７）により生成された高解像度データを認識処理に用いる。一方で、状態認識部５３は、判定結果が「不要」の場合には（Ｓ４６：Ｎｏ）、撮像処理（Ｓ４４）により取得されたそのままの画像データ（低解像度データ）を認識処理に用いる。
　また、状態認識部５３は、低解像度データまたは高解像度データと、電子部品の種別に対応するパートデータＭ２とに基づいて保持状態の認識処理を実行する。詳細には、状態認識部５３は、低解像度データまたは高解像度データにおける電子部品と、パートデータＭ２のビジョンタイプ、形状情報とに基づいて、パターンマッチングを行う。状態認識部５３は、電子部品の保持状態として、それぞれの吸着ノズル２７に対する電子部品のＸ軸方向、Ｙ軸方向のずれ量、および吸着ノズル２７の中心軸に対する電子部品の回転角度を記憶部２９に記憶させて、この保持状態の認識処理を終了する。
　（実施形態の構成による効果）
　本実施形態に係る画像処理装置５０は、基板Ｂｄに対する各種の生産処理（実装処理）を実行する生産設備（部品実装機１０）に適用される。生産設備（部品実装機１０）は、対象物（電子部品）を撮像し画像データを取得する撮像装置（部品カメラ１４）と、画像データを用いて画像処理装置５０が認識した対象物（電子部品）の状態に基づいて生産処理（実装処理）を制御する制御装置１６と、を備える。画像処理装置５０は、生産処理（実装処理）の実行時において画像データに対する超解像処理の実行の要否を対象物（電子部品）の種別ごとに判定する処理判定部５１と、処理判定部５１による判定結果に応じて複数の画像データを用いた超解像処理を実行して高解像度データを生成する超解像処理部５２と、画像データおよび高解像度データのうち処理判定部５１による判定結果に対応する一方に基づいて対象物（電子部品）の状態を認識する状態認識部５３と、を備える。
　このような構成によると、超解像処理部５２は、処理判定部５１による判定結果に応じて超解像処理を実行して高解像度データを生成する（Ｓ４７）。つまり、画像処理装置５０は、電子部品の種別によって超解像処理を実行するか否かを切り換えて、低解像度データまたは高解像度データに基づいて電子部品の保持状態を認識する。よって、画像処理装置５０による電子部品の認識処理において、過剰な超解像処理の実行が抑制される。従って、多種に亘る電子部品について画像処理する場合に、画像処理に要する時間が短縮され、且つ画像処理の負荷が軽減される。
　また、画像処理装置５０は、生産処理（実装処理）の実行前において対象物（電子部品）を撮像して取得された画像データの解像度が状態認識部５３による認識処理に適合するか否かを対象物（電子部品）の種別ごとに判定する適否判定部５５と、適否判定部５５による判定結果に基づいて、対象物（電子部品）の種別ごとに超解像処理の実行の要否が設定された処理管理データＭ３を生成する処理管理データ生成部５６と、をさらに備える。処理判定部５１は、超解像処理の実行の要否を処理管理データＭ３に基づいて判定する（Ｓ４６）。
　このような構成によると、処理判定部５１に参照される処理管理データＭ３が自動生成される（Ｓ２１～Ｓ２６）。また、処理管理データＭ３は、実際に電子部品を撮像して取得された画像データに基づいた適否判定部５５による判定結果が反映されている。よって、処理管理データＭ３は、超解像処理の実行の要否がより適切に設定される。従って、超解像処理が過剰に実行されることが確実に防止される。また、処理管理データＭ３が自動生成されるので、オペレータの作業負荷が軽減される。
　また、適否判定部５５は、対象物（電子部品）を撮像して取得された複数の画像データを用いた超解像処理により生成された高解像度データと、当該超解像処理に用いられた何れかの画像データとに基づいて、画像データの解像度が状態認識部５３による認識処理に適合するか否かを判定する（Ｓ２３）。
　このような構成によると、適否判定部５５は、実際に生成された高解像度データと、超解像処理を実行されていない画像データ（低解像度データ）を比較することにより、低解像度データの適否を判定する（Ｓ２３）。これにより、低解像度データが高解像度データと比較しても認識処理に適合すると判定された場合には（Ｓ２３：Ｙｅｓ）、不要な超解像処理の実行が防止される。一方で、低解像度データが認識処理に適合しないと判定された場合には（Ｓ２３：Ｎｏ）、超解像処理（Ｓ４７）が適宜実行されることになり、認識処理の精度低下が防止される。
　また、対象物は、基板Ｂｄに実装される電子部品であり、画像処理装置５０は、生産処理（実装処理）の実行前において電子部品を撮像して取得された画像データを用いて、電子部品の形状を含む各種情報を電子部品の種別ごとに関連付けたパートデータＭ２を生成するパートデータ生成部３２をさらに備える。適否判定部５５は、パートデータ生成部３２によりパートデータＭ２の生成に用いられた画像データの解像度が状態認識部５３による認識処理に適合するか否かを判定する（Ｓ２３）。
　このような構成によると、適否判定部５５は、パートデータＭ２を生成するために電子部品を電子部品とする撮像により取得された画像データに基づいて判定を行う（Ｓ２３）。よって、判定のために新たに電子部品を撮像することなく、当該画像データを流用できる。従って、処理管理データＭ３がより効率的に生成される。また、パートデータＭ２に含まれる電子部品の形状を認識するために、パートデータＭ２の生成において超解像処理が実行されている（Ｓ１３）。適否判定部５５は、当該超解像処理（Ｓ１３）により生成された高解像度データも同様に適否判定（Ｓ２３）に流用できる。
　また、生産設備は、基板Ｂｄに電子部品を実装する部品実装機１０であり、対象物（電子部品）は、部品実装機１０の保持装置により保持された電子部品である。
　部品実装機１０による実装処理では、多種の電子部品を大量に実装することを要求されることがある。上記のような画像処理装置５０の構成により、実装処理の実行時における撮像処理（Ｓ４４）や画像処理（Ｓ４７，Ｓ４８）に要する時間を短縮し、サイクルタイムの短縮が可能である。よって、本発明を部品実装機１０に適用することは特に有用である。
　＜実施形態の変形態様＞
　（処理管理データＭ３）
　実施形態において、処理管理データＭ３は、図４の右側表で示されるように、電子部品の種別ごとに、超解像処理の要否が設定される。これに対して、処理管理データＭ３は、対象物（電子部品）の種別ごとに超解像処理の程度を示す処理基準が設定されるようにしてもよい。具体的には、処理管理データＭ３の処理水準は、図７に示すように、超解像処理部５２が高解像度データを生成する際に用いる画像データの数量（フレーム）をもって規定されるようにしてもよい。
　超解像処理部５２は、超解像処理の実行時において処理管理データＭ３から対象物の種別に応じた処理水準を取得する。そして、超解像処理部５２は、複数の画像データを用いた超解像処理により当該処理水準を満たす高解像度データを生成する。このような構成によると、超解像処理部５２は、対象物（電子部品）の種別ごとに予め設定されている処理水準に応じて超解像処理を実行する。
　つまり、画像処理装置５０は、超解像処理の実行／不実行の切り換えに加えて、実行の場合には段階的に設定された処理内容で超解像処理を実行する。一般に、マルチフレーム型の超解像処理では、当該処理に用いる画像データの数量が多いほど高解像度の画像データを得られるが、その分だけ処理時間を要する。これに対して、上記のような構成により、対象物（電子部品）の種別に応じた処理水準を設定できるので、超解像処理の程度が過剰となることを防止できる。
　また、処理水準を超解像処理に用いられる画像データの数量をもって規定する場合には、オペレータが処理管理データＭ３を参照して画像データの数量で超解像処理の程度を確認できる。従って、処理管理データＭ３の管理性が向上する。また、処理水準については、画像データの数量の他に、目標解像度などをもって処理水準を規定する態様も採用し得る。このような構成では、部品カメラ１４の性能に対応して画像データの数量が適宜決定されるので、処理管理データＭ３の汎用性が向上する。
　また、処理管理データＭ３は、実施形態において、補助機側処理部Ｄｓの生成処理（Ｓ２１～Ｓ２６）により自動生成される。これに対して、処理管理データＭ３は、オペレータや生産ライン２の管理者により生産実績などに基づいて生成されるようにしてもよい。このような態様では、部品実装機１０は、実装処理の実行前に実装データＭ１およびパートデータＭ２とともに、処理管理データＭ３をホストコンピュータ４０から取得する。
　（適否判定部５５による適否判定）
　実施形態において、適否判定部５５は、超解像処理（Ｓ１３）により生成された高解像度データと、当該超解像処理（Ｓ１３）に用いられた何れかの低解像度データとに基づいて、低解像度データの解像度が状態認識部５３による認識処理に適合するか否かを反手する（Ｓ２３）。これに対して、適否判定部５５は、高解像度データと低解像度データとの比較によらず、他の態様により適否判定を行うようにしてもよい。
　例えば、適否判定部５５は、撮像時における撮像装置と対象物の相対位置から割り出される当該対象物の位置と、画像データに対する画像処理により取得された対象物の位置とを比較する方法を採用してもよい。具体的には、画像処理装置５０は、先ず撮像処理（Ｓ１２）においてカメラスタンド３の載置台に対して汎用カメラ３１を相対移動させた指令値に基づいて、電子部品の位置を割り出す。
　さらに、画像処理装置５０は、画像データに対する画像処理により汎用カメラ３１に対する電子部品の位置を算出する。そして、適否判定部５５は、制御上の位置に対して画像データ上の位置が許容誤差の範囲に収まっているか否かにより適否判定を行う。このような構成によると、画像処理装置５０は、適否判定のために超解像処理を実行する必要がないため処理負荷を軽減できる。
　（実装データＭ１の最適化）
　実施形態において、基板生産システム１は、実装データＭ１を最適化するデータ最適化部４１を備える。このデータ最適化部４１は、電子部品が実装される基板上の座標および処理管理データＭ３における超解像処理の要否に基づいて、実装データＭ１を最適化するようにしてもよい。
　実装データＭ１の最適化処理では、実装ヘッド２６が複数の吸着ノズル２７を有する場合に、例えば吸着処理（Ｓ３１）において同一種別の電子部品または供給位置Ｐｓが近い電子部品が実装データＭ１の内部でグルーピングされる。そして、データ最適化部４１は、グルーピングされた種別の電子部品が一連の処理（Ｓ３１～Ｓ３３）で基板Ｂｄに装着されるように、実装順序を入れ替える。
　ここで、データ最適化部４１は、電子部品が実装される基板Ｂｄ上の座標および処理管理データＭ３における超解像処理の要否に基づいて、実装データＭ１を最適化してもよい。つまり、データ最適化部４１は、実装データＭ１の内部で電子部品をグルーピングする際に、処理管理データＭ３の内容を勘案する。例えば、吸着処理（Ｓ３１）において複数の吸着ノズル２７が異なる種別の電子部品を保持する場合に、データ最適化部４１は、超解像処理が必要な種別と不要な種別とにグルーピングして最適化する。
　このように最適化された実装データＭ１によると、吸着処理（Ｓ３１）において、超解像処理を必要とする種別の電子部品と不要とする電子部品が混在して保持されることが抑制される。よって、状態認識処理（Ｓ３２）において、撮像に係る処理（Ｓ４３～Ｓ４５）を繰り返す回数が低減するので、タクトタイムがさらに短縮する。また、処理管理データＭ３が処理水準を設定されている場合には、データ最適化部４１は、当該処理水準に基づいて実装データＭ１の最適化を行ってもよい。これにより、さらに実装処理の効率が向上する。
　（生産設備および画像処理装置５０）
　実施形態における態様は、「生産設備」は部品実装機１０であり、且つ「対象物」は電子部品であるものとして例示された。これに対して、画像処理装置５０は、部品実装機１０の他に、部品実装機１０以外の基板生産装置や、検査装置などを上記の「生産設備」としてもよい。
　例えば、生産設備が印刷検査装置の場合には、対象物は、スクリーン印刷機により基板上に印刷されたハンダとなる。これにより、印刷状態が微細な部分についてのみ超解像処理を行うように設定することが可能となる。また、生産設備が外観検査装置の場合には、対象物は、区分された検査領域に対応する基板の部分となる。これにより、小型部品が装着された部分や電子部品が密集した部分についてのみ超解像処理を行うように設定することが可能となる。
　また、画像処理装置５０の処理判定部５１、超解像処理部５２、および状態認識部５３は、部品実装機１０に設けられる。画像処理装置５０のパートデータ生成部３２、適否判定部５５、および処理管理データ生成部５６は、カメラスタンド３に設けられる。これに対して、画像処理装置５０の各部は、何れも部品実装機１０に設けられる構成としてもよい。つまり、部品実装機１０において、パートデータＭ２および処理管理データＭ３が生成される。このような構成においても、実施形態と同様の効果を奏する。
　１：基板生産システム
　　２：生産ライン、　３：カメラスタンド（生産設備）
　　５：基板搬送装置
　　１０：部品実装機（生産設備）
　　　１１：基台、　１２：部品供給装置、　１３：部品移載装置
　　　１４：部品カメラ、　１５：基板カメラ、　１６：制御装置
　　　　２１：フィーダ、
　　　　２５：ヘッド駆動機構、　２６：実装ヘッド
　　　　２７：吸着ノズル、　２９：記憶部
　　３１：汎用カメラ、　３２：パートデータ生成部
　４０：ホストコンピュータ
　　４１：データ最適化部、　４２：記憶装置
　５０：画像処理装置
　　Ｄｐ：実装機側処理部
　　　５１：処理判定部、　５２：超解像処理部、　５３：状態認識部
　　Ｄｓ：補助機側処理部
　　　５５：適否判定部、　５６：処理管理データ生成部
　Ｍ１：実装データ、　Ｍ２：パートデータ、　Ｍ３：処理管理データ
　Ｂｄ：基板、　Ｔ：電子部品（対象物）、　Ｐｓ：供給位置

Claims (8)

  1. 　基板に対する各種の生産処理を実行する生産設備に適用される画像処理装置であって、
    　前記生産設備は、
    　対象物を撮像し画像データを取得する撮像装置と、
    　前記画像データを用いて前記画像処理装置が認識した前記対象物の状態に基づいて前記生産処理を制御する制御装置と、を備え、
    　前記画像処理装置は、
    　前記生産処理の実行時において前記画像データに対する超解像処理の実行の要否を前記対象物の種別ごとに判定する処理判定部と、
    　前記処理判定部による判定結果に応じて複数の前記画像データを用いた超解像処理を実行して高解像度データを生成する超解像処理部と、
    　前記画像データおよび前記高解像度データのうち前記処理判定部による判定結果に対応する一方に基づいて前記対象物の状態を認識する状態認識部と、
    　を備える画像処理装置。
  2. 　前記画像処理装置は、
    　前記生産処理の実行前において前記対象物を撮像して取得された画像データの解像度が前記状態認識部による認識処理に適合するか否かを対象物の種別ごとに判定する適否判定部と、
    　前記適否判定部による判定結果に基づいて、前記対象物の種別ごとに超解像処理の実行の要否が設定された処理管理データを生成する処理管理データ生成部と、
    　をさらに備え、
    　前記処理判定部は、超解像処理の実行の要否を前記処理管理データに基づいて判定する、請求項１の画像処理装置。
  3. 　前記適否判定部は、前記対象物を撮像して取得された複数の画像データを用いた超解像処理により生成された高解像度データと、当該超解像処理に用いられた何れかの前記画像データとに基づいて、前記画像データの解像度が前記状態認識部による認識処理に適合するか否かを判定する、請求項２の画像処理装置。
  4. 　前記対象物は、前記基板に実装される電子部品であり、
    　前記画像処理装置は、前記生産処理の実行前において前記電子部品を撮像して取得された画像データを用いて、前記電子部品の形状を含む各種情報を前記電子部品の種別ごとに関連付けたパートデータを生成するパートデータ生成部をさらに備え、
    　前記適否判定部は、前記パートデータ生成部により前記パートデータの生成に用いられた前記画像データの解像度が前記状態認識部による認識処理に適合するか否かを判定する、請求項２または３の画像処理装置。
  5. 　前記処理管理データは、前記対象物の種別ごとに超解像処理の程度を示す処理水準が設定され、
    　前記超解像処理部は、超解像処理の実行時において前記処理管理データから前記対象物の種別に応じた前記処理水準を取得し、複数の前記画像データを用いた超解像処理により当該処理水準を満たす前記高解像度データを生成する、請求項２～４の何れか一項の画像処理装置。
  6. 　前記処理水準は、前記超解像処理部が前記高解像度データを生成する際に用いる前記画像データの数量をもって規定されている、請求項５の画像処理装置。
  7. 　前記生産設備は、前記基板に電子部品を実装する部品実装機であり、
    　前記対象物は、前記部品実装機の保持装置により保持された前記電子部品である、請求項１～６の何れか一項の画像処理装置。
  8. 　請求項７の画像処理装置と、
    　前記電子部品が実装される前記基板上の座標および前記処理管理データにおける超解像処理の要否に基づいて、前記電子部品の実装順序が規定された実装データを最適化するデータ最適化部と、
    　を備える基板生産システム。
PCT/JP2014/056694 2014-03-13 2014-03-13 画像処理装置および基板生産システム WO2015136669A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2014/056694 WO2015136669A1 (ja) 2014-03-13 2014-03-13 画像処理装置および基板生産システム
CN201480077045.7A CN106104195B (zh) 2014-03-13 2014-03-13 图像处理装置及基板生产***
JP2016507205A JP6310058B2 (ja) 2014-03-13 2014-03-13 画像処理装置および基板生産システム
EP14885828.5A EP3118572B1 (en) 2014-03-13 2014-03-13 Image processing device and substrate production system
US15/125,221 US11004177B2 (en) 2014-03-13 2014-03-13 Image processing device and board production system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/056694 WO2015136669A1 (ja) 2014-03-13 2014-03-13 画像処理装置および基板生産システム

Publications (1)

Publication Number Publication Date
WO2015136669A1 true WO2015136669A1 (ja) 2015-09-17

Family

ID=54071146

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/056694 WO2015136669A1 (ja) 2014-03-13 2014-03-13 画像処理装置および基板生産システム

Country Status (5)

Country Link
US (1) US11004177B2 (ja)
EP (1) EP3118572B1 (ja)
JP (1) JP6310058B2 (ja)
CN (1) CN106104195B (ja)
WO (1) WO2015136669A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017168637A (ja) * 2016-03-16 2017-09-21 富士機械製造株式会社 部品実装機及びヘッドユニット
WO2018154691A1 (ja) * 2017-02-23 2018-08-30 株式会社Ｆｕｊｉ 対基板作業装置および画像処理方法
EP3407696A4 (en) * 2016-01-19 2019-01-16 Fuji Corporation MOUNTING DEVICE AND PICTURE PROCESSING METHOD
WO2020065698A1 (ja) * 2018-09-25 2020-04-02 株式会社Ｆｕｊｉ 部品データ、部品データ作成システム、部品実装機及び部品実装ラインの生産最適化システム
JP2020136599A (ja) * 2019-02-25 2020-08-31 株式会社Ｆｕｊｉ データ作成装置、決定装置、装着作業機、及び、装着作業実行方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6322811B2 (ja) * 2014-07-28 2018-05-16 パナソニックＩｐマネジメント株式会社 部品実装装置および部品実装方法
JP7145146B2 (ja) * 2017-03-06 2022-09-30 株式会社Fuji 画像処理データ作成方法
WO2018235186A1 (ja) * 2017-06-21 2018-12-27 株式会社Ｆｕｊｉ 対基板作業装置
EP3825680A4 (en) * 2018-07-19 2021-07-07 Fuji Corporation TEST CONFIGURATION DEVICE AND TEST CONFIGURATION PROCEDURE
WO2020183698A1 (ja) * 2019-03-14 2020-09-17 株式会社Ｆｕｊｉ 対象体判定方法、対象体判定装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191157A (ja) * 1997-12-25 1999-07-13 Toshiba Corp 画像処理装置
JP2005127836A (ja) * 2003-10-23 2005-05-19 Yamaha Motor Co Ltd 部品認識方法、部品認識装置、表面実装機、部品試験装置および基板検査装置
JP2006287116A (ja) * 2005-04-04 2006-10-19 Yamaha Motor Co Ltd 照明装置、部品認識装置、表面実装機および部品試験装置
JP2007248145A (ja) * 2006-03-14 2007-09-27 Omron Corp 検査方法および検査装置
JP2011155050A (ja) * 2010-01-26 2011-08-11 Hitachi High-Tech Instruments Co Ltd 電子部品装着装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6938335B2 (en) * 1996-12-13 2005-09-06 Matsushita Electric Industrial Co., Ltd. Electronic component mounting method
JP4420498B2 (ja) * 1999-11-30 2010-02-24 積水化学工業株式会社 設計支援システム
US7251354B2 (en) * 2002-03-07 2007-07-31 Yamaha Hatsudoki Kabushiki Kaisha Electronic component inspection apparatus
DE60332406D1 (de) * 2002-03-15 2010-06-17 Affymetrix Inc System und Verfahren zur Abtastung von biologischen Materialien
EP1827073A1 (en) * 2004-12-15 2007-08-29 Matsushita Electric Industrial Co., Ltd. Action time shortening method, action time shortening device, program, and parts mounting machine
JP4964522B2 (ja) * 2006-07-12 2012-07-04 ヤマハ発動機株式会社 スクリーン印刷装置
US8180179B2 (en) * 2007-12-21 2012-05-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program executing image processing method, and storage medium
JP2009246935A (ja) * 2008-03-14 2009-10-22 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置
JP4565016B2 (ja) 2008-05-16 2010-10-20 キヤノン株式会社 画像処理装置、画像処理方法及びそのプログラムならびにこのプログラムを記憶させたコンピュータ読み取り可能な記憶媒体
JP5094601B2 (ja) * 2008-07-09 2012-12-12 キヤノン株式会社 画像処理装置及び画像処理方法ならびにプログラム
JP2010041336A (ja) * 2008-08-04 2010-02-18 Toshiba Corp 画像処理装置、および画像処理方法
JP5094642B2 (ja) * 2008-08-28 2012-12-12 キヤノン株式会社 画像処理装置およびその制御方法とプログラム
JP2010161760A (ja) * 2008-12-09 2010-07-22 Sanyo Electric Co Ltd 画像処理装置及び電子機器
CN101477066B (zh) * 2009-01-09 2012-02-01 华南理工大学 基于超分辨率图像重建的电路板元件安装/焊接质量检测方法及***
JP4998485B2 (ja) * 2009-01-23 2012-08-15 パナソニック株式会社 部品実装ライン及び部品実装方法
JP5182122B2 (ja) * 2009-01-27 2013-04-10 オムロン株式会社 部品実装基板の品質管理用の情報表示システムおよび情報表示方法
JP5524495B2 (ja) * 2009-03-10 2014-06-18 富士機械製造株式会社 撮像システムおよび電子回路部品装着機
JP4875117B2 (ja) * 2009-03-13 2012-02-15 株式会社東芝 画像処理装置
JP5393550B2 (ja) * 2010-03-18 2014-01-22 株式会社日立ハイテクノロジーズ 走査荷電粒子顕微鏡を用いた画像生成方法及び装置、並びに試料の観察方法及び観察装置
JP2012021852A (ja) * 2010-07-13 2012-02-02 Olympus Corp 基板検査装置および基板検査方法
KR101624210B1 (ko) * 2010-08-27 2016-05-31 한화테크윈 주식회사 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템
JP5791408B2 (ja) 2011-07-15 2015-10-07 富士機械製造株式会社 電子部品実装装置
CN102881000B (zh) * 2012-09-07 2016-05-18 华为技术有限公司 一种视频图像的超分辨率方法、装置和设备
JP5895131B2 (ja) * 2012-12-25 2016-03-30 パナソニックＩｐマネジメント株式会社 電子部品実装システムおよび電子部品実装方法
US9669432B2 (en) * 2013-08-27 2017-06-06 Te Connectivity Corporation Component feeding system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191157A (ja) * 1997-12-25 1999-07-13 Toshiba Corp 画像処理装置
JP2005127836A (ja) * 2003-10-23 2005-05-19 Yamaha Motor Co Ltd 部品認識方法、部品認識装置、表面実装機、部品試験装置および基板検査装置
JP2006287116A (ja) * 2005-04-04 2006-10-19 Yamaha Motor Co Ltd 照明装置、部品認識装置、表面実装機および部品試験装置
JP2007248145A (ja) * 2006-03-14 2007-09-27 Omron Corp 検査方法および検査装置
JP2011155050A (ja) * 2010-01-26 2011-08-11 Hitachi High-Tech Instruments Co Ltd 電子部品装着装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3407696A4 (en) * 2016-01-19 2019-01-16 Fuji Corporation MOUNTING DEVICE AND PICTURE PROCESSING METHOD
JP2017168637A (ja) * 2016-03-16 2017-09-21 富士機械製造株式会社 部品実装機及びヘッドユニット
WO2018154691A1 (ja) * 2017-02-23 2018-08-30 株式会社Ｆｕｊｉ 対基板作業装置および画像処理方法
JPWO2018154691A1 (ja) * 2017-02-23 2019-11-07 株式会社Ｆｕｊｉ 対基板作業装置および画像処理方法
US10863661B2 (en) 2017-02-23 2020-12-08 Fuji Corporation Substrate working device and image processing method
WO2020065698A1 (ja) * 2018-09-25 2020-04-02 株式会社Ｆｕｊｉ 部品データ、部品データ作成システム、部品実装機及び部品実装ラインの生産最適化システム
JPWO2020065698A1 (ja) * 2018-09-25 2021-02-25 株式会社Ｆｕｊｉ 部品データ、部品データ作成システム、部品実装機及び部品実装ラインの生産最適化システム
JP7019065B2 (ja) 2018-09-25 2022-02-14 株式会社Fuji 部品実装ラインの生産最適化システム
JP2020136599A (ja) * 2019-02-25 2020-08-31 株式会社Ｆｕｊｉ データ作成装置、決定装置、装着作業機、及び、装着作業実行方法
JP7269028B2 (ja) 2019-02-25 2023-05-08 株式会社Fuji 決定装置

Also Published As

Publication number Publication date
JPWO2015136669A1 (ja) 2017-04-06
EP3118572A4 (en) 2017-03-22
US20170069057A1 (en) 2017-03-09
JP6310058B2 (ja) 2018-04-11
CN106104195B (zh) 2019-01-29
CN106104195A (zh) 2016-11-09
US11004177B2 (en) 2021-05-11
EP3118572A1 (en) 2017-01-18
EP3118572B1 (en) 2021-08-25

Similar Documents

Publication Publication Date Title
JP6310058B2 (ja) 画像処理装置および基板生産システム
JP6212134B2 (ja) 組立機
JP6018844B2 (ja) 部品装着方法、部品装着装置、及びプログラム
US11076520B2 (en) Production management device for mounting components on multiple board types
WO2016117017A1 (ja) 検査支援装置および検査支援方法
JP5190127B2 (ja) 基板処理装置
JP6646916B2 (ja) 基板用の画像処理装置および画像処理方法
JP6648252B2 (ja) 画像処理システム及び画像処理方法
JP6309962B2 (ja) 組立機
JP6904978B2 (ja) 部品装着機
JP6715714B2 (ja) 検査支援装置および検査支援方法
WO2016092673A1 (ja) 部品実装機
JPWO2019016923A1 (ja) 対基板作業システム
CN110431929B (zh) 对基板作业机
JP7153126B2 (ja) 良否判定装置および良否判定方法
JP6670410B2 (ja) 検査支援装置および検査支援方法
JP2014029961A (ja) 部品実装システム
JP7269028B2 (ja) 決定装置
JP7153127B2 (ja) 良否判定装置および良否判定方法
JP7026234B2 (ja) 作業支援装置および対基板作業機
JP2009206378A (ja) 電子部品装着装置
JP2017072924A (ja) 基板用の画像処理装置
JP2020129706A (ja) 検査方法
JP2004335940A (ja) 電子部品実装装置および電子部品実装方法
JP2017129895A (ja) データ処理装置、実装装置、基板検査装置、データ処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14885828

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016507205

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15125221

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014885828

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014885828

Country of ref document: EP