WO2018025333A1 - ヘッド分離型カメラ及び作業機 - Google Patents

ヘッド分離型カメラ及び作業機 Download PDF

Info

Publication number
WO2018025333A1
WO2018025333A1 PCT/JP2016/072689 JP2016072689W WO2018025333A1 WO 2018025333 A1 WO2018025333 A1 WO 2018025333A1 JP 2016072689 W JP2016072689 W JP 2016072689W WO 2018025333 A1 WO2018025333 A1 WO 2018025333A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
unit
image data
head
image
Prior art date
Application number
PCT/JP2016/072689
Other languages
English (en)
French (fr)
Inventor
紘佑 土田
伸夫 長坂
英和 金井
憲司 渡邉
Original Assignee
富士機械製造株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士機械製造株式会社 filed Critical 富士機械製造株式会社
Priority to PCT/JP2016/072689 priority Critical patent/WO2018025333A1/ja
Priority to US16/317,109 priority patent/US10771672B2/en
Priority to EP16911594.6A priority patent/EP3496382A4/en
Priority to JP2018531019A priority patent/JP6990655B2/ja
Priority to CN201680088089.9A priority patent/CN109565533B/zh
Publication of WO2018025333A1 publication Critical patent/WO2018025333A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Definitions

  • the present invention relates to a head-separated camera in which an image sensor and a lens are unitized and separated from a control unit, and a work machine that executes control based on image data captured by the head-separated camera.
  • Some working machines include a camera that images a circuit board on which electronic components are mounted (for example, Patent Document 1).
  • the electronic component mounting machine described in Patent Literature 1 includes a control unit that controls the electronic component mounting machine, and a camera unit that includes an imaging device and the like.
  • the camera unit is connected to the control unit via a camera cable.
  • the camera unit includes a CPU, a RAM, a flash memory, and the like, which are processing circuits, in addition to the image sensor.
  • the CPU stores the operation history data of the camera unit itself in the RAM, and when receiving a storage request from the control unit, performs a process of writing the operation history data to the flash memory.
  • Non-Patent Documents 1 and 2 describe a camera for an individual user that includes a control unit and a camera unit.
  • the camera unit is unitized with a processing circuit that performs image processing and the like in addition to a lens and an image sensor.
  • the processing circuit performs processing according to the unitized lens and image sensor.
  • the processing circuit and the control unit need to execute a lens distortion correction process or the like using an eigenvalue corresponding to the characteristics of the camera unit.
  • a so-called camera head unit including an imaging element and a lens is separated from a control unit that controls the camera head unit.
  • the camera head unit is detachable from the control unit, and the camera head unit can be replaced.
  • the head-separated camera does not include an image processing unit in the camera head unit, and is configured to output pixel data output from the image sensor of the camera head unit to the control unit. .
  • the correction process can be appropriately executed with a unique value corresponding to the replaced camera head unit.
  • the present invention has been made in view of the above-described problems.
  • a camera head unit is replaced, a head-separated camera capable of executing correction processing with a unique value corresponding to the replaced camera head unit, and the head separation thereof
  • An object of the present invention is to provide a working machine having a type camera.
  • the head-separated camera disclosed in the present specification stores an image sensor, a lens that forms an image of external light on the image sensor, and an eigenvalue corresponding to characteristics unique to at least one of the image sensor and the lens.
  • a camera head unit having a first storage device; a connection member that is connected to the camera head unit and that transmits pixel data obtained by photoelectric conversion of the image sensor; and a camera head unit that is detachably connected via the connection member.
  • An eigenvalue is acquired from one storage device and connected to an image processing unit that executes image processing via a camera cable, and image processing can be performed in the image processing unit from pixel data input from an image sensor via a connection member
  • An image data generation unit that generates image data and outputs the image data to the image processing unit via a camera cable.
  • Eigenvalues are used for correction processing on the image data to be executed by at least one of the image data generating unit and the image processing unit.
  • the image data generation unit can acquire the eigenvalue from the first storage device of the replaced camera head unit. Then, the image data generation unit and the image processing unit can execute an appropriate correction process according to the characteristics of the camera head unit after replacement based on the acquired eigenvalue.
  • mounting machine 10 an electronic component mounting machine (hereinafter sometimes abbreviated as “mounting machine”) 10 will be described as an example of a working machine including a head-separated camera.
  • FIG. 1 is a perspective view showing the overall configuration of the mounting machine 10.
  • the mounting machine 10 is configured by arranging two sets of the same apparatus adjacent to each other. Therefore, in the following description, one set will be described.
  • the mounting machine 10 is configured by assembling a substrate transport device 12, a component supply device 13, a component transfer device 14, a component camera 15, a display device 16, a main body portion 17, and the like on a base 11.
  • the horizontal width direction of the mounting machine 10 (the direction from the upper left to the lower right in FIG. 1) is the X axis direction, and the horizontal longitudinal direction of the mounting machine 10 (in FIG. 1).
  • the direction from the upper right to the lower left of the drawing will be referred to as the Y-axis direction, and the vertical height direction will be referred to as the Z-axis direction.
  • the substrate transfer device 12 is provided in the middle of the mounting machine 10 in the longitudinal direction (Y-axis direction).
  • the substrate transfer device 12 includes a first transfer device 12A and a second transfer device 12B that are juxtaposed to carry out two substrates K in parallel in the X-axis direction.
  • the first transport device 12A is guided by each of a pair of guide rails 12C and 12D and guide rails 12C and 12D arranged in parallel on the base 11 in the X-axis direction, and the substrate K is placed and transported. It is comprised by a pair of conveyor belt (illustration omitted) etc.
  • the first transport device 12A is provided with a clamp device (not shown) that pushes up and positions the substrate K transported to the component mounting position from the base 11 side.
  • the second transport device 12B is configured in the same manner as the first transport device 12A.
  • the component supply device 13 is a feeder-type supply device, and is provided at the front portion of the mounting machine 10 in the longitudinal direction (the left front side in FIG. 1).
  • the component supply device 13 is configured by arranging a plurality of cassette-type feeders 13 ⁇ / b> A on the base 11.
  • Each of the cassette-type feeders 13A includes a main body 13B that is detachably attached to the base 11, and a supply reel 13C that is loaded on the rear portion of the main body 13B (the front side of the mounting machine 10).
  • the supply reel 13C is a medium for supplying electronic components, and is wound with a carrier tape (not shown) holding a predetermined number of components at regular intervals.
  • the main body 13B pulls out the leading end of the carrier tape to a component supply unit 13D provided at the leading end of the main body 13B (near the center of the mounting machine 10), and supplies different electronic components for each carrier tape.
  • the component transfer device 14 is a so-called XY robot type device that can move in the X-axis direction and the Y-axis direction, and supplies components from the rear portion (right rear side in FIG. 1) in the longitudinal direction of the mounting machine 10 to the front portion. It is arranged above the device 13.
  • the component transfer device 14 includes an XY axis head drive mechanism 14A (mostly hidden in FIG. 1), a mounting head 18, and the like.
  • the XY axis head drive mechanism 14A drives the mounting head 18 in the X axis direction and the Y axis direction.
  • the mounting head 18 is driven by an XY-axis head driving mechanism 14A, and has a suction nozzle 18A that suctions and mounts a component by using negative pressure.
  • the mounting head 18 is configured to be able to move the suction nozzle 18A up and down in the Z-axis direction and to rotate the suction nozzle 18A around the Z-axis.
  • the mounting head 18 has a head-separated camera 21 as an imaging device that images the positioned substrate K.
  • the head-separated camera 21 includes a camera head unit 21A and a camera control unit 21B.
  • the component camera 15 is an imaging device that is disposed on the base 11 near the component supply unit 13D of the component supply device 13 and images the component suction state of the suction nozzle 18A of the component transfer device 14.
  • the display device 16 is a device that is disposed on the upper front side of the upper cover 19 and displays various types of information.
  • the main body 17 is built in the base 11 and is connected to the substrate transfer device 12, the component supply device 13, the component transfer device 14, and the component camera 15 described above. The main body 17 issues a command while appropriately exchanging information with the substrate transfer device 12 and the like, and controls each device in an integrated manner.
  • the main body unit 17 includes an image processing unit 31, a storage device 32, and a main body power supply unit 33.
  • the image processing unit 31 performs image processing on the image data GD captured by the head-separated camera 21.
  • the image processing unit 31 stores temporary data during image processing and data after image processing in the storage device 32.
  • the storage device 32 includes, for example, an optical drive device such as a hard disk device or a RAM (Random Access Memory).
  • the main body power supply unit 33 functions as a drive source that supplies power to the head-separated camera 21.
  • the camera control unit 21 ⁇ / b> B of the head-separated camera 21 is detachably connected to the main body unit 17 via a camera cable 41.
  • the camera control unit 21 ⁇ / b> B executes transmission / reception of various signals and transmission of power via the camera cable 41 with the main body unit 17.
  • the camera control unit 21B includes an image data generation unit 51, a nonvolatile memory 52, and a power supply unit 53.
  • the image data generation unit 51 is configured by a logic block of a programmable logic device, for example, an FPGA (Field Programmable Gate Array). Note that the image data generation unit 51 may be configured by dedicated hardware such as an ASIC, for example.
  • the image processing unit 31 of the main body unit 17 and the image data generation unit 51 of the camera control unit 21B perform communication based on, for example, the CameraLink standard through the camera cable 41.
  • the CameraLink standard here is one of the communication standards that defines the data transmission system for industrial digital cameras.
  • the LVDS Low Voltage Differential Signaling targets image data GD, etc.
  • a communication standard for serial communication that transmits data.
  • the camera cable 41 conforms to the CameraLink standard whose specification is, for example, base configuration, and the signal line for transferring image data GD, command data CMD, and control signals (trigger signal TG, etc.) is within one camera cable 41. Is provided.
  • the camera cable 41 that transfers the image data GD is not limited to a cable that complies with the CameraLink standard, and for example, a USB 3.0 standard cable or a LAN cable may be used.
  • the communication method for transferring the image data GD may be a communication method compliant with the GigEVision (registered trademark) standard or the CoaXPress (registered trademark) standard.
  • the image processing unit 31 performs low-speed serial communication (for example, communication conforming to the RS232C standard) via the image data generation unit 51 and the camera cable 41.
  • the image processing unit 31 outputs command data CMD to the image data generation unit 51 via serial communication.
  • the image processing unit 31 uses the command data CMD to read the eigenvalue D1 stored in the nonvolatile memory 52 described later.
  • the non-volatile memory 52 is, for example, a flash memory, and a program such as a driver for controlling the image sensor 62 and the lens unit 61 by the image data generation unit 51 and configuration data for constructing the image data generation unit 51. Is saved.
  • the power supply unit 53 supplies the power supplied from the main body power supply unit 33 of the main body unit 17 to the nonvolatile memory 52 and the image data generation unit 51.
  • the camera control unit 21B is connected to the camera head unit 21A via a dedicated cable 42.
  • the dedicated cable 42 is, for example, a flexible printed board.
  • the camera control unit 21B performs transmission / reception of various signals and transmission of power via the dedicated cable 42 with the camera head unit 21A.
  • the power supply unit 53 of the camera control unit 21B supplies power to the camera head unit 21A via the dedicated cable 42.
  • the camera head unit 21A includes a lens unit 61, an image sensor 62, an A / D conversion unit 63, and a nonvolatile memory 64.
  • the lens unit 61 includes a lens 61 ⁇ / b> A, a lens holding member (not shown), and the like, and focuses light from the substrate K, which is a subject, on the image sensor 62.
  • the image sensor 62 is an image sensor such as a CCD or a CMOS, for example.
  • the imaging element 62 photoelectrically converts the light imaged on the imaging surface by the lens unit 61 and outputs it to the A / D conversion unit 63 as an analog imaging signal.
  • the A / D conversion unit 63 converts the imaging signal input from the imaging element 62 into pixel data PD of a digital signal, and outputs it to the image data generation unit 51 via the dedicated cable 42.
  • the image data generation unit 51 outputs a control signal CD to the A / D conversion unit 63 in response to input of the trigger signal TG from the image processing unit 31.
  • CC1 can be used among the four types of camera control signals (CC1, CC2, CC3, CC4) defined by the CameraLink standard.
  • the control signal CD a signal having the same content as the trigger signal TG may be used, or a signal converted in accordance with the standard of the camera head unit 21A or the like may be used.
  • the A / D converter 63 outputs the pixel data PD to the image data generator 51 in response to receiving the control signal CD from the image data generator 51.
  • the image data generation unit 51 generates image data GD corresponding to the communication standard of the camera cable 41 and the processing method of the image processing unit 31 from the acquired pixel data PD.
  • the image data generation unit 51 generates one frame of image data GD by adding header information to the pixel data PD in accordance with, for example, a communication standard.
  • the image data generation unit 51 outputs the image data GD to the image processing unit 31 via the camera cable 41.
  • the image data generation unit 51 may execute control other than the acquisition processing of the pixel data PD, for example, initial setting of the image sensor 62, using the control signal CD.
  • the image data generation unit 51 may adjust the number of pixels of the pixel data PD by changing the number of image sensors 62 that output pixel values using the control signal CD.
  • the image data generation unit 51 may adjust the gain of the image sensor 62 using the control signal CD.
  • the image data generation unit 51 may acquire the pixel data PD in advance before inputting the trigger signal TG from the image processing unit 31.
  • the image data generation unit 51 acquires the pixel data PD from the A / D conversion unit 63 in advance and stores it in the nonvolatile memory 52, and stores the pixel data PD stored in accordance with the input of the trigger signal TG.
  • the image data GD may be generated from the image data and output to the image processing unit 31.
  • the nonvolatile memory 64 (first storage device) of the camera head unit 21A is, for example, a flash memory.
  • the non-volatile memory 64 stores an eigenvalue D1 as data referred to when the image data GD is corrected by the image data generation unit 51 or the image processing unit 31.
  • the eigenvalue D1 here is data indicating device-specific characteristics of the image sensor 62, such as defective pixel information and vertical stripe correction information.
  • the eigenvalue D1 is data indicating device-specific characteristics (including characteristics determined by an assembly error between the lens 61A and the image sensor 62) such as lens distortion correction information and optical axis deviation information.
  • the defective pixel information is coordinate information of a pixel (defective point) that becomes white (high brightness) or black (low brightness) regardless of the amount of light received by the image sensor 62.
  • the image data generation unit 51 of the camera control unit 21B corrects a defect point.
  • the image data generation unit 51 determines the coordinates of the peripheral pixels used for correcting the pixel value of the defective point based on the coordinate information of the defective pixel information. Then, the image data generation unit 51 corrects the pixel value of the defective point using the pixel values of the peripheral pixels.
  • Vertical stripe correction information is offset information for variations in brightness for each vertical line of the image sensors 62 arranged in a matrix.
  • the image processing unit 31 of the main body unit 17 performs vertical stripe correction.
  • the image processing unit 31 corrects the pixel value of the image data GD input from the image data generation unit 51 by the brightness set for each vertical line based on the vertical stripe correction information. Note that the image processing unit 31 may correct the variation in brightness for each horizontal line instead of the vertical line or in addition to the vertical line.
  • the lens distortion correction information is information indicating the magnitude of the positional deviation of the light incident on the image sensor 62 due to the distortion of the lens 61A, and indicates the magnitude of the deviation between the image that should originally be captured and the image that is actually captured. It is information to show.
  • the lens distortion is caused by an error in the mounting position of the lens 61A and the image sensor 62.
  • the image processing unit 31 corrects distortion (positional deviation) for each pixel by applying a pixel position offset for each pixel based on the lens distortion correction information.
  • the optical axis deviation correction information is information indicating the magnitude of deviation between the center pixel of the image sensor 62 and the center of the image.
  • the optical axis misalignment correction information indicates the amount by which the elephant reflected in the image sensor 62 deviates from the assumed position due to the relative positional relationship between the lens 61A and the image sensor 62 and variations in the manufacturing accuracy of the lens 61A.
  • Information In the present embodiment, for example, the image processing unit 31 corrects the positional deviation of the image by applying a positional offset to the entire image of the image data GD based on the optical axis deviation correction information.
  • the eigenvalue D1 is not limited to the defective pixel information described above.
  • the eigenvalue D1 may be a lookup table.
  • the look-up table is a correspondence table for correcting (gamma correction) the difference between desired brightness and image brightness.
  • the image processing unit 31 may correct the pixel value by executing data conversion corresponding to the lookup table for each pixel of the image data GD.
  • the sharing of processing may be determined according to the processing capabilities of the image data generation unit 51 and the image processing unit 31, the number of pixels of the image sensor 62, and the like.
  • the image processing unit 31 and the image data generation unit 51 execute the acquisition process of the eigenvalue D1 when power is supplied to the head-separated camera 21 to start up (for example, when the mounting machine 10 starts up). .
  • step (hereinafter, simply referred to as “S”) 11 shown in FIG. 3 the main body power supply unit 33 of the main body unit 17 supplies power to the power supply unit 53 of the camera control unit 21 ⁇ / b> B as the mounting machine 10 is activated. Supply.
  • the head-separated camera 21 (image data generation unit 51) starts the activation process when power is supplied to the power supply unit 53.
  • the power supply unit 53 supplies power to the image sensor 62, the A / D conversion unit 63, and the nonvolatile memory 64 of the camera head unit 21A.
  • the image data generation unit 51 acquires the eigenvalue D1 from the nonvolatile memory 64 of the camera head unit 21A in accordance with the activation process (S12).
  • the image data generation unit 51 stores the acquired unique value D1 in the nonvolatile memory 52 of the camera control unit 21B.
  • the image processing unit 31 and the image data generation unit 51 perform communication establishment processing via the camera cable 41 (S13).
  • the image processing unit 31 uses the command data CMD defined by the CameraLink standard to request the image data generation unit 51 to establish communication, and inputs response command data CMD to detect communication establishment.
  • the image processing unit 31 detects establishment of communication, the image processing unit 31 outputs command data CMD for requesting the necessary eigenvalue D1 to the image data generation unit 51 (S14).
  • the image processing unit 31 performs vertical stripe correction, lens distortion correction, and optical axis deviation correction. Therefore, the image processing unit 31 requests the image data generation unit 51 for a unique value D1 such as vertical stripe correction information.
  • the image data generation unit 51 outputs a unique value D 1 that meets the request to the image processing unit 31.
  • the image processing unit 31 stores the eigenvalue D ⁇ b> 1 input from the image data generation unit 51 in the storage device 32.
  • the timing at which the image processing unit 31 and the image data generation unit 51 acquire the eigenvalue D1 is not limited to when the head-separated camera 21 is activated.
  • the image processing unit 31 and the image data generation unit 51 may appropriately acquire the necessary eigenvalue D1 in accordance with the timing for starting the correction process.
  • the image data generation unit 51 may be set to output the eigenvalue D1 to the image processing unit 31 every time the eigenvalue D1 is acquired from the camera head unit 21A regardless of the request from the image processing unit 31.
  • the image processing unit 31 (main body unit 17) performs imaging of the substrate K by the head separation type camera 21 at each stage of the mounting operation by the mounting machine 10 (see FIG. 1). At this time, the image processing unit 31 outputs a trigger signal TG to the image data generation unit 51 to instruct imaging (S15).
  • the image data generation unit 51 acquires the pixel data PD from the image sensor 62 (A / D conversion unit 63) of the camera head unit 21A and obtains the image data GD. Generate.
  • the image data generation unit 51 performs a correction process using the unique value D1 (defective pixel information in the present embodiment) stored in the nonvolatile memory 52 on the generated image data GD (S16).
  • the image data generation unit 51 outputs the corrected image data GD to the image processing unit 31 via the camera cable 41.
  • the image processing unit 31 performs correction processing on the image data GD input from the image data generation unit 51 (S17).
  • the image processing unit 31 performs vertical stripe correction and the like, and stores the corrected image data GD in the storage device 32.
  • the image processing unit 31 and the image data generation unit 51 execute the acquisition process of the eigenvalue D1 and the correction process of the image data GD.
  • the main body unit 17 performs detection of the edge of the substrate K, detection of the error of the holding position of the substrate K, detection of the mark written on the substrate K, and the like using the corrected image data GD, and the detection result
  • the mounting operation can be performed appropriately.
  • the order of the processes shown in FIG. 3 is an example, and can be changed as appropriate.
  • the image data generation unit 51 may execute communication establishment processing (S13) via the camera cable 41 before the eigenvalue D1 acquisition processing (S12) or in parallel with the processing of S12.
  • the image processing unit 31 and the image data generation unit 51 execute the above-described process, and when the camera head unit 21A and the camera control unit 21B are exchanged, appropriately acquire the eigenvalue D1 and execute an appropriate correction process. be able to.
  • FIG. 4 shows a case where the camera head unit 21A is replaced as an example.
  • the camera head unit 121A, the image sensor 162, the lens 161A, and the eigen value D11 are illustrated. .
  • the camera head unit 21A and the camera control unit 21B are replaced when a failure occurs or when the unit is changed to a unit with different performance (such as the telephoto performance of the lens 61A or the processing performance of the image data generation unit 51).
  • the lens 61A before replacement and the lens 161A after replacement are unique to the device.
  • the eigenvalue D1 before the exchange and the eigenvalue D11 after the exchange are different depending on the difference in characteristics (for example, the difference in the position of the defect point).
  • the image data generation unit 51 and the like need to acquire the eigenvalue D11 corresponding to the device-specific characteristics of the lens 161A and the image sensor 162 from the replaced camera head unit 121A.
  • the replaced camera control unit 21B needs to acquire the eigenvalue D1 of the connected camera head unit 21A in order to perform an appropriate correction process.
  • the image processing unit 31 and the image data generation unit 51 of the present embodiment execute the process of acquiring the eigenvalue D1 (eigenvalue D11) at the time of activation as described above. For this reason, even when the camera head unit 21A and the camera control unit 21B are replaced, the image processing unit 31 and the image data generation unit 51 acquire the replaced eigenvalue D11 at the time of activation so that the replaced camera head Appropriate correction processing can be executed using the eigenvalue D11 corresponding to the characteristics of the unit 121A.
  • the head-separated camera 21 includes a camera head unit 21A, a dedicated cable 42 (connection member), and an image data generation unit 51.
  • the camera head unit 21A stores an image sensor 62, a lens 61A that forms an image of light from the outside on the image sensor 62, and a unique value D1 that corresponds to characteristics unique to at least one of the image sensor 62 and the lens 61A.
  • a nonvolatile memory 64 (first storage device).
  • the dedicated cable 42 is connected to the camera head unit 21 ⁇ / b> A, and transmits pixel data PD that has been subjected to photoelectric conversion by the image sensor 62.
  • the image data generation unit 51 is detachably connected to the camera head unit 21A via the dedicated cable 42, acquires the eigenvalue D1 from the nonvolatile memory 64, and connects the image processing unit 31 and the camera cable 41 that execute image processing.
  • the image processing unit 31 generates image data GD that can be processed by the image processing unit 31 from the pixel data PD input from the image sensor 62 via the dedicated cable 42, and sends the image data to the image processing unit 31 via the camera cable 41.
  • Data GD is output.
  • the eigenvalue D1 is used for correction processing for the image data GD executed by at least one of the image data generation unit 51 and the image processing unit 31.
  • the camera head unit 21A and the image data generation unit 51 are detachably connected via the dedicated cable 42 (connection member).
  • the camera head unit 21A includes a nonvolatile memory 64 (first storage device) that stores the eigenvalue D1 in addition to the image sensor 62 and the lens 61A.
  • the image data generation unit 51 acquires the eigenvalue D1 from the camera head unit 21A via the dedicated cable 42 (S12 in FIG. 3). Further, the image data generation unit 51 generates image data GD from the pixel data PD acquired from the camera head unit 21A.
  • the image processing unit 31 is connected to the image data generation unit 51 and executes image processing on the image data GD.
  • At least one of the image data generation unit 51 and the image processing unit 31 performs correction processing on the image data GD using the eigenvalue D1.
  • the image data generation unit 51 can acquire the eigenvalue D11 from the nonvolatile memory 64 of the replaced camera head unit 121A (see FIG. 4). Then, the image data generation unit 51 and the image processing unit 31 can execute an appropriate correction process according to the characteristics of the camera head unit 121A after replacement based on the acquired eigenvalue D11.
  • the image data generation unit 51 further includes a nonvolatile memory 52 (second storage device), acquires the eigenvalue D1 from the nonvolatile memory 64 (first storage device) when the camera head unit 21A is activated, and acquires the acquired eigenvalue. D1 is stored in the nonvolatile memory 52.
  • a nonvolatile memory 52 second storage device
  • the image data generation unit 51 acquires the eigenvalue D1 from the nonvolatile memory 64 of the camera head unit 21A and stores it in the nonvolatile memory 52. Thereby, the image data generation unit 51 can acquire the eigenvalue D11 of the camera head unit 121A after the replacement in accordance with the replacement of the camera head unit 21A (see FIG. 4).
  • the image data generation unit 51 outputs a unique value D1 that meets the request to the image processing unit 31 via the camera cable 41 (S14 in FIG. 3).
  • the image processing unit 31 can appropriately acquire the eigenvalue D1 required in the correction process for the image data GD from the image data generation unit 51.
  • nonvolatile memory 64 (first storage device) stores at least one of defective pixel information and line correction information as the eigenvalue D1 of the image sensor 62.
  • the image data generation unit 51 and the image processing unit 31 can execute the correction of the defective points by the peripheral pixels based on the defective pixel information. Further, the image data generation unit 51 and the like can correct variations in brightness of vertical lines and horizontal lines of the image sensor 62 based on the line correction information.
  • the non-volatile memory 64 (first storage device) stores at least one of the lens distortion correction information and the optical axis deviation information as the eigenvalue D1 of the lens 61A.
  • the image data generation unit 51 and the image processing unit 31 can correct the positional deviation of the light incident on the image sensor 62 due to the lens distortion based on the lens distortion correction information. Further, the image data generation unit 51 and the like can correct the position shift of the entire image due to the relative position of the lens 61A with respect to the image sensor 62 based on the optical axis shift information.
  • the camera that captures the substrate K is used as the head-separated camera, but the present invention is not limited to this.
  • the component camera 15 that captures the component suction state of the suction nozzle 18A may be configured as a head-separated camera.
  • the camera head unit 21 ⁇ / b> A and the camera control unit 21 ⁇ / b> B are detachable from the dedicated cable 42, but the present invention is not limited to this.
  • the camera head unit 21A is configured to be detachable from the camera control unit 21B by connecting or disconnecting a cable fixed to the camera head unit 21A and a cable fixed to the camera control unit 21B. Also good.
  • the nonvolatile memory 64 stores both the eigenvalue D1 (lens distortion correction information and the like) corresponding to the characteristics of the lens 61A and the eigenvalue D1 (defect pixel information and the like) corresponding to the characteristics of the image sensor 62.
  • the camera head unit 21A and the camera control unit 21B transmit the pixel data PD and the eigenvalue D1 with one dedicated cable 42, but may be configured to transmit the respective data with different communication cables.
  • the electronic component mounting machine 10 that mounts electronic components on the substrate K is employed as the working machine, but the working machine is not limited to this, and various other working machines can be employed.
  • the working machine may be a working machine (working robot) that performs assembly work such as a secondary battery (such as a solar battery or a fuel cell), and moves the squeegee along the mask to use the printing material as a member to be printed.
  • a screen printing apparatus for printing may be used.
  • the working machine is not limited to a machine that mounts a substrate and assembles parts, and may be a machine tool that performs a cutting work, for example.
  • SYMBOLS 10 Electronic component mounting machine (work machine), 21: Head separation type camera, 21A, 121A: Camera head unit, 31: Image processing unit, 42: Dedicated cable (connection member), 51: Image data generation part, 52: Nonvolatile memory (second storage device), 61A, 161A: Lens, 62, 162: Image sensor, 64: Nonvolatile memory (first storage device), D1, D11: Eigenvalue, PD: Pixel data, GD: Image data .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Lens Barrels (AREA)

Abstract

カメラヘッドユニットを交換した場合に、交換後のカメラヘッドユニットに応じた固有値で補正処理が実行できるヘッド分離型カメラ及び、そのヘッド分離型カメラを備える作業機を提供すること。 ヘッド分離型カメラ21のカメラヘッドユニット21Aは、専用ケーブル42を介して画像データ生成部51と着脱可能に接続されている。カメラヘッドユニット21Aの不揮発性メモリ64には、撮像素子62及びレンズ61Aのうち少なくとも一方の機器固有の特性に応じた固有値D1が記憶されている。固有値D1は、画像データ生成部51及び画像処理ユニット31のうち少なくとも一方で実行される画像データに対する補正処理に用いられる。

Description

ヘッド分離型カメラ及び作業機
 本発明は、撮像素子及びレンズをユニット化して制御ユニットと分離させたヘッド分離型カメラ及びそのヘッド分離型カメラによって撮像した画像データに基づいて制御を実行する作業機に関するものである。
 作業機、例えば電子部品装着機の中には、電子部品が装着される回路基板を撮像するカメラを備えるものがある(例えば、特許文献1など)。特許文献1に記載された電子部品装着機は、電子部品装着機を制御する制御部と、撮像素子等を有するカメラ部とを備えている。カメラ部は、カメラケーブルを介して制御部と接続されている。カメラ部は、撮像素子の他に、処理回路であるCPU、RAM及びフラッシュメモリ等を備えている。CPUは、カメラ部自身の動作履歴データをRAMに保存しておき、制御部から保存要求を受けると、動作履歴データをフラッシュメモリに書き込む処理を行う。
 また、非特許文献1,2には、制御部とカメラ部とで構成された個人ユーザ向けのカメラが記載されている。カメラ部は、レンズや撮像素子に加え、画像処理等を行う処理回路を内蔵してユニット化されている。処理回路は、ユニット化されたレンズや撮像素子に応じた処理を行う。
特許第5435804号公報
リコーイメージング株式会社、"GXR/デジタルカメラ |RICOH IMAGING"、[online]、[平成28年6月10日検索]、インターネット<URL:http://www.ricoh-imaging.co.jp/japan/products/gxr/point.html> ソニーマーケティング株式会社、"RXシリーズ・スペシャルサイト|デジタルスチルカメラ Cyber-shot サイバーショット|ソニー"、[online]、[平成28年6月10日検索]、インターネット<URL:https://www.sony.jp/cyber-shot/rx/developer/rx1-d001/>
 また、上記したカメラ部は、例えば、同一規格であっても製造工程における精度の限界などによりレンズや撮像素子の取り付け位置に誤差が生じてレンズ歪みなどの機器固有の特性が生じる。このため、処理回路や制御部は、カメラ部の特性に応じた固有値を用いてレンズ歪み補正処理等を実行する必要がある。
 ところで、近年、FA(Factory Automation)機器などの産業用の機器で用いられるカメラの中には、撮像素子とレンズを備えるカメラヘッドユニットを、カメラヘッドユニットを制御する制御ユニットと分離させた、いわゆるヘッド分離型カメラがある。このヘッド分離型カメラは、カメラヘッドユニットを制御ユニットに対して着脱可能に構成し、カメラヘッドユニットが交換可能となっている。ヘッド分離型カメラでは、上記した各カメラとは異なり、カメラヘッドユニットに画像処理部を備えておらず、カメラヘッドユニットの撮像素子から出力された画素データを制御ユニットへ出力する構成となっている。このようなヘッド分離型カメラでは、カメラヘッドユニットを交換した場合に、交換後のカメラヘッドユニットに応じた固有値で適切に補正処理を実行できることが望まれている。
 本発明は、上記した課題を鑑みてなされたものであり、カメラヘッドユニットを交換した場合に、交換後のカメラヘッドユニットに応じた固有値で補正処理が実行できるヘッド分離型カメラ及び、そのヘッド分離型カメラを備える作業機を提供することを目的とする。
 本明細書に開示するヘッド分離型カメラは、撮像素子と、外部からの光を撮像素子に結像させるレンズと、撮像素子及びレンズのうち少なくとも一方の機器固有の特性に応じた固有値を記憶する第一記憶装置と、を有するカメラヘッドユニットと、カメラヘッドユニットに接続され、撮像素子が光電変換した画素データを伝送する接続部材と、カメラヘッドユニットと接続部材を介して着脱可能に接続され第一記憶装置から固有値を取得し、且つ、画像処理を実行する画像処理ユニットとカメラケーブルを介して接続され、接続部材を介して撮像素子から入力した画素データから画像処理ユニットにおいて画像処理が可能な画像データを生成し、カメラケーブルを介して画像処理ユニットへ画像データを出力する画像データ生成部と、を備え、固有値は、画像データ生成部及び画像処理ユニットのうち少なくとも一方で実行される画像データに対する補正処理に用いられる。
 例えば、カメラヘッドユニットを交換した場合、画像データ生成部は、交換後のカメラヘッドユニットの第一記憶装置から固有値を取得できる。そして、画像データ生成部や画像処理ユニットは、取得した固有値に基づいて、交換後のカメラヘッドユニットの特性に応じた適切な補正処理等を実行できる。
実施形態に係るヘッド分離型カメラを備える電子部品装着機の斜視図である。 ヘッド分離型カメラ及び本体部の構成を示すブロック図である。 画像処理ユニット及び画像データ生成部による固有値の取得処理及び固有値を用いた補正処理の流れを説明するためのフローチャートである。 カメラヘッドユニットを交換した場合の固有値の取得処理を説明するためのブロック図である。
 以下、実施形態について図面を参照しつつ説明する。まず、ヘッド分離型カメラを備える作業機の一例として電子部品装着機(以下、「装着機」と略する場合がある)10について説明する。
(1.装着機10の構成)
 図1は、装着機10の全体構成を示す斜視図である。図1に示すように、装着機10は、同じ装置が2セット隣接配置されて構成されている。このため、以下の説明では、1セット分について説明する。装着機10は、基板搬送装置12、部品供給装置13、部品移載装置14、部品カメラ15、表示装置16、及び本体部17などが基台11に組み付けられて構成されている。なお、図1の右上のXYZ座標軸に示すように、装着機10の水平幅方向(図1の紙面左上から右下に向かう方向)をX軸方向、装着機10の水平長手方向(図1の紙面右上から左下に向かう方向)をY軸方向、鉛直高さ方向をZ軸方向と称して説明する。
 基板搬送装置12は、装着機10の長手方向(Y軸方向)の中間辺りに設けられている。基板搬送装置12は、第1搬送装置12A及び第2搬送装置12Bが並設され、2枚の基板Kを並行操作してX軸方向に搬出する。第1搬送装置12Aは、基台11上にX軸方向に平行に並設された一対のガイドレール12C,12D、及びガイドレール12C,12Dのそれぞれに案内され基板Kを載置して搬送する一対のコンベアベルト(図示省略)などにより構成されている。また、第1搬送装置12Aには、部品装着位置まで搬送された基板Kを基台11側から押し上げて位置決めするクランプ装置(図示省略)が設けられている。第2搬送装置12Bは、第1搬送装置12Aと同様に構成されている。
 部品供給装置13は、フィーダ方式の供給装置であり、装着機10の長手方向の前部(図1の左前側)に設けられている。部品供給装置13は、基台11上に複数のカセット式フィーダ13Aが並設されて構成されている。カセット式フィーダ13Aの各々は、基台11に対して離脱可能に取り付けられた本体13Bと、本体13Bの後部(装着機10の前側)に装填された供給リール13Cとを備えている。供給リール13Cは電子部品を供給する媒体であり、所定個数の部品を一定の間隔で保持したキャリアテープ(図示省略)が巻回されている。本体13Bは、このキャリアテープの先端を、本体13Bの先端(装着機10の中央寄り)に設けられた部品供給部13Dまで引き出し、キャリアテープごとに異なる電子部品を供給する。
 部品移載装置14は、X軸方向及びY軸方向に移動可能な、いわゆるXYロボットタイプの装置であり、装着機10の長手方向の後部(図1の右奥側)から前部の部品供給装置13の上方にかけて配設されている。部品移載装置14は、XY軸ヘッド駆動機構14A(図1では大部分が隠れている)、装着ヘッド18などにより構成されている。XY軸ヘッド駆動機構14Aは、装着ヘッド18をX軸方向及びY軸方向に駆動する。
 装着ヘッド18は、XY軸ヘッド駆動機構14Aによって駆動され、負圧を利用して部品を吸着採取及び装着する吸着ノズル18Aを有している。また、装着ヘッド18は、吸着ノズル18AをZ軸方向に昇降可能、及びZ軸を中心として吸着ノズル18Aを回転可能に構成されている。また、装着ヘッド18は、位置決めされた基板Kを撮像する撮像装置としてヘッド分離型カメラ21を有している。ヘッド分離型カメラ21は、カメラヘッドユニット21Aと、カメラ制御ユニット21Bとを備えている。
 また、部品カメラ15は、部品供給装置13の部品供給部13D付近の基台11上に配設され、部品移載装置14の吸着ノズル18Aの部品吸着状態を撮像する撮像装置である。表示装置16は、上部のカバー19の前側上部に配設され、各種情報を表示する装置である。本体部17は、基台11に内蔵され、上記した基板搬送装置12、部品供給装置13、部品移載装置14、及び部品カメラ15と接続されている。本体部17は、基板搬送装置12等と適宜情報を交換しつつ指令を発して各装置を統括的に制御する。
(2.本体部17及びヘッド分離型カメラ21の構成)
 次に、上記した装着機10が備えるヘッド分離型カメラ21及び本体部17の構成について、図2を参照しつつ詳細に説明する。図2に示すように、本体部17は、画像処理ユニット31、記憶装置32、及び本体電源部33を備えている。画像処理ユニット31は、ヘッド分離型カメラ21が撮像した画像データGDに対する画像処理を実行する。画像処理ユニット31は、画像処理中の一時データや画像処理後のデータを記憶装置32に記憶する。記憶装置32は、例えば、ハードディスク装置などの光学式ドライブ装置やRAM(Random Access Memory)などを備えている。本体電源部33は、ヘッド分離型カメラ21へ電力を供給する駆動源として機能する。
 ヘッド分離型カメラ21のカメラ制御ユニット21Bは、カメラケーブル41を介して本体部17と着脱可能に接続されている。カメラ制御ユニット21Bは、本体部17との間でカメラケーブル41を介して各種信号の送受信や電力の伝送を実行する。カメラ制御ユニット21Bは、画像データ生成部51、不揮発性メモリ52、及び電源部53を備えている。画像データ生成部51は、プログラム可能なロジックデバイス、例えばFPGA(Field Programmable Gate Array)の論理ブロックで構成されている。なお、画像データ生成部51を、例えば、ASICなどの専用のハードウェアで構成してもよい。
 本体部17の画像処理ユニット31及びカメラ制御ユニット21Bの画像データ生成部51は、カメラケーブル41を通じて、例えばCameraLink規格に準拠した通信を行う。ここでいうCameraLink規格とは、産業用デジタルカメラのデータ伝送方式を定めた通信規格の1つであり、LVDS(Low Voltage Differential Signaling:小振幅の差動伝送方式)によって画像データGD等を対象としてデータを送信するシリアル通信の通信規格である。カメラケーブル41は、例えば仕様がベース・コンフィグレーションのCameraLink規格に準拠しており、画像データGD、コマンドデータCMD、制御信号(トリガ信号TGなど)を転送する信号線が1本のカメラケーブル41内に設けられている。なお、画像データGDを転送するカメラケーブル41としては、CameraLink規格に準拠したケーブルに限らず、例えば、USB3.0規格のケーブル、LANケーブルなどを用いてもよい。また、画像データGDを転送する通信方式は、GigEVision(登録商標)規格、CoaXPress(登録商標)規格に準拠した通信方式でもよい。
 画像処理ユニット31は、画像データ生成部51とカメラケーブル41を介した低速なシリアル通信(例えばRS232C規格に準拠した通信)を行う。画像処理ユニット31は、シリアル通信を介してコマンドデータCMDを画像データ生成部51に出力する。画像処理ユニット31は、コマンドデータCMDを用いて、後述する不揮発性メモリ52に記憶された固有値D1の読み出しを実行する。
 不揮発性メモリ52は、例えば、フラッシュメモリであり、画像データ生成部51によって撮像素子62及びレンズ部61を制御するためのドライバや、画像データ生成部51を構築するためのコンフィグレーションデータなどのプログラムが保存されている。電源部53は、本体部17の本体電源部33から供給された電力を、不揮発性メモリ52や画像データ生成部51に供給する。
 また、カメラ制御ユニット21Bは、専用ケーブル42を介してカメラヘッドユニット21Aに接続されている。専用ケーブル42は、例えば、フレキシブルプリント基板である。カメラ制御ユニット21Bは、カメラヘッドユニット21Aとの間で専用ケーブル42を介して各種信号の送受信や電力の伝送を実行する。カメラ制御ユニット21Bの電源部53は、専用ケーブル42を介してカメラヘッドユニット21Aに電力を供給する。
 カメラヘッドユニット21Aは、レンズ部61と、撮像素子62と、A/D変換部63と、不揮発性メモリ64とを備えている。レンズ部61は、レンズ61Aやレンズ保持部材(図示省略)などにより構成され、被写体である基板Kからの光を撮像素子62に結像させる。撮像素子62は、例えば、CCDやCMOSなどのイメージセンサである。撮像素子62は、レンズ部61により撮像面に結像された光を光電変換しアナログの撮像信号としてA/D変換部63に出力する。A/D変換部63は、撮像素子62から入力した撮像信号をデジタル信号の画素データPDに変換し、専用ケーブル42を介して画像データ生成部51に出力する。
 画像データ生成部51は、画像処理ユニット31からトリガ信号TGを入力するのに応じて、A/D変換部63に制御信号CDを出力する。トリガ信号TGは、例えば、CameraLink規格で規定された4種類のカメラ制御信号(CC1,CC2,CC3,CC4)のうち、CC1を用いることができる。また、制御信号CDとしては、このトリガ信号TGと同一内容の信号を用いてもよく、あるいはカメラヘッドユニット21Aの規格等に合わせて変換した信号を用いてもよい。
 A/D変換部63は、画像データ生成部51から制御信号CDを入力するのに応じて、画素データPDを画像データ生成部51に出力する。画像データ生成部51は、取得した画素データPDからカメラケーブル41の通信規格や画像処理ユニット31の処理方式に応じた画像データGDを生成する。画像データ生成部51は、例えば、通信規格等に応じて画素データPDにヘッダ情報を付加して1フレームの画像データGDを生成する。画像データ生成部51は、カメラケーブル41を介して画像データGDを画像処理ユニット31へ出力する。
 なお、画像データ生成部51は、制御信号CDを用いて画素データPDの取得処理以外の制御、例えば、撮像素子62の初期設定を実行してもよい。画像データ生成部51は、制御信号CDを用いて画素値を出力する撮像素子62の数を変更し画素データPDの画素数を調整してもよい。あるいは、画像データ生成部51は、制御信号CDを用いて撮像素子62のゲインを調整してもよい。また、画像データ生成部51は、画像処理ユニット31からトリガ信号TGを入力する前に画素データPDを予め取得してもよい。例えば、画像データ生成部51は、A/D変換部63から予め画素データPDを取得して不揮発性メモリ52に保存しておき、トリガ信号TGの入力に応じて保存しておいた画素データPDから画像データGDを生成して画像処理ユニット31へ出力してもよい。
(3.固有値D1について)
 カメラヘッドユニット21Aの不揮発性メモリ64(第一記憶装置)は、例えばフラッシュメモリである。不揮発性メモリ64には、画像データ生成部51や画像処理ユニット31による画像データGDの補正処理の際に参照されるデータとして固有値D1が保存されている。ここでいう固有値D1とは、例えば、欠陥画素情報、縦縞補正情報などの撮像素子62の機器固有の特性を示すデータである。あるいは、固有値D1とは、例えば、レンズ歪み補正情報、光軸ずれ情報などのレンズ部61の機器固有の特性(レンズ61Aと撮像素子62の組み付け誤差により定まる特性を含む)を示すデータである。
 欠陥画素情報とは、撮像素子62の受光量とは無関係に白色に(明るさが大きく)、又は黒色に(明るさが小さく)なってしまう画素(欠陥点)の座標情報である。本実施形態では、例えば、カメラ制御ユニット21Bの画像データ生成部51が欠陥点の補正を行う。画像データ生成部51は、欠陥画素情報の座標情報に基づいて、欠陥点の画素値の補正に使用する周辺画素の座標を決定する。そして、画像データ生成部51は、周辺画素の画素値を用いて欠陥点の画素値を補正する。
 縦縞補正情報(ライン補正情報)とは、マトリックス状に配置された撮像素子62の縦ラインごとの明るさのバラツキに対するオフセット情報である。本実施形態では、例えば、本体部17の画像処理ユニット31が縦縞補正を行う。画像処理ユニット31は、縦縞補正情報に基づいて、画像データ生成部51から入力した画像データGDの画素値を、縦ライン毎で設定された明るさの分だけ補正する。なお、画像処理ユニット31は、縦ラインに代えて、あるいは縦ラインに加えて横ラインごとの明るさのバラツキを補正してもよい。
 レンズ歪み補正情報とは、レンズ61Aの歪みに起因した撮像素子62に入射する光の位置ずれの大きさを示す情報であり、本来写るべき像と実際に写っている像のずれの大きさを示す情報である。レンズ歪みは、レンズ61Aや撮像素子62の取り付け位置の誤差などによって生じる。本実施形態では、例えば、画像処理ユニット31が、レンズ歪み補正情報に基づいて、画素ごとに画素位置のオフセットをかけて画素ごとの歪(位置ずれ)を補正する。
 光軸ずれ補正情報とは、撮像素子62の中心画素と、像の中心の位置のずれの大きさを示す情報である。換言すれば、光軸ずれ補正情報は、レンズ61Aと撮像素子62の相対的な位置関係と、レンズ61Aの製造精度のバラツキにより、撮像素子62に写る象が想定の位置からずれた量を示す情報である。本実施形態では、例えば、画像処理ユニット31が、光軸ずれ補正情報に基づいて、画像データGDの画像全体に位置のオフセットをかけて画像の位置ずれを補正する。
 なお、固有値D1は、上記した欠陥画素情報等に限らない。例えば、固有値D1はルックアップテーブルでもよい。ここでいう、ルックアップテーブルとは、所望の明るさと、画像の明るさの差を補正(ガンマ補正)するための対応表である。例えば、画像処理ユニット31は、画像データGDの画素ごとに、ルックアップテーブルに対応したデータ変換を実行し画素値を補正してもよい。また、上記した固有値D1を用いた各補正処理を画像データ生成部51及び画像処理ユニット31のどちらで実行するかは、適宜変更可能である。例えば、画像データ生成部51及び画像処理ユニット31の処理能力や撮像素子62の画素数などに応じて処理の分担を決定してもよい。
(4.固有値D1の取得処理及び補正処理)
 次に、上記した画像処理ユニット31及び画像データ生成部51による固有値D1の取得処理と補正処理の動作の一例について、図3に示すフローチャートを参照しつつ説明する。本実施形態の画像処理ユニット31及び画像データ生成部51は、ヘッド分離型カメラ21に電力が供給されて起動する際(例えば、装着機10が起動するタイミング)に固有値D1の取得処理を実行する。
 まず、図3に示すステップ(以下、単に「S」と表記する)11において、本体部17の本体電源部33は、装着機10の起動にともなってカメラ制御ユニット21Bの電源部53に電力を供給する。ヘッド分離型カメラ21(画像データ生成部51)は、電源部53に電力が供給されることで起動処理を開始する。また、電源部53は、カメラヘッドユニット21Aの撮像素子62、A/D変換部63及び不揮発性メモリ64へ電力を供給する。
 次に、画像データ生成部51は、起動処理に合わせてカメラヘッドユニット21Aの不揮発性メモリ64から固有値D1を取得する(S12)。画像データ生成部51は、取得した固有値D1を、カメラ制御ユニット21Bの不揮発性メモリ52に保存する。
 次に、画像処理ユニット31及び画像データ生成部51は、カメラケーブル41を介した通信の確立処理を行う(S13)。画像処理ユニット31は、CameraLink規格で規定されたコマンドデータCMDを用いて画像データ生成部51に対して通信確立を要求し、応答のコマンドデータCMDを入力することで通信確立を検出する。
 次に、画像処理ユニット31は、通信確立を検出すると、必要な固有値D1を画像データ生成部51に要求するコマンドデータCMDを出力する(S14)。本実施形態では、上記したように、画像処理ユニット31は、縦縞補正、レンズ歪み補正、光軸ずれ補正を実行する。このため、画像処理ユニット31は、縦縞補正情報等の固有値D1を画像データ生成部51へ要求する。画像データ生成部51は、画像処理ユニット31からの要求に応じて、要求に合った固有値D1を画像処理ユニット31へ出力する。画像処理ユニット31は、画像データ生成部51から入力した固有値D1を記憶装置32に保存する。なお、画像処理ユニット31及び画像データ生成部51が固有値D1を取得するタイミングは、ヘッド分離型カメラ21の起動時に限らない。例えば、画像処理ユニット31及び画像データ生成部51は、補正処理を開始するタイミングに合わせて必要な固有値D1を適宜取得してもよい。また、画像データ生成部51は、画像処理ユニット31からの要求とは無関係にカメラヘッドユニット21Aから固有値D1を取得するごとに画像処理ユニット31へ固有値D1を出力する設定でもよい。
 次に、画像処理ユニット31(本体部17)は、装着機10(図1参照)による装着作業の各段階において、ヘッド分離型カメラ21による基板Kの撮影を実行する。この際に、画像処理ユニット31は、画像データ生成部51に対してトリガ信号TGを出力して撮像を指示する(S15)。
 画像データ生成部51は、画像処理ユニット31からトリガ信号TGを入力するのに応じて、カメラヘッドユニット21Aの撮像素子62(A/D変換部63)から画素データPDを取得し画像データGDを生成する。画像データ生成部51は、生成した画像データGDに対して、不揮発性メモリ52に保存された固有値D1(本実施形態では欠陥画素情報)を用いた補正処理を実行する(S16)。画像データ生成部51は、補正後の画像データGDを、カメラケーブル41を介して画像処理ユニット31へ出力する。
 画像処理ユニット31は、画像データ生成部51から入力した画像データGDに対する補正処理を行う(S17)。画像処理ユニット31は、縦縞補正等を実行し、補正後の画像データGDを記憶装置32に保存する。このようにして、画像処理ユニット31及び画像データ生成部51は、固有値D1の取得処理及び画像データGDの補正処理を実行する。そして、本体部17は、補正後の画像データGDを用いて、基板Kのエッジの検出、基板Kの保持位置の誤差の検出、基板Kに記載されたマークの検出などを実行し、検出結果に応じて装着ヘッド18の位置等を調整することで、装着作業を適切に実施することができる。なお、図3に示した処理の順番は一例であり、適宜変更可能である。例えば、画像データ生成部51は、固有値D1の取得処理(S12)の前に、又はS12の処理と並列に、カメラケーブル41を介した通信の確立処理(S13)を実行してもよい。
(5.カメラヘッドユニット21Aを交換した場合の動作)
 画像処理ユニット31及び画像データ生成部51は、上記した処理を実行することで、カメラヘッドユニット21Aやカメラ制御ユニット21Bを交換した場合に、固有値D1を適宜取得して適切な補正処理を実行することができる。
 詳述すると、図4は、一例としてカメラヘッドユニット21Aを交換した場合を示している。なお、交換後のカメラヘッドユニット21A、撮像素子62、レンズ61A及び固有値D1を、交換前のものと区別するために、カメラヘッドユニット121A、撮像素子162、レンズ161A及び固有値D11と図示している。
 ここで、カメラヘッドユニット21Aやカメラ制御ユニット21Bは、故障が発生した場合や、性能(レンズ61Aの望遠性能や画像データ生成部51の処理性能など)の異なるユニットに変更する場合などに交換される。本実施形態のヘッド分離型カメラ21において、カメラ制御ユニット21Bやカメラヘッドユニット21Aは、専用ケーブル42やカメラケーブル41に対して着脱可能に構成されている。このため、カメラヘッドユニット21Aだけが故障した場合など、故障したユニットだけを個々に交換することができる。これにより、作業者による交換作業の負担軽減や作業に必要な費用削減を図ることができる。
 カメラヘッドユニット21Aを交換した場合、交換前のカメラヘッドユニット21Aと、交換後のカメラヘッドユニット121Aが同一規格の製品であっても、交換前のレンズ61Aと交換後のレンズ161Aの機器固有の特性の差(例えば欠陥点の位置の違いなど)に応じて、交換前の固有値D1と交換後の固有値D11は異なった値となる。このため、画像データ生成部51等は、交換後のカメラヘッドユニット121Aからレンズ161Aや撮像素子162の機器固有の特性に応じた固有値D11を取得する必要がある。また、カメラ制御ユニット21Bを交換した場合にも、交換後のカメラ制御ユニット21Bは、適切な補正処理を行うために、接続されたカメラヘッドユニット21Aの固有値D1を取得する必要がある。
 これに対し、本実施形態の画像処理ユニット31及び画像データ生成部51は、上記したように起動時に固有値D1(固有値D11)を取得する処理を実行する。このため、カメラヘッドユニット21Aやカメラ制御ユニット21Bを交換した場合であっても、画像処理ユニット31及び画像データ生成部51は、起動時に交換後の固有値D11を取得することで交換後のカメラヘッドユニット121Aの特性に応じた固有値D11を用いて適切な補正処理を実行することが可能となっている。
(6.実施形態の構成による効果)
 上記した実施形態のヘッド分離型カメラ21は、カメラヘッドユニット21Aと、専用ケーブル42(接続部材)と、画像データ生成部51とを備えている。カメラヘッドユニット21Aは、撮像素子62と、外部からの光を撮像素子62に結像させるレンズ61Aと、撮像素子62及びレンズ61Aのうち少なくとも一方の機器固有の特性に応じた固有値D1を記憶する不揮発性メモリ64(第一記憶装置)と、を有する。専用ケーブル42は、カメラヘッドユニット21Aに接続され、撮像素子62が光電変換した画素データPDを伝送する。画像データ生成部51は、カメラヘッドユニット21Aと専用ケーブル42を介して着脱可能に接続され不揮発性メモリ64から固有値D1を取得し、且つ、画像処理を実行する画像処理ユニット31とカメラケーブル41を介して接続され、専用ケーブル42を介して撮像素子62から入力した画素データPDから画像処理ユニット31において画像処理が可能な画像データGDを生成し、カメラケーブル41を介して画像処理ユニット31へ画像データGDを出力する。固有値D1は、画像データ生成部51及び画像処理ユニット31のうち少なくとも一方で実行される画像データGDに対する補正処理に用いられる。
 これによれば、カメラヘッドユニット21Aと画像データ生成部51とは、専用ケーブル42(接続部材)を介して着脱可能に接続されている。カメラヘッドユニット21Aは、撮像素子62、レンズ61Aの他に、固有値D1を記憶する不揮発性メモリ64(第一記憶装置)を備えている。画像データ生成部51は、専用ケーブル42を介してカメラヘッドユニット21Aから固有値D1を取得する(図3のS12)。また、画像データ生成部51は、カメラヘッドユニット21Aから取得した画素データPDから画像データGDを生成する。画像処理ユニット31は、画像データ生成部51と接続され、画像データGDに対する画像処理を実行する。そして、画像データ生成部51及び画像処理ユニット31のうち少なくとも一方は、固有値D1を用いて画像データGDに対する補正処理を実行する。これにより、カメラヘッドユニット21Aを交換した場合、画像データ生成部51は、交換後のカメラヘッドユニット121A(図4参照)の不揮発性メモリ64から固有値D11を取得できる。そして、画像データ生成部51や画像処理ユニット31は、取得した固有値D11に基づいて、交換後のカメラヘッドユニット121Aの特性に応じた適切な補正処理を実行できる。
 さらに、画像データ生成部51は、不揮発性メモリ52(第二記憶装置)をさらに備え、カメラヘッドユニット21Aの起動時に不揮発性メモリ64(第一記憶装置)から固有値D1を取得し、取得した固有値D1を不揮発性メモリ52に記憶する。
 これによれば、画像データ生成部51は、カメラヘッドユニット21Aを起動する際に、カメラヘッドユニット21Aの不揮発性メモリ64から固有値D1を取得して不揮発性メモリ52に記憶する。これにより、画像データ生成部51は、カメラヘッドユニット21Aの交換に合わせて、交換後のカメラヘッドユニット121Aの固有値D11を取得することができる(図4参照)。
 さらに、画像データ生成部51は、画像処理ユニット31からの要求に応じて、要求に合った固有値D1を、カメラケーブル41を介して画像処理ユニット31へ出力する(図3のS14)。
 これによれば、画像処理ユニット31は、画像データGDに対する補正処理において必要となる固有値D1を、画像データ生成部51から適宜取得できる。
 さらに、不揮発性メモリ64(第一記憶装置)は、撮像素子62の固有値D1として、欠陥画素情報及びライン補正情報のうち少なくとも一方の情報を記憶する。
 これによれば、画像データ生成部51や画像処理ユニット31は、欠陥画素情報に基づいて、周辺画素による欠陥点の補正を実行できる。また、画像データ生成部51等は、ライン補正情報に基づいて、撮像素子62の縦ラインや横ラインの明るさのばらつきを補正できる。
 さらに、不揮発性メモリ64(第一記憶装置)は、レンズ61Aの固有値D1として、レンズ歪み補正情報及び光軸ずれ情報のうち少なくとも一方の情報を記憶する。
 これによれば、画像データ生成部51や画像処理ユニット31は、レンズ歪み補正情報に基づいて、レンズ歪みに起因した撮像素子62に入射される光の位置ずれを補正できる。また、画像データ生成部51等は、光軸ずれ情報に基づいて、撮像素子62に対するレンズ61Aの相対位置に起因した画像全体の位置ずれを補正できる。
(7.実施形態の変形態様)
 上記実施形態ではヘッド分離型カメラとして、基板Kを撮影するカメラを採用したが、これに限らない。例えば、吸着ノズル18Aの部品吸着状態を撮像する部品カメラ15をヘッド分離型カメラで構成してもよい。
 また、上記実施形態では、専用ケーブル42に対してカメラヘッドユニット21Aとカメラ制御ユニット21Bを着脱可能に構成したが、これに限らない。例えば、カメラヘッドユニット21Aに固定されたケーブルと、カメラ制御ユニット21Bに固定されたケーブルとを接続又は切断することで、カメラヘッドユニット21Aを、カメラ制御ユニット21Bに対して着脱可能に構成してもよい。
 また、上記実施形態では、不揮発性メモリ64は、レンズ61Aの特性に応じた固有値D1(レンズ歪み補正情報など)及び撮像素子62の特性に応じた固有値D1(欠陥画素情報など)の両方を保存していたが、どちらか一方のみを保存した構成でもよい。
 また、カメラヘッドユニット21Aとカメラ制御ユニット21Bとは、画素データPD及び固有値D1を1つの専用ケーブル42で伝送したが、それぞれのデータを異なる通信ケーブルで伝送する構成でもよい。
 また、上記実施形態では作業機として、電子部品を基板Kに装着する電子部品装着機10を採用したが、これに限定されるものではなく、他の様々な用途の作業機を採用できる。例えば、作業機は、二次電池(太陽電池や燃料電池など)等の組立て作業を実施する作業機(作業用ロボット)でもよく、スキージをマスクに沿って移動させ被印刷剤を印刷対象部材に印刷するスクリーン印刷装置でもよい。また、作業機は、基板装着や部品の組み立てを行うものに限らず、例えば切削作業を行う工作機械でもよい。
 10:電子部品装着機(作業機)、21:ヘッド分離型カメラ、21A,121A:カメラヘッドユニット、31:画像処理ユニット、42:専用ケーブル(接続部材)、51:画像データ生成部、52:不揮発性メモリ(第二記憶装置)、61A,161A:レンズ、62,162:撮像素子、64:不揮発性メモリ(第一記憶装置)、D1,D11:固有値、PD:画素データ、GD:画像データ。

Claims (6)

  1.  撮像素子と、外部からの光を前記撮像素子に結像させるレンズと、前記撮像素子及び前記レンズのうち少なくとも一方の機器固有の特性に応じた固有値を記憶する第一記憶装置と、を有するカメラヘッドユニットと、
     前記カメラヘッドユニットに接続され、前記撮像素子が光電変換した画素データを伝送する接続部材と、
     前記カメラヘッドユニットと前記接続部材を介して着脱可能に接続され前記第一記憶装置から前記固有値を取得し、且つ、画像処理を実行する画像処理ユニットとカメラケーブルを介して接続され、前記接続部材を介して前記撮像素子から入力した前記画素データから前記画像処理ユニットにおいて画像処理が可能な画像データを生成し、前記カメラケーブルを介して前記画像処理ユニットへ前記画像データを出力する画像データ生成部と、を備え、
     前記固有値は、前記画像データ生成部及び前記画像処理ユニットのうち少なくとも一方で実行される前記画像データに対する補正処理に用いられる、ヘッド分離型カメラ。
  2.  前記画像データ生成部は、第二記憶装置をさらに備え、前記カメラヘッドユニットの起動時に前記第一記憶装置から前記固有値を取得し、取得した前記固有値を前記第二記憶装置に記憶する、請求項1に記載のヘッド分離型カメラ。
  3.  前記画像データ生成部は、前記画像処理ユニットからの要求に応じて、要求に合った前記固有値を前記カメラケーブルを介して前記画像処理ユニットへ出力する、請求項1又は2に記載のヘッド分離型カメラ。
  4.  前記第一記憶装置は、前記撮像素子の固有値として、欠陥画素情報及びライン補正情報のうち少なくとも一方の情報を記憶する、請求項1乃至3の何れか一項に記載のヘッド分離型カメラ。
  5.  前記第一記憶装置は、前記レンズの固有値として、レンズ歪み補正情報及び光軸ずれ情報のうち少なくとも一方の情報を記憶する、請求項1乃至4の何れか一項に記載のヘッド分離型カメラ。
  6.  請求項1乃至5の何れか一項に記載のヘッド分離型カメラを備え、前記ヘッド分離型カメラから出力された前記画像データに基づいて制御を実行する、作業機。
PCT/JP2016/072689 2016-08-02 2016-08-02 ヘッド分離型カメラ及び作業機 WO2018025333A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2016/072689 WO2018025333A1 (ja) 2016-08-02 2016-08-02 ヘッド分離型カメラ及び作業機
US16/317,109 US10771672B2 (en) 2016-08-02 2016-08-02 Detachable-head-type camera and work machine
EP16911594.6A EP3496382A4 (en) 2016-08-02 2016-08-02 REMOVABLE HEAD CAMERA AND WORKING MACHINE
JP2018531019A JP6990655B2 (ja) 2016-08-02 2016-08-02 ヘッド分離型カメラ及び作業機
CN201680088089.9A CN109565533B (zh) 2016-08-02 2016-08-02 头分离型相机及作业机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/072689 WO2018025333A1 (ja) 2016-08-02 2016-08-02 ヘッド分離型カメラ及び作業機

Publications (1)

Publication Number Publication Date
WO2018025333A1 true WO2018025333A1 (ja) 2018-02-08

Family

ID=61074204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/072689 WO2018025333A1 (ja) 2016-08-02 2016-08-02 ヘッド分離型カメラ及び作業機

Country Status (5)

Country Link
US (1) US10771672B2 (ja)
EP (1) EP3496382A4 (ja)
JP (1) JP6990655B2 (ja)
CN (1) CN109565533B (ja)
WO (1) WO2018025333A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021193190A1 (ja) * 2020-03-27 2021-09-30 キヤノン株式会社 情報処理装置および方法、放射線撮像装置、放射線情報処理システム、プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016217792A1 (de) * 2016-09-16 2018-03-22 Xion Gmbh Justiersystem

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0898087A (ja) * 1994-09-26 1996-04-12 Sharp Corp 画像処理装置
JP2000125175A (ja) * 1998-10-16 2000-04-28 Olympus Optical Co Ltd カメラ、画像処理システム、及び記録媒体
JP2011015299A (ja) * 2009-07-03 2011-01-20 Canon Inc 撮像装置、画像処理装置、制御方法、及びプログラム
JP2013026635A (ja) * 2011-07-14 2013-02-04 Konica Minolta Advanced Layers Inc カメラシステム及び交換レンズユニット
JP2016038542A (ja) * 2014-08-11 2016-03-22 キヤノン株式会社 画像処理方法および画像処理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY114249A (en) * 1993-10-27 2002-09-30 Sharp Kk Image processing apparatus that can provide image data of high quality without deterioration in picture quality.
US6975351B2 (en) * 1996-04-26 2005-12-13 Canon Kabushiki Kaisha Apparatus and system for camera head determination in an image sensing system
US6392698B1 (en) * 1996-12-06 2002-05-21 Canon Kabushiki Kaisha Camera head-detachable image sensing apparatus, image processing apparatus, and image sensing system constituted therewith
JP2000050129A (ja) * 1998-07-31 2000-02-18 Minolta Co Ltd デジタルカメラ
US7289139B2 (en) * 2002-03-12 2007-10-30 Karl Storz Imaging, Inc. Endoscope reader
US7015961B2 (en) 2002-08-16 2006-03-21 Ramakrishna Kakarala Digital image system and method for combining demosaicing and bad pixel correction
JP2008005150A (ja) * 2006-06-21 2008-01-10 Toshiba Corp ヘッド分離型カメラ、カメラヘッドおよびカメラコントロールユニット
JP5049300B2 (ja) * 2009-01-20 2012-10-17 クラリオン株式会社 障害物検出表示装置
JP5524495B2 (ja) * 2009-03-10 2014-06-18 富士機械製造株式会社 撮像システムおよび電子回路部品装着機
JP5435804B2 (ja) 2010-07-28 2014-03-05 富士機械製造株式会社 Fa機器用カメラ
JP6086975B2 (ja) * 2013-03-27 2017-03-01 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US20160042122A1 (en) * 2014-08-11 2016-02-11 Canon Kabushiki Kaisha Image processing method and image processing apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0898087A (ja) * 1994-09-26 1996-04-12 Sharp Corp 画像処理装置
JP2000125175A (ja) * 1998-10-16 2000-04-28 Olympus Optical Co Ltd カメラ、画像処理システム、及び記録媒体
JP2011015299A (ja) * 2009-07-03 2011-01-20 Canon Inc 撮像装置、画像処理装置、制御方法、及びプログラム
JP2013026635A (ja) * 2011-07-14 2013-02-04 Konica Minolta Advanced Layers Inc カメラシステム及び交換レンズユニット
JP2016038542A (ja) * 2014-08-11 2016-03-22 キヤノン株式会社 画像処理方法および画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3496382A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021193190A1 (ja) * 2020-03-27 2021-09-30 キヤノン株式会社 情報処理装置および方法、放射線撮像装置、放射線情報処理システム、プログラム

Also Published As

Publication number Publication date
US20190246017A1 (en) 2019-08-08
JP6990655B2 (ja) 2022-01-12
EP3496382A4 (en) 2020-04-01
CN109565533B (zh) 2021-04-16
US10771672B2 (en) 2020-09-08
EP3496382A1 (en) 2019-06-12
CN109565533A (zh) 2019-04-02
JPWO2018025333A1 (ja) 2019-05-23

Similar Documents

Publication Publication Date Title
EP3079452B1 (en) Assembly machine
US8688274B2 (en) Robot positioning method and calibration method
JP6310058B2 (ja) 画像処理装置および基板生産システム
JP6298064B2 (ja) 部品実装機
US20150296670A1 (en) Electronic component mounting system and electronic component mounting method
JP6267200B2 (ja) 撮像装置および生産設備
WO2018025333A1 (ja) ヘッド分離型カメラ及び作業機
JP2010003824A (ja) 電子回路製造方法および電子回路製造システム
CN102411256A (zh) 镜头测试装置
JP6147016B2 (ja) 組立機
US7516539B2 (en) Apparatus for transplanting multi-board
EP2925112B1 (en) Component mounting machine
JPWO2018216075A1 (ja) 画像処理装置、多重通信システム及び画像処理方法
JP6990309B2 (ja) 表面実装機
JP6199690B2 (ja) 画像処理システム及び作業用ロボット
KR101341379B1 (ko) 무정지 연속 비전 보정시스템
JP2007235725A (ja) 撮影システム
JP5139232B2 (ja) テレビカメラ装置
JP7308131B2 (ja) 光学調整装置
KR101598202B1 (ko) 초점 검사용 피사체 패턴을 영상 표시 장치에 구현한 카메라 모듈 검사 장치
WO2020178990A1 (ja) 補正量算出装置、部品装着機および補正量算出方法
JP2010103937A (ja) 撮像装置
JPWO2020021620A1 (ja) 作業支援装置および対基板作業機
KR20090130617A (ko) 이미지 센서 얼라인먼트 장치 및 그 방법
KR20130056142A (ko) 편광필름 부착기의 위치 보정 장치 및 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018531019

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16911594

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016911594

Country of ref document: EP

Effective date: 20190304