WO2019188198A1 - 線状物の３次元計測装置、および、線状物の３次元計測方法 - Google Patents

線状物の３次元計測装置、および、線状物の３次元計測方法 Download PDF

Info

Publication number
WO2019188198A1
WO2019188198A1 PCT/JP2019/009721 JP2019009721W WO2019188198A1 WO 2019188198 A1 WO2019188198 A1 WO 2019188198A1 JP 2019009721 W JP2019009721 W JP 2019009721W WO 2019188198 A1 WO2019188198 A1 WO 2019188198A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
linear object
camera
transmitted light
light image
Prior art date
Application number
PCT/JP2019/009721
Other languages
English (en)
French (fr)
Inventor
基善 北井
稔久 佐藤
Original Assignee
倉敷紡績株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 倉敷紡績株式会社 filed Critical 倉敷紡績株式会社
Priority to US17/042,888 priority Critical patent/US20210025698A1/en
Priority to EP19775118.3A priority patent/EP3779355A4/en
Priority to KR1020207031454A priority patent/KR20200137003A/ko
Priority to CN201980022176.8A priority patent/CN111919086A/zh
Priority to JP2020509820A priority patent/JPWO2019188198A1/ja
Publication of WO2019188198A1 publication Critical patent/WO2019188198A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Definitions

  • the present invention relates to a linear object three-dimensional measurement apparatus and a linear object three-dimensional measurement method for measuring the shape of a linear object such as a wire or cable in a stereo manner.
  • a stereo three-dimensional measurement method has been conventionally used as a method of measuring a three-dimensional position using the parallax of two cameras. This is to find the corresponding point of the point to be measured on two images with different viewpoints, and calculate the three-dimensional position of the measurement point from the corresponding point on each image and the positional relationship between the two cameras by the principle of triangulation It is a method to do.
  • matching processing for finding corresponding points on each image is the process with the heaviest information processing load and cost. Therefore, various methods have been proposed for the purpose of improving the matching process.
  • Patent Document 1 JP-A-5-026640 discloses a measurement sampling point on an external lead image in one image as a method for measuring the shape of an external lead of a semiconductor package in relation to three-dimensional measurement of a linear object by a stereo method. The intersection of the epipolar line (epipolar line) and the external lead image in the other image is described as the corresponding point of the measurement sampling point.
  • An epipolar line is a straight line obtained by projecting a line connecting the viewpoint of one image and a measurement point on the other image, and the measurement point is always projected on the epipolar line on the other image.
  • Patent Document 2 JP-A-2-309202 (Patent Document 2), a large number of linear objects are imaged by two cameras, and the inclination of the bright lines in the two images and the distance between the bright lines are collated as features. It is described that the corresponding points are determined.
  • the linear object has a pattern or uneven color
  • the image may be disturbed by the reflected light, and the linear object may not be accurately recognized in the image.
  • the present invention has been made in consideration of the above, and a linear object three-dimensional measurement apparatus and a linear object three-dimensional measurement method capable of realizing a more accurate and high-speed matching process for the linear object.
  • the purpose is to provide.
  • a stereo camera that captures an image of the linear object, a transmitted light irradiation member that is positioned opposite to the stereo camera across the linear object, and the three-dimensional object of the linear object.
  • the stereo camera acquires a transmitted light image of the linear object irradiated with light from the transmitted light irradiating member, and the arithmetic unit converts the transmitted light image into the transmitted light image. Based on this, the three-dimensional shape of the linear object is acquired.
  • the transmitted light means light (backlight or back-illuminated light) that reaches the camera through a space without a linear object that is not shielded by the linear object. It does not mean only light that passes through.
  • the transmitted light image is an image (backlight image or back-illuminated light image) obtained by capturing the above light with a camera.
  • the stereo camera acquires a reflected light image of the linear object captured without irradiating light from the transmitted light irradiating member, and the arithmetic unit includes the transmitted light image and the reflected light.
  • the three-dimensional shape of the linear object is acquired based on the image.
  • the stereo camera includes a first camera and a second camera, and the line imaged using the first camera in a state where light is not irradiated from the transmitted light irradiation member.
  • the first reflected light image of the linear object and the second reflected light image of the linear object captured using the second camera are acquired, and the linear object is irradiated with light from the transmitted light irradiation member.
  • a first transmitted light image of the linear object captured using the first camera and a second transmitted light image of the linear object captured using the second camera are acquired.
  • the calculation unit obtains a first complementary image using the first reflected light image and the first transmitted light image, and uses the second reflected light image and the second transmitted light image to obtain a second Obtain a complementary image and use the first complementary image and the second complementary image , Obtaining the three-dimensional shape of the linear material.
  • the first camera and the second camera are color cameras.
  • the transmitted light irradiation member has a function capable of changing the color of light applied to the linear object.
  • the stereo camera irradiates light having a color different from the color of the linear object from the transmitted light irradiating member, and acquires the first transmitted light image and the second transmitted light image.
  • Acquiring a second reflected light image of the linear object imaged using a second camera arranged at a position of the linear object, and facing the first camera and the second camera across the linear object A first transmitted light image of the linear object imaged using the first camera and an image captured using the second camera in a state where the linear object is irradiated with light from the transmitted light irradiation member located.
  • Acquiring a second transmitted light image of the linear object acquiring a first complementary image using the first reflected light image and the first transmitted light image, and the second reflected light. Using the image and the second transmitted light image to obtain a second complementary image; Complementary image and by using the second complementary image, and a step of obtaining a three-dimensional shape of the linear material.
  • the linear object has a plurality of linear bodies, and the transmitted light irradiation member irradiates light having a color different from any of the colors of the plurality of linear bodies.
  • the transmitted light irradiation member is color illumination.
  • the linear object can be more accurately and rapidly matched with the three-dimensional measurement.
  • An apparatus and a three-dimensional measurement method for a linear object can be provided.
  • FIG. 2 is a functional block diagram of the three-dimensional measurement apparatus according to Embodiment 1.
  • FIG. 3 is a first diagram for explaining the three-dimensional measurement method according to the first embodiment.
  • FIG. 3 is a second diagram for explaining the three-dimensional measurement method according to the first embodiment.
  • FIG. 3 is a process flow diagram of the three-dimensional measurement method according to the first embodiment. It is a 1st reflected light image imaged with the stereo camera of Embodiment 1.
  • FIG. It is a 2nd reflected light image imaged with the stereo camera of Embodiment 1.
  • FIG. FIG. 6 is an operation flowchart of a first line image extraction step of the three-dimensional measurement method according to the first embodiment. It is the 1st reflected light image from which the 1st line image was extracted.
  • FIG. 10 is a functional block diagram illustrating a process of obtaining a three-dimensional shape (complementary 3D image) according to Embodiment 2.
  • FIG. 10 is a functional block diagram illustrating a process of obtaining a three-dimensional shape (complementary 3D image) according to Embodiment 2.
  • the linear object three-dimensional measurement method and the linear object three-dimensional measurement apparatus according to each embodiment of the present invention will be described below with reference to the drawings.
  • the three-dimensional measurement method for a linear object may be simply referred to as “measurement method”
  • the three-dimensional measurement device for a linear object may be simply referred to as “measurement device”.
  • FIG. 1 is a functional block diagram of a three-dimensional measurement apparatus
  • FIG. 2 is a first diagram for explaining a three-dimensional measurement method.
  • This wire harness W includes electric wires 21 to 23 as wire bodies.
  • the measuring apparatus 10 includes a stereo camera 11, a calculation unit 15, a storage unit 16, and an input / output unit 17.
  • the computing unit 15 may be a personal computer or an image processing device that is separate from the stereo camera 11, or may be hardware having a computing function built in the stereo camera.
  • images of the electric wires 21 to 23 included in the wire harness W are taken using the stereo camera 11.
  • a transmitted light irradiation member 50 is provided at a position facing the stereo camera 11 with the wire harness W interposed therebetween. The transmitted light irradiation member 50 will be described in detail in the second embodiment.
  • the stereo camera 11 includes a first camera 12, a second camera 13, and a camera control unit 14.
  • the first camera 12 is a color camera that captures a first reflected light image that is a two-dimensional color image.
  • the second camera 13 is a color camera that captures a second reflected light image that is a two-dimensional color image, and a relative position with respect to the first camera is fixed.
  • the camera control unit 14 controls the first camera and the second camera, and communicates with the calculation unit 15. For example, the camera control unit receives an imaging instruction from the calculation unit, transmits the imaging instruction to the first camera and the second camera, and transfers the first reflected light image and the second reflected light image to the calculation unit.
  • the calculation unit 15 calculates the three-dimensional position (3D image) of the linear object by processing the first reflected light image and the second reflected light image received from the stereo camera 11 in addition to communication with the camera control unit 14. .
  • the storage unit 16 stores the first reflected light image and the second reflected light image captured by the stereo camera, the color table of the object, and stores intermediate data necessary for the calculation, the calculation result, and the like.
  • the input / output unit 17 receives a command from the worker or displays a measurement result for the worker.
  • electric wires 21 to 23 are imaged by first camera 12 and second camera 13. If a projection point Q on the first reflected light image 30 by the first camera and a projection point R on the second reflected light image 40 by the second camera are obtained for a certain point P on the electric wire 21, it is known.
  • the three-dimensional position of the point P can be calculated using position information of a certain first camera 12 and second camera 13.
  • the position information of the first camera 12 and the second camera 13 can be acquired by calibrating the two cameras in advance.
  • the three electric wires 21 to 23 to be measured are color-coded and have different colors, for example, coatings such as red, blue, and yellow.
  • the linear object to be measured is not particularly limited as long as it is a linear object, but is preferably a linear object of a different color, more preferably a color-coded electric wire or an optical fiber cable, particularly preferably. Is a wire harness cable.
  • FIG. 4 shows a flowchart of the measurement method of the present embodiment.
  • the color table is a table in which the color is recorded for each type of linear object that can be measured.
  • FIG. 12 shows, as an example, a color table in which the colors are represented by the brightness of the three primary colors of red, green and blue (RGB) for each type of electric wire.
  • the color table is stored in the storage unit 16.
  • the electric wires 21 to 23 are captured in the first reflected light image 30 by the first camera 12. At the same time, the electric wires 21 to 23 are picked up by the second camera 13 in the second reflected light image 40 from a viewpoint different from that of the first camera. The first reflected light image and the second reflected light image are transferred to the calculation unit 15 and stored in the storage unit 16.
  • the calculation unit 15 acquires the first reflected light image 30 and the second reflected light image 40 from the stereo camera 11. At this time, referring to FIG. 5, images 31 to 33 of three electric wires 21 to 23 are shown in the first reflected light image 30. Similarly, referring to FIG. 6, the second reflected light image 40 includes images 41 to 43 of the three electric wires 21 to 23.
  • the calculating part 15 extracts the specific electric wire 21 as a 1st line image on the 1st reflected light image 30.
  • the step of extracting the first line image includes an extraction operation by color, a binarization operation, a noise removal operation, and a thinning operation.
  • the calculation unit acquires the color of the electric wire 21 to be measured from the color table, and only the image 31 of the linear object 21 of the specific color on the first reflected light image 30 is the first line. Extracted as an image 34. Specifically, when the color of each pixel of the first reflected light image 30 is compared with the specific color and the two are determined to be the same, the pixel is left and when the two are determined to be different Erases the pixel.
  • the determination of whether the colors are the same or different can be made based on whether or not the difference between them is a predetermined value or less.
  • the RGB value corresponding to the electric wire 21 is acquired from the color table, the RGB value of each pixel of the first reflected light image 30 is compared with the RGB value, and if the difference between the RGB values is equal to or less than a predetermined value, It is determined that the pixel has the same color as the electric wire 21.
  • the predetermined value can be determined in consideration of the number of RGB gradations, the degree of color difference between different types of electric wires, and the like.
  • the first reflected light image 30 is binarized. This is an operation of replacing the value of each pixel with 0 or 1 using an appropriate threshold. Subsequent image processing is facilitated by the binarization operation.
  • the binarization operation may be performed simultaneously with the color extraction operation. Binarization can be performed by setting a pixel determined to be the same color to 1 and a pixel determined to be a different color to 0.
  • the first line image 34 is extracted by the extraction operation using the color, isolated pixels due to camera shot noise or the like remain in the first reflected light image 30.
  • the position of the RGB image pickup device with respect to one pixel is actually slightly shifted, the color of the image is disturbed at a portion where the color changes sharply, such as the outline of the image 31 to 33 of the electric wire, There may still be isolated pixels left. By removing such pixels, a more accurate first line image 34 can be obtained.
  • the first line image 34 is thinned. This is an operation of narrowing the line width to 1 while maintaining the connectivity of the first line image.
  • a known method such as selecting a pixel located at the center of the line width can be used. As a result, subsequent image processing is facilitated, and corresponding points and the like can be obtained more accurately.
  • FIG. 8 shows the obtained first line image 34.
  • the first reflected light image 30 from which the first line image has been extracted is stored in the storage unit 16.
  • FIG. 9 shows the obtained second line image 44.
  • the second reflected light image 40 from which the second line image has been extracted is stored in the storage unit 16.
  • the calculation unit 15 next selects a point of interest Q on the first line image 34 of the first reflected light image 30.
  • Point Q is a projection point of the point P (FIG. 2) of the electric wire 21 onto the first reflected light image.
  • the calculation unit 15 then obtains an epipolar line 45 corresponding to the point of interest Q of the first reflected light image 30 on the second reflected light image 40.
  • An intersection point R between the second line image 44 and the epipolar line 45 is obtained, and this is set as a point corresponding to the point of interest Q.
  • Point R is a projection point of the point P (FIG. 3) of the electric wire 21 onto the second reflected light image.
  • the projection point Q onto the first reflected light image 30 and the projection point R onto the second reflected light image 40 are obtained for the point P of the electric wire 21 shown in FIG.
  • the unit calculates the three-dimensional position of the point P.
  • a new focus point is selected on the first line image 34, and the steps after the focus point selection are repeated.
  • an adjacent point connected to the previous point of interest can be selected.
  • the three-dimensional measurement of the electric wire 21 is performed by obtaining the three-dimensional position while shifting the point of interest Q, that is, while moving the point P on the electric wire 21.
  • the above repeating process is terminated. Thereby, the 3D image about the electric wire 21 is obtained.
  • the color of the electric wire 22 is acquired from the color table, and the first reflected light image and the second reflected light are initially captured by the first camera and the second camera. The subsequent steps from the first line image extraction step are repeated for the optical image.
  • the color table will be described in more detail.
  • one RGB value is described for each type of linear object, but a plurality of RGB values are described for one type of linear object. If it is determined that the color is the same as the RGB value, the linear object may be determined.
  • the color may be recorded in a color system other than RGB.
  • L * , a * , and b * may be expressed based on the CIELAB color system formulated by the International Commission on Illumination (CIE). Even if the output from the stereo camera 11 is an RGB value, conversion between the color systems is easy.
  • the difference between the RGB value of the pixel and the RGB value of the color table is equal to or less than a predetermined value, it is determined that the color of the pixel and the color of the table are the same, but it is determined that they are the same color.
  • a range of colors to be used may be recorded in a color table. When recording a color range, it is more preferable that the color range is expressed by the value of L * a * b * because it is easy to set a threshold range that is robust to changes in the amount of light.
  • the color table is preferably created based on the color of the image when the linear object is actually imaged in the actual measurement environment. Specifically, by holding a linear object with a hand or a robot hand and moving in various positions and orientations in front of the first or second camera, the color information of the linear object is obtained from the image. To do.
  • the color of the linear object on the first and second reflected light images varies depending on various factors such as the type and arrangement of illumination in the measurement environment and the glossiness and orientation of the linear object.
  • the stereo camera 11 is used to acquire the three-dimensional positions (3D images) of the electric wires 21 to 23.
  • the image of the electric wires 21-23 is acquired using natural light or a normal illumination device.
  • White powder called talc used in the manufacturing process may adhere to the surfaces of the electric wires 21 to 23.
  • the first reflected light image 30 and the second reflected light image 40 in which the white portion to which talc is attached reflects more strongly than the other regions. Color unevenness may occur. Not only adhesion of talc but also coloration of individual electric wires may cause color unevenness in the first reflected light image 30 and the second reflected light image 40.
  • color skipping may occur, making it difficult to identify whether or not the same linear object is present.
  • ⁇ Repairing work such as removing talc adhering and repairing defective colored portions of the wires is complicated.
  • the above-described repair work is a process of stopping a series of flows. It can be a factor that significantly reduces work efficiency.
  • a transmitted light irradiation member 50 is provided at a position facing the stereo camera 11 with the wire harness W interposed therebetween, and the transmitted light irradiation member 50 is provided as a backlight (rear surface).
  • an irradiation light irradiation member By using as an irradiation light irradiation member), an image in which the outline of a linear object can be obtained is obtained, thereby enabling correction of an image of a color skip portion.
  • the transmitted light irradiation member 50 may be any device or member that can capture the silhouette of a linear object, and is a lighting device or a reflective material.
  • the illumination device may be normal illumination, and surface illumination that can uniformly illuminate the field of view of the camera is particularly preferable.
  • the reflecting material it is possible to use various materials such as paper, cloth, resin and the like whose surface is a diffuse reflecting surface. In particular, a reflector having a diffuse reflection characteristic that is nearly equal is preferable. As long as it is a reflective material having flexibility, it may be formed into a roll shape and the color can be switched. When not in use, a structure that can be retracted by sliding or rotating outside the visual field range may be used. When a reflective material that does not emit light itself is used, ambient light such as room lighting may be used as a light source. You may provide separately the illuminating device which irradiates light with respect to a reflecting material.
  • the light irradiation from the transmitted light irradiation member includes both the case where the transmitted light irradiation member itself emits light and the case where the transmitted light irradiation member irradiates light indirectly with a reflector or the like.
  • FIG. 13 is a functional block diagram illustrating a process of obtaining a three-dimensional shape (complementary 3D image) according to the present embodiment.
  • the first reflected light image 30 and the second reflected light image 40 are acquired using the stereo camera 11.
  • the 1st reflected light image 30 and the 2nd reflected light image 40 what is necessary is just to acquire in the state with which ambient light, such as room light and sunlight, was irradiated with respect to the linear object.
  • a reflected light irradiation member that irradiates light to a linear object.
  • Ordinary illumination such as a lamp or LED can be used for the reflected light irradiation member. More preferably, it is diffused light illumination that can irradiate a linear object with uniform light from the same side as the stereo camera 11.
  • the transmitted light irradiation member 50 is irradiated toward the stereo camera 11 to perform backlight photographing.
  • the 1st transmitted light image 30a and the 2nd transmitted light image 40a with which the outline of the electric wire appeared clearly are obtained, and are memorize
  • region where the linear thing in the 1st reflected light image 30 interrupted using the 1st reflected light image 30 and the 1st transmitted light image 30a was supplemented with the 1st transmitted light image 30a.
  • a first complementary image 30A is obtained.
  • a region where the linear object is interrupted in the second reflected light image 40 is complemented by the second transmitted light image 40a, and the second complement is obtained.
  • An image 40A is obtained.
  • the calculation unit 15 calculates the three-dimensional shape 60 of the linear object.
  • the first camera and the second camera are monochrome cameras or color cameras.
  • a color camera When using color information of an image when acquiring a three-dimensional shape of a linear object, it is preferable to use a color camera.
  • the color of the light source used for the transmitted light irradiation member 50 may be irradiated with light of a color other than the color used for covering the wires 21 to 23.
  • the transmitted light irradiation member 50 preferably has a function capable of changing the color of light applied to the linear object.
  • RGB red, green, blue
  • RGB red, green, blue
  • control for gripping the uneven color portion may be performed based on the position information of the uneven color portion.
  • the measurement method of the present embodiment can be applied to a writing tool such as a thread, a colored pencil / ballpoint pen replacement core, and other various linear objects in addition to a cable.
  • the measurement method of the present embodiment does not exclude the combined use with a known matching method in the stereo system.
  • a known matching method in the stereo system.
  • 10 3D measuring device for linear object 11 stereo camera, 12 first camera, 13 second camera, 14 camera control unit, 15 arithmetic unit, 16 storage unit, 17 input / output unit, 21-23 electric wire (linear object ), 30 1st reflected light image, 30a 1st transmitted light image, 30A 1st complementary image, 31-33, image of electric wires 21-23 on the 1st reflected light image, 34 1st line image, 40 2nd reflected light Image, 40a second transmitted light image, 40A second complementary image, 41-43, image of wires 21-23 on second reflected light image, 44 second line image, 45 epipolar line, 50 transmitted light irradiation member, 60 3 Dimensional shape (complementary 3D image), P point on the electric wire 21, Q point P projected point on the first reflected light image (point of interest), R point P projected point on the second reflected light image (corresponding point) .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

この線状物の３次元計測装置は、線状物を撮像するステレオカメラ（１１）と、線状物を挟んでステレオカメラ（１１）の対向に位置する透過光照射部材（５０）と、線状物の３次元形状を取得する演算部と、を有し、ステレオカメラ（１１）は、透過光照射部材（５０）から光が照射された線状物の透過光画像を取得し、演算部は、透過光画像に基づいて線状物の３次元形状を取得する。

Description

線状物の３次元計測装置、および、線状物の３次元計測方法
　この発明は、ワイヤー、ケーブル等の線状物に対して、ステレオ方式で形状を計測する、線状物の３次元計測装置、および、線状物の３次元計測方法に関する。
　２台のカメラの視差を利用して３次元位置を計測する方法としてステレオ方式の３次元計測方法が従来より利用されている。これは、視点の異なる２つの画像上で計測したい点の対応点を求め、各画像上の対応点および２台のカメラの位置関係から３角測量の原理によって、計測点の３次元位置を算出する方法である。このステレオ方式では、各画像上の対応点を見つけるマッチング処理が最も情報処理の負荷が重く、コストがかかるプロセスである。そのため、マッチング処理の改良を目的として、種々の方法が提案されている。
　特開平５－０２６６４０号公報（特許文献１）には、ステレオ方式による線状物の３次元計測に関して、半導体パッケージの外部リードの形状計測方法として、一方の画像における外部リード像上に計測サンプリング点を取り、他方の画像におけるエピポーラ・ライン（エピポーラ線）と外部リード像の交点を計測サンプリング点の対応点とすることが記載されている。エピポーラ線とは一方の画像の視点と計測点を結ぶ直線を他方の画像上に投影した直線をいい、その計測点は必ず他方の画像上のエピポーラ線上に投影されている。
　特開平２－３０９２０２号公報（特許文献２）には、多数の線状物を２台のカメラで撮像し、２つの画像中の輝線の傾きと輝線間の距離を特徴として照合することにより、対応点を決定することが記載されている。
特開平５－０２６６４０号公報 特開平２－３０９２０２号公報
　しかしながら、特許文献１に記載された方法では、同様の線状物が画面内に複数存在した場合、エピポーラ線との交点が複数検出され、対応点を一意に決定できない場合がある。特許文献２に記載された方法では、複数の輝線に対して特徴の不一致度を計算する必要があり高速な処理には向かないことや、特徴が同程度の直線同士を誤認識する可能性がある。
　さらには、線状物が模様や色むらを有する場合には、反射光で画像が乱れる等し、画像において線状物を正確に認識できない場合がある。
　本発明は上記を考慮してなされたものであり、線状物に対して、より正確に高速なマッチング処理を実現できる線状物の３次元計測装置、および、線状物の３次元計測方法を提供することを目的とする。
　この線状物の３次元計測装置においては、線状物を撮像するステレオカメラと、上記線状物を挟んで上記ステレオカメラの対向に位置する透過光照射部材と、上記線状物の３次元形状を取得する演算部と、を有し、上記ステレオカメラは、上記透過光照射部材から光が照射された上記線状物の透過光画像を取得し、上記演算部は、上記透過光画像に基づいて上記線状物の３次元形状を取得する。
　ここで、透過光とは、すなわち線状物に遮蔽されず線状物のない空間を通過してカメラに到達する光（バックライト、または、背面照射光）のことを意味し、必ずしも物体の中を通過する光だけを意味しない。また、透過光画像とは、すなわち上記の光をカメラで撮像した画像（バックライト画像、または、背面照射光画像）のことである。
　他の形態においては、上記ステレオカメラは、上記透過光照射部材から光を照射せずに撮像した上記線状物の反射光画像を取得し、上記演算部は、上記透過光画像および上記反射光画像に基づいて上記線状物の３次元形状を取得する。
　他の形態においては、上記ステレオカメラは、第１カメラ、および、第２カメラを含み、上記透過光照射部材から光が照射されていない状態で、上記第１カメラを用いて撮像された上記線状物の第１反射光画像、および、上記第２カメラを用いて撮像された上記線状物の第２反射光画像を取得し、上記透過光照射部材から上記線状物に光が照射された状態で、上記第１カメラを用いて撮像された上記線状物の第１透過光画像、および、上記第２カメラを用いて撮像された上記線状物の第２透過光画像を取得し、上記演算部は、上記第１反射光画像および上記第１透過光画像を用いて、第１補完画像を取得し、上記第２反射光画像および上記第２透過光画像を用いて、第２補完画像を取得し、上記第１補完画像および上記第２補完画像を用いて、上記線状物の３次元形状を取得する。
　他の形態においては、上記第１カメラおよび上記第２カメラがカラーカメラである。
　他の形態においては、上記透過光照射部材は、上記線状物に照射する光の色の変更が可能な機能を有する。
　他の形態においては、上記ステレオカメラは、上記透過光照射部材から上記線状物の色と異なる色の光を照射して、上記第１透過光画像および上記第２透過光画像を取得する。
　この線状物の３次元計測方法においては、第１の位置に配置された第１カメラを用いて撮像された線状物の第１反射光画像、および、第１の位置とは異なる第２の位置に配置された第２カメラを用いて撮像された上記線状物の第２反射光画像を取得する工程と、上記線状物を挟んで、上記第１カメラおよび第２カメラの対向に位置する透過光照射部材より光を上記線状物に照射した状態で、上記第１カメラを用いて撮像された上記線状物の第１透過光画像、および、上記第２カメラを用いて撮像された上記線状物の第２透過光画像を取得する工程と、上記第１反射光画像および上記第１透過光画像を用いて、第１補完画像を取得する工程と、上記第２反射光画像および上記第２透過光画像を用いて、第２補完画像を取得する工程と、上記第１補完画像および上記第２補完画像を用いて、上記線状物の３次元形状を取得する工程と、を備える。
　他の形態においては、上記線状物が複数の線体を有し、上記透過光照射部材は、上記複数の線体のいずれの色とも異なる色の光を照射する。
　他の形態においては、上記透過光照射部材は、カラー照明である。
　この発明の線状物の３次元計測装置、および、線状物の３次元計測方法によれば、線状物に対して、より正確に高速なマッチング処理を実現できる線状物の３次元計測装置、および、線状物の３次元計測方法を提供することができる。
実施の形態１の３次元計測装置の機能ブロック図である。 実施の形態１である３次元計測方法を説明するための第１図である。 実施の形態１である３次元計測方法を説明するための第２図である。 実施の形態１である３次元計測方法の工程フロー図である。 実施の形態１のステレオカメラで撮像された第１反射光画像である。 実施の形態１のステレオカメラで撮像された第２反射光画像である。 実施の形態１の３次元計測方法の第１線像抽出工程の操作フロー図である。 第１線像が抽出された第１反射光画像である。 第２線像が抽出された第２反射光画像である。 着目点が選択された第１反射光画像である。 エピポーラ線と第２線像との交点が求められた第２反射光画像である。 色テーブルの一例である。 実施の形態２の３次元形状（補完３Ｄ画像）を得る工程を示す機能ブロック図である。
　本発明に基づいた各実施の形態の線状物の３次元計測方法、および、線状物の３次元計測装置について、以下、図を参照しながら説明する。なお、以下において、線状物の３次元計測方法を単に「計測方法」と、線状物の３次元計測装置を単に「計測装置」ということがある。
　以下に説明する実施の形態において、個数、量などに言及する場合、特に記載がある場合を除き、本発明の範囲は必ずしもその個数、量などに限定されない。同一の部品、相当部品に対しては、同一の参照番号を付し、重複する説明は繰り返さない場合がある。実施の形態における構成を適宜組み合わせて用いることは当初から予定されていることである。図においては、実際の寸法比率では記載しておらず、構造の理解を容易にするために、一部比率を異ならせて記載している。
　（実施の形態１）
　図１および図２を参照して、本実施の形態の線状物の３次元計測方法、および、線状物の３次元計測装置について説明する。図１は、３次元計測装置の機能ブロック図、図２は、３次元計測方法を説明するための第１図である。
　以下の実施の形態では、線状物の一例としてワイヤーハーネスＷを用いる場合について説明する。このワイヤーハーネスＷは、線体として電線２１～２３を含んでいる。
　本実施の形態の計測装置１０は、ステレオカメラ１１、演算部１５、記憶部１６、入出力部１７を備える。演算部１５は、ステレオカメラ１１と別体のパソコンや画像処理装置であってもよいし、ステレオカメラに内蔵されている演算機能を有するハードウェア等でもよい。図２に示すように、ステレオカメラ１１を用いて、ワイヤーハーネスＷに含まれる電線２１～２３の画像を撮像する。この計測装置１０は、ワイヤーハーネスＷを挟んでステレオカメラ１１とは対向する位置に、透過光照射部材５０が設けられている。この透過光照射部材５０については、実施の形態２において詳細に説明する。
　ステレオカメラ１１は、第１カメラ１２、第２カメラ１３、カメラ制御部１４を含む。第１カメラ１２は、カラーの２次元画像である第１反射光画像を撮像するカラーカメラである。第２カメラ１３は、カラーの２次元画像である第２反射光画像を撮像するカラーカメラであって、第１カメラに対する相対位置が固定されている。カメラ制御部１４は、第１カメラおよび第２カメラを制御し、演算部１５との通信を行う。カメラ制御部は、例えば、演算部から撮像指示を受信して第１カメラおよび第２カメラに撮像指示を送信し、第１反射光画像および第２反射光画像を演算部に転送する。
　演算部１５は、カメラ制御部１４との通信の他、ステレオカメラ１１から受信した第１反射光画像および第２反射光画像を処理して線状物の３次元位置（３Ｄ画像）を算出する。記憶部１６は、ステレオカメラが撮像した第１反射光画像および第２反射光画像、対象物の色テーブルを記憶する他、演算に必要な中間データや演算結果等を記憶する。入出力部１７は、作業者からの指令を受け付けたり、作業者に対して計測結果を表示したりする。
　図３を参照して、本実施の形態の計測方法では、電線２１～２３を第１カメラ１２および第２カメラ１３で撮像する。電線２１上のある点Ｐに対して、第１カメラによる第１反射光画像３０への投影点Ｑと、第２カメラによる第２反射光画像４０への投影点Ｒが得られれば、既知である第１カメラ１２および第２カメラ１３の位置情報を利用して、点Ｐの３次元位置を算出することができる。第１カメラ１２および第２カメラ１３の位置情報は、予め２つのカメラをキャリブレーションしておくことで取得できる。
　図３は白黒で描かれているが、計測対象である３本の電線２１～２３は色分けされており、互いに異なる色、例えば赤、青、黄などの被覆を有する。計測対象となる線状物は、線状の物体であれば特に限定されないが、好ましくは互いに異なる色の線状物であり、さらに好ましくは色分けされた電線や光ファイバー線のケーブルであり、特に好ましくはワイヤーハーネスのケーブルである。
　図４に本実施の形態の計測方法のフロー図を示す。以下、各工程について説明する。計測に先立って、色テーブルを作成する。色テーブルは、計測対象となり得る線状物の種類毎にその色を記録したテーブルである。図１２に、電線の種類毎に、その色を赤緑青（ＲＧＢ）の３原色の輝度で表した色テーブルを一例として示す。色テーブルは記憶部１６に記憶される。
　計測時には、ステレオカメラ１１で電線２１～２３を撮像する。電線２１～２３は第１カメラ１２によって第１反射光画像３０に撮像される。それと同時に、電線２１～２３は第２カメラ１３によって、第１カメラとは異なる視点から、第２反射光画像４０に撮像される。第１反射光画像および第２反射光画像は演算部１５に転送され、記憶部１６に記憶される。
　演算部１５は、ステレオカメラ１１から第１反射光画像３０および第２反射光画像４０を取得する。このとき、図５を参照して、第１反射光画像３０には３本の電線２１～２３の像３１～３３が写っている。同様に、図６を参照して、第２反射光画像４０には３本の電線２１～２３の像４１～４３が写っている。
　演算部１５は、第１反射光画像３０上で、特定の電線２１を第１線像として抽出する。図７を参照して、この第１線像を抽出する工程（第１線像抽出工程）は、色による抽出操作、二値化操作、ノイズ除去操作、細線化操作を含む。
　色による抽出操作では、演算部は計測しようとする電線２１の色を色テーブルから取得して、第１反射光画像３０上でその特定の色の線状物２１の像３１だけを第１線像３４として抽出する。具体的には、第１反射光画像３０の各画素の色をその特定の色と比較して、両者が同じと判断される場合にはその画素を残し、両者が異なると判断される場合にはその画素を消去する。
　色が同じであるか異なるかの判断は、両者の差が所定の値以下であるか否かによって行うことができる。例えば、電線２１に対応するＲＧＢ値を色テーブルから取得して、第１反射光画像３０の各画素のＲＧＢ値をそれと比較し、ＲＧＢの各値の差が所定の値以下であれば、その画素は電線２１と同じ色であると判断する。所定の値は、ＲＧＢの階調数や、異なる種類の電線間での色の違いの程度等を考慮して定めることができる。
　次に、第１反射光画像３０を二値化する。これは適当な閾値を用いて、各画素の値を０か１に置き換える操作である。二値化操作によって以後の画像処理が容易になる。二値化操作は色による抽出操作と同時に行ってもよい。同じ色と判断した画素を１とし、異なる色と判断した画素を０とすることで２値化できる。
　次に、第１反射光画像３０に対してノイズ除去操作を行う。上記色による抽出操作によって第１線像３４が抽出されたが、第１反射光画像３０にはカメラのショットノイズなどによる孤立した画素が残っている。また、１つの画素に対するＲＧＢ用の撮像素子の位置が実際にはわずかにずれていることから、電線の像３１～３３の輪郭部など、色が急峻に変化する部分で画像の色が乱れ、やはり孤立した画素が残っている可能性がある。このような画素を除去することによって、より正確な第１線像３４が得られる。
　次に、第１線像３４を細線化する。これは第１線像の連結性を保ちながら線幅を１に細める操作である。細線化操作の方法は、線幅の中心に位置する画素を選択するなど、公知の方法を用いることができる。これにより、以後の画像処理が容易になるし、対応点等をより正確に求めることができる。
　図８に、得られた第１線像３４を示す。第１線像が抽出された第１反射光画像３０は記憶部１６に記憶される。
　図４に戻って、第２反射光画像４０に対しても第１反射光画像３０と同様の操作を行い、第２線像４４を抽出する（第２線像抽出工程）。図９に、得られた第２線像４４を示す。第２線像が抽出された第２反射光画像４０は記憶部１６に記憶される。
　図１０を参照して、次に演算部１５は、第１反射光画像３０の第１線像３４上に着目点Ｑを選択する。点Ｑは電線２１の点Ｐ（図２）の第１反射光画像への投影点である。
　図１１を参照して、次に演算部１５は、第２反射光画像４０上で、第１反射光画像３０の着目点Ｑに対応するエピポーラ線４５を求める。第２線像４４とエピポーラ線４５との交点Ｒを求め、これを着目点Ｑに対応する点とする。点Ｒは電線２１の点Ｐ（図３）の第２反射光画像への投影点である。
　以上の工程により、図３に示した電線２１の点Ｐに対して、第１反射光画像３０への投影点Ｑと、第２反射光画像４０への投影点Ｒが得られたので、演算部は点Ｐの３次元位置を算出する。
　次に、第１線像３４上に新しい着目点を選択して、着目点選択以降の工程を繰り返す。次の着目点としては、前の着目点に連結された隣接点を選択することができる。このようにして着目点Ｑをずらしながら、すなわち点Ｐを電線２１上で移動させながら３次元位置を求めることによって、電線２１の３次元計測を行う。
　電線２１について必要な情報が得られた時点で、上記繰り返し処理を終了する。これにより、電線２１についての３Ｄ画像が得られる。引き続き他の電線、例えば電線２２の３次元計測を行う場合は、電線２２の色を色テーブルから取得して、第１カメラおよび第２カメラが撮像した当初の第１反射光画像および第２反射光画像に対して、第１線像抽出工程から後の工程を繰り返す。
　ここで、色テーブルについて、さらに詳しく説明する。
　図１２に例示した色テーブルは、線状物の種類毎に１つのＲＧＢ値が記載されたものであったが、線状物１種類に対して複数のＲＧＢ値を記載しておき、いずれかのＲＧＢ値と同色と判断されれば、当該線状物であると判断してもよい。色はＲＧＢ以外の表色系で記録されていてもよい。例えば、国際照明委員会（ＣＩＥ）が策定したＣＩＥＬＡＢ表色系に基づいてＬ＊、ａ＊、ｂ＊で表現されていてもよい。ステレオカメラ１１からの出力がＲＧＢ値であっても、表色系間の換算は容易である。
　上記実施の形態では、画素のＲＧＢ値と色テーブルのＲＧＢ値との差が所定の値以下であれば、その画素の色とテーブルの色が同じであると判断したが、同色であると判断する色の範囲を色テーブルに記録しておいてもよい。色の範囲を記録する場合、Ｌ＊ａ＊ｂ＊の値で表現されていた方が、光量変化にロバストな閾値範囲を設定しやすく、より好ましい。例えば、Ｌ＊値の閾値範囲を広く取っておき、ａ＊値、ｂ＊値の閾値範囲を狭くすることで、線状物の明るさが一定程度変化しても、他色のケーブルと混同せず同色であるとみなすことができる。
　色テーブルは、好ましくは、実際の計測環境において、実際に線状物を撮像したときの画像の色に基づいて作成される。具体的には、線状物を手やロボットハンドで持つなどして、第１または第２カメラの前で様々な位置・向きに動かしながら撮像し、画像からその線状物の色情報を取得する。第１および第２反射光画像上の線状物の色は、計測環境における照明の種類や配置、線状物の光沢度や向きなど、種々の要因によって変化する。色テーブルに、実際の計測条件下で線状物の画像が撮り得る範囲の色を記録しておくことにより、線状物を抽出する際の誤認識を減らすことができる。
　（実施の形態２）
　図２に示したように、ステレオカメラ１１を用いて電線２１～２３の３次元位置（３Ｄ画像）を取得する。ここで、第１反射光画像３０および第２反射光画像４０を取得する場合には、自然光または普通照明装置を用いて電線２１～２３の画像を取得している。電線２１～２３の表面には、製造工程で用いられるタルクと呼ばれる白い粉が付着している場合がある。
　このタルクを取り除かずに電線２１～２３の画像を取得しようとした場合には、タルクが付着した白い部分が他の領域よりも強く反射する、第１反射光画像３０および第２反射光画像４０に色むらが生じる場合がある。タルクの付着のみだけでなく、個々の電線の着色に不良があることで、第１反射光画像３０および第２反射光画像４０に色むらが生じる場合がある。
　画像に色むらが生じると、色とびが発生し、同じ線状物であるか否かの識別が困難になることが考えられる。
　付着しているタルクを取り除く作業、および、電線の着色不良の箇所を修正する作業等の修復作業は煩雑である。特に、ロボットハンドを用いて自動的に、ワイヤーハーネスの位置検出、色検出等の作業を行なう工程においては、上記修復作業は、一連の流れを停止する工程であり、ロボットハンドを用いた自動化の作業効率を著しく低下させる要因になり得る。
　そこで、本実施の形態では、図２に示したように、ワイヤーハーネスＷを挟んでステレオカメラ１１とは対向する位置に透過光照射部材５０を設け、この透過光照射部材５０をバックライト（背面照射光照射部材）として用いることで、線状物の輪郭が分かる画像を得ることで、色とび箇所の画像の補正を可能とするものである。
　透過光照射部材５０は、線状物のシルエットが撮像できる装置または部材であればよく、照明装置または反射材である。照明装置は、通常の照明であればよく、カメラの視野を均一に照らすことができる面照明が特に好ましい。反射材は、紙、布、樹脂等、表面が拡散反射面である種々の材質を用いることができる。特に、均等に近い拡散反射特性を有する反射板が好ましい。柔軟性を有する反射材であれば、ロール状にし、色を切り替えられる構造としてもよい。使用しない時は、視野範囲外にスライドまたは回転する等して退避可能な構造としてもよい。それ自体が発光しない反射材を用いる場合は、室内照明等の環境光を光源として利用してもよい。反射材に対して光を照射する照明装置を別途備えてもよい。
　透過光照射部材から光を照射するとは、透過光照射部材自体が発光する場合も、透過光照射部材が反射板などで間接的に光を照射する場合も両方含む。
　図１３を参照して、本実施の形態における線状物の３次元計測方法および装置について説明する。図１３は、本実施の形態の３次元形状（補完３Ｄ画像）を得る工程を示す機能ブロック図である。
　上記実施の形態１と同様に、ステレオカメラ１１を用いて、第１反射光画像３０および第２反射光画像４０を取得する。第１反射光画像３０および第２反射光画像４０を取得する際は、室内光や太陽光等の環境光が線状物に対して照射された状態で取得すればよい。より安定して反射光画像を取得するためには、線状物に対して光を照射する反射光照射部材を有するのが好ましい。反射光照射部材にはランプ、ＬＥＤ等の通常の照明を用いることができる。より好ましくは、ステレオカメラ１１と同じ側から線状物に対して均一な光を照射可能な拡散光照明である。
　次に、透過光照射部材５０をステレオカメラ１１に向けて照射しバックライト撮影を行なう。これにより、電線の輪郭が明確に表れた第１透過光画像３０ａおよび第２透過光画像４０ａが得られ、記憶部１６に記憶される。
　演算部１５では、第１反射光画像３０と第１透過光画像３０ａとを用いて、第１反射光画像３０中における線状物の途切れた領域が第１透過光画像３０ａで補完された、第１補完画像３０Ａが得られる。同様に、第２反射光画像４０と第２透過光画像４０ａとを用いて、第２反射光画像４０中における線状物の途切れた領域が第２透過光画像４０ａで補完され、第２補完画像４０Ａが得られる。このようにして得られた、第１補完画像３０Ａおよび第２補完画像４０Ａを用いて、演算部１５では、線状物の３次元形状６０が算出される。
　本実施の形態においては、第１カメラ及び第２カメラはモノクロカメラ又はカラーカメラである。線状物の３次元形状を取得する際に画像の色情報を用いる場合は、カラーカメラを用いることが好ましい。
　（透過光照射部材５０）
　上記実施の形態においては、ワイヤーハーネスＷを構成する電線２１～２３が、赤、青、黄の被覆を有する場合には、透過光照射部材５０の光源には、普通の照明光を用いることで、電線２１～２３のシルエットを得ることができる。しかしながら、例えば、電線が白色の場合には、うまくシルエットを得ることができない場合も考えられる。
　そこで、透過光照射部材５０に用いられる光源の色には、電線２１～２３の被覆に用いられている色以外の色の光を照射するとよい。これにより、明確に電線２１～２３のシルエットを得ることができる。よって、透過光照射部材５０は、線状物に照射する光の色を変更可能な機能を有しているとよい。
　透過光照射部材５０に用いられる光源にＲＧＢ（赤、緑、青）光源を用いてもよい。ＲＧＢ（赤、緑、青）の各色を順次照射することで、明確に電線２１～２３のシルエットを得ることができる。
　たとえば、多色の電線（赤・青色）を束ねたワイヤーハーネスを赤色のバックライト（透過光）を用いて撮像した場合、輝度の差を利用して２値化処理をすることで、青色の電線のみの３次元形状が取得できる。なお、色情報を使わない（モノクロ画像の）場合、エピポーラ線との交点が複数出るので、その中から正しい対応点を幾何情報などから見つけ出す必要がある。対応点を見つけ出す手法は、従来技術を適宜用いることで実現できる。
　透過光画像２枚（ステレオカメラ中の２台のカメラで撮像した第１透過光画像および第２透過光画像）だけでも線状物の３次元形状を取得可能である。しかし、透過光照射部材５０からの光の照射加減によっては、線状物の輪郭をはっきりと認識できないことがあるため、これらの透過光画像２枚に加えて第１反射光画像および第２反射光画像を用いて取得した反射光画像を２枚用いた補完画像による三次元計測の方がより精度が高い。
　ロボットハンドを用いた電線２１～２３の把持制御においては、第１反射光画像３０および第２反射光画像４０中には、色むらが生じた箇所が存在したとしても、補完画像を用いることで、色むら箇所にも電線が存在することが明らかとなる。よって、色むら箇所に電線が存在することが明確であれば、その色むら箇所の位置情報に基づき、色むら箇所を把持する制御を行なってもよい。
　本実施の形態の計測方法は、ケーブルの他、糸、色鉛筆・ボールペン替え芯等の筆記具、その他種々の線状物に適用可能である。
　上記実施の形態における工程や操作は、それが可能である場合には、実行する順序を入れ替えたり、省略してもよい。
　本実施の形態の計測方法は、ステレオ方式における公知のマッチング方法との併用を排除するものではない。多数の線状物の中に同色の線状物が複数ある場合には、計測対象物の形状その他の特徴に着目したマッチング方法を併用するメリットがある。
　今回開示された各実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１０　線状物の３次元計測装置、１１　ステレオカメラ、１２　第１カメラ、１３　第２カメラ、１４　カメラ制御部、１５　演算部、１６　記憶部、１７　入出力部、２１～２３　電線（線状物）、３０　第１反射光画像、３０ａ　第１透過光画像、３０Ａ　第１補完画像、３１～３３　第１反射光画像上の電線２１～２３の像、３４　第１線像、４０　第２反射光画像、４０ａ　第２透過光画像、４０Ａ　第２補完画像、４１～４３　第２反射光画像上の電線２１～２３の像、４４　第２線像、４５　エピポーラ線、５０　透過光照射部材、６０　３次元形状（補完３Ｄ画像）、Ｐ　電線２１上の点、Ｑ　点Ｐの第１反射光画像への投影点（着目点）、Ｒ　点Ｐの第２反射光画像への投影点（対応点）。

Claims (9)

  1. 　線状物を撮像するステレオカメラと、
    　前記線状物を挟んで前記ステレオカメラの対向に位置する透過光照射部材と、
    　前記線状物の３次元形状を取得する演算部と、
    を有し、
    　前記ステレオカメラは、前記透過光照射部材から光が照射された前記線状物の透過光画像を取得し、
    　前記演算部は、前記透過光画像に基づいて前記線状物の３次元形状を取得する、
    線状物の３次元計測装置。
  2. 　前記ステレオカメラは、
    　前記透過光照射部材から光を照射せずに撮像した前記線状物の反射光画像を取得し、
    　前記演算部は、前記透過光画像および前記反射光画像に基づいて前記線状物の３次元形状を取得する、
    請求項１に記載の線状物の３次元計測装置。
  3. 　前記ステレオカメラは、第１カメラ、および、第２カメラを含み、
    　前記透過光照射部材から光が照射されていない状態で、前記第１カメラを用いて撮像された前記線状物の第１反射光画像、および、前記第２カメラを用いて撮像された前記線状物の第２反射光画像を取得し、
    　前記透過光照射部材から前記線状物に光が照射された状態で、前記第１カメラを用いて撮像された前記線状物の第１透過光画像、および、前記第２カメラを用いて撮像された前記線状物の第２透過光画像を取得し、
    　前記演算部は、
    　前記第１反射光画像および前記第１透過光画像を用いて、第１補完画像を取得し、
    　前記第２反射光画像および前記第２透過光画像を用いて、第２補完画像を取得し、
    　前記第１補完画像および前記第２補完画像を用いて、前記線状物の３次元形状を取得する、請求項１または請求項２に記載の線状物の３次元計測装置。
  4. 　前記第１カメラおよび前記第２カメラがカラーカメラである、
    請求項１から請求項３のいずれか１項に記載の線状物の３次元計測装置。
  5. 　前記透過光照射部材は、前記線状物に照射する光の色の変更が可能な機能を有する、
    請求項４に記載の線状物の３次元計測装置。
  6. 　前記ステレオカメラは、前記透過光照射部材から前記線状物の色と異なる色の光を照射して、前記第１透過光画像および前記第２透過光画像を取得する、
    請求項５に記載の線状物の３次元計測装置。
  7. 　第１の位置に配置された第１カメラを用いて撮像された線状物の第１反射光画像、および、第１の位置とは異なる第２の位置に配置された第２カメラを用いて撮像された前記線状物の第２反射光画像を取得する工程と、
    　前記線状物を挟んで、前記第１カメラおよび第２カメラの対向に位置する透過光照射部材より光を前記線状物に照射した状態で、前記第１カメラを用いて撮像された前記線状物の第１透過光画像、および、前記第２カメラを用いて撮像された前記線状物の第２透過光画像を取得する工程と、
    　前記第１反射光画像および前記第１透過光画像を用いて、第１補完画像を取得する工程と、
    　前記第２反射光画像および前記第２透過光画像を用いて、第２補完画像を取得する工程と、
    　前記第１補完画像および前記第２補完画像を用いて、前記線状物の３次元形状を取得する工程と、
    を備える、線状物の３次元計測方法。
  8. 　前記線状物が複数の線体を有し、
    　前記透過光照射部材は、前記複数の線体のいずれの色とも異なる色の光を照射する、請求項７に記載の線状物の３次元計測方法。
  9. 　前記透過光照射部材は、カラー照明である、
    請求項７または請求項８に記載の線状物の３次元計測方法。
PCT/JP2019/009721 2018-03-30 2019-03-11 線状物の３次元計測装置、および、線状物の３次元計測方法 WO2019188198A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/042,888 US20210025698A1 (en) 2018-03-30 2019-03-11 Device and Method for Three-dimensionally Measuring Linear Object
EP19775118.3A EP3779355A4 (en) 2018-03-30 2019-03-11 THREE-DIMENSIONAL MEASURING DEVICE FOR LINEAR OBJECT AND THREE-DIMENSIONAL MEASURING METHOD FOR LINEAR OBJECT
KR1020207031454A KR20200137003A (ko) 2018-03-30 2019-03-11 선형물의 3차원 계측 장치, 및, 선형물의 3차원 계측 방법
CN201980022176.8A CN111919086A (zh) 2018-03-30 2019-03-11 线状物的三维测量装置和线状物的三维测量方法
JP2020509820A JPWO2019188198A1 (ja) 2018-03-30 2019-03-11 線状物の３次元計測装置、および、線状物の３次元計測方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018068326 2018-03-30
JP2018-068326 2018-03-30

Publications (1)

Publication Number Publication Date
WO2019188198A1 true WO2019188198A1 (ja) 2019-10-03

Family

ID=68061575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009721 WO2019188198A1 (ja) 2018-03-30 2019-03-11 線状物の３次元計測装置、および、線状物の３次元計測方法

Country Status (7)

Country Link
US (1) US20210025698A1 (ja)
EP (1) EP3779355A4 (ja)
JP (1) JPWO2019188198A1 (ja)
KR (1) KR20200137003A (ja)
CN (1) CN111919086A (ja)
TW (1) TW201942540A (ja)
WO (1) WO2019188198A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02309202A (ja) 1989-05-23 1990-12-25 Nippondenso Co Ltd 位置測定装置
JPH04191607A (ja) * 1990-11-26 1992-07-09 Toshiba Corp ３次元計測方法
JPH0526640A (ja) 1991-07-25 1993-02-02 Toshiba Corp リード形状計測装置
JP2009300124A (ja) * 2008-06-10 2009-12-24 Keyence Corp 画像計測装置、画像計測方法及びコンピュータプログラム
JP2013069100A (ja) * 2011-09-22 2013-04-18 Dainippon Screen Mfg Co Ltd 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体
WO2016158628A1 (ja) * 2015-03-31 2016-10-06 株式会社オートネットワーク技術研究所 ワイヤーハーネスの製造方法および画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08201041A (ja) * 1995-01-26 1996-08-09 Matsushita Electric Works Ltd ３次元形状の認識方法
JP2000346617A (ja) * 1999-06-08 2000-12-15 Minolta Co Ltd ３次元形状データ処理装置
SG138491A1 (en) * 2006-06-21 2008-01-28 Generic Power Pte Ltd Method and apparatus for 3-dimensional vision and inspection of ball and like protrusions of electronic components
CN102498387A (zh) * 2009-09-22 2012-06-13 赛博光学公司 高速、高解析度、三维太阳能电池检查***
JP5457976B2 (ja) * 2010-08-03 2014-04-02 日本放送協会 ３次元形状取得装置および３次元形状取得プログラム
CN107655421A (zh) * 2016-07-25 2018-02-02 科罗马森斯股份有限公司 采用立体扫描相机对表面进行扫描的工艺和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02309202A (ja) 1989-05-23 1990-12-25 Nippondenso Co Ltd 位置測定装置
JPH04191607A (ja) * 1990-11-26 1992-07-09 Toshiba Corp ３次元計測方法
JPH0526640A (ja) 1991-07-25 1993-02-02 Toshiba Corp リード形状計測装置
JP2009300124A (ja) * 2008-06-10 2009-12-24 Keyence Corp 画像計測装置、画像計測方法及びコンピュータプログラム
JP2013069100A (ja) * 2011-09-22 2013-04-18 Dainippon Screen Mfg Co Ltd 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体
WO2016158628A1 (ja) * 2015-03-31 2016-10-06 株式会社オートネットワーク技術研究所 ワイヤーハーネスの製造方法および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3779355A4 *

Also Published As

Publication number Publication date
KR20200137003A (ko) 2020-12-08
EP3779355A1 (en) 2021-02-17
US20210025698A1 (en) 2021-01-28
TW201942540A (zh) 2019-11-01
JPWO2019188198A1 (ja) 2021-03-25
CN111919086A (zh) 2020-11-10
EP3779355A4 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
US10508902B2 (en) Three-dimensional measurement device
US7298889B2 (en) Method and assembly for the photogrammetric detection of the 3-D shape of an object
US8700498B2 (en) Feature analyzing apparatus for a surface of an object
JP2012215394A (ja) 三次元計測装置および三次元計測方法
KR101301182B1 (ko) 엘이디 검사방법
TW201419219A (zh) 從一組影像中取出深度邊緣的方法與裝置，以及攝影機
CN108010011B (zh) 一种帮助确认目标物体上的目标区域的装置及包括该装置的设备
JP2020112367A (ja) ウェハ検査装置
CN212539084U (zh) 一种三维扫描仪
WO2019188198A1 (ja) 線状物の３次元計測装置、および、線状物の３次元計測方法
US8351709B2 (en) Projection height measuring method, projection height measuring apparatus and program
CN115809984A (zh) 利用颜色通道的工件检查和缺陷检测***
EP3062516B1 (en) Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium
JP7159159B2 (ja) 線状物の３次元計測方法および装置
EP2433089A1 (en) Surface scanning system
CN111536895B (zh) 外形识别装置、外形识别***以及外形识别方法
JP7306620B2 (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP7312663B2 (ja) 線状物の作業位置決定方法、ロボットの制御方法、線状物の固定方法、線状物の作業位置決定装置および線状物把持システム
US20160307016A1 (en) Method for reading a two-dimensional code by means of a camera used for three-dimensional optical measurement of objects
JP2000074643A (ja) 三次元距離データを変換する方法および装置並びにデータ変換用プログラムを記憶した記憶媒体
JP2011075311A (ja) 画像処理方法
US20230252637A1 (en) System and method for improving image segmentation
WO2012023370A1 (ja) ターゲット位置決定装置
JP5757157B2 (ja) 検出対象物について頭部分の位置および軸部分の方向を算出する方法、装置およびプログラム
CN109214372B (zh) 姿态确定方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19775118

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020509820

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20207031454

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2019775118

Country of ref document: EP