WO2019017360A1 - 線状物の３次元計測方法および装置 - Google Patents

線状物の３次元計測方法および装置 Download PDF

Info

Publication number
WO2019017360A1
WO2019017360A1 PCT/JP2018/026797 JP2018026797W WO2019017360A1 WO 2019017360 A1 WO2019017360 A1 WO 2019017360A1 JP 2018026797 W JP2018026797 W JP 2018026797W WO 2019017360 A1 WO2019017360 A1 WO 2019017360A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
linear
point
line
Prior art date
Application number
PCT/JP2018/026797
Other languages
English (en)
French (fr)
Inventor
昭夫 黒澤
坂本　淳一
Original Assignee
倉敷紡績株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 倉敷紡績株式会社 filed Critical 倉敷紡績株式会社
Priority to JP2019530556A priority Critical patent/JP7159159B2/ja
Publication of WO2019017360A1 publication Critical patent/WO2019017360A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Definitions

  • the present invention relates to a three-dimensional measuring method and apparatus for measuring the shape of a linear object such as a wire or a cable by a stereo method.
  • a stereo three-dimensional measurement method As a method of measuring a three-dimensional position using the parallax of two cameras, a stereo three-dimensional measurement method has been conventionally used. In this method, corresponding points of points to be measured on two images with different viewpoints are determined, and the three-dimensional position of the measured points is calculated from the corresponding points on each image and the positional relationship between the two cameras by the principle of triangular survey. How to In this stereo method, matching processing for finding corresponding points on each image is the most information-processing-intensive and costly process. Therefore, various methods have been proposed for the purpose of improving the matching process.
  • Patent Document 1 takes measurement sampling points on an external lead image in one image and obtains epipolar and light in the other image. It is described that the intersection of the line (epipolar line) and the external lead image is taken as the corresponding point of the measurement sampling point.
  • the epipolar line is a straight line obtained by projecting a straight line connecting the viewpoint of one image and the measurement point onto the other image, and the measurement point is always projected onto the epipolar line on the other image.
  • Patent Document 2 it is possible to determine corresponding points by imaging a large number of linear objects with two cameras and collating the inclinations of the bright lines in the two images and the distance between the bright lines as features. Have been described.
  • Patent Document 1 when there are a plurality of similar linear objects in the screen, a plurality of intersections with the epipolar line are detected, and there is a problem that corresponding points can not be determined uniquely.
  • Patent Document 2 it is necessary to calculate the degree of feature non-matching for a plurality of bright lines, which is not suitable for high-speed processing, and there is a possibility of misidentifying straight lines having similar features. There was a problem of being there.
  • the present invention has been made in consideration of the above, and it is an object of the present invention to provide a three-dimensional measurement method and apparatus capable of realizing high-speed matching processing for linear objects.
  • the three-dimensional measurement method of a linear object of the present invention is a three-dimensional measurement method of a linear object by a stereo method, which is a color image of the linear object, and a first image and a second image captured from different viewpoints Acquiring a line of a specific color on the first image as a first line image, and extracting the line of the specific color on the second image
  • a second extraction step of extracting as a second line image a step of selecting a point of interest on the first line image, a step of obtaining an epipolar line corresponding to the point of interest on the second image, and Determining an intersection point of the second line image and the epipolar line on the image, and setting the intersection point as the corresponding point of the target point.
  • three-dimensional coordinates of the point of interest (corresponding point) can be calculated based on the coordinates of the point of interest on the first image and the coordinates of the corresponding point on the second image.
  • high-speed matching processing can be performed by first extracting the linear objects to be measured by color.
  • the three-dimensional measurement method of the linear object further includes the step of creating in advance a color table in which the correspondence with the color is recorded for each type of linear object, and the specific color is to be extracted It is determined with reference to the color table according to the type of the linear object.
  • This facilitates specification of the linear object to be measured, and facilitates specification of a plurality of linear objects sequentially while changing the color to be extracted.
  • the color table is created based on colors of an image obtained by actually imaging the linear object in an actual measurement environment.
  • the color of the line on the first and second images changes depending on various factors such as the type and arrangement of illumination in the measurement environment, the degree of gloss of the line, and the orientation.
  • the first extraction step includes a thinning operation of the first line image
  • the second extraction step includes a thinning operation of the second line image.
  • the linear objects are linear objects of different colors.
  • the wire is a cable having coatings of different colors.
  • the three-dimensional measurement method of the present invention is suitable for performing three-dimensional measurement by paying attention to a specific linear object among many mixed linear objects. For example, it is suitable as robot vision in the case of picking each cable of a wire harness one by one with a robot hand.
  • flexible linear objects such as electric wires are likely to change in shape and position due to vibration etc., it is necessary to keep track of their deformation in order to handle them with a robot etc., in particular because high-speed processing is required. is there.
  • the three-dimensional measurement apparatus for linear objects of the present invention is a three-dimensional measurement apparatus for linear objects having a stereo camera and an operation unit. And the said stereo camera has the 1st camera and 2nd camera which are all color cameras. Then, the calculation unit extracts a linear material of a specific color on a first image captured by the first camera as a first linear image, and the specific component is extracted on a second image captured by the second camera. The linear object of color is extracted as a second line image, a point of interest is selected on the first line image, and an epipolar line corresponding to the point of interest is obtained on the second image, and the second image is obtained on the second image. Then, the intersection point of the second line image and the epipolar line is determined to be the corresponding point of the point of interest.
  • the linear objects to be measured are first extracted in color. This reduces the load of the matching process and enables high-speed matching process.
  • the three-dimensional measurement method of linear objects may be simply referred to as “measurement method”, and the three-dimensional measurement device of linear objects may be simply referred to as “measurement device”.
  • the measuring device 10 of the present embodiment includes a stereo camera 11, an arithmetic unit 15, a storage unit 16, and an input / output unit 17.
  • the stereo camera 11 includes a first camera 12, a second camera 13, and a camera control unit 14.
  • the first camera 12 is a color camera that captures a first image that is a two-dimensional color image.
  • the second camera 13 is a color camera that captures a second image that is a two-dimensional color image, and the relative position with respect to the first camera is fixed.
  • the camera control unit 14 controls the first camera and the second camera, and communicates with the calculation unit 15. For example, the camera control unit receives an imaging instruction from the arithmetic unit, transmits the imaging instruction to the first camera and the second camera, and transfers the first image and the second image to the arithmetic unit.
  • the arithmetic unit 15 processes the first image and the second image received from the stereo camera 11 in addition to the communication with the camera control unit 14 to calculate the three-dimensional position of the linear object.
  • the storage unit 16 stores the first image and the second image captured by the stereo camera, and the color table of the object, and also stores intermediate data necessary for the calculation, the calculation result, and the like.
  • the input / output unit 17 receives an instruction from a worker or displays a measurement result to the worker.
  • the electric wires 21 to 23 are imaged by the first camera 12 and the second camera 13. Then, if a projection point Q on the first image 30 by the first camera and a projection point R on the second image 40 by the second camera are obtained with respect to a certain point P on the electric wire 21,
  • the three-dimensional position of the point P can be calculated by using the position information of the one camera and the second camera.
  • the position information of the first camera and the second camera can be obtained by calibrating two cameras in advance.
  • the three electric wires 21 to 23 to be measured are color-coded and have coatings of different colors, for example, red, blue and yellow.
  • the linear object to be measured is not particularly limited as long as it is a linear object, but is preferably linear objects of different colors, more preferably cables of color-coded electric wires and optical fiber wires, and particularly preferably Is the cable of the wire harness.
  • FIG. 3 shows a flowchart of the measurement method of the present embodiment. Each step will be described below.
  • the color table is a table in which the color is recorded for each type of linear object that can be measured.
  • FIG. 8 shows, as an example, a color table in which the color is represented by the luminance of three primary colors of red, green and blue (RGB) for each type of electric wire.
  • the color table is stored in the storage unit 16.
  • the wires 21 to 23 are imaged by the stereo camera 11.
  • the wires 21 to 23 are captured by the first camera 12 into the first image 30.
  • the electric wires 21 to 23 are captured by the second camera 13 into the second image 40 from a viewpoint different from that of the first camera.
  • the first image and the second image are transferred to the calculation unit 15 and stored in the storage unit 16.
  • the calculation unit acquires the first image 30 and the second image 40 from the stereo camera 11. At this time, referring to FIG. 4A, images 31 to 33 of three electric wires 21 to 23 are shown in the first image 30. Similarly, referring to FIG. 4B, in the second image 40, images 41 to 43 of the three electric wires 21 to 23 are shown.
  • the operation unit extracts the specific wire 21 as a first line image on the first image 30.
  • the step of extracting the first line image includes a color extraction operation, a binarization operation, a noise removal operation, and a thinning operation.
  • the operation unit acquires the color of the electric wire 21 to be measured from the color table, and the first line image 34 of only the image 31 of the linear material 21 of the specific color on the first image 30 Extract as Specifically, the color of each pixel of the first image is compared with the specific color, and if it is determined that both are the same, the pixel is left, and if it is determined that both are different, that pixel Erase The determination of whether the colors are the same or different can be made depending on whether the difference between the two is less than or equal to a predetermined value.
  • the RGB value corresponding to the wire 21 is obtained from the color table, and the RGB value of each pixel of the first image is compared with that, and if the difference between the RGB values is less than a predetermined value, that pixel is the wire Judge that the color is the same as 21.
  • the predetermined value can be determined in consideration of the gradation number of RGB, the degree of difference in color between different types of electric wires, and the like.
  • the first image 30 is binarized. This is an operation of replacing the value of each pixel with 0 or 1 using an appropriate threshold.
  • the binarization operation facilitates subsequent image processing.
  • the binarization operation may be performed simultaneously with the color extraction operation. It is possible to perform binarization by setting pixels determined to be the same color as 1 and pixels determined to be different colors as 0.
  • the noise removal operation is performed on the first image 30.
  • the first line image 34 is extracted by the above-described color extraction operation, isolated pixels due to camera shot noise or the like remain in the first image.
  • the position of the image pickup device for RGB with respect to one pixel is actually slightly shifted, the color of the image is disturbed at a portion where the color changes sharply, such as the outline portion of the image 31 to 33 of the wire. Again, there is a possibility that isolated pixels remain. By removing such pixels, a more accurate first line image 34 can be obtained.
  • the first line image 34 is thinned. This is an operation to narrow the line width to 1 while maintaining the connectivity of the first line image.
  • a known method such as selecting a pixel positioned at the center of the line width can be used as a method of the thinning operation. As a result, subsequent image processing is facilitated, and corresponding points and the like can be determined more accurately.
  • FIG. 6A shows the first line image 34 obtained.
  • the first image 30 from which the first line image is extracted is stored in the storage unit 16.
  • the same operation as the first image 30 is performed on the second image 40 to extract the second line image 44 (second extraction step).
  • the second line image 44 is shown in FIG.
  • the second image from which the second line image is extracted is stored in the storage unit 16.
  • the computing unit selects a focused point Q on the first line image 34 of the first image 30.
  • the point Q is a projection point of the point P (FIG. 2) of the electric wire 21 on the first image.
  • the operation unit obtains an epipolar line 45 corresponding to the target point Q of the first image 30 on the second image 40. Then, an intersection point R between the second line image 44 and the epipolar line 45 is determined, and this point is taken as a point corresponding to the target point Q.
  • the point R is a projection point of the point P (FIG. 2) of the electric wire 21 on the second image.
  • a new focus point is selected on the first line image 34, and the processes after the focus point selection are repeated.
  • an adjacent point connected to the previous focus point can be selected.
  • the three-dimensional measurement of the electric wire 21 is performed by determining the three-dimensional position while shifting the point of interest Q, that is, moving the point P on the electric wire 21.
  • the above-described repetitive processing is ended.
  • the color of the electric wire 22 is obtained from the color table, and the first and second images taken by the first and second cameras are acquired. And repeat the steps after the first extraction step.
  • the color table illustrated in FIG. 8 describes one RGB value for each type of linear object, a plurality of RGB values are described for one type of linear object, either If it is determined that the color is the same as the RGB value of, it may be determined that it is the linear object. Also, the colors may be recorded in a color system other than RGB. For example, they may be expressed as L * , a * , b * based on the CIELAB color system developed by the International Commission on Illumination (CIE). Even if the output from the stereo camera is an RGB value, conversion between color systems is easy.
  • CIE International Commission on Illumination
  • the range of colors to be determined may be recorded in the color table.
  • the color table is preferably created based on the color of the image when the linear object is actually imaged in an actual measurement environment.
  • the linear object is captured by moving it to various positions and directions in front of the first or second camera by holding it with a hand or a robot hand, and color information of the linear object is obtained from the image. Do.
  • the color of the line on the first and second images changes depending on various factors such as the type and arrangement of illumination in the measurement environment, the degree of gloss of the line, and the orientation.
  • the measuring method of the present invention can be applied to not only cables but also yarns, writing instruments such as colored pencils and ballpoint pens, and various other linear materials.
  • the steps and operations in the above-described embodiment may replace or omit the order of execution if that is possible.
  • the measurement method of the present invention does not exclude the combined use with the known matching method in the stereo system.
  • the measurement method of the present invention does not exclude the combined use with the known matching method in the stereo system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

［課題］線状物に対して、高速で高精度なマッチング処理を実現できる３次元計測方法を提供する。 ［解決手段］線状物（２１）～（２３）のカラー画像であって、異なる視点から撮像された第１画像（３０）および第２画像（４０）を取得する工程と、前記第１画像上で特定の色の前記線状物（２１）を第１線像として抽出する第１抽出工程と、前記第２画像上で前記特定の色の前記線状物（２１）を第２線像として抽出する第２抽出工程と、前記第１線像上に着目点（３６）を選択する工程と、前記着目点に対応するエピポーラ線を前記第２画像上で求める工程と、前記第２画像上で前記第２線像と前記エピポーラ線との交点を求めて、前記着目点の対応点（４６）とする工程とを有する線状物の３次元計測方法。

Description

線状物の３次元計測方法および装置
　本発明は、ワイヤーやケーブル等の線状物に対して、ステレオ方式で形状を計測する３次元計測方法および装置に関する。
　２台のカメラの視差を利用して３次元位置を計測する方法としてステレオ方式の３次元計測方法が従来より利用されている。これは、視点の異なる２つの画像上で計測したい点の対応点を求め、各画像上の対応点および２台のカメラの位置関係から３角測量の原理によって、計測点の３次元位置を算出する方法である。このステレオ方式では、各画像上の対応点を見つけるマッチング処理が最も情報処理の負荷が重く、コストがかかるプロセスである。そのため、マッチング処理の改良を目的として、種々の方法が提案されている。
　ステレオ方式による線状物の３次元計測に関して、特許文献１には、半導体パッケージの外部リードの形状計測方法として、一方の画像における外部リード像上に計測サンプリング点を取り、他方の画像におけるエピポーラ・ライン（エピポーラ線）と外部リード像の交点を計測サンプリング点の対応点とすることが記載されている。なお、エピポーラ線とは一方の画像の視点と計測点を結ぶ直線を他方の画像上に投影した直線をいい、その計測点は必ず他方の画像上のエピポーラ線上に投影されている。また、特許文献２には、多数の線状物を２台のカメラで撮像し、２つの画像中の輝線の傾きと輝線間の距離を特徴として照合することにより、対応点を決定することが記載されている。
特開平５－０２６６４０ 特開平２－３０９２０２
　しかしながら、特許文献１に記載された方法では、同様の線状物が画面内に複数存在した場合、エピポーラ線との交点が複数検出され、対応点を一意に決定できないという問題があった。特許文献２に記載された方法では、複数の輝線に対して特徴の不一致度を計算する必要があり高速な処理には向かないことや、特徴が同程度の直線同士を誤認識する可能性があるという問題があった。
　本発明は上記を考慮してなされたものであり、線状物に対して、高速なマッチング処理を実現できる３次元計測方法および装置を提供することを目的とする。
　本発明の線状物の３次元計測方法は、ステレオ方式による線状物の３次元計測方法において、線状物のカラー画像であって、互いに異なる視点から撮像された第１画像および第２画像を取得する工程と、前記第１画像上で特定の色の前記線状物を第１線像として抽出する第１抽出工程と、前記第２画像上で前記特定の色の前記線状物を第２線像として抽出する第２抽出工程と、前記第１線像上に着目点を選択する工程と、前記着目点に対応するエピポーラ線を前記第２画像上で求める工程と、前記第２画像上で前記第２線像と前記エピポーラ線との交点を求めて、前記着目点の対応点とする工程とを有する。そして、第１画像上の着目点の座標と、第２画像上の対応点の座標を基に、着目点（対応点）の３次元座標を算出することができる。
　この方法により、多数の線状物が混在する場合でも、計測しようとする線状物をまず色で抽出することで、高速なマッチング処理が可能となる。
　好ましくは、上記線状物の３次元計測方法は、前記線状物の種類毎に色との対応を記録した色テーブルを予め作成する工程をさらに有し、前記特定の色は抽出しようとする前記線状物の種類に応じて前記色テーブルを参照して決定される。これにより、計測する線状物の指定が容易になるし、抽出する色を変えながら複数の線状物を順次指定することが容易になる。
　さらに好ましくは、前記色テーブルは、実際の計測環境において、実際に前記線状物を撮像した画像の色に基づいて作成される。第１および第２画像上の線状物の色は、計測環境における照明の種類や配置、線状物の光沢度や向きなど、種々の要因によって変化する。実際の計測条件下で線状物の画像が取り得る範囲の色を色テーブルに記録しておくことで、線状物を抽出する際の誤認識を減らすことができる。
　好ましくは、前記第１抽出工程が前記第１線像の細線化操作を含み、前記第２抽出工程が前記第２線像の細線化操作を含む。これにより、以後の画像処理が容易になるし、対応点等をより正確に求めることができる。
　好ましくは、前記線状物が互いに異なる色の線状物である。さらに好ましくは、前記線状物が互いに異なる色の被膜を有するケーブルである。本発明の３次元計測方法は、このような色分けされた線状物が多数混在する中から、特定の線状物に着目して３次元計測を行うのに適している。例えば、ワイヤーハーネスの各ケーブルをロボットハンドで順次ピッキングする場合のロボットビジョンとして好適である。また、電線等の柔軟な線状物は振動などによって形や位置が変化しやすいので、ロボット等でハンドリングするにはその変形を追跡し続ける必要があり、特に高速な処理が要求されるからである。
　本発明の線状物の３次元計測装置は、ステレオカメラと演算部とを有する線状物の３次元計測装置である。そして、前記ステレオカメラは、いずれもがカラーカメラである第１カメラおよび第２カメラを有する。そして、前記演算部は、前記第１カメラが撮像する第１画像上で特定の色の線状物を第１線像として抽出し、前記第２カメラが撮像する第２画像上で前記特定の色の前記線状物を第２線像として抽出し、前記第１線像上に着目点を選択し、前記着目点に対応するエピポーラ線を前記第２画像上で求め、前記第２画像上で前記第２線像と前記エピポーラ線との交点を求めて、前記着目点の対応点とする。
　本発明の線状物の３次元計測方法または装置によれば、多数の線状物が混在する場合でも、計測しようとする線状物をまず色で抽出する。これによりマッチング処理の負荷が軽減され、高速なマッチング処理が可能となる。
本発明の一実施形態である３次元計測装置の機能ブロック図である。 本発明の一実施形態である３次元計測方法を説明するための図である。 本発明の一実施形態である３次元計測方法の工程フロー図である。 ステレオカメラで撮像された（ａ）第１画像、（ｂ）第２画像である。 本発明の一実施形態である３次元計測方法の第１抽出工程の操作フロー図である。 （ａ）第１線像が抽出された第１画像、（ｂ）第２線像が抽出された第２画像である。 （ａ）着目点が選択された第１画像、（ｂ）エピポーラ線と第２線像との交点が求められた第２画像である。 色テーブルの一例である。
　本発明の線状物の３次元計測方法および装置の一実施形態を図に基づいて説明する。なお、以下において、線状物の３次元計測方法を単に「計測方法」と、線状物の３次元計測装置を単に「計測装置」ということがある。
　図１を参照して、本実施形態の計測装置１０は、ステレオカメラ１１、演算部１５、記憶部１６、入出力部１７を備える。
　ステレオカメラ１１は、第１カメラ１２、第２カメラ１３、カメラ制御部１４からなる。第１カメラ１２は、カラーの２次元画像である第１画像を撮像するカラーカメラである。第２カメラ１３は、カラーの２次元画像である第２画像を撮像するカラーカメラであって、第１カメラに対する相対位置が固定されている。カメラ制御部１４は、第１カメラおよび第２カメラを制御し、演算部１５との通信を行う。カメラ制御部は、例えば、演算部から撮像指示を受信して第１カメラおよび第２カメラに撮像指示を送信し、第１画像および第２画像を演算部に転送する。
　演算部１５は、カメラ制御部１４との通信の他、ステレオカメラ１１から受信した第１画像および第２画像を処理して線状物の３次元位置を算出する。記憶部１６は、ステレオカメラが撮像した第１画像および第２画像、対象物の色テーブルを記憶する他、演算に必要な中間データや演算結果等を記憶する。入出力部１７は、作業者からの指令を受け付けたり、作業者に対して計測結果を表示したりする。
　図２を参照して、本実施形態の計測方法では、電線２１～２３を第１カメラ１２および第２カメラ１３で撮像する。そして、電線２１上のある点Ｐに対して、第１カメラによる第１画像３０への投影点Ｑと、第２カメラによる第２画像４０への投影点Ｒが得られれば、既知である第１カメラおよび第２カメラの位置情報を利用して、点Ｐの３次元位置を算出することができる。第１カメラおよび第２カメラの位置情報は、予め２つのカメラをキャリブレーションしておくことで取得できる。
　図２は白黒で描かれているが、計測対象である３本の電線２１～２３は色分けされており、互いに異なる色、例えば赤、青、黄などの被覆を有する。計測対象となる線状物は、線状の物体であれば特に限定されないが、好ましくは互いに異なる色の線状物であり、さらに好ましくは色分けされた電線や光ファイバー線のケーブルであり、特に好ましくはワイヤーハーネスのケーブルである。
　図３に本実施形態の計測方法のフロー図を示す。以下、各工程について説明する。
　まず、計測に先立って、色テーブルを作成する。色テーブルは、計測対象となり得る線状物の種類毎にその色を記録したテーブルである。図８に、電線の種類毎に、その色を赤緑青（ＲＧＢ）の３原色の輝度で表した色テーブルを一例として示す。色テーブルは記憶部１６に記憶される。
　計測時には、ステレオカメラ１１で電線２１～２３を撮像する。電線２１～２３は第１カメラ１２によって第１画像３０に撮像される。それと同時に、電線２１～２３は第２カメラ１３によって、第１カメラとは異なる視点から、第２画像４０に撮像される。第１画像および第２画像は演算部１５に転送され、記憶部１６に記憶される。
　演算部は、ステレオカメラ１１から第１画像３０および第２画像４０を取得する。このとき、図４（ａ）を参照して、第１画像３０には３本の電線２１～２３の像３１～３３が写っている。同様に、図４（ｂ）を参照して、第２画像４０には３本の電線２１～２３の像４１～４３が写っている。
　次に演算部は、第１画像３０上で、特定の電線２１を第１線像として抽出する。図５を参照して、この第１線像を抽出する工程（第１抽出工程）は、色による抽出操作、二値化操作、ノイズ除去操作、細線化操作を含む。
　色による抽出操作では、演算部は計測しようとする電線２１の色を色テーブルから取得して、第１画像３０上でその特定の色の線状物２１の像３１だけを第１線像３４として抽出する。具体的には、第１画像の各画素の色をその特定の色と比較して、両者が同じと判断される場合にはその画素を残し、両者が異なると判断される場合にはその画素を消去する。色が同じであるか異なるかの判断は、両者の差が所定の値以下であるか否かによって行うことができる。例えば、電線２１に対応するＲＧＢ値を色テーブルから取得して、第１画像の各画素のＲＧＢ値をそれと比較し、ＲＧＢの各値の差が所定の値以下であれば、その画素は電線２１と同じ色であると判断する。所定の値は、ＲＧＢの階調数や、異なる種類の電線間での色の違いの程度等を考慮して定めることができる。
　次に、第１画像３０を二値化する。これは適当な閾値を用いて、各画素の値を０か１に置き換える操作である。二値化操作によって以後の画像処理が容易になる。二値化操作は色による抽出操作と同時に行ってもよい。同じ色と判定した画素を１とし、異なる色と判定した画素を０とすることで２値化できる。
　次に、第１画像３０に対してノイズ除去操作を行う。上記色による抽出操作によって第１線像３４が抽出されたが、第１画像にはカメラのショットノイズなどによる孤立した画素が残っている。また、１つの画素に対するＲＧＢ用の撮像素子の位置が実際にはわずかにずれていることから、電線の像３１～３３の輪郭部など、色が急峻に変化する部分で画像の色が乱れ、やはり孤立した画素が残っている可能性がある。このような画素を除去することによって、より正確な第１線像３４が得られる。
　次に、第１線像３４を細線化する。これは第１線像の連結性を保ちながら線幅を１に細める操作である。細線化操作の方法は、線幅の中心に位置する画素を選択するなど、公知の方法を用いることができる。これにより、以後の画像処理が容易になるし、対応点等をより正確に求めることができる。
　図６（ａ）に得られた第１線像３４を示す。第１線像が抽出された第１画像３０は記憶部１６に記憶される。
　図３に戻って、第２画像４０に対しても第１画像３０と同様の操作を行い、第２線像４４を抽出する（第２抽出工程）。図６（ｂ）に第２線像４４を示す。第２線像が抽出された第２画像は記憶部１６に記憶される。
　図７（ａ）を参照して、次に演算部は、第１画像３０の第１線像３４上に着目点Ｑを選択する。点Ｑは電線２１の点Ｐ（図２）の第１画像への投影点である。
　図７（ｂ）を参照して、次に演算部は、第２画像４０上で、第１画像３０の着目点Ｑに対応するエピポーラ線４５を求める。そして、第２線像４４とエピポーラ線４５との交点Ｒを求め、これを着目点Ｑに対応する点とする。点Ｒは電線２１の点Ｐ（図２）の第２画像への投影点である。
　以上の工程により、図２に示した電線２１の点Ｐに対して、第１画像３０への投影点Ｑと、第２画像４０への投影点Ｒが得られたので、演算部は点Ｐの３次元位置を算出する。
　次に、第１線像３４上に新しい着目点を選択して、着目点選択以降の工程を繰り返す。次の着目点としては、前の着目点に連結された隣接点を選択することができる。このようにして着目点Ｑをずらしながら、すなわち点Ｐを電線２１上で移動させながら３次元位置を求めることによって、電線２１の３次元計測を行う。
　電線２１について必要な情報が得られた時点で、上記繰り返し処理を終了する。引き続き他の電線、例えば電線２２の３次元計測を行う場合は、電線２２の色を色テーブルから取得して、第１カメラおよび第２カメラが撮像した当初の第１画像および第２画像に対して、第１抽出工程から後の工程を繰り返す。
　ここで、色テーブルについて、さらに詳しく説明する。
　図８に例示した色テーブルは、線状物の種類毎に１つのＲＧＢ値が記載されたものであったが、線状物１種類に対して複数のＲＧＢ値を記載しておき、いずれかのＲＧＢ値と同色と判定されれば、当該線状物であると判断してもよい。また、色はＲＧＢ以外の表色系で記録されていてもよい。例えば、国際照明委員会（ＣＩＥ）が策定したＣＩＥＬＡＢ表色系に基づいてＬ＊、ａ＊、ｂ＊で表現されていてもよい。ステレオカメラからの出力がＲＧＢ値であっても、表色系間の換算は容易である。
　また、上記実施形態では、画素のＲＧＢ値と色テーブルのＲＧＢ値との差が所定の値以下であれば、その画素の色とテーブルの色が同じであると判断したが、同色であると判断する色の範囲を色テーブルに記録しておいてもよい。色の範囲を記録する場合、Ｌ＊ａ＊ｂ＊の値で表現されていた方が、光量変化にロバストな閾値範囲を設定しやすく、より好ましい。例えば、Ｌ＊値の閾値範囲を広く取っておき、ａ＊値、ｂ＊値の閾値範囲を狭くすることで、線状物の明るさが一定程度変化しても、他色のケーブルと混同せず同色であるとみなすことができる。
　また、色テーブルは、好ましくは、実際の計測環境において、実際に線状物を撮像したときの画像の色に基づいて作成される。具体的には、線状物を手やロボットハンドで持つなどして、第１または第２カメラの前で様々な位置・向きに動かしながら撮像し、画像からその線状物の色情報を取得する。第１および第２画像上の線状物の色は、計測環境における照明の種類や配置、線状物の光沢度や向きなど、種々の要因によって変化する。色テーブルに、実際の計測条件下で線状物の画像が撮り得る範囲の色を記録しておくことにより、線状物を抽出する際の誤認識を減らすことができる。
　本発明は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。
　例えば、本発明の計測方法は、ケーブルの他、糸、色鉛筆・ボールペン替え芯等の筆記具、その他種々の線状物に適用可能である。
　また、例えば、上記実施形態における工程や操作は、それが可能である場合には、実行する順序を入れ替えたり、省略してもよい。
　また、例えば、本発明の計測方法は、ステレオ方式における公知のマッチング方法との併用を排除するものではない。多数の線状物の中に同色の線状物が複数ある場合には、計測対象物の形状その他の特徴に着目したマッチング方法を併用するメリットがある。
　１０　線状物の３次元計測装置
　１１　ステレオカメラ
　１２　第１カメラ
　１３　第２カメラ
　１４　カメラ制御部
　１５　演算部
　１６　記憶部
　１７　入出力部
　２１～２３　電線（線状物）
　３０　第１画像
　３１～３３　第１画像上の電線２１～２３の像
　３４　第１線像
　４０　第２画像
　４１～４３　第２画像上の電線２１～２３の像
　４４　第２線像
　４５　エピポーラ線
　Ｐ　電線２１上の点
　Ｑ　点Ｐの第１画像への投影（着目点）
　Ｒ　点Ｐの第２画像への投影（対応点）

Claims (7)

  1. 　線状物のカラー画像であって、異なる視点から撮像された第１画像および第２画像を取得する工程と、
    　前記第１画像上で特定の色の前記線状物を第１線像として抽出する第１抽出工程と、
    　前記第２画像上で前記特定の色の前記線状物を第２線像として抽出する第２抽出工程と、
    　前記第１線像上で着目点を選択する工程と、
    　前記着目点に対応するエピポーラ線を前記第２画像上に求める工程と、
    　前記第２画像上で前記第２線像と前記エピポーラ線との交点を求めて、前記着目点の対応点とする工程と、
    を有する線状物の３次元計測方法。
  2. 　前記線状物の種類毎に色との対応を記録した色テーブルを予め作成する工程をさらに有し、
    　前記特定の色は前記線状物の種類に応じて前記色テーブルを参照して決定される、
    請求項１に記載の線状物の３次元計測方法。
  3. 　前記色テーブルは、実際の計測環境において、実際に前記線状物を撮像した画像の色に基づいて作成される、
    請求項２に記載の線状物の３次元計測方法。
  4. 　前記第１抽出工程が前記第１線像の細線化操作を含み、
    　前記第２抽出工程が前記第２線像の細線化操作を含む、
    請求項１～３のいずれか一項に記載の線状物の３次元計測方法。
  5. 　前記線状物が互いに異なる色の線状物である、
    請求項１～４のいずれか一項に記載の線状物の３次元計測方法。
  6. 　前記線状物が互いに異なる色の被覆を有するケーブルである、
    請求項５に記載の線状物の３次元計測方法。
  7. 　ステレオカメラと演算部とを有する線状物の３次元計測装置であって、
    　前記ステレオカメラは、いずれもがカラーカメラである第１カメラおよび第２カメラを有し、
    　前記演算部は、
    　　前記第１カメラが撮像する第１画像上で特定の色の線状物を第１線像として抽出し、
    　　前記第２カメラが撮像する第２画像上で前記特定の色の前記線状物を第２線像として抽出し、
    　　前記第１線像上に着目点を選択し、
    　　前記着目点に対応するエピポーラ線を前記第２画像上で求め、
    　　前記第２画像上で前記第２線像と前記エピポーラ線との交点を求めて、前記着目点の対応点とする、
    線状物の３次元計測装置。
PCT/JP2018/026797 2017-07-20 2018-07-18 線状物の３次元計測方法および装置 WO2019017360A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019530556A JP7159159B2 (ja) 2017-07-20 2018-07-18 線状物の３次元計測方法および装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-141350 2017-07-20
JP2017141350 2017-07-20

Publications (1)

Publication Number Publication Date
WO2019017360A1 true WO2019017360A1 (ja) 2019-01-24

Family

ID=65015163

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026797 WO2019017360A1 (ja) 2017-07-20 2018-07-18 線状物の３次元計測方法および装置

Country Status (3)

Country Link
JP (1) JP7159159B2 (ja)
TW (1) TW201909118A (ja)
WO (1) WO2019017360A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001174227A (ja) * 1999-12-17 2001-06-29 Kawasaki Heavy Ind Ltd 繊維の径分布測定方法および装置
JP2009187412A (ja) * 2008-02-08 2009-08-20 Nippon Hoso Kyokai <Nhk> マーカ検出識別装置およびそのプログラム
JP2012013514A (ja) * 2010-06-30 2012-01-19 Canon Inc 情報処理装置、３次元位置算出方法及びプログラム
US20150371391A1 (en) * 2013-03-15 2015-12-24 Seiko Epson Corporation 2D/3D Localization and Pose Estimation of Harness Cables Using A Configurable Structure Representation for Robot Operations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001174227A (ja) * 1999-12-17 2001-06-29 Kawasaki Heavy Ind Ltd 繊維の径分布測定方法および装置
JP2009187412A (ja) * 2008-02-08 2009-08-20 Nippon Hoso Kyokai <Nhk> マーカ検出識別装置およびそのプログラム
JP2012013514A (ja) * 2010-06-30 2012-01-19 Canon Inc 情報処理装置、３次元位置算出方法及びプログラム
US20150371391A1 (en) * 2013-03-15 2015-12-24 Seiko Epson Corporation 2D/3D Localization and Pose Estimation of Harness Cables Using A Configurable Structure Representation for Robot Operations

Also Published As

Publication number Publication date
TW201909118A (zh) 2019-03-01
JP7159159B2 (ja) 2022-10-24
JPWO2019017360A1 (ja) 2020-05-28

Similar Documents

Publication Publication Date Title
US11282224B2 (en) Information processing apparatus and information processing method
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
CN103358993B (zh) 用于识别车辆停车位线标记的***和方法
JP6363863B2 (ja) 情報処理装置および情報処理方法
US8699786B2 (en) 3D model generating apparatus, method and CRM by line pattern imaging
JP6390032B2 (ja) ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置
US9990738B2 (en) Image processing method and apparatus for determining depth within an image
JP5222430B1 (ja) 寸法計測装置、寸法計測方法及び寸法計測装置用のプログラム
JP2018195070A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019017360A1 (ja) 線状物の３次元計測方法および装置
KR101574195B1 (ko) 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법
CN106791800B (zh) 全景视频的质量诊断方法及装置
CN112422848B (zh) 一种基于深度图和彩色图的视频拼接方法
JP4902564B2 (ja) マーカ検出識別装置およびそのプログラム
CN103760998A (zh) 利用ccd传感器过度曝光实现对激光笔超亮光标识别的方法
JP7007324B2 (ja) 画像処理装置、画像処理方法、及びロボットシステム
JPWO2019188198A1 (ja) 線状物の３次元計測装置、および、線状物の３次元計測方法
JPH07146937A (ja) パターンマッチング方法
JP2008275392A (ja) ３次元形状計測方法および装置
JP4351090B2 (ja) 画像処理装置および画像処理方法
EP3688407A1 (en) Light projection systems
CN110992258B (zh) 基于弱色差信息的高精度rgb-d点云拼接方法和***
US20230252637A1 (en) System and method for improving image segmentation
JP5757157B2 (ja) 検出対象物について頭部分の位置および軸部分の方向を算出する方法、装置およびプログラム
CN107018322A (zh) 旋转摄像头辅助构图的控制方法、控制装置及电子装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18834910

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019530556

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18834910

Country of ref document: EP

Kind code of ref document: A1