WO2019017360A1 - 線状物の3次元計測方法および装置 - Google Patents
線状物の3次元計測方法および装置 Download PDFInfo
- Publication number
- WO2019017360A1 WO2019017360A1 PCT/JP2018/026797 JP2018026797W WO2019017360A1 WO 2019017360 A1 WO2019017360 A1 WO 2019017360A1 JP 2018026797 W JP2018026797 W JP 2018026797W WO 2019017360 A1 WO2019017360 A1 WO 2019017360A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- color
- linear
- point
- line
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Definitions
- the present invention relates to a three-dimensional measuring method and apparatus for measuring the shape of a linear object such as a wire or a cable by a stereo method.
- a stereo three-dimensional measurement method As a method of measuring a three-dimensional position using the parallax of two cameras, a stereo three-dimensional measurement method has been conventionally used. In this method, corresponding points of points to be measured on two images with different viewpoints are determined, and the three-dimensional position of the measured points is calculated from the corresponding points on each image and the positional relationship between the two cameras by the principle of triangular survey. How to In this stereo method, matching processing for finding corresponding points on each image is the most information-processing-intensive and costly process. Therefore, various methods have been proposed for the purpose of improving the matching process.
- Patent Document 1 takes measurement sampling points on an external lead image in one image and obtains epipolar and light in the other image. It is described that the intersection of the line (epipolar line) and the external lead image is taken as the corresponding point of the measurement sampling point.
- the epipolar line is a straight line obtained by projecting a straight line connecting the viewpoint of one image and the measurement point onto the other image, and the measurement point is always projected onto the epipolar line on the other image.
- Patent Document 2 it is possible to determine corresponding points by imaging a large number of linear objects with two cameras and collating the inclinations of the bright lines in the two images and the distance between the bright lines as features. Have been described.
- Patent Document 1 when there are a plurality of similar linear objects in the screen, a plurality of intersections with the epipolar line are detected, and there is a problem that corresponding points can not be determined uniquely.
- Patent Document 2 it is necessary to calculate the degree of feature non-matching for a plurality of bright lines, which is not suitable for high-speed processing, and there is a possibility of misidentifying straight lines having similar features. There was a problem of being there.
- the present invention has been made in consideration of the above, and it is an object of the present invention to provide a three-dimensional measurement method and apparatus capable of realizing high-speed matching processing for linear objects.
- the three-dimensional measurement method of a linear object of the present invention is a three-dimensional measurement method of a linear object by a stereo method, which is a color image of the linear object, and a first image and a second image captured from different viewpoints Acquiring a line of a specific color on the first image as a first line image, and extracting the line of the specific color on the second image
- a second extraction step of extracting as a second line image a step of selecting a point of interest on the first line image, a step of obtaining an epipolar line corresponding to the point of interest on the second image, and Determining an intersection point of the second line image and the epipolar line on the image, and setting the intersection point as the corresponding point of the target point.
- three-dimensional coordinates of the point of interest (corresponding point) can be calculated based on the coordinates of the point of interest on the first image and the coordinates of the corresponding point on the second image.
- high-speed matching processing can be performed by first extracting the linear objects to be measured by color.
- the three-dimensional measurement method of the linear object further includes the step of creating in advance a color table in which the correspondence with the color is recorded for each type of linear object, and the specific color is to be extracted It is determined with reference to the color table according to the type of the linear object.
- This facilitates specification of the linear object to be measured, and facilitates specification of a plurality of linear objects sequentially while changing the color to be extracted.
- the color table is created based on colors of an image obtained by actually imaging the linear object in an actual measurement environment.
- the color of the line on the first and second images changes depending on various factors such as the type and arrangement of illumination in the measurement environment, the degree of gloss of the line, and the orientation.
- the first extraction step includes a thinning operation of the first line image
- the second extraction step includes a thinning operation of the second line image.
- the linear objects are linear objects of different colors.
- the wire is a cable having coatings of different colors.
- the three-dimensional measurement method of the present invention is suitable for performing three-dimensional measurement by paying attention to a specific linear object among many mixed linear objects. For example, it is suitable as robot vision in the case of picking each cable of a wire harness one by one with a robot hand.
- flexible linear objects such as electric wires are likely to change in shape and position due to vibration etc., it is necessary to keep track of their deformation in order to handle them with a robot etc., in particular because high-speed processing is required. is there.
- the three-dimensional measurement apparatus for linear objects of the present invention is a three-dimensional measurement apparatus for linear objects having a stereo camera and an operation unit. And the said stereo camera has the 1st camera and 2nd camera which are all color cameras. Then, the calculation unit extracts a linear material of a specific color on a first image captured by the first camera as a first linear image, and the specific component is extracted on a second image captured by the second camera. The linear object of color is extracted as a second line image, a point of interest is selected on the first line image, and an epipolar line corresponding to the point of interest is obtained on the second image, and the second image is obtained on the second image. Then, the intersection point of the second line image and the epipolar line is determined to be the corresponding point of the point of interest.
- the linear objects to be measured are first extracted in color. This reduces the load of the matching process and enables high-speed matching process.
- the three-dimensional measurement method of linear objects may be simply referred to as “measurement method”, and the three-dimensional measurement device of linear objects may be simply referred to as “measurement device”.
- the measuring device 10 of the present embodiment includes a stereo camera 11, an arithmetic unit 15, a storage unit 16, and an input / output unit 17.
- the stereo camera 11 includes a first camera 12, a second camera 13, and a camera control unit 14.
- the first camera 12 is a color camera that captures a first image that is a two-dimensional color image.
- the second camera 13 is a color camera that captures a second image that is a two-dimensional color image, and the relative position with respect to the first camera is fixed.
- the camera control unit 14 controls the first camera and the second camera, and communicates with the calculation unit 15. For example, the camera control unit receives an imaging instruction from the arithmetic unit, transmits the imaging instruction to the first camera and the second camera, and transfers the first image and the second image to the arithmetic unit.
- the arithmetic unit 15 processes the first image and the second image received from the stereo camera 11 in addition to the communication with the camera control unit 14 to calculate the three-dimensional position of the linear object.
- the storage unit 16 stores the first image and the second image captured by the stereo camera, and the color table of the object, and also stores intermediate data necessary for the calculation, the calculation result, and the like.
- the input / output unit 17 receives an instruction from a worker or displays a measurement result to the worker.
- the electric wires 21 to 23 are imaged by the first camera 12 and the second camera 13. Then, if a projection point Q on the first image 30 by the first camera and a projection point R on the second image 40 by the second camera are obtained with respect to a certain point P on the electric wire 21,
- the three-dimensional position of the point P can be calculated by using the position information of the one camera and the second camera.
- the position information of the first camera and the second camera can be obtained by calibrating two cameras in advance.
- the three electric wires 21 to 23 to be measured are color-coded and have coatings of different colors, for example, red, blue and yellow.
- the linear object to be measured is not particularly limited as long as it is a linear object, but is preferably linear objects of different colors, more preferably cables of color-coded electric wires and optical fiber wires, and particularly preferably Is the cable of the wire harness.
- FIG. 3 shows a flowchart of the measurement method of the present embodiment. Each step will be described below.
- the color table is a table in which the color is recorded for each type of linear object that can be measured.
- FIG. 8 shows, as an example, a color table in which the color is represented by the luminance of three primary colors of red, green and blue (RGB) for each type of electric wire.
- the color table is stored in the storage unit 16.
- the wires 21 to 23 are imaged by the stereo camera 11.
- the wires 21 to 23 are captured by the first camera 12 into the first image 30.
- the electric wires 21 to 23 are captured by the second camera 13 into the second image 40 from a viewpoint different from that of the first camera.
- the first image and the second image are transferred to the calculation unit 15 and stored in the storage unit 16.
- the calculation unit acquires the first image 30 and the second image 40 from the stereo camera 11. At this time, referring to FIG. 4A, images 31 to 33 of three electric wires 21 to 23 are shown in the first image 30. Similarly, referring to FIG. 4B, in the second image 40, images 41 to 43 of the three electric wires 21 to 23 are shown.
- the operation unit extracts the specific wire 21 as a first line image on the first image 30.
- the step of extracting the first line image includes a color extraction operation, a binarization operation, a noise removal operation, and a thinning operation.
- the operation unit acquires the color of the electric wire 21 to be measured from the color table, and the first line image 34 of only the image 31 of the linear material 21 of the specific color on the first image 30 Extract as Specifically, the color of each pixel of the first image is compared with the specific color, and if it is determined that both are the same, the pixel is left, and if it is determined that both are different, that pixel Erase The determination of whether the colors are the same or different can be made depending on whether the difference between the two is less than or equal to a predetermined value.
- the RGB value corresponding to the wire 21 is obtained from the color table, and the RGB value of each pixel of the first image is compared with that, and if the difference between the RGB values is less than a predetermined value, that pixel is the wire Judge that the color is the same as 21.
- the predetermined value can be determined in consideration of the gradation number of RGB, the degree of difference in color between different types of electric wires, and the like.
- the first image 30 is binarized. This is an operation of replacing the value of each pixel with 0 or 1 using an appropriate threshold.
- the binarization operation facilitates subsequent image processing.
- the binarization operation may be performed simultaneously with the color extraction operation. It is possible to perform binarization by setting pixels determined to be the same color as 1 and pixels determined to be different colors as 0.
- the noise removal operation is performed on the first image 30.
- the first line image 34 is extracted by the above-described color extraction operation, isolated pixels due to camera shot noise or the like remain in the first image.
- the position of the image pickup device for RGB with respect to one pixel is actually slightly shifted, the color of the image is disturbed at a portion where the color changes sharply, such as the outline portion of the image 31 to 33 of the wire. Again, there is a possibility that isolated pixels remain. By removing such pixels, a more accurate first line image 34 can be obtained.
- the first line image 34 is thinned. This is an operation to narrow the line width to 1 while maintaining the connectivity of the first line image.
- a known method such as selecting a pixel positioned at the center of the line width can be used as a method of the thinning operation. As a result, subsequent image processing is facilitated, and corresponding points and the like can be determined more accurately.
- FIG. 6A shows the first line image 34 obtained.
- the first image 30 from which the first line image is extracted is stored in the storage unit 16.
- the same operation as the first image 30 is performed on the second image 40 to extract the second line image 44 (second extraction step).
- the second line image 44 is shown in FIG.
- the second image from which the second line image is extracted is stored in the storage unit 16.
- the computing unit selects a focused point Q on the first line image 34 of the first image 30.
- the point Q is a projection point of the point P (FIG. 2) of the electric wire 21 on the first image.
- the operation unit obtains an epipolar line 45 corresponding to the target point Q of the first image 30 on the second image 40. Then, an intersection point R between the second line image 44 and the epipolar line 45 is determined, and this point is taken as a point corresponding to the target point Q.
- the point R is a projection point of the point P (FIG. 2) of the electric wire 21 on the second image.
- a new focus point is selected on the first line image 34, and the processes after the focus point selection are repeated.
- an adjacent point connected to the previous focus point can be selected.
- the three-dimensional measurement of the electric wire 21 is performed by determining the three-dimensional position while shifting the point of interest Q, that is, moving the point P on the electric wire 21.
- the above-described repetitive processing is ended.
- the color of the electric wire 22 is obtained from the color table, and the first and second images taken by the first and second cameras are acquired. And repeat the steps after the first extraction step.
- the color table illustrated in FIG. 8 describes one RGB value for each type of linear object, a plurality of RGB values are described for one type of linear object, either If it is determined that the color is the same as the RGB value of, it may be determined that it is the linear object. Also, the colors may be recorded in a color system other than RGB. For example, they may be expressed as L * , a * , b * based on the CIELAB color system developed by the International Commission on Illumination (CIE). Even if the output from the stereo camera is an RGB value, conversion between color systems is easy.
- CIE International Commission on Illumination
- the range of colors to be determined may be recorded in the color table.
- the color table is preferably created based on the color of the image when the linear object is actually imaged in an actual measurement environment.
- the linear object is captured by moving it to various positions and directions in front of the first or second camera by holding it with a hand or a robot hand, and color information of the linear object is obtained from the image. Do.
- the color of the line on the first and second images changes depending on various factors such as the type and arrangement of illumination in the measurement environment, the degree of gloss of the line, and the orientation.
- the measuring method of the present invention can be applied to not only cables but also yarns, writing instruments such as colored pencils and ballpoint pens, and various other linear materials.
- the steps and operations in the above-described embodiment may replace or omit the order of execution if that is possible.
- the measurement method of the present invention does not exclude the combined use with the known matching method in the stereo system.
- the measurement method of the present invention does not exclude the combined use with the known matching method in the stereo system.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
[課題]線状物に対して、高速で高精度なマッチング処理を実現できる3次元計測方法を提供する。 [解決手段]線状物(21)~(23)のカラー画像であって、異なる視点から撮像された第1画像(30)および第2画像(40)を取得する工程と、前記第1画像上で特定の色の前記線状物(21)を第1線像として抽出する第1抽出工程と、前記第2画像上で前記特定の色の前記線状物(21)を第2線像として抽出する第2抽出工程と、前記第1線像上に着目点(36)を選択する工程と、前記着目点に対応するエピポーラ線を前記第2画像上で求める工程と、前記第2画像上で前記第2線像と前記エピポーラ線との交点を求めて、前記着目点の対応点(46)とする工程とを有する線状物の3次元計測方法。
Description
本発明は、ワイヤーやケーブル等の線状物に対して、ステレオ方式で形状を計測する3次元計測方法および装置に関する。
2台のカメラの視差を利用して3次元位置を計測する方法としてステレオ方式の3次元計測方法が従来より利用されている。これは、視点の異なる2つの画像上で計測したい点の対応点を求め、各画像上の対応点および2台のカメラの位置関係から3角測量の原理によって、計測点の3次元位置を算出する方法である。このステレオ方式では、各画像上の対応点を見つけるマッチング処理が最も情報処理の負荷が重く、コストがかかるプロセスである。そのため、マッチング処理の改良を目的として、種々の方法が提案されている。
ステレオ方式による線状物の3次元計測に関して、特許文献1には、半導体パッケージの外部リードの形状計測方法として、一方の画像における外部リード像上に計測サンプリング点を取り、他方の画像におけるエピポーラ・ライン(エピポーラ線)と外部リード像の交点を計測サンプリング点の対応点とすることが記載されている。なお、エピポーラ線とは一方の画像の視点と計測点を結ぶ直線を他方の画像上に投影した直線をいい、その計測点は必ず他方の画像上のエピポーラ線上に投影されている。また、特許文献2には、多数の線状物を2台のカメラで撮像し、2つの画像中の輝線の傾きと輝線間の距離を特徴として照合することにより、対応点を決定することが記載されている。
しかしながら、特許文献1に記載された方法では、同様の線状物が画面内に複数存在した場合、エピポーラ線との交点が複数検出され、対応点を一意に決定できないという問題があった。特許文献2に記載された方法では、複数の輝線に対して特徴の不一致度を計算する必要があり高速な処理には向かないことや、特徴が同程度の直線同士を誤認識する可能性があるという問題があった。
本発明は上記を考慮してなされたものであり、線状物に対して、高速なマッチング処理を実現できる3次元計測方法および装置を提供することを目的とする。
本発明の線状物の3次元計測方法は、ステレオ方式による線状物の3次元計測方法において、線状物のカラー画像であって、互いに異なる視点から撮像された第1画像および第2画像を取得する工程と、前記第1画像上で特定の色の前記線状物を第1線像として抽出する第1抽出工程と、前記第2画像上で前記特定の色の前記線状物を第2線像として抽出する第2抽出工程と、前記第1線像上に着目点を選択する工程と、前記着目点に対応するエピポーラ線を前記第2画像上で求める工程と、前記第2画像上で前記第2線像と前記エピポーラ線との交点を求めて、前記着目点の対応点とする工程とを有する。そして、第1画像上の着目点の座標と、第2画像上の対応点の座標を基に、着目点(対応点)の3次元座標を算出することができる。
この方法により、多数の線状物が混在する場合でも、計測しようとする線状物をまず色で抽出することで、高速なマッチング処理が可能となる。
好ましくは、上記線状物の3次元計測方法は、前記線状物の種類毎に色との対応を記録した色テーブルを予め作成する工程をさらに有し、前記特定の色は抽出しようとする前記線状物の種類に応じて前記色テーブルを参照して決定される。これにより、計測する線状物の指定が容易になるし、抽出する色を変えながら複数の線状物を順次指定することが容易になる。
さらに好ましくは、前記色テーブルは、実際の計測環境において、実際に前記線状物を撮像した画像の色に基づいて作成される。第1および第2画像上の線状物の色は、計測環境における照明の種類や配置、線状物の光沢度や向きなど、種々の要因によって変化する。実際の計測条件下で線状物の画像が取り得る範囲の色を色テーブルに記録しておくことで、線状物を抽出する際の誤認識を減らすことができる。
好ましくは、前記第1抽出工程が前記第1線像の細線化操作を含み、前記第2抽出工程が前記第2線像の細線化操作を含む。これにより、以後の画像処理が容易になるし、対応点等をより正確に求めることができる。
好ましくは、前記線状物が互いに異なる色の線状物である。さらに好ましくは、前記線状物が互いに異なる色の被膜を有するケーブルである。本発明の3次元計測方法は、このような色分けされた線状物が多数混在する中から、特定の線状物に着目して3次元計測を行うのに適している。例えば、ワイヤーハーネスの各ケーブルをロボットハンドで順次ピッキングする場合のロボットビジョンとして好適である。また、電線等の柔軟な線状物は振動などによって形や位置が変化しやすいので、ロボット等でハンドリングするにはその変形を追跡し続ける必要があり、特に高速な処理が要求されるからである。
本発明の線状物の3次元計測装置は、ステレオカメラと演算部とを有する線状物の3次元計測装置である。そして、前記ステレオカメラは、いずれもがカラーカメラである第1カメラおよび第2カメラを有する。そして、前記演算部は、前記第1カメラが撮像する第1画像上で特定の色の線状物を第1線像として抽出し、前記第2カメラが撮像する第2画像上で前記特定の色の前記線状物を第2線像として抽出し、前記第1線像上に着目点を選択し、前記着目点に対応するエピポーラ線を前記第2画像上で求め、前記第2画像上で前記第2線像と前記エピポーラ線との交点を求めて、前記着目点の対応点とする。
本発明の線状物の3次元計測方法または装置によれば、多数の線状物が混在する場合でも、計測しようとする線状物をまず色で抽出する。これによりマッチング処理の負荷が軽減され、高速なマッチング処理が可能となる。
本発明の線状物の3次元計測方法および装置の一実施形態を図に基づいて説明する。なお、以下において、線状物の3次元計測方法を単に「計測方法」と、線状物の3次元計測装置を単に「計測装置」ということがある。
図1を参照して、本実施形態の計測装置10は、ステレオカメラ11、演算部15、記憶部16、入出力部17を備える。
ステレオカメラ11は、第1カメラ12、第2カメラ13、カメラ制御部14からなる。第1カメラ12は、カラーの2次元画像である第1画像を撮像するカラーカメラである。第2カメラ13は、カラーの2次元画像である第2画像を撮像するカラーカメラであって、第1カメラに対する相対位置が固定されている。カメラ制御部14は、第1カメラおよび第2カメラを制御し、演算部15との通信を行う。カメラ制御部は、例えば、演算部から撮像指示を受信して第1カメラおよび第2カメラに撮像指示を送信し、第1画像および第2画像を演算部に転送する。
演算部15は、カメラ制御部14との通信の他、ステレオカメラ11から受信した第1画像および第2画像を処理して線状物の3次元位置を算出する。記憶部16は、ステレオカメラが撮像した第1画像および第2画像、対象物の色テーブルを記憶する他、演算に必要な中間データや演算結果等を記憶する。入出力部17は、作業者からの指令を受け付けたり、作業者に対して計測結果を表示したりする。
図2を参照して、本実施形態の計測方法では、電線21~23を第1カメラ12および第2カメラ13で撮像する。そして、電線21上のある点Pに対して、第1カメラによる第1画像30への投影点Qと、第2カメラによる第2画像40への投影点Rが得られれば、既知である第1カメラおよび第2カメラの位置情報を利用して、点Pの3次元位置を算出することができる。第1カメラおよび第2カメラの位置情報は、予め2つのカメラをキャリブレーションしておくことで取得できる。
図2は白黒で描かれているが、計測対象である3本の電線21~23は色分けされており、互いに異なる色、例えば赤、青、黄などの被覆を有する。計測対象となる線状物は、線状の物体であれば特に限定されないが、好ましくは互いに異なる色の線状物であり、さらに好ましくは色分けされた電線や光ファイバー線のケーブルであり、特に好ましくはワイヤーハーネスのケーブルである。
図3に本実施形態の計測方法のフロー図を示す。以下、各工程について説明する。
まず、計測に先立って、色テーブルを作成する。色テーブルは、計測対象となり得る線状物の種類毎にその色を記録したテーブルである。図8に、電線の種類毎に、その色を赤緑青(RGB)の3原色の輝度で表した色テーブルを一例として示す。色テーブルは記憶部16に記憶される。
計測時には、ステレオカメラ11で電線21~23を撮像する。電線21~23は第1カメラ12によって第1画像30に撮像される。それと同時に、電線21~23は第2カメラ13によって、第1カメラとは異なる視点から、第2画像40に撮像される。第1画像および第2画像は演算部15に転送され、記憶部16に記憶される。
演算部は、ステレオカメラ11から第1画像30および第2画像40を取得する。このとき、図4(a)を参照して、第1画像30には3本の電線21~23の像31~33が写っている。同様に、図4(b)を参照して、第2画像40には3本の電線21~23の像41~43が写っている。
次に演算部は、第1画像30上で、特定の電線21を第1線像として抽出する。図5を参照して、この第1線像を抽出する工程(第1抽出工程)は、色による抽出操作、二値化操作、ノイズ除去操作、細線化操作を含む。
色による抽出操作では、演算部は計測しようとする電線21の色を色テーブルから取得して、第1画像30上でその特定の色の線状物21の像31だけを第1線像34として抽出する。具体的には、第1画像の各画素の色をその特定の色と比較して、両者が同じと判断される場合にはその画素を残し、両者が異なると判断される場合にはその画素を消去する。色が同じであるか異なるかの判断は、両者の差が所定の値以下であるか否かによって行うことができる。例えば、電線21に対応するRGB値を色テーブルから取得して、第1画像の各画素のRGB値をそれと比較し、RGBの各値の差が所定の値以下であれば、その画素は電線21と同じ色であると判断する。所定の値は、RGBの階調数や、異なる種類の電線間での色の違いの程度等を考慮して定めることができる。
次に、第1画像30を二値化する。これは適当な閾値を用いて、各画素の値を0か1に置き換える操作である。二値化操作によって以後の画像処理が容易になる。二値化操作は色による抽出操作と同時に行ってもよい。同じ色と判定した画素を1とし、異なる色と判定した画素を0とすることで2値化できる。
次に、第1画像30に対してノイズ除去操作を行う。上記色による抽出操作によって第1線像34が抽出されたが、第1画像にはカメラのショットノイズなどによる孤立した画素が残っている。また、1つの画素に対するRGB用の撮像素子の位置が実際にはわずかにずれていることから、電線の像31~33の輪郭部など、色が急峻に変化する部分で画像の色が乱れ、やはり孤立した画素が残っている可能性がある。このような画素を除去することによって、より正確な第1線像34が得られる。
次に、第1線像34を細線化する。これは第1線像の連結性を保ちながら線幅を1に細める操作である。細線化操作の方法は、線幅の中心に位置する画素を選択するなど、公知の方法を用いることができる。これにより、以後の画像処理が容易になるし、対応点等をより正確に求めることができる。
図6(a)に得られた第1線像34を示す。第1線像が抽出された第1画像30は記憶部16に記憶される。
図3に戻って、第2画像40に対しても第1画像30と同様の操作を行い、第2線像44を抽出する(第2抽出工程)。図6(b)に第2線像44を示す。第2線像が抽出された第2画像は記憶部16に記憶される。
図7(a)を参照して、次に演算部は、第1画像30の第1線像34上に着目点Qを選択する。点Qは電線21の点P(図2)の第1画像への投影点である。
図7(b)を参照して、次に演算部は、第2画像40上で、第1画像30の着目点Qに対応するエピポーラ線45を求める。そして、第2線像44とエピポーラ線45との交点Rを求め、これを着目点Qに対応する点とする。点Rは電線21の点P(図2)の第2画像への投影点である。
以上の工程により、図2に示した電線21の点Pに対して、第1画像30への投影点Qと、第2画像40への投影点Rが得られたので、演算部は点Pの3次元位置を算出する。
次に、第1線像34上に新しい着目点を選択して、着目点選択以降の工程を繰り返す。次の着目点としては、前の着目点に連結された隣接点を選択することができる。このようにして着目点Qをずらしながら、すなわち点Pを電線21上で移動させながら3次元位置を求めることによって、電線21の3次元計測を行う。
電線21について必要な情報が得られた時点で、上記繰り返し処理を終了する。引き続き他の電線、例えば電線22の3次元計測を行う場合は、電線22の色を色テーブルから取得して、第1カメラおよび第2カメラが撮像した当初の第1画像および第2画像に対して、第1抽出工程から後の工程を繰り返す。
ここで、色テーブルについて、さらに詳しく説明する。
図8に例示した色テーブルは、線状物の種類毎に1つのRGB値が記載されたものであったが、線状物1種類に対して複数のRGB値を記載しておき、いずれかのRGB値と同色と判定されれば、当該線状物であると判断してもよい。また、色はRGB以外の表色系で記録されていてもよい。例えば、国際照明委員会(CIE)が策定したCIELAB表色系に基づいてL*、a*、b*で表現されていてもよい。ステレオカメラからの出力がRGB値であっても、表色系間の換算は容易である。
また、上記実施形態では、画素のRGB値と色テーブルのRGB値との差が所定の値以下であれば、その画素の色とテーブルの色が同じであると判断したが、同色であると判断する色の範囲を色テーブルに記録しておいてもよい。色の範囲を記録する場合、L*a*b*の値で表現されていた方が、光量変化にロバストな閾値範囲を設定しやすく、より好ましい。例えば、L*値の閾値範囲を広く取っておき、a*値、b*値の閾値範囲を狭くすることで、線状物の明るさが一定程度変化しても、他色のケーブルと混同せず同色であるとみなすことができる。
また、色テーブルは、好ましくは、実際の計測環境において、実際に線状物を撮像したときの画像の色に基づいて作成される。具体的には、線状物を手やロボットハンドで持つなどして、第1または第2カメラの前で様々な位置・向きに動かしながら撮像し、画像からその線状物の色情報を取得する。第1および第2画像上の線状物の色は、計測環境における照明の種類や配置、線状物の光沢度や向きなど、種々の要因によって変化する。色テーブルに、実際の計測条件下で線状物の画像が撮り得る範囲の色を記録しておくことにより、線状物を抽出する際の誤認識を減らすことができる。
本発明は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。
例えば、本発明の計測方法は、ケーブルの他、糸、色鉛筆・ボールペン替え芯等の筆記具、その他種々の線状物に適用可能である。
また、例えば、上記実施形態における工程や操作は、それが可能である場合には、実行する順序を入れ替えたり、省略してもよい。
また、例えば、本発明の計測方法は、ステレオ方式における公知のマッチング方法との併用を排除するものではない。多数の線状物の中に同色の線状物が複数ある場合には、計測対象物の形状その他の特徴に着目したマッチング方法を併用するメリットがある。
10 線状物の3次元計測装置
11 ステレオカメラ
12 第1カメラ
13 第2カメラ
14 カメラ制御部
15 演算部
16 記憶部
17 入出力部
21~23 電線(線状物)
30 第1画像
31~33 第1画像上の電線21~23の像
34 第1線像
40 第2画像
41~43 第2画像上の電線21~23の像
44 第2線像
45 エピポーラ線
P 電線21上の点
Q 点Pの第1画像への投影(着目点)
R 点Pの第2画像への投影(対応点)
11 ステレオカメラ
12 第1カメラ
13 第2カメラ
14 カメラ制御部
15 演算部
16 記憶部
17 入出力部
21~23 電線(線状物)
30 第1画像
31~33 第1画像上の電線21~23の像
34 第1線像
40 第2画像
41~43 第2画像上の電線21~23の像
44 第2線像
45 エピポーラ線
P 電線21上の点
Q 点Pの第1画像への投影(着目点)
R 点Pの第2画像への投影(対応点)
Claims (7)
- 線状物のカラー画像であって、異なる視点から撮像された第1画像および第2画像を取得する工程と、
前記第1画像上で特定の色の前記線状物を第1線像として抽出する第1抽出工程と、
前記第2画像上で前記特定の色の前記線状物を第2線像として抽出する第2抽出工程と、
前記第1線像上で着目点を選択する工程と、
前記着目点に対応するエピポーラ線を前記第2画像上に求める工程と、
前記第2画像上で前記第2線像と前記エピポーラ線との交点を求めて、前記着目点の対応点とする工程と、
を有する線状物の3次元計測方法。 - 前記線状物の種類毎に色との対応を記録した色テーブルを予め作成する工程をさらに有し、
前記特定の色は前記線状物の種類に応じて前記色テーブルを参照して決定される、
請求項1に記載の線状物の3次元計測方法。 - 前記色テーブルは、実際の計測環境において、実際に前記線状物を撮像した画像の色に基づいて作成される、
請求項2に記載の線状物の3次元計測方法。 - 前記第1抽出工程が前記第1線像の細線化操作を含み、
前記第2抽出工程が前記第2線像の細線化操作を含む、
請求項1~3のいずれか一項に記載の線状物の3次元計測方法。 - 前記線状物が互いに異なる色の線状物である、
請求項1~4のいずれか一項に記載の線状物の3次元計測方法。 - 前記線状物が互いに異なる色の被覆を有するケーブルである、
請求項5に記載の線状物の3次元計測方法。 - ステレオカメラと演算部とを有する線状物の3次元計測装置であって、
前記ステレオカメラは、いずれもがカラーカメラである第1カメラおよび第2カメラを有し、
前記演算部は、
前記第1カメラが撮像する第1画像上で特定の色の線状物を第1線像として抽出し、
前記第2カメラが撮像する第2画像上で前記特定の色の前記線状物を第2線像として抽出し、
前記第1線像上に着目点を選択し、
前記着目点に対応するエピポーラ線を前記第2画像上で求め、
前記第2画像上で前記第2線像と前記エピポーラ線との交点を求めて、前記着目点の対応点とする、
線状物の3次元計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019530556A JP7159159B2 (ja) | 2017-07-20 | 2018-07-18 | 線状物の3次元計測方法および装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-141350 | 2017-07-20 | ||
JP2017141350 | 2017-07-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019017360A1 true WO2019017360A1 (ja) | 2019-01-24 |
Family
ID=65015163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/026797 WO2019017360A1 (ja) | 2017-07-20 | 2018-07-18 | 線状物の3次元計測方法および装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7159159B2 (ja) |
TW (1) | TW201909118A (ja) |
WO (1) | WO2019017360A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001174227A (ja) * | 1999-12-17 | 2001-06-29 | Kawasaki Heavy Ind Ltd | 繊維の径分布測定方法および装置 |
JP2009187412A (ja) * | 2008-02-08 | 2009-08-20 | Nippon Hoso Kyokai <Nhk> | マーカ検出識別装置およびそのプログラム |
JP2012013514A (ja) * | 2010-06-30 | 2012-01-19 | Canon Inc | 情報処理装置、3次元位置算出方法及びプログラム |
US20150371391A1 (en) * | 2013-03-15 | 2015-12-24 | Seiko Epson Corporation | 2D/3D Localization and Pose Estimation of Harness Cables Using A Configurable Structure Representation for Robot Operations |
-
2018
- 2018-07-16 TW TW107124411A patent/TW201909118A/zh unknown
- 2018-07-18 JP JP2019530556A patent/JP7159159B2/ja active Active
- 2018-07-18 WO PCT/JP2018/026797 patent/WO2019017360A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001174227A (ja) * | 1999-12-17 | 2001-06-29 | Kawasaki Heavy Ind Ltd | 繊維の径分布測定方法および装置 |
JP2009187412A (ja) * | 2008-02-08 | 2009-08-20 | Nippon Hoso Kyokai <Nhk> | マーカ検出識別装置およびそのプログラム |
JP2012013514A (ja) * | 2010-06-30 | 2012-01-19 | Canon Inc | 情報処理装置、3次元位置算出方法及びプログラム |
US20150371391A1 (en) * | 2013-03-15 | 2015-12-24 | Seiko Epson Corporation | 2D/3D Localization and Pose Estimation of Harness Cables Using A Configurable Structure Representation for Robot Operations |
Also Published As
Publication number | Publication date |
---|---|
TW201909118A (zh) | 2019-03-01 |
JP7159159B2 (ja) | 2022-10-24 |
JPWO2019017360A1 (ja) | 2020-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11282224B2 (en) | Information processing apparatus and information processing method | |
KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
CN103358993B (zh) | 用于识别车辆停车位线标记的***和方法 | |
JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
US8699786B2 (en) | 3D model generating apparatus, method and CRM by line pattern imaging | |
JP6390032B2 (ja) | ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置 | |
US9990738B2 (en) | Image processing method and apparatus for determining depth within an image | |
JP5222430B1 (ja) | 寸法計測装置、寸法計測方法及び寸法計測装置用のプログラム | |
JP2018195070A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2019017360A1 (ja) | 線状物の3次元計測方法および装置 | |
KR101574195B1 (ko) | 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법 | |
CN106791800B (zh) | 全景视频的质量诊断方法及装置 | |
CN112422848B (zh) | 一种基于深度图和彩色图的视频拼接方法 | |
JP4902564B2 (ja) | マーカ検出識別装置およびそのプログラム | |
CN103760998A (zh) | 利用ccd传感器过度曝光实现对激光笔超亮光标识别的方法 | |
JP7007324B2 (ja) | 画像処理装置、画像処理方法、及びロボットシステム | |
JPWO2019188198A1 (ja) | 線状物の3次元計測装置、および、線状物の3次元計測方法 | |
JPH07146937A (ja) | パターンマッチング方法 | |
JP2008275392A (ja) | 3次元形状計測方法および装置 | |
JP4351090B2 (ja) | 画像処理装置および画像処理方法 | |
EP3688407A1 (en) | Light projection systems | |
CN110992258B (zh) | 基于弱色差信息的高精度rgb-d点云拼接方法和*** | |
US20230252637A1 (en) | System and method for improving image segmentation | |
JP5757157B2 (ja) | 検出対象物について頭部分の位置および軸部分の方向を算出する方法、装置およびプログラム | |
CN107018322A (zh) | 旋转摄像头辅助构图的控制方法、控制装置及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18834910 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019530556 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18834910 Country of ref document: EP Kind code of ref document: A1 |