JP3389804B2 - Shape measuring device and coil position detecting device - Google Patents
Shape measuring device and coil position detecting deviceInfo
- Publication number
- JP3389804B2 JP3389804B2 JP00329997A JP329997A JP3389804B2 JP 3389804 B2 JP3389804 B2 JP 3389804B2 JP 00329997 A JP00329997 A JP 00329997A JP 329997 A JP329997 A JP 329997A JP 3389804 B2 JP3389804 B2 JP 3389804B2
- Authority
- JP
- Japan
- Prior art keywords
- coil
- image
- light
- projection angle
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
【0001】[0001]
【発明の属する技術分野】本発明は、物体の位置・高さ
等の3次元情報を非接触で計測する形状計測装置及びそ
れを用いたコイル位置検出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a shape measuring apparatus for measuring three-dimensional information such as the position and height of an object in a non-contact manner, and a coil position detecting apparatus using the shape measuring apparatus.
【0002】[0002]
【従来の技術】物体の位置・高さ等の3次元情報を簡便
に計測する方法としては、従来から光切断法がよく知ら
れている。この光切断法においては、被測定物にレーザ
スリット光を照射して、レーザスリット光(光切断線)
のパターンをスリット光の投光方向とは別の方向からテ
レビカメラで撮像する。このとき被測定物に凹凸があれ
ば、光切断線は被測定物の凹凸に応じて変形することに
なる。そこで、テレビカメラで撮像したときの光切断線
の位置(変形量)と、レーザスリット光の投光角度から
三角測量の原理に基づいて被測定物の形状を演算する。2. Description of the Related Art As a method for easily measuring three-dimensional information such as the position and height of an object, a light cutting method has been well known. In this light cutting method, a laser slit light (light cutting line) is applied to a measured object by irradiating it with a laser slit light.
The pattern is photographed by a television camera from a direction different from the slit light projection direction. At this time, if the object to be measured has unevenness, the light cutting line is deformed according to the unevenness of the object to be measured. Therefore, the shape of the object to be measured is calculated from the position (deformation amount) of the light cutting line when the image is taken by the television camera and the projection angle of the laser slit light based on the principle of triangulation.
【0003】具体的には、テレビカメラで撮像した光切
断線の画像から、レーザスリット光が当たっている部分
が高輝度になっていることから、2値化によりレーザス
リット光を抽出する。このレーザスリット光の位置と、
レーザスリット光の投光角度から三角測量の原理に基づ
いて対象の形状を演算する。但し、光切断線による形状
計測においては1回に1ライン分しか測定できないた
め、被測定物の全体形状を把握するためには光切断線を
移動させながら、複数断面の形状を入力する必要があ
る。従って、被測定物全体の正確な三次元形状を演算し
ようとすると、光切断線の移動を密に且つ多数回実行す
る必要があり、多大な演算時間と演算能力が必要にな
る。Specifically, from the image of the light section line taken by the television camera, since the portion irradiated with the laser slit light has high brightness, the laser slit light is extracted by binarization. The position of this laser slit light,
The shape of the target is calculated from the projection angle of the laser slit light based on the principle of triangulation. However, in the shape measurement based on the light cutting line, only one line can be measured at a time, so it is necessary to input the shapes of multiple cross sections while moving the light cutting line in order to grasp the entire shape of the object to be measured. is there. Therefore, in order to calculate the accurate three-dimensional shape of the entire object to be measured, it is necessary to move the optical cutting line densely and many times, which requires a large amount of calculation time and calculation ability.
【0004】これに対して、産業用として用いられる形
状計測においては、一般的に、短時間で形状情報が得ら
れなければならないが、一方で、被測定物の形状・位置
等の何等かの情報が予め与えられていることが多い。こ
のような場合には、光切断線による測定のピッチは、あ
る程度粗になっても、予め得られている形状・位置等の
情報を用いることで検出すべき位置・形状等の情報が得
られる。On the other hand, in shape measurement used for industrial purposes, it is generally necessary to obtain shape information in a short time. On the other hand, on the other hand, some information such as the shape and position of the object to be measured is required. Information is often given in advance. In such a case, even if the pitch of the measurement by the optical cutting line becomes coarse to some extent, the information such as the position and the shape to be detected can be obtained by using the information such as the shape and the position obtained in advance. .
【0005】このように、複数本の光切断線に限定した
形状計測を行うことにより計測時間を短縮することがで
きる。但し、通常の光切断法で複数本の光切断線の検出
を行っても、各スリット光毎に、光切断線の抽出と三角
測量法に基づく形状演算が必要となることに変わりはな
い。特に、被測定物の反射率が低い場合、又は、測定視
野が広い場合にはレーザビームをレンズによりスリット
状に広げる広げる必要があるが、そのような方式では、
一般的には十分な反射輝度が得られないという問題があ
る。このため、このような場合の対策として、レーザス
ポット光をミラー走査することでスリット状のレーザ光
軌跡を作る方式が採用されている。As described above, the measurement time can be shortened by performing the shape measurement limited to the plurality of light cutting lines. However, even if a plurality of light cutting lines are detected by the normal light cutting method, it is still necessary to extract the light cutting line and calculate the shape based on the triangulation method for each slit light. In particular, when the reflectance of the object to be measured is low, or when the measurement field of view is wide, it is necessary to spread the laser beam in a slit shape with a lens, but in such a method,
Generally, there is a problem that sufficient reflection brightness cannot be obtained. Therefore, as a countermeasure against such a case, a method of forming a slit-shaped laser beam locus by mirror-scanning a laser spot beam is adopted.
【0006】図8は光切断線が1本の場合の計測状態を
示す説明図である。このような計測においても、レーザ
スポット光を走査し1本のレーザスリット光を作成する
のにテレビカメラの撮像周期が数フレームにもわたるこ
ともあり、レーザ光が走査した1ラインの形状を得るた
めには、この全フレームをリアルタイムで形状演算処理
しなければならず膨大な演算能力が必要となる。FIG. 8 is an explanatory diagram showing a measurement state when there is one light cutting line. Even in such a measurement, the image pickup cycle of the television camera may extend over several frames to scan the laser spot light and create one laser slit light, and thus the shape of one line scanned by the laser light is obtained. In order to do so, this whole frame must be subjected to shape calculation processing in real time, and a huge calculation capacity is required.
【0007】図9は光切断線が複数本の場合の計測状態
を示す説明図である。これは、測定時間の短縮を目的と
して、複数のレーザスリット光を同時に投影して複数本
の光切断線を同時に得るようにした例であるが、この場
合には同一視野内に得られた複数の光切断線の識別がで
きず、各々の光切断線の投光角度が求まらないという問
題がある。FIG. 9 is an explanatory diagram showing a measurement state when there are a plurality of optical cutting lines. This is an example in which a plurality of laser slit lights are simultaneously projected to obtain a plurality of light cutting lines at the same time for the purpose of shortening the measurement time. However, there is a problem that the light cutting lines cannot be identified and the projection angles of the respective light cutting lines cannot be obtained.
【0008】[0008]
【発明が解決しようとする課題】上述の説明からも明ら
かなように、従来の計測方法、特に、複数本のレーザス
リット光を用いた光切断法による形状計測方法において
は、次の問題点が指摘される。
(1)マルチスリット化しようとすると、同一の光切断
画像内に複数のスリット光が含まれてしまい、複数本の
スリット光の判別と各々の投光角度の識別ができない。
(2)従って、光切断法を用いた形状計測方法では、撮
像した各画像ごとに1本の光切断線を抽出し、投光角度
及び光切断線の位置から形状を演算する必要がある。
(3)その結果、レーザスポット光を走査することによ
りスリット光を作る方式では、テレビカメラで撮像した
全ての画像について、リアルタイムで光切断線の抽出と
形状演算とを行う必要があり、高速な演算能力が要求さ
れ、これを実現しようとすると非常に高価な処理装置が
必要になる。
(4)更に、光切断法では、光切断線の抽出のために一
般的に2値化処理が行われているが、単純2値化処理で
はスリット光部分と、背景部分とでは必ずしも十分な輝
度差が得られるとは限らない。
従って、この計測方法ではレーザパワーが小さい、被測
定物の反射率が低い等の理由により、レーザ反射光量が
少ない場合には、十分な輝度差が得られずスリット光が
抽出できなくなる可能性が高い。As is apparent from the above description, the conventional measuring method, in particular, the shape measuring method by the optical cutting method using a plurality of laser slit lights has the following problems. be pointed out. (1) If an attempt is made to use multiple slits, a plurality of slit lights are included in the same light section image, and it is impossible to distinguish a plurality of slit lights and the respective projection angles. (2) Therefore, in the shape measuring method using the light section method, it is necessary to extract one light section line for each captured image and calculate the shape from the projection angle and the position of the light section line. (3) As a result, in the method of producing slit light by scanning the laser spot light, it is necessary to extract the light cutting line and calculate the shape in real time for all the images captured by the television camera, which is high-speed. Computational power is required, and a very expensive processing device is required to achieve this. (4) Furthermore, in the light-section method, binarization processing is generally performed to extract the light-section line, but in the simple binarization processing, the slit light portion and the background portion are not always sufficient. The brightness difference is not always obtained. Therefore, in this measurement method, when the laser reflected light amount is small, a sufficient brightness difference cannot be obtained and the slit light may not be extracted due to the small laser power, the low reflectance of the measured object, and the like. high.
【0009】本発明は、このような問題点を解決するた
めになされたものであり、複数本のスリット光の判別と
各々の投光角度を識別することができ、そして、レーザ
反射光量が少ない場合においても十分な精度で計測する
ことができるようにした形状計測装置及びそれを用いた
コイル位置検出装置を提供することを目的とする。The present invention has been made in order to solve such a problem and is capable of discriminating a plurality of slit lights and discriminating their respective projection angles, and the amount of laser reflected light is small. An object of the present invention is to provide a shape measuring device and a coil position detecting device using the shape measuring device that can perform measurement with sufficient accuracy even in the case.
【0010】[0010]
【課題を解決するための手段】(1)本発明に係る形状
計測装置(請求項1)は、基準面上に置かれたコイルに
向けて撮影を行い、その撮像結果により当該コイルの3
次元形状を求める形状計測装置であって、コイルにレー
ザスポット光を投光し、レーザスポット光を直線状に走
査してスリット光を形成し、基準面に対するスリット光
の投光角度を変えながらコイルに対してスリット光を複
数回投光してマルチスリット光にするとともにレーザ光
の投光角度情報を出力するレーザ光投光手段と、レーザ
光が投光されているコイルを撮像する撮像手段と、撮像
手段によって撮像された画像と投光角度情報とから、撮
像画像の各画素における最大輝度時に投光角情報を対応
させた投光角度画像を生成する画像合成手段と、投光角
度画像からレーザ照射部の3次元形状を求める形状演算
手段とを備えたものである。本発明においては、例えば
レーザスリット光を同一視野内で投光角度を変えながら
移動させて、撮像画像の各画素における最大輝度時に投
光角情報を対応させた投光角度画像を生成することで、
複数のスリット光を弁別でき、且つ、複数本のレーザス
リット光の画像入力をリアルタイムに行い、形状演算は
合成された画像に対して1度だけ演算すればよく、計測
・演算時間の飛躍的短縮が図られている。また、画像合
成を行うことで、レーザのスリット光がスポット光走査
により構成されていてもリアルタイムに画像処理するこ
とで、形状演算は1度だけで良い。(1) A shape measuring apparatus (claim 1) according to the present invention takes an image toward a coil placed on a reference plane, and the image of the coil causes 3
A shape measuring apparatus for determining a three-dimensional shape, which emits a laser spot light onto a coil , linearly scans the laser spot light to form slit light, and changes the projection angle of the slit light with respect to a reference plane to form a coil. Laser light projecting means for projecting slit light a plurality of times into multi-slit light and outputting the projection angle information of the laser light, and imaging means for imaging the coil on which the laser light is projected. , An image synthesizing unit for generating a projection angle image corresponding to the projection angle information at the maximum brightness in each pixel of the captured image from the image captured by the imaging unit and the projection angle information; And a shape calculation means for obtaining a three-dimensional shape of the laser irradiation part. In the present invention, for example, the laser slit light is moved within the same field of view while changing the light projection angle to generate a light projection angle image in which the light projection angle information is associated at the maximum brightness in each pixel of the captured image. ,
Multiple slit lights can be discriminated, images of multiple laser slit lights can be input in real time, and shape calculation only needs to be performed once on the combined image, dramatically reducing measurement and calculation time. Is being pursued. Further, by performing image combination, even if the slit light of the laser is configured by spot light scanning, image processing is performed in real time, and thus the shape calculation only needs to be performed once.
【0011】(2)本発明に係る形状計測装置(請求項
2)において、画像合成手段は、撮像手段によって撮像
された画像の画面内の各画素の信号を順次取り込んで記
憶し、同一画素について後から入力される信号の輝度レ
ベルと既に記憶されている信号の輝度レベルとを比較
し、後から入力される信号の輝度レベルの方が高いとき
にその輝度レベルによってその画素の記憶内容を更新し
て最大輝度画像を生成し、また、その最大画像を生成し
たときの投光角度情報をその画素の値とする投光角度画
像を生成し、形状演算手段は、投光角度画像と最大輝度
画像とから、レーザ照射部の3次元形状を求める。本発
明において、画像合成手段は、各画素の最大輝度レベル
を求めて最大輝度画像を生成する。最大輝度画像の各画
素はレーザ照射部の画素(即ち位置)対応しており、形
状演算手段は、その画素(位置)とその画素に対応した
投光角度情報に基づいてレーザ光照射部の3次元形状を
求める。(2) In the shape measuring apparatus according to the present invention (claim 2), the image synthesizing means sequentially captures and stores the signal of each pixel in the screen of the image picked up by the image pickup means, and stores the same pixel. The brightness level of the signal input later is compared with the brightness level of the signal already stored, and when the brightness level of the signal input later is higher, the stored content of the pixel is updated by that brightness level. To generate a maximum brightness image, and to generate a projection angle image in which the projection angle information when the maximum image is generated is the value of the pixel, and the shape calculation means calculates the projection angle image and the maximum brightness. The three-dimensional shape of the laser irradiation part is obtained from the image. In the present invention, the image synthesizing means obtains the maximum luminance level of each pixel and generates the maximum luminance image. Each pixel of the maximum brightness image corresponds to a pixel (that is, a position) of the laser irradiation unit, and the shape calculation unit calculates the 3 of the laser light irradiation unit based on the pixel (position) and the projection angle information corresponding to the pixel. Find the dimensional shape.
【0012】(3)本発明に係る形状計測装置(請求項
3)において、画像合成手段は、撮像手段によって撮像
された画像の画面内の各画素の信号を順次取り込んで記
憶し、同一画素について後から入力される信号の輝度レ
ベルと既に記憶されている信号の輝度レベルとを比較
し、後から入力される信号の輝度レベルの方が低いとき
にその輝度レベルによってその画素の記憶内容を更新し
て最小輝度画像を生成し、形状演算手段は、最大輝度画
像と最小輝度画像との差と、投光角度画像とから、レー
ザ照射部の3次元形状を求める。本発明においては、各
画素について、最大輝度レベルと最小輝度レベルとの差
をとることにより、背景光が排除され、レーザ光の照射
領域を高精度に検出することができる。(3) In the shape measuring apparatus according to the present invention (claim 3), the image synthesizing means sequentially captures and stores the signal of each pixel in the screen of the image picked up by the image pickup means. The brightness level of the signal input later is compared with the brightness level of the signal already stored, and when the brightness level of the signal input later is lower, the stored content of the pixel is updated by that brightness level. to generate a minimum brightness image, the shape calculating means, maximum brightness image
The three-dimensional shape of the laser irradiation unit is obtained from the difference between the image and the minimum brightness image and the projection angle image . In the present invention, by taking the difference between the maximum luminance level and the minimum luminance level for each pixel, the background light is eliminated and the irradiation area of the laser light can be detected with high accuracy.
【0013】(4)本発明に係るコイル位置検出装置
(請求項4)においては、上記(1)乃至(4)の何れ
かの形状計測装置を用いたコイル位置検出装置であっ
て、基準面をヤード又はコイル台車とし、被測定物をコ
イルとするとともに、レーザ光投光手段及び撮像手段は
コイルの運搬を行う天井クレーンに取り付けられ、形状
演算手段の演算結果に基づいてコイル位置を演算するコ
イル演算手段を備えたものである。
(5)本発明に係るコイル位置検出装置(請求項5)
は、コイルの運搬を行う天井クレーンに取り付けられ、
レーザスポット光を直線状に走査して複数本のスリット
光を形成してコイルに照射するとともに、そのときのレ
ーザ光投光角度を出力するレーザ光投光手段と、天井ク
レーンに取り付けられ、レーザ光が照射されているコイ
ルを撮像する撮像手段と、撮像手段によって撮像された
画像とレーザ光投光手段の投光角度とから、レーザ光の
輝度画像とそれに対応したレーザ光の投光角度情報をそ
れぞれ合成する画像合成手段と、レーザ光の輝度画像と
レーザ光の投光角度情報とからコイルのレーザ光照射部
の3次元形状を求める形状演算手段と、コイルのレーザ
光照射部の3次元形状データをコイルの幅方向に投影
し、コイルの径方向中心位置及びコイル径を求めるとと
もに、コイルのレーザ光照射部の3次元形状データを基
準面と平行なコイルの径方向に投影し、コイルの幅方向
中心位置及びコイル幅を求めるコイル演算手段とを有す
る。
(6)本発明に係るコイル位置検出装置(請求項6)
は、コイルの運搬を行う天井クレーンに取り付けられ、
レーザスポット光を直線状に走査して複数本のスリット
光を形成してコイルに照射するとともに、そのときのレ
ーザ光投光角度を出力するレーザ光投光手段と、天井ク
レーンに取り付けられ、レーザ光が照射されているコイ
ルを撮像する撮像手段と、撮像手段によって撮像された
画像と投光角度とから、撮像画像の各画素における最大
輝度時に投光角度を対応させた投光角度画像を生成する
画像合成手段と、投光角度画像からコイルのレーザ光照
射部の3次元形状を求める形状演算手段と、コイルのレ
ーザ光照射部の3次元形状データをコイルの幅方向に投
影し、コイルの径方向中心位置及びコイル径を求めると
ともに、コイルのレーザ光照射部の3次元形状データを
基準面と平行なコイルの径方向に投影し、コイルの幅方
向中心位置及びコイル幅を求めるコイル演算手段とを有
するものである。本発明(請求項4,5,6)は、上述
の形状計測装置をコイル位置検出装置に適用したもので
あり、形状計測装置により求められたレーザ照射部の3
次元形状データに基づいてコイル位置等が求められる。(4) A coil position detecting device according to the present invention (claim 4) is a coil position detecting device using the shape measuring device according to any one of the above (1) to (4), Is a yard or a coil carriage, the object to be measured is a coil, and the laser light projecting means and the imaging means are
The coil calculation means is attached to an overhead crane that transports coils, and calculates coil position based on the calculation result of the shape calculation means. (5) Coil position detecting device according to the present invention (claim 5)
Is mounted on an overhead crane that carries the coils,
The laser beam is linearly scanned to form a plurality of slit beams to irradiate the coil, and the laser beam projecting means for outputting the laser beam projecting angle at that time is attached to the ceiling crane. A brightness image of the laser beam and corresponding projection angle information of the laser beam from the image capturing unit for capturing the coil irradiated with light, the image captured by the image capturing unit, and the projection angle of the laser beam projecting unit. Image synthesizing means for synthesizing each of them, shape calculating means for obtaining the three-dimensional shape of the laser light irradiation portion of the coil from the luminance image of the laser light and the projection angle information of the laser light, and the three-dimensional shape of the laser light irradiation portion of the coil. The shape data is projected in the width direction of the coil to determine the center position in the radial direction of the coil and the coil diameter, and the three-dimensional shape data of the laser light irradiation portion of the coil is parallel to the reference plane. It projected radially, and a coil calculation means for calculating the widthwise center position and the coil width of the coil. (6) Coil position detecting device according to the present invention (claim 6)
Is mounted on an overhead crane that carries the coils,
The laser beam is linearly scanned to form a plurality of slit beams to irradiate the coil, and the laser beam projecting means for outputting the laser beam projecting angle at that time is attached to the ceiling crane. A projection angle image in which the projection angle is made to correspond to the maximum brightness at each pixel of the captured image is generated from the image pickup means for picking up the coil irradiated with light, the image picked up by the image pickup means, and the projection angle. Image synthesizing means, shape calculating means for obtaining the three-dimensional shape of the laser light irradiation portion of the coil from the projection angle image, and three-dimensional shape data of the laser light irradiation portion of the coil is projected in the width direction of the coil to The center position in the radial direction and the coil diameter are obtained, and the three-dimensional shape data of the laser light irradiation part of the coil is projected in the radial direction of the coil parallel to the reference plane to determine the center position in the width direction of the coil and the coil position. Those having a coil calculation means for calculating the Le width. The present invention (Claims 4, 5, and 6) is an application of the above-described shape measuring device to a coil position detecting device.
The coil position and the like are obtained based on the dimensional shape data.
【0014】[0014]
【発明の実施の形態】図1は本発明の形状計測装置の計
測原理を説明するための構成図である。図においては、
基準面(床面)1上に被測定物2が置かれており、この
基準面1に撮影の際の中心軸が直交するようにテレビカ
メラ10が配置され、そして、このテレビカメラ10と
は異なった位置にスリット光走査装置12が配置され
る。スリット光走査装置12はスリット光12aを発生
するともにそれを走査する。テレビカメラ10はその状
態を撮像し、その映像信号はスリット光走査装置12か
らの投射角θとともに画像合成装置14に入力して、映
像信号が処理されて合成画像が生成される。形状演算装
置16はその合成画像に基づいて被測定物2の3次元形
状を求める。コイル演算装置18においてはその計測さ
れた3次元形状に基づいて被測定物2であるコイルの位
置、幅等を求める。なお、このコイル演算装置18は後
述する図5の実施形態において使用されるものである。1 is a block diagram for explaining the measurement principle of a shape measuring apparatus of the present invention. In the figure,
An object to be measured 2 is placed on a reference surface (floor surface) 1, a television camera 10 is arranged on the reference surface 1 so that the central axes at the time of photographing are orthogonal to each other, and the television camera 10 is The slit light scanning device 12 is arranged at different positions. The slit light scanning device 12 generates slit light 12a and scans it. The television camera 10 takes an image of the state, and the video signal is input to the image synthesizing device 14 together with the projection angle θ from the slit light scanning device 12, and the video signal is processed to generate a synthetic image. The shape calculation device 16 obtains the three-dimensional shape of the DUT 2 based on the combined image. In the coil computing device 18, the position, width, etc. of the coil, which is the object to be measured 2, is determined based on the measured three-dimensional shape. The coil computing device 18 is used in the embodiment of FIG. 5 described later.
【0015】次に、図1の形状計測装置を測定方式、画
像合成方法、レーザスリット光の位置と投光角度の情報
及び形状演算原理の生成の観点からそれぞれ説明する。
(A)測定方式
光学系は一般的に光切断法と呼ばれる光学系を用いてい
る。図2はスリット光走査装置12の構成を示した図で
ある。スリット光走査装置12は、まず、半導体レーザ
20からのレーザスポット光を、駆動モータ22aによ
り回転制御される第1の走査ミラー22によって走査す
ることによりスリット光を生成する。このとき、レーザ
スリット光の向きは図1のy軸方向となるようにし、そ
して、駆動モータ24aにより回転制御される第2の走
査ミラー24によって図1のx軸方向にレーザスリット
光の投光位置を制御する。また、同時にこのときの走査
ミラー24の投光角度θは角度信号として画像合成装置
14に出力される。そして、レーザスリット光12aの
照射パターンをテレビカメラ10で撮像し、その映像信
号を画像合成装置14に入力する。Next, the shape measuring apparatus of FIG. 1 will be described from the viewpoints of a measuring method, an image synthesizing method, information on the position and projection angle of laser slit light, and generation of a shape calculation principle. (A) Measurement method The optical system generally uses an optical system called a light-section method. FIG. 2 is a diagram showing the configuration of the slit light scanning device 12. The slit light scanning device 12 first generates slit light by scanning the laser spot light from the semiconductor laser 20 with the first scanning mirror 22 whose rotation is controlled by the drive motor 22a. At this time, the direction of the laser slit light is set to be the y-axis direction in FIG. 1, and the laser scanning light is projected in the x-axis direction in FIG. 1 by the second scanning mirror 24 whose rotation is controlled by the drive motor 24a. Control the position. At the same time, the projection angle θ of the scanning mirror 24 at this time is output to the image synthesizing device 14 as an angle signal. Then, the irradiation pattern of the laser slit light 12 a is captured by the television camera 10, and the video signal is input to the image synthesizing device 14.
【0016】画像合成装置14は、テレビカメラ10の
映像信号を画像処理し、その映像信号とそのときのレー
ザ投光角度θとから合成画像を生成する。そして、形状
演算装置16はその合成画像を用いて後述の三角測量の
原理に基づいて、被測定物2のレーザ光照射部の3次元
形状を演算する。次に、第2の走査ミラー24を投光角
をθから微小角Δθだけ回転させて、再度、第1の走査
ミラー22によりy軸方向にレーザスリット光を投影す
る。このようにして、レーザスリット光の投光角度θを
変えながら次々と複数断面の形状を計測し、各々の光断
面形状を合成することにより被測定物2の全体形状を再
構築する。なお、第2の走査ミラー24の回転ピッチΔ
θを細かくするほど被測定物2の形状分解能が向上す
る。但し、その一方で測定時間は長くなる。また、図2
のスリット光走査装置12には、遮蔽板26を設けて、
これを駆動モータ24aと同期させて制御することによ
り、レーザスリット光の投光角度θが変化している間は
レーザスリット光が被測定物2に照射しないようにして
ある。また、半導体レーザ20を制御することでその間
レーザ光を発生させないようにしても良い。いずれにし
ても、測定しようとする光切断線と光切断線との間に不
要な光が取り込まれないようにする。The image synthesizing device 14 subjects the video signal of the television camera 10 to image processing, and generates a synthetic image from the video signal and the laser projection angle θ at that time. Then, the shape calculation device 16 calculates the three-dimensional shape of the laser light irradiation part of the DUT 2 based on the later-described principle of triangulation using the combined image. Next, the projection angle of the second scanning mirror 24 is rotated from θ by a small angle Δθ, and the laser slit light is projected again in the y-axis direction by the first scanning mirror 22. In this manner, the shapes of a plurality of cross-sections are measured one after another while changing the projection angle θ of the laser slit light, and the respective light cross-section shapes are combined to reconstruct the overall shape of the DUT 2. The rotation pitch Δ of the second scanning mirror 24
The finer the θ, the higher the shape resolution of the DUT 2. However, on the other hand, the measurement time becomes long. Also, FIG.
The slit light scanning device 12 is provided with a shielding plate 26,
By controlling this in synchronization with the drive motor 24a, the object 2 is not irradiated with the laser slit light while the projection angle θ of the laser slit light is changing. Further, the semiconductor laser 20 may be controlled so that the laser light is not generated during that time. In any case, it is necessary to prevent unnecessary light from being captured between the light cutting lines to be measured.
【0017】(B)画像合成方法
図3は画像合成装置14の構成を示すブロック図であ
る。テレビカメラ10からのビデオ信号は、A/D変換
器30によりデジタル信号に変換されて最大輝度画像演
算部31に入力する。この最大輝度画像演算部31は、
コンパレータ31a、セレクタ31b及び最大輝度画像
メモリ32から構成されており、各画素の最大輝度信号
を求めて最大輝度画像メモリ32の該当する画素領域に
格納する。即ち、コンパレータ31aは、A/D変換器
30を介してビデオ信号ac が入力すると、最大輝度画
像メモリ32のそのビデオ信号に対応する画素の信号a
m を読み出し、そのビデオ信号ac の輝度レベルと最大
輝度画像メモリ32の信号am の輝度レベルとを比較
し、ac >am の場合にはセレクタ31b,34aにセ
レクタ信号を送る。セレクタ31bはそのセレクタ信号
を入力すると、そのビデオ信号ac で最大輝度画像メモ
リ32の信号am を書き換える。このような処理を入力
されてくるビデオ信号について順序行うことで、最大輝
度画像メモリ32の各画素領域の値はそれぞれ最大輝度
レベルとなる。(B) Image Compositing Method FIG. 3 is a block diagram showing the configuration of the image compositing device 14. The video signal from the television camera 10 is converted into a digital signal by the A / D converter 30 and input to the maximum brightness image calculation unit 31. The maximum brightness image calculation unit 31
It is composed of a comparator 31a, a selector 31b, and a maximum brightness image memory 32. The maximum brightness signal of each pixel is obtained and stored in the corresponding pixel area of the maximum brightness image memory 32. That is, when the video signal a c is input through the A / D converter 30, the comparator 31a inputs the signal a of the pixel corresponding to the video signal of the maximum brightness image memory 32.
m is read, the brightness level of the video signal a c is compared with the brightness level of the signal a m of the maximum brightness image memory 32, and if a c > a m , the selector signal is sent to the selectors 31b and 34a. The selector 31b is by entering the selector signal, rewrites the signal a m of the maximum brightness image memory 32 in the video signal a c. By sequentially performing such processing on the input video signal, the value of each pixel area of the maximum brightness image memory 32 becomes the maximum brightness level.
【0018】レーザスリット光の投光角度信号は、A/
D変換器33によりデジタル信号に変換されてコード化
画像演算部34に入力する。このコード化画像演算部3
4はセレクタ34a及び投光角度画像メモリ35から構
成されており、各画素について最大輝度信号が得られた
ときのレーザスリット光の投光角度信号を求めて、最大
輝度画像メモリ32に対応する投光角度画像メモリ35
の画素領域に格納する。即ち、コンパレータ31aがセ
レクタ信号を出力してセレクタ33aがそのセレクタ信
号を受け取ると、そのときの投光角度信号bc で最角度
度画像メモリ34の信号bm を書き換える。このような
処理を入力されてくるビデオ信号について順序行うこと
で、角度信号画像メモリ35には各画素において最大輝
度レベルをとった時の投光角度信号が格納されることに
なる。The projection angle signal of the laser slit light is A /
It is converted into a digital signal by the D converter 33 and input to the coded image calculation unit 34. This coded image calculation unit 3
Reference numeral 4 is composed of a selector 34a and a projection angle image memory 35. The projection angle signal of the laser slit light when the maximum brightness signal is obtained for each pixel is obtained and the projection image corresponding to the maximum brightness image memory 32 is obtained. Light angle image memory 35
Stored in the pixel area of. That is, when the comparator 31a outputs the selector signal and the selector 33a receives the selector signal, the signal b m of the maximum angle degree image memory 34 is rewritten by the projection angle signal b c at that time. By sequentially performing such processing for the input video signal, the angle signal image memory 35 stores the light projection angle signal when the maximum brightness level is obtained in each pixel.
【0019】更にまた、テレビカメラ10からのビデオ
信号は、A/D変換器36によりデジタル信号に変換さ
れて最小輝度画像演算部37に入力する。この最小輝度
画像演算部37は、コンパレータ37a、セレクタ37
b及び最大輝度画像メモリ38から構成されており、各
画素の最小輝度信号を求めて最大輝度画像メモリ38の
該当する画素領域に格納する。即ち、コンパレータ37
aは、A/D変換器36を介してビデオ信号ac が入力
すると、最小輝度画像メモリ38のそのビデオ信号に対
応する画素の信号am を読み出し、ビデオ信号ac の輝
度レベルと最小輝度画像メモリ32の信号am の輝度レ
ベルとを比較し、ac <am の場合にはセレクタ37b
にセレクタ号を送る。セレクタ37bはそのセレクタ信
号を入力すると、そのビデオ信号ac で最小輝度画像メ
モリ37の信号am を書き換える。このような処理を入
力されてくるビデオ信号について順序行うことで、最小
輝度画像メモリ38の各画素領域の値はそれぞれ最小輝
度レベルとなる。Furthermore, the video signal from the television camera 10 is converted into a digital signal by the A / D converter 36 and input to the minimum luminance image calculation section 37. The minimum luminance image calculation unit 37 includes a comparator 37a and a selector 37.
b) and the maximum brightness image memory 38, the minimum brightness signal of each pixel is obtained and stored in the corresponding pixel area of the maximum brightness image memory 38. That is, the comparator 37
When the video signal a c is input via the A / D converter 36, a reads out the signal a m of the pixel corresponding to the video signal in the minimum luminance image memory 38, and outputs the luminance level and the minimum luminance of the video signal a c. The brightness level of the signal a m of the image memory 32 is compared, and if a c <a m , the selector 37 b
Send the selector number to. The selector 37b is by entering the selector signal, it rewrites the signal a m of the minimum brightness image memory 37 in the video signal a c. By sequentially performing such processing on the input video signal, the value of each pixel area of the minimum luminance image memory 38 becomes the minimum luminance level.
【0020】図4は画像合成装置14の演算処理を概念
的に示した説明図である。画像合成装置14は、上述の
ようにして、テレビカメラ10で撮像したビデオ信号を
リアルタイム処理して、各画素の輝度レベルを検出し、
各画素毎に最大輝度画像演算を行い、各画素の輝度レベ
ルが最高となったタイミング(すなわちレーザ光が視野
内の対応する点に当たった時)での輝度信号を最大輝度
画像メモリ32に保持すると同時に、そのタイミングで
の投光角度情報を輝度画像の他に別途設けた投光角度画
像メモリ35の対応する画素に記録することにより、複
数のレーザスリット光が合成された輝度画像と、各スリ
ット光の投光角度情報とを同時に得ている。また、レー
ザスリット光が当たった部分の抽出は最大輝度画像から
2値化処理を行いレーザ光が当たって高輝度となった点
(つまりスリット光部分)を抽出しても良いが、本実施
形態においては、上述のように、最小輝度画像演算を同
時に行って最小輝度画像メモリ38に保持することによ
り、(最大輝度画像−最小輝度画像)の演算を行ってそ
れを輝度画像メモリ39に格納することにより、背景光
の輝度レベルを除去して、レーザ光が当たったことによ
り輝度レベルが高くなった成分のみを取り出し、これを
2値化する。この処理によりレーザスリット光が当たっ
た領域(光切断線)を輝度メモリ39から抽出すること
により、投光角度メモリ35の投光角度画像から各光切
断線の投光角度情報を識別する。FIG. 4 is an explanatory view conceptually showing the arithmetic processing of the image synthesizing device 14. As described above, the image synthesizing device 14 processes the video signal captured by the television camera 10 in real time to detect the luminance level of each pixel,
The maximum luminance image calculation is performed for each pixel, and the maximum luminance image memory 32 holds the luminance signal at the timing when the luminance level of each pixel becomes the highest (that is, when the laser light hits a corresponding point in the visual field). At the same time, by recording the projection angle information at that timing in the corresponding pixel of the projection angle image memory 35 separately provided in addition to the brightness image, a brightness image in which a plurality of laser slit lights are combined and The projection angle information of the slit light is obtained at the same time. Further, the extraction of the portion illuminated by the laser slit light may be performed by binarization processing from the maximum luminance image to extract the point (that is, the slit light portion) which is illuminated by the laser light and has high luminance. In the above, as described above, the minimum luminance image calculation is simultaneously performed and held in the minimum luminance image memory 38, so that (maximum luminance image-minimum luminance image) is calculated and stored in the luminance image memory 39. As a result, the brightness level of the background light is removed, and only the component whose brightness level has increased due to the irradiation of the laser light is extracted and binarized. By this processing, the area (light cutting line) irradiated by the laser slit light is extracted from the brightness memory 39, and the light projection angle information of each light cutting line is identified from the light projection angle image of the light projection angle memory 35.
【0021】(C)レーザスリット光の位置と投光角度
情報の抽出
上述のように、画像合成装置14において合成された、
最大輝度画像、最小輝度画像及び投光角度画像から、ス
リット光の位置を抽出するために、次に示す画像演算を
行い、背景光の輝度レベルを除去する。
輝度画像=最大輝度画像−最小輝度画像 …(1)
(1)式の画像演算によりレーザ光が当たったことによ
り明るくなった輝度分を求め、更に、これを予め設定し
た閾値レベルで2値化処理し、レーザ光が当たった領域
を抽出する。次に、投光角度画像から、前記の2値画像
を用いてレーザ光が当たった領域のみ三角測量法に基づ
いた形状演算を行う。(C) Extraction of Position of Laser Slit Light and Projection Angle Information As described above, the images are combined by the image combining device 14,
In order to extract the position of the slit light from the maximum brightness image, the minimum brightness image and the projection angle image, the following image calculation is performed to remove the brightness level of the background light. Luminance image = maximum luminance image-minimum luminance image (1) The luminance component which becomes brighter due to the laser light is obtained by the image calculation of the equation (1), and further binarized by a preset threshold level. Processing is performed to extract a region irradiated with laser light. Next, from the projection angle image, a shape calculation based on the triangulation method is performed only on the area irradiated with the laser light using the binary image.
【0022】(D)形状演算原理
形状演算装置16は、スリット光走査装置12により生
成されるマルチスリット光についてそのレーザカット光
の3次元座標を演算することにより被測定物2の全体形
状を求める。この形状演算は三角測量の方式に基づいて
いる。スリット光走査装置12から被測定物2上にレー
ザスリット光12aを投光角度θで投光し、その状態を
テレビカメラ10で撮像する。そのテレビカメラ10で
撮像した画像から抽出したレーザ光が当たった点
(x′,y′)の高さz(x′,y′)は、テレビカメ
ラ10のパースペクティブ効果を考慮すると、次式の関
係が成り立つ。
z(x′,y′)=Z0 −{X0 −(1−z(x′,y′)/a)x}
tan θ(x′,y′) …(2)
x′ :テレビカメラで撮像された画像の基準面上での
位置
y′ :テレビカメラで撮像された画像の基準面上での
位置
X0 :レーザ光走査回転軸のx座標
Z0 :レーザ光走査回転軸のz座標
a :テレビカメラ−基準面間の距離
θ :レーザスリット光投光角度
上記の(2)式を変形すればレーザスリット光が当たっ
た点の高さz(x′,y′)は次式で求まる。(D) Principle of Shape Calculation The shape calculation device 16 calculates the three-dimensional coordinates of the laser cut light of the multi-slit light generated by the slit light scanning device 12 to obtain the overall shape of the DUT 2. . This shape calculation is based on the triangulation method. Laser slit light 12a is projected from the slit light scanning device 12 onto the DUT 2 at a projection angle θ, and the state is imaged by the television camera 10. Considering the perspective effect of the TV camera 10, the height z (x ', y') of the point (x ', y') hit by the laser light extracted from the image captured by the TV camera 10 is given by the following equation. Relationship is established. z (x ′, y ′) = Z 0 − {X 0 − (1-z (x ′, y ′) / a) x} tan θ (x ′, y ′) (2) x ′: TV camera Y ′ on the reference plane of the image picked up by the: position on the reference plane of the image picked up by the television camera X 0 : x coordinate of the laser light scanning rotation axis Z 0 : z of the laser light scanning rotation axis Coordinate a: Distance between television camera and reference plane θ: Laser slit light projection angle If the above equation (2) is modified, the height z (x ′, y ′) at the point where the laser slit light strikes is given by the following equation. Can be obtained with.
【0023】[0023]
【数1】 [Equation 1]
【0024】また、画像上でレーザ光が抽出された点
(x,y)の3次元座標上での座標(x,y)は次式で
与えられる。
x={1−z(x′,y′)/a}x′ …(4)
y={1−z(x′,y′)/a}y′ …(5)
以上の説明から明らかなように、レーザスリット光が投
光角度θでテレビカメラ10の画像上の座標x′,y′
に検出された点の3次元座標x,y,zは上記の
(3),(4),(5)式で求まることが分かる。ま
た、上記の(4),(5)式は、被測定物2とテレビカ
メラ10との間の距離が有限であるためにテレビカメラ
10に近いものほど大きく見えるというパースペクティ
ブ効果に対する補正を施したものであり、2次元画像だ
けでは正確な形状検出ができないことが分かる。The coordinates (x, y) on the three-dimensional coordinates of the point (x, y) from which the laser light is extracted on the image are given by the following equation. x = {1-z (x ', y') / a} x '(4) y = {1-z (x', y ') / a} y' (5) It is clear from the above description. As described above, the laser slit light has the projection angle θ and the coordinates x ′, y ′ on the image of the television camera 10.
It can be seen that the three-dimensional coordinates x, y, z of the point detected at are obtained by the above equations (3), (4) and (5). Further, the above formulas (4) and (5) are corrected for the perspective effect that the closer to the TV camera 10 the larger the effect is because the distance between the DUT 2 and the TV camera 10 is finite. Therefore, it can be seen that accurate shape detection cannot be performed only with a two-dimensional image.
【0025】本発明における形状計測原理が上記の説明
により明らかになったところで、次に、図1の形状計測
装置をヤードのコイル検出装置に適用した例について説
明する。図5(A),(B),(C)は図1の光学系
(テレビカメラ10、スリット光走査装置12)を天井
クレーンに配置した場合における平配置図、正面図及び
テレビカメラ10の視野内の映像を示した図である。同
図(A)に示されるように、テレビカメラ10は、トロ
リ30にその横行方向に対して45°回転させた方向
に、且つその光軸が鉛直方向下向き位置するように配置
される。スリット光走査装置12はテレビカメラ10の
x軸上に設置され、スリット光の向きがテレビカメラ1
0のy軸方向に平行となるように調整する。測定対象と
なるコイル3はクレーンの横行方向又は走行方向に平行
に置かれており、従って、テレビカメラ10によって撮
像されるコイル3の姿勢は視野内で45°傾いた(回転
した)状態となる。なお、コイル3は、ヤード内におい
てはクレーンの横行方向又は走行方向の何れかに配置さ
れるものであり、そして、その配置方向はヤードを管理
しているシステムコンピュータにおいて把握されてい
る。Now that the principle of shape measurement in the present invention has been clarified by the above description, an example in which the shape measuring apparatus of FIG. 1 is applied to a coil detecting apparatus for a yard will be described. 5 (A), (B), and (C) are plan view, front view, and field of view of the TV camera 10 when the optical system (TV camera 10, slit light scanning device 12) of FIG. It is the figure which showed the image inside. As shown in FIG. 3A, the television camera 10 is arranged in the trolley 30 in a direction rotated by 45 ° with respect to the transverse direction, and its optical axis is positioned vertically downward. The slit light scanning device 12 is installed on the x-axis of the TV camera 10, and the direction of the slit light is the TV camera 1.
Adjust so that it is parallel to the y-axis direction of 0. The coil 3 to be measured is placed parallel to the traverse direction or traveling direction of the crane, and therefore, the posture of the coil 3 imaged by the television camera 10 is tilted (rotated) by 45 ° in the visual field. . The coil 3 is arranged in either the traverse direction or the traveling direction of the crane in the yard, and the arrangement direction is known by the system computer managing the yard.
【0026】この状態でスリット光走査装置12がレー
ザスリット光を走査しながらコイル3上面に照射して、
コイル3に対して斜め45度方向のスリット光画像をテ
レビカメラ10により得て、画像合成装置14は上述の
方法により合成画像を生成し、形状演算装置16はその
合成画像に基づいてレーザ光が当たった点の高さを上述
の演算式に基づいて演算する。この操作を逐次複数ライ
ンについて行うことにより、コイル・台車及び床面等測
定視野内の物体の複数断面形状を得ることができる。In this state, the slit light scanning device 12 irradiates the upper surface of the coil 3 while scanning the laser slit light,
The television camera 10 obtains a slit light image in the direction of an angle of 45 degrees with respect to the coil 3, the image synthesizing device 14 generates a synthetic image by the above-described method, and the shape calculation device 16 generates a laser light based on the synthetic image. The height of the hit point is calculated based on the above calculation formula. By successively performing this operation for a plurality of lines, it is possible to obtain a plurality of cross-sectional shapes of the object in the measurement field of view such as the coil, the carriage, and the floor.
【0027】次に、コイル演算装置18はその形状デー
タを用いて、コイルの方が床面や台車より高いことか
ら、コイルと周辺部(床面及び台車)とを高さの違いか
ら識別してコイルの形状のみを抽出する。更に、抽出さ
れたコイルの複数断面形状から、コイルの位置を検出す
るために、コイルの径方向及び幅方向の断面形状を求め
る。Next, the coil computing device 18 uses the shape data to identify the coil and the peripheral portion (floor surface and dolly) from the difference in height because the coil is higher than the floor surface and dolly. To extract only the coil shape. Further, in order to detect the position of the coil, the cross-sectional shapes in the radial direction and the width direction of the coil are obtained from the extracted plural cross-sectional shapes of the coil.
【0028】図6はコイルの径方向及び幅方向の断面形
状を求める際の説明図である。ここでは、コイル3の形
状データを検出ヘッドであるテレビカメラ10の設置角
度(45°)分回転させた方向、すなわちトロリ30の
横行方向及び走行方向にそれぞれ形状データを投影す
る。投影の方法としては、コイル幅方向には、コイル幅
方向形状データの平均値を求める。図示の例では、スリ
ット光41,42,43の例えば図示の点における平均
値を求め、その平均値をコイル幅方向の投影形状におけ
る点の値とし、同様にして、スリット光41,42,4
4,43,44の他の点についてもその平均値を求める
ことで、コイル幅方向の投影形状(形状データ)45を
求める。また、コイル径方向にはコイル径方向の形状デ
ータの最大値をとることにより正確な形状データが得ら
れる。図示の例では、スリット光41,42,43,4
4をコイル径方向に投影させたデータ41a,42a,
43a,44aの最大値をとることにより、コイル径方
向の投影形状(形状データ)46を求める。FIG. 6 is an explanatory diagram for obtaining the cross-sectional shapes of the coil in the radial direction and the width direction. Here, the shape data of the coil 3 is projected in a direction in which the television camera 10 as a detection head is rotated by an installation angle (45 °), that is, in the traverse direction and the traveling direction of the trolley 30. As a projection method, an average value of the coil width direction shape data is obtained in the coil width direction. In the illustrated example, an average value of the slit lights 41, 42, 43 at, for example, the illustrated points is obtained, and the average value is set as a value of a point in the projected shape in the coil width direction.
The projected shape (shape data) 45 in the coil width direction is obtained by obtaining the average value of the other points of 4, 43, and 44. In addition, accurate shape data can be obtained by taking the maximum value of the shape data in the coil radial direction in the coil radial direction. In the illustrated example, the slit lights 41, 42, 43, 4
Data 41a, 42a obtained by projecting 4 in the coil radial direction,
The projection shape (shape data) 46 in the coil radial direction is obtained by taking the maximum value of 43a and 44a.
【0029】なお、上記の説明はコイル3の配置方向が
予め分かっている場合についての例であるが、その方向
が予め分かっていない場合においても同様にして処理す
ることができる。その場合には、取りあえずその方向を
仮に決めてからコイル幅方向及び径方向の投影形状(形
状データ)を求め、その形状データからその配置方向を
判断することができるから、仮に決めたコイルの配置方
向が誤っていた場合には、その判断された配置方向につ
いて上記のコイル径方向の投影形状(形状データ)を求
める。Although the above description is an example of the case where the arrangement direction of the coil 3 is known in advance, the same processing can be performed when the direction is not known in advance. In that case, it is possible to temporarily determine the direction and then determine the projected shape (shape data) in the coil width direction and the radial direction, and determine the placement direction from the shape data. If the direction is wrong, the projected shape (shape data) in the coil radial direction is calculated for the determined arrangement direction.
【0030】次に、コイル幅方向及び径方向に投影され
た形状データから、コイルの幅方向位置、コイル幅、コ
イル径方向中心位置及びコイル径を求める方法を説明す
る。コイルの幅方向については、図7に示されるよう
に、投影された幅方向の形状データから別途設定した高
さデータを越す左右両端の点を検出することにより、そ
の点をコイルの右及び左エッジとして認識する。従っ
て、コイル幅方向の中心位置及び幅はそれぞれ次式によ
り求められる。
コイルの中心位置 = (右エッジ+左エッジ)/2 …(6)
コイル幅 = |右エッジ−左エッジ| …(7)
コイル径方向については、投影されたコイル形状が半円
状になることから、円の方程式に形状データを代入する
ことで、コイルの中心位置及び径を求めることができ
る。
(x−cx )2 +(z−cz )2 =r2 …(8)
x,y:投影によって得られたコイルの半円状の形状デ
ータ
cx ,cz :コイル径方向中心位置
r:コイル半径Next, a method for obtaining the coil width direction position, the coil width, the coil radial direction center position and the coil diameter from the shape data projected in the coil width direction and the radial direction will be described. Regarding the width direction of the coil, as shown in FIG. 7, by detecting the points at the left and right ends that exceed height data set separately from the projected shape data in the width direction, the points are detected on the right and left sides of the coil. Recognize as an edge. Therefore, the center position and the width in the coil width direction are respectively calculated by the following equations. Center position of coil = (right edge + left edge) / 2 (6) Coil width = | right edge-left edge | (7) In the coil radial direction, the projected coil shape should be semi-circular. Therefore, by substituting the shape data into the equation of the circle, the center position and the diameter of the coil can be obtained. (X-c x) 2 + (z-c z) 2 = r 2 ... (8) x, y: semicircular shape data c x of the coil obtained by the projection, c z: a coil radial center position r: coil radius
【0031】具体的にはコイルの径方向の3点以上のデ
ータがあれば上記の(8)式を解くことができるが、コ
イルの径方向の測定データを有効に使い、測定の信頼性
を向上させるために、コイル径方向の測定データに対し
て3点の組み合わせを複数通り設定し、各々の演算で得
られた複数の中心位置からノイズを除去し、その後統計
処理を行うことにより精度及び信頼性の高いコイル中心
位置を求めることができる。Specifically, if the data of three or more points in the radial direction of the coil are available, the above equation (8) can be solved. However, the measurement data in the radial direction of the coil can be effectively used to improve the reliability of the measurement. In order to improve the accuracy, by setting a plurality of combinations of three points for the measurement data in the coil radial direction, removing noise from a plurality of center positions obtained by each calculation, and then performing statistical processing, A highly reliable coil center position can be obtained.
【0032】ノイズ除去の方式としては、ノイズが真値
に対して異常値(真値よりも異常に大きいかまたは小さ
い値)をとることから、測定値の分布を求め、多数決の
理論により予め設定した範囲より離れた点を除去する方
法、及び、3点演算によって求められた全ての中心位置
の平均値から距離の離れている順に予め設定した点数の
データを削除する方法がある。なお、このような処理は
当然コイル径方向の断面形状を求める段階及び求めた断
面形状から異常な形状データを除去するためにも用いら
れる。As a method of removing noise, since the noise takes an abnormal value (abnormally larger or smaller than the true value) with respect to the true value, the distribution of the measured values is obtained and preset according to the theory of majority voting. There is a method of removing points distant from the range, and a method of deleting data of points set in advance in the order of distance from the average value of all the center positions obtained by the three-point calculation. It should be noted that such processing is naturally used also in the step of obtaining the cross-sectional shape in the coil radial direction and for removing abnormal shape data from the obtained cross-sectional shape.
【0033】また、多数のコイル中心位置から真の中心
位置を求める方式としては、多数点の平均値を求める方
法や、多数点の分布をメッシュ状に分割しその分布の最
大値をとる位置を求める方法等がある。Further, as a method for obtaining the true center position from a large number of coil center positions, a method of obtaining an average value of a large number of points or a position where the distribution of a large number of points is divided into a mesh and the maximum value of the distribution is taken is used. There are ways to ask.
【0034】本実施形態は、以上の説明からも明らかな
ように次の効果が得られている。
(1)マルチスリット光による複数本のスリット光デー
タを用いることで異常点(ノイズ)の除去が容易に実現
でき、且つ、統計処理によりノイズの影響を受けにくい
計測が実現できる。
(2)複数のコイル断面形状からコイルの幅方向中心位
置・幅、径方向中心位置・径を求めているので、コイル
の一部分の反射率の違い等により一部のレーザスリット
光が検出できなくなるような事態があっても、他の検出
できている部分の断面形状から欠落している部分の形状
を求めることができるので、外乱に対してロバストな計
測が実現できる。
(3)コイルに対してレーザスリット光を斜め走査し、
複数の断面形状を求め、これをコイルの径方向及び幅方
向に投影することにより、コイルの幅・幅方向中心位
置、コイルの径・径方向中心位置を求めており、測定対
象となっているコイルの向きがクレーンの横行方向又は
走行方向に対してどちらを向いているかさえ分かれば、
径方向と幅方向とが入れ替わっても検出ヘッドの向きを
変える等の操作が不要であり、1個のテレビカメラ・1
個のスリット光走査装置(レーザ光源)でコイル位置が
検出可能になっている。
(4)1個のテレビカメラ・1個のスリット光走査装置
(レーザ光源)で検出ヘッドを構成することができるの
で、コンパクトな検出ヘッドの構築が可能であり、検出
ヘッドの据え付け調整も容易にできるようになった。
(5)天井クレーンの自動運転において、トレーラ等コ
イル台車の停止位置が多少ずれても、また、台車に積ん
であるコイルの位置が所定の位置からズレがあっても、
コイルの位置を正確に検出することにより、従来専任の
オペレータが行っていた天井クレーンの自動運転を実現
する事が可能となった。As is apparent from the above description, this embodiment has the following effects. (1) Abnormal points (noise) can be easily removed by using a plurality of slit light data obtained by multi-slit light, and measurement that is hardly affected by noise can be realized by statistical processing. (2) Since the widthwise center position / width and the radial direction center position / diameter of the coil are obtained from a plurality of coil cross-sectional shapes, some of the laser slit light cannot be detected due to differences in the reflectance of some of the coils. Even in such a situation, since the shape of the missing portion can be obtained from the cross-sectional shape of the other detected portion, it is possible to realize robust measurement against disturbance. (3) The laser slit light is obliquely scanned with respect to the coil,
By obtaining multiple cross-sectional shapes and projecting them in the radial and width directions of the coil, the center position in the width / width direction of the coil and the center position in the diameter / diameter direction of the coil are determined, and is the measurement target. As long as you know whether the direction of the coil is facing the transverse direction of the crane or the traveling direction,
Even if the radial direction and the width direction are interchanged, there is no need to perform an operation such as changing the direction of the detection head, and one TV camera
The coil position can be detected by each slit light scanning device (laser light source). (4) Since the detection head can be configured with one TV camera and one slit light scanning device (laser light source), it is possible to construct a compact detection head and easily install and adjust the detection head. I can do it now. (5) In the automatic operation of the overhead crane, even if the stop position of the coil truck such as the trailer is slightly displaced, or the position of the coil loaded on the truck is deviated from the predetermined position,
By accurately detecting the position of the coil, it has become possible to realize the automatic operation of an overhead crane, which was conventionally performed by a dedicated operator.
【0035】[0035]
【発明の効果】本発明の形状計測装置は上述の説明から
も明らかなように次のような効果が得られている。
(1)画像合成装置を用いることで複数本のレーザスリ
ット光を用いた光切断法による形状計測を光切断法で実
現可能な最短時間で実現できる。
(2)各画素毎に投光角度を識別できるので、同一画像
内に複数のレーザスリット光が合成されてもレーザスリ
ット光が当たった部分の形状を正確に演算できる。
(3)レーザ光が走査している間は、画像合成装置によ
り全ての光切断画像の情報を合成しているために、各画
像毎でのリアルタイムでの形状演算を行う必要はなく、
形状演算は画像合成が終わった後の合成された輝度画像
と投光角度画像について実施すればよく、形状演算は汎
用の計算機を用いることが可能となる。
(4)更に、レーザスリット光が走査した全ての画像を
リアルタイムで合成しており、画像の演算のためのロス
時間を生じず、最短の計測時間を実現している。
(5)最大輝度となった瞬間をレーザ光が当たったタイ
ミングとして、投光角度情報を得ているので、測定対象
の反射率の違いによる影響や、被測定物の明るさのムラ
の影響を受けにくいロバストな測定が可能であり、反射
光量が少なくとも検出可能である(対象がある程度明る
くとも、レーザ光が当たればそれなりにより明るくなる
ので、レーザ光が当たったことを検出できる)。
(6)最大輝度画像及び最小輝度画像をそれぞれ求めて
更に両者の差を求めてその差に基づいてスリット光照射
部を求めるようにしており、このため、レーザパワーが
小さく、或いは被測定物の反射率が低く、レーザ反射光
量が少ない場合においても十分な精度で計測するでき
る。
本発明のコイル位置検出装置は、上述の形状計測装置を
適用したものであり、形状計測装置の利点はそのままコ
イル位置検出装置に当てはまり、コイル位置等を精度良
く検出することができる。As is apparent from the above description, the shape measuring apparatus of the present invention has the following effects. (1) By using the image synthesizing device, shape measurement by the optical cutting method using a plurality of laser slit lights can be realized in the shortest time that can be realized by the optical cutting method. (2) Since the projection angle can be identified for each pixel, even if a plurality of laser slit lights are combined in the same image, the shape of the portion where the laser slit light hits can be accurately calculated. (3) Since the information of all the light section images is combined by the image composition device while the laser beam is scanning, it is not necessary to perform the shape calculation in real time for each image.
The shape calculation may be performed on the combined luminance image and projection angle image after the image combination is completed, and the shape calculation can use a general-purpose computer. (4) Further, all the images scanned by the laser slit light are combined in real time, and the shortest measurement time is realized without generating a loss time for image calculation. (5) Since the projection angle information is obtained with the moment when the laser light hits the moment when the maximum brightness is reached, the influence of the difference in the reflectance of the measurement target and the influence of the unevenness of the brightness of the measured object are considered. Robust measurement that is difficult to receive is possible, and at least the amount of reflected light can be detected (even if the object is bright to some extent, it becomes brighter if the laser light hits it, so it can be detected that the laser light hits it). (6) The maximum luminance image and the minimum luminance image are respectively obtained, and the difference between the two is further obtained, and the slit light irradiation section is obtained based on the difference. Therefore, the laser power is small or the object to be measured is Even when the reflectance is low and the amount of laser reflected light is small, the measurement can be performed with sufficient accuracy. The coil position detecting device of the present invention is an application of the above-described shape measuring device, and the advantage of the shape measuring device is directly applied to the coil position detecting device, and the coil position and the like can be accurately detected.
【図1】本発明の形状計測装置の計測原理を説明するた
めの構成図である。FIG. 1 is a configuration diagram for explaining a measurement principle of a shape measuring apparatus of the present invention.
【図2】図1のスリット光走査装置の構成を示した図で
ある。FIG. 2 is a diagram showing a configuration of the slit light scanning device of FIG.
【図3】図1の画像合成装置の構成を示すブロック図で
ある。FIG. 3 is a block diagram showing a configuration of the image synthesizing apparatus of FIG.
【図4】図1の画像合成装置の演算処理を概念的に示し
た説明図である。FIG. 4 is an explanatory view conceptually showing a calculation process of the image synthesizing apparatus of FIG.
【図5】図1の形状計測装置をコイル位置検出装置に適
用した場合の説明図であり、(A)は平配置図、(B)
は正面図、(C)はテレビカメラの視野内の映像を示し
た図である。5A and 5B are explanatory views when the shape measuring apparatus of FIG. 1 is applied to a coil position detecting apparatus, in which FIG.
Is a front view, and (C) is a diagram showing an image in the visual field of the television camera.
【図6】コイルの径方向及び幅方向の断面形状を求める
際の説明図である。FIG. 6 is an explanatory diagram for obtaining a cross-sectional shape in a radial direction and a width direction of a coil.
【図7】コイル幅方向に投影された幅方向の形状データ
からコイル幅等を求める際の説明図である。FIG. 7 is an explanatory diagram for obtaining a coil width and the like from width-direction shape data projected in the coil width direction.
【図8】光切断線が1本の場合の計測状態を示す説明図
である。FIG. 8 is an explanatory diagram showing a measurement state when there is one light cutting line.
【図9】光切断線が複数本の場合の計測状態を示す説明
図である。FIG. 9 is an explanatory diagram showing a measurement state when there are a plurality of optical cutting lines.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 広川 剛史 東京都千代田区丸の内一丁目1番2号 日本鋼管株式会社内 (72)発明者 藤川 安敏 東京都千代田区丸の内一丁目1番2号 日本鋼管株式会社内 (72)発明者 牟田 潔 東京都千代田区丸の内一丁目1番2号 日本鋼管株式会社内 (72)発明者 赤木 康弘 東京都千代田区丸の内一丁目1番2号 日本鋼管株式会社内 (56)参考文献 特開 平6−137822(JP,A) 特開 平5−272927(JP,A) 特開 平5−107028(JP,A) 特開 昭60−196608(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01B 11/00 - 11/30 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Takeshi Hirokawa 1-2-1, Marunouchi, Chiyoda-ku, Tokyo Nippon Steel Pipe Co., Ltd. (72) Inatoshi Yasutoshi Fujikawa 1-2-1 Marunouchi, Chiyoda-ku, Tokyo Nippon Steel Pipe Incorporated (72) Inventor Kiyoshi Muta 1-2-2 Marunouchi, Chiyoda-ku, Tokyo Japan Steel Tube Co., Ltd. (72) In-house Yasuhiro Akagi 1-2-1 Marunouchi, Chiyoda-ku, Tokyo Japan Steel Tube ( 56) References JP-A-6-137822 (JP, A) JP-A-5-272927 (JP, A) JP-A-5-107028 (JP, A) JP-A-60-196608 (JP, A) (58) ) Fields surveyed (Int.Cl. 7 , DB name) G01B 11/00-11/30
Claims (6)
を行い、その撮像結果により当該コイルの3次元形状を
求める形状計測装置であって、 前記コイルにレーザスポット光を投光し、前記レーザス
ポット光を直線状に走査してスリット光を形成し、前記
基準面に対する前記スリット光の投光角度を変えながら
前記コイルに対してスリット光を複数回投光してマルチ
スリット光にするとともにレーザ光の投光角度に関する
情報(以下、投光角度情報という)を出力するレーザ光
投光手段と、 前記レーザ光が投光されている前記コイルを撮像する撮
像手段と、 前記撮像手段によって撮像された画像と前記投光角度情
報とから、撮像画像の各画素における最大輝度時に前記
投光角情報を対応させた投光角度画像を生成する画像合
成手段と、 前記投光角度画像からレーザ照射部の3次元形状を求め
る形状演算手段とを備えたことを特徴とする形状計測装
置。1. A shape measuring device for photographing a coil placed on a reference plane and determining a three-dimensional shape of the coil based on a result of the photographing, wherein a laser spot light is projected onto the coil . a slit light to scan the laser spot beam in a straight line, multi multiple times projected light slit light with respect to the coil while changing the projection angle of said slit light with respect to the reference plane
Laser light projecting means for outputting information on the projection angle of the laser light (hereinafter referred to as projection angle information) as slit light, and imaging means for imaging the coil on which the laser light is projected, An image synthesizing unit that generates a projection angle image corresponding to the projection angle information at the maximum brightness of each pixel of the captured image from the image captured by the imaging unit and the projection angle information; A shape measuring device, comprising: a shape calculation means for obtaining a three-dimensional shape of a laser irradiation part from an angle image.
って撮像された画像の画面内の各画素の信号を順次取り
込んで記憶し、同一画素について後から入力される信号
の輝度レベルと既に記憶されている信号の輝度レベルと
を比較し、後から入力される信号の輝度レベルの方が高
いときにその輝度レベルによってその画素の記憶内容を
更新して最大輝度画像を生成し、その最大画像を生成し
たときの投光角度情報をその画素の値とする投光角度画
像を生成し、 前記形状演算手段は、前記投光角度画像と前記最大輝度
画像とから、レーザ照射部の3次元形状を求める ことを
特徴とする請求項1記載の形状計測装置。2. The image synthesizing means sequentially captures and stores the signals of each pixel in the screen of the image captured by the image capturing means, and the brightness level of the signal input later for the same pixel is already stored. The brightness level of the signal being input is compared, and when the brightness level of the signal that is input later is higher, the stored content of that pixel is determined by that brightness level.
Update to generate the maximum brightness image, then generate the maximum image
The projection angle image that uses the projection angle information when the
An image is generated, and the shape calculation means calculates the projection angle image and the maximum brightness.
The shape measuring apparatus according to claim 1, wherein the three-dimensional shape of the laser irradiation unit is obtained from the image .
って撮像された画像の画面内の各画素の信号を順次取り
込んで記憶し、同一画素について後から入力される信号
の輝度レベルと既に記憶されている信号の輝度レベルと
を比較し、後から入力される信号の輝度レベルの方が低
いときにその輝度レベルによってその画素の記憶内容を
更新して最小輝度画像を生成し、 前記形状演算手段は、前記最大輝度画像と前記最小輝度
画像との差と、前記投光角度画像とから、レーザ照射部
の3次元形状を求める ことを特徴とする請求項2記載の
形状計測装置。3. The image synthesizing means sequentially captures and stores the signal of each pixel in the screen of the image picked up by the image pickup means, and already stores the luminance level of the signal input later for the same pixel. The brightness content of the pixel is compared with the brightness level of the signal being input.
The minimum brightness image is updated to generate the minimum brightness image, and the shape calculation means calculates the maximum brightness image and the minimum brightness image.
From the difference between the image and the projection angle image, the laser irradiation unit
The shape measuring apparatus according to claim 2 , wherein the three-dimensional shape of
置を用いたコイル位置検出装置であって、 前記基準面をヤード又はコイル台車とし、前記被測定物
をコイルとするとともに、前記レーザ光投光手段及び前
記撮像手段はコイルの運搬を行う天井クレーンに取り付
けられ、 前記形状演算手段の演算結果に基づいてコイル位置を演
算するコイル演算手段を備えたことを特徴とするコイル
位置検出装置 。 4. The shape measuring device according to claim 1.
A coil position detecting device using a table, wherein the reference surface is a yard or a coil carriage, and the object to be measured is
And a laser light projecting means and a front
The image pickup means is attached to the overhead crane that carries the coil.
The coil position is calculated based on the calculation result of the shape calculation means.
A coil having a coil calculating means for calculating
Position detection device .
付けられ、レーザスポット光を直線状に走査して複数本
のスリット光を形成してコイルに照射するとともに、そ
のときのレーザ光の投光角度情報を出力するレーザ光投
光手段と、 前記天井クレーンに取り付けられ、前記レーザ光が照射
されているコイルを撮像する撮像手段と、 前記撮像手段によって撮像された画像と前記レーザ光投
光手段の投光角度情報とから、レーザ光の輝度画像とそ
れに対応したレーザ光の投光角度情報とをそれぞれ合成
する画像合成手段と、 前記レーザ光の輝度画像と前記レーザ光の投光角度情報
とからコイルのレーザ光照射部の3次元形状を求める形
状演算手段と、 前記コイルのレーザ光照射部の3次元形状データをコイ
ルの幅方向に投影し、コイルの径方向中心位置及びコイ
ル径を求めるとともに、前記コイルのレーザ光照射部の
3次元形状データを基準面と平行なコイルの径方向に投
影し、コイルの幅方向中心位置及びコイル幅を求めるコ
イル演算手段とを備えたことを特徴とするコイル位置検
出装置。5. The coil is attached to an overhead crane, which linearly scans a laser spot light to form a plurality of slit lights to irradiate the coil, and the projection angle of the laser light at that time. A laser light projecting means for outputting information, an imaging means mounted on the overhead crane for imaging the coil irradiated with the laser light, an image captured by the imaging means, and the laser light projecting means and a projection angle information, the image combining means and the light projecting angle information of the laser light and the luminance image of the laser light of the laser light corresponding to the brightness image of the laser light and the light projection angle information respectively combined
Shape calculation means for obtaining a three-dimensional shape of the laser beam irradiation section of the coil and a, a three-dimensional shape data of the laser beam irradiation portion of the coil projecting in the width direction of the coil, the radial center position and the coil diameter of the coil And a coil calculation means for projecting the three-dimensional shape data of the laser beam irradiation portion of the coil in the radial direction of the coil parallel to the reference plane and for determining the center position in the width direction of the coil and the coil width. Coil position detector.
付けられ、レーザスポット光を直線状に走査して複数本
のスリット光を形成してコイルに照射するとともに、そ
のときのレーザ光の投光角度情報を出力するレーザ光投
光手段と、 前記天井クレーンに取り付けられ、前記レーザ光が照射
されているコイルを撮像する撮像手段と、 前記撮像手段によって撮像された画像と前記投光角度情
報とから、撮像画像の 各画素における最大輝度時に前記
投光角度を対応させた投光角度画像を生成する画像合成
手段と、 前記投光角度画像からコイルのレーザ光照射部の3次元
形状を求める形状演算手段と、 前記コイルのレーザ光照射部の3次元形状データをコイ
ルの幅方向に投影し、コイルの径方向中心位置及びコイ
ル径を求めるとともに、前記コイルのレーザ光照射部の
3次元形状データを基準面と平行なコイルの径方向に投
影し、コイルの幅方向中心位置及びコイル幅を求めるコ
イル演算手段とを備えたことを特徴とするコイル位置検
出装置 。6. An overhead crane for carrying coils
Attached and linearly scanning the laser spot light for multiple lines
The slit light of
Laser light projection angle information for outputting the laser light projection angle
Light means and attached to the overhead crane, irradiating with the laser light
Means for picking up an image of the coil being formed, the image picked up by the image pickup means, and the projection angle information.
From the report, at the maximum brightness in each pixel of the captured image
Image synthesis to generate a projection angle image corresponding to the projection angle
Means and three-dimensional of the laser light irradiation part of the coil from the projection angle image
The shape calculation means for obtaining the shape and the three-dimensional shape data of the laser light irradiation part of the coil are
Projection in the width direction of the
The diameter of the laser beam irradiation part of the coil
3D shape data is projected in the radial direction of the coil parallel to the reference plane.
The shadow is used to determine the coil width center position and the coil width.
Coil position detection, characterized in that
Output device .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00329997A JP3389804B2 (en) | 1997-01-10 | 1997-01-10 | Shape measuring device and coil position detecting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00329997A JP3389804B2 (en) | 1997-01-10 | 1997-01-10 | Shape measuring device and coil position detecting device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10197214A JPH10197214A (en) | 1998-07-31 |
JP3389804B2 true JP3389804B2 (en) | 2003-03-24 |
Family
ID=11553502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP00329997A Expired - Lifetime JP3389804B2 (en) | 1997-01-10 | 1997-01-10 | Shape measuring device and coil position detecting device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3389804B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5974844B2 (en) | 2012-11-14 | 2016-08-23 | 富士通株式会社 | Image processing apparatus, image processing system, image processing method, and program |
CN105571496B (en) * | 2016-01-13 | 2018-01-23 | 南京卓实电气有限责任公司 | A kind of live detection electrical apparatus external insulation configuration parameter measuring method |
KR102457406B1 (en) * | 2020-11-03 | 2022-10-20 | 포항공과대학교 산학협력단 | Apparatus for scanning objects in water and method for scanning objects in water by using the same |
-
1997
- 1997-01-10 JP JP00329997A patent/JP3389804B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH10197214A (en) | 1998-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2641829B2 (en) | Bending angle detection device in bending machine | |
JPH07248212A (en) | Instrument for measuring three-dimensional shape | |
JP3389804B2 (en) | Shape measuring device and coil position detecting device | |
JPH10185514A (en) | Coil position detector | |
JP2001012913A (en) | Coil position detector | |
JP2680460B2 (en) | Angle measuring device for bending machine | |
JP2001012917A (en) | Coil position-detecting device | |
JP2002131031A (en) | Method and device for measuring three-dimensional shape | |
JPH10185519A (en) | Coil locator | |
JP3201297B2 (en) | Coil position detection device | |
JP3414231B2 (en) | Coil position detection device | |
JPH10185515A (en) | Coil position detector | |
JP2001012918A (en) | Coil position-detecting device | |
JPH06109437A (en) | Measuring apparatus of three-dimensional shape | |
JP3414230B2 (en) | Coil position detection device | |
KR100229070B1 (en) | Inspection method and device of cream solder of pcb | |
JP2000329520A (en) | Coil position detector | |
US6137529A (en) | Apparatus for position data acquisition and an apparatus for coil position recognition | |
JP2000329519A (en) | Coil position detector | |
JPH03186706A (en) | Three-dimensional shape dimension measuring instrument | |
JPH0886616A (en) | Method and apparatus for measuring three-dimensional image | |
JP2775924B2 (en) | Image data creation device | |
JP2861800B2 (en) | Shape measuring device | |
JP7442752B1 (en) | Shape inspection method of inspected object | |
JP3381420B2 (en) | Projection detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080117 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090117 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090117 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100117 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110117 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120117 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130117 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |