JP2009034731A - Weld zone visualizing apparatus - Google Patents
Weld zone visualizing apparatus Download PDFInfo
- Publication number
- JP2009034731A JP2009034731A JP2008242529A JP2008242529A JP2009034731A JP 2009034731 A JP2009034731 A JP 2009034731A JP 2008242529 A JP2008242529 A JP 2008242529A JP 2008242529 A JP2008242529 A JP 2008242529A JP 2009034731 A JP2009034731 A JP 2009034731A
- Authority
- JP
- Japan
- Prior art keywords
- welding
- image
- groove
- weld
- ccd camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Laser Beam Processing (AREA)
Abstract
Description
本発明は、溶接部可視化装置に関する。 The present invention relates to a weld visualization device.
溶接中に溶接状況を監視する技術として、特開平９−２２５６６６号の「レーザ溶接のモニタリング装置」、特開２０００−１９６９２３の「ＣＣＤカメラとレーザ照明を用いた発光体の撮像装置」、特開２０００−２４６４４１の「溶接状況遠隔監視装置」等が提案されている。
また、自動溶接装置として、特開２０００−２１０７７１の「溶接位置自動倣い制御装置及び被溶接部材の開先部溶接方法」等が提案されている。
As techniques for monitoring the welding status during welding, Japanese Patent Application Laid-Open No. 9-225666, “Laser Welding Monitoring Device”, Japanese Patent Application Laid-Open No. 2000-196923, “Imaging Device for Light Emitter Using CCD Camera and Laser Illumination” 2000-246441 “Welding Status Remote Monitoring Device” and the like have been proposed.
Further, as an automatic welding apparatus, Japanese Patent Laid-Open No. 2000-210771, “Welding position automatic copying control apparatus and grooved portion welding method of welded member” and the like have been proposed.
上述した従来の溶接状況監視技術は、溶接中に溶接部を目視で監視できるものの、その画像情報は少なく、溶接状況を推定するには精度が低く、これを用いての自動化は困難であった。そのため、従来の溶接自動制御装置は、上述した従来の溶接状況監視技術やその他の接触式センサ等を利用するものであるが、精度が低くそのため装置が複雑で汎用性が低い問題点があった。 Although the conventional welding status monitoring technology described above can visually monitor the welded part during welding, the image information is small, the accuracy of estimating the welding status is low, and automation using this is difficult. . Therefore, the conventional automatic welding control apparatus uses the above-described conventional welding condition monitoring technology and other contact type sensors, but there is a problem that the apparatus is complicated and the versatility is low due to low accuracy. .
言い換えれば、従来の溶接状況監視技術や溶接自動制御装置は、本来最も情報量の豊富な溶融池近辺の映像を十分に利用することができず、精度の高い溶接状況解析ができない問題点があった。 In other words, the conventional welding situation monitoring technology and automatic welding control device cannot sufficiently utilize the image in the vicinity of the molten pool, which is inherently the most abundant in information, and there is a problem that it is impossible to analyze the welding situation with high accuracy. It was.
本発明は、上述した問題点を解決するために創案されたものである。すなわち本発明の目的は、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができる溶接部可視化装置を提供することにある。 The present invention has been developed to solve the above-described problems. That is, an object of the present invention is to provide a welded portion visualizing device capable of visualizing, with high resolution, a welding situation in the vicinity of a molten pool that could not be seen at the time of welding.
本発明によれば、電子シャッターを備えた高画素ＣＣＤカメラと高輝度フラッシュランプとを備え、高輝度フラッシュランプによる溶接部の照明と高画素ＣＣＤカメラによる撮影を同期させたことを特徴とする溶接部可視化装置が提供される。 According to the present invention, there is provided a high-pixel CCD camera having an electronic shutter and a high-intensity flash lamp. A part visualization device is provided.
この構成の溶接部可視化装置により、溶接部をコントラストの高い高解像度の画像として撮影することができ、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができる。 With this configuration, the weld visualization device can photograph the weld as a high-contrast image with high contrast, and can visualize the welding situation in the vicinity of the weld pool that could not be seen at the time of welding with high resolution. .
本発明の好ましい実施形態によれば、前記ＣＣＤカメラは、１フレーム分の画像のメモリテーブルへの転送に必要な転送時間Δｔを超える間隔で画像を連続的に撮影し画像データを出力する。
この構成により、溶接部を一定の間隔で漏れなく撮影し画像データを出力することができる。
According to a preferred embodiment of the present invention, the CCD camera continuously captures images and outputs image data at intervals exceeding a transfer time Δt required for transferring an image for one frame to a memory table.
With this configuration, the welded portion can be photographed at a constant interval without omission and image data can be output.
突合せ溶接または重ね合わせ溶接において、溶融池を含む溶接部を見た画像をＣＣＤカメラに導く光学系を備える。
この構成により、溶融池を含む溶接部とその周囲を高いコントラストで撮影でき、かつ撮影範囲を被写界深度内に収めることができる。
In butt welding or lap welding, an optical system for guiding an image of a welded portion including a molten pool to a CCD camera is provided.
With this configuration, the welded portion including the molten pool and its surroundings can be photographed with high contrast, and the photographing range can be kept within the depth of field.
本発明によれば、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができる。 According to the present invention, it is possible to visualize with high resolution the welding situation in the vicinity of the molten pool that could not be seen before during welding.
以下、本発明の好ましい実施形態を図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し重複した説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In each figure, common portions are denoted by the same reference numerals, and redundant description is omitted.
１．本発明の溶接部可視化装置は、従来見ることができなかった溶接の状況を、強力なストロボ光源と高速電子シャッターの制御などにより可視化する装置である。
この溶接部可視化装置で得られる溶接の映像を利用して、画像処理によって溶接状態の特徴を抽出し、その結果にもとづいたフィードバックをかける溶接制御装置について検討する。このような溶接制御装置を実現することで、溶接の自動補正や不良品検出といった付加価値の高い溶接ラインを提案することが可能になる。図１に、本発明の溶接部可視化装置１０とこれを用いた溶接制御装置２０を示す。
1. The welding part visualization device of the present invention is a device that visualizes a welding situation that could not be seen in the past by controlling a powerful strobe light source and a high-speed electronic shutter.
We will consider a welding control device that uses the welding image obtained by this weld visualization device to extract the characteristics of the welded state by image processing and apply feedback based on the results. By realizing such a welding control device, it becomes possible to propose a welding line with high added value such as automatic correction of welding and defective product detection. In FIG. 1, the welding
２．従来型可視化装置を用いた検討
本発明の溶接部可視化装置の開発に先立ち、特開２０００−１９６９２３で提案したアナログカメラ＋パルスレーザ照明型溶接部可視化装置（以下、単に「従来型可視化装置」と呼ぶ）を用いて、ＹＡＧレーザ溶接による突合せ溶接時の映像を採取した。またこの映像をもとに、シームトラッキングおよび欠陥検出に関する検討を行った。
2. Examination Using Conventional Visualization Device Prior to the development of the weld visualization device of the present invention, the analog camera + pulse laser illumination type weld visualization device proposed in JP 2000-196923 (hereinafter simply referred to as “conventional visualization device”). ) Was taken during butt welding by YAG laser welding. Based on this video, we investigated seam tracking and defect detection.
２．１ 映像採取
ＹＡＧレーザ溶接の溶接状況を従来型可視化装置を用いて観察し、その様子をＤＶテープに記録した。また撮影した映像から、無作為に静止画を切り取り、その画像の輝度を数値出力することで、画像の傾向を確認、検討した。さらに画像を縦または横に切断し、そのライン上の輝度分布を検討した。
2.1 Image Collection The welding situation of YAG laser welding was observed using a conventional visualization device, and the state was recorded on a DV tape. Moreover, the tendency of an image was confirmed and examined by cutting out a still image from the taken image at random and outputting the luminance of the image as a numerical value. Furthermore, the image was cut vertically or horizontally, and the luminance distribution on the line was examined.
２．２ 画像の検討
（１）観察方向について
突合せ溶接を行う際、観察方向を変更した場合に開先がどのように現れるか検討する。
開先（溶接ライン）が横になるよう側面から溶接の様子を観察した映像の画像上のあるラインにおける輝度変化を図２に示す。
図２の丸印で囲った部分が開先に相当する。この図に示されるように、開先は周囲に比較して暗く出現する。また、側面観察の場合、突合せのエッジがレーザ照明を強く反射しており、これを利用して開先位置を推定することができることがわかった。
一方、開先が縦になるよう正面から溶接の様子を観察した正面観察では安定した画像処理を行うほどのコントラストは得られなかった。このことから、画像処理に十分なコントラストを取ることができるよう、照明およびＣＣＤを設置する必要があり、かつ、観察領域全体が被写界深度内に治まるように設計する必要があることがわかる。
2.2 Examination of images (1) Observation direction When performing butt welding, examine how the groove appears when the observation direction is changed.
FIG. 2 shows the luminance change in a certain line on the image of the image obtained by observing the state of welding from the side face so that the groove (welding line) is horizontal.
A portion surrounded by a circle in FIG. 2 corresponds to a groove. As shown in this figure, the groove appears darker than the surroundings. Further, in the case of side observation, it was found that the edge of the butt strongly reflected the laser illumination, and it was possible to estimate the groove position using this.
On the other hand, in the frontal observation in which the state of welding was observed from the front so that the groove was vertical, contrast sufficient to perform stable image processing was not obtained. From this, it can be seen that it is necessary to install illumination and a CCD so that sufficient contrast can be obtained for image processing, and it is necessary to design the entire observation area to be subsided within the depth of field. .
（２）開先ギャップの検出について
２枚の平板を仮止めをせずに溶接を行った場合に発生するギャップを捉えることができるかどうかを検討した。開先ギャップを横断する輝度グラフを図３に示す。
この図からギャップが発生すると、基本的にはその部分の輝度が下がることがわかる。従って周囲と比較して暗い部分が広がれば開先ギャップがあると判断できる。
(2) About detection of groove gap It was examined whether or not a gap generated when welding was performed without temporarily fixing two flat plates. A luminance graph across the groove gap is shown in FIG.
From this figure, it can be seen that when a gap occurs, the brightness of that portion basically decreases. Therefore, it can be determined that there is a groove gap when the dark portion is wider than the surrounding area.
（３）溶接位置ずれの検出について
開先に対して垂直方向に、−２ｍｍの位置から溶接をスタートさせ、溶接完了時には＋２ｍｍの位置になるように溶接ロボットを移動させることで、仮想的に溶接の位置ずれを発生させた。
このような位置ずれを捉えるには、画面上の開先位置を２点以上で捉えて直線を認識し、さらに溶融池がその直線上に存在するかを調べる必要がある。しかし基本的には溶融池は画面上の決まった位置に存在するので、開先を直線として捉えることに注力すればよい。
溶接線を２箇所縦に切断したときの輝度グラフを図４に示す。この２箇所の切断位置における開先位置を結ぶことで、開先を直線として捉えることが可能となる。またこの直線が、画像上の特定の点（溶融池）を通っていないとき、溶接位置ずれが発生していることを表している。
(3) Detection of welding position deviation Welding is started virtually by starting welding at a position of -2 mm in the direction perpendicular to the groove and moving to a position of +2 mm when welding is completed. A position shift of.
In order to catch such a position shift, it is necessary to recognize a straight line by grasping the groove position on the screen at two or more points, and further check whether the molten pool exists on the straight line. However, basically, the weld pool exists at a fixed position on the screen, so it is sufficient to focus on capturing the groove as a straight line.
FIG. 4 shows a luminance graph when the weld line is cut vertically at two locations. By connecting the groove positions at the two cutting positions, the groove can be regarded as a straight line. Further, when this straight line does not pass through a specific point (molten pool) on the image, it indicates that a welding position shift has occurred.
（４）ブローホール検出について
ブローホール発生の様子を捉えた画像から、典型的なブローホールが出現する場合に認識は可能である。また一回の溶接でいくつのブローホールが出現したかをカウントすることもできる。ただし、開先検出と比較して、より広い領域を探索しなければならないため、データ処理量が大幅に増える。このため効率的な抽出アルゴリズムを検討する必要がある。
（５）例外画像について
入力画像から特徴量を判定する際、想定している入力画像とまったく異なる画像が入ってくる可能性がある。
このような入力画像に対してシームトラッキングを行った場合、開先の誤認識が発生し、溶接ヘッドは想定外の位置へ移動してしまう可能性がある。そのため、どのような画像が入力されたときに画像処理を開始し、実際にシームトラッキングを行ったり、ブローホールの数をカウントしたりするかを決める必要がある。
例えば、ロボットが自動運転を開始したときに画像処理を開始し、溶融池および開先がある確信度以上で検出されたときにシームトラッキングを開始するのがよい。また、溶接中に非常に外乱の多いフレームが入ってきたときは、処理結果の確信度が低い場合、そのフレームを無視するのがよい。
(4) About blowhole detection It is possible to recognize when a typical blowhole appears from an image that captures the state of blowhole occurrence. It is also possible to count how many blowholes have appeared in a single weld. However, since a wider area must be searched as compared with groove detection, the amount of data processing increases significantly. Therefore, it is necessary to consider an efficient extraction algorithm.
(5) Exception Image When determining the feature amount from the input image, there is a possibility that an image that is completely different from the assumed input image may be input.
When seam tracking is performed on such an input image, an erroneous recognition of the groove may occur, and the welding head may move to an unexpected position. Therefore, it is necessary to determine what image is input when image processing is started and seam tracking is actually performed or the number of blow holes is counted.
For example, image processing may be started when the robot starts automatic operation, and seam tracking may be started when the weld pool and the groove are detected with a certain degree of certainty or more. Also, when a frame with a lot of disturbance enters during welding, if the certainty of the processing result is low, the frame should be ignored.
３．本発明の溶接部可視化装置と溶接制御装置の構成
本発明の溶接部可視化装置とこれを用いた溶接制御装置の機器構成を図５に示す。
本発明の溶接部可視化装置１０は、高画素デジタルカメラ２とフラッシュランプ４の組み合わせからなる。本発明の溶接部可視化装置１０は、ストロボ光源としてパルスレーザのかわりにフラッシュランプ４を使用することで、低コスト、運用性向上を実現した。また本発明の溶接部可視化装置１０では、高画素ＣＣＤ（例えば１４０万画素）を持つカメラ２を採用する。このカメラ２は、アナログ出力に加え、デジタル出力（例えば１３２０×１０４０Ｐｉｘｅｌ、２５Ｈｚ非圧縮）を備える。
また、溶接制御装置２０はこのデジタル出力を用いて画像処理を行う。溶接制御装置２０は、カメラ２が出力する高速大容量のデジタル出力を欠落なく取り込み、かつ、欠落なく再現する機能を持つ必要がある。また、画像処理などのデータ処理を高速で実行する機能を持つ必要がある。このような機能を低コストで実現するための溶接制御装置２０として以下のものを用いる。
3. Configuration of Welded Portion Visualization Device and Welding Control Device of the Present Invention FIG. 5 shows the equipment configuration of the welded portion visualization device of the present invention and a welding control device using the same.
The welded
The
（１）画像処理装置（ＰＣ）：ＯＳ：Ｗｉｎｄｏｗｓ（登録商標）ＮＴ４．０、ＣＰＵ：Ｐｅｎｔｉｕｍ（登録商標）４（１．５ＧＨｚ）、メインメモリ：ＲＤＲＡＭ（７６８ＭＢ）
（２）フレームグラバーボード：グラフイン社製ＩＰＭ８５６０Ｄ（ＤＭＡ転送機能、ピクセルクロックＭａｘ６０ＭＨｚ）
以下、上記の機器を用いてフレーム欠落のない画像取り込み、録画機能を実現する枠組みについて説明する。
(1) Image processing device (PC): OS: Windows (registered trademark) NT4.0, CPU: Pentium (registered trademark) 4 (1.5 GHz), main memory: RDRAM (768 MB)
(2) Frame grabber board: IPM 8560D (DMA transfer function,
Hereinafter, a framework for realizing an image capturing and recording function with no frame loss using the above-described device will be described.
３．１ リアルタイム画像取り込み機能の実現
溶接制御装置２０では、溶接部可視化装置１０から溶接状況を画像として取り込み、その画像にもとづいて溶接状況を判定する。ここではまず、リアルタイムで画像を取り込むソフトウェア構成を検討する。なお、リアルタイム画像取り込みとは、カメラ２から送られてきた映像を、フレームの欠落なしに、かつフレームの遅延なしに、メインメモリに取り込むことを意味する。
3.1 Realization of Real-Time Image Capturing Function In the
（１）ＩＰＭ−８５６０サンプルプログラムによる取り込み処理
図６に、ＩＰＭ−８５６０Ｄを用いた、基本的な画像の取り込みタイミングチャートを示す。以下、画像取り込みソフトウェアの処理流れに沿って、このタイミングチャートの内容を説明する。
（Ｓ１）取り込み開始指示
ＩＰＭ−８５６０Ｄのライブラリ「ｍｇＧｒａｂｂｅｒＳｔａｒｔ」を用いて、１フレーム分の画像を、あらかじめ確保しておいたメモリテーブルに転送する。ｍｇＧｒａｂｂｅｒＳｔａｒｔは、取り込み終了を待たずに即座に処理を戻す。
（Ｓ２）同期オブジェクトを待つ
あらかじめ設定されている同期オブジェクトは、１フレーム分の取り込みが終了するまで非シグナル状態になる。ＷａｉｔＦｏｒＳｉｇｎａｌＯｂｊｅｃｔは、同期オブジェクトがシグナル状態になるのを待つＷＩＮ３２ＡＰＩである。
（Ｓ３）ウィンドウ表示処理
メモリテーブルの内容（映像）をＰＣの画面に表示する。
（Ｓ４）メモリテーブルの内容をメインメモリにコピー
画像処理に先立ち、メモリテーブルの内容を、メインメモリにコピーする。
（Ｓ５）画像処理
メインメモリの内容を対象に、画像処理を行う。
(1) Capture Process Using IPM-8560 Sample Program FIG. 6 shows a basic image capture timing chart using IPM-8560D. The contents of this timing chart will be described below along the processing flow of the image capturing software.
(S1) Capture start instruction Using the library “mgGrabberStart” of IPM-8560D, an image for one frame is transferred to a memory table secured in advance. mgGrabberStart returns immediately without waiting for the end of the import.
(S2) Wait for a synchronization object A preset synchronization object is in a non-signal state until the capture of one frame is completed. WaitForSignalObject is a WIN32 API that waits for the synchronization object to become signaled.
(S3) Window display processing The contents (video) of the memory table are displayed on the PC screen.
(S4) Copy the contents of the memory table to the main memory Prior to image processing, the contents of the memory table are copied to the main memory.
(S5) Image processing Image processing is performed on the contents of the main memory.
（２）リングバッファによる画像取り込み処理
上述した画像取り込み処理は、ＩＰＭ８５６０Ｄのサンプルプログラムに示される基本的な取り込み処理だが、２フレームのうち１フレームしか取り込めない。そこで、２つ以上のメモリテーブルを併用することで、フレーム欠落のない取り込みを行うこととする。
図７では２枚のメモリテーブルを用い、取り込み回数をカウントし、奇数回目ならばメモリテーブル１へ転送、偶数回目ならばメモリテーブル２へ転送するようにしている。これにより、リアルタイム取り込みが可能となり、また、画像処理などに使える時間も比較的長く（約４０ｍｓｅｃ）確保できる。
(2) Image Capture Processing by Ring Buffer The above-described image capture processing is a basic capture process shown in the IPM 8560D sample program, but can capture only one frame out of two frames. Therefore, by using two or more memory tables together, it is assumed that capturing without frame loss is performed.
In FIG. 7, two memory tables are used, and the number of times of capturing is counted. If the number of times is odd, the number of times of transfer is transferred to the memory table 1, and if the number is even, the number is transferred to the memory table 2. As a result, real-time capture is possible, and the time available for image processing and the like can be secured for a relatively long time (about 40 msec).
（３）フレーム欠落への対策
２枚のメモリテーブルを用いたタイミングチャートを実現するアプリケーションを実装し、動作確認を行った。このアプリケーションでは、すべてのフレームを確実に取り込んでいるか確認した。
このアプリケーションで実験を行ったところ、平均して１０秒（２５０回）に１回程度、フレームの欠落が発生した（欠落発生率０．４００％）。これは、フレーム間の余裕時間が非常に短いため、同期オブジェクトがシグナル状態に変化したという割り込みを、その短いタイミング中に受けきれなかったことが原因と考えられる。
そこで、１３９２×１０４０Ｐｉｘｅｌのうち、１３９２×１０００Ｐｉｘｅｌだけ転送するようにして、フレーム間の余裕時間を伸ばして実験を行った。１時間（９００００回）の転送を２回行ったところ、どちらもフレーム欠落が１度だけ発生した（欠落発生率０．００１％）。このように、画像の必要な範囲との兼ね合いになるが、画像の一部を取り込まないことで、リアルタイム取り込みの確実性を向上させることが可能になる。
(3) Measures against frame loss An application that realizes a timing chart using two memory tables was mounted and operation was confirmed. In this application, we confirmed that all frames were captured.
When an experiment was performed with this application, a frame loss occurred on average about once every 10 seconds (250 times) (missing rate 0.400%). This is considered to be because the margin between frames is very short, and the interrupt that the synchronization object has changed to the signal state cannot be received during the short timing.
Thus, an experiment was conducted by extending the margin time between frames by transferring only 1392 × 1000 pixels out of 1392 × 1040 pixels. When the transfer for 1 hour (90,000 times) was performed twice, frame loss occurred only once in both cases (missing rate 0.001%). In this way, the balance with the necessary range of the image is obtained, but the reliability of real-time capture can be improved by not capturing a part of the image.
３．２ リアルタイム録画機能の実現
溶接制御装置２０には、観察映像を劣化・欠落なく記録し、繰り返し確認できるような機能を持たせることが必須となる。ここでは、溶接制御装置２０の録画機能について検討する。
3.2 Realization of Real-time Recording Function It is essential that the
（１）メモリ確保処理
高速・大容量で流れてくる画像データを、劣化・欠落なく記録するためには、メインメモリへの確実な転送が必要となる。ただし、単純にメモリを確保するだけでは、大量のメモリを利用するときに発生するページング処理などのため、リアルタイムでの記録が難しい。
そこで、映像を取り込むプロセスに対して、プロセスのワーキングサイズを増加させ、録画用の領域をメモリにロックすることで、録画時にＨＤにアクセスしないようにした。これにより、取り込んだ画像をリアルタイムでメモリに記録することが可能となる。
ロックできるメモリは、物理的な主記憶容量に制約される。現状の装置構成では７６８ＭＢの主記憶を用いているので、上限は７６８ＭＢである。また、フレームグラバーボードＩＰＭ８５６０Ｄで管理できるメモリテーブルの容量の上限は５１２ＭＢである。よって、ロックできる領域は５１２ＭＢが上限となる。
(1) Memory reservation processing In order to record image data flowing at high speed and large capacity without deterioration or omission, reliable transfer to the main memory is required. However, simply securing memory makes it difficult to record in real time due to paging processing that occurs when a large amount of memory is used.
Therefore, for the process of capturing video, the working size of the process is increased and the recording area is locked in the memory so that the HD is not accessed during recording. As a result, the captured image can be recorded in the memory in real time.
The memory that can be locked is limited by the physical main storage capacity. Since the current device configuration uses 768 MB of main memory, the upper limit is 768 MB. The upper limit of the capacity of the memory table that can be managed by the frame grabber board IPM8560D is 512 MB. Therefore, the upper limit of the lockable area is 512 MB.
（２）動作確認
５１２ＭＢのメモリは、約１４秒の映像に相当する（１３９２×１０４０（Ｐｉｘｅｌ）×２５（Ｈｚ）×１４（秒）＝５０６，６８８，０００Ｂｙｔｅ）。この装置構成で、１４秒の録画を行い、フレーム欠落なく画像をメモリに記録できることを確認した。
ただし、次の録画を始める前にメモリの内容を他のメディア（ハードディスク、ＭＯディスク、ＣＤ−Ｒなど）にコピーし、メモリをクリアする必要がある。
(2) Operation Confirmation 512 MB of memory corresponds to about 14 seconds of video (1392 × 1040 (Pixel) × 25 (Hz) × 14 (seconds) = 506,688,000 bytes). With this apparatus configuration, it was confirmed that an image could be recorded in a memory without missing a frame by recording for 14 seconds.
However, before starting the next recording, it is necessary to copy the contents of the memory to another medium (hard disk, MO disk, CD-R, etc.) and clear the memory.
４．溶接制御装置による画像採取試験
上述した画像取り込み録画機能を実装した溶接制御装置を用いて、ＹＡＧレーザ溶接の状況を観察、採取した。さまざまな条件で、溶接試験を実施した。主な溶接条件は以下の通りである。
（１）溶接手法：突合せ溶接、重ね合わせ溶接（ブローホール検知用）
（２）装置構成：同軸型、単体型
ここで、同軸型は、ミラーなどを組み合わせた治具を用い、溶接部を真上から見たような画像を採取する装置構成のものである。また、単体型は、溶接ヘッドに独立のカメラ２を取り付け、溶接部を斜め方向から覗きこむような映像を採取する装置構成のものである。
（３）溶接方向：画面上水平、垂直、斜め４５°
この各画像をもとに、溶接制御装置の自動シームトラッキングシステムと自動欠陥検知システムについて検討する。
4). Image sampling test by welding control device Using the welding control device in which the image capturing and recording function described above was implemented, the situation of YAG laser welding was observed and sampled. Welding tests were conducted under various conditions. The main welding conditions are as follows.
(1) Welding method: butt welding, lap welding (for blowhole detection)
(2) Device Configuration: Coaxial Type, Single Unit Type Here, the coaxial type has a device configuration that uses a jig combined with a mirror or the like to collect an image as if the welded portion was viewed from directly above. Further, the single unit type has a device configuration in which an
(3) Welding direction: Horizontal, vertical, diagonal 45 ° on the screen
Based on these images, the automatic seam tracking system and automatic defect detection system of the welding control device will be examined.
５．自動シームトラッキングの検討
溶接制御装置による自動シームトラッキング機能について以下に説明する。
５．１ 溶接制御装置における処理遅れ
溶接制御装置では、上述したように、実際に発生した事象Ａを画像として取り込み、画像処理によりその事象Ａを認識するまでに、ある程度時間がかかる。さらに、事象Ａの認識結果から、ステージを駆動させるといった駆動系処理を実現するためにも、ある程度時間がかかる。
この遅れは約３フレーム（１２０ｍｓｅｃ）程度かかると予想される（画像処理に４０ｍｓｅｃ、ステージ駆動に４０ｍｓｅｃと仮定した場合）。図８にその様子を示す。
この遅れを吸収するためには、図９に示すように、入力された画像から３フレーム後に発生する事象Ａを予測し、前もって補正処理をかける必要がある。
5). Examination of automatic seam tracking The automatic seam tracking function by the welding controller is described below.
5.1 Processing Delay in Welding Control Device In the welding control device, as described above, it takes a certain amount of time to capture the actually occurring event A as an image and recognize the event A by image processing. Furthermore, it takes a certain amount of time to realize the drive system process of driving the stage from the recognition result of the event A.
This delay is expected to take about 3 frames (120 msec) (assuming 40 msec for image processing and 40 msec for stage drive). This is shown in FIG.
In order to absorb this delay, as shown in FIG. 9, it is necessary to predict an event A that occurs three frames later from the input image and apply a correction process in advance.
５．２ １〜３次元シームトラッキング
１回の溶接でロボットアームが駆動する方向が、１次元（直線）か、２次元（平面）か、３次元（立体）かによって、シームトラッキングが実装すべき機能は異なってくる。図１０は１次元〜３次元のシームトラッキングのイメージ図である。以下、１次元〜３次元のシームトラッキングを、次のように規定する。
（Ａ）１次元シームトラッキング
溶融池の位置が常に一定で、溶接方向が常に一定で、開先も基本的に決まった位置に現れる。この場合、数フレーム先の溶融池の位置が予測できるので、この位置と開先位置のずれを検出し、このずれを補正するよう前もって加工ヘッドを移動させる処理を行う。
（Ｂ）２次元シームトラッキング
溶融池の位置は常に一定だが、溶接方向が不定で、開先もどの方向に現れるか不定。この場合、数フレーム先の予測が難しいため、現在の溶融池位置に対して開先がどれだけずれているかを算出し、そのずれ量を補正するよう加工ヘッドを移動させる処理を行う。
（Ｃ）３次元シームトラッキング
溶融池周辺を斜め方向から観察すると、加工ヘッド・鋼板間の高さにずれが発生したとき、上記（Ｂ）に加え、溶融池の位置も不定になる。この場合、２次元の処理に加え、溶融池の位置から加工ヘッドの高さずれ量を算出し、高さ方向にも加工ヘッドを移動させる必要がある。
5.2 1-3D seam tracking Seam tracking should be implemented depending on whether the robot arm is driven in a single weld in the direction of 1D (straight line), 2D (plane), or 3D (solid). The function is different. FIG. 10 is an image diagram of one-dimensional to three-dimensional seam tracking. Hereinafter, one-dimensional to three-dimensional seam tracking is defined as follows.
(A) One-dimensional seam tracking The position of the weld pool is always constant, the welding direction is always constant, and the groove appears at a basically determined position. In this case, since the position of the molten pool several frames ahead can be predicted, a shift between this position and the groove position is detected, and the processing head is moved in advance to correct this shift.
(B) Two-dimensional seam tracking Although the position of the weld pool is always constant, the welding direction is indefinite, and the direction in which the groove appears is undefined. In this case, since it is difficult to predict several frames ahead, the amount of deviation of the groove from the current molten pool position is calculated, and the processing head is moved to correct the deviation amount.
(C) Three-dimensional seam tracking When the periphery of the molten pool is observed from an oblique direction, the position of the molten pool becomes indefinite in addition to (B) above when a deviation occurs in the height between the processing head and the steel plate. In this case, in addition to the two-dimensional processing, it is necessary to calculate the height deviation amount of the processing head from the position of the molten pool and to move the processing head also in the height direction.
５．３ 開先検出処理フロー検討
１次元シームトラッキングを実現する手順は、大きく以下の２つに分けられる。
（Ａ１）３フレーム後の溶融池位置の予測
（Ａ２）画像処理による開先直線の検出
（Ａ１）３フレーム後の溶融池位置は、溶接の間常に固定である。よって、溶接開始時に一度処理すればよい。
（Ａ２）の画像処理による開先直線の検出は、すべての入力画像に対して行われなければならない。よって、画像Ａに対する画像処理は、次のフレームの画像Ｂが入力されるまでの４０ｍｓｅｃ以内に完了する必要がある。
5.3 Examination of groove detection processing flow The procedure for realizing one-dimensional seam tracking is roughly divided into the following two.
(A1) Prediction of weld pool position after 3 frames (A2) Detection of groove straight line by image processing (A1) The weld pool position after 3 frames is always fixed during welding. Therefore, it may be processed once at the start of welding.
Detection of the groove straight line by the image processing of (A2) must be performed for all input images. Therefore, the image processing for the image A needs to be completed within 40 msec until the image B of the next frame is input.
シームトラッキング処理手順は以下のとおりである。
（Ｓ１）３フレーム後の溶融池位置を算出する
（Ｓ２）各フレームごとに入力される画像から、開先直線を検出する
（Ｓ３）３フレーム後の溶融池位置から開先直線までのベクトルを算出する
（Ｓ４）このベクトルが、溶融池と開先のずれ量を表している。このずれが大きければ、ずれを補正するよう、治具を駆動させる。また、処理結果画像を作成し、ディスプレイ上に表示する。
図１１に、上記手順のうち（Ｓ２）に相当する開先直線検出フローチャートを示す。
The seam tracking processing procedure is as follows.
(S1) Calculate the weld pool position after 3 frames (S2) Detect a groove straight line from the image input every frame (S3) Vector from the weld pool position to the groove straight line after 3 frames Calculate (S4) This vector represents the amount of deviation between the weld pool and the groove. If this deviation is large, the jig is driven to correct the deviation. Also, a processing result image is created and displayed on the display.
FIG. 11 shows a groove straight line detection flowchart corresponding to (S2) in the above procedure.
５．４ 開先検出試験結果
上述したシームトラッキング処理フローを実装した開先検出アプリケーションの画面例を図１２に示す。
このアプリケーションを用いて、同軸型溶接部可視化装置（真上から見た画像を採取できる治具を用いた溶接部可視化装置）を用いた観察映像を対象に、開先検出処理試験を行った。その結果、開先が大きく開いていないかぎり、誤認識は発生せず、また、開先の認識率も９０％程度と、ほぼ問題ない結果を得ることができた。なお、開先が大きく開いている場合には開先認識率は６０％と低い値であった。このような場合には、エラー表示、例えば「開先にギャップが発生して、溶接に失敗した」というように判断することが好ましい。
5.4 Result of groove detection test FIG. 12 shows a screen example of the groove detection application in which the above-described seam tracking processing flow is implemented.
Using this application, a groove detection processing test was performed on an observation image using a coaxial weld visualization device (a weld visualization device using a jig capable of collecting an image viewed from directly above). As a result, as long as the groove was not wide open, no erroneous recognition occurred, and the groove recognition rate was about 90%. Note that the groove recognition rate was as low as 60% when the groove was wide open. In such a case, it is preferable to determine an error display, for example, “a gap has occurred in the groove and welding has failed”.
次に、画像処理速度について検討する。
溶接制御装置では、画像のフレーム間隔は４０ｍｓｅｃであり、すべてのフレームに対して欠落なく画像処理を加えるには、この時間（４０ｍｓｅｃ）内に画像処理を完了させる必要がある。
今回開発したプログラムによる平均画像処理速度は、画像１フレームに対して約２０ｍｓｅｃであった（Ｐｅｎｔｉｕｍ（登録商標）４、１．５ＧＨｚの場合）。これは、基本的にすべてのフレームに対して欠落なく画像処理を加えることが可能であることを意味している。
これらの結果から、同軸型の本発明の溶接部可視化装置を用いたＹＡＧレーザ溶接観察では、フレームの欠落なく、９０％程度の確率で、開先を検出することが可能である。
Next, the image processing speed will be examined.
In the welding control apparatus, the image frame interval is 40 msec, and it is necessary to complete the image processing within this time (40 msec) in order to apply image processing to all the frames without omission.
The average image processing speed of the program developed this time was about 20 msec per image frame (in the case of Pentium (registered trademark) 4, 1.5 GHz). This basically means that image processing can be applied to all the frames without omission.
From these results, in YAG laser welding observation using the coaxial welded portion visualization apparatus of the present invention, it is possible to detect the groove with a probability of about 90% without any frame loss.
６．自動欠陥検知の検討
以下、本発明の溶接部可視化装置を用いた自動欠陥検知機能の実現についての検討結果をまとめる。
６．１ ブローホール検知処理
溶接の欠陥の一例として、重ね合わせ溶接時に発生するブローホールが挙げられる。ブローホールが多発した場合、溶接強度が十分でなくなるため、欠陥品として扱われる。
ここで、溶接中に発生したブローホールを検出し、その数をカウントするような欠陥検知システムの処理手順は以下のとおりである。
（Ｓ１）ブローホール観察エリアを算出する
（Ｓ２）各フレームの画像ごとに、観察エリア上のブローホールの有無を調べる（Ｓ３）１回の溶接におけるブローの数をカウントし、オペレータに提示する
ブローホール観察エリアは、溶融池位置、溶接ベクトル、溶接速度、視野範囲などから決定される、フレームごとの重なりがないエリアである。
図１３に、ブローホール検知処理フローチャートを示す。
6). Examination of automatic defect detection Hereinafter, the examination result about realization of the automatic defect detection function using the welding part visualization device of the present invention is summarized.
6.1 Blow hole detection processing As an example of welding defects, blow holes that occur during lap welding can be mentioned. When blowholes occur frequently, the welding strength is not sufficient, so it is treated as a defective product.
Here, the processing procedure of the defect detection system for detecting blow holes generated during welding and counting the number thereof is as follows.
(S1) Calculate blowhole observation area (S2) Check the presence or absence of blowholes on the observation area for each frame image (S3) Count the number of blows in one welding and present it to the operator The hole observation area is an area that is determined from the molten pool position, the welding vector, the welding speed, the visual field range, and the like and does not overlap for each frame.
FIG. 13 shows a blowhole detection process flowchart.
ブローホール検知処理フローを実装したブローホール検知アプリケーションによりブローホール検知試験を行った。対象とした画像には４つのブローホールが存在するが、このすべてをブローホールとして認識した。ただし、それ以外に１箇所、ブローホールでない箇所をブローホールとして誤認識した。
このことから、ブローホールには画像処理で捉えることのできる特徴があり、ある程度の精度で検出することが可能と思われる。
A blowhole detection test was conducted using a blowhole detection application that implemented a blowhole detection processing flow. There were four blow holes in the target image, all of which were recognized as blow holes. However, one place other than that, a place that was not a blowhole, was misrecognized as a blowhole.
For this reason, the blowhole has a feature that can be captured by image processing, and can be detected with a certain degree of accuracy.
６．２ 開先ギャップ検出処理フロー検討
溶接の欠陥の一例として、突合せ溶接時に開先にギャップが発生し、溶接に失敗するという例が想定される。
ここで、上述した開先検出処理アプリケーションを利用して、開先幅を検出し出力した。この様子を図１４に示す。横軸が時間経過（フレーム数）、縦軸が開先の幅（Ｐｉｘｅｌ）である。この図から、１４０フレーム目付近から徐々に開先幅が広がってきていることが分かる。このように、開先検出が可能な映像ならば、開先幅の推移を捉えることができる。
6.2 Examination of groove gap detection processing flow As an example of a welding defect, a gap may occur in the groove during butt welding, and welding may be failed.
Here, the groove width was detected and output using the groove detection processing application described above. This is shown in FIG. The horizontal axis is the time passage (number of frames), and the vertical axis is the groove width (Pixel). From this figure, it can be seen that the groove width gradually increases from around the 140th frame. In this way, a transition of the groove width can be captured if the image can detect the groove.
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。 In addition, this invention is not limited to embodiment mentioned above, Of course, it can change variously in the range which does not deviate from the summary of this invention.
２ 高画素ＣＣＤカメラ、
４ 高輝度フラッシュランプ、
６ 同軸型光学系、
１０ 溶接部可視化装置、
１２ 画像取込み装置、
１４ 画像処理装置、
１６ 出力装置、
２０ 溶接制御装置
2 High pixel CCD camera,
4 high-intensity flash lamp,
6 Coaxial optical system,
10 Welded part visualization device,
12 Image capture device,
14 image processing device,
16 output device,
20 Welding control device
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008242529A JP2009034731A (en) | 2008-09-22 | 2008-09-22 | Weld zone visualizing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008242529A JP2009034731A (en) | 2008-09-22 | 2008-09-22 | Weld zone visualizing apparatus |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002241557A Division JP4678116B2 (en) | 2002-08-22 | 2002-08-22 | Welding control apparatus and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009034731A true JP2009034731A (en) | 2009-02-19 |
Family
ID=40437141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008242529A Pending JP2009034731A (en) | 2008-09-22 | 2008-09-22 | Weld zone visualizing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009034731A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2011024904A1 (en) * | 2009-08-27 | 2013-01-31 | 株式会社Ｉｈｉ検査計測 | Laser welding quality determination method and quality determination device |
| JP2013504430A (en) * | 2009-09-11 | 2013-02-07 | フロニウス インターナショナル ゲゼルシャフト ミット ベシュレンクテル ハフツング | A monitoring module that monitors arc processes |
| CN103862168A (en) * | 2014-03-24 | 2014-06-18 | 北京工业大学 | Method and device for optimizing tight focusing light spot energy of femtosecond laser three-dimensional micromachining |
| CN109483017A (en) * | 2018-10-23 | 2019-03-19 | 东莞理工学院 | A kind of seam tracking system and its optimization method based on image recognition |
| JP2019195811A (en) * | 2018-05-07 | 2019-11-14 | 株式会社神戸製鋼所 | Weld monitoring device, weld monitoring method, and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09225666A (en) * | 1996-02-22 | 1997-09-02 | Sumitomo Heavy Ind Ltd | Laser welding monitoring device |
| JP2000196924A (en) * | 1998-12-24 | 2000-07-14 | Ishikawajima Harima Heavy Ind Co Ltd | Weld image pickup device using double laser illumination |
| JP2000196923A (en) * | 1998-12-24 | 2000-07-14 | Ishikawajima Harima Heavy Ind Co Ltd | Ccd camera and image pickup device for illuminant using laser illumination |
| JP2001287065A (en) * | 2000-04-10 | 2001-10-16 | Ishikawajima Harima Heavy Ind Co Ltd | Automatic welding equipment |
-
2008
- 2008-09-22 JP JP2008242529A patent/JP2009034731A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09225666A (en) * | 1996-02-22 | 1997-09-02 | Sumitomo Heavy Ind Ltd | Laser welding monitoring device |
| JP2000196924A (en) * | 1998-12-24 | 2000-07-14 | Ishikawajima Harima Heavy Ind Co Ltd | Weld image pickup device using double laser illumination |
| JP2000196923A (en) * | 1998-12-24 | 2000-07-14 | Ishikawajima Harima Heavy Ind Co Ltd | Ccd camera and image pickup device for illuminant using laser illumination |
| JP2001287065A (en) * | 2000-04-10 | 2001-10-16 | Ishikawajima Harima Heavy Ind Co Ltd | Automatic welding equipment |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2011024904A1 (en) * | 2009-08-27 | 2013-01-31 | 株式会社Ｉｈｉ検査計測 | Laser welding quality determination method and quality determination device |
| JP5819727B2 (en) * | 2009-08-27 | 2015-11-24 | 株式会社Ｉｈｉ検査計測 | Laser welding quality determination method and quality determination device |
| JP2013504430A (en) * | 2009-09-11 | 2013-02-07 | フロニウス インターナショナル ゲゼルシャフト ミット ベシュレンクテル ハフツング | A monitoring module that monitors arc processes |
| US9056365B2 (en) | 2009-09-11 | 2015-06-16 | Fronius International Gmbh | Monitoring module for monitoring a process with an electric arc |
| CN103862168A (en) * | 2014-03-24 | 2014-06-18 | 北京工业大学 | Method and device for optimizing tight focusing light spot energy of femtosecond laser three-dimensional micromachining |
| JP2019195811A (en) * | 2018-05-07 | 2019-11-14 | 株式会社神戸製鋼所 | Weld monitoring device, weld monitoring method, and program |
| JP7059099B2 (en) | 2018-05-07 | 2022-04-25 | 株式会社神戸製鋼所 | Weld monitoring equipment, welding monitoring methods, and programs |
| CN109483017A (en) * | 2018-10-23 | 2019-03-19 | 东莞理工学院 | A kind of seam tracking system and its optimization method based on image recognition |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009034731A (en) | Weld zone visualizing apparatus | |
| JP4179558B2 (en) | Laser welding quality evaluation method and apparatus | |
| KR20090026937A (en) | Integrated surveillance system diplaying a plural of event images and method using the same | |
| JP2004132881A (en) | Method for inspecting arrangement structure | |
| JP4324052B2 (en) | Laser welding quality evaluation method | |
| JP5679912B2 (en) | Welding abnormality detection method and welding abnormality detection device | |
| JP4678116B2 (en) | Welding control apparatus and method | |
| JP2007330987A (en) | Apparatus and method for analyzing welding condition using weld zone visualizing apparatus | |
| JP5691764B2 (en) | Abandoned or removed detection system | |
| JP2007049631A (en) | Imaging apparatus | |
| JP4240220B2 (en) | Laser welding quality inspection method and apparatus | |
| JP5158993B2 (en) | Residual oxide detection and classification device in metal plate production line | |
| JP2004249312A (en) | Instrument and method for observing laser beam welding conditions | |
| JP2001183302A (en) | Apparatus for inspecting surface of steel strip | |
| WO2023280679A1 (en) | Automatic seam detection for a welding process | |
| JPH05240805A (en) | Surface defect detecting device | |
| JP2003220480A (en) | Laser beam welding machine and laser beam welding method | |
| JP4147390B2 (en) | Laser welding quality inspection method and apparatus | |
| JP2004066267A (en) | Method and device for inspecting laser welding quality | |
| JP2002205166A (en) | Display for welding state | |
| JPH10206127A (en) | Shape measuring apparatus for weld of steel strip | |
| JP6452507B2 (en) | Laser welding equipment | |
| JP2000331162A (en) | Image processor | |
| JPH07270335A (en) | Method and device for imaging inspection | |
| JP7435543B2 (en) | Laser welding system and laser welding control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110225 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110713 |