JP7507359B2 - Welding condition setting support device - Google Patents

Welding condition setting support device Download PDF

Info

Publication number
JP7507359B2
JP7507359B2 JP2022521823A JP2022521823A JP7507359B2 JP 7507359 B2 JP7507359 B2 JP 7507359B2 JP 2022521823 A JP2022521823 A JP 2022521823A JP 2022521823 A JP2022521823 A JP 2022521823A JP 7507359 B2 JP7507359 B2 JP 7507359B2
Authority
JP
Japan
Prior art keywords
sputter
region
candidate
reflected light
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022521823A
Other languages
Japanese (ja)
Other versions
JPWO2021230078A1 (en
Inventor
暁靖 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2021230078A1 publication Critical patent/JPWO2021230078A1/ja
Application granted granted Critical
Publication of JP7507359B2 publication Critical patent/JP7507359B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • Image Analysis (AREA)

Description

本開示は、ワークと電極との間に電圧を印加することでワークと電極との間にアークを発生させてアーク溶接を行う際に溶接条件の設定を支援する装置に関するものである。 The present disclosure relates to an apparatus that assists in setting welding conditions when performing arc welding by applying a voltage between the workpiece and the electrode to generate an arc between the workpiece and the electrode.

特許文献１に開示された溶接条件設定支援装置は、アーク溶接時にワークを撮影した複数の各入力画像に対し、各入力画像に含まれる画素の明るさを示す画素値に基づいてスパッタの検出を行い、検出したスパッタの数を特定する。The welding condition setting support device disclosed in Patent Document 1 detects spatters for each of multiple input images taken of the workpiece during arc welding based on pixel values indicating the brightness of the pixels contained in each input image, and identifies the number of detected spatters.

国際公開第２０１９／２３９６４４号International Publication No. 2019/239644

しかし、上記特許文献１では、各入力画像に含まれる画素の明るさを示す画素値に基づいてスパッタを検出するので、アーク光の周辺機器からの反射光をスパッタとして誤って検出し、スパッタの数を正確に特定できなくなる場合がある。しかしながら、特許文献１では、かかる問題に対して何ら対策を講じていない。However, in the above-mentioned Patent Document 1, spatters are detected based on pixel values indicating the brightness of pixels contained in each input image, so reflected light from peripheral equipment of the arc light may be mistakenly detected as spatters, making it impossible to accurately identify the number of spatters. However, Patent Document 1 does not take any measures to address this problem.

本開示は、かかる点に鑑みてなされたものであり、その目的とするところは、入力画像のスパッタの数をより正確に特定できるようにすることにある。This disclosure has been made in consideration of these points, and its purpose is to make it possible to more accurately identify the number of spatters in an input image.

本開示の一態様では、ワークと電極との間に電圧を印加することでワークと電極との間にアークを発生させてアーク溶接を行う際に溶接条件の設定を支援する装置であって、前記アーク溶接時に前記ワークを撮影した複数の各入力画像に対し、当該入力画像に含まれる画素の明るさを示す画素値に基づいて、スパッタ候補領域の検出を行うスパッタ候補領域検出ステップと、前記スパッタ候補領域検出ステップにおいて検出されたスパッタ候補領域から、アーク光の反射光が写った反射光領域を、各スパッタ候補領域に含まれる所定の参照画素の色情報に基づいて特定する反射光領域特定ステップと、前記スパッタ候補領域検出ステップで検出された各入力画像のスパッタ候補領域のうち、前記反射光領域特定ステップで特定された反射光領域を除いたスパッタ候補領域の数を、各入力画像のスパッタ数として特定するスパッタ数特定ステップとを実行する画像処理部を備えている。In one aspect of the present disclosure, an apparatus for assisting in setting welding conditions when performing arc welding by applying a voltage between a workpiece and an electrode to generate an arc between the workpiece and the electrode includes an image processing unit that executes the following steps: a sputter candidate area detection step for detecting a sputter candidate area for each of a plurality of input images taken of the workpiece during arc welding, based on pixel values indicating the brightness of pixels contained in the input image; a reflected light area identification step for identifying a reflected light area in which the reflected light of the arc light is captured from the sputter candidate areas detected in the sputter candidate area detection step, based on color information of a predetermined reference pixel contained in each sputter candidate area; and a sputter number identification step for identifying the number of sputter candidate areas in each input image, excluding the reflected light areas identified in the reflected light area identification step, from among the sputter candidate areas in each input image detected in the sputter candidate area detection step, as the number of sputters in each input image.

この態様によると、スパッタ候補領域検出ステップにおいて、アーク光の周辺機器からの反射光が写った領域をスパッタ候補領域として検出しても、スパッタ候補領域検出ステップにおいて検出したスパッタ候補領域のうち、アーク光の反射光が写った反射光領域を除いたスパッタ候補領域の数をスパッタ数として特定するので、入力画像のスパッタの数をより正確に特定できる。 According to this aspect, even if an area in which reflected light from peripheral equipment of the arc light is captured is detected as a sputter candidate area in the sputter candidate area detection step, the number of sputter candidate areas detected in the sputter candidate area detection step, excluding the reflected light areas in which reflected light of the arc light is captured, is identified as the number of sputters, so that the number of sputters in the input image can be identified more accurately.

本開示に係る溶接条件設定支援装置によれば、入力画像のスパッタの数をより正確に特定できる。 The welding condition setting support device disclosed herein can more accurately identify the number of spatters in the input image.

図１は、本開示の実施形態に係る溶接条件設定支援装置としてのコンピュータを備えた溶接システムの概略構成を示す図である。FIG. 1 is a diagram showing a schematic configuration of a welding system including a computer as a welding condition setting support device according to an embodiment of the present disclosure. 図２は、アーク溶接時に発生するスパッタを示す説明図である。FIG. 2 is an explanatory diagram showing spatters generated during arc welding. 図３は、本開示の実施形態に係る溶接条件設定支援装置としてのコンピュータを用いてスパッタ数を特定する手順を示すフローチャートである。FIG. 3 is a flowchart showing a procedure for identifying the number of spatters using a computer as a welding condition setting support device according to an embodiment of the present disclosure. 図４は、検出されるスパッタを例示する説明図である。FIG. 4 is an explanatory diagram illustrating an example of detected sputters. 図５は、第１のリスト修正処理の手順を示すフローチャートである。FIG. 5 is a flowchart showing the procedure of the first list modification process. 図６は、背景輝点領域除去処理の手順を示すフローチャートである。FIG. 6 is a flowchart showing the procedure of the background bright spot region removal process. 図７は、反射光領域除去処理の手順を示すフローチャートである。FIG. 7 is a flowchart showing the procedure of the reflected light area removal process. 図８は、加工画像を例示する説明図である。FIG. 8 is an explanatory diagram illustrating an example of a processed image.

以下、本開示の実施形態について図面に基づいて説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本開示、その適用物或いはその用途を制限することを意図するものでは全くない。Hereinafter, an embodiment of the present disclosure will be described with reference to the drawings. The following description of the preferred embodiment is merely exemplary in nature and is in no way intended to limit the present disclosure, its application, or its uses.

図１は、溶接システム１００を示す。この溶接システム１００は、溶接ロボット１１０と、ビデオカメラ１２０と、当該ビデオカメラ１２０に収容されるメモリカード１３０と、本開示の実施形態に係る溶接条件設定支援装置としてのコンピュータ１４０と、当該コンピュータ１４０に接続されたカードリーダ１５０とを備えている。 Figure 1 shows a welding system 100. This welding system 100 includes a welding robot 110, a video camera 120, a memory card 130 housed in the video camera 120, a computer 140 as a welding condition setting support device according to an embodiment of the present disclosure, and a card reader 150 connected to the computer 140.

溶接ロボット１１０は、図２にも示すように、溶接ワイヤ１６０を保持可能な溶接トーチ１１１を備え、溶接治具（クランプ）に保持されたワーク１７０と溶接トーチ１１１に保持された電極としての溶接ワイヤ１６０との間に電圧を印加することで、ワーク１７０と溶接ワイヤ１６０との間にアークＡを発生させてアーク溶接を行う。アーク溶接時には、ワーク１７０の被溶接部分が溶融して溶融池１７１が形成され、溶融池１７１からスパッタＳＰが飛散する。なお、溶接トーチ１１１の先端には、シールドガスを噴出するための噴出穴（図示せず）が設けられている。2, the welding robot 110 is equipped with a welding torch 111 capable of holding a welding wire 160, and performs arc welding by applying a voltage between a workpiece 170 held by a welding jig (clamp) and the welding wire 160 as an electrode held by the welding torch 111 to generate an arc A between the workpiece 170 and the welding wire 160. During arc welding, the welded portion of the workpiece 170 melts to form a molten pool 171, and spatter SP scatters from the molten pool 171. The tip of the welding torch 111 is provided with an ejection hole (not shown) for ejecting shielding gas.

ビデオカメラ１２０は、ワーク１７０全体を含むスパッタＳＰの飛散領域全体をＮＤ（Neutral Density）フィルタ（図示せず）を介して撮影可能な位置に設置され、撮影した動画をメモリカード１３０に保存する。なお、ビデオカメラ１２０のフレームレート（撮影速度）は、６０ｆｐｓに設定されている。また、ビデオカメラ１２０のピント、絞り、及び電子シャッターのシャッタースピードは固定されている。The video camera 120 is installed in a position where it can capture the entire scattering area of the sputter SP, including the entire workpiece 170, through an ND (Neutral Density) filter (not shown), and the captured video is saved in the memory card 130. The frame rate (shooting speed) of the video camera 120 is set to 60 fps. The focus, aperture, and electronic shutter speed of the video camera 120 are fixed.

コンピュータ１４０は、コンピュータ本体１４１と、ディスプレイ１４２とを備えている。コンピュータ本体１４１は、記憶部１４１ａと画像処理部１４１ｂとを備えている。The computer 140 includes a computer main body 141 and a display 142. The computer main body 141 includes a memory unit 141a and an image processing unit 141b.

コンピュータ本体１４１の記憶部１４１ａは、スパッタＳＰが写っている複数枚の画像と、スパッタＳＰが写っていない複数枚の画像とを教師データとした教師あり学習によって生成された学習済みモデルを記憶する。学習済みモデルを生成するための教師あり学習の手法としては、例えば、ディープラーニングが用いられる。また、記憶部１４１ａは、ビデオカメラ１２０により撮影された動画と、当該動画を分割して得られる静止画像とをさらに記憶する。The storage unit 141a of the computer main body 141 stores a trained model generated by supervised learning using multiple images showing spatter SP and multiple images not showing spatter SP as training data. For example, deep learning is used as a method of supervised learning for generating the trained model. The storage unit 141a further stores a video captured by the video camera 120 and still images obtained by dividing the video.

コンピュータ本体１４１の画像処理部１４１ｂは、カードリーダ１５０に挿入されたメモリカード１３０に保存された動画を読み出し、記憶部１４１ａに保存する。また、画像処理部１４１ｂは、記憶部１４１ａに保存された動画を静止画像（フレーム）に分割して入力画像として記憶部１４１ａに保存する。さらに、画像処理部１４１ｂは、記憶部１４１ａに保存された複数の各入力画像に対して所定の加工を施した加工画像Ｉ（図８参照）を生成する。加工画像Ｉの生成方法の詳細については後述する。The image processing unit 141b of the computer main body 141 reads out the video stored in the memory card 130 inserted in the card reader 150 and stores it in the storage unit 141a. The image processing unit 141b also divides the video stored in the storage unit 141a into still images (frames) and stores them in the storage unit 141a as input images. Furthermore, the image processing unit 141b generates a processed image I (see FIG. 8) by performing a predetermined processing on each of the multiple input images stored in the storage unit 141a. The method of generating the processed image I will be described in detail later.

ディスプレイ１４２は、コンピュータ本体１４１の画像処理部１４１ｂにより生成された加工画像Ｉを表示する。 The display 142 displays the processed image I generated by the image processing unit 141b of the computer main body 141.

以下、溶接システム１００の溶接条件を設定する手順について、図３を参照して説明する。 Below, the procedure for setting welding conditions for the welding system 100 is explained with reference to Figure 3.

まず、（Ｓ１０１）で、ユーザが、溶接ロボット１１０にアーク溶接を行わせた状態で、ビデオカメラ１２０に撮影を実行させ、撮影した動画をメモリカード１３０に保存させる。これにより、アーク溶接時におけるワーク１７０全体を含むスパッタＳＰの飛散領域全体の動画がメモリカード１３０に保存される。このとき、撮影及び保存される動画のフレームレートは、６０ｆｐｓとなる。 First, in (S101), while the user is having the welding robot 110 perform arc welding, the user causes the video camera 120 to record and store the recorded video on the memory card 130. As a result, a video of the entire scattering area of the spatter SP, including the entire workpiece 170 during arc welding, is stored on the memory card 130. At this time, the frame rate of the video recorded and stored is 60 fps.

次に、（Ｓ１０２）で、ユーザが、メモリカード１３０をビデオカメラ１２０から取り出してカードリーダ１５０に挿入し、メモリカード１３０に保存された動画をカードリーダ１５０からコンピュータ本体１４１に転送させる。そして、コンピュータ本体１４１の画像処理部１４１ｂが、カードリーダ１５０から転送された動画を受信し、記憶部１４１ａに保存する。Next, in (S102), the user removes the memory card 130 from the video camera 120 and inserts it into the card reader 150, causing the video stored in the memory card 130 to be transferred from the card reader 150 to the computer main body 141. Then, the image processing unit 141b of the computer main body 141 receives the video transferred from the card reader 150 and stores it in the memory unit 141a.

次に、（Ｓ１０３）で、ユーザが、コンピュータ本体１４１の画像処理部１４１ｂに、記憶部１４１ａに保存されたアーク溶接時の動画を複数の静止画像（フレーム）に分割させ、全静止画像を入力画像として記憶部１４１ａに保存させる。このとき、１秒分の動画あたり、６０枚の入力画像が記憶部１４１ａに保存される。各入力画像は、カラー画像であり、各画素の色は、ＲＧＢ色空間で定義される色情報によって表現される。Next, in (S103), the user causes the image processing unit 141b of the computer main body 141 to divide the video of arc welding stored in the memory unit 141a into multiple still images (frames) and store all the still images in the memory unit 141a as input images. At this time, 60 input images are stored in the memory unit 141a for each second of video. Each input image is a color image, and the color of each pixel is represented by color information defined in the RGB color space.

次に、（Ｓ１０４）で、画像処理部１４１ｂが、記憶部１４１ａに保存された入力画像のうち、まだグレースケール画像に変換していない入力画像をグレースケール画像に変換する。Next, in (S104), the image processing unit 141b converts into grayscale images those input images stored in the memory unit 141a that have not yet been converted into grayscale images.

次に、（Ｓ１０５）で、画像処理部１４１ｂは、（Ｓ１０４）で得られたグレースケール画像に対し、画素値が所定の閾値Ｇｓ以下の画素の画素値を、黒を示す値（０）に変換する処理を施し、スパッタ検出対象画像ＩＭとする。これにより、明るさを示す画素値が所定の閾値Ｇｓを超える画素が、黒以外の画素として特定される。そして、例えば図４に示すように、スパッタ検出対象画像ＩＭにおける黒以外の画素が複数個連続する高輝度領域ＨＲを含むスパッタ候補領域ＳＲを検出する（スパッタ候補領域検出ステップ）。図４中、ＰＢは黒の画素、ＰＷは黒以外の画素を示す。スパッタ候補領域ＳＲは、正方形の領域である。高輝度領域ＨＲは、スパッタ候補領域ＳＲの外周部を除く領域に位置する。図４の例では、高輝度領域ＨＲは、スパッタ候補領域ＳＲの中央に位置している。ここでのスパッタ候補領域ＳＲの検出は、記憶部１４１ａに記憶された学習済みモデルを用いて行う。そして、検出した全てのスパッタ候補領域ＳＲを特定する第１のスパッタリストＬｉｓｔＧｓを作成する。Next, in (S105), the image processing unit 141b performs a process on the grayscale image obtained in (S104) to convert the pixel values of pixels whose pixel values are equal to or less than a predetermined threshold value Gs to a value (0) indicating black, and obtains a sputter detection target image IM. As a result, pixels whose pixel values indicating brightness exceed a predetermined threshold value Gs are identified as non-black pixels. Then, as shown in FIG. 4, for example, a sputter candidate region SR including a high-brightness region HR in which multiple non-black pixels are consecutive in the sputter detection target image IM is detected (sputter candidate region detection step). In FIG. 4, PB indicates black pixels, and PW indicates non-black pixels. The sputter candidate region SR is a square region. The high-brightness region HR is located in an area excluding the outer periphery of the sputter candidate region SR. In the example of FIG. 4, the high-brightness region HR is located in the center of the sputter candidate region SR. The detection of the sputter candidate region SR here is performed using a learned model stored in the memory unit 141a. Then, a first sputter list ListGs is created that identifies all the detected sputter candidate regions SR.

次に、（Ｓ１０６）で、画像処理部１４１ｂは、（Ｓ１０４）で得られたグレースケール画像に対し、画素値が所定の閾値Ｇｍ以下の画素の画素値を、黒を示す値（０）に変換する処理を施す。そして、処理後の画像における黒以外の画素が複数個連続する高輝度領域ＨＲを含むスパッタ候補領域ＳＲを検出する。ここでのスパッタ候補領域ＳＲの検出も、記憶部１４１ａに記憶された学習済みモデルを用いて行う。なお、閾値Ｇｍは、閾値Ｇｓよりも大きい値に設定される。そして、検出した全てのスパッタ候補領域ＳＲを特定する第２のスパッタリストＬｉｓｔＧｍを作成する。Next, in (S106), the image processing unit 141b processes the grayscale image obtained in (S104) by converting the pixel values of pixels whose pixel values are equal to or less than a predetermined threshold value Gm to a value (0) indicating black. Then, sputter candidate regions SR including high-luminance regions HR in which multiple non-black pixels are consecutive in the processed image are detected. The detection of the sputter candidate regions SR here is also performed using the trained model stored in the memory unit 141a. Note that the threshold value Gm is set to a value greater than the threshold value Gs. Then, a second sputter list ListGm is created that identifies all the detected sputter candidate regions SR.

次に、（Ｓ１０７）で、画像処理部１４１ｂは、（Ｓ１０４）で得られたグレースケール画像に対し、画素値が所定の閾値Ｇｌ以下の画素の画素値を、黒を示す値（０）に変換する処理を施す。そして、処理後の画像における黒以外の画素が複数個連続する高輝度領域ＨＲを含むスパッタ候補領域ＳＲを検出する。ここでのスパッタ候補領域ＳＲの検出も、記憶部１４１ａに記憶された学習済みモデルを用いて行う。なお、閾値Ｇｌは、閾値Ｇｍよりも大きい値に設定される。そして、検出した全てのスパッタ候補領域ＳＲを特定する第３のスパッタリストＬｉｓｔＧｌを作成する。なお、第１～第３のスパッタリストＬｉｓｔＧｓ，ＬｉｓｔＧｍ，ＬｉｓｔＧｌでは、左上の画素Ｐの座標と、横方向の長さＸ及び縦方向の長さＹとによりスパッタ候補領域ＳＲが特定されている。Next, in (S107), the image processing unit 141b performs a process on the grayscale image obtained in (S104) to convert the pixel values of pixels whose pixel values are equal to or less than a predetermined threshold value Gl to a value (0) indicating black. Then, in the processed image, sputter candidate regions SR including high-luminance regions HR in which multiple non-black pixels are consecutive are detected. The detection of the sputter candidate regions SR here is also performed using the trained model stored in the memory unit 141a. Note that the threshold value Gl is set to a value greater than the threshold value Gm. Then, a third sputter list ListGl is created to identify all the detected sputter candidate regions SR. Note that in the first to third sputter lists ListGs, ListGm, and ListGl, the sputter candidate regions SR are identified by the coordinates of the upper left pixel P, the horizontal length X, and the vertical length Y.

ここで、スパッタＳＰは、そのサイズが大きくなる程、その明るさも大きくなるので、（Ｓ１０５）～（Ｓ１０７）で特定されるスパッタ候補領域ＳＲに写ったスパッタＳＰは、それぞれ閾値Ｇｓ，Ｇｍ，Ｇｌに応じたサイズよりも大きいスパッタＳＰとなる。Here, the larger the size of the sputter SP, the brighter it becomes, so the sputter SP reflected in the sputter candidate region SR identified in (S105) to (S107) will be a sputter SP larger in size than the threshold values Gs, Gm, and Gl, respectively.

次に、（Ｓ１０８）で、画像処理部１４１ｂは、第１のスパッタリストＬｉｓｔＧｓで特定されるスパッタ候補領域ＳＲから、第２のスパッタリストＬｉｓｔＧｍで特定されるスパッタ候補領域ＳＲを除いたスパッタ候補領域ＳＲを特定する小スパッタリストＳｍａｌｌＳを作成する。Next, in (S108), the image processing unit 141b creates a small sputter list SmallS that identifies the sputter candidate regions SR identified in the first sputter list ListGs, excluding the sputter candidate regions SR identified in the second sputter list ListGm.

続いて、（Ｓ１０９）で、画像処理部１４１ｂは、第２のスパッタリストＬｉｓｔＧｍで特定されるスパッタ候補領域ＳＲから、第３のスパッタリストＬｉｓｔＧｌで特定されるスパッタ候補領域ＳＲを除いたスパッタ候補領域ＳＲを特定する中スパッタリストＭｉｄｄｌｅＳを作成する。Next, in (S109), the image processing unit 141b creates a middle sputter list MiddleS that identifies the sputter candidate regions SR identified in the second sputter list ListGm, excluding the sputter candidate regions SR identified in the third sputter list ListGl.

続いて、（Ｓ１１０）で、画像処理部１４１ｂは、第３のスパッタリストＬｉｓｔＧｌを、そのまま大スパッタリストＬａｒｇｅＳとする。 Next, in (S110), the image processing unit 141b sets the third sputter list ListGl as the large sputter list LargeS as is.

次に、（Ｓ１１１）で、画像処理部１４１ｂが、グレースケール画像への変換（（Ｓ１０４）～（Ｓ１１０）の処理）をまだ行っていない入力画像（フレーム）が記憶部１４１ａに残っているか否かを判定する。そして、残っている場合には、（Ｓ１０４）に戻る一方、残っていない場合には、（Ｓ１１２）に進む。Next, in (S111), the image processing unit 141b determines whether or not there are any input images (frames) remaining in the memory unit 141a that have not yet been converted to a grayscale image (processing (S104) to (S110)). If there are, the process returns to (S104); if there are no input images remaining, the process proceeds to (S112).

そして、（Ｓ１１２）では、画像処理部１４１ｂが、以下の第１のリスト修正処理を行う。 Then, in (S112), the image processing unit 141b performs the following first list modification process.

図５は、（Ｓ１１２）で行う第１のリスト修正処理の手順を示す。 Figure 5 shows the steps of the first list modification process performed in (S112).

（Ｓ１１２）では、まず、（Ｓ２０１）において、画像処理部１４１ｂが、記憶部１４１ａに保存された全入力画像で検出された全てのスパッタ候補領域ＳＲの中心座標を検出する。つまり、画像処理部１４１ｂは、全入力画像の第１のスパッタリストＬｉｓｔＧｓで特定される全てのスパッタ候補領域ＳＲの中心座標を算出する。In (S112), first, in (S201), the image processing unit 141b detects the central coordinates of all sputter candidate regions SR detected in all input images stored in the memory unit 141a. In other words, the image processing unit 141b calculates the central coordinates of all sputter candidate regions SR identified in the first sputter list ListGs of all input images.

次に、（Ｓ２０２）において、画像処理部１４１ｂが、入力画像上の各位置（座標）について、（Ｓ２０１）でスパッタ候補領域ＳＲの中心座標として算出される回数をスパッタ検出回数として算出し、当該スパッタ検出回数の分布を記憶する。Next, in (S202), the image processing unit 141b calculates the number of times that each position (coordinate) on the input image is calculated as the central coordinate of the sputter candidate region SR in (S201) as the sputter detection count, and stores the distribution of the sputter detection counts.

次に、（Ｓ２０３）において、画像処理部１４１ｂが、（Ｓ２０２）で算出されるスパッタ検出回数が、所定の基準回数以上となる入力画像上の座標（位置）を背景輝点として特定する。そして、背景輝点の座標を特定する背景輝点座標リストを作成する。Next, in (S203), the image processing unit 141b identifies, as background bright spots, the coordinates (positions) on the input image where the number of spatter detections calculated in (S202) is equal to or greater than a predetermined reference number. Then, a background bright spot coordinate list is created to identify the coordinates of the background bright spots.

次に、（Ｓ２０４）において、画像処理部１４１ｂが、記憶部１４１ａに保存された全入力画像に対し、（Ｓ２０３）で作成された背景輝点座標リストにその中心座標が存在するスパッタ候補領域ＳＲを、小スパッタリストＳｍａｌｌＳ、中スパッタリストＭｉｄｄｌｅＳ、及び大スパッタリストＬａｒｇｅＳから除く背景輝点領域除去処理を行う。つまり、当該背景輝点領域除去処理によって除かれるスパッタ候補領域ＳＲは、全入力画像の第１のスパッタリストＬｉｓｔＧｓで特定される全てのスパッタ候補領域ＳＲのうち、スパッタ候補領域ＳＲとしての検出回数が所定の基準回数以上となる領域となる。Next, in (S204), the image processing unit 141b performs background bright spot area removal processing for all input images stored in the memory unit 141a, removing from the small sputter list SmallS, the medium sputter list MiddleS, and the large sputter list LargeS the sputter candidate areas SR whose center coordinates exist in the background bright spot coordinate list created in (S203). In other words, the sputter candidate areas SR removed by the background bright spot area removal processing are areas that, among all sputter candidate areas SR identified in the first sputter list ListGs of all input images, have been detected as sputter candidate areas SR a predetermined number of times or more.

ここで、小スパッタリストＳｍａｌｌＳに対する背景輝点領域除去処理の具体的な手順を、図６を参照して説明する。中スパッタリストＭｉｄｄｌｅＳ、及び大スパッタリストＬａｒｇｅＳに対する背景輝点領域除去処理も同様の手順によって行われる。Here, the specific procedure for removing background bright spot areas from the small sputter list SmallS will be described with reference to Figure 6. The background bright spot area removal process for the medium sputter list MiddleS and the large sputter list LargeS is also performed using a similar procedure.

まず、（Ｓ３０１）において、画像処理部１４１ｂが、ｋ＝０と設定する。 First, in (S301), the image processing unit 141b sets k = 0.

次に、（Ｓ３０２）において、画像処理部１４１ｂが、ｋ＝ｋ＋１と設定する。Next, in (S302), the image processing unit 141b sets k = k + 1.

次に、（Ｓ３０３）において、画像処理部１４１ｂが、小スパッタリストＳｍａｌｌＳのｋ番目のスパッタ候補領域ＳＲの中心座標が背景輝点座標リストに存在するか否かを判定する。ｋ番目のスパッタ候補領域ＳＲの中心座標が背景輝点座標リストに存在しない場合には、（Ｓ３０５）に進み、存在する場合には、小スパッタリストＳｍａｌｌＳのｋ番目のスパッタ候補領域ＳＲを、背景輝点領域として特定し、（Ｓ３０４）に進む。Next, in (S303), the image processing unit 141b determines whether the center coordinates of the kth sputter candidate region SR in the small sputter list SmallS are present in the background bright spot coordinate list. If the center coordinates of the kth sputter candidate region SR are not present in the background bright spot coordinate list, the process proceeds to (S305); if present, the kth sputter candidate region SR in the small sputter list SmallS is identified as a background bright spot region, and the process proceeds to (S304).

（Ｓ３０４）では、画像処理部１４１ｂが、ｋ番目のスパッタ候補領域ＳＲを小スパッタリストＳｍａｌｌＳから削除する。In (S304), the image processing unit 141b deletes the kth sputter candidate region SR from the small sputter list SmallS.

（Ｓ３０５）では、画像処理部１４１ｂが、（Ｓ３０３）の判定を小スパッタリストＳｍａｌｌＳのすべてのスパッタ候補領域ＳＲに対して行ったか否かを判定し、行っていない場合には（Ｓ３０２）に戻り、行った場合には、背景輝点領域除去処理を終了する。In (S305), the image processing unit 141b determines whether the judgment of (S303) has been performed on all sputter candidate regions SR in the small sputter list SmallS, and if not, returns to (S302), and if so, terminates the background bright spot region removal process.

次に、（Ｓ１１３）において、画像処理部１４１ｂが、全入力画像について、以下の第２のリスト修正処理を行う。第２のリスト修正処理は、第１のリスト修正処理後の小スパッタリストＳｍａｌｌＳ、中スパッタリストＭｉｄｄｌｅＳ、及び大スパッタリストＬａｒｇｅＳに対し、以下の反射光領域除去処理を行うものである。Next, in (S113), the image processing unit 141b performs the following second list correction process for all input images. The second list correction process performs the following reflected light region removal process for the small sputter list SmallS, the medium sputter list MiddleS, and the large sputter list LargeS after the first list correction process.

ここで、小スパッタリストＳｍａｌｌＳに対する反射光領域除去処理の具体的な手順を、図７を参照して説明する。中スパッタリストＭｉｄｄｌｅＳ、及び大スパッタリストＬａｒｇｅＳに対する反射光領域除去処理も同様の手順によって行われる。Here, the specific procedure for the reflected light region removal process for the small sputter list SmallS will be described with reference to Figure 7. The reflected light region removal process for the medium sputter list MiddleS and the large sputter list LargeS is also performed using a similar procedure.

まず、（Ｓ４０１）において、画像処理部１４１ｂが、記憶部１４１ａに保存された小スパッタリストＳｍａｌｌＳで特定される全てのスパッタ候補領域ＳＲの中心座標を算出する。First, in (S401), the image processing unit 141b calculates the central coordinates of all sputter candidate regions SR identified in the small sputter list SmallS stored in the memory unit 141a.

次に、（Ｓ４０２）において、画像処理部１４１ｂが、小スパッタリストＳｍａｌｌＳで特定される全てのスパッタ候補領域ＳＲについて、（Ｓ４０１）で算出された中心座標周りの所定の参照画素ＣＰ（図４参照）の色情報の赤色成分の平均値、緑色成分の平均値、及び青色成分の平均値を算出する。ここで、参照画素ＣＰは、スパッタ候補領域ＳＲと中心を共通とする正方形の平均値算出領域ＡＲに含まれるすべての画素である。平均値算出領域ＡＲの面積は、スパッタ候補領域ＳＲの面積の９０％に設定されている。Next, in (S402), the image processing unit 141b calculates the average value of the red component, the average value of the green component, and the average value of the blue component of the color information of a predetermined reference pixel CP (see FIG. 4) around the central coordinate calculated in (S401) for all sputter candidate regions SR identified in the small sputter list SmallS. Here, the reference pixel CP is all pixels included in a square average calculation region AR that shares a common center with the sputter candidate region SR. The area of the average calculation region AR is set to 90% of the area of the sputter candidate region SR.

次に、（Ｓ４０３）において、画像処理部１４１ｂが、ｎ＝０と設定する。Next, in (S403), the image processing unit 141b sets n=0.

次に、（Ｓ４０４）において、画像処理部１４１ｂが、ｎ＝ｎ＋１と設定する。Next, in (S404), the image processing unit 141b sets n=n+1.

そして、（Ｓ４０５）において、画像処理部１４１ｂが、小スパッタリストＳｍａｌｌＳのｎ番目のスパッタ候補領域ＳＲについて、（Ｓ４０２）における算出結果を参照し、参照画素ＣＰの色情報の緑色成分の平均値Ｇａｖｅが、第１設定値αと参照画素ＣＰの色情報の赤色成分の平均値Ｒａｖｅとの積よりも大きく、かつ参照画素ＣＰの色情報の青色成分の平均値Ｂａｖｅが、第２設定値βと参照画素ＣＰの色情報の赤色成分の平均値Ｒａｖｅとの積よりも大きいという条件を満たすか否かを判定する。第１設定値α、及び第２設定値βは、１以上の値に設定される。好ましくは、第１設定値αは、１．３５以上、第２設定値βは、１．３１以上に設定される。そして、当該条件を満たす場合には、小スパッタリストＳｍａｌｌＳのｎ番目のスパッタ候補領域ＳＲを、アーク光の反射光が写った反射光領域として特定し、（Ｓ４０６）に進む。つまり、当該条件を満たすスパッタ候補領域ＳＲを、反射光領域として特定する。一方、当該条件を満たさない場合には、（Ｓ４０７）に進む。 Then, in (S405), the image processing unit 141b refers to the calculation result in (S402) for the nth sputter candidate region SR of the small sputter list SmallS, and determines whether the condition is satisfied that the average value Gave of the green component of the color information of the reference pixel CP is greater than the product of the first set value α and the average value Rave of the red component of the color information of the reference pixel CP, and the average value Bave of the blue component of the color information of the reference pixel CP is greater than the product of the second set value β and the average value Rave of the red component of the color information of the reference pixel CP. The first set value α and the second set value β are set to values of 1 or more. Preferably, the first set value α is set to 1.35 or more, and the second set value β is set to 1.31 or more. Then, if the condition is satisfied, the nth sputter candidate region SR of the small sputter list SmallS is identified as a reflected light region in which the reflected light of the arc light is captured, and proceeds to (S406). That is, the sputtering candidate region SR that satisfies the condition is specified as a reflected light region. On the other hand, if the condition is not satisfied, the process proceeds to (S407).

（Ｓ４０６）では、画像処理部１４１ｂが、小スパッタリストＳｍａｌｌＳからｎ番目のスパッタ候補領域ＳＲを削除する。In (S406), the image processing unit 141b deletes the nth sputter candidate region SR from the small sputter list SmallS.

（Ｓ４０７）では、画像処理部１４１ｂが、（Ｓ４０５）の判定を小スパッタリストＳｍａｌｌＳのすべてのスパッタ候補領域ＳＲに対して行ったか否かを判定し、行っていない場合には（Ｓ４０４）に戻り、行った場合には、反射光領域除去処理を終了する。In (S407), the image processing unit 141b determines whether the judgment of (S405) has been performed for all sputter candidate regions SR in the small sputter list SmallS, and if not, returns to (S404), and if so, terminates the reflected light region removal process.

次に、（Ｓ１１４）において、画像処理部１４１ｂが、修正処理後の小スパッタリストＳｍａｌｌＳで特定されるスパッタ候補領域ＳＲの数を、小さいスパッタＳＰのスパッタ数Ｓとして特定する。また、修正処理後の中スパッタリストＳｍａｌｌＭで特定されるスパッタ候補領域ＳＲの数を、中程度の大きさのスパッタＳＰのスパッタ数Ｍとして特定する。さらに、修正処理後の大スパッタリストＬａｒｇｅＳで特定されるスパッタ候補領域ＳＲの数を、大きいスパッタＳＰのスパッタ数Ｌとして特定する。このように、アークＡの光が、溶接治具（クランプ）、溶接トーチ１１１、溶接ロボット１１０の本体等の周辺機器から反射し、当該周辺機器からの反射光が写った領域を（Ｓ１０５）～（Ｓ１０７）でスパッタ候補領域ＳＲとして検出しても、（Ｓ１１２）で特定した背景輝点領域及び（Ｓ１１３）で特定した反射光領域が、小スパッタリストＳｍａｌｌＳ、中スパッタリストＭｉｄｄｌｅＳ、及び大スパッタリストＬａｒｇｅＳから除かれるので、スパッタ数Ｓ，Ｍ，Ｌをより正確に特定できる。Next, in (S114), the image processing unit 141b identifies the number of sputter candidate regions SR identified in the small sputter list SmallS after the correction process as the sputter number S of small sputters SP. Also, the number of sputter candidate regions SR identified in the medium sputter list SmallM after the correction process is identified as the sputter number M of medium-sized sputters SP. Furthermore, the number of sputter candidate regions SR identified in the large sputter list LargeS after the correction process is identified as the sputter number L of large sputters SP. In this way, even if the light of arc A is reflected from peripheral equipment such as the welding jig (clamp), welding torch 111, and the main body of welding robot 110, and the area in which the reflected light from the peripheral equipment is detected as a sputter candidate area SR in (S105) to (S107), the background bright spot area identified in (S112) and the reflected light area identified in (S113) are excluded from the small sputter list SmallS, medium sputter list MiddleS, and large sputter list LargeS, so the sputter numbers S, M, and L can be more accurately determined.

（Ｓ１１５）では、画像処理部１４１ｂが、スパッタ数Ｓ，Ｍ，Ｌの合計を合計スパッタ数Ｔとして特定する。さらに、画像処理部１４１ｂは、図８に示すように、各入力画像に対し、画像の左上の隅にスパッタ数Ｓ，Ｍ，Ｌ及び合計スパッタ数Ｔの表示を付与する加工と、（Ｓ１１２）及び（Ｓ１１３）での修正処理後の小スパッタリストＳｍａｌｌＳで特定されるスパッタ候補領域ＳＲを青色の矩形状の枠Ｆ１で囲み、（Ｓ１１２）及び（Ｓ１１３）での修正処理後の中スパッタリストＭｉｄｄｌｅＳで特定されるスパッタ候補領域ＳＲを黄色の矩形状の枠Ｆ２で囲み、かつ（Ｓ１１２）及び（Ｓ１１３）での修正処理後の大スパッタリストＬａｒｇｅＳで特定されるスパッタＳＰを赤色の矩形状の枠Ｆ３で囲む加工とを施した加工画像Ｉを生成する。なお、図８中、青色の枠Ｆ１を破線、黄色の枠Ｆ２を実線、赤色の枠Ｆ３を点線で示す。また、図８中、Ａ’は、アークＡの光及びヒュームから反射するアークＡの光を示す。合計スパッタ数Ｔは、第１のスパッタリストＬｉｓｔＧｓで特定されるスパッタ候補領域ＳＲから、３つのリストＳｍａｌｌＳ，ＭｉｄｄｌｅＳ，ＬａｒｇｅＳについて（Ｓ１１２）で特定された背景輝点領域と、３つのリストＳｍａｌｌＳ，ＭｉｄｄｌｅＳ，ＬａｒｇｅＳについて（Ｓ１１３）で特定された反射光領域とを除いたスパッタ候補領域ＳＲの数となる。In (S115), the image processing unit 141b specifies the sum of the sputter numbers S, M, and L as the total sputter number T. Furthermore, as shown in FIG. 8, the image processing unit 141b processes each input image by adding a display of the sputter numbers S, M, and L and the total sputter number T in the upper left corner of the image, and by surrounding the sputter candidate region SR specified in the small sputter list SmallS after the correction processing in (S112) and (S113) with a blue rectangular frame F1, surrounding the sputter candidate region SR specified in the medium sputter list MiddleS after the correction processing in (S112) and (S113) with a yellow rectangular frame F2, and surrounding the sputter SP specified in the large sputter list LargeS after the correction processing in (S112) and (S113) with a red rectangular frame F3 to generate a processed image I. In Fig. 8, the blue frame F1 is indicated by a dashed line, the yellow frame F2 by a solid line, and the red frame F3 by a dotted line. Also, in Fig. 8, A' indicates the light of the arc A and the light of the arc A reflected from the fumes. The total number of sputters T is the number of sputter candidate regions SR specified in the first sputter list ListGs, excluding the background bright spot regions specified in (S112) for the three lists SmallS, MiddleS, and LargeS, and the reflected light regions specified in (S113) for the three lists SmallS, MiddleS, and LargeS.

このように、（Ｓ１１２）～（Ｓ１１５）では、画像処理部１４１ｂが、（Ｓ１０５）で検出したスパッタ候補領域ＳＲから、アーク光の反射光が写った反射光領域を、各スパッタ候補領域ＳＲに含まれる所定の参照画素ＣＰの色情報に基づいて特定する反射光領域特定ステップと、（Ｓ１０５）でスパッタ候補領域ＳＲとして検出される回数が所定の基準回数以上となる領域を、背景輝点領域として特定する背景輝点領域特定ステップと、（Ｓ１０５）で検出したスパッタ候補領域ＳＲのうち、前記反射光領域特定ステップで特定された反射光領域と前記背景輝点領域特定ステップで特定された背景輝点領域とを除いたスパッタ候補領域ＳＲの数を、各入力画像の合計スパッタ数Ｔとして特定するスパッタ数特定ステップとを実行する。Thus, in steps (S112) to (S115), the image processing unit 141b executes a reflected light region identification step in which it identifies, from the sputter candidate regions SR detected in (S105), reflected light regions in which the reflected light of the arc light is captured, based on color information of a predetermined reference pixel CP contained in each sputter candidate region SR; a background bright spot region identification step in which it identifies, as background bright spot regions, regions that are detected as sputter candidate regions SR a predetermined number of times or more in (S105); and a sputter number identification step in which it identifies, from the sputter candidate regions SR detected in (S105), the number of sputter candidate regions SR excluding the reflected light regions identified in the reflected light region identification step and the background bright spot regions identified in the background bright spot region identification step, as the total sputter number T for each input image.

（Ｓ１１６）では、ディスプレイ１４２が、（Ｓ１１５）で生成された加工画像Ｉを表示する。ユーザは、ディスプレイ１４２に表示されたスパッタ数Ｓ，Ｍ，Ｌ、及び合計スパッタ数Ｔを参照することにより、ワーク１７０と溶接ワイヤ１６０との間に印加する電圧値等の溶接条件の適否を判定する。ユーザは、溶接条件を不適切と判定した場合には、大きいスパッタＳＰの数を減らすように溶接条件を変更し、（Ｓ１０１）～（Ｓ１１６）の処理を再度実行する。また、このときディスプレイ１４２にスパッタＳＰがその大きさに応じた色の枠Ｆ１，Ｆ２，Ｆ３を付して表示されるので、ユーザは、これら枠Ｆ１，Ｆ２，Ｆ３を参照することにより、ディスプレイ１４２に表示されるスパッタ数Ｓ，Ｍ，Ｌ，Ｔの信頼性を判断できる。In (S116), the display 142 displays the processed image I generated in (S115). The user judges whether the welding conditions, such as the voltage value applied between the workpiece 170 and the welding wire 160, are appropriate by referring to the spatter counts S, M, and L and the total spatter count T displayed on the display 142. If the user judges the welding conditions to be inappropriate, the user changes the welding conditions to reduce the number of large spatters SP, and executes the processes of (S101) to (S116) again. At this time, the spatters SP are displayed on the display 142 with frames F1, F2, and F3 of colors corresponding to their sizes, so that the user can judge the reliability of the spatter counts S, M, L, and T displayed on the display 142 by referring to these frames F1, F2, and F3.

ビデオカメラ１２０のフレームレートと溶接電流の周波数とが異なる場合等には、入力画像の撮影タイミングに、アーク光が発生しているとは限らない。したがって、撮影範囲にアーク光を反射させる周辺機器が存在するにも関わらず、当該周辺機器からの反射光が写った入力画像の数が少なくなり、（Ｓ１１２）において、当該周辺機器からの反射光が写る領域を、背景輝点領域として特定できない場合がある。しかし、このような場合でも、本実施形態では、各入力画像における反射光領域をスパッタ候補領域ＳＲの参照画素ＣＰの色情報に基づいて特定し、小スパッタリストＳｍａｌｌＳ、中スパッタリストＭｉｄｄｌｅＳ、及び大スパッタリストＬａｒｇｅＳから背景輝点領域と反射光領域の両方を除くので、背景輝点領域だけを除く場合に比べ、スパッタ数Ｓ，Ｍ，Ｌをより正確に特定できる。In cases where the frame rate of the video camera 120 and the frequency of the welding current are different, the arc light is not necessarily generated at the time of capturing the input image. Therefore, even if there is a peripheral device that reflects the arc light in the capture range, the number of input images that capture the reflected light from the peripheral device is reduced, and in (S112), the area in which the reflected light from the peripheral device is captured may not be identified as the background bright spot area. However, even in such cases, in this embodiment, the reflected light area in each input image is identified based on the color information of the reference pixel CP of the sputter candidate area SR, and both the background bright spot area and the reflected light area are excluded from the small sputter list SmallS, the medium sputter list MiddleS, and the large sputter list LargeS, so that the sputter numbers S, M, and L can be identified more accurately than when only the background bright spot area is excluded.

また、撮影範囲に存在する周辺機器に、機械のパイロットランプを構成する赤色ＬＥＤ（Light Emitting Diode）の光や、日光等、常時点灯している光源からの赤っぽい色の外部光が当たる場合、（Ｓ１１３）において、このような赤っぽい色の外部光の反射光が写る領域を、反射光領域として特定できない場合がある。しかし、このような場合でも、本実施形態では、スパッタ候補領域ＳＲとしての検出回数が所定の基準回数以上となる背景輝点領域を特定し、小スパッタリストＳｍａｌｌＳ、中スパッタリストＭｉｄｄｌｅＳ、及び大スパッタリストＬａｒｇｅＳから背景輝点領域と反射光領域の両方を除くので、反射光領域だけを除く場合に比べ、スパッタ数Ｓ，Ｍ，Ｌをより正確に特定できる。In addition, when a peripheral device present within the shooting range is illuminated with reddish external light from a light source that is constantly on, such as the light of a red LED (Light Emitting Diode) constituting the machine's pilot lamp or sunlight, the area in which the reflected light of such reddish external light is captured may not be identified as a reflected light area in (S113). However, even in such a case, in this embodiment, a background bright spot area that has been detected as a sputter candidate area SR more than a predetermined reference number of times is identified, and both the background bright spot area and the reflected light area are excluded from the small sputter list SmallS, the medium sputter list MiddleS, and the large sputter list LargeS, so that the sputter counts S, M, and L can be identified more accurately than when only the reflected light area is excluded.

また、一般にアークＡは、５０００～２００００℃程度であり、青白い光を発生する。一方、スパッタＳＰは、アークＡに比べて低い７００～１３００℃程度であり、赤っぽい色の光を発生する。したがって、本実施形態によると、参照画素ＣＰの色情報の緑色成分の平均値が、第１設定値αと赤色成分の平均値との積よりも大きく、かつ参照画素ＣＰの色情報の青色成分の平均値が、第２設定値βと赤色成分の平均値との積よりも大きいスパッタ候補領域ＳＲを反射光領域として特定するので、スパッタＳＰではなくアークＡの反射光が写ったスパッタ候補領域ＳＲを反射光領域として特定しやすい。 In addition, arc A is generally at about 5000 to 20000°C and generates a bluish-white light. On the other hand, sputter SP is at about 700 to 1300°C, which is lower than arc A, and generates a reddish light. Therefore, according to this embodiment, the sputter candidate region SR in which the average value of the green component of the color information of the reference pixel CP is greater than the product of the first set value α and the average value of the red component, and the average value of the blue component of the color information of the reference pixel CP is greater than the product of the second set value β and the average value of the red component, is identified as the reflected light region, so that it is easy to identify the sputter candidate region SR in which the reflected light of arc A, rather than sputter SP, is reflected, as the reflected light region.

また、画像処理部１４１ｂが、スパッタ候補領域ＳＲの外周部を除く平均値算出領域ＡＲに含まれる参照画素ＣＰの色情報の平均値に基づいて反射光領域を特定するので、外周部の暗い領域（高輝度領域ＨＲではない領域）の画素の色情報が、反射光領域の特定に影響しない。したがって、スパッタ候補領域ＳＲ全体の画素の色情報の平均値に基づいて反射光領域を特定する場合に比べ、高輝度領域ＨＲの画素の色情報を、より顕著に反射光領域の特定に反映できる。 In addition, since the image processing unit 141b identifies the reflected light region based on the average value of the color information of the reference pixels CP included in the average calculation region AR excluding the outer periphery of the sputter candidate region SR, the color information of the pixels in the dark region of the periphery (region that is not the high-brightness region HR) does not affect the identification of the reflected light region. Therefore, compared to the case where the reflected light region is identified based on the average value of the color information of the pixels in the entire sputter candidate region SR, the color information of the pixels in the high-brightness region HR can be more significantly reflected in the identification of the reflected light region.

また、一般に、ワーク１７０に小さいスパッタＳＰが固着しても、スパッタＳＰは金属ブラシ等で容易に除去できる一方、ワーク１７０に大きいスパッタＳＰが固着すると、スパッタＳＰはグラインダー等で研磨しないと除去できず、除去に要する工数が増大する。本実施形態によると、（Ｓ１１６）において、複数種類の大きさのスパッタＳＰの数、すなわちスパッタ数Ｓ，Ｍ，Ｌがディスプレイ１４２に表示されるので、ユーザは、これらスパッタ数Ｓ，Ｍ，Ｌを参照し、小さなスパッタＳＰの発生は容認し、大きなスパッタＳＰの発生を抑制するように溶接条件を設定できる。したがって、スパッタＳＰの除去に要する工数を削減できる。In addition, generally, even if small spatter SP adheres to the workpiece 170, the spatter SP can be easily removed with a metal brush or the like, whereas if large spatter SP adheres to the workpiece 170, the spatter SP cannot be removed without grinding with a grinder or the like, and the labor required for removal increases. According to this embodiment, in (S116), the number of spatter SP of multiple sizes, i.e., the spatter numbers S, M, and L, are displayed on the display 142, so that the user can refer to these spatter numbers S, M, and L and set welding conditions to accept the generation of small spatter SP and suppress the generation of large spatter SP. Therefore, the labor required for removing the spatter SP can be reduced.

また、（Ｓ１０５）～（Ｓ１０７）において、画像処理部１４１ｂが、スパッタ候補領域ＳＲの検出を、スパッタＳＰが写っている複数枚の画像と、スパッタＳＰが写っていない複数枚の画像とを教師データとした教師あり学習によって生成された学習済みモデルを用いて行うので、黒以外の画素が複数個連続する部分を含む領域をすべてスパッタ候補領域ＳＲとして検出するようにした場合に比べ、シールドガスや装置の一部等、スパッタＳＰではないもの含む領域をスパッタ候補領域ＳＲとして検出しにくい。したがって、誤検出の可能性を低減できる。 In addition, in steps S105 to S107, the image processing unit 141b detects the sputter candidate region SR using a trained model generated by supervised learning using multiple images that show sputter SP and multiple images that do not show sputter SP as training data. This makes it more difficult to detect regions that contain things that are not sputter SP, such as shielding gas or parts of the device, as sputter candidate regions SR, compared to when all regions that contain multiple consecutive non-black pixels are detected as sputter candidate regions SR. This reduces the possibility of erroneous detection.

また、一般に、スパッタＳＰは大きい程重くなり、移動速度が低くなるので、１つの入力画像に写るスパッタＳＰの軌跡は、スパッタＳＰが大きい程短くなる。したがって、撮影範囲を狭くする場合でも、大きいスパッタＳＰが、小さいスパッタＳＰに比べて撮影範囲内に納まりやすく、大きいスパッタＳＰの検出漏れが発生しにくい。In general, the larger the spatter SP, the heavier it is and the slower its movement speed is, so the trajectory of the spatter SP captured in one input image becomes shorter the larger the spatter SP. Therefore, even when the shooting range is narrowed, large spatter SP is more likely to fit within the shooting range than small spatter SP, and large spatter SP is less likely to go undetected.

なお、本実施形態では、（Ｓ１０４）で画像処理部１４１ｂが入力画像を一旦グレースケール画像に変換したが、入力画像をグレースケール画像に変換せず、入力画像から直接、明るさを示す画素値が所定の閾値を超える画素を特定するようにしてもよい。In this embodiment, the image processing unit 141b converts the input image into a grayscale image in (S104), but it is also possible to directly identify pixels from the input image whose pixel value indicating brightness exceeds a predetermined threshold without converting the input image into a grayscale image.

また、本実施形態では、（Ｓ１０５）～（Ｓ１０７）において、学習済みモデルを用いてスパッタ候補領域ＳＲの検出を行ったが、黒以外の画素が複数個連続する領域を含む所定の形状の領域を全てスパッタ候補領域ＳＲとして検出するようにしてもよい。また、黒以外の画素が第１の個数以上第２の個数（＞第１の個数）以下だけ連続する領域を含む所定の形状の領域を全てスパッタ候補領域ＳＲとして検出するようにしてもよい。このようにした場合、黒以外の画素が第２の個数を超えて連続する領域を含む領域をスパッタ候補領域ＳＲとして検出しないので、スパッタＳＰではないものを含む領域がスパッタ候補領域ＳＲとして誤検出されるのを防止できる。 In this embodiment, in steps S105 to S107, the sputter candidate region SR is detected using a trained model, but all regions of a predetermined shape including regions with multiple consecutive non-black pixels may be detected as sputter candidate regions SR. All regions of a predetermined shape including regions with a first number or more and a second number (>first number) or less of consecutive non-black pixels may be detected as sputter candidate regions SR. In this case, regions including regions with more than the second number of consecutive non-black pixels are not detected as sputter candidate regions SR, so that regions including non-sputter SPs are prevented from being erroneously detected as sputter candidate regions SR.

また、本実施形態では、（Ｓ２０１）～（Ｓ２０３）において、検出されたスパッタ候補領域ＳＲの中心座標に該当する回数が所定の基準回数以上となる入力画像上の座標を背景輝点として特定した。しかし、検出されたスパッタ候補領域ＳＲの中心以外の所定位置に該当する回数が所定の基準回数以上となる入力画像上の座標を背景輝点として特定するようにしてもよい。例えば、検出されたスパッタ候補領域ＳＲの左上の座標に該当する回数が所定の基準回数以上となる入力画像上の座標を背景輝点として特定し、各リストＳｍａｌｌＳ，ＭｉｄｄｌｅＳ，ＬａｒｇｅＳに対し、その左上の座標が背景輝点となるスパッタ候補領域ＳＲを除く修正処理を行うようにしてもよい。 In this embodiment, in steps S201 to S203, coordinates on the input image that correspond to the center coordinates of the detected sputter candidate region SR a predetermined number of times or more are identified as background bright points. However, coordinates on the input image that correspond to a predetermined position other than the center of the detected sputter candidate region SR a predetermined number of times or more may be identified as background bright points. For example, coordinates on the input image that correspond to the top left coordinates of the detected sputter candidate region SR a predetermined number of times or more may be identified as background bright points, and a correction process may be performed for each list SmallS, MiddleS, and LargeS to remove the sputter candidate region SR whose top left coordinates are background bright points.

また、本実施形態では、（Ｓ２０１）～（Ｓ２０３）において、全入力画像の第１のスパッタリストＬｉｓｔＧｓに基づいて背景輝点座標リストを作成し、当該背景輝点座標リストを、（Ｓ２０４）における小スパッタリストＳｍａｌｌＳ、中スパッタリストＭｉｄｄｌｅＳ、及び大スパッタリストＬａｒｇｅＳの背景輝点領域除去処理に兼用した。しかし、全入力画像の小スパッタリストＳｍａｌｌＳに基づいて作成した背景輝点座標リストを、小スパッタリストＳｍａｌｌＳの背景輝点領域除去処理に用い、全入力画像の中スパッタリストＭｉｄｄｌｅＳに基づいて作成した背景輝点座標リストを、中スパッタリストＭｉｄｄｌｅＳの背景輝点領域除去処理に用い、全入力画像の大スパッタリストＬａｒｇｅＳに基づいて作成した背景輝点座標リストを、大スパッタリストＬａｒｇｅＳの背景輝点領域除去処理に用いるようにしてもよい。In this embodiment, in steps S201 to S203, a background bright spot coordinate list is created based on the first sputter list ListGs of all input images, and the background bright spot coordinate list is used in the background bright spot area removal process of the small sputter list SmallS, the medium sputter list MiddleS, and the large sputter list LargeS in step S204. However, the background bright spot coordinate list created based on the small sputter list SmallS of all input images may be used in the background bright spot area removal process of the small sputter list SmallS, the background bright spot coordinate list created based on the medium sputter list MiddleS of all input images may be used in the background bright spot area removal process of the medium sputter list MiddleS, and the background bright spot coordinate list created based on the large sputter list LargeS of all input images may be used in the background bright spot area removal process of the large sputter list LargeS.

また、本実施形態では、平均値算出領域ＡＲを、スパッタ候補領域ＳＲと中心を共通とする正方形の領域としたが、スパッタ候補領域ＳＲのうち外周部を除く領域であれば、スパッタ候補領域ＳＲと中心を共通とする円形の領域等、他の領域としてもよい。また、平均値算出領域ＡＲの面積を、スパッタ候補領域ＳＲの面積の９０％としたが、１００％未満であれば、その他の割合としてもよい。In addition, in this embodiment, the average value calculation region AR is a square region sharing a center with the sputter candidate region SR, but it may be another region, such as a circular region sharing a center with the sputter candidate region SR, as long as it is a region of the sputter candidate region SR excluding the outer periphery. Also, the area of the average value calculation region AR is 90% of the area of the sputter candidate region SR, but it may be another percentage less than 100%.

また、本実施形態では、画像処理部１４１ｂが、小スパッタリストＳｍａｌｌＳ、中スパッタリストＭｉｄｄｌｅＳ、及び大スパッタリストＬａｒｇｅＳに対し、（Ｓ１１２）及び（Ｓ１１３）において、第１及び第２のリスト修正処理を行ったが、（Ｓ１１２）の第１のリスト修正処理を行わず、（Ｓ１１３）の第２のリスト修正処理だけを行うようにしてもよい。 In addition, in this embodiment, the image processing unit 141b performed the first and second list correction processes in (S112) and (S113) for the small sputter list SmallS, the medium sputter list MiddleS, and the large sputter list LargeS, but it is also possible to perform only the second list correction process in (S113) without performing the first list correction process in (S112).

また、本実施形態では、入力画像に対し、検出したスパッタＳＰに枠Ｆ１，Ｆ２，Ｆ３付ける加工を施して加工画像Ｉとしたが、枠Ｆ１，Ｆ２，Ｆ３以外の目印を付ける加工を施して加工画像Ｉとするようにしてもよい。 In addition, in this embodiment, the input image is processed to add frames F1, F2, and F3 to the detected spatter SP to produce processed image I, but it is also possible to process the input image to add markers other than frames F1, F2, and F3 to produce processed image I.

また、本実施形態では、コンピュータ本体１４１の画像処理部１４１ｂが、入力画像を含む動画をカードリーダ１５０から受信したが、他の情報伝達装置から受信するようにしてもよい。 In addition, in this embodiment, the image processing unit 141b of the computer main body 141 receives a video including an input image from the card reader 150, but it may also receive it from another information transmission device.

また、本実施形態では、溶接ロボット１１０を使用するアーク溶接に本開示を適用したが、本開示は、溶接トーチの操作を手作業で行う場合にも適用できる。 In addition, in this embodiment, the present disclosure is applied to arc welding using a welding robot 110, but the present disclosure can also be applied when the welding torch is operated manually.

また、本開示は、ワーク１７０と溶接ワイヤ１６０との間に印加される電圧がパルス電圧でない場合とパルス電圧である場合のいずれにも適用できる。 Furthermore, the present disclosure is applicable to both cases where the voltage applied between the workpiece 170 and the welding wire 160 is a pulse voltage and cases where the voltage is not a pulse voltage.

本開示の溶接条件設定支援装置は、入力画像のスパッタの数をより正確に特定でき、ワークと電極との間に電圧を印加することでワークと電極との間にアークを発生させてアーク溶接を行う際に溶接条件の設定を支援する装置として有用である。The welding condition setting assistance device disclosed herein can more accurately identify the number of spatters in an input image, and is useful as a device that assists in setting welding conditions when performing arc welding by applying a voltage between the workpiece and the electrode to generate an arc between the workpiece and the electrode.

１４０ コンピュータ（溶接条件設定支援装置）
１４１ｂ 画像処理部
１６０ 溶接ワイヤ（電極）
１７０ ワーク
Ａ アーク
ＳＰ スパッタ
ＳＲ スパッタ候補領域
ＨＲ 高輝度領域
ＣＰ 参照画素
Ｔ 合計スパッタ数
α 第１設定値
β 第２設定値 140 Computer (welding condition setting support device)
141b Image processing unit 160 Welding wire (electrode)
170 Work A Arc SP Spatter SR Spatter candidate region HR High brightness region CP Reference pixel T Total number of spatters α First set value β Second set value

Claims (5)

ワークと電極との間に電圧を印加することでワークと電極との間にアークを発生させてアーク溶接を行う際に溶接条件の設定を支援する装置であって、
前記アーク溶接時に前記ワークを撮影した複数の各入力画像に対し、当該入力画像に含まれる画素の明るさを示す画素値に基づいて、スパッタ候補領域の検出を行うスパッタ候補領域検出ステップと、
前記スパッタ候補領域検出ステップにおいて検出されたスパッタ候補領域から、アーク光の反射光が写った反射光領域を、各スパッタ候補領域に含まれる所定の参照画素の色情報に基づいて特定する反射光領域特定ステップと、
前記スパッタ候補領域検出ステップで検出された各入力画像のスパッタ候補領域のうち、前記反射光領域特定ステップで特定された反射光領域を除いたスパッタ候補領域の数を、各入力画像のスパッタ数として特定するスパッタ数特定ステップとを実行する画像処理部を備えていることを特徴とする溶接条件設定支援装置。 A device for assisting in setting welding conditions when performing arc welding by applying a voltage between a workpiece and an electrode to generate an arc between the workpiece and the electrode,
a sputter candidate region detection step of detecting a sputter candidate region for each of a plurality of input images of the workpiece taken during the arc welding, based on pixel values indicating brightness of pixels included in the input images;
a reflected light region identifying step of identifying a reflected light region in which reflected light of the arc light is captured from among the sputtering candidate regions detected in the sputtering candidate region detecting step, based on color information of a predetermined reference pixel included in each sputtering candidate region;
and a sputter number identification step of identifying the number of sputter candidate areas of each input image, excluding the reflected light areas identified in the reflected light area identification step, from among the sputter candidate areas of each input image detected in the sputter candidate area detection step, as the sputter number of each input image. 請求項１に記載の溶接条件設定支援装置において、
前記色情報は、ＲＧＢ色空間で定義され、
前記反射光領域特定ステップは、前記参照画素の前記色情報の緑色成分の平均値が、１以上の第１設定値と前記参照画素の前記色情報の赤色成分の平均値との積よりも大きく、かつ前記参照画素の前記色情報の青色成分の平均値が、１以上の第２設定値と前記参照画素の前記色情報の赤色成分の平均値との積よりも大きいという条件を満たすスパッタ候補領域を、前記反射光領域として特定するものであることを特徴とする溶接条件設定支援装置。 2. The welding condition setting support device according to claim 1,
The color information is defined in an RGB color space;
The reflected light region identifying step is a welding condition setting support device characterized in that it identifies, as the reflected light region, a sputter candidate region that satisfies the following conditions: an average value of the green component of the color information of the reference pixel is greater than the product of one or more first set values and the average value of the red component of the color information of the reference pixel, and an average value of the blue component of the color information of the reference pixel is greater than the product of one or more second set values and the average value of the red component of the color information of the reference pixel. 請求項１又は２に記載の溶接条件設定支援装置において、
前記スパッタ候補領域は、明るさを示す画素値が所定の閾値を超える画素が複数個連続する高輝度領域を含むことを特徴とする溶接条件設定支援装置。 3. The welding condition setting support device according to claim 1,
The welding condition setting support device is characterized in that the sputter candidate region includes a high-luminance region in which a plurality of consecutive pixels have pixel values indicating brightness that exceed a predetermined threshold value. 請求項３に記載の溶接条件設定支援装置において、
前記高輝度領域は、前記スパッタ候補領域の外周部を除く領域に位置し、
前記所定の参照画素は、各スパッタ候補領域の外周部を除く領域の画素であることを特徴とする溶接条件設定支援装置。 4. The welding condition setting support device according to claim 3,
the high brightness region is located in a region excluding the outer periphery of the sputtering candidate region,
The welding condition setting support device is characterized in that the predetermined reference pixels are pixels in an area excluding the outer periphery of each sputter candidate area. 請求項１～４のいずれか１項に記載の溶接条件設定支援装置において、
前記画像処理部は、前記スパッタ候補領域検出ステップにおける前記スパッタ候補領域としての検出回数が所定の基準回数以上となる領域を、背景輝点領域として特定する背景輝点領域特定ステップをさらに実行し、
前記スパッタ数特定ステップは、前記スパッタ候補領域検出ステップで検出された各入力画像のスパッタ候補領域のうち、前記反射光領域特定ステップで特定された反射光領域と前記背景輝点領域特定ステップで特定された背景輝点領域とを除いたスパッタ候補領域の数を、各入力画像のスパッタ数として特定するものであることを特徴とする溶接条件設定支援装置。 In the welding condition setting support device according to any one of claims 1 to 4,
The image processing unit further executes a background bright spot region identifying step of identifying, as a background bright spot region, a region that has been detected as the sputtering candidate region a predetermined number of times or more in the sputtering candidate region detecting step;
A welding condition setting support device characterized in that the sputter number identification step is a step of identifying the number of sputter candidate areas of each input image, excluding the reflected light areas identified in the reflected light area identification step and the background bright spot areas identified in the background bright spot area identification step, from among the sputter candidate areas of each input image detected in the sputter candidate area detection step, as the number of sputters for each input image.
JP2022521823A 2020-05-15 2021-04-28 Welding condition setting support device Active JP7507359B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020086163 2020-05-15
JP2020086163 2020-05-15
PCT/JP2021/016893 WO2021230078A1 (en) 2020-05-15 2021-04-28 Welding condition setting assistance device

Publications (2)

Publication Number Publication Date
JPWO2021230078A1 JPWO2021230078A1 (en) 2021-11-18
JP7507359B2 true JP7507359B2 (en) 2024-06-28

Family

ID=78525873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022521823A Active JP7507359B2 (en) 2020-05-15 2021-04-28 Welding condition setting support device

Country Status (4)

Country Link
US (1) US20230018730A1 (en)
JP (1) JP7507359B2 (en)
CN (1) CN115515744A (en)
WO (1) WO2021230078A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008126274A (en) 2006-11-21 2008-06-05 Kobe Steel Ltd Spatter recognition method and apparatus in arc welding
WO2019239644A1 (en) 2018-06-11 2019-12-19 パナソニックＩｐマネジメント株式会社 Welding condition setting assistance device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014014857A (en) * 2012-07-11 2014-01-30 Suzuki Motor Corp Image processing method, and image processing system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008126274A (en) 2006-11-21 2008-06-05 Kobe Steel Ltd Spatter recognition method and apparatus in arc welding
WO2019239644A1 (en) 2018-06-11 2019-12-19 パナソニックＩｐマネジメント株式会社 Welding condition setting assistance device

Also Published As

Publication number Publication date
JPWO2021230078A1 (en) 2021-11-18
CN115515744A (en) 2022-12-23
WO2021230078A1 (en) 2021-11-18
US20230018730A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
US11922614B2 (en) Welding condition setting assistance device
CN112001876A (en) Determination device, determination system, welding system, determination method, and storage medium
JP2008126274A (en) Spatter recognition method and apparatus in arc welding
JP2009085617A (en) Defect detection device and method
US11446755B2 (en) Apparatus and method for object tracking in welding process
WO2019239644A1 (en) Welding condition setting assistance device
WO2023002753A1 (en) Welding phenomenon behavior measuring method, measuring device, welding system, and program
CN110788439A (en) Manipulator soldering machine motion control system
US20220215519A1 (en) Processing device, welding system, processing method, and storage medium
JP7507359B2 (en) Welding condition setting support device
JP3778015B2 (en) Slag detection method, slag detection device, and removal device
JP2006258713A (en) Method and apparatus for detecting stain defect
JP2020086409A (en) Unevenness correction data generation method and unevenness correction data generation system
JP7165924B2 (en) Welding condition setting support device
CN113744243A (en) Image processing method, device, equipment and medium for weld joint tracking detection
JP2005147911A (en) Method and apparatus for pixel evaluation of display panel
JP2003216930A (en) Method and apparatus for inspecting discoloration
CN111185406A (en) Image-based welding spot detection method
JP2002205166A (en) Display for welding state
US20240100614A1 (en) System and method for automatically adjusting welding variables of a robotic welding system
CN111757002B (en) Image processing method, output control method, image acquisition device and display device
JP4699883B2 (en) Appearance inspection device
JP5047104B2 (en) Arc welding monitoring device and arc welding monitoring method
JPH09192836A (en) Monitoring device for welding state
JP2006242584A (en) Irregularity defect detecting method and apparatus

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20221024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231012

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240520