KR101780049B1 - 레이저 용접 비드 검사 장치 및 방법 - Google Patents

레이저 용접 비드 검사 장치 및 방법 Download PDF

Info

Publication number
KR101780049B1
KR101780049B1 KR1020130076693A KR20130076693A KR101780049B1 KR 101780049 B1 KR101780049 B1 KR 101780049B1 KR 1020130076693 A KR1020130076693 A KR 1020130076693A KR 20130076693 A KR20130076693 A KR 20130076693A KR 101780049 B1 KR101780049 B1 KR 101780049B1
Authority
KR
South Korea
Prior art keywords
laser
welding
weld bead
bead
neural network
Prior art date
Application number
KR1020130076693A
Other languages
English (en)
Other versions
KR20150003607A (ko
Inventor
김거식
강현서
허영순
박형준
임권섭
김정은
전은경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130076693A priority Critical patent/KR101780049B1/ko
Priority to US14/317,630 priority patent/US10029334B2/en
Publication of KR20150003607A publication Critical patent/KR20150003607A/ko
Application granted granted Critical
Publication of KR101780049B1 publication Critical patent/KR101780049B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125Weld quality monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03Observing, e.g. monitoring, the workpiece
    • B23K26/032Observing, e.g. monitoring, the workpiece using optical means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/20Bonding
    • B23K26/21Bonding by welding
    • B23K26/24Seam welding
    • B23K26/26Seam welding of rectilinear seams
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K2101/00Articles made by soldering, welding or cutting
    • B23K2101/18Sheet panels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)

Abstract

레이저 용접 비드 검사 장치는 레이저 용접기의 용접과 동시에 용접 비드의 표면으로 레이저를 조사하고, 상기 용접 비드의 표면으로부터 반사된 신호를 영상 신호로 수집한 후, 수집된 영상 신호를 이용하여 비드 형상의 적어도 하나의 특징 변수를 추출한다. 그런 후에, 적어도 하나의 특징 변수를 이용하여 용접 불량을 판단하고, 용접 불량 여부에 따라서 레이저 용접기의 동작을 제어한다.

Description

레이저 용접 비드 검사 장치 및 방법{APPARATUS AND METHOD FOR MONITORING LASER WELDING}
본 발명은 레이저 용접 비드 검사 장치 및 방법에 관한 것으로, 보다 자세하게는 레이저 용접 중 용접 불량 여부를 실시간으로 판단할 수 있는 기술에 관한 것이다.
레이저 용접은 용접 품질이 우수하며, 가공 속도가 빠르고, 다양한 소재의 이종 접합에 적용 가능하므로 다양한 산업 현장에서 사용되고 있다.
기존 TWB (Tailer Welded Blanks) 공정에 의한 레이저 용접 비드 품질 검사는 대부분 작업자에 의한 육안 품질 검수로 진행되므로, 후 공정에서 핀 홀(pin hole)의 검출 미스로 인한 소재 터짐이 빈번하게 발생하고 있다. 따라서 이러한 문제를 해결하고 용접 품질을 향상시키기 위해서는 용접이 진행되는 동안 실시간으로 용접 비드 형상을 관찰함으로써 용접 품질 상태를 자동으로 판단할 수 있는 장치가 필수적으로 부착되어야 한다.
종래 기술로서, 용접 상태를 모니터링하는 다양한 기술이 제안되어 있으나, 이들 제안된 기술들은 주변 잡음에 의한 신호왜곡이 심하고 필터 구성이 복잡하거나 단순 치수 비교를 통해 불량여부를 판단하여 검사 결과가 다소 부정확하며 실시간 검사에 한계가 있다는 단점이 있다. 또한 실제 현장에서 적용하는 데 한계가 있거나 다양한 용접 비드 형상에 적용하는 데는 한계가 있다는 단점이 있다.
본 발명이 해결하고자 하는 기술적 과제는 실시간으로 용접 비드 품질 검사를 수행하고 불량 감지 시 즉시 사용자에게 전달함으로써 용접 생산공정을 용이하게 관리할 수 있는 레이저 용접 비드 검사 장치 및 방법을 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 레이저 용접기의 용접에 의한 용접 비드를 검사하는 장치가 제공된다. 레이저 용접 비드 검사 장치는 비전 센서부, 그리고 단말부를 포함한다. 상기 비전 센서부는 상기 용접 비드의 표면으로 레이저를 조사하고, 상기 용접 비드의 표면으로부터 반사된 신호를 영상 신호로 수집한다. 그리고 상기 단말부는 상기 수집된 영상 신호로부터 비드 형상을 측정하고, 비드 형상으로부터 적어도 하나의 특징 변수를 추출하며, 상기 적어도 하나의 특징 변수를 이용하여 용접 불량을 판단하고, 용접 불량 시 불량 형태를 분류한다.
상기 단말부는 용접 정상으로 판단되는 경우 다음 위치에서의 용접 진행을 상기 레이저 용접기로 지시한다.
상기 단말부는 용접 불량으로 판단되는 경우 상기 사용자의 선택에 따라서 다음 위치에서의 용접 진행 또는 용접 중단을 상기 레이저 용접기로 지시한다.
상기 비전 센서부는 레이저 스캔 카메라, 그리고 텔레센트릭 렌즈를 포함할 수 있다. 상기 레이저 스캔 카메라는 상기 용접 비드의 표면으로부터 반사된 신호를 영상 신호로 변환하는 CCD 센서를 포함한다. 그리고 상기 텔레센트릭 렌즈는 상기 용접 비드의 표면으로부터 반사된 신호 중 광축과 평행인 신호만 상기 레이저 스캔 카메라로 통과시킨다.
상기 비전 센서부는 레이저 다이오드, 콜리메이션 렌즈, 그리고 레이저 구조광 렌즈를 포함할 수 있다. 상기 레이저 다이오드는 상기 레이저를 조사한다. 상기 콜리메이션 렌즈는 상기 레이저의 확산 성분을 제거하고 직전성을 부여한다. 그리고 상기 레이저 구조광 렌즈는 상기 용접 비드의 표면에 일정하게 상기 레이저를 조사한다.
상기 단말부는 신경망을 이용하여 상기 용접 불량 및 상기 불량 형태를 각각 분류할 수 있다.
본 발명의 다른 실시 예에 따르면, 레이저 용접 비드 검사 장치에서 레이저 용접기의 용접에 의한 용접 비드를 검사하는 방법이 제공된다. 레이저 용접 비드 검사 방법은 상기 용접 비드의 표면으로 레이저를 조사하는 단계, 상기 용접 비드의 표면으로부터 반사된 신호를 영상 신호로 수집하는 단계, 상기 수집된 영상 신호로부터 비드 형상을 측정하는 단계, 상기 비드 형상으로부터 적어도 하나의 특징 변수를 추출하는 단계, 상기 적어도 하나의 특징 변수를 이용하여 용접 불량을 판단하는 단계, 그리고 용접 불량 여부에 따라서 상기 레이저 용접기를 제어하는 단계를 포함한다.
상기 제어하는 단계는 용접 정상으로 판단되는 경우에 다음 위치에서의 용접 진행을 상기 레이저 용접기로 지시하는 단계를 포함할 수 있다.
상기 용접 불량을 판단하는 단계는 신경망을 이용하여 상기 적어도 하나의 특징 변수로부터 상기 용접 비드를 상기 용접 불량 또는 상기 용접 정상으로 분류하는 단계를 포함할 수 있다.
상기 제어하는 단계는 상기 용접 불량으로 판단되는 경우에 상기 용접 비드의 불량 형태를 판단하는 단계, 상기 불량 형태를 표시하는 단계, 그리고 사용자의 선택에 따라서 다음 위치에서의 용접 진행 또는 용접 중단을 상기 레이저 용접기로 지시하는 단계를 포함할 수 있다.
상기 불량 형태를 판단하는 단계는 신경망을 이용하여 상기 적어도 하나의 특징 변수로부터 상기 용접 비드의 불량 형태를 분류하는 단계를 포함할 수 있다.
본 발명의 실시 예에 의하면, 레이저 용접기와 함께 사용함으로써 용접 품질을 향상시키고 불량 용접의 조기 감지로 인한 재조원가 절감 및 전수검사가 가능하다는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 레이저 용접 비드 검사 장치의 구성도이다.
도 2는 도 1에 도시된 비전 센서부를 나타낸 도면이다.
도 3은 도 1에 도시된 단말부를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 레이저 용접 비드 검사 방법을 나타낸 순서도이다.
도 5는 본 발명의 실시 예에 따른 비드 형상 재구성 방법을 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 특징 변수를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 분류부를 나타낸 도면이다.
도 8 및 도 9는 각각 도 7에 도시된 품질 검사 분류부 및 정밀 검사 분류부의 일 예를 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 레이저 용접 비드 검사 장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 레이저 용접 비드 검사 장치의 구성도이다.
도 1을 참고하면, 레이저 용접 비드 검사 장치는 비전 센서부(110) 및 단말부(120)를 포함한다.
레이저 용접기(10)는 두 모재(20A, 20B)를 용접하기 위해 사용된다. 두 모재(20A, 20B)가 레이저 용접기(10)에 용접되면서 용접 비드가 생성된다.
비전 센서부(110)는 레이저 용접기(10)의 측면에 부착되며, 용접 비드의 표면에 패턴화된 레이저를 조사하고, 용접 비드의 표면으로부터 반사되는 신호를 영상 신호로 변환하여 수집한다. 수집된 영상 신호는 단말부(120)로 전달된다.
단말부(120)는 비전 센서부(110)에서 수집된 영상 신호를 이용하여 비드 형상 영상 신호를 생성하고 비드 형상 영상 신호로부터 용접 불량 여부를 판단한다. 또한 단말부(120)는 용접 불량 여부에 따라서 레이저 용접기(10)의 동작을 제어한다.
도 2는 도 1에 도시된 비전 센서부를 나타낸 도면이다.
도 2를 참고하면, 비전 센서부(110)는 레이저 다이오드 모듈(112) 및 레이저 스캔 카메라(114)를 포함한다. 또한 비전 센서부(110)는 텔레센트릭(telecentric) 렌즈(116)를 더 포함할 수 있다.
레이저 다이오드 모듈(112)은 용접 비드(30)에 패턴화된 선 형태의 레이저를 조사한다. 레이저 다이오드 모듈(112)은 가시광 영역(예를 들면, 650nm 파장대역)의 가시광 영역 레이저를 조사하는 레이저 다이오드(1122), 레이저의 확산성분을 제거하고 직진성을 부여하는 콜리메이션 렌즈(1124), 용접 비드(30)의 표면에 일정하게 패턴화된 선의 레이저를 조사하기 위한 레이저 구조광 렌즈(1126)를 포함할 수 있다.
레이저 스캔 카메라(114)는 용접 비드(30)의 표면으로부터 반사된 신호를 영상 신호로 감지하기 위한 CCD 센서를 포함한다. 레이저 스캔 카메라(114)는 용접 비드(30)의 표면으로부터 반사된 레이저 신호를 라인 스캔 형식으로 고속 감지하고, 감지된 레이저 신호를 영상 신호로 변환하여 단말부(120)로 전달한다.
텔레센트릭 렌즈(116)는 레이저 스캔 카메라(114)의 앞 단에 위치하며, 용접 비드(30)에서 반사된 빛 중 광축과 평행인 빛만 통과시킴으로써, 레이저 스캔 카메라(114)에 초점을 일정하게 유지시킨다.
여기에서, 레이저 다이오드(1122)의 파장은 가시광 영역의 빛을 사용하는 것으로 설명하였으나, 레이저 스캔 카메라(114)의 종류와 성능에 따라 감지 가능한 다양한 파장 대역(400nm에서 1,000nm 파장대역)의 광원이 사용될 수 있다.
또한 레이저 스캔 카메라(114)는 실시간 용접 비드 검사를 위해 CCD 센서가 탑재되고 고속 신호 수집이 가능한 라인스캔 형식의 카메라를 사용하는 것으로 설명하였으나, 사용자의 목적에 의해 CMOS 카메라 등 다양한 카메라가 사용될 수 있다.
또한 레이저 구조광 렌즈(1126)는 고속의 2-차원 라인 스캔을 위해 선 형태의 구조 광을 조사하는 것으로 설명하였으나, 사용자의 목적에 따라 한 번에 많은 라인 스캔(예를 들면, 3-차원 라인 스캔)을 원하는 경우, 레이저 구조광 렌즈(1126)로 이에 적합한 면 형태의 구조광을 조사할 수 있는 렌즈가 사용될 수도 있다.
도 3은 도 1에 도시된 단말부를 나타낸 도면이다.
도 3을 참고하면, 단말부(120)는 카메라 인터페이스(121), 프레임 그래버(frame grabber) 모듈(122), FPGA(field programmable gate array) 모듈(123), 중앙 처리부(124) 및 용접기 인터페이스(125)를 포함한다.
카메라 인터페이스(121)는 레이저 스캔 카메라(114)로부터 수집된 영상 신호를 수신하여 프레임 그래버 모듈(122)로 전달한다.
프레임 그래버 모듈(122)은 카메라 인터페이스(121)로부터 전달된 영상 신호를 FPGA 모듈(123)로 전달한다.
FPGA 모듈(123)은 프레임 그래버 모듈(122)로부터 전달된 영상 신호를 이용하여 비드 형상을 측정하고, 비드 형상 영상 신호를 중앙 처리부(124)로 전달한다.
중앙 처리부(124)는 영상 처리부(1242), 분류부(1244) 및 제어부(1246)를 포함한다.
영상 처리부(1242)는 FPGA 모듈(123)로부터 전달된 비드 형상 영상 신호로부터 각종 영상 신호 처리 기법을 이용하여 잡음을 제거한 후, 특징 변수를 추출한다. 영상 처리부(1242)는 비드 형상 영상 신호에서 잡음 제거를 위해 저역통과 필터를 사용할 수 있다. 특히 저역통과 필터로 신호 왜곡을 최소화할 수 있고 필터링 후 신호 지연이 발생하지 않는 2차 사비츠키 고레이(Savitzky-Golay) 필터를 사용할 수 있다.
분류부(1244)는 특징 변수를 이용하여 용접 불량 여부를 판단하고 불량 형태(패턴)를 분류한다.
제어부(1246)는 용접 불량 여부 및 불량 형태에 따라서 레이저 용접기(10)의 동작을 제어한다. 제어부(1246)는 프레임 그래버 모듈(122) 및 FPGA 모듈(123)을 제어할 수 있다. 또한 제어부(1246)는 용접 불량 감지 시 이를 표시함으로써 사용자에게 용접 불량을 알린다.
용접기 인터페이스(125)는 제어부(1246)로부터 레이저 용접기(10)의 동작을 제어하는 제어 신호를 레이저 용접기(10)로 전달한다. 레이저 용접기(10)는 제어 신호에 따라서 동작한다.
여기에서, 카메라 인터페이스(121)와 용접기 인터페이스(125)로는 사용된 레이저 스캔 카메라(114)나 레이저 용접기(10)의 종류에 따라 카메라링크 규격(Base/Medium/Full) 인터페이스, IEEE1394, 시리얼 포트(Serial port), 유에스비 등 다양하게 적용될 수 있다.
도 4는 본 발명의 실시 예에 따른 레이저 용접 비드 검사 방법을 나타낸 순서도이다.
도 4를 참고하면, 레이저 용접기(10)는 용접 조건을 초기화한 후 레이저 용접을 수행한다.
비전 센서부(110)는 레이저 용접과 동시에 용접된 부위, 즉 용접 비드의 표면에 패턴화된 레이저를 조사하고(S402), 용접 비드의 표면으로부터 반사된 빛을 영상 신호로 수집한다(S404). 비전 센서부(110)는 수집된 영상 신호를 단말부(120)로 전달한다.
단말부(120)는 영상 신호로부터 비드 형상을 재구성하고(S406), 비드 형상 영상 신호에 대해 잡음을 제거하기 위한 신호 처리를 수행한 후, 비드 형상 분류를 위해 신호처리된 영상 신호로부터 특징 변수를 추출한다(S408).
단말부(120)는 추출된 특징 변수를 이용하여 용접 불량 여부를 판단하는 1차 품질 검사를 수행한다(S410).
단말부(120)는 1차 품질 검사 결과 용접 정상으로 판단되면(S412), 레이저 용접기(10)의 위치를 이동시키는 위치 이동 제어 신호를 레이저 용접기(10)로 출력한다(S414).
한편, 단말부(120)는 1차 품질 검사 결과 용접 불량으로 판단되면(S412), 추출된 특징 변수를 이용하여 불량 형태를 분류하는 2차 정밀 검사를 수행하고(S416), 분류된 불량 형태를 표시하여 사용자에게 알린다(S418).
단말부(120)는 사용자의 선택에 따라서 용접을 계속 진행할지를 결정한다. 단말부(120)는 사용자가 용접을 계속 진행하고자 하는 경우(S420), 위치 이동 제어 신호를 레이저 용접기(10)로 출력한다(S414). 반면, 단말부(120) 사용자가 용접을 중지하고자 하는 경우(S420), 레이저 용접기(10)로 용접 중지 제어 신호를 출력한다(S422).
레이저 용접기(10)는 단말부(120)로부터의 위치 이동 제어 신호에 따라서 다음 위치에서의 레이저 용접을 수행한다. 레이저 용접기(10)는 단말부(120)로부터 용접 중지 제어 신호를 수신하면 레이저 용접을 중단한다.
도 5는 본 발명의 실시 예에 따른 비드 형상 재구성 방법을 나타낸 도면이다.
도 5에 도시한 바와 같이, 용접 비드의 표면으로부터 반사되는 신호는 레이저 스캔 카메라(114)의 CCD 센서에 수신된다.
레이저 스캔 카메라(114)의 광학적 구조와 관련된 변수를 통해 실제 비드 형상의 크기가 FPGA 모듈(123)에 측정될 수 있다.
비드 형상은 수학식 1과 수학식 2를 이용하여 측정될 수 있다.
Figure 112013059139601-pat00001
Figure 112013059139601-pat00002
도 5를 참고하면, h는 A에서 반사된 상과 B에서 반사된 상이 레이저 스캔 카메라에서 검출된 실제 거리를 나타내고, L1, L2, L3 및 L4는 텔레센트릭 렌즈(116)와 물체 간 거리, f는 렌즈의 초점 거리(focal length), α는 광축과 레이저 빔 간의 각도, β는 광축과 CCD 센서 간 각도를 의미한다.
도 6은 본 발명의 실시 예에 따른 특징 변수를 나타낸 도면이다.
영상 처리부(1242)는 측정된 비드 형상으로부터 폭, 높이, 깊이, 곡률 등 다양한 특징 변수를 추출한다.
본 발명의 실시 예에서 사용되는 특징 변수는 도 6에 도시한 바와 같다.
도 6에서, ①은 모재 간 높이 차, ②는 비드 골 깊이, ③은 비드 언덕 높이, ④는 비드 골과 언덕 간 너비, ⑤는 비드 골 각도, ⑥은 비드 골 곡률, ⑦은 키 홀 너비를 의미한다.
도 6에서는 특징 변수로 7가지를 도시하였으나, 사용자의 목적에 맞게 다양한 특징 변수들이 적용될 수 있다.
도 7은 본 발명의 실시 예에 따른 분류부를 나타낸 도면이고, 도 8 및 도 9는 각각 도 7에 도시된 품질 검사 분류부 및 정밀 검사 분류부의 일 예를 나타낸 도면이다.
도 7을 참고하면, 분류부(1244)는 1차 품질 검사를 수행하는 품질 검사 분류부(710) 및 2차 정밀 검사를 수행하는 정밀 검사 분류부(720)를 포함한다.
도 8 및 도 9를 보면, 품질 검사 분류부(710) 및 정밀 검사 분류부(720)는 신경망 기반으로 동작한다.
더욱 자세하게는 품질 검사 분류부(710) 및 정밀 검사 분류부(720)는 다층 오류 역전파 신경망(Back-Propagation Neural Network, BPNN)을 이용하며, 신경망 각 노드의 활성 함수[f(x)]는 양극 시그모이드 함수를 이용하며, 수학식 3과 같다.
Figure 112013059139601-pat00003
이러한 신경망 기반의 품질 검사 분류부(710) 및 정밀 검사 분류부(720)는 복수의 특징 노드를 입력 받는 입력층(input layer), 분류 결과를 출력하는 출력층(output layer) 및 입력층과 출력층 사이에서 입력과 출력 사이의 관계를 나타내는 은닉층(hidden layer)을 포함한다. 입력층은 복수의 특징 변수 예를 들면, M개의 특징 변수(특징변수1~특징변수M)와 바이어스 값(bias)을 입력 받는 복수의 입력 노드를 포함할 수 있다. 출력층은 분류 결과를 출력하는 적어도 하나의 출력 노드를 포함할 수 있다.
품질 검사 분류부(710)는 비드 품질을 정상과 불량 두 종류로 구분하므로, 입력층의 입력 노드의 수는 특징 변수의 수에 1을 합한 개수와 동일하고, 출력 노드의 수는 1개이다.
정밀 검사 분류부(720)는 불량 비드의 형태를 기 설정된 다양한 불량 비드의 형태로 분류하므로, 입력 노드의 수는 특징 변수의 수에 1을 합한 개수와 동일하고, 출력 노드의 수는 기 설정된 불량 비드 형태의 수와 동일하다. 불량 비드 형태의 종류는 용접과다(reinforcement), 언더컷(undercut), 쏠림(sharp corner), 용입부족(incomplete filled groove), 부정합(misalignment) 등이 있을 수 있으며, 이 외 다양한 종류의 불량 비드 형태가 있을 수 있다.
정밀 검사 분류부(720)는 모든 출력 노드의 값 중 가장 큰 값에 해당하는 불량 형태를 최종 분류로서 선택하고, 선택한 불량 형태를 표시한다.
도 8을 참고하면, 품질 검사 분류부(710)의 신경망 기반의 분류를 설명하면, 입력층의 복수의 입력 노드는 각각 특징 변수들과 바이어스 값을 입력 받는다. 이때 복수의 입력 노드의 입력 채널에는 가중치가 있으며, 은닉층의 복수의 은닉 노드는 각각 복수의 입력 노드로 입력되는 값에 해당 가중치를 곱한 후 이들을 합한 값에 대해 활성 함수[f(x)]를 적용한 값을 출력한다. 출력층의 하나의 출력 노드는 복수의 은닉 노드로부터 출력된 값을 모두 합하고, 합한 값에 대해 활성 함수[f(x)]를 적용한 값을 출력하고, 출력 값에 따라서 정상 또는 불량을 판단한다.
도 9를 참고하면, 입력층의 복수의 입력 노드는 각각 특징 변수들과 바이어스 값을 입력 받는다. 이때 복수의 입력 노드의 입력 채널에는 가중치가 있으며, 은닉층의 복수의 은닉 노드는 각각 복수의 입력 노드로 입력되는 값에 해당 가중치를 곱한 후 이들을 합한 값에 대해 활성 함수[f(x)]를 적용한 값을 출력한다. 출력층의 복수의 출력 노드는 각각 복수의 은닉 노드로부터 출력된 값과 바이어스 값을 모두 합하고, 합한 값에 대해 활성 함수[f(x)]를 적용한 값을 출력하고, 출력 값에 따라서 비드 불량 형태(불량패턴1~불량패턴N)를 분류한다. 그리고 복수의 출력 노드로부터 출력된 값 중 가장 큰 값에 해당하는 불량 형태가 최종 불량 형태로 선택될 수 있다.
이러한 신경망 기반의 분류는 잘 알려진 기술이므로, 상세한 설명은 생략한다.
품질 검사 분류부(710) 및 정밀 검사 분류부(720)는 사용자의 목적에 따라 RBF(Radial Basis Function), 결정 트리(decision tree), SVM(Support Vector Machine), 퍼지 네트워크 등 다양한 기계를 사용할 수 있다.
이러한 신경망 기반의 분류는 신경망 구조에 따라서 분류 정확도가 결정된다. 즉, 반복 학습을 통해 가중치를 업데이트할 때 사용되는 변수인 학습률(learning rate)과 은닉층 노드의 개수를 적절히 설정해 주어야 분류 정확도를 높일 수 있다. 이때 분류 정확도를 위해 학습률과 은닉층 노드의 개수는 사용자에 의해 최적의 값으로 설정될 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (14)

  1. 레이저 용접기의 용접에 의한 용접 비드를 검사하는 장치로서,
    상기 용접 비드의 표면으로 레이저를 조사하고, 상기 용접 비드의 표면으로부터 반사된 신호를 영상 신호로 수집하는 비전 센서부, 그리고
    상기 수집된 영상 신호로부터 비드 형상을 측정하고, 상기 비드 형상으로부터 추출된 적어도 하나의 특징 변수를 이용하여 용접 불량을 검출하고, 용접 불량 검출 시 불량 형태를 분류하는 단말부를 포함하며,
    상기 단말부는
    상기 적어도 하나의 특징 변수를 입력 값으로 하는 제1 신경망을 이용한 품질 검사를 수행하여 용접 불량 여부를 판단하는 품질 검사 분류부, 그리고
    상기 적어도 하나의 특징 변수를 입력 값으로 하는 제2 신경망을 이용한 정밀 검사를 수행하여 용접 불량 형태를 판단하는 정밀 검사 분류부를 포함하고,
    상기 제1 신경망은 용접 불량 또는 용접 정상을 출력하는 하나의 출력 노드를 가지고, 상기 제2 신경망은 불량 형태의 수에 해당하는 복수의 출력 노드를 가지며,
    상기 적어도 하나의 특징 변수는 용접할 모재 간 높이 차, 상기 용접 비드의 골 깊이, 상기 용접 비드의 언덕 높이, 상기 용접 비드의 골과 언덕 간 너비, 상기 용접 비드의 골 각도, 상기 용접 비드의 골 곡률, 키 홀 너비 중 적어도 하나를 포함하는 레이저 용접 비드 검사 장치.
  2. 제1항에서,
    상기 단말부는 용접 정상으로 판단되는 경우, 다음 위치에서의 용접 진행을 상기 레이저 용접기로 지시하는 레이저 용접 비드 검사 장치.
  3. 제1항에서,
    상기 단말부는 용접 불량으로 판단되는 경우, 사용자의 선택에 따라서 다음 위치에서의 용접 진행 또는 용접 중단을 상기 레이저 용접기로 지시하는 레이저 용접 비드 검사 장치.
  4. 제1항에서,
    상기 비전 센서부는
    상기 용접 비드의 표면으로부터 반사된 신호를 영상 신호로 변환하는 CCD 센서를 포함한 레이저 스캔 카메라, 그리고
    상기 용접 비드의 표면으로부터 반사된 신호 중 광축과 평행인 신호만 상기 레이저 스캔 카메라로 통과시키는 텔레센트릭 렌즈를 포함하는 레이저 용접 비드 검사 장치.
  5. 제1항에서,
    상기 비전 센서부는
    상기 레이저를 조사하는 레이저 다이오드,
    상기 레이저의 확산 성분을 제거하고 직전성을 부여하는 콜리메이션 렌즈, 그리고
    상기 용접 비드의 표면에 일정하게 상기 레이저를 조사하는 레이저 구조광 렌즈를 포함하는 레이저 용접 비드 검사 장치.
  6. 삭제
  7. 제1항에서,
    상기 제1 신경망 및 상기 제2 신경망은 다층 오류 역전파 신경망(Back-Propagation Neural Network)을 포함하는 레이저 용접 비드 검사 장치.
  8. 삭제
  9. 레이저 용접 비드 검사 장치에서 레이저 용접기의 용접에 의한 용접 비드를 검사하는 방법으로서,
    상기 용접 비드의 표면으로 레이저를 조사하는 단계,
    상기 용접 비드의 표면으로부터 반사된 신호를 영상 신호로 수집하는 단계,
    상기 수집된 영상 신호로부터 비드 형상을 측정하는 단계,
    상기 비드 형상으로부터 적어도 하나의 특징 변수를 추출하는 단계,
    상기 적어도 하나의 특징 변수를 입력 값으로 하는 제1 신경망을 이용한 품질 검사를 수행하여 용접 불량 여부를 검출하는 단계,
    용접 불량 검출 시에, 상기 적어도 하나의 특징 변수를 입력 값으로 하는 제2 신경망을 이용한 정밀 검사를 수행하여 용접 불량 형태를 판단하는 단계, 그리고
    상기 용접 불량 여부에 따라서 상기 레이저 용접기의 동작을 제어하는 단계
    를 포함하며,
    상기 제1 신경망은 용접 불량 또는 용접 정상을 출력하는 하나의 출력 노드를 가지고, 상기 제2 신경망은 불량 형태의 수에 해당하는 복수의 출력 노드를 가지며,
    상기 적어도 하나의 특징 변수는 용접할 모재 간 높이 차, 상기 용접 비드의 골 깊이, 상기 용접 비드의 언덕 높이, 상기 용접 비드의 골과 언덕 간 너비, 상기 용접 비드의 골 각도, 상기 용접 비드의 골 곡률, 키 홀 너비 중 적어도 하나를 포함하는 레이저 용접 비드 검사 방법.
  10. 제9항에서,
    상기 제어하는 단계는 용접 정상으로 판단되는 경우에 다음 위치에서의 용접 진행을 상기 레이저 용접기로 지시하는 단계를 포함하는 레이저 용접 비드 검사 방법.
  11. 삭제
  12. 제9항에서,
    상기 제어하는 단계는
    상기 불량 형태를 표시하는 단계, 그리고
    사용자의 선택에 따라서 다음 위치에서의 용접 진행 또는 용접 중단을 상기 레이저 용접기로 지시하는 단계를 포함하는 레이저 용접 비드 검사 방법.
  13. 삭제
  14. 제9항에서,
    상기 조사하는 단계는 가시광 영역의 레이저에서 확산성분을 제거하고 상기 용접 비드의 표면에 일정하게 조사하는 단계를 포함하는 레이저 용접 비드 검사 방법.
KR1020130076693A 2013-07-01 2013-07-01 레이저 용접 비드 검사 장치 및 방법 KR101780049B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130076693A KR101780049B1 (ko) 2013-07-01 2013-07-01 레이저 용접 비드 검사 장치 및 방법
US14/317,630 US10029334B2 (en) 2013-07-01 2014-06-27 Apparatus and method for monitoring laser welding bead

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130076693A KR101780049B1 (ko) 2013-07-01 2013-07-01 레이저 용접 비드 검사 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150003607A KR20150003607A (ko) 2015-01-09
KR101780049B1 true KR101780049B1 (ko) 2017-09-19

Family

ID=52114583

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130076693A KR101780049B1 (ko) 2013-07-01 2013-07-01 레이저 용접 비드 검사 장치 및 방법

Country Status (2)

Country Link
US (1) US10029334B2 (ko)
KR (1) KR101780049B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190088085A (ko) * 2017-12-26 2019-07-26 주식회사 포스코 용접부 검출 장치 및 방법
KR20210143681A (ko) * 2020-05-20 2021-11-29 (주)아그루코리아 용접 검수 방법
US20220184730A1 (en) * 2020-12-11 2022-06-16 Kabushiki Kaisha Toshiba Welding device and method for detecting weld state

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10665921B2 (en) * 2014-12-10 2020-05-26 Avery Dennison Retail Information Services, Llc Edge on foam tags
DE102015102111A1 (de) * 2015-02-13 2016-08-18 Scanlab Ag Mehrkopf-Laseranlage mit Sensoreinheit
EP3086083A1 (en) * 2015-04-21 2016-10-26 Airbus Defence and Space, S.A. Methods and systems for inspecting beads of a sealant material in joining areas of structural elements
JP6644405B2 (ja) * 2015-09-09 2020-02-12 ジヤトコ株式会社 未溶接箇所の検査方法および未溶接箇所の検査装置
CN105414747B (zh) * 2015-12-01 2017-06-23 武汉凌云光电科技有限责任公司 一种高效的机器视觉辅助激光加工方法
US11850677B2 (en) * 2016-01-11 2023-12-26 Elemental Scientific Lasers, Llc Simultaneous pattern-scan placement during sample processing
DE102016102492B4 (de) * 2016-02-12 2021-10-07 Precitec Gmbh & Co. Kg Verfahren und Vorrichtung zum Überwachen einer Fügenaht sowie Laserbearbeitungskopf
CN105750774A (zh) * 2016-05-06 2016-07-13 烟台艾森信息技术股份有限公司 三维智能激光视觉跟踪焊接***及使用方法
CN106735797B (zh) * 2016-12-20 2019-02-19 上海交通大学 一种不对称动态电弧三维实时成像采集装置及方法
US10234848B2 (en) * 2017-05-24 2019-03-19 Relativity Space, Inc. Real-time adaptive control of additive manufacturing processes using machine learning
CN107378315A (zh) * 2017-06-24 2017-11-24 江苏瑞伯特视觉科技股份有限公司 一种机器人激光视觉传感检测软件***
CN107234359A (zh) * 2017-07-03 2017-10-10 南京中车浦镇城轨车辆有限责任公司 一种不锈钢列车车体激光焊接质量在线监测***及方法
KR102553135B1 (ko) * 2018-01-02 2023-07-07 삼성에스디아이 주식회사 배터리 팩 및 그 제조 방법
JP6705847B2 (ja) * 2018-02-14 2020-06-03 ファナック株式会社 加工結果に基づいた学習制御を行うロボットシステム及びその制御方法
DE102018129425B4 (de) * 2018-11-22 2020-07-30 Precitec Gmbh & Co. Kg System zur Erkennung eines Bearbeitungsfehlers für ein Laserbearbeitungssystem zur Bearbeitung eines Werkstücks, Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls umfassend dasselbe und Verfahren zur Erkennung eines Bearbeitungsfehlers eines Laserbearbeitungssystems zur Bearbeitung eines Werkstücks
DE102018129441B4 (de) * 2018-11-22 2023-11-16 Precitec Gmbh & Co. Kg System zur Überwachung eines Laserbearbeitungsprozesses, Laserbearbeitungssystem sowie Verfahren zur Überwachung eines Laserbearbeitungsprozesses
WO2020205998A1 (en) * 2019-04-05 2020-10-08 Arconic Technologies Llc Non-destructive evaluation and weld-to-weld adaptive control of metal resistance spot welds via topographical data collection and analysis
KR102235832B1 (ko) * 2019-05-28 2021-04-05 이희준 포터블형 용접 결함 검사장치 및 검사방법
EP3812105B1 (en) * 2019-10-24 2022-03-02 Deutsche Telekom AG Artificial intelligence architecture for industrial welding
JP7247876B2 (ja) * 2019-12-10 2023-03-29 トヨタ自動車株式会社 溶着ビード切削装置および溶着ビード切削方法
EP3843006A1 (de) * 2019-12-23 2021-06-30 Fronius International GmbH Verfahren und system zum klassifizieren einer schweissnaht
KR102622753B1 (ko) 2020-02-17 2024-01-10 삼성에스디아이 주식회사 이차전지용 레이저 용접 방법 및 모니터링 방법
US11618109B2 (en) 2020-06-30 2023-04-04 Electronics And Telecommunications Research Institute Wire for electric bonding
DE102020210974A1 (de) 2020-08-31 2022-03-03 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Ermitteln von Defekten während eines Oberflächenmodifizierungsverfahrens
US11712758B2 (en) * 2020-10-23 2023-08-01 Ford Global Technologies, Llc Automated inspection and verification of electric motor weld quality
JP2022105404A (ja) * 2021-01-04 2022-07-14 株式会社東芝 処理装置、溶接システム、処理方法、プログラム、及び記憶媒体
WO2022181060A1 (ja) * 2021-02-26 2022-09-01 パナソニックIpマネジメント株式会社 レーザ加工状態の判定方法及び判定装置
KR102295541B1 (ko) * 2021-05-25 2021-09-01 주식회사 현대알비 영상 판독 장치 및 용접부 검사 시스템
CN113588541B (zh) * 2021-06-30 2023-07-14 北京卫星制造厂有限公司 一种用于拼焊板充液成形性能及成形规律的试验方法
CN113607632B (zh) * 2021-06-30 2023-09-29 北京卫星制造厂有限公司 一种用于拼焊板充液成形性能及成形规律的试验装置
DE102021120435A1 (de) 2021-08-05 2023-02-09 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Ermitteln der Größe von Defekten während eines Oberflächenmodifizierungsverfahrens
KR102520055B1 (ko) * 2021-10-28 2023-04-11 주식회사 에이스이앤티 용접비드선의 그라인딩이 가능한 벽면주행로봇 시스템
KR102562216B1 (ko) * 2021-11-29 2023-08-01 한국광기술원 용접 비드의 3차원 형상 검사 시스템 및 그 방법
DE102022200371A1 (de) 2022-01-14 2023-07-20 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Diagnosesystem zur Fehlerdiagnose bei Schweißnähten

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950012359B1 (ko) * 1992-08-28 1995-10-17 엘지전자주식회사 신경회로망 구조와 학습방법
JPH07100646A (ja) 1993-10-01 1995-04-18 Toshiba Corp 溶接装置
US6028671A (en) 1996-01-31 2000-02-22 General Scanning, Inc. Method and system for suppressing unwanted reflections in an optical system
US6031200A (en) * 1997-08-04 2000-02-29 Data Technology, Inc. In-process kerf measurement system
DE19957163C1 (de) 1999-11-27 2001-08-09 Thyssenkrupp Stahl Ag Verfahren und Vorrichtung zur Qualitätskontrolle der Naht an mit einem Laser stumpf geschweißten Blechen oder Bändern
US7412890B1 (en) 2003-12-31 2008-08-19 General Electric Company Methods and apparatus for detecting cracks in welds
CA2463409A1 (en) 2004-04-02 2005-10-02 Servo-Robot Inc. Intelligent laser joining head
US7711158B2 (en) 2004-12-04 2010-05-04 Electronics And Telecommunications Research Institute Method and apparatus for classifying fingerprint image quality, and fingerprint image recognition system using the same
KR101026720B1 (ko) 2008-06-30 2011-04-08 건국대학교 산학협력단 고속 레이저 비전 센서 시스템, 이를 이용한 고속 이미지프로세싱 방법 및 용접부 외관 검사방법
US20100326962A1 (en) * 2009-06-24 2010-12-30 General Electric Company Welding control system
US8146429B2 (en) * 2009-08-03 2012-04-03 Georgia Tech Research Corporation Methods and systems for classifying the type and severity of defects in welds
US8256296B2 (en) 2009-08-03 2012-09-04 Georgia Tech Research Corporation Methods and systems for detecting defects in welded structures utilizing pattern matching
US10632570B2 (en) 2009-08-27 2020-04-28 Ihi Inspection & Instrumentation Co. Ltd. Laser welding quality determination method and apparatus
JP2012063725A (ja) * 2010-09-17 2012-03-29 Sony Corp 欠陥修正装置及び欠陥修正方法
KR101230221B1 (ko) 2010-11-17 2013-02-05 한국과학기술원 실시간으로 비드 형상을 시뮬레이션 할 수 있는 용접 시뮬레이션 방법, 장치, 시스템 및 이를 위한 기록 매체
KR101240980B1 (ko) 2010-11-18 2013-03-11 기아자동차주식회사 레이저 용접 품질 검사 방법 및 장치
KR101236847B1 (ko) 2010-12-24 2013-02-25 삼성중공업 주식회사 용접 비드 검사 장치 및 그 방법
KR20130038001A (ko) 2011-10-07 2013-04-17 삼성중공업 주식회사 용접 비드의 측정 방법
US9604301B2 (en) * 2012-11-13 2017-03-28 Yuming Zhang Method to monitor and control weld penetration in gas tungsten welding and full-position pipe welding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
곽수남 외 3명. "인공신경망과 영상처리기법을 활용한 배관 용접 결함검사에 관한 연구". 2006 대한토목학회 정기학술대회. pp. 3785-3788*

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190088085A (ko) * 2017-12-26 2019-07-26 주식회사 포스코 용접부 검출 장치 및 방법
KR102075217B1 (ko) * 2017-12-26 2020-02-07 주식회사 포스코 용접부 검출 장치 및 방법
KR20210143681A (ko) * 2020-05-20 2021-11-29 (주)아그루코리아 용접 검수 방법
KR102537856B1 (ko) 2020-05-20 2023-05-31 (주)아그루코리아 용접 검수 방법
US20220184730A1 (en) * 2020-12-11 2022-06-16 Kabushiki Kaisha Toshiba Welding device and method for detecting weld state

Also Published As

Publication number Publication date
US20150001196A1 (en) 2015-01-01
US10029334B2 (en) 2018-07-24
KR20150003607A (ko) 2015-01-09

Similar Documents

Publication Publication Date Title
KR101780049B1 (ko) 레이저 용접 비드 검사 장치 및 방법
AbouelNour et al. In-situ monitoring of sub-surface and internal defects in additive manufacturing: A review
CN113119470B (zh) 实时反馈控制3d打印过程的方法以及用于其的3d打印***
EP3022615B1 (en) Systems and methods for assuring and improving process quality
KR102611342B1 (ko) 심층 합성곱 신경망을 이용한 레이저 가공 공정 모니터링 시스템 및 방법
Zhang et al. Deep-learning-based porosity monitoring of laser welding process
JP6515344B2 (ja) 欠陥検出装置及び欠陥検出方法
US20220143704A1 (en) Monitoring system and method of identification of anomalies in a 3d printing process
US20160098825A1 (en) Feature extraction method and system for additive manufacturing
CN109886298A (zh) 一种基于卷积神经网络的焊缝质量检测方法
JP2005508759A (ja) ワークの接合箇所を評価するための方法および装置
CN102455171B (zh) 一种激光拼焊焊缝背面几何形貌检测方法
JP2012045610A (ja) ビードの終端部の形状を判定する装置及びその方法
US20210260698A1 (en) Methods and devices for monitoring a welding process for welding glass workpieces
KR102230886B1 (ko) 이미지인식 기반의 프로젝션용접 결함 검출시스템
JP2023524803A (ja) レーザ加工プロセスを分析する方法、レーザ加工プロセスを分析するシステム、及びそのようなシステムを備えるレーザ加工システム
EP3722780B1 (en) Particle size measuring apparatus and measuring method
CN113195149A (zh) 用于监测用于焊接玻璃工件的焊接过程的方法和装置
CN117729983A (zh) 用于监控激光焊接工艺的方法及相关激光焊接***
JP2021058927A (ja) レーザ溶接品質検査の方法及びレーザ溶接品質検査装置
US20210197282A1 (en) Method and apparatus for estimating height of 3d printing object formed during 3d printing process, and 3d printing system having the same
KR102148817B1 (ko) 불량 콘택트렌즈 검출 시스템 및 방법
JP2023064612A (ja) レーザ溶接品質判定システムおよびレーザ溶接品質判定方法
Zou et al. Laser-based precise measurement of tailor welded blanks: a case study
CN105372265A (zh) 测量图案化蓝宝石基板的光学测量装置及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant