KR20240047507A - 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법 - Google Patents

모바일 로봇을 활용한 비전 검사 시스템 및 그 방법 Download PDF

Info

Publication number
KR20240047507A
KR20240047507A KR1020220126235A KR20220126235A KR20240047507A KR 20240047507 A KR20240047507 A KR 20240047507A KR 1020220126235 A KR1020220126235 A KR 1020220126235A KR 20220126235 A KR20220126235 A KR 20220126235A KR 20240047507 A KR20240047507 A KR 20240047507A
Authority
KR
South Korea
Prior art keywords
inspection
image
mobile robot
vision
algorithm
Prior art date
Application number
KR1020220126235A
Other languages
English (en)
Inventor
양창모
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020220126235A priority Critical patent/KR20240047507A/ko
Priority to PCT/KR2023/008297 priority patent/WO2024075926A1/ko
Publication of KR20240047507A publication Critical patent/KR20240047507A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/005—Inspection and final control devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/103—Scanning by mechanical motion of stage

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Combustion & Propulsion (AREA)
  • Molecular Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Transportation (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)

Abstract

모바일 로봇을 활용한 비전 검사 시스템 및 그 방법이 개시된다.
본 발명의 실시예에 따른 모바일 로봇을 활용한 비전 검사 시스템은, 적어도 하나의 지정된 검사 포지션(Position, P)으로 이동하여 제품에 조립된 부품의 검사 영역을 촬영하는 모바일 로봇, 및 상기 모바일 로봇으로부터 촬영된 검사 이미지를 취득하고 검사 포지션별 로봇의 반복 위치 오차를 반영한 기준 이미지 대비 상기 검사 이미지의 이미지 편차를 자동으로 계산하여 상기 이미지 편차의 범위를 반영한 이미지 어그멘테이션(Augmentation) 진행으로 학습된 검사 알고리즘을 통해 검사 포지션별로 상기 검사 이미지의 조립 품질을 평가하는 검사 서버를 포함한다.

Description

모바일 로봇을 활용한 비전 검사 시스템 및 그 방법{VISION INSPECTION SYSTEM AND METHOD USING MOBILE ROBOT}
본 발명은 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법에 관한 것으로써, 보다 상세하게는 자동차 조립 공정에서 작업자의 수동 조립 품질을 실시간으로 검사하는 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법에 관한 것이다.
일반적으로 자동차 생산 공장에서는 다양한 공정을 거쳐 차체와 부품들을 조립하고 있으며, 작업자에 의한 수동 조립 공정에서는 제품의 품질 확보를 위하여 실시간 품질 검사를 필요로 한다.
종래의 실시간 품질검사는 다관절 고정 로봇에 장착된 카메라를 이용하여 검사 이미지를 촬영하는 방식의 비전검사를 수행하고 있다. 하지만, 종래의 비전검사 방식은 고정 로봇의 촬영 자세(모션) 제어 및 촬영 가능한 영역에 한계가 있어 여러 대의 운용이 필요하고, 작업자와 로봇의 작업 동선이 겹쳐 작업을 방해하거나 충돌 위험이 존재한다.
이에, 최근에는 작업자의 작업 동선에 방해를 주지 않게 모바일 로봇에 카메라를 장착하고 검사 이미지를 촬영하는 방안이 모색되고 있다. 그러나, 모바일 로봇을 활용하는 경우 카메라 촬영 시의 위치 오차(촬영 편차)의 발생으로 이미지 취득 시마다 반복되는 이미지 편차가 발생하며, 이는 비전 검사 성능의 저하로 이어지는 문제점이 있다.
예컨대, 모바일 로봇은 이동가능한 특성상 지정된 검사 포지션에서 차량의 검사 영역을 촬영하도록 설정하더라도 미세하게 반복되는 모바일 로봇의 위치 오차로 인하여 매회 촬영한 검사 이미지간 편차가 발생한다. 그리고, 이러한 로봇의 위치 오차는 조립품질 검사를 위해 설정된 부품의 기준 이미지와 검사 이미지간 편차를 유발한다.
이러한 모바일 로봇을 활용한 검사 이미지의 편차는 비전 검사 시스템의 품질 검사에 있어서 성능저하의 원인이 되므로 검사 성능 향상을 위한 개선 방안이 필요하다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
본 발명의 실시예는 산업현장에서 모바일 로봇을 활용한 비전 검사 시 로봇의 반복 위치 오차를 반영한 이미지 편차를 자동으로 계산하고 이를 반영한 검사 알고리즘을 구축하여 검사부품별 비전 검사를 수행하는 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
본 발명의 또다른 목적은 다양한 환경변화로 인한 이미지 편차를 반영한 어그멘테이션 범위를 자동으로 지정하여 생성된 신규 검사 알고리즘으로 기존 검사 알고리즘을 자동 교체하여 실시간으로 최적의 검사 품질을 유지하는 모바일 로봇을 활용한 비전 검사 시스템을 제공하는데 있다.
본 발명의 일 측면에 따르면, 모바일 로봇을 활용한 비전 검사 시스템은, 적어도 하나의 지정된 검사 포지션(Position, P)으로 이동하여 제품에 조립된 부품의 검사 영역을 촬영하는 모바일 로봇; 및 상기 모바일 로봇으로부터 촬영된 검사 이미지를 취득하고 검사 포지션별 로봇의 반복 위치 오차를 반영한 기준 이미지 대비 상기 검사 이미지의 이미지 편차를 계산하여 상기 이미지 편차의 범위를 반영한 이미지 어그멘테이션(Augmentation) 진행으로 학습된 검사 알고리즘을 통해 검사 포지션별로 상기 검사 이미지의 조립 품질을 평가하는 검사 서버;를 포함한다.
또한, 상기 모바일 로봇은, 상기 검사 포지션에서 촬영된 상기 검사 이미지를 생성하는 비전 센서 모듈; 센서류를 통해 주변을 탐지하는 자율주행 센서 모듈; 구동륜 또는 4족 보행을 통해 자유롭게 이동하는 이동 모듈; 촬영된 검사 이미지를 무선통신을 통해 상기 검사 서버로 전송하는 무선통신 모듈; 및 상기 비전 센서 모듈을 통해 작업자의 위치를 인식하고 상기 작업자를 따라 작업이 완료한 검사 포지션(P)으로 이동하면서 상기 비전 센서 모듈을 통해 상기 검사 이미지를 촬영하도록 제어하는 제어 모듈;을 포함한다.
또한, 상기 제어 모듈은, 상기 제품의 종류 및 사양에 따라 당해 공정에서 조립해야 하는 부품의 조립 위치와 그 검사 이미지 촬영을 위해 지정된 적어도 하나의 검사 포지션을 저장할 수 있다.
또한, 상기 제어 모듈은, 상기 제품을 중심으로 여러 방위로 구획된 복수의 구역을 구분하고, 현재 작업자가 존재하는 작업자 구역으로 진입하지 않도록 이동을 제한할 수 있다.
또한, 비전 센서 모듈은, 로봇 암(Arm)을 통해 상기 모바일 로봇에 장착되며, 상기 로봇 암의 자세 제어를 통해 제품의 외장 부품과 실내 내장 부품의 검사 이미지를 촬영할 수 있다.
또한, 상기 검사 서버는, 상기 모바일 로봇으로부터 검사 이미지를 취득하는 통신부; 부품별 검사 이미지에 대응하는 기준 이미지를 저장하고 상기 검사 이미지를 상기 기준 이미지와의 비교로 정합 처리하여 변환된 보정 이미지를 생성하는 이미지 처리부; 사전에 상기 검사 이미지에 대한 이미지 어그멘테이션(Augmentation)을 통해 상기 모바일 로봇의 검사 포지션별 반복 위치 오차 범위를 딥러닝 학습하여 당해 공정의 검사부품별 검사 알고리즘을 구축하는 딥러닝 학습부; 상기 검사 서버의 운용을 위한 프로그램과 데이터를 저장하는 데이터베이스(DB); 및 상기 이미지 정합 처리과정에서 취득된 트랜스포매이션 매트릭스(Transformation Matrix)를 토대로 상기 딥러닝 학습을 위한 이미지 어그멘테이션 범위를 지정하여 신규 검사 알고리즘을 생성하도록 하는 제어부;를 포함할 수 있다.
또한, 상기 이미지 처리부는, 상기 이미지 정합 처리시 상기 기준 이미지에 대한 검사 이미지의 이미지 정합 오차를 계산하고, 두 이미지간 이미지 편차를 계산하여 상기 검사 이미지를 보정 시 취득 가능한 트랜스포매이션 매트릭스(Transformation Matrix) 정보를 추출할 수 있다.
또한, 상기 트랜스포매이션 매트릭스(Transformation Matrix) 정보는, 상기 이미지 편차를 수치화한 값으로써 이미지 이동을 위한 Translation, 이미지 회전을 위한 Rotation, 이미지 확대/축소를 위한 Scale, 이미지 기울기 변환을 위한 Tilt 및 이미지 전단을 위한 Shear 정보를 포함할 수 있다.
또한, 상기 이미지 처리부는, 상기 보정 이미지에서 상기 기준 이미지에 설정된 검사부품 영역(ROI)에 해당하는 적어도 하나의 검사부품 이미지를 학습 데이터로 추출할 수 있다.
또한, 상기 딥러닝 학습부는, 상기 이미지 처리부에서 추출된 검사부품 이미지와 트랜스포매이션 매트릭스 범위를 이용한 이미지 어그멘테이션을 진행하여 상기 반복 위치 오차 범위가 반영된 해당 검사부품의 학습 이미지를 증대 시킬 수 있다.
또한, 상기 딥러닝 학습부는, 상기 검사부품 이미지를 해당 부품의 검사 알고리즘을 통해 딥러닝 학습하여 양품(OK), 불량(NG), 및 검사 오류(NA) 중 어느 하나의 검사 결과를 출력할 수 있다.
또한, 상기 제어부는, 상기 검사 이미지의 이미지 정합 처리과정에서 취득된 트랜스포매이션 매트릭스(Transformation Matrix) 정보를 토대로 딥러닝 학습을 위한 이미지 어그멘테이션 범위를 실시간으로 반영한 신규 검사 알고리즘을 생성할 수 있다.
또한, 상기 제어부는, 상기 신규 검사 알고리즘을 이용하여 딥러닝 재학습한 검사 결과를 기존 검사 알고리즘을 이용한 검사 결과와 비교하여 성능이 향상된 것으로 판단되면 기존 검사 알고리즘을 상기 신규 검사 알고리즘으로 교체 또는 업데이트 할 수 있다.
한편, 본 발명의 일 측면에 따른, 자동차 조립 공정에서 작업자의 수동 조립 품질을 실시간으로 검사하는 모바일 로봇을 활용한 비전 검사 방법은, 모바일 로봇을 이용하여 제품 차량을 중심으로 검사가 필요한 특정 검사 포지션에서 촬영된 검사 이미지를 취득하는 단계; 상기 검사 이미지를 미리 설정된 기준 이미지에 맞게 이미지 정합 처리하여 변환된 보정 이미지에서 검사부품 이미지를 추출하는 단계; 검사 포지션별 로봇의 반복 위치 오차를 반영한 기준 이미지 대비 상기 검사 이미지의 이미지 편차를 자동으로 계산하여 상기 이미지 편차의 범위를 반영한 이미지 어그멘테이션(Augmentation) 진행으로 학습된 검사 알고리즘을 저장하고 상기 검사부품 이미지에 대응하는 검사부품 검사 알고리즘을 이용한 딥러닝 학습으로 비전 검사를 실시하는 단계; 및 상기 비전 검사에 따라 양품(OK), 불량(NG) 및 검사 오류(NA) 중 어느 하나의 검사 결과를 취득하는 단계;를 포함한다.
또한, 상기 검사 결과를 취득하는 단계는, 상기 검사 결과가 불량(NG) 혹은 검사 오류(NA)로 판정된 경우 운영자의 검사 결과 확인을 통해 오검사나 판정불가 이미지를 추출하여 신규 검사 알고리즘의 성능 확인을 위한 평가 데이터로 저장하는 단계를 더 포함할 수 있다.
또한, 상기 검사부품 이미지를 추출하는 단계는, 상기 이미지 정합 처리 과정에서 취득된 트랜스포매이션 매트릭스(Transformation Matrix)를 토대로 상기 딥러닝 학습을 위한 이미지 어그멘테이션 범위를 지정하여 신규 검사 알고리즘을 생성하는 단계를 더 포함하는 모바일 로봇을 활용한 비전 검사 방법.
또한, 상기 신규 검사 알고리즘을 생성하는 단계는, 상기 기준 이미지에 대한 상기 검사 이미지의 이미지 정합 오차를 계산는 단계; 두 이미지간 이미지 편차를 계산하여 상기 검사 이미지를 보정 시 취득 가능한 트랜스포매이션 매트릭스(Transformation Matrix)를 추출하는 단계; 검사 포지션에 해당하여 추출된 트랜스포매이션 매트릭스 값의 분포를 계산하고 범위를 DB화하여 DB에 저장하는 단계; 상기 DB에 저장된 반복 위치 오차 범위를 기준으로 해당 검사부품 이미지의 딥러닝 학습시 이미지 어그멘테이션을 위한 트랜스포매이션 매트릭스 범위로 지정하는 단계; 및 상기 모바일 로봇의 반복 위치 오차가 반영된 어그멘테이션으로 증대된 복수의 학습 이미지를 딥러닝 학습하여 해당 부품의 신규 검사 알고리즘을 생성하여 상기 검사부품 이미지를 딥러닝 재학습 하는 단계;를 포함한다.
또한, 상기 매트릭스 범위로 지정하는 단계는, 상기 트랜스포매이션 매트릭스의 반복 위치 오차 범위를 기준으로, 딥러닝 학습시 상기 어그멘테이션을 이용한 검사부품 이미지의 이동(Translation), 회전(Rotation), 스케일(Scale), 틸트(Tilt), 전단(Shear) 변환 값들의 난수 생성시 범위를 지정할 수 있다.
또한, 상기 매트릭스 범위로 지정하는 단계는, 가우시안 정규 분포에 따른 난수 발생하여 위치에 따라 모바일 로봇의 반복 오차로 발생될 가능성이 상대적으로 높은 이미지 편차에 가중치를 주어 딥러닝 학습을 수행할 수 있다.
또한, 상기 딥러닝 재학습 하는 단계 이후에, 상기 재학습한 결과를 상기 평가 데이터와 비교하여 성능이 향상된 것으로 판단되면 기존 검사 알고리즘을 상기 신규 검사 알고리즘으로 교체 또는 업데이트하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 모바일 로봇을 활용한 비전 검사 시 모바일 로봇의 반복 위치 오차를 반영한 이미지 편차를 자동으로 계산하고 이를 반영한 검사 알고리즘을 생성하여 비전 검사를 수행함으로써 모바일 로봇의 반복 위치 오차에 대한 검사 성능을 향상시키는 효과가 있다.
또한, 비전 검사를 수행하는 과정에서 시간에 따른 설비의 노후화나 다양한 환경변화로 인한 이미지 편차를 반영한 어그멘테이션 범위를 지정하여 신규 검사 알고리즘을 생성하고 기존 검사 알고리즘을 교체/업데이트함으로써 검사 성능 저하를 예방하고 실시간으로 최적의 검사 품질을 유지할 수 있는 효과가 있다.
또한, 모바일 로봇이 작업자를 따라 비전 검사를 수행하고 현재 작업자가 존재하는 구역으로 진입하지 않도록 이동을 제한함으로써 작업자의 작업 동선을 방해하지 않고 충돌을 예방할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 제품 조립 공정에 적용된 모바일 로봇을 활용한 비전 검사 시스템을 나타낸다.
도 2는 본 발명의 실시예에 따른 모바일 로봇을 활용한 비전 검사 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 모바일 로봇을 활용한 비전 검사시의 이미지 편차 발생 문제를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 비전 검사를 위한 검사 이미지 처리 방법을 나타낸다.
도 5는 본 발명의 실시예에 따른 트랜스포매이션 매트릭스를 나타낸다.
도 6은 본 발명의 실시예에 따른 검사부품별 검사 알고리즘 구축 방법을 나타낸다.
도 7은 본 발명의 실시예에 따른 검사부품별 검사 알고리즘을 이용한 비전검사 방법을 나타낸다.
도 8은 본 발명의 실시예에 따른 모바일 로봇을 이용한 비전 검사 방법을 개략적으로 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
여기에서 사용되는 용어는 오직 특정 실시예들을 설명하기 위한 목적이고, 본 발명을 제한하는 것으로 의도되지 않는다. 여기에서 사용되는 바와 같이, 단수 형태들은, 문맥상 명시적으로 달리 표시되지 않는 한, 복수 형태들을 또한 포함하는 것으로 의도된다. "포함하다" 및/또는 "포함하는"이라는 용어는, 본 명세서에서 사용되는 경우, 언급된 특징들, 정수들, 단계들, 작동들, 구성 요소들 및/또는 컴포넌트들의 존재를 특정하지만, 다른 특징들, 정수들, 단계들, 작동들, 구성 요소들, 컴포넌트들 및/또는 이들의 그룹들 중 하나 이상의 존재 또는 추가를 배제하지는 않음을 또한 이해될 것이다. 여기에서 사용되는 바와 같이, 용어 "및/또는"은, 연관되어 나열된 항목들 중 임의의 하나 또는 모든 조합들을 포함한다.
명세서 전체에서, 제1, 제2, A, B, (a), (b) 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.
명세서 전체에서, 어떤 구성 요소가 다른 구성 요소에 '연결된다'거나 '접속된다'고 언급되는 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 '직접 연결된다'거나 '직접 접속된다'고 언급되는 때에는, 중간에 다른 구성 요소가 존재하지 아니하는 것으로 이해되어야 할 것이다
추가적으로, 아래의 방법들 또는 이들의 양상들 중 하나 이상은 적어도 하나 이상의 제어부에 의해 실행될 수 있음이 이해된다. "제어부"라는 용어는 메모리 및 프로세서를 포함하는 하드웨어 장치를 지칭할 수 있다. 메모리는 프로그램 명령들을 저장하도록 구성되고, 프로세서는 아래에서 더욱 자세히 설명되는 하나 이상의 프로세스들을 수행하기 위해 프로그램 명령들을 실행하도록 특별히 프로그래밍 된다. 제어부는, 여기에서 기재된 바와 같이, 유닛들, 모듈들, 부품들, 장치들, 또는 이와 유사한 것의 작동을 제어할 수 있다. 또한, 아래의 방법들은, 당업자에 의해 인식되는 바와 같이, 하나 이상의 다른 컴포넌트들과 함께 제어부를 포함하는 장치에 의해 실행될 수 있음이 이해된다.
또한, 명세서 전체에서 "이미지"와 관련된 다양한 용어가 사용되므로 아래와 같이 정의한다.
검사 이미지는 실제 비전 검사 시 모바일 로봇이 특정 검사 포지션(EX. P1, P2, …, Pn)에서 검사 영역을 촬영하여 취득된 원본 이미지를 의미한다.
기준 이미지는 사전에 지정된 검사 포지션(EX. P1, P2, …, Pn)에 모바일 로봇을 정위치 시킨 후 상기 검사 영역을 촬영한 최적의 이미지이며, 비전 검사 시 상기 검사 이미지에 속하는 부품별 조립 품질을 평가하는 기준 된다.
보정 이미지는 상기 기준 이미지에 대한 상기 검사 이미지의 편차를 보정하여 상기 기준 이미지에 가깝게(근사하게) 변환한 이미지를 의미한다.
검사부품 이미지는 상기 기준 이미지에 설정된 검사부품 ROI 영역에 대응하여 상기 보정 이미지에서 추출된 개별 부품 이미지를 의미한다.
학습 이미지는 상기 검사부품 이미지를 이미지 어그멘테이션(Augmentation)으로 변환하여 증대된 딥러닝 학습용 데이터 세트를 의미한다.
이제 본 발명의 실시예에 따른 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 제품 조립 공정에 적용된 모바일 로봇을 활용한 비전 검사 시스템을 나타낸다.
도 2는 본 발명의 실시예에 따른 모바일 로봇을 활용한 비전 검사 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 검사 서버(100)는 산업현장의 제품 조립 공정에서 작업자의 부품 조립 품질을 평가하기 위한 것으로서, 적어도 하나의 지정된 검사 포지션(Position, P)으로 이동하여 제품에 조립된 부품의 검사 영역을 촬영하는 모바일 로봇(10), 및 상기 모바일 로봇(10)으로부터 촬영된 검사 이미지를 취득하고 검사 포지션별 반복된 로봇의 반복 위치 오차를 반영한 기준 이미지 대비 상기 검사 이미지의 이미지 편차를 자동으로 계산하여 상기 이미지 편차의 범위를 반영한 어그멘테이션(Image augmentation)의 진행으로 학습된 검사 알고리즘을 통해 상기 검사 포지션별 상기 검사 이미지의 조립 품질을 평가하는 것을 특징으로 한다.
여기서, 상기 제품은 스마트 팩토리의 이송 수단(20)을 통해 설정된 작업 위치로 이송되고 작업자에 할당된 적어도 하나의 부품이 조립된다. 이하, 상기 제품은 "차량"을 가정하여 설명하되, 상기 차량은 완성차를 목표로 조립 과정에 있는 차체이거나 그 차체를 이루는 일부 구성품(EX. 도어, 데시보드, 내장품 등)일 수 있다. 상기 이송 수단(20)은 컨베이어나 물류 이송 로봇 등일 수 있다.
모바일 로봇(10)은 지정된 검사 포지션(P)으로 이동하여 촬영된 검사 이미지를 검사 서버(100)로 전송한다. 여기서, 상기 검사 포지션(P)은 차량을 중심으로 여러 방위로 구획된 복수의 작업 구역(EX. 제1 구역 내지 제6 구역)내 존재하는 촬영 포지션/포인트(Position/Point)로, 예컨대, 복수의 작업 구역별로 지정된 제1 검사 포지션(P1), 제2 검사 포지션(P2), …, 제6 검사 포지션(P6)을 포함할 수 있다. 다만, 본 발명의 실시예의 작업 구역과 검사 포지션 개수는 이에 한정되지 않으며 부품의 조립 위치에 따라 동일한 작업 구역내 복수의 검사 포지션을 지정할 수 있다.
모바일 로봇(10)은 사족 보행 로봇이나 AMR(Autonomous Mobile Robot) 등으로 구성될 수 있다. AMR은 구동륜을 이용하여 평평한 바닥에서만 이동 가능한 제약이 있으므로, 본 발명의 바람직한 실시예는 보다 높은 자유도로 계단이나 불규칙한 험로에서도 이동가능한 사족 보행 로봇(일명 "로봇 개" 또는 "스팟(Spot)"이라고도 함)을 가정하여 설명하도록 한다.
도 2와 같이, 모바일 로봇(10)은 비전 센서 모듈(11), 자율주행 센서 모듈(12), 이동 모듈(13), 무선통신 모듈(14) 및 제어 모듈(15)을 포함한다.
비전 센서 모듈(11)은 로봇에 장착되며, 지정된 검사 포지션(P)에서 촬영된 검사 이미지를 생성한다.
비전 센서 모듈(11)은 촬영 포지션 변경의 자유도를 위해 로봇 암(Arm)(11-1)을 통해 모바일 로봇(10)에 장착된다. 이러한 비전 센서 모듈(11)은 차량의 외장 부품 뿐만 아니라 로봇 암(11-1)의 자세(모션) 제어를 통한 차량내 내장부품까지 촬영할 수 있다.
자율주행 센서 모듈(12)은 자율주행을 위한 카메라, 레이저, 초음파, 레이더, 라이다 및 위치인식장치 중 적어도 하나의 센서류를 포함하여 주변을 탐지하고 작업자 및 사물을 인식할 수 있다.
이동 모듈(13)은 4개 다리를 포함하며, 4족 보행을 통해 계단이나 불규칙한 노면을 자유롭게 이동할 수 있다.
무선통신 모듈(14)은 비전 센서 모듈(11)에서 촬영된 검사 이미지를 무선통신을 통해 검사 서버(100)로 전송하고, 필요시 상기 검사 서버(100)로부터 제어신호를 수신할 수 있다.
제어 모듈(15)은 본 발명의 실시예에 따른 모바일 로봇(10)의 운용을 위한 전반적인 동작을 제어한다.
작업자는 작업 위치로 차량이 이송되면 자신에 할당된 적어도 하나의 부품을 차량에 조립한다. 상기 부품은 차량에 조립되는 차체, 파트 및 전장 부품 등이거나 지정된 조립 위치를 갖는 볼트, 너트, 리벳 등의 체결부품 등을 포함한다.
제어 모듈(15)은 차량의 종류 및 사양에 따라 당해 공정에서 조립해야 하는 부품의 조립 위치와 그 검사 이미지 촬영을 위해 지정된 적어도 하나의 검사 포지션(P1, P2, …, P6)을 저장한다.
제어 모듈(15)은 비전 센서 모듈(11)을 통해 작업자의 위치를 인식하고 상기 작업자를 따라 작업을 완료한 검사 포지션(P1, P2, …, P6)으로 이동하면서 비전 센서 모듈(11)을 통해 검사 이미지를 촬영하도록 제어한다.
예컨대, 도 1에 나타낸 것과 같이, 작업자가 제1 구역, 제2 구역, 제3 구역의 작업을 마치고, 제4 구역에서 작업중인 경우 모바일 로봇(10)은 P1, P2, P3 순으로 이동하여 검사 이미지를 촬영 후 대기할 수 있다.
이 때, 제어 모듈(15)은 현재 작업자가 존재하는 작업자 구역(즉, 제4 구역)으로 진입하지 않도록 이동을 제한하고 대기시킴으로써 작업자의 작업 동선을 방해하지 않고 충돌을 예방한다.
또한, 조립 공정 영역에는 작업자의 안전을 위하여 작업자의 위치를 감시하고 작업자 구역내에 모바일 로봇(10)의 진입 이벤트를 검사 서버(100)로 전송하는 감시 카메라(30)가 더 구성될 수 있다.
이에, 검사 서버(100)는 상기 진입 이벤트를 수신하면 모바일 로봇(10)에 즉시 정지 신호를 전달하여 작업자 구역으로의 이동을 제한함으로써 작업자의 안전을 보장할 수 있다.
한편, 검사 서버(100)는 모바일 로봇(10)으로부터 검사 이미지를 취득하면 특징점을 검출하여 기준 이미지에 가깝게 이미지 변환을 수행하고 검사부품 영역(Region of Interest, ROI)을 크로핑하여 추출된 적어도 하나의 검사부품 이미지를 딥러닝 비전 검사 프로그램을 통해 검사한다.
다만, 모바일 로봇(10)을 이용하여 비전 검사를 수행하는 경우 모바일 로봇(10)의 위치와 검사부품 위치에 따라 취득되는 검사 이미지는 촬영 시 발생되는 위치 오차로 인하여 기준 이미지와의 이미지 편차가 발생되는 문제가 있다.
예컨대, 도 3은 본 발명의 실시예에 따른 모바일 로봇을 활용한 비전 검사시의 이미지 편차 발생 문제를 설명하기 위한 도면이다.
도 3을 참조하면, 기준 이미지(121)는 사전에 제1 검사 포지션(P1)에 모바일 로봇(10)을 정위치 시킨 후 검사 영역을 촬영한 최적의 이미지이다.
상기 기준 이미지(121)는 비전 검사 시 해당 검사 이미지에 속하는 부품의 조립 품질을 평가하는 기준이 되며, 적어도 하나의 검사부품 ROI 영역과 이들을 포함하는 전체 ROI 영역이 설정된다.
하지만, 모바일 로봇(10)은 이동성 설비인 특성상 기존 고정 설비와 달리 지정된 검사 포지션(P1, P2, …, P6)으로 이동하여 차체의 검사 영역을 촬영하도록 설정하더라도 미세하게 반복되는 위치 오차(이하, "반복 위치 오차"라 명명함)로 인하여 매회 촬영한 검사 이미지의 편차를 유발하여 검사 성능이 저하될 수 있다.
즉, 도 3에 나타낸 것과 같이, 모바일 로봇(10)이 매번 상기 제1 검사 포지션(P1)으로 이동시켜 검사 이미지를 취득한 경우 크고 작은(EX. 10mm ~ 500mm) 반복 위치 오차를 발생한다.
이로 인하여, 모바일 로봇(10)이 검사 횟수별 실제 위치에서 촬영을 수행한 경우, ①번째 검사 이미지, ②번째 검사 이미지, 및 ③번째 검사 이미지 등은 기준 이미지(121)와 서로 다른 이미지 편차가 발생한다. 여기에, 모바일 로봇(10)에 이미지 촬영의 자유도를 위한 로봇 암(11-1)을 부착하여 사용할 경우 상기 반복 위치 오차와 로봇 암(11-1)의 포지션 오차에 따라서 촬영된 검사 이미지의 편차가 더욱 증가될 수 있다.
이처럼, 모바일 로봇(10)으로부터 취득된 검사 이미지는 로봇의 반복 위치 오차로 이미지 편차가 발생하며, 이는 상기 반복 위치 오차로 인해 발생되는 이미지의 이동(Translation), 회전(Rotation), 스케일(Scale), 틸트(Tilt), 전단(Shear)이 상기 이미지 편차에 반영되는 것이라 할 수 있다.
이러한 문제를 종합할 때, 검사 서버(100)는 모바일 로봇(10)을 활용하여 비전 검사를 수행하는 경우, 취득된 검사 이미지의 이미지 편차를 보정 시 로봇의 반복 위치 오차로 인해 이미지 변환 조건이 반복적으로 변경될 수 있기 때문에 각 검사 포지션(P)의 부품별로 로봇의 반복 위치 오차가 반영된 검사 알고리즘 생성이 필요하다.
이에, 본 발명의 실시예에 따른 검사 서버(100)는 모바일 로봇(10)의 각 검사 포지션(P)의 부품별로 로봇의 이미지 편차 범위(반복 위치 오차)를 반영한 딥러닝 학습을 통해 검사 알고리즘을 자동으로 생성하는 것을 목적으로 한다.
이를 위해, 검사 서버(100)는 상기 딥러닝 학습시 모바일 로봇(10)의 반복 위치 오차 범위를 반영한 이미지 어그멘테이션(Augmentation)을 수행하여 검사 알고리즘을 생성하고, 모바일 로봇(10)의 반복 위치 오차를 고려한 검사 알고리즘을 통해 비전 검사를 수행하여 검사 성능을 향상 시킬 수 있다.
이러한, 검사 서버(100)는 통신부(110), 이미지 처리부(120), 딥러닝 학습부(130), 데이터베이스(DB)(140), 및 제어부(150)를 포함한다.
통신부(110)는 유무선 통신수단을 포함하며, 모바일 로봇(10)으로부터 검사 이미지를 취득한다.
이미지 처리부(120)는 부품별 검사 이미지에 대응하는 기준 이미지를 저장하고, 취득된 검사 이미지를 해당 기준 이미지와의 비교로 정합 처리하여 변환된 보정 이미지를 생성한다.
도 4는 본 발명의 실시예에 따른 비전 검사를 위한 검사 이미지 처리 방법을 나타낸다.
도 5는 본 발명의 실시예에 따른 트랜스포매이션 매트릭스를 나타낸다.
도 4 및 도 5를 참조하면, 이미지 처리부(120)는 상기 이미지 정합 처리시 상기 기준 이미지에 대한 검사 이미지의 이미지 정합 오차를 계산하고, 두 이미지간 이미지 편차를 계산하여 상기 검사 이미지를 보정 시 취득 가능한 트랜스포매이션 매트릭스(Transformation Matrix) 정보를 추출한다. 여기서, 상기 트랜스포매이션 매트릭스 정보는 상기 이미지 편차를 수치화한 값으로써 이미지 이동을 위한 Translation, 이미지 회전을 위한 Rotation, 이미지 확대/축소를 위한 Scale, 이미지 기울기 변환을 위한 Tilt 및 이미지 전단을 위한 Shear 정보를 포함한다.
이미지 처리부(120)는 상기 보정 이미지에서 상기 기준 이미지에 설정된 검사부품 영역(ROI)에 해당하는 적어도 하나의 검사부품 이미지를 학습 데이터로 추출한다.
한편, 도 6은 본 발명의 실시예에 따른 검사부품별 검사 알고리즘 구축 방법을 나타낸다.
도 7은 본 발명의 실시예에 따른 검사부품별 검사 알고리즘을 이용한 비전검사 방법을 나타낸다.
도 6 및 도 7을 참조하면, 딥러닝 학습부(130)는 사전에 검사 이미지에 대한 이미지 어그멘테이션을 통해 모바일 로봇(10)의 검사 포지션별(P1, P2, …, P6) 반복 위치 오차 범위를 학습시켜 당해 공정의 검사부품별(P1-1, P1-2, P2, …, P6) 검사 알고리즘을 구축한다.
이 때, 딥러닝 학습부(130)는 이미지 처리부(120)에서 추출된 검사부품 이미지와 트랜스포매이션 매트릭스 범위를 이용한 이미지 어그멘테이션을 진행하여 로봇의 반복 위치 오차 범위가 반영된 해당 검사부품의 학습 이미지를 증대할 수 있다. 상기 학습 이미지는 상기 트랜스포매이션 매트릭스 범위에 따라 이미지의 이동(Translation), 회전(Rotation), 스케일(Scale), 틸트(Tilt), 전단(Shear) 변환 값들의 난수 생성시의 범위가 지정된다. 여기서, 하나의 검사 이미지에 포함된 복수의 검사부품 이미지는 상기 트랜스포매이션 매트릭스 범위를 동일하게 적용하여 이미지 어그멘테이션을 진행할 수 있다.
또한, 딥러닝 학습부(130)는 로봇의 반복 위치 오차 범위가 반영된 랜덤 스케일(Scale) 이미지를 증대하여 상기 학습 이미지에 적용할 수 있다.
이와 같이, 지정된 검사 포지션에 대하여 로봇의 반복 위치 오차 범위가 반영된 다양한 학습 이미지의 증대를 통해 검사 알고리즘을 생성함으로써 상기 검사 포지션을 중심으로 모바일 로봇이 검사 가능한 영역을 확장할 수 있다. 따라서, 상기 검사 가능한 영역 내에서 모바일 로봇의 반복 위치 오차가 발생하더라도 검사 오류를 예방하고 검사 성능을 향상시킬 수 있다.
딥러닝 학습부(130)는 상기 검사부품 이미지를 해당 부품의 검사 알고리즘을 통해 딥러닝 학습하여 양품(OK), 불량(NG), 및 검사 오류(NA) 중 어느 하나의 검사 결과를 출력한다.
예를 들어, 딥러닝 학습부(130)는 P1-1 검사부품 이미지의 입력에 따라 해당하는 P1-1 알고리즘을 통해 비전 검사를 수행하고 검사 결과를 출력한다.
여기서, 상기 검사 결과는 P1-1 검사부품 이미지가 해당 부품을 정상 조립한 양품 기준 이미지(P1-1(OK))에 가깝거나 부품을 미조립한 불량 기준 이미지(P1-1(NG))에 가까운 유사도 비율(%)에 따라 판정될 수 있다. 다만, P1-1 검사부품 이미지가 해당 양품 기준 이미지(P1-1(OK)와 불량 기준 이미지(P1-1(NG)) 중 어느 것 과도 유사하지 않으면 판정 불가에 따른 검사 오류(NA)를 출력할 수 있다.
또한, 딥러닝 학습부(130)는 상기 제1 검사부품 이미지(P1-1)가 양품 기준 이미지(P1-1(OK))와 일정 비율(EX. 80%) 이상이거나 미만인 조건으로 양/불(OK/NG) 여부를 판정할 수 있다.
딥러닝 학습부(130)는 인공 신경망 기반의 프로그램으로 구성될 수 있다.
DB(140)는 본 발명의 실시예에 따른 모바일 로봇을 활용한 검사 서버(100)의 운용에 필요한 각종 프로그램 및 데이터를 저장하고, 그 운용에 따라 생성되는 데이터를 저장한다.
DB(140)는 당해 공정에 해당하는 검사부품별(P1-1, P1-2, P2, …, P6) 검사 알고리즘을 저장하고, 비전 검사를 반복함에 따라 신규 생성되는 검사 알고리즘을 교체나 추가 업데이트 할 수 있다.
제어부(150)는 본 발명의 실시예에 따른 모바일 로봇을 활용한 비전 검사를 수행하는 검사 서버(100)의 전반적인 동작을 제어하는 중앙 처리 장치이다. 즉, 제어부(150)는 DB(140)에 저장된 각종 프로그램의 실행으로 서버(100)에 구성된 상기 각부를 제어할 수 있다.
이러한 제어부(150)는 설정된 프로그램에 의하여 동작하는 하나 이상의 프로세서로 구현될 수 있으며, 상기 설정된 프로그램은 본 발명의 실시예에 따른 모바일 로봇을 이용한 비전 검사 방법의 각 단계를 수행하도록 프로그래밍 된 것일 수 있다.
이러한 모바일 로봇을 이용한 비전 검사 방법은 아래의 도면을 참조하여 더욱 구체적으로 설명하기로 한다.
도 8은 본 발명의 실시예에 따른 모바일 로봇을 이용한 비전 검사 방법을 개략적으로 나타낸 흐름도이다.
도 8을 참조하면, 본 발명의 실시예에 따른 모바일 로봇을 이용한 비전 검사 방법은 앞서 도 1을 통해 설명한 것과 같이 부품의 수동 조립 공정의 비전 검사를 위해 운용중인 모바일 로봇(10)이 제품 차량의 주변에 지정된 제1 검사 포지션(P1) 내지 제6 검사 포지션(P6)으로 이동하면서 차량에 조립된 부품의 검사 이미지를 촬영하는 시나리오를 가정하여 설명한다.
검사 서버(100)의 제어부(150)는 운용중인 모바일 로봇(10)을 이용하여 제품 차량을 중심으로 검사가 필요한 특정 검사 포지션에서 촬영된 검사 이미지를 취득한다(S110). 이하 설명의 편의상 제어부(150)가 모바일 로봇(10)으로 부터 제1 검사 포지션(P1)에서 촬영된 검사 이미지를 취득한 것을 가정하여 설명하도록 한다.
제어부(150)는 모바일 로봇(10)으로부터 취득된 검사 이미지를 미리 설정된 기준 이미지의 검사부품 영역(ROI)에 맞게 이미지 정합 처리하여 변환된 보정 이미지를 생성한다. 그리고, 상기 보정 이미지에서 상기 기준 이미지의 검사부품 영역(ROI)에 해당하는 적어도 하나의 검사부품 이미지를 추출한다(S120). 예컨대, 상기 검사부품 이미지는 제1 검사 포지션(P1)에 해당하는 부품 번호(P1-1)를 가지며 이를 통해 비전 검사 대상인 검사부품(P1-1)을 식별할 수 있다.
제어부(150)는 사전에 검사 포지션별 로봇의 반복 위치 오차를 반영한 기준 이미지 대비 검사 이미지의 이미지 편차를 자동으로 계산하여 상기 이미지 편차의 범위를 반영한 자동 이미지 어그멘테이션(Augmentation) 진행으로 딥러닝 학습된 당해 공정의 조립 부품별(P1-1, P1-2, P2, …, P6) 검사 알고리즘을 구축하고 있다.
제어부(150)는 상기 제1 검사부품 이미지(P1-1)에 대응하는 제1 검사부품(P1-1) 검사 알고리즘을 이용한 딥러닝 학습으로 비전 검사를 실시한다(S130).
제어부(150)는 상기 비전 검사에 따라 양품(OK), 불량(NG) 및 검사 오류(NA) 중 어느 하나의 검사 결과를 취득할 수 있다(S140).
이 때, 상기 검사 결과가 양품(OK)으로 판정된 경우, 제어부(150)는 당해 검사를 종료하고 리턴 하여 다음 부품검사 이미지(P1-2, P2, …, P6)에 대한 비전 검사를 반복하고, 다음 부품검사 이미지가 존재하지 않으면 검사를 종료한다.
반면, 상기 검사 결과가 불량(NG) 혹은 검사 오류(NA)로 판정된 경우, 제어부(150)는 운영자의 검사 결과 확인을 통해 오검사(예; OK/NG 오판)나 판정불가 이미지를 추출하여 저장하고, 후술되는 신규 검사 알고리즘의 성능 확인을 위한 평가 데이터로 활용한다(S160).
이처럼, 제어부(150)는 사전에 모바일 로봇(10)의 검사 포지션별 반복 오차 범위를 학습하여 부품별(P1-1, P1-2, P2, …, P6) 검사 알고리즘을 구축하고 이를 활용한 비전 검사를 수행함으로써 모바일 로봇(10)의 반복 위치 오차에 대한 이미지 편차를 보정함으로써 부품별 조립 품질의 평가성능을 향상시킬 수 있다.
한편, 기구축된 검사 알고리즘(이하, "기존 검사 알고리즘"이라 명명함)은 시간의 흐름에 따라 모바일 로봇(10)을 포함한 공정 설비들의 노후화나 비전 센서 모듈(11)의 장착 위치의 변화 등 공정 운용상의 다양한 환경변화로 인해 이미지 편차가 발생될 수 있고 이로 인하여 검사 성능이 저하될 수 있다.
이에 검사 성능 저하를 방지하기 위하여, 제어부(150)는 상기 S120 단계의 상기 이미지 정합 처리과정에서 취득된 트랜스포매이션 매트릭스(Transformation Matrix) 정보를 토대로 딥러닝 학습을 위한 이미지 어그멘테이션 범위를 실시간으로 최적화한 신규 검사 알고리즘을 생성하는 특징을 가진다.
이를 통해, 기존 검사 알고리즘을 상기 다양한 환경변화를 반영한 신규 검사 알고리즘으로 교체나 추가 업데이트함으로써 모바일 로봇의 반복 위치 오차 뿐만 아니라, 설비의 노후화 등 다양한 환경변화로 인한 검사 알고리즘의 성능 저하를 예방하고 나아가 검사 성능을 더욱 향상시킬 수 있다.
이하, 본 발명의 실시예에 따른 상기 부품별 신규 검사 알고리즘 생성 방법에 대하여 구체적으로 설명한다.
제어부(150)는 상기 이미지 정합 처리과정에서 상기 기준 이미지에 대한 검사 이미지의 이미지 정합 오차를 계산한다(S121). 그리고, 두 이미지간 이미지 편차를 계산하여 상기 검사 이미지를 보정 시 취득 가능한 트랜스포매이션 매트릭스(Transformation Matrix)를 추출한다(S122). 여기서, 상기 트랜스포매이션 매트릭스는 상기 이미지 편차를 수치화한 값으로써 이미지 이동을 위한 Translation, 이미지 회전을 위한 Rotation, 이미지 확대/축소를 위한 Scale, 이미지 기울기 변환을 위한 Tilt 및 이미지 전단을 위한 Shear 정보를 포함한다.
제어부(150)는 모바일 로봇(10)의 검사(촬영) 위치에 해당하여 추출된 트랜스포매이션 매트릭스 값의 분포를 계산하고 범위를 DB화하여 DB(140)에 저장한다(S123).
제어부(150)는 상기 DB(140)에 저장된 반복 위치 오차 범위를 기준으로 해당 검사부품 이미지의 딥러닝 학습시 이미지 어그멘테이션을 위한 트랜스포매이션 매트릭스 범위로 지정 한다(S124). 즉, 제어부(150)는 트랜스포매이션 매트릭스의 반복 위치 오차 범위를 기준으로 딥러닝 학습시 상기 어그멘테이션을 이용한 검사부품 이미지의 이동(Translation), 회전(Rotation), 스케일(Scale), 틸트(Tilt), 전단(Shear) 변환 값들의 난수 생성시의 범위를 지정할 수 있다. 특히, 제어부(150)는 상기 트랜스포매이션 매트릭스 범위를 지정시 가우시안 정규 분포에 따른 난수 발생을 하도록 함으로써 위치에 따라 모바일 로봇의 반복 오차로 발생될 가능성이 상대적으로 높은 이미지 편차에 가중치를 주어 딥러닝 학습을 수행할 수 있다.
제어부(150)는 모바일 로봇(10)의 반복 위치 오차가 반영된 어그멘테이션으로 증대된 복수의 학습 이미지를 딥러닝 학습하여 해당 부품의 신규 검사 알고리즘을 생성하고, 당해 검사부품 이미지를 상기 신규 검사 알고리즘을 활용하여 딥러닝 재학습 한다(S125).
즉, 제어부(150)는 상기 딥러닝 학습시 모바일 로봇(10)의 위치 별 오차 범위를 반영한 이미지 어그멘테이션을 통해 부품별 신규 검사 알고리즘을 생성하고, 이를 활용한 딥러닝 재학습을 통해 검사 성능을 향상시킬 수 있다.
제어부(150)는 상기 재학습 검사 결과와 상기 신규 검사 알고리즘의 성능 평가를 위해 마련된 기존 검사 알고리즘의 평가 데이터를 비교한다(S126).
이 때, 제어부(150)는 사전에 구축된 기존 검사 알고리즘보다 상기 신규 검사 알고리즘의 평가 성능이 향상된 경우(EX. 기존 P1-1 알고리즘 < 신규 P1-1 알고리즘), 상기 기존 검사 알고리즘을 상기 신규 알고리즘으로 자동 교체한다(S126; 예). 가령, 기존 검사 알고리즘을 활용시 검사 오류(NA)가 발생된 이미지를 상기 신규 검사 알고리즘을 활용하여 양불(OK/NG)판정 가능한 경우 평가 성능이 향상된 것으로 판단하여 자동 교체할 수 있다.
반면, 제어부(150)는 기존 검사 알고리즘과 이하로 상기 평가 성능이 향상되지 않은 경우 기존 검사 알고리즘을 유지한다(S126; 아니오).
이와 같이, 본 발명의 실시예에 따르면, 모바일 로봇을 활용한 비전 검사 시 모바일 로봇의 반복 위치 오차를 반영한 이미지 편차를 자동으로 계산하고 이를 반영한 검사 알고리즘을 생성하여 비전 검사를 수행함으로써 모바일 로봇의 반복 위치 오차에 대한 검사 성능을 향상시킬 수 있다.
또한, 비전 검사를 수행하는 과정에서 시간에 따른 설비의 노후화나 다양한 환경변화로 인한 이미지 편차를 반영한 어그멘테이션 범위를 지정하여 신규 검사 알고리즘을 생성하고 기존 검사 알고리즘을 교체/업데이트함으로써 검사 성능 저하를 예방하고 최적의 검사 품질을 유지할 수 있다.
또한, 모바일 로봇이 작업자를 따라 비전 검사를 수행하고 현재 작업자가 존재하는 구역으로 진입하지 않도록 이동을 제한함으로써 작업자의 작업 동선을 방해하지 않고 충돌을 예방할 수 있는 효과가 있다.
본 발명의 실시예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10: 모바일 로봇 11: 비전 센서 모듈
11-1: 로봇 암 12: 자율주행 센서 모듈
13: 이동 모듈 14: 무선통신 모듈
15: 제어 모듈 20: 이송 수단
30: 감시 카메라
100: 검사 서버 110: 통신부
120: 이미지 처리부 130: 딥러닝 학습부
140: 데이터베이스(DB) 150: 제어부
P(P1 ~ P6): 검사 포지션

Claims (20)

  1. 적어도 하나의 지정된 검사 포지션(Position, P)으로 이동하여 제품에 조립된 부품의 검사 영역을 촬영하는 모바일 로봇; 및
    상기 모바일 로봇으로부터 촬영된 검사 이미지를 취득하고 검사 포지션별 로봇의 반복 위치 오차를 반영한 기준 이미지 대비 상기 검사 이미지의 이미지 편차를 계산하여 상기 이미지 편차의 범위를 반영한 이미지 어그멘테이션(Augmentation) 진행으로 학습된 검사 알고리즘을 통해 검사 포지션별로 상기 검사 이미지의 조립 품질을 평가하는 검사 서버;
    를 포함하는 모바일 로봇을 활용한 비전 검사 시스템.
  2. 제1항에 있어서,
    상기 모바일 로봇은,
    상기 검사 포지션에서 촬영된 상기 검사 이미지를 생성하는 비전 센서 모듈;
    센서류를 통해 주변을 탐지하는 자율주행 센서 모듈;
    구동륜 또는 4족 보행을 통해 자유롭게 이동하는 이동 모듈;
    촬영된 검사 이미지를 무선통신을 통해 상기 검사 서버로 전송하는 무선통신 모듈; 및
    상기 비전 센서 모듈을 통해 작업자의 위치를 인식하고 상기 작업자를 따라 작업이 완료한 검사 포지션(P)으로 이동하면서 상기 비전 센서 모듈을 통해 상기 검사 이미지를 촬영하도록 제어하는 제어 모듈;
    을 포함하는 모바일 로봇을 활용한 비전 검사 시스템.
  3. 제2항에 있어서,
    상기 제어 모듈은,
    상기 제품의 종류 및 사양에 따라 당해 공정에서 조립해야 하는 부품의 조립 위치와 그 검사 이미지 촬영을 위해 지정된 적어도 하나의 검사 포지션을 저장하는 모바일 로봇을 활용한 비전 검사 시스템.
  4. 제2항에 있어서,
    상기 제어 모듈은,
    상기 제품을 중심으로 여러 방위로 구획된 복수의 구역을 구분하고, 현재 작업자가 존재하는 작업자 구역으로 진입하지 않도록 이동을 제한하는 모바일 로봇을 활용한 비전 검사 시스템.
  5. 제2항에 있어서,
    비전 센서 모듈은,
    로봇 암(Arm)을 통해 상기 모바일 로봇에 장착되며, 상기 로봇 암의 자세 제어를 통해 제품의 외장 부품과 실내 내장 부품의 검사 이미지를 촬영하는 모바일 로봇을 활용한 비전 검사 시스템.
  6. 제1항에 있어서,
    상기 검사 서버는,
    상기 모바일 로봇으로부터 검사 이미지를 취득하는 통신부;
    부품별 검사 이미지에 대응하는 기준 이미지를 저장하고 상기 검사 이미지를 상기 기준 이미지와의 비교로 정합 처리하여 변환된 보정 이미지를 생성하는 이미지 처리부;
    사전에 상기 검사 이미지에 대한 이미지 어그멘테이션(Augmentation)을 통해 상기 모바일 로봇의 검사 포지션별 반복 위치 오차 범위를 딥러닝 학습하여 당해 공정의 검사부품별 검사 알고리즘을 구축하는 딥러닝 학습부;
    상기 검사 서버의 운용을 위한 프로그램과 데이터를 저장하는 데이터베이스(DB); 및
    상기 이미지 정합 처리과정에서 취득된 트랜스포매이션 매트릭스(Transformation Matrix)를 토대로 상기 딥러닝 학습을 위한 이미지 어그멘테이션 범위를 지정하여 신규 검사 알고리즘을 생성하도록 하는 제어부;
    를 포함하는 모바일 로봇을 활용한 비전 검사 시스템.
  7. 제6항에 있어서,
    상기 이미지 처리부는,
    상기 이미지 정합 처리시 상기 기준 이미지에 대한 검사 이미지의 이미지 정합 오차를 계산하고, 두 이미지간 이미지 편차를 계산하여 상기 검사 이미지를 보정 시 취득 가능한 트랜스포매이션 매트릭스(Transformation Matrix) 정보를 추출하는 모바일 로봇을 활용한 비전 검사 시스템.
  8. 제7항에 있어서,
    상기 트랜스포매이션 매트릭스(Transformation Matrix) 정보는,
    상기 이미지 편차를 수치화한 값으로써 이미지 이동을 위한 Translation, 이미지 회전을 위한 Rotation, 이미지 확대/축소를 위한 Scale, 이미지 기울기 변환을 위한 Tilt 및 이미지 전단을 위한 Shear 정보를 포함하는 모바일 로봇을 활용한 비전 검사 시스템.
  9. 제6항에 있어서,
    상기 이미지 처리부는,
    상기 보정 이미지에서 상기 기준 이미지에 설정된 검사부품 영역(ROI)에 해당하는 적어도 하나의 검사부품 이미지를 학습 데이터로 추출하는 모바일 로봇을 활용한 비전 검사 시스템.
  10. 제6항 내지 제9항 중 어느 한 항에 있어서,
    상기 딥러닝 학습부는,
    상기 이미지 처리부에서 추출된 검사부품 이미지와 트랜스포매이션 매트릭스 범위를 이용한 이미지 어그멘테이션을 진행하여 상기 반복 위치 오차 범위가 반영된 해당 검사부품의 학습 이미지를 증대 시키는 모바일 로봇을 활용한 비전 검사 시스템.
  11. 제10항에 있어서,
    상기 딥러닝 학습부는,
    상기 검사부품 이미지를 해당 부품의 검사 알고리즘을 통해 딥러닝 학습하여 양품(OK), 불량(NG), 및 검사 오류(NA) 중 어느 하나의 검사 결과를 출력하는 모바일 로봇을 활용한 비전 검사 시스템.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 검사 이미지의 이미지 정합 처리과정에서 취득된 트랜스포매이션 매트릭스(Transformation Matrix) 정보를 토대로 딥러닝 학습을 위한 이미지 어그멘테이션 범위를 실시간으로 반영한 신규 검사 알고리즘을 생성하는 모바일 로봇을 활용한 비전 검사 시스템.
  13. 제11항에 있어서,
    상기 제어부는,
    상기 신규 검사 알고리즘을 이용하여 딥러닝 재학습한 검사 결과를 기존 검사 알고리즘을 이용한 검사 결과와 비교하여 성능이 향상된 것으로 판단되면 기존 검사 알고리즘을 상기 신규 검사 알고리즘으로 교체 또는 업데이트하는 모바일 로봇을 활용한 비전 검사 시스템.
  14. 자동차 조립 공정에서 작업자의 수동 조립 품질을 실시간으로 검사하는 모바일 로봇을 활용한 비전 검사 방법에 있어서,
    모바일 로봇을 이용하여 제품 차량을 중심으로 검사가 필요한 특정 검사 포지션에서 촬영된 검사 이미지를 취득하는 단계;
    상기 검사 이미지를 미리 설정된 기준 이미지에 맞게 이미지 정합 처리하여 변환된 보정 이미지에서 검사부품 이미지를 추출하는 단계;
    검사 포지션별 로봇의 반복 위치 오차를 반영한 기준 이미지 대비 상기 검사 이미지의 이미지 편차를 자동으로 계산하여 상기 이미지 편차의 범위를 반영한 이미지 어그멘테이션(Augmentation) 진행으로 학습된 검사 알고리즘을 저장하고 상기 검사부품 이미지에 대응하는 검사부품 검사 알고리즘을 이용한 딥러닝 학습으로 비전 검사를 실시하는 단계; 및
    상기 비전 검사에 따라 양품(OK), 불량(NG) 및 검사 오류(NA) 중 어느 하나의 검사 결과를 취득하는 단계;
    를 포함하는 모바일 로봇을 활용한 비전 검사 방법.
  15. 제14항에 있어서,
    상기 검사 결과를 취득하는 단계는,
    상기 검사 결과가 불량(NG) 혹은 검사 오류(NA)로 판정된 경우 운영자의 검사 결과 확인을 통해 오검사나 판정불가 이미지를 추출하여 신규 검사 알고리즘의 성능 확인을 위한 평가 데이터로 저장하는 단계를 더 포함하는 모바일 로봇을 활용한 비전 검사 방법.
  16. 제14항 또는 제15항에 있어서,
    상기 검사부품 이미지를 추출하는 단계는,
    상기 이미지 정합 처리 과정에서 취득된 트랜스포매이션 매트릭스(Transformation Matrix)를 토대로 상기 딥러닝 학습을 위한 이미지 어그멘테이션 범위를 지정하여 신규 검사 알고리즘을 생성하는 단계를 더 포함하는 모바일 로봇을 활용한 비전 검사 방법.
  17. 제16항에 있어서,
    상기 신규 검사 알고리즘을 생성하는 단계는,
    상기 기준 이미지에 대한 상기 검사 이미지의 이미지 정합 오차를 계산는 단계;
    두 이미지간 이미지 편차를 계산하여 상기 검사 이미지를 보정 시 취득 가능한 트랜스포매이션 매트릭스(Transformation Matrix)를 추출하는 단계;
    검사 포지션에 해당하여 추출된 트랜스포매이션 매트릭스 값의 분포를 계산하고 범위를 DB화하여 DB에 저장하는 단계;
    상기 DB에 저장된 반복 위치 오차 범위를 기준으로 해당 검사부품 이미지의 딥러닝 학습시 이미지 어그멘테이션을 위한 트랜스포매이션 매트릭스 범위로 지정하는 단계; 및
    상기 모바일 로봇의 반복 위치 오차가 반영된 어그멘테이션으로 증대된 복수의 학습 이미지를 딥러닝 학습하여 해당 부품의 신규 검사 알고리즘을 생성하여 상기 검사부품 이미지를 딥러닝 재학습 하는 단계;
    를 포함하는 모바일 로봇을 활용한 비전 검사 방법.
  18. 제17항에 있어서,
    상기 매트릭스 범위로 지정하는 단계는,
    상기 트랜스포매이션 매트릭스의 반복 위치 오차 범위를 기준으로, 딥러닝 학습시 상기 어그멘테이션을 이용한 검사부품 이미지의 이동(Translation), 회전(Rotation), 스케일(Scale), 틸트(Tilt), 전단(Shear) 변환 값들의 난수 생성시 범위를 지정하는 모바일 로봇을 활용한 비전 검사 방법.
  19. 제18항에 있어서,
    상기 매트릭스 범위로 지정하는 단계는,
    가우시안 정규 분포에 따른 난수 발생하여 위치에 따라 모바일 로봇의 반복 오차로 발생될 가능성이 상대적으로 높은 이미지 편차에 가중치를 주어 딥러닝 학습을 수행하는 모바일 로봇을 활용한 비전 검사 방법.
  20. 제17항에 있어서,
    상기 딥러닝 재학습 하는 단계 이후에,
    상기 재학습 한 결과를 상기 평가 데이터와 비교하여 성능이 향상된 것으로 판단되면 기존 검사 알고리즘을 상기 신규 검사 알고리즘으로 교체 또는 업데이트하는 단계를 더 포함하는 모바일 로봇을 활용한 비전 검사 방법.
KR1020220126235A 2022-10-04 2022-10-04 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법 KR20240047507A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220126235A KR20240047507A (ko) 2022-10-04 2022-10-04 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법
PCT/KR2023/008297 WO2024075926A1 (ko) 2022-10-04 2023-06-15 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220126235A KR20240047507A (ko) 2022-10-04 2022-10-04 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20240047507A true KR20240047507A (ko) 2024-04-12

Family

ID=90608539

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220126235A KR20240047507A (ko) 2022-10-04 2022-10-04 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR20240047507A (ko)
WO (1) WO2024075926A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101610148B1 (ko) * 2014-11-17 2016-04-08 현대자동차 주식회사 차체 검사 시스템 및 방법
US9862096B2 (en) * 2015-03-30 2018-01-09 The Boeing Company Automated dynamic manufacturing systems and related methods
JP6586968B2 (ja) * 2017-02-01 2019-10-09 トヨタ自動車株式会社 移動ロボット、移動ロボットの制御方法および制御プログラム
KR102272305B1 (ko) * 2020-10-14 2021-07-01 함만주 금형 제조 시스템
KR102393068B1 (ko) * 2020-11-03 2022-05-02 주식회사 성우하이텍 이미지기반 부품 인식 시스템 및 그 방법

Also Published As

Publication number Publication date
WO2024075926A1 (ko) 2024-04-11

Similar Documents

Publication Publication Date Title
US8923602B2 (en) Automated guidance and recognition system and method of the same
Plebe et al. Localization of spherical fruits for robotic harvesting
US20220371199A1 (en) System and method for connection of service lines to trailer fronts by automated trucks
KR20200141944A (ko) 크레인 시스템을 이용한 짐의 로딩
Chen et al. Global path planning in mobile robot using omnidirectional camera
JP2022172053A (ja) Ｍｍｐを用いたａｄａｓ検査システムおよびその方法
CA3112095A1 (en) Method and system for autonomous driving of a vehicle
JP3583450B2 (ja) ３次元物体の自動検査装置および方法
CN113247145A (zh) 车辆组装***和组装车辆的方法
Lakhal et al. Control of a hyper-redundant robot for quality inspection in additive manufacturing for construction
US11899750B2 (en) Quantile neural network
KR20240047507A (ko) 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법
Pacheco et al. Control signal weighting for robot formation
CN114187312A (zh) 目标物的抓取方法、装置、***、存储介质及设备
JP7323057B2 (ja) 制御装置、制御方法、および、制御プログラム
CN113240670A (zh) 带电作业场景下针对待作业物体的图像分割方法
Bill et al. Development and implementation of an autonomously driven vehicle prototype
US11756312B2 (en) Orientation-agnostic lane tracking in a vehicle
CN114735044A (zh) 智能轨道车辆巡检机器人
Polasek et al. Optical positioning using neural network
Yang et al. Two-stage multi-sensor fusion positioning system with seamless switching for cooperative mobile robot and manipulator system
CN114589698B (zh) 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置
Shoureshi et al. Vision-based intelligent control for automated assembly
US20220068055A1 (en) Method for inspecting a condition of a mobile usage unit or of a servicing station
US20240046659A1 (en) Method for detecting an environment by means of images from at least two image sensors