KR102393068B1 - 이미지기반 부품 인식 시스템 및 그 방법 - Google Patents

이미지기반 부품 인식 시스템 및 그 방법 Download PDF

Info

Publication number
KR102393068B1
KR102393068B1 KR1020200145162A KR20200145162A KR102393068B1 KR 102393068 B1 KR102393068 B1 KR 102393068B1 KR 1020200145162 A KR1020200145162 A KR 1020200145162A KR 20200145162 A KR20200145162 A KR 20200145162A KR 102393068 B1 KR102393068 B1 KR 102393068B1
Authority
KR
South Korea
Prior art keywords
image
recognition
jig
camera
parts
Prior art date
Application number
KR1020200145162A
Other languages
English (en)
Inventor
허수영
송병선
박병학
Original Assignee
주식회사 성우하이텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 성우하이텍 filed Critical 주식회사 성우하이텍
Priority to KR1020200145162A priority Critical patent/KR102393068B1/ko
Application granted granted Critical
Publication of KR102393068B1 publication Critical patent/KR102393068B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D65/00Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/02Joining sub-units or components to, or positioning sub-units or components with respect to, body shell or other sub-units or components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H04N5/2257
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Manufacturing & Machinery (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Factory Administration (AREA)
  • Automatic Assembly (AREA)

Abstract

이미지기반 부품 인식 시스템 및 그 방법이 개시된다.
본 발명의 실시 예에 따른, 차체 조립공정시 사양 별 부품 혼입 방지를 위한 이미지기반 부품 인식 시스템은, 공정설비의 제어를 통해 차체 사양에 따라 고유한 인식홀(H)이 적용된 부품을 지그에 투입하는 공정 제어기; 설정된 고정위치에서 상기 지그에 투입된 부품을 촬영하여 투입 이미지를 획득하는 카메라; 및 상기 카메라를 통해 획득한 상기 부품의 투입 이미지와 설정된 기준 이미지의 편차에 따른 판별 이미지를 생성하고, 상기 판별 이미지 내의 픽셀합이 설정 기준값 초과여부에 따라 불량 부품 혹은 정상 부품을 판정하는 인식 서버;를 포함한다.

Description

이미지기반 부품 인식 시스템 및 그 방법{SYSTEM AND METHOD FOR IMAGE-BASED PART RECOGNITION}
본 발명은 이미지기반 부품 인식 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 차체의 조립공정시 부품 혼입 방지를 위한 이미지기반 부품 인식 시스템 및 그 방법에 관한 것이다.
최근 자동차 산업에서는 신차 개발 시 다양한 고객의 취향을 만족시키기 위하여 다양한 사양의 차체 부품이 사용되고 있다. 차체 부품은 주로 지그에 안착된 상태로 조립이 되며 사양 별 부품 혼입을 방지하기 위해 툴링핀이나 근접센서가 사용되고 있다.
예컨대, 도 1은 종래의 부품 혼입을 방지하기 위한 예시를 나타낸다.
도 1을 참조하면, 차체 별 조립공정에 투입되는 부품의 종류로 부품A 및 부품B가 있다고 가정한다. 종래에는 상기 부품A와 부품B의 혼입을 방지하기 위하여 각 지그에 부품 별 안착을 위한 툴링핀(1)을 적용하고, 부품의 투입유무를 확인하기 위하여 근접센서(2)를 배치하고 있다.
지그A와 지그B는 서로 툴링핀(1)의 세팅 위치가 다르기 때문에 물리적으로 부품A와 부품B가 혼입이 될 수 없는 구조를 가지며 이는 종래 자동차 부품 조립 장치의 일반적인 구성이다. 그러므로 근접센서(2)를 통해 부품이 정상적으로 안착된 것이 센싱 되면 이후 조립공정이 진행된다.
그러나, 종래의 근접센서(2)를 이용하여 부품의 특징을 판단하기 위해서는 지그별 다수의 센서가 장착이 되어야 하며, 이로 인한 근접센서의 배치 및 결선의 복잡도가 증가하는 단점이 있다. 또한, 툴링핀(1)을 적용함에 있어서 정밀 금속 가공 및 간섭회피를 위한 정밀한 3차원 배치의 요구로 인해 지그의 제작 비용이 증가되는 단점이 있다.
이러한, 종래의 근접센서(2)와 툴링핀(1)으로 부품의 혼입을 방지하도록 구성한 조립장치는 특정 사양의 부품(제품)에만 한정된 사용가능하며, 추후 타 사양의 부품(제품)에 전환하여 적용하기에는 유연성 및 호환성이 떨어지는 문제점이 있다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
본 발명의 실시 예는 공정 시 카메라를 통해 촬영된 투입 부품의 투입 이미지와 사전에 설정된 기준 이미지의 편차에 따른 판별 이미지를 생성하고 상기 판별 이미지 내의 픽셀합이 기준치를 초과하는지 여부에 따라 부품의 양품 여부를 판정하는 이미지기반 부품 인식 시스템 및 그 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 차체 조립공정시 사양 별 부품 혼입 방지를 위한 이미지기반 부품 인식 시스템은, 공정설비의 제어를 통해 차체 사양에 따라 고유한 인식홀(H)이 적용된 부품을 지그에 투입하는 공정 제어기; 설정된 고정위치에서 상기 지그에 투입된 부품을 촬영하여 투입 이미지를 획득하는 카메라; 및 상기 카메라를 통해 획득한 상기 부품의 투입 이미지와 설정된 기준 이미지의 편차에 따른 판별 이미지를 생성하고, 상기 판별 이미지 내의 픽셀합이 설정 기준값 초과여부에 따라 불량 부품 혹은 정상 부품을 판정하는 인식 서버;를 포함한다.
또한, 상기 카메라는 이송장치에 장착되어 촬영 시마다 상기 고정위치로 이동한 후 원위치로 복귀할 수 있다.
또한, 상기 공정 제어기는 적어도 하나의 PLC(Programmable Logic Controller)를 포함하며, 생산라인의 자동화 공정을 위한 부품 이송 설비, 지그 클램핑 장치 및 용접 장치를 포함하는 공정설비를 제어할 수 있다.
또한, 상기 인식 서버는 사전에 상기 카메라를 통해 상기 지그의 정위치에 정렬된 사양 별 부품을 각각 촬영하여 획득된 이미지를 각 부품의 기준 이미지로 정의하여 DB(Data Base)에 저장할 수 있다.
또한, 상기 인식 서버는 현재 공정에 조립되는 차체 ID에 기초한 사양을 파악하고, 상기 사양에 맞게 조립해야 하는 부품의 기준 이미지를 상기 DB에서 불러와 기준 모델로 설정할 수 있다.
또한, 상기 인식 서버는 상기 기준 이미지와 상기 투입 이미지를 비교하여 픽셀별 차를 산출한 후 이에 대한 절대값을 연산할 수 있다.
또한, 상기 인식 서버는 상기 연산을 통해 상기 투입 이미지 내의 모든 픽셀에 대한 차와 그 절대값을 토대로 판별 이미지를 획득하고, 상기 판별 이미지 내의 모든 픽셀을 합하는 연산을 통해 편차값을 산출할 수 있다.
또한, 상기 인식 서버는 상기 편차값이 설정된 기준값과 이하이면 정상 부품이 투입된 것으로 판정하는 판정하고, 그 정상 판정결과를 상기 공정 제어기로 전송하여 해당 조립공정을 진행하도록 할 수 있다.
또한, 상기 인식 서버는 상기 편차값이 설정된 기준값을 초과하면 비정상 부품으로 판정하고, 그 불량 판정결과를 상기 공정 제어기로 전송하여 회수 혹은 폐기 처리하도록 할 수 있다.
한편, 본 발명의 일 측면에 따른, 차체 조립공정에 구비된 인식 서버의 이미지기반 부품 인식 방법은, a) 공정 제어기를 통해 지그에 차체 사양에 따라 고유한 인식홀(H)이 적용된 부품이 투입된 것을 확인하는 단계; b) 카메라에 부품 촬영 명령 하여 촬영된 상기 부품의 투입 이미지를 수신하는 단계; c) 상기 투입 이미지와 사전에 설정된 기준 이미지의 편차에 따른 판별 이미지를 생성하는 단계; 및 d) 상기 판별 이미지 내의 픽셀합의 설정 기준값 초과여부에 따라 불량 부품 혹은 정상 부품을 판정하는 단계;를 포함한다.
또한, 상기 a) 단계 이전에, 사전에 상기 카메라를 통해 상기 지그의 정위치에 정렬된 사양 별 부품을 각각 촬영하여 획득된 이미지를 각 부품의 기준 이미지로 정의하여 DB(Data Base)에 저장하는 단계를 더 포함할 수 있다.
또한, 상기 a) 단계는, 상기 DB에서 현재 공정에 조립할 차체의 사양에 맞는 부품의 기준 이미지를 불러와 기준 모델로 설정하는 단계를 포함할 수 있다.
또한, 상기 c) 단계는, 상기 기준 이미지와 상기 투입 이미지를 비교하여 픽셀별 차를 산출한 후 이에 대한 절대값을 연산하는 단계; 및 상기 연산을 통해 상기 투입 이미지 내의 모든 픽셀에 대한 차와 그 절대값을 토대로 판별 이미지를 획득하는 단계;를 포함할 수 있다.
또한, 상기 d) 단계는, 상기 판별 이미지 내의 모든 픽셀을 합하는 연산을 통해 편차값을 산출하는 단계; 및 상기 편차값이 설정된 기준값과 이하이면 정상 부품이 투입된 것으로 판정하는 판정하고, 그 정상 판정결과를 상기 공정 제어기로 전송하여 해당 조립공정을 진행하도록 하는 단계; 혹은 상기 편차값이 설정된 기준값을 초과하면 비정상 부품으로 판정하고, 그 불량 판정결과를 상기 공정 제어기로 전송하여 회수 혹은 폐기 처리하도록 하는 단계;를 포함할 수 있다.
본 발명의 실시 예에 따르면, 지그에 투입된 부품의 투입 이미지와 기준 이미지의 정합성 인식을 통해 정상부품의 여부를 판정함으로써 종래 지그에 복잡한 센서의 설치 없이 하나의 지그를 이용하여 다양한 사양의 차체에 맞는 부품 조립이 가능한 효과가 있다.
또한, 다양한 부품에 고유한 인식홀을 배치하고 기준 이미지와의 인식홀(H) 부분의 픽셀값 편차를 통해 정상부품 여부를 판정함으로써 동일한 형상의 부품이라도 소재가 다른 것을 판정할 수 있는 효과가 있다.
또한, 기존 이미지 형상 인식 방식이나 머신 러닝에 기반한 복잡한 연산의 시스템 구성없이 카메라 만으로 간단히 이미지기반 부품 인식 시스템을 구현할 수 있어 설치 및 운용비용을 절감할 수 있는 효과를 기대할 수 있다.
도 1은 종래의 부품 혼입을 방지하기 위한 예시를 나타낸다.
도 2는 본 발명의 실시 예에 따른 이미지기반 부품 인식 시스템 구성을 나타낸다.
도 3은 본 발명의 실시 예에 따른 카메라를 이용한 기준 이미지 획득 방법을 나타낸다.
도 4는 본 발명의 실시 예에 따른 이미지기반 부품 인식 방법을 개략적으로 나타낸 흐름도이다.
도 5는 도 4의 S3 내지 S5 단계의 상세한 설명을 위하여 기준 이미지를 기반으로 투입 부품의 정상여부를 판단하는 예시를 나티낸다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있지만 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.
이제 본 발명의 실시 예에 따른 이미지기반 부품 인식 시스템 및 그 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.
도 2는 본 발명의 실시 예에 따른 이미지기반 부품 인식 시스템 구성을 나타낸다.
도 2를 참조하면, 본 발명의 실시 예에 따른 이미지기반 부품 인식 시스템(100)은 카메라(110), 인식 서버(120), 공정 제어기(130) 및 로봇(140)을 포함한다.
카메라(110)는 설정된 고정위치에서 지그에 투입(Loading)된 부품을 촬영하여 투입 이미지를 획득한다. 상기 부품은 차체(차량)의 사양에 따라 고유한 인식홀(H)이 적용된다.
카메라(110)는 상기 부품으로부터 수직한 상기 고정위치에 설치되거나, 다른 공정설비와의 간섭을 방지하기 위한 이송장치에 장착되어 촬영 시마다 상기 촬영위치로 이동한 후 원위치로 복귀할 수 있다.
인식 서버(120)는 본 발명의 실시 예에 따른 이미지기반 부품 인식을 위한 컴퓨팅 시스템으로 그 운용을 위한 중앙처리장치(Central Processing Unit, CPU), DB(Data Base), 메모리 및 통신수단 등의 각종 하드웨어와 소프트웨어를 포함한다.
인식 서버(120)는 이미지기반 부품 인식을 위한 각종 프로그램 및 데이터를 DB(Data Base)에 저장하고, 그 실행에 따른 이미지기반 부품 인식을 제어한다.
인식 서버(120)는 카메라(110)에서 획득한 투입 이미지를 가지고 부품의 혼입을 판단하기 위한 알고리즘을 수행하며 그 판단결과를 공정 제어기(130)에 전달한다.
좀더 구체적으로 설명하면, 인식 서버(120)는 카메라(110)를 통해 촬영된 부품의 투입 이미지와 설정된 기준 이미지의 편차에 따른 판별 이미지를 생성하고, 상기 판별 이미지 내의 픽셀합이 설정 기준값을 초과하는지 여부에 따라 상기 부품의 불량 혹은 정상으로 판단하며 그 판단 결과를 공정 제어기(130)로 전달할 수 있다.
여기서, 종래에는 도 1에서 설명한 것과 같이 근접센서(2)와 툴링핀(1)으로 부품의 혼입을 방지하도록 구성하였는바 부품 별로 지그A와 지그B를 각각 구비해야 하는 문제가 존재하였다.
이러한 문제를 해결하기 위해 본 발명의 실시 예에 따른 인식 서버(120)는 공정 내 하나의 지그(즉, 한 라인)에서 다양한 부품의 기준 이미지를 촬영하고, 상기 기준 이미지와의 투입 이미지의 정합성 비교를 통해 당해 차체 사양에 맞는 부품인지 판정한 후 정상 부품인 경우에 조립공정을 수행하도록 제어하는 특징을 갖는다. 이를 통해 하나의 지그에서 종래 롤링핀(1) 및 근접센서(2)의 복잡한 설치 없이 다양한 사양의 차체에 맞는 부품 조립을 가능하게 하는 현저한 효과가 있다.
이를 위하여, 인식 서버(120)는 사전에 카메라(110)를 통해 다양한 부품의 기준 이미지를 촬영하여 저장한다.
예컨대, 도 3은 본 발명의 실시 예에 따른 카메라를 이용한 기준 이미지 획득 방법을 나타낸다.
도 3을 참조하면, 가령 한 공정에서 다양한 사양의 차체가 조립되는 경우 그 차체 사양에 따라 서로 다른 다양한 부품이 적용될 수 있다. 상기 서로 다른 다양한 부품은 부품의 형상뿐 아니라 동일한 형상의 부품이라도 소재가 다른 것을 의미할 수 있다.
이하, 설명의 편의성 서로 다른 부품A와 부품B이 적용된 것을 가정한다.
각 부품에는 사양에 따라 서로 다른 인식홀(H)이 형성된다. 또한, 상기 인식홀(H)은 종래 롤링핀(1)에 삽입되기 위한 홀을 그대로 활용할 수 있으며 이는 기존 공정에 사용되는 부품을 별도의 추가 가공 없이 본 발명의 실시 예에 따른 이미지기반 부품 인식 시스템(100)에 그대로 적용할 수 있음을 시사하는 것이다.
인식 서버(120)는 카메라(110)를 통해 지그의 정위치에 정렬된 부품A와 부품B를 각각 촬영하여 획득된 이미지를 각 부품의 기준 이미지로 정의하여 DB에 저장할 수 있다.
그리고, 인식 서버(120)는 현재 공정에 조립되는 차체 ID(예; VIN)에 기초한 사양을 파악하고, 상기 차체의 사양에 맞게 조립해야 하는 부품의 기준 이미지를 DB에서 불러와 기준 모델로 설정한다.
공정 제어기(130)는 적어도 하나의 PLC(Programmable Logic Controller)를 포함하며, 생산라인의 자동화 공정을 위한 부품 이송 설비, 지그 클램핑 장치 및 용접 장치 등의 각종 공정설비를 제어한다.
예컨대, 공정 제어기(130)는 공정 작업에 따라 지그에 부품 이송(투입/배출)을 위한 로봇(140)의 기구학적 자세제어 및 상기 지그에 투입된 부품의 클램핑/언클램핑 등의 구동을 위한 모터, 실린더 및 액추에이터 등의 공정설비를 제어한다.
로봇(140)은 공정 제어기(130)의 제어에 따른 부품의 파지, 이송 및 용접 등을 작업을 수행한다. 이에 도 2에서는 1기만 도시하였으나 로봇(140)은 작업 목적에 따라 복수로 배치될 수 있으며 공정 진행에 따른 협업 작업을 수행할 수 있다.
이러한 공정설비의 구성은 본 발명의 실시 예를 설명하기 위한 하나의 예시이며, 공정 제어기(130)와 로봇(140)외에 다양한 형태의 제어기와 액추에이터의 조합으로 공정설비를 구성할 수도 있다.
한편, 전술한 이미지기반 부품 인식 시스템(100)의 구성을 바탕으로 본 발명의 실시 예에 따른 이미지기반 부품 인식 방법을 설명하되, 이를 위한 시스템 내 전반전인 동작을 제어하는 인식 서버(120)의 관점에서 설명 한다.
이를 위한, 인식 서버(120)는 설정된 프로그램에 의하여 동작하는 하나 이상의 프로세서로 구현될 수 있으며, 상기 설정된 프로그램은 본 발명의 실시 예에 따른 이미지기반 부품 인식 방법의 각 단계를 수행하도록 프로그래밍 된 것일 수 있다.
도 4는 본 발명의 실시 예에 따른 이미지기반 부품 인식 방법을 개략적으로 나타낸 흐름도이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 인식 서버(120)는 공정 제어기(130)를 통해 지그에 차체 사양에 따라 고유한 인식홀(H)이 적용된 부품이 투입된 것을 확인한다(S1). 이 때, 인식 서버(120)는 현재 공정에 조립할 차체 사양에 맞는 부품의 기준 이미지를 기준 모델로 설정하고 있다. 또한, 공정 제어기(130)는 로봇(140)이나 서보모터, 실린더 등의 공정설비 제어를 통해 부품 투입이 완료되면, 그 부품 투입 확인 신호를 인식 서버(120)로 전달할 수 있다.
인식 서버(120)는 부품 투입이 확인되면, 카메라(110)에 부품 촬영 명령 하여 촬영된 상기 부품의 투입 이미지를 수신한다(S2).
인식 서버(120)는 사전에 설정된 부품의 기준 이미지와 상기 투입 이미지를 비교하여 픽셀별 차를 산출한 후 이에 대한 절대값을 연산한다(S3). 이 때, 상기 기준 이미지와 상기 투입 이미지는 카메라(110)의 동일한 촬영조건에서 촬영되기 때문에 동일한 부품인 경우 그 인식홀(H) 형성에 따른 픽셀별 차이가 없거나 허용오차 범위 내에서 매우 작게, 즉 거의 없는 수준으로 나타난다.
인식 서버(120)는 상기 연산을 통해 상기 투입 이미지 내의 모든 픽셀에 대한 차와 그 절대값을 토대로 판별 이미지를 획득하고(S4), 상기 판별 이미지 내의 모든 픽셀을 합하는 연산을 통해 편차값을 산출한다(S5).
인식 서버(120)는 상기 판별 이미지에서 산출된 상기 편차값이 설정된 기준값 이하이면(S6; 아니오), 정상 부품이 투입된 것으로 판정하고 정상 판정결과를 공정 제어기(130)로 전송하여 해당 조립공정을 진행하도록 한다(S7).
반면, 인식 서버(120)는 상기 판별 이미지에서 산출된 상기 편차값이 설정된 기준값을 초과하면(S6; 예), 비정상 부품이 혼입된 것으로 판정하고 불량 판정결과를 공정 제어기(130)로 전송하여 회수(Unloading) 처리하도록 한다(S8).
한편, 도 5는 도 4의 S3 내지 S5 단계의 상세한 설명을 위하여 기준 이미지를 기반으로 투입 부품의 정상여부를 판단하는 예시를 나타낸다.
도 5를 참조하면, 설명의 편의상 차체 사양에 따른 부품A가 공정을 진행해야 하는 기준 이미지로 설정된 것으로 설명할 때, 도 5(A)는 투입된 부품이 부품A로 정상적인 경우이며, 도 5(B)는 투입된 부품이 부품B로 혼입 된 경우를 각각 보여준다.
먼저, 도 5(A)를 살펴보면, 인식 서버(120)는 공정을 시작하기 전에 사전에 취득한 부품A의 기준 이미지를 기준 모델로 설정한다.
인식 서버(120)는 정상적으로 부품A가 투입된 경우 카메라(110)로 취득한 투입 이미지의 인식홀(H) 형성은 부품A의 기준 이미지와 거의 동일하므로 상기 기준 이미지의 각 픽셀과 투입 이미지의 각 픽셀을 뺀 후 이에 대한 절대값을 취한 판별 이미지는 거의 검정색에 가깝다. 즉, 정상적인 부품이 투입된 경우라면 기준 이미지와 투입 이미지는 미세한 조명 차이 외에는 거의 동일할 것이므로 판별 이미지 내의 픽셀값은 0에 가깝게 산출된다.
반면, 도 5(B)를 살펴보면, 만약 부품B가 투입되는 경우 투입 이미지는 부품A의 기준 이미지와 인식홀(H) 부분이 상이하므로 그 차이를 구한 판별 이미지에서는 인식홀(H) 부분 픽셀값에서 차가 발생하게 된다. 이 픽셀값의 차에 절대값을 취하면 0보다 큰 양수값이 되므로 판별 이미지의 픽셀값의 합을 구하면 0보다는 상당히 큰 편차값이 도출된다.
가령, 인식홀(H) 하나당 10픽셀픽셀로 가정할 때 상기 판별 이미지 내 두 개의 인식홀(H) 중 하나는 -10픽셀 다른 하나는 10픽셀이고 여기에 절대 값을 취한 후 합하면 총20픽셀의 편차 값이 도출될 수 있다.
따라서, 인식 서버(120)는 상기 편차값을 사전에 정의한 기준값과 비교하여 크다면 부품A가 투입되어야 하는 공정에 부품B가 혼입된 것으로 불량 판정을 하고 해당 부품B를 불량 파레트에 이송 적재하는 등의 회수/폐기 처리를 할 수 있게 된다.
이와 같이, 본 발명의 실시 예에 따르면, 지그에 투입된 부품의 투입 이미지와 기준 이미지의 정합성 인식을 통해 정상부품의 여부를 판정함으로써 종래 지그에 복잡한 센서의 설치 없이 하나의 지그에 다양한 사양의 차체에 맞는 부품 조립이 가능한 효과가 있다.
또한, 다양한 부품에 고유한 인식홀을 배치하고 기준 이미지와의 인식홀(H) 부분의 픽셀값 편차를 통해 정상부품 여부를 판정함으로써 동일한 형상의 부품이라도 소재가 다른 것을 판정할 수 있는 효과가 있다.
또한, 기존 이미지 형상 인식 방식이나 머신 러닝에 기반한 복잡한 연산의 시스템 구성없이 카메라 만으로 간단히 이미지기반 부품 인식 시스템을 구현할 수 있어 설치 및 운용비용을 절감할 수 있는 효과를 기대할 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
1: 툴링핀
2: 근접센서
100: 부품 인식 시스템
110: 카메라
120: 인식 서버
130: 공정 제어기
140: 로봇
H: 인식홀

Claims (14)

  1. 차체 조립공정시 사양 별 부품 혼입 방지를 위한 이미지기반 부품 인식 시스템에 있어서,
    공정설비의 제어를 통해 차체 사양에 따라 고유한 인식홀(H)이 적용된 부품을 지그에 투입하는 공정 제어기;
    설정된 고정위치에서 상기 지그에 투입된 부품을 촬영하여 투입 이미지를 획득하는 카메라; 및
    상기 카메라를 통해 획득한 상기 부품의 투입 이미지와 설정된 기준 이미지의 편차에 따른 판별 이미지를 생성하고, 상기 판별 이미지 내의 픽셀합이 설정 기준값 초과여부에 따라 불량 부품 혹은 정상 부품을 판정하는 인식 서버;를 포함하며,
    상기 인식 서버는 상기 기준 이미지와 상기 투입 이미지를 비교하여 픽셀별 차를 산출한 후 이에 대한 절대값을 연산하되, 상기 연산을 통해 상기 투입 이미지 내의 모든 픽셀에 대한 차와 그 절대값을 토대로 판별 이미지를 획득하고, 상기 판별 이미지 내의 모든 인식홀(H) 픽셀을 합하는 연산을 통해 편차값을 산출하는 이미지기반 부품 인식 시스템.
  2. 제1항에 있어서,
    상기 카메라는
    이송장치에 장착되어 촬영 시마다 상기 고정위치로 이동한 후 원위치로 복귀하는 이미지기반 부품 인식 시스템.
  3. 제1항에 있어서,
    상기 공정 제어기는
    적어도 하나의 PLC(Programmable Logic Controller)를 포함하며, 생산라인의 자동화 공정을 위한 부품 이송 설비, 지그 클램핑 장치 및 용접 장치를 포함하는 공정설비를 제어하는 이미지기반 부품 인식 시스템.
  4. 제1항에 있어서,
    상기 인식 서버는
    사전에 상기 카메라를 통해 상기 지그의 정위치에 정렬된 사양 별 부품을 각각 촬영하여 획득된 이미지를 각 부품의 기준 이미지로 정의하여 DB(Data Base)에 저장하는 이미지기반 부품 인식 시스템.
  5. 제4항에 있어서,
    상기 인식 서버는
    현재 공정에 조립되는 차체 ID에 기초한 사양을 파악하고, 상기 사양에 맞게 조립해야 하는 부품의 기준 이미지를 상기 DB에서 불러와 기준 모델로 설정하는 이미지기반 부품 인식 시스템.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 인식 서버는
    상기 편차값이 설정된 기준값과 이하이면 정상 부품이 투입된 것으로 판정하는 판정하고, 그 정상 판정결과를 상기 공정 제어기로 전송하여 해당 조립공정을 진행하도록 하는 이미지기반 부품 인식 시스템.
  9. 제8항에 있어서,
    상기 인식 서버는
    상기 편차값이 설정된 기준값을 초과하면 비정상 부품으로 판정하고, 그 불량 판정결과를 상기 공정 제어기로 전송하여 회수 혹은 폐기 처리하도록 하는 이미지기반 부품 인식 시스템.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020200145162A 2020-11-03 2020-11-03 이미지기반 부품 인식 시스템 및 그 방법 KR102393068B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200145162A KR102393068B1 (ko) 2020-11-03 2020-11-03 이미지기반 부품 인식 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200145162A KR102393068B1 (ko) 2020-11-03 2020-11-03 이미지기반 부품 인식 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102393068B1 true KR102393068B1 (ko) 2022-05-02

Family

ID=81593373

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200145162A KR102393068B1 (ko) 2020-11-03 2020-11-03 이미지기반 부품 인식 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102393068B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102532853B1 (ko) 2023-01-17 2023-05-17 주식회사 비즈데이터 자동차 내외장 부품의 탐색 및 카운팅 방법 및 장치
WO2024075926A1 (ko) * 2022-10-04 2024-04-11 현대자동차 주식회사 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법
KR102673130B1 (ko) * 2023-11-24 2024-06-10 주식회사 한울시스템 시트 트랙 상차 안착위치 보정 시스템 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020094567A (ko) * 2001-06-12 2002-12-18 현대자동차주식회사 차량의 부품 사양 감지 제어장치 및 방법
KR101126133B1 (ko) * 2011-09-01 2012-03-29 (주)우신시스템 다차종 파트 정렬 장치
JP5239712B2 (ja) * 2008-10-01 2013-07-17 日産自動車株式会社 車種検知方法、車種検知装置、ピッキング方法、およびピッキングシステム
KR20150071491A (ko) * 2013-12-18 2015-06-26 현대자동차주식회사 도어 어셈블리 검사장치
KR20200072117A (ko) * 2018-12-12 2020-06-22 (주)대명티에스 실러 도포 검사 장치, 실러 도포 검사 방법, 및 실러 도포 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020094567A (ko) * 2001-06-12 2002-12-18 현대자동차주식회사 차량의 부품 사양 감지 제어장치 및 방법
JP5239712B2 (ja) * 2008-10-01 2013-07-17 日産自動車株式会社 車種検知方法、車種検知装置、ピッキング方法、およびピッキングシステム
KR101126133B1 (ko) * 2011-09-01 2012-03-29 (주)우신시스템 다차종 파트 정렬 장치
KR20150071491A (ko) * 2013-12-18 2015-06-26 현대자동차주식회사 도어 어셈블리 검사장치
KR20200072117A (ko) * 2018-12-12 2020-06-22 (주)대명티에스 실러 도포 검사 장치, 실러 도포 검사 방법, 및 실러 도포 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024075926A1 (ko) * 2022-10-04 2024-04-11 현대자동차 주식회사 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법
KR102532853B1 (ko) 2023-01-17 2023-05-17 주식회사 비즈데이터 자동차 내외장 부품의 탐색 및 카운팅 방법 및 장치
KR102673130B1 (ko) * 2023-11-24 2024-06-10 주식회사 한울시스템 시트 트랙 상차 안착위치 보정 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
KR102393068B1 (ko) 이미지기반 부품 인식 시스템 및 그 방법
US6114824A (en) Calibration method for a visual sensor
CN108858184B (zh) 机器人控制装置以及计算机可读介质
US9833904B2 (en) Method for robot-assisted measurement of measurable objects
US7979161B2 (en) Device, program, recording medium and method for correcting taught point
CN110770989B (zh) 无人操作和维护的开关装置或控制装置***及其操作方法
CN106476024A (zh) 具有热插拔的终端执行器的机器人
US11325261B2 (en) Transfer device and delivery system
US11305432B2 (en) Work machine and pick-up position selection method
CN106572328A (zh) 自动化生产线的成像***
CN111095139A (zh) 一种用于检测机器的异常状态的方法和***
KR102435468B1 (ko) 비전센서를 이용한 차량 차체의 조립홀 가공 시스템
CN116297452A (zh) 一种基于机器视觉技术的工件测试方法及***
WO2020100522A1 (ja) マーク検出システム、信号処理回路、コンピュータプログラムおよび方法
CN115255884A (zh) 一种基于OpenCV视觉处理的机器人滚轮自动装配***和方法
US10213920B2 (en) Apparatus and method for monitoring a payload handling robot assembly
US11295406B2 (en) Image management device
KR102435467B1 (ko) 비전센서를 이용한 차량 차체의 조립홀 가공 방법
JP5123127B2 (ja) ワークの位置を求める画像処理装置
WO2024075926A1 (ko) 모바일 로봇을 활용한 비전 검사 시스템 및 그 방법
JPH10260713A (ja) 生産設備の制御装置
JPS63254575A (ja) 視覚センサのキヤリブレ−シヨン装置
JP3831988B2 (ja) 画像の2値化処理におけるしきい値設定方法
CN113400569A (zh) 基于注塑机床的设备定位方法和设备定位***
TW202313285A (zh) 機器人系統

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant