KR102022494B1 - 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법 - Google Patents

비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법 Download PDF

Info

Publication number
KR102022494B1
KR102022494B1 KR1020190024209A KR20190024209A KR102022494B1 KR 102022494 B1 KR102022494 B1 KR 102022494B1 KR 1020190024209 A KR1020190024209 A KR 1020190024209A KR 20190024209 A KR20190024209 A KR 20190024209A KR 102022494 B1 KR102022494 B1 KR 102022494B1
Authority
KR
South Korea
Prior art keywords
image
vision
document
inspection
detection
Prior art date
Application number
KR1020190024209A
Other languages
English (en)
Inventor
한용일
Original Assignee
(주)아이프리즘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아이프리즘 filed Critical (주)아이프리즘
Priority to KR1020190024209A priority Critical patent/KR102022494B1/ko
Application granted granted Critical
Publication of KR102022494B1 publication Critical patent/KR102022494B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267—Fault communication, e.g. human machine interface [HMI]
    • G05B23/0272—Presentation of monitored results, e.g. selection of status reports to be displayed; Filtering information to the user
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G06F17/24—
    • G06K9/00456—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G06K2209/19—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 다수의 머신 비전 장치를 통해 획득된 이미지 및 비전 검사 결과 데이터를 전달받아 저장하고, 상기 획득된 이미지로부터 필요 영역만을 검출하고 상기 비전 검사 결과 데이터를 가공하여 실시간으로 관련 문서를 작성하고, 상기 검사 결과 데이터를 분석하여 상기 분석 결과에 따라 점검 또는 확인이 필요한 설비를 예측하여 이에 대한 알림을 해줌으로써, 반복적이고 실수 가능성이 높은 수기 작업을 대체하고, 점검 또는 확인이 필요한 설비를 빠르게 예측하여 생산성을 향상시킬 수 있는 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법을 제공한다.

Description

비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법{SYSTEM FOR AUTOMATIC GENERATING OF DOCUMENTS USING VISION IMAGE DETECTION AND A METHOD THEREOF}
본 발명은 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 다수의 머신 비전 장치를 통해 획득된 이미지 및 비전 검사 결과 데이터를 전달받아 저장하고, 상기 획득된 이미지로부터 필요 영역만을 검출하고 상기 비전 검사 결과 데이터를 가공하여 실시간으로 관련 문서를 작성하고, 상기 검사 결과 데이터를 분석하여 상기 분석 결과에 따라 점검 또는 확인이 필요한 설비를 예측하여 이에 대한 알림을 해줌으로써, 반복적이고 실수 가능성이 높은 수기 작업을 대체하고, 점검 또는 확인이 필요한 설비를 빠르게 예측하여 생산성을 향상시킬 수 있는 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법에 관한 것이다.
최근 들어 자동차, 전자기기, 디스플레이, 반도체, 식음료, 스포츠 등 산업 분야 전반에, 머신 비전(machine vision), 로봇, 센서, PLC, 컴퓨터 등의 요소가 결합되어 산업 자동화(industrial automation)가 점차 가속화되고 있다.
산업 분야 전반에 걸쳐 산업 자동화가 가속화됨에 따라 대량으로 생산되는 제품들이 출하되기 이전에 수행되는 정밀검사 과정을 자동화하기 위한 다양한 기술들이 도입되고 있다.
이와 같은 정밀검사 중 하나인 비전검사(머신 비전 검사)는 사람이 육안으로 판단하던 기존방식을 대신하여 카메라에 의해 촬영되는 이미지를 통해서 예컨대, 제품의 라벨링 상태나 포장지의 인쇄상태, 바코드의 인쇄상태 등을 검사하는 것이다.
구체적으로, 비전 검사는 검사대상물의 표면을 촬영하여 표면 이미지를 획득하고, 획득된 표면 이미지를 기준 이미지와 비교하여 검사대상물의 불량 유무를 검사하는 방식으로 수행된다.
비전 검사를 위한 장치는, 공정라인 상의 곳곳에 설치되어, 공정라인을 따라 이동하는 제품(이하, 검사대상물)에 대해 비전 검사를 수행하고 있다.
즉, 제조업체에서는 대규모 생산라인을 형성하고 있고, 각 생산라인마다 IP 카메라 등 다수 개의 비전 장비를 설치하여 각 공정별 불량률이나 품질 검사를 수행한다.
한편, 현대 제조업 분야에서 비전기술 및 자동 검출에 의한 이미지 정보는 어떠한 데이터보다 확실하며 신뢰성을 확보하고 있다. 그러나, 비전 검사 장치에서 검출된 중요 정보를 처리/편집하지 못해 수기로 기록하고 오려붙이거나 디지털 카메라로 다시 찍어 문서를 만들어 기록하는 등 많은 불편함이 있으며, 생산 저해 요소로 작용하고 있다. 이로 인해 작업자(담당자)는 생산에 집중하지 못할 수 있으며 실수로 잘못된 내용을 보고할 가능성이 있다.
또한, 기존에는 각 공정별 불량제품 판별 결과를 문서 등의 방식으로 수동 연계하고 있어 재료비 및 노무비가 증가하고, 공정 데이터 추출이 어려워 외부 업체나 해외 시장 등에서 공정 데이터 요청시 보고할 공정 데이터를 수기로 작성해야 만 한다.
한국공개특허 [10-2009-0001710]에서는 실시간으로 각 세부 작업 라인의 재고 이력 파악 및 작업 현황 파악이 가능하고 외주업체의 출고 재공에 대한 파악이 가능하도록 함으로써 제조 공정 효율을 극대화하고 품질 관리를 향상시킬 수 있도록 하는 제조 공정 관리 시스템이 개시되어 있다.
한국공개특허 [10-2009-0073643]에서는 생산 설비 공장 라인의 생산 현장정보를 자동 집계하여 전사자원관리 시스템으로 제공 가능한 생산 현장정보 제공 시스템 및 방법이 개시되어 있다.
한편, 한국등록특허 [10-1570516]에서는 산업용 비전통합 공정 관리 시스템이 개시되어 있다.
한편, 한국등록특허 [10-1920372]에서는 중소ㅇ중견기업을 위해 최적화된 첨단제품 제조 공장에서의 자동화 라인의 설비고장과 품질 불량의 가시적 예지 시스템이 개시되어 있다.
한국공개특허 [10-2009-0001710](공개일자: 2009. 01. 09) 한국공개특허 [10-2009-0073643](공개일자: 2009. 07. 03) 한국등록특허 [10-1570516](등록일자: 2015. 11. 13) 한국등록특허 [10-1920372](등록일자: 2018. 11. 14)
따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 다수의 머신 비전 장치를 통해 획득된 이미지 및 비전 검사 결과 데이터를 전달받아 저장하고, 상기 획득된 이미지로부터 필요 영역만을 검출하고 상기 비전 검사 결과 데이터를 가공하여 실시간으로 관련 문서를 작성하고, 상기 검사 결과 데이터를 분석하여 상기 분석 결과에 따라 점검 또는 확인이 필요한 설비를 예측하여 이에 대한 알림을 해줌으로써, 반복적이고 실수 가능성이 높은 수기 작업을 대체하고, 점검 또는 확인이 필요한 설비를 빠르게 예측하여 생산성을 향상시킬 수 있는 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법을 제공하는 것이다.
본 발명의 실 시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에 있어서, 각 작업 라인에서 처리되는 검사대상물의 비전 검사를 수행하기 위한 다수의 머신 비전 장치(110, 120, 130); 상기 각 머신 비전 장치로부터 영상 이미지 및 비전 검사 결과 데이터를 전달받아 저장하고, 상기 영상 이미지 및 상기 비전 검사 결과 데이터로부터 자동으로 문서를 작성하기 위한 문서 자동 작성 서버(200); 및 상기 작성된 문서를 열람하기 위한 단말기(400)를 포함하고, 상기 문서 자동 작성 서버(200)는, 상기 머신 비전 장치로부터 상기 영상 이미지 및 상기 비전 검사 결과 데이터를 전달받기 위한 송수신부(201); 상기 영상 이미지로부터 특정 영역을 추출하기 위한 이미지 검출부(203); 상기 검출된 이미지를 편집하기 위한 이미지 편집부(205); 상기 머신 비전 장치로부터 전달받은 상기 비전 검사 결과 데이터를 처리하기 위한 데이터 처리부(206); 상기 편집된 이미지 및 상기 처리된 데이터로부터 실시간으로 보고서 형태의 문서를 작성하기 위한 문서 작성부(207); 상기 송수신부를 통해 상기 다수의 머신 비전 장치로부터 전달받은 상기 영상 이미지 및 상기 비전 검사 결과 데이터를 저장하고, 상기 문서 작성부에서 작성한 문서를 저장하는 저장부(204); 및 상기 송수신부, 상기 이미지 검출부, 상기 이미지 편집부, 상기 데이터 처리부 및 상기 문서 작성부를 포함한 각 구성요소를 제어하는 제어부(202)를 포함한다.
상기 각 머신 비전 장치(110, 120, 130)는, 상기 검사대상물을 촬영하기 위한 카메라(301); 상기 검사대상물의 표면 이미지 촬영을 위한 빛을 공급하는 조명부(306); 상기 카메라로부터 전달받은 이미지를 전처리하는 이미지 전처리부(302); 상기 카메라 및 상기 조명부의 작동을 제어하면서 상기 검사대상물의 표면 이미지를 생성하기 위한 비전검사 제어부(303); 기설정된 비전 검사 알고리즘에 따라, 획득한 검사대상물의 이미지를 통해 양품과 불량품을 판단하기 위한 판단부(304); 및 상기 전처리된 이미지 및 상기 판단부에서 판단된 비전 검사 결과를 상기 문서 자동 작성 서버로 전달하기 위한 통신부(305)를 포함하는 것을 특징으로 한다.
상기 저장부(204)는, 상기 각 머신 비전 장치로부터 전달받은 원본 영상 이미지를 저장하고 있는 원본영상 저장부(204a); 상기 이미지 검출부에서 검출한 이미지를 저장하고 있는 검출이미지 저장부(204b); 및 상기 문서 작성부에서 작성한 문서를 저장하고 있는 문서 저장부(205c)를 포함하는 것을 특징으로 한다.
상기 문서 자동 작성 서버는, 기설정 기간 동안의 비전 검사 결과 데이터를 분석하여 공정간 연계를 통해 공정 상태 판정, 불량 원인 분석 및 품질 편차 분석을 수행하여 불량 또는 품질 편차의 영향 요인을 파악하고, 설비 상태 예측 데이터를 출력하기 위한 데이터 분석부(208)를 더 포함하는 것을 특징으로 한다.
상기 문서 작성부에서 작성된 문서는, 제품명(601), 시작시간(602), 종료시간(603), 검수 카운트(604), 양품(605), 불량(606), 불량률(607), 편집 이미지(608) 및 전체이미지의 링크(609)를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 비전 이미지 검출을 이용한 문서 자동 작성 방법에 있어서, 머신 비전 장치가 공정라인을 따라 이동하는 검사대상물을 상기 공정라인 상의 특정 위치에서 촬영하는 촬영단계(S710); 상기 머신 비전 장치가 상기 촬영한 검사대상물의 영상 이미지를 문서 자동 작성 서버로 전달하는 이미지전달단계(S720); 상기 머신 비전 장치가 기설정된 적어도 하나 이사의 비전 검사 알고리즘에 따라 불량 또는 양품을 판단하여 비전 검사 결과 데이터로 출력하는 비전검사단계(S730); 상기 머신 비전 장치가 상기 비전 검사 결과 데이터를 상기 문서 자동 작성 서버로 전달하는 결과전달단계(S740); 상기 문서 자동 작성 서버가 상기 검사대상물의 영상 이미지로부터 특정 영역을 검출하는 이미지검출단계(S750); 및 상기 검출된 이미지 및 상기 비전 검사 결과 데이터로부터 자동으로 보고서 형식의 문서를 작성하는 문서작성단계(S770)를 포함한다.
상기 추출단계(S750) 이후에, 상기 추출한 특정 영역 이미지의 편집이 필요한 경우 상기 추출한 특정 영역 이미지를 편집하는 편집단계(S760)를 더 포함하는 것을 특징으로 한다.
상기 문서작성단계(S770) 이후에, 기설정된 기간 동안의 비전 검사 결과 데이터를 분석하여 공정간 연계를 통해 공정 상태 판정, 불량 원인 분석 및 품질 편차 분석을 수행하여 불량 또는 품질 편차의 영향 요인을 파악하고, 설비 상태 예측 데이터를 출력하는 예측단계(S780)를 더 포함하는 것을 특징으로 한다.
상기 예측단계(S780) 이후에, 상기 예측 데이터에 근거하여 조치 또는 점검이 필요한 설비에 대한 경고 및 알람을 출력하는 알람단계(S790)를 더 포함하는 것을 특징으로 한다.
상기 비전 이미지 검출을 이용한 문서 자동 작성 방법은, 상기 비전 검사 장치의 성능 및 문서 자동 작성 성능을 테스트하기 위한 테스트단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법에 의하면, 다수의 머신 비전 장치를 통해 획득된 이미지 및 비전 검사 결과 데이터를 전달받아 저장하고, 상기 획득된 이미지로부터 필요 영역만을 검출하고 상기 비전 검사 결과 데이터를 가공하여 실시간으로 관련 문서를 작성하고, 상기 검사 결과 데이터를 분석하여 상기 분석 결과에 따라 점검 또는 확인이 필요한 설비를 예측하여 이에 대한 알림을 해줌으로써, 반복적이고 실수 가능성이 높은 수기 작업을 대체하고, 점검 또는 확인이 필요한 설비를 빠르게 예측하여 생산성을 향상시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법에 의하면, 생산자나 라인관리자가 따로 보고서를 만들 필요 없이 생산에만 전념할 수 있으며, 보고서를 만들 때 발생할 수 있는 실수를 미연에 방지 할 수 있다.
또한, 본 발명의 일 실시예에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법에 의하면, 데이터베이스(저장장치)에 저장된 이미지 및 검사 데이터를 통하여 원격에서 실시간 모니터링 및 실시간 보고가 가능한 효과가 있다.
아울러, 본 발명의 일 실시예에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법에 의하면, 머신 비전 장치로부터 전송되는 데이터들을 수집 및 감시하여 불량 또는 품질에 영향을 주는 설비를 찾아내고, 품질 저해 요인을 분석함으로써 품질 이력 관리/추적, 품질의 영향 요인으로 판명된 주요 설비에 대한 원인 분석, 향후 설비에 대한 예측 데이터 생성, 및 품질과 생산량을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템의 구성도.
도 2는 도 1의 문서 자동 작성 서버의 일실시예 상세 구성도.
도 3은 도 1의 머신 비전 장치의 일실시예 상세 구성도.
도 4a 및 4b는 본 발명에 따른 비전 이미지의 편집 방법에 대한 일실시예 설명도.
도 5는 본 발명의 일 실시예에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에 더 포함되는 이미지 테스트를 위한 이미지 테스트 장치의 구성도.
도 6a 및 6b는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 방법에 따라 저장되는 영상 이미지 및 문서에 대한 일실시예 설명도.
도 6c는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 방법에 따라 작성된 문서의 일실시예 설명도.
도 7은 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 방법의 일실시예 흐름도.
도 8은 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에서의 설비 점검을 위한 설비 영상 이미지 처리 방법을 설명하기 위한 도면.
도 9a는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에서의 설비 점검을 위한 설비 영상 이미지 처리시 사용하는 일실시예에 따른 마스크.
도 9b는 도 9a의 마스크를 사용하여 처리한 이미지에 대한 설명도.
도 10a는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에서의 설비 점검을 위한 설비 영상 이미지 처리시 사용하는 다른 실시예에 따른 마스크.
도 10b는 도 10a의 마스크를 사용하여 처리한 이미지에 대한 설명도.
도 11a는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에서의 설비 점검을 위한 설비 영상 이미지 처리시 사용하는 또 다른 실시예에 따른 마스크.
도 11b는 도 11a의 마스크를 사용하여 처리한 이미지에 대한 설명도.
도 12a 및 12b는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에서의 설비 점검을 위한 설비 영상 이미지 처리의 전후를 설명하기 위한 일실시예 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.
본 발명의 일실시예에서는 자동화 공정으로 만들어지고 검사대상물이 되는 제품으로 식품을 예로 들었으며, 식품의 유통기간 인쇄 상태를 머신 비전 장치로 검사하는 경우를 예로 들어 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템은 다수의 머신 비전 장치(110, 120, 130) 문서 자동 작성 서버(200), 및 단말기(400)를 포함한다.
상기 각 머신 비전 장치(110, 120, 130)는 머신 비전 검사를 수행하는 장치이다.
이때, 머신 비전 검사는 패턴 매칭(Pattern Matching), 점/선/면 피팅(Fitting), 에지(Edge), 컬러(Color) 및 위치(Location) 중 어느 하나 이상의 알고리즘을 이용하여 대상물의 속성을 검사하는 것이다.
머신 비전 검사를 위해 머신 비전 장치(110, 120, 130) 상에는 애플리케이션(즉, 비전 소프트웨어)이 설치될 수 있으며, 애플리케이션은, 검사대상물을 촬영한 대상 이미지를 획득하여 알고리즘에 따라 머신 비전 장치(110, 120, 130)를 제어할 수 있다.
또한 머신 비전 장치(110, 120, 130)는 대상의 촬영을 위한 카메라(미도시)를 포함하거나, 외부에 위치하는 카메라(미도시)와 통신하여 머신 비전 검사를 수행할 수도 있다.
상기 머신 비전 장치(110, 120, 130)는 다수의 공정 라인에 산재되어 다수 개가 설치되고, 각 공정 현황에 대한 실시간 공정 상태의 영상정보를 전송한다.
상기 머신 비전 장치(110, 120, 130)는 제조사별 지원하는 API(Application Programming Interface) 및 통신 프로토콜이 SDK 방식, RTSP 방식, HTTP CGI 방식 및 TCP/IP 방식 등 서로 상이할 수 있다.
상기 문서 자동 작성 서버(200)는 상기 각 머신 비전 장치(110, 120, 130)로부터 영상 이미지 및 비전 검사 결과 데이터를 전달받아 저장하고, 상기 영상 이미지 및 상기 비전 검사 결과 데이터로부터 자동으로 문서를 작성한다.
상기 단말기(400)는 상기 작성된 문서를 열람하도록 해준다.
이때, 단말기(400)는 각 공정 라인별 담당자 PC 또는 중역실 PC가 될 수 있고, 사전에 설정된 관리 등급에 따라 모니터링 정보, 각 공정 현황의 참여 정도 또는 통계 및 보고서 작성 또는 열람 레벨이 설정된다.
예를 들어, 단말기(400)가 담당자 PC인 경우에, 해당 공정라인의 공정 현황을 모니터링할 수 공정상태 영상정보가 전송되고, 공정상태 영상정보를 분석하여 불량률을 체크한 후에 공정 현황에 대한 통계 및 보고서를 작성할 수도 있다.
한편, 단말기(400)가 중역실 PC인 경우에, 담당자 PC로부터 전송받은 통계 및 보고서와 각 공정라인의 공정상태 영상정보를 기초로 현재 생산량 및 각 공정별 불량률을 모니터링하고, 모니터링을 통해 특정 공정에 대한 작업지시를 담당자 PC로 전송할 수도 있다.
한편, 상기 단말기(400)는 PC, 스마트폰, 스마트 패드 및 태블릿 PC 등의 스마트 기기, 핸드폰, PDA, 노트북 등의 이동통신 단말기를 포함한 멀티미디어 단말기 중 적어도 하나 이상의 멀티미디어 단말기로 통신 네트워크를 통해 비전 이미지 검출을 이용한 문서 자동 작성 시스템과 연결된다.
여기서, 통신 네트워크는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 발명에서 말하는 통신 네트워크는 공지의 월드와이드웹(WWW; World Wide Web)일 수 있다.
또한, 본 발명의 일 실시예에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템은 비전 검사 테스트 장치(300)를 더 포함할 수 있다.
상기 비전 검사 테스트 장치(300)는 머신 비전 장치의 성능을 판단하고 그로 인한 문서 자동 작성이 제대로 수행되는지를 확인할 수 있다. 상기 비전 검사 테스트 장치(300)의 상세 구성은 도 5를 참조하여 더 설명하기로 한다.
도 2는 도 1의 문서 자동 작성 서버의 일실시예 상세 구성도이다.
도 2에 도시된 바와 같이, 문서 자동 작성 서버(200)는 송수신부(201), 이미지 검출부(203), 이미지 편집부(205), 데이터 처리부(206), 문서 작성부(207), 저장부(204), 및 제어부(202)를 포함한다.
상기 송수신부(201)는 머신 비전 장치(110, 120, 130)로부터 상기 영상 이미지 및 상기 비전 검사 결과 데이터를 전달받는다.
상기 이미지 검출부(203)는 상기 영상 이미지로부터 특정 영역을 추출한다.
특정 영역을 추출하는 방법으로는, 검사대상물의 촬영된 영상 이미지에서 기설정된 기준점의 위치 등을 이용할 수 있다. 기설정된 기준점은 상기 검사대상물의 표면에 인쇄되거나 표시되는 부분일 수 있다.
상기 이미지 편집부(205)는 상기 검출된 이미지를 편집한다.
상기 데이터 처리부(206)는 상기 머신 비전 장치로부터 전달받은 상기 비전 검사 결과 데이터를 처리한다.
상기 문서 작성부(207)는 상기 편집된 이미지 및 상기 처리된 데이터로부터 실시간으로 보고서 형태의 문서를 작성한다.
상기 저장부(204)는 상기 송수신부를 통해 상기 다수의 머신 비전 장치로부터 전달받은 상기 영상 이미지 및 상기 비전 검사 결과 데이터를 저장하고, 상기 문서 작성부에서 작성한 문서를 저장한다.
상기 저장부(204)는 상기 각 머신 비전 장치로부터 전달받은 원본 영상 이미지를 저장하고 있는 원본영상 저장부(204a), 상기 이미지 검출부에서 검출한 이미지를 저장하고 있는 검출이미지 저장부(204b), 및 상기 문서 작성부에서 작성한 문서를 저장하고 있는 문서 저장부(205c)를 포함한다.
상기 제어부(202)는 상기 송수신부(201), 상기 이미지 검출부(203), 상기 이미지 편집부(205), 상기 데이터 처리부(206), 및 상기 문서 작성부(207)를 포함한 각 구성요소를 제어한다.
상기 문서 자동 작성 서버(200)는 기설정 기간 동안의 비전 검사 결과 데이터를 분석하여 공정간 연계를 통해 공정 상태 판정, 불량 원인 분석 및 품질 편차 분석을 수행하여 불량 또는 품질 편차의 영향 요인을 파악하고, 설비 상태 예측 데이터를 출력하기 위한 데이터 분석부(208)를 더 포함한다.
도 3은 도 1의 머신 비전 장치의 일실시예 상세 구성도이다.
도 3에 도시된 바와 같이, 각 머신 비전 장치는 카메라(301), 이미지 전처리부(302), 비전검사 제어부(303), 판단부(304), 통신부(305) 및 조명부(306)를 포함한다.
상기 카메라(301)는 검사대상물을 촬영하여 촬영된 영상을 후술되는 이미지 전처리부(302)로 제공한다.
상기 조명부(306)는 표면 이미지 촬영을 위한 조명광을 발광하는 것으로, 카메라(301)의 전방으로 조명을 발광하면서 검사대상물을 향해 빛을 조사한다. 상기 조명부(306)는 복수의 LED소자가 실장된 기판으로 구성될 수 있으며, 바람직하게는 카메라(301)의 후방에 배치될 수 있다.
상기 이미지 전처리부(302)는 검사대상물을 촬영한 이미지를 전처리하여 저장부(미도시됨)에 저장하거나, 상기 전처리된 이미지가 상기 통신부(305)를 통하여 별도의 저장장치(예: 문서 자동 작성 서버(200)의 저장부(204))에 저장된다.
상기 비전검사 제어부(303)는 전술한 카메라(301)와 조명부(306)의 작동을 제어하면서 검사대상물의 표면 이미지를 생성시키는 구성요소이다.
상기 비전검사 제어부(303)는 머신 비전 장치의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 상기 비전검사 제어부(303)는 입출력부(미도시됨)를 통해 수신한 사용자 입력에 대응되는 동작을 수행하도록 머신 비전 장치에 포함된 다른 구성요소들을 제어할 수도 있다.
예를 들어, 비전검사 제어부(303)는 메모리에 저장된 프로그램을 실행시키거나, 메모리에 저장된 파일을 읽어오거나, 새로운 파일을 메모리에 저장할 수도 있다.
여기서, 상기 비전검사 제어부(303)는 검사대상물의 표면 이미지를 생성하면서 카메라(301)의 촬영조건(예를 들면, 카메라(301)의 노출값이나 감도, 조리개설정, 셔터스피드 등)을 서로 다르게 설정하면서 복수의 표면 이미지를 생성함으로써 양질의 이미지를 생성할 수도 있다.
상기 판단부(304)는 기설정된 비전 검사 알고리즘에 따라, 획득한 검사대상물의 이미지를 통해 양품과 불량품을 판단하고, 그에 대한 비전 검사 결과를 저장부(미도시됨)에 저장하거나, 상기 비전 검사 결과가 상기 통신부(305)를 통하여 별도의 저장장치(예: 문서 자동 작성 서버(200)의 저장부(204))에 저장된다.
즉, 카메라(301)를 통해 획득한 이미지는 비전 소프트웨어를 통하여 해석된다. 비전 소프트웨어는 추출한 이미지로부터 객체의 패턴(Pattern)을 매칭하거나, 점, 선 또는 면을 피팅(Fitting)하거나, 컬러를 구분하거나, 대상을 측정(Gauging)하기도 하고, 로봇 가이드를 위해 위치정보를 제공하거나, 객체에 표시된 1차원, 2차원 바코드를 판독하거나 광학문자판독(OCR)을 수행하기도 한다. 이러한 과정을 통해 물체가 검사, 측정 또는 판독되어 산업의 자동화가 구현될 수 있다.
도 4a 및 4b는 본 발명에 따른 문서 자동 작성 서버(200)의 이미지 편집부(205)에서의 비전 이미지의 편집 방법에 대한 일실시예 설명도이다.
도 4a 및 4b에는 상기 머신 비전 장치(110, 120, 130)로부터 전달받은 이미지(410, 420)가 있다.
제1 이미지(410)에는, 검사대상물(411)이 바르게 놓여 촬영되어 유통기간영역(412)을 사각형 형태로 추출하면 된다.
한편, 제2 이미지(420)에는, 검사대상물(421)이 바르게 놓이지 않은 채로 촬영되어 유통기간영역(422)을 추출하는 경우에 회전하는 동작이 필요하다.
한편, 이미지 편집부(205)는 추출하고자 하는 영역의 이미지 선명도가 떨어지는 경우, 필터링을 통해 선명도를 높이는 동작을 수행할 수도 있다.
또한, 이미지 편집부(205)는 회전(Rotation) 뿐만 아니라, 시프트(Shift), 줌(Zoom) 등의 편집도 가능하다.
도 5는 본 발명의 일 실시예에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에 더 포함되는 성능 테스트를 위한 비전 검사 테스트 장치의 상세 구성도이다.
도 5에 도시된 바와 같이, 비전 검사 테스트 장치(300)는 테스트 이미지 생성부(501) 및 시뮬레이션부(502)를 포함한다.
상기 테스트 이미지 생성부(501)는 머신 비전 장치(110, 120, 130)의 동작을 시뮬레이션하기 위한 가상 테스트 이미지를 생성하며, 상기 테스트 이미지 생성부(501)는 사용자로부터 입력받거나 랜덤의 이미지샘플에 각각 다른 정도의 변형을 적용하여 테스트 이미지를 생성한다.
변형의 정도는 다수의 단계로 나뉠 수 있으며, 변형의 요소로는 진동, 카메라 위치편차, 포커스 불량, 이물질이나 훼손에 따라, 밝기(brightness), 노이즈(noise), 콘트라스트(contrast), 음영(shading), 시프트(shift), 회전(roration), 렌즈플레어(lens flare), 줌(zoom), 균형, 흐리기(blur), 먼지(dust), 긁힘(scratch) 등을 포함할 수 있다.
시뮬레이션부(502)는, 테스트 이미지 생성부(501)에 의해 생성된 가상 테스트 이미지를 이용하여, 머신 비전 장치(110, 120, 130)의 동작을 시뮬레이션한다.
상기 머신 비전 장치(110, 120, 130), 테스트 이미지 생성부(501) 및 시뮬레이션부(502) 각각은, 각기 서로에 포함되거나 포함할 수 있다. 즉, 예를 들어, 시뮬레이션부(502)를 포함하는 테스트 이미지 생성부(501)는 머신 비전 장치(110, 120, 130)에 포함될 수 있으며, 또는, 시뮬레이션부(502)를 포함하는 테스트 이미지 생성부(501)는 머신 비전 장치(110, 120, 130)를 포함할 수 있고, 또는, 머신 비전 장치(110, 120, 130)를 포함하는 시뮬레이션부(502)는 테스트 이미지 생성부(501)의 외부에 위치하면서 테스트 이미지 생성부(501)와 통신할 수 있다.
또한 머신 비전 장치(110, 120, 130), 테스트 이미지 생성부(501) 및 시뮬레이션부(502) 각각은 서로 외부에 위치하면서 네트워크를 통해 통신할 수도 있다.
도 5와 같이 테스트 이미지 생성부(501) 및 시뮬레이션부(502)를 포함하는 비전 검사 테스트 장치(300)는 별도의 PC에 구비될 수도 있고, 또는 비전 소프트웨어의 동작 하에 구동될 수 있다.
상기 비전 검사 테스트 장치(300)는 비전 검사 어플리케이션(비전 소프트웨어)을 통해 사용자의 설정 입력값에 따라 테스트 이미지 생성 개수, 테스트 이미지 변형 정도 설정 및 머신 비전 장치의 테스트 시뮬레이션 작업이 가능하다.
도 6a 및 6b는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 방법에 따라 저장되는 영상 이미지 및 문서에 대한 일실시예 설명도이다.
도 6a에는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 방법에 따라 머신 비전 장치로부터 전달받은 데이터가 날짜별 폴더로 정리된 것을 보여주고 있으며, 도 6b에서는 어느 한 날짜의 폴더에 들어가면, 영상 이미지 폴더 및 자동 작성된 문서가 있는 것을 보여준다.
도 6c는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 방법에 따라 작성된 문서의 일실시예 설명도이다.
도 6c에 도시된 바와 같이, 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 방법에 따라 작성된 문서를 살펴보면, 제품명(601), 시작시간(602), 종료시간(603), 검수 카운트(604), 양품(605), 불량(606), 불량률(607), 편집 이미지(608) 및 전체이미지의 링크(609)를 포함한다.
즉, 본 발명에 따른 문서 자동 작성 시스템에서는 비전 검사 결과를 전달받아 보고서 형태의 문서를 실시간으로 생성하는 것이 가능하다.
도 7은 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 방법의 일실시예 흐름도이다.
우선, 머신 비전 장치(110, 120, 130)가 공정라인을 따라 이동하는 검사대상물을 상기 공정라인 상의 특정 위치에서 촬영한다(S710).
이후, 상기 머신 비전 장치(110, 120, 130)가 상기 촬영한 검사대상물의 영상 이미지를 문서 자동 작성 서버(200)로 전달한다(S720).
이후, 상기 머신 비전 장치(110, 120, 130)가 기설정된 비전 검사 알고리즘에 따라 상기 촬영한 검사대상물의 영상 이미지를 분석하고 불량 또는 양품을 판단하여 비전 검사 결과 데이터로 출력한다(S730).
이후, 상기 머신 비전 장치(110, 120, 130)가 상기 비전 검사 결과 데이터를 상기 문서 자동 작성 서버(200)로 전달한다(S740).
여기서, 상기 촬영한 검사대상물의 영상 이미지 및 상기 비전 검사 결과 데이터를 함께 문서 자동 작성 서버(200)로 전달할 수도 있다. 상기 검사대상물의 영상 이미지 및 상기 검사 결과 데이터는 연관되어 상기 문서 자동 작성 서버(200)의 저장부(204)에 저장된다.
이후, 상기 문서 자동 작성 서버(200)가 상기 검사대상물의 영상 이미지로부터 특정 영역을 추출한다(S750).
이후, 상기 추출한 특정 영역 이미지의 편집이 필요한 경우 편집한다(S760).
이후, 상기 편집된 이미지 및 상기 비전 검사 결과 데이터로부터 자동으로 보고서 형식의 문서를 작성한다(S770).
이후, 기설정된 기간 동안에 작성된 문서를 분석하여 불량 또는 품질 저하의 요인을 파악하고 설비 상태 예측 데이터를 출력한다(S780).
이후, 상기 예측 데이터에 근거하여 조치 또는 점검이 필요한 설비에 대한 경고 및 알람을 출력한다(S790).
도면에는 도시되지 않았지만, 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 방법은, 상기 머신 비전 장치의 성능을 판단하고 그로 인한 문서 자동 작성이 문제없이 수행되는지를 확인할 수 있는 테스트 단계를 더 포함할 수 있다. 상기 테스트 단계는, 테스트 이미지를 생성하고, 이를 상기 머신 비전 장치로 입력하여 시뮬레이션 함으로써, 상기 머신 비전 장치의 성능 및 상기 문서 자동 작성 성능을 알 수 있다.
한편, 에지(Edge)란 영상에서 밝기가 급격하게 변하는 부분을 말하며, 경계선 또는 윤곽선을 의미한다. 에지를 검출함으로서 물체의 위치, 모양, 크기 등에 대한 정보를 알 수 있다. 에지 검출(Edge Detection)이란 에지에 해당하는 화소(edge pixels)를 찾는 과정이고, 에지 향상(Edge enhancement)은 에지가 더 잘 보이도록 하기 위하여 에지와 배경 간의 대비를 증가 시켜주는 것이고, 에지 추적(Edge tracing)은 에지를 따라가는 과정이다.
에지는 픽셀 값의 불연속 영역 등 화소값의 차이가 많이 나는 곳을 의미하므로, 이러한 에지의 검출을 위해서는 공간적 변화량을 측정하기 위한 미분연산의 개념을 활용한다. 즉, 에지(Edge)는 영상의 명암을 기준으로, 명암 또는 밝기의 변화율이므로, 즉 기울기이다. 영상에서의 기울기는 그래디언트(gradient)라고 하며, 그래디언트를 구하면, 에지를 얻을 수 있다.
그래디언트(Gradient)는 1차 미분을 2차원(x,y)으로 확장한 것이며, 함수에서 변화량 측정을 나타내는 척도이다.
에지의 검출 방법에는, 1차 미분을 이용한 검출 방법과 2차 미분을 이용한 검출 방법이 있다. 2차 미분을 이용한 검출 방법은 1차 미분으로 얻은 결과에 미분을 한 번 더 추가하여 에지 검출의 성능을 향상시킨 방법이다.
도 8은 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에서의 설비 점검을 위한 설비 영상 이미지 처리 방법을 설명하기 위한 도면이다.
도 8에 도시된 바와 같이, 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에 구비되는 설비 점검부(미도시됨)는 생산 설비들에 대한 에지 검출을 위한 영상 이미지의 처리는 영상처리 회선(컨볼루션, Convolution) 기법을 사용한다.
화소값 각각에 대해 여러 가지 연산을 수행하는 화소 기반 처리가 아닌 마스크라 불리는 규정된 영역을 기반으로 연산을 수행하는 것을 공간영역 기반 처리 또는 마스크 기반 처리라고 한다.
마스크 기반 처리는 마스크(802) 내의 원소값과 공간 영역에 있는 입력 영상(800)의 화소값(801)들을 대응되게 곱(803)하여 출력 화소값(804)을 계산한다. 이러한 처리를 모든 입력 화소값에 대해 이동하면서 수행하는 것을 회선(컨볼루션)이라고 한다. 이 때 입력 영상에 곱해지는 마스크를 커널, 윈도우, 필터 등으로 부른다.
즉, 새로운 출력 화소값(804)은 입력영상의 화소값(801)과 이에 대응하는 회선 마스크(802)의 가중치를 각각 곱한 후(803) 모두 더한 값이다.
1차 미분연산자의 예로, 로버트(Robert) 연산자, 소벨(Sobel) 연산자, 및 프리윗(Prewitt) 연산자 등이 있다. 이에, 대해서는 도 9a 내지 도 11b를 참조하여 설명하기로 한다.
도 9a는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에서의 설비 점검을 위한 설비 영상 이미지 처리시 사용하는 일실시예에 따른 마스크이다.
도 9a는 로버트(Robert) 연산자의 행 검출 마스크(Gx)와 열 검출 마스크(Gy)를 나타낸다.
로버트(Robert) 연산자는 다른 마스크보다 크기가 작고 효과적으로 사용할 수 있지만, 돌출된 값을 평균에 적절히 활용하기 어려워 잡음에 민감한 단점이 있다.
도 9b는 도 9a의 마스크를 사용하여 처리한 이미지에 대한 설명도이다.
도 9b를 참조하면, 왼쪽 위에는 원영상이 있으며, 오른쪽 위에는 행 검출 마스크를 사용한 수평방향 영상이 있고, 왼쪽 아래에는 열 검출 마스크를 사용한 수직방향 영상이 있으며, 오른쪽 아래에는 행 검출 마스크 및 열 검출 마스크를 모두 사용한 영상이 도시되어 있다.
도 10a는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에서의 설비 점검을 위한 설비 영상 이미지 처리시 사용하는 다른 실시예에 따른 마스크이다.
도 10a는 소벨(Sobel) 연산자의 행 검출 마스크(Gx)와 열 검출 마스크(Gy)를 나타낸다.
소벨(Sobel) 연산자는 원영상의 중심값을 더 강조하는 장점이 있고, 돌출 값을 평균화하는데 효율적이지만, 대각선 방향에 놓여진 에지에 민감하다.
도 10b는 도 10a의 마스크를 사용하여 처리한 이미지에 대한 설명도이다.
도 10b를 참조하면, 왼쪽 위에는 원영상이 있으며, 오른쪽 위에는 행 검출 마스크를 사용한 수평방향 영상이 있고, 왼쪽 아래에는 열 검출 마스크를 사용한 수직방향 영상이 있으며, 오른쪽 아래에는 행 검출 마스크 및 열 검출 마스크를 모두 사용한 영상이 도시되어 있다.
도 11a는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에서의 설비 점검을 위한 설비 영상 이미지 처리시 사용하는 또 다른 실시예에 따른 마스크이다.
도 11a는 프리윗(Prewitt) 연산자의 행 검출 마스크(Gx)와 열 검출 마스크(Gy)를 나타낸다.
프리윗(Prewitt) 연산자는 장점으로는 소벨 필터의 결과와 거의 같은 결과 값을 나타내는데, 응답시간이 약간 빠르며, 돌출된 값을 비교적 효율적으로 평균화하지만, 수평과 수직에 놓여진 에지에 민감하고, 윤곽선이 덜 부각되어 나타난다.
도 11b는 도 11a의 마스크를 사용하여 처리한 이미지에 대한 설명도이다.
도 11b를 참조하면, 왼쪽 위에는 원영상이 있으며, 오른쪽 위에는 행 검출 마스크를 사용한 수평방향 영상이 있고, 왼쪽 아래에는 열 검출 마스크를 사용한 수직방향 영상이 있으며, 오른쪽 아래에는 행 검출 마스크 및 열 검출 마스크를 모두 사용한 영상이 도시되어 있다.
한편, 에지의 크기는 하기 [수학식 1]과 같이 나타낼 수 있다.
[수학식 1]
Figure 112019021457317-pat00001
여기서, G(x,y)는 에지의 크기, Gx는 행 검출 마스크, GY는 열 검출 마스크이다.
한편, 에지의 방향은 하기 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
Figure 112019021457317-pat00002
여기서 θ는 에지의 방향, Gx는 행 검출 마스크, GY는 열 검출 마스크이다.
도 12a 및 12b는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에서의 설비 점검을 위한 설비 영상 이미지 처리의 전후를 설명하기 위한 일실시예 도면이다.
도 12a는 본 발명에 따른 비전 이미지 검출을 이용한 문서 자동 작성 시스템에 구비되는 설비 점검부(미도시됨)에서 생산 설비의 영상 이미지를 처리하기 전의 영상이고, 도 12b는 소벨 마스크를 이용하여 설비 점검부에서 생산 설비의 영상 이미지를 처리한 후의 영상이다.
도 12a 및 12b를 참고하면, 생산 설비의 영상 이미지를 처리함으로써, 에지 검출이 가능하여, 생산 설비의 훼손, 결함 및 변형 등의 변화를 알아낼 수 있다.
따라서, 공정상의 생산물(검사대상물)에 대한 비전 검사 결과뿐만 아니라, 생산 설비 외형의 변화 감지를 통해 서로 연계되어, 설비의 결함 예측 및 결함 예방이 신속히 이루어 질 수 있으므로, 생산성이 향상될 수 있다.
이상에서 본 발명의 일 실시예에 따른 비전 이미지 검출을 이용한 문서 자동 작성 방법에 대하여 설명하였지만, 비전 이미지 검출을 이용한 문서 자동 작성 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 및 비전 이미지 검출을 이용한 문서 자동 작성 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 프로그램 역시 구현 가능함은 물론이다.
즉, 상술한 비전 이미지 검출을 이용한 문서 자동 작성 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 다시 말해, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.
110, 120, 130: 머신 비전 장치 200: 문서 자동 작성 서버
300: 비전 검사 테스트 장치 400: 단말기
201: 송수신부 202: 제어부
203: 이미지 검출부 204: 저장부
205: 이미지 편집부 206: 데이터 처리부
207: 문서 작성부 208: 데이터 분석부
301: 카메라 302: 이미지 전처리부
303: 비전검사 제어부 304: 판단부
305: 통신부 306: 조명부
501: 테스트 이미지 생성부 502: 시뮬레이션부

Claims (10)

  1. 비전 이미지 검출을 이용한 문서 자동 작성 시스템에 있어서,
    각 작업 라인에서 처리되는 검사대상물의 비전 검사를 수행하기 위한 다수의 머신 비전 장치(110, 120, 130);
    상기 각 머신 비전 장치로부터 영상 이미지 및 비전 검사 결과 데이터를 전달받아 저장하고, 상기 영상 이미지 및 상기 비전 검사 결과 데이터로부터 자동으로 문서를 작성하기 위한 문서 자동 작성 서버(200);
    상기 작성된 문서를 열람하기 위한 단말기(400); 및
    상기 다수의 머신 비전 장치의 성능, 상기 문서의 자동 작성 성능을 테스트하기 위한 비전 검사 테스트 장치(300)
    를 포함하고,
    상기 문서 자동 작성 서버(200)는,
    상기 머신 비전 장치로부터 상기 영상 이미지 및 상기 비전 검사 결과 데이터를 전달받기 위한 송수신부(201);
    상기 영상 이미지로부터 특정 영역을 추출하기 위한 이미지 검출부(203);
    상기 검출된 이미지를 편집하기 위한 이미지 편집부(205);
    상기 머신 비전 장치로부터 전달받은 상기 비전 검사 결과 데이터를 처리하기 위한 데이터 처리부(206);
    상기 편집된 이미지 및 상기 처리된 데이터로부터 실시간으로 보고서 형태의 문서를 작성하기 위한 문서 작성부(207);
    상기 송수신부를 통해 상기 다수의 머신 비전 장치로부터 전달받은 상기 영상 이미지 및 상기 비전 검사 결과 데이터를 저장하고, 상기 문서 작성부에서 작성한 문서를 저장하는 저장부(204);
    상기 송수신부, 상기 이미지 검출부, 상기 이미지 편집부, 상기 데이터 처리부 및 상기 문서 작성부를 포함한 각 구성요소를 제어하는 제어부(202); 및
    기설정 기간 동안의 비전 검사 결과 데이터를 분석하여 공정간 연계를 통해 공정 상태 판정, 불량 원인 분석 및 품질 편차 분석을 수행하여 불량 또는 품질 편차의 영향 요인을 파악하고, 설비 상태 예측 데이터를 출력하기 위한 데이터 분석부(208)
    를 포함하고,
    상기 문서 작성부에서 작성된 문서는,
    제품명(601), 시작시간(602), 종료시간(603), 검수 카운트(604), 양품(605), 불량(606), 불량률(607), 편집 이미지(608) 및 전체이미지의 링크(609)
    를 포함하는 것을 특징으로 하고,
    생산 설비들에 대한 에지 검출을 위해 영상 이미지를 처리하기 위한 설비 점검부
    를 더 포함하고,
    상기 이미지 검출부(203)는,
    검사대상물의 촬영된 영상 이미지에서 기설정된 기준점의 위치를 이용하고, 상기 기설정된 기준점은 상기 검사대상물의 표면에 인쇄되거나 표시되는 부분인 것을 특징으로 하고,
    상기 이미지 편집부(205)는,
    상기 검출된 이미지에 대하여 회전(Rotation), 필터링, 시프트(Shift), 및 줌(Zoom) 편집을 수행하는 것을 특징으로 하고,
    상기 생산 설비들의 영상 이미지에 대하여,
    에지 검출을 위해 마스크(802) 내의 원소값과 공간 영역에 있는 입력 영상(800)의 화소값(801)들을 대응되게 곱(803)하여 출력 화소값(804)을 계산하는 처리를 모든 입력 화소값에 대해 이동하면서 수행하는 영상처리 회선 기법을 사용하는 것을 특징으로 하고,
    상기 에지의 크기는 하기 [수학식 3]와 같이 나타내고,
    [수학식 3]
    Figure 112019074856958-pat00022

    (여기서, G(x,y)는 에지의 크기, Gx는 행 검출 마스크, Gy는 열 검출 마스크),
    상기 에지의 방향은 하기 [수학식 4]와 같이 나타내는 것을 특징으로 하고,
    [수학식 4]
    Figure 112019074856958-pat00023

    (여기서, θ는 에지의 방향, Gx는 행 검출 마스크, Gy는 열 검출 마스크),
    상기 비전 검사 테스트 장치(300)는,
    사용자로부터 입력받거나 랜덤의 이미지샘플에 각각 다른 정도의 변형을 적용하여 가상 테스트 이미지를 생성하기 위한 테스트 이미지 생성부(501); 및
    상기 테스트 이미지 생성부에 의해 생성된 상기 가상 테스트 이미지를 이용하여 상기 머신 비전 장치의 동작을 시뮬레이션하기 위한 시뮬레이션부(502)
    를 포함하는 것을 특징으로 하는 비전 이미지 검출을 이용한 문서 자동 작성 시스템.
  2. 제1항에 있어서,
    상기 각 머신 비전 장치(110, 120, 130)는,
    상기 검사대상물을 촬영하기 위한 카메라(301);
    상기 검사대상물의 표면 이미지 촬영을 위한 빛을 공급하는 조명부(306);
    상기 카메라로부터 전달받은 이미지를 전처리하는 이미지 전처리부(302);
    상기 카메라 및 상기 조명부의 작동을 제어하면서 상기 검사대상물의 표면 이미지를 생성하기 위한 비전검사 제어부(303);
    기설정된 비전 검사 알고리즘에 따라, 획득한 검사대상물의 이미지를 통해 양품과 불량품을 판단하기 위한 판단부(304); 및
    상기 전처리된 이미지 및 상기 판단부에서 판단된 비전 검사 결과를 상기 문서 자동 작성 서버로 전달하기 위한 통신부(305)
    를 포함하는 것을 특징으로 하는 비전 이미지 검출을 이용한 문서 자동 작성 시스템.
  3. 제1항에 있어서,
    상기 저장부(204)는,
    상기 각 머신 비전 장치로부터 전달받은 원본 영상 이미지를 저장하고 있는 원본영상 저장부(204a);
    상기 이미지 검출부에서 검출된 이미지를 저장하고 있는 검출이미지 저장부(204b); 및
    상기 문서 작성부에서 작성한 문서를 저장하고 있는 문서 저장부(205c)
    를 포함하는 것을 특징으로 하는 비전 이미지 검출을 이용한 문서 자동 작성 시스템.
  4. 삭제
  5. 삭제
  6. 청구항 1의 비전 이미지 검출을 이용한 문서 자동 작성 시스템에서의 비전 이미지 검출을 이용한 문서 자동 작성 방법에 있어서,
    머신 비전 장치가 공정라인을 따라 이동하는 검사대상물을 상기 공정라인 상의 특정 위치에서 촬영하는 촬영단계(S710);
    상기 머신 비전 장치가 상기 촬영한 검사대상물의 영상 이미지를 문서 자동 작성 서버로 전달하는 이미지전달단계(S720);
    상기 머신 비전 장치가 기설정된 적어도 하나 이상의 비전 검사 알고리즘에 따라 불량 또는 양품을 판단하여 비전 검사 결과 데이터로 출력하는 비전검사단계(S730);
    상기 머신 비전 장치가 상기 비전 검사 결과 데이터를 상기 문서 자동 작성 서버로 전달하는 결과전달단계(S740);
    상기 문서 자동 작성 서버가 상기 검사대상물의 영상 이미지로부터 특정 영역을 검출하는 이미지검출단계(S750);
    상기 검출한 특정 영역 이미지의 편집이 필요한 경우 상기 추출한 특정 영역 이미지를 편집하는 편집단계(S760);
    상기 검출된 이미지 및 상기 비전 검사 결과 데이터로부터 자동으로 보고서 형식의 문서를 작성하는 문서작성단계(S770); 및
    기설정된 기간 동안의 비전 검사 결과 데이터를 분석하여 공정간 연계를 통해 공정 상태 판정, 불량 원인 분석 및 품질 편차 분석을 수행하여 불량 또는 품질 편차의 영향 요인을 파악하고, 설비 상태 예측 데이터를 출력하는 예측단계(S780)
    를 포함하고,
    상기 머신 비전 장치의 성능 및 문서 자동 작성 성능을 테스트하기 위한 테스트단계; 및
    생산 설비들에 대한 에지 검출을 위해 영상 이미지를 처리하는 설비점검단계를 더 포함하고,
    문서작성단계(S770)는,
    상기 검사대상물의 영상 이미지에서 기설정된 기준점의 위치를 이용하여 특정 영역을 추출하고, 검출된 이미지에 대하여 회전(Rotation), 필터링, 시프트(Shift), 및 줌(Zoom) 편집을 수행하고, 상기 비전 검사 결과 데이터를 처리하고, 상기 편집된 이미지 및 상기 처리된 데이터로부터 실시간으로 상기 보고서 형식의 문서를 작성하는 것을 특징으로 하고,
    상기 문서작성단계에서 작성된 문서는,
    제품명(601), 시작시간(602), 종료시간(603), 검수 카운트(604), 양품(605), 불량(606), 불량률(607), 편집 이미지(608) 및 전체이미지의 링크(609)
    를 포함하는 것을 특징으로 하고,
    상기 기설정된 기준점은,
    상기 검사대상물의 표면에 인쇄되거나 표시되는 부분인 것을 특징으로 하고,
    상기 설비점검단계는,
    에지 검출을 위해 마스크(802) 내의 원소값과 공간 영역에 있는 입력 영상(800)의 화소값(801)들을 대응되게 곱(803)하여 출력 화소값(804)을 계산하는 처리를 모든 입력 화소값에 대해 이동하면서 수행하는 영상처리 회선 기법을 사용하는 것을 특징으로 하고,
    상기 에지의 크기는 하기 [수학식 5]와 같이 나타내고,
    [수학식 5]
    Figure 112019074856958-pat00024

    (여기서, G(x,y)는 에지의 크기, Gx는 행 검출 마스크, Gy는 열 검출 마스크),
    상기 에지의 방향은 하기 [수학식 6]과 같이 나타내는 것을 특징으로 하고,
    [수학식 6]
    Figure 112019074856958-pat00025

    (여기서, θ는 에지의 방향, Gx는 행 검출 마스크, Gy는 열 검출 마스크),
    상기 테스트단계는,
    사용자로부터 입력받거나 랜덤의 이미지샘플에 각각 다른 정도의 변형을 적용하여 가상 테스트 이미지를 생성하고, 상기 생성한 상기 가상 테스트 이미지를 이용하여 상기 머신 비전 장치의 동작을 시뮬레이션하는 것을 특징으로 하는 비전 이미지 검출을 이용한 문서 자동 작성 방법.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 예측단계(S780) 이후에,
    상기 예측 데이터에 근거하여 조치 또는 점검이 필요한 설비에 대한 경고 및 알람을 출력하는 알람단계(S790)
    를 더 포함하는 것을 특징으로 하는 비전 이미지 검출을 이용한 문서 자동 작성 방법.
  10. 삭제
KR1020190024209A 2019-02-28 2019-02-28 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법 KR102022494B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190024209A KR102022494B1 (ko) 2019-02-28 2019-02-28 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190024209A KR102022494B1 (ko) 2019-02-28 2019-02-28 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102022494B1 true KR102022494B1 (ko) 2019-09-18

Family

ID=68071057

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190024209A KR102022494B1 (ko) 2019-02-28 2019-02-28 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102022494B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102201635B1 (ko) 2020-05-08 2021-01-11 김용진 문서 작성 보조 장치 및 문서 작성 보조 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326580A (ja) * 1998-05-15 1999-11-26 Toshiba Corp シュラウド自動検査装置
KR20090001710A (ko) 2007-05-14 2009-01-09 (주)제이앤에스피 제조 공정 관리 시스템
KR20090073643A (ko) 2007-12-31 2009-07-03 경남도립남해대학 산학협력단 생산 현장정보 제공 시스템 및 방법
KR101570516B1 (ko) 2013-03-15 2015-11-19 (주)피플앤아이티 산업용 비전통합 공정 관리 시스템
KR101778054B1 (ko) * 2015-10-01 2017-09-13 라온피플 주식회사 머신 비전을 위한 가이드 제공 방법 및 장치
JP2017228249A (ja) * 2016-06-24 2017-12-28 古河電気工業株式会社 点検支援システム、情報端末、点検支援方法、およびプログラム
KR101920372B1 (ko) 2016-05-19 2018-11-20 대구대학교 산학협력단 제품 제조 자동화 라인의 설비고장과 품질불량의 가시적 예지 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326580A (ja) * 1998-05-15 1999-11-26 Toshiba Corp シュラウド自動検査装置
KR20090001710A (ko) 2007-05-14 2009-01-09 (주)제이앤에스피 제조 공정 관리 시스템
KR20090073643A (ko) 2007-12-31 2009-07-03 경남도립남해대학 산학협력단 생산 현장정보 제공 시스템 및 방법
KR101570516B1 (ko) 2013-03-15 2015-11-19 (주)피플앤아이티 산업용 비전통합 공정 관리 시스템
KR101778054B1 (ko) * 2015-10-01 2017-09-13 라온피플 주식회사 머신 비전을 위한 가이드 제공 방법 및 장치
KR101920372B1 (ko) 2016-05-19 2018-11-20 대구대학교 산학협력단 제품 제조 자동화 라인의 설비고장과 품질불량의 가시적 예지 시스템
JP2017228249A (ja) * 2016-06-24 2017-12-28 古河電気工業株式会社 点検支援システム、情報端末、点検支援方法、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102201635B1 (ko) 2020-05-08 2021-01-11 김용진 문서 작성 보조 장치 및 문서 작성 보조 방법

Similar Documents

Publication Publication Date Title
KR102022496B1 (ko) 비전 이미지 검출을 이용한 공정 관리 및 모니터링 시스템 및 그 방법
US12039712B2 (en) Underground infrastructure feature identification using multi-sensor inspection data analysis
US20210201472A1 (en) Method of inspecting and evaluating coating state of steel structure and system therefor
US8885048B2 (en) Computer vision and radio frequency identification technology based book enrolment management apparatus
KR102108956B1 (ko) 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
US20190164270A1 (en) System and method for combined automatic and manual inspection
CN107895362B (zh) 一种微型接线端子质量检测的机器视觉方法
TWI642126B (zh) 半導體晶圓檢測系統及其方法
WO2021046726A1 (zh) 用于检测机械设备零部件的方法和装置
EP4195142A1 (en) System for detecting the defects of the wooden boards and their classification into quality classes
JP2015197396A (ja) 画像検査方法および画像検査装置
CN114862832A (zh) 缺陷检测模型的优化方法、装置、设备及存储介质
KR101964805B1 (ko) 머신 비전을 위한 가이드 제공 방법 및 장치
KR102022494B1 (ko) 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법
US20240104715A1 (en) Production-speed component inspection system and method
KR101748768B1 (ko) 머신 비전 검사를 위한 가상 테스트 이미지 생성 방법 및 장치, 머신 비전 검사 시뮬레이션 방법 및 장치, 및 머신 비전 테스트 시스템
CN117745678A (zh) 一种输送带滚筒包胶检测方法、装置、设备及存储介质
KR102524151B1 (ko) 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법
Ghidoni et al. Automatic color inspection for colored wires in electric cables
CN116580026B (zh) 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其***
CN105572133A (zh) 瑕疵检测方法及其装置
Tout Automatic vision system for surface inspection and monitoring: Application to wheel inspection
US20230152781A1 (en) Manufacturing intelligence service system connected to mes in smart factory
CN115880365A (zh) 一种双工位自动螺丝拧装检测方法、***及装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant