KR102097120B1 - 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법 - Google Patents

딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법 Download PDF

Info

Publication number
KR102097120B1
KR102097120B1 KR1020190079914A KR20190079914A KR102097120B1 KR 102097120 B1 KR102097120 B1 KR 102097120B1 KR 1020190079914 A KR1020190079914 A KR 1020190079914A KR 20190079914 A KR20190079914 A KR 20190079914A KR 102097120 B1 KR102097120 B1 KR 102097120B1
Authority
KR
South Korea
Prior art keywords
image
damage
degree
damaged
vehicle
Prior art date
Application number
KR1020190079914A
Other languages
English (en)
Inventor
김태윤
어진솔
배병선
Original Assignee
주식회사 애자일소다
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 애자일소다 filed Critical 주식회사 애자일소다
Priority to JP2021536348A priority Critical patent/JP7277997B2/ja
Priority to PCT/KR2019/018708 priority patent/WO2021002549A1/ko
Application granted granted Critical
Publication of KR102097120B1 publication Critical patent/KR102097120B1/ko
Priority to US17/362,013 priority patent/US11887064B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 딥러닝 기반의 Mask R-CNN 프레임워크를 이용하여 사고차량 사진을 분석 후 사고부위에 해당하는 부품 이미지를 추출하며, 해당 추출된 부품 이미지의 파손정도를 기 학습된 모델을 기반으로 자동 판정함으로써, 일관성 있고 신뢰할 수 있는 차량 수리 견적을 신속히 산출할 수 있도록 하는 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법에 관한 것이다.

Description

딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법{SYSTEM AND METHOD FOR AUTOMATICALLY DETERMINING THE DEGREE OF BREAKDOWN BY VEHICLE SECTION BASED ON DEEP RUNNING}
본 출원은 2018년 12월 31일자 한국 특허 출원 제10-2018-0174099호, 2018년 12월 31일자 한국 특허 출원 제10-2018-0174110호에 기초한 우선권의 이익을 주장하며, 해당 한국 특허 출원의 문헌에 개시된 모든 내용은 본 명세서의 일부로서 포함된다.
본 발명은 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법에 관한 것으로서, 보다 구체적으로는, 딥러닝 기반의 Mask R-CNN 프레임워크를 이용하여 사고차량 사진을 분석 후 사고부위에 해당하는 부품 이미지를 추출하며, 해당 추출된 부품 이미지의 파손정도를 기 학습된 모델을 기반으로 자동 판정함으로써, 일관성 있고 신뢰할 수 있는 차량 수리 견적을 신속히 산출할 수 있도록 하는 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법에 관한 것이다.
일반적으로, 교통사고 등 여러 요인에 의해 자동차가 파손되었을 경우, 파손 차량을 정비소로 입고시킨 후 정비 전문가의 판단에 따라 자동차의 파손정도를 결정하게 된다. 이때, 정비 전문가 별로 파손정도를 판단하는 기준이 정형화되어 있지 않고 주관적 판단이 개입되기 때문에, 비슷한 파손정도임에도 불구하고 수리비 견적이 크게 달라지는 경우가 발생하고 있다.
따라서, 정비 전문가들의 주관적인 파손정도 판단기준이 아닌, 정형화되고 일관성 있는 판단 기준을 통해 신뢰할 수 있는 수리비 견적을 책정할 수 있는 기술이 필요한 실정이다.
한국공개특허 10-2015-0070548호
본 발명은 상술된 문제점을 해결하기 위해 도출된 것으로서, 딥러닝 기반의 Mask R-CNN 프레임워크를 이용하여 사고차량 사진을 분석 후 사고부위에 해당하는 부품 이미지를 추출하며, 해당 추출된 부품 이미지의 파손정도를 기 학습된 모델을 기반으로 자동 판정함으로써, 일관성 있고 신뢰할 수 있는 차량 수리 견적을 신속히 산출할 수 있도록 하는 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템은 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과를 토대로 부품 별 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨링 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하는 모델 생성부, 상기 모델 생성부를 통해 생성된 모델을 토대로, 사용자 단말로부터 획득되는 자동차 촬영 이미지를 보정 처리하는 이미지 전처리부, 보정 처리된 상기 자동차 촬영 이미지를 상기 모델 생성부를 통해 생성된 모델을 토대로 자동차 부품 별로 파악 및 세분화하는 부품 파악부, 상기 자동차 촬영 이미지 중에서, 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 파손부위 이미지 추출부 및 추출된 파손부위 이미지와 상기 모델 생성부를 통해 생성된 모델을 토대로, 해당 파손부위의 파손정도를 기 설정된 상태에 따라 판별하는 파손정도 판별부를 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 이미지 전처리부는 상기 자동차 촬영 이미지의 회전 및 반전처리를 통해 이미지를 확장(augmentation)하는 보정 처리, 또는 상기 자동차 촬영 이미지 상의 빛 반사를 제거하는 보정 처리를 수행하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 부품 파악부는 Mask R-CNN 프레임워크를 이용하여 상기 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 자동차 부품을 파악 및 세분화하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 파손정도 판별부는 CNN 프레임워크의 InceptionV4 네트워크 구조를 이용하여 상기 파손부위의 파손정도가 정상 상태, 스크래치 상태, 소손상 판금 상태, 중손상 판금 상태, 대손상 판금 상태 및 교환 상태 중 어느 하나의 상태에 해당하는지 여부를 판별하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 부품 파악부는 상기 Mask R-CNN 프레임워크를 이용하여 상기 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 영역을 마스킹하되, 서로 인접한 영역의 경계를 커버하도록 각 영역의 외곽라인보다 넓은 영역을 마스킹하는 것을 특징으로 할 수 있다.
일 실시예에서, 본 발명은 상기 사용자 단말로부터 자동차 촬영 이미지를 획득하는 획득부를 더 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 본 발명은 상기 파손부위 이미지에 대한 파손정도를 토대로, 예상 수리견적을 산출하여 이를 상기 사용자 단말로 제공하는 예상 수리견적 제공부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명의 다른 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 방법은 모델 생성부에서, 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과를 토대로 부품 별 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨리 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하는 단계, 이미지 전처리부에서, 상기 모델 생성부를 통해 생성된 모델을 토대로 사용자 단말로부터 획득되는 자동차 촬영 이미지를 보정 처리하는 단계, 부품 파악부에서, 보정 처리된 상기 자동차 촬영 이미지를 상기 모델 생성부를 통해 생성된 모델을 토대로 자동차 부품 별로 파악 및 세분화하는 단계, 파손부위 이미지 추출부에서, 상기 자동차 촬영 이미지 중에서 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 단계 및 파손정도 판별부에서, 추출된 파손부위 이미지와 상기 모델 생성부를 통해 생성된 모델을 토대로 해당 파손부위의 파손정도를 기 설정된 상태에 따라 판별하는 단계를 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 본 발명은 획득부를 통해, 상기 사용자 단말로부터 상기 자동차 촬영 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 본 발명은 예상 수리견적 제공부에서, 상기 파손부위 이미지에 대한 파손정도를 토대로 예상 수리견적을 산출하여 이를 상기 사용자 단말로 제공하는 단계를 포함하는 것을 특징으로 할 수 있다.
본 발명의 일 측면에 따르면, 차주가 직접 자신이 촬영한 사고 이미지를 토대로 일관성 있고 신뢰할 수 있는 차량 수리 견적을 신속히 획득할 수 있는 이점을 가진다.
또한 본 발명의 일 측면에 따르면, 수만장 이상의 사고 이미지를 토대로 학습된 딥러닝 모델을 기반으로 파손정도 판별 결과를 신속히 도출할 수 있는 이점을 가진다.
또한 본 발명의 일 측면에 따르면, 교통사고 등 여러 요인에 의해 자동차가 파손되었을 경우, 파손 차량을 정비소로 입고시킨 후 정비 전문가의 판단에 따라 자동차의 파손정도를 결정하는 과정을 수행하지 않아도 된다. 이에 따라, 정비 전문가 별로 파손정도를 판단하는 기준이 정형화되어 있지 않고 주관적 판단이 개입되기 때문에, 비슷한 파손정도임에도 불구하고 수리비 견적이 크게 달라지는 경우를 효과적으로 방지할 수 있는 이점을 가진다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(100)의 구성을 개략적으로 도시한 도면이다.
도 2는 도 1에 도시된 모델 생성부(110)의 구성을 도시한 도면이다.
도 3은 도 1에 도시된 이미지 전처리부(120)를 통해 자동차 촬영 이미지를 보정 처리하는 상태를 도시한 도면이다.
도 4는 도 1에 도시된 부품 파악부(130)를 통해 자동차 촬영 이미지를 자동차 부품 별로 파악 및 세분화하는 상태를 도시한 도면이다.
도 5는 도 1에 도시된 파손부위 이미지 추출부(140)를 통해 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 상태를 도시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(200)의 구성을 개략적으로 도시한 도면이다.
도 7은 도 1에 도시된 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(100)을 통해 자동차 부위별 파손정도를 자동으로 판정하기 위한 방법을 일련의 순서대로 도시한 도면이다.
도 8은 도 6에 도시된 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(200)을 통해 자동차 부위별 파손정도를 자동으로 판정하기 위한 다른 방법을 일련의 순서대로 도시한 도면이다.
이하, 본 발명의 이해를 돕기 위하여 바람직한 실시예를 제시한다. 그러나 하기의 실시예는 본 발명을 보다 쉽게 이해하기 위하여 제공되는 것일 뿐, 실시예에 의해 본 발명의 내용이 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(100)의 구성을 개략적으로 도시한 도면이고, 도 2는 도 1에 도시된 모델 생성부(110)의 구성을 도시한 도면이다.
도 1 및 도 2를 살펴보면, 본 발명의 일 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(100)은 크게 모델 생성부(110), 이미지 전처리부(120), 부품 파악부(130), 파손부위 이미지 추출부(140) 및 파손정도 판별부(150)를 포함하여 구성될 수 있다.
모델 생성부(110)는 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과를 토대로 부품 별 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨리 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하는 역할을 한다.
보다 구체적으로, 모델 생성부(110)는 크게 제1 모델 생성부(110a), 제2 모델 생성부(110b), 제3 모델 생성부(110c) 및 제4 모델 생성부(110d)를 포함하여 구성될 수 있다.
제1 모델 생성부(110a)는 다수의 제1 자동차 촬영 이미지 중에서 일부의 자동차 촬영 이미지를 선택한 데이터를 학습하여 제1 모델을 생성하는 역할을 한다.
보다 구체적으로, 제1 모델 생성부(110a)는 자동차 사고 시 사고차량의 사고 수리 전 상태를 촬영한 다수(예컨대, 5만장 이상)의 자동차 촬영 이미지와, 사고 수리 후 상태를 촬영한 상태를 촬영한 다수(예컨대, 5만장 이상)의 자동차 촬영 이미지를 서로 비교한 결과값에 기초하여, 다수의 제1 자동차 촬영 이미지(예컨대, 자동차 사고 시 사고 차량을 촬영한 30장~40장의 자동차 촬영 이미지) 중에서 사고 수리 후 상태를 촬영한 것으로 판단되는 이미지이거나, 또는 너무 멀리서 촬영됨에 따라 초점이 흐트러진 자동차 촬영 이미지를 제거함으로써 대략 10% 정도(예컨대, 3장~4장)의 자동차 촬영 이미지를 선택한 데이터를 반복 학습함으로써 제1 모델을 생성하게 된다. 이는 추후 사용자 단말(예컨대, 사고 차량의 차주 단말)을 통해 촬영된 다수의 촬영 이미지 중에서 파손유형 및 파손정도를 판단하기에 적합한 이미지를 선택함에 있어 적용될 수 있다.
제2 모델 생성부(110b)는 다수의 제2 자동차 촬영 이미지를 이용하여 각 부품별로 파악 및 세분화한 데이터를 학습하여 제2 모델을 생성할 수 있다.
보다 구체적으로, 제2 모델 생성부(110b)는 Mask R-CNN 프레임워크를 이용하여 다수의 제2 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 자동차 부품을 파악 및 세분화한 데이터를 학습할 수 있다.
예컨대, 자동차의 정면부, 측면부, 후면부 등을 무작위로 촬영한 다수(예컨대, 수만장)의 자동차 촬영 이미지들 각각을 Mask R-CNN 프레임워크를 통해 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별로 서로 상이한 색상으로 마스킹한 후, 마스킹된 영역을 기초로 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별 위치 및 종류를 학습하게 된다.
이때 마스킹 영역은 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별 크기에 정확히 일치하는 것이 아닌, 각 부품 별 크기 보다 넓은 면적(예컨대, 110%)을 마스킹하게 된다. 따라서, 부품과 부품이 서로 접하거나 연결되는 부분의 경계를 커버하도록 마스킹함으로써, 서로 인접하거나 연결되는 경계 부분의 파손에 대해서도 인식하도록 한다.
또한, Mask R-CNN 프레임워크를 통해 파악되는 부품은 각 부품 종류 별로 적어도 수만장 이상의 샘플 이미지를 통해 기 학습된 부품을 토대로 마스킹이 이루어진다는 점에서, 학습된 부품 외에 다른 부품에 대해서는 검출되지 않는다.
한편, Mask R-CNN 프레임워크는 페이스북 사의 인공지능 연구소에서 개발된 프레임워크로써, 이를 이용하여 각 부품 별 서로 상이한 색상을 마스킹하여 부품 별 종류를 파악할 수 있다.
제3 모델 생성부(110c)는 자동차 사고 시 사고차량을 촬영한 다수의 자동차 촬영 이미지에 대하여 보다 높은 신뢰도를 가진 손상유형 판단 결과를 획득할 수 있도록, 사용자에 의해 판단된 파손부위 촬영 이미지의 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교하여 검수 및 리라벨링하는 제3 모델을 생성하는 역할을 한다.
여기에서, 리라벨링이라 함은 사용자에 의해 판단된 파손정도 라벨링 데이터가 사람의 실수에 완벽하지 않다고 가정하여 진행되는 과정을 의미하며, 제3 모델은 이러한 파손정도 라벨링 데이터를 검수하는 역할을 한다.
먼저, 제3 모델 생성부(110c)에서는 특정 파손부위 촬영 이미지에 대하여 파손 부위 분류 시 해당 이미지로 해당되는 것으로 추정되는 파손 부위의 확률을 결과 데이터로써 출력하는 제3 모델을 생성한다.
이때, 제3 모델 생성부(110c)에서는 해당 제3 모델의 정확도를 높이기 위하여, 제3 모델에 특정 파손부위 촬영 이미지를 입력함에 따라 출력되는 결과 데이터의 파손 부위의 확률값이 임의의 확률값으로 정한 기준 확률값보다 높은지 낮은지 여부를 판단하게 된다.
만약, 특정 파손부위 촬영 이미지의 파손 부위의 확률값이 기준 확률값보다 높을 경우에는, 앞서 생성된 제3 모델의 정확도가 높은 것으로 판단하게 된다. 이 경우에는 해당 파손부위 촬영 이미지에 대해 사용자가 부여한 파손정도 라벨링 데이터를 유지하게 된다.
반대로, 특정 파손부위 촬영 이미지의 파손 부위 확률값이 기준 확률값보다 낮을 경우에는, 앞서 생성된 제3 모델의 정확도가 낮은 것으로 판단하게 된다. 이 경우에는 해당 파손부위 촬영 이미지에 대해 사용자가 부여한 파손정도 라벨링 데이터를 새로운 파손정도 라벨링 데이터로 수정하게 된다.
이러한 방식으로 모든 파손부위 촬영 이미지에 대하여 리라벨링 과정을 수행함으로써, 파손부위 촬영 이미지의 파손 정도 판단률이 향상될 수 있고, 매 리라벨링 과정이 반복 수행될 때마다, 제3 모델의 성능이 계속해서 향상 된다. 최종적으로 향상된 성능을 보이는 제3 모델은 후술되는 제4 모델의 학습에 적용될 수 있다.
제4 모델 생성부(110d)는 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 제4 모델을 생성하는 역할을 한다.
보다 구체적으로, 제4 모델 생성부(110d)는 다수(예컨대, 수만장)의 파손부위 촬영 이미지(예컨대, 스크래치가 발생된 도어, 판금 작업이 필요한 휀더, 교체 작업이 필요한 범퍼 등)를 토대로 파손유형 별 파손정도를 학습하여 제4 모델을 생성하게 된다. 이때, 제4 모델 생성부(110d)는 CNN 프레임워크의 Inception V4 네트워크 구조를 이용하여 해당 파손부위의 파손정도가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 판별하게 된다.
이때 Inception V4 네트워크 구조는 구글 사의 인공지능 연구소에서 개발된 것으로서, 이를 이용하여 파손부위가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 학습할 수 있게 된다.
다음으로, 이미지 전처리부(120)는 상술한 모델 생성부(110)를 통해 생성된 모델을 기초로 하여, 사용자 단말(예컨대, 사고차량의 차주의 휴대전화 등)을 통해 촬영된 자동차 촬영 이미지를 다양한 보정 처리함으로써, 후술되는 파손정도 판별부(150)를 통한 파손정도 판단 정확률 혹은 인식률을 높이는 역할을 한다. 이에 관해서는 도 3을 통해 보다 구체적으로 살펴보기로 한다.
도 3은 도 1에 도시된 이미지 전처리부(120)를 통해 자동차 촬영 이미지를 보정 처리하는 상태를 도시한 도면이다.
도 3을 살펴보면, 이미지 전처리부(120)는 사용자 단말을 통해 촬영된 자동차 촬영 이미지를 회전 및 반전 처리함으로써 이미지를 후술되는 부품 파악부(130)에서 인식 가능한 임의의 크기로 확장(augmentation)하여 이미지 크기를 규격화 하게 된다. 또한, 빛 반사를 제거하는 보정 처리를 통해 자동차 촬영 이미지의 인식오류를 제거하여 정확도를 향상시키는 역할을 하게 된다.
다시 도 1로 돌아와서, 부품 파악부(130)는 이미지 전처리부(120)를 통해 보정 처리된 자동차 촬영 이미지 상의 각 부품을 파악하기 위하여, 각 부품 별로 서로 다른 색상의 마스킹을 수행한 후 상술한 모델 생성부(110)를 통해 생성된 모델을 기초로 하여, 자동차 부품 별로 파악 및 세분화하게 된다. 이에 관해서는, 도 4를 통해 보다 구체적으로 살펴보기로 한다.
도 4는 도 1에 도시된 부품 파악부(130)를 통해 자동차 촬영 이미지를 자동차 부품 별로 파악 및 세분화하는 상태를 도시한 도면이다.
도 4를 살펴보면, 부품 파악부(130)는 Mask R-CNN 프레임워크를 이용하여 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드 등에 대한 부품 위치를 파악 및 세분화하게 된다.
이때, Mask R-CNN 프레임워크를 통해 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별로 서로 상이한 색상이 마스킹되는데, 이때 마스킹 영역은 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별 크기에 정확히 일치하는 것이 아닌, 각 부품 별 크기 보다 넓은 면적(예컨대, 110%)을 마스킹하게 된다. 따라서, 부품과 부품이 서로 접하거나 연결되는 부분의 경계를 커버하도록 마스킹함으로써, 서로 인접하거나 연결되는 경계 부분의 파손에 대해서도 인식하도록 한다.
이때, Mask R-CNN 프레임워크를 통해 파악되는 부품은 각 부품 종류 별로 적어도 수만장 이상의 샘플 이미지를 통해 기 학습된 부품을 토대로 마스킹이 이루어진다는 점에서, 학습된 부품 외에 다른 부품에 대해서는 검출되지 않는다.
한편, Mask R-CNN 프레임워크는 페이스북 사의 인공지능 연구소에서 개발된 프레임워크로써, 이를 이용하여 각 부품 별 서로 상이한 색상을 마스킹하여 부품 별 종류를 파악할 수 있다.
다시 도 1로 돌아와서, 파손부위 이미지 추출부(140)는 부품 파악부(130)를 통해 자동차 부품 별 종류 및 위치가 파악된 자동차 촬영 이미지 상에서 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 역할을 한다. 이에 관해서는 도 5를 통해 보다 구체적으로 살펴보기로 한다.
도 5는 도 1에 도시된 파손부위 이미지 추출부(140)를 통해 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 상태를 도시한 도면이다.
도 5를 살펴보면, 파손부위 이미지 추출부(140)에서는 부품 검출부(120)에서 마스킹을 통해 획득된 자동차 부품에 대한 이미지 중에서 외곽라인을 기준으로 자동차 부품 외에 주변부(배경)를 모두 블랙처리함으로써 정확한 파손부위 이미지를 추출하게 된다. 이를 통해, 후술되는 파손정도 판별부(150)에서의 파손정도 판단 시 판단 정확도가 상승하게 된다.
다시 도 1로 돌아와서, 파손정도 판별부(150)는 상술한 모델 생성부(110)를 통해 생성된 모델을 기초로 하여 파손부위 이미지 추출부(140)를 통해 추출된 파손부위 이미지의 파손정도(파손심도)가 어느정도 인지를 판단하게 되는데, 이는 CNN 프레임워크의 Inception V4 네트워크 구조를 이용하여 해당 파손부위가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 판별하게 된다.
예컨대, 파손정도 판별부(150)는 딥러닝 기반의 Inception V4 네트워크 구조(인셉션 V4 콘볼루션 신경망 구조)를 통해 수만장 이상의 샘플 파손 이미지를 기초로 학습된 모형과 파손부위 이미지를 서로 비교함으로써, 파손부위 이미지의 상태가 어느 상태에 해당하는지를 자동으로 판별하게 된다.
이때, 스크래치 상태는 예컨대, 수리에 걸리는 시간이 30분 이내에 해당하는 수만장 이상의 샘플 파손 이미지를 기초로 학습된 모형을 토대로 판별되고, 소손상 판금 필요상태는 수리에 걸리는 시간이 약 1.3 시간 이내에 해당하는 수만장 이상의 샘플 파손 이미지를 기초로 학습된 모형을 토대로 판별되며, 중손상 판금 필요상태는 수리에 걸리는 시간이 약 1.7시간 이내에 해당하는 수만장 이상의 샘플 파손 이미지를 기초로 학습된 모형을 토대로 판별되고, 대손상 판금 필요상태는 수리에 걸리는 시간이 약 2.3 시간 이내에 해당하는 수만장 이상의 샘플 파손 이미지를 기초로 학습된 모형을 토대로 판별될 수 있다.
이때 Inception V4 네트워크 구조는 구글 사의 인공지능 연구소에서 개발된 것으로서, 이를 이용하여 파손부위가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 판별할 수 있게 된다.
또한, 이미지 전처리부(120), 부품 파악부(130), 파손부위 이미지 추출부(140) 및 파손정도 판별부(150)는 텐서플로우(TensorFlow)에서 제공하는 모델서버(Model server)를 이용하여, 다수의 샘플 이미지를 통해 학습되는 모델의 학습 환경과 부품을 파악하고 파손부위 이미지를 추출하며 파손정도를 판별하는 모델의 실행 환경을 독립적으로 구현함으로써, 학습 모델의 학습 결과가 실시간으로 실행 환경에 반영되도록 한다. 이때, 다수의 GPU를 통해 학습 모델의 학습 속도와 실행 모델의 실행 속도를 획기적으로 향상시킬 수 있다.
일 실시예에서, 이미지 전처리부(120)를 통해 획득된 자동차 촬영 이미지는 다수의 자동차 촬영 이미지 중에서 일부의 자동차 촬영 이미지를 선택한 데이터를 학습하여 얻어지는 모델을 토대로 구분될 수 있다.
예를 들어, 이때의 모델은 자동차 사고 시 사고차량의 사고 수리 전 상태를 촬영한 다수(예컨대, 5만장 이상)의 자동차 촬영 이미지와, 사고 수리 후 상태를 촬영한 상태를 촬영한 다수(예컨대, 5만장 이상)의 자동차 촬영 이미지를 서로 비교한 결과값에 기초하여, 다수의 제1 자동차 촬영 이미지(예컨대, 자동차 사고 시 사고 차량을 촬영한 30장~40장의 자동차 촬영 이미지) 중에서 사고 수리 후 상태를 촬영한 것으로 판단되는 이미지이거나, 또는 너무 멀리서 촬영됨에 따라 초점이 흐트러진 자동차 촬영 이미지를 제거함으로써 대략 10% 정도(예컨대, 3장~4장)의 자동차 촬영 이미지를 선택한 데이터를 반복 학습함으로써 제1 모델을 생성하게 된다. 이러한 모델은 사용자 단말(예컨대, 사고 차량의 차주 단말)을 통해 촬영된 다수의 촬영 이미지 중에서 파손유형 및 파손정도를 판단하기에 적합한 이미지를 선택함에 있어 적용될 수 있다.
한편, 일 실시예에서 본 발명은 사용자 단말로부터 자동차 촬영 이미지에 대하여 즉각적인 예상 수리 견적을 요청받음으로써, 해당 예상 수리 견적 요청에 상응하는 예상 수리 견적 결과를 사용자 단말로 다시 전송할 수 있는데, 이에 대해 살펴보면 다음과 같다.
도 6은 본 발명의 다른 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(200)의 구성을 개략적으로 도시한 도면이다.
도 6을 살펴보면, 도 6은 도 1과 비교하였을 때 사용자 단말로부터 자동차 촬영 이미지를 획득하는 획득부(220)와, 파손부위 이미지에 대한 파손정도를 토대로, 예상 수리견적을 산출하여 이를 사용자 단말로 다시 제공하는 예상 수리견적 제공부(270)를 포함하는 것을 특징으로 할 수 있다.
보다 구체적으로, 획득부(220)는 사용자 단말로부터 자동차 촬영 이미지를 획득함은 물론, 해당 자동차 촬영 이미지를 통한 수리 예상 견적을 요청받는 역할을 한다.
이미지 전처리부(230), 부품 파악부(240), 파손부위 이미지 추출부(250) 및 파손정도 판별부(260)는 도 1을 통해 살펴본 이미지 전처리부(120), 부품 파악부(130), 파손부위 이미지 추출부(140) 및 파손정도 판별부(150)와 상응하므로 상세한 설명은 생략하기로 한다.
예상 수리견적 제공부(270)는 파손정보 판별부(260)를 통해 판별된 파손부의 파손정도를 수치적으로 산출 후 이를 토대로 예상 수리견적을 산출하여 이를 다시 사용자 단말로 제공하게 된다.
다음으로는, 도 7 및 도 8을 통해, 본 발명을 통해 자동차 부위별 파손정도를 자동으로 판정하기 위한 방법을 일련의 순서대로 살펴보기로 한다.
도 7은 도 1에 도시된 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(100)을 통해 자동차 부위별 파손정도를 자동으로 판정하기 위한 방법을 일련의 순서대로 도시한 도면이다.
도 7을 살펴보면, 먼저 모델 생성부에서는 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과를 토대로 부품 별 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨리 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하게 된다(S601).
다음으로, 이미지 전처리부에서는 사용자 단말로부터 획득되는 자동차 촬영 이미지를 보정 처리하게 된다(S602). 이 단계에서는 자동차 촬영 이미지를 회전 및 반전 처리함으로써 이미지를 부품 파악부에서 인식 가능한 임의의 크기로 확장(augmentation)하여 이미지 크기를 규격화 하고, 빛 반사를 제거하는 보정 처리를 통해 자동차 촬영 이미지의 인식오류를 제거하여 정확도를 향상시키게 된다.
다음으로, 부품 파악부에서는 보정 처리된 자동차 촬영 이미지를 자동차 부품 별로 파악 및 세분화하게 된다(S603). 이 단계에서는 Mask R-CNN 프레임워크를 이용하여 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드 등에 대한 부품 위치를 파악 및 세분화하게 된다.
다음으로, 파손부위 이미지 추출부에서 자동차 촬영 이미지 중에서 파손이 발생된 자동차 부품에 대한 이미지만을 추출하게 된다(S604). 이 단계에서는 부품 검출부에서 마스킹을 통해 획득된 자동차 부품에 대한 이미지 중에서 외곽라인을 기준으로 자동차 부품 외에 주변부(배경)를 모두 블랙처리함으로써 정확한 파손부위 이미지를 추출하게 된다.
다음으로, 파손정도 판별부에서는 추출된 파손부위 이미지를 토대로 해당 파손부위의 파손정도를 6가지 상태로 나뉘어 판별하게 된다(S605). 이 단계에서는 CNN 프레임워크의 Inception V4 네트워크 구조를 이용하여 해당 파손부위가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 판별하게 된다.
도 8은 도 6에 도시된 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(200)을 통해 자동차 부위별 파손정도를 자동으로 판정하기 위한 다른 방법을 일련의 순서대로 도시한 도면이다.
도 8을 살펴보면, 먼저 모델 생성부에서는 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과를 토대로 부품 별 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨리 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하게 된다(S701).
다음으로, 획득부에서는 사용자 단말로부터 자동차 촬영 이미지를 획득함은 물론, 해당 자동차 촬영 이미지를 통한 수리 예상 견적을 요청받는다(S702).
다음으로, 이미지 전처리부에서는 사용자 단말로부터 획득되는 자동차 촬영 이미지를 보정 처리하게 된다(S703). 이 단계에서는 자동차 촬영 이미지를 회전 및 반전 처리함으로써 이미지를 부품 파악부에서 인식 가능한 임의의 크기로 확장(augmentation)하여 이미지 크기를 규격화 하고, 빛 반사를 제거하는 보정 처리를 통해 자동차 촬영 이미지의 인식오류를 제거하여 정확도를 향상시키게 된다.
다음으로, 부품 파악부에서는 보정 처리된 자동차 촬영 이미지를 자동차 부품 별로 파악 및 세분화하게 된다(S704). 이 단계에서는 Mask R-CNN 프레임워크를 이용하여 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드 등에 대한 부품 위치를 파악 및 세분화하게 된다.
다음으로, 파손부위 이미지 추출부에서 자동차 촬영 이미지 중에서 파손이 발생된 자동차 부품에 대한 이미지만을 추출하게 된다(S705). 이 단계에서는 부품 검출부에서 마스킹을 통해 획득된 자동차 부품에 대한 이미지 중에서 외곽라인을 기준으로 자동차 부품 외에 주변부(배경)를 모두 블랙처리함으로써 정확한 파손부위 이미지를 추출하게 된다.
다음으로, 파손정도 판별부에서는 추출된 파손부위 이미지를 토대로 해당 파손부위의 파손정도를 6가지 상태로 나뉘어 판별하게 된다(S706). 이 단계에서는 CNN 프레임워크의 Inception V4 네트워크 구조를 이용하여 해당 파손부위가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 판별하게 된다.
다음으로, 예상 수리견적 제공부에서는 파손부위 이미지에 대한 파손정도를 토대로 예상 수리견적을 산출한 후 이를 사용자 단말로 제공하게 된다(S707).
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템
110: 모델 생성부
120: 이미지 전처리부
130: 부품 파악부
140: 파손부위 이미지 추출부
150: 파손정보 판별부
160: 예상 수리견적 제공부
200: 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템
210: 모델 생성부
220: 획득부
230: 이미지 전처리부
240: 부품 파악부
250: 파손부위 이미지 추출부
260: 파손정도 판별부
270: 예상 수리견적 제공부

Claims (8)

  1. 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과를 토대로 부품 별 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨링 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하는 모델 생성부;
    상기 모델 생성부를 통해 생성된 모델을 토대로, 사용자 단말로부터 획득되는 자동차 촬영 이미지의 회전 및 반전처리를 통해 이미지를 확장(augmentation)하는 보정처리, 또는 상기 자동차 촬영 이미지 상의 빛 반사를 제거하는 보정 처리를 수행하는 이미지 전처리부;
    보정 처리된 상기 자동차 촬영 이미지를 상기 모델 생성부를 통해 생성된 모델을 토대로 Mask R-CNN 프레임워크를 이용하여 상기 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 자동차 부품을 파악 및 세분화하며, 상기 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 영역을 마스킹하되, 서로 인접한 영역의 경계를 커버하도록 각 영역의 외곽라인보다 넓은 영역을 마스킹하는 부품 파악부;
    상기 자동차 촬영 이미지 중에서, 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 파손부위 이미지 추출부; 및
    추출된 파손부위 이미지와 상기 모델 생성부를 통해 생성된 모델을 토대로, CNN 프레임워크의 InceptionV4 네트워크 구조를 이용하여 상기 파손부위의 파손정도가 정상 상태, 스크래치 상태, 소손상 판금 상태, 중손상 판금 상태, 대손상 판금 상태 및 교환 상태 중 어느 하나의 상태에 해당하는지 여부를 판별하는 파손정도 판별부;를 포함하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 파손부위 이미지에 대한 파손정도를 토대로, 예상 수리견적을 산출하여 이를 상기 사용자 단말로 제공하는 예상 수리견적 제공부;를 더 포함하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템.
  7. 모델 생성부에서, 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과를 토대로 부품 별 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨링 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하는 단계;
    이미지 전처리부에서, 상기 모델 생성부를 통해 생성된 모델을 토대로 사용자 단말로부터 획득되는 자동차 촬영 이미지의 회전 및 반전처리를 통해 이미지를 확장(augmentation)하는 보정처리, 또는 상기 자동차 촬영 이미지 상의 빛 반사를 제거하는 보정 처리를 수행하는 단계;
    부품 파악부에서, 보정 처리된 상기 자동차 촬영 이미지를 상기 모델 생성부를 통해 생성된 모델을 토대로 Mask R-CNN 프레임워크를 이용하여 상기 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 자동차 부품을 파악 및 세분화하며, 상기 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 영역을 마스킹하되, 서로 인접한 영역의 경계를 커버하도록 각 영역의 외곽라인보다 넓은 영역을 마스킹하는 단계;
    파손부위 이미지 추출부에서, 상기 자동차 촬영 이미지 중에서 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 단계; 및
    파손정도 판별부에서, 추출된 파손부위 이미지와 상기 모델 생성부를 통해 생성된 모델을 토대로, CNN 프레임워크의 InceptionV4 네트워크 구조를 이용하여 상기 파손부위의 파손정도가 정상 상태, 스크래치 상태, 소손상 판금 상태, 중손상 판금 상태, 대손상 판금 상태 및 교환 상태 중 어느 하나의 상태에 해당하는지 여부를 판별하는 단계;를 포함하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 방법.
  8. 제7항에 있어서,
    예상 수리견적 제공부에서, 상기 파손부위 이미지에 대한 파손정도를 토대로 예상 수리견적을 산출하여 이를 상기 사용자 단말로 제공하는 단계;를 포함하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 방법.
KR1020190079914A 2018-12-31 2019-07-03 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법 KR102097120B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021536348A JP7277997B2 (ja) 2018-12-31 2019-12-30 ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法
PCT/KR2019/018708 WO2021002549A1 (ko) 2018-12-31 2019-12-30 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
US17/362,013 US11887064B2 (en) 2018-12-31 2021-06-29 Deep learning-based system and method for automatically determining degree of damage to each area of vehicle

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20180174110 2018-12-31
KR20180174099 2018-12-31
KR1020180174099 2018-12-31
KR1020180174110 2018-12-31

Publications (1)

Publication Number Publication Date
KR102097120B1 true KR102097120B1 (ko) 2020-04-09

Family

ID=70275809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190079914A KR102097120B1 (ko) 2018-12-31 2019-07-03 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법

Country Status (4)

Country Link
US (1) US11887064B2 (ko)
JP (1) JP7277997B2 (ko)
KR (1) KR102097120B1 (ko)
WO (1) WO2021002549A1 (ko)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148884B1 (ko) * 2020-04-02 2020-08-27 주식회사 애자일소다 차량의 손상 분석 시스템 및 방법
CN111768415A (zh) * 2020-06-15 2020-10-13 哈尔滨工程大学 一种无量化池化的图像实例分割方法
CN112347952A (zh) * 2020-11-11 2021-02-09 哈尔滨市科佳通用机电股份有限公司 铁路货车钩尾框托板脱落识别方法
KR102214039B1 (ko) * 2020-05-15 2021-02-09 (주)서경자동차 Vr 기법을 활용한 중고차 수리 및 판매 서비스를 제공하는 방법 및 시스템
KR20220008492A (ko) * 2020-07-14 2022-01-21 주식회사 엠제이비전테크 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법
WO2022050666A1 (ko) * 2020-09-03 2022-03-10 주식회사 더트라이브 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법
CN114358663A (zh) * 2022-03-17 2022-04-15 西华大学 基于人工智能的电动汽车火灾事故后综合判断方法
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
KR20220163694A (ko) * 2021-06-03 2022-12-12 동의대학교 산학협력단 딥러닝 기반의 결함값 분포에 기초한 부품의 품질 관리 시스템 및 방법
KR102479672B1 (ko) 2021-11-30 2022-12-21 주식회사 오토피디아 차량의 파손 영역을 검출하기 위한 방법
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
KR20230050275A (ko) * 2021-10-07 2023-04-14 토비스 주식회사 이륜차 표준 보험 견적 청구 및 손해사정 서비스를 지원하는 시스템 및 방법
KR102525670B1 (ko) * 2022-01-19 2023-04-25 주식회사 어메스 자동차 사고견적 및 손해사정 솔루션 서비스 제공 방법 및 장치
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
KR102531372B1 (ko) 2022-05-24 2023-05-10 송현우 차량 수리 정보 제공 시스템
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
CN116703622A (zh) * 2023-08-02 2023-09-05 凯泰铭科技（北京）有限公司 一种车辆损伤鉴定方法及***
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4085399A1 (en) * 2020-01-03 2022-11-09 Tractable Ltd Method of determining repair operations for a damaged vehicle
US20230377332A1 (en) * 2020-08-03 2023-11-23 Pixord Corporation Control system of traffic lights and method thereof
CN113538293B (zh) * 2021-08-20 2022-09-13 爱保科技有限公司 一种车损伤图像的增强方法和装置
CN118176515A (zh) * 2021-11-09 2024-06-11 阿尔法人工智能科技有限公司 车辆损坏情况评估***和方便车辆维修或维护服务的平台

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150070548A (ko) 2013-12-17 2015-06-25 김기남 교통사고로 인한 차량 부품의 변형 측정시스템 및 사고차량 부품의 손상 원인 판단 방법
KR20160134401A (ko) * 2015-05-15 2016-11-23 (주)플래닛텍 자동차의 수리견적 자동산출시스템 및 그 방법
KR20180118596A (ko) * 2015-10-02 2018-10-31 트랙터블 리미티드 데이터세트들의 반-자동 라벨링

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002326569A (ja) * 2001-05-02 2002-11-12 Eac:Kk 事故車の損傷部認識システム及び認識方法
US10832333B1 (en) * 2015-12-11 2020-11-10 State Farm Mutual Automobile Insurance Company Structural characteristic extraction using drone-generated 3D image data
US11144889B2 (en) * 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
US9886771B1 (en) * 2016-05-20 2018-02-06 Ccc Information Services Inc. Heat map of vehicle damage
US10740891B1 (en) * 2016-05-20 2020-08-11 Ccc Information Services Inc. Technology for analyzing images depicting vehicles according to base image models
US11288789B1 (en) * 2016-05-20 2022-03-29 Ccc Intelligent Solutions Inc. Systems and methods for repairing a damaged vehicle using image processing
CN107358596B (zh) * 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及***
WO2018191421A1 (en) * 2017-04-11 2018-10-18 Alibaba Group Holding Limited Image-based vehicle damage determining method, apparatus, and electronic device
CN107392218B (zh) * 2017-04-11 2020-08-04 创新先进技术有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107194323B (zh) * 2017-04-28 2020-07-03 阿里巴巴集团控股有限公司 车辆定损图像获取方法、装置、服务器和终端设备
US20230230172A1 (en) * 2020-05-28 2023-07-20 Jonathan PYLE Vehicle Repair Estimation System and Method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150070548A (ko) 2013-12-17 2015-06-25 김기남 교통사고로 인한 차량 부품의 변형 측정시스템 및 사고차량 부품의 손상 원인 판단 방법
KR20160134401A (ko) * 2015-05-15 2016-11-23 (주)플래닛텍 자동차의 수리견적 자동산출시스템 및 그 방법
KR20180118596A (ko) * 2015-10-02 2018-10-31 트랙터블 리미티드 데이터세트들의 반-자동 라벨링

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Mask R-CNN (2018.01.21.), https://github.com/MagmaTart/Paper-Reading/blob/master/summarys/MaskRCNN.md* *
대표적인 CNN 모델들 (2018.12.23.), https://horajjan.blog.me/221425497675* *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US12020476B2 (en) 2017-03-23 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11983630B2 (en) 2018-09-03 2024-05-14 Tesla, Inc. Neural networks for embedded devices
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
KR102148884B1 (ko) * 2020-04-02 2020-08-27 주식회사 애자일소다 차량의 손상 분석 시스템 및 방법
KR102214039B1 (ko) * 2020-05-15 2021-02-09 (주)서경자동차 Vr 기법을 활용한 중고차 수리 및 판매 서비스를 제공하는 방법 및 시스템
CN111768415A (zh) * 2020-06-15 2020-10-13 哈尔滨工程大学 一种无量化池化的图像实例分割方法
KR20220008492A (ko) * 2020-07-14 2022-01-21 주식회사 엠제이비전테크 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법
KR102383051B1 (ko) * 2020-07-14 2022-04-06 주식회사 엠제이비전테크 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법
WO2022050666A1 (ko) * 2020-09-03 2022-03-10 주식회사 더트라이브 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법
KR20220030771A (ko) * 2020-09-03 2022-03-11 주식회사 더트라이브 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법
KR102382583B1 (ko) * 2020-09-03 2022-04-04 주식회사 더트라이브 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법
CN112347952B (zh) * 2020-11-11 2021-05-11 哈尔滨市科佳通用机电股份有限公司 铁路货车钩尾框托板脱落识别方法
CN112347952A (zh) * 2020-11-11 2021-02-09 哈尔滨市科佳通用机电股份有限公司 铁路货车钩尾框托板脱落识别方法
KR20220163694A (ko) * 2021-06-03 2022-12-12 동의대학교 산학협력단 딥러닝 기반의 결함값 분포에 기초한 부품의 품질 관리 시스템 및 방법
KR102592502B1 (ko) * 2021-06-03 2023-10-20 동의대학교 산학협력단 딥러닝 기반의 결함값 분포에 기초한 부품의 품질 관리 시스템 및 방법
KR20230050275A (ko) * 2021-10-07 2023-04-14 토비스 주식회사 이륜차 표준 보험 견적 청구 및 손해사정 서비스를 지원하는 시스템 및 방법
KR102671783B1 (ko) * 2021-10-07 2024-06-04 토비스 주식회사 이륜차 표준 보험 견적 청구 및 손해사정 서비스를 지원하는 시스템 및 방법
KR102479672B1 (ko) 2021-11-30 2022-12-21 주식회사 오토피디아 차량의 파손 영역을 검출하기 위한 방법
KR102525670B1 (ko) * 2022-01-19 2023-04-25 주식회사 어메스 자동차 사고견적 및 손해사정 솔루션 서비스 제공 방법 및 장치
CN114358663B (zh) * 2022-03-17 2022-05-13 西华大学 基于人工智能的电动汽车火灾事故后综合判断方法
CN114358663A (zh) * 2022-03-17 2022-04-15 西华大学 基于人工智能的电动汽车火灾事故后综合判断方法
KR102531372B1 (ko) 2022-05-24 2023-05-10 송현우 차량 수리 정보 제공 시스템
CN116703622B (zh) * 2023-08-02 2023-10-03 凯泰铭科技（北京）有限公司 一种车辆损伤鉴定方法及***
CN116703622A (zh) * 2023-08-02 2023-09-05 凯泰铭科技（北京）有限公司 一种车辆损伤鉴定方法及***

Also Published As

Publication number Publication date
US11887064B2 (en) 2024-01-30
US20210327042A1 (en) 2021-10-21
JP7277997B2 (ja) 2023-05-19
WO2021002549A1 (ko) 2021-01-07
JP2022537857A (ja) 2022-08-31

Similar Documents

Publication Publication Date Title
KR102097120B1 (ko) 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
JP7300765B2 (ja) ディープラーニングに基づいた自動車部位別の破損程度の自動判定のためのモデル学習方法およびシステム
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测***及方法
US11127200B1 (en) Photo deformation techniques for vehicle repair analysis
CN107543828B (zh) 一种工件表面缺陷检测方法及***
US20170293894A1 (en) Automatic assessment of damage and repair costs in vehicles
TWI698802B (zh) 車輛的零件檢測方法、裝置及設備
CN109271908B (zh) 车损检测方法、装置及设备
CN111311540A (zh) 车辆定损方法、装置、计算机设备和存储介质
EP4006834A1 (en) Damage detection using machine learning
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN111860577A (zh) 识别不伤害人类的人类的人工智能伦理方法和机器人
Waqas et al. Vehicle damage classification and fraudulent image detection including moiré effect using deep learning
CN113177906A (zh) 交通工具损坏估计
US20220036132A1 (en) Semantic image segmentation for cognitive analysis of physical structures
CN113505624A (zh) 车辆定损方法、车辆定损装置及应用其的电子设备
CN110852318A (zh) 一种排水管道缺陷精准定位方法及***
CN113570549A (zh) 反光表面的缺陷检测方法及装置
CN111652145B (zh) 一种公式检测的方法、装置、电子设备和存储介质
CN110570317B (zh) 用于车辆核损的方法及装置
CN115984759A (zh) 变电站开关状态识别方法、装置、计算机设备和存储介质
Amin et al. An automatic number plate recognition of Bangladeshi vehicles
KR102531372B1 (ko) 차량 수리 정보 제공 시스템
CN114529874A (zh) 行为检测方法、装置、设备及可读存储介质
Thar et al. Vehicle Damage Volume Level Recognition Algorithm based on Convolution Neural Network and Yolo Model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant