KR102096386B1 - 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템 - Google Patents

딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템 Download PDF

Info

Publication number
KR102096386B1
KR102096386B1 KR1020190073936A KR20190073936A KR102096386B1 KR 102096386 B1 KR102096386 B1 KR 102096386B1 KR 1020190073936 A KR1020190073936 A KR 1020190073936A KR 20190073936 A KR20190073936 A KR 20190073936A KR 102096386 B1 KR102096386 B1 KR 102096386B1
Authority
KR
South Korea
Prior art keywords
damage
model
car
degree
learning
Prior art date
Application number
KR1020190073936A
Other languages
English (en)
Inventor
김태윤
어진솔
배병선
Original Assignee
주식회사 애자일소다
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 애자일소다 filed Critical 주식회사 애자일소다
Priority to PCT/KR2019/018699 priority Critical patent/WO2020256246A1/ko
Priority to JP2021536349A priority patent/JP7300765B2/ja
Application granted granted Critical
Publication of KR102096386B1 publication Critical patent/KR102096386B1/ko
Priority to US17/362,120 priority patent/US20210327040A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Operations Research (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 딥러닝 기반의 Mask R-CNN 프레임워크 및 Inception V4 네트워크 구조를 이용하여 사고차량 사진 중에서 파손정도 판정이 가능한 사진을 자동 추출할 수 있도록 학습하며, 파손유형 별 파손정도를 학습함으로써, 일관성 있고 신뢰할 수 있는 차량 수리 견적을 신속히 산출할 수 있는 모델을 생성하는 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템에 관한 것이다.

Description

딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템{METHOD AND SYSTEM OF LEARNING A MODEL THAT AUTOMATICALLY DETERMINES DAMAGE INFORMATION FOR EACH PART OF AN AUTOMOBILE BASED ON DEEP LEARNING}
본 출원은 2018년 12월 31일자 한국 특허 출원 제10-2018-0174110호에 기초한 우선권의 이익을 주장하며, 해당 한국 특허 출원의 문헌에 개시된 모든 내용은 본 명세서의 일부로서 포함된다.
본 발명은 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템에 관한 것으로서, 보다 구체적으로는, 딥러닝 기반의 Mask R-CNN 프레임워크 및 Inception V4 네트워크 구조를 이용하여 사고차량 사진 중에서 파손정도 판정이 가능한 사진을 자동 추출할 수 있도록 학습하며, 파손유형 별 파손정도를 학습함으로써, 일관성 있고 신뢰할 수 있는 차량 수리 견적을 신속히 산출할 수 있는 모델을 생성하는 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템에 관한 것이다.
일반적으로, 교통사고 등 여러 요인에 의해 자동차가 파손되었을 경우, 파손 차량을 정비소로 입고시킨 후 정비 전문가의 판단에 따라 자동차의 파손정도를 결정하게 된다. 이때, 정비 전문가 별로 파손정도를 판단하는 기준이 정형화되어 있지 않고 주관적 판단이 개입되기 때문에, 비슷한 파손정도임에도 불구하고 수리비 견적이 크게 달라지는 경우가 발생하고 있다.
따라서, 정비 전문가들의 주관적인 파손정도 판단기준이 아닌, 정형화되고 일관성 있는 판단 기준을 통해 신뢰할 수 있는 수리비 견적을 책정할 수 있는 기술이 필요한 실정이다.
한국공개특허 10-2015-0070548호
본 발명은 상술된 문제점을 해결하기 위해 도출된 것으로서, 딥러닝 기반의 Mask R-CNN 프레임워크 및 Inception V4 네트워크 구조를 이용하여 사고차량 사진 중에서 파손정도 판정이 가능한 사진을 자동 추출할 수 있도록 학습하며, 파손유형 별 파손정도를 학습함으로써, 일관성 있고 신뢰할 수 있는 차량 수리 견적을 신속히 산출할 수 있는 모델을 생성하는 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템을 제공하고자 한다.
본 발명의 일 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법은 다수의 제1 자동차 촬영 이미지 중에서 일부의 자동차 촬영 이미지를 선택한 데이터를 학습하여 제1 모델을 생성하는 단계, 다수의 제2 자동차 촬영 이미지를 이용하여 각 부품별로 파악 및 세분화한 데이터를 학습하여 제2 모델을 생성하는 단계, 사용자에 의해 판단된 다수의 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로, 상기 파손정도 라벨링 데이터를 검수 및 리라벨링하는 제3 모델을 생성하는 단계 및 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 제4 모델을 생성하는 단계를 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 제1 모델을 생성하는 단계는 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과값에 기초하여, 다수의 제1 자동차 촬영 이미지 중에서 사고 수리 후 상태를 촬영한 자동차 촬영 이미지에 해당되는 것으로 판단되거나 초점이 흐트러진 자동차 촬영 이미지에 해당되는 것으로 판단되는 자동차 촬영 이미지를 제거하는 단계를 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 제2 모델을 생성하는 단계는 Mask R-CNN 프레임워크를 이용하여 상기 다수의 제2 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 자동차 부품을 파악 및 세분화한 데이터를 학습하는 단계를 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 제3 모델을 생성하는 단계는 CNN 프레임워크의 InceptionV4 네트워크 구조를 이용하여 상기 다수의 파손부위 촬영 이미지의 파손유형을 판단 및 학습하는 단계를 포함하고, 상기 제4 모델을 생성하는 단계는 CNN 프레임워크의 InceptionV4 네트워크 구조를 이용하여 상기 파손유형 별 파손정도가 정상 상태, 스크래치 상태, 소손상 판금 상태, 중손상 판금 상태, 대손상 판금 상태 및 교환 상태 중 어느 하나의 상태에 해당하는지 여부를 학습하는 단계를 포함하는 것을 특징으로 할 수 있다.
본 발명의 다른 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 시스템은 다수의 제1 자동차 촬영 이미지 중에서 일부의 자동차 촬영 이미지를 선택한 데이터를 학습하여 제1 모델을 생성하는 제1 모델 생성부, 다수의 제2 자동차 촬영 이미지를 이용하여 각 부품별로 파악 및 세분화한 데이터를 학습하여 제2 모델을 생성하는 제2 모델 생성부, 사용자에 의해 판단된 다수의 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로, 상기 파손정도 라벨링 데이터를 검수 및 리라벨링하는 제3 모델을 생성하는 제3 모델 생성부 및 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 제4 모델을 생성하는 제4 모델 생성부를 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 제1 모델 생성부는 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과값에 기초하여, 다수의 제1 자동차 촬영 이미지 중에서 사고 수리 후 상태를 촬영한 자동차 촬영 이미지에 해당되는 것으로 판단되거나 초점이 흐트러진 자동차 촬영 이미지에 해당되는 것으로 판단되는 자동차 촬영 이미지를 제거하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 제2 모델 생성부는 Mask R-CNN 프레임워크를 이용하여 상기 다수의 제2 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 자동차 부품을 파악 및 세분화한 데이터를 학습하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 제3 모델 생성부는 CNN 프레임워크의 InceptionV4 네트워크 구조를 이용하여 상기 다수의 파손부위 촬영 이미지의 파손유형을 판단 및 학습하고, 또한 상기 제4 모델 생성부는 CNN 프레임워크의 InceptionV4 네트워크 구조를 이용하여 상기 파손유형 별 파손정도가 정상 상태, 스크래치 상태, 소손상 판금 상태, 중손상 판금 상태, 대손상 판금 상태 및 교환 상태 중 어느 하나의 상태에 해당하는지 여부를 학습하는 것을 특징으로 할 수 있다.
본 발명의 일 측면에 따르면, 본 발명을 학습 및 생성된 모델을 이용하여, 차주가 직접 자신이 촬영한 사고 이미지를 토대로 일관성 있고 신뢰할 수 있는 차량 수리 견적을 신속히 획득할 수 있는 이점을 가진다.
또한 본 발명의 일 측면에 따르면, 수만장 이상의 사고 이미지를 토대로 학습된 딥러닝 모델을 기반으로 파손정도 판별 결과를 신속히 도출할 수 있는 이점을 가진다.
또한 본 발명의 일 측면에 따르면, 교통사고 등 여러 요인에 의해 자동차가 파손되었을 경우, 파손 차량을 정비소로 입고시킨 후 정비 전문가의 판단에 따라 자동차의 파손정도를 결정하는 과정을 수행하지 않아도 된다. 이에 따라, 정비 전문가 별로 파손정도를 판단하는 기준이 정형화되어 있지 않고 주관적 판단이 개입되기 때문에, 비슷한 파손정도임에도 불구하고 수리비 견적이 크게 달라지는 경우를 효과적으로 방지할 수 있는 이점을 가진다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 시스템(100)의 구성을 도시한 도면이다.
도 2는 도 1에 도시된 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 시스템을 통해 자동차 부위별 파손정도 자동 판정을 위한 모델을 학습하는 과정을 일련의 순서대로 도시한 도면이다.
이하, 본 발명의 이해를 돕기 위하여 바람직한 실시예를 제시한다. 그러나 하기의 실시예는 본 발명을 보다 쉽게 이해하기 위하여 제공되는 것일 뿐, 실시예에 의해 본 발명의 내용이 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 시스템(100)의 구성을 도시한 도면이다.
도 1을 살펴보면, 본 발명의 일 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 시스템(100)은 크게 제1 모델 생성부(110), 제2 모델 생성부(120), 제3 모델 생성부(130) 및 제4 모델 생성부(140)를 포함하여 구성될 수 있다.
제1 모델 생성부(110)는 다수의 제1 자동차 촬영 이미지 중에서 일부의 자동차 촬영 이미지를 선택한 데이터를 학습하여 제1 모델을 생성하는 역할을 한다.
보다 구체적으로, 제1 모델 생성부(110)는 자동차 사고 시 사고차량의 사고 수리 전 상태를 촬영한 다수(예컨대, 5만장 이상)의 자동차 촬영 이미지와, 사고 수리 후 상태를 촬영한 상태를 촬영한 다수(예컨대, 5만장 이상)의 자동차 촬영 이미지를 서로 비교한 결과값에 기초하여, 다수의 제1 자동차 촬영 이미지(예컨대, 자동차 사고 시 사고 차량을 촬영한 30장~40장의 자동차 촬영 이미지) 중에서 사고 수리 후 상태를 촬영한 것으로 판단되는 이미지이거나, 또는 너무 멀리서 촬영됨에 따라 초점이 흐트러진 자동차 촬영 이미지를 제거함으로써 대략 10% 정도(예컨대, 3장~4장)의 자동차 촬영 이미지를 선택한 데이터를 반복 학습함으로써 제1 모델을 생성하게 된다. 이는 추후 사용자 단말(예컨대, 사고 차량의 차주 단말)을 통해 촬영된 다수의 촬영 이미지 중에서 파손유형 및 파손정도를 판단하기에 적합한 이미지를 선택함에 있어 적용될 수 있다.
제2 모델 생성부(120)는 다수의 제2 자동차 촬영 이미지를 이용하여 각 부품별로 파악 및 세분화한 데이터를 학습하여 제2 모델을 생성할 수 있다.
보다 구체적으로, 제2 모델 생성부(120)는 Mask R-CNN 프레임워크를 이용하여 다수의 제2 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 자동차 부품을 파악 및 세분화한 데이터를 학습할 수 있다.
예컨대, 자동차의 정면부, 측면부, 후면부 등을 무작위로 촬영한 다수(예컨대, 수만장)의 자동차 촬영 이미지들 각각을 Mask R-CNN 프레임워크를 통해 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별로 서로 상이한 색상으로 마스킹한 후, 마스킹된 영역을 기초로 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별 위치 및 종류를 학습하게 된다.
이때 마스킹 영역은 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별 크기에 정확히 일치하는 것이 아닌, 각 부품 별 크기 보다 넓은 면적(예컨대, 110%)을 마스킹하게 된다. 따라서, 부품과 부품이 서로 접하거나 연결되는 부분의 경계를 커버하도록 마스킹함으로써, 서로 인접하거나 연결되는 경계 부분의 파손에 대해서도 인식하도록 한다.
또한, Mask R-CNN 프레임워크를 통해 파악되는 부품은 각 부품 종류 별로 적어도 수만장 이상의 샘플 이미지를 통해 기 학습된 부품을 토대로 마스킹이 이루어진다는 점에서, 학습된 부품 외에 다른 부품에 대해서는 검출되지 않는다.
한편, Mask R-CNN 프레임워크는 페이스북 사의 인공지능 연구소에서 개발된 프레임워크로써, 이를 이용하여 각 부품 별 서로 상이한 색상을 마스킹하여 부품 별 종류를 파악할 수 있다.
제3 모델 생성부(130)는 자동차 사고 시 사고차량을 촬영한 다수의 자동차 촬영 이미지에 대하여 보다 높은 신뢰도를 가진 손상유형 판단 결과를 획득할 수 있도록, 사용자에 의해 판단된 파손부위 촬영 이미지의 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교하여 검수 및 리라벨링하는 제3 모델을 생성하는 역할을 한다.
여기에서, 리라벨링이라 함은 사용자에 의해 판단된 파손정도 라벨링 데이터가 사람의 실수에 완벽하지 않다고 가정하여 진행되는 과정을 의미하며, 제3 모델은 이러한 파손정도 라벨링 데이터를 검수하는 역할을 한다.
먼저, 제3 모델 생성부(130)에서는 특정 파손부위 촬영 이미지에 대하여 파손 부위 분류 시 해당 이미지로 해당되는 것으로 추정되는 파손 부위의 확률을 결과 데이터로써 출력하는 제3 모델을 생성한다.
이때, 제3 모델 생성부(130)에서는 해당 제3 모델의 정확도를 높이기 위하여, 제3 모델에 특정 파손부위 촬영 이미지를 입력함에 따라 출력되는 결과 데이터의 파손 부위의 확률값이 임의의 확률값으로 정한 기준 확률값보다 높은지 낮은지 여부를 판단하게 된다.
만약, 특정 파손부위 촬영 이미지의 파손 부위의 확률값이 기준 확률값보다 높을 경우에는, 앞서 생성된 제3 모델의 정확도가 높은 것으로 판단하게 된다. 이 경우에는 해당 파손부위 촬영 이미지에 대해 사용자가 부여한 파손정도 라벨링 데이터를 유지하게 된다.
반대로, 특정 파손부위 촬영 이미지의 파손 부위 확률값이 기준 확률값보다 낮을 경우에는, 앞서 생성된 제3 모델의 정확도가 낮은 것으로 판단하게 된다. 이 경우에는 해당 파손부위 촬영 이미지에 대해 사용자가 부여한 파손정도 라벨링 데이터를 새로운 파손정도 라벨링 데이터로 수정하게 된다.
이러한 방식으로 모든 파손부위 촬영 이미지에 대하여 리라벨링 과정을 수행함으로써, 파손부위 촬영 이미지의 파손 정도 판단률이 향상될 수 있고, 매 리라벨링 과정이 반복 수행될 때마다, 제3 모델의 성능이 계속해서 향상 된다. 최종적으로 향상된 성능을 보이는 제3 모델은 후술되는 제4 모델의 학습에 적용될 수 있다.
제4 모델 생성부(140)는 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 제4 모델을 생성하는 역할을 한다.
보다 구체적으로, 제4 모델 생성부(140)는 다수(예컨대, 수만장)의 파손부위 촬영 이미지(예컨대, 스크래치가 발생된 도어, 판금 작업이 필요한 휀더, 교체 작업이 필요한 범퍼 등)를 토대로 파손유형 별 파손정도를 학습하여 제4 모델을 생성하게 된다. 이때, 제4 모델 생성부(140)는 CNN 프레임워크의 Inception V4 네트워크 구조를 이용하여 해당 파손부위의 파손정도가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 판별하게 된다.
이때 Inception V4 네트워크 구조는 구글 사의 인공지능 연구소에서 개발된 것으로서, 이를 이용하여 파손부위가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 학습할 수 있게 된다.
다음으로는, 도 2를 통해 자동차 부위별 파손정도 자동 판정을 위한 모델을 학습하는 과정을 살펴보기로 한다.
도 2는 도 1에 도시된 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 시스템을 통해 자동차 부위별 파손정도 자동 판정을 위한 모델을 학습하는 과정을 일련의 순서대로 도시한 도면이다.
도 2를 살펴보면, 제1 모델 생성부에서는 다수의 제1 자동차 촬영 이미지 중에서 일부의 자동차 촬영 이미지를 선택한 데이터를 학습하여 제1 모델을 생성하게 된다(S201). 이 단계에서는 자동차 사고 시 사고차량의 사고 수리 전 상태를 촬영한 다수(예컨대, 5만장 이상)의 자동차 촬영 이미지와, 사고 수리 후 상태를 촬영한 상태를 촬영한 다수(예컨대, 5만장 이상)의 자동차 촬영 이미지를 서로 비교한 결과값에 기초하여, 다수의 제1 자동차 촬영 이미지(예컨대, 자동차 사고 시 사고 차량을 촬영한 30장~40장의 자동차 촬영 이미지) 중에서 사고 수리 후 상태를 촬영한 것으로 판단되는 이미지이거나, 또는 너무 멀리서 촬영됨에 따라 초점이 흐트러진 자동차 촬영 이미지를 제거함으로써 대략 10% 정도(예컨대, 3장~4장)의 자동차 촬영 이미지를 선택한 데이터를 반복 학습함으로써 제1 모델을 생성하게 된다.
다음으로, 제2 모델 생성부에서 다수의 제2 자동차 촬영 이미지를 이용하여 각 부품별로 파악 및 세분화한 데이터를 학습하여 제2 모델을 생성하게 된다(S202). 이 단계에서는 자동차의 정면부, 측면부, 후면부 등을 무작위로 촬영한 다수(예컨대, 수만장)의 자동차 촬영 이미지들 각각을 Mask R-CNN 프레임워크를 통해 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별로 서로 상이한 색상으로 마스킹한 후, 마스킹된 영역을 기초로 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별 위치 및 종류를 학습하게 된다.
다음으로, 제3 모델 생성부에서 다수의 파손부위 촬영 이미지를 이용하여 파손유형을 판단한 데이터를 학습하여 제3 모델을 생성하게 된다(S203). 이 단계에서는 CNN 프레임워크의 Inception V4 네트워크 구조를 이용하여 파손부위 촬영 이미지 상의 파손유형을 판단 및 학습하게 된다.
다음으로, 제4 모델 생성부에서 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 제4 모델을 생성하게 된다(S204). 이 단계에서는 CNN 프레임워크의 Inception V4 네트워크 구조를 이용하여 해당 파손부위의 파손정도가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 판별하게 된다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 제1 모델 생성부에서, 다수의 제1 자동차 촬영 이미지 중에서 일부의 자동차 촬영 이미지를 선택한 데이터를 학습하며, 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과값에 기초하여, 다수의 제1 자동차 촬영 이미지 중에서 사고 수리 후 상태를 촬영한 자동차 촬영 이미지에 해당되는 것으로 판단되거나 초점이 흐트러진 자동차 촬영 이미지에 해당되는 것으로 판단되는 자동차 촬영 이미지를 제거하는 제1 모델을 생성하는 단계;
    제2 모델 생성부에서, Mask R-CNN 프레임워크를 이용하여 다수의 제2 자동차 촬영 이미지를 이용하여 각 부품 별로 서로 상이한 색상으로 마스킹한 후, 마스킹 된 영역을 기초로 범퍼, 도어, 휀더, 트렁크, 후드에 대한 자동차 부품을 파악 및 세분화한 데이터를 학습하여 제2 모델을 생성하는 단계;
    제3 모델 생성부에서, CNN 프레임워크의 InceptionV4 네트워크 구조를 이용하여 상기 다수의 파손부위 촬영 이미지의 파손유형을 판단 및 학습하고, 사용자에 의해 판단된 다수의 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로, 상기 파손정도 라벨링 데이터를 검수 및 리라벨링하는 제3 모델을 생성하는 단계; 및
    제4 모델 생성부에서, CNN 프레임워크의 InceptionV4 네트워크 구조를 이용하여 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하되, 파손유형 별 파손정도가 정상 상태, 스크래치 상태, 소손상 판금 상태, 중손상 판금 상태, 대손상 판금 상태 및 교환 상태 중 어느 하나의 상태에 해당하는지 여부를 학습하여 제4 모델을 생성하는 단계;를 포함하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항의 방법을 이용하여 생성된 모델을 토대로 자동차 부위별 파손정도를 판정하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 방법.
  6. 다수의 제1 자동차 촬영 이미지 중에서 일부의 자동차 촬영 이미지를 선택한 데이터를 학습하며, 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과값에 기초하여, 다수의 제1 자동차 촬영 이미지 중에서 사고 수리 후 상태를 촬영한 자동차 촬영 이미지에 해당되는 것으로 판단되거나 초점이 흐트러진 자동차 촬영 이미지에 해당되는 것으로 판단되는 자동차 촬영 이미지를 제거하여 제1 모델을 생성하는 제1 모델 생성부;
    Mask R-CNN 프레임워크를 이용하여 다수의 제2 자동차 촬영 이미지를 이용하여 각 부품 별로 서로 상이한 색상으로 마스킹한 후, 마스킹 된 영역을 기초로 범퍼, 도어, 휀더, 트렁크, 후드에 대한 자동차 부품을 파악 및 세분화한 데이터를 학습하여 제2 모델을 생성하는 제2 모델 생성부;
    제3 모델 생성부에서, CNN 프레임워크의 InceptionV4 네트워크 구조를 이용하여 상기 다수의 파손부위 촬영 이미지의 파손유형을 판단 및 학습하고, 사용자에 의해 판단된 다수의 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로, 상기 파손정도 라벨링 데이터를 검수 및 리라벨링하는 제3 모델을 생성하는 제3 모델 생성부; 및
    CNN 프레임워크의 InceptionV4 네트워크 구조를 이용하여 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하되, 파손유형 별 파손정도가 정상 상태, 스크래치 상태, 소손상 판금 상태, 중손상 판금 상태, 대손상 판금 상태 및 교환 상태 중 어느 하나의 상태에 해당하는지 여부를 학습하여 제4 모델을 생성하는 제4 모델 생성부;를 포함하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 시스템.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제6항의 시스템을 이용하여 생성된 모델을 토대로 자동차 부위별 파손정도를 판정하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템.
KR1020190073936A 2018-12-31 2019-06-21 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템 KR102096386B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2019/018699 WO2020256246A1 (ko) 2018-12-31 2019-12-30 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템
JP2021536349A JP7300765B2 (ja) 2018-12-31 2019-12-30 ディープラーニングに基づいた自動車部位別の破損程度の自動判定のためのモデル学習方法およびシステム
US17/362,120 US20210327040A1 (en) 2018-12-31 2021-06-29 Model training method and system for automatically determining damage level of each of vehicle parts on basis of deep learning

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180174110 2018-12-31
KR1020180174110 2018-12-31

Publications (1)

Publication Number Publication Date
KR102096386B1 true KR102096386B1 (ko) 2020-04-03

Family

ID=70282468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190073936A KR102096386B1 (ko) 2018-12-31 2019-06-21 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템

Country Status (4)

Country Link
US (1) US20210327040A1 (ko)
JP (1) JP7300765B2 (ko)
KR (1) KR102096386B1 (ko)
WO (1) WO2020256246A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148884B1 (ko) * 2020-04-02 2020-08-27 주식회사 애자일소다 차량의 손상 분석 시스템 및 방법
CN112288694A (zh) * 2020-10-19 2021-01-29 武汉大学 一种基于掩膜区域卷积神经网的变电设备缺陷识别的方法
CN113793134A (zh) * 2021-09-26 2021-12-14 上汽通用五菱汽车股份有限公司 一种车辆报警方法、装置和计算机可读存储介质
KR20220029931A (ko) * 2020-09-02 2022-03-10 주식회사 디메타 (D-meta,corp.) 차량 손상 관리 방법 및 차량 손상 관리 장치
KR20220097829A (ko) * 2020-12-31 2022-07-08 (주)넷코아테크 위조품 판별 서비스를 제공하는 사용자 단말, 방법 및 서버
US11809375B2 (en) 2021-07-06 2023-11-07 International Business Machines Corporation Multi-dimensional data labeling

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11657373B2 (en) * 2020-08-21 2023-05-23 Accenture Global Solutions Limited System and method for identifying structural asset features and damage
CN116909750B (zh) * 2023-07-26 2023-12-22 江苏中天吉奥信息技术股份有限公司 一种基于图像的场景白膜快速化生产方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150070548A (ko) 2013-12-17 2015-06-25 김기남 교통사고로 인한 차량 부품의 변형 측정시스템 및 사고차량 부품의 손상 원인 판단 방법
KR20180118596A (ko) * 2015-10-02 2018-10-31 트랙터블 리미티드 데이터세트들의 반-자동 라벨링

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056122A (ja) * 2000-08-11 2002-02-20 Bs Proje:Kk 見積りシート及び見積りシステム
KR20160018945A (ko) * 2014-08-07 2016-02-18 주식회사 코리아오토시스템 차량의 사고부위를 인식하여 가견적 리스트를 생성하는 모바일 장치
US11144889B2 (en) * 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
CN107358596B (zh) 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150070548A (ko) 2013-12-17 2015-06-25 김기남 교통사고로 인한 차량 부품의 변형 측정시스템 및 사고차량 부품의 손상 원인 판단 방법
KR20180118596A (ko) * 2015-10-02 2018-10-31 트랙터블 리미티드 데이터세트들의 반-자동 라벨링

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Mask R-CNN (2018.01.21.), https://github.com/MagmaTart/Paper-Reading/blob/master/summarys/MaskRCNN.md* *
대표적인 CNN 모델들 (2018.12.23.), https://horajjan.blog.me/221425497675* *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148884B1 (ko) * 2020-04-02 2020-08-27 주식회사 애자일소다 차량의 손상 분석 시스템 및 방법
KR20220029931A (ko) * 2020-09-02 2022-03-10 주식회사 디메타 (D-meta,corp.) 차량 손상 관리 방법 및 차량 손상 관리 장치
KR102470594B1 (ko) 2020-09-02 2022-12-02 주식회사 디메타 (D-meta,corp.) 차량 손상 관리 방법 및 차량 손상 관리 장치
CN112288694A (zh) * 2020-10-19 2021-01-29 武汉大学 一种基于掩膜区域卷积神经网的变电设备缺陷识别的方法
CN112288694B (zh) * 2020-10-19 2022-10-04 武汉大学 基于掩膜区域卷积神经网络的变电设备缺陷识别的方法
KR20220097829A (ko) * 2020-12-31 2022-07-08 (주)넷코아테크 위조품 판별 서비스를 제공하는 사용자 단말, 방법 및 서버
KR102588739B1 (ko) * 2020-12-31 2023-10-17 (주)넷코아테크 위조품 판별 서비스를 제공하는 사용자 단말, 방법 및 서버
US11809375B2 (en) 2021-07-06 2023-11-07 International Business Machines Corporation Multi-dimensional data labeling
CN113793134A (zh) * 2021-09-26 2021-12-14 上汽通用五菱汽车股份有限公司 一种车辆报警方法、装置和计算机可读存储介质
CN113793134B (zh) * 2021-09-26 2024-02-13 上汽通用五菱汽车股份有限公司 一种车辆报警方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
JP2022537858A (ja) 2022-08-31
WO2020256246A1 (ko) 2020-12-24
US20210327040A1 (en) 2021-10-21
JP7300765B2 (ja) 2023-06-30

Similar Documents

Publication Publication Date Title
KR102096386B1 (ko) 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템
KR102097120B1 (ko) 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
WO2021201349A1 (ko) 차량의 손상 분석 시스템 및 방법
KR102109882B1 (ko) 인공 지능 기반 차량 손상 진단 및 수리비 산정 시스템 및 방법
Zhang et al. CAMOU: Learning physical vehicle camouflages to adversarially attack detectors in the wild
CN107380111B (zh) 用于控制气囊的装置和方法
US8035639B2 (en) Method and apparatus for determining the alteration of the shape of a three dimensional object
TWI698802B (zh) 車輛的零件檢測方法、裝置及設備
WO2019136491A3 (en) Map and environment based activation of neural networks for highly automated driving
US11410287B2 (en) System and method for artificial intelligence based determination of damage to physical structures
US10885382B2 (en) Method and device for classifying an object for a vehicle
CN103617735A (zh) 一种车辆识别方法及***
CN110569693B (zh) 车体颜色识别方法及装置
Waqas et al. Vehicle damage classification and fraudulent image detection including moiré effect using deep learning
US20220036132A1 (en) Semantic image segmentation for cognitive analysis of physical structures
JP2019192209A (ja) ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法
CN111191604A (zh) 检测车牌完整性的方法、设备和存储介质
CN112364898A (zh) 图像识别自动标注方法、装置、设备及存储介质
CN110705553B (zh) 一种适用于车辆远景图像的划痕检测方法
CN110070566B (zh) 信息检测方法、装置、计算机设备及可读存储介质
KR102531372B1 (ko) 차량 수리 정보 제공 시스템
KR102594384B1 (ko) 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법
Ravishankaran Impact on how AI in automobile industry has affected the type approval process at RDW
KR20240044145A (ko) Mr-cnn 기반 차량 피해 정도 및 교통사고 유형 인식 시스템
KR20220074402A (ko) 오인식을 개선한 차량 번호판 인식 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant