KR20220038858A - 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법 - Google Patents

가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법 Download PDF

Info

Publication number
KR20220038858A
KR20220038858A KR1020200121172A KR20200121172A KR20220038858A KR 20220038858 A KR20220038858 A KR 20220038858A KR 1020200121172 A KR1020200121172 A KR 1020200121172A KR 20200121172 A KR20200121172 A KR 20200121172A KR 20220038858 A KR20220038858 A KR 20220038858A
Authority
KR
South Korea
Prior art keywords
data
learning
unit
autonomous driving
bad
Prior art date
Application number
KR1020200121172A
Other languages
English (en)
Inventor
이종서
권병헌
최은재
빈죤 키라칼
신유영
송영기
Original Assignee
주식회사 스프링클라우드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스프링클라우드 filed Critical 주식회사 스프링클라우드
Priority to KR1020200121172A priority Critical patent/KR20220038858A/ko
Publication of KR20220038858A publication Critical patent/KR20220038858A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

데이터 품질 검수자의 실수 및 데이터 가공 단가를 줄일 수 있도록 하는 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법을 제시한다. 제시된 장치는 가공된 자율주행 시나리오 데이터를 이용하여 자율주행 가공 시나리오 품질 관리를 위한 데이터 세트를 분류해 내는 데이터 분류부; 상기 데이터 세트로 딥러닝 네트워크를 학습하는 학습부; 상기 학습부의 학습 결과를 이용하여 상기 데이터 세트의 품질을 평가하는 평가부; 상기 평가부의 평가 결과를 근거로 표준편차를 계산하는 표준편차 계산부; 및 상기 표준편차 계산부의 결과를 근거로 불량 데이터를 검출하는 불량 데이터 검출부;를 포함한다.

Description

가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법{Deep learning-based defect data detection apparatus and method of processed autonomous driving scenario data}
본 발명은 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법에 관한 것으로, 보다 상세하게는 자율주행 인지 기능을 향상시킬 수 있도록 하는 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법에 관한 것이다.
일반적으로, 딥러닝 알고리즘을 학습하기 위해서는 GT(Ground Truth)라고 불리우는 정답지가 필요하다.
딥러닝 알고리즘의 성능은 학습에 사용되는 GT 데이터의 품질에 따라 좌우된다.
그에 따라, 데이터 가공후 산출물인 정답지에 대한 품질을 어떻게 관리하는지가 관건이다.
정답지를 생성하기 위해서는 자율주행 시나리오별로 취득된 다양한 센서의 데이터를 동일한 시간 단위로 동기화시켜 동일 시점에 취득된 데이터의 집합으로 분류를 한다. 분류를 한 다음에 데이터 가공 작업자들은 데이터 가공 툴을 이용하여 시간 단위로 분류된 데이터의 집합에서 정답지에 들어갈 객체의 목록(예, 차량, 보행자, 차선 등)에 해당되는 영역을 직접 그린다. 모든 데이터에 대하여 작업이 끝나게 되면 가공 데이터 품질 관리자는 데이터 가공 작업자가 작업한 산출물을 하나의 프레임(frame)씩 눈으로 확인한다.
그런데, 상술한 바와 같이 품질 관리자가 작업 지시서와 비교하며 한 장씩 눈으로 확인하더라도 관리자의 실수로 검수가 제대로 안되는 프레임이 생기게 되고, 이는 곧 딥러닝 학습 결과에 문제가 생길 수 있다.
또한, 데이터 양이 방대해지면 방대해질수록 품질 관리자의 수도 증가하므로 가공 단가가 상승하게 된다.
선행기술 1 : 대한민국 공개특허 제10-2019-0062171호(자율 머신에서의 오작동 센서의 딥 러닝 기반의 실시간 검출 및 수정) 선행기술 2 : 대한민국 공개특허 제10-2020-0002433호(빅데이터 분석을 이용한 통계적 품질 관리 시스템) 선행기술 3 : 대한민국 공개특허 제10-2019-0063839호(제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템)
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 데이터 품질 검수자의 실수 및 데이터 가공 단가를 줄일 수 있도록 하는 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치는, 가공된 자율주행 시나리오 데이터를 이용하여 자율주행 가공 시나리오 품질 관리를 위한 데이터 세트를 분류해 내는 데이터 분류부; 상기 데이터 세트로 딥러닝 네트워크를 학습하는 학습부; 상기 학습부의 학습 결과를 이용하여 상기 데이터 세트의 품질을 평가하는 평가부; 상기 평가부의 평가 결과를 근거로 표준편차를 계산하는 표준편차 계산부; 및 상기 표준편차 계산부의 결과를 근거로 불량 데이터를 검출하는 불량 데이터 검출부;를 포함한다.
상기 데이터 세트는 상기 가공된 자율주행 시나리오 데이터를 근거로 N(N은 양의 정수)개로 분류되고, N개의 데이터 세트의 각각은 학습용 데이터 및 평가용 데이터를 포함하되, 상기 학습용 데이터의 포함 비율이 상기 평가용 데이터의 포함 비율에 비해 클 수 있다.
상기 학습부는, 상기 분류된 각각의 데이터 세트의 학습용 데이터를 기반으로 학습하고, 상기 학습을 수행하게 되면 각각의 데이터 세트별 웨이트(weight)를 결과로서 출력할 수 있다.
상기 평가부는, 상기 각각의 데이터 세트별 웨이트를 이용하여 해당하는 데이터 세트의 평가용 데이터를 평가할 수 있다.
상기 표준편차 계산부는, 모든 데이터 세트의 평가가 완료됨에 따른 모든 평가 결과를 누적시키고, 누적된 모든 평가 결과를 그래프로 표현하고, 누적된 평가 결과를 근거로 표준편차를 계산할 수 있다.
상기 불량 데이터 검출부는, 상기 그래프를 분석하여 임계선 아래에 있는 데이터를 불량 데이터로 간주하고 해당 불량 데이터와 공통으로 학습에 사용된 데이터 세트를 걸러낼 수 있다.
상기 불량 데이터 검출부는, 검출한 불량 데이터를 데이터 가공 작업자의 단말에게 전송할 수 있다.
한편, 본 발명의 바람직한 실시양태에 따른 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 방법은, 데이터 분류부가, 가공된 자율주행 시나리오 데이터를 이용하여 자율주행 가공 시나리오 품질 관리를 위한 데이터 세트를 분류해 내는 단계; 학습부가, 상기 데이터 세트로 딥러닝 네트워크를 학습하는 단계; 평가부가, 상기 학습하는 단계의 학습 결과를 이용하여 상기 데이터 세트의 품질을 평가하는 단계; 표준편차 계산부가, 상기 평가하는 단계의 평가 결과를 근거로 표준편차를 계산하는 단계; 및 불량 데이터 검출부가, 상기 계산하는 단계의 결과를 근거로 불량 데이터를 검출하는 단계;를 포함한다.
이러한 구성의 본 발명에 따르면, 데이터 품질 검수자의 실수 및 데이터 가공 단가를 줄일 수 있다. 즉, 기존에 많은 수의 데이터 품질 관리자가 필요했다면 소수의 관리자만 필요함으로 인건비 절감 효과가 있을 수 있다.
알고리즘 방식으로 품질관리 시간을 단축할 수 있으므로, 데이터 가공시간을 단축할 수 있다. 즉, 한 장씩 사람이 확인하는 것이 아니기 때문에 시간 단축 효과가 있으므로, 알고리즘 성능 개선을 가속화할 수 있다.
여러 번 반복된 딥러닝 알고리즘의 학습 결과로 직접 검증하는 방법이기 때문에 성능 개선을 확대할 수 있다.
또한, 딥러닝 네트워크 학습에 포함된 불량 데이터를 검출해 냄에 따라 해당 불량 데이터를 재가공할 수 있으므로 인지 성능 향상에 도움을 줄 수 있다.
도 1은 본 발명의 실시예에 따른 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치의 구성도이다.
도 2는 본 발명의 실시예 설명에 채용되는 가공된 자율주행 시나리오 데이터를 예시한 도면이다.
도 3은 도 1에 도시된 데이터 분류부에서의 데이터 분류 결과를 예시한 도면이다.
도 4는 도 1에 도시된 표준편차 계산부에서의 누적된 평가 결과를 예시한 도면이다.
도 5는 도 1에 도시된 불량 데이터 검출부에서의 불량 데이터 검출 예를 나타낸 도면이다.
도 6 및 도 7은 불량 데이터의 예시를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 방법을 설명하기 위한 플로우차트이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치의 구성도이고, 도 2는 본 발명의 실시예 설명에 채용되는 가공된 자율주행 시나리오 데이터를 예시한 도면이고, 도 3은 도 1에 도시된 데이터 분류부에서의 데이터 분류 결과를 예시한 도면이고, 도 4는 도 1에 도시된 표준편차 계산부에서의 누적된 평가 결과를 예시한 도면이고, 도 5는 도 1에 도시된 불량 데이터 검출부에서의 불량 데이터 검출 예를 나타낸 도면이고, 도 6 및 도 7은 불량 데이터의 예시를 나타낸 도면이다.
본 발명의 실시예에 따른 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치는 딥러닝 알고리즘 학습 방법을 이용하여 도출된 결과물을 분석하여 불량 데이터를 검출할 수 있다.
이를 위해, 본 발명의 실시예에 따른 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치는, 데이터 분류부(10), 학습부(12), 평가부(14), 표준편차 계산부(16), 및 불량 데이터 검출부(18)를 포함할 수 있다.
데이터 분류부(10)는 가공된 자율주행 시나리오 데이터를 이용하여 자율주행 가공 시나리오 품질 관리를 위한 N(N은 양의 정수)개의 데이터 세트(학습용 데이터 : 평가용 데이터)를 분류해 낼 수 있다.
여기서, 가공된 자율주행 시나리오 데이터는 소정의 사용자 단말(도시 생략)이 제공할 수 있다. 사용자 단말은 휴대용 단말기 또는 휴대용 컴퓨터로 구현될 수 있다. 여기서, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 와이파이(Wi-Fi), LTE(Long Term Evolution) 단말 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 휴대용 컴퓨터는 노트북, 랩톱(laptop) 등을 포함할 수 있다. 또한, 사용자 단말은 스마트폰, 스마트 노트, 태블릿 PC, 웨어러블(wearable) 컴퓨터 등의 각종 스마트 기기일 수도 있다.
예를 들어, 도 2에 예시한 바와 같이 1번 ~ 10번 까지의 가공된 자율주행 시나리오 데이터가 있다고 가정하였을 경우, 데이터 분류부(10)는 1번 ~ 10번 까지의 가공된 자율주행 시나리오 데이터를 이용하여 자율주행 가공 시나리오 품질 관리를 위한 N개의 데이터 세트를 생성한다(도 3 참조).
보다 구체적으로, 데이터 분류부(10)는 각각의 데이터 세트의 구성이 (학습용 데이터 : 평가용 데이터) = (8 : 2)가 되도록 할 수 있다(도 3 참조). 도 3에서, 파란색은 학습용 데이터를 의미할 수 있고, 주황색은 평가용 데이터를 의미할 수 있다. 예를 들어, 데이터 분류부(10)는 1번 데이터 세트에서 1번 및 2번의 가공된 자율주행 시나리오 데이터를 평가용 데이터로 분류하였다면, 2번 데이터 세트에서는 1번 및 3번의 가공된 자율주행 시나리오 데이터를 평가용 데이터로 분류할 수 있다.
이와 같이 데이터 분류부(10)는 각각의 데이터 세트의 학습용 데이터와 평가용 데이터의 비율을 무작위로 8대2로 나눌 수 있다. 특히, 각각의 데이터 세트에 존재하는 2개의 평가용 데이터는 다른 데이터 세트와는 서로 중복되지 않게 구성됨이 바람직하다.
학습부(12)는 데이터 분류부(10)에서 분류된 각각의 데이터 세트로 딥러닝 네트워크를 학습할 수 있다. 보다 구체적으로, 학습부(12)는 데이터 분류부(10)에서 분류된 각각의 데이터 세트의 학습용 데이터를 기반으로 딥러닝 네트워크를 학습할 수 있다. 학습부(12)는 데이터 분류부(10)로부터 N개의 데이터 세트를 입력받기 때문에, 각각의 데이터 세트에 존재하는 학습용 데이터로 딥러닝 네트워크를 학습할 수 있다. 그에 따라, 학습부(12)는 N회에 걸친 딥러닝 네트워크 학습을 실시할 것이다.
이와 같이 학습부(12)는 각각의 데이터 세트로 딥러닝 네트워크 학습을 수행하게 되면 각각의 데이터 세트별 네트워크의 각 층의 파라미터값이 담긴 네트워크 웨이트(weight)를 결과로서 생성하여 출력할 수 있다. 여기서, 네트워크 웨이트는 최선의 인지 성능을 낼 수 있는 값이라고 볼 수 있다.
평가부(14)는 학습부(12)의 학습 결과(네트워크 웨이트)를 이용하여 해당하는 데이터 세트(예컨대, 평가용 데이터)를 평가할 수 있다. 예를 들어, 평가부(14)는 네트워크 웨이트(weight)를 이용하여 이전에 8대2로 나누었던 데이터 세트내의 2개의 데이터(즉, 평가용 데이터)를 평가할 수 있다. 즉, 평가부(14)는 각각의 데이터 세트별 네트워크 웨이트를 이용하여 그에 해당하는 데이터 세트의 평가용 데이터를 평가할 수 있다.
다시 말해서, 평가부(14)는 데이터 분류부(10)에서 분류된 가공 데이터 세트의 품질에 따라 딥러닝 성능에 영향이 생기는 것을 이용하여 가공 데이터 세트의 품질(성능)을 평가한다고 볼 수 있다.
평가부(14)는 평가를 하게 되면 평가 결과(즉, 성능(품질) 평가 결과)를 0% ~ 100%의 수치로 나타낼 수 있다. 이는 정확도를 의미한다. 예를 들어, 평가부(14)는 1번 데이터 세트를 근거로 하는 평가 결과를 84.2%라고 수치화할 수 있고, 2번 데이터 세트를 근거로 하는 평가 결과를 83.6%라고 수치화할 수 있다. 평가부(14)는 다른 데이터 세트를 근거로 하는 평가 결과에 대해서도 수치화할 수 있다.
평가부(14)는 N회에 걸친 반복적인 평가를 수행할 것이다. 즉, 데이터 분류부(10)에서 분류된 데이터 세트가 N개라면 "1번 데이터 세트 → 딥러닝 학습 → 평가"의 과정 ~ "N번 데이터 세트 → 딥러닝 학습 → 평가"의 과정까지 N회 반복해야 하므로, 평가부(14)는 N회에 걸친 반복적인 평가를 수행한다고 볼 수 있다.
표준편차 계산부(16)는 평가부(14)의 모든 평가 결과를 누적시키고, 이를 근거로 표준편차를 계산할 수 있다.
예를 들어, 표준편차 계산부(16)는 N번째 데이터 세트까지의 평가가 완료됨에 따른 모든 평가 결과(정확도)를 누적시키고 이를 그래프로 표현하고, 누적된 평가 결과를 근거로 표준편차를 계산할 수 있다. 표준편차 계산부(16)에 의해 표현되는 누적된 평가 결과는 도 4에 예시한 바와 같이 표현될 수 있다.
불량 데이터 검출부(18)는 표준편차 계산부(16)의 결과를 근거로 불량 데이터를 검출할 수 있다. 즉, 불량 데이터 검출부(18)는 표준편차 계산부(16)에서 표현한 그래프를 분석하여 불량 데이터를 검출할 수 있다.
표준편차 계산부(16)에서 계산된 표준편차와 에러(error(ε))가 임계값 조건을 만족하면, 불량 데이터 검출부(18)는 데이터 가공 단계에서 문제가 없다고 판단할 수 있다.
예를 들어, 불량 데이터 검출부(18)는 도 5에 예시한 바와 같이 빨간 원 안의 데이터와 같이 임계선(L) 아래에 있으면서 흩어져 있는 경우에는 불량 데이터로 인한 학습 결과 저하로 간주하여 해당 불량 데이터와 공통으로 학습에 사용된 데이터 세트를 걸러낼 수 있다.
다시 말해서, 불량 데이터 검출부(18)는 각 조합의 데이터에 대한 에러를 그래프로 표시되고 해당 그래프 분석을 통하여 데이터 품질에 문제가 있는 조합을 검출해 낼 수 있다.
한편, 불량 데이터를 예시하여 보면, 도 6에 예시한 바와 같이 차량이 아니지만 차량으로 잘못 가공한 것(도 6의 참조부호 1), 도 7에 예시한 바와 같이 차량 영역 이외에 다른 부분까지 박스안에 들어간 것 등을 모두 불량 데이터라고 할 수 있다.
이와 같이, 불량 데이터 검출부(18)는 검출한 불량 데이터를 데이터 가공 작업자에게 전달한다. 즉, 딥러닝 네트워크 학습시 이러한 불량 데이터들이 포함되게 되면 학습 결과가 좋지 않게(인지 성능이 좋지 않음) 되므로, 불량 데이터를 제거하거나 재가공하도록 하기 위함이다. 이러한 불량 데이터를 찾아 재가공하게 되면 인지 성능이 향상될 수 있다.
데이터 가공 작업자는 데이터 가공 관리자의 감독하에 데이터 재가공을 실시하게 된다. 즉, 데이터 가공 작업자는 불량 데이터 검출부(18)로부터의 불량 데이터를 단말로 수신하고, 수신한 단말을 통해 데이터 재가공을 실시한다.
데이터 가공 작업자는 예를 들어 4번 데이터 세트 30회, 5번 데이터 세트 26회 등과 같이 가장 많이 겹쳐 있는 데이터 세트를 찾아 성능이 감소한 원인을 축출해 내고 해당 데이터 세트를 재가공한다.
도 8은 본 발명의 실시예에 따른 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 방법을 설명하기 위한 플로우차트이다.
먼저, 데이터 분류부(10)는 가공된 자율주행 시나리오 데이터를 이용하여 자율주행 가공 시나리오 품질 관리를 위한 N(N은 양의 정수)개의 데이터 세트(학습용 데이터 : 평가용 데이터)를 분류해 낸다(S10). 예를 들어, 1번 ~ 10번 까지의 가공된 자율주행 시나리오 데이터가 있다고 가정하였을 경우, 데이터 분류부(10)는 1번 ~ 10번 까지의 가공된 자율주행 시나리오 데이터를 이용하여 N개의 데이터 세트를 생성한다. 이때, 각각의 데이터 세트의 구성은 (학습용 데이터 : 평가용 데이터) = (8 : 2)가 되도록 한다.
이어, 학습부(12)는 데이터 분류부(10)에서 분류된 각각의 데이터 세트로 딥러닝 네트워크를 학습한다(S20). 보다 구체적으로, 학습부(12)는 데이터 분류부(10)에서 분류된 각각의 데이터 세트의 학습용 데이터를 기반으로 딥러닝 네트워크를 학습한다. 이와 같이 학습부(12)는 각각의 데이터 세트로 딥러닝 네트워크 학습을 수행하게 되면 각각의 데이터 세트별 네트워크 웨이트(weight)를 생성하여 결과로서 출력한다.
이후, 평가부(14)는 학습부(12)의 학습 결과(네트워크 웨이트)를 이용하여 해당하는 데이터 세트의 평가용 데이터를 평가한다(S30). 즉, 평가부(14)는 해당 네트워크 웨이트(weight)를 이용하여 이전에 8대2로 나누었던 데이터 세트내의 2개의 데이터(즉, 평가용 데이터)를 평가한다. 다시 말해서, 평가부(14)는 데이터 분류부(10)에서 분류된 가공 데이터 세트의 품질에 따라 딥러닝 성능에 영향이 생기는 것을 이용하여 가공 데이터 세트의 품질을 평가한다고 볼 수 있다.
상술한 데이터 분류부(10)에서 분류된 데이터 세트가 N개라면 "1번 데이터 세트 → 딥러닝 학습 → 평가"의 과정 ~ "N번 데이터 세트 → 딥러닝 학습 → 평가"의 과정까지 N회 반복해야 하므로, 상기의 단계 S10 ~ S30은 N회 반복된다고 볼 수 있다.
N회 반복 이후에, 표준편차 계산부(16)는 평가부(14)의 모든 평가 결과를 누적시키고, 이를 근거로 표준편차를 계산한다(S40). 예를 들어, 표준편차 계산부(16)는 N번째 데이터 세트까지의 평가가 완료됨에 따른 모든 평가 결과(정확도)를 누적시키고 이를 그래프로 표현하고, 누적된 평가 결과를 근거로 표준편차를 계산할 수 있다.
그리고 나서, 불량 데이터 검출부(18)는 표준편차 계산부(16)의 결과를 근거로 불량 데이터를 검출한다(S50). 즉, 불량 데이터 검출부(18)는 표준편차 계산부(16)에서 표현한 그래프를 분석하여 불량 데이터를 검출하게 되는데, 표준편차 계산부(16)에서 계산된 표준편차와 에러(error(ε))가 임계값 조건을 만족하면, 불량 데이터 검출부(18)는 데이터 가공 단계에서 문제가 없다고 판단할 수 있다.
예를 들어, 불량 데이터 검출부(18)는 그래프 분석 결과 임계선 아래에 있으면서 흩어져 있는 경우에는 불량 데이터로 인한 학습 결과 저하로 간주하여 해당 불량 데이터와 공통으로 학습에 사용된 데이터 세트를 걸러낼 수 있다.
이후, 불량 데이터 검출부(18)는 검출한 불량 데이터를 데이터 가공 작업자에게 전달한다. 즉, 딥러닝 네트워크 학습시 이러한 불량 데이터들이 포함되게 되면 학습 결과가 좋지 않게(인지 성능이 좋지 않음) 되므로, 불량 데이터를 제거하거나 재가공하도록 하기 위함이다. 그에 따라, 데이터 가공 작업자는 데이터 가공 관리자의 감독하에 데이터 재가공을 실시한다(S60).
또한, 상술한 본 발명의 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 데이터 분류부 12 : 학습부
14 : 평가부 16 : 표준편차 계산부
18 : 불량 데이터 검출부

Claims (8)

  1. 가공된 자율주행 시나리오 데이터를 이용하여 자율주행 가공 시나리오 품질 관리를 위한 데이터 세트를 분류해 내는 데이터 분류부;
    상기 데이터 세트로 딥러닝 네트워크를 학습하는 학습부;
    상기 학습부의 학습 결과를 이용하여 상기 데이터 세트의 품질을 평가하는 평가부;
    상기 평가부의 평가 결과를 근거로 표준편차를 계산하는 표준편차 계산부; 및
    상기 표준편차 계산부의 결과를 근거로 불량 데이터를 검출하는 불량 데이터 검출부;를 포함하는,
    가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치.
  2. 제 1항에 있어서,
    상기 데이터 세트는 상기 가공된 자율주행 시나리오 데이터를 근거로 N(N은 양의 정수)개로 분류되고, N개의 데이터 세트의 각각은 학습용 데이터 및 평가용 데이터를 포함하되, 상기 학습용 데이터의 포함 비율이 상기 평가용 데이터의 포함 비율에 비해 큰,
    가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치.
  3. 제 2항에 있어서,
    상기 학습부는,
    상기 분류된 각각의 데이터 세트의 학습용 데이터를 기반으로 학습하고, 상기 학습을 수행하게 되면 각각의 데이터 세트별 웨이트(weight)를 결과로서 출력하는,
    가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치.
  4. 제 3항에 있어서,
    상기 평가부는,
    상기 각각의 데이터 세트별 웨이트를 이용하여 해당하는 데이터 세트의 평가용 데이터를 평가하는,
    가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치.
  5. 제 4항에 있어서,
    상기 표준편차 계산부는,
    모든 데이터 세트의 평가가 완료됨에 따른 모든 평가 결과를 누적시키고, 누적된 모든 평가 결과를 그래프로 표현하고, 누적된 평가 결과를 근거로 표준편차를 계산하는,
    가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치.
  6. 제 5항에 있어서,
    상기 불량 데이터 검출부는,
    상기 그래프를 분석하여 임계선 아래에 있는 데이터를 불량 데이터로 간주하고 해당 불량 데이터와 공통으로 학습에 사용된 데이터 세트를 걸러내는,
    가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치.
  7. 제 1항에 있어서,
    상기 불량 데이터 검출부는,
    검출한 불량 데이터를 데이터 가공 작업자의 단말에게 전송하는,
    가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치.
  8. 데이터 분류부가, 가공된 자율주행 시나리오 데이터를 이용하여 자율주행 가공 시나리오 품질 관리를 위한 데이터 세트를 분류해 내는 단계;
    학습부가, 상기 데이터 세트로 딥러닝 네트워크를 학습하는 단계;
    평가부가, 상기 학습하는 단계의 학습 결과를 이용하여 상기 데이터 세트의 품질을 평가하는 단계;
    표준편차 계산부가, 상기 평가하는 단계의 평가 결과를 근거로 표준편차를 계산하는 단계; 및
    불량 데이터 검출부가, 상기 계산하는 단계의 결과를 근거로 불량 데이터를 검출하는 단계;를 포함하는,
    가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 방법.
KR1020200121172A 2020-09-21 2020-09-21 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법 KR20220038858A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200121172A KR20220038858A (ko) 2020-09-21 2020-09-21 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200121172A KR20220038858A (ko) 2020-09-21 2020-09-21 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220038858A true KR20220038858A (ko) 2022-03-29

Family

ID=80997193

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200121172A KR20220038858A (ko) 2020-09-21 2020-09-21 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20220038858A (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062171A (ko) 2017-11-28 2019-06-05 인텔 코포레이션 자율 머신에서의 오작동 센서의 딥 러닝 기반의 실시간 검출 및 수정
KR20190063839A (ko) 2017-11-30 2019-06-10 전자부품연구원 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
KR20200002433A (ko) 2018-06-29 2020-01-08 주식회사 링크트리 빅데이터 분석을 이용한 통계적 품질 관리 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062171A (ko) 2017-11-28 2019-06-05 인텔 코포레이션 자율 머신에서의 오작동 센서의 딥 러닝 기반의 실시간 검출 및 수정
KR20190063839A (ko) 2017-11-30 2019-06-10 전자부품연구원 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
KR20200002433A (ko) 2018-06-29 2020-01-08 주식회사 링크트리 빅데이터 분석을 이용한 통계적 품질 관리 시스템

Similar Documents

Publication Publication Date Title
US20180268291A1 (en) System and method for data mining to generate actionable insights
US20150112903A1 (en) Defect prediction method and apparatus
EP3312765B1 (en) Anomaly detection by self-learning of sensor signals
CN113271237B (zh) 工控协议的解析方法、装置、存储介质及处理器
US9910430B2 (en) K-nearest neighbor-based method and system to provide multi-variate analysis on tool process data
US11244249B2 (en) Machine learning templates in a machine learning framework
US20220058171A1 (en) Leveraging a collection of training tables to accurately predict errors within a variety of tables
EP3796241A1 (en) System and method for categorical time-series clustering
US20170146975A1 (en) Operator and manufacturing quality traceability
CN114429441A (zh) 一种异常检测方法及装置、设备、存储介质
US10678886B2 (en) Systems and methods for analyzing sensor data using incremental autoregression techniques
US20240232657A9 (en) Life prediction method of rotary multi-component system and related apparatus
KR20220038858A (ko) 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법
EP3588272B1 (en) Method and system for repositioning of a plurality of static analysis alarms
CN112884018A (zh) 电网线路故障识别模型训练方法和电网线路巡检方法
CN112199295A (zh) 一种基于频谱的深度神经网络缺陷定位方法及***
EP4170504A1 (en) Method and system for identifying static analysis alarms based on semantics of changed source code
KR100987124B1 (ko) 메트릭을 이용한 소프트웨어 결함 예측 계산 장치 및 계산 방법
CN115859065A (zh) 模型评测方法、装置、设备及存储介质
CN104978260A (zh) 软件测试方法及装置
AU2018204545B2 (en) System and method for analysis of information technology production service support metrics
EP3996002A1 (en) System and method for label generation for timeseries classification
US11868208B1 (en) System, method, and computer program for defect resolution
US20230281649A1 (en) System, method, and computer program for intelligent value stream management
EP3913487B1 (en) Method and system for identification and elimination of false positives from delta alarms

Legal Events

Date Code Title Description
A201 Request for examination