KR102663343B1 - 차량의 이미지 기반 객체 인식 알고리즘 평가 장치 및 방법 - Google Patents

차량의 이미지 기반 객체 인식 알고리즘 평가 장치 및 방법 Download PDF

Info

Publication number
KR102663343B1
KR102663343B1 KR1020210174304A KR20210174304A KR102663343B1 KR 102663343 B1 KR102663343 B1 KR 102663343B1 KR 1020210174304 A KR1020210174304 A KR 1020210174304A KR 20210174304 A KR20210174304 A KR 20210174304A KR 102663343 B1 KR102663343 B1 KR 102663343B1
Authority
KR
South Korea
Prior art keywords
camera
object recognition
image
vehicle
recognition algorithm
Prior art date
Application number
KR1020210174304A
Other languages
English (en)
Other versions
KR20230086824A (ko
Inventor
김완철
임현택
김우태
Original Assignee
한국자동차연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국자동차연구원 filed Critical 한국자동차연구원
Priority to KR1020210174304A priority Critical patent/KR102663343B1/ko
Publication of KR20230086824A publication Critical patent/KR20230086824A/ko
Application granted granted Critical
Publication of KR102663343B1 publication Critical patent/KR102663343B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 이미지 기반 객체 인식 알고리즘 평가 장치에 관한 것으로, 차량 내부의 운전자를 촬영하는 카메라부; 실차에 적용되는 이미지 기반 객체 인식 알고리즘을 저장하는 이미지 기반 액체 인식 알고리즘 저장부; 및 상기 카메라부에서 촬영된 이미지를 상기 이미지 기반 객체 인식 알고리즘에 적용하여 객체 인식 성능을 평가하는 제어부;를 포함한다.

Description

차량의 이미지 기반 객체 인식 알고리즘 평가 장치 및 방법{APPARATUS FOR EVALUATING IMAGE BASED OBJECT RECOGNITION ALGORITHM OF VEHICLE AND METHOD THEREOF}
본 발명은 차량의 이미지 기반 객체 인식 알고리즘 평가 장치 및 방법에 관한 것으로, 보다 상세하게는 운전자의 상태를 카메라로 모니터링하여 차량 제어권을 운전자로부터 차량으로 전환하는 HMI(Human Machine Interface) 시스템이 적용된 자율주행 차량에 있어서, 카메라의 열화에 따른 이미지 기반 객체 인식 알고리즘에 대한 신뢰성을 평가할 수 있도록 하는, 차량의 이미지 기반 객체 인식 알고리즘 평가 장치 및 방법에 관한 것이다.
일반적으로 자율주행 차량(또는 자율주행차)은 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 정밀한 지도, 위성항법시스템(GPS) 등 차량의 각종 센서(예 : 라이다, 레이더, 카메라 등)로 주변 상황을 파악해 스스로 목적지까지 찾아가는 자동차를 의미한다.
이러한 자율주행 기술의 단계는 국제자동차기술자협회(SAE, Society of Automotive Engineers)에서 정의한 내용이 국제 기준으로 통용되고 있으며, 단계 1에서 단계 5까지 총 6단계로 분류된다.
그 중 단계 1에는 ACC(Adaptive Cruise Control), LKAS(Lane Keeping Assist System)가 대표적인 기술이며, 최근 첨단운전자지원시스템(ADAS : Advanced Driver Assistance Systems)이 적용된 차량이 증가하고 있다.
이러한 첨단운전자시스템은 차량의 내부 및 외부 환경의 이미지를 포착하도록 사용되는 하나 이상의 차량 장착 이미지 센서(즉, 카메라)를 포함한다.
상기 카메라(또는 이미지 센서)를 통해 포착된 이미지는, 이미지 기반 객체 인식 알고리즘에 의해 분석되고, 이미지 기반 객체 인식 알고리즘이 정상 동작한다고 가정할 때, 장애물 검출, 차선 이탈 경고, 주차 보조, 거리 측정, 및 자율주행 자동 전환(즉, 운전자의 졸음이나 전방주시 불량 등의 이상 상황이 발생할 경우, 차량의 제어권을 운전자로부터 차량으로 자동 전환하는 기능) 등의 운전자 지원 기능을 제공할 수 있도록 한다.
따라서 상기 이미지 기반 객체 인식 알고리즘은 카메라에 의존적으로 동작하기 때문에 만약 가혹한 상태(예 : 고온 고습, 진동, 열충격 등)에서의 카메라의 상태 변화나 경년 변화(시간의 경과에 따라 서서히 발생되는 변화)에 따른 이미지의 품질(퀄리티) 변화에 대응할 수 있어야 한다.
즉, 상기 자율주행 차량의 이미지 기반 객체 인식 알고리즘에 의해 카메라의 열화에 따른 이미지 품질의 변화를 분석하고, 상기 이미지 품질의 변화에 따른 고장 분석(예 : 카메라 파손, 카메라의 미세 크랙, 카메라에 미소 수증기 유입, 카메라의 고온고습에 의한 성능 변화, 카메라의 열충격에 의한 고장 등) 결과를 바탕으로 상기 이미지 기반 객체 인식 알고리즘에 대한 신뢰성을 평가할 수 있도록 하는 방법이 필요한 상황이다.
본 발명의 배경기술은 대한민국 공개특허 10-2021-0100776호(2021.08.18. 공개, 카메라를 이용하여 자율 주행을 수행하는 차량 및 그의 동작 방법)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 운전자의 상태를 카메라로 모니터링하여 차량 제어권을 운전자로부터 차량으로 전환하는 HMI(Human Machine Interface) 시스템이 적용된 자율주행 차량에서 카메라의 열화에 따른 이미지 기반 객체 인식 알고리즘의 신뢰성을 평가할 수 있도록 하는, 차량의 이미지 기반 객체 인식 알고리즘 평가 장치 및 방법을 제공하는 데 그 목적이 있다.
본 발명의 일 측면에 따른 차량의 이미지 기반 객체 인식 알고리즘 평가 장치는 차량 내부의 운전자를 촬영하는 카메라부; 실차에 적용되는 이미지 기반 객체 인식 알고리즘을 저장하는 이미지 기반 액체 인식 알고리즘 저장부; 및 상기 카메라부에서 촬영된 이미지를 상기 이미지 기반 객체 인식 알고리즘에 적용하여 객체 인식 성능을 평가하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 카메라부는, 차량 환경 모사 가속 수명 시험된 카메라가 변경 장착되는 것을 특징으로 한다.
본 발명에 있어서, 상기 차량 환경 모사 가속 수명 시험된 카메라는, 고온 고습 시험된 카메라, 복합 환경 진동 시험된 카메라, 및 열충격 시험된 카메라를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 카메라부에 장착되는 카메라가 변경되어 장착될 때마다 촬영된 이미지를, 상기 이미지 기반 객체 인식 알고리즘에 적용하여 객체 인식 성능을 평가하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 변경되어 장착된 카메라는 동일하게 연출된 차량 내부 상황을 촬영하고, 처음 이미지에 대하여 이미지 품질이 점차 저하되는 경우의 객체 인식 성능을 비교 평가하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 카메라가 블랙 아웃이 되기 전까지 사전 객체 인식 성능 평가와 사후 객체 인식 성능 평가를 수행하여, 객체 인식 성능에 차이가 발생할 경우에 그 원인의 분석 평가를 수행하고, 상기 카메라가 블랙 아웃이 되었을 때 그 고장 원인의 분석 평가를 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 이미지 기반 객체 인식 알고리즘의 객체 인식 성능의 평가 결과를 출력하는 평가 결과 출력부; 및 상기 카메라가 블랙 아웃 되었을 때 그 고장 원인을 분석한 평가 결과를 출력하는 고장 분석 결과 출력부;를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 차량의 이미지 기반 객체 인식 알고리즘 평가 방법은, 제어부가 카메라부를 통해 차량 내부의 운전자를 촬영하는 단계; 및 상기 제어부가 상기 카메라부에서 촬영된 이미지를 이미지 기반 객체 인식 알고리즘에 적용하여 객체 인식 성능을 평가하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 카메라부는, 차량 환경 모사 가속 수명 시험된 카메라가 변경 장착되는 것을 특징으로 한다.
본 발명에 있어서, 상기 차량 환경 모사 가속 수명 시험된 카메라는, 고온 고습 시험된 카메라, 복합 환경 진동 시험된 카메라, 및 열충격 시험된 카메라를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 객체 인식 성능을 평가하는 단계에서, 상기 제어부는, 상기 카메라부에 장착되는 카메라가 변경되어 장착될 때마다 촬영된 이미지를, 상기 이미지 기반 객체 인식 알고리즘에 적용하여 객체 인식 성능을 평가하는 것을 특징으로 한다.
본 발명에 있어서, 상기 객체 인식 성능을 평가하는 단계에서, 상기 제어부는, 상기 변경되어 장착된 카메라는 동일하게 연출된 차량 내부 상황을 촬영하고, 처음 이미지에 대하여 이미지 품질이 점차 저하되는 경우의 객체 인식 성능을 비교 평가하는 것을 특징으로 한다.
본 발명에 있어서, 상기 객체 인식 성능을 평가하는 단계에서, 상기 제어부는, 상기 카메라가 블랙 아웃이 되기 전까지 사전 객체 인식 성능 평가와 사후 객체 인식 성능 평가를 수행하여, 객체 인식 성능에 차이가 발생할 경우에 그 원인의 분석 평가를 수행하고, 상기 카메라가 블랙 아웃이 되었을 때 그 고장 원인의 분석 평가를 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 객체 인식 성능을 평가하는 단계 이후, 상기 제어부가 평가 결과 출력부를 통해 상기 이미지 기반 객체 인식 알고리즘의 객체 인식 성능의 평가 결과를 출력하는 단계; 및 상기 제어부가 고장 분석 결과 출력부를 통해 상기 카메라가 블랙 아웃 되었을 때 그 고장 원인을 분석한 평가 결과를 출력하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 운전자의 상태를 카메라로 모니터링하여 차량 제어권을 운전자로부터 차량으로 전환하는 HMI 시스템이 적용된 자율주행 차량에서 카메라의 열화에 따른 이미지 기반 객체 인식 알고리즘의 신뢰성을 평가할 수 있도록 한다.
도 1은 본 발명의 일 실시 예에 따른 차량의 이미지 기반 객체 인식 알고리즘 평가 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시 예에 따른 차량의 이미지 기반 객체 인식 알고리즘 평가 방법을 설명하기 위한 흐름도.
도 3은 상기 도 2에 있어서, 차량 환경 모사 가속 수명 시험 방법을 설명하기 위한 예시도.
도 4는 상기 도 2에 있어서, 객체 성능의 평가 시 이미지 품질이 저하된 이미지를 비교하여 신뢰성을 평가하는 방법을 설명하기 위하여 보인 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 차량의 이미지 기반 객체 인식 알고리즘 평가 장치 및 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 차량의 이미지 기반 객체 인식 알고리즘 평가 장치의 개략적인 구성을 보인 예시도이다.
도 1에 도시된 바와 같이, 본 실시 예에 따른 차량의 이미지 기반 객체 인식 알고리즘 평가 장치는, 카메라부(110), 이미지 기반 객체 인식 알고리즘 저장부(120), 제어부(130), 평가 결과 출력부(140), 및 고장 분석 결과 출력부(150)를 포함한다.
상기 카메라부(110)는 차량 내부의 운전자를 촬영한다.
또한 상기 카메라부(110)는 차량 환경 모사 가속 수명 시험된 카메라의 장착이나 변경이 가능하다.
예컨대 상기 차량 환경 모사 가속 수명 시험된 카메라는, 도 3에 도시된 바와 같이, 고온 고습 시험된 카메라, 복합 환경 진동 시험된 카메라, 및 열충격 시험된 카메라를 포함한다.
여기서 상기 복합 환경 진동 시험은, 차량 주행 시 겪을 수 있는 진동을 고온 환경과 복합적으로 인가하여 이미지 센서의 파손, 미세크랙 등의 고장 현상에 대한 내구성을 검증하며, 진동에 의한 고장현상이 발달함에 따른 객체 이미지 데이터 취득을 시간 단위 별로 수행한다. 이 때 진동 시험은 실차 데이터 기반 진동 프로파일로 설계하여 목표수명에 맞게 시험시간 및 부하를 설정하여 수행한다.
또한 상기 고온 고습 시험은, 습도가 높은 환경에서의 미소 수증기 유입에 따른 성능 저하 및 고장 유무 여부를 판단 및 고온 고습 환경 하에서의 이미지 퀄리티 변화를 모니터링 하기 위한 시험으로서, 이 때 시험 조건은 상대습도 85 %, 온도 85 ℃ 이며 시험 시간은 사용자가 정한 목표수명에 맞게 조정한다. 이 때 가속모델은 Arrhenius-Peck 모델을 적용한다.
또한 열충격 시험은, 차량이 겪는 일교차로 인한 저속의 열충격을 가속화 시켜 이에 대한 고장 현상을 촉진, 내구성을 검증하고자 하는 시험이며, 이 때 가속모델은 Coffin-Manson 모델을 적용하며 가속 계수는 사용자가 정한 목표 수명에 맞게 설정한다.
따라서 단계별로 차량 환경 모사 시험된 카메라들을 미리 준비한 후 변경하여 장착될 수 있다.
이 때 상기 차량 환경 모사 가속 수명 시험은, 실제 차량에 장착된 카메라가 차량 운행 중 발생할 수 있는 상황을 가속하여 시험하는 것으로, 강제로 이미지 센서의 열화 및 기능 저하가 발생하게 하여 이미지 품질의 저하를 유발시킨다.
또한 상기 카메라부(110)에서 촬영된 이미지는 내부 저장부(미도시)에 저장되거나 별도의 외부 저장부(미도시)에 저장된다.
상기 이미지 기반 객체 인식 알고리즘 저장부(120)는 자율주행 차량의 실차에 적용되는 이미지 기반 객체 인식 알고리즘을 저장한다.
예컨대 상기 이미지 기반 객체 인식 알고리즘 저장부(120)에는 차량 제조사별 자율주행 차량의 종류별로 적용되는 이미지 기반 객체 인식 알고리즘이 저장될 수 있으며, 상기 이미지 기반 객체 인식 알고리즘은 암호화되어 저장될 수도 있다.
상기 제어부(130)는 상기 카메라부(110)에서 촬영된 이미지를 평가 대상인 상기 이미지 기반 객체 인식 알고리즘에 적용하여 상기 이미지 기반 객체 인식 알고리즘에서 출력하는 인식 결과를 비교하여 객체 인식 성능을 평가한다(도 4 참조).
또한 상기 제어부(130)는 상기 카메라부(110)에 장착되는 카메라(즉, 이미지 센서)가 변경되어 장착될 때마다 촬영된 이미지를, 상기 이미지 기반 객체 인식 알고리즘에 적용하여 상기 이미지 기반 객체 인식 알고리즘에서 출력하는 인식 결과와 이전의 인식 결과를 비교하여 객체 인식 성능을 평가한다.
이 때 상기 변경되어 장착된 카메라는 동일하게 연출된 차량 내부 상황을 촬영하며, 이는 처음 이미지에 대하여 이미지 품질이 점차 저하되는 경우에 객체 인식 성능을 비교 평가하기 위해서이다.
참고로 평가 대상인 상기 이미지 기반 객체 인식 알고리즘은 다수 개가 존재할 수 있으며 그 중 하나가 선택될 수 있다.
또한 상기 제어부(130)는 이미지 품질이 점차 저하되는 이미지(즉, 차량 환경 모사 가속 수명 시험된 카메라를 이용하여 촬영됨으로써 이미지 품질이 점차 저하되는 이미지)에 대한 객체 인식 알고리즘을 평가(즉, 비교 평가)한다.
예컨대 상기 제어부(130)는 최초 이미지(예 : 경년 변화가 발생하기 전 최초로 장착된 카메라로 촬영된 이미지) 대비 이미지 품질이 어느 정도 저하된 이미지(예 : 차량 환경 모사 가속 시험에 의해 상태 변화나 경년 변화가 진행된 카메라로 촬영된 이미지)에 대하여, 즉, 최초 이미지 및 이미지 품질이 저하된 이미지에 대하여, 평가 대상인 상기 이미지 기반 객체 인식 알고리즘에서 출력하는 인식 결과를 바탕으로 객체 인식 성능에 차이가 발생하는지 비교 평가한다.
또한 상기 제어부(130)는 상기와 같이 최초 이미지 및 이미지 품질이 저하된 이미지에 대한 비교 평가를 통하여, 상기 이미지 기반 객체 인식 알고리즘의 객체 인식 성능에 차이가 발생할 경우, 상기 이미지 기반 객체 인식 알고리즘이 객체 인식 성능에 차이가 발생하는 원인(예 : 이미지 품질의 차이, 카메라 파손, 카메라의 미세 크랙, 카메라에 미소 수증기 유입, 카메라의 고온고습에 의한 성능 변화, 및 카메라의 열충격에 의한 고장으로 인하 카메라의 블랙 아웃(Black Out))별 결과를 비교 평가한다.
또한 상기 제어부(130)는 상기 객체 인식 성능에 차이가 발생한 고장 원인별 평가 결과를 비교하여 고장 분석 결과 출력부(150)를 통해 출력한다.
상기 평가 결과 출력부(140)는 상기 이미지 기반 객체 인식 알고리즘의 객체 인식 성능의 평가 결과를 출력한다.
상기 고장 분석 결과 출력부(150)는 상기 카메라가 블랙 아웃 되었을 때, 상기 제어부(130)가 카메라 고장이 발생한 원인별 평가 결과를 분석하기 위하여 평가 결과를 원인별로 비교하여 출력한다. 참고로 상기 블랙 아웃은 화면에 아무것도 표시되지 않는 고장 현상을 통칭하지만, 실질적으로는 원인에 따라 검은색 화면이나 녹색 화면 등 특정색 화면만 출력되는 현상이 발생할 수도 있고, 모래알 같은 검은색과 회색 점들이 섞여있는 화면이 출력되는 현상이 발생할 수도 있다.
상기 평가 결과 출력부(140) 및 상기 고장 분석 결과 출력부(150)는 차량에 장착된 AV(Audio Video) 수단(미도시)을 이용하여, 상기 이미지 기반 객체 인식 알고리즘의 객체 인식 성능의 평가 결과 및 카메라의 고장 원인별(예 : 고온 고습, 진동, 열충격 등) 평가 결과를 출력할 수 있다.
한편 도면에는 구체적으로 도시되어 있지 않지만, 상기 객체 인식 성능에 대한 평가를 진행하면서, 시험 대상인 카메라(즉, 차량 환경 모사 가속 시험에 의한 상태 변화나 경년 변화가 진행된 카메라)로 촬영된 이미지에 대한 정보를 내부 저장부(미도시)나 외부 저장부(미도시)에 저장하여 상기 이미지 기반 객체 인식 알고리즘이 학습할 수 있도록 함으로써, 실차 운행 중 상기 내부 저장부(미도시)나 외부 저장부(미도시)에 저장된 이미지를 이용하여, 상기 이미지 기반 객체 인식 알고리즘이 스스로 객체 인식 성능의 평가와 고장을 분석할 수 있도록 할 수도 있다.
도 2는 본 발명의 일 실시 예에 따른 차량의 이미지 기반 객체 인식 알고리즘 평가 방법을 설명하기 위한 흐름도이고, 도 3은 상기 도 2에 있어서, 차량 환경 모사 가속 수명 시험 방법을 설명하기 위한 예시도이며, 도 4는 상기 도 2에 있어서, 객체 성능의 평가 시 이미지 품질이 저하된 이미지를 비교하여 신뢰성을 평가하는 방법을 설명하기 위하여 보인 예시도이다.
도 2를 참조하면, 제어부(130)는 사용자로부터 평가할 이미지 기반 객체 인식 알고리즘을 선택받아 설정한다(S110).
상기 제어부(130)는 상기 이미지 기반 객체 인식 알고리즘에 의해 최초 이미지(예 : 경년 변화가 발생하기 전 최초로 장착된 카메라로 촬영된 이미지)를 이용하여 사전 객체 인식 알고리즘 평가(즉, 객체 인식 성능을 평가)를 수행한다(S120).
즉, 상기 사전 객체 인식 알고리즘 평가 결과가 일종의 기준이 된다.
또한 상기 제어부(130)는 차량 환경 모사 가속 수명 시험된 카메라가 변경 장착될 경우(S130), 해당 카메라가 블랙 아웃 상태가 아니면(S140의 아니오), 상기 이미지 기반 객체 인식 알고리즘에 의해 상기 변경 장착된 카메라를 이용하여 촬영된 이미지를 이용하여 사후 객체 인식 알고리즘 평가(즉, 객체 인식 성능을 평가)를 수행하고, 또한 상기 사후 객체 인식 알고리즘 평가를 수행한 결과를 상기 사전 객체 인식 알고리즘 평가를 수행한 결과와 비교 분석한다(S150).
즉, 상기 제어부(130)는 상기 카메라가 변경되어 장착될 때마다 촬영된 이미지를, 상기 이미지 기반 객체 인식 알고리즘에 적용하여 객체 인식 성능을 평가한다. 상기 객체 인식 성능의 평가는 상기 카메라가 이미지를 촬영할 수 없는 상태(즉, 블랙 아웃 상태)가 되기 전까지 반복 수행된다.
예컨대 상기 제어부(130)는 상기 이미지 기반 객체 인식 알고리즘이 최초 이미지(예 : 경년 변화가 발생하기 전 최초로 장착된 카메라로 촬영된 이미지) 대비 이미지 품질이 어느 정도 저하된 이미지(예 : 차량 환경 모사 가속 시험에 의해 상태 변화나 경년 변화가 진행된 카메라로 촬영된 이미지)에 대하여 객체 인식 성능에 차이가 발생하는지 평가한다.
이 때 상기 제어부(130)는 상기와 같이 객체 인식 성능에 차이가 발생할 경우에 그 원인(예 : 객체 인식 성능에 영향을 준 이미지 품질의 저하 원인)별 결과를 평가하고(S150), 또한 상기 카메라가 블랙 아웃(Black Out)이 되었을 때(S140의 예) 그 고장 원인(예 : 카메라가 블랙 아웃이 된 원인, 가령, 카메라 파손, 카메라의 미세 크랙, 카메라에 미소 수증기 유입, 카메라의 고온고습에 의한 성능 변화, 카메라의 열충격에 의한 고장 등)별 결과를 비교 평가한다(S160). 이는 고장 원인별 객체 인식 성능에 차이가 발생하는 평가 결과를 원인별로 비교 분석할 수 있도록 하기 위한 것이다.
또한 상기 제어부(130)는 상기 객체 인식 성능에 차이가 발생한 원인을 분석한 평가 결과, 및 상기 카메라가 블랙 아웃(Black Out)이 되었을 때 그 고장 원인별 비교 평가 결과를 출력한다(S170).
예컨대 상기 제어부(130)는 평가 결과 출력부(140) 및 고장 분석 결과 출력부(150)를 통해 상기 이미지 기반 객체 인식 알고리즘의 객체 인식 성능의 평가 결과 및 카메라의 고장 원인별 평가 결과를 비교 출력할 수 있다.
상기와 같이 본 실시 예는 운전자의 상태를 카메라로 모니터링하여 차량 제어권을 운전자로부터 차량으로 전환하는 HMI 시스템이 적용된 자율주행 차량에서 카메라의 열화에 따른 이미지 기반 객체 인식 알고리즘의 신뢰성을 평가할 수 있도록 하는 효과가 있다.
또한 기존의 알고리즘 평가법은 단순히 이미지 신호에 임의의 외란(Noise)을 주어 평가하는 방법이었으나, 본 실시 예는 차량이 겪을 수 있는 환경을 가속화 시켜 부품의 열화에 의한 이미지 데이터를 실시간으로 취득하여 시스템 수명에 따른 이미지 퀄리티 변화 분석을 수행 할 수 있으며 시스템이 Black Out 고장 시 고장 분석을 수행함으로써 신뢰성 시험과 알고리즘 평가를 선택적으로 수행 할 수 있도록 함으로써, 시험 후에 획득한 환경 부하별 이미지 데이터를 통해 차량 환경에 대한 외란 모사 및 알고리즘 검증에 활용 할 수도 있도록 하는 효과가 있다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다. 또한 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
110 : 카메라부
120 : 이미지 기반 객체 인식 알고리즘 저장부
130 : 제어부
140 : 평가 결과 출력부
150 : 고장 분석 결과 출력부

Claims (14)

  1. 차량 내부의 운전자를 촬영하는 카메라부;
    실차에 적용되는 이미지 기반 객체 인식 알고리즘을 저장하는 이미지 기반 액체 인식 알고리즘 저장부; 및
    상기 카메라부에서 촬영된 이미지를 상기 이미지 기반 객체 인식 알고리즘에 적용하여 객체 인식 성능을 비교 평가하는 제어부;를 포함하되,
    상기 카메라부는, 차량 환경 모사 가속 수명 시험된 카메라가 변경 장착되며,
    상기 제어부는, 상기 카메라부에 장착되는 카메라가 변경되어 장착될 때마다 촬영된 이미지를, 상기 이미지 기반 객체 인식 알고리즘에 적용하여 출력되는 인식 결과를 이전의 인식 결과와 비교하여 객체 인식 성능을 평가하는 것을 특징으로 하는 차량의 이미지 기반 객체 인식 알고리즘 평가 장치.
  2. 삭제
  3. 제 1항에 있어서, 상기 차량 환경 모사 가속 수명 시험된 카메라는,
    고온 고습 시험된 카메라, 복합 환경 진동 시험된 카메라, 및 열충격 시험된 카메라를 포함하는 것을 특징으로 하는 차량의 이미지 기반 객체 인식 알고리즘 평가 장치.
  4. 삭제
  5. 제 1항에 있어서, 상기 제어부는,
    상기 변경되어 장착된 카메라는 동일하게 연출된 차량 내부 상황을 촬영하고, 변경 장착되기 전 카메라가 촬영한 이미지에 대하여, 변경 장착된 카메라가 촬영한 이미지의 품질이 점차 저하되는 경우의 객체 인식 결과를 비교 평가하는 것을 특징으로 하는 차량의 이미지 기반 객체 인식 알고리즘 평가 장치.
  6. 제 1항에 있어서, 상기 제어부는,
    상기 카메라가 블랙 아웃이 되기 전까지, 경년 변화가 발생한 카메라로 변경 장착되기 전에 최초로 장착된 카메라에 의해 촬영된 이미지를 이용하여 객체 인식 성능을 평가하는 사전 객체 인식 성능 평가와, 경년 변화가 발생된 카메라로서 변경 장착된 카메라에 의해 촬영된 이미지를 이용하여 객체 인식 성능을 평가하는 사후 객체 인식 성능 평가를 수행하여, 객체 인식 성능에 차이가 발생할 경우에 그 원인별 평가 결과에 대한 비교를 수행하고,
    상기 카메라가 블랙 아웃이 되었을 때, 그 원인별 평가 결과를 분석하기 위하여 평가 결과를 원인별로 비교하여 출력하는 것을 특징으로 하는 차량의 이미지 기반 객체 인식 알고리즘 평가 장치.
  7. 삭제
  8. 제어부가 카메라부를 통해 차량 내부의 운전자를 촬영하는 단계; 및
    상기 제어부가 상기 카메라부에서 촬영된 이미지를 이미지 기반 객체 인식 알고리즘에 적용하여 객체 인식 성능을 비교 평가하는 단계;를 포함하되,
    상기 카메라부는, 차량 환경 모사 가속 수명 시험된 카메라가 변경 장착되며,
    상기 객체 인식 성능을 비교 평가하는 단계에서, 상기 제어부는, 상기 카메라부에 장착되는 카메라가 변경되어 장착될 때마다 촬영된 이미지를, 상기 이미지 기반 객체 인식 알고리즘에 적용하여 출력되는 인식 결과를 이전의 인식 결과와 비교하여 객체 인식 성능을 평가하는 것을 특징으로 하는 차량의 이미지 기반 객체 인식 알고리즘 평가 방법.
  9. 삭제
  10. 제 8항에 있어서, 상기 차량 환경 모사 가속 수명 시험된 카메라는,
    고온 고습 시험된 카메라, 복합 환경 진동 시험된 카메라, 및 열충격 시험된 카메라를 포함하는 것을 특징으로 하는 차량의 이미지 기반 객체 인식 알고리즘 평가 방법.
  11. 삭제
  12. 제 8항에 있어서, 상기 객체 인식 성능을 평가하는 단계에서,
    상기 제어부는,
    상기 변경되어 장착된 카메라는 동일하게 연출된 차량 내부 상황을 촬영하고, 변경 장착되기 전 카메라가 촬영한 이미지에 대하여, 변경 장착된 카메라가 촬영한 이미지 품질이 점차 저하되는 경우의 객체 인식 결과를 비교 평가하는 것을 특징으로 하는 차량의 이미지 기반 객체 인식 알고리즘 평가 방법.
  13. 제 8항에 있어서, 상기 객체 인식 성능을 비교 평가하는 단계에서,
    상기 제어부는,
    상기 카메라가 블랙 아웃이 되기 전까지, 경년 변화가 발생한 카메라로 변경 장착되기 전에 최초로 장착된 카메라에 의해 촬영된 이미지를 이용하여 객체 인식 성능을 평가하는 사전 객체 인식 성능 평가와, 경년 변화가 발생된 카메라로서 변경 장착된 카메라에 의해 촬영된 이미지를 이용하여 객체 인식 성능을 평가하는 사후 객체 인식 성능 평가를 수행하여, 객체 인식 성능에 차이가 발생할 경우에 그 원인별 평가 결과에 대한 비교를 수행하고,
    상기 카메라가 블랙 아웃이 되었을 때, 그 원인별 평가 결과를 분석하기 위하여 평가 결과를 원인별로 비교하여 출력하는 것을 특징으로 하는 차량의 이미지 기반 객체 인식 알고리즘 평가 방법.
  14. 삭제
KR1020210174304A 2021-12-08 2021-12-08 차량의 이미지 기반 객체 인식 알고리즘 평가 장치 및 방법 KR102663343B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210174304A KR102663343B1 (ko) 2021-12-08 2021-12-08 차량의 이미지 기반 객체 인식 알고리즘 평가 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210174304A KR102663343B1 (ko) 2021-12-08 2021-12-08 차량의 이미지 기반 객체 인식 알고리즘 평가 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230086824A KR20230086824A (ko) 2023-06-16
KR102663343B1 true KR102663343B1 (ko) 2024-05-08

Family

ID=86948385

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210174304A KR102663343B1 (ko) 2021-12-08 2021-12-08 차량의 이미지 기반 객체 인식 알고리즘 평가 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102663343B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282730B1 (ko) 2020-12-16 2021-07-29 주식회사 버넥트 객체 맞춤형 영상특징 검출 알고리즘 기반의 객체검출 및 자세추정을 수행하는 방법 및 그 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102167009B1 (ko) * 2018-01-10 2020-10-16 순천향대학교 산학협력단 차량의 제어방식 자동 전환 장치
KR20200133839A (ko) * 2019-05-08 2020-12-01 현대모비스 주식회사 자율주행을 위한 객체 인식장치 및 그 학습방법
KR20210119243A (ko) * 2020-03-24 2021-10-05 최성국 졸음운전 및 부주의 운전 인식 기능을 구비한 블랙박스 시스템 및 그 서비스 제공방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282730B1 (ko) 2020-12-16 2021-07-29 주식회사 버넥트 객체 맞춤형 영상특징 검출 알고리즘 기반의 객체검출 및 자세추정을 수행하는 방법 및 그 시스템

Also Published As

Publication number Publication date
KR20230086824A (ko) 2023-06-16

Similar Documents

Publication Publication Date Title
US10372996B2 (en) Automatic vehicle leak detection
US9618423B2 (en) System and method for misfire diagnosis of vehicle engine
US20160217335A1 (en) Stixel estimation and road scene segmentation using deep learning
US11198444B2 (en) Automated factory testflow of processing unit with sensor integration for driving platform
CN111033298A (zh) 补偿异构传感器阵列中的传感器缺陷
KR102519662B1 (ko) 영상 획득 방법 및 영상 획득 장치
US11130455B2 (en) Vehicle security enhancement
US20220051438A1 (en) Testing and validation of a camera under electromagnetic interference
EP3968276A1 (en) Validation of a camera cleaning system
JP7448484B2 (ja) カメラ内部パラメータのオンライン評価
US20220261304A1 (en) Information processing device and information processing method
US20210224555A1 (en) Method for identifying a cause of blockage in a sequence of images, a computer program for performing said method, a computer-readable recording medium containing such computer program, a driving assistance system capable of executing said method
US11423676B2 (en) Method and apparatus for detecting on-duty state of driver, device, and computer storage medium
KR102663343B1 (ko) 차량의 이미지 기반 객체 인식 알고리즘 평가 장치 및 방법
CN110266774B (zh) 车联网数据质量的检验方法、装置、设备及存储介质
CN110362059B (zh) 诊断装置和诊断方法
US11108658B2 (en) Method for detecting data, method for updating a scenario catalog, a device, a computer program and a machine-readable memory medium
JP2021015454A (ja) 車載制御システム及び車両制御方法
CN113183988B (zh) 一种车辆自动驾驶的监督方法、装置、设备及存储介质
CN109144070A (zh) 移动设备辅助自动驾驶方法、汽车和存储介质
CN110901640B (zh) 车辆运动扭矩自动补偿方法、装置、设备及存储介质
KR20220097646A (ko) 자율 주행 위험 상황 검출 방법 및 장치
US20210110622A1 (en) System and method for capturing data stored on a volatile memory
WO2023037576A1 (ja) 車両制御システム及び車両制御方法
US20240062592A1 (en) Method and system for performing a virtual test

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant