KR102672992B1 - 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 오염도 추정 장치 - Google Patents

카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 오염도 추정 장치 Download PDF

Info

Publication number
KR102672992B1
KR102672992B1 KR1020220111671A KR20220111671A KR102672992B1 KR 102672992 B1 KR102672992 B1 KR 102672992B1 KR 1020220111671 A KR1020220111671 A KR 1020220111671A KR 20220111671 A KR20220111671 A KR 20220111671A KR 102672992 B1 KR102672992 B1 KR 102672992B1
Authority
KR
South Korea
Prior art keywords
image
specific
point
point information
information
Prior art date
Application number
KR1020220111671A
Other languages
English (en)
Other versions
KR20240032547A (ko
Inventor
김도형
박태곤
허명선
Original Assignee
(주)오토노머스에이투지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)오토노머스에이투지 filed Critical (주)오토노머스에이투지
Priority to KR1020220111671A priority Critical patent/KR102672992B1/ko
Publication of KR20240032547A publication Critical patent/KR20240032547A/ko
Application granted granted Critical
Publication of KR102672992B1 publication Critical patent/KR102672992B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법에 있어서, (a) 이동체에 장착된 특정 카메라로부터 제(t-k) 시점에 대응되는 특정 제(t-k) 이미지가 획득되고, 상기 이동체에 장착된 깊이 센서로부터 상기 제(t-k) 시점에 대응되는 복수의 제(t-k) 3차원 포인트 정보가 획득되면, 오염도 추정 장치가, 적어도 하나의 특정 제(t-k) 3차원 포인트 정보를 상기 특정 제(t-k) 이미지에 투영함으로써 상기 제(t-k) 시점에 대응되는 적어도 하나의 특정 제(t-k) 이미지 포인트 정보를 획득하는 단계; (b) 상기 특정 카메라로부터 제t 시점에 대응되는 특정 제t 이미지가 획득되고, 상기 깊이 센서로부터 상기 제t 시점에 대응되는 복수의 제t 3차원 포인트 정보가 획득되면, 상기 오염도 추정 장치가, 적어도 하나의 변환 제(t-k) 3차원 포인트 정보 - 상기 변환 제(t-k) 3차원 포인트 정보는, 상기 특정 제(t-k) 3차원 포인트 정보 및 이동체 움직임 정보가 참조되어 획득되며, 상기 이동체 움직임 정보는, 상기 제(t-k) 3차원 포인트 정보 중 적어도 일부 및 상기 제t 3차원 포인트 정보 중 적어도 일부가 참조되어 획득되거나, 상기 제(t-k) 이미지 및 상기 제t 이미지가 참조되어 획득됨 - 를 상기 특정 제t 이미지에 투영함으로써 상기 제t 시점에 대응되는 적어도 하나의 특정 제t 이미지 포인트 정보를 획득하는 단계; 및 (c) 상기 오염도 추정 장치가, 상기 특정 제(t-k) 이미지 포인트 정보에 대응되는 적어도 하나의 특정 제(t-k) 특징 정보 중 적어도 일부 및 상기 특정 제t 이미지 포인트 정보에 대응되는 적어도 하나의 특정 제t 특징 정보 중 적어도 일부를 참조하여 상기 특정 카메라의 포인트 기반 오염도를 획득하는 단계;를 포함하는 방법 및 이를 이용한 오염도 추정 장치가 개시된다.

Description

카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 오염도 추정 장치{METHOD FOR DETERMINING WHETHER CAMERA IS CONTAMINATED IN REAL TIME AND DEVICE USING THE SAME}
본 발명은 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 오염도 추정 장치에 관한 것으로, 보다 상세하게는, 카메라로부터 획득된 이미지 및 깊이 센서로부터 획득되는 포인트 정보를 이용하여 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 오염도 추정 장치에 관한 것이다.
운전자의 편의와 안전을 도모하기 위해, 최근의 차량에는 자율주행 시스템 또는 첨단 운전자 보조 시스템(ADAS)이 적용되고 있으며, 이러한 자율주행 시스템 또는 첨단 운전자 보조 시스템이 정상적으로 작동하기 위해서는, 카메라, 레이더, 라이다와 같은 센서들이 필요하다.
하지만, 카메라 렌즈에 오염(가령, 물방울, 먼지 등)이 발생할 경우, 카메라를 통해 획득되는 이미지의 품질이 급격히 나빠지게 되며, 품질이 저하된 이미지가 자율주행 시스템 또는 첨단 운전자 보조 시스템에 의해 이용될 경우, 운전자의 안전까지 위협받을 수 있다는 문제점이 존재한다.
이러한 문제점을 극복하기 위해, 카메라에 발생한 오염을 판단하기 위한 종래 기술로서, "차재 카메라 및 차재 카메라용 부착물 검출 장치"에 관한 일본 공개특허공보 제2008-060874호에는 차량 움직임에 의한 화소 이동의 계측값과 옵티컬 플로우에 의한 화소 이동 추정값의 비교를 통해 오염 등의 부착물을 검출하는 방법이 개시되어 있다.
하지만, 상기 문헌에 개시된 방법에 의해 카메라 오염을 판단할 경우, 지면을 포함하는 영역에 대해서만 카메라 오염을 판단할 수 있다는 한계가 존재할 뿐만 아니라, 지면 영역의 경우 픽셀간 밝기 차이가 작은 특성으로 인해 옵티컬 플로우 추정이 어려워 카메라 오염 판단이 부정확하다는 문제점이 있다.
따라서, 카메라에 오염이 발생했는지 여부를 실시간으로 정확하게 판단하기 위한 기술이 요구되는 실정이다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 하나의 카메라 또는 복수의 카메라를 사용하여 해당 카메라에 오염이 발생했는지 여부를 실시간으로 정확하게 판단하는 것을 다른 목적으로 한다.
또한, 본 발명은 이종 센서의 정보를 추가적으로 이용하여 카메라에 오염이 발생했는지 여부를 실시간으로 정확하게 판단하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 카메라에 발생한 오염이 제거될 수 있도록 지원하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 자율주행시스템 또는 첨단 운전자 보조 시스템이 최적의 환경에서 작동하도록 지원하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법에 있어서, (a) 이동체에 장착된 특정 카메라로부터 제(t-k) 시점에 대응되는 특정 제(t-k) 이미지가 획득되고, 상기 이동체에 장착된 깊이 센서로부터 상기 제(t-k) 시점에 대응되는 복수의 제(t-k) 3차원 포인트 정보가 획득되면, 오염도 추정 장치가, 적어도 하나의 특정 제(t-k) 3차원 포인트 정보를 상기 특정 제(t-k) 이미지에 투영함으로써 상기 제(t-k) 시점에 대응되는 적어도 하나의 특정 제(t-k) 이미지 포인트 정보를 획득하는 단계; (b) 상기 특정 카메라로부터 제t 시점에 대응되는 특정 제t 이미지가 획득되고, 상기 깊이 센서로부터 상기 제t 시점에 대응되는 복수의 제t 3차원 포인트 정보가 획득되면, 상기 오염도 추정 장치가, 적어도 하나의 변환 제(t-k) 3차원 포인트 정보 - 상기 변환 제(t-k) 3차원 포인트 정보는, 상기 특정 제(t-k) 3차원 포인트 정보 및 이동체 움직임 정보가 참조되어 획득되며, 상기 이동체 움직임 정보는, 상기 제(t-k) 3차원 포인트 정보 중 적어도 일부 및 상기 제t 3차원 포인트 정보 중 적어도 일부가 참조되어 획득되거나, 상기 제(t-k) 이미지 및 상기 제t 이미지가 참조되어 획득됨 - 를 상기 특정 제t 이미지에 투영함으로써 상기 제t 시점에 대응되는 적어도 하나의 특정 제t 이미지 포인트 정보를 획득하는 단계; 및 (c) 상기 오염도 추정 장치가, 상기 특정 제(t-k) 이미지 포인트 정보에 대응되는 적어도 하나의 특정 제(t-k) 특징 정보 중 적어도 일부 및 상기 특정 제t 이미지 포인트 정보에 대응되는 적어도 하나의 특정 제t 특징 정보 중 적어도 일부를 참조하여 상기 특정 카메라의 포인트 기반 오염도를 획득하는 단계;를 포함하는 방법이 개시된다.
일례로서, 상기 (a) 단계에서, 상기 이동체에 장착된 카메라들 중, 상기 특정 카메라를 제외한 적어도 하나의 주변 카메라로부터 상기 제(t-k) 시점에 대응되는 적어도 하나의 주변 제(t-k) 이미지가 추가로 획득되면, 상기 오염도 추정 장치가, 상기 특정 제(t-k) 3차원 포인트 정보를 상기 주변 제(t-k) 이미지에 추가로 투영함으로써 상기 제(t-k) 시점에 대응되는 적어도 하나의 주변 제(t-k) 이미지 포인트 정보를 추가로 획득하고, 상기 (c) 단계에서, 상기 오염도 추정 장치가, 상기 주변 제(t-k) 이미지 포인트 정보에 대응되는 적어도 하나의 주변 제(t-k) 특징 정보 중 적어도 일부를 추가로 참조하여 상기 특정 카메라의 포인트 기반 오염도를 획득하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (b) 단계에서, 상기 주변 카메라로부터 상기 제t 시점에 대응되는 적어도 하나의 주변 제t 이미지가 추가로 획득되면, 상기 오염도 추정 장치가, 상기 변환 제(t-k) 3차원 포인트 정보를 상기 주변 제t 이미지에 추가로 투영함으로써 상기 제t 시점에 대응되는 적어도 하나의 주변 제t 이미지 포인트 정보를 추가로 획득하고, 상기 (c) 단계에서, 상기 오염도 추정 장치가, 상기 주변 제t 이미지 포인트 정보에 대응되는 적어도 하나의 주변 제t 특징 정보 중 적어도 일부를 추가로 참조하여 상기 특정 카메라의 포인트 기반 오염도를 획득하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (c) 단계에서, 상기 오염도 추정 장치가, (i) 상기 특정 제(t-k) 이미지 포인트 정보 중 제i 구역에 속한 이미지 포인트 정보의 제i 특징 정보 중 적어도 일부 및 (ii) 상기 특정 제t 이미지 포인트 정보 중 제j 구역에 속한 이미지 포인트 정보 - 상기 제j 구역에 속한 이미지 포인트 정보는, 상기 제i 구역에 속한 이미지 포인트 정보에 대응되는 3차원 포인트 정보 중 적어도 일부 및 상기 이동체 움직임 정보가 참조되어 획득되는 변환 3차원 포인트 정보가 상기 특정 제t 이미지에 투영됨으로써 획득됨 - 의 제j 특징 정보 중 적어도 일부를 참조하여 상기 제i 구역 및 상기 제j 구역 중 적어도 일부에 대응되는 상기 특정 카메라의 포인트 기반 오염도를 획득하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (c) 단계에서, 상기 오염도 추정 장치가, 상기 제i 특징 정보 중 적어도 일부 및 상기 제j 특징 정보 중 적어도 일부를 참조하여 상기 제i 구역 및 상기 제j 구역 중 적어도 일부에 속한 이미지 포인트 정보를 비오염 이미지 포인트 정보 및 오염 이미지 포인트 정보 중 어느 하나로 분류하고, 다음 수식 ppass_point=wpass_point*Npass_point+(1-wpass_point)*Nfail_point 에 따라 상기 제i 구역 및 상기 제j 구역 중 적어도 일부에 대응되는 상기 특정 카메라의 포인트 기반 오염도를 획득하되, 상기 ppass_point는 상기 특정 카메라의 포인트 기반 오염도이고, 상기 wpass_point는 상기 비오염 이미지 포인트 정보에 대응되는 가중치이며, 상기 Npass_point는 상기 비오염 이미지 포인트 정보에 대응되는 비오염 이미지 포인트의 개수이고, 상기 Nfail_point는 상기 오염 이미지 포인트 정보에 대응되는 오염 이미지 포인트의 개수인 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 wpass_point는 0이상 0.5 미만인 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 특정 제(t-k) 이미지 포인트 정보에 대응되는 선예도(sharpness)는 임계 선예도 이상인 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (a) 단계에서, 상기 오염도 추정 장치가, 상기 특정 제(t-k) 이미지에 바운딩 박스 검출 연산을 적용하여 상기 특정 제(t-k) 이미지 내 객체에 대응되는 이미지 바운딩 박스를 획득하며, 상기 제(t-k) 3차원 포인트 정보가 참조되어 생성되는, 상기 객체에 대응되는 3차원 바운딩 박스를 상기 특정 제(t-k) 이미지에 투영함으로써, 상기 3차원 바운딩 박스에 대응되는 2차원 바운딩 박스를 획득하는 프로세스를 추가로 수행하고, 상기 (c) 단계에서, 상기 오염도 추정 장치가, 상기 이미지 바운딩 박스 및 상기 2차원 바운딩 박스를 추가로 참조하여 상기 특정 카메라의 객체 기반 오염도를 추가로 획득하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (c) 단계에서, 상기 오염도 추정 장치가, 다음 수식 pobject=woverlap_pixel*Noverlap_pixel+(1-woverlap_pixel)*Nnon-overlap 에 따라 상기 특정 카메라의 객체 기반 오염도를 추가로 획득하되, 상기 pobject는 상기 특정 카메라의 객체 기반 오염도이고, 상기 Noverlap_pixel는 상기 이미지 바운딩 박스 및 상기 2차원 바운딩 박스의 오버랩 영역의 픽셀의 개수이며, 상기 woverlap_pixel는 상기 오버랩 영역의 픽셀의 개수에 대응되는 가중치이고, 상기 Nnon-overlap는 2차원 바운딩 박스 고유 영역 - 상기 2차원 바운딩 박스 고유 영역은, 상기 2차원 바운딩 박스의 영역 중 상기 오버랩 영역을 제외한 나머지 영역임 - 의 픽셀의 개수인 것을 특징으로 하는 방법이 개시된다.
본 발명의 다른 태양에 따르면, 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 오염도 추정 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되, 상기 프로세서는, (1) 이동체에 장착된 특정 카메라로부터 제(t-k) 시점에 대응되는 특정 제(t-k) 이미지가 획득되고, 상기 이동체에 장착된 깊이 센서로부터 상기 제(t-k) 시점에 대응되는 복수의 제(t-k) 3차원 포인트 정보가 획득되면, 적어도 하나의 특정 제(t-k) 3차원 포인트 정보를 상기 특정 제(t-k) 이미지에 투영함으로써 상기 제(t-k) 시점에 대응되는 적어도 하나의 특정 제(t-k) 이미지 포인트 정보를 획득하는 프로세스, (2) 상기 특정 카메라로부터 제t 시점에 대응되는 특정 제t 이미지가 획득되고, 상기 깊이 센서로부터 상기 제t 시점에 대응되는 복수의 제t 3차원 포인트 정보가 획득되면, 적어도 하나의 변환 제(t-k) 3차원 포인트 정보 - 상기 변환 제(t-k) 3차원 포인트 정보는, 상기 특정 제(t-k) 3차원 포인트 정보 및 이동체 움직임 정보가 참조되어 획득되며, 상기 이동체 움직임 정보는, 상기 제(t-k) 3차원 포인트 정보 중 적어도 일부 및 상기 제t 3차원 포인트 정보 중 적어도 일부가 참조되어 획득되거나, 상기 제(t-k) 이미지 및 상기 제t 이미지가 참조되어 획득됨 - 를 상기 특정 제t 이미지에 투영함으로써 상기 제t 시점에 대응되는 적어도 하나의 특정 제t 이미지 포인트 정보를 획득하는 프로세스 및 (3) 상기 특정 제(t-k) 이미지 포인트 정보에 대응되는 적어도 하나의 특정 제(t-k) 특징 정보 중 적어도 일부 및 상기 특정 제t 이미지 포인트 정보에 대응되는 적어도 하나의 특정 제t 특징 정보 중 적어도 일부를 참조하여 상기 특정 카메라의 포인트 기반 오염도를 획득하는 프로세스를 수행하는 오염도 추정 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (1) 프로세스에서, 상기 이동체에 장착된 카메라들 중, 상기 특정 카메라를 제외한 적어도 하나의 주변 카메라로부터 상기 제(t-k) 시점에 대응되는 적어도 하나의 주변 제(t-k) 이미지가 추가로 획득되면, 상기 특정 제(t-k) 3차원 포인트 정보를 상기 주변 제(t-k) 이미지에 추가로 투영함으로써 상기 제(t-k) 시점에 대응되는 적어도 하나의 주변 제(t-k) 이미지 포인트 정보를 추가로 획득하고, 상기 (3) 프로세스에서, 상기 주변 제(t-k) 이미지 포인트 정보에 대응되는 적어도 하나의 주변 제(t-k) 특징 정보 중 적어도 일부를 추가로 참조하여 상기 특정 카메라의 포인트 기반 오염도를 획득하는 것을 특징으로 하는 오염도 추정 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 주변 카메라로부터 상기 제t 시점에 대응되는 적어도 하나의 주변 제t 이미지가 추가로 획득되면, 상기 변환 제(t-k) 3차원 포인트 정보를 상기 주변 제t 이미지에 추가로 투영함으로써 상기 제t 시점에 대응되는 적어도 하나의 주변 제t 이미지 포인트 정보를 추가로 획득하고, 상기 (3) 프로세스에서, 상기 주변 제t 이미지 포인트 정보에 대응되는 적어도 하나의 주변 제t 특징 정보 중 적어도 일부를 추가로 참조하여 상기 특정 카메라의 포인트 기반 오염도를 획득하는 것을 특징으로 하는 오염도 추정 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (3) 프로세스에서, (i) 상기 특정 제(t-k) 이미지 포인트 정보 중 제i 구역에 속한 이미지 포인트 정보의 제i 특징 정보 중 적어도 일부 및 (ii) 상기 특정 제t 이미지 포인트 정보 중 제j 구역에 속한 이미지 포인트 정보 - 상기 제j 구역에 속한 이미지 포인트 정보는, 상기 제i 구역에 속한 이미지 포인트 정보에 대응되는 3차원 포인트 정보 중 적어도 일부 및 상기 이동체 움직임 정보가 참조되어 획득되는 변환 3차원 포인트 정보가 상기 특정 제t 이미지에 투영됨으로써 획득됨 - 의 제j 특징 정보 중 적어도 일부를 참조하여 상기 제i 구역 및 상기 제j 구역 중 적어도 일부에 대응되는 상기 특정 카메라의 포인트 기반 오염도를 획득하는 것을 특징으로 하는 오염도 추정 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (3) 프로세스에서, 상기 제i 특징 정보 중 적어도 일부 및 상기 제j 특징 정보 중 적어도 일부를 참조하여 상기 제i 구역 및 상기 제j 구역 중 적어도 일부에 속한 이미지 포인트 정보를 비오염 이미지 포인트 정보 및 오염 이미지 포인트 정보 중 어느 하나로 분류하고, 다음 수식 ppass_point=wpass_point*Npass_point+(1-wpass_point)*Nfail_point 에 따라 상기 제i 구역 및 상기 제j 구역 중 적어도 일부에 대응되는 상기 특정 카메라의 포인트 기반 오염도를 획득하되, 상기 ppass_point는 상기 특정 카메라의 포인트 기반 오염도이고, 상기 wpass_point는 상기 비오염 이미지 포인트 정보에 대응되는 가중치이며, 상기 Npass_point는 상기 비오염 이미지 포인트 정보에 대응되는 비오염 이미지 포인트의 개수이고, 상기 Nfail_point는 상기 오염 이미지 포인트 정보에 대응되는 오염 이미지 포인트의 개수인 것을 특징으로 하는 오염도 추정 장치가 개시된다.
일례로서, 상기 wpass_point는 0이상 0.5 미만인 것을 특징으로 하는 오염도 추정 장치가 개시된다.
일례로서, 상기 특정 제(t-k) 이미지 포인트 정보에 대응되는 선예도(sharpness)는 임계 선예도 이상인 것을 특징으로 하는 오염도 추정 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (1) 프로세스에서, 상기 특정 제(t-k) 이미지에 바운딩 박스 검출 연산을 적용하여 상기 특정 제(t-k) 이미지 내 객체에 대응되는 이미지 바운딩 박스를 획득하며, 상기 제(t-k) 3차원 포인트 정보가 참조되어 생성되는, 상기 객체에 대응되는 3차원 바운딩 박스를 상기 특정 제(t-k) 이미지에 투영함으로써, 상기 3차원 바운딩 박스에 대응되는 2차원 바운딩 박스를 획득하는 프로세스를 추가로 수행하고, 상기 (3) 프로세스에서, 상기 이미지 바운딩 박스 및 상기 2차원 바운딩 박스를 추가로 참조하여 상기 특정 카메라의 객체 기반 오염도를 추가로 획득하는 것을 특징으로 하는 오염도 추정 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (3) 프로세스에서, 다음 수식 pobject=woverlap_pixel*Noverlap_pixel+(1-woverlap_pixel)*Nnon-overlap 에 따라 상기 특정 카메라의 객체 기반 오염도를 추가로 획득하되, 상기 pobject는 상기 특정 카메라의 객체 기반 오염도이고, 상기 Noverlap_pixel는 상기 이미지 바운딩 박스 및 상기 2차원 바운딩 박스의 오버랩 영역의 픽셀의 개수이며, 상기 woverlap_pixel는 상기 오버랩 영역의 픽셀의 개수에 대응되는 가중치이고, 상기 Nnon-overlap는 2차원 바운딩 박스 고유 영역 - 상기 2차원 바운딩 박스 고유 영역은, 상기 2차원 바운딩 박스의 영역 중 상기 오버랩 영역을 제외한 나머지 영역임 - 의 픽셀의 개수인 것을 특징으로 하는 오염도 추정 장치가 개시된다.
본 발명은 하나의 카메라 또는 복수의 카메라를 사용하여 해당 카메라에 오염이 발생했는지 여부를 실시간으로 정확하게 판단하는 효과가 있다.
또한, 본 발명은 이종 센서의 정보를 추가적으로 이용하여 카메라에 오염이 발생했는지 여부를 실시간으로 정확하게 판단하는 효과가 있다.
또한, 본 발명은 카메라에 발생한 오염이 제거될 수 있도록 지원하는 효과가 있다.
또한, 본 발명은 자율주행시스템 또는 첨단 운전자 보조 시스템이 최적의 환경에서 작동하도록 지원하는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 특정 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 오염도 추정 장치를 개략적으로 도시한 것이고,
도 2는 특정 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법을 설명하기 위한 도면이며,
도 3a 및 도 3b는 제(t-k) 시점에 대응되는 특정 제(t-k) 이미지 포인트 정보 및 제t 시점에 대응되는 특정 제t 이미지 포인트 정보를 설명하기 위한 도면이고,
도 4a 및 도 4b는 이미지 상의 구역별로 특정 카메라의 포인트 기반 오염도를 판단하기 위한 방법을 설명하기 위한 도면이며,
도 5a 및 도 5b는 특정 카메라의 객체 기반 오염도를 판단하기 위한 방법을 설명하기 위한 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 카메라에 오염이 발생했는지 여부를 실시간으로 판단하기 위한 오염도 추정 장치(1000)를 개략적으로 도시한 것으로, 오염도 추정 장치(1000)는 카메라에 오염이 발생했는지 여부를 실시간으로 판단하기 위한 인스트럭션들을 저장하는 메모리(1001)와 메모리(1001)에 저장된 인스트럭션들에 대응하여 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 동작을 수행하는 프로세서(1002)를 포함할 수 있다.
구체적으로, 오염도 추정 장치(1000)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.
이와 같이 구성된 오염도 추정 장치(1000)를 이용하여 카메라에 오염이 발생했는지 여부를 실시간으로 판단하기 위한 방법에 대해 도 2 내지 도 5b를 참조하여 설명하면 다음과 같다.
참고로, 아래에서 각각의 구성요소들이 단수로 기재되었다고 하더라도, 복수의 가능성을 배제하는 것은 아니다.
먼저, 오염도 추정 장치(1000)가 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 전체적인 과정에 대해 도 2 및 도 3을 참조하여 설명하기로 한다.
참고로, 도 2에서 빨간색 박스로 표시된 부분을 참조하여, 1개의 특정 카메라 및 1개 이상의 깊이 센서를 이용하여 특정 카메라의 오염도를 판단하는 방법을 먼저 설명하겠다. 이후, 빨간색 박스 외부의 블록들까지 같이 참조로 하여, 1개의 특정 카메라, 1개 이상의 깊이 센서 및 1개 이상의 주변 카메라를 이용하여 특정 카메라의 오염도를 판단하는 방법에 대해서 설명하기로 한다.
우선, 도 2의 빨간색 박스의 내부를 참조하면, 이동체(가령, 차량 또는 로봇 등)에 장착된 특정 카메라로부터 제(t-k) 시점에 대응되는 특정 제(t-k) 이미지가 획득되고, 이동체에 장착된 깊이 센서로부터 제(t-k) 시점에 대응되는 복수의 제(t-k) 3차원 포인트 정보가 획득될 수 있다.
참고로, 깊이 센서에는, 라이다(lidar)가 이용될 수 있으나, 이에 한정되는 것은 아니며, 가령 레이더(radar)와 같이, 주변에 위치하는 객체를 검출하고, 해당 객체까지의 거리를 측정할 수 있는 센서라면 무엇이든지 깊이 센서로서 이용될 수 있다.
그리고, 오염도 추정 장치(1000)는, 적어도 하나의 특정 제(t-k) 3차원 포인트 정보를 특정 제(t-k) 이미지에 투영함으로써 제(t-k) 시점에 대응되는 적어도 하나의 특정 제(t-k) 이미지 포인트 정보를 획득할 수 있다.
참고로, 특정 카메라에 발생한 오염(가령, 특정 카메라 렌즈에 물방울이 맺히는 경우)으로 인해 특정 제(t-k) 이미지 상의 특정 지점(또는 구역)이 뿌옇게 보일 경우, 특정 제(t-k) 이미지 상의 특정 지점에 대응되는 선예도는 일반적으로 낮은 값을 가지게 된다. 따라서, 특정 제(t-k) 이미지 포인트 정보는, 후술할 특정 제t 이미지 포인트 정보와 비교를 하기 위한 기준점으로서, 이에 대응되는 선예도(sharpness)는 임계 선예도 이상일 수 있다.
또한, 오염도 추정 장치(1000)는, 이동체의 특정 지점(가령, 무게 중심)을 원점으로 하는 3차원 좌표계에서의 특정 카메라 및 깊이 센서 각각의 자세에 대한 정보를 참조하여, 특정 제(t-k) 3차원 포인트 정보를 특정 제(t-k) 이미지에 투영할 수 있다. 참고로, 특정 카메라 및 깊이 센서의 캘리브레이션에 관한 내용은 당업자가 쉽게 이해할 수 있는 내용이므로 구체적인 설명을 생략하도록 한다.
그리고, 특정 카메라로부터 제t 시점에 대응되는 특정 제t 이미지가 획득되고, 깊이 센서로부터 제t 시점에 대응되는 복수의 제t 3차원 포인트 정보가 획득될 수 있다.
참고로, (i) 특정 제(t-k) 이미지 및 제(t-k) 3차원 포인트 정보가 획득되는 제(t-k) 시점 및 (ii) 특정 제t 이미지 및 제t 3차원 포인트 정보가 획득되는 제t 시점의 시간차에 대응되는 데이터 획득 주기는, 특정 카메라 또는 깊이 센서의 출력 주기에 대응되도록 설정될 수 있으나, 본 발명이 이에 한정되는 것은 아니며, 가령, 특정 카메라 또는 깊이 센서가 임계치 이상 움직인 것으로 판단되는지에 따라 데이터 획득 주기가 설정될 수도 있다.
그리고, 오염도 추정 장치(1000)는, 적어도 하나의 변환 제(t-k) 3차원 포인트 정보를 특정 제t 이미지에 투영함으로써 제t 시점에 대응되는 적어도 하나의 특정 제t 이미지 포인트 정보를 획득할 수 있다.
참고로, 변환 제(t-k) 3차원 포인트 정보는, 특정 제(t-k) 3차원 포인트 정보 및 이동체 움직임 정보가 참조되어 획득될 수 있다.
또한, 이동체 움직임 정보는, 제(t-k) 3차원 포인트 정보 중 적어도 일부 및 제t 3차원 포인트 정보 중 적어도 일부가 참조되어 획득되거나, 특정 제(t-k) 이미지 및 특정 제t 이미지가 참조되어 획득될 수 있다.
일례로, iterative closest point(ICP) 알고리즘에 따라, 제(t-k) 3차원 포인트 정보 중 적어도 일부 및 제t 3차원 포인트 정보 중 적어도 일부를 이용하여 깊이 센서의 움직임 정보를 획득할 수 있고, 깊이 센서의 움직임 정보를 이용하여 이동체 움직임 정보를 획득할 수 있다.
다른 예로, perspective-n-point(PnP) 알고리즘에 따라, 특정 제(t-k) 이미지 및 특정 제t 이미지를 이용하여 특정 카메라의 움직임 정보를 획득할 수 있고, 특정 카메라의 움직임 정보를 이용하여 이동체 움직임 정보를 획득할 수 있다.
참고로, 상기에서 예로 든 알고리즘(가령, ICP 알고리즘 또는 PnP 알고리즘 등)은 이해를 돕기 위한 것일 뿐, 이동체 움직임 정보를 획득하기 위해 이용되는 알고리즘은 상기 예에 한정되지 않는다.
또 다른 예로, 깊이 센서의 움직임 정보를 이용하여 획득된 이동체 움직임 정보에 따른 특정 제(t-k) 이미지 포인트 정보의 정확도 및 특정 카메라의 움직임 정보를 이용하여 획득된 이동체 움직임 정보에 따른 특정 제(t-k) 이미지 포인트 정보의 정확도를 비교하여, 더 높은 정확도를 가지는 경우(가령, 깊이 센서의 움직임 정보를 이용하여 이동체 움직임 정보를 획득하는 경우)에 따른 이동체 움직임 정보가 선택될 수 있다.
또 다른 예로, 깊이 센서의 움직임 정보 및 특정 카메라의 움직임 정보를 모두 이용하여 이동체 움직임 정보를 획득할 수도 있다.
즉, 오염도 추정 장치(1000)는, 제t 시점에 획득되는 제t 3차원 포인트 정보를 특정 제t 이미지에 투영하는 것이 아니라, 제(t-k) 시점으로부터 제t 시점까지의 이동체 움직임 정보가 반영된 변환 제(t-k) 3차원 포인트 정보를 특정 제t 이미지에 투영할 수 있다.
참고로, 제t 시점은 특정 시점이고, 제(t-k) 시점은 제t 시점보다 시간적으로 이전에 해당되는 이전 시점인 것을 특징으로 하고, 상기 t 와 상기 k는 양수인 것을 특징으로 한다.
이에 대해, 도 3a 및 도 3b를 참조하여 좀 더 구체적인 예를 들어 설명하기로 한다.
특정 카메라가 우측으로 회전하는 상황에서, 도 3a는 제(t-k) 시점에 대응되는 특정 제(t-k) 이미지를 도시하고 있으며, 도 3b는 제t 시점에 대응되는 특정 제t 이미지를 도시하고 있다.
먼저, 도 3a를 참조하면, 제(t-k) 시점에 대응되는 특정 제(t-k) 3차원 포인트 정보(가령, 도 3a의 가운데에 도시된 우측 방향 지시판의 특정 지점에 대응되는 3차원 포인트 정보로서, 가령, 이동체를 기준으로 설정되는 좌표계 상에서 의 좌표를 가지는 3차원 포인트 정보)가 특정 제(t-k) 이미지에 투영됨으로써 획득되는 특정 제(t-k) 이미지 포인트 정보(가령, i1(634, 95))를 확인할 수 있다.
또한, 도 3b를 참조하면, 특정 제(t-k) 3차원 포인트 정보(가령, ) 및 이동체 움직임 정보(가령, 로서, R은 이동체의 회전 행렬, t는 이동체의 이동 벡터를 나타냄)가 참조되어 획득되는 변환 제(t-k) 3차원 포인트 정보(가령, )가, 특정 제t 이미지에 투영됨으로써 획득되는 특정 제t 이미지 포인트 정보(가령, i1'(588, 93))를 확인할 수 있다.
참고로, 특정 제t 이미지 포인트 정보(가령, i1'(588, 93))는, 아래와 같이 특정 카메라의 내부 파라미터 K 및 깊이 w를 변환 제(t-k) 3차원 포인트 정보(p1')에 반영함으로써 획득될 수 있다.
즉, (i) 특정 제(t-k) 3차원 포인트 정보가 특정 제(t-k) 이미지에 투영됨으로써 획득되는 특정 제(t-k) 이미지 포인트 정보 및 (ii) 변환 제(t-k) 3차원 포인트 정보가 특정 제t 이미지에 투영됨으로써 획득되는 특정 제t 이미지 포인트 정보 모두, 우측 방향 지시판의 특정 지점에 대응되는 것을 확인할 수 있다.
즉, 이 경우에는 해당 카메라가 오염되지 않았음을 알 수 있을 것이다.
참고로, 설명의 편의상 도 3a 및 도 3b에서는 1개의 포인트를 이용하여 설명하고 있으나, 이에 한정되는 것은 아니며, 복수의 포인트에 대해서도 동일/유사한 설명이 적용될 수 있다.
그리고, 오염도 추정 장치(1000)가, 특정 제(t-k) 이미지 포인트 정보에 대응되는 적어도 하나의 특정 제(t-k) 특징 정보 중 적어도 일부 및 특정 제t 이미지 포인트 정보에 대응되는 적어도 하나의 특정 제t 특징 정보 중 적어도 일부를 참조하여 특정 카메라의 포인트 기반 오염도를 획득할 수 있다.
참고로, 특징 정보에는, 포인트 정보에 대응되는 픽셀의 밝기, 선예도, 주변 픽셀들의 밝기 패턴 중 적어도 일부에 대한 정보가 포함될 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
가령, 제(t-k) 시점 내지 제t 시점 사이에 특정 카메라 렌즈에 발생한 오염으로 인해서, 도 3b의 제t 이미지에 도시된 우측 방향 지시판 부근이 뿌옇게 보이는 경우를 가정해보면, 특정 제(t-k) 이미지의 특정 제(t-k) 이미지 포인트 정보에 대응되는 특정 제(t-k) 특징 정보 및 특정 제t 이미지의 특정 제t 이미지 포인트 정보에 대응되는 특정 제t 특징 정보는 매우 다른 값을 가지게 될 것이다.
가령, 특정 제(t-k) 이미지 포인트 정보는 우측 방향 지시판의 가장자리에 대응되므로, 특정 제(t-k) 특징 정보는 높은 선예도를 가지는 반면에, 특정 제t 이미지 포인트 정보는 비록 우측 방향 지시판의 가장자리에 대응되나, 카메라 오염으로 인해 이미지가 뿌옇게 보이는 상황이므로, 특정 제t 특징 정보는 낮은 선예도를 가지게 될 것이다.
이와 같이, 오염도 추정 장치(1000)는, 각각의 특징 정보를 참조하여 특정 카메라의 포인트 기반 오염도를 획득할 수 있다.
상기에서는 1개의 카메라(즉, 특정 카메라)로부터 획득되는 이미지를 이용하여 특정 카메라의 오염도를 추정하는 방법에 대해서 설명하였으나, 본 발명이 이에 한정되는 것은 아니다.
가령, 이동체에는 특정 카메라를 포함하는 복수의 카메라가 장착될 수 있으며, 아래에서 설명하는 바와 같이, 복수의 카메라로부터 획득되는 이미지를 이용하여 특정 카메라의 오염도를 추정할 수도 있다.
즉, 도 2의 빨간색 박스의 내부 및 외부를 같이 참조하면, 이동체에 장착된 카메라들 중, 특정 카메라를 제외한 적어도 하나의 주변 카메라로부터 제(t-k) 시점에 대응되는 적어도 하나의 주변 제(t-k) 이미지가 추가로 획득될 수 있다.
그리고, 오염도 추정 장치(1000)는, 특정 제(t-k) 3차원 포인트 정보를 주변 제(t-k) 이미지에 추가로 투영함으로써 제(t-k) 시점에 대응되는 적어도 하나의 주변 제(t-k) 이미지 포인트 정보를 추가로 획득할 수 있다.
그리고, 오염도 추정 장치(1000)는, 주변 제(t-k) 이미지 포인트 정보에 대응되는 적어도 하나의 주변 제(t-k) 특징 정보 중 적어도 일부를 추가로 참조하여 특정 카메라의 포인트 기반 오염도를 획득할 수 있다.
일례로, 특정 카메라 및 주변 카메라가 이동체에 장착된 상태에서, 오염도 추정 장치(1000)는, 특정 제(t-k) 3차원 포인트 정보에 대응되는, 특정 카메라 및 주변 카메라 각각의 특정 제(t-k) 이미지 포인트 정보 및 주변 제(t-k) 이미지 포인트 정보의 특징 정보를 참조할 수 있다.
이때, 오염도 추정 장치(1000)는, 특정 제(t-k) 이미지 포인트 정보에 대응되는 선예도 및 주변 제(t-k) 이미지 포인트 정보에 대응되는 선예도 중 임계 선예도 조건을 만족하는 이미지 포인트 정보(가령, 주변 제(t-k) 이미지 포인트 정보)를 결정하고, 특정 제(t-k) 이미지 포인트 정보에 대응되는 특징 정보가 주변 제(t-k) 이미지 포인트 정보에 대응되는 특징 정보로부터 임계 범위 밖인 경우, 특정 카메라에 오염이 발생한 것으로 판단할 수 있다.
이때, 특정 제(t-k) 이미지 포인트 정보에 대응되는 선예도보다 주변 제(t-k) 이미지 포인트 정보에 대응되는 선예도가 더 큰 경우, 주변 제(t-k) 이미지 포인트 정보의 선예도가 임계 선예도 조건을 만족하는 것으로 볼 수 있다.
이를 확장하면, 특정 카메라, 제1 주변 카메라, 제2 주변 카메라 및 제3 주변 카메라가 이동체에 장착된 상태에서, 오염도 추정 장치(1000)는, 특정 제(t-k) 3차원 포인트 정보에 대응되는, 특정 카메라, 제1 주변 카메라, 제2 주변 카메라 및 제3 주변 카메라 각각의 특정 제(t-k) 이미지 포인트 정보, 제1 주변 제(t-k) 이미지 포인트 정보, 제2 주변 제(t-k) 이미지 포인트 정보 및 제3 주변 제(t-k) 이미지 포인트 정보 각각의 특징 정보를 참조할 수 있다.
만약, 특정 제(t-k) 이미지 포인트 정보에 대응되는 특징 정보가, 제1 주변 제(t-k) 이미지 포인트 정보, 제2 주변 제(t-k) 이미지 포인트 정보 및 제3 주변 제(t-k) 이미지 포인트 정보에 대응되는 특징 정보와는 매우 다른 값을 가질 경우, 오염도 추정 장치(1000)는, 특정 카메라에 오염이 발생한 것으로 판단할 수 있다.
한편, 오염도 추정 장치(1000)는, 제t 시점에 추가로 획득되는 주변 제t 이미지를 추가로 참조하여 특정 카메라에 오염이 발생했는지 여부를 판단할 수 있다.
가령, 적어도 하나의 주변 카메라로부터 제t 시점에 대응되는 적어도 하나의 주변 제t 이미지가 추가로 획득되면, 오염도 추정 장치(1000)는, 변환 제(t-k) 3차원 포인트 정보를 주변 제t 이미지에 추가로 투영함으로써 제t 시점에 대응되는 적어도 하나의 주변 제t 이미지 포인트 정보를 추가로 획득할 수 있다.
그리고, 오염도 추정 장치(1000)는, 주변 제t 이미지 포인트 정보에 대응되는 적어도 하나의 주변 제t 특징 정보 중 적어도 일부를 추가로 참조하여 특정 카메라의 포인트 기반 오염도를 획득할 수 있다.
한편, 오염도 추정 장치(1000)는, 특정 카메라로부터 획득되는 이미지에 대해서 이미지 상의 구역 별로 오염도를 판단할 수 있다.
일례로, 오염도 추정 장치(1000)는, (i) 특정 제(t-k) 이미지 포인트 정보 중 제i 구역에 속한 이미지 포인트 정보의 제i 특징 정보 중 적어도 일부 및 (ii) 특정 제t 이미지 포인트 정보 중 제j 구역에 속한 이미지 포인트 정보의 제j 특징 정보 중 적어도 일부를 참조하여 제i 구역 및 제j 구역 중 적어도 일부에 대응되는 특정 카메라의 포인트 기반 오염도를 획득할 수 있다.
참고로, 제j 구역에 속한 이미지 포인트 정보는, 제i 구역에 속한 이미지 포인트 정보에 대응되는 3차원 포인트 정보 중 적어도 일부 및 이동체 움직임 정보가 참조되어 획득되는 변환 3차원 포인트 정보가 특정 제t 이미지에 투영됨으로써 획득될 수 있다.
구체적으로, 오염도 추정 장치(1000)는, 제i 특징 정보 중 적어도 일부 및 제j 특징 정보 중 적어도 일부를 참조하여 제i 구역 및 제j 구역 중 적어도 일부에 속한 이미지 포인트 정보를 비오염 이미지 포인트 정보 및 오염 이미지 포인트 정보 중 어느 하나로 분류하고, 다음 수식
ppass_point=wpass_point*Npass_point+(1-wpass_point)*Nfail_point
에 따라 가중 평균을 통해 제i 구역 및 제j 구역 중 적어도 일부에 대응되는 특정 카메라의 포인트 기반 오염도를 획득할 수 있다.
참고로, ppass_point는 특정 카메라의 포인트 기반 오염도이고, wpass_point는 비오염 이미지 포인트 정보에 대응되는 가중치이며, Npass_point는 비오염 이미지 포인트 정보에 대응되는 비오염 이미지 포인트의 개수이고, Nfail_point는 오염 이미지 포인트 정보에 대응되는 오염 이미지 포인트의 개수일 수 있다. 이때, wpass_point는 0이상 0.5 미만일 수 있다.
도 4a를 참조하면, 특정 제(t-k) 3차원 포인트 정보가 특정 제(t-k) 이미지에 투영된 특정 제(t-k) 이미지 포인트 정보 중 제i 구역(410)에 속한 이미지 포인트 정보를 확인할 수 있으며, 도 4b를 참조하면, 변환 제(t-k) 3차원 포인트 정보가 특정 제t 이미지에 투영된 특정 제t 이미지 포인트 정보 중 제j 구역(420)에 속한 이미지 포인트 정보를 확인할 수 있다.
이때, 도 4a를 참조하면, 특정 제(t-k) 이미지가 획득될 당시에는 특정 카메라에 오염이 발생하지 않았기에, 특정 제(t-k) 이미지의 제i 구역(410)에 위치하는 트럭의 우측 상단 지점(가령, 제1 특정 지점(411))이 선명하게 보이는 반면에, 도 4b를 참조하면, 특정 제(t-k) 시점 내지 특정 제t 시점 사이에 특정 카메라에 발생한 오염으로 인해, 특정 제t 이미지의 제j 구역(420)에 위치하는 해당 트럭의 우측 상단 지점(가령, 제2 특정 지점(421))이 흐리게 보이는 것을 확인할 수 있다.
이에 따라, 제1 특정 지점(411)에 대응되는 특정 제(t-k) 이미지 포인트 정보의 오염 포인트 개수(또는 비오염 포인트 개수) 및 제2 특정 지점(421)에 대응되는 특정 제t 이미지 포인트 정보의 오염 포인트 개수(또는 비오염 포인트 개수)가 서로 달라질 수 있다.
즉, 제1 특정 지점(411)에 대응되는 특정 제(t-k) 이미지 포인트 정보의 제i 특징 정보 및 제2 특정 지점(421)에 대응되는 특정 제t 이미지 포인트 정보의 제j 특징 정보가 매우 다를 것이므로, 오염도 추정 장치(1000)가, 제i 특징 정보 중 적어도 일부 및 제j 특징 정보 중 적어도 일부를 참조하여 특정 카메라에 오염이 발생했는지 여부를 정확하게 판단할 수 있다.
한편, 상기에서는 이미지 포인트 정보에 기반하여 특정 카메라의 오염도를 추정하는 방법에 대해 설명하였으나, 본 발명이 이에 한정되는 것은 아니다.
일례로, 오염도 추정 장치(1000)는, 특정 제(t-k) 이미지에 바운딩 박스 검출 연산을 적용하여 특정 제(t-k) 이미지 내 객체에 대응되는 이미지 바운딩 박스를 획득하며, 제(t-k) 3차원 포인트 정보가 참조되어 생성되는, 객체에 대응되는 3차원 바운딩 박스를 특정 제(t-k) 이미지에 투영함으로써, 3차원 바운딩 박스에 대응되는 2차원 바운딩 박스를 획득하는 프로세스를 추가로 수행할 수 있다.
그리고, 오염도 추정 장치(1000)는, 이미지 바운딩 박스 및 2차원 바운딩 박스를 추가로 참조하여 특정 카메라의 객체 기반 오염도를 추가로 획득할 수 있다.
구체적으로, 오염도 추정 장치(1000)는, 다음 수식
pobject=woverlap_pixel*Noverlap_pixel+(1-woverlap_pixel)*Nnon-overlap
에 따라 특정 카메라의 객체 기반 오염도를 추가로 획득할 수 있다.
참고로, pobject는 특정 카메라의 객체 기반 오염도이고, Noverlap_pixel는 이미지 바운딩 박스 및 2차원 바운딩 박스의 오버랩 영역의 픽셀의 개수이며, woverlap_pixel는 오버랩 영역의 픽셀의 개수에 대응되는 가중치이고, Nnon-overlap는 2차원 바운딩 박스 고유 영역의 픽셀의 개수일 수 있다. 이때, 2차원 바운딩 박스 고유 영역은, 2차원 바운딩 박스의 영역 중 오버랩 영역을 제외한 나머지 영역에 해당한다.
일례로, 도 5a는 이동체 주변에 위치하는 여러 객체들의 제(t-k) 시점에 대응되는 복수의 제(t-k) 3차원 포인트 정보가 이용되어 생성된 3차원 바운딩 박스를 도시하고 있다. 그리고, 도 5b는, 오염도 추정 장치(1000)가, 도 5a에서의 3차원 바운딩 박스를 특정 제(t-k) 이미지에 투영함으로써 획득한 2차원 바운딩 박스를 도시하고 있다.
이와 함께, 오염도 추정 장치(1000)는, 특정 제(t-k) 이미지에 바운딩 박스 검출 연산을 적용하여 특정 제(t-k) 이미지 내 객체에 대응되는 이미지 바운딩 박스를 획득할 수 있다. 참고로, 이미지 상의 객체에 대한 바운딩 박스를 검출하는 다양한 방식에 대해서는 통상의 기술자가 용이하게 이해하고 있을 것인 바, 구체적인 설명은 생략하기로 한다.
그리고, 오염도 추정 장치(1000)는, 특정 제(t-k) 이미지 상에서, 이미지 바운딩 박스가 점유하는 영역 및 2차원 바운딩 박스가 점유하는 영역이 겹치는 정도를 참조하여 특정 카메라의 객체 기반 오염도를 추가로 획득할 수 있다.
그리고, 위와 같이 포인트 기반 오염도 및 객체 기반 오염도가 획득되면, 오염도 추정 장치(1000)는, 포인트 기반 오염도 및 객체 기반 오염도 중 적어도 일부를 참조하여 카메라가 오염되었는지 여부를 판단할 수 있다.
일례로, 객체 기반 오염도는 임계 오염도 미만이고, 포인트 기반 오염도는 임계 오염도 이상인 것으로 판단되면, 오염도 추정 장치(1000)는, 특정 카메라가 오염된 것으로 판단할 수 있다.
다른 예로, 객체 기반 오염도는 임계 오염도 이상이고, 포인트 기반 오염도는 임계 오염도 미만인 것으로 판단되면, 오염도 추정 장치(1000)는, 특정 카메라가 오염된 것으로 판단할 수 있다.
또 다른 예로, 객체 기반 오염도 및 포인트 기반 오염도 모두 임계 오염도 이상인 것으로 판단되면, 오염도 추정 장치(1000)는, 특정 카메라가 오염된 것으로 판단할 수 있다.
그리고, 카메라가 오염된 것으로 판단되면, 오염도 추정 장치(1000)는, 카메라 오염 정보(가령, 카메라가 오염되었다는 정보, 오염이 발생한 지점에 대한 정보, 오염의 강도(intensity)에 대한 정보 등)를 자율주행시스템 또는 사용자 단말로 전송함으로써, 카메라에 발생한 오염이 제거되도록 지원할 수 있게 된다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (18)

  1. 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법에 있어서,
    (a) 이동체에 장착된 특정 카메라로부터 제(t-k) 시점에 대응되는 특정 제(t-k) 이미지가 획득되고, 상기 이동체에 장착된 깊이 센서로부터 상기 제(t-k) 시점에 대응되는 복수의 제(t-k) 3차원 포인트 정보가 획득되면, 오염도 추정 장치가, 적어도 하나의 특정 제(t-k) 3차원 포인트 정보를 상기 특정 제(t-k) 이미지에 투영함으로써 상기 제(t-k) 시점에 대응되는 적어도 하나의 특정 제(t-k) 이미지 포인트 정보를 획득하는 단계;
    (b) 상기 특정 카메라로부터 제t 시점에 대응되는 특정 제t 이미지가 획득되고, 상기 깊이 센서로부터 상기 제t 시점에 대응되는 복수의 제t 3차원 포인트 정보가 획득되면, 상기 오염도 추정 장치가, 적어도 하나의 변환 제(t-k) 3차원 포인트 정보 - 상기 변환 제(t-k) 3차원 포인트 정보는, 상기 특정 제(t-k) 3차원 포인트 정보 및 이동체 움직임 정보가 참조되어 획득되며, 상기 이동체 움직임 정보는, 상기 제(t-k) 3차원 포인트 정보 중 적어도 일부 및 상기 제t 3차원 포인트 정보 중 적어도 일부가 참조되어 획득되거나, 상기 제(t-k) 이미지 및 상기 제t 이미지가 참조되어 획득됨 - 를 상기 특정 제t 이미지에 투영함으로써 상기 제t 시점에 대응되는 적어도 하나의 특정 제t 이미지 포인트 정보를 획득하는 단계; 및
    (c) 상기 오염도 추정 장치가, 상기 특정 제(t-k) 이미지 포인트 정보에 대응되는 적어도 하나의 특정 제(t-k) 특징 정보 중 적어도 일부 및 상기 특정 제t 이미지 포인트 정보에 대응되는 적어도 하나의 특정 제t 특징 정보 중 적어도 일부를 참조하여 상기 특정 카메라의 포인트 기반 오염도를 획득하는 단계;
    를 포함하되,
    상기 제t 시점은 특정 시점이고, 상기 제(t-k) 시점은 상기 제t 시점보다 시간적으로 이전에 해당되는 이전 시점인 것을 특징으로 하고, 상기 t 와 상기 k는 양수인 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 이동체에 장착된 카메라들 중, 상기 특정 카메라를 제외한 적어도 하나의 주변 카메라로부터 상기 제(t-k) 시점에 대응되는 적어도 하나의 주변 제(t-k) 이미지가 추가로 획득되면, 상기 오염도 추정 장치가, 상기 특정 제(t-k) 3차원 포인트 정보를 상기 주변 제(t-k) 이미지에 추가로 투영함으로써 상기 제(t-k) 시점에 대응되는 적어도 하나의 주변 제(t-k) 이미지 포인트 정보를 추가로 획득하고,
    상기 (c) 단계에서,
    상기 오염도 추정 장치가, 상기 주변 제(t-k) 이미지 포인트 정보에 대응되는 적어도 하나의 주변 제(t-k) 특징 정보 중 적어도 일부를 추가로 참조하여 상기 특정 카메라의 포인트 기반 오염도를 획득하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 (b) 단계에서,
    상기 주변 카메라로부터 상기 제t 시점에 대응되는 적어도 하나의 주변 제t 이미지가 추가로 획득되면, 상기 오염도 추정 장치가, 상기 변환 제(t-k) 3차원 포인트 정보를 상기 주변 제t 이미지에 추가로 투영함으로써 상기 제t 시점에 대응되는 적어도 하나의 주변 제t 이미지 포인트 정보를 추가로 획득하고,
    상기 (c) 단계에서,
    상기 오염도 추정 장치가, 상기 주변 제t 이미지 포인트 정보에 대응되는 적어도 하나의 주변 제t 특징 정보 중 적어도 일부를 추가로 참조하여 상기 특정 카메라의 포인트 기반 오염도를 획득하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 오염도 추정 장치가, (i) 상기 특정 제(t-k) 이미지 포인트 정보 중 제i 구역에 속한 이미지 포인트 정보의 제i 특징 정보 중 적어도 일부 및 (ii) 상기 특정 제t 이미지 포인트 정보 중 제j 구역에 속한 이미지 포인트 정보 - 상기 제j 구역에 속한 이미지 포인트 정보는, 상기 제i 구역에 속한 이미지 포인트 정보에 대응되는 3차원 포인트 정보 중 적어도 일부 및 상기 이동체 움직임 정보가 참조되어 획득되는 변환 3차원 포인트 정보가 상기 특정 제t 이미지에 투영됨으로써 획득됨 - 의 제j 특징 정보 중 적어도 일부를 참조하여 상기 제i 구역 및 상기 제j 구역 중 적어도 일부에 대응되는 상기 특정 카메라의 포인트 기반 오염도를 획득하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 (c) 단계에서,
    상기 오염도 추정 장치가, 상기 제i 특징 정보 중 적어도 일부 및 상기 제j 특징 정보 중 적어도 일부를 참조하여 상기 제i 구역 및 상기 제j 구역 중 적어도 일부에 속한 이미지 포인트 정보를 비오염 이미지 포인트 정보 및 오염 이미지 포인트 정보 중 어느 하나로 분류하고, 다음 수식
    ppass_point=wpass_point*Npass_point+(1-wpass_point)*Nfail_point
    에 따라 상기 제i 구역 및 상기 제j 구역 중 적어도 일부에 대응되는 상기 특정 카메라의 포인트 기반 오염도를 획득하되,
    상기 ppass_point는 상기 특정 카메라의 포인트 기반 오염도이고, 상기 wpass_point는 상기 비오염 이미지 포인트 정보에 대응되는 가중치이며, 상기 Npass_point는 상기 비오염 이미지 포인트 정보에 대응되는 비오염 이미지 포인트의 개수이고, 상기 Nfail_point는 상기 오염 이미지 포인트 정보에 대응되는 오염 이미지 포인트의 개수인 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 wpass_point는 0이상 0.5 미만인 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 특정 제(t-k) 이미지 포인트 정보에 대응되는 선예도(sharpness)는 임계 선예도 이상인 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 오염도 추정 장치가, 상기 특정 제(t-k) 이미지에 바운딩 박스 검출 연산을 적용하여 상기 특정 제(t-k) 이미지 내 객체에 대응되는 이미지 바운딩 박스를 획득하며, 상기 제(t-k) 3차원 포인트 정보가 참조되어 생성되는, 상기 객체에 대응되는 3차원 바운딩 박스를 상기 특정 제(t-k) 이미지에 투영함으로써, 상기 3차원 바운딩 박스에 대응되는 2차원 바운딩 박스를 획득하는 프로세스를 추가로 수행하고,
    상기 (c) 단계에서,
    상기 오염도 추정 장치가, 상기 이미지 바운딩 박스 및 상기 2차원 바운딩 박스를 추가로 참조하여 상기 특정 카메라의 객체 기반 오염도를 추가로 획득하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 (c) 단계에서,
    상기 오염도 추정 장치가, 다음 수식
    pobject=woverlap_pixel*Noverlap_pixel+(1-woverlap_pixel)*Nnon-overlap
    에 따라 상기 특정 카메라의 객체 기반 오염도를 추가로 획득하되,
    상기 pobject는 상기 특정 카메라의 객체 기반 오염도이고, 상기 Noverlap_pixel는 상기 이미지 바운딩 박스 및 상기 2차원 바운딩 박스의 오버랩 영역의 픽셀의 개수이며, 상기 woverlap_pixel는 상기 오버랩 영역의 픽셀의 개수에 대응되는 가중치이고, 상기 Nnon-overlap는 2차원 바운딩 박스 고유 영역 - 상기 2차원 바운딩 박스 고유 영역은, 상기 2차원 바운딩 박스의 영역 중 상기 오버랩 영역을 제외한 나머지 영역임 - 의 픽셀의 개수인 것을 특징으로 하는 방법.
  10. 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 오염도 추정 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되,
    상기 프로세서는, (1) 이동체에 장착된 특정 카메라로부터 제(t-k) 시점에 대응되는 특정 제(t-k) 이미지가 획득되고, 상기 이동체에 장착된 깊이 센서로부터 상기 제(t-k) 시점에 대응되는 복수의 제(t-k) 3차원 포인트 정보가 획득되면, 적어도 하나의 특정 제(t-k) 3차원 포인트 정보를 상기 특정 제(t-k) 이미지에 투영함으로써 상기 제(t-k) 시점에 대응되는 적어도 하나의 특정 제(t-k) 이미지 포인트 정보를 획득하는 프로세스, (2) 상기 특정 카메라로부터 제t 시점에 대응되는 특정 제t 이미지가 획득되고, 상기 깊이 센서로부터 상기 제t 시점에 대응되는 복수의 제t 3차원 포인트 정보가 획득되면, 적어도 하나의 변환 제(t-k) 3차원 포인트 정보 - 상기 변환 제(t-k) 3차원 포인트 정보는, 상기 특정 제(t-k) 3차원 포인트 정보 및 이동체 움직임 정보가 참조되어 획득되며, 상기 이동체 움직임 정보는, 상기 제(t-k) 3차원 포인트 정보 중 적어도 일부 및 상기 제t 3차원 포인트 정보 중 적어도 일부가 참조되어 획득되거나, 상기 제(t-k) 이미지 및 상기 제t 이미지가 참조되어 획득됨 - 를 상기 특정 제t 이미지에 투영함으로써 상기 제t 시점에 대응되는 적어도 하나의 특정 제t 이미지 포인트 정보를 획득하는 프로세스 및 (3) 상기 특정 제(t-k) 이미지 포인트 정보에 대응되는 적어도 하나의 특정 제(t-k) 특징 정보 중 적어도 일부 및 상기 특정 제t 이미지 포인트 정보에 대응되는 적어도 하나의 특정 제t 특징 정보 중 적어도 일부를 참조하여 상기 특정 카메라의 포인트 기반 오염도를 획득하는 프로세스를 수행하되, 상기 제t 시점은 특정 시점이고, 상기 제(t-k) 시점은 상기 제t 시점보다 시간적으로 이전에 해당되는 이전 시점인 것을 특징으로 하고, 상기 t 와 상기 k는 양수인 것을 특징으로 하는 오염도 추정 장치.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 (1) 프로세스에서,
    상기 이동체에 장착된 카메라들 중, 상기 특정 카메라를 제외한 적어도 하나의 주변 카메라로부터 상기 제(t-k) 시점에 대응되는 적어도 하나의 주변 제(t-k) 이미지가 추가로 획득되면, 상기 특정 제(t-k) 3차원 포인트 정보를 상기 주변 제(t-k) 이미지에 추가로 투영함으로써 상기 제(t-k) 시점에 대응되는 적어도 하나의 주변 제(t-k) 이미지 포인트 정보를 추가로 획득하고,
    상기 (3) 프로세스에서,
    상기 주변 제(t-k) 이미지 포인트 정보에 대응되는 적어도 하나의 주변 제(t-k) 특징 정보 중 적어도 일부를 추가로 참조하여 상기 특정 카메라의 포인트 기반 오염도를 획득하는 것을 특징으로 하는 오염도 추정 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 (2) 프로세스에서,
    상기 주변 카메라로부터 상기 제t 시점에 대응되는 적어도 하나의 주변 제t 이미지가 추가로 획득되면, 상기 변환 제(t-k) 3차원 포인트 정보를 상기 주변 제t 이미지에 추가로 투영함으로써 상기 제t 시점에 대응되는 적어도 하나의 주변 제t 이미지 포인트 정보를 추가로 획득하고,
    상기 (3) 프로세스에서,
    상기 주변 제t 이미지 포인트 정보에 대응되는 적어도 하나의 주변 제t 특징 정보 중 적어도 일부를 추가로 참조하여 상기 특정 카메라의 포인트 기반 오염도를 획득하는 것을 특징으로 하는 오염도 추정 장치.
  13. 제10항에 있어서,
    상기 프로세서는,
    상기 (3) 프로세스에서,
    (i) 상기 특정 제(t-k) 이미지 포인트 정보 중 제i 구역에 속한 이미지 포인트 정보의 제i 특징 정보 중 적어도 일부 및 (ii) 상기 특정 제t 이미지 포인트 정보 중 제j 구역에 속한 이미지 포인트 정보 - 상기 제j 구역에 속한 이미지 포인트 정보는, 상기 제i 구역에 속한 이미지 포인트 정보에 대응되는 3차원 포인트 정보 중 적어도 일부 및 상기 이동체 움직임 정보가 참조되어 획득되는 변환 3차원 포인트 정보가 상기 특정 제t 이미지에 투영됨으로써 획득됨 - 의 제j 특징 정보 중 적어도 일부를 참조하여 상기 제i 구역 및 상기 제j 구역 중 적어도 일부에 대응되는 상기 특정 카메라의 포인트 기반 오염도를 획득하는 것을 특징으로 하는 오염도 추정 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 (3) 프로세스에서,
    상기 제i 특징 정보 중 적어도 일부 및 상기 제j 특징 정보 중 적어도 일부를 참조하여 상기 제i 구역 및 상기 제j 구역 중 적어도 일부에 속한 이미지 포인트 정보를 비오염 이미지 포인트 정보 및 오염 이미지 포인트 정보 중 어느 하나로 분류하고, 다음 수식
    ppass_point=wpass_point*Npass_point+(1-wpass_point)*Nfail_point
    에 따라 상기 제i 구역 및 상기 제j 구역 중 적어도 일부에 대응되는 상기 특정 카메라의 포인트 기반 오염도를 획득하되,
    상기 ppass_point는 상기 특정 카메라의 포인트 기반 오염도이고, 상기 wpass_point는 상기 비오염 이미지 포인트 정보에 대응되는 가중치이며, 상기 Npass_point는 상기 비오염 이미지 포인트 정보에 대응되는 비오염 이미지 포인트의 개수이고, 상기 Nfail_point는 상기 오염 이미지 포인트 정보에 대응되는 오염 이미지 포인트의 개수인 것을 특징으로 하는 오염도 추정 장치.
  15. 제14항에 있어서,
    상기 wpass_point는 0이상 0.5 미만인 것을 특징으로 하는 오염도 추정 장치.
  16. 제10항에 있어서,
    상기 특정 제(t-k) 이미지 포인트 정보에 대응되는 선예도(sharpness)는 임계 선예도 이상인 것을 특징으로 하는 오염도 추정 장치.
  17. 제10항에 있어서,
    상기 프로세서는,
    상기 (1) 프로세스에서,
    상기 특정 제(t-k) 이미지에 바운딩 박스 검출 연산을 적용하여 상기 특정 제(t-k) 이미지 내 객체에 대응되는 이미지 바운딩 박스를 획득하며, 상기 제(t-k) 3차원 포인트 정보가 참조되어 생성되는, 상기 객체에 대응되는 3차원 바운딩 박스를 상기 특정 제(t-k) 이미지에 투영함으로써, 상기 3차원 바운딩 박스에 대응되는 2차원 바운딩 박스를 획득하는 프로세스를 추가로 수행하고,
    상기 (3) 프로세스에서,
    상기 이미지 바운딩 박스 및 상기 2차원 바운딩 박스를 추가로 참조하여 상기 특정 카메라의 객체 기반 오염도를 추가로 획득하는 것을 특징으로 하는 오염도 추정 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 (3) 프로세스에서,
    다음 수식
    pobject=woverlap_pixel*Noverlap_pixel+(1-woverlap_pixel)*Nnon-overlap
    에 따라 상기 특정 카메라의 객체 기반 오염도를 추가로 획득하되,
    상기 pobject는 상기 특정 카메라의 객체 기반 오염도이고, 상기 Noverlap_pixel는 상기 이미지 바운딩 박스 및 상기 2차원 바운딩 박스의 오버랩 영역의 픽셀의 개수이며, 상기 woverlap_pixel는 상기 오버랩 영역의 픽셀의 개수에 대응되는 가중치이고, 상기 Nnon-overlap는 2차원 바운딩 박스 고유 영역 - 상기 2차원 바운딩 박스 고유 영역은, 상기 2차원 바운딩 박스의 영역 중 상기 오버랩 영역을 제외한 나머지 영역임 - 의 픽셀의 개수인 것을 특징으로 하는 오염도 추정 장치.
KR1020220111671A 2022-09-02 2022-09-02 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 오염도 추정 장치 KR102672992B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220111671A KR102672992B1 (ko) 2022-09-02 2022-09-02 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 오염도 추정 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220111671A KR102672992B1 (ko) 2022-09-02 2022-09-02 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 오염도 추정 장치

Publications (2)

Publication Number Publication Date
KR20240032547A KR20240032547A (ko) 2024-03-12
KR102672992B1 true KR102672992B1 (ko) 2024-06-10

Family

ID=90300064

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220111671A KR102672992B1 (ko) 2022-09-02 2022-09-02 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 오염도 추정 장치

Country Status (1)

Country Link
KR (1) KR102672992B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100465587B1 (ko) 2004-01-31 2005-01-13 (주)오픈브이알 동시에 다수의 이미지를 촬영하는 3차원 이미지 생성 장치및 방법
KR101812664B1 (ko) 2016-10-28 2017-12-27 한국과학기술원 가분적 외곽선을 가지는 다시점 객체 추출 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110099412A (ko) * 2010-03-02 2011-09-08 삼성전자주식회사 반사맵 및 굴절맵을 이용한 레이 트레이싱 기법에 따른 랜더링 장치 및 방법
KR101801319B1 (ko) * 2015-12-14 2017-11-24 경희대학교 산학협력단 3차원 얼굴 이미지 획득시스템 및 그에 적용되는 조명 장치
KR102497160B1 (ko) * 2020-11-08 2023-02-06 단국대학교 산학협력단 무렌즈 3차원 측정장치 및 이의 운용방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100465587B1 (ko) 2004-01-31 2005-01-13 (주)오픈브이알 동시에 다수의 이미지를 촬영하는 3차원 이미지 생성 장치및 방법
KR101812664B1 (ko) 2016-10-28 2017-12-27 한국과학기술원 가분적 외곽선을 가지는 다시점 객체 추출 방법 및 장치

Also Published As

Publication number Publication date
KR20240032547A (ko) 2024-03-12

Similar Documents

Publication Publication Date Title
CN108242062B (zh) 基于深度特征流的目标跟踪方法、***、终端及介质
US10275649B2 (en) Apparatus of recognizing position of mobile robot using direct tracking and method thereof
US9990736B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
EP2757527B1 (en) System and method for distorted camera image correction
US20230110116A1 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
JP6328327B2 (ja) 画像処理装置及び画像処理方法
US20150036887A1 (en) Method of determining a ground plane on the basis of a depth image
JP2014138420A (ja) 自律車両用の奥行き検知方法及びシステム
KR20150032789A (ko) 어떤 대상의 자기 동작 추정을 위한 방법
JP2009064410A (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
JP7173471B2 (ja) ３次元位置推定装置及びプログラム
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
CN115496923B (zh) 一种基于不确定性感知的多模态融合目标检测方法及装置
KR20200102108A (ko) 차량의 객체 검출 장치 및 방법
JP6577595B2 (ja) 車両用外界認識装置
KR102672992B1 (ko) 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 오염도 추정 장치
JP5773334B2 (ja) オプティカルフロー処理装置及び表示半径マップ生成装置
JP2021051348A (ja) 物体距離推定装置及び物体距離推定方法
WO2024142571A1 (ja) 画像処理装置
US20240112363A1 (en) Position estimation system, position estimation method, and program
CN113763560B (zh) 点云数据的生成方法、***、设备及计算机可读存储介质
JP7337165B2 (ja) デジタル画像シーケンスを用いた相対運動の決定方法
JP7439006B2 (ja) 距離推定装置及び距離推定方法
JP2019096031A (ja) 推定プログラム、推定装置、及び推定方法
JP2018194538A (ja) 情報処理装置およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant