KR102541559B1 - 관심 객체를 검출하는 방법 및 장치 - Google Patents

관심 객체를 검출하는 방법 및 장치 Download PDF

Info

Publication number
KR102541559B1
KR102541559B1 KR1020170099018A KR20170099018A KR102541559B1 KR 102541559 B1 KR102541559 B1 KR 102541559B1 KR 1020170099018 A KR1020170099018 A KR 1020170099018A KR 20170099018 A KR20170099018 A KR 20170099018A KR 102541559 B1 KR102541559 B1 KR 102541559B1
Authority
KR
South Korea
Prior art keywords
interest
image
region
detecting
reconstructed image
Prior art date
Application number
KR1020170099018A
Other languages
English (en)
Other versions
KR20190014908A (ko
Inventor
이원주
이재우
지대현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170099018A priority Critical patent/KR102541559B1/ko
Priority to US15/992,234 priority patent/US10599930B2/en
Publication of KR20190014908A publication Critical patent/KR20190014908A/ko
Application granted granted Critical
Publication of KR102541559B1 publication Critical patent/KR102541559B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)

Abstract

일 실시예에 따른 관심 객체를 검출하는 방법 및 장치는 입력 영상을 획득하고, 입력 영상 내에서 하나 이상의 관심 영역을 설정하며, 관심 영역에 대응하여 생성된 복원 영상으로부터 관심 객체를 검출한다.

Description

관심 객체를 검출하는 방법 및 장치{METHOD AND APPARATUS OF DETECTING OBJECTS OF INTEREST}
아래 실시예들은 관심 객체를 검출하는 방법 및 장치에 관한 것이다.
자율 주행(Automatic Driving)은 차량의 주행 중 요구되는 각종 조작을 자동으로 수행하는 것으로, 예를 들어 자율 주행하는 차량은 운전자가 핸들과 가속 페달, 브레이크 등을 조작하지 않아도 스스로 도로에서 달릴 수 있다. 자율 주행을 위한 객체의 인식 및 검출은 차량에서 파악되는 영상을 통해 수행될 수 있다.
자율 주행 시스템에서는 가격과 영상 처리 속도 등을 고려하여 주로 해상도가 낮은 카메라를 객체 검출에 이용한다. 이 경우, 자율 주행 시스템에서 요구하는 인지 거리는 100m 이상인 반면, 100m 이상의 원거리에 있는 객체가 낮은 해상도 영상에서 차지하는 픽셀 수는 극히 적어 객체의 특징을 추출하는 데에 어려움이 있다. 특히, 신호등과 표지판은 경로 탐색 시 반드시 검출해야 하는 객체임에도 불구하고 원거리에 있는 경우, 객체를 확인하기에 어려움이 있다.
일 실시예에 따르면, 관심 객체를 검출하는 방법은 입력 영상을 획득하는 단계; 상기 입력 영상 내에서 하나 이상의 관심 영역(Region Of Interest; ROI)을 설정하는 단계; 상기 관심 영역에 대응하는 복원 영상- 상기 복원 영상은 상기 입력 영상의 해상도보다 높은 해상도를 가짐- 을 생성하는 단계; 및 상기 복원 영상으로부터 관심 객체를 검출하는 단계를 포함한다.
상기 관심 영역을 설정하는 단계는 상기 입력 영상에 포함된 차선 표시(lane marking)를 포함하는 하나 이상의 객체를 검출하는 단계; 및 상기 하나 이상의 객체에 기초하여, 상기 관심 영역을 설정하는 단계를 포함할 수 있다.
상기 관심 영역을 설정하는 단계는 상기 입력 영상에 포함된 차선 표시에 대한 세그먼테이션(Segmentation)을 통해 상기 차선 표시가 수렴하는 도로 소실점을 검출하는 단계; 및 상기 도로 소실점에 대응하는 영역을 상기 관심 영역으로 설정하는 단계를 포함할 수 있다.
상기 관심 영역을 설정하는 단계는 상기 입력 영상 내에 포함된 하나 이상의 객체에 대한 신뢰도 점수를 산출하는 단계; 및 상기 신뢰도 점수에 기초하여 상기 관심 영역을 설정하는 단계를 포함할 수 있다.
상기 신뢰도 점수를 산출하는 단계는 영상 처리 또는 딥 러닝 기반의 바운딩 박스 검출(bounding box detection)을 이용하여 상기 입력 영상 내에 포함된 하나 이상의 객체에 대한 신뢰도 점수를 산출하는 단계를 포함할 수 있다.
상기 관심 영역을 설정하는 단계는 상기 신뢰도 점수가 미리 설정된 임계값에 해당하는지 여부에 따라 상기 바운딩 박스의 영역을 상기 관심 영역으로 설정하는 단계를 포함할 수 있다.
상기 임계값은 상기 객체의 종류에 따라 변경될 수 있다.
상기 복원 영상을 생성하는 단계는 초해상도 기술을 기초로, 상기 관심 영역에 대응하는 영상을 업 샘플링(up-sampling)하여 픽셀 정보를 증대시키는 단계; 및 상기 증대된 픽셀 정보를 이용하여 상기 복원 영상을 생성하는 단계를 포함할 수 있다.
상기 복원 영상을 생성하는 단계는 상기 관심 영역에 대한 복수 개의 영상들을 촬영하는 단계; 및 상기 복수 개의 영상들 중 적어도 일부에 대한 업 스케일링(up-scaling)을 통해 상기 관심 영역에 대한 초해상도(super resolution) 영상을 생성하는 단계를 포함할 수 있다.
상기 입력 영상은 스테레오 영상이고, 상기 복원 영상을 생성하는 단계는 상기 스테레오 영상에 대응하는 복원 영상을 생성하는 단계를 포함하고, 상기 스테레오 영상에 대응하는 복원 영상의 픽셀 차에 기초하여 상기 객체와의 거리를 추정하는 단계를 더 포함할 수 있다.
상기 입력 영상은 차량(vehicle)의 전면(font view) 및 양 측면(side view) 중 적어도 하나의 외부 영상(external image)를 포함할 수 있다.
상기 관심 영역은 상기 입력 영상 내에 포함된 하나 이상의 객체 및 상기 입력 영상의 일부 영역 중 하나 이상을 포함할 수 있다.
상기 객체는 도로 소실점, 도로 표시, 보행자, 차량, 신호등, 도로 표시, 표지판 사람, 동물, 식물, 건물 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 관심 객체를 검출하는 장치는 입력 영상을 획득하는 센서; 및 상기 입력 영상 내에서 하나 이상의 관심 영역을 설정하고, 상기 관심 영역에 대응하는 복원 영상- 상기 복원 영상은 상기 입력 영상의 해상도보다 높은 해상도를 가짐- 을 생성하며, 상기 복원 영상으로부터 관심 객체를 검출하는 프로세서를 포함한다.
상기 프로세서는 상기 입력 영상에 포함된 차선 표시를 포함하는 하나 이상의 객체를 검출하고, 상기 하나 이상의 객체에 기초하여, 상기 관심 영역을 설정할 수 있다.
상기 프로세서는 상기 입력 영상에 포함된 차선 표시에 대한 세그먼테이션을 통해 상기 차선 표시가 수렴하는 도로 소실점을 검출하고, 상기 도로 소실점에 대응하는 영역을 상기 관심 영역으로 설정할 수 있다.
상기 프로세서는 상기 입력 영상 내에 포함된 하나 이상의 객체에 대한 신뢰도 점수를 산출하고, 상기 신뢰도 점수에 기초하여 상기 관심 영역을 설정할 수 있다.
상기 프로세서는 영상 처리 또는 딥 러닝 기반의 바운딩 박스 검출을 이용하여 상기 입력 영상 내에 포함된 하나 이상의 객체에 대한 신뢰도 점수를 산출하고, 상기 신뢰도 점수가 미리 설정된 임계 구간에 해당하는지 여부에 따라 상기 바운딩 박스의 영역을 상기 관심 영역으로 설정할 수 있다.
상기 프로세서는 초해상도 기술을 기초로, 상기 관심 영역에 대응하는 영상을 업 샘플링하여 픽셀 정보를 증대시키고, 상기 증대된 픽셀 정보를 이용하여 상기 복원 영상을 생성할 수 있다.
도 1은 일 실시예에 따른 관심 객체를 검출하는 방법이 수행되는 환경을 설명하기 위한 도면.
도 2 내지 도 3은 실시예들에 따른 관심 객체를 검출하는 방법을 나타낸 흐름도.
도 4 및 도 6은 실시예들에 따라 관심 영역을 설정하는 방법을 나타낸 흐름도.
도 5 및 도 7은 실시예들에 따라 관심 영역을 설정하는 방법을 설명하기 위한 도면.
도 8은 일 실시예에 따라 복원 영상을 생성하는 방법을 설명하기 위한 도면.
도 9 내지 도 10은 실시예들에 따른 관심 객체를 검출하는 장치의 블록도.
본 명세서에 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것이다. 개시된 실시예들은 다양한 다른 형태로 변경되어 실시될 수 있으며 본 명세서의 범위는 개시된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
하기에서 설명될 실시예들은 스마트 차량 등의 증강 현실 내비게이션 (Augmented Reality Navigation) 시스템에서 차선을 표시하거나, 자율 주행 차량의 조향을 돕기 위한 시각 정보를 생성하는 데에 활용될 수 있다. 또한, 실시예들은 차량 내 주행 보조 또는 완전 자율 주행을 위해 설치된 HUD(Head Up Display) 등의 지능 시스템을 포함하는 기기에서 시각 정보(Visual Information)를 해석하여 안전하고 쾌적한 주행을 돕는 데에 사용될 수 있다. 실시예들은 예를 들어, 자율 주행 자동차, 지능형 자동차, 스마트 폰, 및 모바일 기기 등에 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
이하에서 '도로(road)'는 사용자의 차량들이 운행 중인 고속도로, 국도, 지방도, 고속 국도 등을 포함할 수 있다. 도로는 하나 또는 다수 개의 차로(road lane)들을 포함할 수 있다. '주행 차로(road lane)'는 다수 개의 차로들 중 주행 차량이 이용하는(주행 중인) 어느 하나의 차로에 해당할 수 있다. 차로들은 도로 노면 상에 표시된 차선 표시(lane marking)를 통해 서로 구분될 수 있다. 하나의 차로는 차로 좌우에 있는 차선 표시에 의해 구분될 수 있다. '도로 표시(road marking)'는 차량이 운행하는 도로 노면 상에 기재된 표시로서, 중앙선, 유도선 등과 같은 차선 표시, 및 차로 변경선, 좌회전 금지선, 진행 방향 안내선, 횡단 보도 등과 같은 기호, 어린이 보호 구역, 서행 등과 같은 문자 등의 비차선 표시(non-lane marking)를 포함할 수 있다.
도 1은 일 실시예에 따른 관심 객체를 검출하는 방법이 수행되는 환경을 설명하기 위한 도면이다. 도 1을 참조하면, 차량의 전방에 대한 입력 영상(100)이 도시된다.
자율 주행 차량은 도로 상황을 인식할 때에 다양한 촬영 장치를 사용하여 차, 사람, 신호등, 표지판, 차선 등을 촬영한다. 자율 주행 차량은 촬영된 영상으로부터 주변 차량과 차선 정보를 검출하여 충돌 회피를 수행하고, 표지판과 신호등을 식별 및/또는 검출함으로써 경로 탐색 및 종횡 방향 제어를 수행할 수 있다.
자율 주행 차량에서 거리가 멀리 떨어진 물체는 영상에서 차지하는 픽셀 수가 적어 특징 추출에 어려움을 겪으므로 인식률이 크게 감소될 수 있다. 또한 스테레오 영상 기반의 객체 거리 추정 시에는 좌, 우 카메라에서 얻은 영상의 픽셀 차이를 사용하는 경우가 많다. 이 경우, 거리가 먼 객체 또는 크기가 작은 객체의 경우에는 객체가 해당하는 픽셀 수가 적기 때문에 추정 성능이 감소될 수 있다.
입력 영상(100)은 차량에 장착되어 도로 주행 시에 차량의 전방을 향하도록 구성된 촬영 장치를 통해 촬영될 수 있다. 예를 들어, 입력 영상(100)에 도시된 것과 같이 원거리에 있는 표지판, 신호등, 횡단 보도, 보행자 등과 같은 객체는 그 크기가 매우 작기 때문에 영상에서 차지하는 픽셀들의 수가 적을 수 있다. 이에 따라 해당 객체들(원거리에 있는 표지판, 신호등, 보행자 등)에 대한 특징 추출이 용이하지 않아 검출 성능이 주변 차량 또는 근거리에 위치하는 객체들에 대한 검출 성능보다 확연히 떨어질 수 있다. 낮은 검출 성능에 의해 자율 주행 차량이 도로 상에 실제 존재하는 객체들을 제대로 검출하지 못하는 경우 큰 사고로 이어질 수 있다.
일 실시예에서는 입력 영상에서 객체의 해당 픽셀 수가 적거나 또는 객체 검출의 신뢰도가 낮은 경우에 초해상도(super resolution) 기술을 적용하여 관심 영역의 픽셀 정보를 증대시킴으로써 객체 검출 확률과 신뢰도를 높이는 한편, 자율 주행 차량의 경로 탐색 및 충돌 회피 등을 위한 보다 정확한 정보를 제공할 수 있다.
도 2는 일 실시예에 따른 관심 객체를 검출하는 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 관심 객체를 검출하는 장치(이하, '검출 장치')는 입력 영상을 획득한다(210). 입력 영상은 예를 들어, 차량의 도로 주행 시에 차량에 장착되어 차량의 전면(font view), 또는 양 측면(side view) 등을 촬영하도록 구성된 촬영 장치를 통해 획득될 수 있다. 입력 영상은 예를 들어, 차량의 전면 및 양 측면 중 적어도 하나의 외부 영상(external image)를 포함할 수 있다. 입력 영상은 예를 들어, 도 1에 도시된 입력 영상(100)과 같이 차량, 차선, 연석, 인도, 주변 환경 등을 포함하는 도로 영상, 및 도로 노면 영상 등을 포함할 수 있다. 입력 영상은 컬러 영상 이외에도 적외선 영상, 깊이 영상, 스테레오 영상 등과 같이 다양한 영상들을 포함할 수 있다.
검출 장치는 촬영 장치를 이용하여 매 프레임(Frame) 마다 하나 또는 복수 개의 입력 영상들을 획득할 수 있다. 이때, 촬영 장치의 캘리브레이션(Calibration) 정보는 미리 알고 있다고 가정한다. 촬영 장치는 예를 들어, 모노 카메라(mono camera), 3D 스테레오스코픽(stereoscopic) 카메라, 비전 센서(vision sensor), CMOS 이미지 센서(Complementary Metal-Oxide Semiconductor(CMOS) image sensor), 또는 이와 유사한 기능을 수행하는 장치를 포함할 수 있다. 또는 입력 영상은 식별 장치에 포함된 촬영 장치, 또는 식별 장치 이외의 다른 장치에서 캡쳐된 영상일 수 있다.
실시예에 따라서, 검출 장치는 촬영 장치를 통해 촬영된 입력 영상 이외에도 라이다(Light Imaging, Detection, And Ranging; LiDAR) 센서, 레이더(Radar) 센서 등을 이용하여 캡쳐(capture)된 센서 정보를 수신할 수도 있다. 센서 정보는 예를 들어, 입력 영상으로부터 검출된 객체까지의 거리를 지시하는 깊이 정보(depth information)를 포함할 수 있다.
검출 장치는 입력 영상 내에서 하나 이상의 관심 영역(Region Of Interest; ROI)을 설정한다(220). 관심 영역은 예를 들어, 입력 영상 내에 포함된 하나 이상의 객체 및 입력 영상의 일부 영역 중 하나 이상을 포함할 수 있다. 객체(object)는 예를 들어, 주행 차량 이외에 다른 차량, 도로 소실점, 도로 표시, 보행자, 차량, 신호등, 도로 표시, 표지판, 사람, 동물, 식물, 건물 등일 수 있으며, 반드시 이에 한정되는 것은 아니다. 입력 영상의 일부 영역은 하나 이상의 객체가 존재하는 영역, 및 하나 이상의 객체를 포함하는 영역일 수 있다. 또는 입력 영상의 일부 영역은 예를 들어, 도로 경계 부분과 같이 객체와 무관한 별도의 일부 영역일 수 있다.
검출 장치는 예를 들어, 딥 러닝(Deep Learning) 기반의 도로 세그먼테이션(road segmentation)을 통해 도로 소실점을 관심 영역으로 설정하거나 또는 바운딩 박스 검출을 통한 신뢰도 스코어가 낮은 박스를 관심 영역으로 설정할 수 있다. 검출 장치가 관심 영역을 설정하는 방법은 도 3 내지 도 7을 참조하여 구체적으로 설명한다.
검출 장치는 관심 영역에 대응하는 복원 영상을 생성한다(230). 이때, 복원 영상은 입력 영상의 해상도보다 높은 해상도를 가지는 영상으로서, 입력 영상에서 관심 영역에 해당하는 부분이 고해상도 또는 초해상도로 복원된 영상일 수 있다. 예를 들어, 입력 영상이 1280×720 이하의 저해상도를 가지는 영상이라면, 복원 영상은 입력 영상에서 관심 영역에 해당하는 부분이 4K(3840×2160) UHD의 초해상도로 복원된 영상일 수 있다. 복원 영상은 '초해상도(super resolution) 영상'이라 부를 수 있다.
검출 장치는 예를 들어, 초해상도 기술을 기초로, 관심 영역에 대응하는 영상을 업 샘플링(up-sampling)하여 픽셀 정보를 증대시키고, 증대된 픽셀 정보를 이용하여 복원 영상을 생성할 수 있다. 여기서, '초해상도 기술'이란 주변 픽셀 기반의 비선형 함수를 통해 해당 객체의 특징을 보다 선명하게 하는 기술이다. 일 실시예에서는 입력 영상 전체가 아닌 관심 영역에만 초해상 기술을 도입하여 검출이 어려운 객체에 대한 검출 성능을 향상시킬 수 있다. 검출 장치가 복원 영상을 생성하는 구체적인 방법은 도 8을 참조하여 설명한다.
검출 장치는 복원 영상으로부터 관심 객체를 검출한다(240). 검출 장치는 예를 들어, 관심 객체인 도로 표시, 차량 등을 인식하도록 미리 학습된 컨볼루션 신경망(Convolution Neural Network; CNN), 심층 신경망(Deep Neural Network; DNN), 서포트 벡터 머신(Support Vector Machine) 등을 이용하여 복원 영상으로부터 관심 객체를 검출할 수 있다. 컨볼루션 신경망은 다양한 도로 노면 영상의 차선 표시, 횡단 보도 표시 등과 같은 도로 표시, 차량, 사람 등이 미리 학습된 것으로서, 영역 기반(Region-based) 컨볼루션 신경망일 수 있다. 컨볼루션 신경망은 예를 들어, 입력 영상에서 검출하고자 하는 차선 표시 및 비차선 표시의 바운딩 박스와 검출하고자 하는 차선 표시 및 비차선 표시의 종류가 미리 학습된 것일 수 있다.
관심 객체 또한 전술한 객체와 마찬가지로, 주행 차량 이외에 다른 차량, 도로 소실점, 도로 표시, 보행자, 차량, 신호등, 도로 표시, 표지판 사람, 동물, 식물, 건물 등일 수 있으며, 반드시 이에 한정되는 것은 아니다.
일 실시예에서는 다양한 도로 노면 영상의 차선 표시 및/또는 비차선 표시 등을 학습시킨 신경망들을 활용함으로써 다양한 상황에서도 강건(Robust)하게 관심 객체를 검출할 수 있다. 식별 장치는 이 밖에도 다양한 기계 학습(Machine Learning) 방법들을 이용하여 관심 객체를 검출할 수 있다.
실시예에 따라서, 검출 장치는 검출한 관심 객체를 복원 영상 및/또는 입력 영상과 함께 헤드업 디스플레이(Head-Up Display; HUD) 등을 통해 차량의 전면 유리 또는 별도의 스크린에 투사할 수 있다. 검출 장치는 윈드 쉴드 글래스(wind shield glass) 또는 별도의 스크린에 단계(240)에서 검출한 관심 객체를 복원 영상 및/또는 입력 영상과 함께 또는 복원 영상 및/또는 입력 영상에 오버레이(overlay)하여 투사할 수 있다.
자율 주행 차량은 검출 장치로부터 수신한 관심 객체를 포함하는 복원 영상을 이용하여 원거리에 있는 표지판, 보행자 및 신호등을 식별함으로써 경로 탐색 및 종횡 방향 제어를 원활하게 수행할 수 있다. 검출 장치는 예를 들어, 자율 주행 차량에 포함되거나, 또는 자율 주행 차량과 별도의 장치로 구성될 수 있다.
도 3은 다른 실시예에 따른 관심 객체를 검출하는 방법을 나타낸 흐름도이다. 도 3을 참조하면, 검출 장치는 입력 영상을 획득하고(310), 입력 영상에 포함된 차선 표시(lane marking)를 포함하는 하나 이상의 객체를 검출할 수 있다(320).
검출 장치는 하나 이상의 객체에 기초하여, 관심 영역을 설정할 수 있다(330).
검출 장치는 관심 영역에 대응하는 복원 영상을 생성한다(340). 예를 들어, 입력 영상이 스테레오 영상인 경우, 검출 장치는 스테레오 영상에 대응하는 복원 영상을 생성할 수 있다. 검출 장치는 스테레오 영상에 대응하는 복원 영상의 픽셀 차에 기초하여 객체와의 거리를 추정할 수 있다.
검출 장치는 복원 영상으로부터 관심 객체를 검출한다(350).
예를 들어, 차선 표시, 횡단 보도 표시 등은 자율 주행 차량의 경로 탐색 및 충돌 회피 등을 위한 정보를 파악하는 데에 중요한 요소가 될 수 있다. 따라서, 일 실시예에 따른 검출 장치는 우선적으로 입력 영상으로부터 차선 표시, 횡단 보도 표시 등과 같이 미리 정해진 객체를 검출하고, 검출된 객체를 중심으로 하는 일정 범위를 자동적으로 관심 영역으로 설정할 수 있다. 검출 장치는 관심 영역에 초해상도 기술을 적용하여 복원 영상을 생성한 후, 복원 영상에서 객체(관심 객체)를 재검출 함으로써 검출 성능을 향상시킬 수 있다.
또는, 검출 장치는 이전(t-1) 시간의 입력 영상에서의 검출 결과를 통해 현재(t) 시간 혹은 다음(t+1) 시간의 입력 영상에서의 관심 객체를 설정하고, 관심 객체의 영역만을 업 샘플링하여 검출하는 시변(time-varying) 기반의 객체 (재)검출을 수행할 수도 있다. 이때, 초해상도 기술에 기반한 재검출 성능의 이론적 상계치는 업 샘플링한 영상 크기를 갖는 무손실(lossless) 영상에서의 검출 성능으로 결정될 수 있 다.
도 4는 일 실시예에 따라 관심 영역을 설정하는 방법을 나타낸 흐름도이고, 도 5는 도 4의 관심 영역을 설정하는 방법을 설명하기 위한 도면이다.
도 4 및 도 5를 참조하면, 검출 장치는 입력 영상에 포함된 차선 표시에 대한 세그먼테이션(Segmentation)을 통해 차선 표시가 수렴하는 도로 소실점(510)을 검출할 수 있다(410). 일 실시예에서 차선 표시가 수렴하는 지점인 도로 소실점은 자율 주행 차량의 차후 진행 영역에 해당할 수 있다. 도로 소실점 및 도로 소실점의 부근 영역은 향후 경로 설정 및 제어 파라미터 설정에 중요한 부분에 해당할 수 있다. 또한, 검출 장치는 검출된 객체의 크기가 작은 경우, 객체마다의 거리 추정을 위해 초해상도 기술을 적용하여 도로 소실점을 검출할 수 있다. 검출 장치는 입력 영상에 대한 세그먼테이션을 통해 입력 영상에 포함된 차선 표시(lane marking)를 인식하고, 차선 표시가 수렴하는 도로 소실점을 검출할 수 있다.
또는 검출 장치는 입력 영상으로부터 의미(Semantic) 단위로 물체를 분할하고, 분할된 영역이 어떤 의미를 갖는지를 픽셀(Pixel) 단위로 파악하여 각 클래스(class)마다 레이블링(labeling) 함으로써 입력 영상을 세그먼테이션할 수 있다. 이때, 클래스는 예를 들어, 차선, 소실점, 도로, 차량, 인도, 사람, 동물, 하늘, 건물 등과 같이 20개 정도로 분류될 수 있다. 식별 장치는 세그먼테이션 된 입력 영상에 포함된 픽셀 단위의 레이블로부터 차선, 도로 소실점, 차량 등이 어디에 어떻게 존재하는지 정밀하게 검출할 수 있다.
검출 장치는 도로 소실점에 대응하는 영역을 관심 영역으로 설정할 수 있다(420). 관심 영역은 예를 들어, 도 5에서 점선으로 표시된 박스(530)와 같이 설정될 수 있다. '도로 소실점에 대응하는 영역'은 도로 소실점 및 도로 소실점으로부터 일정 범위(또는 일정 거리) 내의 영역으로 이해될 수 있다. 이때, 일정 범위(또는 일정 거리)는 해당 지역의 전체 차로의 개수, 해당 지역의 혼잡도, 신호등, 표지판 및 횡단 보도의 유무 등에 따라 달리 설정될 수 있다. 검출 장치는 예를 들어, 전체 차로의 개수가 많을수록 일정 범위를 확장하여 관심 영역을 박스(531)와 같이 확대할 수 있다. 검출 장치는 전체 차로의 개수가 적을수록 일정 범위를 감축하여 관심 영역을 박스(533)와 같이 축소할 수 있다. 예를 들어, 검출 장치는 편도 4차로를 기준으로 전체 차로의 개수가 4차로 이상인 경우에는 일정 범위를 확장할 수 있다. 검출 장치는 편도 2차로를 기준으로 전체 차로의 개수가 2차로 이하인 경우에는 일정 범위를 축소할 수 있다.
또는 검출 장치는 입력 영상의 해당 지역이 시내 중심부와 같이 혼잡한 지역인 경우, 일정 범위를 확장할 수 있다. 이때, 해당 지역이 혼잡한 지역인지 여부는 검출 장치가 일정 범위 내에 포함된 객체들의 개수를 카운트 함으로써 파악될 수 있다.
이 밖에도, 검출 장치는 도로 소실점의 인근 또는 도로 소실점으로부터 일정 거리 내에 신호등 및/또는 횡단 보도가 있는 경우, 신호등 및/또는 횡단 보도가 일정 범위 내에 포함되도록 일정 범위를 확대 또는 축소할 수 있다.
실시예에 따라서, 검출 장치는 도로 소실점에 해당하는 영역에 초해상 기술을 적용하여 객체까지의 거리를 추정할 수 있다.
도 6은 다른 실시예에 따라 관심 영역을 설정하는 방법을 나타낸 흐름도이고, 도 7은 도 6의 관심 영역을 설정하는 방법을 설명하기 위한 도면이다.
도 6 및 도 7을 참조하면, 검출 장치는 입력 영상 내에 포함된 하나 이상의 객체에 대한 신뢰도 점수를 산출할 수 있다(610). 검출 장치는 예를 들어, 영상 처리 또는 딥 러닝 기반의 바운딩 박스 검출(bounding box detection)을 이용하여 입력 영상 내에 포함된 하나 이상의 객체에 대한 바운딩 박스(710, 730, 750)를 설정하고, 바운딩 박스(710, 730, 750) 내에 포함된 객체에 대한 신뢰도 점수를 산출할 수 있다. 여기서, '신뢰도 점수'는 바운딩 박스에서 해당 객체가 검출될 확률 또는 검출 신뢰도로 이해될 수 있다. 예를 들어, 바운딩 박스(710) 내에 포함된 객체(신호등)에 대한 신뢰도 점수는 0.98이고, 바운딩 박스(730) 내에 포함된 객체(보행자)에 대한 신뢰도 점수는 0.78이며, 바운딩 박스(750) 내에 포함된 객체(횡단 보도 표시)에 대한 신뢰도 점수는 0.62 일 수 있다.
검출 장치는 신뢰도 점수에 기초하여 관심 영역을 설정할 수 있다(620). 검출 장치는 신뢰도 점수가 미리 설정된 임계값에 해당하는지 여부에 따라 바운딩 박스의 영역을 관심 영역으로 설정할 수 있다. 검출 장치는 예를 들어, 신뢰도 점수가 임계값보다 낮거나 또는 신뢰도 점수가 특정 구간에 해당하는 객체에 대응하는 바운딩 박스의 영역을 관심 영역으로 설정할 수 있다.
예를 들어, 미리 설정된 임계값이 0.75라고 하자. 검출 장치는 신뢰도 점수가 임계값 0.75 보다 낮은 바운딩 박스(750)의 영역, 다시 말해 횡단 보도 표시 영역을 관심 영역으로 설정할 수 있다.
이때, 임계값은 바운딩 박스 내에 포함된 객체의 성향(차, 사람, 신호등, 표지판 등) 또는 객체의 클래스(class)에 따라 변경될 수도 있다.
일 실시예에서는 신뢰도 점수가 임계값 이하 또는 특정 구간에 해당하는 객체는 객체의 위치 또는 객체의 식별이 불분명하다는 가정 하에 초해상도 기술을 통해 객체의 특징을 명확히 한 후, 재검출을 수행함으로써 보다 정확한 객체 검출 정보를 자율 주행 차량에게 제공할 수 있다.
도 8은 일 실시예에 따라 복원 영상을 생성하는 방법을 설명하기 위한 도면이다. 도 8을 참조하면, 검출 장치는 관심 영역에 대한 복수 개의 영상들을 촬영할 수 있다(810). 이때, 관심 영역에 대한 복수 개의 영상들은 초해상도 영상에 비해 낮은 해상도의 영상들 또는 입력 영상들일 수 있다. 복수 개의 영상들은 연속 영상들(burst images)일 수 있다.
검출 장치는 복수 개의 영상들 중 적어도 일부에 대한 업 스케일링(up-scaling) 을 통해 관심 영역에 대한 초해상도(super resolution) 영상을 생성할 수 있다(820). 검출 장치는 예를 들어, 낮은 해상도를 갖는 복수 개의 영상들 사이의 상대적인 차이를 이용하여 주파수를 분석함으로써 저해상도 영상들과 고해상도 영상 사이의 관계식을 산출할 수 있다. 검출 장치는 산출한 관계식을 이용하여 관심 영역에 대한 초해상도 영상을 생성할 수 있다.
여기서 '업 스케일링'은 영상에서 부족한 부분을 채워 넣는 방식으로 디지털 영상의 크기를 조정하는 것 또는 해상도를 향상시키는 것으로 이해될 수 있다. 검출 장치는 예를 들어, 최근린 보간법(nearest-neighbor interpolation), 바이리니어 앤 바이큐빅 알고리즘(Bilinear and bicubic algorithms), 에지-디렉티드 보간법(Edge-directed interpolation), 박스 샘플링(Box sampling), 및 딥 컨볼루션 신경망(Deep Convolutional Neural Networks) 등과 같은 다양한 스케일링 알고리즘을 이용하여 복수 개의 영상들 중 적어도 일부에 대한 업 스케일링을 수행함으로써 관심 영역에 대한 초해상도 영상을 생성할 수 있다.
일 실시예에서는 입력 영상의 전체가 아닌 관심 영역에만 초해상 기술을 적용하여 복원 영상, 다시 말해 초해상도 영상을 생성함으로써 관심 객체의 검출 속도 및 검출 정확도를 향상시키는 한편, 프로세서의 부하를 경감시킬 수 있다.
도 9는 일실시예에 따른 관심 객체를 검출하는 장치의 구성을 설명하는 블록도이다. 도 9를 참조하면, 일 실시예에 따른 검출 장치(900)는 카메라(들)(910), 검출부(930), 관심 영역 설정부(950), 초해상 영상 생성부(970), 및 결정부(990)를 포함할 수 있다. 검출부(930), 관심 영역 설정부(950), 초해상 영상 생성부(970), 및 결정부(990)는 하나 또는 복수의 프로세서에 의해 구현될 수 있다.
카메라(910)는 차량의 전방에 대한 외부 영상을 촬영할 수 있다. 카메라(910)는 예를 들어, 컬러 영상으로 차량의 전방을 촬영할 수 있으나, 이로 한정하는 것은 아니다. 또한, 카메라(910)는 복수개가 사용될 수도 있다.
검출부(930)는 객체 검출, 차선 표시 검출 및 거리 추정을 수행할 수 있다.
검출부(930)에서 검출된 객체, 차선 표시 및 거리에 대한 정보는 관심 영역 설정부(950) 및/또는 결정부(990)로 전달될 수 있다. 관심 영역 설정부(950)로 전달된 객체, 차선 표시 및 거리에 대한 정보는 관심 영역 설정부(950)가 관심 영역을 설정하는 데에 이용될 수 있다. 관심 영역 설정부(950)에 의해 설정된 관심 영역에 대한 정보는 초해상 영상 생성부(970)로 전달되어 관심 영역에 대응하는 복원 영상을 생성하는 데에 이용될 수 있다. 초해상 영상 생성부(970)에서 생성된 복원 영상은 검출부(930)로 다시 전달되어 복원 영상으로부터 관심 객체를 검출하는 데에 이용될 수 있다.
또한, 결정부(990)로 전달된 객체, 차선 표시 및 거리에 대한 정보는 결정부(990)가 자율 주행 차량을 위한 주행 경로(driving route)를 탐색하고, 자율 주행 차량의 속력과 방향을 결정하며, 충돌을 회피하기 위한 다양한 제어 파라미터들을 생성하는 데에 이용될 수 있다.
도 10은 일 실시예에 따른 관심 객체를 검출하는 장치의 블록도이다. 도 10을 참조하면, 일 실시예에 따른 검출 장치(1000)는 센서(1010), 및 프로세서(1030)를 포함한다. 또한, 검출 장치(1000)는 메모리(1050), 통신 인터페이스(1070) 및 디스플레이(1090)를 더 포함할 수 있다. 센서(1010), 프로세서(1030), 메모리(1050), 통신 인터페이스(1070) 및 디스플레이(1090)는 통신 버스(1005)를 통해 서로 통신할 수 있다.
센서(1010)는 입력 영상을 획득한다. 센서(1010)는 단수 개일 수도 있고, 복수 개일 수도 있다. 센서(1010)는 예를 들어, 이미지 센서, 비전 센서, 또는 라이다 센서일 수 있으며, 반드시 이에 한정되는 것은 아니다.
프로세서(1030)는 입력 영상 내에서 하나 이상의 관심 영역을 설정하고, 관심 영역에 대응하는 복원 영상을 생성한다. 이때, 복원 영상은 입력 영상의 해상도보다 높은 해상도를 가지는 고해상도 영상 또는 초해상도 영상일수 있다. 프로세서(1030)는 복원 영상으로부터 관심 객체를 검출한다.
프로세서(1030)는 입력 영상에 포함된 차선 표시를 포함하는 하나 이상의 객체를 검출하고, 하나 이상의 객체에 기초하여, 관심 영역을 설정할 수 있다. 프로세서(1030)는 입력 영상에 포함된 차선 표시에 대한 세그먼테이션을 통해 차선 표시가 수렴하는 도로 소실점을 검출하고, 도로 소실점에 대응하는 영역을 관심 영역으로 설정할 수 있다.
프로세서(1030)는 입력 영상 내에 포함된 하나 이상의 객체에 대한 신뢰도 점수를 산출하고, 신뢰도 점수에 기초하여 관심 영역을 설정할 수 있다. 프로세서(1030)는 영상 처리 또는 딥 러닝 기반의 바운딩 박스 검출를 이용하여 입력 영상 내에 포함된 하나 이상의 객체에 대한 신뢰도 점수를 산출할 수 있다. 프로세서(1030)는 신뢰도 점수가 미리 설정된 임계 구간에 해당하는지 여부에 따라 바운딩 박스의 영역을 관심 영역으로 설정할 수 있다.
프로세서(1030)는 초해상도 기술을 기초로, 관심 영역에 대응하는 영상을 업 샘플링(up-sampling)하여 픽셀 정보를 증대시키고, 증대된 픽셀 정보를 이용하여 복원 영상을 생성할 수 있다.
이 밖에도, 프로세서(1030)는 도 1 내지 도 9를 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(1030)는 프로그램을 실행하고, 검출 장치(1000)를 제어할 수 있다. 프로세서(1030)에 의하여 실행되는 프로그램 코드는 메모리(1050)에 저장될 수 있다.
프로세서(1030)는 예를 들어, CPU(Central Processing Unit) 또는 GPU(Graphics Processing Unit)으로 구성될 수 있다.
메모리(1050)는 입력 영상, 및 프로세서(1030)에서 생성된 복원 영상을 저장할 수 있다. 또한, 메모리(1050)는 복원 영상으로부터 검출된 관심 객체에 대한 정보를 저장할 수 있다. 메모리(1050)에 저장된 관심 객체에 대한 정보는 이후 자율 주행 차량이 동일한 지역을 지나가는 경우에 횡단 보도, 표지판, 차선, 주변 지형 등과 같이 변화하지 않는 정보를 빠르게 파악할 수 있도록 재사용될 수 있다. 이는 자율 주행 차량이 출, 퇴근 시에 사용되는 경우에 주로 동일한 경로로 이동하는 점을 고려한 것으로서 메모리(1050)에 이미 저장된 정보를 사용함으로써 객체 검출을 위한 영상 처리 속도를 향상시키는 한편, 프로세서의 처리 부하를 경감시킬 수 있다 메모리(1050)는 휘발성 메모리 또는 비 휘발성 메모리일 수 있다.
통신 인터페이스(1070)는 검출 장치(1000)의 외부에서 캡쳐된 입력 영상 또는 검출 장치(1000)의 외부로부터 수신되는 센서 정보, GPS 정보, 및 맵 정보 등을 수신할 수 있다. 실시예에 따라서, 통신 인터페이스(1070)는 복원 영상에서 검출된 관심 객체 및 복원 영상을 검출 장치(1000)의 외부 또는 헤드 업 디스플레이(HUD)로 전송할 수 있다.
디스플레이(1090)는 복원 영상과 함께 관심 객체를 표시할 수 있다. 디스플레이(1090)는 관심 객체를 포함하는 복원 영상을 입력 영상과 함께 또는 별도로 표시할 수 있다. 예를 들어, 검출 장치(1000)가 차량에 내장(embedded)된 경우, 디스플레이(1090)는 차량에 설치된 헤드 업 디스플레이(HUD)로 구성될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 차량의 주행 시 전면 또는 측면으로부터 외부에 대한 복수의 입력 영상들을 획득하는 단계;
    상기 복수의 입력 영상들 내에서 하나 이상의 관심 영역(Region Of Interest; ROI)을 설정하는 단계;
    상기 관심 영역에 대응하는 복원 영상- 상기 복원 영상은 상기 복수의 입력 영상들의 해상도보다 높은 해상도를 가짐- 을 생성하는 단계; 및
    상기 복원 영상으로부터 관심 객체를 검출하는 단계
    를 포함하고,
    상기 복원 영상을 생성하는 단계는,
    상기 복수의 입력 영상들 사이의 상대적인 차이를 이용하여 주파수를 분석함으로써 저해상도 영상과 고해상도 영상 사이의 관계식을 산출하는 단계;
    상기 관계식을 이용하여 상기 복원 영상을 생성하는 단계를 포함하고,
    상기 관심 객체를 검출하는 단계는,
    적어도 하나의 이전 시간(t-1)의 입력 영상에서의 미리 정해진 객체를 검출한 검출 결과를 통해 현재 시간(t) 또는 다음 시간(t+1)의 입력 영상에서의 관심 객체를 설정하는 단계; 및
    상기 관심 객체의 영역만을 업-샘플링함으로써 시변(time-varying) 기반 재검출하는 단계를 포함하는, 관심 객체를 검출하는 방법.
  2. 제1항에 있어서,
    상기 관심 영역을 설정하는 단계는
    상기 복수의 입력 영상들에 포함된 차선 표시(lane marking)를 포함하는 하나 이상의 객체를 검출하는 단계; 및
    상기 하나 이상의 객체에 기초하여, 상기 관심 영역을 설정하는 단계
    를 포함하는, 관심 객체를 검출하는 방법.
  3. 제1항에 있어서,
    상기 관심 영역을 설정하는 단계는
    상기 복수의 입력 영상들에 포함된 차선 표시에 대한 세그먼테이션(Segmentation)을 통해 상기 차선 표시가 수렴하는 도로 소실점을 검출하는 단계; 및
    상기 도로 소실점에 대응하는 영역을 상기 관심 영역으로 설정하는 단계
    를 포함하는, 관심 객체를 검출하는 방법.
  4. 제1항에 있어서,
    상기 관심 영역을 설정하는 단계는
    상기 복수의 입력 영상들 내에 포함된 하나 이상의 객체에 대한 신뢰도 점수를 산출하는 단계; 및
    상기 신뢰도 점수에 기초하여 상기 관심 영역을 설정하는 단계
    를 포함하는, 관심 객체를 검출하는 방법.
  5. 제4항에 있어서,
    상기 신뢰도 점수를 산출하는 단계는
    영상 처리 또는 딥 러닝 기반의 바운딩 박스 검출(bounding box detection)을 이용하여 상기 복수의 입력 영상들 내에 포함된 하나 이상의 객체에 대한 신뢰도 점수를 산출하는 단계
    를 포함하는, 관심 객체를 검출하는 방법.
  6. 제5항에 있어서,
    상기 관심 영역을 설정하는 단계는
    상기 신뢰도 점수가 미리 설정된 임계값에 해당하는지 여부에 따라 상기 바운딩 박스의 영역을 상기 관심 영역으로 설정하는 단계
    를 포함하는, 관심 객체를 검출하는 방법.
  7. 제1항에 있어서,
    상기 복원 영상을 생성하는 단계는
    초해상도 기술을 기초로, 상기 관심 영역에 대응하는 영상을 업 샘플링(up-sampling)하여 픽셀 정보를 증대시키는 단계; 및
    상기 증대된 픽셀 정보를 이용하여 상기 복원 영상을 생성하는 단계
    를 포함하는, 관심 객체를 검출하는 방법.
  8. 제1항에 있어서,
    상기 복수의 입력 영상들은 스테레오 영상이고,
    상기 복원 영상을 생성하는 단계는
    상기 스테레오 영상에 대응하는 복원 영상을 생성하는 단계
    를 포함하고,
    상기 스테레오 영상에 대응하는 복원 영상의 픽셀 차에 기초하여 상기 관심 객체와의 거리를 추정하는 단계
    를 더 포함하는, 관심 객체를 검출하는 방법.
  9. 제1항에 있어서,
    상기 관심 영역은
    상기 복수의 입력 영상들 내에 포함된 하나 이상의 객체 및 상기 입력 영상의 일부 영역 중 하나 이상을 포함하고,
    상기 객체는
    도로 소실점, 도로 표시, 보행자, 차량, 신호등, 표지판 사람, 동물, 식물, 건물 중 적어도 하나를 포함하는, 관심 객체를 검출하는 방법.
  10. 차량의 주행 시 전면 또는 측면으로부터 외부에 대한 복수의 입력 영상들을 획득하도록 구성된 센서; 및
    상기 복수의 입력 영상들 내에서 하나 이상의 관심 영역을 설정하고, 상기 관심 영역에 대응하는 복원 영상- 상기 복원 영상은 상기 복수의 입력 영상들의 해상도보다 높은 해상도를 가짐- 을 생성하며, 상기 복원 영상으로부터 관심 객체를 검출하며, 적어도 하나의 이전 시간(t-1)의 입력 영상에서의 미리 정해진 객체를 검출한 검출 결과를 통해 현재 시간(t) 또는 다음 시간(t+1)의 입력 영상에서의 관심 객체를 설정하고, 상기 관심 객체의 영역만을 업-샘플링함으로써 시변(time-varying) 기반 재검출하도록 구성된 프로세서
    를 포함하고,
    상기 프로세서는,
    상기 복수의 입력 영상들 사이의 상대적인 차이를 이용하여 주파수를 분석함으로써 저해상도 영상과 고해상도 영상 사이의 관계식을 산출하고, 상기 관계식을 이용하여 상기 복원 영상을 생성하는 것을 특징으로 하는, 관심 객체를 검출하는 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020170099018A 2017-08-04 2017-08-04 관심 객체를 검출하는 방법 및 장치 KR102541559B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170099018A KR102541559B1 (ko) 2017-08-04 2017-08-04 관심 객체를 검출하는 방법 및 장치
US15/992,234 US10599930B2 (en) 2017-08-04 2018-05-30 Method and apparatus of detecting object of interest

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170099018A KR102541559B1 (ko) 2017-08-04 2017-08-04 관심 객체를 검출하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190014908A KR20190014908A (ko) 2019-02-13
KR102541559B1 true KR102541559B1 (ko) 2023-06-08

Family

ID=65230291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170099018A KR102541559B1 (ko) 2017-08-04 2017-08-04 관심 객체를 검출하는 방법 및 장치

Country Status (2)

Country Link
US (1) US10599930B2 (ko)
KR (1) KR102541559B1 (ko)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6735506B2 (ja) * 2016-09-29 2020-08-05 パナソニックＩｐマネジメント株式会社 画像生成装置、および、画像処理システム
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
JP7013727B2 (ja) * 2017-08-25 2022-02-01 株式会社デンソー 車両制御装置
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
US10928207B2 (en) * 2018-03-02 2021-02-23 DeepMap Inc. Camera based localization for autonomous vehicles
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US20200082561A1 (en) * 2018-09-10 2020-03-12 Mapbox, Inc. Mapping objects detected in images to geographic positions
JP6744374B2 (ja) * 2018-09-27 2020-08-19 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
JP2022504713A (ja) 2018-10-11 2022-01-13 テスラ，インコーポレイテッド 拡張データによって機械モデルを訓練するためのシステムおよび方法
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11518384B2 (en) * 2018-12-07 2022-12-06 Thinkware Corporation Method for displaying lane information and apparatus for executing the method
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
KR102576157B1 (ko) * 2019-02-22 2023-09-07 한국전자통신연구원 인공 신경망을 이용한 고속 객체 검출 방법 및 장치
US10853671B2 (en) * 2019-03-06 2020-12-01 Dura Operating, Llc Convolutional neural network system for object detection and lane detection in a motor vehicle
KR102177880B1 (ko) * 2019-03-08 2020-11-12 현대모비스 주식회사 자율주행용 클래스 레이블링 장치
KR102029850B1 (ko) * 2019-03-28 2019-10-08 세종대학교 산학협력단 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법
US10984534B2 (en) * 2019-03-28 2021-04-20 GM Global Technology Operations LLC Identification of attention region for enhancement of sensor-based detection in a vehicle
US11263467B2 (en) * 2019-05-15 2022-03-01 Apical Limited Image processing
KR20200133920A (ko) * 2019-05-21 2020-12-01 현대자동차주식회사 인공신경망 기반의 투사정보 인식 장치 및 그 방법
US10997740B2 (en) * 2019-07-15 2021-05-04 Here Global B.V. Method, apparatus, and system for providing real-world distance information from a monocular image
CN110400333B (zh) * 2019-07-26 2020-06-26 中国安全生产科学研究院 教练式双目立体视觉装置及高精度立体视觉图像获取方法
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
CN110647863B (zh) * 2019-09-30 2024-02-02 重庆元韩汽车技术设计研究院有限公司 用于智能驾驶的视觉信号采集分析***
KR102291740B1 (ko) * 2019-11-26 2021-08-23 주식회사 딥파인 영상처리 시스템
US10981577B1 (en) * 2019-12-19 2021-04-20 GM Global Technology Operations LLC Diagnosing perception system based on scene continuity
KR102430120B1 (ko) * 2019-12-24 2022-08-05 동의대학교 산학협력단 스테레오 기반의 roi 검출 알고리즘의 성능을 향상시키는 방법 및 장치
CN111222420A (zh) * 2019-12-24 2020-06-02 重庆市通信产业服务有限公司 一种基于ftp协议的低带宽要求的安全帽识别方法
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
KR102140805B1 (ko) 2020-05-06 2020-08-03 국방과학연구소 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치
KR102426562B1 (ko) * 2020-07-14 2022-07-29 주식회사 넥스트칩 오브젝트 검출 방법 및 장치
US11210533B1 (en) 2020-08-09 2021-12-28 Phantom AI, Inc. Method of predicting trajectory of vehicle
EP4180842A4 (en) * 2020-10-08 2023-12-20 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREOF
KR102603877B1 (ko) 2020-11-10 2023-11-21 한국교통대학교산학협력단 차량의 정밀 측위 방법 및 장치
WO2022112810A1 (ja) * 2020-11-27 2022-06-02 日産自動車株式会社 車両支援方法及び車両支援装置
KR102254195B1 (ko) * 2020-12-03 2021-05-21 렉스젠(주) 교통 감응 신호에 대한 안내를 제공하기 위한 교통 제어 시스템 및 그에 관한 방법
US11756283B2 (en) * 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
CN112580571A (zh) * 2020-12-25 2021-03-30 北京百度网讯科技有限公司 车辆行驶的控制方法、装置及电子设备
KR102499861B1 (ko) * 2021-04-19 2023-02-15 주식회사우경정보기술 인공지능 기반 객체 재인식 장치
CN114170826B (zh) * 2021-12-03 2022-12-16 地平线(上海)人工智能技术有限公司 自动驾驶控制方法和装置、电子设备和存储介质
KR20230124230A (ko) 2022-02-18 2023-08-25 주식회사 마크애니 영상으로부터 객체를 검출하기 위한 방법 및 장치
KR102638382B1 (ko) * 2023-07-04 2024-02-20 주식회사 포딕스시스템 관심영역 초해상화를 이용한 객체 식별 시스템 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069185A (ja) 2007-09-10 2009-04-02 Toshiba Corp 映像処理装置及び映像処理方法
WO2009091259A1 (en) 2008-01-18 2009-07-23 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Method of improving the resolution of a moving object in a digital image sequence
KR101624210B1 (ko) * 2010-08-27 2016-05-31 한화테크윈 주식회사 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
US9336574B2 (en) * 2013-01-07 2016-05-10 GM Global Technology Operations LLC Image super-resolution for dynamic rearview mirror
JP5561396B1 (ja) * 2013-02-19 2014-07-30 日本電気株式会社 運転支援システムおよび運転支援方法
KR101551904B1 (ko) * 2014-03-06 2015-09-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 저장 공간을 절약하는 차량용 블랙박스의 제어방법
WO2016048108A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
KR20160071242A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
JP6567384B2 (ja) 2015-10-01 2019-08-28 株式会社東芝 情報認識装置、情報認識方法、およびプログラム
KR20170121933A (ko) * 2016-04-26 2017-11-03 삼성에스디에스 주식회사 깊이 센서를 이용한 충돌 회피 방법 및 그 장치
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
한국 공개특허공보 제10-2012-0020008호(2012.03.07.) 1부.*
한국 공개특허공보 제10-2016-0136932호(2016.11.30.) 1부.*
한국 등록특허공보 제10-1551904호(2015.09.09.) 1부.*

Also Published As

Publication number Publication date
KR20190014908A (ko) 2019-02-13
US20190042860A1 (en) 2019-02-07
US10599930B2 (en) 2020-03-24

Similar Documents

Publication Publication Date Title
KR102541559B1 (ko) 관심 객체를 검출하는 방법 및 장치
KR102421855B1 (ko) 주행 차로를 식별하는 방법 및 장치
JP7228652B2 (ja) 物体検出装置、物体検出方法およびプログラム
KR102541561B1 (ko) 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들
KR102628654B1 (ko) 차선을 표시하는 방법 및 장치
KR102499398B1 (ko) 차선 검출 방법 및 장치
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
KR102595897B1 (ko) 차선 결정 방법 및 장치
US11486727B2 (en) Map generation device, map generation method, and map generation computer program
CN111874006B (zh) 路线规划处理方法和装置
KR102633140B1 (ko) 주행 정보를 결정하는 방법 및 장치
US11338807B2 (en) Dynamic distance estimation output generation based on monocular video
KR102628012B1 (ko) 캘리브레이션 방법 및 장치
US11348263B2 (en) Training method for detecting vanishing point and method and apparatus for detecting vanishing point
KR102667741B1 (ko) 3차원 객체를 표시하는 방법 및 장치
KR102541560B1 (ko) 객체 인식 방법 및 장치
CN115147328A (zh) 三维目标检测方法及装置
JP7454685B2 (ja) 車両走行路内のデブリの検出
JP5125214B2 (ja) 障害物検出方法および障害物検出装置
KR20230047040A (ko) 비전 기반 자율 주행 장치 및 그의 동작 방법
KR102677513B1 (ko) 소실점 검출을 위한 학습 방법, 소실점 검출 방법 및 장치
US20240119740A1 (en) Method and apparatus with lane line determination
JP2008140155A (ja) 障害物検出方法、障害物検出プログラムおよび障害物検出装置
EP4377912A1 (en) Method for predicting turn points

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)