KR102424664B1 - 3차원 영상정보 기반 객체 추적 장치 및 방법 - Google Patents

3차원 영상정보 기반 객체 추적 장치 및 방법 Download PDF

Info

Publication number
KR102424664B1
KR102424664B1 KR1020200069944A KR20200069944A KR102424664B1 KR 102424664 B1 KR102424664 B1 KR 102424664B1 KR 1020200069944 A KR1020200069944 A KR 1020200069944A KR 20200069944 A KR20200069944 A KR 20200069944A KR 102424664 B1 KR102424664 B1 KR 102424664B1
Authority
KR
South Korea
Prior art keywords
bounding box
unit
point
generating unit
dimensional
Prior art date
Application number
KR1020200069944A
Other languages
English (en)
Other versions
KR20200070185A (ko
Inventor
김종환
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180002533A external-priority patent/KR102569437B1/ko
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200069944A priority Critical patent/KR102424664B1/ko
Publication of KR20200070185A publication Critical patent/KR20200070185A/ko
Application granted granted Critical
Publication of KR102424664B1 publication Critical patent/KR102424664B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

3차원 영상정보 기반 객체 추적 장치 및 방법이 개시된다. 본 발명의 3차원 영상정보 기반 객체 추적 장치는, 센싱부에 의해 감지된 3차원 영상정보에서 깊이 영상을 획득하고, 획득한 깊이 영상에서 객체 검출 위치에 대응되는 초기 바운딩 박스를 검출하는 초기 바운딩 박스 생성부; 상기 초기 바운딩 박스 생성부에 의해 검출된 초기 바운딩 박스에서 특징점을 검출하고 검출된 특징점 간의 대응점을 탐색하는 대응점 탐색부; 상기 대응점 탐색부에 의해 탐색된 대응점에 대해 백프로젝션을 수행하고 시작점을 기초로 대응점들의 밀도를 비교하여 밀도 유사도에 따라 대응점들을 클러스터링하여 3차원 바운딩 박스를 생성하는 3차원 바운딩 박스 생성부; 상기 대응점 탐색부에 의해 탐색된 대응점으로부터 2차원 바운딩 박스를 생성하는 2차원 바운딩 박스 생성부; 상기 3차원 바운딩 박스 생성부에 의해 생성된 3차원 바운딩 박스와 상기 2차원 바운딩 박스 생성부에 의해 생성된 2차원 바운딩 박스를 이용하여 최종 바운딩 박스를 생성하는 바운딩 박스 병합부; 상기 바운딩 박스 병합부를 통해 생성된 최종 바운딩 박스에서 대표 기준점을 설정하는 대표 기준점 설정부; 및 상기 대표 기준점 설정부에 의해 설정된 대표 기준점을 이용하여 객체의 상태를 갱신하고 다른 프레임에서의 상태를 예측하는 객체 상태 추적부를 포함한다.

Description

3차원 영상정보 기반 객체 추적 장치 및 방법{APPARATUS AND METHOD TRACKING OBJECT BASED ON 3 DIMENSION IMAGES}
본 발명은 3차원 영상정보 기반 객체 추적 장치 및 방법에 관한 것으로서, 보다 상세하게는 특징점 클러스터링 기반으로 객체를 추적함과 더불어 2차원 차량 추적과 3차원 차량 추적을 동시에 수행하는, 3차원 영상정보 기반 객체 추적 장치 및 방법에 관한 것이다.
최근 자동 주행 자동차에 대한 관심이 매우 높아진 가운데, 조금 더 낮은 차원의 첨단 운전자 지원 시스템(Advanced Driver Assistance Systems, ADAS)와 같은 주행 보조 시스템 산업 또한 매우 발전하고 있다.
운전자 지원 시스템은 주행중인 차량의 전방에 다른 차량이나 사람, 신호등, 표지판, 차선 등을 인식하여 사람이 차량을 운전하기 편하게 해주는 시스템이다.
한편, 차량용 센서 분야에서는 차량 전방 환경 인식을 위해 스테레오 카메라와 같은 3차원 공간 인식센서를 많이 적용하고 있다. 이를 활용하는 운전자 지원 시스템에서는 깊이 영상(Depth Map)을 활용하여 객체를 검출한다.
그러나, 깊이 영상에서 에러가 발생할 경우 검출 결과가 부정확하게 나타날 수 있는데, 이는 추적 로직의 성능을 저하시키는 원인이 되며, 객체 인식 시스템의 치명적인 오류로 나타나게 된다.
게다가, 종래에는 장애물로 검출된 바운딩 박스를 보정하지 않아 객체 검출이 정확하게 수행되지 않을 경우 향후에 수행되는 추적이 비정상적으로 이루어지는 문제점이 있었다.
본 발명의 배경기술은 대한민국 공개특허공보 10-2015-0055433호(2015.05.21)의 '대상물체의 극심한 가려짐 및 불확실한 초기 조건하에서 돌극성 기반의 물체 추적 방법'에 개시되어 있다.
본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 부정확한 객체 검출시에도 차량을 강건하게 추적하기 위해 특징점 클러스터링 기반으로 객체를 추적하고 2차원 차량 추적과 3차원 차량 추적을 동시에 수행하여 상호 보완적으로 객체를 추적할 수 있도록 하는, 3차원 영상정보 기반 객체 추적 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 3차원 영상정보 기반 객체 추적 장치는,
센싱부에 의해 감지된 3차원 영상정보에서 깊이 영상을 획득하고, 획득한 깊이 영상에서 객체 검출 위치에 대응되는 초기 바운딩 박스를 검출하는 초기 바운딩 박스 생성부;
상기 초기 바운딩 박스 생성부에 의해 검출된 초기 바운딩 박스에서 특징점을 검출하고 검출된 특징점 간의 대응점을 탐색하는 대응점 탐색부;
상기 대응점 탐색부에 의해 탐색된 대응점에 대해 백프로젝션을 수행하고 시작점을 기초로 대응점들의 밀도를 비교하여 밀도 유사도에 따라 대응점들을 클러스터링하여 3차원 바운딩 박스를 생성하는 3차원 바운딩 박스 생성부;
상기 대응점 탐색부에 의해 탐색된 대응점으로부터 2차원 바운딩 박스를 생성하는 2차원 바운딩 박스 생성부;
상기 3차원 바운딩 박스 생성부에 의해 생성된 3차원 바운딩 박스와 상기 2차원 바운딩 박스 생성부에 의해 생성된 2차원 바운딩 박스를 이용하여 최종 바운딩 박스를 생성하는 바운딩 박스 병합부;
상기 바운딩 박스 병합부를 통해 생성된 최종 바운딩 박스에서 대표 기준점을 설정하는 대표 기준점 설정부; 및
상기 대표 기준점 설정부에 의해 설정된 대표 기준점을 이용하여 객체의 상태를 갱신하고 다른 프레임에서의 상태를 예측하는 객체 상태 추적부를 포함한다.
상기 3차원 바운딩 박스 생성부는 상기 초기 바운딩 박스 생성부에 의해 검출된 초기 바운딩 박스 내 중심점을 3차원으로 이동시킨 대응점을 시작점으로 설정할 수 있다.
상기 3차원 바운딩 박스 생성부는 상기 대응점 탐색부에 의해 검출된 대응점들에 대해, 객체의 색상이나 외측면 및 형태에 따라 제1 주요 대응점과 제2 주요 대응점을 검출하고, 검출된 제1 주요 대응점과 상기 제2 주요 대응점을 육면체 형상의 다수의 복셀 그리드로 분할한 후, 분할된 복셀 그리드에 포함된 대응점들의 밀도 유사도에 따라 대응점을 필터링하여 클러스터링할 수 있다.
상기 바운딩 박스 병합부는 상기 3차원 바운딩 박스 생성부에 의해 생성된 3차원 바운딩 박스와 상기 2차원 바운딩 박스 생성부에 의해 생성된 2차원 바운딩 박스를 선형 결합하여 3차원 바운딩 박스와 2차원 바운딩 박스가 겹쳐진 부분을 최종 바운딩 박스로 설정할 수 있다.
상기 대표 기준점 설정부는 상기 바운딩 박스 병합부를 통해 생성된 최종 바운딩 박스의 중심 대응점을 대표 기준점으로 설정할 수 있다.
본 발명의 일 측면에 따른 3차원 영상정보 기반 객체 추적 방법은,
초기 바운딩 박스 생성부가 센싱부에 의해 감지된 3차원 영상정보에서 깊이 영상을 획득하고, 획득한 깊이 영상에서 객체 검출 위치에 대응되는 초기 바운딩 박스를 검출하는 단계;
대응점 탐색부가 상기 초기 바운딩 박스 생성부에 의해 검출된 초기 바운딩 박스에서 특징점을 검출하고 검출된 특징점 간의 대응점을 탐색하는 단계;
3차원 바운딩 박스 생성부가 상기 대응점 탐색부에 의해 탐색된 대응점에 대해 백프로젝션을 수행하고 시작점을 기초로 대응점들의 밀도를 비교하여 밀도 유사도에 따라 대응점들을 클러스터링하여 3차원 바운딩 박스를 생성하는 단계;
2차원 바운딩 박스 생성부가 상기 대응점 탐색부에 의해 탐색된 대응점으로부터 2차원 바운딩 박스를 생성하는 단계;
바운딩 박스 병합부가 상기 3차원 바운딩 박스 생성부에 의해 생성된 3차원 바운딩 박스와 상기 2차원 바운딩 박스 생성부에 의해 생성된 2차원 바운딩 박스를 이용하여 최종 바운딩 박스를 생성하는 단계;
대표 기준점 설정부가 상기 바운딩 박스 병합부를 통해 생성된 최종 바운딩 박스에서 대표 기준점을 설정하는 단계; 및
객체 상태 추적부가 상기 대표 기준점 설정부에 의해 설정된 대표 기준점을 이용하여 객체의 상태를 갱신하고 다른 프레임에서의 상태를 예측하는 단계를 포함한다.
상기 3차원 바운딩 박스 생성부는 상기 초기 바운딩 박스 생성부에 의해 검출된 초기 바운딩 박스 내 중심점을 3차원으로 이동시킨 대응점을 시작점으로 설정할 수 있다.
상기 3차원 바운딩 박스 생성부는 상기 대응점 탐색부에 의해 검출된 초기 바운딩 박스 내 대응점들에 대해, 객체의 색상이나 외측면 및 형태에 따라 제1 주요 대응점과 제2 주요 대응점을 검출하고, 검출된 제1 주요 대응점과 상기 제2 주요 대응점을 육면체 형상의 다수의 복셀 그리드로 분할한 후, 분할된 복셀 그리드에 포함된 대응점들의 밀도 유사도에 따라 대응점을 필터링하여 클러스터링할 수 있다.
상기 바운딩 박스 병합부는 상기 3차원 바운딩 박스 생성부에 의해 생성된 3차원 바운딩 박스와 상기 2차원 바운딩 박스 생성부에 의해 생성된 2차원 바운딩 박스를 선형 결합하여 겹쳐진 부분을 최종 바운딩 박스로 설정할 수 있다.
상기 대표 기준점 설정부는 상기 바운딩 박스 병합부를 통해 생성된 최종 바운딩 박스의 중심 대응점을 대표 기준점으로 설정할 수 있다.
본 발명의 일 측면에 따른 3차원 영상정보 기반 객체 추적 장치 및 방법은 부정확한 객체 검출시에도 차량을 강건하게 추적하기 위해 특징점 클러스터링 기반으로 객체를 추적하고 2차원 차량 추적과 3차원 차량 추적을 동시에 수행하여 상호 보완적으로 객체를 추적한다.
본 발명의 다른 측면에 따른 3차원 영상정보 기반 객체 추적 장치 및 방법은 객체 검출기의 성능을 좋지 않은 상황에서도 안정적으로 다른 차량의 상태를 유지할 수 있도록 한다.
본 발명의 또 다른 측면에 따른 3차원 영상정보 기반 객체 추적 장치 및 방법은 운전자에게 다른 차량의 속도와 위치를 실시간으로 제공할 수 있어, 전방 충돌 감지나 적응적 상향등과 같은 응용에 사용될 수 있다.
본 발명의 또 다른 측면에 따른 3차원 영상정보 기반 객체 추적 장치 및 방법은 객체 검출 로직에 대한 통합 추적기 적용으로 ECU(Electronic Control Unit) 마진을 감소시킬 수 있으며, 저가의 ECU 구현이 가능하도록 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상정보 기반 객체 추적 장치의 블럭 구성도이다.
도 2는 본 발명의 일 실시예에 따른 클러스터링의 시작점을 선택하는 방법을 개념적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 두 객체를 다른 객체로 판단하는 방법을 개념적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 3차원 바운딩 박스와 2차원 바운딩 박스를 병합하는 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 3차원 영상정보 기반 객체 추적 방법을 도시한 순서도이다.
이하에서는 본 발명의 일 실시예에 따른 3차원 영상정보 기반 객체 추적 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상정보 기반 객체 추적 장치의 블럭 구성도이고, 도 2 는 본 발명의 일 실시예에 따른 클러스터링의 시작점을 선택하는 방법을 개념적으로 나타낸 도면이며, 도 3 은 본 발명의 일 실시예에 따른 두 객체를 다른 객체로 판단하는 방법을 개념적으로 나타낸 도면이며, 도 4 는 본 발명의 일 실시예에 따른 3차원 바운딩 박스와 2차원 바운딩 박스를 병합하는 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3차원 영상정보 기반 객체 추정 장치는 센싱부(10), 초기 바운딩 박스 생성부(20), 대응점 탐색부(30), 3차원 바운딩 박스 생성부(40), 2차원 바운딩 박스 생성부(50), 바운딩 박스 병합부(60), 대표 기준점 설정부(70), 및 객체 상태 추적부(80)를 포함한다.
센싱부(10)는 객체, 예를 들어 전방에 주행 중인 차량을 감지한다. 센싱부(10)로는 스테레오 카메라 또는 3차원 깊이 정보 센서가 포함될 수 있다.
초기 바운딩 박스 생성부(20)는 센싱부(10)에 의해 센싱된 감지 정보, 예를 들어 3차원 영상정보에서 깊이 영상(Depth Map)을 획득하고, 획득한 깊이 영상에서 객체 검출 위치에 대응되는 위치, 즉 초기 바운딩 박스를 검출한다.
즉, 초기 바운딩 박스 생성부(20)는 센싱부(10)에 의해 센싱된 3차원 영상정보를 캘리브레이션(Calibration) 및 정정(Rectification)한 후, 깊이 영상을 획득하고, 획득한 깊이 영상으로부터 획득한 객체 검출 위치에서 초기 바운딩 박스를 획득한다.
대응점 탐색부(30)는 초기 바운딩 박스 생성부(20)에 의해 검출된 초기 바운딩 박스에서 특징점을 검출하고 검출된 특징점 간의 대응점을 탐색한다.
이 경우 대응점 탐색부(30)는 특징점 추출 기법을 이용하여 연속된 두 프레임에서의 특징점 간 대응점을 탐색한다. 여기서, 특징점 추출 기법으로는 Lucas-Kanade Optical Flow가 이용될 수 있다.
3차원 바운딩 박스 생성부(40)는 대응점 탐색부(30)에 의해 탐색된 대응점에 대해 백-프로젝션(Back-Projection)을 수행하고 시작점을 기초로 대상점들을 클러스터링하여 3차원 바운딩 박스를 생성한다.
즉, 3차원 바운딩 박스 생성부(40)는 상기한 대응점 탐색부(30)에 의해 탐색된 대상점들에 대해 깊이 영상과 카메라 내부 파라미터를 이용하여 3차원으로 백-프로젝션한다. 여기서, 카메라 내부 파라미터에는 카메라 내부 초점거리 또는 조리개 타입이 포함될 수 있다.
또한, 3차원 바운딩 박스 생성부(40)는 시작점을 기초로 주변의 대응점과의 대응점 유사도에 따라 클러스터링하여 3차원 바운딩 박스를 생성하는데, 도 2 에 도시된 바와 같이 클러스터링의 시작점과 주변 대상점 간 대상점 유사도를 판별하고, 각 대상점들을 유사도에 따라 클러스터로 할당한다. 여기서, 시작점은 초기 바운딩 박스 생성부(20)에 의해 검출된 초기 바운딩 박스 내 중심점을 3차원으로 이동시킨 대상점이다.
이 경우, 3차원 바운딩 박스 생성부(40)는 대응점 간의 위치, 속도 깊이 정보를 기반으로 시작점과 주변의 대응점 간 대응점 유사도를 판별한다. 이때, 3차원 바운딩 박스 생성부(40)는 각 대상점들에 대해 좌표값을 기반으로 동일한 객체인지 여부를 판별하는데, 도 3 에 도시된 바와 같이 두 대상점 P, Q의 중간 위치의 깊이값 d((P+Q)/2)과 두 대상점의 평균 깊이값 (d(P)+d(Q))/2의 차이가 설정 임계값 이상인지 여부에 따라 다른 객체로 판단한다. 즉, 3차원 바운딩 박스 생성부(40)는 두 대상점 P, Q의 중간 위치의 깊이값 d((P+Q)/2)과 2 대상점의 평균 깊이값 (d(P)+d(Q))/2의 차이가 설정 임계값 이상이면 서로 다른 객체로 판단하여 서로 다른 클러스터로 할당한다.
한편, 3차원 바운딩 박스 생성부(40)는 상기한 바와 같이 대응점 탐색부(30)에 의해 탐색된 대응점에 대해 백-프로젝션을 수행하고 시작점을 기초로 대상점들을 클러스터링하여 3차원 바운딩 박스를 생성하는 것 이외에도 초기 바운딩 박스 생성부(20)에 의해 검출된 초기 바운딩 박스 내 대상점들의 밀도를 비교하여 밀도 유사도에 따라 클러스터링함으로써, 센싱부(10)의 촬영 거리 및 촬영 각도에 따라 발생하는 매칭 오류를 감소시킬 수 있다.
즉, 3차원 바운딩 박스 생성부(40)는 대응점 탐색부(30)에 의해 검출된 대응점 중에서 주요 대상점들을 선정할 수 있다. 이 경우, 3차원 바운딩 박스 생성부(40)는 대상점 클라우드를 이루는 대상점들 중에서 복수의 제1 주요 대상점(key point)들을 선정하고, 3차원 영상정보 대한 대상점 클라우드를 이루는 대상점들 중에서 다수의 제2 주요 대상점들을 선정한다. 이 경우, 3차원 바운딩 박스 생성부(40)는 대상점 클라우드에 대해, 객체의 색상이나, 외측면 및 형태 중 적어도 하나에 따라 대상점 클라우드에서 제1 주요 대상점과 제2 주요 대상점을 선정할 수 있다. 예를 들어, 3차원 바운딩 박스 생성부(40)는 색상이 변하는 부분이나 모델의 외측면이 굴곡지거나 급격히 변형되는 지점을 각각 제1 주요 대상점 및 제2 주요 대상점으로 선정할 수 있다.
이어, 3차원 바운딩 박스 생성부(40)는 대상점 클라우드 중 일부를 걸러내어 대상점 밀도가 상이한 다수의 기준 대상점 클라우드를 생성하는데, 이 경우 공간 분할 및 다운 샘플링을 이용하여 기준 대상점 클라우드를 생성한다.
즉, 3차원 바운딩 박스 생성부(40)는 대상점 클라우드의 3차원 공간을 육면체 형상인 다수의 복셀 그리드로 공간 분할하는데, 이때 복셀 그리드의 크기를 다양하게 변경하고, 변경된 크기의 각 복셀 그리드로 대상점 클라우드의 3차원 공간을 분할하여 다수의 기준 대상점 클라우드를 생성한다.
이어, 3차원 바운딩 박스 생성부(40)는 다운 샘플링을 수행하여 복셀 그리드에 포함된 대상점의 밀도가 기 설정된 값에 도달하도록 복셀 그리드에 포함된 대상점들을 필터링한다. 즉, 3차원 바운딩 박스 생성부(40)는 다운 샘플링을 수행하여 각 기준 대상점 클라우드들의 복셀 그리드에 포함된 대상점들의 밀도를 기설정된 설정 밀도가 되도록 대상점들을 필터링한다.
2차원 바운딩 박스 생성부(50)는 대응점 탐색부(30)에 의해 탐색된 대응점으로부터 2차원 바운딩 박스를 생성한다. 즉, 2차원 바운딩 박스 생성부(50)는 대응점 탐색부(30)에 의해 검출된 대응점을 포함하는 2차원 바운딩 박스를 생성한다.
바운딩 박스 병합부(60)는 3차원 바운딩 박스 생성부(40)에 의해 생성된 3차원 바운딩 박스와 2차원 바운딩 박스 생성부(50)에 의해 생성된 2차원 바운딩 박스를 이용하여 최종 바운딩 박스를 생성한다. 이 경우, 바운딩 박스 병합부(60)는 도 4 에 도시된 바와 같이 3차원 바운딩 박스 생성부(40)에 의해 생성된 3차원 바운딩 박스와 2차원 바운딩 박스 생성부(50)에 의해 생성된 2차원 바운딩 박스를 선형 결합하고, 3차원 바운딩 박스와 2차원 바운딩 박스가 겹쳐진 부분을 최종 바운딩 박스로 설정한다. 이와 같이, 3차원 바운딩 박스와 2차원 바운딩 박스가 선형 결합됨에 따라, 3차원 바운딩 박스 생성부(40)에 의해 클러스터링이 비정상적으로 수행되어 3차원 바운딩 박스가 비정상적으로 커지게 되더라도, 2차원 바운딩 박스에 의해 그 크기가 제한될 수 있다.
대표 기준점 설정부(70)는 바운딩 박스 병합부(60)를 통해 생성된 최종 바운딩 박스에서 대표 기준점을 설정한다. 바운딩 박스 병합부(60)에 의해 생성된 최종 바운딩 박스 내 중심 대상점이 해당 객체의 대표 기준점으로 설정될 수 있다.
객체 상태 추적부(80)는 대표 기준점 설정부(70)에 의해 설정된 대표 기준점을 이용하여 객체의 상태를 갱신하고 다른 프레임에서의 상태를 예측한다. 즉, 객체 상태 추적부(80)는 Constant turn rate and velocity(CTRV) 모션 모델을 기반으로 하는 Extended Information Filter를 사용하여 해당 객체의 상태를 갱신하고, 다음 프레임에서의 상태를 예측한다.
이하 본 발명의 일 실시예에 따른 3차원 영상정보 기반 객체 추적 방법을 도 5 를 참조하여 상세하게 설명한다.
도 5 는 본 발명의 일 실시예에 따른 3차원 영상정보 기반 객체 추적 방법을 도시한 순서도이다.
도 5 를 참조하면, 먼저 센싱부(10), 예를 들어 스테레오 카메라 또는 3차원 깊이 정보 센서는 객체를 감지한다.
센싱부(10)에 의해 객체가 감지됨에 따라, 초기 바운딩 박스 생성부(20)는 센싱부(10)에 의해 센싱된 3차원 영상정보를 캘리브레이션 및 정정하고 깊이 영상을 획득하고, 획득한 깊이 영상에서 객체 검출 위치에 대응되는 위치, 즉 초기 바운딩 박스를 획득한다(S10).
이어, 대응점 탐색부(30)는 초기 바운딩 박스 생성부(20)에 의해 검출된 초기 바운딩 박스에서 특징점을 검출하고 검출된 특징점 간의 대응점을 탐색하는데, 특징점 추출 기법을 이용하여 연속된 두 프레임에서의 특징점 간 대응점을 탐색한다(S20).
3차원 바운딩 박스 생성부(40)는 대응점 탐색부(30)에 의해 탐색된 대응점에 대해 백-프로젝션을 수행하고 시작점을 기초로 대상점들을 클러스터링하여 3차원 바운딩 박스를 생성한다.
즉, 3차원 바운딩 박스 생성부(40)는 상기한 대응점 탐색부(30)에 의해 탐색된 대상점들에 대해 깊이 영상과 카메라 내부 파라미터를 이용하여 3차원으로 백 프로젝션하고, 시작점을 기초로 주변의 대응점과의 대응점 유사도에 따라 클러스터링하여 3차원 바운딩 박스를 생성한다(S30,S40). 이 경우, 3차원 바운딩 박스 생성부(40)는 클러스터링의 시작점과 주변 대상점 간 대상점 유사도를 판별하고, 각 대상점에 대해 그 유사도에 따라 동일한 클러스터로 할당한다.
이 경우, 3차원 바운딩 박스 생성부(40)는 두 대상점 P, Q의 중간 위치의 깊이값 d((P+Q)/2)과 2 대상점의 평균 깊이값 (d(P)+d(Q))/2의 차이가 설정 임계값 이상이면 서로 다른 객체로 판단하여 서로 다른 클러스터로 할당한다.
한편, 3차원 바운딩 박스 생성부(40)는 상기한 바와 같이 대응점 탐색부(30)에 의해 탐색된 대응점에 대해 백-프로젝션을 수행하고 시작점을 기초로 대상점들을 클러스터링하여 3차원 바운딩 박스를 생성하는 것 이외에도 초기 바운딩 박스 생성부(20)에 의해 검출된 초기 바운딩 박스 내 대상점들의 밀도를 비교하여 밀도 유사도에 따라 클러스터링함으로써, 센싱부(10)의 촬영 거리 및 촬영 각도에 따라 발생하는 매칭 오류를 감소시킬 수 있다.
2차원 바운딩 박스 생성부(50)는 대응점 탐색부(30)에 의해 탐색된 대응점으로부터 2차원 바운딩 박스를 생성한다. 즉, 2차원 바운딩 박스 생성부(50)는 대응점 탐색부(30)에 의해 검출된 대응점을 포함하는 2차원 바운딩 박스를 생성한다(S50).
바운딩 박스 병합부(60)는 3차원 바운딩 박스 생성부(40)에 의해 생성된 3차원 바운딩 박스와 2차원 바운딩 박스 생성부(50)에 의해 생성된 2차원 바운딩 박스를 선형 결합하고, 3차원 바운딩 박스와 2차원 바운딩 박스가 겹쳐진 부분을 최종 바운딩 박스로 설정한다(S60).
이어, 대표 기준점 설정부(70)는 바운딩 박스 병합부(60)를 통해 생성된 최종 바운딩 박스에서 대표 기준점을 설정하는데, 바운딩 박스 병합부(60)에 의해 생성된 최종 바운딩 박스 내 중심 대상점을 해당 객체의 대표 기준점으로 설정한다(S70).
마지막으로, 객체 상태 추적부(80)는 대표 기준점 설정부(70)에 의해 설정된 대표 기준점을 이용하여 객체의 상태를 갱신하고 다른 프레임에서의 상태를 예측한다(S80).
이와 같이 본 발명의 일 실시예에 따른 3차원 영상정보 기반 객체 추적 장치 및 방법은 부정확한 객체 검출시에도 차량을 강건하게 추적하기 위해 특징점 클러스터링 기반으로 객체를 추적하고 2차원 차량 추적과 3차원 차량 추적을 동시에 수행하여 상호 보완적으로 객체를 추적한다.
또한, 본 발명의 일 실시예에 따른 3차원 영상정보 기반 객체 추적 장치 및 방법은 객체 검출기의 성능을 좋지 않은 상황에서도 안정적으로 다른 차량의 상태를 유지할 수 있도록 한다.
또한, 본 발명의 일 실시예에 따른 3차원 영상정보 기반 객체 추적 장치 및 방법은 운전자에게 다른 차량의 속도와 위치를 실시간으로 제공할 수 있어, 전방 충돌 감지나 적응적 상향등과 같은 응용에 사용될 수 있다.
또한, 본 발명의 일 실시예에 따른 3차원 영상정보 기반 객체 추적 장치 및 방법은 객체 검출 로직에 대한 통합 추적기 적용으로 ECU(Electronic Control Unit) 마진을 감소시킬 수 있으며, 저가의 ECU 구현이 가능하도록 한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
10: 센싱부
20: 초기 바운딩 박스 생성부
30: 대응점 탐색부
40: 3차원 바운딩 박스 생성부
50: 2차원 바운딩 박스 생성부
60: 바운딩 박스 병합부
70: 대표 기준점 설정부
80: 객체 상태 추적부

Claims (10)

  1. 센싱부에 의해 감지된 3차원 영상정보에서 깊이 영상을 획득하고, 획득한 깊이 영상에서 객체 검출 위치에 대응되는 초기 바운딩 박스를 검출하는 초기 바운딩 박스 생성부;
    상기 초기 바운딩 박스 생성부에 의해 검출된 초기 바운딩 박스에서 특징점을 검출하고 연속된 프레임에서의 특징점 간의 대응점을 탐색하는 대응점 탐색부;
    상기 대응점 탐색부에 의해 탐색된 대응점에 대해 백프로젝션을 수행하고 대응점들을 밀도를 통해 필터링하며 클러스터링하여 3차원 바운딩 박스를 생성하는 3차원 바운딩 박스 생성부;
    상기 대응점 탐색부에 의해 탐색된 대응점으로부터 2차원 바운딩 박스를 생성하는 2차원 바운딩 박스 생성부;
    상기 3차원 바운딩 박스 생성부에 의해 생성된 3차원 바운딩 박스와 상기 2차원 바운딩 박스 생성부에 의해 생성된 2차원 바운딩 박스를 이용하여 최종 바운딩 박스를 생성하는 바운딩 박스 병합부;
    상기 바운딩 박스 병합부를 통해 생성된 최종 바운딩 박스에서 대표 기준점을 설정하는 대표 기준점 설정부; 및
    상기 대표 기준점 설정부에 의해 설정된 대표 기준점을 이용하여 객체의 상태를 갱신하고 다른 프레임에서의 상태를 예측하는 객체 상태 추적부를 포함하는 3차원 영상정보 기반 객체 추적 장치.
  2. 제1항에 있어서,
    상기 3차원 바운딩 박스 생성부는 상기 초기 바운딩 박스 생성부에 의해 검출된 초기 바운딩 박스 내 중심점을 3차원으로 이동시킨 대응점을 시작점으로 설정하는 것을 특징으로 하는 3차원 영상정보 기반 객체 추적 장치.
  3. 제1항에 있어서,
    상기 3차원 바운딩 박스 생성부는 상기 대응점 탐색부에 의해 검출된 대응점들에 대해, 객체의 색상이나 외측면 및 형태에 따라 제1 주요 대응점과 제2 주요 대응점을 검출하고, 검출된 제1 주요 대응점과 상기 제2 주요 대응점을 육면체 형상의 다수의 복셀 그리드로 분할한 후, 다운 샘플링을 수행하여 분할된 복셀 그리드에 포함된 대응점들의 밀도를 기설정된 설정밀도가 되도록 대응점을 필터링하여 클러스터링하는 것을 특징으로 하는 3차원 영상정보 기반 객체 추적 장치.
  4. 제1항에 있어서,
    상기 바운딩 박스 병합부는 상기 3차원 바운딩 박스 생성부에 의해 생성된 3차원 바운딩 박스와 상기 2차원 바운딩 박스 생성부에 의해 생성된 2차원 바운딩 박스를 선형 결합하여 3차원 바운딩 박스와 2차원 바운딩 박스가 겹쳐진 부분을 최종 바운딩 박스로 설정하는 것을 특징으로 하는 3차원 영상정보 기반 객체 추적 장치.
  5. 제1 항에 있어서,
    상기 대표 기준점 설정부는 상기 바운딩 박스 병합부를 통해 생성된 최종 바운딩 박스의 중심 대응점을 대표 기준점으로 설정하는 것을 특징으로 하는 3차원 영상정보 기반 객체 추적 장치.
  6. 초기 바운딩 박스 생성부가 센싱부에 의해 감지된 3차원 영상정보에서 깊이 영상을 획득하고, 획득한 깊이 영상에서 객체 검출 위치에 대응되는 초기 바운딩 박스를 검출하는 단계;
    대응점 탐색부가 상기 초기 바운딩 박스 생성부에 의해 검출된 초기 바운딩 박스에서 특징점을 검출하고 연속된 프레임에서의 특징점 간의 대응점을 탐색하는 단계;
    3차원 바운딩 박스 생성부가 상기 대응점 탐색부에 의해 탐색된 대응점에 대해 백프로젝션을 수행하고 대응점들을 밀도를 통해 필터링하며 클러스터링하여 3차원 바운딩 박스를 생성하는 단계;
    2차원 바운딩 박스 생성부가 상기 대응점 탐색부에 의해 탐색된 대응점으로부터 2차원 바운딩 박스를 생성하는 단계;
    바운딩 박스 병합부가 상기 3차원 바운딩 박스 생성부에 의해 생성된 3차원 바운딩 박스와 상기 2차원 바운딩 박스 생성부에 의해 생성된 2차원 바운딩 박스를 이용하여 최종 바운딩 박스를 생성하는 단계;
    대표 기준점 설정부가 상기 바운딩 박스 병합부를 통해 생성된 최종 바운딩 박스에서 대표 기준점을 설정하는 단계; 및
    객체 상태 추적부가 상기 대표 기준점 설정부에 의해 설정된 대표 기준점을 이용하여 객체의 상태를 갱신하고 다른 프레임에서의 상태를 예측하는 단계를 포함하는 3차원 영상정보 기반 객체 추적 방법.
  7. 제6 항에 있어서,
    상기 3차원 바운딩 박스 생성부는 상기 초기 바운딩 박스 생성부에 의해 검출된 초기 바운딩 박스 내 중심점을 3차원으로 이동시킨 대응점을 시작점으로 설정하는 것을 특징으로 하는 3차원 영상정보 기반 객체 추적 방법.
  8. 제6 항에 있어서,
    상기 3차원 바운딩 박스 생성부는 상기 대응점 탐색부에 의해 검출된 초기 바운딩 박스 내 대응점들에 대해, 객체의 색상이나 외측면 및 형태에 따라 제1 주요 대응점과 제2 주요 대응점을 검출하고, 검출된 제1 주요 대응점과 상기 제2 주요 대응점을 육면체 형상의 다수의 복셀 그리드로 분할한 후, 다운 샘플링을 수행하여 분할된 복셀 그리드에 포함된 대응점들의 밀도를 기설정된 설정밀도가 되도록 대응점을 필터링하여 클러스터링하는 것을 특징으로 하는 3차원 영상정보 기반 객체 추적 방법.
  9. 제6 항에 있어서,
    상기 바운딩 박스 병합부는 상기 3차원 바운딩 박스 생성부에 의해 생성된 3차원 바운딩 박스와 상기 2차원 바운딩 박스 생성부에 의해 생성된 2차원 바운딩 박스를 선형 결합하여 겹쳐진 부분을 최종 바운딩 박스로 설정하는 것을 특징으로 하는 3차원 영상정보 기반 객체 추적 방법.
  10. 제6 항에 있어서,
    상기 대표 기준점 설정부는 상기 바운딩 박스 병합부를 통해 생성된 최종 바운딩 박스의 중심 대응점을 대표 기준점으로 설정하는 것을 특징으로 하는 3차원 영상정보 기반 객체 추적 방법.
KR1020200069944A 2018-01-08 2020-06-09 3차원 영상정보 기반 객체 추적 장치 및 방법 KR102424664B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200069944A KR102424664B1 (ko) 2018-01-08 2020-06-09 3차원 영상정보 기반 객체 추적 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180002533A KR102569437B1 (ko) 2018-01-08 2018-01-08 3차원 영상정보 기반 객체 추적 장치 및 방법
KR1020200069944A KR102424664B1 (ko) 2018-01-08 2020-06-09 3차원 영상정보 기반 객체 추적 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180002533A Division KR102569437B1 (ko) 2018-01-08 2018-01-08 3차원 영상정보 기반 객체 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200070185A KR20200070185A (ko) 2020-06-17
KR102424664B1 true KR102424664B1 (ko) 2022-07-25

Family

ID=82608986

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200069944A KR102424664B1 (ko) 2018-01-08 2020-06-09 3차원 영상정보 기반 객체 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102424664B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309740A (ja) 2004-04-21 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP2010517139A (ja) 2007-01-18 2010-05-20 シーメンス コーポレイト リサーチ インコーポレイテツド 車両を検出および追跡するためのシステムおよび方法
US20130016879A1 (en) 2009-12-28 2013-01-17 Softkinetic Tracking method
KR101741758B1 (ko) 2016-01-21 2017-05-30 광운대학교 산학협력단 가려짐에 강인한 깊이정보 사용 캠쉬프트 기반의 실시간 얼굴추적 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036483B (zh) * 2013-03-06 2021-01-15 北京三星通信技术研究有限公司 图像处理***和图像处理方法
KR20140137893A (ko) * 2013-05-24 2014-12-03 한국전자통신연구원 객체 추적 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309740A (ja) 2004-04-21 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP2010517139A (ja) 2007-01-18 2010-05-20 シーメンス コーポレイト リサーチ インコーポレイテツド 車両を検出および追跡するためのシステムおよび方法
US20130016879A1 (en) 2009-12-28 2013-01-17 Softkinetic Tracking method
KR101741758B1 (ko) 2016-01-21 2017-05-30 광운대학교 산학협력단 가려짐에 강인한 깊이정보 사용 캠쉬프트 기반의 실시간 얼굴추적 방법

Also Published As

Publication number Publication date
KR20200070185A (ko) 2020-06-17

Similar Documents

Publication Publication Date Title
KR102569437B1 (ko) 3차원 영상정보 기반 객체 추적 장치 및 방법
CN110807350B (zh) 用于面向扫描匹配的视觉slam的***和方法
Bensrhair et al. Stereo vision-based feature extraction for vehicle detection
JP5944781B2 (ja) 移動体認識システム、移動体認識プログラム、及び移動体認識方法
JP4702569B2 (ja) 車両用画像処理装置
JP3367170B2 (ja) 障害物検出装置
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、３ｄ再現および追跡
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
US11003920B2 (en) Detection and planar representation of three dimensional lanes in a road scene
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
JP2016029564A (ja) 対象検出方法及び対象検出装置
JP2006053890A (ja) 障害物検出装置及び方法
US20220398856A1 (en) Method for reconstruction of a feature in an environmental scene of a road
CN109074653B (zh) 用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶员辅助***以及机动车辆
CN104636724B (zh) 一种基于目标一致性的车载相机快速行人车辆检测方法
CN112631266A (zh) 一种移动机器人感知障碍信息的方法、装置
KR102082254B1 (ko) 차량 인식 시스템
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN110543807A (zh) 验证障碍物候选的方法
US20180232582A1 (en) Object detection device, object detection method, and program
JP7219561B2 (ja) 車載環境認識装置
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP2007233440A (ja) 車載用画像処理装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant