KR102202343B1 - 객체의 운동을 예측하여 자동차의 주위 영역의 객체를 캡처하기 위한 방법, 카메라 시스템 및 자동차 - Google Patents

객체의 운동을 예측하여 자동차의 주위 영역의 객체를 캡처하기 위한 방법, 카메라 시스템 및 자동차 Download PDF

Info

Publication number
KR102202343B1
KR102202343B1 KR1020197003274A KR20197003274A KR102202343B1 KR 102202343 B1 KR102202343 B1 KR 102202343B1 KR 1020197003274 A KR1020197003274 A KR 1020197003274A KR 20197003274 A KR20197003274 A KR 20197003274A KR 102202343 B1 KR102202343 B1 KR 102202343B1
Authority
KR
South Korea
Prior art keywords
feature
image
determined
surrounding area
predicted
Prior art date
Application number
KR1020197003274A
Other languages
English (en)
Other versions
KR20190025698A (ko
Inventor
시아란 휴즈
두옹-반 엔구옌
조나단 호건
잔 토마네크
Original Assignee
코너트 일렉트로닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코너트 일렉트로닉스 리미티드 filed Critical 코너트 일렉트로닉스 리미티드
Publication of KR20190025698A publication Critical patent/KR20190025698A/ko
Application granted granted Critical
Publication of KR102202343B1 publication Critical patent/KR102202343B1/ko

Links

Images

Classifications

    • G06K9/00805—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G06K9/00362—
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 자동차(1)의 카메라(4)가 제공한 자동차의 주위 영역(8)의 이미지(10, 11)의 시퀀스에 기초하여, 자동차(1)의 주위 영역(8)의 객체(9)를 캡처하기 위한 방법과 관련되며, 상기 방법은 시퀀스의 제1 이미지(10)에서 제1 객체 특징부(24)를 인식하는 단계 - 상기 제1 객체 특징부(24)는 주위 영역(8)의 객체(9)의 적어도 일부분을 기술함 - , 상기 주위 영역(8)에서의 객체(9)의 운동을 기술하는 사전결정된 운동 모델에 기초하여 상기 주위 영역(8)에서의 객체(9)의 위치를 추정하는 단계, 제1 객체 특징부(24)에 기초하여 그리고 추정된 위치에 기초하여, 시퀀스에서 제1 이미지(10)에 후속하는 제2 이미지(11)에서 예측 특징부(26)를 결정하는 단계, 제2 이미지(11)에서 제2 객체 특징부(25)를 결정하는 단계, 사전결정된 연관 기준이 만족되는 경우 상기 제2 이미지(11)에서의 제2 객체 특징부(25)와 예측 특징부(26)를 연관시키는 단계, 및 제2 객체 특징부(25)가 상기 예측 특징부(26)와 연관되는 경우 상기 제2 객체 특징부(25)가 객체(9)로부터 기원한 것으로 확정하는 단계를 포함한다.

Description

객체의 운동을 예측하여 자동차의 주위 영역의 객체를 캡처하기 위한 방법, 카메라 시스템 및 자동차
본 발명은 자동차의 카메라가 제공하는 자동차의 주위 영역의 이미지 시퀀스에 기초하여 자동차의 주위 영역(environmental region)의 객체(object)를 캡처하기 위한 방법과 관련된다. 또한 본 발명은 이러한 방법을 수행하기 위한 카메라 시스템과 관련되고 이러한 카메라 시스템을 갖는 자동차와 관련된다.
다양한 구성의 자동차의 카메라 시스템이 종래 기술에서 이미 알려져 있다. 알려져 있듯이, 이러한 카메라 시스템은 자동차에 배열되고 자동차의 주위 영역을 캡처하는 카메라를 포함한다. 카메라 시스템은 자동차 주위 전체를 캡처할 수 있도록 이러한 카메라를 복수 대 포함할 수 있다. 자동차에 배열된 카메라는 주위 영역의 이미지의 시퀀스를 제공하고 따라서 초당 복수의 이미지를 캡처한다. 그 후 이 이미지 시퀀스는 전자 이미지 처리 디바이스에 의해 처리될 수 있다. 따라서 자동차의 주위 영역에 있는 객체가, 예컨대, 인식될 수 있다.
여기서, 카메라가 제공하는 이미지에서 객체가 신뢰할만하게 인식될 필요가 있다. 여기서, 객체, 따라서 예를 들면, 또 다른 교통 참가자 또는 보행자가 주위 영역 내 또 다른 객체와 구별될 필요가 있다. 여기서, 주위 영역에서 운동하는 객체의 캡처가 특히 어렵다. 이들 운동하는 객체는 시간상 연속되는 이미지들에서 상이한 위치로 위치하기 때문에, 개별 이미지에서 객체를 인식할 필요가 있다.
이에, WO 2014/096240 A1이 카메라가 제공한 주위 영역의 이미지에 기초하여, 카메라의 주위 영역에서의 타깃 객체를 검출하기 위한 방법을 기재한다. 이때, 이미지에서 복수의 특성 특징부가 결정되는데, 이때, 주위 영역의 지면을 기술하는 지면 특징부와 타깃 객체와 연관된 타깃 특징부가 구별된다. 거기서, 이미지의 적어도 부분적인 영역이 복수의 이미지 셀로 나뉠 수 있다. 그 후 각자의 이미지 셀에서, 각각의 특성 특징부로의 연관된 광학 흐름 벡터(optical flow vector)가 결정될 수 있다. 그 후, 이미지 셀은 관심 영역으로 조합될 수 있다.
또한, WO 2014/096242 A1이 자동차의 카메라가 제공한 주위 영역의 이미지의 시퀀스에 기초하여 자동차의 주위 영역에서 타깃 객체를 추적하는 방법을 기재한다. 이때 이미지의 시퀀스에 기초하여 타깃 객체로의 광학 흐름 벡터를 결정함으로써 타깃 객체가 추적된다. 자동차와 타깃 객체 모두 정지하고 있는 정지 상태가 검출되는 경우, 자동차에 대한 타깃 객체의 현재 상대적 위치가 저장되고 상대적 운동에 대한 사전결정된 기준이 만족되는지가 검사된다. 사전결정된 기준이 만족되는 경우, 타깃 객체의 추적이 저장된 상대 위치로부터 시작하여 계속된다.
본 발명의 일 목적은 자동차의 주위 영역에서 운동하는 객체가 카메라에 의해 더 신뢰할만하게 캡처될 수 있는 구체적인 방식에 관한 해결책을 제공하는 것이 다.
본 발명에 따르면, 이 목적은 각각의 독립 청구항에 따르는 특징을 갖는 방법, 카메라, 자동차에 의해 달성된다. 본 발명의 이로운 개선사항은 종속 청구항의 주제 사항이다.
자동차의 카메라가 제공한 자동차의 주위 영역의 이미지의 시퀀스에 기초하여 자동차의 주위 영역의 객체를 캡처하기 위한 방법의 실시예에서, 시퀀스의 제1 이미지에서 제1 객체 특징부가 특히 인식되며, 상기 제1 객체 특징부는 상기 주위 영역에서의 객체의 적어도 일부분을 기술하는 것이 바람직하다. 덧붙여, 주위 영역 내 객체의 위치가 주위 영역에서의 객체의 운동을 기술하는 사전결정된 운동 모델에 기초하여 특히 추정된다. 덧붙여, 제1 객체 특징부에 기초하여 그리고 추정된 위치에 기초하여 예측 특징부가 시퀀스에서 제1 이미지에 후속하는 제2 이미지에서 특히 결정된다. 또한 제2 이미지에서 제2 객체 특징부가 결정되는 것이 바람직하다. 덧붙여, 사전결정된 연관 기준이 만족되는 경우 예측 특징부와 제2 객체 특징부의 연관이 제2 이미지에서 성립되는 것이 바람직하다. 마지막으로 제2 객체 특징부가 예측 특징부와 연관된 경우 제2 객체 특징부는 객체로부터 기원한 것으로 확정되는 것이 바람직하다.
본 발명에 따르는 방법은 자동차의 카메라가 제공한 주위 영역의 이미지 시퀀스에 기초하여 자동차의 주위 영역의 객체를 캡처하기 위한 것이다. 상기 방법은 시퀀스의 제1 이미지에서 제1 객체 특징부를 인식하는 단계 - 상기 제1 객체 특징부는 주위 영역에서의 객체의 적어도 일부분을 기술함 - 를 포함한다. 또한, 상기 방법은 주위 영역에서의 객체의 운동을 기술하는 사전결정된 운동 모델에 기초하여 주위 영역에서의 객체의 위치를 추정하는 단계를 포함한다. 덧붙이면, 제1 객체 특징부에 기초하여 그리고 추정된 위치에 기초하여 시퀀스에서 제1 이미지에 후속하는 제2 이미지에서 예측 특징부가 결정될 수 있다. 또한, 상기 방법은 제2 이미지에서 제2 객체 특징부를 결정하는 단계 및 사전결정된 연관 기준이 만족되는 경우 제2 이미지에서 제2 객체 특징부와 예측 특징부를 연관시키는 단계를 포함한다. 마지막으로, 상기 방법은 제2 객체 특징부가 예측 특징부와 연관되는 경우 제2 객체 특징부가 객체로부터 기원한 것으로 확정하는 단계를 포함한다.
상기 방법을 이용해, 객체, 특히, 운동하는 객체가 자동차의 주위 영역에서 인식될 것이다. 상기 방법은 적어도 하나의 카메라를 갖는 자동차의 카메라 시스템에 의해 수행될 수 있다. 이 카메라는 주위 영역의 이미지의 시퀀스를 제공한다. 따라서 시퀀스는 가령, 사전결정된 반복률로, 시간 연속적 캡처된 이미지들을 나타낸다. 또한 카메라 시스템은 이미지들이 평가될 수 있도록 하는 이미지 처리 유닛을 가질 수 있다. 이때, 우선 제1 객체 특징부가 이미지 시퀀스의 제1 이미지에서 인식될 수 있다. 이 제1 객체 특징부는 주위 영역의 객체를 온전히 기술할 수 있다. 또한 제1 객체 특징부는 주위 영역의 객체의 일부분만 기술하는 것도 가능할 수 있다. 기본적으로, 주위 영역에서의 객체를 모두 기술하는 복수의 제1 객체 특징부가 결정될 수 있다. 제1 객체 특징부는 특히 제1 이미지에서의 객체의 일부분의 위치 및/또는 객체의 일부분의 치수를 기술할 수 있다. 덧붙여, 주위 영역에서의 객체의 운동이 추정될 수 있다. 이에, 자동차의 주위 영역에서의, 따라서 실세계(real world)에서의 객체의 운동을 기술하는 사전결정된 운동 모델이 사용된다. 예를 들어, 운동 모델은 사전결정된 방향으로의 객체의 선형 운동을 기술할 수 있다. 운동 모델에 기초하여, 주위 영역에서의 객체의 위치가 연속적으로 추정될 수 있다. 이때, 시퀀스의 제2 이미지가 캡처되는 또는 캡처됐던 시점에서의 위치가 추정될 수 있다. 그 후 이 이미지 시퀀스에서 제1 이미지에 후속하는 제2 이미지에서, 예측 특징부가 결정된다. 예측 특징부가 제1 객체 특징부에 기초하여 결정될 수 있다. 예를 들어, 예측 특징부를 결정하기 위해, 제2 이미지에서의 예측 특징부의 위치가 주위 영역에서의 추정된 위치를 기술하도록 제1 이미지로부터의 제1 객체 특징부가 사용되고 이동될 수 있다. 따라서 객체의 위치의 추정된 변동이 제2 이미지로 전달된다.
제2 이미지에서, 그 후 제2 객체 특징부가 인식된다. 이 제2 객체 특징부도 역시 제1 객체 특징부와 유사한 방식으로, 자동차의 주위 영역에서의 객체의 적어도 일부분을 기술한다. 따라서 제2 객체 특징부는 제1 객체 특징부와 유사한 방식으로 결정된다. 덧붙여, 제2 객체 특징부가 예측 특징부와 연관될 수 있는지 여부가 검사된다. 따라서 실세계의 어느 운동 모델이 사용되었는지의 결정에, 제2 객체 특징부가 어느 정도까지 예측 특징부에 대응하는지가 검사된다. 사전결정된 연관 기준이 만족되는 경우, 제2 객체 특징부는 제2 이미지에서의 예측 특징부와 연관된다. 예를 들어, 연관 기준은, 제2 객체 특징부와 예측 특징부가 서로 얼마나 유사한지일 수 있다. 제2 객체 특징부가 제2 이미지에서의 예측 특징부와 연관된 경우, 제2 객체 특징부는 또한 주위 영역에서의 객체를 기술한다고 가정될 수 있다. 제2 객체 특징부와 예측 특징부의 연관이 성립되었기 때문에, 객체는 사전결정된 운동 모델에 따라 운동한 것으로 가정될 수 있다. 따라서 제1 이미지에서의 제1 객체 특징부와 제2 이미지에서의 제2 객체 특징부가 자동차의 주위 영역에서의 동일한 객체를 기술할 수 있다고 높은 가능성을 갖고 추측될 수 있다. 따라서 이미지 시퀀스에서 객체는 신뢰할만하게 인식되고 추적될 수 있다.
제2 객체 특징부가 객체로부터 기원한 것으로 확정되는 경우 객체는 자동차에 대해 운동한 것으로 인식되는 것이 바람직하다. 제2 객체가 확정된 경우, 제2 객체 특징부가 객체 또는 이의 적어도 일부를 기술할 수 있다고 높은 가능성을 갖고 추측될 수 있다. 이는 실세계에서의 객체의 운동을 기술하는 운동 모델에 따라 예측되었듯이, 제1 이미지에서의 제1 객체 특징부의 위치가 제2 이미지에서의 제2 객체 특징부에 비해 변경됐음을 의미한다. 따라서 객체는 운동하는 객체로 식별 또는 분류될 수 있다. 이는 자동차 자체가 운동한 경우와 자동차가 정지 상태인 경우 모두에 적용된다.
추가 실시예에 따르면, 제2 객체 특징부와 예측 특징부 간 연관 확률이 결정되고 연관 확률이 사전결정된 값을 초과한 경우 사전결정된 연관 기준이 만족된 것으로 간주된다. 기본적으로, 복수의 객체 특징부가 이미지에서 인식될 수 있으며 그 후 예측 특징부가 시퀀스의 후속하는 이미지에서 인식된 객체 특징부 각각에 대해 결정될 수 있다. 그 후 제2 객체 특징부 및 이와 연관된 예측 특징부에 대해, 연관 확률이 결정된다. 특히 연관 확률은 제2 객체 특징부와 예측 특징부 간 유사도(similarity)를 기술한다. 제2 객체 특징부와 예측 특징부가 동일한 경우, 연관 확률은 100%이거나 1의 값을 가질 수 있다. 제2 객체 특징부와 예측 특징부가 완전히 상이한 경우, 연관 확률은 0%이거나 0의 값을 가질 수 있다. 여기서 연관 확률이 사전결정된 값 또는 임계 값을 초과하는 경우, 제2 객체 특징부는 예측 특징부와 연관될 수 있다. 사전결정된 값 또는 임계 값이 예를 들어 75% 또는 0.75일 수 있다. 따라서 제2 객체 특징부가 예측 특징부와 연관될 수 있는지 여부가 간단한 방식으로 검사될 수 있다.
또한, 연관 확률이 제2 이미지에서의 제2 객체 특징부와 예측 특징부 간 겹침에 기초하여 및/또는 제2 이미지에서의 제2 객체 특징부와 예측 특징부의 치수에 기초하여 및/또는 제2 이미지에서의 제2 객체 특징부와 예측 특징부의 무게 중심 간 거리에 기초하여 및/또는 주위 영역에서의 객체 및 예측 특징부와 연관된 예측 객체 간 거리에 기초하여 결정되는 것이 바람직하다. 제2 객체 특징부와 예측 특징부 모두 제2 이미지에서 특정 형태 또는 특정 영역을 커버할 수 있다. 특히, 제2 객체 특징부와 예측 특징부 모두 다각형으로 결정될 수 있다. 기본적으로 제2 객체 특징부와 예측 특징부가 또 다른 기하학적 형태로 결정될 수도 있다. 이때, 한편으로는 제2 객체 특징부와 예측 특징부가 제2 이미지에서 어느 정도까지 겹치는지가 결정될 수 있다. 제2 객체 특징부와 예측 특징부가 비교적 넓은 영역에서 겹치는 경우, 높은 연관 확률이 추측될 수 있다. 제2 객체 특징부와 예측 특징부가 겹치지 않는 경우, 낮은 연관 확률이 추측될 수 있다. 제2 객체 특징부와 예측 특징부가 어느 정도까지 겹치는지에 대한 검사가 제2 이미지에서 이뤄질 수 있다.
대안으로 또는 추가로, 제2 객체 특징부와 예측 특징부의 각자의 치수가 제2 이미지에서 고려될 수 있다. 이때, 제2 객체 특징부와 예측 특징부의 길이, 높이 및/또는 면적이 서로 비교될 수 있다. 역시 이러한 방식으로, 제2 이미지에서의 제2 객체 특징부와 예측 특징부의 유사도 또는 연관 확률이 결정될 수 있다. 덧붙여, 제2 객체 특징부의 무게 중심 및 예측 특징부의 무게 중심이 결정되고 제2 객체 특징부의 무게 중심과 예측 특징부의 무게 중심이 결정될 수 있다. 무게 중심들 간 거리가 짧을수록, 연관 확률이 높다. 덧붙여, 예측 특징부의 실세계로의 매핑(mapping)을 기술하는 예측 객체(prediction objection)가 결정될 수 있다. 여기서, 실세계 또는 자동차의 주위 영역에서, 객체와 예측 객체 간 거리가 결정될 수 있다. 이 거리가 짧을수록, 연관 확률이 높다. 따라서 이미지와 실세계 모두에서, 객체 특징부와 운동 모델을 따르는 실세계의 객체 간 대응관계가 얼마나 큰지가 검사될 수 있다.
또 다른 구성에서, 제2 객체 특징부와 예측 특징부의 연관이 없는 경우, 마지막 확정된 객체 특징부와 제2 객체 특징부 간 연관 확률이 결정되며, 이때 마지막 확정된 객체 특징부는 객체로부터 기원된 것으로 마지막 확정된 객체 특징부를 기술한다. 제2 객체 특징부와 예측 특징부 간 연관 확률이 기정 값 미만인 경우, 제2 객체 특징부는 예측 특징부와 연관되지 않는다. 이는 주위 영역에서의 객체가 운동 모델에 따라 운동하지 않았거나 더는 운동하지 않는다는 것으로 입증될 수 있다. 이는 예를 들어 객체가 정지했거나 멈췄거나 운동 방향을 변경한 경우이다. 제2 이미지에서 운동하는 요소가 제2 객체 특징부를 결정하는 데 사용되는 경우, 제2 이미지의 캡처 동안 객체가 정지 상태인 경우 제2 객체 특징부는 결정될 수 없거나 충분히 결정될 수 없다. 따라서 예를 들어 제2 객체 특징부는 전혀 결정될 수 없다. 이 경우에도, 제2 객체 특징부와 예측 특징부의 연관은 가능하지 않다. 제2 객체 특징부와 예측 특징부의 연관이 성립하지 않았던 경우, 제2 객체 특징부는 선행하는 이미지들 중 하나에서 객체로부터 기원한 것으로 마지막으로 확정된 객체 특징부와 연관될 수 있는지 여부가 검사된다. 따라서 제2 객체 특징부가 어디에서 이전 시점에서 객체가 확실히 있었던 위치와 관련되었는지가 결정될 수 있다. 이 정보에 기초하여, 주위 영역에서 객체가 자신의 방향을 변경했거나, 자신의 운동 속력을 변경했거나 현재 정지 상태인지 여부가 결정될 수 있다.
또한, 마지막 확정된 객체 특징부와 제2 객체 특징부 간 연관 확률이 제2 객체 특징부와 예측 특징부 간 연관 확률보다 큰 경우 마지막으로 확정된 객체 특징부와 연관된 주위 영역의 위치로부터 시작하여 예측 특징부가 결정되는 것이 바람직하다. 기본적으로, 제2 이미지 또는 현재 이미지에서의 제2 객체 특징부와의 연관 확률 및 선행하는 이미지들 중 하나로부터 객체로부터 기원한 것으로 실제 확정된 객체 특징부와의 연관 확률이 결정될 수 있다. 주위 영역에서의 객체가 사전결정된 운동 모델을 더는 따르지 않는 경우, 운동 모델을 변경할 필요가 있다. 이때, 마지막으로 확정된 객체 특징부로부터 시작하여 운동 모델이 결정될 수 있다. 따라서 실세계에서의 객체가 자신의 방향을 변경하거나 실제로 정지 상태인 경우가 신뢰할만하게 고려될 수 있다.
또 다른 실시예에 따르면, 주위 영역에서의 객체 위치가 제2 객체 특징부에 기초하여 결정되고, 주위 영역에서의 예측 위치가 예측 특징부에 기초하여 결정되며, 객체 위치와 예측 위치 간 공간 유사도(spatial similarity)가 결정되며, 주위 영역에서의 객체의 현재 위치가 연관 확률과 공간 유사도에 기초하여 결정된다. 운동 모델에 기초하여 결정된 예측 특징부에 기초하여, 예측 위치가 결정된다. 이 예측 위치는 운동 모델을 고려한 객체의 현재 위치를 기술한다. 이때, 예측 위치는 사전결정된 공간 불확실성을 갖고 출력될 수 있다. 제2 객체 특징부에 기초하여, 주위 영역에서의 현재 위치가 또한 결정될 수 있다. 그 후 이 객체 위치 및 예측 위치에 기초하여, 공간 유사도 또는 공간 가능도(spatial likelihood)가 결정될 수 있다. 그 후 이 공간 유사도에 기초하여, 가중 계수(weighting factor)가 결정될 수 있고, 이 가중 계수에 기초하여 추적을 위한 객체의 현재 위치가 결정될 수 있다. 이로 인해 객체의 신뢰할만한 추적이 가능하다.
덧붙여, 적어도 2개의 제2 객체 특징부가 예측 특징부와 연관되는 경우, 객체의 현재 위치는, 예측 특징부의 예측 위치와 더 큰 공간 유사도를 갖는 객체 위치를 갖는 제2 객체 특징부에 기초하여 결정될 수 있다. 기본적으로, 이는 복수의 객체 특징부가 이미지에서 각자 결정되지만 실세계에서 하나의 객체로부터 기원된 경우일 수 있다. 주위 영역에서의 객체가, 가령 보행자인 경우, 하나의 객체 특징부가 보행자의 머리를 기술할 수 있고, 또 다른 객체 특징부가 몸통을 기술할 수 있으며, 하나의 객체 특징부가 보행자의 다리를 각각 기술할 수 있다. 그 후 이들 제2 객체 특징부는 객체로부터 기원한 것으로 확정될 수 있다. 주위 영역에서의 객체의 현재 위치를 결정 또는 객체의 추적을 업데이트할 때, 예측 특징부와 가장 큰 공간 유사도를 갖는 제2 객체 특징부가 사용된다. 예를 들어, 보행자의 머리와 연관된 제2 객체 특징부가 예측 특징부와 매우 낮은 공간 유사도를 갖거나 전혀 갖지 않을 수 있다. 그러나 보행자의 다리와 연관된 제2 객체 특징부는 예측 특징부와 높은 공간 유사도를 가질 수 있다. 이는 공간 유사도를 결정하기 위해 예측 특징부의 베이스 포인트가 제2 객체 특징부의 각각의 베이스 포인트에 비교되는 경우에 특히 적용된다. 이로 인해 주위 영역에서의 객체의 현재 위치의 신뢰할만한 결정이 가능하고 객체의 신뢰할만한 추적이 더 가능해 진다.
또 다른 실시예에 따르면, 추가 객체 특징부가 이미지들 중 하나에서 인식되는 경우, 추가 객체 특징부가 주위 영역에 진입한 객체로부터 기원한 것인지 여부가 검사되며, 이 검사는 이미지에서의 추가 객체 특징부의 위치에 따르는 진입 확률에 기초하여 이뤄진다. 기본적으로, 이는 복수의 객체 특징부가 이미지 또는 제2 이미지에서 인식되는 경우일 수 있다. 이때, 이들 객체 특징부가 이미 인식된 객체로부터 기원하는 것인지 또는 객체 특징부가 이전에 캡처된 적 없는 새 객체를 기술하는 것인지가 검사된다. 따라서 추가 객체 특징부가 주위 영역에 진입한 또는 주위 영역 안으로 이동한 객체를 기술하는지 여부가 검사된다. 검사에서, 출생 확률(birth probability)이라고도 지칭될 수 있는 진입 확률이 고려된다. 이 진입 확률은 이미지에서의 객체 특징부의 위치에 따라 달라진다. 이때, 이미지의 가장자리 영역에서 이미지에서 나타난 객체가 주위 영역에 진입할 가능성이 높다. 자동차 바로 정면 또는 후방이며 이미지의 중앙 영역으로 배열되는 영역에서는, 낮은 진입 확률이 추측된다. 이들 영역에 대해, 추가 객체가 이 영역에 진입할 가능성이 낮다. 추가 객체 특징부가 새 객체로부터 기원한 것으로 인식된 경우, 이 새 객체도 역시 적절히 추적되거나 이의 위치가 결정될 수 있다.
덧붙여, 객체가 주위 영역을 퇴장하는지 여부가 검사될 수 있다. 이는, 객체가 이미지에서 추적되고 이미지들 중 하나에서 더는 인식될 수 없는 경우에 해당할 수 있다. 예를 들어, 이는 제1 객체 특징부가 제1 이미지에서 이미지의 가장자리 영역에 있고 객체 특징부 제2 이미지에서 더는 캡처될 수 없는 경우에 해당할 수 있다. 이 경우, 퇴장 확률이 앞서 기재된 진입 확률과 유사하게 정의될 수 있으며, 이 퇴장 확률에 기초하여 객체가 주위 영역을 퇴장했는지 여부가 검사될 수 있다. 이때 역시, 객체 특징부가 이미지의 가장자리 영역에 있는 경우 객체 특징부가 이미지의 중앙 영역에 있는 경우보다 퇴장 확률이 높음이 고려될 수 있다.
덧붙여, 제2 객체 특징부가 다각형으로서 결정되며, 이때 다각형은 좌측 베이스 포인트, 중앙 베이스 포인트, 우측 베이스 포인트 및/또는 팁 포인트를 가지며, 다각형은 객체의 폭 및/또는 높이를 기술할 수 있다. 제2 객체 특징부는 제2 이미지에서 객체로서 기술될 수 있다. 이때, 다각형은 특히 좌측, 중앙, 우측 베이스 포인트뿐 아니라 팁 포인트까지 가진다. 이때, 중앙 베이스 포인트가 소실점과 다각형의 무게 중심을 연결하는 선의 교차점으로서 결정될 수 있다. 객체의 폭이 우측 베이스 포인트과 좌측 베이스 포인트에 의해 재현된다. 객체의 높이가 팁 포인트에 의해 기술될 수 있다. 이 다각형은 단순한 방식으로 짧은 컴퓨팅 시간 내에 결정될 수 있다. 덧붙여, 다각형은 객체의 공간 치수를 기술하는 데 적합하다. 여기서 복수의 관심 영역이 제2 이미지에서 결정되고, 관심 영역이 그룹화되며 그룹지화된 관심 영역에 기초하여 각자의 다각형이 결정될 수 있다. 관심 영역이 제2 이미지에서 또는 이미지 시퀀스의 각각의 이미지에서 각각 결정될 수 있다. 특히 이들 관심 영역은 운동하는 객체를 나타내는 이미지의 픽셀 또는 영역을 기술한다. 얘를 들어, 이미지 또는 제2 이미지가 우선 복수의 부분 영역 또는 이미지 셀로 나뉠 수 있고, 이미지 셀 각각에 대해 이들이 운동하는 객체 또는 이의 일부분인지 여부가 검사될 수 있다. 이때 각각의 이미지 셀이 운동하는 객체를 기술하는지 여부에 따라, 제1 값 또는 제2 값이 각각의 이미지 셀과 연관되는 가중 행렬이 더 고려될 수 있다. 그 후 운동하는 객체를 기술하는 이미지 셀들이 적절히 그룹화되고 이로부터 관심 영역이 결정될 수 있다. 각각의 관심 영역이 결정된 후, 관심 영역이 동일한 객체로부터 기원한 것인지 여부가 검사될 수 있다. 따라서 각각의 관심 영역이 그룹화될 수 있는지 여부가 결정될 수 있다. 그 후 관심 영역이 그룹화되자마자, 그룹화된 관심 영역이 제2 이미지에서 차지하는 영역에 기초하여, 제2 객체 특징부를 기술하는 다각형이 결정될 수 있다.
또한 제2 이미지가 복수의 이미지 셀로 나뉘는 경우, 운동하는 객체를 기술하는 객체 셀이 광학 흐름에 기초하여 이미지 셀로부터 선택되고 상기 객체 셀은 관심 영역 중 하나와 연관되는 것이 바람직하다. 이미 설명된 바와 같이, 제2 이미지는 복수의 이미지 셀로 나뉠 수 있다. 이때, 각각의 이미지 셀은 적어도 하나씩의 픽셀을 포함할 수 있다. 특히, 각각의 이미지 셀이 복수의 픽셀을 포함할 수 있다. 그 후 광학 흐름 또는 광학 흐름 벡터가 각각의 이미지 셀에 대해 결정될 수 있다. 따라서 이미지 셀의 픽셀이 운동하는 객체를 기술하는지 여부가 신뢰할만하게 검사될 수 있다. 운동하는 객체를 기술하는 이미지 셀이 객체 셀로 간주되고 관심 영역으로 조합될 수 있다. 이로 인해, 각각의 관심 영역의 간단하고 신뢰할만한 결정이 가능하다.
또한, 바람직하게도 분할에 의해 도로가 제2 이미지에서 인식되고 인식된 도로에 기초하여 관심 영역이 결정될 수 있다. 해당 분할 방법을 이용해, 자동차가 위치하는 도로가 제2 이미지에서 인식될 수 있다. 이때, 도로는 카메라의 배향에 따라 진행 방향에서 자동차 정면에 있거나 진행 방향에서 자동차 뒤에 있을 수 있다. 자동차의 주위 영역을 기술하는 이미지에서, 도로 또는 지면이 분할 방법을 이용해 인식될 수 있다. 운동하는 객체도 역시 도로 위에 위치하는 경우, 도로를 인식함으로써 도로와 도로 위에서 운동하는 객체 간 경계가 신뢰할만하게 결정될 수 있다. 이로 인해 관심 영역의 정밀한 결정이 가능하다.
이때, 관심 영역에 기초하여 하는 다각형의 결정이 이미지에서의 제2 객체 특징부에 기초하여 결정되었다. 제1 이미지에서의 제1 객체 특징부와 이미지 내 모든 추가 객체 특징부가 또한 유사한 방식으로 다각형으로 결정될 수 있다. 특히, 예측 특징부가 또한 다각형으로 결정될 수 있다. 이때, 예측 특징부는 제1 객체 특징부에 기초하여 결정될 수 있고 예측 특징부를 기술하는 다각형의 위치 및/또는 크기가 제2 이미지에서 운동 모델에 기초하여 적응될 수 있다.
본 발명에 따르는 자동차를 위한 카메라 시스템은 적어도 하나의 카메라 및 전자 이미지 처리 디바이스를 포함한다. 카메라 시스템은 본 발명에 따르는 방법 또는 이의 바람직한 구성을 수행하도록 구성된다.
본 발명에 따르는 자동차가 본 발명에 따르는 카메라 시스템을 포함한다. 특히 자동차는 승용차의 형태를 가진다.
본 발명에 따르는 방법 및 이의 이점에 대하여 제시된 바람직한 실시예는 본 발명에 따르는 카메라 시스템 및 본 발명에 따르는 자동차에 적절하게 적용된다.
본 발명의 추가 특징이 청구항, 도면, 도면의 설명으로부터 자명해진다. 앞서 기재된 특징들 및 특징 조합뿐 아니라 도면의 설명에서 이하에서 기재될 및/또는 도면에서 도시될 특징들 및 특징 조합이 단독으로 사용될 뿐 아니라 각자 조합으로도 특정되며, 그 밖의 다른 조합 또는 단독으로 본 발명의 범위 내에서 가능하다. 따라서 도면에 명시적으로 도시되고 설명되지 않지만 암시되는 구현이 본 발명에 의해 포함되고 개시되는 것으로 간주되고 설명된 구현으로부터의 개별 특징 조합에 의해 생성될 수 있다. 본래 만들어진 독립 청구항의 모든 특징을 갖지 않는 구현 및 특징 조합이 개시된 것으로 또한 간주될 것이다. 또한 청구항과 관련하여 제공된 특징 조합을 넘어서고 벗어나지만 앞서 제공된 구현에 의한 구현 및 특징 조합이 또한 개시된 것으로 간주될 것이다.
이제, 본 발명이 선호되는 실시예에 기초하여 그리고 첨부된 도면을 참조하여 더 상세히 설명된다.
도 1은 복수의 카메라가 구비된 카메라 시스템을 갖는 본 발명의 하나의 실시예에 따르는 자동차이다.
도 2은 카메라가 제공한 이미지들에서 관심 영역을 결정하기 위한 방법의 개략적 흐름도이다.
도 3은 복수의 이미지 셀로 나뉘는, 카메라에 의해 제공된 이미지를 도시한다.
도 4는 관심 영역을 결정하기 위해 사용되는 이미지에서의 영역을 도시한다.
도 5는 팽창 전과 후의 운동하는 객체와 연관된 이미지에서의 객체 셀을 도시한다.
도 6은 관심 영역을 결정하기 위해 슬라이딩 윈도가 이동된 개별 이미지 셀을 도시한다.
도 7은 상향 보정된 이미지에서의 관심 영역을 도시한다.
도 8은 이미지에서의 2개의 관심 영역을 도시하며, 하나의 관심 영역의 하향 보정되고 또 다른 관심 영역이 축소된다.
도 9는 도로 위에 위치하는 보행자와 연관된 이미지 내 관심 영역을 도시한다.
도 10은 그룹으로 조합되는 관심 영역을 도시한다.
도 11은 객체를 추적하기 위한 방법의 개략적 흐름도이다.
도 12는 그룹화된 관심 영역에 기초하여 하는 다각형의 결정을 개략적으로 나타낸다.
도 13은 좌측, 중앙, 및 우측 베이스 포인트과 팁 포인트를 갖는 다각형을 도시한다.
도 14는 실세계에서의 운동 모델에 기초하여 하는 객체 특징부의 결정을 개략적으로 나타낸다.
도 15(a)-15(d)는 예측 특징부에 비교되는 객체 특징부를 도시한다.
도 16은 상이한 시점에서의 객체 특징부와 예측 특징부를 도시한다.
도 17은 객체와 실세계에서의 예측 객체 간 공간 유사도를 기술하는 도면이다.
도 18은 복수의 객체 특징부와 연관된 운동하는 객체로서의 보행자를 도시한다.
도 19는 이미지 내 위치에 따라 달라지는 객체의 진입 확률을 기술하는 도면이다.
도면에서, 동일 및 기능적으로 동일한 요소들은 동일한 도면부호로 제공된다.
도 1은 본 발명의 실시예에 따르는 자동차(1)를 평면도로 보여준다. 여기서 자동차(1)는 승용차의 형태를 가진다. 자동차(1)는 적어도 하나의 카메라(4)를 포함하는 카메라 시스템(2)을 포함한다. 본 실시예에서, 카메라 시스템(2)은 4개의 카메라(4)를 포함하며, 카메라(4) 중 하나는 후방 영역(5)에 배열되고, 카메라(4) 중 하나는 전방 영역(7)에 배열되며, 카메라(4) 중 2개가 자동차(1)의 각자의 측방 영역(6)에 배열된다.
카메라 시스템(2)을 이용해, 자동차(1)의 주위 영역(8)에 있는 객체(9)가 챕처될 수 있다. 이때, 카메라(4) 각각에 의해 이미지(10, 11)의 시퀀스가 제공된다. 그 후 이미지(10, 11)의 이 시퀀스가 카메라 시스템(2)의 전자 이미지 처리 디바이스(3)로 전송된다. 그 후 전자 이미지 처리 디바이스(3)에 의해, 주위 영역(8)의 객체(9)가 이미지(10, 11)에서 인식될 수 있다.
특히, 카메라 시스템(2)에 의해 주위 영역(8)에서 운동하는 객체(9)가 인식될 것이다. 이때, 3차원 이미지 처리 방법이 사용된다. 이하에서 더 상세히 설명되겠지만, 우선, 이미지(10, 11)에서 운동하는 객체(9)를 기술하는 관심 영역(16)이 결정된다. 그 후 관심 영역(16)에 기초하여 이미지(10, 11)에서, 객체(9)를 더 상세히 기술하는 객체 특징부(24, 25)가 결정된다. 이때, 객체(9)의 운동이 추적되는 것이 더 제공된다.
도 2는 이미지(10, 11)에서 관심 영역(16)을 결정하는 방법의 개략적 흐름도를 보여준다. 제1 단계(S1)에서, 카메라(4) 중 하나가 제공한 이미지(10, 11)가 복수의 이미지 셀(12)로 나뉜다. 여기서, 각각의 이미지 셀(12)은 적어도 하나의 픽셀을 포함할 수 있다. 특히, 각각의 이미지 셀(12)은 복수의 픽셀을 가지는 것이 제공된다. 예를 들어, 각각의 이미지 셀(12)은 10x10 픽셀을 가질 수 있다. 덧붙여, 객체 셀(12')이 결정된다. 객체 셀(12')은 운동하는 객체(9)를 기술하는 이미지 셀(12)을 기술한다. 그 후 단계(S2)에서, 이미지 셀(12) 및 객체 셀(12')에 기초하여 가중 행렬이 결정된다. 그 후 단계(S3)에서, 가중 행렬에 기초하여 이미지(10, 11)에서 관심 영역(16)이 결정된다. 그 후 단계(S4)에서 이들 관심 영역(16)은 보정된다. 마지막으로 단계(S5)에서 관심 영역(16)이 조합된다.
도 3은 카메라(4) 중 하나가 제공한 이미지(10, 11)를 보여준다. 여기서, 이미지(10, 11)는 복수의 이미지 셀(12)로 나뉨이 자명하다. 이때, 각자의 이미지 셀(12)의 픽셀의 수가 결정될 수 있다. 이미지 셀(12)에 기초하여, 가중 행렬이 결정될 수 있다. 이때, 가중 행렬의 높이(13)가 이미지 셀(12)의 라인의 수에 기초하여 도출되고 가중 행렬의 폭(14)이 이미지 셀(12)의 컬럼의 수에 기초하여 도출된다.
이미지(10, 11)는 주위 영역(8)에 위치하는 객체(9)를 보여준다. 객체(9)는 보행자의 형태를 갖는 운동하는 객체이다. 이 객체(9)가 이제 이미지(10, 11)에서 인식될 것이다. 여기서, 각각의 이미지 셀(12)에서, 객체(9)의 운동을 기술하는 광학 흐름 또는 흐름 벡터가 결정된다. 흐름 벡터가 충분한 신뢰도 값을 갖고 결정된 경우, 이 이미지 셀(12)이 객체 셀(12')로 인식되고 가중 행렬에서 식별되거나 가중 행렬 내 객체 셀(12')과 연관된 값이 변한다. 여기서, 충분한 신뢰도 값에 대한 임계 값이 이미지(10, 11) 내 각자의 영역(15)에 따라 달라진다. 도 4는 이미지(10, 11) 내 상이한 영역(15)을 보여준다. 이때, 영역(15)은 자동차(1)까지의 거리에 따라 상이하다. 또한, 신뢰도 값을 결정하기 위한 임계 값이 조절 가능하며 자동차(1)의 현재 속도에 따라 달라질 수 있다.
도 5는 운동하는 객체(9)로부터 기원한 것으로 인식된 이미지 셀(12) 및 객체 셀(12')을 도시한다. 도 5의 좌측 상에서, 객체 셀(12')은 연속 영역을 형성하지 않음을 알 수 있다. 완벽히 연속인 영역이 이미지(10, 11)에서 인식되지 않았기 때문에, 이 영역에 또한 희박하게 채워진(sparsely populated) 가중 행렬이 존재한다. 이 문제를 해결하기 위해, 형태학적 작업(morphological operation), 구체적으로, 팽창(dilation)이 적용된다. 이진 이미지(binary image)에서 객체가 팽창에 의해 확대되거나 두꺼워질 수 있다. 이때, 구조화 요소(structuring element) H에 의해 이진 가중 행렬 W의 팽창이 성립된다. 이는 다음의 공식에 의해 기술될 수 있다:
Figure 112019011492371-pct00001
.
이때, Hp는 p만큼 이동(shift)된 구조화 요소 H를 기술한다. Wq는 q만큼 이동된 가중 행렬 W를 기술한다. 여기서 q 및 p는 방향을 기술한다. 이때 구조화 요소 H는 3×3 행렬이다. 팽창의 결과가 도 5의 우측에 나타난다. 가중 행렬 및 형태학적 필터링을 채움으로써, 가중 행렬의 적분 이미지가 결정된다. 적분 이미지
Figure 112019011492371-pct00002
가 다음의 공식에 의해 기술될 수 있다:
Figure 112019011492371-pct00003
.
이제, 운동하는 객체(9)로부터 기원된 것으로 인식된 객체 셀(12')에 기초하여, 관심 영역(16)이 결정될 것이다. 이는 도 6과 관련하여 설명된다. 여기서 이미지 셀(12), 객체 셀(12') 및 이의 가중치에 기초하여 객체 가설을 결정하는 생성기(generator)가 사용될 수 있다. 이에, 개별 이미지 셀(12) 및 객체 셀(12')에 걸쳐 이동되는 슬라이딩 윈도(sliding window)(17)가 사용된다. 따라서 적분 이미지에 기초하여, 가중치 각각이 각자의 관심 영역(16)에 대해 결정된다. 가중된 합 wROI이 다음의 공식에 따라 결정될 수 있다:
Figure 112019011492371-pct00004
.
여기서, x 및 y는 관심 영역의 하단 좌측 가장자리의 위치를 기술하며, w 및 h는 관심 영역(16)의 폭과 높이를 기술한다. 가중된 합 wROI이 임계 값보다 큰 경우, 관심 영역(16)은 가설(hypothesis)이라고 마킹된다. 관심 영역(16)이 가설로 마킹되면, 현재 컬럼에서의 추가 관심 영역(16)의 검색이 중단되고 다음 컬럼에서 계속된다. 도 6에서 지시되는 바와 같이, 이는 모든 컬럼에 대해 수행된다.
컬럼 각각에 대해, 객체 셀(12')을 포함하는 사각형(18)이 형성될 수 있는지 여부가 검사된다. 여기서, 관심 영역(16)이 보정되는 것이 더 제공된다. 이에, 도 7은 관심 영역(16) 또는 슬라이딩 윈도(17)가 상향 보정되는 예시를 보여준다. 이때, 슬라이딩 윈도(17)의 상부 경계가 상향 이동되어, 운동하는 객체(9)와 연관된 객체 셀(12')이 슬라이딩 윈도(17)에 포함되게 된다. 그 후 사각형(18)은 보정된 슬라이딩 윈도(17)로부터 결정된다.
또한, 도 8은 슬라이딩 윈도(17)의 하부 경계가 아래쪽으로 하향 이동되어, 모든 객체 셀(12')이 슬라이딩 윈도(17)에 포함되게 되는 예시를 보여준다. 추가로, 축소된 추가 슬라이딩 윈도(17)가 도시된다. 이 경우, 객체 셀(12')은 슬라이딩 윈도(17)의 최저 라인에 존재하지 않는다. 이러한 이유로, 슬라이딩 윈도(17)의 하부 경계가 상향 이동된다.
또한, 이미지(10, 11)에서 도로(19)가 인식되는 것이 제공된다. 여기에, 분할 방법(segmentation method)이 사용된다. 분할 방법에 의해 이미지(10, 11)에서 도로(190)가 인식될 수 있다. 덧붙여, 도로(19)와 객체(9) 간 경계 라인(20)이 결정될 수 있다. 그 후 이 경계 라인(20)에 기초하여, 관심 영역(16)을 기술하는 사각형(18)이 적응될 수 있다. 이 예시에서, 사각형(18)은 하향 보정된다. 이는 화살표(21)로 나타난다.
덧붙여, 각자의 관심 영역(16)이 그룹화될 수 있다. 이는 도 10과 관련하여 설명된다. 여기서, 관심 영역(16)을 기술하는 사각형(18)이 뚜렷하다. 겹치는 사각형(18)에서, 겹침 영역에서 수평 접촉 영역(23)이 결정된다. 겹침 영역에서 이러한 수평 접촉 영역(23)이 사전결정된 임계 값을 초과하는 경우, 관심 영역(16)은, 관심 영역(16)의 그룹(22, 22')이 발생하도록 그룹화된다. 이에, 좌측부 상의 사각형(18) 또는 관심 영역(16)이 제1 그룹(22)으로 조합되고 우측부 상의 사각형(18) 또는 관심 영역(16)이 제2 그룹으로 조합된다. 수평 접촉 영역(23a)이 임계 값 아래에 있기 때문에, 제2 그룹(22')의 사각형(18a)이 더해지지 않는다.
도 11은 주위 영역(8)에서 객체(9)를 추적하기 위한 방법의 개략적 흐름도를 도시한다. 단계(S6)에서, 객체 특징부(24, 25)가 이미지(10, 11) 내 관심 영역(16)에 기초하여 결정된다. 단계(S7)에서, 예측 특징부(26)가 결정되고 단계(S8)에서 객체 특징부(24, 26)가 예측 특징부(26)와 연관된다. 단계(S9)에서, 객체(9)의 위치가 업데이트된다. 그 후 업데이트된 위치가 상태 벡터를 기술하는 객체 데이터베이스(27)에 공급된다. 단계(S10)에서, 주위 영역(8)에서의 객체(9)의 운동이 선형 운동 모델에 기초하여 예측된다. 그 후 이 운동 모델에 기초하여, 예측 특징부(26)가 단계(S7)에서 결정된다. 덧붙여, 단계(S11)에서 새로운 객체 특징부가 인식되고 단계(S12)에서 객체 특징부(24, 25)는 더는 고려되지 않을 수 있다.
이미 존재하고 추적되는 객체(9)와 새로 캡처된 객체의 연관이 이미지(10, 11)와 실세계 모두에서 수행된다. 이때, 이미지(10, 11)의 시퀀스 내에서 단계(S6 내지 S8)가 수행된다. 이는 도 11에서 블록(35)에 의해 도시된다. 단계(S9 내지 S12)가 실세계에서 또는 주위 영역(8)에서 결정된다. 이는 도 11에서 블록(36)으로 도시된다.
단계(S6)에 따르는 객체 특징부(24, 25)의 결정이 도 12에 도시되어 있다. 이때, 각자의 관심 영역(16)과 연관되고 그룹(22)으로 조합되는 개별 사각형(18)이 도시된다. 그 후 관심 영역(16)의 그룹(22)에 기초하여, 다각형(28)이 결정된다. 이때, 다각형(28)은 관심 영역(16)을 기술하는 사각형(28)의 포락선(envelope)으로 결정된다. 덧붙여, 다각형(28)의 무게 중심(29)이 결정된다. 좌표 xs 및 ys를 갖는 다각형(28)의 무게 중심(29)의 위치가 다음의 공식에 따라 결정될 수 있다:
Figure 112019011492371-pct00005
,
Figure 112019011492371-pct00006
.
또한 다각형(28)의 면적 A가 다음의 공식에 따라 결정될 수 있다:
Figure 112019011492371-pct00007
.
여기서, (xi, yi), (xi+1, yi+1)는 다각형(28)의 2개의 인접한 점의 좌표이다. N은 다각형(28)의 점의 개수이다.
도 13은 다각형(28)의 추가 표현을 나타낸다. 이때, 다각형(28)은 좌측 베이스 포인트(30), 중앙 베이스 포인트(31), 우측 베이스 포인트(32) 및 팁 포인트(33)를 가진다. 또한, 다각형(28)의 무게 중심(29)이 도시되어 있다. 중앙 베이스 포인트(31)이 소실점(35)을 다각형(28)의 무게 중심(29)까지 연결하는 연결 선(34)의 교차점에 의해 도출된다. 좌측 바닥 점(30) 및 우측 바닥 점(32)에 의해, 객체(9)의 폭이 기술된다. 팁 포인트(33)에 의해 객체(9)의 높이가 기술된다.
도 14는 자동차(1)에 대해 속력 v로 운동하는 우측부 상의 보행자의 형태를 한 객체(9)를 나타낸다. 도 14의 좌측부 상에 존재하는 자동차(1)의 적어도 하나의 카메라(4)에 의해 이미지(10, 11)가 제공된다. 이때, 제1 객체 특징부(24)가 제1 이미지(10)에서 다각형(28)으로 결정된다(도시되지 않음). 이 제1 객체 특징부(24)는 실세계 또는 주위 영역(8)에서 시점 t1에서 제1 위치 P1에 있는 객체(9)를 기술한다.
시간상 제1 이미지(10)에 후속하는 제2 이미지(11)에서, 예측 특징부(26)가 제1 객체 특징부(24)에 기초하여 결정된다. 이때, 객체(9) 또는 보행자의 사진(9')이 제2 이미지(11)에서 나타난다. 이때 제1 이미지(10)에서 결정된 제1 객체 특징부(24)가 제2 이미지(11)에서 점선으로 나타난다. 예측 특징부(26)를 결정하기 위해, 객체(9)의 속력 v를 기술하는 선형 운동 모델이 사용된다. 따라서 객체(9)가 시점 t1+Δt에서 존재하는 위치 P2가 결정될 수 있다.
객체(9)의 운동을 기술하기 위해, 칼만 필터(Kalman filter)가 사용된다. 이때, 객체(9)가 일정한 속력 v로 운동한다고 가정된다. 이에, 상태 벡터
Figure 112019011492371-pct00008
및 대응하는 상태 행렬
Figure 112019011492371-pct00009
이 다음과 같이 정의될 수 있다:
Figure 112019011492371-pct00010
,
Figure 112019011492371-pct00011
.
이때, A는 시스템 행렬을 기술한다.
Figure 112019011492371-pct00012
는 선행 시점에 대한 또는 제1 이미지(10)에 대한 상태 벡터를 기술한다.
Figure 112019011492371-pct00013
는 선행하는 시점에 대한 또는 제1 이미지(10)에 대한 상태 행렬을 기술한다. Q는 운동 모델의 오차 및 운동 모델과 실세계에서의 객체(9)의 운동 간 차이를 기술하는 노이즈 행렬이다.
시간상 제1 이미지(10)에 후속하는 제2 이미지(11)에서, 제2 객체 특징부(25)가 관심 영역(16)에 기초하여 결정될 수 있다. 이때, 제2 객체 특징부(25)가 예측 특징부(26)와 연관될 수 있는지 여부가 검사될 것이다. 이에, 도 15(a) 내지 도 15(d)가 제2 객체 특징부(25)와 예측 특징부(26) 간 연관이 검사될 수 있는 상이한 변형 방식을 도시한다. 예를 들어, 도 15(a)에 도시된 바와 같이, 제2 객체 특징부(25)와 예측 특징부(26) 간 겹침 영역(36)이 결정될 수 있다. 또한 제2 객체 특징부(25) 또는 다각형(28)의 무게 중심(29) 또는 예측 특징부(26)의 무게 중심(38)이 결정될 수 있다. 이는 도 15(b)에 도시되어 있다. 덧붙여, 제2 객체 특징부(25)의 크기가 예측 특징부(26)의 크기에 비교될 수 있다. 이는 도 15(c)에 도시되어 있다. 덧붙여, 예측 특징부(26)에 기초하여 결정되었거나, 예측 특징부(26)를 실세계로 매핑하는 객체(9)와 예측 객체(40) 간 거리(39)가 결정될 수 있다.
도 15(a) 내지 15(d)에 도시된 이들 기준 모두가 0 내지 1의 값을 가질 수 있는 품질 레벨 qm을 결정하도록 검사될 수 있다. 결국, 연관 확률 pj가 결정될 수 있으며, 이는 다음의 공식에 따라 결정될 수 있다:
Figure 112019011492371-pct00014
.
연관 확률 pj가 사전결정된 임계 값을 초과하는 경우, 제2 객체 특징부(25)는 예측 특징부(26)와 연관될 수 있다. 즉, 제2 객체 특징부(25)가 주위 영역(8)에서 객체(9)를 기술함이 확정된다.
실제 장면 또는 교통 상황에서, 운동하는 객체(9), 구체적으로 보행자는 자신의 운동 방향 또는 속력을 변경하는 경우가 일반적이다. 객체 특징부(24, 25)가 광학 흐름에 기초하여 결정되었기 때문에, 객체(9) 또는 보행자가 현재 정지하여 서 있는 경우 객체 특징부(24, 25)가 결정될 수 없을 수 있다. 또한, 운동하는 객체(9)가 자신의 운동 방향을 변경하는 경우가 있을 수 있다.
이는 도 16과 관련하여 도시되어 있다. 시점 t1에서, 객체(9) 또는 보행자의 사진(9')이 좌측으로 이동한다. 여기서, 운동 모델에 기초하여 결정된 예측 특징부(26) 및 관심 여역(16)에 기초하여 결정된 제2 객체 특징부(25)가 우수한 상관관계를 보인다. 따라서 제2 객체 특징부(25)가 객체(9)로부터 기원한 것으로 확정된다. 시점 t2에서, 객체(9) 또는 보행자가 정지한다. 이 경우, 제2 객체 특징부(25)가 결정될 수 없다. 여기서, 객체(9)로부터 기원한 것으로 확정된 마지막 확정 객체 특징부(41)가 도시된다. 이는 시점 t1에서 확정된 제2 객체 특징부(25)에 대응한다. 시점 t3에서, 객체(9)는 다시 우측으로 움직인다. 여기서, 제2 객체 특징부(25)가 결정될 수 있다. 이때, 예측 특징부(26)와 제2 객체 특징부(25) 간 연관 확률 p가 도출된다. 덧붙여 마지막 확정 객체 특징부(41)와 제2 객체 특징부(25) 간 연관 확률 pL이 결정된다. 연관 확률 pL이 연관 확률 p보다 크기 때문에, 시점 t4에서의 객체(9)의 운동이 마지막 확정 객체 특징부(41)에 기초하여 결정된다.
덧붙여, 운동 모델에 기초하여 객체(9)의 위치를 기술하는 예측 위치 P2와의 공간 유사도(spatial similarity)이 결정될 수 있다. 이는 도 17에 도시되어 있다. 이때, 예측 위치 P2가 위치 결정의 공간 불확실성을 기술하는 복수의 타원(42)에 의해 기술된다. 덧붙여, 객체 위치(43)가 결정되고, 여기서 객체 위치(43)는 제2 객체 특징부(25)에 기초하여 결정된다. 그 후 예측 위치 P2 및 객체 위치(43)에 기초하여, 공간 유사도 또는 공간 가능성이 결정될 수 있다. 각각의 연관된 측정치 또는 각각의 객체 특징부(24, 25)에 대해, 상태 벡터 및 이와 연관된 공분산 행렬이 다음과 같이 결정될 수 있다:
Figure 112019011492371-pct00015
Figure 112019011492371-pct00016
.
이때,
Figure 112019011492371-pct00017
는 측정치 또는 제2 객체 특징부(25)의 데이터벡터를 기술한다.
Figure 112019011492371-pct00018
는 예상 데이터 벡터를 기술한다.
Figure 112019011492371-pct00019
는 칼만 이득을 기술하며, 다음의 공식에 따라 결정될 수 있다:
Figure 112019011492371-pct00020
.
이때,
Figure 112019011492371-pct00021
는 운동 모델에 기초하여 객체 특징부(24, 25)를 생성하기 위한 측정 행렬을 기술하고,
Figure 112019011492371-pct00022
는 이미지(10, 11)에서 다각형(28)의 변형을 기술하는 노이즈 행렬을 기술한다. 그 후 다음의 공식에 따라 시스템 모델이 결정될 수 있으며, 이때 w는 가중 계수이다:
Figure 112019011492371-pct00023
.
도 18은 이미지(11)를 도시하며, 여기서 복수의 제2 객체 특징부(25)가 객체(9) 또는 사진(9')와 연관된다. 이때, 제2 객체 특징부(25)가 객체(9)의 머리와 연관되고, 2개의 제2 객체 특징부(25)가 객체(9)의 팔과 연관되며, 제2 객체 특징부(25)가 객체(9) 또는 보행자의 다리와 연관된다. 공간 유사도에 기초하여, 가중 계수 w가 제2 객체 특징부(25) 중 하나와 연관될 수 있다. 이때, 객체(9) 또는 보행자의 다리와 연관된 제2 객체 특징부(25)가 예측 특징부(26) 또는 이의 바닥 점과 가장 큰 공간 유사도를 가진다. 1의 가중 계수 w가 이 제2 객체 특징부(25)와 연관된다. 0의 가중 계수 w가 제2 객체 특징부(25)와 연관된다. 그 후 이 가중 계수 w에 기초하여, 객체의 현재 위치 또는 운동이 업데이트될 수 있다.
이미지(10, 11)에서, 추가 객체 특징부가 인식될 수 있다. 이때, 추가 객체 특징부가 주위 영역(8)에 진입하는 새 객체 또는 객체(9)인지 여부가 검사된다. 이에, 진입 확률(entry probability)이 고려된다. 이에, 도 19는 주위 영역(8)을 기술하는 이미지(10, 11) 내 객체 특징부(24, 25)의 위치에 따라 달라지는 진입 확률의 분포를 보여준다. 이때, 영역(44a 내지 44d)이 이미지(10, 11) 내 상이한 진입 확률을 기술한다. 가장자리 영역(44a)에서, 새로운 객체의 높은 진입 가능성이 발생한다. 이와 달리, 자동차(1) 바로 정면인 이미지(10, 11)의 중앙 영역(44a)에서 매우 낮은 진입 확률이 발생한다.
이미지(10, 11)에서 새 객체 또는 새 객체 특징부가 인식된 경우, 이는 추적될 수 있다. 동일한 방식으로, 객체(9)가 주위 영역(8)에서 퇴장했고 따라서 이미지(10, 11)에서 더는 캡처될 수 없는지 여부가 결정될 수 있다. 여기서 또한 진입 확률과 유사하게 퇴장 확률(exit probability)이 정의될 수 있다.
결론적으로, 자동차(1)의 주위 영역(8) 내 운동하는 객체(9)가 신뢰할만하게 인식되고 추적될 수 있다.

Claims (13)

  1. 자동차(1)의 카메라(4)가 제공하는 자동차(1)의 주위 영역(8)의 이미지(10, 11)의 시퀀스에 기초하여, 자동차의 주위 영역(8)에서 객체(9)를 캡처하기 위한 방법으로서,
    상기 시퀀스의 제1 이미지(10)에서 제1 객체 특징부(24)를 인식하는 단계 - 상기 제1 객체 특징부(24)는 상기 주위 영역(8)에서의 상기 객체(9)의 적어도 일부분을 기술함 - ,
    상기 주위 영역(8)에서의 상기 객체(9)의 운동을 기술하는 사전결정된 운동 모델에 기초하여, 상기 주위 영역(8)에의 상기 객체(9)의 위치를 추정하는 - 상기 위치는 상기 제1 객체 특징부(24)의 위치를 나타냄 - 단계,
    상기 제1 객체 특징부(24) 및 추정된 위치에 기초하여, 상기 시퀀스에서 상기 제1 이미지(10)에 후속하는 제2 이미지(11)에서 예측 특징부(26)를 결정하는 단계,
    상기 제2 이미지(11)에서 제2 객체 특징부(25)를 결정하는 단계,
    사전결정된 연관 기준이 만족되는 경우, 상기 제2 이미지(11)에서 상기 제2 객체 특징부(25)를 상기 예측 특징부(26)와 연관시키는 단계, 및
    상기 제2 객체 특징부(25)가 상기 예측 특징부(26)와 연관되는 경우, 상기 제2 객체 특징부(25)를 상기 객체(9)로부터 기원한 것으로 확정하는 단계를 포함하되,
    상기 제2 객체 특징부(25)와 상기 예측 특징부(26) 간 연관 확률(p)이 결정되며, 상기 연관 확률(p)이 사전결정된 값을 초과하는 경우 상기 사전결정된 연관 기준이 만족되는 것으로 간주되며,
    상기 주위 영역(8)에서의 객체 위치(43)가 상기 제2 객체 특징부(25)에 기초하여 결정되며, 상기 주위 영역(8)에서의 예측 위치(P2)가 상기 예측 특징부(26)에 기초하여 결정되며, 상기 객체 위치(43)와 상기 예측 위치(P2) 간 공간 유사도가 결정되며, 상기 주위 영역(8) 내 상기 객체(9)의 현재 위치가 상기 연관 확률(p)과 상기 공간 유사도에 기초하여 결정되는,
    자동차의 주위 영역에서 객체를 캡처하기 위한 방법.
  2. 제1항에 있어서,
    상기 제2 객체 특징부(25)가 상기 객체(9)로부터 기원한 것으로 확정되는 경우 상기 객체(9)는 자동차(1)에 대해 운동한 것으로 인식되는,
    자동차의 주위 영역에서 객체를 캡처하기 위한 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 연관 확률(p)은 상기 제2 이미지(11) 내에서의 상기 제2 객체 특징부(25)와 상기 예측 특징부(26) 간 겹침에 기초하거나, 상기 제2 이미지(11)에서의 상기 제2 객체 특징부(25)와 상기 예측 특징부(26)의 치수에 기초하거나, 상기 제2 이미지(11)에서의 상기 제2 객체 특징부(25)와 상기 예측 특징부(26)의 무게 중심(29, 38) 간 거리(37)에 기초하거나, 또는 상기 주위 영역(8)에서의 상기 객체(9)와 상기 예측 특징부(26)와 연관된 예측 객체(40) 간 거리(39)에 기초하여 결정되는,
    자동차의 주위 영역에서 객체를 캡처하기 위한 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 제2 객체 특징부(25)와 상기 예측 특징부(26) 간 연관이 없는 경우, 마지막 확정된 객체 특징부(41)와 상기 제2 객체 특징부(25) 간 연관 확률(pL)이 결정되고, 상기 마지막 확정된 객체 특징부(41)는 상기 객체(9)로부터 기원된 것으로 마지막으로 확정된 객체 특징부를 기술하는,
    자동차의 주위 영역에서 객체를 캡처하기 위한 방법.
  5. 제4항에 있어서,
    상기 마지막 확정된 객체 특징부(41)와 상기 제2 객체 특징부(25) 간 연관 확률(pL)이 상기 제2 객체 특징부(25)와 상기 예측 특징부(26) 간 연관 확률(p)보다 큰 경우, 상기 예측 특징부(26)는 상기 마지막 확정된 객체 특징부(41)와 연관되는 상기 주위 영역(8) 내 한 위치로부터 시작하는 것으로 결정되는,
    자동차의 주위 영역에서 객체를 캡처하기 위한 방법.
  6. 제1항에 있어서,
    적어도 2개의 제2 객체 특징부(25)가 상기 예측 특징부(26)와 연관되는 경우, 상기 객체(9)의 현재 위치는, 상기 예측 특징부(26)의 예측 위치(P2)와 더 큰 공간 유사도를 갖는 객체 위치(43)를 갖는 제2 객체 특징부(25)에 기초하여 결정되는,
    자동차의 주위 영역에서 객체를 캡처하기 위한 방법.
  7. 제1항, 제2항 및 제6항 중 어느 한 항에 있어서,
    추가 객체 특징부가 이미지(10, 11) 중 하나에서 인식되는 경우, 상기 추가 객체 특징부가 상기 주위 영역(8)에 진입하는 객체로부터 기원한 것인지 여부가 검사되며, 상기 검사는 상기 이미지(10, 11) 내 추가 객체 특징부의 위치에 따라 달라지는 진입 확률에 기초하여 수행되는,
    자동차의 주위 영역에서 객체를 캡처하기 위한 방법.
  8. 제1항에 있어서,
    상기 제2 객체 특징부(25)는 다각형(28)으로 결정되고, 상기 다각형(28)은 좌측 베이스 포인트(30), 중앙 베이스 포인트(31), 우측 베이스 포인트(32) 및 팁 포인트(33)를 가지며, 상기 다각형(28)은 상기 객체(9)의 폭 및 높이를 기술하는,
    자동차의 주위 영역에서 객체를 캡처하기 위한 방법.
  9. 제8항에 있어서,
    복수의 관심 영역(16)이 상기 제2 이미지(11)에서 결정되며, 상기 관심 영역(16)은 그룹화되며, 그룹화된 관심 영역(16)에 기초하여 각자의 다각형(28)이 결정되는,
    자동차의 주위 영역에서 객체를 캡처하기 위한 방법.
  10. 제9항에 있어서,
    상기 제2 이미지(11)는 복수의 이미지 셀(12)로 나뉘며, 운동하는 객체를 기술하는 객체 셀(12')이 광학 흐름에 기초하여 상기 이미지 셀(12)로부터 선택되고, 상기 객체 셀(12')은 상기 관심 영역(16) 중 하나와 연관되는,
    자동차의 주위 영역에서 객체를 캡처하기 위한 방법.
  11. 제9항 또는 제10항에 있어서,
    분할(segmentation)에 의해 상기 제2 이미지(11)에서 도로(17)가 인식되며, 상기 관심 영역(16)은 인식된 도로(17)에 기초하여 결정되는,
    자동차의 주위 영역에서 객체를 캡처하기 위한 방법.
  12. 적어도 하나의 카메라(4) 및 전자 이미지 처리 디바이스(3)를 포함하는 자동차(1)를 위한 카메라 시스템(2)으로서,
    상기 카메라 시스템(2)은 제1항, 제2항, 제6항 및 제8항 내지 제10항 중 어느 한 항에 따르는 방법을 수행하도록 구성된,
    카메라 시스템.
  13. 제12항에 따르는 카메라 시스템(2)을 갖는 자동차(1).
KR1020197003274A 2016-08-01 2017-07-27 객체의 운동을 예측하여 자동차의 주위 영역의 객체를 캡처하기 위한 방법, 카메라 시스템 및 자동차 KR102202343B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016114168.2A DE102016114168A1 (de) 2016-08-01 2016-08-01 Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug
DE102016114168.2 2016-08-01
PCT/EP2017/069014 WO2018024600A1 (en) 2016-08-01 2017-07-27 Method for capturing an object in an environmental region of a motor vehicle with prediction of the movement of the object, camera system as well as motor vehicle

Publications (2)

Publication Number Publication Date
KR20190025698A KR20190025698A (ko) 2019-03-11
KR102202343B1 true KR102202343B1 (ko) 2021-01-13

Family

ID=59656029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197003274A KR102202343B1 (ko) 2016-08-01 2017-07-27 객체의 운동을 예측하여 자동차의 주위 영역의 객체를 캡처하기 위한 방법, 카메라 시스템 및 자동차

Country Status (6)

Country Link
US (1) US11170232B2 (ko)
EP (1) EP3491581A1 (ko)
KR (1) KR102202343B1 (ko)
CN (1) CN109791603B (ko)
DE (1) DE102016114168A1 (ko)
WO (1) WO2018024600A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016114168A1 (de) * 2016-08-01 2018-02-01 Connaught Electronics Ltd. Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug
JP6841097B2 (ja) * 2017-03-09 2021-03-10 富士通株式会社 動き量算出プログラム、動き量算出方法、動き量算出装置及び業務支援システム
US10685244B2 (en) * 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
US20220215650A1 (en) * 2019-04-25 2022-07-07 Nec Corporation Information processing device, information processing method, and program recording medium
EP3866110A1 (en) * 2019-05-31 2021-08-18 SZ DJI Technology Co., Ltd. Target detection method, target detection apparatus and unmanned aerial vehicle
CN110288835B (zh) * 2019-06-28 2021-08-17 江苏大学 一种基于运动学预测补偿机制的周边车辆行为实时识别方法
JP7201550B2 (ja) * 2019-07-29 2023-01-10 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11605170B2 (en) * 2019-10-14 2023-03-14 INTERNATIONAL INSTITUTE OF EARTHQUAKE ENGINEERING AND SEISMOLOGYx Estimating a displacement sequence of an object
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
CN110834645B (zh) * 2019-10-30 2021-06-29 中国第一汽车股份有限公司 车辆的自由空间确定方法、装置、存储介质及车辆
CN113255411A (zh) * 2020-02-13 2021-08-13 北京百度网讯科技有限公司 目标检测方法、装置、电子设备及存储介质
DE102020106301A1 (de) * 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug
DE102020211960A1 (de) 2020-09-24 2022-03-24 Ford Global Technologies, Llc Kartierung eines befahrbaren Bereiches
US11640668B2 (en) * 2021-06-10 2023-05-02 Qualcomm Incorporated Volumetric sampling with correlative characterization for dense estimation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334511A (ja) * 2006-06-13 2007-12-27 Honda Motor Co Ltd 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
JP2008176555A (ja) * 2007-01-18 2008-07-31 Fujitsu Ten Ltd 障害物検知装置および障害物検知方法
WO2008139530A1 (ja) * 2007-04-27 2008-11-20 Honda Motor Co., Ltd. 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016429A (ja) * 2001-06-28 2003-01-17 Honda Motor Co Ltd 車両周辺監視装置
JP3739693B2 (ja) * 2001-11-09 2006-01-25 本田技研工業株式会社 画像認識装置
JP4686663B2 (ja) * 2006-07-10 2011-05-25 国立大学法人京都大学 歩行者トラッキング方法及び歩行者トラッキング装置
EP2043045B1 (de) * 2007-09-20 2011-09-07 Delphi Technologies, Inc. Verfahren zur Objektverfolgung
US8331667B2 (en) * 2007-09-28 2012-12-11 Samsung Electronics Co., Ltd. Image forming system, apparatus and method of discriminative color features extraction thereof
US8611585B2 (en) * 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
TWI382762B (zh) * 2008-11-17 2013-01-11 Ind Tech Res Inst 移動物體的追蹤方法
DE102010005290A1 (de) * 2009-01-26 2010-08-19 GM Global Technology Operations, Inc., Detroit Vereinigungsmodul für mehrere Objekte für ein Kollisionsvorbereitungssystem
JP4970516B2 (ja) * 2009-09-30 2012-07-11 日立オートモティブシステムズ株式会社 周囲確認支援装置
JP5475138B2 (ja) * 2010-09-08 2014-04-16 トヨタ自動車株式会社 移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US9412180B2 (en) * 2012-01-17 2016-08-09 Sony Corporation Information processing apparatus, information processing method, and program
EP2879384B8 (en) * 2012-07-27 2024-05-01 Nissan Motor Co., Ltd. Three-dimensional object detection device
DE102012024878A1 (de) 2012-12-19 2014-06-26 Connaught Electronics Ltd. Verfahren zum Detektieren eines Zielobjekts anhand eines Kamerabilds durch Clusterbildung aus mehreren benachbarten Bildzellen, Kameraeinrichtung und Kraftfahrzeug
DE102012024997A1 (de) 2012-12-19 2014-06-26 Connaught Electronics Ltd. Verfahren zum Verfolgen eines Zielobjekts ausgehend von einem Stillstandzustand, Kamerasystem und Kraftfahrzeug
US9205776B2 (en) * 2013-05-21 2015-12-08 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
DE102013220005A1 (de) * 2013-10-02 2015-04-02 Continental Automotive Gmbh Verfahren und Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs und Fahrerassistenzsystem
JP6184877B2 (ja) * 2014-01-09 2017-08-23 クラリオン株式会社 車両用外界認識装置
JP6331402B2 (ja) * 2014-01-14 2018-05-30 株式会社デンソー 移動体検出装置および移動体検出方法
WO2015138533A1 (en) * 2014-03-11 2015-09-17 Continental Automotive Systems, Inc Method and system for displaying probability of a collision
WO2015142019A1 (en) * 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Method and apparatus for preventing a collision between subjects
US10192122B2 (en) * 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
DE102014114221A1 (de) * 2014-09-30 2016-03-31 Valeo Schalter Und Sensoren Gmbh Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
CN104680557A (zh) * 2015-03-10 2015-06-03 重庆邮电大学 视频序列图像中的异常行为智能检测方法
US20160379074A1 (en) * 2015-06-25 2016-12-29 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices
US10289884B2 (en) * 2015-08-27 2019-05-14 Kabushiki Kaisha Toshiba Image analyzer, image analysis method, computer program product, and image analysis system
JP6328327B2 (ja) * 2015-09-25 2018-05-23 株式会社日立情報通信エンジニアリング 画像処理装置及び画像処理方法
US10077007B2 (en) * 2016-03-14 2018-09-18 Uber Technologies, Inc. Sidepod stereo camera system for an autonomous vehicle
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
DE102016114168A1 (de) * 2016-08-01 2018-02-01 Connaught Electronics Ltd. Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334511A (ja) * 2006-06-13 2007-12-27 Honda Motor Co Ltd 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
JP2008176555A (ja) * 2007-01-18 2008-07-31 Fujitsu Ten Ltd 障害物検知装置および障害物検知方法
WO2008139530A1 (ja) * 2007-04-27 2008-11-20 Honda Motor Co., Ltd. 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法

Also Published As

Publication number Publication date
KR20190025698A (ko) 2019-03-11
US20190197321A1 (en) 2019-06-27
DE102016114168A1 (de) 2018-02-01
CN109791603A (zh) 2019-05-21
CN109791603B (zh) 2023-10-03
WO2018024600A1 (en) 2018-02-08
US11170232B2 (en) 2021-11-09
EP3491581A1 (en) 2019-06-05

Similar Documents

Publication Publication Date Title
KR102202343B1 (ko) 객체의 운동을 예측하여 자동차의 주위 영역의 객체를 캡처하기 위한 방법, 카메라 시스템 및 자동차
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN111448478B (zh) 用于基于障碍物检测校正高清地图的***和方法
US10081308B2 (en) Image-based vehicle detection and distance measuring method and apparatus
CN110543807B (zh) 验证障碍物候选的方法
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
JP7135665B2 (ja) 車両制御システム、車両の制御方法及びコンピュータプログラム
US11829153B2 (en) Apparatus, method, and computer program for identifying state of object, and controller
US11514683B2 (en) Outside recognition apparatus for vehicle
CN113435237B (zh) 物体状态识别装置、识别方法和计算机可读的记录介质以及控制装置
CN108027974A (zh) 图像处理装置以及图像处理方法
US11900690B2 (en) Apparatus, method, and computer program for identifying state of signal light, and controller
CN105320930A (zh) 对象物识别装置
US11120292B2 (en) Distance estimation device, distance estimation method, and distance estimation computer program
US20230245323A1 (en) Object tracking device, object tracking method, and storage medium
CN116892949A (zh) 地上物检测装置、地上物检测方法以及地上物检测用计算机程序
JP6416654B2 (ja) 白線検出装置
Rosebrock et al. Real-time vehicle detection with a single camera using shadow segmentation and temporal verification
JP2021026683A (ja) 距離推定装置
JP2020076714A (ja) 位置姿勢推定装置
Kuprešak et al. Solution for autonomous vehicle parking
JP7491260B2 (ja) 人検出装置、人検出方法及び人検出用コンピュータプログラム
JP2024024422A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP2016004447A (ja) 移動情報推定装置
JP2020101935A (ja) 画像認識装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant