KR20220156736A - 종속 가능성 구조체로의 다중 타겟 추적 - Google Patents

종속 가능성 구조체로의 다중 타겟 추적 Download PDF

Info

Publication number
KR20220156736A
KR20220156736A KR1020210191649A KR20210191649A KR20220156736A KR 20220156736 A KR20220156736 A KR 20220156736A KR 1020210191649 A KR1020210191649 A KR 1020210191649A KR 20210191649 A KR20210191649 A KR 20210191649A KR 20220156736 A KR20220156736 A KR 20220156736A
Authority
KR
South Korea
Prior art keywords
hypotheses
candidate
criterion
hypothesis
occlusion
Prior art date
Application number
KR1020210191649A
Other languages
English (en)
Inventor
링지 첸
Original Assignee
모셔널 에이디 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모셔널 에이디 엘엘씨 filed Critical 모셔널 에이디 엘엘씨
Publication of KR20220156736A publication Critical patent/KR20220156736A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)

Abstract

본 개시는 종속 가능성 구조체들로의 다중 타겟 추적을 용이하게 하는 시스템들, 방법들, 및 컴퓨터 판독 가능 저장 매체들을 포함한다. 추적을 용이하게 하기 위해, 차량이 위치하는 환경과 연관된 센서 데이터가 수신될 수 있다. 센서 데이터에 기초하여 후보 가설 세트가 획득될 수 있다. 후보 가설 세트 내의 각각의 후보 가설은 하나 이상의 타겟에 대한 후보 위치들을 나타내는 추적 및 측정 정보를 포함할 수 있다. 후보 가설 세트는 적어도 하나의 기준과 대비하여 평가된다. 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가한 것에 기초하여, 순위 부여된 가설 세트가 결정된다. 순위 부여된 가설 세트는 후보 가설 세트 중에서 선택되는 가설 서브세트를 포함할 수 있으며, 하나 이상의 타겟 각각의 위치를 추정하는 데 사용될 수 있다.

Description

종속 가능성 구조체로의 다중 타겟 추적{MULTI-TARGET TRACKING WITH DEPENDENT LIKELIHOOD STRUCTURES}
타겟들의 추적은 많은 상이한 기술들에서 중요한 역할을 한다. 예를 들어, 추적은 자율 주행 차량(autonomous vehicle)에 의해 다른 차량들을 추적하고 추적된 차량들에 관한 정보를 사용하여 운행 결정을 내리는 데 사용될 수 있다. 계산 리소스의 제한으로 인해, 현재 추적 기술들은 종종 개별적인 타겟-측정치 연관 가능성(target-measurement association likelihood)이 다른 것들과 독립적이라고 가정한다(예를 들면, 그것이 속하는 어느 가설에서든지 동일하게 유지됨). 그렇지만, 독립성 가정(independence assumption)이 성립하지 않는 상황들이 있으며 해당 상황들은 추적의 정확도를 저하시킬 수 있다.
도 1은 본 개시의 양태들에 따른 자율 주행 시스템의 하나 이상의 컴포넌트를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 2는 본 개시의 양태들에 따른 자율 주행 시스템을 포함하는 차량의 하나 이상의 시스템의 다이어그램이다.
도 3은 도 1 및 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 컴포넌트들의 다이어그램이다.
도 4는 본 개시의 양태들에 따른 자율 주행 시스템의 특정 컴포넌트들의 다이어그램이다.
도 5a 내지 도 5g는 본 개시에 따른 종속 가능성 구조체들(dependent likelihood structures)로의 다중 타겟 추적을 위한 프로세스의 구현의 다이어그램들이다.
도 6은 본 개시에 따른 종속 가능성 구조체들로의 다중 타겟 추적을 수행하기 위한 프로세스의 플로차트이다.
도 7은 본 개시에 따른 추적 시스템의 양태들을 예시하는 블록 다이어그램이다.
도 8은 본 개시에 따른 다중 타겟 추적을 수행하는 양태들을 예시하는 블록 다이어그램이다.
도 9는 본 개시에 따른 타겟들을 추적하기 위한 충돌 구조체의 예시적인 양태들을 예시하는 블록 다이어그램이다.
도 10는 본 개시에 따른 타겟들을 추적하기 위한 폐색 구조체(occlusion structure)의 예시적인 양태들을 예시하는 블록 다이어그램이다.
도 11은 본 개시에 따른 추적을 예시하는 플롯이다.
도 12a 및 도 12b는 독립성 가정에 기초한 추적을 예시하는 플롯이다.
이하의 설명에서는, 설명 목적으로 본 개시에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 제시된다. 그렇지만, 본 개시에 의해 기술되는 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있음이 명백할 것이다. 일부 경우에, 본 개시의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조체들 및 디바이스들은 블록 다이어그램 형태로 예시되어 있다.
시스템들, 디바이스들, 모듈들, 명령어 블록들, 데이터 요소들 등을 나타내는 것들과 같은, 개략적인 요소들의 특정 배열들 또는 순서들이 설명의 편의를 위해 도면들에 예시되어 있다. 그렇지만, 본 기술 분야의 통상의 기술자라면 도면들에서의 개략적인 요소들의 특정 순서 또는 배열이, 그러한 것으로 명시적으로 기술되지 않는 한, 프로세스들의 특정 프로세싱 순서 또는 시퀀스, 또는 프로세스들의 분리가 필요하다는 것을 암시하는 것으로 의미되지 않음을 이해할 것이다. 게다가, 도면에 개략적인 요소를 포함시키는 것은, 그러한 것으로 명시적으로 기술되지 않는 한 일부 실시예들에서, 그러한 요소가 모든 실시예들에서 필요하다는 것 또는 그러한 요소에 의해 표현되는 특징들이 다른 요소들에 포함되지 않을 수 있거나 다른 요소들과 결합되지 않을 수 있다는 것을 암시하는 것으로 의미되지 않는다.
게다가, 2 개 이상의 다른 개략적인 요소 사이의 연결, 관계 또는 연관을 예시하기 위해 실선 또는 파선 또는 화살표와 같은 연결 요소들이 도면들에서 사용되는 경우에, 임의의 그러한 연결 요소들의 부재는 연결, 관계 또는 연관이 존재할 수 없음을 암시하는 것으로 의미되지 않는다. 환언하면, 본 개시를 모호하게 하지 않기 위해 요소들 사이의 일부 연결들, 관계들 또는 연관들이 도면들에 예시되어 있지 않다. 추가적으로, 예시의 편의를 위해, 요소들 사이의 다수의 연결들, 관계들 또는 연관들을 나타내기 위해 단일의 연결 요소가 사용될 수 있다. 예를 들어, 연결 요소가 신호들, 데이터 또는 명령어들(예를 들면, "소프트웨어 명령어들")의 통신을 나타내는 경우에, 본 기술 분야의 통상의 기술자라면 그러한 요소가, 통신을 수행하기 위해 필요하게 될 수 있는, 하나 또는 다수의 신호 경로(예를 들면, 버스)를 나타낼 수 있다는 것을 이해할 것이다.
제1, 제2, 제3 등의 용어들이 다양한 컴포넌트들을 기술하는 데 사용되지만, 이러한 요소들이 이러한 용어들에 의해 제한되어서는 안된다. 제1, 제2, 제3 등의 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 기술된 실시예들의 범위를 벗어나지 않으면서, 제1 접촉은 제2 접촉이라고 지칭될 수 있고, 유사하게 제2 접촉은 제1 접촉이라고 지칭될 수 있다. 제1 접촉과 제2 접촉은 둘 다 접촉이지만, 동일한 접촉은 아니다.
본원에서의 다양한 기술된 실시예들에 대한 설명에서 사용되는 전문용어는 특정 실시예들을 기술하기 위해서만 포함되어 있으며, 제한하는 것으로 의도되지 않는다. 다양한 기술된 실시예들에 대한 설명 및 첨부된 청구항들에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 복수 형태들도 포함하는 것으로 의도되고, 문맥이 달리 명확히 나타내지 않는 한, "하나 이상" 또는 "적어도 하나"와 상호 교환 가능하게 사용될 수 있다. "및/또는"이라는 용어가, 본원에서 사용되는 바와 같이, 연관된 열거된 항목들 중 하나 이상의 항목의 임의의 및 모든 가능한 조합들을 지칭하고 포괄한다는 것이 또한 이해될 것이다. "포함한다(includes)", 포함하는(including), 포함한다(comprises)" 및/또는 "포함하는(comprising)"이라는 용어들이, 본 설명에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본원에서 사용되는 바와 같이, "통신" 및 "통신하다"라는 용어들은 정보(또는, 예를 들어, 데이터, 신호들, 메시지들, 명령어들, 커맨드들 등에 의해 표현되는 정보)의 수신, 접수, 송신, 전달, 제공 등 중 적어도 하나를 지칭한다. 하나의 유닛(예를 들면, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합들 등)이 다른 유닛과 통신한다는 것은 하나의 유닛이 직접 또는 간접적으로 다른 유닛으로부터 정보를 수신하고/하거나 다른 유닛으로 정보를 전송(예를 들면, 송신)할 수 있음을 의미한다. 이것은 본질적으로 유선 및/또는 무선인 직접 또는 간접 연결을 지칭할 수 있다. 추가적으로, 송신되는 정보가 제1 유닛과 제2 유닛 사이에서 수정, 프로세싱, 중계 및/또는 라우팅될 수 있을지라도 2 개의 유닛은 서로 통신하고 있을 수 있다. 예를 들어, 제1 유닛이 정보를 수동적으로 수신하고 정보를 제2 유닛으로 능동적으로 송신하지 않을지라도 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 다른 예로서, 적어도 하나의 중간 유닛(예를 들면, 제1 유닛과 제2 유닛 사이에 위치하는 제3 유닛)이 제1 유닛으로부터 수신되는 정보를 프로세싱하고 프로세싱된 정보를 제2 유닛으로 송신하는 경우 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예를 들면, 데이터 패킷 등)을 지칭할 수 있다.
본원에서 사용되는 바와 같이, "~ 경우"라는 용어는, 선택적으로, 문맥에 따라 "~할 때", 또는 "~시에" 또는 "~라고 결정하는 것에 응답하여", "~을 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 유사하게, 문구 "~라고 결정되는 경우" 또는 "[언급된 조건 또는 이벤트]가 검출되는 경우"는, 선택적으로, 문맥에 따라, "~라고 결정할 시에", "~라고 결정하는 것에 응답하여", "[언급된 조건 또는 이벤트]를 검출할 시에", "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, "갖는다"(has, have), "갖는(having)" 등의 용어들은 개방형(open-ended) 용어들인 것으로 의도된다. 게다가, 문구 "~에 기초하여"는, 달리 명시적으로 언급되지 않는 한, "~에 적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.
본 개시의 일부 실시예들은 본원에서 임계치와 관련하여 기술된다. 본원에 기술된 바와 같이, 임계치를 충족시키는 것은 값이 임계치보다 큰 것, 임계치보다 많은 것, 임계치보다 높은 것, 임계치보다 크거나 같은 것, 임계치보다 작은 것, 임계치보다 적은 것, 임계치보다 낮은 것, 임계치보다 작거나 같은 것, 임계치와 동일한 것 등을 지칭할 수 있다.
그 예가 첨부 도면들에 예시되어 있는 실시예들이 이제 상세하게 언급될 것이다. 이하의 상세한 설명에서, 다양한 기술된 실시예들에 대한 완전한 이해를 제공하기 위해 수많은 특정 세부 사항들이 기재된다. 그렇지만, 다양한 기술된 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 상세하게 기술되지 않았다.
일반적 개관
일부 양태들 및/또는 실시예들에서, 본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들은 종속 가능성 구조체들로의 다중 타겟 추적을 수행하기 위한 프로세스를 포함하고/하거나 구현한다. 본 개시에 따른 예시적인 방법은, 적어도 하나의 프로세서로, 차량이 위치하는 환경과 연관된 센서 데이터를 수신하는 단계를 포함한다. 이 방법은, 적어도 하나의 프로세서로, 센서 데이터에 기초하여 후보 가설 세트(set of candidate hypotheses)를 획득하는 단계를 또한 포함한다. 후보 가설 세트 내의 각각의 후보 가설은 하나 이상의 타겟의 위치들을 나타내는 추적 및 측정 정보를 포함할 수 있다. 이 방법은, 적어도 하나의 프로세서로, 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가하는 단계, 및 적어도 하나의 프로세서로, 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가한 것에 기초하여, 순위 부여된 가설 세트(ranked set of hypotheses)를 결정하는 단계를 추가적으로 포함한다. 순위 부여된 가설 세트는 적어도 하나의 기준에 기초하여 후보 가설 세트 중에서 선택되는 가설 서브세트를 포함할 수 있다. 이 방법은, 적어도 하나의 프로세서로, 순위 부여된 가설 세트에 기초하여 하나 이상의 타겟 각각의 위치를 추정하는 단계를 또한 포함한다.
본 개시에 따른 시스템은 적어도 하나의 프로세서, 및 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서가 종속 가능성 구조체들로의 다중 타겟 추적을 위한 동작들을 수행하게 하는 명령어들을 저장하는 적어도 하나의 비일시적 저장 매체를 포함할 수 있다. 예를 들어, 적어도 하나의 프로세서는 차량이 위치하는 환경과 연관된 센서 데이터를 수신하고, 센서 데이터에 기초하여 후보 가설 세트를 획득할 수 있다. 후보 가설 세트 내의 각각의 후보 가설은 하나 이상의 타겟의 위치들을 나타내는 추적 및 측정 정보를 포함할 수 있다. 적어도 하나의 프로세서는 또한 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가하고 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가한 것에 기초하여, 순위 부여된 가설 세트를 결정할 수 있다. 순위 부여된 가설 세트는 적어도 하나의 기준에 기초하여 후보 가설 세트 중에서 선택되는 가설 서브세트를 포함한다. 적어도 하나의 프로세서는 또한 순위 부여된 가설 세트에 기초하여 하나 이상의 타겟 각각의 위치를 추정할 수 있다.
하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가 종속 가능성 구조체들로의 다중 타겟 추적을 위한 동작들을 수행하게 하는 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체가 또한 개시된다. 이 동작들은 차량이 위치하는 환경과 연관된 센서 데이터를 수신하는 동작, 및 센서 데이터에 기초하여 후보 가설 세트를 획득하는 동작을 포함한다. 후보 가설 세트 내의 각각의 후보 가설은 하나 이상의 타겟의 후보 위치를 나타내는 추적 및 측정 정보를 포함할 수 있다. 이 동작들은 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가하는 동작, 및 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가한 것에 기초하여, 순위 부여된 가설 세트를 결정하는 동작을 또한 포함한다. 순위 부여된 가설 세트는 적어도 하나의 기준에 기초하여 후보 가설 세트 중에서 선택되는 가설 서브세트를 포함할 수 있다. 이 동작들은 순위 부여된 가설 세트에 기초하여 하나 이상의 타겟 각각의 위치를 추정하는 동작을 또한 포함한다.
본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 구현에 의해, 본 개시에 따른 종속 가능성 구조체들로의 다중 타겟 추적을 위한 기술들은 가설들 - 이 가설들을 통해 타겟들이 추적됨 - 의 수를 효율적으로 감소시키며, 이에 의해 추적 시스템의 계산 복잡도를 감소시킨다(예를 들면, 추적을 수행하는 데 보다 적은 컴퓨팅 리소스들이 필요하다). 감소된 수의 가설들을 활용함에도 불구하고, 개시된 추적 기술들이 충돌 및 폐색 조건들의 인스턴스들을 신속하게 식별하는 것을 제공하며, 이는 추적 정확도를 개선시킨다는 점에 유의한다. 더욱이, 높은 레벨의 정확도 및 감소된 계산 복잡도로 인해, 개시된 추적 기술들은 또한 보다 많은 타겟들이 동시에 추적될 수 있게 할 수 있다.
이제 도 1을 참조하면, 자율 주행 시스템들을 포함하는 차량들은 물론 그렇지 않은 차량들이 작동되는 예시적인 환경(100)이 예시되어 있다. 예시된 바와 같이, 환경(100)은 차량들(102a 내지 102n), 대상체들(104a 내지 104n), 루트들(106a 내지 106n), 영역(108), 차량 대 인프라스트럭처(vehicle-to-infrastructure, V2I) 디바이스(110), 네트워크(112), 원격 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(fleet management system)(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결들, 무선 연결들, 또는 유선 또는 무선 연결들의 조합을 통해 상호연결한다(예를 들면, 통신 등을 위해 연결을 확립한다). 일부 실시예들에서, 대상체들(104a 내지 104n)은 유선 연결들, 무선 연결들 또는 유선 또는 무선 연결들의 조합을 통해 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결한다.
차량들(102a 내지 102n)(개별적으로 차량(102)이라고 지칭되고 집합적으로 차량들(102)이라고 지칭됨)은 상품 및/또는 사람을 운송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차들, 버스들, 트럭들, 기차들 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에 기술된 차량들(200)(도 2 참조)과 동일하거나 유사하다. 일부 실시예들에서, 일단의 차량들(200) 중의 차량(200)은 자율 주행 플릿 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은, 본원에 기술된 바와 같이, 각자의 루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)을 따라 주행한다. 일부 실시예들에서, 하나 이상의 차량(102)은 자율 주행 시스템(예를 들면, 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)을 포함한다.
대상체들(104a 내지 104n)(개별적으로 대상체(104)라고 지칭되고 집합적으로 대상체들(104)이라고 지칭됨)은, 예를 들어, 적어도 하나의 차량, 적어도 하나의 보행자, 적어도 하나의 자전거 타는 사람, 적어도 하나의 구조체(예를 들면, 건물, 표지판, 소화전(fire hydrant) 등) 등을 포함한다. 각각의 대상체(104)는 정지해 있거나(예를 들면, 일정 시간 기간 동안 고정 위치에 위치하거나) 이동하고 있다(예를 들면, 속도를 가지며 적어도 하나의 궤적과 연관되어 있다). 일부 실시예들에서, 대상체들(104)은 영역(108) 내의 대응하는 위치들과 연관되어 있다.
루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)은 각각 AV가 운행할 수 있는 상태들을 연결하는 행동들의 시퀀스(궤적이라고도 함)와 연관된다(예를 들면, 이를 규정한다). 각각의 루트(106)는 초기 상태(예를 들면, 제1 시공간적 위치, 속도 등에 대응하는 상태) 및 최종 목표 상태(예를 들면, 제1 시공간적 위치와 상이한 제2 시공간적 위치에 대응하는 상태) 또는 목표 영역(예를 들면, 허용 가능한 상태들(예를 들면, 종료 상태들(terminal states))의 부분 공간(subspace))에서 시작된다. 일부 실시예들에서, 제1 상태는 개인 또는 개인들이 AV에 의해 픽업(pick-up)되어야 하는 위치를 포함하고 제2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차(drop-off)해야 하는 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 허용 가능한 상태 시퀀스들(예를 들면, 복수의 시공간적 위치 시퀀스들)을 포함하며, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들면, 이를 정의한다). 일 예에서, 루트들(106)은, 도로 교차로들에서의 회전 방향들을 지시하는 일련의 연결된 도로들과 같은, 상위 레벨 행동들 또는 부정확한 상태 위치들만을 포함한다. 추가적으로 또는 대안적으로, 루트들(106)은, 예를 들어, 특정 목표 차선들 또는 차선 영역들 내에서의 정확한 위치들 및 해당 위치들에서의 목표 속력과 같은, 보다 정확한 행동들 또는 상태들을 포함할 수 있다. 일 예에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 룩어헤드 호라이즌(lookahead horizon)을 갖는 적어도 하나의 상위 레벨 행동 시퀀스를 따른 복수의 정확한 상태 시퀀스들을 포함하며, 여기서 제한된 호라이즌 상태 시퀀스들의 연속적인 반복들의 조합은 누적되어 복수의 궤적들에 대응하며 이 복수의 궤적들은 집합적으로 최종 목표 상태 또는 영역에서 종료하는 상위 레벨 루트를 형성한다.
영역(108)은 차량들(102)이 운행할 수 있는 물리적 영역(예를 들면, 지리적 영역)을 포함한다. 일 예에서, 영역(108)은 적어도 하나의 주(state)(예를 들면, 국가, 지방, 국가에 포함된 복수의 주들의 개개의 주 등), 주의 적어도 하나의 부분, 적어도 하나의 도시, 도시의 적어도 하나의 부분 등을 포함한다. 일부 실시예들에서, 영역(108)은 간선 도로, 주간 간선 도로, 공원 도로, 도시 거리 등과 같은 적어도 하나의 명명된 주요 도로(thoroughfare)(본원에서 "도로"라고 지칭됨)를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 영역(108)은 진입로, 주차장의 섹션, 공터 및/또는 미개발 부지의 섹션, 비포장 경로 등과 같은 적어도 하나의 명명되지 않은 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선(예를 들면, 차량(102)에 의해 횡단될 수 있는 도로의 일 부분)을 포함한다. 일 예에서, 도로는 적어도 하나의 차선 마킹과 연관된(예를 들면, 이에 기초하여 식별되는) 적어도 하나의 차선을 포함한다.
차량 대 인프라스트럭처(V2I) 디바이스(110)(때때로 차량 대 인프라스트럭처(V2X) 디바이스라고 지칭됨)는 차량들(102) 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 RFID(radio frequency identification) 디바이스, 사이니지(signage), 카메라(예를 들면, 2차원(2D) 및/또는 3차원(3D) 카메라), 차선 마커, 가로등, 주차 미터기 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접 통신하도록 구성된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.
네트워크(112)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 일 예에서, 네트워크(112)는 셀룰러 네트워크(예를 들면, LTE(long term evolution) 네트워크, 3G(third generation) 네트워크, 4G(fourth generation) 네트워크, 5G(fifth generation) 네트워크, CDMA(code division multiple access) 네트워크 등), PLMN(public land mobile network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 전화 네트워크(예를 들면, PSTN(public switched telephone network)), 사설 네트워크, 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이러한 네트워크들의 일부 또는 전부의 조합 등을 포함한다.
원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 원격 AV 시스템(114)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 플릿 관리 시스템(116)과 동일 위치에 배치된다(co-located). 일부 실시예들에서, 원격 AV 시스템(114)은 자율 주행 시스템, 자율 주행 차량 컴퓨터, 자율 주행 차량 컴퓨터에 의해 구현되는 소프트웨어 등을 포함한, 차량의 컴포넌트들의 일부 또는 전부의 설치에 관여된다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 그러한 컴포넌트들 및/또는 소프트웨어를 유지 관리(예를 들면, 업데이트 및/또는 교체)한다.
플릿 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 플릿 관리 시스템(116)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 플릿 관리 시스템(116)은 라이드 셰어링(ridesharing) 회사(예를 들면, 다수의 차량들(예를 들면, 자율 주행 시스템들을 포함하는 차량들 및/또는 자율 주행 시스템들을 포함하지 않는 차량들)의 작동을 제어하는 조직 등)와 연관된다.
일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, V2I 시스템(118)은 네트워크(112)와 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 지자체 또는 사설 기관(예를 들면, V2I 디바이스(110) 등을 유지 관리하는 사설 기관)과 연관된다.
도 1에 예시된 요소들의 수 및 배열은 예로서 제공된다. 도 1에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소는 도 1의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소 세트는 환경(100)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 2를 참조하면, 차량(200)은 자율 주행 시스템(202), 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량(102)은 자율 주행 능력을 갖는다(예를 들면, 완전 자율 주행 차량들(예를 들면, 인간 개입에 의존하지 않는 차량들), 고도 자율 주행 차량들(예를 들면, 특정 상황들에서 인간 개입에 의존하지 않는 차량들) 등을, 제한 없이, 포함한, 차량(200)이 인간 개입 없이 부분적으로 또는 완전히 작동될 수 있게 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현한다). 완전 자율 주행 차량들 및 고도 자율 주행 차량들에 대한 상세한 설명에 대해서는, 그 전체가 참고로 포함되는, SAE International's standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems를 참조할 수 있다. 일부 실시예들에서, 차량(200)은 자율 주행 플릿 관리자 및/또는 라이드 셰어링 회사와 연관된다.
자율 주행 시스템(202)은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 및 마이크로폰들(202d)과 같은 하나 이상의 디바이스를 포함하는 센서 스위트(sensor suite)를 포함한다. 일부 실시예들에서, 자율 주행 시스템(202)은 보다 많거나 보다 적은 디바이스들 및/또는 상이한 디바이스들(예를 들면, 초음파 센서들, 관성 센서들, GPS 수신기들(아래에서 논의됨), 차량(200)이 주행한 거리의 표시와 연관된 데이터를 생성하는 주행 거리 측정 센서들 등)을 포함할 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 자율 주행 시스템(202)에 포함된 하나 이상의 디바이스를 사용하여 본원에서 기술되는 환경(100)과 연관된 데이터를 생성한다. 자율 주행 시스템(202)의 하나 이상의 디바이스에 의해 생성되는 데이터는 차량(200)이 위치하는 환경(예를 들면, 환경(100))을 관측하기 위해 본원에 기술된 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및 드라이브 바이 와이어(drive-by-wire, DBW) 시스템(202h)을 포함한다.
카메라들(202a)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라들(202a)은 물리적 대상체들(예를 들면, 자동차들, 버스들, 연석들, 사람들 등)을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들면, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등)를 포함한다. 일부 실시예들에서, 카메라(202a)는 카메라 데이터를 출력으로서 생성한다. 일부 예들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들면, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프 등)를 명시할 수 있다. 그러한 예에서, 이미지는 한 형식(예를 들면, RAW, JPEG, PNG 등)으로 되어 있을 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(스테레오 비전(stereo vision))를 위해 이미지들을 캡처하도록 차량 상에 구성된(예를 들면, 차량 상에 위치된) 복수의 독립적인 카메라들을 포함한다. 일부 예들에서, 카메라(202a)는 복수의 카메라들을 포함하고, 이 복수의 카메라들은 이미지 데이터를 생성하고 이미지 데이터를 자율 주행 차량 컴퓨터(202f) 및/또는 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템)으로 전송한다. 그러한 예에서, 자율 주행 차량 컴퓨터(202f)는 적어도 2 개의 카메라로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 2 개의 카메라의 시야 내의 하나 이상의 대상체까지의 깊이를 결정한다. 일부 실시예들에서, 카메라들(202a)은 카메라들(202a)로부터 일정 거리(예를 들면, 최대 100 미터, 최대 1 킬로미터 등) 내의 대상체들의 이미지들을 캡처하도록 구성된다. 그에 따라, 카메라들(202a)은 카메라들(202a)로부터 하나 이상의 거리에 있는 대상체들을 인지하도록 최적화된 센서들 및 렌즈들과 같은 특징부들을 포함한다.
일 실시예에서, 카메라(202a)는 시각적 내비게이션 정보를 제공하는 하나 이상의 교통 신호등, 거리 표지판 및/또는 다른 물리적 대상체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 교통 신호등 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 한 형식(예를 들면, RAW, JPEG, PNG 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는, 카메라(202a)가 가능한 한 많은 물리적 대상체들에 관한 이미지들을 생성하기 위해 넓은 시야를 갖는 하나 이상의 카메라(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도 이상의 시야각을 갖는 렌즈 등)를 포함할 수 있다는 점에서, 카메라들을 포함하는 본원에 기술된 다른 시스템들과 상이하다.
LiDAR(Laser Detection and Ranging) 센서들(202b)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서들(202b)은 광 방출기(예를 들면, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서들(202b)에 의해 방출되는 광은 가시 스펙트럼 밖에 있는 광(예를 들면, 적외선 광 등)을 포함한다. 일부 실시예들에서, 작동 동안, LiDAR 센서들(202b)에 의해 방출되는 광은 물리적 대상체(예를 들면, 차량)와 조우하고 LiDAR 센서들(202b)로 다시 반사된다. 일부 실시예들에서, LiDAR 센서들(202b)에 의해 방출되는 광은 광이 조우하는 물리적 대상체들을 투과하지 않는다. LiDAR 센서들(202b)은 광 방출기로부터 방출된 광이 물리적 대상체와 조우한 후에 그 광을 검출하는 적어도 하나의 광 검출기를 또한 포함한다. 일부 실시예들에서, LiDAR 센서들(202b)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 LiDAR 센서들(202b)의 시야에 포함된 대상체들을 나타내는 이미지(예를 들면, 포인트 클라우드, 결합된 포인트 클라우드(combined point cloud) 등)를 생성한다. 일부 예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 그러한 예에서, 이미지는 LiDAR 센서들(202b)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
레이더(radar, Radio Detection and Ranging) 센서들(202c)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 레이더 센서들(202c)은 전파들을 (펄스형으로 또는 연속적으로) 송신하도록 구성된 시스템을 포함한다. 레이더 센서들(202c)에 의해 송신되는 전파들은 미리 결정된 스펙트럼 내에 있는 전파들을 포함한다. 일부 실시예들에서, 작동 동안, 레이더 센서들(202c)에 의해 송신되는 전파들은 물리적 대상체와 조우하고 레이더 센서들(202c)로 다시 반사된다. 일부 실시예들에서, 레이더 센서들(202c)에 의해 전송되는 전파들이 일부 대상체들에 의해 반사되지 않는다. 일부 실시예들에서, 레이더 센서들(202c)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 레이더 센서들(202c)의 시야에 포함된 대상체들을 나타내는 신호들을 생성한다. 예를 들어, 레이더 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 일부 예들에서, 이미지는 레이더 센서들(202c)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
마이크로폰들(202d)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰들(202d)은 오디오 신호들을 캡처하고 오디오 신호들과 연관된(예를 들면, 이를 나타내는) 데이터를 생성하는 하나 이상의 마이크로폰(예를 들면, 어레이 마이크로폰, 외부 마이크로폰 등)을 포함한다. 일부 예들에서, 마이크로폰들(202d)은 트랜스듀서 디바이스들 및/또는 유사 디바이스들을 포함한다. 일부 실시예들에서, 본원에 기술된 하나 이상의 시스템은 마이크로폰들(202d)에 의해 생성되는 데이터를 수신하고 데이터와 연관된 오디오 신호들에 기초하여 차량(200)을 기준으로 한 대상체의 위치(예를 들면, 거리 등)를 결정할 수 있다.
통신 디바이스(202e)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 자율 주행 차량 컴퓨터(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 차량 대 차량(vehicle-to-vehicle, V2V) 통신 디바이스(예를 들면, 차량들 간의 데이터의 무선 통신을 가능하게 하는 디바이스)를 포함한다.
자율 주행 차량 컴퓨터(202f)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 자율 주행 차량 컴퓨터(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들면, 셀룰러 전화, 태블릿 등), 서버(예를 들면, 하나 이상의 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등을 포함하는 컴퓨팅 디바이스) 등과 같은 디바이스를 포함한다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 본원에 기술된 자율 주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 자율 주행 차량 시스템(예를 들면, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 디바이스(예를 들면, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다.
안전 제어기(202g)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율 주행 차량 컴퓨터(202f)에 의해 생성 및/또는 송신되는 제어 신호들보다 우선하는(예를 들면, 이를 무시하는) 제어 신호들을 생성하도록 구성된다.
DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율 주행 차량 컴퓨터(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들면, 전기 제어기, 전기기계 제어기 등)를 포함한다. 추가적으로 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기는 차량(200)의 적어도 하나의 상이한 디바이스(예를 들면, 방향 지시등, 헤드라이트, 도어록, 윈도실드 와이퍼 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된다.
파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고, 파워트레인 제어 시스템(204)은 차량(200)이 전진하는 것을 시작하게 하고, 전진하는 것을 중지하게 하며, 후진하는 것을 시작하게 하고, 후진하는 것을 중지하게 하며, 한 방향으로 가속하게 하고, 한 방향으로 감속하게 하며, 좌회전을 수행하게 하고, 우회전을 수행하게 하는 등을 한다. 일 예에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들면, 연료, 전기 등)가 증가하게 하거나, 동일하게 유지되게 하거나, 또는 감소하게 하여, 이에 의해 차량(200)의 적어도 하나의 바퀴가 회전하거나 회전하지 않게 한다.
조향 제어 시스템(206)은 차량(200)의 하나 이상의 바퀴를 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 조향 제어 시스템(206)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 조향 제어 시스템(206)은 차량(200)이 좌측 또는 우측으로 방향 전환하게 하기 위해 차량(200)의 전면 2 개의 바퀴 및/또는 후면 2 개의 바퀴가 좌측 또는 우측으로 회전하게 한다.
브레이크 시스템(208)은 차량(200)이 속력을 감소시키게 하고/하거나 정지해 있는 채로 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 브레이크 시스템(208)은 차량(200)의 대응하는 로터(rotor)에서 차량(200)의 하나 이상의 바퀴와 연관된 하나 이상의 캘리퍼(caliper)가 닫히게 하도록 구성되는 적어도 하나의 제어기 및/또는 액추에이터를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 브레이크 시스템(208)은 자동 긴급 제동(automatic emergency braking, AEB) 시스템, 회생 제동 시스템 등을 포함한다.
일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건의 속성들을 측정 또는 추론하는 적어도 하나의 플랫폼 센서(명시적으로 예시되지 않음)를 포함한다. 일부 예들에서, 차량(200)은 GPS(global positioning system) 수신기, IMU(inertial measurement unit), 휠 속력 센서, 휠 브레이크 압력 센서, 휠 토크 센서, 엔진 토크 센서, 조향각 센서 등과 같은 플랫폼 센서들을 포함한다.
이제 도 3을 참조하면, 디바이스(300)의 개략 다이어그램이 예시되어 있다. 예시된 바와 같이, 디바이스(300)는 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시예들에서, 디바이스(300)는 차량들(102)의 적어도 하나의 디바이스(예를 들면, 차량들(102)의 시스템의 적어도 하나의 디바이스), 차량(200)의 적어도 하나의 디바이스(예를 들면, 차량(200)의 시스템의 적어도 하나의 디바이스), 차량들(510, 520, 530)의 적어도 하나의 디바이스(예를 들면, 차량들(510, 520, 530) 중 임의의 차량의 시스템의 적어도 하나의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)에 대응한다. 일부 실시예들에서, 차량들(102)의 하나 이상의 디바이스(예를 들면, 차량들(102)의 시스템의 하나 이상의 디바이스), 차량들(200)의 하나 이상의 디바이스(예를 들면, 차량들(200)의 시스템의 하나 이상의 디바이스), 차량들(510, 520, 530)의 하나 이상의 디바이스(예를 들면, 차량들(510, 520, 530) 중 임의의 차량의 시스템의 적어도 하나의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)는 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 컴포넌트를 포함한다. 도 3에 도시된 바와 같이, 디바이스(300)는 버스(302), 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.
버스(302)는 디바이스(300)의 컴포넌트들 간의 통신을 가능하게 하는 컴포넌트를 포함한다. 일부 실시예들에서, 프로세서(304)는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 예들에서, 프로세서(304)는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는, 프로세서(예를 들면, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 가속 프로세싱 유닛(APU) 등), 마이크로폰, 디지털 신호 프로세서(DSP), 및/또는 임의의 프로세싱 컴포넌트(예를 들면, FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등)를 포함한다. 메모리(306)는 프로세서(304)가 사용할 데이터 및/또는 명령어들을 저장하는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및/또는 다른 유형의 동적 및/또는 정적 저장 디바이스(예를 들면, 플래시 메모리, 자기 메모리, 광학 메모리 등)를 포함한다.
저장 컴포넌트(308)는 디바이스(300)의 작동 및 사용에 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들면, 자기 디스크, 광학 디스크, 광자기 디스크, 솔리드 스테이트 디스크 등), CD(compact disc), DVD(digital versatile disc), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM 및/또는 다른 유형의 컴퓨터 판독 가능 매체를, 대응하는 드라이브와 함께, 포함한다.
입력 인터페이스(310)는 디바이스(300)가, 예컨대, 사용자 입력(예를 들면, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라 등)을 통해, 정보를 수신할 수 있게 하는 컴포넌트를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 입력 인터페이스(310)는 정보를 감지하는 센서(예를 들면, GPS(global positioning system) 수신기, 가속도계, 자이로스코프, 액추에이터 등)를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트(예를 들면, 디스플레이, 스피커, 하나 이상의 발광 다이오드(LED) 등)를 포함한다.
일부 실시예들에서, 통신 인터페이스(314)는 디바이스(300)가 유선 연결, 무선 연결, 또는 유선 연결과 무선 연결의 조합을 통해 다른 디바이스들과 통신할 수 있게 하는 트랜시버 유사 컴포넌트(예를 들면, 트랜시버, 개별 수신기 및 송신기 등)를 포함한다. 일부 예들에서, 통신 인터페이스(314)는 디바이스(300)가 다른 디바이스로부터 정보를 수신하고/하거나 다른 디바이스에 정보를 제공할 수 있게 한다. 일부 예들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(radio frequency) 인터페이스, USB(universal serial bus) 인터페이스, Wi-Fi® 인터페이스, 셀룰러 네트워크 인터페이스 등을 포함한다.
일부 실시예들에서, 디바이스(300)는 본원에 기술된 하나 이상의 프로세스를 수행한다. 디바이스(300)는 프로세서(304)가, 메모리(305) 및/또는 저장 컴포넌트(308)와 같은, 컴퓨터 판독 가능 매체에 의해 저장된 소프트웨어 명령어들을 실행하는 것에 기초하여 이러한 프로세스들을 수행한다. 컴퓨터 판독 가능 매체(예를 들면, 비일시적 컴퓨터 판독 가능 매체)는 본원에서 비일시적 메모리 디바이스로서 정의된다. 비일시적 메모리 디바이스는 단일의 물리 저장 디바이스 내부에 위치한 메모리 공간 또는 다수의 물리 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.
일부 실시예들에서, 소프트웨어 명령어들은 통신 인터페이스(314)를 통해 다른 컴퓨터 판독 가능 매체로부터 또는 다른 디바이스로부터 메모리(306) 및/또는 저장 컴포넌트(308)로 판독된다. 실행될 때, 메모리(306) 및/또는 저장 컴포넌트(308)에 저장된 소프트웨어 명령어들은 프로세서(304)가 본원에 기술된 하나 이상의 프로세스를 수행하게 한다. 추가적으로 또는 대안적으로, 고정 배선(hardwired) 회로는 본원에 기술된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 결합하여 사용된다. 따라서, 본원에 기술된 실시예들은, 달리 명시적으로 언급되지 않는 한, 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
메모리(306) 및/또는 저장 컴포넌트(308)는 데이터 스토리지 또는 적어도 하나의 데이터 구조체(예를 들면, 데이터베이스 등)를 포함한다. 디바이스(300)는 데이터 스토리지 또는 메모리(306) 또는 저장 컴포넌트(308) 내의 적어도 하나의 데이터 구조체로부터 정보를 수신하는 것, 그에 정보를 저장하는 것, 그에게로 정보를 통신하는 것, 또는 그에 저장된 정보를 검색하는 것을 할 수 있다. 일부 예들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 디바이스(300)는 메모리(306)에 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 메모리에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, "모듈"이라는 용어는, 프로세서(304)에 의해 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 프로세서에 의해 실행될 때, 디바이스(300)(예를 들면, 디바이스(300)의 적어도 하나의 컴포넌트)가 본원에 기술된 하나 이상의 프로세스를 수행하게 하는 메모리(306)에 그리고/또는 다른 디바이스의 메모리에 저장된 적어도 하나의 명령어를 지칭한다. 일부 실시예들에서, 모듈은 소프트웨어, 펌웨어, 하드웨어 등으로 구현된다.
도 3에 예시된 컴포넌트들의 수 및 배열은 예로서 제공된다. 일부 실시예들에서, 디바이스(300)는 도 3에 예시된 것보다, 추가적인 컴포넌트들, 더 적은 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 컴포넌트 세트(예를 들면, 하나 이상의 컴포넌트)는 디바이스(300)의 다른 컴포넌트 또는 다른 컴포넌트 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 4를 참조하면, 자율 주행 차량 컴퓨터(400)(때때로 "AV 스택"이라고 지칭됨)의 예시적인 블록 다이어그램이 예시되어 있다. 예시된 바와 같이, 자율 주행 차량 컴퓨터(400)는 인지 시스템(402)(때때로 인지 모듈이라고 지칭됨), 계획 시스템(404)(때때로 계획 모듈이라고 지칭됨), 로컬화 시스템(406)(때때로 로컬화 모듈이라고 지칭됨), 제어 시스템(408)(때때로 제어 모듈이라고 지칭됨) 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408) 및 데이터베이스(410)는 차량의 자율 주행 내비게이션 시스템(예를 들면, 차량(200)의 자율 주행 차량 컴퓨터(202f))에 포함되고/되거나 구현된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(예를 들면, 자율 주행 차량 컴퓨터(400) 등과 동일하거나 유사한 하나 이상의 시스템)에 포함된다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에 기술된 바와 같이 차량 및/또는 적어도 하나의 원격 시스템에 위치하는 하나 이상의 독립형 시스템에 포함된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)에 포함된 시스템들 중 일부 및/또는 전부는 소프트웨어(예를 들면, 메모리에 저장된 소프트웨어 명령어들), 컴퓨터 하드웨어(예를 들면, 마이크로프로세서, 마이크로컨트롤러, ASIC(application-specific integrated circuit), FPGA(Field Programmable Gate Array) 등), 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합으로 구현된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)가 원격 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템, V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등)과 통신하도록 구성된다는 것이 또한 이해될 것이다.
일부 실시예들에서, 인지 시스템(402)은 환경에서의 적어도 하나의 물리적 대상체와 연관된 데이터(예를 들면, 적어도 하나의 물리적 대상체를 검출하기 위해 인지 시스템(402)에 의해 사용되는 데이터)를 수신하고 적어도 하나의 물리적 대상체를 분류한다. 일부 예들에서, 인지 시스템(402)은 적어도 하나의 카메라(예를 들면, 카메라들(202a))에 의해 캡처되는 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 대상체와 연관되어 있다(예를 들면, 이를 표현한다). 그러한 예에서, 인지 시스템(402)은 물리적 대상체들(예를 들면, 자전거들, 차량들, 교통 표지판들, 보행자들 등)의 하나 이상의 그룹화에 기초하여 적어도 하나의 물리적 대상체를 분류한다. 일부 실시예들에서, 인지 시스템(402)이 물리적 대상체들을 분류하는 것에 기초하여 인지 시스템(402)은 물리적 대상체들의 분류와 연관된 데이터를 계획 시스템(404)으로 송신한다.
일부 실시예들에서, 계획 시스템(404)은 목적지와 연관된 데이터를 수신하고 차량(예를 들면, 차량들(102))이 목적지를 향해 주행할 수 있는 적어도 하나의 루트(예를 들면, 루트들(106))와 연관된 데이터를 생성한다. 일부 실시예들에서, 계획 시스템(404)은 인지 시스템(402)으로부터의 데이터(예를 들면, 위에서 기술된, 물리적 대상체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고, 계획 시스템(404)은 인지 시스템(402)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 계획 시스템(404)은 로컬화 시스템(406)으로부터 차량(예를 들면, 차량들(102))의 업데이트된 위치와 연관된 데이터를 수신하고, 계획 시스템(404)은 로컬화 시스템(406)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다.
일부 실시예들에서, 로컬화 시스템(406)은 한 영역에서의 차량(예를 들면, 차량들(102))의 한 위치와 연관된(예를 들면, 이를 나타내는) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b))에 의해 생성되는 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예들에서, 로컬화 시스템(406)은 다수의 LiDAR 센서들로부터의 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고 로컬화 시스템(406)은 포인트 클라우드들 각각에 기초하여 결합된 포인트 클라우드를 생성한다. 이러한 예들에서, 로컬화 시스템(406)은 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 데이터베이스(410)에 저장되어 있는 해당 영역의 2차원(2D) 및/또는 3차원(3D) 맵과 비교한다. 로컬화 시스템(406)이 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 맵과 비교하는 것에 기초하여 로컬화 시스템(406)은 이어서 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 맵은 차량의 운행 이전에 생성되는 해당 영역의 결합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵은, 제한 없이, 도로 기하학적 특성들의 고정밀 맵, 도로 네트워크 연결 특성들을 기술하는 맵, 도로 물리적 특성들(예컨대, 교통 속력, 교통량, 차량 교통 차선과 자전거 타는 사람 교통 차선의 수, 차선 폭, 차선 교통 방향, 또는 차선 마커 유형 및 위치, 또는 이들의 조합)을 기술하는 맵, 및 도로 특징물, 예컨대, 횡단보도, 교통 표지판 또는 다양한 유형의 다른 주행 신호들의 공간적 위치들을 기술하는 맵을 포함한다. 일부 실시예들에서, 맵은 인지 시스템에 의해 수신되는 데이터에 기초하여 실시간으로 생성된다.
다른 예에서, 로컬화 시스템(406)은 GPS(global positioning system) 수신기에 의해 생성되는 GNSS(Global Navigation Satellite System) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위치와 연관된 GNSS 데이터를 수신하고 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위도 및 경도를 결정한다. 그러한 예에서, 로컬화 시스템(406)은 차량의 위도 및 경도에 기초하여 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 일부 예들에서, 로컬화 시스템(406)이 차량의 위치를 결정하는 것에 기초하여 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 그러한 예에서, 차량의 위치와 연관된 데이터는 차량의 위치에 대응하는 하나 이상의 시맨틱 특성과 연관된 데이터를 포함한다.
일부 실시예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 작동을 제어한다. 일부 예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고, 제어 시스템(408)은 파워트레인 제어 시스템(예를 들면, DBW 시스템(202h), 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들면, 조향 제어 시스템(206)) 및/또는 브레이크 시스템(예를 들면, 브레이크 시스템(208))이 작동하게 하는 제어 신호들을 생성하여 송신하는 것에 의해 차량의 작동을 제어한다. 궤적이 좌회전을 포함하는 예에서, 제어 시스템(408)은 조향 제어 시스템(206)이 차량(200)의 조향각을 조정하게 함으로써 차량(200)이 좌회전하게 하는 제어 신호를 송신한다. 추가적으로 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들면, 헤드라이트, 방향 지시등, 도어록, 윈도실드 와이퍼 등)이 상태들을 변경하게 하는 제어 신호들을 생성하여 송신한다.
일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델(예를 들면, 적어도 하나의 다층 퍼셉트론(MLP), 적어도 하나의 콘볼루션 신경 네트워크(CNN), 적어도 하나의 순환 신경 네트워크(RNN), 적어도 하나의 오토인코더, 적어도 하나의 트랜스포머(transformer) 등)을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과 조합하여 적어도 하나의 머신 러닝 모델을 구현한다. 일부 예에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 파이프라인(예를 들면, 환경에 위치한 하나 이상의 대상체를 식별하기 위한 파이프라인 등)의 일부로서 적어도 하나의 머신 러닝 모델을 구현한다.
데이터베이스(410)는 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)으로 송신되며, 이들로부터 수신되고/되거나 이들에 의해 업데이트되는 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 작동에 관련된 데이터 및/또는 소프트웨어를 저장하고 자율 주행 차량 컴퓨터(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트(예를 들면, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트)를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 영역의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 도시의 일 부분, 다수의 도시들의 다수의 부분들, 다수의 도시들, 카운티, 주, 국가(State)(예를 들면, 나라(country)) 등의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예에서, 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량)은 하나 이상의 운전 가능한 영역(예를 들면, 단일 차선 도로, 다중 차선 도로, 간선도로, 시골 길(back road), 오프로드 트레일 등)을 따라 운전할 수 있고, 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b)과 동일하거나 유사한 LiDAR 센서)가 적어도 하나의 LiDAR 센서의 시야에 포함된 대상체들을 나타내는 이미지와 연관된 데이터를 생성하게 할 수 있다.
일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현된다. 일부 예들에서, 데이터베이스(410)는 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량), 자율 주행 차량 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템) 등에 포함될 수 있다.
이제 도 5a 내지 도 5g를 참조하면, 본 개시에 따른 종속 가능성 구조체들로의 다중 타겟 추적을 위한 프로세스의 구현(500)의 양태들을 예시하는 다이어그램들이 도시되어 있다. 일부 실시예들에서, 구현(500)은 차량(510)을 포함한다. 차량(510)은 도 1의 차량들(102) 및/또는 도 2의 차량(200)과 동일하거나 유사한 차량이다. 차량(510)은 도 3의 디바이스(300)와 동일하거나 유사한 하나 이상의 디바이스를 포함한다. 추가적으로, 차량(510)은 도 4의 자율 주행 차량 컴퓨팅 디바이스(autonomous vehicle compute device)(400)와 동일하거나 유사한 하나 이상의 디바이스를 포함한다.
차량(510)은 본 개시에 따른 종속 가능성 구조체들로 다중 타겟 추적을 수행한다. 예를 들어, 차량(510)은 차량(510)이 위치하는 환경에 존재하는 차량들(520, 530)과 관련하여 추적을 수행한다. 도 5a 내지 도 5g가 2 개의 차량(예를 들면, 차량들(520, 530))을 도시하지만, 차량(510)이 본원에 개시된 추적 기술들을 사용하여 2 개 초과의 차량 또는 2 개 미만의 차량과 관련하여 다중 타겟 추적을 수행하도록 적응될 수 있다는 점에 유의한다. 추가적으로, 차량(510)은, 장애물(들)(560)과 같은, 환경에 존재하는 다른 대상체들을 추적하기 위해 다중 타겟 추적을 활용할 수 있다. 장애물(들)(560)은 차량(510)이 위치하는 환경에 존재하는 가로등들, 거리 표지판들, 벽들, 가드 레일들 또는 다른 물리적 대상체들을 포함할 수 있다.
도 5a에 예시된 바와 같이, 차량(510)은 하나 이상의 센서(512)를 포함한다. 하나 이상의 센서(512)는, 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 및 마이크로폰들(202d)과 같은, 도 2의 차량(200)의 센서 디바이스들과 동일하거나 유사한 센서 디바이스들을 포함한다. 화살표들(540, 542, 544, 546, 548, 550, 552)에 의해 도시된 바와 같이, 하나 이상의 센서(512)는 차량(510)이 위치하는 환경을 하나 이상의 방향으로부터 모니터링하도록 구성된다. 일부 실시예들에서, 하나 이상의 센서(512)는 센서 신호(514)를 환경 내로 송신하고 신호 리턴(signal return)(516)을 수신한다. 예시하기 위해, 센서 신호(514)는 LiDAR 센서의 광 방출기에 의해 송신되는 광을 포함하고, 센서 리턴(516)은 대상체들(예를 들면, 차량들(520, 530), 장애물(들)(560) 등)에 의한 송신된 광의 광 반사들을 포함한다. 위에서 기술된 바와 같이, 신호 리턴들(516)에 포함된 광 반사들은 LiDAR 센서의 광 검출기에 의해 수신되고 광 리턴들은 센서 데이터(예를 들면, 포인트 클라우드, 결합된 포인트 클라우드 등)를 생성하기 위해 프로세싱된다. 위의 예가 LiDAR 센서를 참조하여 기술되어 있지만, 카메라들 또는 마이크로폰들과 같은, 다른 유형들의 센서들이 활용될 수 있다. 예를 들어, 카메라는 환경의 이미지들을 캡처할 수 있고, 이미지들은 본원에 개시된 개념들에 따라 차량이 위치하는 환경에 존재하는 대상체들을 추적하는 데 활용될 수 있다.
블록(570)에 도시된 바와 같이, 자율 주행 차량 컴퓨터(504)는 차량이 위치하는 환경과 연관된 센서 데이터를 수신한다. 위에서 기술된 바와 같이, 센서 데이터는, 포인트 클라우드, 결합된 포인트 클라우드 등과 같은, LiDAR 센서를 사용하여 획득되는 데이터를 포함하거나, 다른 유형들의 센서들을 사용하여 획득되는 다른 유형들의 데이터를 포함한다. 일 실시예에서, 센서 데이터는, 도 4를 참조하여 위에서 기술된 바와 같이, 환경에 존재하는 타겟들에 관한 정보를 제공하는 인지 시스템(524)에 의해 평가된다. 추가적으로 또는 대안적으로, 센서 데이터는 환경 내에서의 차량(510)의 위치를 결정하는 로컬화 시스템(526)을 사용하여 평가된다. 추가적으로, 로컬화 시스템(526)은 감지 시스템(524)에 의해 제공되는 정보 및 센서 데이터에 기초하여 차량들(520, 530)의 위치를 결정한다. 예시하기 위해, 인지 시스템(524)은 센서 데이터에 기초하여 식별되는 대상체들(예를 들면, 차량들, 장애물들 등)에 관한 정보를 로컬화 시스템(526)에 제공한다. 로컬화 시스템(526)은 이어서 인지 시스템(524)에 의해 식별되는 대상체들에 관한 정보 및 센서 데이터를 활용하여 환경 내에서의 해당 대상체들의 위치들을 결정한다.
도 5b에 도시된 바와 같이, 블록(572)에서, 자율 주행 차량 컴퓨터(504)는 센서 데이터에 기초하여 후보 가설 세트를 획득한다. 일 양태에서, 후보 가설들 각각은 센서 데이터로부터 도출되는 트랙 정보 및 측정 정보를 포함한다. 트랙 정보 및 측정 정보는, 적어도 부분적으로, 인지 시스템(524) 및 로컬화 시스템(526)의 작동들을 통해 센서 데이터로부터 도출된다. 각각의 트랙은 차량(510)에 의해 추적되고 있는 타겟(예를 들면, 사람, 보행자, 자전거 타는 사람, 차량 등)(때때로 관심 타겟이라고 지칭됨)에 대응한다. 예를 들어, 후보 가설은, 각각의 다른 추적된 타겟 및 차량(510)을 기준으로 한 하나 이상의 추적된 타겟의 위치와 같은, 특정 시간 인스턴스에서의 환경을 나타내는 정보를 제공한다. 트랙 정보 및 측정 정보에 관한 예시적인 세부 사항들은 도 7을 참조하여 보다 상세히 기술된다.
도 5c의 블록(574)에 도시된 바와 같이, 후보 가설 세트가 적어도 하나의 기준과 대비하여 평가된다. 일 양태에서, 적어도 하나의 기준은 후보 가설 세트에 순위 부여하도록 구성된 순위 부여 기준을 포함한다. 순위 부여 기준은 후보 가설 세트 중 특정 후보 가설이 독립적으로(예를 들면, 후보 가설 세트 중 다른 후보 가설들 및/또는 이전 시간 간격(previous time interval)으로부터의 가설을 고려하지 않고) 하나 이상의 타겟의 위치를 정확하게 식별할 가능성을 나타내는 메트릭을 후보 가설들 각각에 할당한다. 순위 부여 기준이, 가장 높은 가능성부터 가장 낮은 가능성까지와 같이, 할당된 순위 부여 메트릭에 기초하여 후보 가설 세트가 순서화될 수 있게 하지만, 가설의 평가에 기초하여 독립적으로 다수의 타겟들을 추적하는 것은, 특히, 충돌 조건들 및 폐색 조건들과 같은, 추적 동안 발생할 수 있는 특정 조건들과 관련하여 부정확성들을 결과할 수 있다. 이러한 조건들 각각은 아래에서 보다 상세히 기술된다.
후보 가설들을 독립적으로 평가할 때 발생할 수 있는 문제들을 해결하기 위해, 자율 주행 차량 컴퓨터(504)는, 도 5d의 블록(576)에 도시된 바와 같이, 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가한 것에 기초하여, 순위 부여된 가설 세트를 결정한다. 예를 들어, 위에서 간략하게 기술된 바와 같이, 순위 부여 기준은 후보 가설 세트가 각각의 후보 가설들의 평가에 기초하여 개별적으로 결정되는 가능성 메트릭에 따라 순서화되는 것을 가능하게 한다. 독립적인 평가에 기초하여 후보 가설 세트에 할당되는 이 순위 부여 메트릭은 제안된 순위를 나타내고, 블록(576)에서 결정되는 순위는 후보 가설 세트의 순위들을 검증하는 데 활용된다. 후보 가설들의 최종적인 순위 부여를 용이하게 하기 위해, 후보 가설은 충돌 기준, 폐색 기준 또는 둘 다에 따라 순위 부여받는다. 충돌 기준 및 폐색 기준은 후보 가설들의 종속성들을 고려하면서 후보 가설들을 평가하도록 구성되며, 순위 부여된 가설 세트는 후보 가설 세트 중 특정 후보 가설이 종속성들을 고려하여 하나 이상의 타겟의 위치를 정확하게 식별하는지 여부의 결정에 기초한다. 예를 들어, 후보 가설들이 추적 동안 상이한 시간 간격들로(예를 들면, 10 밀리초(ms), 100 ms, 500 ms, 1초 또는 다른 시간 간격마다) 생성되거나 획득된다. 도 8을 참조하여 아래에서 보다 상세히 예시되고 기술되는 바와 같이, 각각의 후속 시간 간격에 대해, 생성되거나 획득되는 후보 가설들은 이전 시간 간격에서의 가설들 중 하나에 의존한다. 따라서, 시간이 지남에 따라, 추적 동안 획득되는 모든 후보 가설들을 포함하는 데이터 구조체가 생성된다. 비제한적인 예로서, 데이터 구조체는, 도 8에 도시되고 아래에서 보다 상세히 기술되는 바와 같이, 트리 또는 연결 리스트 유형 데이터 구조체의 형태이다.
그러한 데이터 구조체가 추적의 지속기간이 증가함에 따라 점점 더 커질 수 있으며, 이는 추적이 보다 많은 양의 메모리 리소스들을 소비하도록 요구한다는 것이 이해되어야 한다. 그렇지만, 본 개시의 다중 타겟 추적 기술들에 의해 활용되는 충돌 기준 및/또는 폐색 기준은 후보 가설들을 저장하는 데이터 구조체의 크기를 감소시키고, 이에 의해 추적을 수행하는 데 필요한 메모리 리소스들의 양을 감소시키도록 구성된다. 추가적으로, 데이터 구조체의 감소된 크기에도 불구하고, 본 개시의 다중 타겟 추적 기술들에 의해 사용되는 충돌 기준 및/또는 폐색 기준은, 아래에서 보다 상세히 설명되는 바와 같이, 추적된 타겟들의 정확도를 증가시킬 수 있다.
위에서 간략하게 기술된 바와 같이, 충돌 기준 및/또는 폐색 기준은 종속성들을 고려하는 (최종적인 또는 검증된) 순위 부여된 가설 세트를 생성하기 위해 후보 가설 세트의 (제안된) 순위들을 평가하는 데 사용된다. 충돌 기준에 기초하여 후보 가설들을 평가하는 것은 일어날 가능성이 없거나 타당해 보이지 않는 조건들이 후보 가설들 내에서 검출되는 것을 가능하게 할 수 있다. 예를 들어, 후보 가설이 차량(530)이 차량(520)의 좌측에 있어야 하지만 후보 가설이 의존하는 부모 가설에서 차량(530)이 차량(520)의 우측에 있어야 했음을 나타내는 경우, 충돌 기준은 후보 가설이 충돌 조건을 포함한다는 것을 나타낸다. 충돌 조건은 후보 가설이 추적된 타겟들 중 하나 이상과 관련하여 타당해 보이지 않거나 일어날 가능성이 없는 위치 또는 위치 정보를 포함한다는 것을 나타낼 수 있다. 위의 예에서, 차량(520)의 한쪽 측면으로부터 차량(520)의 다른 쪽 측면으로 전환하는 차량(530)은 차량(530)의 상대 위치 또는 장소의 타당해 보이지 않거나 일어날 가능성이 없는 변화를 나타내는데, 그 이유는 후보 가설과 그의 부모 가설 사이의 시간 차이가 몇 밀리초(예를 들면, 10 ms, 100 ms 등) 정도일 수 있고 차량들(520, 530)이 그러한 짧은 시간 프레임에서 이러한 방식으로 위치를 변경할 수 있다는 것이 일어날 가능성이 없거나 타당해 보이지 않기 때문이다.
충돌 기준을 사용한 후보 가설의 평가에 기초하여 충돌 조건들이 검출될 때, 평가된 후보 가설에 대한 순위 부여 메트릭이 감소될 수 있다. 예를 들어, 각각의 후보 가설들에 대한 순위 부여 메트릭은 초기에 종속성을 고려하지 않는 순위 부여 기준에 기초하여 값을 할당받으며, 충돌 기준을 사용한 후보 가설의 평가에 기초하여 충돌 조건이 검출될 때 순위 부여 메트릭은 0 값으로 설정된다. 충돌 기준을 사용하여 평가되고 충돌 조건을 나타내지 않는 것으로 결정되는 후보 가설들은 (최종적인) 순위 부여된 가설 세트에 추가된다. 아래에서 보다 상세히 기술되는 바와 같이, 순위 부여된 가설 세트는 추적을 수행하는 데 사용되며, 일부 경우에, 차량(510)의 운행을 제어하거나 (예를 들면, 반자율 주행 또는 비자율 주행 차량들의 경우에) 운전자에게 경고들을 제공하는 동작들을 용이하게 한다.
폐색 기준에 기초한 후보 가설들의 평가는 후보 가설에 폐색 조건이 존재하는지 여부의 검출 또는 검증을 가능하게 한다. 차량이 센서들의 검출 시야(field of detection)로부터 차단될 때 폐색 조건이 발생한다. 예를 들어, 차량(520)이 차량(530)의 전방으로 추월하는 경우, 차량(530)은 센서들이 차량(520)을 검출하는 것을 방해할 수 있다. 그렇지만, 일부 경우에, 센서들이 대상체로부터의 신호 리턴을 제대로 수신하지 못하는 검출 누락(missed detection)이 발생한다. 그러한 경우에, 순위 부여 기준을 사용한 후보 가설의 평가는, 종속성들이 고려되지 않기 때문에, 폐색을 나타내는 것처럼 보인다. 자율 주행 차량이 작동하고 있는 환경에 대한 그러한 부정확한 이해는 문제가 될 수 있고 바람직하지 않다는 것이 쉽게 이해될 수 있다.
이러한 과제를 해결하기 위해, 후보 가설들 각각을 평가하고 폐색 조건이 존재하는지 여부를 검증하기 위해 폐색 기준이 사용된다. 예를 들어, 종속성 정보를 고려하는 것에 의해, 이전 가설들에서는 차량이 존재했지만 평가 중인 후보 가설은 차량이 여전히 존재한다는 것을 나타내는 측정 정보를 포함하지 않을 때와 같이, 차량이 폐색되는지 여부가 결정된다. 폐색 조건들을 포함하지 않거나 폐색 조건을 정확하게 식별해 주는 후보 가설들은 그들의 할당된 또는 제안된 순위 부여 메트릭(예를 들면, 순위 부여 기준에 의해 결정되는 순위 부여 메트릭)에 따라 (최종적인) 순위 부여된 가설 세트에 추가된다. 그렇지만, 순위 부여 기준을 사용한 평가 동안 폐색 조건들을 포함하는 것으로 부정확하게 식별된 후보 가설들과 연관된 메트릭 값들에 패널티 메트릭이 적용된다. 패널티 메트릭은 폐색 조건을 포함하도록 (예를 들면, 순위 부여 기준에 기초하여) 부정확하게 결정된 후보 가설들의 메트릭 값들 또는 순위를 감소시키도록 구성된다. 일단 패널티 메트릭이 적용되면, 후보 가설이 감소된 메트릭 값에 따라 순위 부여된 가설 세트에 추가된다.
아래에서 보다 상세히 기술될 것인 바와 같이, 순위 부여된 가설 세트를 생성하기 위해 충돌 기준 및/또는 폐색 기준을 활용하는 것은 정확한 추적을 달성하기 위해 고려될 필요가 있는 가설들의 수를 감소시킬 수 있다. 예를 들어, 충돌 기준이 활용될 때, 충돌 조건들을 포함하는 임의의 가설들은 추적 동작들에서의 추가의 사용으로부터 생략된다(예를 들면, 충돌 조건들과 연관된 후보 가설들은 추적 데이터 구조체 내에 자식 가설들을 생성하지 않는다). 충돌 기준을 사용하여 부정확한 후보 가설들을 식별하는 것에 의해, 추적은 이전 추적 기술들에 비해 더 작은 가설 세트를 사용하여 수행된다. 예를 들어, (최종적인) 순위 부여된 가설 세트는 충돌 기준을 사용하여 후보 가설들 중에서 선택되는 상위 "X" 개 순위의 가설들만을 포함한다. 상위 "X" 개 순위의 가설들은 100 개의 가설, 200 개의 가설 또는 다른 수의 가설들을 포함할 수 있다. 유사하게, 폐색 기준 및 패널티 메트릭을 활용하는 것은 부정확한 후보 가설들(예를 들면, 부정확하게 식별된 폐색 조건들을 포함하는 후보 가설들)의 순위를 감소시킬 수 있다. 따라서, 추적을 수행하기 위해 상위 "X" 개의 순위의 가설들이 선택될 때, 부정확한 가설들이 사용될 가능성이 보다 적어, 차량(510)이 위치하는 환경에 존재하는 대상체들(예를 들면, 차량들, 장애물들 등)의 위치 및 관계에 관한 보다 정확한 정보 세트를 결과한다. 개선된 정확도는 자율 주행 차량들이 보다 지능적인 결정을 내리고 차량(510)의 자율 주행 운행 동안 사고가 발생할 가능성을 감소시키는 것을 가능하게 한다. 정확도를 개선시키는 것 외에도, 감소된 후보 가설 세트는 또한 관심 타겟들을 추적하는 데 사용되는 데이터 구조체의 크기를 감소시킬 수 있다. 데이터 구조체의 감소된 크기는 보다 많은 타겟들이 추적되는 것을 가능하게 하고/하거나 감소된 계산 리소스들(예를 들면, 보다 적은 메모리 또는 다른 하드웨어 요구사항들)로 추적이 수행될 수 있게 한다. 충돌 및 폐색 기준을 사용한 후보 가설들의 평가는 도 7 내지 도 10을 참조하여 아래에서 보다 상세히 기술된다.
도 5e의 블록(578)에 도시된 바와 같이, 자율 주행 차량 컴퓨터(504)는 블록(576)에서 결정되는 순위 부여된 가설 세트에 기초하여 하나 이상의 타겟 각각의 위치를 추정한다. 위에서 기술된 바와 같이, 순위 부여된 가설 세트는 가설들의 종속성들을 고려하는 가설들의 검증된 순위들을 제공하며, 이는 문제가 되는 조건들(예를 들면, 충돌 조건들 및 폐색 조건들)이 고려되는 것을 가능하게 할 수 있다. 그러한 문제가 되는 조건들을 고려할 수 있는 것은, 차량들(520, 530) 및 장애물(들)(560)과 같은, 차량(510)이 위치하는 환경에 존재하는 다른 대상체들과 차량(510) 사이의 공간적 관계에 대한 보다 정확한 이해를 가능하게 한다.
도 5f의 블록(580)에서, 도 4의 계획 시스템과 동일하거나 유사한 계획 시스템(506)은 타겟들의 추정된 위치들에 기초하여 하나 이상의 운행 동작(navigation operation)(518)을 결정한다. 하나 이상의 운행 동작은, 차량(510)의 속력을 높이거나 속력을 낮추는 것, 또는 차량(510)의 주행 경로를 변경하는 것(예를 들면, 특정 방향으로 방향을 전환(turn)하거나 방향을 바꾸는(veer) 것 등)과 같이, 차량(510)의 속력에 대한 조정들 또는 수정들을 포함한다. 계획 시스템(506)에 의해 수행될 수 있는 추가적인 예시적인 동작들은 도 4의 계획 시스템과 관련하여 위에 기술되어 있다. 하나 이상의 운행 동작(518)은 도 4의 제어 시스템과 동일하거나 유사한 제어 시스템(508)에 제공될 수 있다.
도 5g에 도시된 바와 같이, 블록(582)에서, 제어 시스템(508)은 운행 동작들에 기초하여 하나 이상의 제어 신호(502)를 생성한다. 하나 이상의 제어 신호(502)는 하나 이상의 운행 동작(518)을 구현하기 위한 커맨드들을 포함한다. 도 5g에 예시된 바와 같이, 하나 이상의 제어 신호(502)는, 도 2의 드라이브 바이 와이어 시스템과 동일하거나 유사한, 드라이브 바이 와이어 시스템(522)에 제공될 수 있다. 도 2 및 도 4를 참조하여 위에서 기술된 바와 같이, 드라이브 바이 와이어 시스템(522)은 차량의 작동을 제어할 수 있다. 예시하기 위해, 드라이브 바이 와이어 시스템(522)은 제어 신호들(502)을 사용하여 파워트레인 제어 시스템(예를 들면, 도 2의 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들면, 도 2의 조향 제어 시스템(206) 등), 및/또는 브레이크 시스템(예를 들면, 도 2의 브레이크 시스템(208) 등)의 작동들을 제어한다. 도 5a 내지 도 5g가 본 개시에 따른 종속 가능성 구조체들로의 다중 타겟 추적을 수행하도록 구성된 차량의 예시적인 구현을 예시하지만, 그러한 구현이, 제한으로서가 아니라, 예시 목적으로 제공되었다는 점에 유의한다. 그에 따라, 종속 가능성 구조체들로의 다중 타겟 추적을 수행하기 위한 개시된 기술들이, 셀들 또는 다른 생물학 관련 사용 사례들을 추적하는 것, 사람들을 추적하는 것, 동물들을 추적하는 것, 로봇들을 추적하는 것 등과 같은, 자율 주행 차량들 이외의 사용 사례들을 추적하는 것에 쉽게 적용될 수 있음이 이해되어야 한다.
이제 도 6을 참조하면, 본 개시에 따른 종속 가능성 구조체들로의 다중 타겟 추적을 위한 프로세스(600)의 플로차트가 예시되어 있다. 일부 실시예들에서, 프로세스(600)와 관련하여 기술되는 단계들 중 하나 이상은, 도 2의 차량(200)과 같은, 자율 주행 시스템에 의해 (예를 들면, 전체적으로, 부분적으로 등) 수행된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 프로세스(600)와 관련하여 기술되는 하나 이상의 단계는, 도 1의 원격 AV 시스템(114), 도 1의 플릿 관리 시스템(116), 또는 도 1의 차량 대 인프라스트럭처 시스템(118)과 같은, 자율 주행 차량들과 별개이거나 자율 주행 차량들을 포함하는 다른 디바이스 또는 디바이스 그룹에 의해 (예를 들면, 전체적으로, 부분적으로 등) 수행된다. 일 실시예에서, 프로세스(600)의 동작들은, 하나 이상의 프로세서(예를 들면, 도 3의 프로세서(들)(304))에 의해 실행될 때, 하나 이상의 프로세서가 본 개시에 따른 종속 가능성 구조체들로의 다중 타겟 추적을 수행하게 하는 명령어들로서 메모리(예를 들면, 도 3의 메모리(306))에 저장된다.
블록(610)에서, 프로세스(600)는, 적어도 하나의 프로세서로, 차량이 위치하는 환경과 연관된 센서 데이터를 수신하는 단계를 포함한다. 일 양태에서, 센서 데이터는 포인트 클라우드와 연관된 LIDAR 데이터, 이미지와 연관된 이미지 데이터, 비디오와 연관된 비디오 데이터, 다른 유형들의 센서 데이터, 또는 이들의 조합들을 포함한다. 블록(610)이 차량이 위치하는 환경을 참조하여 기술되지만, 프로세스(600)가 차량들을 관여시키는 응용 분야들로 제한되지 않고 다중 타겟 추적을 수행할 수 있는 것이 요망되는 다른 사용 사례들에 쉽게 적용될 수 있다는 점에 유의한다. 블록(620)에서, 프로세스(600)는, 적어도 하나의 프로세서로, 센서 데이터에 기초하여 후보 가설 세트를 획득하는 단계를 포함한다. 본원에 기술된 바와 같이, 후보 가설 세트 내의 각각의 후보 가설은 하나 이상의 타겟의 후보 위치를 나타내는 트랙에 대응하는 정보를 포함한다. 하나 이상의 타겟은 환경 내의 다른 차량들(예를 들면, 보트들, 자동차들, 트럭들, 모터사이클들, 비행기들, 드론들)을 포함한다. 다른 사용 사례들에서, 하나 이상의 타겟은 셀들(예를 들면, 현미경으로 관찰되는 셀들), 사람들, 로봇들, 동물들 등을 포함한다. 후보 가설들의 추가적인 예시적인 양태들은 도 7 내지 도 10을 참조하여 아래에서 기술된다.
블록(630)에서, 프로세스(600)는, 적어도 하나의 프로세서로, 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가하는 단계를 포함한다. 본원에 기술된 바와 같이, 적어도 하나의 기준은 충돌 기준, 폐색 기준, 또는 충돌 기준과 폐색 기준 둘 다를 포함한다. 충돌 기준은 충돌 조건들과 연관된 가설들(또는 가설들 내의 트랙)들을 식별해 주도록 구성된다. 충돌 조건들의 예시적인 양태들은 도 7을 참조하여 아래에서 보다 상세히 기술되고 예시된다. 폐색 기준은 정확하게 식별된 폐색 조건들 및 부정확하게 식별된 폐색 조건들과 연관된 가설들(또는 가설들 내의 트랙들)을 식별해 주도록 구성된다. 폐색 조건들의 예시적인 양태들은 도 7을 참조하여 아래에서 보다 상세히 기술되고 예시된다.
블록(640)에서, 프로세스(600)는, 적어도 하나의 프로세서로, 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가한 것에 기초하여, 순위 부여된 가설 세트를 결정하는 단계를 포함한다. 본원에 기술된 바와 같이, 본 개시의 추적 기술들은, 블록(630)에서와 같이, 후보 가설들(또는 각각의 후보 가설들의 트랙들)을 독립적으로(예를 들면, 사전 가설들에 상관없이) 평가하여 후보 가설들의 초기 또는 제안된 순위를 결정하고 이어서 제안된 순위가 적어도 하나의 기준을 사용하여 검증되는 제안 및 검증 접근법을 활용한다. 검증의 결과로서, (최종적인) 순위 부여된 가설 세트가 생성되고 하나 이상의 관심 타겟을 추적하는 데 사용된다. 순위 부여된 가설 세트가 적어도 하나의 기준에 기초하여 후보 가설 세트 중에서 선택되는 가설 서브세트를 포함할 수 있다는 점에 유의한다. 추적을 위해 사용되는 순위 부여된 가설 세트를 결정하는 것의 예시적인 양태들은 도 7 내지 도 10을 참조하여 아래에서 보다 상세히 기술된다.
프로세스(600)는, 블록(650)에서, 적어도 하나의 프로세서로, 순위 부여된 가설 세트에 기초하여 하나 이상의 타겟 각각의 위치를 추정하는 단계를 포함한다. 일 양태에서, 추정된 위치는 블록(640)에서 결정되는 현재 순위 부여된 가설 세트에 기초하여 결정된다. 예를 들어, 주어진 시간 간격에 대해 결정되는 최종적인 순위 부여된 가설 세트는 차량에 의해 추적된 관심 타겟(들)의 위치에 대한 이해를 획득하기 위해 분석된다. 차량은 추적된 관심 타겟(들)의 위치들을 활용하여, 환경 내의 다른 차량들 또는 대상체들과 접촉하는 것을 회피하는 것, 환경 내의 하나 이상의 차량으로부터 임계 거리를 유지하기 위해 속력을 낮추는 것, 또는 다른 유형들의 운행 동작들과 같은, 차량의 운행을 제어하기 위한 하나 이상의 운행 동작을 결정한다. 하나 이상의 운행 동작을 결정할 시에, 제어 신호가 드라이브 바이 와이어 시스템(522)(예를 들면, 도 2의 드라이브 바이 와이어 시스템(202h))에 제공된다. 비제한적이고 예시적인 예로서, 드라이브 바이 와이어 시스템(522)은 제어를 수신하고 이어서 커맨드들을 파워트레인 제어 시스템(예를 들면, 도 2의 파워트레인 제어 시스템(204))에 제공한다. 파워트레인 제어 시스템은 이어서 차량의 운행의 양태들을 제어하기 위해 운행 동작들을 구현할 수 있다. 차량의 운행을 제어하기 위한 위에서 기술된 기능이 제한으로서가 아니라 예시 목적으로 제공되었으며, 본 개시에 따른 추적 기술들을 구현하는 차량들이 운행을 제어하기 위해 상이한 프로세스를 활용할 수 있다는 점에 유의한다. 운행을 제어하는 데 활용되는 특정 서브시스템들(예를 들면, 드라이브 바이 와이어 시스템들, 파워트레인 제어 시스템들 등)에 관계없이, 프로세스(600)는 그러한 제어 시스템들이 환경 내에서 추적되고 있는 관심 타겟들에 관한 정확한 정보를 신속하게 획득하고 추적된 타겟들의 위치의 변화들에 대응하는 것을 가능하게 한다. 그러한 능력들은 자율 주행 운행 시스템들의 안전성과 신뢰성을 증가시키고 사고의 가능성을 완화시킬 수 있다.
추가적으로, 프로세스(600)는, 차량이 위치하는 환경 내에서 타겟들을 정확하게 추적하는 데 사용되는 감소된 가설 세트에 기초하여 추적이 수행되기 때문에, 보다 많은 타겟들이 추적되는 것을 가능하게 한다. 추가적으로, 추적에 사용되는 가설들의 수의 감소는 보다 적은 계산 복잡도로 추적이 수행되는 것을 가능하게 하여, 이에 의해 정확한 추적 시스템들이 감소된 비용으로 배포되는 것을 가능하게 할 수 있다. 일부 구현예들이 자율 주행 차량들에서의 추적을 용이하게 하기 위해 본 개시의 프로세스(600) 및 다른 양태들을 사용하는 것으로 본원에 기술되어 있지만, 본 개시의 실시예들은 그러한 사용 사례들로 제한되지 않는다는 점에 유의한다. 예시하기 위해, 프로세스(600)는, 예컨대, 잠재적으로 유해한 상황이 검출되는 경우(예를 들면, 차량이 환경 내에서 추적된 타겟에 가까워지는 것이 검출되는 경우 자동으로 제동하거나 방향 전환하는 경우)에 수동 운전 커맨드들을 오버라이드하기 위해, 반자율 주행 차량들에서도 활용되며, 프로세스(600)는, 예컨대, 추적된 타겟들과 관련하여 특정 조건들이 검출될 때 운전자에게 가청 경보 또는 경고를 제공하기 위해(예를 들면, 타겟이 차량에 가까워질 때 가청 경보를 제공하기 위해), 비자율 주행 차량들(예를 들면, 어떠한 자동 운행 능력들도 갖지 않는 차량들)에서도 사용된다. 게다가, 프로세스(600)가, 현미경에 의해 제공되는 이미지 데이터에 기초하여 셀들을 추적하는 것, 로봇들을 추적하는 것, 동물들을 추적하는 것, 또는 추적이 요망되는 다른 상황들과 같은, 차량들 이외의 관심 타겟들을 추적하는 데에도 쉽게 활용된다는 점에 유의해야 한다. 그에 따라, 프로세스(600)가 차량들을 관여시키는 사용 사례들로 제한되지 않고 그 대신에 감소된 계산 복잡도 및 개선된 정확도로 다중 타겟 추적을 정확하게 수행하기 위한 개선된 기술을 제공한다는 것이 이해되어야 한다.
도 7을 참조하면, 본 개시에 따른 추적 시스템의 양태들을 예시하는 블록 다이어그램이 도시되어 있다. 도 7에, 스냅샷(710) 및 후보 가설들(730A, 730B, ..., 730n)이 도시되어 있다. 스냅샷(710)은 관심 타겟(712) 및 관심 타겟(714)에 대한 트랙들을 포함한다. 스냅샷(710)은, 도 8을 참조하여 보다 상세히 기술되고 예시된 바와 같이, 이전 시간 간격 동안 추적에서 추가 사용을 위해 선택되는 가설에 대응한다. 관심 타겟(712)에 대한 트랙은 관심 타겟(712)에 대한 환경 내의 추정된 위치에 대응하고, 관심 타겟(714)에 대한 트랙은 관심 타겟(714)에 대한 환경 내의 추정된 위치에 대응한다. 예를 들어, 관심 타겟(712) 및 관심 타겟(714)은 차량들(예를 들면, 보트들, 자동차들, 트럭들, 모터사이클들, 비행기들, 드론들, 헬리콥터들 등)일 수 있고, 관심 타겟들(712, 714)에 대한 트랙들은 차량들이 위치하는 환경 내의 추정된 위치들(예를 들면, 도로, 주차 구조체 등)에 대응한다. 다른 차량들 외에도, 관심 타겟들은 정지해 있는 관심 타겟들(예를 들면, 가로등들, 표지판들, 또는 모니터링된 환경 내의 다른 대상체들)을 또한 포함할 수 있다. 본 개시의 일부 실시예들이 차량들을 추적하는 것과 관련하여 기술되지만, 그러한 예들이 제한으로서가 아니라 예시로서 제공되며 본원에 개시된 추적 기술들이 차량 추적으로 제한되지 않는다 - 실제로, 본 개시에 따른 추적 기술들이, 셀들, 사람들, 로봇들, 동물들 또는 다른 유형들의 타겟들과 같은, 차량들 이외의 관심 타겟들을 추적하는 데 쉽게 적용될 수 있다 - 는 점에 유의한다.
스냅샷(710)은 또한 측정치들(720, 722, 724)을 포함한다. 측정치들은 추적 시스템(예를 들면, 도 2의 자율 주행 차량 컴퓨터(202f), 도 4의 자율 주행 차량 컴퓨터(400), 또는 도 5a 내지 도 5g의 자율 주행 차량 컴퓨터(504))에 의해 관찰되는 데이터에 기초하여 결정된다. 관찰된 데이터는 차량(또는 다른 유형의 관심 타겟)이 위치하는 환경과 연관된 센서 데이터에 대응한다. 앞서 기술된 바와 같이, 센서 데이터는 LIDAR 스캔(예를 들면, 포인트 클라우드, 병합된 포인트 클라우드 등)을 포함한다. 이 예에서, LiDAR 스캔과 연관된 데이터는 LiDAR 디바이스(예를 들면, 도 2의 LiDAR 센서(202b)와 동일하거나 유사한 또는 이를 포함하는 LiDAR 디바이스)에 의해 생성된다. 본 개시의 실시예들이 또한 다른 유형들의 센서들로부터 센서 데이터를 획득할 수 있다는 점에 유의한다. 예를 들어, 센서들은 하나 이상의 카메라(예를 들면, 도 2의 카메라(202a)와 동일하거나 유사한 카메라)를 포함하고, 센서 데이터는 카메라의 시야 내의 장면을 묘사하는 이미지 데이터를 포함하거나 비디오와 연관된 비디오 데이터를 포함한다. 다른 유형들의 센서들(예를 들면, 도 2의 레이더 센서(202c)와 동일하거나 유사한 레이더 센서, 도 2의 마이크로폰(202d)과 동일하거나 유사한 마이크로폰 센서 등) 및 센서 데이터가 또한 본원에 개시된 개념들에 따라 추적을 수행하는 데 활용될 수 있다는 점에 유의한다. 도 7이 제한으로서가 아니라 예시 목적으로 3 개의 측정치(720, 722, 724)를 포함하는 것으로 측정치들을 예시하며, 본 개시의 실시예들이 3 개보다 많은 측정치 또는 3 개보다 적은 측정치를 제공하는 센서 데이터를 활용할 수 있다는 점에 유의한다.
도 7에 도시된 바와 같이, 스냅샷(710)은 제1 시점(예를 들면, 시간 (t) = 0)에서 관심 타겟들(712, 714)과 환경 사이의 관계에 대한 이해를 나타낸다. 후속 시점(예를 들면, t = 1)에서, 환경과 연관된 추가적인 센서 데이터가 (예를 들면, 센서들로부터) 수신된다. 후속 시점(예를 들면, t = 1)에서 수신되는 센서 데이터는 후보 가설들(730A, 730B, ..., 730n)의 세트를 획득하는 데 사용된다. 후보 가설들(730A, 730B, ..., 730n) 각각은 하나 이상의 타겟의 후보 위치를 나타내는 트랙에 대응한다. 예를 들어, 스냅샷(710)에서 관심 타겟(712)이 제1 차량이고 관심 타겟(714)이 제2 차량이라고 가정한다. 후보 가설(730A)에서, 관심 타겟(712)은 측정치(722)에 의해 표시되는 위치에 있는 것으로 추정되고, 관심 타겟(714)은 측정치(724)에 의해 표시되는 위치에 있는 것으로 추정된다. 후보 가설(730B)에서, 관심 타겟(712)은 측정치(720)에 의해 표시되는 위치에 있는 것으로 추정되고, 관심 타겟(714)은 측정치(722)에 의해 표시되는 위치에 있는 것으로 추정되며; 후보 가설(730n)에서, 관심 타겟(712)은 측정치(724)에 의해 표시되는 위치에 있는 것으로 추정되고, 관심 타겟(714)은 측정치(720)에 의해 표시되는 위치에 있는 것으로 추정된다.
각각의 트랙을 개별적으로 고려하면, 모든 후보 가설들이 타당해 보이는 것 같다는 것을 알 수 있다. 이러한 이유는, 관심 타겟(712)과 연관된 트랙만이 고려될 때, 관심 타겟(712)이 후보 가설들(730A 내지 730n)의 측정치들에 의해 표시되는 지점들 중 임의의 지점에 위치하는 것이 합리적이기 때문이다. 유사하게, 관심 타겟(714)과 연관된 트랙만이 고려될 때, 관심 타겟(714)이 후보 가설들(730A 내지 730n)의 측정치들에 의해 표시되는 지점들 중 임의의 지점에 위치하는 것이 합리적이다. 일 양태에서, 후보 가설들 각각은 초기에 각각의 트랙의 분석에 따라 개별적으로(예를 들면, 다른 트랙들 또는 다른 추적된 관심 타겟들을 고려하지 않고) 순위 부여받는다.
위에서 기술된 바와 같이, 후보 가설들(730A 내지 730n)의 트랙들 및 측정 데이터를 개별적으로 평가하는 것 외에도, 개별적으로, 본 개시에 따른 추적 기술들은 또한 상이한 트랙들 간의 종속성들을 고려한다. 트랙들이 종속성들과 함께 고려될 때, 후보 가설들(730A 및 730B)이 t = 0부터 t = 1까지의 시간 간격 동안 관심 타겟들(712, 714)의 위치의 타당해 보이는 전환들을 나타낸다는 것을 알 수 있다. 예시하기 위해, 후보 가설(730A)에 기초하여 관심 타겟(712)은 측정치(722)와 연관된 위치에 있는 것으로 추정되고 관심 타겟(714)은 측정치(724)와 연관된 위치에 있는 것으로 추정되며, 후보 가설(730B)에 기초하여 관심 타겟(712)은 측정치(720)와 연관된 위치에 있는 것으로 추정되고 관심 타겟(714)은 측정치(722)와 연관된 위치에 있는 것으로 추정된다. 후보 가설들(730A 및 730B)에 대한 위치 추정치들은 타당해 보이는 위치 추정치들을 나타내는데 그 이유는 관심 타겟들(712, 714)이 t = 0부터 t = 1까지의 시간 간격 동안 그들의 공간적 관계를 유지하기 때문이다(예를 들면, 관심 타겟(712)은 관심 타겟(714)의 동일한 측면에 유지되고 관심 타겟들(712, 714) 중 어느 것도 그 시간 간격 동안 폐색되지 않았다). 위에서 기술된 바와 같이, 후보 가설들(730A 및 730B)에 의해 나타내어지는 위치 추정치들은 관심 타겟들(712, 714)에 대한 유효한 잠재적 위치들을 나타내는 것으로 결정되고 따라서 추가의 추적을 위해 활용된다.
이에 반해, 후보 가설(730n)은 t = 0부터 t = 1까지의 시간 간격 동안 관심 타겟들(712, 714)의 위치의 일어날 가능성이 없거나 타당해 보이지 않는 전환을 나타낸다. 상세하게는, 관심 타겟들(712, 714)은 t = 0부터 t = 1까지의 시간 간격 동안 각각의 다른 관심 타겟을 기준으로 그들의 위치들 또는 장소들을 전환하지만; 해당 시간 간격은, 1초, 수 밀리초(ms) 또는 다른 시간 프레임과 같은, 짧은 시간량을 나타낼 수 있다. 그러한 짧은 시간 프레임에서, 관심 타겟들(712, 714)이 충돌하지 않고 위치들을 전환할 수 있을 가능성이 매우 낮을 것이다. 위에서 기술된 바와 같이, 본 개시의 추적 기술들은 충돌 기준 또는 충돌 구조체를 활용하여, 예를 들어, 후보 가설(730n)에 의해 표현되는 상황의 발생들을 검출한다. 충돌 이벤트들을 나타내는 것으로 결정되는 후보 가설들은, 도 8을 참조하여 아래에서 보다 상세히 기술되는 바와 같이, 본원에 개시된 추적 기술들에 의해 활용되지 않는다.
도 7에서, 추적 동안 직면할 수 있는 다른 예시적인 시나리오가 후보 가설(740)에 도시되어 있다. 후보 가설(740)은 관심 타겟(712)이 관심 타겟(714)에 의해 폐색되는 폐색 시나리오를 나타낸다. 그러한 폐색 조건이 발생할 때, 폐색된 관심 타겟의 위치를 추정하는 것이 어려울 수 있다. 예를 들어, 폐색 조건이 존재하는 후보 가설들에서, 관심 타겟(712)이 더 이상 환경에 있지 않은지 여부(예를 들면, 추적되고 있는 차량이 도로를 벗어났는지 여부) 또는 관심 타겟(712)이 여전히 환경에 존재하지만 대상체(예를 들면, 다른 관심 타겟, 거리 표지판, 벽 등) 후방에 있기 때문에 감지되지 않는지 여부는 불명확할 수 있다. 위에서 기술된 바와 같이, 관심 타겟이 실제로 폐색되는지 또는 실제로 폐색되지 않은지를 결정하기 위해 후보 가설(740)에 의해 표현되는 상황이 폐색 기준을 사용하여 평가된다. 폐색 기준이 후보 가설(예를 들면, 가설(740)) 내의 관심 타겟이 실제로 폐색되지 않음을 나타낼 때, 해당 후보 가설은 추가의 추적을 수행하는 데 사용되지 않을 수 있다. 그렇지만. 폐색 기준이 관심 타겟이 폐색되어 있음을 나타내는 경우, 후보 가설은 추적에서 추가의 사용을 위해 유지될 수 있다.
도 8을 참조하면, 본 개시에 따른 다중 타겟 추적을 수행하는 것의 양태들을 예시하는 블록 다이어그램이 도시되어 있다. 도 8에서, 복수의 후보 가설들은 가설들(800, 804, 808, 812, 816, 820, 824, 828, 832, 836, 840, 844, 848, 852, 856, 860, 864, 868, 872, 876)을 포함하는 것으로 도시되어 있다. 도 8에 도시된 가설들 각각은 환경(예를 들면, 차량이 위치하는 환경, 셀들이 관찰되고 있는 환경 등)과 연관된 센서 데이터(예를 들면, LiDAR 스캔, 포인트 클라우드, 이미지, 비디오 등)에 기초하여 획득되며, 여기서, LIDAR 디바이스, 카메라(예를 들면, 비디오 카메라, 이미징 카메라, 적외선 카메라, RGB-D 카메라 등), 현미경 또는 다른 유형의 센서와 같은, 하나 이상의 센서에 의해 캡처된다.
도 7을 참조하여 위에서 기술된 바와 같이, 가설들 각각은 센서 데이터로부터 도출되는 측정치들(예를 들면, 도 7의 측정치들(720, 722, 724))과 연관된 데이터 및 각각의 측정치와 연관된 트랙(예를 들면, 도 7의 관심 타겟(712, 714)과 연관된 트랙들)을 나타내는 정보를 포함한다. 예를 들어, 가설(800)은 트랙 및 측정 데이터(802)를 포함하고, 가설(804)은 트랙 및 측정 데이터(806)를 포함하며, 가설(808)은 트랙 및 측정 데이터(810)를 포함하고, 가설(812)은 트랙 및 측정 데이터(814)를 포함하며, 가설(816)은 트랙 및 측정 데이터(818)를 포함하고, 가설(820)은 트랙 및 측정 데이터(822)를 포함하며, 가설(824)은 트랙 및 측정 데이터(826)를 포함하고, 가설(828)은 트랙 및 측정 데이터(830)를 포함하며, 가설(832)은 트랙 및 측정 데이터(834)를 포함하고, 가설(836)은 트랙 및 측정 데이터(838)를 포함하며, 가설(840)은 트랙 및 측정 데이터(842)를 포함하고, 가설(844)은 트랙 및 측정 데이터(846)를 포함하며, 가설(848)은 트랙 및 측정 데이터(850)를 포함하고, 가설(852)은 트랙 및 측정 데이터(854)를 포함하며, 가설(856)은 트랙 및 측정 데이터(858)를 포함하고, 가설(860)은 트랙 및 측정 데이터(862)를 포함하며, 가설(864)은 트랙 및 측정 데이터(866)를 포함하고, 가설(868)은 트랙 및 측정 데이터(870)를 포함하며, 가설(872)은 트랙 및 측정 데이터(874)를 포함하고, 가설(876)은 트랙 및 측정 데이터(878)를 포함한다.
각각의 가설에 대한 트랙 및 측정 데이터는 관심 타겟들과 연관된 하나 이상의 트랙과 연관된 정보 및 관찰된 측정치들과 연관된 정보를 포함한다. 비제한적인 예에서, 트랙 및 측정 데이터는 데이터베이스에 저장되고 각각의 가설은 각각의 트랙 및 연관된 측정 데이터에 대응하는 식별자들만을 포함한다. 트랙 식별자(ID)는 특정 트랙을 식별해 주고 측정치 ID는 대응하는 트랙 ID와 연관된 (데이터베이스 내의) 실제 측정 데이터에 대한 참조를 제공한다. 예시하기 위해, 가설(800)에 대한 트랙 및 측정 데이터(802)는 추적되고 있는 하나 이상의 관심 타겟에 대한 트랙 ID 및 트랙 ID들 각각에 할당되거나 그와 연관된 측정 데이터와 연관된 측정치 ID들을 포함한다. 일 양태에서, 트랙 및 측정 데이터는, trackID1.measurementID1 및 trackID2.measurementID2와 같은, 트랙 ID와 측정치 ID 쌍들로서 지정되고, 여기서 trackID1.measurementID1은 제1 관심 타겟(예를 들면, 도 7의 관심 타겟(712))과 연관된 트랙에 대응하고 trackID2.measurementID2는 제2 관심 타겟(예를 들면, 도 7의 관심 타겟(714))과 연관된 트랙에 대응한다.
도 8에 도시된 바와 같이, 추가의 추적을 위해 가설들 중 일부만이 선택된다. 예를 들어, 가설(800)은 시간 간격 t = x - 4와 연관되고, 가설들(804, 808, 812)은 시간 간격 t = x - 3과 연관되며, 가설들(816, 820, 824, 828, 832, 836, 840)은 시간 간격 t = x - 2와 연관되고, 가설들(844, 848, 852, 856)은 시간 간격 t = x - 1과 연관되고, 가설들(860, 864, 868, 872, 876)은 시간 간격 t = x와 연관된다. 시간 간격 t = x - 4에서, 하나 이상의 관심 타겟을 추적하는 데 추가의 사용을 위해 가설(800)이 선택된다. 예를 들어, 가설(800)은 순위 부여된 가설 세트에 포함되고 임계 순위를 충족시키며, 여기서 임계 순위는 다음 시간 간격(예를 들면, t = x - 3) 동안 하나 이상의 관심 타겟을 추적하는 데 활용되어야 하는 가설들을 나타낸다. 일 양태에서, 임계 순위는 상위 100 개의 가설이다. 추가적인 또는 대안적인 양태에서, 임계 순위는 상위 200 개 가설, 상위 500 개 가설, 상위 1000 개 가설, 또는 어떤 다른 순위 부여 메트릭일 수 있다. 일 양태에서, 순위는, 본원에 기술된 바와 같이, 충돌 구조체, 폐색 구조체, 또는 둘 다와 같은, 종속 가능성 구조체를 사용하여 결정된다. 종속 가능성 구조체가 후보 가설 세트의 최종적인 순위를 결정하는 데 활용되지만, 다른 메트릭들 및 분석이 또한 수행될 수 있다는 점에 유의한다. 예를 들어, 후보 가설들에 순위 부여하고 추가의 추적에서 사용할 후보 가설들의 서브세트를 선택하기 전에, 후보 가설들이 개별적으로(예를 들면, 다른 관심 타겟들을 고려하지 않고) 평가된다. 일부 경우에, 종속 가능성 구조체가 후보 가설들의 개별적인 평가의 결과들을 확인하거나 검증하는 데 사용된다.
예시하기 위해, 가설들(804, 808, 812)은 시간 간격 t = x - 3에 대한 후보 가설 세트의 일부이다. 측정치가 평가 중인 해당 트랙에 이전에 할당된 추적된 타겟의 현재 위치에 대응할 가능성을 결정하기 위해 가설들(804, 808, 812) 각각과 연관된 트랙들이 개별적으로(예를 들면, 다른 트랙들 또는 추적된 타겟들을 고려하지 않고) 평가된다. 이것은 각각의 트랙의 가능성에 따라 초기 순위 세트를 생성한다. 후속적으로, 순위 부여된 가설 세트를 결정하기 위해 트랙들이 적어도 하나의 기준과 대비하여 평가된다. 위에서 기술되고 도 9 및 도 10을 참조하여 아래에서 보다 상세히 예시되는 바와 같이, 적어도 하나의 기준에 기초하여 결정되는 순위 부여된 가설 세트는 후보 가설들의 서브세트를 포함한다. 예를 들어, 도 8에서, 후보 가설들(804, 808, 812)의 평가는 후보 가설들(804 및 812)은 순위 부여된 가설 세트에 포함되는 반면 후보 가설(808)은 포함되지 않는 것을 결과한다. 후보 가설(808)이, 정확한 정보를 포함하지 않는 것 또는 단순히 시간 간격 t = x - 3 동안 다른 가설들보다 낮은 순위의 가설인 것과 같은, 다양한 이유들로 순위 부여된 가설 세트로부터 생략된다는 점에 유의한다.
도 8에 예시된 바와 같이, 임의의 특정 시간 간격에 대한 순위 부여된 가설 세트의 선택은 이전 시간 간격들 동안 결정되는 순위 부여된 가설 세트에 기초하여 관심 타겟들을 추적하는 것을 용이하게 한다. 예를 들어, 시간 간격 t = x - 3 동안, 후보 가설들(804, 812)에 기초하여 추적이 수행되고; 시간 간격 t = x - 2 동안, 후보 가설들(820, 832)에 기초하여 추적이 수행되며; 시간 간격 t = x - 1 동안, 후보 가설(848)에 기초하여 추적이 수행된다. 도 8이 추적이 수행되는 주어진 시간 간격에서 모든 후보 가설들을 보여주지 않으며 관심 타겟들의 추적이 특정 시간 간격 동안 많은 상이한 가설들(예를 들면, 10 개의 가설, 100 개의 가설, 200 개의 가설, 1000 개의 가설, 또는 1000 개 초과의 가설)을 고려한다는 점에 유의한다. 위에서 기술된 바와 같이, 본 개시의 추적 기술들은 덜 정확하거나 부정확한 데이터를 포함하는 가설들을 프루닝하거나 생략하는 것에 의해 충분한 레벨의 정확도를 유지하면서 추적을 수행하는 데 사용되는 가설들의 수를 감소시키기 위한 효율적인 기술을 제공한다. 후보 가설들의 수를 감소시키는 것은 보다 많은 타겟들이 추적될 수 있게 하는 것은 물론 추적을 수행하는 데 요구되는 계산 복잡도를 최소화할 수 있으며, 이에 의해 추적이 (예를 들면, 계산적으로도 비용 면에서도) 보다 효율적으로 수행될 수 있게 한다.
도 9를 참조하면, 본 개시에 따른 타겟들을 추적하기 위한 충돌 구조체의 예시적인 양태들을 예시하는 블록 다이어그램이 도시되어 있다. 보다 구체적으로, 도 9에는, 후보 가설 순위 세트(910)가 도시되어 있다. 후보 가설 순위 세트(910)는 시간 간격(예를 들면, 도 8의 시간 간격들 중 하나)에 대한 후보 가설들의 순위를 나타내고 순위들은 트랙들의 개별적인 평가에 기초하여 결정된다 - 즉, 순위들(910)이 상이한 추적된 타겟들 간의 종속성들을 고려하지 않는다 -. 도 7을 참조하여 위에서 기술된 바와 같이, 종속성들이 고려되지 않을 때, 충돌 조건들과 같은, 타당해 보이지 않는 조건들을 검출하는 것이 어려울 수 있다. 이 과제를 해결하기 위해, 후보 가설 순위 세트(910)는, 순위 부여 기준과 같은, 적어도 하나의 기준에 기초하여 평가된다. 순위 부여 기준은, 도 7의 후보 가설(730n)에 예시되는 충돌 조건과 같은, 충돌 조건들을 검출하는 데 활용되는 충돌 기준일 수 있다.
이 예에서 충돌 기준인, 적어도 하나의 기준은 상이한 트랙들 간의 종속성들에 기초하여 후보 가설 순위 세트(910)를 평가하는 데 사용된다. 그러한 평가 또는 분석은 추적이 고려 중인 후보 가설들에 의해 표현되는 관심 타겟들의 특정 트랙들 및 움직임들이 도 7의 가설들(730A 및 730B)에서와 같이 타당해 보이는지 또는 도 7의 가설(730n)에서와 같이 타당해 보이지 않는지에 관한 통찰들을 고려할 수 있게 한다. 예를 들어, 후보 가설 순위 세트는 순위들(912, 914, 916, 918, 920)을 포함한다. 순위들 각각은 순위 부여 메트릭과 연관된다. 예를 들어, 순위(912)는 42.5의 순위 부여 메트릭 값을 포함하고, 순위(914)는 31.2의 순위 부여 메트릭 값을 포함하며, 순위(916)는 25.4의 순위 부여 메트릭 값을 포함하고, 순위(918)는 19.7의 순위 부여 메트릭 값을 포함하는 등이다. 순위들(912 내지 920)에 대한 순위 부여 메트릭들이 각각의 트랙을 개별적으로 고려하는 독립적인 가정 구조체에 기초하여 결정되기 때문에, 순위 부여 메트릭들은, 충돌 조건들과 같은, 특정 조건들을 반영하지 않는다.
이 문제를 완화시키기 위해, 후보 가설 순위 세트(910)는, 이 예에서 충돌 기준인, 순위 부여 기준을 사용하여 평가된다. 순위 부여 기준에 기초하여 후보 가설 순위 세트(910)를 평가하는 동안, 종속성들이 고려된다. 순위 부여 메트릭이 정확하고 어떠한 충돌 조건들도 검출되지 않는 경우, 해당 후보 가설들이 순위 부여된 가설 세트(930)에 추가된다. 예를 들어, 도 9에서, 순위(912)는 충돌 조건을 포함하지 않는 것으로 결정되고 순위 부여된 가설 세트(930)에 추가된다. 일 양태에서, 후보 가설 순위 세트(910)는 순위 부여 메트릭들에 따라 순서화되거나 순위 부여받고, 그 결과 후보 가설들이 순위 부여된 가설 세트(930)에 추가될 때 특정 순서로(예를 들면, 가장 높은 것에서 가장 낮은 것으로) 순위 부여받는다. 순위(914)와 연관된 가설과 같은, 충돌 조건들과 연관된 후보 가설들의 경우, 순위 부여 메트릭은 영(0) 값을 할당받고 순위 부여된 가설 세트(930)의 하단으로 이동된다. 추가적인 또는 대안적인 양태에서, 순위 부여 기준(예를 들면, 충돌 기준)에 기초하여 충돌 조건들과 연관된 것으로 식별되는 가설들은 순위 부여된 가설 세트(930)로부터 생략되고, 충돌 조건들 또는 다른 유형들의 지정들과 연관된 것으로 플래깅되거나, 또는 해당 가설들이 추가의 추적을 수행하는 데 사용되지 않아야 함을 지정하기 위해 프로세싱이 사용된다.
도 9에 더 예시된 바와 같이, 순위(916)는, 순위 부여 기준에 기초하여, 충돌 조건과 연관되지 않는 것으로 결정되고, 순위 부여된 가설 세트(930)에 추가된다. 유사하게, 순위(918)는, 순위 부여 기준에 기초하여, 충돌 조건과 연관되지 않는 것으로 결정되고, 순위 부여된 가설 세트(930)에 추가된다. 순위들(912 내지 918)과 관련하여 위에서 기술된 프로세싱이 각각의 추가적인 순위(920)에 대해, 또는 적어도 임계 수의 가설들이 순위 부여된 가설 세트(930)에 추가될 때까지 반복될 수 있다는 것이 이해되어야 한다. 일 양태에서, 임계 수의 가설들은 충돌 조건을 포함하지 않는 100 개의 가설, 200 개의 가설, 500 개의 가설, 1000 개의 가설, 또는 어떤 다른 수의 가설이다. 추가적인 또는 대안적인 양태에서, 순위 부여된 가설 세트(930)는 가설들의 임계 수 이외의 인자들에 기초하여 결정된다. 예를 들어, 순위 부여된 가설 세트(930)는 임계 순위 부여 메트릭에 기초하여 결정되며, 여기서 임계 순위 부여 메트릭 초과의 순위 부여 메트릭과 연관되고 충돌 조건들과 연관되지 않은 가설들은 순위 부여된 가설 세트(930)에 추가된다.
순위 부여된 가설 세트(930)를 생성하는 데 사용되는 임계치의 유형에 관계없이 추적 동작들이 개선된다는 점에 유의한다. 예를 들어, 고려될 10,000 개의 후보 가설이 있고 가설들의 임계 수가 충돌 조건을 포함하지 않는 상위 "X" 개 가설들(단, "X" < 501)을 포함하는 순위 부여된 가설 세트(930)를 생성하도록 구성된다고 가정한다. 각각의 시간 간격 동안 추적을 수행하기 위해 10,000 개의 후보 가설 모두를 평가해야 하는 대신에, 총수의 후보 가설들의 일부만이 고려된다. 이것은 임의의 특정 시간 간격 동안 순위 부여된 가설 세트(930)에 포함된 위치 정보를 평가하는 데 필요한 시간량을 감소시키고 추적의 계산 복잡도를 감소시키며(예를 들면, 보다 적은 메모리를 필요로 하고, 보다 적은 프로세서 대역폭을 소비하는 등이며), 이는 추적이 보다 빠르게 수행될 수 있게 하거나 추적된 타겟(들)의 위치의 변화들에 기초하여(예를 들면, 이에 응답하여) 운행 동작들이 보다 신속하게 결정될 수 있게 할 수 있다. 유사하게, 임계치가 임계 순위 부여 메트릭인 경우에, 임계 순위 부여 메트릭보다 낮은 임의의 후보 가설들은 고려될 필요가 없다.
더욱이, 추적 동작들이 충돌 조건들과 연관된 후보 가설들의 순위를 생략하거나 감소시키는 것에 의해 보다 정확해진다(예를 들면, 왜냐하면 추적된 타겟들의 상대 위치 또는 장소에서의 타당해 보이지 않거나 일어날 가능성이 없는 변화들이 미래 시간 기간들에서 고려로부터 생략될 수 있기 때문임). 예시하기 위해, 도 7의 예에서, 후보 가설(730n)이 이월된다(예를 들면, 순위 부여된 가설 세트(930)에 추가된다)고 가정한다. 다음 시간 기간 동안, 후보 가설(730n)은 (예를 들면, 도 7의 스냅샷(710)과 유사한) 새로운 스냅샷으로서 역할하고, 다음 시간 기간 동안 획득되는 측정치들에 기초하여 관심 타겟들에 대한 종속성들을 평가하는 데 사용된다. 가설(730n)로부터의 관심 타겟들(712, 714)의 위치에 관한 일어날 가능성이 없거나 타당해 보이지 않는 정보를 사용하는 것이 다음 시간 기간 동안 추적의 정확도를 감소시킬 수 있다는 것이 이해될 수 있다. 따라서, 순위 부여된 가설 세트(930)로부터 충돌 조건들을 제거하는 것은 후속 시간 기간들 동안 추적의 전체적인 정확도를 개선시킬 수 있다.
도 10을 참조하면, 본 개시에 따른 타겟들을 추적하기 위한 폐색 구조체의 예시적인 양태들을 예시하는 블록 다이어그램이 도시되어 있다. 위에서 설명된 바와 같이, 추적 동안 관심 타겟이 폐색될 수 있다. 이것은, 예를 들어, 제1 차량이 제1 차량 전방에서 그리고 제1 차량과 동일한 방향으로 주행하는 2 개의 차량을 추적하고 있고 추적된 차량들 중 하나가 다른 추적된 차량 전방으로 추월할 때, 발생할 수 있다. 이것이 발생할 때, 추월하는 차량이 다른 추적된 차량에 의해 폐색될 수 있고, 이는 추적을 수행하는 데 사용되는 제1 차량의 센서들에 의해 추월하는 차량을 검출하는 것을 어렵게 만들 수 있다. 이 과제를 극복하기 위해, 본 개시에 따른 추적 동작들은, 아래에서 보다 상세히 기술되는 바와 같이, 후보 가설들을 평가하기 위해 폐색 구조체를 활용한다.
도 10에는, 후보 가설 순위 세트(1010)가 도시되어 있다. 후보 가설 순위 세트(1010)는 시간 간격(예를 들면, 도 8의 시간 간격들 중 하나)에 대한 후보 가설들의 순위를 나타내고 순위들은 트랙들의 개별적인 평가에 기초하여 결정된다 - 즉, 순위들(1010)이 상이한 추적된 타겟들 간의 종속성들을 고려하지 않는다 -. 종속성들이 고려되지 않을 때, 폐색 조건들을 검출하는 것이 어려울 수 있다. 이 과제를 해결하기 위해, 후보 가설 순위 세트(1010)는, 순위 부여 기준과 같은, 적어도 하나의 기준에 기초하여 평가된다. 순위 부여 기준은, 도 7의 후보 가설(740)에 예시되는 폐색 조건과 같은, 폐색 조건들을 검출하는 데 활용되는 폐색 기준일 수 있다.
이 예에서 폐색 기준인, 적어도 하나의 기준은 상이한 트랙들 간의 종속성들에 기초하여 후보 가설 순위 세트(1010)를 평가하는 데 사용된다. 그러한 평가 또는 분석은 추적이 고려 중인 후보 가설들에 의해 표현되는 관심 타겟들의 특정 트랙들 및 움직임들이, 도 7의 가설(740)에서와 같이, 폐색되는지 여부에 관한 통찰들을 고려할 수 있게 한다. 예를 들어, 후보 가설 순위 세트(1010)는 순위들(1012, 1014, 1016, 1018, 1020)을 포함한다. 순위들 각각은 순위 부여 메트릭과 연관된다. 예를 들어, 순위(1012)는 42.5의 순위 부여 메트릭 값을 포함하고, 순위(1014)는 31.2의 순위 부여 메트릭 값을 포함하며, 순위(1016)는 25.4의 순위 부여 메트릭 값을 포함하고, 순위(1018)는 19.7의 순위 부여 메트릭 값을 포함하는 등이다. 순위들(1012 내지 1020)에 대한 순위 부여 메트릭들이 각각의 트랙을 개별적으로 고려하는 독립적인 가정 구조체에 기초하여 결정되기 때문에, 순위 부여 메트릭들은, 폐색 조건들과 같은, 특정 조건들을 정확하게 반영하지 않을 수 있다. 예시하기 위해, 관심 타겟에 대응하는 트랙이 폐색 조건으로 인해, 검출 누락(예를 들면, 관심 타겟이 센서(들)에 의해 모니터링되는 환경에 존재함에도 불구하고 센서(들)가 관심 타겟을 검출하지 못함)으로 인해, 특정 시간 간격 동안 측정치들에 표시되지 않거나, 또는 차량이 더 이상 모니터링되는 환경에 있지 않을 수 있다(예를 들면, 차량이 도로를 빠져나갔을 수 있음). 독립적 가능성 구조체(independent likelihood structure)를 사용하는 것을 고려할 때 이러한 상이한 가능한 일들을 구별하는 것이 어려울 수 있다.
이 문제를 완화시키기 위해, 후보 가설 순위 세트(1010)는, 이 예에서 폐색 기준인, 순위 부여 기준을 사용하여 평가된다. 순위 부여 또는 폐색 기준은 종속성들을 고려하며, 이는 관심 타겟이 환경 내에 존재하지만 폐색되어 있는지 또는 환경에 존재하지 않는지의 보다 효율적인 결정을 가능하게 한다. 폐색 기준은 종속성들을 고려하는 것에 의해 가설에 대한 특정 관심 타겟이 폐색 조건을 충족시키는지 여부를 나타낸다. 예를 들어, 도 8에서 폐색은 어떤 종속성들도 고려하지 않고 가설들(820)에서 초기에 검출되고, 이어서 가설(820)이 의존하는 가설(804)을 고려하는 것에 의해 가설(820)에 표현되는 특정 타겟이 포함되는지 여부를 평가하기 위해 폐색 기준이 사용된다. 폐색 조건이 존재하지 않거나 관심 타겟이 실제로 폐색되는 경우에, 순위 부여 메트릭은 변경되지 않고 순위 부여된 가설 세트(1030)에 순위가 추가된다. 예를 들어, 도 10에서, 순위(1012)는 충돌 조건을 정확하게 포함하는 것으로 결정되고(예를 들면, 트랙이 독립적 구조체에 의해 폐색된 것으로 식별되고 종속성들을 고려하는 폐색 기준에 의해 폐색된 것으로 식별됨), 순위 부여된 가설 세트(1030)에 추가된다. 일 양태에서, 후보 가설 순위 세트(1010)는 순위 부여 메트릭들에 따라 순서화되거나 순위 부여받고, 그 결과 후보 가설들이 순위 부여된 가설 세트(1030)에 추가될 때 특정 순서로(예를 들면, 가장 높은 것에서 가장 낮은 것으로) 순위 부여받는다.
순위(1014)와 연관된 가설과 같은, 폐색 조건들을 나타내는 것으로 부정확하게 식별되는 순위들을 가진 트랙들과 연관된 후보 가설들의 경우, 패널티 메트릭이 대응하는 메트릭 값에 적용되고 이어서 가설이 순위 부여된 가설 세트(1030) 내의 적절한 위치로 이동된다. 패널티 메트릭은 순위 부여된 가설 세트(1030)에 가설을 포함시키기 전에 가설 세트(1010)에 순위 부여하는 데 사용되는 대응하는 메트릭 값을 감소시킨다. 예를 들어, 도 10에서, 순위(1014)는 31.2의 메트릭 값을 갖지만, 순위(1014)와 연관된 정보의 평가 후에, 메트릭 값이 패널티 메트릭을 사용하여 수정되며, 이는 14.9의 메트릭 값을 산출한다. 14.9의 메트릭 값과 연관된 가설이 이어서 순위 부여된 가설 세트(1030)에 추가되지만 그렇지 않았으면 후보 가설 순위 세트(1010)에 제공되는 메트릭 값(예를 들면, 31.2의 메트릭 값)에 기초했을 것보다 낮은 순위에 추가된다. 패널티 메트릭을 후보 가설 세트(1010)에서 부정확하게 식별된 폐색 조건들과 연관된 가설들에 적용하는 것에 의해, 부정확하거나 덜 정확한 가설들이 순위 부여된 가설 세트(1030)에서 보다 낮게 나타날 수 있다. 덜 정확한 가설들(예를 들면, 부정확하게 식별된 폐색 조건들과 연관된 가설들)에 대한 순위 부여 메트릭들이 감소되기 때문에, 시간 경과에 따라(예를 들면, 도 7에서의 t = x - 4부터 t = x까지와 같은, 다수의 시간 간격들에 걸쳐), 보다 정확한 가설들은 순위 부여된 가설 세트(1030)의 상단으로 올라갈 수 있고 덜 정확한 가설들은 하단으로 내려갈 것이다. 순위 부여된 가설 세트(930)를 참조하여 위에서 기술된 바와 같이, 상위 "X" 개 가설들과 같은, 순위 부여된 가설 세트(1030)의 서브세트만을 사용하는 것에 의해, 관심 타겟들의 추적이 보다 정확할 수 있다(예를 들면, 왜냐하면 덜 정확한 가설들이 순위 부여된 가설 세트에서 보다 낮게 있을 것이고 후속 시간 간격들 동안 사용될 가능성이 보다 적을 것이기 때문임).
도 10에 더 예시된 바와 같이, 순위(1018)는, 순위 부여 기준에 기초하여, 폐색 조건과 연관되지 않은 것으로 또는 폐색 조건을 정확하게 식별하는 것으로 결정되고, 19.7의 순위 메트릭에 대한 패널티 없이 순위 부여된 가설 세트(1030)에 추가된다. 추가적으로, 순위(1016)는, 순위 부여 기준에 기초하여, 부정확하게 식별된 폐색 조건과 연관되는 것으로 결정되고, 순위(1016)를 순위 부여된 가설 세트(1030)에 통합시키기 전에 순위 부여 메트릭을 25.4로부터 8.6으로 변경하기 위해 패널티 메트릭이 적용된다. 순위들(1012 내지 1018)과 관련하여 위에서 기술된 프로세싱이 각각의 추가적인 순위(1020)에 대해, 또는 적어도 임계 수의 가설들이 순위 부여된 가설 세트(1030)에 추가될 때까지 반복될 수 있다는 것이 이해되어야 한다. 일 양태에서, 임계 수의 가설들은 100 개의 가설, 200 개의 가설, 500 개의 가설, 1000 개의 가설, 또는 어떤 다른 수의 가설일 수 있다. 추가적인 또는 대안적인 양태에서, 순위 부여된 가설 세트(1030)는 가설들의 임계 수 이외의 인자들에 기초하여 결정될 수 있다. 예를 들어, 순위 부여된 가설 세트(1030)는 임계 순위 부여 메트릭에 기초하여 결정되며, 여기서 임계 순위 부여 메트릭 초과의 순위 부여 메트릭과 연관되고 충돌 조건들과 연관되지 않은 가설들은 순위 부여된 가설 세트(1030)에 추가된다.
순위 부여된 가설 세트(1030)를 생성하는 데 사용되는 임계치의 유형에 관계없이 추적 동작들이 개선된다는 점에 유의한다. 예를 들어, 고려될 10,000 개의 후보 가설이 있고 가설들의 임계 수가 상위 "X" 개 가설들(단, "X" < 501)을 포함하는 순위 부여된 가설 세트(1030)를 생성하도록 구성된다고 가정한다. 각각의 시간 간격 동안 추적을 수행하기 위해 10,000 개의 후보 가설 모두를 평가해야 하는 대신에, 총수의 후보 가설들의 일부만이 고려될 수 있다. 더욱이, 패널티 메트릭으로 인해, 부정확한 정보(예를 들면, 부정확하게 식별된 폐색들)를 제공하는 가설들은 보다 낮은 순위 부여 메트릭을 가질 수 있으며, 이에 의해 미래 시간 간격들 동안 추적이 기초하는 가설 세트에 포함될 가능성이 보다 적을 수 있다. 이것은 임의의 특정 시간 간격 동안 위치 정보를 평가하는 데 필요한 시간량을 감소시키고 추적의 계산 복잡도를 감소시키며, 이는 추적이 보다 빠르게 수행될 수 있게 하거나 추적된 타겟(들)의 위치의 변화들에 기초하여(예를 들면, 이에 응답하여) 운행 동작들이 보다 신속하게 결정될 수 있게 할 수 있다. 유사하게, 임계치가 임계 순위 부여 메트릭인 경우에, 임계 순위 부여 메트릭보다 낮은 임의의 후보 가설들은 고려될 필요가 없다. 더욱이, 부정확하게 식별된 폐색 조건들과 연관된 후보 가설들의 순위를 생략하거나 감소시키는 것에 의해, 추적 동작들이 보다 정확해질 수 있다.
도 11을 참조하면, 본 개시에 따른 추적을 예시하는 플롯이 플롯(1100)으로서 도시되어 있다. 플롯(1100)은 2 개의 관심 타겟을 관여시키는 1차원 시뮬레이션으로부터 생성되었다. 시뮬레이션에 사용되는 2 개의 관심 타겟은 1차선 도로를 주행하고 있는 차량들이었고 각각의 차량의 추적은 일련의 포인트들로서 모델링되었다. 플롯(1100)에서 볼 수 있는 바와 같이, 제1 차량은 추적 동안 제1 차량과 관련하여 관찰되는 상이한 포인트들을 연결시키는 라인(1102)으로 표시되는 경로를 따라 주행하였으며, 제2 차량은 추적 동안 제2 차량과 관련하여 관찰되는 상이한 포인트들을 연결시키는 라인(1104)으로 표시되는 경로를 따라 주행하였다. 플롯에서의 포인트들(1106)은 모델링된 시나리오에 존재하는 노이즈를 나타낸다.
도 12a 및 도 12b를 참조하면, 독립성 가정에 기초한 추적을 예시하는 플롯이 플롯(1200)으로서 도시되어 있다. 플롯(1200)은 도 11의 플롯(1100)을 생성하는 데 사용되는 시뮬레이션과 유사하게 2 개의 관심 타겟을 관여시키는 1차원 시뮬레이션으로부터 생성되었으며, 제1 차량은 라인(1202)에 의해 표현되고 제2 차량은 라인(1204)에 의해 표현되어 있다. 플롯에서의 포인트들(1206)은 모델링된 시나리오에 존재하는 노이즈를 나타낸다. 플롯(1100)을 생성하는 데 사용되는 측정치들은, 도 7 및 도 9를 참조하여 위에서 기술된 바와 같이, 충돌 구조체를 사용하여 프로세싱된 반면, 플롯(1200)을 생성하는 데 사용되는 측정치들은 독립성을 가정한(예를 들면, 종속성들을 고려하지 않는) 추적 알고리즘을 사용하여 프로세싱되었다. 플롯(1100)에서 추적된 차량들 둘 다가 전반적으로 선형인 경로를 따르고 어느 차량도 위치들을 전환하지 않았다는 것을 알 수 있다. 대조적으로, 플롯(1200)은 2 개의 차량이, 도 7의 가설(730n)과 유사하게, 서로 추월하거나 위치들을 전환하는 것처럼 보이는 것을 예시하고 있다. 2 개의 차량의 위치들의 전환은, 도 12a의 플롯(1200)의 확대도(1208)를 보여주는, 도 12b에 보다 명확하게 도시되어 있다.
도 11, 도 12a 및 도 12b가 다른 추적 기술들과 비교하여 충돌 구조체가 관심 타겟들의 위치를 더 정확하게 추적한다는 것을 예시한다는 것이 이해되어야 한다. 상세하게는, 도 11 내지 도 12b는, 초기 순위들이 독립적 가능성 구조체들을 사용하여 결정되고 이어서 추적에 사용되는 최종 순위들을 생성하기 위해 충돌 조건의 존재에 기초하여 검증되는, 충돌 구조체를 사용한 제안 및 검증 접근법을 활용하는 것이 추적 시스템들의 정확도를 개선시키고 관심 타겟들이 환경 내에서 어떻게 움직이고 있는지의 보다 나은 상황 인식을 제공할 수 있다는 것을 보여준다. 그러한 능력들은 특히 자율 주행 시스템들에 관련이 있을 수 있다. 예시하기 위해, 자율 주행 차량들은 센서 데이터를 활용하여 환경을 관찰하고 센서 데이터 및 관찰된 환경의 분석에 기초하여 운행 결정들을 내리거나 기동들을 실행한다. 보다 정확한 추적을 제공하는 것은 자율 주행 차량(예를 들면, 자율 주행 차량의 하나 이상의 시스템, 다운스트림 시스템 등 또는 자율 주행 차량의 작동을 제어하는 것에 관여된 시스템)이 차량의 운행과 관련하여 보다 나은 결정들을 내리고 사고의 가능성을 감소시키는 것을 가능하게 한다.
위의 설명이 충돌 기준 또는 폐색 기준의 사용을 개별적으로 기술하였지만, 본 개시의 일부 구현예들에서, 충돌 기준과 폐색 기준이 함께 활용될 수 있음에 유의한다. 예를 들어, 충돌 이벤트들과 연관된 가설들을 식별하기 위해 도 9를 참조하여 기술된 바와 같이 후보 가설 세트가 평가된다. 충돌 이벤트들과 연관된 가설들이 이어서 고려 중인 가설 세트로부터 제거되고 폐색 기준이 도 10을 참조하여 위에서 기술된 바와 같이 나머지 가설들을 평가하는 데 사용된다. 이러한 방식으로, 충돌 조건들과 연관된 가설들에 대응하는 순위들은 0으로 감소되며, 이는 해당 순위들이 폐색 기준에 의해 고려될 필요가 없고, 이어서 폐색 조건이 없는 것 또는 실제 폐색 조건들과 연관된 가설들을 식별하기 위해서는 물론 폐색 조건들이 부정확하게 식별되는 임의의 가설들의 순위를 감소시키기 위해 임의의 나머지 가설들이 평가될 수 있다는 것을 의미한다. 위의 예가, 제한으로서가 아니라 예시 목적으로, 먼저 충돌 기준을 사용하여 후보 가설들을 평가하고 이어서 폐색 기준을 사용하여 가설들을 평가하는 것을 기술하며, 원하는 경우 충돌 기준을 사용한 평가 이전에 폐색 기준이 가설들을 평가하는 데 사용될 수 있거나, 또는 가설들을 평가하기 위해 둘 다가 동시에 사용될 수 있다는 점에 유의한다.
위의 설명은 본 개시의 실시예들에 따른 종속 가능성 구조체들로의 다중 타겟 추적을 수행하기 위해 충돌 구조체(예를 들면, 충돌 기준) 및/또는 폐색 구조체(예를 들면, 폐색 기준)를 사용하는 것의 예시적인 양태들을 개념적으로 예시한다. 그렇지만, 충돌 구조체 및 폐색 구조체의 위에서 기술된 개념들은 또한, 아래에서 보다 상세히 나타내는 바와 같이, 수학적으로 예시될 수 있다.
위에서 설명된 바와 같이, 본 추적 기술들은 개별적인 타겟-측정치 연관들의 독립성을 가정한다. 그러한 접근법을 활용하여, 가설에서 다른 트랙들을 고려하지 않고 그리고 다른 가설들(예를 들면, 현재 시간 간격에 대한 부모 가설 또는 다른 가설들)의 측정치들 및 트랙들을 고려하지 않고 가설의 트랙들에 측정치들이 할당된다. 독립성 가정의 이러한 접근법을 예시하기 위해, (라벨링된) RFS X를 전역적 목표 상태라고 하고 Z를 전역적 측정치라고 한다. 그러면 필터링 밀도 p는 세트 적분들(set integrals)을 통해 재귀적으로 획득된다:
Figure pat00001
여기서
Figure pat00002
는 모션 전환(motion transition)이며,
Figure pat00003
는 측정치 우도(measurement likelihood)이다.
측정치 세트
Figure pat00004
가 주어지면, 라벨링된 RFS X에 대한 데이터 연관 가설
Figure pat00005
는 각각의 라벨
Figure pat00006
에 일대일 방식으로 측정치 인덱스를 할당하거나 또는 검출 누락을 나타내는 특수 인덱스 0을 할당한다. 조건부 독립성을 가정하는 것은 다음과 같은 인수 분해된 형태의 우도 함수가 얻어진다:
Figure pat00007
여기서
Figure pat00008
여기서
Figure pat00009
는 클러터 밀도(clutter density)를 나타내며,
Figure pat00010
는 검출 확률을 나타낸다.
위의 2 개의 방정식으로부터, 라벨
Figure pat00011
이 측정치
Figure pat00012
을 할당받으면, 그의 연관 가능성은 고정되고; 동일한 가설에서의 다른 라벨들이 어떻게 할당되는지에 "상관하지 않는다"는 것을 알 수 있다. 인수 분해된 형태의 우도 함수는 두 가지 이점이 있다:
1) 각각의 트랙의 운동학적 분포를 업데이트하는 것이 "자체" 측정만으로 수행되는 것; 및
2) 음의 로그(negative log)를 취하면, 가설의 "비용"은, 엔트리들이 가설들과 독립적으로 구성되는, 비용 행렬로부터의 선택들의 합으로서 정의될 수 있는 것.
두 번째 이점은 Murty의 알고리즘을 사용하여 효율적으로 해결될 수 있는 순위 부여 문제로 이어진다. 그렇지만, 트랙들 간의 상호작용들을 고려하지만 여전히 인수분해된 형태를 유지하는 가능성 구조체들을 활용하는 것이 유리할 수 있다(첫 번째 이점). 본원에 개시된 개념들에 따른 첫 번째 이점을 유지하면서 두 번째 이점을 달성하는 그러한 구조체들에 대한 효율적인 순위 부여 알고리즘이 아래에 제공된다.
각각의 트랙
Figure pat00013
에 대해 인자
Figure pat00014
을 도입하는 것에 의해, 우도 함수는 다음과 같은 형식을 취한다:
Figure pat00015
이 형태에서, 각각의 트랙은 주어진 가설 내에서 다른 트랙들과 관련하여 "무엇이 진행 중인지"를 인식하고 그에 따라 그 자신의 우도 항을 조정한다. 이것은, 각각의 트랙의 사후 분포가 개별적으로 계산되도록 여전히 인수분해된 형태를 유지하면서, 트랙들 간의 전부가 아닌 특정 종속성을 고려한다.
위의 수학식 3으로부터, 본 개시에 따른 충돌 구조체(또는 충돌 기준)가 정의된다. 예를 들어, 충돌 구조체는 다음과 같이 정의되고:
Figure pat00016
이는 고려 중인 가설이, 도 7의 가설(730n)과 같이, 트랙들 간의 충돌을 유도하는 경우 참(true)을 반환하는 검사 절차를 나타낸다. 위의 충돌 구조체에서, 항
Figure pat00017
은 위의 수학식 3에서와 같이 정의되며, 인자
Figure pat00018
은 다음과 같이 정의된다:
Figure pat00019
그러한 충돌 구조체를 사용하여, 가설
Figure pat00020
가 평가되고, 충돌이 발견되는 경우, 가설은 추가의 고려로부터 제외될 수 있다. 그렇지 않고, 충돌이 발견되지 않은 경우에, 가설에 대한 가능성은 독립성이 가정되는 경우와 동일하다.
위의 수학식 3으로부터, 본 개시에 따른 폐색 구조체가 또한 다음과 같이 정의되고:
Figure pat00021
이는 트랙
Figure pat00022
이 이 가설에서 폐색되는 경우 참을 반환하는 검사 절차를 제공한다.
폐색 구조체의 경우, 항
Figure pat00023
은 다음과 같이 수정된다:
Figure pat00024
Figure pat00025
의 수정은 검출 누락이 발생하는 트랙들이 얼마간의 폐색 하에 있는 것으로 낙관적으로 가정될 수 있게 한다. 수학식 3으로부터의 인자
Figure pat00026
은 그러면 다음과 같이 정의된다:
Figure pat00027
그러한 폐색 구조체를 사용하면, 가설이 평가될 때, 검출 누락에 이전에 부여된 "의심의 이익(benefit of the doubt)"이 이제 검증될 수 있다. 보증되지 않는 경우, 가능성은 실제 값으로 감소되어야 한다. 그렇지 않은 경우, 가설에 대한 가능성은 독립성이 가정되고 오라클(oracle)이 누락된 검출들에 대한 정확한 검출 확률을 제공하는 경우에서와 동일하다.
위에서 기술된 바와 같이, 충돌 구조체 및/또는 폐색 구조체는, 추적을 수행하는 데 사용될 정확한 정보를 포함하는 감소된 수의 가설들을 가능하게 할 수 있는, 가설에 순위 부여하기 위한 효율적인 기술을 제공하는 제안 및 검증 알고리즘을 제공하는 데 활용된다. 일 양태에서, 제안 및 검증 알고리즘은 인자
Figure pat00028
를 다음과 같이 제한할 수 있다:
Figure pat00029
제안 및 검증 알고리즘의 경우, 프로세싱은 이하를 포함할 수 있다: 1)
Figure pat00030
로 설정하고 낙관적 가능성들의 내림차순으로 가설들에 걸쳐 반복자(iterator)를 구성한다. 이는, 예컨대, 메소드 호출들 has_next() 및 get_next()를 사용하여, 지연 평가(lazy evaluation)를 통해 가설들을 나열하는 것을 의미한다. 일 양태에서, 반복자는 Murty의 알고리즘을 사용하여 구성된다. 그 결과, 순위 부여 기준과 관련하여 위에서 기술된 바와 같이 그리고 도 9의 후보 가설 순위 세트(910) 및 도 10의 후보 가설 순위 세트(1010)에 도시된 바와 같이, 후보 가설 세트가 제안된 순위에 따라 생성되고 순서화된다. 2) 각각의 가설을 평가하고
Figure pat00031
의 값들이 계산된다. 각각의 가설은 이어서 (예를 들면, 충돌 구조체에 대한) 도 9의 순위 부여된 가설 세트(930) 및 (예를 들면, 폐색 구조체에 대한) 도 10의 순위 부여된 가설 세트(1030)에 도시된 바와 같이 실제 가능성들의 내림차순으로 별도의 정렬된 리스트 결과에 삽입된다. 3)
Figure pat00032
이 발생할 때마다, 실제 가능성은 낙관적 가능성과 동일하며, 따라서 결과에서의 이 가설 및 그 이전의 가설들의 순위가 검증된다(왜냐하면 새로운 엔트리들이 그 이전에 결코 올 수 없기 때문임). 4) 원하는 수의 상위 K 개 가설들이 획득될 때 또는 가설들이 더 이상 이용 가능하지 않을 때 중단한다.
전술한 설명에서, 본 개시의 양태들 및 실시예들은 구현마다 달라질 수 있는 다수의 특정 세부 사항들을 참조하여 기술되었다. 그에 따라, 설명 및 도면들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다. 본 발명의 범위의 유일한 독점적인 지표, 및 출원인들이 본 발명의 범위이도록 의도한 것은, 본 출원에서 특정 형태로 나오는 일련의 청구항들의 문언적 등가 범위이며, 임의의 후속 보정을 포함한다. 그러한 청구항들에 포함된 용어들에 대한 본원에서 명시적으로 기재된 임의의 정의들은 청구항들에서 사용되는 그러한 용어들의 의미를 결정한다. 추가적으로, 전술한 설명 및 이하의 청구항들에서 "더 포함하는"이라는 용어가 사용될 때, 이 문구에 뒤따르는 것은 추가적인 단계 또는 엔티티, 또는 이전에 언급된 단계 또는 엔티티의 서브단계/서브엔티티일 수 있다.

Claims (20)

  1. 방법으로서,
    적어도 하나의 프로세서로, 차량이 위치하는 환경과 연관된 센서 데이터를 수신하는 단계;
    상기 적어도 하나의 프로세서로, 상기 센서 데이터에 기초하여 후보 가설 세트(set of candidate hypotheses)를 획득하는 단계 - 상기 후보 가설 세트 내의 각각의 후보 가설은 하나 이상의 타겟의 후보 위치를 나타내는 트랙에 대응함 - ;
    상기 적어도 하나의 프로세서로, 상기 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가하는 단계;
    상기 적어도 하나의 프로세서로, 상기 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가한 것에 기초하여, 순위 부여된 가설 세트(ranked set of hypotheses)를 결정하는 단계 - 상기 순위 부여된 가설 세트는 상기 적어도 하나의 기준에 기초하여 상기 후보 가설 세트 중에서 선택되는 가설 서브세트를 포함함 - ; 및
    상기 적어도 하나의 프로세서로, 상기 순위 부여된 가설 세트에 기초하여 상기 하나 이상의 타겟 각각의 위치를 추정하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 적어도 하나의 기준은 순위 부여 기준을 포함하고, 상기 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가하는 단계는,
    상기 순위 부여 기준에 기초하여 상기 후보 가설 세트에 순위 부여하는 단계를 포함하는 것인, 방법.
  3. 제2항에 있어서, 상기 적어도 하나의 기준은 충돌 기준 또는 폐색 기준(occlusion criterion)을 포함하는 것인, 방법.
  4. 제3항에 있어서, 상기 적어도 하나의 기준은 상기 충돌 기준을 포함하고, 상기 후보 가설 세트를 상기 충돌 기준과 대비하여 평가하는 단계는,
    상기 후보 가설 세트의 적어도 일 부분과 관련하여 충돌 조건이 충족되는지 여부를 결정하는 단계; 및
    상기 충돌 조건이 충족되는지 여부에 기초하여, 상기 순위 부여된 가설 세트에 후보 가설을 선택적으로 포함시키는 단계를 포함하는 것인, 방법.
  5. 제4항에 있어서, 상기 순위 부여 기준은, 상기 후보 가설 세트 중 특정 후보 가설이 상기 후보 가설 세트 중 다른 후보 가설을 고려하지 않고 상기 하나 이상의 타겟의 위치를 정확하게 식별할 가능성을 나타내는 메트릭을 포함하고, 상기 충돌 기준은, 상기 후보 가설 세트 중 특정 후보 가설이 이전 시간 간격(previous time interval)으로부터의 적어도 하나의 가설을 고려하여 상기 하나 이상의 타겟의 위치를 정확하게 식별하는지 여부를 나타내는 것인, 방법.
  6. 제4항에 있어서, 상기 충돌 조건을 충족시키는 후보 가설은 상기 순위 부여된 가설 세트에 포함되지 않는 것인, 방법.
  7. 제3항에 있어서, 상기 적어도 하나의 기준은 상기 폐색 기준을 포함하고, 상기 후보 가설 세트를 상기 폐색 기준과 대비하여 평가하는 단계는,
    각각의 후보 가설에 대해, 상기 하나 이상의 타겟 중 임의의 타겟과 관련하여 폐색 조건이 충족되는지 여부를 결정하는 단계; 및
    폐색 조건을 충족시키는 후보 가설에 패널티 메트릭을 적용하는 단계 - 상기 패널티 메트릭은 상기 폐색 조건을 충족시키는 후보 가설의 순위를 감소시킴 - 를 포함하는 것인, 방법.
  8. 제7항에 있어서, 상기 순위 부여 기준은, 상기 후보 가설 세트 중 특정 후보 가설과 연관된 상기 하나 이상의 타겟 중 적어도 하나의 타겟이 상기 후보 가설 세트 중 다른 후보 가설을 고려하지 않고 폐색될 가능성을 나타내는 메트릭을 포함하고, 상기 폐색 기준은, 상기 특정 후보 가설과 연관된 상기 적어도 하나의 타겟이 이전 시간 간격으로부터의 적어도 하나의 가설을 고려하여 폐색되는지 여부를 나타내며, 상기 폐색 조건은 상기 폐색 기준은 아닌 상기 순위 부여 기준에 기초한 폐색의 검출 시에 충족되는 것인, 방법.
  9. 제8항에 있어서,
    상기 특정 후보 가설이 상기 폐색 기준에 기초하여 검출 누락(missed detection)과 연관되는지 여부를 결정하는 단계 - 상기 패널티 메트릭은 검출 누락과 연관된 후보 가설에 적용되지 않음 -
    를 더 포함하는, 방법.
  10. 제3항에 있어서, 상기 적어도 하나의 기준은 상기 충돌 기준과 상기 폐색 기준 둘 다를 포함하는 것인, 방법.
  11. 제1항에 있어서, 상기 센서 데이터는 LIDAR 센서, 카메라, 또는 현미경 중 적어도 하나를 포함하는 센서로부터 획득되는 것인, 방법.
  12. 제1항에 있어서, 상기 하나 이상의 타겟은 차량, 셀(cells), 사람, 로봇, 또는 동물 중 적어도 하나를 포함하는 것인, 방법.
  13. 시스템으로서,
    적어도 하나의 프로세서; 및
    명령어를 저장하는 적어도 하나의 비일시적 저장 매체
    를 포함하고, 상기 명령어는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가,
    차량이 위치하는 환경과 연관된 센서 데이터를 수신하게 하고;
    상기 센서 데이터에 기초하여 후보 가설 세트를 획득하게 하고 - 상기 후보 가설 세트 내의 각각의 후보 가설은 하나 이상의 타겟의 후보 위치를 나타내는 트랙에 대응함 - ;
    상기 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가하게 하고;
    상기 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가한 것에 기초하여, 순위 부여된 가설 세트를 결정하게 하며 - 상기 순위 부여된 가설 세트는 상기 적어도 하나의 기준에 기초하여 상기 후보 가설 세트 중에서 선택되는 가설 서브세트를 포함함 - ;
    상기 순위 부여된 가설 세트에 기초하여 상기 하나 이상의 타겟 각각의 위치를 추정하게 하는 것인, 시스템.
  14. 제13항에 있어서, 상기 적어도 하나의 기준은 순위 부여 기준을 포함하고, 상기 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가하는 것은,
    상기 순위 부여 기준에 기초하여 상기 후보 가설 세트에 순위 부여하는 것을 포함하고, 상기 순위 부여 기준은, 상기 후보 가설 세트 중 특정 후보 가설이 상기 후보 가설 세트 중 다른 후보 가설을 고려하지 않고 상기 하나 이상의 타겟의 위치를 정확하게 식별할 가능성을 나타내는 메트릭을 포함하는 것인, 시스템.
  15. 제14항에 있어서, 상기 적어도 하나의 기준은, 상기 후보 가설 세트 중 특정 후보 가설이 이전 시간 간격으로부터의 적어도 하나의 가설을 고려하여 상기 하나 이상의 타겟의 위치를 정확하게 식별하는지 여부를 나타내는 충돌 기준을 포함하고, 상기 후보 가설 세트를 상기 충돌 기준과 대비하여 평가하는 것은,
    상기 후보 가설 세트의 적어도 일 부분과 관련하여 충돌 조건이 충족되는지 여부를 결정하는 것; 및
    상기 충돌 조건이 충족되는지 여부에 기초하여, 상기 순위 부여된 가설 세트에 후보 가설을 선택적으로 포함시키는 것 - 상기 충돌 조건을 충족시키는 후보 가설은 상기 순위 부여된 가설 세트에 포함되지 않음 - 을 포함하는 것인, 시스템.
  16. 제14항에 있어서, 상기 적어도 하나의 기준은 폐색 기준을 포함하고, 상기 폐색 기준은, 상기 특정 후보 가설과 연관된 상기 적어도 하나의 타겟이 이전 시간 간격으로부터의 적어도 하나의 가설을 고려하여 폐색되는지 여부를 나타내고, 상기 후보 가설 세트를 상기 폐색 기준과 대비하여 평가하는 것은,
    각각의 후보 가설에 대해, 상기 하나 이상의 타겟 중 임의의 타겟과 관련하여 폐색 조건이 충족되는지 여부를 결정하는 것 - 상기 폐색 조건은 상기 폐색 기준은 아닌 상기 순위 부여 기준에 기초한 폐색의 검출 시에 충족됨 - ; 및
    상기 폐색 조건을 충족시키는 후보 가설에 패널티 메트릭을 적용하는 것 - 상기 패널티 메트릭은 상기 폐색 조건을 충족시키는 후보 가설의 순위를 감소시킴 - 을 포함하는 것인, 시스템.
  17. 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서가 다중 타겟 추적을 위한 동작을 수행하게 하는 명령어를 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서, 상기 동작은,
    차량이 위치하는 환경과 연관된 센서 데이터를 수신하는 동작;
    상기 센서 데이터에 기초하여 후보 가설 세트를 획득하는 동작 - 상기 후보 가설 세트 내의 각각의 후보 가설은 하나 이상의 타겟의 후보 위치를 나타내는 트랙에 대응함 - ;
    상기 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가하는 동작;
    상기 후보 가설 세트를 적어도 하나의 기준과 대비하여 평가한 것에 기초하여, 순위 부여된 가설 세트를 결정하는 동작 - 상기 순위 부여된 가설 세트는 상기 적어도 하나의 기준에 기초하여 상기 후보 가설 세트 중에서 선택되는 가설 서브세트를 포함함 - ; 및
    상기 순위 부여된 가설 세트에 기초하여 상기 하나 이상의 타겟 각각의 위치를 추정하는 동작을 포함하는 것인, 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
  18. 제17항에 있어서, 상기 동작은,
    상기 하나 이상의 타겟 각각의 위치에 기초하여 하나 이상의 운행 동작(navigation operation)을 결정하는 동작; 및
    상기 하나 이상의 운행 동작에 적어도 부분적으로 기초하여 상기 차량의 운행을 제어하는 동작을 더 포함하는 것인, 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
  19. 제18항에 있어서, 상기 적어도 하나의 기준은 충돌 기준을 포함하고, 상기 후보 가설 세트를 상기 충돌 기준과 대비하여 평가하는 동작은,
    독립성 기준(independence criterion)에 기초하여 상기 후보 가설 세트의 적어도 일 부분과 관련하여 충돌 조건이 충족되는지 여부를 결정하는 동작; 및
    상기 충돌 조건이 충족되는지 여부에 기초하여, 상기 순위 부여된 가설 세트에 후보 가설을 선택적으로 포함시키는 동작 - 상기 충돌 기준은, 상기 후보 가설 세트 중 특정 후보 가설이 이전 시간 간격으로부터의 적어도 하나의 가설을 고려하여 상기 하나 이상의 타겟의 위치를 정확하게 식별하는지 여부를 나타냄 - 을 포함하는 것인, 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
  20. 제18항에 있어서, 상기 적어도 하나의 기준은 폐색 기준을 포함하고, 상기 후보 가설 세트를 상기 폐색 기준과 대비하여 평가하는 동작은,
    각각의 후보 가설에 대해, 상기 후보 가설 세트의 초기 순위에 기초하여 상기 하나 이상의 타겟 중 임의의 타겟과 관련하여 폐색 조건이 충족되는지 여부를 결정하는 동작 - 상기 후보 가설 세트의 초기 순위는 상기 후보 가설 세트 중 다른 후보 가설을 고려하지 않고 결정됨 - ; 및
    상기 후보 가설 세트 중 다른 후보 가설을 고려하지 않고 상기 폐색 조건을 충족시키지만 상기 폐색 기준에 기초하여 상기 폐색 조건을 충족시키지 않는 것으로 결정되는 후보 가설에 패널티 메트릭을 적용하는 동작을 포함하는 것인, 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
KR1020210191649A 2021-05-19 2021-12-29 종속 가능성 구조체로의 다중 타겟 추적 KR20220156736A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/324,960 2021-05-19
US17/324,960 US20220374734A1 (en) 2021-05-19 2021-05-19 Multi-target tracking with dependent likelihood structures

Publications (1)

Publication Number Publication Date
KR20220156736A true KR20220156736A (ko) 2022-11-28

Family

ID=79270345

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210191649A KR20220156736A (ko) 2021-05-19 2021-12-29 종속 가능성 구조체로의 다중 타겟 추적

Country Status (5)

Country Link
US (1) US20220374734A1 (ko)
KR (1) KR20220156736A (ko)
CN (1) CN115375728A (ko)
DE (1) DE102021132849A1 (ko)
GB (1) GB2606789A (ko)

Also Published As

Publication number Publication date
US20220374734A1 (en) 2022-11-24
CN115375728A (zh) 2022-11-22
GB2606789A (en) 2022-11-23
GB202117356D0 (en) 2022-01-12
DE102021132849A1 (de) 2022-11-24

Similar Documents

Publication Publication Date Title
KR102595886B1 (ko) 매핑에서의 향상된 시맨틱 라벨링을 위한 멀티 모달 분할 네트워크
KR20230039486A (ko) 환경 제한 및 센서 이상 시스템 및 방법
KR20230039485A (ko) 메트릭을 사용한 상황 평가를 이용한 작동 엔벨로프 검출
KR20230040239A (ko) 상황 콘텍스트 내에서의 부동성 검출
US11400958B1 (en) Learning to identify safety-critical scenarios for an autonomous vehicle
US20230159033A1 (en) High fidelity data-driven multi-modal simulation
KR20230040244A (ko) 상황 평가를 이용한 작동 엔벨로프 검출
KR20220156736A (ko) 종속 가능성 구조체로의 다중 타겟 추적
US11675362B1 (en) Methods and systems for agent prioritization
US12050468B2 (en) Methods and systems for agent prioritization
US20230373529A1 (en) Safety filter for machine learning planners
US20230298198A1 (en) Light-based object localization
US20240051581A1 (en) Determination of an action for an autonomous vehicle in the presence of intelligent agents
US20240127579A1 (en) Identifying new classes of objects in environments of vehicles
US20240123996A1 (en) Methods and systems for traffic light labelling via motion inference
US20230303124A1 (en) Predicting and controlling object crossings on vehicle routes
US20230150544A1 (en) Generating notifications indicative of unanticipated actions
US20240025452A1 (en) Corridor/homotopy scoring and validation
US20230159026A1 (en) Predicting Motion of Hypothetical Agents
US20230331256A1 (en) Discerning fault for rule violations of autonomous vehicles for data processing
US20230063368A1 (en) Selecting minimal risk maneuvers
WO2024086056A1 (en) Identifying new classes of objects in environments of vehicles
WO2024081593A1 (en) Methods and systems for traffic light labelling via motion inference
KR20230110145A (ko) 아이트래커 디바이스 및 라이다 포인트 클라이드 데이터를 사용하는 목표 결정
GB2621205A (en) Trajectory generation utilizing diverse trajectories