KR20210034096A - 자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응 - Google Patents

자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응 Download PDF

Info

Publication number
KR20210034096A
KR20210034096A KR1020217007955A KR20217007955A KR20210034096A KR 20210034096 A KR20210034096 A KR 20210034096A KR 1020217007955 A KR1020217007955 A KR 1020217007955A KR 20217007955 A KR20217007955 A KR 20217007955A KR 20210034096 A KR20210034096 A KR 20210034096A
Authority
KR
South Korea
Prior art keywords
objects
matrix
determining
involved
vehicle
Prior art date
Application number
KR1020217007955A
Other languages
English (en)
Other versions
KR102534960B1 (ko
Inventor
데이비드 해리슨 실버
치츠 양
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20210034096A publication Critical patent/KR20210034096A/ko
Application granted granted Critical
Publication of KR102534960B1 publication Critical patent/KR102534960B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 기술은 행렬들을 검출하고 이에 대응하는 것에 관한 것이다. 예를 들어, 차량(100)의 환경 내에서 둘 이상의 객체를 식별하는 센서 데이터가 수신될 수 있다. 둘 이상의 객체는 미리 결정된 규칙을 동일한 방식으로 위반하고 있는 것으로 결정될 수 있다. 둘 이상의 객체가 미리 결정된 규칙을 위반하고 있다는 결정에 기초하여, 둘 이상의 객체가 행렬에 연루되어 있다고 결정될 수 있다. 다음으로, 차량은 둘 이상의 객체가 행렬에 연루되어 있다는 결정에 기초하여 행렬에 대응하기 위해 자율적으로 제어될 수 있다.

Description

자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응
관련 출원들에 대한 상호 참조
본 출원은 2018년 8월 20일자로 출원된 출원 번호 제16/105,233호의 혜택을 주장하며, 그것의 개시내용은 본 명세서에 참조로서 포함된다.
인간 운전자를 필요로 하지 않는 차량들과 같은 자율주행 차량들은 승객들 또는 물품들을 하나의 위치로부터 다른 위치로 수송하는 데 도움을 주기 위해 사용될 수 있다. 이러한 차량들은 승객들이 픽업 또는 목적지 위치와 같은 소정의 초기 입력을 제공하고 차량이 스스로 그 위치까지 조종할 수 있는 완전 자율주행 모드로 동작할 수 있다.
자율주행 차량 또는 자율주행 모드로 동작하는 차량의 강건한 동작은 차량이 행렬(procession)을 만날 때와 같은 예기치 않은 상황들에 대한 적절한 대응을 필요로 한다. 행렬들은 퍼레이드, 행진, 장례 행렬, 모터케이드 등에서와 같이 함께 이동하는 차량들 또는 사람들의 그룹들을 포함할 수 있다. 이것들이 드문 상황들이긴 하지만, 이들은 합법적으로 또는 배려의 측면에서, 전형적으로 완전히 상이한 교통 규칙들을 야기한다. 그러므로, 그러한 행렬들을 검출하고 그에 대응할 수 있는 능력은 안전하고 효과적인 자율주행을 보장하는 데 특히 중요할 수 있다.
본 개시내용의 양태들은 행렬들을 검출하고 그에 대응하는 방법을 제공한다. 방법은 하나 이상의 프로세서에 의해, 차량의 환경에서 둘 이상의 객체를 식별하는 센서 데이터를 수신하는 단계; 하나 이상의 프로세서에 의해, 둘 이상의 객체가 미리 결정된 규칙을 동일한 방식으로 위반하고 있다고 결정하는 단계; 둘 이상의 객체가 미리 결정된 규칙을 위반하고 있다는 결정에 기초하여, 하나 이상의 프로세서에 의해, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계; 및 둘 이상의 객체가 행렬에 연루되어 있다는 결정에 기초하여, 하나 이상의 프로세서에 의해, 행렬에 대응하기 위해 차량을 자율적으로 제어하는 단계를 포함한다.
일례에서, 미리 결정된 규칙은 둘 이상의 객체가 위반하고 있는 교통 우선순위를 정의한다. 다른 예에서, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 미리 결정된 규칙을 위반하고 있는 것으로 결정된 객체들의 임계 최소 수에 기초한다. 이 예에서, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 적어도 임계 최소 기간 동안 미리 결정된 규칙을 위반하고 있는 객체들의 임계 최소 수에 기초한다. 다른 예에서, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 적어도 임계 최소 기간 동안 미리 결정된 규칙을 위반하고 있는 것으로 결정되는 객체들에 기초한다. 다른 예에서, 방법은 또한 행렬이 모터케이드 또는 장례 행렬이라고 결정하는 단계를 포함한다. 다른 예에서, 방법은 또한 행렬이 퍼레이드 또는 행진이라고 결정하는 단계를 포함한다. 다른 예에서, 미리 결정된 규칙은 적색 교통 신호등 신호에 대해 정지하는 것 또는 정지 표시를 무시하고 진행하는 것 중 하나를 포함한다. 다른 예에서, 하나 이상의 프로세서에 의해, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는, 각각 미리 결정된 규칙을 위반하고 있는 추가 객체들의 수에 더 기초한다. 다른 예에서, 하나 이상의 프로세서에 의해, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는, 추가 객체들이 또한 미리 결정된 규칙을 위반하는 시간의 양에 더 기초한다. 다른 예에서, 방법은 또한 센서 데이터로부터 긴급 차량을 식별하는 단계를 포함하고, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 긴급 차량에 더 기초한다. 이 예에서, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 둘 이상의 객체에 대한 긴급 차량의 위치에 더 기초한다. 이 예에서, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 긴급 차량이 교차로에서 정지되는지에 더 기초한다. 다른 예에서, 방법은 또한 센서 데이터로부터 교통을 유도하는 보행자를 식별하는 단계를 더 포함하고, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 식별된, 교통을 유도하는 보행자에 더 기초한다.
다른 예에서, 방법은 또한 센서 데이터로부터 깃발, 표지판 또는 배너를 들고 있는 보행자를 식별하는 단계를 포함하고, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 식별된, 깃발, 표지판 또는 배너를 들고 있는 보행자에 더 기초한다. 다른 예에서, 방법은 또한 둘 이상의 객체 중 적어도 하나가 깃발 또는 배지를 갖는 것을 식별하는 단계를 포함하고, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 둘 이상의 객체 중 적어도 하나가 깃발 또는 배지를 갖는다는 식별에 더 기초한다. 다른 예에서, 방법은 또한 둘 이상의 객체 중 2개의 객체 사이의 추가 객체가 미리 결정된 규칙을 위반하고 있지 않다고 결정하는 단계를 포함하고, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 둘 이상의 객체 중 2개의 객체 사이의 추가 객체가 미리 결정된 규칙을 위반하고 있지 않다는 결정에 더 기초한다. 다른 예에서, 방법은 미리 결정된 규칙을 동일한 방식으로 위반하고 있는 둘 이상의 객체 중 2개의 객체 사이의 시간 간격을 결정하는 단계를 포함하고, 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 시간 간격에 더 기초한다. 다른 예에서, 방법은 또한 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계가 행렬들에 대한 현지 규정들에 더 기초하는 것을 포함한다. 다른 예에서, 방법은 또한 차량을 제어하는 단계가 그룹으로서 행렬에 연루된 둘 이상의 객체에게 양보(yielding)하는 단계를 포함하는 것을 포함한다.
도 1은 본 개시내용의 양태들에 따른 예시적인 차량의 기능적 다이어그램이다.
도 2는 본 개시내용의 양태들에 따른 상세한 지도 정보의 예시적인 표현이다.
도 3은 본 개시내용의 양태들에 따른 차량의 예시적인 외부도이다.
도 4는 본 개시내용의 양태들에 따른 예시적인 시스템의 도식적 다이어그램이다.
도 5는 본 개시내용의 양태들에 따른 도 4의 시스템의 기능적 다이어그램이다.
도 6은 본 개시내용의 양태들에 따른 도로의 섹션의 도면이다.
도 7은 본 개시내용의 양태들에 따른 도로 및 센서 데이터의 섹션의 도면이다.
도 8은 본 개시내용의 양태들에 따른 도로 및 센서 데이터의 섹션의 다른 도면이다.
도 9는 본 개시내용의 양태들에 따른 흐름도이다.
개요
본 기술은 완전 자율주행 차량들, 또는 자율주행 모드에서 동작하는 차량들을 위해, 행렬들을 검출하고 그에 대응하는 것에 관한 것이다. 행렬들은 퍼레이드, 행진, 장례 행렬, 모터케이드 등에서와 같이 함께 이동하는 차량들 또는 사람들의 그룹들을 포함할 수 있다. 이것들이 드문 상황들이긴 하지만, 이들은 합법적으로 또는 배려의 측면에서, 전형적으로 완전히 상이한 교통 규칙들을 야기한다. 그러므로, 그러한 행렬들을 검출하고 그에 대응할 수 있는 능력은 안전하고 효과적인 자율주행을 보장하는 데 특히 중요할 수 있다.
차량의 인식 시스템은 차량 주위의 객체들을 검출하고 식별하기 위해 다양한 센서들을 사용할 수 있다. 이 정보는 이 정보, 지도 데이터는 물론, 다양한 상황들에 대응하기 위한 규칙들의 조합에 기초하여 차량을 조종하는 방법을 결정하기 위해 사용될 수 있다.
행렬을 검출하기 위해, 인식 시스템으로부터의 센서 데이터는 임의의 검출된 객체들이 규칙들 중 하나를 위반하고 있는지를 결정하기 위해 분석될 수 있다. 이 정보를 사용하여, 객체가 행렬에 연루되어 있는지를 검출하기 위해 행렬 검출기가 사용될 수 있다. 하나의 경우에서, 검출기는 하나 이상의 임계가 충족되는지에 기초하여 행렬이 존재하는지를 결정할 수 있다. 다른 경우들에서, 객체들이 행렬에 연루되는지 여부는 더 미묘한 차이를 가질 수 있다. 예를 들어, 각각의 추가 객체가 동일한 규칙을 동일한 방식으로 위반하고 있으면, 객체들이 행렬에 연루되어 있을 가능성이 증가될 수 있다. 추가적으로 또는 대안적으로, 객체들이 동일한 규칙을 동일한 방식으로 계속해서 위반하는 각각의 1초 또는 대략 그 정도의 추가 때마다 또한 객체들이 행렬에 연루되어 있을 가능성을 증가시킬 수 있다.
다른 신호들은 행렬의 가능성을 더 증가 또는 감소시킬 수 있다. 예를 들어, 객체를 식별하는 것과 같은 시각적 신호들은 행렬의 가능성을 또한 증가시킬 수 있다. 동일한 규칙을 동일한 방식으로 위반하고 있는 것으로 보이지 않는 객체들이 존재하는 경우, 이것은 행렬의 가능성을 감소시키거나 그에 영향을 미치지 않을 수 있다. 마찬가지로, 객체들이 규칙을 준수하고 있는 시간 간격이 존재하는 경우, 이는 행렬의 가능성을 감소시킬 수 있다. 일부 경우들에서, 검출기에 의해 현지 규정들이 고려될 수 있다.
가능성이 특정 임계를 충족시키고 나면, 검출기는 행렬이 존재한다고 결정할 수 있다. 검출기가 행렬이 존재한다고 결정하고 나면, 이 정보는 차량의 플래너에게 송신될 수 있고, 행렬에 어떻게 대응할지, 및 그에 따라 차량을 어떻게 제어할지를 결정하기 위해 사용될 수 있다.
본 명세서에서 설명되는 특징들은 행렬을 검출하고 그에 대응하는 유용한 방식을 제공할 수 있다. 그렇게 함으로써, 차량은 행렬에 대응할 수 있는데, 예를 들면 적절하게 양보할 수 있다. 이는 차량이 부적절하게 공격적이거나 독단적으로 되지 못하게 하는 것은 물론, 행렬들에 적절하게 대응하지 않는 것에 의한 불편한 교통 정체를 방지할 수 있다.
예시적인 시스템들
도 1에 도시된 바와 같이, 본 개시내용의 일 양태에 따른 차량(100)은 다양한 컴포넌트들을 포함한다. 본 개시내용의 특정 양태들은 특정 유형들의 차량들과 관련하여 특히 유용하지만, 차량은 자동차, 트럭, 오토바이, 버스, 레저용 차량 등을 포함하지만 이에 제한되지 않는 임의의 유형의 차량일 수 있다. 차량은 하나 이상의 프로세서(120), 메모리(130), 및 범용 컴퓨팅 디바이스들 내에 전형적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스들(110)과 같은 하나 이상의 컴퓨팅 디바이스를 가질 수 있다.
메모리(130)는 프로세서(120)에 의해 실행되거나 다른 방식으로 사용될 수 있는 명령어들(132) 및 데이터(134)를 포함하여, 하나 이상의 프로세서(120)에 의해 액세스가능한 정보를 저장한다. 메모리(130)는 하드 드라이브, 메모리 카드, ROM, RAM, DVD 또는 다른 광학 디스크는 물론, 다른 기입가능 또는 판독 전용 메모리들과 같이, 컴퓨팅 디바이스-판독가능한 매체, 또는 전자 디바이스의 도움으로 판독될 수 있는 데이터를 저장하는 다른 매체를 포함하여, 프로세서에 의해 액세스가능한 정보를 저장할 수 있는 임의의 유형일 수 있다. 시스템들 및 방법들은 전술한 것의 상이한 조합들을 포함할 수 있으며, 이에 의해, 명령어들 및 데이터의 상이한 부분들이 상이한 유형들의 매체에 저장된다.
명령어들(132)은 프로세서에 의해 직접적으로(예를 들어, 머신 코드) 또는 간접적으로(예를 들어, 스크립트) 실행될 명령어들의 임의의 세트일 수 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스-판독가능한 매체에 컴퓨팅 디바이스 코드로서 저장될 수 있다. 이와 관련하여, 용어 "명령어들" 및 "프로그램들"은 본 명세서에서 상호교환적으로 사용될 수 있다. 명령어들은 프로세서에 의한 직접 처리를 위해 객체 코드 형식으로 저장되거나, 요청시 해석되거나 미리 컴파일되는 독립 소스 코드 모듈들의 모음들 또는 스크립트들을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 이하에서는, 명령어들의 기능들, 방법들 및 루틴들이 더 상세하게 설명된다.
데이터(134)는 명령어들(132)에 따라 프로세서(120)에 의해 검색, 저장 또는 수정될 수 있다. 하나 이상의 프로세서(120)는 상업적으로 입수가능한 CPU와 같은 임의의 종래의 프로세서일 수 있다. 대안적으로, 하나 이상의 프로세서는 ASIC 또는 다른 하드웨어 기반 프로세서와 같은 전용 디바이스일 수 있다. 도 1은 기능적으로, 컴퓨팅 디바이스들(110)의 프로세서, 메모리 및 다른 요소들을 동일한 블록 내에 있는 것으로서 도시하지만, 본 기술분야의 통상의 기술자는 프로세서, 컴퓨팅 디바이스들, 또는 메모리가 실제로 동일한 물리적 하우징 내에 보관되거나 보관되지 않을 수 있는 복수의 프로세서, 컴퓨팅 디바이스, 및 메모리를 포함할 수 있음을 이해할 것이다. 예로서, 내부 전자 디스플레이(152)는 고 대역폭 또는 다른 네트워크 연결을 통해 컴퓨팅 디바이스들(110)과 인터페이스할 수 있는 자체 프로세서 또는 중앙 처리 장치(CPU), 메모리 등을 갖는 전용 컴퓨팅 디바이스들에 의해 제어될 수 있다. 일부 예들에서, 이러한 컴퓨팅 디바이스들은 사용자의 클라이언트 디바이스와 통신할 수 있는 사용자 인터페이스 컴퓨팅 디바이스들일 수 있다. 마찬가지로, 메모리는 컴퓨팅 디바이스들(110)의 하우징과는 다른 하우징 내에 위치된 하드 드라이브 또는 다른 저장 매체일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스들에 대한 언급은 병렬로 동작하거나 동작하지 않을 수 있는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 모음에 대한 언급을 포함하는 것으로 이해될 것이다.
컴퓨팅 디바이스들(110)은 위에서 설명된 프로세서 및 메모리는 물론, 사용자 입력부(150)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰), 및 다양한 전자 디스플레이들(예를 들어, 화면을 갖는 모니터, 또는 정보를 디스플레이하도록 동작할 수 있는 임의의 다른 전기 디바이스)과 같은 컴퓨팅 디바이스들에 관련하여 통상적으로 사용되는 모든 컴포넌트를 포함할 수 있다. 이 예에서, 차량은 정보 또는 시청각 경험들을 제공하기 위해, 내부 전자 디스플레이(152)는 물론 하나 이상의 스피커(154)를 포함한다. 이와 관련하여, 내부 전자 디스플레이(152)는 차량(100)의 캐빈 내에 위치될 수 있고, 차량(100) 내의 승객들에게 정보를 제공하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다. 내부 스피커들에 추가하여, 하나 이상의 스피커(154)는 차량(100) 외부의 객체들에 가청 알림들을 제공하기 위해 차량 상의 다양한 위치들에 배열되는 외부 스피커들을 포함할 수 있다.
일례에서, 컴퓨팅 디바이스들(110)은 차량(100)에 포함되는 자율주행 컴퓨팅 시스템일 수 있다. 자율주행 컴퓨팅 시스템은 차량의 다양한 컴포넌트들과 통신할 수 있다. 예를 들어, 도 1로 돌아가면, 컴퓨팅 디바이스들(110)은 차량의 승객으로부터의 연속적 또는 주기적 입력을 요구 또는 필요로 하지 않는 자율주행 모드에서 메모리(130)의 명령어들(132)에 따라 차량(100)의 이동, 속도 등을 제어하기 위해, (차량의 제동을 제어하기 위한) 감속 시스템(160), (차량의 가속을 제어하기 위한) 가속 시스템(162), (바퀴들의 배향 및 차량의 방향을 제어하기 위한) 조향 시스템(164), (회전 신호들을 제어하기 위한) 시그널링 시스템(166), (차량을 하나의 위치 또는 객체들의 주변으로 운행시키기 위한) 라우팅 시스템(168), (차량의 위치를 결정하기 위한) 위치결정 시스템(170), (차량의 외부 환경에서 객체들을 검출하기 위한) 인식 시스템(172), 및 전력 시스템(174)(예를 들어, 배터리 및/또는 가스 또는 디젤 구동 엔진)과 같은 차량(100)의 다양한 시스템들과 통신할 수 있다. 다시, 이러한 시스템들은 컴퓨팅 디바이스들(110)의 외부에 있는 것으로서 도시되어 있지만, 실제로, 이러한 시스템들은 역시 차량(100)을 제어하기 위한 자율주행 컴퓨팅 시스템으로서 컴퓨팅 디바이스(110)에 또한 포함될 수 있다.
컴퓨팅 디바이스들(110)은 다양한 컴포넌트들을 제어함으로써 차량의 방향 및 속도를 제어할 수 있다. 예를 들어, 컴퓨팅 디바이스들(110)은 지도 정보 및 라우팅 시스템(168)으로부터의 데이터를 사용하여 완전히 자율적으로 차량을 목적지 위치까지 운행시킬 수 있다. 컴퓨팅 디바이스들(110)은 위치결정 시스템(170)을 사용하여 차량의 위치를 결정하고, 인식 시스템(172)을 사용하여 객체들을 검출하고, 위치에 안전하게 도달하는 데에 필요할 때 그 객체들에 대응한다. 그렇게 하기 위해, 컴퓨팅 디바이스들(110)은 차량이 (예를 들어, 가속 시스템(162)에 의해 엔진에 제공되는 연료 또는 다른 에너지를 증가시킴으로써) 가속되게 하고, (예를 들어, 엔진에 공급되는 연료를 감소시키고, 기어를 변경하고, 및/또는 감속 시스템(160)에 의해 브레이크를 적용함으로써) 감속되게 하고, (예를 들어, 조향 시스템(164)에 의해 차량(100)의 전륜 또는 후륜을 회전시킴으로써) 방향을 변경하게 하고, (예를 들어, 시그널링 시스템(166)의 회전 신호들을 점등함으로써) 그러한 변경들을 시그널링하게 할 수 있다. 따라서, 가속 시스템(162) 및 감속 시스템(160)은 차량의 엔진과 차량의 바퀴들 사이에 다양한 컴포넌트들을 포함하는 동력 전달 계통의 일부일 수 있다. 다시, 이러한 시스템들을 제어함으로써, 컴퓨팅 디바이스들(110)은 또한 차량을 자율적으로 조종하기 위해 차량의 동력 전달 계통을 제어할 수 있다.
예를 들어, 컴퓨팅 디바이스들(110)은 차량의 속도를 제어하기 위해 감속 시스템(160) 및 가속 시스템(162)과 상호작용할 수 있다. 마찬가지로, 조향 시스템(164)은 차량(100)의 방향을 제어하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다. 예를 들어, 차량(100)이 자동차 또는 트럭과 같이 도로에서 사용되도록 구성되는 경우, 조향 시스템은 차량을 회전시키기 위해 바퀴들의 각도를 제어하기 위한 컴포넌트들을 포함할 수 있다. 시그널링 시스템(166)은 예를 들어 필요할 때 회전 신호들 또는 브레이크 등을 점등시킴으로써 다른 운전자들 또는 차량들에 차량의 의도를 시그널링하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다.
라우팅 시스템(168)은 위치까지의 루트를 결정하고 따르기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다. 이와 관련하여, 라우팅 시스템(168) 및/또는 데이터(134)는 상세한 지도 정보, 예를 들어 도로의 형상 및 높이, 차선 경계선, 교차로, 횡단 보도, 속도 제한, 교통 신호등 신호, 건물, 표지판, 실시간 교통 정보, 초목, 또는 다른 그러한 객체들 및 정보를 식별하는 매우 상세한 지도를 저장할 수 있다. 즉, 이러한 상세한 지도 정보는 도로를 포함하는 차량의 예상 환경의 기하형상은 물론, 그러한 도로들에 대한 속도 제한(법적 속도 제한)을 정의할 수 있다.
도 2는 교차로들(202 및 204)을 포함하는 도로의 섹션에 대한 지도 정보(200)의 예이다. 이 예에서, 지도 정보(200)는 차선 경계선(210, 212, 214)의 형상, 위치 및 다른 특성들, 교통 신호등 신호 조명들(220, 222), 횡단 보도(230), 보도(240), 정지 표시(250, 252), 및 양보 표시(260)를 식별하는 정보를 포함한다. 차량이 주행할 수 있는 영역들은, 지도 정보 내의 다양한 위치들에서 차량이 일반적으로 이동해야 하는 위치 및 방향을 나타내는 하나 이상의 레일(270, 272 및 274)에 연관될 수 있다. 예를 들어, 차량은 차선 경계선들(210 및 212) 사이의 차선에서 주행할 때 레일(270)을 따라갈 수 있고, 교차로(204)에서 우회전하기 위해 레일(272)로 전환할 수 있다. 그 후, 차량은 레일(274)을 따라갈 수 있다. 물론, 간단하고 이해하기 쉽도록, 주어진 레일들의 수와 특성에 대해, 지도 정보(200)에는 단지 몇 개만이 도시된다.
여기서는 상세한 지도 정보가 이미지 기반 지도로서 도시되었지만, 지도 정보는 전적으로 이미지 기반일 필요는 없다(예를 들어, 래스터). 예를 들어, 상세한 지도 정보는 도로, 차선, 교차로, 및 이러한 피쳐들 간의 연결과 같은 정보의 하나 이상의 로드그래프 또는 그래프 네트워크를 포함할 수 있다. 각각의 피쳐는 그래프 데이터로서 저장될 수 있으며, 지리적 위치, 및 다른 관련 피쳐들에 연계되는지 여부와 같은 정보에 연관될 수 있는데, 예를 들어 정지 신호는 도로 및 교차로에 연계될 수 있는 등이다. 일부 예들에서, 연관된 데이터는 특정 로드그래프 피쳐들의 효율적인 검색을 허용하기 위해 로드그래프의 그리드 기반 인덱스들을 포함할 수 있다.
인식 시스템(172)은 또한 다른 차량, 도로 내의 장애물, 교통 신호등 신호, 표지판, 나무 등과 같은 차량 외부 객체들을 검출하기 위한 하나 이상의 컴포넌트를 포함한다. 예를 들어, 인식 시스템(172)은 하나 이상의 LIDAR 센서, 수중 음파검출 디바이스, 레이더 유닛, 카메라, 및/또는 컴퓨팅 디바이스들(110)에 의해 처리될 수 있는 센서 데이터를 기록하는 임의의 다른 검출 디바이스를 포함할 수 있다. 인식 시스템의 센서들은 객체들, 및 위치, 배향, 크기, 형상, 유형(예를 들어, 차량, 사람 또는 보행자, 자전거 타는 사람 등), 방향, 및 이동 속도 등과 같은 그들의 특성들을 검출할 수 있다. 센서들로부터의 원시 데이터 및/또는 앞서 언급된 특성들은 설명 함수, 벡터 및/또는 바운딩 박스로 정량화 또는 배열될 수 있고, 추가 처리를 위한 센서 데이터로서, 인식 시스템(172)에 의해 생성됨에 따라 연속적으로 그리고 주기적으로 컴퓨팅 디바이스들(110)에 송신될 수 있다. 아래에서 더 상세하게 논의되는 바와 같이, 컴퓨팅 디바이스들(110)은 위치결정 시스템(170)을 사용하여 차량의 위치를 결정하고, 인식 시스템(172)을 사용하여 객체들을 검출하고, 위치에 안전하게 도달하는 데에 필요할 때 그 객체들에 대응할 수 있다.
예를 들면, 도 3은 차량(100)의 예시적인 외부 도면이다. 본 예에서, 루프탑 하우징(310) 및 돔 하우징(312)은 LIDAR 센서는 물론, 다양한 카메라들 및 레이더 유닛들을 포함할 수 있다. 추가로, 차량(100)의 전단에 위치되는 하우징(320), 및 차량의 운전석 및 조수석 측의 하우징들(330, 332)은 각각 LIDAR 센서를 보관할 수 있다. 예를 들어, 하우징(330)은 운전자 도어(360)의 앞에 위치된다. 차량(100)은 또한 차량(100)의 지붕에 또한 위치되는 레이더 유닛들 및/또는 카메라들을 위한 하우징들(340, 342)을 포함한다. 추가 레이더 유닛들 및 카메라들(도시되지 않음)은 차량(100)의 전단 및 후단에, 및/또는 루프 또는 루프탑 하우징(310)을 따르는 다른 위치들에 위치될 수 있다.
메모리(130)는 또한 컴퓨팅 디바이스들(110)이 차량의 환경 내에서 및/또는 상이한 상황들에서 객체들에 어떻게 대응할지를 결정하기 위해 사용할 수 있는 미리 결정된 규칙들을 저장할 수 있다. 규칙들은 휴리스틱스, 의사결정 트리들, 또는 다른 모델들로서 구성될 수 있지만, 특정 상황들에서 교통 우선순위를 정의할 수 있다. 예를 들어, 보행자가 횡단 보도에 있는 경우, 규칙은 차량이 보행자에게 양보해야 함을 요구할 수 있고, 또는 교차로의 특정 차선에 연관된 교통 신호등 신호가 적색이고 차량이 해당 차선에 있는 경우, 차량은 교차로를 통과하기 전에 정지해야 한다. 이러한 규칙들은 메모리(130)에 저장될 수 있고/있거나 지도 정보에 부분적으로 포함될 수 있다. 예를 들어, 정지 표시들(250, 252) 각각은 정지 신호가 준수되어야 하는 차선 또는 차선들을 나타내는 하나 이상의 규칙에 연관될 수 있고, 정지 신호를 준수한다는 것은 소정의 위치(예를 들어, 교차로(204))의 특정 거리 내에서의 정지, 교차로(204)에서 정지하는 도로 사용자들(차량들, 자전거 타는 사람들, 오토바이 운전자들 등)의 우선순위, 및 차량을 정지시킬 위치를 의미한다. 다른 예로서, 교통 신호등 신호 조명들(220, 222) 각각은 해당 교통 신호등 신호 조명에 의해 어느 차선이 제어되는지를 나타내는 규칙에 연관될 수 있다.
이러한 결정들에 기초하여, 컴퓨팅 디바이스들(110)은 다양한 컴포넌트들을 제어함으로써 차량의 방향 및 속도를 제어할 수 있다. 예를 들어, 컴퓨팅 디바이스들(110)은 상세한 지도 정보 및 라우팅 시스템(168)으로부터의 데이터를 사용하여 차량을 완전히 자율적으로 목적지 위치까지 운행시킬 수 있다. 컴퓨팅 디바이스들(110)은 위치결정 시스템(170)을 사용하여 차량의 위치를 결정하고, 인식 시스템(172)을 사용하여 객체들을 검출하고, 위치에 안전하게 도달하는 데에 필요할 때 그 객체들에 대응한다. 그렇게 하기 위해, 컴퓨팅 디바이스들(110)은 차량이 (예를 들어, 가속 시스템(162)에 의해 엔진에 제공되는 연료 또는 다른 에너지를 증가시킴으로써) 가속되게 하고, (예를 들어, 엔진에 공급되는 연료를 감소시키고, 기어를 변경하고, 및/또는 감속 시스템(160)에 의해 브레이크를 적용함으로써) 감속되게 하고, (예를 들어, 조향 시스템(164)에 의해 차량(100)의 전륜 또는 후륜을 회전시킴으로써) 방향을 변경하게 하고, (예를 들어, 시그널링 시스템(166)의 회전 신호들을 점등함으로써) 그러한 변경들을 시그널링하게 할 수 있다. 따라서, 가속 시스템(162) 및 감속 시스템(160)은 차량의 엔진과 차량의 바퀴들 사이에 다양한 컴포넌트들을 포함하는 동력 전달 계통의 일부일 수 있다. 다시, 이러한 시스템들을 제어함으로써, 컴퓨팅 디바이스들(110)은 또한 차량을 자율적으로 조종하기 위해 차량의 동력 전달 계통을 제어할 수 있다.
차량(100)의 컴퓨팅 디바이스들(110)은 수송 서비스의 일부인 컴퓨팅 디바이스들은 물론, 그러한 컴퓨팅 디바이스들과 같은 다른 컴퓨팅 디바이스들로부터 정보를 수신하거나 그들에 정보를 전달할 수 있다. 도 4 및 도 5는 각각 네트워크(460)를 통해 연결된 복수의 컴퓨팅 디바이스(410, 420, 430, 440) 및 저장 시스템(450)을 포함하는 예시적인 시스템(400)의 도식적 및 기능적 다이어그램이다. 시스템(400)은 또한 차량(100), 및 차량(100)과 동일하거나 유사하게 구성될 수 있는 차량들(100A, 100B)을 또한 포함한다. 단순함을 위해 단지 몇 개의 차량 및 컴퓨팅 디바이스만이 도시되어 있지만, 전형적인 시스템은 훨씬 더 많이 포함할 수 있다.
도 4에 도시된 바와 같이, 컴퓨팅 디바이스들(410, 420, 430, 440) 각각은 하나 이상의 프로세서, 메모리, 데이터 및 명령어를 포함할 수 있다. 이러한 프로세서, 메모리, 데이터 및 명령어는 컴퓨팅 디바이스들(110)의 하나 이상의 프로세서(120), 메모리(130), 데이터(134) 및 명령어(132)와 유사하게 구성될 수 있다.
네트워크(460) 및 중간 노드들은 단거리 통신 프로토콜들, 예컨대 블루투스, 블루투스 LE, 인터넷, 월드 와이드 웹, 인트라넷, 가상 사설 네트워크, 광역 네트워크, 로컬 네트워크, 하나 이상의 회사에 독점적인 통신 프로토콜들을 사용하는 사설 네트워크, 이더넷, WiFi 및 HTTP, 및 이들의 다양한 조합들을 포함하는 다양한 구성 및 프로토콜을 포함할 수 있다. 이러한 통신은 모뎀들 및 무선 인터페이스들과 같이, 다른 컴퓨팅 디바이스들에 데이터를 전송하고 그로부터 데이터를 수신할 수 있는 임의의 디바이스에 의해 용이해질 수 있다.
일례에서, 하나 이상의 컴퓨팅 디바이스(410)는 다른 컴퓨팅 디바이스들에 및 다른 컴퓨팅 디바이스들로부터 데이터를 수신, 처리 및 전송할 목적으로 네트워크의 상이한 노드들과 정보를 교환하는 복수의 컴퓨팅 디바이스를 갖는 하나 이상의 서버 컴퓨팅 디바이스, 예를 들어 로드 밸런스 서버 팜을 포함할 수 있다. 예를 들어, 하나 이상의 컴퓨팅 디바이스(410)는 네트워크(460)를 통해 차량(100)의 컴퓨팅 디바이스들(110), 또는 차량(100A)의 유사한 컴퓨팅 디바이스들은 물론, 컴퓨팅 디바이스들(420, 430, 440)과 통신할 수 있는 하나 이상의 서버 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 차량들(100, 100A)은 서버 컴퓨팅 디바이스들에 의해 다양한 위치들로 보내질 수 있는 차량 무리의 일부일 수 있다. 이와 관련하여, 서버 컴퓨팅 디바이스들(410)은 차량(100) 및 차량(100A)과 같은 차량들이 자율주행 모드로 동작하기 위해 사용할 수 있는 자율주행 제어 소프트웨어를 검증하는 데 사용될 수 있는 검증 컴퓨팅 시스템으로서 기능할 수 있다. 추가로, 서버 컴퓨팅 디바이스들(410)은 컴퓨팅 디바이스들(420, 430, 440)의 디스플레이들(424, 434, 444)과 같은 디스플레이 상에서 사용자(422, 432, 442)와 같은 사용자에게 정보를 전송 및 제시하기 위해 네트워크(460)를 사용할 수 있다. 이와 관련하여, 컴퓨팅 디바이스들(420, 430, 440)은 클라이언트 컴퓨팅 디바이스들로 고려될 수 있다.
도 4에 도시된 바와 같이, 각각의 클라이언트 컴퓨팅 디바이스들(420, 430, 440)은 사용자(422, 432, 442)에 의해 사용되도록 의도된 개인용 컴퓨팅 디바이스들일 수 있으며, 하나 이상의 프로세서(예를 들어, 중앙 처리 장치(CPU)), 데이터 및 명령어들을 저장하는 메모리(예를 들어, RAM 및 내부 하드 드라이브들), 디스플레이들(424, 434, 444)과 같은 디스플레이(예를 들어, 스크린을 갖는 모니터, 터치스크린, 프로젝터, 텔레비전, 또는 정보를 디스플레이하도록 동작할 수 있는 다른 디바이스), 및 사용자 입력 디바이스들(426, 436, 446)(예를 들어, 마우스, 키보드, 터치스크린 또는 마이크로폰)을 포함하여, 개인용 컴퓨팅 디바이스들과 관련하여 일반적으로 사용되는 컴포넌트들 전부를 가질 수 있다. 클라이언트 컴퓨팅 디바이스들은 비디오 스트림들을 기록하기 위한 카메라, 스피커들, 네트워크 인터페이스 디바이스, 및 이러한 요소들을 서로 연결하는 데 사용되는 컴포넌트들 전부를 또한 포함할 수 있다.
클라이언트 컴퓨팅 디바이스들(420, 430 및 440)은 풀-사이즈의 개인용 컴퓨팅 디바이스들을 각각 포함할 수 있지만, 그들은 대안적으로 인터넷과 같은 네트워크를 통해 무선으로 서버와 데이터를 교환할 수 있는 모바일 컴퓨팅 디바이스들을 포함할 수 있다. 오직 예로서, 클라이언트 컴퓨팅 디바이스들(420)은 이동 전화, 또는 무선 지원 PDA, 태블릿 PC, 웨어러블 컴퓨팅 디바이스들 또는 시스템, 또는 인터넷 또는 다른 네트워크들을 통해 정보를 획득할 수 있는 넷북과 같은 디바이스일 수 있다. 다른 예에서, 클라이언트 컴퓨팅 디바이스들(430)은 도 4에 도시된 바와 같이 손목시계로서 도시된 웨어러블 컴퓨팅 시스템일 수 있다. 예로서, 사용자는 작은 키보드, 키패드, 마이크를 사용하여, 카메라와 함께 시각적 신호를 사용하여, 또는 터치 스크린을 사용하여 정보를 입력할 수 있다.
일부 예들에서, 이하에 더 논의되는 바와 같이, 클라이언트 컴퓨팅 디바이스들(440)은 시나리오 결과들, 핸드오버 시간들, 및 검증 정보를 검토하기 위해 관리자 또는 운영자에 의해 사용되는 운영 워크스테이션일 수 있다. 도 4 및 도 5에는 단일 운영 워크스테이션(440)만이 도시되어 있지만, 임의의 개수의 그러한 워크스테이션이 전형적인 시스템들에 포함될 수 있다. 또한, 운영 워크스테이션은 데스크톱 컴퓨터로서 도시되지만, 운영 작동 워크스테이션들은 랩톱, 넷북, 태블릿 컴퓨터 등과 같은 다양한 유형의 개인용 컴퓨팅 디바이스들을 포함할 수 있다.
메모리(130)와 마찬가지로, 저장 시스템(450)은 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 기입 가능 및 판독 전용 메모리와 같이, 서버 컴퓨팅 디바이스들(410)에 의해 액세스가능한 정보를 저장할 수 있는 임의의 유형의 컴퓨터화된 저장소일 수 있다. 추가로, 저장 시스템(450)은 동일하거나 상이한 지리적 위치들에 물리적으로 위치될 수 있는 복수의 상이한 저장 디바이스에 데이터가 저장되는 분산 저장 시스템을 포함할 수 있다. 저장 시스템(450)은 도 4 및 도 5에 도시된 바와 같이 네트워크(460)를 통해 컴퓨팅 디바이스들에 연결될 수 있고/있거나 컴퓨팅 디바이스들(110, 410, 420, 430, 440 등) 중 임의의 것에 직접 연결되거나 포함될 수 있다.
이하에 더 상세하게 설명되는 바와 같이, 저장 시스템(450)은 다양한 유형들의 정보를 저장할 수 있다. 이 정보는 여기에 설명된 특징들의 일부 또는 전부를 수행하기 위해 하나 이상의 서버 컴퓨팅 디바이스(410)와 같은 서버 컴퓨팅 디바이스에 의해 검색되거나 다르게 액세스될 수 있다.
예시적인 방법들
위에서 설명되고 도면들에 도시된 동작들에 추가하여, 다양한 동작들이 이하에 설명될 것이다. 이하의 동작들은 이하에 설명되는 정확한 순서로 수행되어야 하는 것은 아님을 이해해야 한다. 오히려, 다양한 단계들은 상이한 순서로 또는 동시에 처리될 수 있으며, 단계들이 또한 추가되거나 생략될 수 있다.
컴퓨팅 디바이스들(110)은 예를 들어 화물 및/또는 하나 이상의 승객을 수송하기 위해, 차량(100)을 목적지 위치까지 조종할 수 있다. 이와 관련하여, 컴퓨팅 디바이스들(110)은 목적지 위치까지의 루트를 따라 차량을 자율적으로 제어하기 위해 필요한 시스템들을 개시할 수 있다. 예를 들어, 라우팅 시스템(168)은 지도 정보(200)의 연결된 레일들의 세트를 따르는, 목적지 위치까지의 경로 또는 루트를 결정하기 위해 데이터(134)의 지도 정보를 사용할 수 있다. 다음으로, 컴퓨팅 디바이스들(110)은 차량을 목적지를 향해 루트를 따라 위에서 설명된 바와 같이 자율적으로(또는 자율주행 모드로) 조종할 수 있다.
예를 들어, 도 6은 차량(100)이 지도 정보(200)에 대응하는 교차로들(602, 604)을 포함하는 도로(600)의 섹션 상에서 조정되고 있는 것을 도시한다. 이 예에서, 교차로들(602 및 604)은 각각 지도 정보(200)의 교차로들(202 및 204)에 대응한다. 이 예에서, 차선 경계선들(610, 612 및 614)은 차선 경계선들(210, 212 및 214)의 형상, 위치, 및 다른 특성들에 각각 대응한다. 마찬가지로, 횡단 보도(630)는 횡단 보도(230)의 형상, 위치 및 다른 특성들에 각각 대응하고; 보도(640)는 보도(240)에 대응하고; 교통 신호등 신호 조명(620, 622)은 교통 신호등 신호 조명(220, 222)에 각각 대응하고; 정지 표시(650, 652)는 정지 표시(250, 252)에 각각 대응하고; 양보 표시(660)는 양보 표시(260)에 대응한다. 추가로, 다양한 차량들(690-494)이 도로(600) 주변의 다른 위치들에 배열된다.
차량(100)이 그것의 환경을 통해 이동함에 따라, 차량의 인식 시스템(172)은 차량의 환경에 관한 정보를 포함하는 센서 데이터를 컴퓨팅 디바이스들에 제공할 수 있다. 위에서 언급된 바와 같이, 이러한 센서 데이터는 지도 정보의 피쳐들은 물론 다른 객체들의 위치, 배향, 방향, 형상, 크기, 유형을 포함할 수 있는 센서 데이터를 포함할 수 있다. 이러한 정보는 이러한 정보, 지도 데이터는 물론, 상이한 상황들에 대응하기 위한 규칙들의 조합에 기초하여 차량을 어떻게 조종할지를 결정하기 위해 사용될 수 있다.
예를 들어, 도 7의 예(700)는 인식 시스템(172)에 의해 컴퓨팅 디바이스들(110)에 제공되는 차량들(690-694)의 일반적인 형상 및 위치를 표현하는 객체들(790-794)에 대한 바운딩 박스들과 함께, (도 6의 실시예(600)에서와 같이) 차량(100)의 환경의 피쳐들을 도시한다. 이 예에서, 라우팅 시스템(168)은 차량(100)이 목적지(도시되지 않음)에 도달하기 위해 따라갈 루트(670)를 결정하기 위해 지도 정보(200)를 사용하고, 컴퓨팅 디바이스들(110)은 메모리(130)의 규칙들 및 이러한 정보를 사용하여, 차량이 루트를 따르기 위해 다음 몇 초 동안 추적할 궤적을 결정할 수 있다.
센서 데이터는 각각의 객체의 거동, 예를 들어 객체가 세상을 통해 어떻게 이동하고 있는지를 결정하기 위해 시간에 걸쳐 추적될 수 있다. 예를 들어, 도 8의 예(800)는 도 7보다 늦은 소정의 시점에서, 예컨대 장래의 몇 초 또는 대략 그 정도에서 차량(100)의 환경의 피쳐들을 도시한다. 다시, 객체들(790-794)에 대한 바운딩 박스들은 인식 시스템(172)에 의해 컴퓨팅 디바이스들(110)에 제공되는 차량들(690-694)의 일반적인 형상 및 위치를 표현한다. 시간에 따라 그러한 객체들에 대한 센서 데이터를 비교함으로써(예를 들어, 도 7 및 도 8과 그 사이의 시점들 사이), 컴퓨팅 디바이스들(110)은 이러한 객체들의 거동을 결정할 수 있다.
행렬을 검출하기 위해, 인식 시스템(172)으로부터의 센서 데이터, 및 위에서 언급된 결정된 거동들은 임의의 검출된 객체들이 규칙들 중 하나를 위반하고 있는지(즉, 교통 우선순위를 따르고 있지 않은지)를 결정하기 위해 분석될 수 있다. 이 정보를 사용하여, 컴퓨팅 디바이스들(110)의 명령어들(132)의 행렬 검출기, 예를 들어 소프트웨어 모듈은 객체가 행렬에 연루되어 있는지를 검출하기 위해 사용될 수 있다.
검출기는 계속하여 실행될 수 있는데, 즉 규칙을 위반하는 것으로서 최초 객체를 식별하는 것은 검출기에 의해 수행되는 처리의 일부일 수 있다. 대안적으로, 검출기는 규칙들 중 하나를 위반하고 있는 하나 이상의 객체를 검출하는 것에 응답하여 실행될 수 있다. 행렬 검출기는 객체가 규칙을 준수하고 있는지 또는 위반하고 있는지를 결정하기 위해, 관찰된 거동들을 규칙들과 비교할 수 있다. 예를 들어, 바운딩 박스들(790, 792) 각각은 정지 표시(250/650)에 대해 정지하지 않고서 교차로(204/604)를 통과하는 것이 관찰되었을 수 있다. 추가로, 바운딩 박스들(792 및 794) 각각은 교통 신호등 신호 조명(220)에서 적색 조명에 대해 정지하지 않고서 교차로(202/602)를 통과하는 것이 관찰되었을 수 있다.
규칙을 위반하고 있는 것으로 관찰되는 객체들이 더 많을수록, 그리고 위반되고 있는 것으로 관찰되는 규칙들이 더 많을수록, 객체 또는 객체들이 행렬의 일부일 가능성이 더 증가하거나, 더 정확하게는, 객체 또는 객체들이 행렬의 일부라는 결정의 신뢰도가 더 높아진다. 예를 들어, 첫번째 객체가 정지 표시(250/650)에 대해 정지하지 않고 교차로(204/604)를 통과하는 것이 관찰되고 나면, 정지 표시(250/650)에 대해 정지하지 않고서 교차로(204/604)를 통과하는 것으로 관찰되는 각각의 추가 객체에 대해, 그러한 객체들 각각이 행렬의 일부일 가능성이 더 증가될 수 있다. 마찬가지로, 교통 신호등 신호 조명(220)에서 적색 조명에 대해 정지하지 않고서 교차로(204/604)를 통과하는 첫번째 객체가 관찰되고 나면, 교통 신호등 신호 조명(220)에서 적색 조명에 대해 정지하지 않고서 교차로(204/604)를 통과하는 것으로 관찰되는 각각의 추가 객체에 대해, 그러한 객체들 각각이 행렬의 일부일 가능성이 더 증가될 수 있다. 추가로, 정지 표시(250/650)에 대해 정지하지 않고서 교차로(204/604)를 통과하는 것으로 관찰되는 객체들의 일부 또는 전부가 교통 신호등 신호 조명(220)에서 적색 조명에 대해 정지하지 않고서 교차로(204/604)를 통과하는 것이 관찰되면, 이러한 객체들 각각이 행렬의 일부일 가능성이 더 증가될 수 있다.
하나의 경우에서, 검출기는 하나 이상의 임계가 충족되는지에 기초하여 행렬이 존재하는지를 결정할 수 있다. 예를 들어, 2개 또는 대략 그 정도와 같은 임계 최소 수의 객체들이 동일한 규칙을 동일한 방식으로 위반하고 있는 것으로 관찰되는 경우, 예컨대 이러한 객체들 전부가 교통 신호등 신호 조명(220)에서 적색 조명에 대해 정지하지 않고서 교차로(202/602)를 통과하고 있는 경우, 검출기는 이러한 객체들이 행렬에 연루되어 있다고 결정할 수 있다. 물론, 임계 최소 수가 고정된 정수일 필요가 있는 것은 아니고, 성질상 실제로는 확률적일 수 있으며, 인식 시스템으로부터 수집되어 메모리(130)에 기록된 센서 데이터로부터 도출될 수 있다. 다른 경우에서, 임의의 수의 객체가 10초 또는 대략 그 정도와 같은 임계 최소 기간 동안 동일한 규칙을 동일한 방식으로 계속하여 위반하고 있는 것으로 보이는 경우, 검출기는 객체들이 행렬에 연루되어 있다고 결정할 수 있다. 이러한 예에 대해, 이 임계를 충족시키기에 충분한 실제 객체 수는 '규칙 위반' 및 다른 주변 교통의 특성에 의존할 수 있다. 예를 들어, 적색 조명을 아주 빠듯하게 무시하고 달리는 차량은 강력한 신호가 아닐 수 있지만, 확실히 켜져 있는 적색 조명(또는 1초 이상 적색이었던 교통 신호등)을 무시하고 달린 다음 교차로 중간에서 정지하는 긴급 차량은 그 자체로 충분한 신호일 수 있는 등이다. 또 다른 예를 들면, 최소 수의 객체가 소정의 최소 기간 동안 동일한 규칙을 동일한 방식으로 위반하고 있는 것으로 검출되면, 이는 객체들이 행렬에 연루되어 있음을 나타낼 수 있다.
다른 경우들에서, 행렬이 존재하는지 여부는 좀 더 미묘한 차이를 가질 수 있다. 예를 들어, 가능성은 복수의 상이한 신호 및 관찰에 기초하여 증가 또는 감소될 수 있는 누적 값일 수 있다. 즉, 규칙을 위반하는 것으로 관찰되는 차량이 많을수록, 그러한 차량들에 대해 규칙이 "무효하다"는 확신이 더해진다. 추가로, 그러한 관찰되는 차량들이 위반하고 있는 상이한 규칙들이 많을수록, 해당 객체들이 행렬의 일부이기 때문에 소정의 상이한 규칙 세트가 시행될 가능성이 더 높다. 예를 들어, 동일한 규칙을 동일한 방식으로 위반하는 것으로 관찰된 각각의 추가 객체는 객체들이 행렬에 연루되어 있을 가능성을 0.1 또는 대략 그 정도와 같은 소정의 값만큼 증가시킬 수 있다.
이 값은 고정될 수 있고, 또는 가변적일 수 있는데, 예를 들어 동일한 규칙을 동일한 방식으로 위반하고 있는 것으로 관찰되는 각각의 추가 객체에 대해 약간 증가할 수 있다. 예를 들어, 최초 관찰에 대해, 값은 0.1일 수 있지만, 각각의 추가 관찰에 대해 값은 0.05씩 증가하여, 두번째 관찰은 0.15(0.1에 더해짐)가 되고 세번째 관찰은 0.2가 될 것이다(.25에 더해짐). 추가적으로 또는 대안적으로, 객체들이 동일한 규칙을 동일한 방식으로 계속해서 위반하는 각각의 1초 또는 대략 그 정도의 추가 때마다, 객체들이 행렬에 연루되어 있을 가능성은 또한 0.1, 또는 대략 그 정도로 증가될 수 있다. 추가적으로 또는 대안적으로, 그러한 객체들이 동일한 방식으로 위반하는 각각의 추가 규칙에 대해, 객체들이 행렬에 연루되어 있을 가능성은 또한 0.1 또는 대략 그 정도와 같이 증가될 수 있다. 마찬가지로, 추가적으로 또는 대안적으로, 객체들이 그 추가 규칙을 동일한 방식으로 계속해서 위반하는 각각의 1초 또는 대략 그 정도의 추가 때마다, 객체들이 행렬에 연루되어 있을 가능성은 또한 0.1 또는 대략 그 정도로 증가될 수 있다. 역시, 값은 고정될 수 있고, 또는 가변적일 수 있는데, 예를 들어 동일한 규칙을 동일한 방식으로 위반하고 있는 것으로 관찰되는 각각의 추가 객체에 대해 약간 증가할 수 있다.
인식 시스템(172)에 의해 검출되는 다른 신호들은 행렬의 가능성을 더 증가시킬 수 있다. 예를 들어, 근처에 하나 이상의 긴급 차량(예를 들어, 경찰차, 소방차, 구급차 또는 경찰 오토바이)이 존재하는 경우, 긴급 차량이 차량들의 그룹을 이끌고 있는 경우, 긴급 차량이 교차로에 진입하여 정지하는 경우, 보행자(경찰 또는 기타)가 교통을 유도하고 있는 경우, 또는 하나 이상의 오토바이가 교차로에서 정지하고 있는 경우(비상등이나 사이렌이 없더라도), 이러한 신호들은 행렬의 가능성을 역시 소정의 고정 또는 가변 양만큼 증가시킬 수 있다. "리프-프로깅(leap-frogging)" 긴급, 또는 전형적인 차량들이라면 하지 않을 일을 하는 긴급 차량들과 같은 더 복잡한 상황들은 또한 행렬의 가능성을 역시 소정의 고정 또는 가변 양만큼 증가시킬 수 있는 신호일 수 있다. 예를 들어, 위에서 언급된 리프-프로깅은 행렬이 진행하는 것을 허용하도록 일시적으로 교통을 정지시키고 있는 경찰 또는 다른 긴급 차량들이 동반하고 있는 행렬들에서 전형적일 수 있다. 이는 제1 긴급 차량이 다른 차량을 지나쳐서 (예를 들어, 첫번째 교차로에서 교차 교통을 정지시키기 위해) 정지하고, 그에 후속하여 제2 긴급 차량이 (예를 들어, 두번째 교차로에서 교차 교통을 정지시키기 위해) 정지하며, 그 후, 제1 긴급 차량들이 제2 긴급 차량을 지나쳐서 진행한 다음 (예를 들어, 세번째 교차로에서 교차 교통을 정지시키기 위해) 정지하는 등을 포함할 수 있다.
예를 들어, 인식 시스템(172)의 하나 이상의 카메라에 의해 캡처된 시각적 신호들은 또한 행렬의 가능성을 소정의 고정 또는 가변 양만큼 증가시키는 데 사용될 수 있다. 예를 들어, 이러한 시각적 신호들은 (영구차 검출기를 사용하여) 객체를 영구차로서 식별하는 것들을 포함할 수 있고, 장례 행렬 및 모터케이드에서 또는 그러한 행렬들의 선도 차량에서 전형적으로 사용되는 깃발들 또는 창 배지들, 음악 연주와 함께 또는 음악 연주 없이 거리를 걷고 있는 보행자들을 식별하는 것, 깃발, 표지판 또는 배너를 들고 있는 보행자는 물론, 그것들 위의 텍스트를 식별하는 것은 또한 행렬의 가능성을 증가시킬 수 있다.
인식 시스템(172)에 의해 검출되는 일부 신호들은 실제로 행렬의 가능성을 역시 소정의 고정 또는 가변 양만큼 감소시킬 수 있다. 동일한 규칙을 동일한 방식으로 위반하고 있는 것으로 보이지 않는 객체들이 존재하는 경우, 이것은 행렬의 가능성을 감소시키거나 그에 영향을 미치지 않을 수 있다. 마찬가지로, 객체들이 규칙을 준수하고 있는 시간 간격이 존재하는 경우, 이것은 행렬의 가능성을 감소시킬 수 있다. 이 경우, 간격이 길수록 행렬의 가능성은 더 크게 감소된다. 일부 경우들에서, 검출기에 의해 현지 규정들이 고려될 수 있다. 예를 들어, 특정 지역들에서 교통 신호등을 위반하는 장례 행렬 또는 퍼레이드가 금지된 경우, 이는 행렬의 가능성을 감소시킬 수 있다.
이러한 누적 확률이 특정 임계를 충족시키면, 검출기는 행렬이 존재한다고 결정할 수 있다. 예를 들어, 객체들(790-794)을 통한 차량들(690-694)의 관찰들 및 임의의 다른 신호들에 기초하여, 행렬의 가능성은 80%로 결정될 수 있다. 임계가 75%이면, 검출기는 행렬이 존재한다고 결정할 수 있다.
일부 경우들에서, 검출기는 심지어 행렬의 유형을 결정할 수 있다. 예를 들어, 행렬이 보행자들을 수반하는 경우, 이는 퍼레이드 또는 행진을 나타낼 수 있다. 또 다른 예로서, 행렬이 복수의 승용차를 수반하는 경우, 이것은 장례 행렬 또는 모터케이드를 나타낼 수 있다. 동시에, 행렬이 복수의 오토바이 또는 보행자를 수반하는 경우, 이는 퍼레이드를 나타낼 수 있다. 또 다른 예로서, 행렬이 특정 특성들을 가진 차량들, 예를 들어 (인식 시스템의 카메라에 의해 캡처된 이미지들로부터 결정된 바와 같이) 그들이 장례 행렬의 일부임을 나타내는 깃발들 또는 텍스트로 표시된 차량들을 포함하는 경우, 이는 장례 행렬을 나타낼 수 있다.
검출기가 행렬이 존재한다고 결정하고 나면, 이 정보는 차량의 플래너에 송신될 수 있고, 행렬에 어떻게 대응할지, 및 그에 따라 차량을 어떻게 제어할지를 결정하기 위해 사용될 수 있다. 예를 들어, 행렬이 끝날 때까지 행렬 내의 객체들에 양보하도록, 모든 행렬들에 대한 디폴트 대응이 있을 수 있다. 그와 관련하여, 차량(100)은 차량이 객체들(790-794) 중 하나 이상의 앞에서 교차로를 통해 진행할 통행권을 갖고 있었더라도, 이러한 객체들이 교차로(202/602)를 통과할 때 객체들(790-794) 전부에게 양보할 수 있다. 추가적으로 또는 대안적으로, 디폴트 대응보다는, 차량(100)이 통행권을 갖는 교차로를 통해 진행하는 것과 같은 특정 유형들의 거동들은 더 이상은 차량을 어떻게 제어할지를 결정할 때의 옵션이 아닐 수 있다. 추가적으로 또는 대안적으로, 특정 유형들의 행렬들에 대해, 예컨대 네트워크(460)를 통해 운영 워크스테이션(440)에 요청을 송신함으로써, 원격 운영자로부터 행렬의 지원 또는 확인을 요청하는 것과 같은 추가 동작들이 또한 취해질 수 있다.
추가로, 검출기는 행렬 내에 포함되는 객체들, 또는 더 정확하게는, 동일한 규칙을 동일한 방식으로 위반하고 있는 객체들 전부를 식별할 수 있다. 그러한 것으로서, 이러한 객체들은 함께 "그룹화"될 수 있거나, 즉, (인식 시스템에 의해 개별적으로 추적되더라도) 단일 객체로서 대응될 수 있다. 이와 관련하여, 결정된 대응이 양보인 경우, 차량은 그룹으로서 객체들 전부에게 양보하도록 제어될 수 있다. 예를 들어, 객체들(790-794) 전부가 행렬의 일부인 것으로 결정되면, 컴퓨팅 디바이스들(110)은 이러한 객체들 전부에게 양보하도록 차량(100)을 제어할 수 있다. 이로 인해, 차량은 부적절하게 공격적이거나 독단적으로 되지 않을 수 있다. 예를 들어, 장례 행렬이 교차로를 통과하고 있는 경우, 차량은 검출기가 없기 때문에, 우회전을 하기 위해 라인에 "끼어들" 기회를 가질 수 있다. 이는 차량(100)이 행렬 내의 객체들이 단지 느리게 움직이는 교통이라고 단순히 결정할 수 있기 때문일 수 있다. 따라서, 행렬을 검출함으로써, 차량(100)은 객체 그룹 내의 객체들 사이에서 이동하지 않을 것이다. 그러한 것으로서, 일반적으로는 눈살을 찌푸리게 하고 행렬에 있는 사람들을 당황하게 할 수 있는 이러한 유형의 끼어들기 거동이 회피될 수 있다.
도 9는 행렬들을 검출하고 이에 대응하기 위해 컴퓨팅 디바이스들(110)의 하나 이상의 프로세서(120)와 같은 하나 이상의 프로세서에 의해 수행될 수 있는 흐름도(900)이다. 예를 들어, 블록(910)에서, 차량의 환경에서 둘 이상의 객체를 식별하는 센서 데이터가 수신된다. 블록(920)에서, 둘 이상의 객체가 미리 결정된 규칙을 동일한 방식으로 위반하고 있는지가 결정된다. 블록(930)에서, 둘 이상의 객체가 미리 결정된 규칙을 위반하고 있다는 결정에 기초하여, 둘 이상의 객체가 행렬에 연루되어 있는지가 결정된다. 블록(940)에서, 차량은 둘 이상의 객체가 행렬에 연루되어 있다는 결정에 기초하여 행렬에 대응하기 위해 자율적으로 제어된다.
위에서 설명된 특징들은 행렬을 검출하고 그에 대응하는 유용한 방식을 제공한다. 그렇게 함으로써, 차량은 행렬에 대응할 수 있는데, 예를 들면 적절하게 양보할 수 있다. 이는 차량이 부적절하게 공격적이거나 독단적으로 되지 못하게 하는 것은 물론, 행렬들에 적절하게 대응하지 않는 것, 예를 들어 양보하지 않거나 끼어드는 것에 의한 불편한 교통 정체를 방지할 수 있다.
달리 언급되지 않는 한, 전술한 대안적인 예들은 상호 배타적인 것이 아니라, 고유의 장점들을 달성하기 위해 다양한 조합들로 구현될 수 있다. 위에서 논의된 특징들의 이러한 및 다른 변형들 및 조합들은 청구항들에 의해 정의된 주제로부터 벗어나지 않고서 이용될 수 있으므로, 실시예들에 대한 전술한 설명은 청구항들에 의해 정의된 주제의 제한이 아닌 예시로서 받아들여져야 한다. 추가로, 여기에 설명된 예들은 물론, "예컨대", "포함하는" 등으로서 표현되는 문구들의 제공은 청구항들의 주제를 특정 예들로 제한하는 것으로 해석되어서는 안 되고; 오히려, 예들은 다수의 가능한 실시예 중 하나만을 예시하도록 의도된다. 또한, 상이한 도면들에서의 동일한 참조번호들은 동일하거나 유사한 요소들을 식별할 수 있다.

Claims (20)

  1. 행렬들(processions)을 검출하고 그에 대응하는 방법으로서,
    하나 이상의 프로세서에 의해, 차량의 환경에서 둘 이상의 객체를 식별하는 센서 데이터를 수신하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 둘 이상의 객체가 미리 결정된 규칙을 동일한 방식으로 위반하고 있다고 결정하는 단계;
    상기 둘 이상의 객체가 미리 결정된 규칙을 위반하고 있다는 결정에 기초하여, 상기 하나 이상의 프로세서에 의해, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계; 및
    상기 둘 이상의 객체가 행렬에 연루되어 있다는 결정에 기초하여, 상기 하나 이상의 프로세서에 의해, 상기 행렬에 대응하기 위해 상기 차량을 자율적으로 제어하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 미리 결정된 규칙은 상기 둘 이상의 객체가 위반하고 있는 교통 우선순위를 정의하는, 방법.
  3. 제1항에 있어서, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 상기 미리 결정된 규칙을 위반하고 있는 것으로 결정된 객체들의 임계 최소 수에 기초하는, 방법.
  4. 제3항에 있어서, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 적어도 임계 최소 기간 동안 상기 미리 결정된 규칙을 위반하고 있는 객체들의 임계 최소 수에 기초하는, 방법.
  5. 제1항에 있어서, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 적어도 임계 최소 기간 동안 상기 미리 결정된 규칙을 위반하고 있는 것으로 결정되는 객체들에 기초하는, 방법.
  6. 제1항에 있어서, 상기 행렬이 모터케이드 또는 장례 행렬이라고 결정하는 단계를 더 포함하는 방법.
  7. 제1항에 있어서, 상기 행렬이 퍼레이드 또는 행진이라고 결정하는 단계를 더 포함하는 방법.
  8. 제1항에 있어서, 상기 미리 결정된 규칙은 적색 신호등 신호에 대해 정지하는 것 또는 정지 표시를 무시하고 진행하는 것 중 하나를 포함하는, 방법.
  9. 제1항에 있어서, 상기 하나 이상의 프로세서에 의해, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는, 각각 상기 미리 결정된 규칙을 위반하고 있는 추가 객체들의 수에 더 기초하는, 방법.
  10. 제1항에 있어서, 상기 하나 이상의 프로세서에 의해, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는, 추가 객체들이 또한 상기 미리 결정된 규칙을 위반하는 시간의 양에 더 기초하는, 방법.
  11. 제1항에 있어서, 상기 센서 데이터로부터 긴급 차량을 식별하는 단계를 더 포함하고, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 상기 긴급 차량에 더 기초하는, 방법.
  12. 제11항에 있어서, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 상기 둘 이상의 객체에 대한 상기 긴급 차량의 위치에 더 기초하는, 방법.
  13. 제11항에 있어서, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 상기 긴급 차량이 교차로에서 정지되는지에 더 기초하는, 방법.
  14. 제1항에 있어서, 상기 센서 데이터로부터 교통을 유도하는 보행자를 식별하는 단계를 더 포함하고, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 식별된, 상기 교통을 유도하는 보행자에 더 기초하는, 방법.
  15. 제1항에 있어서, 상기 센서 데이터로부터 깃발, 표지판 또는 배너를 들고 있는 보행자를 식별하는 단계를 더 포함하고, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 식별된, 상기 깃발, 표지판 또는 배너를 들고 있는 보행자에 더 기초하는, 방법.
  16. 제1항에 있어서, 상기 둘 이상의 객체 중 적어도 하나가 깃발 또는 배지를 갖는 것을 식별하는 단계를 더 포함하고, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 상기 둘 이상의 객체 중 적어도 하나가 깃발 또는 배지를 갖는다는 식별에 더 기초하는, 방법.
  17. 제1항에 있어서, 상기 둘 이상의 객체 중 2개의 객체 사이의 추가 객체가 상기 미리 결정된 규칙을 위반하고 있지 않다고 결정하는 단계를 더 포함하고, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 상기 둘 이상의 객체 중 2개의 객체 사이의 추가 객체가 상기 미리 결정된 규칙을 위반하고 있지 않다는 결정에 더 기초하는, 방법.
  18. 제1항에 있어서, 상기 미리 결정된 규칙을 동일한 방식으로 위반하고 있는 상기 둘 이상의 객체 중 2개의 객체 사이의 시간 간격을 결정하는 단계를 더 포함하고, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 상기 시간 간격에 더 기초하는, 방법.
  19. 제1항에 있어서, 상기 둘 이상의 객체가 행렬에 연루되어 있다고 결정하는 단계는 행렬들에 대한 현지 규정들에 더 기초하는, 방법.
  20. 제1항에 있어서, 상기 차량을 제어하는 단계는 그룹으로서 상기 행렬에 연루된 둘 이상의 객체에게 양보(yielding)하는 단계를 포함하는, 방법.
KR1020217007955A 2018-08-20 2019-08-12 자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응 KR102534960B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/105,233 US10795362B2 (en) 2018-08-20 2018-08-20 Detecting and responding to processions for autonomous vehicles
US16/105,233 2018-08-20
PCT/US2019/046141 WO2020041023A1 (en) 2018-08-20 2019-08-12 Detecting and responding to processions for autonomous vehicles

Publications (2)

Publication Number Publication Date
KR20210034096A true KR20210034096A (ko) 2021-03-29
KR102534960B1 KR102534960B1 (ko) 2023-05-26

Family

ID=69523153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217007955A KR102534960B1 (ko) 2018-08-20 2019-08-12 자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응

Country Status (6)

Country Link
US (4) US10795362B2 (ko)
EP (1) EP3820752A4 (ko)
JP (1) JP7176098B2 (ko)
KR (1) KR102534960B1 (ko)
CN (1) CN112789205B (ko)
WO (1) WO2020041023A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240065734A (ko) 2022-11-07 2024-05-14 (주) 오토노머스에이투지 자율주행시 통행우선권에 기초한 충돌 위험도 관리 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210105995A1 (en) * 2018-02-05 2021-04-15 FarmWise Labs, Inc. Method for autonomously weeding crops in an agricultural field
US11971714B2 (en) * 2018-02-19 2024-04-30 Martin Tremblay Systems and methods for autonomous vehicles
US20220095278A1 (en) * 2019-01-11 2022-03-24 Lg Electronics Inc. Method and ue for transmitting signal in wireless communication system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196601A (ja) * 2012-03-22 2013-09-30 Denso Corp 予測システム
US20160144867A1 (en) * 2014-11-20 2016-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence
US9600768B1 (en) * 2013-04-16 2017-03-21 Google Inc. Using behavior of objects to infer changes in a driving environment
US20170249836A1 (en) * 2016-02-25 2017-08-31 Delphi Technologies, Inc. Conflict-Resolution System For Operating An Automated Vehicle

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3358403B2 (ja) * 1995-09-11 2002-12-16 トヨタ自動車株式会社 隊列走行制御装置
DE10024739A1 (de) * 1999-05-21 2000-12-07 Honda Motor Co Ltd Kolonnenfahr-Steuervorrichtung
US20040236476A1 (en) * 2003-02-27 2004-11-25 Mahesh Chowdhary Vehicle safety management system that detects speed limit violations
JP4710976B2 (ja) * 2006-08-07 2011-06-29 トヨタ自動車株式会社 走行制御装置
US20090157461A1 (en) * 2007-12-12 2009-06-18 Honeywell International Inc. Vehicle deployment planning system
US10643467B2 (en) * 2010-03-28 2020-05-05 Roadmetric Ltd. System and method for detecting and recording traffic law violation events
US8977420B2 (en) 2010-06-23 2015-03-10 GM Global Technology Operations LLC Vehicle procession control through a traffic intersection
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
KR101029096B1 (ko) 2010-11-18 2011-04-13 김은숙 차량의 측면 충돌 회피 방법
US8195394B1 (en) * 2011-07-13 2012-06-05 Google Inc. Object detection and classification for autonomous vehicles
US20130093895A1 (en) * 2011-10-17 2013-04-18 Samuel David Palmer System for collision prediction and traffic violation detection
JP5573876B2 (ja) * 2012-03-27 2014-08-20 株式会社デンソー 周辺車両決定装置
US9633564B2 (en) * 2012-09-27 2017-04-25 Google Inc. Determining changes in a driving environment based on vehicle behavior
SE1251163A1 (sv) * 2012-10-15 2014-04-16 Scania Cv Ab System och metod i samband med förekomst av fordonståg
US9536427B2 (en) 2013-03-15 2017-01-03 Carnegie Mellon University Methods and software for managing vehicle priority in a self-organizing traffic control system
DE202013006466U1 (de) * 2013-07-18 2014-10-27 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Computerprogrammprodukt und Fahrerassistenzsystem für einFahrzeug
CN103456047B (zh) * 2013-09-04 2016-04-20 广州华工信息软件有限公司 基于车辆动态检测技术的电子不停车收费车道***及方法
US9766628B1 (en) * 2014-04-04 2017-09-19 Waymo Llc Vision-based object detection using a polar grid
JP6708368B2 (ja) * 2014-04-25 2020-06-10 コンデュエント ビジネス サービシーズ エルエルシー 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム
EP3018027B1 (en) * 2014-11-10 2017-06-07 Volvo Car Corporation Control arrangement arranged to control an autonomous vehicle, autonomous drive arrangement, vehicle and method
US20160163200A1 (en) * 2014-12-03 2016-06-09 Ebay Enterprise, Inc. Managing and controlling travel for a convoy of vehicles
US10994712B2 (en) * 2015-07-02 2021-05-04 Sony Corporation Vehicle control device and vehicle control method
CA2996546A1 (en) * 2015-08-26 2017-03-02 Peloton Technology, Inc. Devices, systems and methods for vehicle monitoring and platooning
US9868389B2 (en) 2015-09-30 2018-01-16 Nissan North America, Inc. Vehicle state indication system
JP6832284B2 (ja) * 2015-09-30 2021-02-24 日産自動車株式会社 車両状態表示システム
US9720415B2 (en) * 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US9811083B2 (en) * 2015-11-23 2017-11-07 Easy Aerial Inc. System and method of controlling autonomous vehicles
JP2017138694A (ja) * 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法
US9633560B1 (en) 2016-03-30 2017-04-25 Jason Hao Gao Traffic prediction and control system for vehicle traffic flows at traffic intersections
US10077052B2 (en) * 2016-03-31 2018-09-18 Faraday&Future Inc. State-based operation for autonomous vehicles
US20170329332A1 (en) 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
KR102581482B1 (ko) * 2016-09-01 2023-09-21 삼성전자주식회사 차량의 자율 주행 컨트롤러의 동작 방법 및 장치
CN107492249B (zh) * 2016-09-20 2020-09-11 宝沃汽车（中国）有限公司 一种车队监控方法及***
JP2020508252A (ja) 2017-02-10 2020-03-19 ニッサン ノース アメリカ，インク 自律走行車の動作管理
US10127818B2 (en) * 2017-02-11 2018-11-13 Clear Commute Ventures Pty Ltd Systems and methods for detecting and avoiding an emergency vehicle in the proximity of a substantially autonomous vehicle
CN107452218B (zh) * 2017-09-22 2020-04-03 西北工业大学 一种多无人车编队的交叉路口集中式调度方法
US10401862B2 (en) * 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
US10562538B2 (en) * 2017-11-22 2020-02-18 Uatc, Llc Object interaction prediction systems and methods for autonomous vehicles
US20190164007A1 (en) * 2017-11-30 2019-05-30 TuSimple Human driving behavior modeling system using machine learning
US20190187719A1 (en) * 2017-12-19 2019-06-20 Trw Automotive U.S. Llc Emergency lane change assistance system
US10919444B2 (en) * 2018-01-24 2021-02-16 Peloton Technology, Inc. Systems and methods for providing information about vehicles
US11971714B2 (en) * 2018-02-19 2024-04-30 Martin Tremblay Systems and methods for autonomous vehicles
US10632913B2 (en) * 2018-04-13 2020-04-28 GM Global Technology Operations LLC Vehicle behavior using information from other vehicles lights
CN112041908A (zh) * 2018-04-27 2020-12-04 上海趋视信息科技有限公司 监控交通标志违规的***和方法
US11126873B2 (en) * 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US10810872B2 (en) * 2018-07-31 2020-10-20 Baidu Usa Llc Use sub-system of autonomous driving vehicles (ADV) for police car patrol

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196601A (ja) * 2012-03-22 2013-09-30 Denso Corp 予測システム
US9600768B1 (en) * 2013-04-16 2017-03-21 Google Inc. Using behavior of objects to infer changes in a driving environment
US20160144867A1 (en) * 2014-11-20 2016-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence
US20170249836A1 (en) * 2016-02-25 2017-08-31 Delphi Technologies, Inc. Conflict-Resolution System For Operating An Automated Vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240065734A (ko) 2022-11-07 2024-05-14 (주) 오토노머스에이투지 자율주행시 통행우선권에 기초한 충돌 위험도 관리 장치

Also Published As

Publication number Publication date
EP3820752A1 (en) 2021-05-19
JP2021534490A (ja) 2021-12-09
US10795362B2 (en) 2020-10-06
US20240085907A1 (en) 2024-03-14
US20230141636A1 (en) 2023-05-11
WO2020041023A1 (en) 2020-02-27
JP7176098B2 (ja) 2022-11-21
US11537128B2 (en) 2022-12-27
US20210018919A1 (en) 2021-01-21
US11860631B2 (en) 2024-01-02
EP3820752A4 (en) 2022-04-20
US20200057443A1 (en) 2020-02-20
CN112789205A (zh) 2021-05-11
KR102534960B1 (ko) 2023-05-26
CN112789205B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
KR102274273B1 (ko) 자율 차량을 위한 정지 위치 계획
US11780431B2 (en) Testing predictions for autonomous vehicles
JP7150159B2 (ja) 自律車両の信号機検知および車線状態認識
JP7248797B2 (ja) 未知の標識の検出
KR102488743B1 (ko) 자율 차량들을 위한 교통 재지향에 대한 검출 및 응답
KR102534960B1 (ko) 자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응
US10220776B1 (en) Scenario based audible warnings for autonomous vehicles
CN112334908B (zh) 用于自主车辆的短语识别模型
US9947221B1 (en) Systems and methods of vehicular communication
KR102478819B1 (ko) 정지된 자율주행 차량들에 의해 야기되는 주변 도로 사용자들에 대한 불편을 감소시키는 것
US10838417B2 (en) Systems for implementing fallback behaviors for autonomous vehicles
KR102210140B1 (ko) 센서 데이터로부터 생성된 물체를 평활화하기 위한 맵 정보의 이용
US20240092392A1 (en) Detecting and Responding to Malfunctioning Traffic Lights
JP2023145525A (ja) 自立型車両の視界から出た対象の追跡
US20220063485A1 (en) Systems and methods for vehicular communication
US11226626B1 (en) Detecting and responding to people directing traffic for autonomous vehicles
CN113226878A (zh) 铁路灯检测

Legal Events

Date Code Title Description
GRNT Written decision to grant