KR20150058431A - 도로 날씨 상황들의 검출 - Google Patents
도로 날씨 상황들의 검출 Download PDFInfo
- Publication number
- KR20150058431A KR20150058431A KR1020157010044A KR20157010044A KR20150058431A KR 20150058431 A KR20150058431 A KR 20150058431A KR 1020157010044 A KR1020157010044 A KR 1020157010044A KR 20157010044 A KR20157010044 A KR 20157010044A KR 20150058431 A KR20150058431 A KR 20150058431A
- Authority
- KR
- South Korea
- Prior art keywords
- road
- indication
- humid
- processor
- laser data
- Prior art date
Links
- 238000001556 precipitation Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 52
- 230000015654 memory Effects 0.000 claims description 16
- 239000000203 mixture Substances 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000010426 asphalt Substances 0.000 description 4
- 239000004568 cement Substances 0.000 description 4
- 239000000446 fuel Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 4
- 239000011449 brick Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/95—Lidar systems specially adapted for specific applications for meteorological use
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Navigation (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
본 발명의 양상들은 일반적으로 도로 날씨 상황들을 검출하는 것에 관한 것이다. 레이저(310, 311), 강수량 센서들(340), 및/또는 카메라들(320, 322)을 포함하는 차량 센서들은 도로의 밝기, 도로의 밝기의 변화들, 세계의 밝기, 현재 강수량뿐만 아니라 도로의 검출된 높이와 같은 정보를 검출하기 위해 사용된다. 네트워크 기반의 날씨 정보(일기예보들, 레이더, 강수 보도들 등)와 같은 다른 소스들로부터 수신된 정보 또한 고려된다. 상기 수신된 정보 및 검출된 정보의 조합은 도로의 물, 눈, 또는 얼음과 같은 강수 확률을 추정하기 위해 사용된다. 이 정보는 이후에 자율 주행차(101)를 (조종, 가속, 또는 브레이크를 위해)조작하거나 위험한 상황들을 식별하기 위해 사용된다.
Description
관련 출원들에 대한 상호 참조
본 출원은 2012년 9월 20일에 출원된 미국 특허출원 제13/623,397호의 계속출원이고, 2012년 9월 20일에 출원된 미국 특허출원 제13/623,422호의 계속출원이며, 상기 미국 특허출원 제13/623,397호 및 제13/623,422호의 전체 개시내용들은 본 명세서에 참조로서 통합된다.
산업상 이용가능성
본 발명은 차량을 조종하는 것과 함께 도로 날씨 상황들을 검출하는 것을 포함하나, 이에 한정되지 않는 폭넓은 산업상 이용가능성을 향유한다.
자율주행차들은 한 위치로부터 다른 위치로의 승객들의 수송을 보조하기 위해 다양한 컴퓨팅 시스템들을 사용한다. 일부 자율주행차들은 파일럿, 운전자, 또는 승객과 같은 오퍼레이터(operator)로부터 초기의 입력 또는 계속적인 입력을 요구할 것이다. 다른 자율 시스템들, 예를 들어 오토 파일럿 시스템들은 시스템이 참여했을 때만 사용될 수 있고, 이는 상기 오퍼레이터가 수동 모드(오퍼레이터가 차량의 움직임에 대해 높은 정도의 제어를 행사하는 모드)로부터 자율 모드(차량이 본질적으로 스스로 운전하는 모드)로, 그리고 상기 수동 모드와 자율 모드 사이의 어딘가에 놓여 있는 모드들로 스위칭하는 것을 허용한다.
그러한 차량들은 주위의 오브젝트들을 검출하기 위해, 전형적으로 다양한 유형들의 센서들이 장착되어 있다. 예를 들어, 자율주행차들은 상기 차량의 주위로부터 데이터를 스캔하고 기록하는 레이저들, 소나(sonar), 레이더, 카메라들 및 다른 디바이스들을 포함한다. 이러한 디바이스들 중 하나 이상으로부터의 센서 데이터는 오브젝트들 및 오브젝트들의 각각의 특징들(위치, 모양, 방향, 속도 등)을 검출하기 위해 사용된다. 이 검출 및 식별은 자율주행차의 안전한 동작을 위해서 대단히 중요한 기능이다.
본 발명의 한 양상은 방법을 제공한다. 상기 방법은 차량이 도로를 따라 운전됨에 따라 도로에 대해 수집되는 레이저 데이터를 수신하는 것과, 상기 레이저 데이터는 복수의 레이저 데이터 포인트들을 포함하고, 상기 복수의 레이저 데이터 포인트들 중 데이터 포인트 각각은 위치 및 상기 위치와 관련된 강도(intensity)를 갖고, 상기 도로 내의 위치들과 관련된 상기 복수의 레이저 데이터 포인트들의 평균 강도를 결정하는 것과, 상기 평균 강도를 건조한 날씨 상황들 하에서의 상기 도로의 예측 평균 강도와 관련된 임계값과 비교하는 것과, 상기 평균 강도가 상기 임계값 아래일 때, 상기 도로가 습하다는 표시를 식별하는 것과, 프로세서에 의해, 상기 도로가 습하다는 표시에 기반하여 상기 도로의 운전 상황을 추정하는 것과, 상기 프로세서에 의해, 상기 차량에 대한 운전 결정(driving decision)을 내리기 위해 상기 추정을 사용하는 것을 포함한다.
일 예시에서, 건조한 날씨 상황들 하에서의 상기 도로의 예측 평균 강도는 상기 도로의 표면의 구성요소(composition)에 기반한다. 다른 예시에서, 상기 방법은 또한 상기 도로에 대한 강도 값들의 분포를 결정하는 것과, 상기 결정된 분포를 건조한 상황들에 대한 예측 분포와 비교하는 것과, 건조한 상황들에 대한 상기 예측 분포에 대해 상대적으로 강도 규모(intensity scale)의 더 어두운 단부(end)를 향해 상기 결정된 분포가 쉬프트되는 것과, 상기 도로가 습하다는 제2 표시를 식별하는 것과, 상기 도로가 습하다는 제2 표시는 상기 운전 상황들을 추정하기 위해 프로세서에 의해 사용되는 것을 포함한다. 다른 예시에서, 상기 방법은 또한 상기 차량의 뒷부분에 근접하게 위치된 특정 구조를 표시하지 않는 상기 복수의 레이저 데이터 포인트들 중 레이저 데이터 포인트들의 클라우드를 검출하는 것, 상기 클라우드가 검출된 때, 상기 도로가 습하다는 제2 표시를 식별하는 것, 그리고 상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용된다. 다른 예시에서, 상기 방법은 또한 복수의 레이저 데이터 포인트들로부터 도로에 있는 움직이는 오브젝트를 검출하는 것과, 상기 움직이는 오브젝트에 근접하게 위치된 특정 구조를 표시하지 않는 상기 복수의 레이저 데이터 포인트들 중 레이저 데이터 포인트들의 클라우드를 검출하는 것과, 상기 클라우드가 검출된 때, 상기 도로가 습하다는 제2 표시를 식별하는 것과, 상기 도로가 습하다는 제2 표시가 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 포함한다. 다른 예시에서, 상기 방법은 또한 상기 도로의 예측 고도(expected elevation)를 표시하는 도로에 대한 상세한 지도 정보에 액세스하는 것과, 상기 도로의 예측 표면에 근접한 위치 데이터와 관련된 상기 수신된 레이저 데이터 포인트들로부터 레이저 데이터 포인트들의 클라우드를 식별하는 것과, 상기 클라우드의 레이저 데이터 포인트들을 상기 예측 도로 표면 위의 제1 임계값 및 상기 예측 도로 표면 아래의 제2 임계값과 비교하는 것과, 상기 클라우드의 레이저 데이터 포인트들은 상기 제1 임계값 위의 적어도 하나의 레이저 데이터 포인트 및 상기 제2 임계값 아래의 적어도 하나의 레이저 데이터 포인트를 포함하고, 상기 도로가 습하다는 제2 표시를 식별하고, 그리고 상기 도로가 습하다는 제2 표시는 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용된다. 다른 예시에서, 상기 방법은 또한 상기 차량이 도로를 따라 운전됨에 따라 카메라로부터 캡쳐된 이미지들을 수신하는 것과, 상기 이미지들에 기반해서 상기 도로가 습한 상황들에 있다는 추가적인 표시를 식별하는 것과, 상기 도로가 습하다는 추가적인 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 포함한다. 다른 예시에서, 상기 방법은 또한 차량과 관련된 강수량 센서(precipitation sensor)로부터 강수량 데이터를 수신하는 것과, 상기 강수량 데이터에 기반해서 상기 도로가 습하다는 제2 표시를 식별하는 것과, 상기 도로가 습하다는 제2 표시가 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 포함한다. 다른 예시에서, 운전 상황을 추정하는 것은 베이지안 추정(Bayesian estimate)을 사용하는 것을 포함한다. 다른 예시에서, 상기 방법은 또한 도로의 예측 고도를 표시하는 상기 도로에 대한 상세한 지도 정보에 액세스하는 것과, 상기 도로의 부분에 대한 평균 고도를 결정하는 것과, 상기 도로의 부분의 평균 고도가 상기 예측 고도보다 높은 적어도 제2 임계값인지에 기반해서, 상기 도로가 습하다는 제2 표시를 식별하는 것과, 그리고 상기 도로가 습하다는 제2 표시가 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 포함한다. 다른 예시에서, 상기 방법은 또한 네트워크를 통해 서버로부터 상기 차량의 현재 위치에 대한 날씨 정보를 수신하는 것과, 상기 날씨에 관련된 정보에 기반해서 상기 도로가 습하다는 제2 표시를 식별하는 것과, 상기 도로가 습하다는 제2 표시가 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 포함한다.
본 발명의 다른 양상은 시스템을 제공한다. 상기 시스템은 건조한 날씨 상황들 하에서의 도로의 예측 평균 강도를 저장하는 메모리 및 프로세서를 포함한다. 상기 프로세서는 차량이 상기 도로를 따라 운전됨에 따라 도로에 대해 수집되는 레이저 데이터를 수신하고, 상기 레이저 데이터는 복수의 레이저 데이터 포인트들을 포함하고, 상기 복수의 레이저 데이터 포인트들 중 데이터 포인트 각각은 위치 및 상기 위치에 관련된 강도 정보를 갖고, 상기 도로 내의 위치들과 관련된 상기 복수의 레이저 데이터 포인트들의 평균 강도를 결정하고, 상기 평균 강도를 건조한 날씨 상황들 하에서의 도로의 예측 평균 강도와 관련된 임계값과 비교하고, 상기 평균 강도가 임계값 아래일 때, 상기 도로가 습하다는 표시를 식별하고, 상기 도로가 습하다는 표시에 기반해서 상기 도로의 운전 상황을 추정하고, 그리고 상기 차량에 대한 운전 결정을 내리기 위해 상기 추정을 사용하도록 구성된다.
일 예시에서, 건조한 날씨 상황들 하에서의 상기 도로의 예측 평균 강도는 도로의 표면의 구성 요소에 기반한다. 다른 예시에서, 상기 프로세서는 또한 상기 도로에 대한 강도 값들의 분포를 결정하고, 상기 결정된 분포를 건조한 상황들에 대한 예측 분포와 비교하고, 건조한 상황들에 대한 상기 예측 분포에 대해 상대적으로 강도 규모의 더 어두운 단부를 향해 상기 결정된 분포가 쉬프트된 때, 상기 도로가 습하다는 제2 표시를 식별하고, 상기 도로가 습하다는 제2 표시가 상기 운전 상황들을 추정하기 위해 프로세서에 의해 사용되도록 구성된다. 다른 예시에서, 프로세서는 또한 차량의 뒷부분에 근접하여 위치된 특정 구조를 표시하지 않는 복수의 레이저 데이터 포인트들 중 레이저 데이터 포인트들의 클라우드를 검출하고, 상기 클라우드가 검출된 때, 상기 도로가 습하다는 제2 표시를 식별하고, 그리고 상기 도로가 습하다는 제2 표시가 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되도록 구성된다. 다른 예시에서, 프로세서는 또한 복수의 레이저 데이터 포인트들로부터 도로에서 움직이는 오브젝트를 검출하고, 상기 움직이는 오브젝트에 근접하여 위치된 특정 구조를 표시하지 않는 복수의 레이저 데이터 포인트들 중 레이저 데이터 포인트들의 클라우드를 검출하고, 상기 클라우드가 검출된 때, 상기 도로가 습하다는 제2 표시를 식별하고, 그리고 상기 도로가 습하다는 제2 표시가 상기 운전 상황들을 추정하기 위해 프로세서에 의해 사용되도록 구성된다. 다른 예시에서, 상기 프로세서는 또한 상기 도로의 예측 고도를 표시하는 상기 도로에 대한 상세한 지도 정보에 액세스하고, 상기 도로의 예측 표면에 근접한 위치 데이터와 관련된 수신된 레이저 데이터 포인트들로부터 레이저 데이터 포인트들의 클라우드를 식별하고, 상기 클라우드의 레이저 데이터 포인트들을 상기 예측 도로 표면 위의 제1 임계값 및 상기 예측 도로 표면 아래의 제2 임계값과 비교하고, 상기 클라우드의 레이저 데이터 포인트들이 상기 제1 임계값 위의 적어도 하나의 레이저 데이터 포인트 및 상기 제2 임계값 아래의 적어도 하나의 레이저 데이터 포인트를 포함할 때, 상기 도로가 습하다는 제2 표시를 식별하고, 그리고 상기 도로가 습하다는 제2 표시가 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되도록 구성된다. 다른 예시에서, 프로세서는 또한 도로를 따라 차량이 운전됨에 따라 카메라로부터 캡쳐된 이미지들을 수신하고 상기 이미지들에 기반해서 상기 도로가 습한 상황에 있다는 추가적인 표시를 식별하고, 그리고 상기 도로가 습하다는 추가적인 표시는 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되도록 구성된다. 다른 예시에서, 프로세서는 또한 상기 차량과 관련된 강수량 센서로부터 강수량 데이터를 수신하고, 상기 강수량 데이터에 기반해서 상기 도로가 습하다는 제2 표시를 식별하고, 상기 도로가 습하다는 제2 표시는 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되도록 구성된다. 다른 예시에서, 운전 상황을 추정하는 데 있어서, 상기 프로세서는 베이지안 추정을 사용하도록 구성된다. 다른 예시에서, 상기 프로세서는 또한 상기 도로의 예측 고도를 표시하는 상기 도로에 대한 상세한 지도 정보에 액세스하고, 상기 도로의 부분에 대해 평균 고도를 결정하고, 상기 도로의 부분의 평균 고도가 예측 고도보다 높은 적어도 제2 임계값인지에 기반해서 상기 도로가 습하다는 제2 표시를 식별하고, 그리고 상기 도로가 습하다는 제2 표시는 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되도록 구성된다. 다른 예시에서, 상기 프로세서는 또한 네트워크를 통해 서버로부터 차량의 현재 위치에 대한 날씨 정보를 수신하고, 상기 날씨 관련 정보에 기반해서 상기 도로가 습하다는 제2 표시를 식별하고, 그리고 상기 도로가 습하다는 제2 표시는 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되도록 구성된다.
본 발명의 일 양상은 한 방법을 제공한다. 상기 방법은 도로를 따라 차량이 운전됨에 따라 도로에 대해 수집되는 레이저 데이터를 수신하는 것과, 상기 레이저 데이터는 복수의 레이저 데이터 포인트들을 포함하고 상기 복수의 레이저 데이터 포인트들 중 데이터 포인트 각각은 위치 및 상기 위치에 관련된 강도 정보를 갖고; 상기 도로 내의 위치들과 관련된 복수의 레이저 데이터 포인트들의 평균 강도를 결정하고; 상기 평균 강도를 건조한 날씨 상황들 하에서의 도로의 예측 평균 강도와 관련된 임계값과 비교하고, 상기 평균 강도가 임계값 위일 때, 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 표시를 식별하고, 프로세서에 의해, 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 표시에 기반해서 상기 도로의 운전 상황들을 추정하고, 그리고 상기 프로세서에 의해, 상기 차량에 대한 운전 결정을 내리기 위해 상기 추정을 사용하는 것을 포함한다.
일 예시에서, 상기 방법은 또한 도로에 대한 강도 값들의 분포를 결정하는 것과, 예측 분포를 건조한 상황들에 대한 예측 분포와 비교하는 것과, 상기 결정된 분포가 건조한 상황들에 대한 예측 분포에 대해 상대적으로 강도 규모의 더 밝은 단부로 쉬프트된 때, 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 제2 표시를 식별하는 것을 포함하며, 그리고 상기 제2 표시는 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용된다. 다른 예시에서, 상세한 지도 정보는 도로를 넘어서는 영역들의 예측 평균 강도를 더 포함하고, 그리고 상기 방법은 또한 상기 도로를 넘어서는 하나 이상의 영역들로부터 수집되는 제2 레이저 데이터를 수신하는 것과, 상기 제2 레이저 데이터는 복수의 제2 레이저 데이터 포인트들을 포함하고, 상기 복수의 제2 레이저 데이터 포인트들 중 데이터 포인트 각각은 위치 및 상기 위치와 관련된 강도 정보를 갖고, 상기 복수의 제2 레이저 데이터 포인트들의 평균 강도를 결정하는 것과, 상기 복수의 레이저 데이터 포인트들의 평균 강도가 상기 도로를 넘어서는 영역들의 예측 평균 강도 위의 임계값일 때, 눈이 오는 상황들의 표시를 식별하는 것과, 그리고 상기 눈이 오는 상황들의 표시가 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 포함한다. 다른 예시에서, 상기 방법은 또한 상기 도로를 따라 상기 차량이 운전됨에 따라 카메라로부터 캡쳐되는 이미지들을 수신하는 것과, 상기 이미지들에 기반해서 눈이 오는 도로 상황들의 표시를 식별하는 것과, 그리고 눈이 오는 도로 상황들의 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 포함한다. 다른 예시에서, 상기 방법은 또한 상기 차량과 관련된 강수량 센서로부터 강수량 데이터를 수신하는 것과, 상기 강수량 데이터에 기반해서 눈이 오는 도로 상황들의 표시를 수신하는 것과, 그리고 눈이 오는 도로 상황들의 표시가 상기 운전 상황들을 추정하기 위해 프로세서에 의해 사용되는 것을 포함한다. 다른 예시에서, 운전 상황을 추정하는 것은 베이지안 추정을 사용하는 것을 포함한다. 다른 예시에서, 도로에 대한 상세한 지도 정보에 액세스하는 것은 상기 도로의 예측 고도를 식별하는 것을 포함하고 상기 방법은 또한 상기 도로의 평균 고도를 결정하는 것과, 상기 도로의 평균 고도가 상기 예측 고도보다 높은 적어도 임계값일 때, 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 추가적인 표시를 식별하는 것과, 그리고 상기 제2 표시가 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 포함한다. 다른 예시에서, 상기 방법은 또한 네트워크를 통해 서버로부터 상기 차량의 위치에 대한 날씨에 관련된 정보를 수신하는 것과, 상기 날씨에 관련된 정보에 기반해서 습한 날씨 상황들의 표시를 식별하는 것과, 그리고 상기 날씨에 관련된 정보에 기반한 습한 도로 상황들의 표시가 상기 운전 상황들을 추정하기 위해 사용되는 것을 포함한다.
본 발명의 다른 양상은 프로세서를 포함하는 시스템을 제공한다. 상기 프로세서는 도로를 따라 차량이 운전됨에 따라 도로에 대해 수집되는 레이저 데이터를 수신하고, 상기 레이저 데이터는 복수의 레이저 데이터 포인트들을 포함하고, 상기 복수의 레이저 데이터 포인트들 중 데이터 포인트 각각은 위치 및 상기 위치와 관련된 강도 정보를 갖고, 상기 도로 내의 위치들과 관련된 상기 복수의 레이저 데이터 포인트들의 평균 강도를 결정하고, 상기 평균 강도를 건조한 날씨 상황들 하에서의 상기 도로의 예측 평균 강도와 관련된 임계값과 비교하고, 상기 평균 강도가 임계값 위에 있을 때, 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 표시를 식별하고, 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 표시에 기반해서 상기 도로의 운전 상황들을 추정하고, 그리고 상기 차량에 대한 운전 결정을 내리기 위해 상기 추정을 사용하도록 구성된다.
한 예시에서, 프로세서는 또한 상기 도로에 대한 강도 값들의 분포를 결정하고, 상기 결정된 분포를 건조한 상황들에 대한 예측 분포와 비교하고, 상기 결정된 분포가 건조한 상황들에 대한 예측 분포에 대해 상대적으로 강도 규모의 더 밝은 단부를 향해 쉬프트된 때, 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 제2 표시를 식별하고, 그리고 상기 제2 표시가 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되도록 구성된다. 다른 예시에서, 상기 상세한 지도 정보는 상기 도로를 넘어서는 영역들의 예측 평균 강도를 더 포함하고 상기 프로세서는 또한 상기 도로를 넘어서는 하나 이상의 영역들로부터 수집되는 제2 레이저 데이터를 수신하고, 상기 제2 레이저 데이터는 복수의 제2 레이저 데이터 포인트들을 포함하고, 상기 복수의 제2 레이저 데이터 포인트들 중 데이터 포인트 각각은 위치 및 상기 위치와 관련된 강도 정보를 갖고, 상기 복수의 제2 레이저 데이터 포인트들의 평균 강도를 결정하고, 상기 복수의 레이저 데이터 포인트들의 평균 강도가 상기 도로를 넘어서는 영역들의 예측 평균 강도 위의 임계값일 때, 눈이 오는 상황들의 표시를 식별하고, 그리고 눈이 오는 상황들의 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되도록 구성된다. 다른 예시에서, 상기 프로세서는 또한 상기 도로를 따라 상기 차량이 운전됨에 따라 카메라로부터 캡쳐된 이미지들을 수신하고, 상기 이미지들에 기반해서 눈이 오는 도로 상황들의 표시를 식별하고, 그리고 눈이 오는 도로 상황들의 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되도록 구성된다. 다른 예시에서, 프로세서는 또한 상기 차량과 관련된 강수량 센서로부터 강수량 데이터를 수신하고, 상기 강수량 데이터에 기반해서 눈이 오는 도로 상황들의 표시를 식별하고, 그리고 눈이 오는 도로 상황들의 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되도록 구성된다. 다른 예시에서, 상기 운전 상황들을 추정할 때 상기 프로세서는 또한 베이지안 추정을 사용하도록 구성된다. 다른 예시에서, 상기 도로에 대한 상세한 지도 정보에 액세스하는 것은 상기 도로의 예측 고도를 식별하는 것을 포함하고, 상기 프로세서는 또한 상기 도로의 평균 고도를 결정하고, 상기 도로의 평균 고도가 예측 고도보다 높은 적어도 임계값일 때, 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 추가적인 표시를 식별하고, 그리고 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 제2 표시가 사용되도록 구성된다. 다른 예시에서, 상기 프로세서는 또한 네트워크를 통해 서버로부터 상기 차량의 위치에 대한 날씨에 관련된 정보를 수신하고, 상기 날씨에 관련된 정보에 기반해서 습한 날씨 상황들의 표시를 식별하고, 그리고 상기 날씨에 관련된 정보에 기반한 습한 도로 상황들의 표시는 운전 상황들을 추정하기 위해 사용되도록 구성된다.
본 발명의 추가적인 양상은 프로그램의 컴퓨터 판독 가능 명령들이 저장될 수 있는 비-일시적이고, 유형의 컴퓨터 판독가능 저장 매체를 제공한다. 상기 명령들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 한 방법을 수행하게끔 한다. 상기 방법은 도로를 따라 차량이 운전됨에 따라 도로에 대해 수집되는 레이저 데이터를 수신하는 것과, 상기 레이저 데이터는 복수의 레이저 데이터 포인트들을 포함하고, 상기 복수의 레이저 데이터 포인트들 중 데이터 포인트 각각은 위치 및 상기 위치와 관련된 강도 정보를 갖고, 상기 도로 내의 위치들과 관련된 복수의 레이저 데이터 포인트들의 평균 강도를 결정하는 것과, 상기 평균 강도를 건조한 날씨 상황들 하에서의 도로의 예측 평균 강도와 관련된 임계값과 비교하는 것과, 상기 평균 강도가 임계값의 위에 있을 때, 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 표시를 식별하는 것과, 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 표시에 기반해서 상기 도로의 운전 상황들을 추정하는 것과, 그리고 상기 차량에 대한 운전 결정을 내리기 위해 상기 추정을 사용하는 것을 포함한다.
일 예시에서, 상기 방법은 또한 상기 도로에 대한 강도 값들의 분포를 결정하는 것과, 상기 결정된 분포를 건조한 상황들에 대한 예측 분포와 비교하는 것과, 상기 결정된 분포가 건조한 상황들에 대한 상기 예측 분포에 대해 상대적으로 강도 규모의 더 밝은 단부를 향해 쉬프트된 때, 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 제2 표시를 식별하는 것을 포함하고, 그리고 상기 제2 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용된다. 다른 예시에서, 상기 상세한 지도 정보는 상기 도로를 넘어서는 영역들의 예측 평균 강도를 더 포함하고, 상기 방법은 또한 상기 도로를 넘어서는 하나 이상의 영역들로부터 수집되는 제2 레이저 데이터를 수신하는 것을 포함하고, 상기 제2 레이저 데이터는 복수의 제2 레이저 데이터 포인트들을 포함하고, 상기 복수의 제2 레이저 데이터 포인트들 중 데이터 포인트 각각은 위치 및 상기 위치와 관련된 강도 정보를 갖고, 상기 복수의 제2의 레이저 데이터 포인트들의 평균 강도를 결정하는 것과, 상기 복수의 레이저 데이터 포인트들의 평균 강도가 상기 도로를 넘어서는 영역들의 예측 평균 강도 위의 임계값일 때, 눈이 오는 상황들의 표시를 식별하는 것과, 그리고 눈이 오는 상황들의 표시가 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 더 포함한다. 다른 예시에서, 상기 도로에 대한 상세한 지도 정보에 액세스하는 것은 상기 도로의 예측 고도를 식별하는 것을 포함하고 상기 방법은 또한 상기 도로의 평균 고도를 결정하는 것을 포함하고, 상기 도로의 평균 고도가 상기 예측 고도보다 높은 적어도 임계값일 때, 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 추가적인 표시를 식별하는 것과, 그리고 상기 제2 표시가 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 포함한다.
도 1은 본 발명의 양상들에 부합하는 시스템의 기능도이다.
도 2는 본 발명의 양상들에 부합하는 자율주행차의 내부이다.
도 3a는 본 발명의 양상들에 부합하는 자율주행차의 외부이다.
도 3b는 본 발명의 양상들에 부합하는 시스템의 그림을 이용한 도면이다.
도 3c는 본 발명의 양상들에 부합하는 시스템의 기능도이다.
도 4는 본 발명의 양상들에 부합하는 지도 정보의 도면이다.
도 5는 일 구현에 부합하는 레이저 데이터의 도면이다.
도 6은 일 구현에 부합하는 레이저 데이터의 다른 도면이다.
도 7은 일 구현에 부합하는 흐름도이다.
도 8은 일 구현에 부합하는 도로의 도면이다.
도 9a는 일 구현에 부합하는 도로 및 데이터의 도면이다.
도 9b는 일 구현에 부합하는 예시 데이터의 그래프들이다.
도 10은 일 구현에 부합하는 다른 흐름도이다.
도 11a 및 도 11b는 차량 및 데이터 포인트 클라우드들의 도면들이다.
도 12는 일 구현에 부합하는 추가적인 흐름도이다.
도 13은 일 구현에 부합하는 레이저 데이터의 도면이다.
도 14는 일 구현에 부합하는 흐름도이다.
도 15a는 일 구현에 부합하는 도로의 다른 도면이다.
도 15b는 일 구현에 부합하는 예시 데이터의 그래프들이다.
도 16은 일 구현에 부합하는 다른 흐름도이다.
도 17은 일 구현에 부합하는 도로의 추가적인 도면이다.
도 18은 일 구현에 부합하는 추가적인 흐름도이다.
도 19는 일 구현에 부합하는 추가적인 흐름도이다.
도 20은 일 구현에 부합하는 예시 데이터의 도면이다.
도 21은 일 구현에 부합하는 흐름도이다.
도 22는 일 구현에 부합하는 다른 흐름도이다.
도 2는 본 발명의 양상들에 부합하는 자율주행차의 내부이다.
도 3a는 본 발명의 양상들에 부합하는 자율주행차의 외부이다.
도 3b는 본 발명의 양상들에 부합하는 시스템의 그림을 이용한 도면이다.
도 3c는 본 발명의 양상들에 부합하는 시스템의 기능도이다.
도 4는 본 발명의 양상들에 부합하는 지도 정보의 도면이다.
도 5는 일 구현에 부합하는 레이저 데이터의 도면이다.
도 6은 일 구현에 부합하는 레이저 데이터의 다른 도면이다.
도 7은 일 구현에 부합하는 흐름도이다.
도 8은 일 구현에 부합하는 도로의 도면이다.
도 9a는 일 구현에 부합하는 도로 및 데이터의 도면이다.
도 9b는 일 구현에 부합하는 예시 데이터의 그래프들이다.
도 10은 일 구현에 부합하는 다른 흐름도이다.
도 11a 및 도 11b는 차량 및 데이터 포인트 클라우드들의 도면들이다.
도 12는 일 구현에 부합하는 추가적인 흐름도이다.
도 13은 일 구현에 부합하는 레이저 데이터의 도면이다.
도 14는 일 구현에 부합하는 흐름도이다.
도 15a는 일 구현에 부합하는 도로의 다른 도면이다.
도 15b는 일 구현에 부합하는 예시 데이터의 그래프들이다.
도 16은 일 구현에 부합하는 다른 흐름도이다.
도 17은 일 구현에 부합하는 도로의 추가적인 도면이다.
도 18은 일 구현에 부합하는 추가적인 흐름도이다.
도 19는 일 구현에 부합하는 추가적인 흐름도이다.
도 20은 일 구현에 부합하는 예시 데이터의 도면이다.
도 21은 일 구현에 부합하는 흐름도이다.
도 22는 일 구현에 부합하는 다른 흐름도이다.
본 발명의 일 양상에서, 도로를 따라 수집되는 데이터 포인트들을 포함하는 레이저 스캔 데이터는 컴퓨터에 의해 수신될 수 있다. 상기 레이저 스캔 데이터는 도로를 포함하는 레이저의 주변들에서, 오브젝트들의 위치 및 강도, 도로 특징들 등을 표시하고, 그리고 일부 예시들에서, 도로의 경계들을 넘어선 세계를 표시하는 데이터 포인트들을 포함한다. 이 정보는 아래에 상세히 설명되는 바와 같이 하나 이상의 도로 날씨 상황들을 식별하기 위해 사용된다. 이에 더하여, 카메라로부터 캡쳐된 이미지들은 컴퓨터에 의해 수신된다. 레이저 데이터와 같이, 이미지들은 도로를 포함하는 카메라의 주위들에 관한 정보를 포함한다. 이미지들은 그 후에 도로 날씨 상황들의 표시를 식별하기 위해 사용된다. 강수량 센서로부터 데이터가 컴퓨터로부터 수신되고, 그리고 상기 데이터는 도로 날씨 상황들의 표시를 식별하기 위해 사용된다. 날씨 관련 정보는 컴퓨터에 의해서 네트워크를 통해 서버로부터 수신된다. 상기 날씨 관련 정보는 도로 날씨 상황의 표시를 식별하기 위해 사용된다. 식별된 표시는 그 후에 도로의 운전 상황들을 추정하기 위해 사용된다. 상기 추정은 아래에 더 상세히 설명되는 바와 같이 운전 결정을 내리는 데 사용된다.
도 1에서 볼 수 있는 바와 같이, 본 발명의 일 양상에 부합하는 자율 주행 시스템(100)은 다양한 컴포넌트들을 갖는 차량(101)을 포함한다. 본 발명의 특정 양상들이 특정 유형의 차량들과 함께 특히 유용한 반면에, 상기 차량은 자동차들, 트럭들, 모터사이클들, 버스들, 보트들, 비행기들, 헬리콥터들, 잔디깎기들, 레크레이션 차량들, 놀이 공원 차량들, 전차들, 골프 카트들, 기차들, 및 트롤리들(trolleys)을 포함하는 어떤 유형의 차량일 수도 있으나, 이들에 한정되지는 않는다. 상기 차량은, 프로세서(120), 메모리(130) 및 일반 목적의 컴퓨터들에서 전형적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨터(110)와 같은, 하나 이상의 컴퓨터들을 갖는다.
메모리(130)는 프로세서(120)에 의해 실행되거나 그렇지 않으면 프로세서(120)에 의해 사용되는 명령들(132) 및 데이터(134)를 포함하는, 프로세서(120)에 의해 액세스 가능한 정보를 저장한다. 메모리(130)는 하드 드라이브, 메모리 카드, ROM, RAM, DVD 또는 다른 광학 디스크들뿐만 아니라 다른 기록 가능 및 판독 전용 메모리들과 같은 전자 디바이스의 보조와 함께 판독될 수 있는 컴퓨터 판독 가능 매체, 또는 다른 매체를 포함하는 프로세서에 의해 액세스 가능한 정보를 저장할 수 있는 어떤 유형일 수 있다. 시스템들 및 방법들은 전술한 것들의 서로 다른 조합들을 포함하고, 명령들 및 데이터의 서로 다른 부분들은 이에 의해 서로 다른 유형들의 매체에 저장된다.
명령들(132)은 프로세서에 의해 직접적으로(기계적 코드와 같은) 또는 간접적으로(스크립트들과 같은) 실행될 수 있는 명령들의 어떤 세트일 수 있다. 예를 들어, 상기 명령들은 컴퓨터 판독 가능 매체에 컴퓨터 코드로서 저장될 수 있다. 그러한 점에서, "명령들" 및 "프로그램들"이라는 용어들은 본 명세서에서 교환적으로 사용될 수 있다. 상기 명령들은 프로세서에 의한 직접 프로세싱에 대한 오브젝트 코드 포맷으로 저장될 수 있거나, 요구에 따라 해석되거나 사전에 컴파일된 독립적인 소스 코드 모듈들의 스크립트들 또는 모음들을 포함하는 어떤 다른 컴퓨터 언어로 저장될 수 있다. 명령들의 기능들, 방법들 또는 루틴들은 아래에 더 상세히 설명된다.
데이터(134)는 명령들(132)에 부합하도록 프로세서(120)에 의해 검색되거나, 저장되거나 수정된다. 예를 들어, 상기 시스템 및 방법이 어떤 특정한 데이터 구조에 의해 한정되지 않음에도 불구하고, 상기 데이터는 컴퓨터 레지스터들, 복수의 서로 다른 필드들 및 기록들을 갖는 테이블로서의 관계형 데이터베이스(relational database), XML 문서들 또는 플랫 파일들에 저장될 수 있다. 상기 데이터는 또한 어떤 컴퓨터 판독 가능 포맷으로 포맷화될 수도 있다. 예시의 추가적인 방식으로서만, 이미지 데이터는 압축되거나 비압축된, 무손실(예를 들어, BMP) 또는 손실(예를 들어, JPEG)의, 그리고 비트맵 또는 벡터-기반의(예를 들어, SVG) 포맷들뿐만 아니라, 그래픽들을 그리기 위한 컴퓨터 명령들에 부합하도록 저장된 픽셀들의 그리드들(grids)로 구성되는 비트맵들로서 저장될 수 있다. 상기 데이터는 숫자들, 설명적인 텍스트, 독점 코드들(proprietary codes), 동일한 메모리 또는 (다른 네트워크 위치들을 포함하는)다른 메모리들의 다른 영역들에 저장된 데이터에 대한 참조들과 같은 상기 관련 정보를 식별하기 위해 충분한 어떤 정보, 또는 상기 관련 데이터를 계산하기 위해 한 기능에 의해 사용된 정보를 포함한다.
프로세서(120)는 상업적으로 이용 가능한 CPU들과 같은, 어떤 종래의 프로세서일 수 있다. 대안적으로, 상기 프로세서는 ASIC와 같은 전용 디바이스일 수 있다. 비록 도 1이 프로세서, 메모리 및 컴퓨터(110)의 다른 요소들이 동일한 블럭 내에 있는 것으로 기능적으로 설명했지만, 상기 프로세서 및 메모리는 실제로는 동일한 물리적 하우징(housing) 내에 저장되거나 저장되지 않을 수 있는 다수의 프로세서들 및 메모리들을 포함할 수 있다는 것이 이해될 것이다. 예를 들어, 메모리는 컴퓨터(110)의 하우징과 다른 하우징에 위치된 하드 드라이브 또는 다른 저장 매체일 수 있다. 따라서, 프로세서 또는 컴퓨터에 대한 참조들은, 병렬적으로 동작하거나 동작하지 않을 수 있는 프로세서들 또는 컴퓨터들 또는 메모리들의 모음에 대한 참조들을 포함하는 것으로 이해될 것이다. 본 명세서에 설명된 단계들을 수행하기 위해 단일의 프로세서를 사용하는 것보다는, 조종 컴포넌트들 및 감속 컴포넌트들과 같은, 컴포넌트들 중 일부 각각은 컴포넌트의 구체적인 기능과 관련된 계산들을 수행하기만 하는 각각의 고유의 프로세서를 가질 수 있다.
본 명세서에 설명된 다양한 양상들에서, 프로세서는 차량으로부터 원격적으로 위치될 수 있고 상기 차량과 무선으로 통신할 수 있다. 다른 양상들에서, 단일의 조작을 실행하기 위해 필요한 단계들을 취하는 것을 포함하여, 본 명세서에 설명된 프로세스들 중 일부는 차량 내에 배치되는 프로세서에서 실행되는 반면에 다른 프로세스들은 원격 프로세서에 의해 실행된다.
컴퓨터(110)는, 웹 브라우저, 전자 디스플레이(142)(예를 들어, 스크린을 갖는 모니터, 작은 LCD 터치스크린 또는 정보를 디스플레이하도록 동작 가능한 어떤 다른 전기적 디바이스), 사용자 입력(140)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰)뿐만 아니라, 사람의 상태들 및 원하는 것들에 관한 명시적(예를 들어, 제스처) 또는 암시적(예를 들어, "사람이 잠들어 있다") 정보를 수집하기 위한 다양한 센서들(예를 들어, 비디오 카메라)과 같은, 데이터(134) 및 명령들을 저장하는 중앙 프로세싱 유닛(CPU), 메모리(예를 들어, RAM 및 내부 하드 드라이브들)와 연결되어 일반적으로 사용되는 모든 컴포넌트들을 포함할 수 있다.
일 예시에서, 컴퓨터(110)는 차량(101)으로 통합되는 자율 주행 컴퓨팅 시스템일 수 있다. 도 2는 자율 주행차의 내부의 대표적인 설계를 묘사한다. 상기 자율 주행차는 비-자율 주행차의 모든 구성들을 포함할 것이다, 예를 들어: 조종 휠(210)과 같은, 조종 장치, 내비게이션 디스플레이(215)와 같은, 내비게이션 장치, 기어 쉬프터(gear shifter)(220)와 같은, 기어 선택기 장치. 상기 차량은 또한, 하나 이상의 자율 주행 모드들을 활성화하거나 비활성화하기 위한, 그리고 운전자 또는 승객(290)으로 하여금 내비게이션 목적지와 같은 정보를 자율 주행 컴퓨터(110)에 제공하는 것을 가능하게 하기 위한, 기어 쉬프터(220), 터치 스크린(217) 또는 버튼 입력들(219)과 같은 다양한 사용자 입력 디바이스들을 가질 수 있다.
차량(101)은 또한 하나 이상의 추가적인 디스플레이들을 포함할 수 있다. 예를 들어, 상기 차량은 자율 주행차 또는 자율 주행차의 컴퓨터의 상태에 관한 정보를 디스플레이하기 위한 디스플레이(225)를 포함할 수 있다. 다른 예시에서, 상기 차량은 차량(101)의 현재 상태를 표시하기 위해, 상태 바(230)와 같은 상태 표시 장치를 포함할 수 있다. 도 2의 예시에서, 상태 바(230)는 상기 차량이 현재 운전 모드에 있고 시간당 2마일로 움직이고 있다는 것을 표시하는 "D" 및 "2 mph"를 디스플레이한다. 그러한 관점에서, 상기 차량은 전자 디스플레이에 텍스트를 디스플레이할 수 있고, 조종 휠(210)과 같은 차량(101)의 부분들을 밝힐 수 있거나, 다양한 다른 유형들의 표시들을 제공할 수 있다.
자율 주행차 컴퓨팅 시스템은 상기 차량의 다양한 컴포넌트들과 통신할 수 있다. 예를 들어, 도 1로 돌아가면, 컴퓨터(110)는 차량의 종래의 중앙 프로세서(160)와 통신 중일 수 있고, 차량(101)의 움직임, 속도 등을 제어하기 위해, 예를 들어 브레이킹 시스템(180), 가속 시스템(182), 신호 시스템(184), 내비게이션 시스템(186)과 같은 차량(101)의 다양한 시스템들로부터 정보를 보내고 수신할 수 있다. 이에 더하여, 사용중일 때, 컴퓨터(110)는 차량(101)의 이러한 기능들의 일부 또는 전부를 제어할 수 있고, 그러므로 완전히 또는 단지 부분적으로 자율적일 수 있다. 비록 다양한 시스템들 및 컴퓨터(110)가 차량(101) 내에 도시되었지만, 이러한 요소들은 차량(101)의 외부에 있을 수 있고 긴 거리만큼 물리적으로 분리되어 있을 수 있다는 것이 이해될 것이다.
상기 차량은 또한 상기 디바이스의 지리적 위치를 결정하기 위해 컴퓨터(110)와 통신하는 지리적 위치 컴포넌트(144)를 포함한다. 예를 들어, 상기 위치 컴포넌트는 디바이스의 위도, 경도 및/또는 고도를 결정하기 위해 GPS 리시버를 포함할 수 있다. 레이저 기반 위치 인식 시스템들, 관성 보조 GPS(inertial-aided GPS), 또는 카메라 기반 위치 인식과 같은 다른 위치 시스템들 또한 차량의 위치를 식별하기 위해 사용될 수 있다. 상기 차량의 위치는 위도, 경도 및 고도와 같은 절대 지리적 위치뿐만 아니라, 종종 절대 지리적 위치보다 적은 잡음을 가지고 결정될 수 있는, 상기 차량의 바로 주위의 다른 차들에 대해 상대적인 위치와 같은 상대 지리적 위치를 포함한다.
상기 차량은 또한, 상기 차량의 방향 및 속도, 또는 상기 차량의 방향 및 속도에 대한 변화를 결정하기 위해, 가속도계, 자이로스코프 또는 다른 방향/속도 검출 디바이스(146)와 같은, 컴퓨터(110)와 통신하는 다른 구성들을 포함할 수도 있다. 예시의 방식으로서만, 디바이스(146)는 중력 방향에 관해, 또는 중력 방향에 대해 수직인 평면에 관해, 차량의 피치(pitch), 요(yaw), 또는 롤(roll)(또는 피치, 요, 롤의 변화들)을 결정할 수 있다. 본 명세서에 제시된 대로, 위치 및 배향 데이터의 디바이스의 제공은 사용자, 컴퓨터(110), 다른 컴퓨터들 및 사용자, 컴퓨터(110), 다른 컴퓨터의 조합들에 자동적으로 제공될 수 있다.
컴퓨터는 다양한 컴포넌트들을 제어함에 의해 차량의 방향 및 속도를 제어한다. 예시의 방식으로서, 만약 상기 차량이 완전히 자율 모드에서 동작하고 있다면, 컴퓨터(110)는 상기 차량으로 하여금 가속하고(예를 들어, 엔진에 제공되는 연료 또는 다른 에너지를 증가시킴에 의해), 감속하고(예를 들어, 엔진에 공급되는 연료를 감소시킴에 의해 또는 브레이크를 적용함에 의해) 방향을 변경(예를 들어, 전방의 2개의 휠들을 돌림에 의해)하게끔 한다.
상기 차량은 또한 도로의 다른 차량들, 장애물들, 교통 신호들, 표지판들, 나무들 등과 같은 차량 외부의 오브젝트들 및 상황들을 검출하기 위한 컴포넌트들(148)을 포함한다. 상기 검출 시스템은 레이저들, SONAR, RADAR, 카메라들, 강수량 센서들, 또는 컴퓨터(110)에 의해 프로세싱된 데이터를 기록하는 어떤 다른 검출 디바이스들을 포함한다. 예를 들어, 만약 상기 차량이 소형차라면, 상기 차량은 루프 또는 다른 편리한 위치에 마운팅된 레이저를 포함한다. 도 3a에서 보이는 바와 같이, 차량(101)은 소형차를 포함한다. 이 예시에서, 차량(101) 센서들은 상기 차량의 전방 및 상부에 각각 마운팅된 레이저들(310 및 311)을 포함한다. 상기 레이저들은 Velodyne HDL-64 또는 다른 모델들과 같은 상업적으로 이용 가능한 레이저들을 포함한다. 상기 레이저들은 2개 이상의 레이저 빔을 포함한다. 예를 들어, Velodyne HDL-64 레이저는 64개의 빔들을 포함한다. 한 예시에서, 레이저(310)의 빔들은 150미터의 범위, 30도의 수직 시야, 그리고 30도의 수평 시야를 갖는다. 레이저(311)의 빔들은 50-80미터의 범위, 30도의 수직 시야, 그리고 360도의 수평 시야를 갖는다. 상기 레이저들은 상기 차량에 상기 컴퓨터가 차량 주변들의 다양한 오브젝트들의 위치 및 거리를 식별하기 위해 사용할 수 있는 범위 및 강도 정보를 제공한다. 일 양상에서, 상기 레이저는 레이저의 축을 따라 회전하고 레이저의 피치를 변경함에 의해, 상기 차량과 상기 차량을 마주하는 오브젝트 표면들간의 거리를 측정한다.
위에 지적한 바와 같이, 상기 차량은 또한 하나 이상의 카메라들을 포함한다. 상기 카메라들은 2개 이상의 카메라들의 이미지들로부터의 시차(parallax)가 다양한 오브젝트들까지의 거리를 계산하기 위해 사용될 수 있도록 미리 결정된 거리들을 두고 마운팅될 수 있다. 도 3a에서 보이는 바와 같이, 차량(300)은 앞 유리(330) 아래 백미러(미도시) 가까이에 마운팅된 2개의 카메라들(320-321)을 포함한다. 일 예시에서, 카메라(320)는 200미터의 범위 및 30도의 수평 시야를 포함할 수 있는 반면에, 카메라(321)는 100미터의 범위 및 60도의 수평 시야를 포함할 수 있다.
상기 차량은 또한 하나 이상의 강수량 센서들을 포함한다. 한 예시에서, 전형적인 차량들과 같이, 강수량 센서(340)는 앞 유리(330) 아래에 마운팅되거나 앞 유리(330)로 통합된다. 강수량 센서들은 또한 헤드램프의 위치에 또는 헤드램프의 위치와 가까이와 같은 다양한 다른 위치들에 마운팅된다. 일 예시에서, 강수량 센서는 하나 이상의 적외선 발광 다이오드들(infrared LEDs) 및 광다이오드와 같은 광검출기(photodetector)의 세트를 포함한다. LED들에 의해 방출되는 빛은 앞 유리에 의해 광다이오드로 반사된다. 광다이오드가 더 적은 빛을 수신할수록, 차량 외부의 강수량이 더 많다. 반사된 빛의 양 또는 상기 검출된 강수량의 일부 다른 표시기는 컴퓨터(110)에 건네진다.
앞에 언급된 센서들은 상기 차량으로 하여금 승객들뿐만 아니라 환경에 있는 오브젝트들 또는 사람들에 대한 안전을 최대화하기 위해 상기 차량의 환경을 이해하고 잠재적으로 응답하는 것을 가능하게 한다. 상기 차량 유형들, 센서들의 개수 및 유형, 센서 위치들, 센서 시야들, 그리고 센서들의 센서 분야들은 단지 대표적인 것임이 이해될 것이다. 다양한 다른 구성들 또한 활용될 수 있다.
위에 설명된 센서들에 추가로, 상기 컴퓨터는 또한 전형적인 비-자율 주행차의 센서들로부터의 입력을 사용한다. 예를 들어, 이러한 센서들은 타이어 압력 센서들, 엔진 온도 센서들, 브레이크 열 센서들, 브레이크 패드 상태 센서들, 타이어 자국 센서들, 연료 센서들, 오일 레벨 및 오일 품질 센서들, 공기 품질 센서들(온도, 습도, 또는 공기의 미립자들을 검출하기 위함) 등을 포함한다.
많은 이러한 센서들은 컴퓨터에 의해 실시간으로 프로세싱되는 데이터를 제공한다. 즉, 상기 센서들은 그 시간에 또는 시간의 범위에 걸쳐 센싱되고 있는 환경을 반영하기 위해, 상기 센서들의 출력을 계속적으로 업데이트하고, 그리고 컴퓨터가 차량의 당시의(then-current) 방향 또는 속도가 센싱된 환경에 응답하여 수정되어야만 하는지를 결정할 수 있도록, 상기 컴퓨터에 업데이트된 출력을 계속적으로 또는 요구하는 대로 제공한다.
다양한 센서들에 의해 제공되는 데이터를 프로세싱하는 것에 추가로, 상기 컴퓨터는 이전 시점에 획득되었던 환경 데이터에 의존할 수 있고 환경에서 차량의 존재와 무관하게 이를 지속하는 것으로 예측될 수 있다. 예를 들어, 도 1로 돌아가면, 데이터(134)는, 예를 들어, 도로들의 모양 및 고도, 교차로들, 횡단보도들, 속도 제한들, 교통 신호들, 건물들, 표지판들, 실시간 교통 정보, 또는 기타의 그러한 오브젝트들 및 정보를 식별하는 매우 상세한 지도들과 같은, 상세 지도 정보(136)를 포함한다. 일부 예시들에서, 상기 상세 지도 정보는 서로 다르게 뻗어있는 도로에 대한 예측 밝기 또는 레이저 강도 데이터를 설명하는 데이터를 포함한다.
상세 지도 정보(136)는 또한 차로 마커들의 위치, 고도, 그리고 모양을 식별하는 차로 마커 정보를 포함한다. 차로 마커들은 실선 또는 파선의 이중 또는 단일 차선들, 실선 또는 파선의 차선들, 반사경들(reflectors) 등과 같은 구성들을 포함한다. 주어진 차로는 좌측 차선 및 우측 차선 또는 차로의 경계를 정의하는 기타 차로 마커들과 관련된다. 그러므로, 대부분의 차로들은 한 차선의 좌측 에지 및 다른 차선의 우측 에지에 의해 경계 지어진다.
도 4는 (레이저의 범위 외부의 정보뿐만 아니라)도로의 동일한 예시 섹션을 포함하는 상세 지도(400)를 묘사한다. 상기 도로의 섹션의 상세 지도는 실선인 차선(410), 파선인 차선들(420, 440), 그리고 이중의 실선인 차선들(430)과 같은 정보를 포함한다. 이러한 차선들은 차로들(450 및 460)을 정의한다. 각 차로는 차량이 각각의 차로에서 일반적으로 운행해야만 하는 방향을 표시하는 레일(455, 465)과 관련된다. 예를 들어, 한 차량은 차로(460)를 따라 운전할 때 레일(465)을 따라간다. 이 예시에서, 차로(450)는 우측 차선(410) 및 좌측 차선(420)에 의해 경계 지어지고, 차로(460)는 우측 차선(420) 및 좌측 차선(430)에 의해 경계 지어진다. 차로(450)에 대한 에지들은 에지들(470, 472)이고, 반면에 차로(460)에 대한 에지들은 에지들(474, 476)이다.
다시, 비록 상기 상세 지도 정보가 본 명세서에서 이미지 기반 지도로 묘사되었지만, 상기 지도 정보는 완전히 이미지 기반일 필요는 없다(예를 들어, 래스터). 예를 들어, 상기 상세 지도 정보는 하나 이상의 도로그래프들 또는 도로들, 차로들, 교차로들, 그리고 이러한 구성들간의 연결들과 같은 정보의 그래프 네트워크들을 포함한다. 각각의 구성은 그래프 데이터로서 저장될 수 있고 지리적 정보와 같은 정보, 그리고 상기 구성이 다른 관련된 구성들과 링크되었는지 아닌지와 관련될 수 있고, 예를 들자면, 정지 표지판은 도로 및 교차로 등에 링크된다. 일부 예시들에서, 상기 관련된 데이터는 특정 도로그래프 구성들의 효율적인 검색을 위해 도로그래프의 그리드 기반 인덱스들을 포함한다.
컴퓨터(110)는 또한 다른 컴퓨터에 그리고 다른 컴퓨터로부터 정보를 수신 또는 전달한다. 예를 들어, 컴퓨터(110)에 저장된 지도 정보는 다른 컴퓨터들로부터 수신되거나 전달될 수 있고 그리고/또는 차량(101)의 센서들로부터 수집된 센서 데이터는 본 명세서에 설명된 바와 같이 프로세싱을 위해 다른 컴퓨터에 전달될 수 있다. 도 3b 및 3c에서 볼 수 있는 바와 같이, 컴퓨터(110)로부터의 데이터는 추가적인 프로세싱을 위해 네트워크를 통해 컴퓨터(320)에 전송된다. 네트워크, 그리고 사이에 있는 노드들은 인터넷, 월드 와이드 웹, 인트라넷들, 가상 사설 네트워크들, 광대역 네트워크들, 지역 네트워크들, 하나 이상의 회사들의 독점인 통신 프로토콜들을 사용한 사설 네트워크들, 이더넷, WiFi 및 HTTP, 그리고 전술한 것들의 다양한 조합들을 포함하는 다양한 구성들 및 프로토콜들을 포함한다. 그러한 통신은 모뎀들 및 무선 인터페이스들과 같은 다른 컴퓨터들에 또는 상기 다른 컴퓨터들로부터 데이터를 전송할 수 있는 어떤 디바이스에 의해서 용이해진다. 다른 예시에서, 데이터는 컴퓨터들(110 및 320)에 의해 액세스되거나 컴퓨터들(110 및 320)에 연결되는 메모리에 상기 데이터를 저장함에 의해 전달된다.
일 예시에서, 컴퓨터(320)는 예를 들어, 로드 밸런스드 서버 팜(load balanced server farm)과 같은, 복수의 컴퓨터들을 갖는, 컴퓨터(110)로부터 데이터를 수신하고, 프로세싱하고 전송하는 목적을 위해 네트워크의 서로 다른 노드들과 정보를 교환하는 서버를 포함한다. 상기 서버는 컴퓨터(110)와 유사하게 구성될 수 있고, 프로세서(330), 메모리(350), 명령들(360) 및 데이터(370)를 갖는다.
일 예시에서, 서버(320)의 데이터(370)는 날씨 관련 정보를 제공하는 것을 포함한다. 예를 들어, 서버(320)는 날씨에 관련된 다양한 정보를 수신, 모니터링, 저장, 업데이트 그리고 전송한다. 이 정보는 예를 들어, 보도들(reports), 레이더 정보, 일기예보들(forecasts) 등의 형태인 강수량, 구름, 및/또는 온도 정보를 포함한다.
위에 설명되고 도면들에서 설명된 동작들에 더하여, 다양한 동작들이 이제 설명될 것이다. 다음의 동작들은 아래에 설명된 정확한 순서로 수행될 필요는 없다는 것이 이해되어야 한다. 그보다는, 다양한 단계들이 서로 다른 순서로 또는 동시에 취급될 수 있고, 단계들은 추가되거나 생략될 수도 있다.
하나 이상의 센서들을 포함하는 차량이 도로를 따라 운전될 수 있다. 예를 들어, 상기 센서들은 레이저를 포함할 수 있다. 상기 레이저는 전형적인 차량, 또는 차량(101)과 같은 자율 주행 시스템의 부분에 부착된 차량 밖의 센서일 수 있다. 도 5는 도 4의 상세 지도 정보에 대응하는 도로(500)의 섹션에 있는 차량(101)을 묘사한다. 이 예시에서, 상기 도로는 실선인 차선(510), 파선인 차선들(520 및 540), 이중의 차선들(530) 및 차로들(550 및 560)을 포함한다.
상기 차량의 레이저 또는 레이저들이 따라 움직여짐에 따라, 상기 차량은 몇몇의 방향들로부터 그리고/또는 서로 다른 시간들에서 동일한 위치(포인트 또는 영역)에 대한 범위 및 강도 정보를 포함하는 데이터 포인트들을 수집한다. 예를 들어, 데이터 포인트 각각은 오브젝트- 상기 오브젝트로부터의 빛이 레이저에 의해 수신됨-의 반사도(reflectivity)를 표시하는 강도 값뿐만 아니라 위치 정보를 포함한다. 예를 들어, 차로 마커와 같은 매우 반사적인 표면들은 아스팔트, 시멘트, 또는 기타 도로 표면들과 같은 덜 반사적인 표면들보다 더 높은 강도와 관련될 것이다. 유사하게, 더 많은 빛을 흡수하는 더 어두운 오브젝트들(블랙, 네이비 블루, 브라운 등)은 더 많은 빛을 반사하는 더 가벼운 색상의 오브젝트들(화이트, 크림, 실버 등)보다 훨씬 더 낮은 강도 값과 관련될 것이다. 이러한 관점에서, 오브젝트가 습할 때, 상기 오브젝트는 실제로 더 어두워질 것이고, 그러므로 오브젝트의 강도 값을 증가시키는 것보다는, 수분은 강도 값을 감소시킬 것이다.
일부 예시들에서, 강도 값들은, 예를 들어 0부터 250까지의 규모이고, 여기서 0은 매우 어둡고 250은 매우 밝다. 그러므로, 더 반사적이고, 더 밝은 표면들은 250에 가까운 강도 값과 관련되고, 반면에 덜 반사적이고, 더 어두운 표면들은 0에 가까운 강도 값과 관련된다.
예를 들어, 레이저 스캔 데이터는 지리적 위치 좌표들을 발생시키기 위해 컴퓨터(110 또는 320)에 의해 수신되고 프로세싱된다. 이러한 지리적 위치 좌표들은 고도 컴포넌트 (z)와 함께 GPS 위도 및 경도 좌표들인 (x,y)를 포함하거나, 또는 다른 좌표 시스템들과 관련된다. 이 프로세싱의 결과는 데이터 포인트의 세트이다. 이 세트의 데이터 포인트 각각은 오브젝트- 상기 오브젝트로부터의 빛이 레이저에 의해 수신됨-의 반사도를 표시하는 강도 값뿐만 아니라 위치 정보- (x,y,z)-를 포함한다.
도 6은 차량(101)이 교차로에 접근하는 대표적인 이미지(600)를 묘사한다. 상기 이미지는 예를 들어, 수집 레이저(들)의 모든 빔들의 데이터 포인트들을 사용하여, 차량의 주변들의 단일의 360도 스캔을 위한 차량의 레이저들에 의해 수집된 레이저 스캔 데이터로부터 발생되었다. 흰색 라인들은 레이저가 어떻게 레이저의 주변들을 "보는"지를 나타낸다. 복수의 빔들의 데이터 포인트들이 함께 고려될 때, 상기 데이터 포인트들은 차량의 주변들의 다른 아이템들의 모양 및 3차원(3D) 위치인 (x,y,z)를 표시한다. 예를 들어, 상기 레이저 스캔 데이터는 사람들(610), 차량들(620) 및 커브(630)와 같은 다양한 오브젝트들의 차량(101)으로부터의 윤곽, 모양 및 거리를 표시한다.
차량의 주변들의 오브젝트들 및 도로 피쳐들(features)을 식별하는 것에 더하여, 상기 컴퓨터(110)는 또한 안전하게 차량(101)을 제어하기 위한 컴퓨터(110)의 능력에 영향을 줄 수 있는 날씨 상황들("도로 날씨 상황들")의 표시들을 검출한다. 이러한 도로 상황들은 습하거나 얼음에 뒤덮인 상황들, 눈이 오는 상황들, 안개가 낀 상황들 등과 같은 상황들을 포함한다.
본 발명의 일부 양상들에서, 컴퓨터(110)는 습한 도로 상황들의 표시들을 검출한다. 일 예시에서, 컴퓨터는 도로에 대한 레이저 데이터 포인트들의 평균 강도를 조사하고, 도로가 습한지의 표시를 식별하기 위해, 상기 평균 강도를 임계치와 비교한다. 예를 들어, 위에서 언급되었듯이, 도로의 습하거나 얼음에 뒤덮인 영역들은 도로의 강도를 낮춘다. 그러므로, 습한 도로는 (시멘트, 아스팔트, 벽돌 등으로 된)건조한 도로들뿐만 아니라 지도 정보에 나타나는 차로 마커들 등과 같은 다른 예측 도로 피쳐들의 평균 강도 값보다 다소 낮은 평균 강도 값들을 가진다.
레이저 데이터 포인트들의 평균 강도를 결정할 때, 도로 또는 도로의 일부 부분과 관련되거나 도로 또는 도로의 일부 부분 내의 모든 레이저 데이터 포인트들 및 강도 값들은 조사된다. 예를 들어, 상기 차량은 상기 차량의 차로에 있는 상기 차량 바로 앞의 영역, 상기 차량의 현재 차로와 동일한 일반적 방향으로 교통을 움직이는 모든 차로들, 상기 차량의 레이저 또는 레이저 등의 시야와 관련된 도로 내의 모든 데이터 포인트들 등과 관련된 데이터 포인트들을 조사한다. 만약 일부 퍼센트의 상기 조사된 레이저 데이터 포인트들이 특정 임계값의 아래의 강도 값을 갖는다면, 상기 컴퓨터는 사기 도로가 습하다는 것을 결정한다. 예를 들어, 위에 설명된 0부터 250의 규모를 사용하면, 만약 도로에 1000개의 레이저 데이터 포인트들이 있고 이 1000개의 포인트들 중 적어도 850개(또는 이러한 레이저 데이터 포인트들의 적어도 85%)는 임계치인 10 아래의 강도를 갖는다면, 상기 도로는 매우 어둡다. 위에서 언급된 바와 같이, 낮은 강도 값은 도로가 습할 높은 가능성을 표시한다. 예를 들어, 상기 도로의 예측 강도 또는 구성 요소들에 기반해서, 다른 임계치들 및 퍼센트들 또한 사용될 수 있다. 이러한 관점에서, 아스팔트에 대해 사용되는 임계값은 시멘트 또는 벽돌 도로들에 대해 사용되는 임계값보다 낮을 수 있다.
도 7의 흐름도(700)는 도로가 습하다는 표시를 식별하기 위해 컴퓨터(110)가 어떻게 도로의 평균 강도뿐만 아니라 임계값을 사용하는지의 일 예시이다. 이 예시에서, 컴퓨터(110)는 블럭(710)에서 차량이 도로를 따라 운전됨에 따라 도로에 대해 수집되는 레이저 데이터를 수신한다. 위에 언급된 바와 같이, 상기 레이저 데이터는 위치 및 강도 정보를 갖는 복수의 레이저 데이터 포인트들을 포함한다. 블럭(720)에서, 컴퓨터(110)는 상기 수신된 레이저 데이터로부터 평균 강도를 결정한다. 이 평균 강도는 블럭(730)에서 도로에 대한 임계값과 비교된다. 상기 평균 강도가 임계값 아래일 때, 상기 컴퓨터는 이후에 블럭(740)에서 상기 도로가 습하다는 표시를 식별한다.
다른 예시에서, 컴퓨터는 도로가 습한지 아닌지의 표시를 식별하기 위해 도로의 강도에 있어서 변화들을 조사한다. 예를 들어, 컴퓨터(110)는 도로의 한 부분을 따라 강도 값들의 표준 편차 또는 분포를 계산한다. 건조한 상황들 동안, 상기 강도 값들의 분포는 건조한 도로에 대한 예측 강도 값 주위를 중심으로 하는 가우시안 모델(Gaussian model)에 가까울 수 있다. 예를 들어, 상기 도로가 어디에 위치되는지와 상관없이, 건조한 상황들에서는, 상기 강도 값들은 유사한 값들 주위에 무리를 이루는 것이 예측된다. 만약 상기 강도 값들의 분포가 건조한 상황들에 대한 예측 분포에 가까이로부터 더 낮은 강도를 향해 쉬프트된 때, 상기 컴퓨터는 상기 도로가 더 어둡다는 것을 결정한다. 예를 들어, 만약 상기 도로가 웅덩이들 또는 습한 타이어 트랙들과 같은 도로의 습한 영역들을 포함한다면, 이는 상기 도로가 습하다는 것을 표시할 수 있다.
도 8은 습한 상황들의 다양한 표시기들을 갖는 도로(500)의 일 예시이다. 이 예시에서, 차로(550)는 이전의 또는 현재 강우로부터의 일부 웅덩이들(810 및 812)을 포함한다. 다른 차량이 이러한 웅덩이들을 통해 운전된 뒤에, 상기 다른 차량은 습한 타이어 트랙들(820)을 뒤에 남길 수 있다. 도 9a는 도 4의 도로(500)에 대한 상세 지도 정보와 비교하여, 도 8의 예시로부터 프로세싱된 레이저 데이터 포인트들의 일 예시를 묘사한다. 이 예시에서, 구성들(910, 912 및 920)은 각각 웅덩이들(810, 812 및 820)에 대한 레이저 데이터 포인트들의 일반적 위치를 나타낸다. 이러한 구성들(910, 912 및 920)은 차로(550)의 나머지보다 다소 낮은 평균 강도 값을 갖는, 강도 값들을 갖는 레이저 데이터 포인트들과 관련된다. 도 9b로 넘어가면, 그래프(960)는 건조한 상황들에 대한 예측 강도 값들의 분포(965)의 일 예시를 묘사한다. 그래프(970)는 도 9a와 같은 예시들에서 강도 값들에 대한 분포(975)의 일 예를 묘사한다. 이 예시에서, 상기 분포는 강도 규모 중 0 또는 더 어두운 단부를 향해 (화살표(980)의 방향으로)쉬프트되었다. 위에 언급된 바와 같이, 컴퓨터(110)는 도로가 습하다는 것을 결정하기 위해 이 쉬프트를 사용하거나, 적어도 일부 습한 영역들을 포함한다.
도 10의 흐름도(1000)는 도로가 습하다는 표시를 식별하기 위해 컴퓨터(110)가 도로의 강도에 있어서의 변화들을 어떻게 사용할 수 있는지의 일 예시이다. 이 예시에서, 블럭(1010)에서, 컴퓨터(110)는 차량이 도로를 따라 운전됨에 따라 도로에 대해 수집되는 레이저 데이터를 수신한다. 위에 언급된 바와 같이, 레이저 데이터는 위치 및 강도 정보를 갖는 복수의 레이저 데이터 포인트들을 포함한다. 블럭(1020)에서, 컴퓨터(110)는 상기 도로에 대해 강도의 분포를 식별하기 위해 레이저 데이터를 프로세싱한다. 블럭(1030)에서, 강도 값들의 이러한 분포는 이후에 건조한 날씨 상황들 하에서의 상기 도로에 대한 강도 값들의 예측 분포와 비교된다. 블럭(1040)에서, 강도 값들의 분포가 건조한 날씨 상황들 하에서의 상기 도로에 대한 강도 값들의 예측 분포로부터 강도 규모의 어두운 단부를 향해 쉬프트했을 때, 상기 컴퓨터(110)는 이후에 상기 도로가 습하다는 표시를 식별한다.
추가적인 예시에서, 상기 컴퓨터는 차량의 타이어들에 의해 물이 킥-업(kicked up)되고 있는지를 검출함에 의해 상기 도로가 습하다는 표시를 식별한다. 예를 들어, 상기 도로 표면이 아주 습해서 자율 주행차의 타이어들에 의해 물이 킥-업되고 있을 때, 상기 컴퓨터(110)는 휠들 뒤의 임의의 레이저 포인트들을 검출한다. 이러한 관점에서, 상기 컴퓨터(110)는, 도 11a 및 도 11b에서 볼 수 있는 바와 같이, 임의의 데이터 포인트들의 클라우드 또는 클라우드들(1110, 1112)을 차량(101)의 뒷 타이어들(1120) 및/또는 범퍼(1130) 바로 뒤에서 검출한다. 움직이는 물로 인한 한 결과로서, 상기 클라우드들 내의 데이터 포인트들의 위치 및 개수는 지속적으로 변화한다. 그러므로, 물로부터의 데이터 포인트들의 클라우드는 확정적인 구조를 갖지 않을 것이고, 반면에, 차량의 뒷부분과 같은 고체 오브젝트의 부분은 더 분명한 표면을 정의하는 데이터 포인트들과 관련될 것이다. 유사한 데이터 포인트 클라우드들 또한 다른 차량들 뒤에서 관측될 것이다. 그러한 관측들은 비가 오고 있거나 지면이 매우 습하다는 것을 표시한다.
도 12의 흐름도(1200)는 도로가 습하다는 표시를 식별하기 위해 컴퓨터(110)가 어떻게 레이저 데이터 포인트들의 클라우드들을 조사할 수 있는지의 일 예시이다. 이 예시에서, 블럭(1210)에서, 컴퓨터(110)는 차량이 도로를 따라 운전됨에 따라 도로에 대해 수집되는 레이저 데이터를 수신한다. 위에 언급된 바와 같이, 상기 레이저 데이터는 위치 정보를 갖는 복수의 레이저 데이터 포인트들을 포함한다. 블럭(1220)에서, 컴퓨터(110)는 특정 구조를 표시하지 않는 데이터 포인트들의 변화하는 클라우드를 식별하기 위해 레이저 데이터를 조사한다. 이러한 데이터 포인트들은 또한 차량(101) 또는 도로에서 검출된 다른 움직이는 물체와 관련될 수 있다. 블럭(1230)에서, 클라우드가 식별되었을 때, 이후에 컴퓨터는 도로가 습하다는 표시를 식별한다.
또 다른 예시에서, 도로가 습하다는 표시를 식별하기 위해, 레이저 데이터 포인트들의 위치는 컴퓨터(110)에 의해 사용될 수 있다. 예를 들어, 깊은 웅덩이가 있는 곳과 같이, 도로가 매우 습할 때 물은 유리 같은 모양을 가질 수 있다. 이러한 관점에서, 물의 일부는 레이저 빛을 반사하는 거울로서 행동하는 반면에, 레이저 빛의 일부는 물을 통과하고 도로 표면에 의해 반사될 것이다. 도 13의 예시에서 보는 바와 같이, 레이저 빛은 습한 도로 표면과 부딪치고 웅덩이의 영역에 레이저 데이터 포인트 클라우드(1310)를 반환한다. 이러한 레이저 데이터 포인트들의 일부는 지면(1320) 위 또는 아래에 나타날 수 있다. 그러므로, 컴퓨터(110)는 예측 도로 표면의 위 및 아래 모두의 오브젝트를 관측할 것이다. 데이터 포인트들이 상세 지도 정보의 도로의 예측 표면의 약간 위 및 아래에서 전형적으로 검출되는 것을 고려하면, 도로 표면의 15-20cm 위 및 아래와 같은, 거리 임계치(1330 및 1340)는 물 웅덩이와 관련된 클라우드로부터 건조한 도로 표면과 관련된 데이터 포인트들의 클라우드를 식별하기 위해 사용될 수 있다. 그러므로, 도 13의 데이터 포인트들의 클라우드(1310)가 임계치(1330) 위 및 임계치(1340) 아래 모두의 데이터 포인트들을 포함하기 때문에, 상기 데이터 포인트들은 웅덩이와 관련될 수 있다. 컴퓨터(110)는 도로가 습하다는 것을 결정하기 위해 그러한 표시를 사용할 수 있다.
도 14의 흐름도(1400)는 도로가 습하다는 표시를 식별하기 위해 컴퓨터(110)가 어떻게 레이저 데이터 포인트들의 클라우드들을 사용할 수 있는지의 다른 예시이다. 이 예시에서, 블럭(1410)에서, 컴퓨터(110)는 차량이 도로를 따라 운전됨에 따라 도로에 대해 수집되는 레이저 데이터를 수신한다. 위에 언급된 바와 같이, 레이저 데이터는 위치 정보를 갖는 복수의 레이저 데이터 포인트들을 포함한다. 블럭(1420)에서, 컴퓨터(110)는 도로의 예측 표면(상세 지도(136)로부터 결정됨)에 근접한 레이저 데이터 포인트들의 클라우드를 식별한다. 블럭(1430)에서, 클라우드의 레이저 데이터 포인트들은 도로의 예측 표면 위에 위치되는 제1 임계값 및 도로의 예측 표면 아래에 위치되는 제2 임계값과 비교된다. 블럭(1440)에서, 상기 클라우드가 상기 제1 임계값 위의 적어도 하나의 레이저 데이터 포인트 및 상기 제2 임계값 아래의 적어도 하나의 레이저 데이터 포인트를 포함할 때, 상기 컴퓨터는 이후에 상기 도로가 습하다는 표시를 식별한다.
위에 표시된 바와 같이, 도로가 습하다는 표시를 식별하는 것에 더하여, 컴퓨터(110)는 또한 도로가 적어도 부분적으로 눈으로 덮여 있을 때와 같은 눈이 오는 상황들의 표시들을 식별한다. 예를 들어, 눈의 색상 및 반사도로 인해 눈은 도로의 표면보다 더 높은 강도를 가진다. 위에 언급된 바와 같이, 건조한 상황들 동안, 강도 값들의 분포는 건조한(눈으로 덮이지 않은) 도로에 대한 예측 강도 값 주위를 중심으로 하는 가우시안 모델에 가깝다. 예를 들어, 도로가 어디에 위치되었든지 간에, 건조한 상황들에서는 상기 강도 값들은 유사한 값들 주위에 무리를 이루는 것이 예측된다. 그러므로, 만약 강도 값들의 분포가 건조한 상황들에 대해 예측 분포와 가까이로부터 더 높은 강도를 향해 쉬프트되었다면, 상기 컴퓨터는 도로가 더 밝다는 것을 결정한다. 이는 상기 도로가 적어도 부분적으로 눈으로 덮여 있음을 표시한다.
도 15는 눈이 오는 상황들을 갖는 도로(500)의 예시이다. 이 예시에서, 도로(500)는 일부 영역들(1510, 1512)에서 눈으로 그리고/또는 얼음으로 가볍게 덮여 있다. 도 15b로 넘어가면, 그래프(1560)는 예를 들어, 도로가 부분적으로 눈으로 덮여 있지 않을 때인, 건조한 상황들에 대해 예측 강도 값들의 분포(1565)의 예시를 묘사한다. 그래프(1570)는 도 15a와 같은 예시에서의 강도 값들에 대한 분포(1575)의 예시를 묘사한다. 이 예시에서, 상기 분포는 250 또는 강도 규모의 밝은 단부를 향해(화살표(1580)의 방향으로) 쉬프트되었다. 위에서 언급한 바와 같이, 컴퓨터(110)는 도로에 눈이 오거나, 도로가 일부 눈으로 덮인 영역들을 적어도 포함한다는 것을 결정하기 위해 이 쉬프트를 사용할 수 있다.
도 60의 흐름도(1600)는 도로가 적어도 부분적으로 눈으로 덮여 있다는 표시를 식별하기 위해 컴퓨터(110)가 어떻게 도로의 강도에 있어서의 변화들을 사용할 수 있는지의 일 예시이다. 이 예시에서, 블럭(1610)에서, 컴퓨터(110)는 차량이 도로를 따라 운전됨에 따라 도로에 대해 수집되는 레이저 데이터를 수신한다. 위에서 언급되었듯이, 상기 레이저 데이터는 위치 및 강도 정보를 갖는 복수의 레이저 데이터 포인트들을 포함한다. 블럭(1620)에서, 컴퓨터(110)는 도로에 대한 강도 값들의 분포를 식별하기 위해 레이저 데이터를 프로세싱한다. 블럭(1630)에서, 강도 값들의 이러한 분포는 이후에 건조한 날씨 상황들 하에서의 도로에 대한 강도 값들의 예측 분포와 비교된다. 블럭(1640)에서, 강도 값들의 상기 분포가 건조한 날씨 상황들 하에서의 도로에 대한 강도 값들의 예측 분포로부터, 강도 규모의 어두운 단부를 향해 쉬프트되었을 때 이후에, 상기 컴퓨터는 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 표시를 식별한다.
다른 예시에서, 컴퓨터(110)는 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 표시를 식별하기 위해 도로의 평균 강도를 사용한다. 예를 들어, 도 17에서 볼 수 있는 바와 같이, 전체 도로(500)는 눈 및/또는 얼음(1710)으로 덮여 있다. 이러한 표면을 덮는 것들(surface coverings)이 도로의 표면보다 더 반사적이기 때문에, 상기 눈 또는 얼음은 상기 도로로부터 수집되는 레이저 강도 데이터로 하여금 적어도 도로 표면보다 높은 임계치 또는 상세 지도 정보로부터 예측되는 임계치보다 높도록 할 것이다. 다시 말하면, 이 임계값은 도로의 표면의 구성요소(아스팔트, 시멘트, 벽돌 등)에 기반한다. 예를 들어, 만약 도로의 평균 강도가 도로(또는 그 유형의 도로)의 예측 강도보다 적어도 일부 임계값 또는 수치의 표준편차만큼 높다면, 이 정보는 도로가 눈 또는 얼음으로 된 덮는 것을 갖는다는 표시가 된다.
도 18의 흐름도(1800)는 도로가 적어도 부분적으로 눈으로 덮여 있다는 표시를 식별하기 위해, 도로의 평균 강도뿐만 아니라 임계값을 컴퓨터(110)가 어떻게 사용할 수 있는지의 일 예시이다. 이 예시에서, 블럭(1810)에서, 컴퓨터(110)는 차량이 도로를 따라 운전됨에 따라 수집되는 레이저 데이터를 수신한다. 위에 언급된 바와 같이, 레이저 데이터는 위치 및 강도 정보를 갖는 복수의 레이저 데이터 포인트들을 포함한다. 블럭(1820)에서, 컴퓨터(110)는 수신된 레이저 데이터로부터 평균 강도를 결정한다. 블럭(1830)에서, 이 평균 강도는 도로에 대한 임계값과 비교된다. 블럭(1840)에서, 상기 평균 강도가 임계값보다 높을 때, 상기 컴퓨터는 이후에 상기 도로가 적어도 부분적으로 눈으로 덮여 있다는 표시를 식별한다.
다른 예시에서, 컴퓨터(110)는 눈이 오는 상황들의 표시를 식별하기 위해, 세계, 다시 말해서, 도로의 외부들 또한 포함하는 영역들의 평균 강도를 사용한다. 종종, 눈은 도로 자체에서 모이기 전에, 도로의 경계를 넘어서서 모일 수 있다. 예를 들어, (차로의 경계를 넘어서, 갓길들, 커브들 등과 같은)도로의 외부에 있는 지면의 눈 또한, 도로, 갓길, 커브들, 보도들 등보다 더 가볍고, 더 밝고, 매우 더 반사적일 수 있다. 매우 반사적인, 흰색 눈은 이러한 영역들에서 수집되는 레이저 강도 데이터가 상세 지도 정보로부터 예측되는 것보다 상당히 높게끔 할 수 있다. 다시 말하면, 만약 도로의 외부의 세계의 평균 강도가 상기 상세 지도 정보에서 정의된 바와 같은 예측 강도보다 적어도 일부 임계값 또는 수치의 표준 편차만큼 높다면, 이는 상기 세계가 적어도, 상기 도로에도 모일 가능성이 높은(또는 이미 모이기 시작한) 일부 눈으로 덮인 것을 갖는다는 표시이다.
도 19의 흐름도(1900)는 도로가 습하다는 표시를 식별하기 위해 컴퓨터(110)가 어떻게 도로의 평균 강도뿐만 아니라 임계값을 사용할 수 있는지의 일 예시이다. 이 예시에서, 블럭(1910)에서, 차량이 도로를 따라 운전됨에 따라, 컴퓨터(110)는 도로뿐만 아니라 도로의 경계의 외부 영역에 대해 수집되는 레이저 데이터를 수신한다. 위에 언급된 바와 같이, 상기 레이저 데이터는 위치 및 강도 정보를 갖는 복수의 레이저 데이터 포인트들을 포함한다. 블럭(1920)에서, 컴퓨터(110)는 수신된 레이저 데이터로부터 도로의 경계 외부 영역의 평균 강도를 결정한다. 블럭(1930)에서, 이 평균 강도는 (예를 들어, 상세 지도(136)로부터의)영역에 대해 예측 임계값과 비교된다. 블럭(1940)에서, 상기 평균 강도가 임계값보다 높을 때 이후에 상기 컴퓨터는 눈이 오는 상황들의 표시를 식별한다.
강도 값들의 밝기를 고려하는 것에 더하여, 또는 이 대신에, 도로 날씨 상황들의 표시들을 식별하기 위해, 컴퓨터(100)는 또한 도로의 고도 또는 높이뿐만 아니라 임계값을 조사한다. 예를 들어, 만약 상기 도로의 표면의 고도가 상세 지도(136)로부터 예측 고도보다 위에 있는 것으로 검출된다면, 이는 도로상의 눈 또는 홍수로 인한 물들의 축적을 표시한다. 이러한 관점에서, 도로 표면의 위치를 결정하기 위해, 컴퓨터(110)는 레이저들, 레이더, 소나, 다중 카메라들 등과 같은, 차량의 다양한 센서들로부터 제공되거나 발생되는 도로의 영역에 대한 데이터를 사용한다. 이 정보는 이후에 상세 지도 정보로부터의 도로의 그 특정 영역에서 예측 고도와 비교된다. 만약 도로의 평균 높이가 적어도 어떤 임계값 또는 수치의 표준 편차만큼 상기 예측 고도보다 위에 있다면, 이는 도로가 침수되었거나 축적된 눈으로 된 덮는 것을 갖는다는 것을 표시한다.
도 20은 고도에 있어서의 이 차이의 일 예시이다. 표면(2010)은 도로(500)의 한 섹션에 대한 지표면의 예측 고도 또는 위치를 나타낸다. 표면(2020)은 도로 날씨 상황을 표시하는 위쪽의 임계 고도 또는 위치를 나타낸다. 데이터 포인트들(2032)은 레이저, 소나, 레이더, 카메라 데이터 중 하나 이상으로부터 결정되는 도로의 위치의 3차원 투영(three dimensional projection)이다. 표면(2030)은 도로(500)의 섹션의 평균 검출 표면을 나타낸다. 이 예시에서, 도로(500)의 섹션의 도로 표면의 평균 검출 고도 또는 위치는 임계값 표면(2020)보다 높다. 따라서, 도 20의 예시는 상기 도로가 침수되었거나 축적된 눈으로 된 덮는 것을 갖는다는 것을 표시한다.
도 21의 흐름도(2100)는 도로가 눈으로 덮여 있거나 습하다는 표시를 식별하기 위해 컴퓨터(110)가 어떻게 도로의 평균 고도뿐만 아니라 임계값을 사용할 수 있는지의 일 예시이다. 이 예시에서, 블럭(2110)에서, 컴퓨터(110)는 차량이 도로를 따라 운전됨에 따라 도로에 대해 수집되는 레이저 데이터를 수신한다. 위에 언급된 바와 같이, 상기 레이저 데이터는 위치 정보를 갖는 복수의 레이저 데이터 포인트들을 포함한다. 블럭(2120)에서, 컴퓨터(110)는 수신된 레이저 데이터로부터 도로의 평균 고도를 결정한다. 블럭(2130)에서, 상기 컴퓨터는 도로의 예측 고도를 식별하기 위해 상세 지도 정보에 액세스한다. 블럭(2140)에서, 이 평균 고도는 도로의 예측 고도 위의 임계값과 비교된다. 블럭(2150)에서, 상기 평균 고도가 임계값보다 높을 때 이후에, 상기 컴퓨터는 도로가 습하다는 표시를 식별한다.
눈이 오고 습한 도로 날씨 상황들에 더하여, 컴퓨터(110)는 안개와 같은 도로 날씨 상황들의 표시들 또한 검출한다. 예를 들어, 차량의 레이더 센서들은 안개를 매우 잘 투과(penetrate)하지만, 레이저 빛은 안개를 잘 투과시키지 못할 수 있다. 만약 컴퓨터(110)가 일부 임계 기간 동안, 레이저 장애물들이 특정 거리에 있지만, 레이더 타겟들이 존재하지 않음을 관측한다면, 컴퓨터(110)는 도로에 안개가 껴 있다는 표시를 식별한다.
다른 예시에서, 레이저 데이터에 더하여 또는 레이저 데이터 대신에, 컴퓨터(110)는 습하거나 눈이 오는 도로 상황들과 같은 도로 날씨 상황들을 식별하기 위해 카메라 정보에 의존할 수 있다. 예를 들어, 밝기, 상기 도로의 밝기, 상기 세계의 밝기에 있어서의 변화들은 또한 카메라 이미지들로부터 결정될 수 있다. 레이저 강도 데이터에 관해 위에 설명된 예시들과 유사하게, 카메라들(320, 321)에 의해 캡쳐된 이미지들은 카메라에 의해 캡쳐된 도로의 밝기 또는 반사도가 상세 지도 정보로부터 예측되는 밝기 또는 반사도보다 적어도 일부 임계값 또는 수치의 표준 편차만큼 높은지를 결정하기 위해 프로세싱된다. 만약 그렇다면, 이러한 카메라 이미지들은 도로가 습하거나, 얼음이 껴 있거나, 도로에 눈이 오는 등을 표시할 수 있다. 다른 예시에서, 차량(101)의 카메라들의 범위 내에 있는 다른 차량들의 타이어들은 물을 킥-업하고 있을 수 있다. 만약 그렇다면, 이러한 카메라들은 도로가 습하다는 것을 표시한다.
카메라들 및 레이저들에 더하여, 위에 설명된 강수량 센서들과 같은, 다른 센서들로부터의 정보 또한 도로 날씨 상황들의 표시들을 식별하기 위해 컴퓨터(110)에 의해 사용될 수 있다. 위에 언급된 바와 같이, 강수량 센서들은, 예를 들어, 광검출기에서 수신된 반사된 빛의 양 또는 강수량의 검출된 양의 일부 다른 표시기를 식별함에 의해, 컴퓨터(110)에 강수량에 관한 현재 정보를 제공한다. 밝기, 고도, 및 강도 정보에 관해서와 같이, 하나 이상의 강수량 센서들로부터의 데이터 또한 현재 강수량과 같은 도로 날씨 상황의 표시를 식별하기 위해 사용될 수 있다.
밝기, 강도, 고도, 및 현재 강수량 정보는 또한 컴퓨터(320)로부터 수신된 날씨 정보와 조합될 수 있다. 만약 상기 차량(101)이 운전하고 있는(또는 곧 운전할) 영역에 방금 강수가 있었다면 또는 현재 강수 중이라면, 상기 수신된 날씨 정보는 도로 날씨 상황을 식별하기 위해 사용될 수 있고, 컴퓨터(110)는 상기 도로가 습하거나 얼음이 껴있는 등의 가능성이 높다고 결정한다.
위에 언급된 바와 같이, 컴퓨터(110)는 컴퓨터(320)와 정보를 보내고 수신한다. 이러한 관점에서, 컴퓨터(320)는 보도들, 레이더 정보, 일기예보들 등의 형태로 컴퓨터(110)에 강수량, 구름, 및/또는 온도 정보를 제공한다. 이 정보는 예를 들어, 몇 분마다, 몇 시간마다, 또는 필요한 대로와 같이, 주기적으로 수신될 수 있거나, 요청에 의해 컴퓨터(110)에 제공될 수 있다. 만약, 위에 설명된 예시들에서처럼, 상기 컴퓨터(110)가 도로 날씨 상황을 식별한다면, 컴퓨터(110)는 네트워크를 통해 차량(101)의 현재 위치에 관한 정보를 포함하는 요청을 컴퓨터(320)에 전송한다. 상기 요청에 응답하여, 컴퓨터(320)는 차량(101)의 현재 위치에 대한 관련된 날씨 관련 정보를 컴퓨터(110)에 제공한다. 다른 예시에서, 컴퓨터(110)는 위에 언급한 요청들을 단순히 주기적으로 보낼 수 있다. 또 다른 예시에서, 컴퓨터(320)는 정보를 방송하는 것이 적절해질 때, 특정 지리적 영역들 내의 자율주행차량들에게 정보를 방송할 수 있다. 이는 날씨 관련 정보가 심각한 날씨 경보들을 제공하는 곳에서 특히 유용할 것이다.
상기 도로 날씨 상황들의 다양한 식별된 표시들은 도로- 상기 차량은 상기 도로를 따라 운행하고 있음-의 운전 상황들을 추정하기 위해 컴퓨터(110)에 의해 입력들의 세트로서 프로세싱된다. 일 예시에서, 도로 표면의 현재 상태를 결정하기 위해 베이지안 추정이 사용될 수 있다. 이러한 관점에서, 상기 차량은 현재 강수(비, 진눈깨비, 눈 등) 중인지 또는 방금 강수 하기 시작했는지와 이 날씨가 도로의 상황들(웅덩이들, 습함, 얼음이 낌, 눈으로 덮임, 이 상황들이 섞임)에 어떻게 영향을 주고 있는지를 결정한다.
이러한 추정은 이후에 다양한 운전 결정들을 내리기 위해 컴퓨터(110)에 의해 사용된다. 예를 들어, 만약 한 도로 날씨 상황이 존재하면, 상기 컴퓨터(110)는 상기 추정을 이용하여 차량(101)의 안전한 조작을 위한 결정을 보다 정보에 근거해서 내릴 수 있다. 예를 들어, 컴퓨터(110)는 차량(110)을 내비게이션 하는 것을 계속하지만, 또한 차량(101)과 도로상의 다른 오브젝트들 간의 거리들을 증가시키고, 차량(101)을 느리게 하고, 특정 도로를 떠나거나, 특정 차로로 이동한다. 예를 들어, 컴퓨터(101)는 도로 날씨 상황들에 의해 덜 영향받는 것으로 기대되는 중심 차로 또는 측면 차로로 이동한다. 다른 예시에서, 특정 상황들 하에서는 특정 운전 특징들이 디스에이블 되거나 변경된다. 예를 들어, 만약 비가 오고 있다면, 상기 차량의 차로 변경 및 통과 능력들이 디스에이블 된다. 유사하게, 만약 비가 오고 있거나 눈이 오고 있다면, 브레이크들을 활성인 상태로 유지하기 위해 주기적으로 브레이크들을 적용하는 것과 같이, 브레이크 프로파일들이 조정된다.
운전 결정을 내리는 것에 부가하거나 혹은 이것의 대안으로서, 도로 날씨 상황들 및/또는 도로 표면 상황들이 심각하거나 위험한 것으로 결정되면, 컴퓨터(110)는 운전자에게 경고를 보낸다. 상기 경고는 운전자가 차량(101)의 제어를 맡도록 요청한다. 상기 경고는 청각 신호, 시각 신호, 촉각 신호(haptic or tactile signal) 및/또는 사용자의 관심을 얻는 어떤 다른 신호일 수 있다. 상기 경고는 또한 운전자가 차량의 제어를 맡도록 요청한다. 이 예시에서, 운전자에게 경고한 후에, 컴퓨터(110)는 운전자로부터 입력을 수신한다. 예를 들어, 상기 운전자는 조종 휠을 돌리고, 브레이크를 적용하고, 가속기를 적용하고, 긴급 셧-오프(shut-off)를 누르는 등에 의해 차량(101)의 제어를 맡는다. 만약 컴퓨터(110)가 운전자로부터 입력(또는 충분한 입력)을 수신하지 않는다면, 상기 컴퓨터(110)는 도로의 측면에 차량(101)을 내비게이션하고(예를 들어, 차량을 풀-오버(pull over)함), 차량(101)의 속도를 감소시키거나, 차량(101)을 완전히 멈추게 한다.
도 22의 흐름도(2200)는 위에 설명된 바와 같이 컴퓨터(110)에 의해 수행되는 단계들 중 일부의 예시를 제공한다. 본 명세서에서 논의된 단계들이 단지 예시일 뿐이라는 것이 이해될 것이다. 단계들이 서로 다른 순서로 발생하고, 단계들이 추가될 수 있고, 그리고 단계들이 생략될 수 있다. 이 예시에서, 블럭(2202)에서, 도로를 따라 수집되는 레이저 스캔 데이터가 수신된다. 위에 언급된 바와 같이, 상기 레이저 스캔 데이터는 도로를 포함하는 상기 레이저의 주변들, 그리고 일부 예시들에서는, 도로의 경계를 넘어선 세계에 있는 오브젝트들의 위치 및 강도, 도로 피쳐들 등을 표시하는 데이터 포인트들을 포함한다. 블럭(2204)에서, 이 정보는 하나 이상의 도로 날씨 상황들을 식별하기 위해 사용된다(예를 들어, 도 7, 9, 12, 14, 16, 18, 19 및 21뿐만 아니라 위의 다양한 예시들을 참조). 블럭(2206)에서, 카메라로부터 캡쳐된 이미지들이 수신된다. 레이저 데이터와 유사하게, 상기 이미지들은 도로를 포함하는 카메라의 주변들에 관한 정보를 포함한다. 블럭(2208)에서, 상기 이미지들은 이후에 도로 날씨 상황들의 표시를 식별하기 위해 사용된다. 블럭(2210)에서, 강수량 센서로부터의 데이터가 수신되고, 블럭(2212)에서, 상기 데이터가 도로 날씨 상황들의 표시를 식별하기 위해 사용된다. 블럭(2214)에서, 날씨 관련 정보가 네트워크를 통해 서버로부터 수신된다. 다시 말하자면, 블럭(2216)에서 상기 날씨 관련 정보가 도로 날씨 상황들의 표시를 식별하기 위해 사용된다. 블럭(2218)에서, 상기 식별된 표시들은 이후에 도로의 날씨 상황들을 추정하기 위해 사용된다. 블럭(2220)에서, 위에 설명된 바와 같이 운전 결정을 내리기 위해 상기 추정이 사용된다.
위에 논의된 구성들의 이러한 그리고 다른 변형들 및 조합들은 특허청구범위에 의해 정의되는 본 발명으로부터 벗어남이 없이 활용될 수 있고, 대표적인 구현들의 전술한 설명은 특허청구범위에 의해 정의되는 바와 같은 본원 발명의 한정의 방식으로보다는 설명의 방식으로 받아들여져야 한다. 본 명세서에 설명된 예시들(이뿐만 아니라 "~와 같은," "즉," "포함하는" 등과 같이 표현된 절들)의 제공은 특정 예시들에 대한 청구된 본원 발명을 한정하는 것으로 해석되어서는 안 된다. 그보다는, 상기 예시들은 많은 가능한 양상들 중 단지 일부만을 설명하기 위한 것으로 의도된다.
Claims (22)
- 방법으로서,
차량이 도로를 따라 운전됨에 따라 도로에 대해 수집되는 레이저 데이터를 수신하는 단계와, 상기 레이저 데이터는 복수의 레이저 데이터 포인트들을 포함하고, 상기 복수의 레이저 데이터 포인트들 중 데이터 포인트 각각은 위치 및 상기 위치와 관련된 강도 정보(intensity information)를 갖고;
상기 도로 내의 위치들과 관련된 상기 복수의 레이저 데이터 포인트들의 평균 강도(average intensity)를 결정하는 단계와;
상기 평균 강도를 건조한 날씨 상황들 하에서의 상기 도로의 예측 평균 강도(expected average intensity)와 관련된 임계값(threshold value)과 비교하는 단계와;
상기 평균 강도가 상기 임계값 아래일 때, 상기 도로가 습하다는 표시를 식별하는 단계와;
프로세서에 의해, 상기 도로가 습하다는 상기 표시에 기반해서 상기 도로의 운전 상황(driving condition)을 추정하는 단계와; 그리고
상기 프로세서에 의해, 상기 차량에 대한 운전 결정(driving decision)을 내리기 위해 상기 추정을 사용하는 단계를 포함하는 것을 특징으로 하는 방법. - 제 1항에 있어서,
건조한 날씨 상황들 하에서의 상기 도로의 상기 예측 평균 강도는 상기 도로의 표면의 구성요소(composition)에 기반하는 것을 특징으로 하는 방법. - 제 1항에 있어서,
상기 도로에 대한 강도 값들의 분포를 결정하는 단계와;
상기 결정된 분포를 건조한 상황들에 대한 예측 분포와 비교하는 단계와;
상기 결정된 분포가 건조한 상황들에 대한 상기 예측 분포에 대해 상대적으로 강도 규모(intensity scale)의 어두운 단부(darker end)를 향해 쉬프트된 때, 상기 도로가 습하다는 제2 표시를 식별하는 단계를 더 포함하며; 그리고
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 방법. - 제 1항에 있어서,
상기 차량의 뒷부분에 근접하게 위치된 특정 구조를 표시하지 않는 상기 복수의 레이저 데이터 포인트들 중 레이저 데이터 포인트들의 클라우드를 검출하는 단계와;
상기 클라우드가 검출된 때, 상기 도로가 습하다는 제2 표시를 식별하는 단계를 더 포함하며; 그리고
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 방법. - 제 1항에 있어서,
상기 복수의 레이저 데이터 포인트들로부터 상기 도로 내의 움직이는 오브젝트를 검출하는 단계와;
상기 움직이는 오브젝트에 근접하게 위치된 특정 구조를 표시하지 않는 상기 복수의 레이저 데이터 포인트들 중 레이저 데이터 포인트들의 클라우드를 검출하는 단계와;
상기 클라우드가 검출된 때, 상기 도로가 습하다는 제2 표시를 식별하는 단계를 더 포함하며; 그리고
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 방법. - 제 1항에 있어서,
상기 도로의 예측 고도를 표시하는 상기 도로에 대한 상세 지도 정보에 액세스(access)하는 단계와;
상기 도로의 예측 표면에 근접한 위치 데이터와 관련된 상기 수신된 레이저 데이터 포인트들로부터 레이저 데이터 포인트들의 클라우드를 식별하는 단계와;
상기 클라우드의 상기 레이저 데이터 포인트들을 상기 예측 도로 표면 위의 제1 임계값 및 상기 예측 도로 표면 아래의 제2 임계값과 비교하는 단계와;
상기 클라우드의 상기 레이저 데이터 포인트들이 상기 제1 임계값 위의 적어도 하나의 레이저 데이터 포인트 및 상기 제2 임계값 아래의 적어도 하나의 레이저 데이터 포인트를 포함할 때, 상기 도로가 습하다는 제2 표시를 식별하는 단계를 더 포함하며; 그리고
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 방법. - 제 1항에 있어서,
상기 차량이 상기 도로를 따라 운전됨에 따라 카메라로부터 캡쳐된 이미지들을 수신하는 단계와; 그리고
상기 이미지들에 기반해서, 상기 도로가 습한 상황들에 있다는 추가적인 표시를 식별하는 단계를 더 포함하고,
상기 도로가 습하다는 상기 추가적인 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 방법. - 제 1항에 있어서,
상기 차량과 관련된 강수량 센서로부터 강수량 데이터를 수신하는 단계와; 그리고
상기 강수량 데이터에 기반해서 상기 도로가 습하다는 제2 표시를 식별하는 단계를 더 포함하고,
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 방법. - 제 1항에 있어서,
상기 운전 상황을 추정하는 단계는 베이지안 추정(Bayesian estimate)을 사용하는 것을 포함하는 것을 특징으로 하는 방법. - 제 1항에 있어서,
상기 도로의 예측 고도(expected elevation)를 표시하는 상기 도로에 대한 상세 지도 정보에 액세스하는 단계와;
상기 도로의 부분에 대한 평균 고도(average elevation)를 결정하는 단계와;
상기 도로의 부분의 상기 평균 고도가 상기 예측 고도보다 적어도 제2 임계값만큼 높은지 여부에 기반해서 상기 도로가 습하다는 제2 표시를 식별하는 단계를 더 포함하고;
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 방법. - 제 1항에 있어서,
네트워크를 통해 서버로부터 상기 차량의 현재 위치에 대한 날씨 정보를 수신하는 단계와; 그리고
상기 날씨 관련 정보에 기반해서 상기 도로가 습하다는 제2 표시를 식별하는 단계를 더 포함하고,
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 방법. - 시스템으로서,
건조한 날씨 상황들 하에서의 도로의 예측 평균 강도를 저장하는 메모리와; 그리고
프로세서를 포함하고, 상기 프로세서는:
차량이 도로를 따라 운전됨에 따라 도로에 대해 수집되는 레이저 데이터를 수신하고, 상기 레이저 데이터는 복수의 레이저 데이터 포인트들을 포함하고, 상기 복수의 레이저 데이터 포인트들 중 데이터 포인트 각각은 위치 및 상기 위치와 관련된 강도 정보를 갖고;
상기 도로 내의 위치들과 관련된 상기 복수의 레이저 데이터 포인트들의 평균 강도를 결정하고;
상기 평균 강도를 건조한 날씨 상황들 하에서의 상기 도로의 예측 평균 강도와 관련된 임계값과 비교하고;
상기 평균 강도가 상기 임계값 아래일 때, 상기 도로가 습하다는 표시를 식별하고;
상기 도로가 습하다는 상기 표시에 기반해서 상기 도로의 운전 상황을 추정하며; 그리고
상기 차량에 대한 운전 결정을 내리기 위해 상기 추정을 사용하도록 구성되는 것을 특징으로 하는 시스템. - 제 12항에 있어서,
건조한 날씨 상황들 하에서의 상기 도로의 상기 예측 평균 강도는 상기 도로의 표면의 구성요소에 기반하는 것을 특징으로 하는 시스템. - 제 12항에 있어서,
상기 프로세서는:
상기 도로에 대한 강도 값들의 분포를 결정하고;
상기 결정된 분포를 건조한 상황들에 대한 예측 분포와 비교하고;
상기 결정된 분포가 건조한 상황들에 대한 상기 예측 분포에 대해 상대적으로 강도 규모의 어두운 단부를 향해 쉬프트된 때, 상기 도로가 습하다는 제2 표시를 식별하도록 더 구성되며; 그리고
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 시스템. - 제 12항에 있어서,
상기 프로세서는:
상기 차량의 뒷부분에 근접하게 위치된 특정 구조를 표시하지 않는 상기 복수의 레이저 데이터 포인트들 중 레이저 데이터 포인트들의 클라우드를 검출하고;
상기 클라우드가 검출된 때, 상기 도로가 습하다는 제2 표시를 식별하도록 더 구성되며; 그리고
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 시스템. - 제 12항에 있어서,
상기 프로세서는:
상기 복수의 레이저 데이터 포인트들로부터 상기 도로 내의 움직이는 오브젝트를 검출하고;
상기 움직이는 오브젝트에 근접하게 위치된 특정 구조를 표시하지 않는 상기 복수의 레이저 데이터 포인트들 중 레이저 데이터 포인트들의 클라우드를 검출하고;
상기 클라우드가 검출된 때, 상기 도로가 습하다는 제2 표시를 식별하도록 구성되며; 그리고
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 시스템. - 제 12항에 있어서,
상기 프로세서는:
상기 도로의 예측 고도를 표시하는 상기 도로에 대한 상세 지도 정보에 액세스하고;
상기 도로의 예측 표면에 근접한 위치 데이터와 관련된 상기 수신된 레이저 데이터 포인트들로부터 레이저 데이터 포인트들의 클라우드를 식별하고;
상기 클라우드의 상기 레이저 데이터 포인트들을 상기 예측 도로 표면 위의 제1 임계값 및 상기 예측 도로 표면 아래의 제2 임계값과 비교하고;
상기 클라우드의 상기 레이저 데이터 포인트들이 상기 제1 임계값 위의 적어도 하나의 레이저 데이터 포인트 및 상기 제2 임계값 아래의 적어도 하나의 레이저 데이터 포인트를 포함할 때, 상기 도로가 습하다는 제2 표시를 식별하도록 더 구성되며; 그리고
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 시스템. - 제 12항에 있어서,
상기 프로세서는:
상기 차량이 상기 도로를 따라 운전됨에 따라 카메라로부터 캡쳐된 이미지들을 수신하며; 그리고
상기 이미지들에 기반해서, 상기 도로가 습한 상황들에 있다는 추가적인 표시를 식별하도록 더 구성되며,
상기 도로가 습하다는 상기 추가적인 표시는 상기 운전 상황들을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 시스템. - 제 12항에 있어서,
상기 프로세서는:
상기 차량과 관련된 강수량 센서로부터 강수량 데이터를 수신하고; 그리고
상기 강수량 데이터에 기반해서 상기 도로가 습하다는 제2 표시를 식별하도록 더 구성되며,
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 시스템. - 제 12항에 있어서,
상기 운전 상황을 추정하는 것은 베이지안 추정을 사용하는 것을 포함하는 것을 특징으로 하는 시스템. - 제 12항에 있어서,
상기 프로세서는:
상기 도로의 예측 고도를 표시하는 상기 도로에 대한 상세 지도 정보에 액세스하고;
상기 도로의 부분에 대한 평균 고도를 결정하고;
상기 도로의 부분의 상기 평균 고도가 상기 예측 고도보다 적어도 제2 임계값만큼 높은지 여부에 기반해서 상기 도로가 습하다는 제2 표시를 식별하도록 더 구성되며; 그리고
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 시스템. - 제 12항에 있어서,
상기 프로세서는:
네트워크를 통해 서버로부터 상기 차량의 현재 위치에 대한 날씨 정보를 수신하고; 그리고
상기 날씨 관련 정보에 기반해서 상기 도로가 습하다는 제2 표시를 식별하도록 더 구성되며,
상기 도로가 습하다는 상기 제2 표시는 상기 운전 상황을 추정하기 위해 상기 프로세서에 의해 사용되는 것을 특징으로 하는 시스템.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/623,422 | 2012-09-20 | ||
US13/623,397 | 2012-09-20 | ||
US13/623,422 US9499172B2 (en) | 2012-09-20 | 2012-09-20 | Detecting road weather conditions |
US13/623,397 US9110196B2 (en) | 2012-09-20 | 2012-09-20 | Detecting road weather conditions |
PCT/US2013/060552 WO2014047250A1 (en) | 2012-09-20 | 2013-09-19 | Detecting road weather conditions |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150058431A true KR20150058431A (ko) | 2015-05-28 |
KR101845594B1 KR101845594B1 (ko) | 2018-04-04 |
Family
ID=50341924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157010044A KR101845594B1 (ko) | 2012-09-20 | 2013-09-19 | 도로 날씨 상황들의 검출 |
Country Status (5)
Country | Link |
---|---|
EP (2) | EP3284645B1 (ko) |
JP (1) | JP6324968B2 (ko) |
KR (1) | KR101845594B1 (ko) |
CN (2) | CN104768822B (ko) |
WO (1) | WO2014047250A1 (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200033373A (ko) * | 2018-09-19 | 2020-03-30 | 전자부품연구원 | 송광축과 수광축이 일치된 구조를 갖는 라이다 |
KR102355914B1 (ko) * | 2020-08-31 | 2022-02-07 | (주)오토노머스에이투지 | 라이다 센서를 이용한 주행 도로의 반사율에 기반하여 이동체의 이동 속도를 제어하기 위한 방법 및 이를 이용한 속도 제어 장치 |
KR102465192B1 (ko) * | 2021-11-17 | 2022-11-09 | 주식회사 에스씨 | 파고를 측정하는 선박용 어라운드 뷰 시스템 |
KR102671299B1 (ko) * | 2023-10-24 | 2024-06-03 | 주식회사 케이드커뮤니케이션 | 화상카메라와 레이저센서를 이용한 작업자 안전관리를 위한 스마트 감시장치 및 그 안전관리 방법 |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102142361B1 (ko) * | 2013-04-11 | 2020-08-07 | 웨이모 엘엘씨 | 차량 온보드 센서들을 사용하여 날씨 상태들을 검출하는 방법들 및 시스템들 |
US9632210B2 (en) | 2013-05-07 | 2017-04-25 | Google Inc. | Methods and systems for detecting weather conditions using vehicle onboard sensors |
US10247854B2 (en) | 2013-05-07 | 2019-04-02 | Waymo Llc | Methods and systems for detecting weather conditions using vehicle onboard sensors |
GB2523092B (en) * | 2014-02-12 | 2017-11-01 | Jaguar Land Rover Ltd | A system for use in a vehicle |
GB2523091B (en) * | 2014-02-12 | 2017-11-01 | Jaguar Land Rover Ltd | A system for use in a vehicle |
GB2522544A (en) * | 2014-12-18 | 2015-07-29 | Daimler Ag | Method for operating a driving assistance system of a vehicle |
US9928427B2 (en) * | 2015-12-03 | 2018-03-27 | GM Global Technology Operations LLC | Vision-based wet road surface condition detection using tire rearward splash |
WO2017100797A1 (en) * | 2015-12-10 | 2017-06-15 | Uber Technologies, Inc. | Vehicle traction map for autonomous vehicles |
DE102016002768C5 (de) | 2016-03-05 | 2024-05-02 | Audi Ag | Verfahren zum Betreiben eines mehrere Kraftfahrzeuge umfassenden Kommunikationsnetzes und Kraftfahrzeug |
CN106335451A (zh) * | 2016-09-07 | 2017-01-18 | 深圳市元征科技股份有限公司 | 一种基于环境数据的车辆控制方法及终端 |
EP3514579A4 (en) | 2016-09-13 | 2020-01-01 | Panasonic Intellectual Property Management Co., Ltd. | ROAD SURFACE CONDITION PREDICTION SYSTEM, DRIVING AID SYSTEM, ROAD SURFACE CONDITION PREDICTION METHOD AND DATA DISTRIBUTION METHOD |
US10183677B2 (en) * | 2016-09-20 | 2019-01-22 | Ford Global Technologies, Llc | Ice and snow detection systems and methods |
US10427645B2 (en) * | 2016-10-06 | 2019-10-01 | Ford Global Technologies, Llc | Multi-sensor precipitation-classification apparatus and method |
JP2018091794A (ja) * | 2016-12-07 | 2018-06-14 | 本田技研工業株式会社 | 走行制御装置及び走行制御方法 |
SE541527C2 (en) | 2017-01-19 | 2019-10-29 | Scania Cv Ab | Method and control unit for avoiding that an autonomus vehicle get stuck in a soft soil segment |
JPWO2018159259A1 (ja) * | 2017-03-01 | 2019-12-19 | パナソニックIpマネジメント株式会社 | 車両 |
JP2018162816A (ja) * | 2017-03-24 | 2018-10-18 | ジヤトコ株式会社 | 車両制御装置および車両制御方法 |
RO132860B1 (ro) * | 2017-04-11 | 2020-12-30 | Sas Nexialiste Normand | Dispozitiv pentru detectarea apei pe drum |
JP2019011007A (ja) * | 2017-06-30 | 2019-01-24 | ジヤトコ株式会社 | 車両制御装置および車両制御方法 |
JP2019011005A (ja) * | 2017-06-30 | 2019-01-24 | ジヤトコ株式会社 | 車両制御装置および車両制御方法 |
JP2019028870A (ja) * | 2017-08-02 | 2019-02-21 | ルネサスエレクトロニクス株式会社 | 移動体制御システム、移動体制御方法、及びプログラム |
US20190057272A1 (en) * | 2017-08-18 | 2019-02-21 | GM Global Technology Operations LLC | Method of detecting a snow covered road surface |
CN111051169A (zh) * | 2017-09-07 | 2020-04-21 | 本田技研工业株式会社 | 车辆及其控制装置以及控制方法 |
JP7021576B2 (ja) * | 2018-03-16 | 2022-02-17 | 株式会社デンソーウェーブ | 積雪検知装置、及び積雪検知システム |
US10551836B2 (en) | 2018-06-06 | 2020-02-04 | Ford Global Technologies, Llc | Driver assist |
CN108839651B (zh) * | 2018-06-19 | 2020-04-24 | 赵勇 | 一种汽车的智能驾驶*** |
US10795357B2 (en) * | 2018-09-14 | 2020-10-06 | Guangzhou Automobile Group Co., Ltd | Method and device for controlling vehicle and autonomous driving vehicle |
JP2020048363A (ja) * | 2018-09-20 | 2020-03-26 | 本田技研工業株式会社 | 電気自動車の充電支援装置 |
DE102018217325A1 (de) * | 2018-10-10 | 2020-04-16 | Robert Bosch Gmbh | Verfahren zum Beeinflussen einer Fahrdynamik eines Fahrzeugs und Fahrdynamikregler |
KR102575441B1 (ko) * | 2018-10-24 | 2023-09-06 | 현대자동차주식회사 | 차량의 회생제동 제어 방법 |
CN109410624A (zh) * | 2018-12-08 | 2019-03-01 | 浙江久安科技有限公司 | 一种智能交通控制方法 |
US10852746B2 (en) | 2018-12-12 | 2020-12-01 | Waymo Llc | Detecting general road weather conditions |
EP3699630A1 (en) * | 2019-02-25 | 2020-08-26 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | System and method for compensating a motion of a vehicle component |
JP7083768B2 (ja) * | 2019-03-13 | 2022-06-13 | 本田技研工業株式会社 | 認識装置、車両制御装置、認識方法、およびプログラム |
CN110481554B (zh) * | 2019-08-06 | 2021-04-27 | 浙江吉利汽车研究院有限公司 | 一种智能驾驶辅助控制方法及*** |
US11643072B2 (en) * | 2019-09-27 | 2023-05-09 | Zoox, Inc. | Planning accommodations for particulate matter |
US11640170B1 (en) | 2019-10-29 | 2023-05-02 | Zoox, Inc. | Identification of particulate matter in sensor data |
CN112455465B (zh) * | 2020-12-08 | 2022-02-01 | 广州小鹏自动驾驶科技有限公司 | 一种行驶环境感知方法、装置、电子设备和存储介质 |
JP2022152402A (ja) * | 2021-03-29 | 2022-10-12 | 本田技研工業株式会社 | 認識装置、車両システム、認識方法、およびプログラム |
EP4152040A1 (en) | 2021-09-17 | 2023-03-22 | Aptiv Technologies Limited | Method and radar system for determining road conditions |
US11878717B2 (en) | 2022-01-24 | 2024-01-23 | International Business Machines Corporation | Mirage detection by autonomous vehicles |
CN117541939B (zh) * | 2024-01-09 | 2024-04-26 | 江西省气象台(江西省环境气象预报中心) | 一种山区大雾识别方法、***及计算机设备 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06307837A (ja) * | 1993-02-24 | 1994-11-04 | Isuzu Motors Ltd | 路面状態検知装置 |
JPH0763849A (ja) * | 1993-08-27 | 1995-03-10 | Aisin Seiki Co Ltd | 車載用超音波車速計測装置 |
JP3438368B2 (ja) * | 1995-01-10 | 2003-08-18 | 三菱電機株式会社 | 路面状態検出装置 |
JPH08320378A (ja) * | 1995-05-25 | 1996-12-03 | Aisin Seiki Co Ltd | 車載用車速計測装置 |
JPH09210905A (ja) * | 1996-02-06 | 1997-08-15 | Ishikawajima Harima Heavy Ind Co Ltd | レーザによる路面湿分検出装置 |
JPH1095245A (ja) * | 1996-09-25 | 1998-04-14 | Nagoya Denki Kogyo Kk | 自動車の安全装置 |
JPH10138792A (ja) * | 1996-11-13 | 1998-05-26 | Mitsubishi Motors Corp | 車両の走行制御装置 |
JP2001051060A (ja) * | 1999-08-13 | 2001-02-23 | Sumitomo Electric Ind Ltd | 表面状態判定装置 |
JP3994594B2 (ja) * | 1999-09-16 | 2007-10-24 | 株式会社デンソー | 路面状況推定装置 |
JP4120114B2 (ja) * | 1999-11-04 | 2008-07-16 | 株式会社デンソー | 路面状況推定装置 |
JP3838418B2 (ja) * | 2001-02-27 | 2006-10-25 | オムロン株式会社 | 車両用測距装置 |
JP3947905B2 (ja) * | 2001-07-31 | 2007-07-25 | オムロン株式会社 | 車両用測距装置 |
JP4125569B2 (ja) * | 2001-09-21 | 2008-07-30 | 株式会社 三英技研 | 運転支援システム、運転支援方法及び運転支援プログラム |
DE10149768A1 (de) * | 2001-10-09 | 2003-04-17 | Ibeo Automobile Sensor Gmbh | Sichtweitenbestimmung |
JP4225807B2 (ja) * | 2003-03-10 | 2009-02-18 | 富士通株式会社 | 路面状況判定方法および装置 |
JP4394424B2 (ja) * | 2003-11-20 | 2010-01-06 | 三菱自動車工業株式会社 | 車両の走行制御装置 |
KR100588563B1 (ko) * | 2004-04-19 | 2006-06-14 | 현대자동차주식회사 | 영상을 이용한 차선 인식방법 |
JP2006308514A (ja) * | 2005-05-02 | 2006-11-09 | Fukui Prefecture | 路面の画像処理型積雪センサー及び積雪検出方法 |
JP2006323472A (ja) * | 2005-05-17 | 2006-11-30 | Nissan Motor Co Ltd | 車両用走行制御装置および送信波の照射制御方法 |
JP4102885B2 (ja) * | 2005-07-15 | 2008-06-18 | 国土交通省国土技術政策総合研究所長 | 駐車車両検知方法及び駐車車両検知システム |
JP4169065B2 (ja) * | 2006-02-13 | 2008-10-22 | 株式会社デンソー | 車両制御装置 |
JP2007329762A (ja) * | 2006-06-08 | 2007-12-20 | Fujitsu Ten Ltd | 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置、および車両制御装置 |
US8436902B2 (en) * | 2007-08-30 | 2013-05-07 | Valeo Schalter And Sensoren Gmbh | Method and system for weather condition detection with image-based road characterization |
JP2009086788A (ja) * | 2007-09-28 | 2009-04-23 | Hitachi Ltd | 車両周辺監視装置 |
US8525825B2 (en) * | 2008-02-27 | 2013-09-03 | Google Inc. | Using image content to facilitate navigation in panoramic image data |
JP2010008060A (ja) * | 2008-06-24 | 2010-01-14 | Yokogawa Denshikiki Co Ltd | 路面状態判別装置 |
US8364334B2 (en) * | 2008-10-30 | 2013-01-29 | Honeywell International Inc. | System and method for navigating an autonomous vehicle using laser detection and ranging |
JP2010163058A (ja) * | 2009-01-16 | 2010-07-29 | Fujitsu Ten Ltd | 車両運転支援装置 |
US9454847B2 (en) * | 2009-02-24 | 2016-09-27 | Google Inc. | System and method of indicating transition between street level images |
US20120113412A1 (en) * | 2009-05-29 | 2012-05-10 | Toyota Jidosha Kabushiki Kaisha | Spectrum measuring apparatus for mover |
JP2011027594A (ja) * | 2009-07-27 | 2011-02-10 | Toyota Infotechnology Center Co Ltd | 地図データ検証システム |
DE102009055190B4 (de) * | 2009-12-22 | 2024-04-25 | Robert Bosch Gmbh | Verfahren zum Erkennen von vor einem Fahrzeug liegenden Pfützen |
JP5967463B2 (ja) * | 2010-09-16 | 2016-08-10 | 株式会社リコー | 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 |
CN102616235B (zh) * | 2012-04-09 | 2016-01-20 | 北京航空航天大学 | 一种基于车车通信的协同避撞装置及避撞方法 |
-
2013
- 2013-09-19 EP EP17172901.5A patent/EP3284645B1/en active Active
- 2013-09-19 WO PCT/US2013/060552 patent/WO2014047250A1/en active Application Filing
- 2013-09-19 CN CN201380058663.2A patent/CN104768822B/zh active Active
- 2013-09-19 JP JP2015533173A patent/JP6324968B2/ja active Active
- 2013-09-19 EP EP13838660.2A patent/EP2897845B1/en active Active
- 2013-09-19 CN CN201710249085.0A patent/CN107272007B/zh active Active
- 2013-09-19 KR KR1020157010044A patent/KR101845594B1/ko active IP Right Grant
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200033373A (ko) * | 2018-09-19 | 2020-03-30 | 전자부품연구원 | 송광축과 수광축이 일치된 구조를 갖는 라이다 |
KR102355914B1 (ko) * | 2020-08-31 | 2022-02-07 | (주)오토노머스에이투지 | 라이다 센서를 이용한 주행 도로의 반사율에 기반하여 이동체의 이동 속도를 제어하기 위한 방법 및 이를 이용한 속도 제어 장치 |
KR102465192B1 (ko) * | 2021-11-17 | 2022-11-09 | 주식회사 에스씨 | 파고를 측정하는 선박용 어라운드 뷰 시스템 |
KR102671299B1 (ko) * | 2023-10-24 | 2024-06-03 | 주식회사 케이드커뮤니케이션 | 화상카메라와 레이저센서를 이용한 작업자 안전관리를 위한 스마트 감시장치 및 그 안전관리 방법 |
Also Published As
Publication number | Publication date |
---|---|
WO2014047250A1 (en) | 2014-03-27 |
EP2897845A1 (en) | 2015-07-29 |
CN107272007B (zh) | 2020-03-03 |
EP3284645A1 (en) | 2018-02-21 |
EP3284645B1 (en) | 2021-11-03 |
EP2897845B1 (en) | 2017-08-09 |
CN107272007A (zh) | 2017-10-20 |
JP6324968B2 (ja) | 2018-05-16 |
JP2015535204A (ja) | 2015-12-10 |
CN104768822A (zh) | 2015-07-08 |
CN104768822B (zh) | 2017-04-19 |
KR101845594B1 (ko) | 2018-04-04 |
EP2897845A4 (en) | 2016-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101845594B1 (ko) | 도로 날씨 상황들의 검출 | |
US9110196B2 (en) | Detecting road weather conditions | |
US9499172B2 (en) | Detecting road weather conditions | |
US11868133B1 (en) | Avoiding blind spots of other vehicles | |
US11872998B1 (en) | Cross-validating sensors of an autonomous vehicle | |
US11726493B2 (en) | Modifying behavior of autonomous vehicles based on sensor blind spots and limitations | |
US11327501B1 (en) | Detecting sensor degradation by actively controlling an autonomous vehicle | |
CN107798305B (zh) | 检测车道标记 | |
US9709679B1 (en) | Building elevation maps from laser data | |
US8948958B1 (en) | Estimating road lane geometry using lane marker observations | |
US8565958B1 (en) | Removing extraneous objects from maps | |
US10094670B1 (en) | Condensing sensor data for transmission and processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
N231 | Notification of change of applicant | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |