JP2024014875A - 視覚追跡および画像再投影による自律運転のための物***置特定 - Google Patents
視覚追跡および画像再投影による自律運転のための物***置特定 Download PDFInfo
- Publication number
- JP2024014875A JP2024014875A JP2023183827A JP2023183827A JP2024014875A JP 2024014875 A JP2024014875 A JP 2024014875A JP 2023183827 A JP2023183827 A JP 2023183827A JP 2023183827 A JP2023183827 A JP 2023183827A JP 2024014875 A JP2024014875 A JP 2024014875A
- Authority
- JP
- Japan
- Prior art keywords
- location
- vehicle
- image
- images
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004807 localization Effects 0.000 title claims abstract description 39
- 230000000007 visual effect Effects 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 87
- 230000008447 perception Effects 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Electromagnetism (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Analysis (AREA)
Abstract
【課題】本開示の態様は、特定のタイプの物体の場所を検証することに関する。【解決手段】例えば、車両(100)の環境の複数の画像(401A、401B、401C)を受信し得る(1010)。特定のタイプの関連付けられた物体(420、422)は、複数の画像のうちの画像において識別され得る(1020)。複数の異なる位置特定技術を使用して、物体の複数の推定場所(520、522、820A、820B、820C)を判定し得る(1030)。複数の画像のうちの画像の各画像について、複数の推定場所の各々の再投影誤差を判定されたい。複数の推定場所の各々について、再投影誤差に基づいて、誤差スコアが判定される(1040)。判定された誤差スコアに基づいて、複数の推定場所から推定場所を選択し得る(1050)。この選択された場所は、自律運転モードで車両を制御するために使用され得る(1060)。【選択図】図9A
Description
関連出願の相互参照
本出願は、2019年8月7日に出願された米国仮特許出願第62/883,745号の利益を主張する、2019年10月10日に出願された米国特許出願第16/598,162号の出願日の利益を主張し、それらの開示は参照により本明細書に組み込まれる。
本出願は、2019年8月7日に出願された米国仮特許出願第62/883,745号の利益を主張する、2019年10月10日に出願された米国特許出願第16/598,162号の出願日の利益を主張し、それらの開示は参照により本明細書に組み込まれる。
人間の運転手を必要としない車両などの自律型車両が、ある場所から別の場所への搭乗者または物品の輸送を支援するために使用される場合がある。このような車両は、搭乗者が目的地などの何らかの初期入力を提供し、車両がその目的地に車両自体を操縦する、完全な自律運転モードで動作することができる。したがって、このような車両は、常時自律型車両の場所を判定し、かつ、他の車両、停止信号、歩行者などの車両の外部にある物体を検出し識別することができるシステムに大きく依存することがある。
本開示の一態様は、自律運転モードを有する車両を制御するための方法を提供する。本方法は、1つ以上のプロセッサによって、車両の環境の複数の画像を受信することと、1つ以上のプロセッサによって、複数の画像のうちの画像における特定のタイプの関連付けられた物体を識別することと、1つ以上のプロセッサによって、複数の異なる位置特定技術を使用して、物体についての複数の推定場所を判定することと、複数の推定場所の各々について、1つ以上のプロセッサによって、誤差スコアを判定することと、1つ以上のプロセッサによって、判定された誤差スコアに基づいて、複数の推定場所から推定場所を選択することと、1つ以上のプロセッサによって、選択された推定場所に基づいて、自律運転モードで車両を制御することと、を含む。
一例では、特定のタイプの物体は、一時停止標識である。別の例では、特定のタイプの物体は、譲れの標識である。別の例では、方法はまた、車両と、自律運転モードで車両を制御するために使用される事前に記憶された地図情報における一時停止標識の場所との間の距離に基づいて、複数の画像を捕捉させることを含む。別の例では、方法はまた、車両の知覚システムによる特定のタイプの物体の検出に基づいて、複数の画像を捕捉させることを含む。別の例では、方法はまた、複数の画像のうちの画像のうちの第1の画像における特定のタイプの物体に対応するパッチを識別することを含み、誤差スコアは、パッチにさらに基づいて判定される。別の例では、特定のタイプの関連付けられた物体を識別することは、複数の画像のうちの画像のうちの第1の画像における特定のタイプの物体に対応する第1のパッチを識別することと、複数の画像のうちの画像のうちの第2の画像における特定のタイプの物体に対応する第2のパッチを識別することと、第1のパッチの中心を第2の画像に投影することと、投影された中心が、第2のパッチの領域内にあるかどうかを判定することと、を含む。別の例では、複数の異なる位置特定技術は、特定のタイプの物体の予想されるサイズに基づく物体サイズ位置特定を含む。別の例では、複数の異なる位置特定技術は、車両のLIDARセンサによって生成されるセンサデータに基づいている深度地図位置特定を含む。別の例では、複数の異なる位置特定技術は、複数の画像のうちのある画像におけるパッチの中心の方向に対応する光線を、自律運転モードで車両を制御するために使用される事前に記憶された地図情報に投影することを含む、道路グラフベースの位置特定を含む。この例では、道路グラフベースの位置特定は、投影された光線の閾値距離内にある、地図情報における特定のタイプの物体を識別することを含む。別の例では、方法はまた、複数の画像のうちの画像の各画像について、複数の推定場所の各々の再投影誤差を判定することを含み、誤差スコアを判定することは、再投影誤差にさらに基づいている。別の例では、誤差スコアのうちの1つを判定することは、複数の画像のうちの画像のうちの第1の画像における特定のタイプの物体に対応するパッチを識別することと、複数の推定場所のうちの1つの推定場所を第1の画像に投影することと、投影された場所とパッチの領域との間の距離を判定することと、を含む。この例では、距離を判定することは、投影された場所の中心とパッチの領域の中心との間の距離を判定することを含む。加えて、または代替的に、複数の推定場所のうちの1つの推定場所を第1の画像に投影することは、第1の画像の姿勢に基づいている。加えて、または代替的に、距離は、再投影誤差のうちの1つである。加えて、または代替的に、誤差スコアのうちの1つを判定することは、複数の場所推定のうちの所与の1つについて、再投影誤差を平均することを含む。別の例では、選択された推定場所を選択することは、誤差スコアのうちの最も低いものを有する推定場所を選択することを含む。
本開示の一態様は、自律運転モードを有する車両を制御するためのシステムを提供する。本システムは、車両の環境の複数の画像を受信することと、複数の画像のうちの画像における特定のタイプの関連付けられた物体を識別することと、複数の異なる位置特定技術を使用して、物体についての複数の推定場所を判定することと、複数の推定場所の各々について、誤差スコアを判定することと、判定された誤差スコアに基づいて、複数の推定場所から推定場所を選択することと、選択された推定場所に基づいて、自律運転モードで車両を制御することと、を行うように構成された1つ以上のプロセッサを含む。
一例では、システムはまた、車両を含む。
概要
本技術は、自律型車両または自律運転モードで動作するように構成された車両のための、物体の場所を検証または確認する方法に関する。例えば、異なる位置特定技術は、同じ物体について異なる場所を提供し得る。その結果、同じ物体が、同時に異なる場所にあるように表示され得る。物体が一時停止標識である状況では、これらの場所に依存して動作する自律型車両は、異なる場所の各々の標識に反応する場合がある。例えば、車両は、車道沿いの様々な点で、これらの場所に一時停止標識がなくても停止する場合がある。したがって、物体について「最適な」場所を選択することは、車両が、車道をより正確またはスムーズにナビゲートすることが可能であり得る。
本技術は、自律型車両または自律運転モードで動作するように構成された車両のための、物体の場所を検証または確認する方法に関する。例えば、異なる位置特定技術は、同じ物体について異なる場所を提供し得る。その結果、同じ物体が、同時に異なる場所にあるように表示され得る。物体が一時停止標識である状況では、これらの場所に依存して動作する自律型車両は、異なる場所の各々の標識に反応する場合がある。例えば、車両は、車道沿いの様々な点で、これらの場所に一時停止標識がなくても停止する場合がある。したがって、物体について「最適な」場所を選択することは、車両が、車道をより正確またはスムーズにナビゲートすることが可能であり得る。
車両の知覚システムの1つ以上のカメラは、物体を含み得る複数の画像を捕捉することができる。場合によっては、複数の画像は、同じカメラまたは異なるカメラによって経時的に捕捉された一連の画像であり得る。同じカメラを使用する場合、カメラが同じ姿勢(車両が動いていない場合)または異なる姿勢(車両が動いている場合)にあるときに、これらの画像の各々が捕捉され得る。加えて、複数の画像は、知覚システムが特定のタイプの物体を検出し、車両が一時停止標識または譲れの標識などの物体に接近していることに反応して、または、車両が、地図情報で識別されるような特定のタイプの物体の予測された場所から所定の距離にあるときに、捕捉され得る。
車両のコンピューティングデバイスは、複数の画像のうちの第1の画像における物体を識別するように構成され得る。これは、様々な物体認識技術を使用して、物体に対応する第1の画像における「パッチ」または複数のピクセルを識別することを含み得る。コンピューティングデバイスは、継続的に、または車両が、地図情報に記憶された情報から判定されるような一時停止標識または譲れの標識などの特定のタイプの物体の場所から設定される距離にある場合などの特定の状況でのみ、物体認識技術に従事するように構成され得る。
第1の画像で識別された物体が、特定のタイプである場合、物体は、複数の異なる位置特定技術を使用して位置特定され得る。第1の例示的な位置特定技術には、物体サイズ位置特定が含まれ得る。例えば、物体のタイプに基づいて、車両のコンピューティングデバイスは、物体の予想されるサイズを使用して、車両と物体との間の距離を推定し得る。この推定された距離を、画像が捕捉されたときの画像捕捉場所の姿勢と組み合わせることは、物体の三次元(3D)場所を推定するために、使用され得る。場合によっては、物体の予想されるサイズが正しくない場合、画像における物体が部分的に遮られている場合、または物体が、予想されるサイズに単に適合していない場合(つまり、壊れた標識または製造誤差)、この技術を使用して判定された物体の推定場所は、正しくない可能性がある。
第2の例示的な位置特定技術には、深度地図位置特定が含まれ得る。例えば、車両のコンピューティングデバイスは、知覚システムのLIDARセンサによって生成されたセンサデータを使用して、深度地図を生成し得る。カメラの姿勢を使用して深度地図を画像に投影することにより、物体の3D場所を推定し得る。場合によっては、LIDARセンサの物体のビューが、別の道路利用者、がれき、落ち葉、木の枝、標識、または他の物体などによって部分的に遮られている場合、この技術を使用して判定された物体の推定場所が正しくない可能性がある。
第3の例示的な位置特定技術には、道路グラフベースの位置特定が含まれ得る。例えば、車両のコンピューティングデバイスは、カメラ(および/または車両)の場所に対するパッチ上の中心または他のある場所の配向を判定し、次いでこの配向を使用して、地図情報に光線を投影し得る。この光線は、画像が捕捉されたとき、物体がカメラの姿勢に対する画像における物体の所与の場所を見つけ得る座標を表し得る。計算された光線に沿って、またはその所定の距離内にある、マッピングされた一時停止標識などの1つ以上の物体を識別し得る。次いで、物体の別の推定場所は、地図情報内の任意の識別された物体の場所を使用して判定され得る。場合によっては、物体が、損傷または移動している(例えば、一時停止標識または譲れの標識用の曲がった標識ポール)、一時的(一時的な一時停止標識など)、もしくは新しい、および地図情報に表示されない場合、または光線に沿って同じタイプの複数の物体がある場合、この技術を使用して判定された物体の推定場所が正しくない可能性がある。
車両のコンピューティングデバイスは、画像における任意の物体が複数の画像のうちの他の画像における物体と同じ物体であるかどうかを判定し得、これらの物体を互いに関連付け得る。例えば、コンピューティングデバイスは、同じ一時停止標識が複数の画像の各々に表示されるかどうかを判定することができる。関連付けは、1つの物体における1つの物体のピクセル場所を、別の画像における別の物体のピクセル場所に投影することによって生成し得る。投影されたピクセル場所は、2つの画像が捕捉されたときのカメラの姿勢間の違いに応じて調整され得る。1つの画像における1つの物体の投影されたピクセル場所が、別の画像における別の物体のピクセル場所の閾値ピクセル距離内にある場合、各画像におけるパッチが同じ物体(以下、関連付けられた物体)を表すことを示す関連付けが生成される。これらの関連付けを使用して、推定場所を検証し、第1の画像が捕捉されたときの物体の場所についての推定場所のうちの1つを選択し得る。
別の画像における別の物体と関連付けられた物体を含む各画像について、車両のコンピューティングデバイスは、関連付けられた物体の推定場所の各々について、再投影誤差を判定し得る。そうするために、関連付けられた物体についての各推定場所は、関連付けられた物体が識別された各画像に投影され得る。再投影誤差は、投影された推定場所と、その画像に関連付けられたものに対応するパッチとの間の距離であり得る(またはそれから導き出され得る)。このプロセスは、任意の他の推定場所に対して、および関連付けられた物体が識別されている画像の所定の数(例えば、3つ以上の画像またはそれ以下)またはすべてに対して繰り返し得る。
次いで、車両のコンピューティングデバイスは、各位置特定技術について、またはむしろ、異なる位置特定技術を使用して判定された各推定場所について、誤差スコアを判定し得る。一例として、関連付けられた物体が表示される異なる画像に投影された同じ推定場所の投影から判定された再投影誤差スコアは、一緒に平均され得る。この点で、物体について3つの位置特定技術または3つの推定場所がある場合、3つの誤差スコアがある。
次いで、車両のコンピューティングデバイスは、判定された誤差スコアに基づいて、第1の画像が捕捉された時点での物体の位置特定技術または推定場所を選択し得る。例えば、最も低い誤差スコアを有する推定場所は、第1の画像が捕捉された時点での物体の場所であると判定され得る。
コンピューティングデバイス110は、選択された推定場所に従って物体に応答するために、自律運転モードで車両を制御するように構成され得る。例えば、物体が一時停止標識である場合、車両のコンピューティングデバイスは、1つ以上の自律運転システムを動作させて、自律型車両を、選択された推定場所に従って停止し、一時停止標識についてのすべての他の推定場所を無視するようにナビゲートし得る。同様に、物体が譲れの標識である場合、車両のコンピューティングデバイスは、1つ以上の自律運転システムを動作させて、自律型車両を、譲れの標識の選択された推定場所に従って譲り、譲れの標識についてのすべての他の推定場所を無視するようにナビゲートし得る。
上記の特徴は、自律型車両の車道に沿った特定のタイプの物体の場所をより正確に識別するシステムを提供し得る。特に、一時停止標識場所を特定し得る。その結果、自律型車両は、物体の正しくない場所に応答する、例えば、一時停止標識のない場所で不適切に停止する、または譲れの標識のない場所で譲る行動を示す可能性が低くなり得る。このような状況は、自律型車両だけでなく他の道路利用者にとっても混乱を招き、潜在的に危険な場合がある。さらに、このような行動を回避することができるため、自律型車両の乗員は、よりスムーズな乗り心地を体験し、より効率的に目的地に到達し得る。加えて、自律型車両の資源は、誤って位置特定された物体に応答するために使用する必要がないため、より効率的に利用され得る。
例示的なシステム
図1は、様々な構成要素を含む車両100の例示的なブロック図を提供する。本開示のいくつかの態様は、特定のタイプの車両に関連して特に有用であるが、車両は、自動車、トラック、オートバイ、バス、レクリエーション車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。車両は、1つ以上のコンピューティングデバイス、例えば、1つ以上のプロセッサ120、メモリ130、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含むコンピューティングデバイス110を有し得る。
図1は、様々な構成要素を含む車両100の例示的なブロック図を提供する。本開示のいくつかの態様は、特定のタイプの車両に関連して特に有用であるが、車両は、自動車、トラック、オートバイ、バス、レクリエーション車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。車両は、1つ以上のコンピューティングデバイス、例えば、1つ以上のプロセッサ120、メモリ130、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含むコンピューティングデバイス110を有し得る。
メモリ130は、1つ以上のプロセッサ120によってアクセス可能な情報を記憶し、その情報には、プロセッサ120によって実行または別様に使用され得る命令132およびデータ134が含まれる。メモリ130は、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのメモリであってもよく、それらには、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ROM、RAM、DVD、もしくは他の光ディスク、ならびに他の書き込み可能および読出し専用メモリなどの電子デバイスを用いて読み取ることができるデータを記憶する他の媒体が含まれる。システムおよび方法は、上記の異なる組み合わせを含んでもよく、それによって、命令およびデータの異なる部分が、異なるタイプの媒体に記憶される。
命令132は、プロセッサによって直接的に(マシンコードなど)または間接的に(スクリプトなど)実行される任意の命令セットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上にコンピューティングデバイスコードとして記憶されてもよい。その点について、「命令」および「プログラム」という用語は、本明細書では、互換的に使用され得る。命令は、プロセッサによる直接処理のための物体コード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされるスクリプトもしくは独立したソースコードモジュールの集合を含む、任意の他のコンピューティングデバイス言語で記憶されてもよい。命令の機能、方法、およびルーチンについては、以下でさらに詳細に説明される。
データ134は、命令132に従って、プロセッサ120によって検索、記憶、または修正され得る。例えば、特許請求される主題は、いかなる特定のデータ構造にも限定されないが、データは、コンピューティングデバイスレジスタ内に、すなわち、複数の異なるフィールドおよびレコードを有する表、XMLドキュメント、またはフラットファイルとしてリレーショナルデータベース内に記憶されてもよい。データはまた、任意のコンピューティングデバイス可読形式でフォーマットされてもよい。
1つ以上のプロセッサ120は、市販されているCPUまたはGPUなどの任意の従来のプロセッサであってもよい。代替的に、1つ以上のプロセッサは、ASICまたは他のハードウェアベースプロセッサなどの専用デバイスであり得る。図1は、プロセッサ、メモリ、およびコンピューティングデバイス110の他の要素を同じブロック内にあるものとして機能的に例示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に格納されてもされなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含むことができることは、当業者により、理解されるであろう。例えば、メモリは、ハードドライブ、またはコンピューティングデバイス110の筐体とは異なる筐体内に配置された他のストレージ媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことを理解されたい。
一態様では、コンピューティングデバイス110は、自律運転モードで車両を制御するために、車両の様々な構成要素と通信することが可能である自律制御システムの一部であり得る。例えば、図1に戻ると、コンピューティングデバイス110は、自律運転モードにおいて、メモリ130の命令132に従って、車両100の動き、速度などを制御するために、減速システム160、加速システム162、ステアリングシステム164、ルーティングシステム166、プランニングシステム168、測位システム170、および知覚システム172など、車両100の様々なシステムと通信してもよい。
一例として、コンピューティングデバイス110は、車両の速度を制御するために、減速システム160および加速システム162と相互作用してもよい。同様に、ステアリングシステム164は、車両100の方向を制御するために、コンピューティングデバイス110によって使用されてもよい。例えば、車両100が自動車またはトラックのように道路で使用するように構成されている場合、ステアリングシステムは、車両の向きを変えるための車輪の角度を制御する構成要素を含んでもよい。
プランニングシステム168は、ある場所までの、ルーティングシステム166によって生成された経路を判定し、これをたどるために、コンピューティングデバイス110によって使用され得る。例えば、ルーティングシステム166は、地図情報を使用して、車両の現在の場所から降車場所までの経路を判定し得る。プランニングシステム168は、目的地への経路(車両の現在の経路)をたどるために、定期的に、軌道、または未来のある期間にわたって車両を制御するための短期計画を生成し得る。この点について、プランニングシステム168、ルーティングシステム166、および/またはデータ134は、詳細な地図情報、例えば、車道の形状および標高、車線境界線、交差点、横断歩道、速度制限、交通信号、建物、標識、リアルタイム交通情報、植生、または他のかかる物体および情報を識別する高精密地図を記憶し得る。
地図情報は、事前に記憶され得、1つ以上の道路グラフ、または道路、車線、交差点、および道路区分で表し得るこれらの特徴間の接続などの情報のグラフネットワークを含み得る。各特徴は、グラフデータとして記憶され得、地理的場所などの情報と関連付けられ得、他の関連する特徴にリンクされているかどうかにかかわらず、例えば、一時停止標識は、道路および交差点などにリンクされ得る。いくつかの例では、関連付けられたデータは、道路グラフのグリッドベースのインデックスを含み、特定の道路グラフの特徴の効率的な検索を可能にし得る。
図2に示されるように、地図情報の例、ここでは地図情報200は、交差点202および204に関連する詳細を含む。車道210および212は、交差点202で合流し、車道212および214は、交差点204で合流する。車道210は、第1の方向に向かう車線230と、第1の方向と反対の第2の方向に向かう車線232とを有する。車道212は、第1および第2の方向に垂直な第3の方向に向かう車線234を有する。車道214は、第3の方向に向かう車線236と、第3の方向と反対の第4の方向に向かい、交差点202を通過する車線238とを有する。地図情報にはまた、一時停止標識220、222の場所情報も含まれている。特に、一時停止標識220の場所は、車道210の車線A側の交差点202にあるように示され得、一時停止標識222の場所は、車道214の車線236の側の交差点204にあるように示され得る。
測位システム170は、コンピューティングデバイス110により、地図上または地球上の車両の相対的または絶対的位置を判定するために使用され得る。例えば、測位システム170は、デバイスの緯度、経度、および/または標高の位置を判定するためのGPS受信機を含むことができる。レーザベースの位置特定システム、慣性支援GPS、またはカメラベースの位置特定などの他の位置特定システムもまた、車両の位置を特定するために使用することができる。車両の位置には、緯度、経度、高度などの絶対的な地理的位置情報の他に、すぐ周りの他の車両に対する位置などの相対的な位置情報が含まれてもよく、これは、多くの場合、絶対的な地理的位置よりも少ないノイズで判定することができる。
測位システム170はまた、車両の方向および速度、またはそれらの変化を判定するための加速度計、ジャイロスコープ、または別の方向/速度検出デバイスなど、コンピューティングデバイス110のコンピューティングデバイスと通信している他のデバイスを含み得る。例示に過ぎないが、加速デバイスは、重力の方向、または重力に対して垂直な平面に対する車両の縦揺れ、偏揺れ、または横揺れ(またはそれらの変化)を判定してもよい。このデバイスはまた、速度の増減、およびそのような変化の方向を追跡することもできる。本明細書で説明したようなデバイスの位置および方位データの提供は、コンピューティングデバイス110、他のコンピューティングデバイス、および上記の組み合わせに自動的に提供され得る。
知覚システム172はまた、他の車両、車道内の障害物、交通信号、標識、樹木などの車両の外部にある物体を検出するための1つ以上の構成要素を含む。例えば、知覚システム172は、レーザ、ソナー、レーダー、カメラ、および/またはコンピューティングデバイス110のコンピューティングデバイスによって処理され得るデータを記録する任意の他の検出デバイスを含み得る。車両がミニバンなどの乗客車両である場合には、ミニバンは、ルーフまたは他の都合の良い位置に搭載されるレーザまたは他のセンサを含んでもよい。
図3は、知覚システム172の態様を含む車両100の例示的な外観図である。例えば、ルーフ上にある筐体310およびドーム状筐体312は、LIDARセンサまたはシステム、および様々なカメラおよびレーダーユニットを含んでもよい。加えて、車両100の前端に位置する筐体320、ならびに車両の運転手側および助手席側の筐体330、332は、各々、LIDARセンサを格納してもよい。例えば、筐体330は、運転者ドア360の前部に位置している。車両100はまた、車両100のルーフ上にまた位置するレーダーユニットおよび/またはカメラのための筐体340、342を含む。追加のレーダーユニットおよびカメラ(図示せず)は、車両100の前端および後端に、ならびに/またはルーフもしくはルーフ上にある筐体310に沿った他の位置上に位置し得る。
コンピューティングデバイス110は、コンピューティングデバイス110のメモリのプライマリ車両制御コードに従って車両100の動きを制御するために、車両の様々な構成要素と通信することが可能であり得る。例えば、図1に戻ると、コンピューティングデバイス110は、メモリ130の命令132に従って、車両100の動き、速度などを制御するために、減速システム160、加速システム162、ステアリングシステム164、ルーティングシステム166、プランニングシステム168、測位システム170、および知覚システム172、電源システム174(すなわち、車両のエンジンまたはモータ)など、車両100の様々なシステムと通信している様々なコンピューティングデバイスを含み得る。
車両の様々なシステムは、どのように車両を制御するかを判定するためおよび制御するために、自律型車両制御ソフトウェアを使用して機能し得る。一例として、知覚システム172の知覚システムソフトウェアモジュールは、カメラ、LIDARセンサ、レーダーユニット、ソナーユニットなどのような自律型車両の1つ以上のセンサによって生成されるセンサデータを使用して、物体およびその特徴を検出および識別し得る。これらの特徴には、場所、タイプ、進行方向、配向、速度、加速度、加速度の変化、サイズ、形状などを含み得る。場合によっては、物体タイプに基づいて様々な行動モデルを使用する行動予測システムソフトウェアモジュールに特徴を入力して、検出された物体の予測される将来の行動を出力し得る。他の例では、特徴は、既知の交通信号の状態を検出するように構成された信号機検出システムソフトウェアモジュール、車両の1つ以上のセンサによって生成されたセンサデータから建設ゾーンを検出するように構成された建設ゾーン検出システムソフトウェアモジュール、ならびに、車両のセンサによって生成されたセンサデータから緊急車両を検出するように構成された緊急車両検出システムなどの1つ以上の検出システムソフトウェアモジュールに入れることができる。これらの検出システムソフトウェアモジュールの各々は、様々なモデルを使用して、建設ゾーンまたは物体が緊急車両である可能性を出力し得る。検出された物体、予測された将来の行動、検出システムソフトウェアモジュールからの様々な可能性、車両の環境を識別する地図情報、車両の位置および方位を識別する測位システム170からの位置情報、車両の目的地、ならびに車両の様々な他のシステムからのフィードバックをプランニングシステム168のプランニングシステムソフトウェアモジュールに入力し得る。プランニングシステムは、この入力を使用して、ルーティングシステム166のルーティングモジュールによって生成された経路に基づいて、将来のある短い期間にわたって車両がたどる軌道を生成し得る。コンピューティングデバイス110の制御システムソフトウェアモジュールは、例えば、軌道をたどるために、車両の制動、加速、およびステアリングを制御することによって、車両の動きを制御するように構成し得る。
コンピューティングデバイス110は、様々な構成要素を制御することにより、自律運転モードで車両を制御することができる。例として、例えば、コンピューティングデバイス110は、詳細な地図情報およびプランニングシステム168からのデータを使用して、車両を目的地場所に完全に自律的にナビゲートし得る。コンピューティングデバイス110は、測位システム170を使用して、車両の場所を判定し、知覚システム172を使用して、その場所に安全に到着する必要があるときに、物体を検出し、物体に応答し得る。繰り返すが、そうするために、コンピューティングデバイス110は、軌道を生成し、例えば、車両に、(例えば、加速システム162により、エンジンまたは電源システム174に燃料または他のエネルギーを供給することによって)加速させ、(例えば、エンジンまたは電源システム174に供給される燃料を減少させ、ギヤを変更し、および/または減速システム160によりブレーキをかけることによって)減速させ、(例えば、ステアリングシステム164により、車両100の前輪または後輪の向きを変えることによって)方向を変更させ、(例えば、車両の方向指示器を点灯することによって)そのような変更を信号で伝えることによって、車両にこれらの軌道を追従させ得る。このため、加速システム162および減速システム160は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置の一部であり得る。この場合も、これらのシステムを制御することによって、コンピューティングデバイス110はまた、車両を自律的に操縦するために、車両の動力伝達装置を制御し得る。
例示的な方法
上述し、図に示した動作に加えて、様々な動作を、ここで説明する。以下の動作は、以下に説明する正確な順序で実施される必要がないことを理解されたい。むしろ、様々なステップが、異なる順序で、または同時に処理されてもよく、ステップもまた、追加または省略されてもよい。
上述し、図に示した動作に加えて、様々な動作を、ここで説明する。以下の動作は、以下に説明する正確な順序で実施される必要がないことを理解されたい。むしろ、様々なステップが、異なる順序で、または同時に処理されてもよく、ステップもまた、追加または省略されてもよい。
図10は、コンピューティングデバイス110の1つ以上のプロセッサ120、知覚システム172の1つ以上のプロセッサ、または両方の組み合わせなどの1つ以上のプロセッサによって実行され得る自律運転を有する車両を制御する例示的な方法の例示的なフロー図1000である。例えば、ブロック1010で、自律運転モードを有する車両の環境の複数の画像を受信し得る。一例として、車両の知覚システム172の1つ以上のカメラは、物体を含み得る複数の画像を捕捉し得る。場合によっては、複数の画像は、同じカメラまたは異なるカメラによって経時的に捕捉された一連の画像であり得る。同じカメラを使用する場合、カメラが同じ姿勢(車両が動いていない場合)または異なる姿勢(車両が動いている場合)にあるときに、これらの画像の各々が捕捉され得る。
複数の画像は、様々な理由で捕捉され得る。車両がその環境を通って運転されるとき、車両の知覚システムは、一時停止標識または譲れの標識などの特定のタイプの物体を含む物体を検出および識別し得る。車両が特定のタイプの物体に接近している場合、コンピューティングデバイス110は、複数の画像を捕捉することによって、物体の推定場所を判定し得る。代替的に、車両が、地図情報で識別されるような特定のタイプの物体の予想される場所からの、深度地図位置特定に使用されるLIDARセンサなどの車両のセンサの最大範囲に対応し得る、所定の距離にある場合、および、車両が物体に接近している場合、複数の画像を捕捉し得る。
図5に示されるように、車両100は、記憶された地図部分200に示される地理的領域を含む地理的領域500内を運転し得る。これに関して、交差点502、504の各々の形状および場所は、一般に、交差点202、204の各々の形状および場所にそれぞれ対応し、一時停止標識520、522の形状および場所は、一般に、一時停止標識220、222の形状および場所に対応し、車線530、532、534、536、538の各々の形状および場所は、一般に、それぞれ、車線230、232、234、236、238の各々の形状および場所に対応する。
この例では、知覚システム172は、一時停止標識520を一時停止標識として識別し、この情報をコンピューティングデバイス110に提供し得る。それに応じて、コンピューティングデバイスは、知覚システム172に複数の画像を捕捉させ得る。代替的に、一時停止標識の識別に基づいて、知覚システムは、複数の画像を自動的に捕捉し得る。別の代替案として、コンピューティングデバイス110は、車両が、直線距離にある、または車両が現在たどっている経路に沿ってのいずれかの、地図情報内の一時停止標識220から所定の距離にあるとコンピューティングデバイスが判定すると、知覚システム172に複数の画像を捕捉させ得る。
例えば、一時停止標識が知覚システム172によって検出されたとき、または車両100が地図情報200内の一時停止標識の場所から所定の距離にあるときに、複数の画像を捕捉し得る。場合によっては、複数の画像は、同じカメラまたは異なるカメラによって経時的に捕捉された一連の画像であり得る。同じカメラを使用する場合、カメラが同じ姿勢(車両が動いていない場合)または異なる姿勢(車両が動いている場合)にあるときに、これらの画像の各々が捕捉され得る。図4Aは、第1の画像401Aが、知覚システム172のカメラの第1の姿勢で第1の時点で捕捉され得、第2の画像401Bが、カメラの第2の姿勢で第1の時点の後の第2の時点で捕捉され得、および第3の画像401Cが、第3の姿勢で第2の時点の後の第3の時点で捕捉され得ること含む例示的な複数の画像400を提供する。第1、第2、および第3の画像は、10Hzまたは他の周波数で連続して捕捉され得る。これに関して、図5は、画像401Aが捕捉された時間を表し得る。車両が一時停止標識520に近づくにつれて、第2の画像401Bが捕捉され得、その後、第3の画像401Cが捕捉され得る。
いくつかの実施態様では、複数の画像は、第1の画像401Aを含み得、第2の画像401Bは、本明細書に記載されるように捕捉され、処理され得る。第3の画像401Cなどの第1の画像401Aおよび第2の画像401Bを超える追加の画像は、複数の画像に含まれ得、したがって、本明細書に記載されるように捕捉および処理される。捕捉および処理される追加の画像の数は、システムの遅延要件または一時停止標識の推定場所が必要な時間枠に依存し得る。例えば、所与の一時停止標識を検出してから0.5秒以内に推定場所が必要であり、処理に0.1秒かかる場合、4つの画像を10Hz以上の周波数で捕捉し、処理し得る。
複数の画像の各画像の姿勢は、車両の場所、および車両に対する、画像を捕捉したカメラの相対的な場所に基づいて判定され得る。例えば、測位システム170および地図情報を使用して、車両のコンピューティングデバイス110は、第1の画像401Aが知覚システム172のカメラから捕捉されたときに、車両100が交差点504に向かう方向に進行する車道210の車線530に位置することを判定し得る。これを、画像が捕捉された時点における、車両100に対する、画像を捕捉したカメラの相対的な場所および配向と組み合わせて、第1の画像401Aの第1の姿勢を判定するために使用し得る。複数の画像の各画像について、同様のプロセスを繰り返し得る。
この例では、第1の画像401Aは、交差点402A、404A、車道410A、412A、414A、および一時停止標識420A、422Aを捕捉し得る。車道410Aは、第1方向に向かう車両100の走行車線である車線A(車線230に対応する)と、第1方向とは反対の第2方向に向かう車線B(車線232に対応する)を含み得、車道412Aは、第1および第2の方向に垂直な第3の方向に向かう1つ以上の車線を含み得、車道414Aは、第3の方向に向かう車線D(車線236に対応する)と、第3の方向とは反対の第4の方向に向かう車線Eとを含み得る。車両100が車線Aをある距離を移動した後に撮影された第2の画像401Bは、交差点402B、404B、車道410B、412B、414B、および一時停止標識420Bを捕捉し得る。車両100が車線Aをさらなる距離を移動した後に撮影された第3の画像401Cは、交差点402C、車道410C、412C、および一時停止標識420Cを捕捉し得る。この例では、一時停止標識420A、420B、および420Cは、同じ一時停止標識であり得るが、これらの3つの画像の各々における一時停止標識の検出のみに基づいて、この関連付けは、コンピューティングデバイス110に「知られて」いない。
図10に戻ると、ブロック1020で、複数の画像のうちの画像における特定のタイプの関連付けられた物体が識別される。例えば、コンピューティングデバイス110は、複数の画像のうちの第1の画像における特定のタイプの物体を識別するように構成され得る。この第1の画像は、時間的に第1の画像、時間的に第2の画像、または複数のうちの他のある画像であり得る。物体を識別することは、様々な物体認識技術を使用して、物体に対応する第1の画像における「パッチ」または複数のピクセルを識別することを含み得る。このような技術には、カメラ画像における特定の物体領域を検出する畳み込みディープネットワークが含まれ得る。これらのネットワークは、一時停止標識または譲れの標識などの特定の物体を含むトレーニング画像の領域のラベル付きの例を使用して、教師あり学習によってトレーニングされ得る。
例えば、図4Bは、画像401Aの一時停止標識420Aの例示的なパッチ(破線で囲まれた領域で表されている)を描写している。同様のパッチ430B、430Cはまた、それぞれ、図4Cおよび4Dに示されるように、画像401B1および401Cの一時停止標識420Bおよび420Cについて判定され得る。コンピューティングデバイス110は、継続的に、または車両が、地図情報に記憶された情報から判定されるような一時停止標識または譲れの標識などの特定のタイプの物体の場所から設定された距離にある場合などの特定の状況でのみ、物体認識技術に従事するように構成され得る。このプロセスは、複数の他の画像における特定のタイプの他の物体を識別するために使用され得る。
コンピューティングデバイス110は、画像における任意の物体が複数の画像のうちの他の画像における物体と同じ物体であるかどうかを判定し得、これらの物体を互いに関連付け得る。例えば、コンピューティングデバイスは、同じ一時停止標識が複数の画像の各々に表示されるかどうかを判定することができる。関連付けは、1つの画像における1つの物体のパッチの中心を、別の画像における別の物体の画像に投影することによって生成し得る。投影されたピクセル場所は、2つの画像が捕捉されたときのカメラの姿勢間の違いに応じて調整され得る。投影が、別の画像における別の物体に対応するパッチと重なるか、またはそれを備える領域内にある場合、各画像におけるパッチが同じ物体(以下、関連付けられた物体)を表すことを示す関連付けが生成される。そうでなければ、パッチは、同じ物体に対応しない。関連付けを使用して、推定場所を検証し、第1の画像が捕捉されたときの物体の場所についての推定場所のうちの1つを選択し得る。関連付けは、推定場所を生成する前、それと同時に、またはそれを生成した後に生成され得る。
図7に示されるように、一時停止標識420Bのパッチ430Bの中心710は、画像401Aに投影され得る。この例では、パッチ430Bの中心710は、パッチ430Aの領域内にある。したがって、コンピューティングデバイス110は、一時停止標識420Aのパッチとパッチ430Bが同じ物体であると判定することができる。さらに、パッチ430Aの中心は、第2の画像401Bに投影され得る。パッチ430Aの中心の投影位置がパッチ430Bの領域内にある場合、コンピューティングデバイス110は、一時停止標識420Bに対応するパッチ、および一時停止標識420Aに対応するパッチが同じ物体であると判定し得る。これらの投影は、特定のタイプの物体に対応する識別されたパッチを有する複数の画像のうちの画像の各ペアに対して実行され得る。
図10に戻ると、ブロック1030において、複数の異なる位置特定技術を使用して、物体について複数の推定場所が判定される。第1の例示的な位置特定技術には、物体サイズ位置特定が含まれ得る。例えば、物体のタイプに基づいて、車両のコンピューティングデバイスは、物体の予想されるサイズまたは予想される寸法を使用して、車両と物体との間の距離を推定し得る。これには、パッチの寸法、例えば、ピクセルの高さおよびまたは幅を、様々な距離での物体の予想される寸法と比較し、パッチの寸法に最も近い予想される寸法と関連付けられた距離を特定することが含まれ得る。代替的に、パッチの寸法を、物体の予想される寸法に基づいて、推定された距離を提供する方程式に入力することもできる。これは、一時停止標識および譲れの標識などの特定の物体の寸法が、かなり一貫しているか、またはそうでなければ法律によって規制または指示され得るため、有益である場合がある。この推定された距離を、画像が捕捉されたときの画像捕捉場所の姿勢と組み合わせることは、物体の三次元(3D)場所を推定するために、使用され得る。例えば、画像401A、401B、および401Cを比較すると、一時停止標識420A、420B、420Cは、車両(または画像を捕捉したカメラ)と一時停止標識との間の距離が小さくなるにつれて大きく表示される。図4Aの例に目を向けると、車両のコンピューティングデバイス110は、上記のような物体サイズ位置特定などの第1の位置特定技術を使用して、一時停止標識420Aの第1の推定場所を判定し得る。
第2の例示的な位置特定技術には、深度地図位置特定が含まれ得る。例えば、車両のコンピューティングデバイスは、知覚システムのLIDARセンサによって生成されたセンサデータを使用し得、深度地図を提供し得る。カメラの姿勢を使用して画像を深度地図に投影することにより、物体の3D場所を推定し得る。図4Aの例に戻ると、コンピューティングデバイス110は、深度地図位置特定などの第2の位置特定技術を使用して、一時停止標識420Aの第2の推定場所を判定し得る。画像401Aが捕捉されたと同時に、または時間的に非常に近くに、知覚システム172のLIDARセンサは、車両の環境内の物体の表面の場所(x、y、z)および強度を識別するセンサデータを生成し得る。このセンサデータを使用して、車両の環境内の表面を相互に3Dで識別する深度地図を生成し得、画像401Aまたは単にパッチ430Aを、画像が捕捉されたときの画像401Aを捕捉したカメラの姿勢を使用して、深度地図に投影し得る。パッチ430Aが投影される深度地図の表面の場所は、一時停止標識420Aの第2の推定場所であり得る。
第3の例示的な位置特定技術には、道路グラフベースの位置特定が含まれ得る。例えば、車両のコンピューティングデバイスは、カメラ(および/または車両)の場所に対するパッチ上の中心または他のある場所の配向を判定し、次いでこの配向を使用して、地図情報に光線を投影し得る。この光線は、画像が捕捉されたとき、物体がカメラの姿勢に対する画像における物体の所与の場所を見つけ得る座標を表し得る。計算された光線に沿って、またはその所定の距離内にある、マッピングされた一時停止標識など1つ以上の物体を識別し得る。次いで、物体の別の推定場所は、地図情報内の任意の識別された物体の場所を使用して判定され得る。
図4Aの例に戻ると、コンピューティングデバイス110は、道路グラフベースの位置特定などの第3の位置特定技術を使用して、一時停止標識420Aの第3の推定場所を判定し得る。道路グラフベースの位置特定は、一時停止標識420Aを位置特定して、物体の別の推定場所を取得し得る。道路グラフベースの位置特定は、画像が、第1の画像401A内のパッチ430Aの中心を通して捕捉されたときに第1の画像401Aを捕捉したカメラの場所からの三次元光線を計算することを含み得る。カメラの場所は、第1の姿勢、車両の位置、および画像401Aが捕捉されたときの車両に対するカメラの場所から導き出すことができる。
図6に示されるように、パッチ430の中心に対応する方向に配向された光線610は、カメラの第1の姿勢に基づいて、車両100の判定された場所から地図情報に投影され得る。カメラの第1の姿勢に対する投影された光線の角度は、第1の画像401Aの中心に対する一時停止標識420Aの場所を判定し、一時停止標識420Aの場所と第1の画像401Aの中心との間の差を、地理的領域500の角距離にマッピングすることによって判定し得る。
マッピングされた一時停止標識は、光線の座標に沿って、または光線の座標から閾値距離内にx座標、y座標を有するものとして識別され得る。場合によっては、z座標の閾値距離内にあることも必要になることがある。閾値距離は、地理的領域内の一時停止標識の間の曖昧さを解消するために、一時停止標識の密度に基づいて判定し得る。例えば、一時停止標識の密度がより高い場合は、一時停止標識の密度がより低い場合よりも低い閾値距離が必要になり得る。図6に示すように、x次元で5フィート、y次元で5フィートの閾値距離を使用すると、光線610は、地図部分200の地図情報内の第1の一時停止標識220の場所情報による、第1の一時停止標識220のx次元およびy次元で5フィート以内を通過し得る。第2の一時停止標識222などの他の一時停止標識は、光線610から5フィート以内にはない。したがって、第1の一時停止標識220を特定することができる。
地図情報に記憶された第1のマッピングされた一時停止標識の座標は、道路グラフベースの位置特定の推定場所であると判定し得る。例えば、第1の一時停止標識220の場所情報は、第1の画像401Aで捕捉された一時停止標識420Aの第3の推定場所として使用され得る。
場合によっては、追加の数のマッピングされた一時停止標識はまた、上記の道路グラフベースの位置特定を使用して、計算された光線からの閾値距離内にx、y座標を有し、検出可能な配向を有すると識別され得る。追加の数のマッピングされた一時停止標識の各々の座標は、第1の一時停止標識についての推定場所のセットに追加され得る。代替的に、第1のマッピングされた一時停止標識のうちの計算された光線に最も近いマッピングされた一時停止標識、および追加の数のマッピングされた一時停止標識の座標を、第1の一時停止標識の推定場所として選択して、推定場所のセットに追加さし得る。
他の例では、光線の所定の閾値距離に沿ってまたはその範囲内にあると識別される第1のマッピングされた一時停止標識はまた、カメラが、第1のマッピングされた一時停止標識を一時停止標識として検出することを可能にする配向を有すると識別され得る。例えば、図6に戻ると、地図部分200の地図情報に基づいて、第1の一時停止標識220の配向は、第1の一時停止標識220上のSTOPという単語がカメラによって検出可能であるように、車両100が走行している車線230に面していると判定され得る。第1のマッピングされた一時停止標識が、カメラが第1のマッピングされた一時停止標識を一時停止標識として検出することを可能にする配向を有しない場合、第1のマッピングされた一時停止標識は、位置特定プロセスから除外され得る。例えば、地図情報によれば、第2の一時停止標識222の配向は、STOPという単語が、車両100のカメラによって捕捉されるように、車線230に面していない。したがって、第2の一時停止標識222が光線の座標から閾値距離内にある場合、第2の一時停止標識222は、道路グラフ位置特定プロセスから除外され、および/または車両によって無視される。
図8は、第1の位置特定技術、第2の位置特定技術、および物体サイズ位置特定、深度地図位置特定、および上記の道路グラフベースの位置特定技術などの第3の位置特定技術によって判定され得る、一時停止標識520の複数の推定場所820A、820B、820Cの例示的な描写を提供する。この例では、各位置特定技術は、ある関連付けられた誤差を有し得る。例えば、物体サイズ位置特定について、物体の予想されるサイズまたは寸法が正しくない場合、画像における物体が部分的に遮られている場合、または物体が、予想されるサイズまたは寸法に単に適合していない場合(つまり、壊れた記号、製造誤差、またはその他の不整合)、この技術を使用して判定された物体の推定場所が正しくない可能性がある。別の例として、深度地図位置特定について、LIDARセンサの物体のビューが、別の道路利用者、がれき、落ち葉、木の枝、標識、または他の物体などによって部分的に遮られている場合この技術を使用して判定された物体の推定場所が正しくない可能性がある。別の例として、道路グラフベースの位置特定は、物体が、損傷または移動している(例えば、一時停止標識または譲れの標識用の曲がった標識ポール)、一時的(一時的な一時停止標識など)、もしくは新しい、および地図情報に表示されない場合、または光線に沿って同じタイプの複数の物体がある場合、この技術を使用して判定された物体の推定場所が正しくない可能性がある。
図10に戻ると、ブロック1040で、複数の推定場所の各々について、誤差スコアが判定され得る。この誤差スコアは、再投影誤差に基づいている可能性がある。例えば、別の画像における別の物体と関連付けられた物体を含む各画像について、コンピューティングデバイス110は、関連付けられた物体の推定場所の各々について再投影誤差を判定し得る。そうするために、関連付けられた物体の各推定場所は、関連付けられた物体が識別された各画像に投影され得る。再投影誤差は、投影された推定場所と、その画像に関連付けられたものに対応するパッチとの間の距離であり得る(またはそれから導き出され得る)。このプロセスは、任意の他の推定場所に対して、および関連付けられた物体が存在している画像の所定の数(例えば、3つ以上の画像またはそれ以下)またはすべてに対して繰り返し得る
図9A、9B、および9Cは、それぞれ、画像401A、401B、401Cの詳細図を表し、理解を容易にするために画像自体の詳細なしで、それぞれパッチ430A、430B、430Cの領域を示している。図9Aに示されるように、第1の推定場所820A、第2の推定場所820B、および第3の推定場所820Cは、第1の画像401Aに投影され得る。点920A、920B、920Cは、それぞれ、推定場所820A、820B、820Cの中心を表し、点930A、930B、930Cは、それぞれパッチ430A、430B、430Cの中心を表す。
推定場所とパッチ430Aとの間、例えば、パッチ430Aの中心と推定場所の各々の中心との間の距離DA1、DB1、およびDC1は、推定場所の各々についての第1の再投影誤差として識別され得る。図8Bに目を向けると、第1の推定場所820A、第2の推定場所820B、および第3の推定場所820Cは、第1の画像401Bに投影され得る。一時停止標識420Bについて識別された画像401Bのピクセルに対応する推定場所とパッチ430Bとの間の距離DA2、DB2、およびDC2、例えば、パッチの中心と推定場所の各々の中心との間の距離は、推定場所の各々についての第2の再投影誤差として識別され得る。図8Cに目を向けると、第1の推定場所820A、第2の推定場所820B、および第3の推定場所820Cは、第1の画像401Bに投影され得る。推定場所とパッチ430Cとの間、例えば、パッチ430Cの中心と推定場所の各々の中心との間の距離DA3、DC3、およびDC3は、推定場所の各々についての再投影誤差として識別され得る。
次いで、コンピューティングデバイス110は、各位置特定技術について、またはむしろ、異なる位置特定技術を使用して判定された複数の推定場所の各推定場所について、誤差スコアを判定し得る。一例として、関連付けられた物体が表示される異なる画像に投影された同じ推定場所の投影から判定された再投影誤差スコアは、一緒に平均され得る。例えば、距離DA1、DA2、およびDA3を一緒に平均して、推定場所820Aの誤差スコアを判定することができる。さらに、距離DB1、DB2、およびDB3を一緒に平均して、推定場所820Bの誤差スコアを判定することができ、距離DC1、DC2、およびDC3を一緒に平均して、推定場所820Aの誤差スコアを判定することができる。
誤差スコアの数は、複数の位置特定技術のうちの位置特定技術の数に依存し得る。例えば、物体について2つの位置特定技術または2つの推定場所がある場合、2つの誤差スコアがある。同様に、物体について3つの位置特定技術または3つの推定場所がある場合、3つの誤差スコアがある。そのため、物体について追加の位置特定技術または推定場所がある場合、追加の誤差スコアがある。
図10に戻ると、ブロック1050において、推定場所は、判定された誤差スコアに基づいて、複数の推定場所から選択される。例えば、コンピューティングデバイス110は、判定された誤差スコアに基づいて、第1の画像が捕捉された時点での物体についての複数の推定場所から、位置特定技術または推定場所を選択し得る。例えば、最も低い誤差スコアを有する推定場所は、第1の画像が捕捉された時点での物体の場所であると判定され得る。換言すれば、複数の画像のパッチまでの最も短い平均投影距離を有する推定場所を選択し得る。例えば、距離DC1、DC2、およびDC3の平均が、距離DA1、DA2、およびDA3の平均、ならびに距離DC1、DC2、およびDC3の平均よりも小さい可能性があるとして、推定場所820Bが選択され得る。
図10に戻ると、ブロック1060で、車両は、選択された推定場所に基づいて、自律運転モードで制御される。例えば、コンピューティングデバイス110は、選択された推定場所に従って物体に応答するために、自律運転モードで車両を制御するように構成され得る。これは、選択された場所をプランニングシステム168または行動モデルに入力することを含み得る。例えば、物体が一時停止標識である場合、車両のコンピューティングデバイスは、1つ以上の自律運転システムを動作させて、自律型車両を、選択された推定場所に従って停止し、一時停止標識についてのすべての他の推定場所を無視するようにナビゲートする。同様に、物体が譲れの標識である場合、車両のコンピューティングデバイスは、1つ以上の自律運転システムを動作させて、自律型車両を、譲れの標識の選択された推定場所に従って譲り、譲れの標識についてのすべての他の推定場所を無視するようにナビゲートする。
場合によっては、物体が一時停止標識であり、選択された一時停止標識の推定場所が、マッピングされた一時停止標識の座標に対応していない(例えば、同じではない、または非常に近い)場合、一時停止標識は、一時的、または新しい可能性のある一時停止標識として識別される。同じことが譲れの標識または他のタイプの物体にも当てはまり得る。加えて、この情報は、地図情報に記憶され、および/またはさらなる分析のためにリモートコンピューティングデバイスに送信され得る。
代替の例では、車両のコンピューティングデバイス110は、複数の画像を使用して、移動する標識の軌道を識別するようにさらに構成され得る。移動する標識は、ハンドヘルドの一時停止標識またはバスの一時停止標識など、アクティブな位置に移動する一時的な標識であり得る。一時的な標識の場所または一時的な標識がアクティブ位置にあるタイミングに関する予測は、コンピューティングデバイス110によって判定され得る。次いで、車両100は、予測に従ってナビゲートするために、コンピューティングデバイスによって動作され得る。
上記の特徴は、自律型車両の車道に沿った特定のタイプの物体の場所をより正確に識別するシステムを提供し得る。特に、一時停止標識場所を特定し得る。その結果、自律型車両は、物体の正しくない場所に応答する、例えば、一時停止標識のない場所で不適切に停止する、または譲れの標識のない場所で譲る行動を示す可能性が低くなり得る。このような状況は、自律型車両だけでなく他の道路利用者にとっても混乱を招き、潜在的に危険な場合がある。さらに、このような行動を回避することができるため、自律型車両の乗員は、よりスムーズな乗り心地を体験し、より効率的に目的地に到達し得る。加えて、自律型車両の資源は、誤って位置特定された物体に応答するために使用する必要がないため、より効率的に利用され得る。
特段の記述がない限り、前述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実装することができる。上で考察された特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するものとしてではなく、例示としてみなされるべきである。加えて、本明細書に記載の例、ならびに「など」、「含む」などと表現された語句の提示は、特許請求の範囲の主題を特定の例に限定するものと解釈されるべきではなく、むしろ、例は、多くの可能な実施形態のうちの1つだけを例示することが意図される。さらに、異なる図面の同じ参照符号は、同じまたは類似の要素を特定することができる。
Claims (20)
- 自律運転モードを有する車両を制御するための方法であって、
1つ以上のプロセッサによって、前記車両の環境の複数の画像を受信することと、
前記1つ以上のプロセッサによって、前記複数の画像のうちの画像における特定のタイプの関連付けられた物体を識別することと、
前記1つ以上のプロセッサによって、複数の異なる位置特定技術を使用して、前記物体についての複数の推定場所を判定することと、
前記複数の推定場所の各々について、前記1つ以上のプロセッサによって、誤差スコアを判定することと、
前記1つ以上のプロセッサによって、前記判定された誤差スコアに基づいて、前記複数の推定場所から推定場所を選択することと、
前記1つ以上のプロセッサによって、前記選択された推定場所に基づいて、前記自律運転モードで前記車両を制御することと、を含む、方法。 - 前記特定のタイプの前記物体は、一時停止標識である、請求項1に記載の方法。
- 前記特定のタイプの前記物体は、譲れの標識である、請求項1に記載の方法。
- 前記車両と、前記自律運転モードで前記車両を制御するために使用される事前に記憶された地図情報における一時停止標識の場所との間の距離に基づいて、前記複数の画像を捕捉させることをさらに含む、請求項1に記載の方法。
- 前記車両の知覚システムによる前記特定のタイプの物体の検出に基づいて、前記複数の画像を捕捉させることをさらに含む、請求項1に記載の方法。
- 前記複数の画像のうちの前記画像のうちの第1の画像における前記特定のタイプの物体に対応するパッチを識別することをさらに含み、前記誤差スコアは、前記パッチにさらに基づいて判定される、請求項1に記載の方法。
- 前記特定のタイプの前記関連付けられた物体を識別することは、
前記複数の画像のうちの前記画像のうちの第1の画像における前記特定のタイプの物体に対応する第1のパッチを識別することと、
前記複数の画像のうちの前記画像のうちの第2の画像における前記特定のタイプの物体に対応する第2のパッチを識別することと、
前記第1のパッチの中心を前記第2の画像に投影することと、
前記投影された中心が、前記第2のパッチの領域内にあるかどうかを判定することと、を含む、請求項1に記載の方法。 - 前記複数の異なる位置特定技術は、前記特定のタイプの物体の予想されるサイズに基づく物体サイズ位置特定を含む、請求項1に記載の方法。
- 前記複数の異なる位置特定技術は、前記車両のLIDARセンサによって生成されるセンサデータに基づく深度地図位置特定を含む、請求項1に記載の方法。
- 前記複数の異なる位置特定技術は、前記複数の画像のうちのある画像におけるパッチの中心の方向に対応する光線を、前記自律運転モードで前記車両を制御するために使用される事前に記憶された地図情報に投影することを含む、道路グラフベースの位置特定を含む、請求項1に記載の方法。
- 前記道路グラフベースの位置特定は、前記投影された光線の閾値距離内にある、前記地図情報における前記特定のタイプの物体を識別することを含む、請求項10に記載の方法。
- 前記複数の画像のうちの前記画像の各画像について、前記複数の推定場所の各々について再投影誤差を判定することをさらに含み、前記誤差スコアを判定することは、前記再投影誤差にさらに基づいている、請求項1に記載の方法。
- 前記誤差スコアのうちの1つを判定することは、
前記複数の画像のうちの前記画像のうちの第1の画像における前記特定のタイプの物体に対応するパッチを識別することと、
前記複数の推定場所のうちの1つの推定場所を前記第1の画像に投影することと、
前記投影された場所と前記パッチの領域との間の距離を判定することと、を含む、請求項1に記載の方法。 - 前記距離を判定することは、前記投影された場所の中心と前記パッチの前記領域の中心との間の距離を判定することを含む、請求項13に記載の方法。
- 前記複数の推定場所のうちの1つの前記推定場所を前記第1の画像に投影することは、前記第1の画像の姿勢に基づいている、請求項13に記載の方法。
- 前記距離は、前記再投影誤差のうちの1つである、請求項13に記載の方法。
- 前記誤差スコアのうちの1つを判定することは、前記複数の場所推定のうちの所与の1つについて、再投影誤差を平均することを含む、請求項13に記載の方法。
- 前記選択された推定場所を選択することは、前記誤差スコアのうちの最も低いものを有する推定場所を選択することを含む、請求項1に記載の方法。
- 自律運転モードを有する車両を制御するためのシステムであって、
前記車両の環境の複数の画像を受信することと、
前記複数の画像のうちの画像における特定のタイプの関連付けられた物体を識別することと、
複数の異なる位置特定技術を使用して、前記物体についての複数の推定場所を判定することと、
前記複数の推定場所の各々について、誤差スコアを判定することと、
前記判定された誤差スコアに基づいて、前記複数の推定場所から推定場所を選択することと、
前記選択された推定場所に基づいて、前記自律運転モードで前記車両を制御することと、を行うように構成された1つ以上のプロセッサを含む、システム。 - 前記車両をさらに含む、請求項19に記載のシステム。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962883745P | 2019-08-07 | 2019-08-07 | |
US62/883,745 | 2019-08-07 | ||
US16/598,162 | 2019-10-10 | ||
US16/598,162 US11347231B2 (en) | 2019-08-07 | 2019-10-10 | Object localization for autonomous driving by visual tracking and image reprojection |
PCT/US2020/045384 WO2021026444A1 (en) | 2019-08-07 | 2020-08-07 | Object localization for autonomous driving by visual tracking and image reprojection |
JP2022504109A JP7376682B2 (ja) | 2019-08-07 | 2020-08-07 | 視覚追跡および画像再投影による自律運転のための物***置特定 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022504109A Division JP7376682B2 (ja) | 2019-08-07 | 2020-08-07 | 視覚追跡および画像再投影による自律運転のための物***置特定 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024014875A true JP2024014875A (ja) | 2024-02-01 |
Family
ID=74498864
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022504109A Active JP7376682B2 (ja) | 2019-08-07 | 2020-08-07 | 視覚追跡および画像再投影による自律運転のための物***置特定 |
JP2023183827A Pending JP2024014875A (ja) | 2019-08-07 | 2023-10-26 | 視覚追跡および画像再投影による自律運転のための物***置特定 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022504109A Active JP7376682B2 (ja) | 2019-08-07 | 2020-08-07 | 視覚追跡および画像再投影による自律運転のための物***置特定 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11347231B2 (ja) |
EP (1) | EP3994666A4 (ja) |
JP (2) | JP7376682B2 (ja) |
KR (1) | KR20220035946A (ja) |
CN (1) | CN114402361A (ja) |
WO (1) | WO2021026444A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11125575B2 (en) * | 2019-11-20 | 2021-09-21 | Here Global B.V. | Method and apparatus for estimating a location of a vehicle |
US11965749B2 (en) | 2021-03-31 | 2024-04-23 | Argo AI, LLC | System and method for automated lane conflict estimation in autonomous vehicle driving and map generation |
US11815361B2 (en) * | 2022-04-14 | 2023-11-14 | GM Global Technology Operations LLC | System and method for generating an occlusion map using crowdsourcing |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3925332B2 (ja) * | 2002-07-04 | 2007-06-06 | 日産自動車株式会社 | 車両用外界認識装置 |
US7145478B2 (en) * | 2002-12-17 | 2006-12-05 | Evolution Robotics, Inc. | Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system |
US9558584B1 (en) | 2013-07-29 | 2017-01-31 | Google Inc. | 3D position estimation of objects from a monocular camera using a set of known 3D points on an underlying surface |
DE102014202503A1 (de) * | 2014-02-12 | 2015-08-13 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem verkehrsregelnden Objekt |
US9558659B1 (en) * | 2014-08-29 | 2017-01-31 | Google Inc. | Determining the stationary state of detected vehicles |
US9625582B2 (en) | 2015-03-25 | 2017-04-18 | Google Inc. | Vehicle with multiple light detection and ranging devices (LIDARs) |
JP6507839B2 (ja) * | 2015-05-19 | 2019-05-08 | 株式会社デンソー | 車両の走行制御装置 |
JP6620527B2 (ja) * | 2015-11-19 | 2019-12-18 | 株式会社デンソー | 情報処理装置及び車載システム |
KR102506642B1 (ko) * | 2016-01-04 | 2023-03-07 | 한국전자통신연구원 | 차량용 융합 시스템 및 이 시스템의 정보 처리 방법 |
US9707961B1 (en) * | 2016-01-29 | 2017-07-18 | Ford Global Technologies, Llc | Tracking objects within a dynamic environment for improved localization |
WO2018031678A1 (en) | 2016-08-09 | 2018-02-15 | Nauto Global Limited | System and method for precision localization and mapping |
US10630962B2 (en) * | 2017-01-04 | 2020-04-21 | Qualcomm Incorporated | Systems and methods for object location |
JP6819441B2 (ja) * | 2017-04-24 | 2021-01-27 | 日産自動車株式会社 | 物標位置推定方法及び物標位置推定装置 |
US10282860B2 (en) | 2017-05-22 | 2019-05-07 | Honda Motor Co., Ltd. | Monocular localization in urban environments using road markings |
US10444759B2 (en) * | 2017-06-14 | 2019-10-15 | Zoox, Inc. | Voxel based ground plane estimation and object segmentation |
US10223807B1 (en) | 2017-08-23 | 2019-03-05 | TuSimple | Feature extraction from 3D submap and global map system and method for centimeter precision localization using camera-based submap and lidar-based global map |
WO2019066770A1 (en) | 2017-09-26 | 2019-04-04 | Hitachi Automotive Systems, Ltd. | CAMERA CALIBRATION USING TRAFFIC PANEL RECOGNITION |
US20190204092A1 (en) * | 2017-12-01 | 2019-07-04 | DeepMap Inc. | High definition map based localization optimization |
US10884422B2 (en) * | 2018-04-16 | 2021-01-05 | Baidu Usa Llc | Method for generating trajectories for autonomous driving vehicles (ADVS) |
US10872435B2 (en) * | 2018-10-19 | 2020-12-22 | Here Global B.V. | Method and apparatus for iteratively establishing object position |
US10902634B2 (en) * | 2018-12-04 | 2021-01-26 | Here Global B.V. | Method and apparatus for providing feature triangulation |
US10928828B2 (en) * | 2018-12-14 | 2021-02-23 | Waymo Llc | Detecting unfamiliar signs |
US20200217667A1 (en) * | 2019-01-08 | 2020-07-09 | Qualcomm Incorporated | Robust association of traffic signs with a map |
-
2019
- 2019-10-10 US US16/598,162 patent/US11347231B2/en active Active
-
2020
- 2020-08-07 KR KR1020227005557A patent/KR20220035946A/ko unknown
- 2020-08-07 WO PCT/US2020/045384 patent/WO2021026444A1/en unknown
- 2020-08-07 CN CN202080065017.9A patent/CN114402361A/zh active Pending
- 2020-08-07 EP EP20849112.6A patent/EP3994666A4/en active Pending
- 2020-08-07 JP JP2022504109A patent/JP7376682B2/ja active Active
-
2022
- 2022-04-28 US US17/731,703 patent/US11854229B2/en active Active
-
2023
- 2023-10-26 JP JP2023183827A patent/JP2024014875A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20220035946A (ko) | 2022-03-22 |
CN114402361A (zh) | 2022-04-26 |
US20220253066A1 (en) | 2022-08-11 |
US11854229B2 (en) | 2023-12-26 |
EP3994666A1 (en) | 2022-05-11 |
JP2022543355A (ja) | 2022-10-12 |
JP7376682B2 (ja) | 2023-11-08 |
EP3994666A4 (en) | 2023-08-02 |
US11347231B2 (en) | 2022-05-31 |
WO2021026444A1 (en) | 2021-02-11 |
US20210041883A1 (en) | 2021-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10899345B1 (en) | Predicting trajectories of objects based on contextual information | |
US11989666B1 (en) | Predicting trajectory intersection by another road user | |
US11851055B2 (en) | Using wheel orientation to determine future heading | |
US10788585B2 (en) | System and method for object detection using a probabilistic observation model | |
US9440647B1 (en) | Safely navigating crosswalks | |
US11938926B2 (en) | Polyline contour representations for autonomous vehicles | |
JP7376682B2 (ja) | 視覚追跡および画像再投影による自律運転のための物***置特定 | |
US11126197B2 (en) | Verification of iterative closest point alignments for autonomous vehicles | |
US20220366175A1 (en) | Long-range object detection, localization, tracking and classification for autonomous vehicles | |
US20230046289A1 (en) | Automatic labeling of objects in sensor data | |
US20230351773A1 (en) | Systems and methods for detecting traffic lights corresponding to a driving lane | |
US20230343109A1 (en) | Systems and methods for detecting traffic lights of driving lanes using a camera and multiple models | |
Mason et al. | The Golem Group/UCLA autonomous ground vehicle in the DARPA Grand Challenge |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231120 |