JP2023088849A - 自律型システム及びアプリケーションにおける特徴ディスクリプタ・マッピングを使用した単一及びアクロス・センサ物体追跡 - Google Patents
自律型システム及びアプリケーションにおける特徴ディスクリプタ・マッピングを使用した単一及びアクロス・センサ物体追跡 Download PDFInfo
- Publication number
- JP2023088849A JP2023088849A JP2022175366A JP2022175366A JP2023088849A JP 2023088849 A JP2023088849 A JP 2023088849A JP 2022175366 A JP2022175366 A JP 2022175366A JP 2022175366 A JP2022175366 A JP 2022175366A JP 2023088849 A JP2023088849 A JP 2023088849A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- data
- vehicle
- sensors
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 title description 4
- 239000013598 vector Substances 0.000 claims abstract description 152
- 238000000034 method Methods 0.000 claims abstract description 101
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 238000005065 mining Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 86
- 238000013528 artificial neural network Methods 0.000 claims description 61
- 230000015654 memory Effects 0.000 claims description 59
- 238000012549 training Methods 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 51
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000013135 deep learning Methods 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 36
- 238000010801 machine learning Methods 0.000 description 76
- 238000013527 convolutional neural network Methods 0.000 description 30
- 238000004891 communication Methods 0.000 description 23
- 238000003860 storage Methods 0.000 description 23
- 230000033001 locomotion Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 230000000670 limiting effect Effects 0.000 description 17
- 238000007726 management method Methods 0.000 description 15
- 230000001133 acceleration Effects 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000012805 post-processing Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000011176 pooling Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 235000019800 disodium phosphate Nutrition 0.000 description 5
- 238000007667 floating Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000013439 planning Methods 0.000 description 5
- 241000269400 Sirenidae Species 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 125000000914 phenoxymethylpenicillanyl group Chemical group CC1(S[C@H]2N([C@H]1C(=O)*)C([C@H]2NC(COC2=CC=CC=C2)=O)=O)C 0.000 description 4
- 229920002451 polyvinyl alcohol Polymers 0.000 description 4
- 235000019422 polyvinyl alcohol Nutrition 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 101150064138 MAP1 gene Proteins 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 101100175317 Danio rerio gdf6a gene Proteins 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 1
- 238000006424 Flood reaction Methods 0.000 description 1
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 1
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 101100075995 Schizosaccharomyces pombe (strain 972 / ATCC 24843) fma2 gene Proteins 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000001693 membrane extraction with a sorbent interface Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】単一及びアクロス・センサ物体追跡のための学習済み特徴ベクトルに関するシステム及び方法を提供する。【解決手段】車両の1つ又は複数のセンサから送信される、ビデオフレームにわたって及び/又はセンサにわたって物体を追跡するためのセンサ・データ102を生成及び/又は受信することを含むプロセス100であって、機械学習モデル104は、画像及び/又は他のセンサ・データ並びに対応するグラウンド・トゥルース・データ(追跡IDマップ118)を使用してトレーニングされる。エンコーダ116は、物体検出108及び注釈112を使用して、時間及び/又は空間を通じた物体の追跡に対応するグラウンド・トゥルース情報をエンコードする。連符マイニング120は、空間及び/又は時間にわたる特徴ディスクリプタ・マップ106及び/又は追跡IDマップ118からマイニングされるベクトル三重項122を生成する。【選択図】図1
Description
本発明は、自律型システム及びアプリケーションにおける特徴ディスクリプタ・マッピングを使用した単一及びアクロス・センサ物体追跡に関するものである。
自律運転システム及び高度運転者支援システム(ADAS:advanced driver assistance system)は、カメラ、LIDARセンサ、RADARセンサ、及び/又は同類のものなどのセンサを使用して、物体検出、物体追跡、車線保持、車線変更、車線指定、カメラ較正、旋回、経路計画、及び/又は位置特定などの様々なタスクを実施し得る。たとえば、自律型及びADASシステムが独立且つ効率的に動作するために、マシンの周囲環境の理解が達成されなければならない。この理解は、物体の位置及び物体の経路又は進路についての情報を含むことができ、この情報は、どの経路又は軌道に沿って進むべきかなどの経路計画又は制御決定を行うときにマシンによって使用され得る。
実例として、自律又は半自律マシンの環境における物体の位置及び物体の経路に関する情報は、どこに停止するべきか、交差点を安全に横切るためにどの経路を使用するべきか、どこに他の車両若しくは歩行者が位置し得るか、及び/又は同類のものなど、マシン経路の計画、物体の回避、及び/又は制御決定の実施を行うときに重要である。
従来の物体追跡システムは、動きモデル又は畳み込みDNNベースのモデルを使用し、これらのモデルの両方が、物体検出器に大いに依存する。たとえば、いくつかの動きモデルは、特徴ディスクリプタとして境界形状内部のキー・ポイント(スケール不変特徴変換(SIFT:Scale Invariant Feature Transform)アルゴリズム及び/又はKanade-Lucas-Tomasi(KLT)特徴追跡器など)を使用する。動きモデル・アプローチは、以前のキー・ポイント位置及び事前定義済みの動きモデルを使用して、現在の境界形状の位置を予測しようとし、追跡は、動きモデルによって予測された境界形状の位置と、物体検出器によって予測された境界形状の位置との間のインターセクション・オーバー・ユニオン(IOU)スコアを計算することによって実現される。それでも、単純なキー・ポイントは、個々の物体の高レベル意味論的特徴をキャプチャできないことが多い。言い換えれば、動きモデルを使用した物体追跡は、キー・ポイントの連続性及び可視性に非常に依存する。結果として、カメラの観点及び部分的観察の変化は、追跡の失敗という結果になることが多い。
同様に、物体の移動が、事前定義済みの動きモデルに従わないとき、動きモデルも失敗する-たとえば、物体が互いに接近しているとき、又は逆の方向に互いに横切るとき、追跡誤差が発生することが多い。たとえば、一群の人々が通りを逆の方向に横切るとき、動きモデルは、一部の行為者が他の行為者をふさぐと、各人の経路を正確に追跡できない恐れがある。これらの動きモデルは、最小キー・ポイント数及び信頼度閾値など、手で調整された閾値に大いに依存することが多く、これらの閾値は、異なる道路条件及びシナリオに対して再調整される必要がある。
畳み込みDNNベースのモデルに依存する、より最近のアプローチは、DNNの特徴エンコーディング能力を活用して物体を追跡する。一般的に、これらのDNNベースのモデルは、最初に、物体検出パイプラインの一部としてトレーニングされ、次に、市販のマッチング又は関連付けアルゴリズムが、検出後の追跡のために使用される。それでも、DNN特徴も関連付けアルゴリズムも、物体識別切替えをしばしば生じる物体追跡に最適化されていない-たとえば、2つの物体が経路を横切るとき、追跡は、各行為者を他の行為者と間違えることがある。さらに、各検出された物体のDNN特徴を抽出及びキャッシュすることは計算コストが高く、したがって、多数の物体の追跡にうまくスケーリングしない。
本開示の実施例は、単一及び複数センサ・アプリケーションのための学習済み特徴ベクトルを使用した物体追跡に関する。ベクトル・ベースの特徴ディスクリプタを使用して単一のセンサの眺望、又は複数のセンサにわたる眺望の中で物体を追跡するために、マシンの様々なセンサからの出力を活用するシステム及び方法が開示される。さらに、ベクトル三重項を使用して人工知能エンジンをトレーニングするために、様々なセンサからの出力を活用するシステム及び方法が開示される。たとえば、また、上記で説明されたものなどの従来のシステムとは対照的に、DNNは、ピクセル・レベルの特徴ディスクリプタを使用した物体追跡のために直接トレーニングされ得る。結果として、DNNベースのモデルは、物体が部分的にしか観察されない場合、ふさがれる場合、経路を横切る場合、及び/又は同類のものの場合でも、単一のセンサ内の-又は同じ時間インスタンスにおいて複数のセンサにわたる-物体を追跡することができる。単一センサ追跡及び/又はアクロス・センサ追跡からの物体追跡データは、環境を通るエゴ・マシンを制御するための1つ又は複数の動作を実施するために、エゴ・マシンの1つ又は複数の下流構成要素(世界モデル・マネージャ、経路プランナ、制御構成要素、位置特定構成要素、障害物回避構成要素、アクチュエーション構成要素、及び/又は同類のものなど)によって使用され得る。
単一及びアクロス・センサ物体追跡(single and across sensor object tracking)のための学習済み特徴ベクトルのための本システム及び方法が、添付の図面の図を参照しながら下記で詳しく説明される。
単一及びアクロス・センサ物体追跡のための学習済み特徴ベクトルに関するシステム及び方法が開示される。本開示は、例示的自律型車両800(本明細書で別法として「車両800」又は「エゴ車両800」と称され、その実例が図8A~図8Dに関して説明される)に関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、制限なしに、非自律型車両、半自律型車両(たとえば、1つ若しくは複数の高度運転者支援システム(ADAS)における)、操縦される及び操縦されないロボット若しくはロボット・プラットフォーム、倉庫車両、オフロード車両、1つ若しくは複数のトレーラに連結された車両、飛行船舶、ボート、シャトル、緊急対応車両、オートバイ、電気若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、及び/又は他の車両タイプによって使用され得る。さらに、本開示は、複数のセンサにわたって及び/又は時間を通じて物体を追跡することに関して説明され得るが、これは限定を意図しておらず、本明細書に記載のシステム及び方法は、拡張現実、仮想現実、複合現実、ロボット工学、セキュリティ及び監視、自律若しくは半自律マシン・アプリケーション、並びに/又は、複数のセンサにわたる及び/又は時間を通じた物体の追跡が使用され得る任意の他の技術空間において使用され得る。
本明細書に記載のように、また、物体追跡の従来のアプローチとは対照的に、現在のシステム及び方法は、リアルタイム又は準リアルタイムでマシンのセンサ(たとえば、カメラ、RADAR、センサ、LIDARなど)からの出力を使用して物体を追跡するための技法を提供する。これを達成するために、システムは、グラウンド・トゥルース・ベクトル三重項を使用してDNNをトレーニングする。一般的に、トレーニング・データは、DNNへの入力として提供され、DNNはトレーニング・データを使用して、少なくとも物体に関連するピクセルのための、1次元(1D)ベクトル特徴ディスクリプタを含むディスクリプタ・マップを生成する。トレーニング・データは、アンカー・ベクトル(たとえば、物体に対応することが知られている第1のピクセルに関連するもの)、ポジティブ・ベクトル(たとえば、物体に対応することが知られている第2のピクセルに関連するもの)、及びネガティブ・ベクトル(たとえば、物体とは異なる物体に対応することが知られている第3のピクセルに関連するもの)を含めた、マルチ・ベクトル三重項を含むように選択され得る。このようにして、DNNが、トレーニング・データを使用して、出力された特徴ベクトルを計算するとき、これらの既知のアンカー、ポジティブ、及びネガティブ・ベクトルは、アンカー・ベクトルとネガティブ・ベクトルとの間の距離を最大化しつつ、ポジティブ・ベクトルとアンカー・ベクトルとの間の距離を最小化するようにDNNをトレーニングするためのグラウンド・トゥルースとして使用され得る。このようにして、DNNは、同じ物体の同様又は同一の特徴ベクトル・ディスクリプタ、及び異なる物体の異なる特徴ベクトルを計算するようにトレーニングされ得る。
具体的には、グラウンド・トゥルース・ベクトル三重項は、境界形状を有する画像(又は空間の他のセンサ・データ表現)内の物体にマークする物体検出アルゴリズムを使用して選択され得る。いくつかの態様では、所定の最小追跡長より短い追跡が除去される。所定の最小追跡長は、物体クラス(たとえば、車両又は歩行者)に基づいて変動し得る。さらに、いくつかの態様では、誤った物体検出誤差を取り除くことによってグラウンド・トゥルース・データの正確さを強化するように、データ・シーケンス(たとえば、ビデオ)の最後の30フレームがフィルタ処理され得る。いくつかの態様では、トレーニングの負担を低減させるために、所定の閾値より長いデータ・シーケンスが、データ・シーケンス長を低減させるためにn個のフレーム毎にサンプリングされ得る。次に、追跡IDが各境界形状に割り当てられる-たとえば、同じ境界形状内部の各ピクセルに同じ追跡ID値を割り当てることができ、背景ピクセル(たとえば、どの境界形状によっても覆われないピクセル)にゼロ(0)の値を割り当てることができる。トレーニング中、特定の境界形状内部のすべての特徴ベクトル(たとえば、同じ追跡IDでマークされたもの)がポジティブ・サンプルとみなされ、その一方で、他の物体に属するすべての特徴ベクトルはネガティブ・サンプルとみなされる。
ベクトル三重項は、空間及び/又は時間にわたる特徴ディスクリプタ・マップから作成され得る。たとえば、単一センサ追跡シナリオでは、少なくとも2つのディスクリプタ・マップ(t1-kにおけるディスクリプタ・マップ1及びt1におけるディスクリプタ・マップ2)が、ベクトル三重項を作成するために使用され得る。ポジティブ・サンプルは、ディスクリプタ・マップ1からのポジティブ・サンプルからの1つ又は複数のベクトル(たとえば、同じ追跡IDを有する境界形状内部のベクトル)であることが可能であり、ネガティブ・サンプルは、ディスクリプタ・マップ1からのネガティブ・サンプルからの1つ又は複数のベクトル(たとえば、別の境界形状内部のベクトル)であることが可能である。アンカーは、ディスクリプタ・マップ2のポジティブ・サンプルからの1つ又は複数のベクトルであることが可能である。
同様に、-たとえば同じ時間ステップで-アクロス・センサ追跡のためのDNNをトレーニングするために、ベクトル三重項が生成されることが可能である。そのような実例では、ポジティブ・サンプルは、第1のセンサ・ディスクリプタ・マップからのポジティブ・サンプルからの1つ又は複数のベクトル(たとえば、同じ追跡IDを有する境界形状内部のベクトル)であることが可能であり、ネガティブ・サンプルは、第1のセンサ・ディスクリプタ・マップからのネガティブ・サンプルからの1つ又は複数のベクトル(たとえば、別の境界形状内部のベクトル)であることが可能である。アンカーは、第2のセンサ・ディスクリプタ・マップのポジティブ・サンプルからの1つ又は複数のベクトルであることが可能である。
所与の三重項に対して、アンカー特徴ディスクリプタとポジティブ特徴ディスクリプタとの間の距離(たとえば、アンカー「a」とポジティブ「p」との間の距離「d」)を最小化するために、三重項損失関数が使用され得る。つまり、三重項損失は、d(a,p)を最小化する。同様に、三重項損失関数は、アンカーとネガティブとの間の距離を最小化し得る(たとえば、d(a,n)を最小化する)。したがって、この損失関数は、空間及び/又は時間にわたる同じ物体の特徴が近くなる一方で、異なる物体の特徴が遠くに離れるように、埋め込み空間における有用な特徴ディスクリプタをDNNに学習させることができる。軽微な(オール・ゼロの)特徴ベクトルをDNNが学習しないように、マージン値が最大マージン損失に追加され得る。加えて、三重項損失は、部分的に不明瞭な物体をグラウンド・トゥルース・データが含む状況でも、有用な特徴ディスクリプタをDNNに学習させるために、ピクセル・レベルで計算され得る。
有利なことに、ベクトル三重項の使用は、複数のマイニング・オプションを使用したDNNトレーニングを容易にする。一般的に、イージー三重項、ハード三重項、及びセミハード三重項という3つのタイプの三重項がある。1つ又は複数の実施例において、イージー三重項は、0の三重項損失を有し、ハード三重項は、ネガティブ・サンプルがポジティブ・サンプルよりアンカーに近い三重項であり、セミハード三重項は、ネガティブ・サンプルがポジティブよりアンカーに近くないが、依然としてポジティブ損失を有する三重項である。トレーニングを加速し、DNNの判別能力を向上させるために、実施例では、セミハード及びハード三重項だけがトレーニング中に使用され得る。それでも、いくつかの態様では、イージー、セミハード、及びハード三重項がトレーニング中に使用されてもよい。さらに、ベクトル三重項を使用することは、エポック又はバッチ・マイニングを容易にする。たとえば、全トレーニング・セットのベクトル及び境界形状は、エポック・ロング三重項についてDNNをトレーニングする前に計算されることが可能である。代替として、三重項マイニングへのバッチ・オール又はバッチ・ハード・アプローチが実施されることが可能である。バッチ・オール三重項マイニングに対しては、有効な三重項すべてが所与のバッチのために選択され、ハード及びセミハード三重項についての損失が平均され、イージー三重項が無視される。バッチ・ハード三重項マイニングに対しては、各アンカーのためのバッチの中からハーデスト・ポジティブ及びハーデスト・ネガティブが選択され、三重項損失関数はハーデスト三重項のためだけに計算される。
実施例では、ベクトル三重項を使用して物体を追跡するようにDNNをトレーニングすることは、最低限のメモリ負担しか伴わない導入の統合を容易にする。たとえば、トレーニング又は導入済みのDNNは、ピクセル・レベルから境界形状レベルへの変換を使用することによって、最低限の下流影響しか伴わずに、従来のエゴ・マシン・システムに統合されることが可能である。図示のように、導入中、ピクセル・レベルの特徴ディスクリプタは、特定の境界形状内部のピクセル・レベルの特徴ディスクリプタのすべての平均化によって、境界形状レベルの特徴ディスクリプタに変換されることが可能である。次に、平均は、境界形状レベルの特徴ディスクリプタとして割り当てられてよく、この境界形状レベルの特徴ディスクリプタは、対応する物体を追跡するために、(たとえば、同じセンサからの、又は異なるセンサにわたる)フレームにわたって使用され得る。
比較的簡単な後処理ステップが、単一センサ及びマルチ・センサ物体追跡を容易にすることができる。単一センサ追跡におけるアプリケーションに対して、DNNは、連続的なフレーム(たとえば、tx、tx-1、tx-2、tx-3など)を別々に処理し、前述のように、検出された物体の境界形状レベルの特徴ディスクリプタを生成する。各境界形状特徴ディスクリプタの間の物体関連付けスコアが計算されてもよく、フレームにわたる同じ物体を識別するために、特徴ディスクリプタの差が計算され得る。たとえば、特徴ディスクリプタ間の距離が閾値未満の場合、異なるフレームにおける境界形状が、同じ物体に対応するように決定され得る。いくつかの態様では、物体関連付けスコアは、各境界形状特徴ディスクリプタ間のコサイン距離である。実施例では、追跡のために、KNNアルゴリズムを使用して最善のマッチを見つけることができる。
図1を参照すると、図1は、本開示のいくつかの実施例による、マシンの1つ又は複数のセンサからの出力を使用して物体を追跡するようにDNNをトレーニングするための実例のプロセス100を示す実例のデータ・フローである。本明細書に記載のこの及び他の配置が、単に実例として説明されることを理解されたい。他の構成及び要素(たとえば、マシン、インターフェース、機能、順番、機能のグループ化など)が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び/又はソフトウェアによって実施され得る。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施例では、本明細書に記載のシステム、方法、及びプロセスは、図8A~図8Dの例示的自律型車両800、図9の例示的計算デバイス900、及び/又は図10の例示的データ・センタ1000のものと同様の構成要素、特徴、及び/又は機能を使用して実行されてもよい。
高レベルでは、プロセス100は、センサ・データ102などの1つ又は複数の入力を受信し、出力(たとえば、特徴ディスクリプタ・マップ106)などの1つ又は複数の出力を生成する、1つの又は機械学習モデル104を含み得る。トレーニングに関して使用されるように、センサ・データ102は、トレーニング・データと称されてもよい。センサ・データ102は、画像を表す画像データについて主に論じられるが、これは限定を意図しておらず、センサ・データ102は、たとえば、図8A~図8Dを参照しながら記述されるような、車両800の1つ又は複数のセンサによって生成されるような、LIDARデータ、SONARデータ、RADARデータ、及び/又は同類のものなど、物体検出及び/又は物体追跡のために使用される他のタイプのセンサ・データを含み得る。
プロセス100は、1つ又は複数のセンサからセンサ・データ102を生成及び/又は受信することを含み得る。センサ・データ102は、非限定的実例として、マシン(たとえば、図8A~図8Dの車両800)の1つ又は複数のセンサから、受信され得る。センサ・データ102は、フレームにわたって及び/又はセンサにわたって物体を追跡するために、エゴ・マシン800によって及びプロセス100内で使用され得る。センサ・データ102は、たとえば及び図8A~図8Cに関する、全地球的航法衛星システム(GNSS:global navigation satellite system)センサ858(たとえば、グローバル・ポジショニング・システム・センサ)、RADARセンサ860、超音波センサ862、LIDARセンサ864、慣性計測装置(IMU:inertial measurement unit)センサ866(たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など)、マイクロフォン876、ステレオ・カメラ868、ワイドビュー・カメラ870(たとえば、魚眼カメラ)、赤外線カメラ872、サラウンド・カメラ874(たとえば、360度カメラ)、長距離及び/又は中距離カメラ878、スピード・センサ844(たとえば、車両800のスピードを測定するためのもの)、及び/又は他のセンサ・タイプを含む車両のセンサのいずれかからのセンサ・データ102を限定することなく含むことができる。別の実例として、センサ・データ102は、仮想車両又は他の仮想物体の任意の数のセンサから生成された仮想センサ・データを含み得る。そのような実例では、仮想センサは、(たとえば、ニューラル・ネットワーク性能のテスト、トレーニング、及び/又は有効化のために使用される)シミュレート環境における仮想車両又は他の仮想物体に対応し得、仮想センサ・データは、シミュレート又は仮想環境内の仮想センサによってキャプチャされたセンサ・データを表し得る。そのようなものとして、仮想センサ・データを使用することによって、本明細書に記載の機械学習モデル104は、シミュレート環境におけるシミュレート・データを使用してテスト、トレーニング、及び/又は有効化が行われ得、これは、このようなテストがあまり安全でないものになり得る現実世界環境の外側で、より極端なシナリオをテストすることを可能にし得る。
いくつかの実施例では、センサ・データ102は、画像を表す画像データ、ビデオを表す画像データ(たとえば、ビデオのスナップショット)、及び/又はセンサの知覚フィールドの表現を表すセンサ・データ(たとえば、LIDARセンサのための深度マップ、超音波センサのための値グラフなど)を含み得る。センサ・データ102が画像データを含む場合、たとえばまた限定ではなく、ジョイント・フォトグラフィック・エキスパーツ・グループ(JPEG)若しくは輝度/色度(YUV)フォーマットなどの圧縮画像、H.264/アドバンスト・ビデオ・コーディング(AVC)若しくはH.265/高効率ビデオ・コーディング(HEVC)などの圧縮ビデオ・フォーマットに起因するフレームのような圧縮画像、レッド・クリア・ブルー(RCCB)、レッド・クリア(RCCC)、若しくは他のタイプの画像化センサから生じるものなどの未加工画像、及び/又は他のフォーマットなど、任意のタイプの画像データ・フォーマットが使用され得る。加えて、いくつかの実例では、センサ・データ102は、(たとえば、未加工の又はキャプチャされたフォーマットでの)どのような前処理もなく、プロセス100内で使用され得、その一方で、他の実例では、センサ・データ102は、前処理(センサ・データ・プリプロセッサ(図示せず)を使用するなどして、たとえば、ノイズ・バランシング、モザイク除去、スケーリング、クロッピング、拡張、ホワイト・バランシング、トーン・カーブ調節など)が行われ得る。本明細書で使用されるように、センサ・データ102は、未処理のセンサ・データ、前処理されたセンサ・データ、又はその組合せに言及し得る。
トレーニングのために使用されるセンサ・データ102は、元の画像(たとえば、1つ若しくは複数の画像センサによってキャプチャされるようなもの)、ダウン・サンプリングされた画像、アップ・サンプリングされた画像、クロップされた若しくは関心のある領域の(ROI)画像、別途拡張された画像、及び/又はその組合せを含み得る。機械学習モデル104は、画像(及び/又は他のセンサ・データ102)並びに対応するグラウンド・トゥルース・データ(たとえば、追跡IDマップ118)を使用してトレーニングされ得る。グラウンド・トゥルース・データ(たとえば、追跡IDマップ118)は、注釈、ラベル、マスク、マップ、及び/又は同類のものを含み得る。たとえば、いくつかの実施例では、グラウンド・トゥルース・データは、追跡マップを含み得る。エンコーダ116は、物体検出108及び注釈を使用して、グラウンド・トゥルース・データ(たとえば、追跡IDマップ120)をエンコードすることができる。いくつかの実施例では、物体検出108は、境界形状110及び追跡IDラベル114を含み得る。
物体検出108及び注釈112を参照すると、物体検出108及び注釈112は、いくつかの実例では、描画プログラム(たとえば、注釈プログラム)、コンピュータ支援設計(CAD)プログラム、ラベリング・プログラム、グラウンド・トゥルース・データ(たとえば、追跡IDマップ118)の注釈112及び/若しくは他を生成するのに適した別のタイプのプログラム内で生成され得る、並びに/又は手描きされ得る。任意の実例において、物体検出108、注釈112、及び/又はグラウンド・トゥルース・データ(たとえば、追跡IDマップ118)は、合成して生み出されたもの(たとえば、コンピュータ・モデル若しくはレンダリングから生成されたもの)、現実が生み出したもの(たとえば、現実世界データからデザインされたもの及び生み出されたもの)、機械自動化されたもの(たとえば、物体検出及び追跡を使用してデータから特徴を抽出し、その後ラベルを生成する)、人間が注釈を付けたもの(たとえば、ラベラ、若しくは注釈専門家が、ラベルの位置を定義する)、並びに/又はその組合せでよい。物体検出108は、センサ・データ102における関心のある物体に対応する境界形状110を有する物体にラベル付けすることを含み得る。いくつかの実例では、境界形状は、センサ・データ102における物体に対応するピクセルを囲む線分のセットによって定義されてもよい。線分は、まっすぐなもの及び又は曲がったものでよい。追跡IDラベル114は、任意のラベル付き項目と任意の他のラベル付き項目との間の識別を容易にする値でよい。たとえば、追跡IDラベル114は、センサ・データに含まれる各物体、境界形状、及び/又は境界形状内部のピクセルに対して生成され得る。いくつかの実施例では、特定の物体の追跡IDラベルは、物体に対応する境界形状に割り当てられる。同様に、いくつかの実施例では、特定の境界形状の追跡IDラベルは、境界形状内部の各ピクセルに割り当てられ得る。さらに、デフォルト又は空の追跡IDラベルは、物体に関連付けられていないセンサ・データのエリアを定義し得る。たとえば、センサ・データにおける背景特徴は、ゼロ(0)の追跡IDラベルでラベル付けされ得る。
ここで図2A~図2Dを参照すると、図2A~図2Dは、本開示のいくつかの実施例による、物体を追跡するように機械学習モデルをトレーニングするための、グラウンド・トゥルース生成において使用するためにセンサ・データに適用される実例の注釈を示す。たとえば、図2Aは、図1のトレーニング・プロセス100に応じてグラウンド・トゥルース・データを生成するために使用され得る画像200Aを示す。図2Bは、物体を追跡するように機械学習モデルをトレーニングするためにセンサ・データに適用される注釈の実例を示す。画像200A及び200Bは、異なる画像として描写されているが、この違いは、特に関連した特徴の描写を容易にするために提供される。言い換えれば、画像200Bに描写された注釈(たとえば、境界形状)は、いくつかの態様では、画像200Aに含まれ得る。
画像内の物体(たとえば、物体202、204、206、208、及び210)は、境界形状(たとえば、図2Bの境界形状222、224、226、228、及び230)並びに追跡IDラベル(たとえば、追跡IDラベル232、234、236、238、及び240)で注釈を付けられ得る。たとえば、物体202は、境界形状222によって境界を形成され、追跡ID232でラベル付けされてよい。同様に、物体204は、境界形状224で注釈を付けられ、追跡ID234でラベル付けされてよく、物体206は、境界形状226で注釈を付けられ、追跡ID236でラベル付けされてよく、物体208は、境界形状228で注釈を付けられ、追跡ID236でラベル付けされてよく、物体208は、境界形状228で注釈を付けられ、追跡ID238でラベル付けされてよく、物体210は、境界形状230で注釈を付けられ、追跡ID240でラベル付けされてよい。さらに、いくつかの態様では、境界形状、物体、及び/又はピクセルは、物体分類(たとえば、車両、歩行者、自転車に乗った人など)で注釈を付けられてもよい。
再び図1を参照すると、エンコーダ116は、注釈110を使用して、時間及び/又は空間を通じた物体の追跡に対応するグラウンド・トゥルース情報をエンコードするように構成され得る。たとえば、本明細書に記載のように、センサ・データのセットは、注釈112で注釈を付けられることが可能である。注釈を付けられると、データのセットは、追跡IDマップ118を含み得るグラウンド・トゥルース・データ(たとえば、追跡IDマップ118)を生成するために、エンコーダによってエンコードされ得る。加えて、機械学習モデル104に適用されるセンサ・データ102の空間分解能が、機械学習モデル104の予測に対応する出力された空間分解能とは異なるので-たとえば、それより大きい、それより小さいなど-、グラウンド・トゥルース情報は、様々なフォーマットにエンコードされ得る。たとえば、注釈中に識別された物体は、注釈を付けられた物体の物体追跡長(たとえば、フレームの数)を決定するために、データ・シーケンス(たとえば、センサ・データのセット)を通じて追跡されてもよい。物体追跡に基づいて、データ・シーケンスが、エンコード中にフィルタ処理され得る。たとえば、所定の最小追跡長より短い物体追跡が、エンコード中に除去される。所定の最小追跡長は、物体クラス(たとえば、車両又は歩行者)に基づいて変動し得る。
さらに、センサ・データ102のフィルタリング及び/又はサンプリングは、エンコード中に発生し得る。たとえば、データ・シーケンス(たとえば、ビデオ)の最後の30フレームは、物体検出誤差を取り除くことによってグラウンド・トゥルース・データの正確さを強化するために、フィルタ処理され得る。別の実例として、トレーニングの負担を低減させるために、所定の閾値より長いデータ・シーケンスが、データ・シーケンス長を低減させるためにn個のフレーム毎にサンプリングされ得る。
さらに、同じ境界形状内部の各ピクセルが、境界形状の追跡IDに対応する追跡IDでエンコードされ得る。たとえば、図2C及び図2Dは、DNNをトレーニングするために使用され得る画像の2つのエンコードされた実例を描写する。いくつかの態様では、画像200C及び画像200Dは、異なる時間(たとえば、tx、tx-1)に同じセンサによってキャプチャされた画像を描写し得る。いくつかの態様では、画像200C及び画像200Dは、同じ時間に異なるセンサ(たとえば、センサ1及びセンサ2)によってキャプチャされた画像を描写し得る。
図2Cは、境界形状242及び244によって境界を形成された検出された物体を含む第1のエンコードされた画像200Cを描写する。前述のように、境界形状242及び244は、追跡ID注釈をそれぞれ有することができる。エンコード中、境界形状242内部の各ピクセル(たとえば、v1、v2、v9、v10、v17、v18)は、境界形状242に関連する追跡IDでエンコードされ得る。たとえば、ピクセル248は、境界形状242と同じ追跡IDでエンコードされ得る。同様に、境界形状244内部の各ピクセルは、境界形状244に関連する追跡IDでエンコードされ得る。たとえば、ピクセル250は、境界形状244と同じ追跡IDでエンコードされ得る。いくつかの態様では、背景ピクセル(たとえば、ピクセル246などの境界の形状によって覆われないピクセル)が、共通追跡ID(たとえば、ゼロ(0)の追跡ID値)を割り当てられてもよい。
図2Dは、境界形状262及び264によって境界を形成された検出された物体を含む第2のエンコードされた画像200Dを描写する。エンコード中、境界形状262内部の各ピクセル(たとえば、v8、v9、v16、v17、v24、v25)は、境界形状262に関連する追跡IDでエンコードされ得る。上述のように、いくつかの態様では、境界形状242及び境界形状262は、異なる時間にキャプチャされた画像内の同じ物体の境界を形成し得る。いくつかの態様では、境界の形状242及び境界の形状262は、異なるセンサによって同じ時間にキャプチャされた同じ物体の境界を形成し得る。そのようなものとして、境界形状242内部及び境界の形状262内部のピクセルのためにエンコードされた追跡IDは、同じ追跡IDでよい。
図1に戻ると、センサ・データ102の各インスタンスに対して(たとえば、センサ・データ102が画像データを含む場合、各画像に対して)、グラウンド・トゥルース・データ(たとえば、追跡IDマップ118)が生成されると。たとえば、エンコーダ116は、複数の注釈付き画像(たとえば、画像200C及び画像200D)をエンコードして、追跡IDマップ118を生成することができる。したがって、追跡IDマップは、センサ・データの一連の個別の表現を含むことができる。いくつかの実施例では、系列は、時間を通じたセンサ・データの個別の表現、及び/又は複数のセンサにわたるセンサ・データの個別の表現を含むことができる。さらに、追跡IDマップは、センサ・データの個別の表現を通じた、(たとえば、追跡ID値を介した)グラウンド・トゥルース物体識別を含む。機械学習モデル104は、グラウンド・トゥルース・データ(たとえば、追跡IDマップ118)を使用してトレーニングされ得る。たとえば、機械学習モデル104は、特徴ディスクリプタ・マップ106を生成することができ、出力は、センサ・データ102のそれぞれのインスタンスに対応するグラウンド・トゥルース・データと比較されてもよい。たとえば、機械学習モデル104は、出力された特徴ディスクリプタ・マップ106(出力分解能での各ピクセルに対応する特徴ベクトルを含み得る)を生成することができ、特徴ディスクリプタ・マップ106からの特徴ベクトルは、追跡IDマップ118からのこれらの同じピクセルに対応する追跡IDを使用して比較されてもよい。そのようなものとして、2つのピクセルに対応する特徴ベクトルが異なるが、2つのピクセルが、追跡IDに基づく同じ物体に対応することが知られている場合、損失関数126は、同じ物体に対応するピクセルのさらに同様の(たとえば、同じ)特徴ベクトルを計算するように機械学習モデル104に学習させるために、この出力にペナルティを課すことができる。同様に、異なる物体に対応するピクセルに関しては、特徴ベクトルは同様であるが、ピクセルが異なる物体に対応することをグラウンド・トゥルース・データ(たとえば、追跡IDマップ118)が示す場合、機械学習モデル104は、ペナルティを課され得る。そのようなものとして、損失関数126からのフィードバックは、機械学習モデル104が受入れ可能な又は望ましい正確さに収束するまで、グラウンド・トゥルース・データ(たとえば、追跡IDマップ118)から見た機械学習モデル104のパラメータ(たとえば、重み及びバイアス)を更新するために使用され得る。このプロセスを使用すると、機械学習モデル104は、損失関数126及びグラウンド・トゥルース・データ(たとえば、追跡IDマップ118)を使用して、センサ・データ102からの出力(たとえば、特徴ディスクリプタ・マップ106)を正確に予測するようにトレーニングされ得る。
機械学習モデル104は、センサ・データ102を使用して、出力(たとえば、特徴ディスクリプタ・マップ106)を計算することができ、出力は、最終的に、デコーダ又は1つ若しくは複数の他の後処理構成要素(少なくとも図5に関して本明細書でより詳しく説明される)に適用されて、物体追跡情報を生成することができる。(たとえば、図1及び図5に関して)機械学習モデル104として、ディープ・ニューラル・ネットワーク(DNN)、及び具体的には、畳み込みニューラル・ネットワーク(CNN)を使用することに関する実例が本明細書に記載されているが、これは限定を意図していない。たとえば、及び限定することなく、機械学習モデル104は、線形回帰、ロジスティック回帰、決定木、サポート・ベクトル・マシン(SVM)、ナイーブ・ベイズ、k近傍法(Knn)、K平均法、ランダム・フォレスト、次元縮退アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク(たとえば、自動エンコーダ、畳み込み、リカレント、パーセプトロン、長/短期メモリ/LSTM、ホップフィールド、ボルツマン、ディープ・ビリーフ、デコンボリューショナル、敵対的生成、リキッド・ステート・マシンなど)、コンピュータ・ビジョン・アルゴリズム、及び/又は他のタイプの機械学習モデルを使用した機械学習モデルなど、任意のタイプの機械学習モデルを含み得る。
機械学習モデル104がCNNを含む場合などの実例として、機械学習モデル104は、任意の数の層を含み得る。層のうちの1つ又は複数は、入力層を含み得る。入力層は、(たとえば、後処理の前又は後の)センサ・データ102に関連する値を保持し得る。たとえば、センサ・データ102が画像のとき、入力層は、ボリュームとして画像の未加工ピクセル値を表す値(たとえば、32×32×3などの幅、高さ、及び色チャネル(たとえば、RGB))を保持し得る。
1つ又は複数の層は、畳み込み層を含み得る。畳み込み層は、入力層の局所的な領域に接続されたニューロンの出力を計算することができ、各ニューロンは、入力ボリュームにおけるこれらの重みと、これらが接続される小さい領域との間のドット積を計算する。畳み込み層の結果は、適用されるフィルタの数に基づく寸法のうちの1つ(たとえば、12がフィルタの数である場合、32×32×12などの幅、高さ、及びフィルタの数)を有する別のボリュームでもよい。
層のうちの1つ又は複数は、正規化線形ユニット(ReLU)層を含み得る。ReLU層は、たとえばゼロを閾値とするmax(0,x)など、要素毎の活性化関数を適用することができる。ReLU層の結果として生じるボリュームは、ReLU層の入力のボリュームと同じでよい。
層のうちの1つ又は複数は、プーリング層を含み得る。プーリング層は、空間的寸法(たとえば、高さ及び幅)に沿ってダウン・サンプリング動作を実施することができ、ダウン・サンプリング動作は、プーリング層の入力より小さいボリューム(たとえば、32×32×12の入力ボリュームから16×16×12)を生じ得る。
層のうちの1つ又は複数は、1つ又は複数の完全接続層を含み得る。完全接続層における各ニューロンは、前のボリュームにおけるニューロンのそれぞれに接続され得る。完全接続層は、クラス・スコアを計算することができ、結果として生じるボリュームは、1×1×クラス数になり得る。いくつかの実例では、CNNは、CNNの層のうちの1つ又は複数の出力が、CNNの完全接続層への入力として提供され得るような、完全接続層を含み得る。いくつかの実例では、1つ又は複数の畳み込みストリームが、機械学習モデル104によって実施されてもよく、畳み込みストリームの一部又はすべてが、それぞれの完全接続層を含み得る。
いくつかの非限定的実施例では、機械学習モデル104は、画像特徴抽出を容易にするための一連の畳み込み及びマックス・プーリング層を含むことができ、その後に、グローバル・コンテキスト特徴抽出を容易にするためのマルチ・スケール膨張畳み込み及びアップ・サンプリング層が続く。
機械学習モデル104については、入力層、畳み込み層、プーリング層、ReLU層、及び完全接続層が本明細書で論じられているが、これは限定を意図していない。たとえば、正規化層、ソフトマックス層、及び/又は他の層タイプなど、追加又は代替の層が機械学習モデル104において使用されてもよい。
機械学習モデル104がCNNを含む実施例では、CNNの異なる順序及び数の層が、実施例に応じて使用され得る。言い換えれば、機械学習モデル104の層の順序及び数は、いずれか1つのアーキテクチャに限定されない。
加えて、畳み込み層及び完全接続層など、層のうちのいくつかはパラメータ(たとえば、重み及び/又はバイアス)を含んでもよく、その一方で、ReLU層及びプーリング層など、他の層は含まなくてもよい。いくつかの実例では、パラメータは、トレーニング中に機械学習モデル104によって学習され得る。さらに、畳み込み層、完全接続層、及びプーリング層など、層のうちのいくつかは、追加のハイパーパラメータ(たとえば、学習率、ストライド、エポックなど)を含んでもよく、その一方で、ReLU層など、他の層は含まなくてもよい。パラメータ及びハイパーパラメータは限定されるべきではなく、実施例に応じて異なってもよい。
プロセス100は、連符マイニング120を含む。連符マイニング120は、トレーニング・データからベクトル三重項122を生成することを含み得る。ベクトル三重項122は、空間及び/又は時間にわたる特徴ディスクリプタ・マップ(たとえば、特徴ディスクリプタ・マップ106及び/又は追跡IDマップ118)からマイニングされ得る。たとえば、単一センサ追跡シナリオでは、少なくとも2つのディスクリプタ・マップ(たとえば、この場合、t1-kを表し得る単一センサ・ディスクリプタ・マップ200C、及び、t1を表し得るディスクリプタ・マップ200Dによってキャプチャされたセンサ・データから特徴ディスクリプタ・マップが生成される)が、ベクトル三重項を作成するために使用され得る。ベクトル三重項は、ポジティブ・サンプル、ネガティブ・サンプル、及びアンカーを含み得る。ポジティブ・サンプルは、ディスクリプタ・マップ200Cからのポジティブ・サンプルからの1つ又は複数のベクトル(たとえば、同じ追跡IDを有する境界形状内部のベクトル)でよく、ネガティブ・サンプルは、ディスクリプタ・マップ200Cからのネガティブ・サンプルからの1つ又は複数のベクトル(たとえば、別の境界形状内部のベクトル)であることが可能である。アンカーは、ディスクリプタ・マップ200Dのポジティブ・サンプルからの1つ又は複数のベクトルであることが可能である。
別の実例として、ベクトル三重項は、-たとえば、同じ時間ステップで-アクロス・センサ追跡のためにDNNをトレーニングするために生成されることが可能である。そのような実例では(たとえば、特徴ディスクリプタ・マップ200C及び200Dが異なるセンサによって生成される場合)、ポジティブ・サンプルは、第1のセンサのディスクリプタ・マップ200Cからのポジティブの物体からの1つ又は複数のベクトル(たとえば、境界形状242内部のベクトル)であることが可能であり、ネガティブ・サンプルは、第1のセンサ・ディスクリプタ・マップ200Cからのネガティブ・サンプルからの1つ又は複数のベクトル(たとえば、境界形状244内部のベクトル)であることが可能である。アンカーは、第2のセンサ・ディスクリプタ・マップ200Dの境界の形状262からの1つ又は複数のベクトルであることが可能である。
つまり、いくつかの態様では、ベクトル三重項は、少なくとも2つの時点における並びに/又は2つのセンサ(たとえば、ポジティブ・サンプル及びアンカー)からの、ポジティブの物体に関する、機械学習モデルによって識別された、ピクセル・レベルのベクトル・ベースの特徴ディスクリプタを含み得る。また、ベクトル三重項は、少なくとも1つの時点における及び/又は1つのセンサ(たとえば、ネガティブ・サンプル)からの、ネガティブの物体に関する、機械学習モデルによって識別されたピクセル・レベルのベクトル・ベースの特徴ディスクリプタを含み得る。
ベクトル三重項は、様々なやり方でマイニング又は生成され得る。たとえば、及び図1に戻ると、センサ・データ102が、機械学習モデル104への入力として提供され得る。機械学習モデル104は、特徴ディスクリプタ・マップ106を出力することができる。センサ・データが画像又は一連の画像である場合、特徴ディスクリプタ・マップ106は、(機械学習モデル104の出力分解能で)画像内の各ピクセルに対して生成された1次元(1D)ベクトルを含み得る。加えて、機械学習モデル104に適用されたセンサ・データ102の空間分解能は、機械学習モデル104の予測に対応する出力空間分解能とは異なり得るので-たとえば、これより大きい、これより小さいなど-、特徴ディスクリプタ・マップは、様々なフォーマットでエンコードされ得る。いくつかの態様では、第1の物体(たとえば、物体202)に関連する対応する追跡IDマップにおける境界形状内部のピクセルに関連する各ベクトル(たとえば、vn)が、ポジティブ・ベクトルとして割り当てられる。いくつかの態様では、第2の物体に関連する対応する追跡IDマップにおける境界形状内部のピクセルに関連する各ベクトルが、ネガティブ・ベクトルとして割り当てられる。さらに、いくつかの態様では、第1の物体に関連する第2の対応する追跡IDマップにおける境界形状内部のピクセルに関連する各ベクトルが、アンカー・ベクトルとして割り当てられる。
ベクトル三重項は、空間及び/又は時間にわたる特徴ディスクリプタ・マップから作成され得る。たとえば、ポジティブ・ベクトル(p)、ネガティブ・ベクトル(n)、及びアンカー・ベクトル(a)は、ベクトル三重項のセットを形成するために組み合わされてもよい。所与の三重項に対して、アンカー特徴ディスクリプタとポジティブ特徴ディスクリプタとの間の距離(たとえば、アンカー「a」とポジティブ「p」との間の距離「d」)を最小化するために、三重項損失関数が使用され得る。つまり、三重項損失は、d(a,p)を最小化する。同様に、三重項損失関数は、アンカーとネガティブとの間の距離を最小化することができる(たとえば、d(a,n)を最小化する)。いくつかの実施例では、マージン値が、最大マージン損失に追加され得る。たとえば、擬似関数表現では、損失関数124は、下記の公式(1)の損失関数を含み得る。
L=max(d(a,p)-d(a,n)+マージン,0) (1)
L=max(d(a,p)-d(a,n)+マージン,0) (1)
そのようなものとして、損失関数126からのフィードバックは、機械学習モデル104が受入れ可能な又は望ましい正確さに収束するまで、グラウンド・トゥルース・データ(たとえば、追跡IDマップ118)から見た機械学習モデル104のパラメータ(たとえば、重み及びバイアス)を更新するために使用され得る。プロセス100を使用すると、機械学習モデル104は、損失関数124、ベクトル三重項122、及びグラウンド・トゥルース・データ(たとえば、追跡IDマップ118)を使用して、センサ・データ102からの出力(たとえば、特徴ディスクリプタ・マップ106)(及び/又は関連付けられた分類)を正確に予測するようにトレーニングされ得る。
上述のように、一般的に、イージー三重項、ハード三重項、及びセミハード三重項という3つのタイプの三重項がある。イージー三重項は、ゼロ(0)の三重項損失を有し、ハード三重項は、ネガティブ・サンプルがポジティブ・サンプルよりアンカーに近い場合の三重項であり、セミハード三重項は、ネガティブ・サンプルがポジティブよりアンカーに近くないが、依然としてポジティブ損失を有する場合の三重項である。いくつかの実施例では、セミハード及びハード三重項は、機械学習モデル104のパラメータを更新するための、損失関数126からのフィードバックとして、トレーニング中に使用され得る。いくつかの実施例では、イージー、セミハード、及びハード三重項は、いくつかの態様では、トレーニング中に使用され得る。
さらに、ベクトル三重項は、エポック又はバッチ・マイニングを使用してマイニングされ得る。たとえば、エポック・マイニングのために、エポックの追跡IDマップ120に基づいて、ベクトル三重項122が、各特徴ディスクリプタ・マップ106に対して生成され得る。エポックの各三重項に関する損失関数からのフィードバックは、パラメータを更新するために使用され得る。別の実例として、ベクトル三重項122をバッチ・マイニングするために、エポックのサブセットがバッチされ得、バッチの各三重項に関する損失関数124からのフィードバックは、機械学習モデル104のパラメータを更新するために使用され得る。エポックの別のサブセットがバッチされ得、フィードバックが、機械学習モデル104の更新されたパラメータを使用して生成される。第2のサブセットからのベクトル三重項122、及びバッチの各三重項に関する損失関数124からのフィードバックは、機械学習モデル104のパラメータを更新するために使用され得る。このバッチ・マイニング・アプローチは、バッチ・オール又はバッチ・ハード・コンテキストで使用され得る。
たとえば、及び一時的に図3Aに移り、且つ図1への参照を続けると、本明細書に記載のいくつかの態様による、実例の特徴ディスクリプタ・マップ300Aが描写されている。特徴ディスクリプタ・マップ300Aは、ポジティブ・ベクトル(たとえば、v0、v1、v8、v9、v16、及びv17)並びにネガティブ・ベクトル(たとえば、v13、v14、v15、v21、v22、v23、v29、v30、v31)を含む。また、特徴ディスクリプタ・マップ300Aは、第1の境界形状302及び第2の境界の形状304を含む。一時的に図3Bに移り、且つ図1への参照を続けると、本明細書に記載のいくつかの態様による、実例の特徴ディスクリプタ・マップ300Bが描写されている。特徴ディスクリプタ・マップ300Bは、ポジティブ・ベクトル(たとえば、v9、v10、v17、v18、v25、及びv26)並びにネガティブ・ベクトル(たとえば、v5、v6、v7、v13、v14、v15、v21、v22、及びv23)を含む。具体的には、特徴ディスクリプタ・マップ300Bは、特徴ディスクリプタ・マップ300Aからのポジティブ・ベクトルとして、異なる時間に同じ物体から生成された及び/又は異なるセンサによって検出されたポジティブ・ベクトルを含む。したがって、ベクトル三重項マイニングのために、特徴ディスクリプタ・マップ300Bは、アンカー・ベクトル(たとえば、v9、v10、v17、v18、v25、及びv26)を含むと言われることがある。
バッチ・オール三重項マイニングでは、有効な三重項すべてが、所与のバッチのために選択される。たとえば、特徴ディスクリプタ・マップ300Bからのアンカーv9を有する有効な三重項は、特徴ディスクリプタ・マップ300Aからの任意のポジティブ・ベクトル(たとえば、v0、v1、v8、v9、v16、及びv17)、並びに特徴ディスクリプタ・マップ300A又は300Bからの任意のネガティブ・ベクトルを含む。いくつかの実施例では、損失は、マイニングされた各有効な三重項に対して決定される。ハード及びセミハード三重項が、いくつかの実施例では、平均され得、イージー三重項が無視される。バッチ・ハード三重項マイニングでは、各アンカーのバッチの中からハーデスト・ポジティブ及びハーデスト・ネガティブが選択され、ハーデスト三重項のためだけに、三重項損失関数が計算される。
さらに、当業者は、図2C、図2D、図3A、図3B、図6A、及び図6Bに描写された境界形状及びピクセルが例証的なものであることを理解するであろう。描写されているように、ピクセルは、境界形状で囲まれていない。言い換えれば、ピクセルの一部分が、図2C、図2D、図3A、図3B、図6A、及び図6Bに描写された境界形状を越えて拡張していることが認識される。それでも、これは、図及び対応する説明の矛盾する解釈を導入することを意図するものではない。むしろ、境界形状及びピクセル境界の描写は、図の制約の中で情報を伝えつつ、各特徴を明らかに区別することを意図している。
ここで図4A及び図4Bを参照すると、本明細書に記載の方法400及び方法420の各ブロックは、ハードウェア、ファームウェア、及び/又はソフトウェアの任意の組合せを使用して実施され得る計算プロセスを含む。たとえば、メモリに記憶された命令をプロセッサが実行することによって、様々な機能が実行され得る。また、方法400及び420は、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法400及び420は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス(独立型若しくは別のホスト型サービスと組み合わせたもの)、又は別の製品へのプラグインによって提供され得る。加えて、方法400及び方法420は、実例として、図1のプロセス100に関して説明される。それでも、方法400及び方法420は、追加又は代替として、本明細書に記載のものを含むがこれらに限定されない、任意の1つのシステム、又はシステムの任意の組合せによって実行されてもよい。
図4Aは、本開示のいくつかの実施例による、物体を追跡するようにニューラル・ネットワークをトレーニングするための方法400を示す実例の流れ図である。方法400は、ブロックB402において、センサ・データを受信することを含む。たとえば、センサ・データ102は、異なる時間における及び/又は異なるセンサからの物体の位置を描写する画像を表す画像データをセンサ・データ102が含む場合に、生成及び/又は受信され得る。
方法400は、ブロックB404において、センサ・データによって表された物体に関連する境界形状に対応する注釈を表す第1のデータ、及び境界形状の追跡IDラベルに対応する第2のデータを受信することを含む。たとえば、物体検出110及び注釈112を表すデータが、生成及び/又は受信され得る。
方法400は、ブロックB406において、各境界形状に関連する追跡IDラベルを境界形状による各ピクセル境界にエンコードすることを含む。たとえば、エンコーダ116は、グラウンド・トゥルース・データ(たとえば、追跡IDマップ118)として使用して機械学習モデル104をトレーニングするために、追跡IDラベルを有するピクセルを追跡IDマップ120にエンコードすることができる。
方法400は、ブロックB408において、特徴ディスクリプタ・マップからマルチ・ベクトル三重項をマイニングすることを含む。たとえば、ベクトル三重項122が、追跡IDマップ120及び特徴ディスクリプタ・マップ106に基づいてマイニングされ得る。ベクトル三重項は、イージー三重項、ハード三重項、及びセミハード三重項という3つのタイプのうちの1つでよい。イージー三重項は、ゼロ(0)の損失を有し、ハード三重項は三重項である。
方法400は、ブロック410において、特徴ディスクリプタ・マップをグラウンド・トゥルース・データとして使用してニューラル・ネットワークをトレーニングすることを含む。たとえば、追跡IDマップ120は、物体を追跡するように機械学習モデルをトレーニングするために、ベクトル三重項122とともにグラウンド・トゥルース・データとして使用され得る。
図4Bは、本開示のいくつかの実施例による、物体を追跡するようにニューラル・ネットワークをトレーニングするための方法420を示す別の実例の流れ図である。方法420は、ブロックB422において、トレーニング・データを使用して、物体に対応するように、第1のフレームの第1の境界形状及び第2のフレームの第2の境界形状にラベル付けすることを含む。たとえば、物体検出108は、境界形状110を有するセンサ・データ102にラベル付けすることができる。
方法420は、ブロックB424において、ディープ・ニューラル・ネットワークを使用して、第1のフレームの第1の境界形状内部の第1のポイントに対応する1つ又は複数の第1の特徴ディスクリプタ、及び第2のフレームの第2の境界形状内部の第2のポイントに対応する1つ又は複数の第2の特徴ディスクリプタを決定することを含む。たとえば、連符マイニング120は、特徴ディスクリプタ・マップ106及び対応する追跡IDマップ118に基づいて、ベクトル三重項122のポジティブ及びネガティブを生成するために使用され得る。
方法420は、ブロックB426において、第1のポイントのアンカー・ポイントに対応する1つ又は複数の第1の特徴ディスクリプタのうちの第1の特徴ディスクリプタを決定することを含む。たとえば、連符マイニング120は、特徴ディスクリプタ・マップ106及び対応する追跡IDマップ118に基づいて、ベクトル三重項122のアンカーを生成するために使用され得る。
方法420は、ブロックB428において、損失関数を使用して、第1の特徴ディスクリプタを、第2のポイントのうちの第2のポイントに対応する第2の特徴ディスクリプタと比較することを含む。たとえば、損失関数124は、ベクトル三重項122の特徴ディスクリプタを比較するために使用され得る。
方法420は、ブロックB430において、比較に少なくとも部分的に基づいて、ディープ・ニューラル・ネットワークの1つ又は複数のパラメータを更新することを含む。たとえば、損失関数124の出力は、1つ又は複数の機械学習モデル104のパラメータを更新するために使用され得る。
ここで図5を参照すると、図5は、本開示のいくつかの実施例による、車両のセンサからの出力を使用して物体追跡データをリアルタイム又は準リアルタイムに生成するための実例のプロセス500を示すデータ・フロー図である。本明細書に記載のこの及び他の配置は、単に実例として説明されていることを理解されたい。他の構成及び要素(たとえば、マシン、インターフェース、機能、順番、機能のグループ化など)が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び/又はソフトウェアによって実施され得る。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施例では、本明細書に記載のシステム、方法、及びプロセスは、図8A~図8Dの例示的自律型車両800、図9の例示的計算デバイス900、及び/又は図10の例示的データ・センタ1000のものと同様の構成要素、特徴、及び/又は機能を使用して実行され得る。図5に関して主に説明される追跡される物体は車両であるが、これは限定を意図しておらず、実例のためだけに使用される。
センサ・データ102は、少なくとも図1に関して本明細書に記載されたものと同類のものでよい。導入中、センサ・データ102は、たとえば、トレーニング・センサ・データ102を使用して特徴ディスクリプタ・マップ106を計算するために、プロセス100に従ってトレーニングされてきた機械学習モデル104に適用され得る。そのようなものとして、機械学習モデル104は、少なくとも図1の特徴ディスクリプタ・マップ108に関してより詳しく説明されたような、1つ又は複数の特徴ディスクリプタ・マップ106を出力すること-又は逆行すること-を行うことができる。
特徴ディスクリプタ・マップ106は、デコードされた出力504を生成するために、デコーダ502に適用され得る。いくつかの実例では、デコーダ502は、1つ又は複数の後処理アルゴリズム(たとえば、時間平滑化、曲線適合、フィルタリングなど)を使用して、デコードされた出力504を計算することができる。たとえば、デコーダ502は、特徴ディスクリプタ・マップ106を使用して、時間を通じて及び/又は複数のセンサにわたって物体を追跡することができ、これは、たとえば制御構成要素508によるエゴ・マシンのための制御コマンドを生成するために使用され得る。デコードされた出力は、物体ID、ピクセル・レベルの特徴ベクトル、境界形状レベルの特徴ベクトル、及び/又は、検出された物体に対応する他の情報(たとえば、デバッグのための時間にわたる及び/又はセンサにわたる物体の可視化を生成するために使用され得る物体に対応する境界形状、など)を含み得る。
いくつかの実施例では、出力のうちの1つ又は複数は、センサ・データ102に対応する第2の空間分解能とは異なる第1の空間分解能(たとえば、ダウン・サンプリングされた空間分解能)で生成され得る。そのようなものとして、デコーダ502は、出力の第1の空間分解能からのデータをデコードすること、及び(たとえば、本明細書に記載のような、特徴ディスクリプタ・マップ106を使用して)センサ・データ102の第2の空間分解能にデータを投影するか、帰することができる。結果として、機械学習モデル104の処理スピードは、システムの他のタスクのための計算資源を同時に保護しつつ、増加され得る。加えて、処理スピードを増加させることによって、システムの実行時間は短縮され得、これにより、システム(たとえば、車両800)内のプロセス500のリアルタイム又は準リアルタイム導入を可能にする。
さらに、又は代替として、出力は、比較的最低限の下流影響を伴う物体追跡を容易にするために使用され得、これは、システムの他のタスクのための計算資源を保護することができる。たとえば、ピクセル・レベルの特徴ディスクリプタは、いくつかの実施例では、後処理504中に境界形状レベルの特徴ディスクリプタに変換され得る。後処理504は、特徴ディスクリプタ・マップ106の特定の境界形状内部のピクセル・レベルの特徴ディスクリプタを平均することを含み得る。次に、平均特徴ディスクリプタが、境界形状レベルの特徴ディスクリプタとして割り当てられ得る。境界形状レベルの特徴ディスクリプタは、対応する物体を追跡するために、(同じセンサからの又は異なるセンサにわたる)フレームにわたって使用され得る。
たとえば、図6Aを参照すると、特徴ディスクリプタ・マップ600について、第1の境界形状(たとえば、物体検出モジュール510を使用して計算されるような境界形状602)に関連するピクセル・レベルの特徴ディスクリプタ・ベクトル(たとえば、v0、v1、v8、v9、v16、及びv17)は平均されることが可能であり、結果として生じる特徴ディスクリプタ・ベクトルは、物体特徴ディスクリプタ・ベクトルとして割り当てられてもよい。同様に、第2の境界形状(たとえば、境界形状604)に関連するピクセル・レベルの特徴ディスクリプタ・ベクトル(たとえば、v13、v14、v15、v21、v22、v23、v29、v30及びv31)は平均されことが可能であり、結果として生じる特徴ディスクリプタ・ベクトルは、物体特徴ディスクリプタ・ベクトルとして割り当てられてもよい。実施例では、物体に対応する境界形状は、物体検出モジュール510を使用して計算され得、物体検出モジュール510は、コンピュータ・ビジョン・アルゴリズム、機械学習モデル、ニューラル・ネットワーク(たとえば、畳み込みニューラル・ネットワーク)、及び/又は、境界形状の位置を計算する別のアルゴリズム・タイプを含み得る。いくつかの実施例では、物体検出モジュール510は、機械学習モデル104内に含まれてもよい-たとえば、機械学習モデル104は、境界形状の位置に加えて、予測される特徴ディスクリプタ・マップ106を計算することができる。
さらに、又は代替として、後処理504は、時間及び/又はセンサにわたって物体を追跡することを容易にするために、追跡出力506を生成することができる。たとえば、及び図6Bを参照すると、時間的な範囲を通じて単一センサ追跡のいくつかのアプリケーションでは、機械学習モデル104は、連続したフレームを別々に処理し、前述のように、検出された物体の境界形状レベルの特徴ディスクリプタを含む特徴ディスクリプタ・マップ(たとえば、特徴ディスクリプタ・マップ610、620、630、及び640)を生成することができる。時系列の各境界形状レベルの特徴ディスクリプタの間で、物体関連付けスコアが生成され得る。たとえば、物体関連付けスコアは、ベクトル間のコサイン距離を使用して、境界形状レベルの特徴ディスクリプタ612、614、622、624、632、634、642、及び644の各組合せの間で生成され得る。特徴ディスクリプタの差が計算され得、最善のマッチが、時系列にわたって同じ物体として識別され得る。たとえば、追跡のために、K近傍法(KNN)アルゴリズムを使用して、最善のマッチを見つけることができる。
さらに、又は代替として、各物体(たとえば、612、622、及び632)の境界形状レベルの特徴ディスクリプタは平均され得、いくつかの実施例では、時系列を通じて物体の追跡のために割り当てられ得る。最も新しい特徴ディスクリプタ・マップ(たとえば、特徴ディスクリプタ・マップ640)の境界形状レベルの特徴ディスクリプタ(たとえば、642)は、追跡の各平均された特徴ディスクリプタと比較され得る。最も新しい特徴ディスクリプタと平均された特徴ディスクリプタとの間の最善のマッチが、同じ物体追跡に割り当てられる。
同様に、図6Cを簡単に参照すると、アクロス・センサ追跡のいくつかのアプリケーションでは、機械学習モデル104は、各センサによって生成されたフレームを別々に処理し、上記で説明されたような、検出された物体の境界形状レベルの特徴ディスクリプタを含む特徴ディスクリプタ・マップ(たとえば、特徴ディスクリプタ・マップ650、660、670、及び680)を生成することができる。マルチ・センサ系列の各境界形状レベルの特徴ディスクリプタの間で、物体関連付けスコアが生成され得る。たとえば、物体関連付けスコアは、ベクトル間のコサイン距離を使用して境界形状レベルの特徴ディスクリプタ652、654、662、664、672、674、682、及び684の各組合せの間で生成され得る。特徴ディスクリプタの差が計算され得、最善のマッチが、時系列にわたって同じ物体として識別され得る。たとえば、追跡のために、K近傍法(KNN)アルゴリズムを使用して、最善のマッチを見つけることができる。
さらに、又は代替として、センサにわたる各物体(たとえば、652、662、及び672)の境界形状レベルの特徴ディスクリプタは平均され得、いくつかの実施例では、物体の追跡のために割り当てられ得る。別のセンサの特徴ディスクリプタ・マップ(たとえば、特徴ディスクリプタ・マップ680)の境界形状レベルの特徴ディスクリプタ(たとえば、682)は、追跡の各平均された特徴ディスクリプタと比較され得る。最も新しい特徴ディスクリプタと平均された特徴ディスクリプタとの間の最善のマッチは、同じ物体追跡に割り当てられる。
したがって、センサ・データ102は、機械学習モデルへの入力として使用されることが可能である。機械学習モデルは、センサ・データに存在する物体のアイデンティティ、並びに複数のセンサにわたって及び/又は時間を通じて物体を追跡するためのアイデンティティを割り当てることができる。追跡出力506は、自律マシン(たとえば、エゴ・マシン)の制御構成要素508に伝達され得る。このデータは、たとえば、ブレーキをかけること、加速すること、操縦入力によって経路を変えること、又は自律マシンが可能な任意の他の制御動作を行うために、制御構成要素508によって使用され得る。
ここで図7を参照すると、本明細書に記載の方法700の各ブロックは、ハードウェア、ファームウェア、及び/又はソフトウェアの任意の組合せを使用して実施され得る計算プロセスを含む。たとえば、メモリに記憶された命令をプロセッサが実行することによって、様々な機能が実行され得る。また、方法700は、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法700は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス(独立型若しくは別のホスト型サービスと組み合わせたもの)、又は別の製品へのプラグインによって提供され得る。加えて、方法700は、実例として、図5のプロセス500に関して説明される。それでも、この方法700は、追加又は代替として、本明細書に記載のものを含むがこれらに限定されない、任意の1つのシステム、又はシステムの任意の組合せによって実行されてもよい。
図7は、本開示のいくつかの実施例による、物体を検出及び追跡するための方法700を示す流れ図である。描写されていないが、方法700のいくつかの実施例は、センサ・データを受信し、ニューラル・ネットワークにセンサ・データを適用する。たとえば、車両800の少なくとも1つのセンサの視野内の物体の画像を表すセンサ・データ102が、機械学習モデル104に適用され得る。
方法700は、ブロックB702において、ニューラル・ネットワークを使用して及びエゴ・マシンのセンサ・データに少なくとも部分的に基づいて、1つ又は複数の特徴ディスクリプタを表す第1の特徴マップを計算することを含む。たとえば、機械学習モデル104は、1つ又は複数の特徴ディスクリプタ・マップ106を含む出力を計算することができる。
方法700は、ブロックB704において、1つ又は複数の第1の特徴ディスクリプタに少なくとも部分的に基づいて、第1の物体に第1の特徴ディスクリプタを関連付けることを含む。たとえば、デコーダ502は、センサ・データにおいて検出された各物体の境界形状レベルの特徴ディスクリプタ・ベクトルを決定するために、特徴ディスクリプタ・マップ106をデコードすることができる。デコーダ502は、ピクセル・レベルの特徴ディスクリプタ・ベクトルの計算された平均に基づいて、境界形状の特徴ディスクリプタ・ベクトルを決定することができる。
方法700は、ブロックB706において、ディープ・ニューラル・ネットワークを使用して、及びエゴ・マシンの1つ又は複数のセンサを使用して生成された第2のセンサ・データに少なくとも部分的に基づいて、第2の特徴マップを計算することを含み、第2の特徴マップが1つ又は複数の第2の特徴ディスクリプタを表す。たとえば、機械学習モデル104は、第2の1つ又は複数の特徴ディスクリプタ・マップ106を含む出力を計算することができる。
方法700は、ブロックB708において、1つ又は複数の第2の特徴ディスクリプタに少なくとも部分的に基づいて、第2の物体に第2の特徴ディスクリプタを関連付けることを含む。たとえば、デコーダ502は、センサ・データにおいて検出された各物体の境界形状レベルの特徴ディスクリプタ・ベクトルを決定するために、特徴ディスクリプタ・マップ106をデコードすることができる。デコーダ502は、ピクセル・レベルの特徴ディスクリプタ・ベクトルの計算された平均に基づいて、境界形状の特徴ディスクリプタ・ベクトルを決定することができる。
方法700、B710において、第1の物体と第2の物体が同じ物体であると決定することを含む。たとえば、デコーダ502は、計算された物体関連付けスコアに基づいて、境界形状レベルの特徴ディスクリプタの間の最善のマッチを決定することができる。境界形状の間の最善のマッチは、センサ及び/又は時間にわたる同じ物体として追跡出力506において識別され得る。
方法700は、ブロックB712において、第1の物体と第2の物体が同じ物体であるとの決定に基づいて、車両による1つ又は複数の動作を実施することを含む。たとえば、制御構成要素508は、追跡出力506に基づいて決定された提案経路に基づいて、車両800に1つ又は複数の動作を実施させることができる。
例示的自律型車両
図8Aは、本開示のいくつかの実施例による、例示的自律型車両800の図である。自律型車両800(本明細書で別法として「車両800」と称する)は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気若しくは原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び/又は別のタイプの車両(たとえば、無人の及び/又は1人若しくは複数の乗客を乗せた)、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通***(NHTSA:National Highway Traffic Safety Administration)、米国運輸省の部署、及び自動車技術者協会(SAE:Society of Automotive Engineers)「Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicle」(2018年6月15日に公開された規格番号J3016-201806、2016年9月30日に公開された規格番号J3016-201609、及びこの規格の前の及び未来のバージョン)によって定義される、自動化レベルに関して記述される。車両800は、自律運転レベルのレベル3~レベル5のうちの1つ又は複数による機能の能力を有し得る。車両800は、自律運転レベルのレベル1~レベル5のうちの1つ又は複数による機能の能力を有し得る。たとえば、車両800は、実施例に応じて、運転者支援(レベル1)、部分的自動化(レベル2)、条件付き自動化(レベル3)、高度自動化(レベル4)、及び/又は完全自動化(レベル5)の能力を有し得る。本明細書で使用されるような「自律型」という用語は、完全に自律型であること、非常に自律型であること、条件付きで自律型であること、部分的に自律型であること、支援型自律性を提供すること、半自律型であること、主に自律型であること、又は他の名称など、車両800又は他のマシンのための任意の及び/又はすべてのタイプの自律性を含むことができる。
図8Aは、本開示のいくつかの実施例による、例示的自律型車両800の図である。自律型車両800(本明細書で別法として「車両800」と称する)は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気若しくは原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び/又は別のタイプの車両(たとえば、無人の及び/又は1人若しくは複数の乗客を乗せた)、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通***(NHTSA:National Highway Traffic Safety Administration)、米国運輸省の部署、及び自動車技術者協会(SAE:Society of Automotive Engineers)「Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicle」(2018年6月15日に公開された規格番号J3016-201806、2016年9月30日に公開された規格番号J3016-201609、及びこの規格の前の及び未来のバージョン)によって定義される、自動化レベルに関して記述される。車両800は、自律運転レベルのレベル3~レベル5のうちの1つ又は複数による機能の能力を有し得る。車両800は、自律運転レベルのレベル1~レベル5のうちの1つ又は複数による機能の能力を有し得る。たとえば、車両800は、実施例に応じて、運転者支援(レベル1)、部分的自動化(レベル2)、条件付き自動化(レベル3)、高度自動化(レベル4)、及び/又は完全自動化(レベル5)の能力を有し得る。本明細書で使用されるような「自律型」という用語は、完全に自律型であること、非常に自律型であること、条件付きで自律型であること、部分的に自律型であること、支援型自律性を提供すること、半自律型であること、主に自律型であること、又は他の名称など、車両800又は他のマシンのための任意の及び/又はすべてのタイプの自律性を含むことができる。
車両800は、車両のシャシ、車体、車輪(たとえば、2、4、6、8、18など)、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。車両800は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び/又は別の推進システム・タイプなど、推進システム850を含み得る。推進システム850は、車両800の推進力を有効にするために、トランスミッションを含み得る、車両800のドライブ・トレインに接続され得る。推進システム850は、スロットル/加速装置852からの信号の受信に応答して制御され得る。
ハンドルを含み得る、ステアリング・システム854は、推進システム850が動作しているときに(たとえば、車両が移動中のときに)車両800のかじを取る(たとえば、所望の進路又はルートに沿って)ために使用され得る。ステアリング・システム854は、ステアリング・アクチュエータ856から信号を受信することができる。ハンドルは、完全自動化(レベル5)機能のオプションでもよい。
ブレーキ・センサ・システム846は、ブレーキ・アクチュエータ848及び/又はブレーキ・センサからの信号の受信に応答して車両ブレーキを動作させるために使用され得る。
1つ又は複数のシステム・オン・チップ(SoC:system on Chip)804(図8C)及び/又はGPUを含み得る、コントローラ836は、車両800の1つ若しくは複数の構成要素及び/又はシステムに信号(たとえば、コマンドの表現)を提供することができる。たとえば、コントローラは、1つ又は複数のブレーキ・アクチュエータ848を介して車両ブレーキを動作させて、1つ又は複数のステアリング・アクチュエータ856を介してステアリング・システム854を動作させて、1つ又は複数のスロットル/加速装置852を介して推進システム850を動作させるために、信号を送ることができる。コントローラ836は、センサ信号を処理する、並びに自律運転を可能にするために及び/又は運転者の車両800の運転を支援するために動作コマンド(たとえば、コマンドを表す信号)を出力する、1つ又は複数の搭載された(たとえば、統合された)計算デバイス(たとえば、スーパーコンピュータ)を含み得る。コントローラ836は、自律運転機能のための第1のコントローラ836、機能的安全性機能のための第2のコントローラ836、人工知能機能(たとえば、コンピュータ・ビジョン)のための第3のコントローラ836、インフォテインメント機能のための第4のコントローラ836、緊急状態における冗長性のための第5のコントローラ836、及び/又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ836が、前述の機能のうちの2個以上を処理することができ、2個以上のコントローラ836が、単一の機能、及び/又はその任意の組合せを処理することができる。
コントローラ836は、1つ又は複数のセンサから受信したセンサ・データ(たとえば、センサ入力)に応答して車両800の1つ若しくは複数の構成要素及び/又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ858(たとえば、グローバル・ポジショニング・システム・センサ)、RADARセンサ860、超音波センサ862、LIDARセンサ864、慣性計測装置(IMU:inertial measurement unit)センサ866(たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など)、マイクロフォン896、ステレオ・カメラ868、ワイドビュー・カメラ870(たとえば、魚眼カメラ)、赤外線カメラ872、サラウンド・カメラ874(たとえば、360度カメラ)、長距離及び/又は中距離カメラ898、スピード・センサ844(たとえば、車両800のスピードを測定するための)、振動センサ842、ステアリング・センサ840、ブレーキ・センサ(たとえば、ブレーキ・センサ・システム846の一部としての)、及び/又は他のセンサ・タイプから受信され得る。
コントローラ836のうちの1つ又は複数のコントローラは、車両800の計器群832から入力(たとえば、入力データによって表される)を受信し、出力(たとえば、出力データ、表示データなどによって表される)をヒューマン・マシン・インターフェース(HMI:human-machine interface)ディスプレイ834、可聴式アナンシエータ、ラウドスピーカ、及び/又は車両800の他の構成要素を介して提供することができる。出力は、車両ベロシティ、スピード、時間、マップ・データ(たとえば、図8CのHDマップ822)、位置データ(たとえば、マップ上などの、車両800の位置)、方向、他の車両の位置(たとえば、占有グリッド)、コントローラ836によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、HMIディスプレイ834は、1つ又は複数の物体(たとえば、道路標識、警告標識、交通信号の変化など)の存在、及び/又は車両が行った、行っている、又は行うであろう運転操作(たとえば、今、車線変更をしていること、3.22km(2マイル)内の出口34Bを出ることなど)に関する情報を表示することができる。
車両800はさらに、1つ若しくは複数のワイヤレス・アンテナ826及び/又はモデムを使用して1つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース824を含む。たとえば、ネットワーク・インターフェース824は、LTE、WCDMA(登録商標)、UMTS、GSM、CDMA2000などを介する通信の能力を有し得る。ワイヤレス・アンテナ826はまた、ブルートゥース(登録商標)、ブルートゥース(登録商標)LE、Z-Wave、ZigBeeなどのローカル・エリア・ネットワーク、及び/又はLoRaWAN、SigFoxなどのロー・パワー・ワイドエリア・ネットワーク(LPWAN:low power wide-area network)を使用し、環境内の物体(たとえば、車両、モバイル・デバイスなど)の間の通信を可能にすることができる。
図8Bは、本開示のいくつかの実施例による、図8Aの例示的自律型車両800のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、1つの例示的実施例であり、制限することは意図されていない。たとえば、追加の及び/又は代替カメラが含まれ得る、及び/又はカメラは車両800の異なる位置に置かれ得る。
カメラのカメラ・タイプは、車両800の構成要素及び/又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル(ASIL:automotive safety integrity level)Bにおいて及び/又は別のASILにおいて動作することができる。カメラ・タイプは、実施例に応じて、60フレーム/秒(fps)、120fps、240fpsなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、RCCC(red clear clear clear)カラー・フィルタ・アレイ、RCCB(red clear clear blue)カラー・フィルタ・アレイ、RBGC(red blue green clear)カラー・フィルタ・アレイ、Foveon X3カラー・フィルタ・アレイ、Bayerセンサ(RGGB)カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び/又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、RCCC、RCCB、及び/又はRBGCカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。
いくつかの実例では、カメラのうちの1つ又は複数が、高度運転者支援システム(ADAS:advanced driver assistance system)機能(たとえば、冗長又はフェイルセーフ設計の一部として)を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの1つ又は複数(たとえば、すべてのカメラ)が、画像データ(たとえば、ビデオ)を同時に記録及び提供することができる。
カメラのうちの1つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射(たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射)を取り除くために、カスタム設計された(3D印刷された)部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム3D印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある4個の支柱内に統合され得る。
車両800の前の環境の部分を含む視野を有するカメラ(たとえば、前向きのカメラ)は、前向きの進路及び障害物の識別を助け、1つ若しくは複数のコントローラ836及び/又は制御SoCの助けにより、占有グリッドの生成及び/又は好ましい車両進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、LIDARと同じADAS機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報(LDW:Lane Departure Warning)、自律的クルーズ制御(ACC:Autonomous Cruise Control)、及び/又は交通標識認識などの他の機能を含むADAS機能及びシステムのために使用され得る。
様々なカメラが、たとえば、CMOS(complementary metal oxide semiconductor)カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺(たとえば、歩行者、交差する交通又は自転車)からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ870でもよい。図8Bにはワイドビュー・カメラは1つだけ示されているが、車両800には任意の数のワイドビュー・カメラ870が存在し得る。加えて、長距離カメラ898(たとえば、ロングビュー・ステレオ・カメラ・ペア)が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ898はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。たとえば、長距離カメラ898は、センサ・データ102を生成することができる。
1つ又は複数のステレオ・カメラ868もまた、前向きの構成に含まれ得る。ステレオ・カメラ868は、単一のチップ上に統合されたCAN又はイーサネット(登録商標)・インターフェースを有するプログラマブル論理(FPGA)及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、車両の環境の3Dマップを生成するために使用され得る。代替ステレオ・カメラ868は、2個のカメラ・レンズ(左と右に1つずつ)と、車両から対象物体までの距離を測定する及び生成された情報(たとえば、メタデータ)を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ868が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。
車両800の側面に対する環境の部分を含む視野を有するカメラ(たとえば、サイドビュー・カメラ)が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ874(たとえば、図8Bに示されるような4個のサラウンド・カメラ874)は、車両800上に位置付けられ得る。サラウンド・カメラ874は、ワイドビュー・カメラ870、魚眼カメラ、360度カメラ、及び/又は同類のものを含み得る。たとえば、4個の魚眼カメラが、車両の前、後ろ、及び側面に配置され得る。代替配置において、車両は、3個のサラウンド・カメラ874(たとえば、左、右、及び後部)を使用してもよく、第4のサラウンド・ビュー・カメラとして1つ又は複数の他のカメラ(たとえば、前向きのカメラ)を活用してもよい。
車両800の後ろに対する環境の部分を含む視野を有するカメラ(たとえば、後方確認カメラ)が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ(たとえば、長距離及び/又は中距離カメラ898、ステレオ・カメラ868)、赤外線カメラ872など)としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。
理解されるように、長距離カメラ898、サラウンド・カメラ874、ステレオ・カメラ868、赤外線カメラ872、又は任意の他のセンサは、機械学習モデル(たとえば、図1及び図5に関連して説明された機械学習モデル104)への入力として提供されることが可能なセンサ・データ102を生成することができる。
図8Cは、本開示のいくつかの実施例による、図8Aの例示的自律型車両800の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素(たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど)が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び/又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
図8Cの車両800の構成要素、特徴、及びシステムのそれぞれは、バス802を介して接続されるものとして図示されている。バス802は、コントローラ・エリア・ネットワーク(CAN)データ・インターフェース(或いは、「CANバス」と称される)を含み得る。CANは、ブレーキ、加速度、ブレーキ、ステアリング、フロントガラス・ワイパなどの作動など、車両800の様々な特徴及び機能の制御を助けるために使用される車両800内のネットワークでもよい。CANバスは、それぞれが独自の一意の識別子(たとえば、CAN ID)を有する、数ダース又は数百ものノードを有するように構成され得る。CANバスは、ハンドル角度、対地速度、1分間のエンジン回転(RPM:revolutions per minute)、ボタン位置、及び/又は他の車両状況指標を見つけるために読み取られ得る。CANバスは、ASIL B準拠でもよい。
バス802は、CANバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、CANバスに加えて、又はこのその代替として、FlexRay及び/又はイーサネット(登録商標)が使用されてもよい。加えて、単一の線が、バス802を表すために使用されているが、これは制限することを意図されていない。たとえば、1つ若しくは複数のCANバス、1つ若しくは複数のFlexRayバス、1つ若しくは複数のイーサネット(登録商標)・バス、及び/又は異なるプロトコルを使用する1つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス802が存在し得る。いくつかの実例では、2個以上のバス802が、異なる機能を実行するために使用され得る、及び/又は冗長性のために使用され得る。たとえば、第1のバス802は衝突回避機能のために使用されてもよく、第2のバス802は作動制御のために使用されてもよい。任意の実例において、各バス802は、車両800の構成要素のいずれかと通信し得、2個以上のバス802が同じ構成要素と通信し得る。いくつかの実例では、車両内の各SoC804、各コントローラ836、及び/又は各コンピュータは、同じ入力データ(たとえば、車両800のセンサからの入力)へのアクセスを有し得、CANバスなどの共通バスに接続され得る。
車両800は、図8Aに関して本明細書で説明されるものなど、1つ又は複数のコントローラ836を含み得る。コントローラ836は、様々な機能のために使用され得る。コントローラ836は、車両800の様々な他の構成要素及びシステムのいずれかに連結されてもよく、車両800、車両800の人工知能、車両800のためのインフォテインメント、及び/又は同類のものの制御のために使用され得る。
車両800は、システム・オン・チップ(SoC)804を含み得る。SoC804は、CPU806、GPU808、プロセッサ810、キャッシュ812、加速装置814、データ・ストア816、及び/又は図示されていない他の構成要素及び特徴を含み得る。SoC804は、様々なプラットフォーム及びシステム内の車両800を制御するために使用され得る。たとえば、SoC804は、1つ又は複数のサーバ(たとえば、図8Dのサーバ878)からネットワーク・インターフェース824を介してマップのリフレッシュ及び/又は更新を取得することができるHDマップ822を有するシステム(たとえば、車両800のシステム)において結合され得る。
CPU806は、CPUクラスタ又はCPU複合体(或いは、「CCPLEX」とも称される)を含み得る。CPU806は、複数のコア及び/又はL2キャッシュを含み得る。たとえば、一部の実施例では、CPU806は、コヒーレント・マルチプロセッサ構成内の8個のコアを含み得る。一部の実施例では、CPU806は、4個のデュアルコア・クラスタを含むことができ、各クラスタが専用のL2キャッシュ(たとえば、2MBL2キャッシュ)を有する。CPU806(たとえば、CCPLEX)は、CPU806のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。
CPU806は、以下の特徴のうちの1つ又は複数を含む電力管理能力を実装することができる:個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、WFI/WFE命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び/又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。CPU806は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア/マイクロ・コードが、コア、クラスタ、及びCCPLEXに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。
GPU808は、統合されたGPU(或いは本明細書において「iGPU」と称される)を含み得る。GPU808は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、GPU808は、強化されたテンソル命令セットを使用することができる。GPU808は、1つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、L1キャッシュ(たとえば、少なくとも96KB記憶容量を有するL1キャッシュ)を含み得、ストリーミング・マイクロプロセッサのうちの2個以上が、キャッシュ(たとえば、512KB記憶容量を有するL2キャッシュ)を共用し得る。一部の実施例では、GPU808は、少なくとも8個のストリーミング・マイクロプロセッサを含み得る。GPU808は、計算アプリケーション・プログラミング・インターフェース(API)を使用することができる。加えて、GPU808は、1つ若しくは複数の並行のコンピューティング・プラットフォーム及び/又はプログラミング・モデル(たとえば、NVIDIAのCUDA)を使用することができる。
GPU808は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、GPU808は、FinFET(Fin field-effect transistor)上に製造され得る。しかしながら、これは制限することを意図されておらず、GPU808は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、64 PF32コア及び32 PF64コアは、4個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、16 FP32コア、8 FP64コア、16 INT32コア、深層学習行列演算のための2個の混合精度NVIDIAテンソル・コア、L0命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び/又は64KBレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたL1データ・キャッシュ及び共用メモリ・ユニットを含み得る。
GPU808は、一部の実例では、900GB/秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ(HBM:high bandwidth memory)及び/又は16GBHBM2メモリ・サブシステムを含み得る。いくつかの実例では、HBMメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ5同期ランダム・アクセス・メモリ(GDDR5:graphics double data rate type five synchronous random-access memory)などの同期グラフィックス・ランダム・アクセス・メモリ(SGRAM:synchronous graphics random-access memory)が使用され得る。
GPU808は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス(ATS:address translation service)サポートが、GPU808がCPU806ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、GPU808メモリ管理ユニット(MMU:memory management unit)がミスを経験するとき、アドレス変換要求が、CPU806に送信され得る。応答して、CPU806は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、GPU808に変換を送り返す。そのようなものとして、統一されたメモリ技術は、CPU806とGPU808との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりGPU808へのアプリケーションのGPU808プログラミング及び移植を単純化する。
加えて、GPU808は、他のプロセッサのメモリへのGPU808のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。
SoC804は、本明細書に記載のものを含む任意の数のキャッシュ812を含み得る。たとえば、キャッシュ812は、CPU806とGPU808との両方に利用可能な(たとえば、CPU806とGPU808との両方に接続された)L3キャッシュを含み得る。キャッシュ812は、キャッシュ・コヒーレンス・プロトコル(たとえば、MEI、MESI、MSIなど)を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。L3キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、4MB以上を含み得る。
SoC804は、車両800の様々なタスク又は動作のいずれか(たとえば、処理DNN)に関して処理を実行する際に活用され得る論理演算ユニット(ALU:arithmetic logic unit)を含み得る。加えて、SoC804は、システム内で数学演算を実行するための浮動小数点演算ユニット(FPU:floating point unit)(又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ)を含み得る。たとえば、SoC104は、CPU806及び/又はGPU808内の実行ユニットとして統合された1つ又は複数のFPUを含み得る。
SoC804は、1つ又は複数の加速装置814(たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ)を含み得る。たとえば、SoC804は、最適化されたハードウェア加速装置及び/又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ(たとえば、4MBのSRAM)は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、GPU808を補完するために及びGPU808のタスクの一部をオフロードするために(たとえば、他のタスクを実行するためのGPU808のより多くのサイクルを解放するために)使用され得る。一実例として、加速装置814は、加速に適するように十分に安定している対象ワークロード(たとえば、知覚、畳み込みニューラル・ネットワーク(CNN:convolutional neural network)など)のために使用され得る。本明細書では、「CNN」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク(RCNN:regional convolutional neural network)及び高速RCNN(たとえば、物体検出のために使用されるものとしての)を含む、すべてのタイプのCNNを含み得る。
加速装置814(たとえば、ハードウェア加速クラスタ)は、深層学習加速装置(DLA:deep learning accelerator)を含み得る。DLAは、深層学習アプリケーション及び推論のために1秒あたり追加の10兆の動作を提供するように構成することができる1つ又は複数のテンソル処理ユニット(TPU:Tensor processing unit)を含み得る。TPUは、画像処理機能(たとえば、CNN、RCNNなどの)を実行するように構成及び最適化された加速装置でもよい。DLAはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。DLAの設計は、汎用GPUよりも1ミリメートルあたりより多くのパフォーマンスを提供することができ、CPUのパフォーマンスを大きく超える。TPUは、たとえば、特徴と重みとの両方についてINT8、INT16、及びFP16データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。
DLAは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にCNN、を迅速に及び効率的に実行することができる:カメラ・センサからのデータを使用する物体識別及び検出のためのCNN、カメラ・センサからのデータを使用する距離推定のためのCNN、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのCNN、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのCNN、及び/又は、セキュリティ及び/又は安全性関連イベントのためのCNN。
DLAは、GPU808の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにDLA又はGPU808のいずれかを対象にすることができる。たとえば、設計者は、DLA上のCNN及び浮動小数点演算の処理に重点的に取り組み、他の機能をGPU808及び/又は他の加速装置814に任せることができる。
加速装置814(たとえば、ハードウェア加速クラスタ)は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置(PVA:programmable vision accelerator)を含み得る。PVAは、高度運転者支援システム(ADAS:advanced driver assistance system)、自律運転、及び/又は拡張現実(AR:augmented reality)及び/又は仮想現実(VR:virtual reality)アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。PVAは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各PVAは、たとえば、任意の数の縮小命令セット・コンピュータ(RISC:reduced instruction set computer)コア、直接メモリ・アクセス(DMA:direct memory access)、及び/又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。
RISCコアは、画像センサ(たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ)、画像信号プロセッサ、及び/又は同類のものと相互作用することができる。それぞれのRISCコアは、任意の量のメモリを含み得る。RISCコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、RISCコアは、リアルタイム・オペレーティング・システム(RTOS:real-time operating system)を実行することができる。RISCコアは、1つ若しくは複数の集積回路デバイス、特定用途向け集積回路(ASIC)、及び/又はメモリ・デバイスを使用して、実装され得る。たとえば、RISCコアは、命令キャッシュ及び/又はしっかりと結合されたRAMを含み得る。
DMAは、CPU806から独立したシステム・メモリにPVAの構成要素がアクセスすることを可能にし得る。DMAは、多次元アドレス指定及び/又は循環アドレス指定をサポートすることを含むがこれに限定されないPVAに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、DMAは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び/又は深度ステッピングを含み得る、6次元まで又はそれ以上のアドレス指定をサポートすることができる。
ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、PVAは、PVAコア及び2個のベクトル処理サブシステム・パーティションを含み得る。PVAコアは、プロセッサ・サブシステム、DMAエンジン(たとえば、2個のDMAエンジン)、及び/又は他の周辺装置を含み得る。ベクトル処理サブシステムは、PVAの1次的処理エンジンとして動作することができ、ベクトル処理ユニット(VPU:vector processing unit)、命令キャッシュ、及び/又はベクトル・メモリ(たとえば、VMEM)を含み得る。VPUコアは、たとえば、単一の命令、複数のデータ(SIMD)、超長命令語(VLIW:very long instruction word)デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。SIMD及びVLIWの組合せは、スループット及びスピードを高めることができる。
それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のPVAに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のPVAに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のPVAに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のPVAは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのPVAに含まれ得る。加えて、PVAは、全体的システム安全性を高めるために、追加のエラー訂正コード(ECC:error correcting code)メモリを含み得る。
加速装置814(たとえば、ハードウェア加速クラスタ)は、加速装置814のための高帯域幅、低レイテンシSRAMを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びSRAMを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、PVAとDLAとの両方によってアクセス可能でもよい、8個のフィールド構成可能なメモリ・ブロックから成る、少なくとも4MBのSRAMを含み得る。各ペアのメモリ・ブロックは、高度周辺バス(APB:advanced peripheral bus)インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。PVA及びDLAは、メモリへの高速アクセスを有するPVA及びDLAを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、(たとえば、APBを使用して)PVA及びDLAをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
コンピュータ・ビジョン・ネットワーク・オンチップは、PVAとDLAとの両方が作動可能及び有効信号を提供することを、任意の制御信号/アドレス/データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号/アドレス/データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ISO26262又はIEC61508規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。
いくつかの実例では、SoC804は、2018年8月10日に出願された米国特許出願第16/101,232号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、RADAR信号解釈のための、音響伝播合成及び/又は分析のための、SONARシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び/又は他の機能を目的とするLIDARデータに対する比較のための、及び/又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、(たとえば、世界モデル内の)物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、1つ又は複数の木の走査ユニット(TTU:tree traversal unit)が、1つ又は複数のレイトレーシング関連動作を実行するために使用され得る。
加速装置814(たとえば、ハードウェア加速装置クラスタ)は、自律運転のための多様な用途を有する。PVAは、ADAS及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。PVAの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、PVAは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算でうまく機能する。それ故に、PVAは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、PVAは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。
たとえば、本技術の1つの実施例によれば、PVAは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル3~5の自律運転のための多数のアプリケーションは、動き推定/ステレオ・マッチング・オンザフライ(たとえば、SFM(structure from motion)、歩行者認識、レーン検出など)を必要とする。PVAは、2個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。
いくつかの実例では、PVAは、高密度のオプティカル・フローを実行するために使用され得る。処理されたRADARを提供するために未加工のRADARデータを処理する(たとえば、4D高速フーリエ変換を使用して)ことによる。他の実例において、PVAは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。
DLAは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ(AEB:automatic emergency braking)システムにおいて、誤判定検出は、車両に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、AEBのトリガとして考えられるべきである。DLAは、信頼性値を回帰するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、(たとえば、別のサブシステムから)取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び/又は他のセンサ(たとえば、LIDARセンサ864又はRADARセンサ860)から取得された物体の車両800方位、距離、3D位置推定と相関する慣性計測装置(IMU:inertial measurement unit)センサ866出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。
SoC804は、データ・ストア816(たとえば、メモリ)を含み得る。データ・ストア816は、SoC804のオンチップ・メモリでもよく、GPU及び/又はDLAで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア816は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア812は、L2又はL3キャッシュ812を備え得る。データ・ストア816の参照は、本明細書に記載のような、PVA、DLA、及び/又は他の加速装置814に関連するメモリの参照を含み得る。
SoC804は、1つ又は複数のプロセッサ810(たとえば、組み込まれたプロセッサ)を含み得る。プロセッサ810は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、SoC804ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、SoC804熱及び温度センサの管理、及び/又はSoC804電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、SoC804は、リング発振器を使用してCPU806、GPU808、及び/又は加速装置814の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、SoC804をより低い電力状態に置く及び/又は車両800をショーファーの安全停止モードにする(たとえば、車両800を安全停止させる)ことができる。
プロセッサ810は、オーディオ処理エンジンの機能を果たし得る1セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオI/Oインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のRAMを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。
プロセッサ810は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたRAM、支援周辺装置(たとえば、タイマ及び割り込みコントローラ)、様々なI/Oコントローラ周辺装置、及びルーティング論理を含み得る。
プロセッサ810は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、2個以上のプロセッサ・コア、しっかりと結合されたRAM、サポート周辺装置(たとえば、タイマ、割り込みコントローラなど)、及び/又はルーティング論理を含み得る。安全性モードにおいて、2個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。
プロセッサ810は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。
プロセッサ810は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。
プロセッサ810は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック(たとえば、マイクロプロセッサに実装された)でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ870で、サラウンド・カメラ874で、及び/又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度SoCの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、車両の目的地を変更する、車両のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。
ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。
ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、GPU808は、新しい表面を連続してレンダリングために必要とされない。GPU808の電源が入れられ、3Dレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、GPU808をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。
SoC804は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース(MIPI:mobile industry processor interface)カメラ・シリアル・インターフェース、高速インターフェース、及び/又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。SoC804は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないI/O信号を受信するために使用され得る、入力/出力コントローラをさらに含み得る。
SoC804は、周辺装置、オーディオ・コーデック、電力管理、及び/又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。SoC804は、(たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット(登録商標)を介して接続された)カメラからのデータ、センサ(たとえば、イーサネット(登録商標)を介して接続され得るLIDARセンサ864、RADARセンサ860など)、バス802からのデータ(たとえば、車両800のスピード、ハンドル位置など)、(たとえば、イーサネット(登録商標)又はCANバスを介して接続された)GNSSセンサ858からのデータを処理するために使用され得る。SoC804は、独自のDMAエンジンを含み得る及びルーティン・データ管理タスクからCPU806を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。
SoC804は、自動化レベル3~5に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びADAS技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。SoC804は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置814が、CPU806と結合されるとき、GPU808、及びデータ・ストア816は、レベル3~5の自律型車両のための高速で効率的なプラットフォームを提供することができる。
したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Cプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、CPUで実行され得る。しかしながら、CPUは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のCPUは、車両内ADASアプリケーションの要件及び実際のレベル3~5の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。
従来のシステムとは対照的に、CPU複合体、GPU複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び/又は連続して実行されることと、レベル3~5の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、DLA又はdGPU(たとえば、GPU820)で実行するCNNは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。DLAは、標識の意味論的理解を識別、解釈、及び提供することと、CPU複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。
別の実例として、複数のニューラル・ネットワークは、レベル3、4、又は5の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意:点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第1の配備されたニューラル・ネットワーク(たとえば、トレーニングされてあるニューラル・ネットワーク)によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを車両の進路計画立案ソフトウェア(好ましくはCPU複合体上で実行する)に知らせる、第2の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在(又は無いこと)を車両の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第3の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての3個のニューラル・ネットワークは、DLA内及び/又はGPU808上などで、同時に実行することができる。
いくつかの実例では、顔認識及び車両所有者識別のためのCNNは、カメラ・センサからのデータを使用して車両800の正規の運転者及び/又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに車両を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が車両を離れるときに車両の動作を停止させるために、使用され得る。このようにして、SoC804は、盗難及び/又は車の乗っ取りに対するセキュリティをもたらす。
別の実例では、緊急車両検出及び識別のためのCNNは、マイクロフォン896からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、SoC804は、環境の及び都市の音の分類、並びに視覚的データの分類のためにCNNを使用する。好ましい一実施例では、DLA上で実行するCNNは、(たとえば、ドップラー効果を使用することによって)緊急車両の相対的終速度を識別するようにトレーニングされる。CNNはまた、GNSSセンサ858によって識別されるように、車両が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、CNNは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、CNNは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ862の支援を受けて、車両を減速する、道の端に停止させる、車両を駐車する、及び/又は車両をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。
車両は、高速相互接続(たとえば、PCIe)を介してSoC804に連結され得るCPU818(たとえば、個別のCPU、又はdCPU)を含み得る。CPU818は、たとえば、X86プロセッサを含み得る。CPU818は、たとえば、ADASセンサとSoC804との間の潜在的に不整合の結果を調停すること、及び/又はコントローラ836及び/又はインフォテインメントSoC830の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。
車両800は、高速相互接続(たとえば、NVIDIAのNVLINK)を介してSoC804に連結され得るGPU820(たとえば、個別のGPU、又はdGPU)を含み得る。GPU820は、冗長及び/又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、車両800のセンサからの入力(たとえば、センサ・データ)に基づいてニューラル・ネットワークをトレーニング及び/又は更新するために使用され得る。
車両800は、1つ又は複数のワイヤレス・アンテナ826(たとえば、セルラ・アンテナ、ブルートゥース(登録商標)・アンテナなど、異なる通信プロトコルのための1つ又は複数のワイヤレス・アンテナ)を含み得るネットワーク・インターフェース824をさらに含み得る。ネットワーク・インターフェース824は、インターネットを介するクラウドとの(たとえば、サーバ878及び/又は他のネットワーク・デバイスとの)、他の車両との、及び/又は計算デバイス(たとえば、乗客のクライアント・デバイス)とのワイヤレス接続を使用可能にするために使用され得る。他の車両と通信するために、直接リンクが2個の車両の間に確立され得る、及び/又は、間接リンクが(たとえば、ネットワークを通じて及びインターネットを介して)確立され得る。直接リンクは、車両対車両通信リンクを使用し、提供され得る。車両対車両通信リンクは、車両800に近接する車両(たとえば、車両800の前の、横の、及び/又は後ろの車両)に関する車両800情報を提供することができる。この機能は、車両800の共同適応クルーズ制御機能の一部でもよい。
ネットワーク・インターフェース824は、変調及び復調機能を提供する及びコントローラ836がワイヤレス・ネットワークを介して通信することを可能にする、SoCを含み得る。ネットワーク・インターフェース824は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び/又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、LTE、WCDMA(登録商標)、UMTS、GSM、CDMA2000、ブルートゥース(登録商標)、ブルートゥース
(登録商標)LE、Wi-Fi、Z-Wave、ZigBee、LoRaWAN、及び/又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
(登録商標)LE、Wi-Fi、Z-Wave、ZigBee、LoRaWAN、及び/又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
車両800は、チップ外の(たとえば、SoC804外の)ストレージを含み得るデータ・ストア828をさらに含み得る。データ・ストア828は、RAM、SRAM、DRAM、VRAM、フラッシュ、ハードディスク、及び/又は、少なくとも1ビットのデータを記憶することができる他の構成要素及び/又はデバイスを含む、1つ又は複数の記憶素子を含み得る。
車両800は、GNSSセンサ858をさらに含み得る。GNSSセンサ858(たとえば、GPS、支援されたGPSセンサ、ディファレンシャルGPS(DGPS)センサなど)は、マッピング、知覚、占有グリッド生成、及び/又は進路計画策定機能を支援する。たとえば、シリアル(RS-232)ブリッジへのイーサネット(登録商標)を有するUSBコネクタを使用するGPSを含むが、これに限定されない、任意の数のGNSSセンサ858が、使用され得る。
車両800は、RADARセンサ860をさらに含み得る。RADARセンサ860は、暗闇及び/又は厳しい気象条件においても、長距離車両検出のために車両800によって使用され得る。RADAR機能安全性レベルは、ASIL Bでもよい。一部の実例では、RADARセンサ860は、未加工のデータにアクセスするためのイーサネット(登録商標)へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために(たとえば、RADARセンサ860によって生成されたデータを送信するために)CAN及び/又はバス802を使用することができる。多種多様なRADARセンサ・タイプが、使用され得る。たとえば、そして制限なしに、RADARセンサ860は、前部、後部、及び側部RADAR使用に適し得る。一部の実例では、パルス・ドップラーRADARセンサが使用される。
RADARセンサ860は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離RADARは、適応クルーズ制御機能のために使用され得る。長距離RADARシステムは、250mの範囲内など、2個以上の独立したスキャンによって実現される広い視野を提供することができる。RADARセンサ860は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのADASシステムによって使用され得る。長距離RADARセンサは、複数の(たとえば、6つ以上の)固定RADARアンテナと高速CAN及びFlexRayインターフェースとを有するモノスタティック・マルチモーダルRADARを含み得る。6つのアンテナを有する一実例では、中央の4個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で車両800の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の2個のアンテナは、視野を広げることができ、車両800のレーンに入る又はこれを去る車両を迅速に検出することを可能にする。いくつかの態様では、センサ・データ102は、RADARセンサ860によって生成されたデータを含み得る。
一実例として、中距離RADARシステムは、860m(前)又は80m(後)までの範囲、及び42度(前)又は850度(後)までの視野を含み得る。短距離RADARシステムは、後部バンパの両端に設置されるように設計されたRADARセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなRADARセンサ・システムは、車両の後ろ及び隣の死角を常に監視する2個のビームを作成することができる。
短距離RADARシステムは、死角検出及び/又はレーン変更アシストのためにADASシステムにおいて使用され得る。
車両800は、超音波センサ862をさらに含み得る。車両800の前部、後部、及び/又は側部に位置付けられ得る、超音波センサ862は、駐車アシストのために及び/又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ862が使用され得、異なる超音波センサ862が、異なる範囲の検出(たとえば、2.5m、4m)のために使用され得る。超音波センサ862は、ASIL Bの機能的安全性レベルにおいて動作することができる。いくつかの態様では、センサ・データ102は、超音波センサ862によって生成されたデータを含み得る。
車両800はLIDARセンサ864を含み得る。LIDARセンサ864は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び/又は他の機能のために使用され得る。LIDARセンサ864は、機能的安全性レベルASIL Bでもよい。いくつかの実例では、車両800は、(たとえば、ギガビット・イーサネット(登録商標)・スイッチにデータを提供するために)イーサネット(登録商標)を使用することができる複数の(たとえば、2個、4個、6個などの)LIDARセンサ864を含み得る。
いくつかの実例では、LIDARセンサ864は、物体及び360度視野のそれらの距離のリストを提供する能力を有し得る。市販のLIDARセンサ864は、たとえば、2cm~3cmの精度を有し、800Mbpsイーサネット(登録商標)接続のサポートを有して、約800mの広告された範囲を有し得る。いくつかの実例では、1つ又は複数の非突出したLIDARセンサ864が、使用され得る。そのような実例では、LIDARセンサ864は、車両800の前部、後部、側部、及び/又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、LIDARセンサ864は、低反射物体についても200mの範囲を有し、120度水平及び35度垂直視野まで提供することができる。前部に取り付けられたLIDARセンサ864は、45度と135度との間の水平視野向けに構成され得る。
いくつかの実例では、3DフラッシュLIDARなどのLIDAR技術もまた使用され得る。3DフラッシュLIDARは、約200mまで車両の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュLIDARユニットは、車両から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュLIDARは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、4個のフラッシュLIDARセンサが、車両800の各側面に1つずつ、配備され得る。利用可能な3DフラッシュLIDARシステムは、送風機以外に動く部分を有さないソリッドステート3Dステアリング・アレイLIDARカメラ(たとえば、非スキャン型LIDARデバイス)を含む。フラッシュLIDARデバイスは、1フレームにつき5ナノ秒クラスI(目に安全な)レーザー・パルスを使用することができ、3D範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュLIDARを使用することによって、また、フラッシュLIDARは、動く部分を有さないソリッドステート・デバイスであるので、LIDARセンサ864は、モーション・ブラー、振動、及び/又は衝撃の影響を受けにくくなり得る。いくつかの態様では、センサ・データ102は、LIDARセンサ864によって生成されたデータを含み得る。
車両は、IMUセンサ866をさらに含み得る。一部の実例では、IMUセンサ866は、車両800の後部車軸の中央に位置付けられ得る。IMUセンサ866は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び/又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、6軸アプリケーションなどにおいて、IMUセンサ866は、加速度計及びジャイロスコープを含み得るが、9軸アプリケーションにおいて、IMUセンサ866は、加速度計、ジャイロスコープ、及び磁力計を含み得る。
一部の実施例では、IMUセンサ866は、マイクロ電気機械システム(MEMS:micro-electro-mechanical system)慣性センサ、高感度GPSレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能GPS支援型慣性航行システム(GPS/INS:GPS-Aided Inertial Navigation System)として実装され得る。そのようなものとして、一部の実例では、IMUセンサ866は、GPSからIMUセンサ866までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を車両800が推定することを可能にし得る。いくつかの実例では、IMUセンサ866及びGNSSセンサ858は、単一の統合されたユニットにおいて結合され得る。
車両は、車両800内及び/又は周囲に置かれたマイクロフォン896を含み得る。マイクロフォン896は、中でも、緊急車両検出及び識別のために使用され得る。
車両は、ステレオ・カメラ868、ワイドビュー・カメラ870、赤外線カメラ872、サラウンド・カメラ874、長距離及び/又は中距離カメラ898、及び/又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、車両800の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、車両800の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、車両800の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、車両は、6個のカメラ、7個のカメラ、10個のカメラ、12個のカメラ、及び/又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク(GMSL:Gigabit Multimedia Serial Link)及び/又はギガビット・イーサネット(登録商標)をサポートし得るが、これに限定されない。それぞれのカメラは、図8A及び図8Bに関連して本明細書においてさらに詳しく説明される。
車両800は、振動センサ842をさらに含み得る。振動センサ842は、車軸など、車両の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、2個以上の振動センサ842が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る(たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき)。
車両800は、ADASシステム838を含み得る。一部の実例では、ADASシステム838は、SoCを含み得る。ADASシステム838は、自律/適応/自動クルーズ制御(ACC:autonomous/adaptive/automatic cruise control)、共同適応クルーズ制御(CACC:cooperative adaptive cruise control)、前方衝突警報(FCW:forward crash warning)、自動緊急ブレーキ(AEB:automatic emergency braking)、車線逸脱警報(LDW:lane departure warning)、レーン・キープ・アシスト(LKA:lane keep assist)、死角警報(BSW:blind spot warning)、後部交差交通警報(RCTW:rear cross-traffic warning)、衝突警報システム(CWS:collision warning system)、レーン・センタリング(LC:lane centering)、及び/又は他の特徴及び機能を含み得る。
ACCシステムは、RADARセンサ860、LIDARセンサ864、及び/又はカメラを使用し得る。ACCシステムは、縦ACC及び/又は横ACCを含み得る。縦ACCは、車両800の直ぐ前の車両までの距離を監視及び制御し、前方の車両からの安全距離を維持するために車両速度を自動的に調整する。横ACCは、距離の保持を実行し、必要なときにレーンを変更するように車両800にアドバイスする。横ACCは、LCA及びCWSなどの他のADASアプリケーションに関連する。
CACCは、ワイヤレス・リンクを介して他の車両からネットワーク・インターフェース824及び/又はワイヤレス・アンテナ826を介して、或いは間接的にネットワーク接続を介して(たとえば、インターネットを介して)、受信することができる、他の車両からの情報を使用する。直接リンクは、車両対車両(V2V:vehicle-to-vehicle)通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対車両(I2V:infrastructure-to-vehicle)通信リンクでもよい。一般に、V2V通信概念は、直前の車両(たとえば、車両800と同じレーン内にある、車両800の直ぐ前の車両)に関する情報を提供し、一方、I2V通信概念は、さらに前の交通に関する情報を提供する。CACCシステムは、I2V情報ソースとV2V情報ソースとのいずれか又は両方を含み得る。車両800の前方の車両の情報を所与として、CACCは、より高信頼になり得、CACCは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。
運転者が修正行動を取ることができるように、FCWシステムは、危険を運転者に警告するように設計される。FCWシステムは、ディスプレイ、スピーカ、及び/又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、DSP、FPGA、及び/又はASICに連結された、前向きのカメラ及び/又はRADARセンサ860を使用する。FCWシステムは、音響、視覚的警報、振動及び/又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。
AEBシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。AEBシステムは、専用のプロセッサ、DSP、FPGA、及び/又はASICに連結された、前向きのカメラ及び/又はRADARセンサ860を使用することができる。AEBシステムが危険を検出するとき、AEBシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、AEBシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。AEBシステムは、ダイナミック・ブレーキ・サポート及び/又は衝突切迫ブレーキなどの技法を含み得る。
LDWシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び/又は触覚的警報を提供して、車両800が車線区分線を越えたときに運転者に警告する。LDWシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。LDWシステムは、ディスプレイ、スピーカ、及び/又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、DSP、FPGA、及び/又はASICに連結された、前側を向いたカメラを使用することができる。
LKAシステムは、LDWシステムの変更形態である。LKAシステムは、車両800が車線をはみ出し始めた場合に車両800を修正するためにステアリング入力又はブレーキを提供する。
BSWシステムは、自動車の死角において車両の運転者に検出及び警告する。BSWシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び/又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するとき、付加的警報を提供し得る。BSWシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び/又は振動部品、に電気的に連結された、専用プロセッサ、DSP、FPGA、及び/又はASICに連結された、後ろ側を向いたカメラ及び/又はRADARセンサ860を使用し得る。
RCTWシステムは、車両800がバックしているときにリアカメラの範囲外で物体が検出されると視覚的、可聴式、及び/又は触覚的通知を提供することができる。いくつかのRCTWシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、AEBを含む。RCTWシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び/又は振動部品、に電気的に連結された、専用プロセッサ、DSP、FPGA、及び/又はASICに連結された、1つ又は複数の後ろを向いたRADARセンサ860を使用することができる。
従来のADASシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のADASシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両800では、結果が矛盾する場合には、車両800自体が、1次的コンピュータ又は2次的コンピュータ(たとえば、第1のコントローラ836又は第2のコントローラ836)からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ADASシステム838は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び/又は2次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ADASシステム838からの出力は、監督MCUに提供され得る。1次的コンピュータ及び2次的コンピュータからの出力が矛盾する場合、監督MCUは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。
いくつかの実例では、1次的コンピュータは、選択された結果における1次的コンピュータの信頼性を指示する、信頼性スコアを監督MCUに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督MCUは、2次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、1次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び1次的及び2次的コンピュータが異なる結果を示す(たとえば、矛盾する)場合、監督MCUは、コンピュータの間で調停して適切な結果を決定することができる。
監督MCUは、2次的コンピュータが誤ったアラームを提供する状態を、1次的コンピュータ及び2次的コンピュータからの出力に基づいて、判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督MCU内のニューラル・ネットワークは、2次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、2次的コンピュータがRADARベースのFCWシステムであるとき、監督MCU内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつFCWが識別しているかを学習することができる。同様に、2次的コンピュータがカメラベースのLDWシステムであるとき、監督MCU内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、LDWを無視することを学習することができる。監督MCU上で実行中のニューラル・ネットワークを含む実施例では、監督MCUは、関連メモリを有するニューラル・ネットワークを実行するのに適したDLA又はGPUのうちの少なくとも1つを含み得る。好ましい実施例において、監督MCUは、SoC804の構成要素を備え得る、及び/又はSoC804の構成要素として含まれ得る。
他の実例において、ADASシステム838は、コンピュータ・ビジョンの従来のルールを使用するADAS機能を実行する2次的コンピュータを含み得る。そのようなものとして、2次的コンピュータは、古典的コンピュータ・ビジョン・ルール(if-then)を使用することができ、監督MCU内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア(又はソフトウェア-ハードウェア・インターフェース)機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、1次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、2次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督MCUは、総合的結果は正しく、1次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。
いくつかの実例では、ADASシステム838の出力は、1次的コンピュータの知覚ブロック及び/又は1次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ADASシステム838が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、2次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。
車両800は、インフォテインメントSoC830(たとえば、車両内のインフォテインメント・システム(IVI:in-vehicle infotainment system))をさらに含み得る。SoCとして図示及び記述されているが、インフォテインメント・システムは、SoCでなくてもよく、2個以上の個別の構成要素を含み得る。インフォテインメントSoC830は、オーディオ(たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など)、ビデオ(たとえば、TV、映画、ストリーミングなど)、電話(たとえば、ハンズフリー通話)、ネットワーク接続(たとえば、LTE、Wi-Fiなど)、及び/又は情報サービス(たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける/閉じる、エア・フィルタ情報などの車両関連情報)を車両800に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントSoC830は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、USB及びブルートゥース(登録商標)接続、カーピュータ、車内エンターテイメント、Wi-Fi、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ(HUD:heads-up display)、HMIディスプレイ834、テレマティックス・デバイス、制御パネル(たとえば、様々な構成要素、特徴、及び/又はシステムを制御する及び/又はこれと相互に作用するための)、及び/又は他の構成要素でもよい。インフォテインメントSoC830は、ADASシステム838からの情報、計画された車両操作などの自律運転情報、軌道、周囲環境情報(たとえば、交差点情報、車両情報、道路情報など)、及び/又は他の情報など、車両のユーザへの情報(たとえば、視覚的及び/又は可聴式の)を提供するためにさらに使用され得る。
インフォテインメントSoC830は、GPU機能性を含み得る。インフォテインメントSoC830は、バス802(たとえば、CANバス、イーサネット(登録商標)など)を介して、車両800の他のデバイス、システム、及び/又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのGPUが、1次的コントローラ836(たとえば、車両800の1次的及び/又はバックアップ・コンピュータ)が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントSoC830は、監督MCUに連結され得る。そのような実例では、インフォテインメントSoC830は、本明細書に記載のように、車両800をショーファーの安全停止モードにすることができる。
車両800は、計器群832(たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど)をさらに含み得る。計器群832は、コントローラ及び/又はスーパーコンピュータ(たとえば、個別のコントローラ又はスーパーコンピュータ)を含み得る。計器群832は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ(SRS)システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、1セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントSoC830及び計器群832の間で表示及び/又は共有され得る。言い換えれば、計器群832は、インフォテインメントSoC830の一部として含まれてもよく、逆もまた同様である。
図8Dは、本開示のいくつかの実施例による、図8Aのクラウドベースのサーバと例示的自律型車両800との間の通信のシステム図である。システム876は、サーバ878、ネットワーク890、及び、車両800を含む車両を含み得る。サーバ878は、複数のGPU884(A)~884(H)(本明細書でGPU884と総称される)、PCIeスイッチ882(A)~882(H)(本明細書でPCIeスイッチ882と総称される)、及び/又はCPU880(A)~880(B)(本明細書でCPU880と総称される)を含み得る。GPU884、CPU880、及びPCIeスイッチは、たとえば、NVIDIAによって開発されたNVLinkインターフェース888及び/又はPCIe接続886などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、GPU884は、NVLink及び/又はNVSwitch SoCを介して接続され、GPU884及びPCIeスイッチ882は、PCIe相互接続を介して接続される。8個のGPU884、2個のCPU880、及び2個のPCIeスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ878は、任意の数のGPU884、CPU880、及び/又はPCIeスイッチを含み得る。たとえば、サーバ878は、それぞれ、8個、16個、32個、及び/又はそれ以上のGPU884を含み得る。
サーバ878は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク890を介して、車両から、受信することができる。サーバ878は、ニューラル・ネットワーク892、更新されたニューラル・ネットワーク892、及び/又は、交通及び道路状態に関する情報を含むマップ情報894をネットワーク890を介して車両に送信することができる。マップ情報894の更新は、建設現場、くぼみ、迂回路、洪水、及び/又は他の障害物に関する情報など、HDマップ822の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク892、更新されたニューラル・ネットワーク892、及び/又はマップ情報894は、環境において任意の数の車両から受信されたデータにおいて表された新しいトレーニング及び/又は経験から、及び/又は(たとえば、サーバ878及び/又は他のサーバを使用する)データ・センタにおいて実行されたトレーニングに基づいて、生じた可能性がある。
サーバ878は、トレーニング・データに基づいてマシン学習モデル(たとえば、ニューラル・ネットワーク)をトレーニングするために使用され得る。トレーニング・データは、車両によって生成され得る、及び/又は(たとえば、ゲーム・エンジンを使用して)シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる(たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合)及び/又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び/又は事前処理されない(たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合)。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の1つ又は複数のクラスのマシン学習技法に従って、実行され得る:監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習(主要構成要素及びクラスタ分析を含む)、マルチ線形部分空間学習、多様体学習、表現学習(予備辞書学習を含む)、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、車両によって使用され得(たとえば、ネットワーク890を介して車両に送信される)、及び/又は、マシン学習モデルは、車両を遠隔監視するために、サーバ878によって使用され得る。
いくつかの実例では、サーバ878は、車両からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ878は、NVIDIAによって開発されたDGX及びDGXステーション・マシンなど、GPU884によって電力供給される深層学習スーパーコンピュータ及び/又は専用のAIコンピュータを含み得る。しかしながら、一部の実例では、サーバ878は、CPU電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。
サーバ878の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して車両800内のプロセッサ、ソフトウェア、及び/又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、車両800がそのシーケンスの画像内に位置したシーケンスの画像及び/又は物体など、車両800からの定期的更新を受信することができる(たとえば、コンピュータ・ビジョン及び/又は他のマシン学習物体分類技法を介して)。深層学習インフラストラクチャは、物体を識別し、車両800によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、車両800内のAIは正常に機能していないという結論を下した場合、サーバ878は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように車両800のフェイルセーフ・コンピュータに命じる車両800への信号を送信することができる。
推論のために、サーバ878は、GPU884及び1つ又は複数のプログラマブル推論加速装置(たとえば、NVIDIAのTensorRT)を含み得る。GPU電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、CPU、FPGA、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。
例示的計算デバイス
図9は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス900の一実例のブロック図である。計算デバイス900は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム902を含み得る:メモリ904、1つ又は複数の中央処理装置(CPU)906、1つ又は複数のグラフィック処理ユニット(GPU)908、通信インターフェース910、入力/出力(I/O)ポート912、入力/出力構成要素914、電力供給装置916、1つ又は複数の提示構成要素918(たとえば、ディスプレイ)、及び1つ又は複数の論理ユニット920。少なくとも1つの実施例において、計算デバイス900は、1つ又は複数の仮想マシン(VM)を含み得る、及び/又は、その構成要素のいずれかは、仮想構成要素(たとえば、仮想ハードウェア構成要素)を含み得る。非限定的実例として、GPU908のうちの1つ又は複数は、1つ又は複数のvGPUを含み得、CPU906のうちの1つ又は複数は、1つ又は複数のvCPUを含み得、及び/又は、論理ユニット920のうちの1つ又は複数は、1つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス900は、個別の構成要素(たとえば、計算デバイス900専用の全GPU)、仮想構成要素(たとえば、計算デバイス900専用のGPUの一部分)、又はその組合せを含み得る。
図9は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス900の一実例のブロック図である。計算デバイス900は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム902を含み得る:メモリ904、1つ又は複数の中央処理装置(CPU)906、1つ又は複数のグラフィック処理ユニット(GPU)908、通信インターフェース910、入力/出力(I/O)ポート912、入力/出力構成要素914、電力供給装置916、1つ又は複数の提示構成要素918(たとえば、ディスプレイ)、及び1つ又は複数の論理ユニット920。少なくとも1つの実施例において、計算デバイス900は、1つ又は複数の仮想マシン(VM)を含み得る、及び/又は、その構成要素のいずれかは、仮想構成要素(たとえば、仮想ハードウェア構成要素)を含み得る。非限定的実例として、GPU908のうちの1つ又は複数は、1つ又は複数のvGPUを含み得、CPU906のうちの1つ又は複数は、1つ又は複数のvCPUを含み得、及び/又は、論理ユニット920のうちの1つ又は複数は、1つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス900は、個別の構成要素(たとえば、計算デバイス900専用の全GPU)、仮想構成要素(たとえば、計算デバイス900専用のGPUの一部分)、又はその組合せを含み得る。
図9の様々なブロックは、線で相互接続システム902を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素918は、I/O構成要素914と考えられ得る(たとえば、ディスプレイがタッチ・スクリーンである場合)。別の実例として、CPU906及び/又はGPU908はメモリを含み得る(たとえば、メモリ904は、GPU908、CPU906、及び/又は他の構成要素のメモリに加えた記憶デバイスを表し得る)。言い換えれば、図9の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット(ECU:electronic control unit)」、「仮想現実システム」、及び/又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図9の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。
相互接続システム902は、1つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム902は、1つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ(ISA:industry standard architecture)バス、拡張業界標準アーキテクチャ(EISA:extended industry standard architecture)バス、VESA(video electronics standards association)バス、周辺構成要素相互接続(PCI:peripheral component interconnect)バス、周辺構成要素相互接続エクスプレス(PCIe:peripheral component interconnect express)バス、及び/又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、CPU906は、メモリ904に直接接続され得る。さらに、CPU906は、GPU908に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム902は、接続を実施するためのPCIeリンクを含み得る。これらの実例では、PCIバスは、計算デバイス900に含まれる必要はない。
メモリ904は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス900によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び/又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び/又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ904は、オペレーティング・システムなど、(たとえば、プログラム及び/又はプログラム要素を表す)コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリ又は他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD:digital versatile disk)又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス900によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。
コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び/又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの1つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、RF、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
CPU906は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス900の1つ又は複数の構成要素を制御して本明細書に記載の方法及び/又はプロセスのうちの1つ又は複数を実行するように構成され得る。CPU906は、多数のソフトウェア・スレッドを同時に処理する能力を有する1つ又は複数の(たとえば、1個、2個、4個、8個、28個、72個などの)コアをそれぞれ含み得る。CPU906は、任意のタイプのプロセッサを含み得、実装された計算デバイス900のタイプに応じて、異なるタイプのプロセッサを含み得る(たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ)。たとえば、計算デバイス900のタイプに応じて、プロセッサは、縮小命令セット計算(RISC:Reduced Instruction Set Computing)を使用して実装されたAdvanced RISC Machines(ARM)プロセッサ、又は複合命令セット計算(CISC:Complex Instruction Set Computing)を使用して実装されたx86プロセッサでもよい。計算デバイス900は、計算コプロセッサなど、1つ又は複数のマイクロプロセッサ又は補助コプロセッサ内の1つ又は複数のCPU906を含み得る。
CPU906に加えて又はその代わりに、GPU908は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス900の1つ又は複数の構成要素を制御して本明細書に記載の方法及び/又はプロセスのうちの1つ又は複数を実行するように構成され得る。GPU908のうちの1つ若しくは複数は、統合されたGPU(たとえば、CPU906のうちの1つ又は複数とでもよく、及び/又はGPU908のうちの1つ若しくは複数は、離散GPUでもよい。実施例では、GPU908のうちの1つ又は複数は、CPU906のうちの1つ又は複数のコプロセッサでもよい。GPU908は、グラフィックス(たとえば、3Dグラフィックス)をレンダリングする又は汎用計算を実行するために、計算デバイス900によって使用され得る。たとえば、GPU908は、GPUによる汎用計算(GPGPU:General-Purpose computing on GPU)のために使用され得る。GPU908は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。GPU908は、レンダリング・コマンド(たとえば、ホスト・インターフェースを介して受信されたCPU906からのレンダリング・コマンド)に応答して、出力画像のための画素データを生成することができる。GPU908は、画素データ又は任意の他の適切なデータ、たとえばGPGPUデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ904の一部として含まれ得る。GPU908は、並行して動作する(たとえば、リンクを介して)2個以上のGPUを含み得る。リンクは、GPUに直接接続することができ(たとえば、NVLINKを使用して)、又はスイッチを介して(たとえば、NVSwitchを使用して)GPUを接続することができる。ともに結合されるとき、各GPU908は、出力の異なる部分の又は異なる出力の画素データ又はGPGPUデータ(たとえば、第1の画像の第1のGPU及び第2の画像の第2のGPU)を生成することができる。各GPUは、独自のメモリを含むことができ、又は他のGPUとメモリを共有することができる。
CPU906及び/又はGPU908に加えて又はその代わりに、論理ユニット920は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス900のうちの1つ又は複数を制御して本明細書に記載の方法及び/又はプロセスのうちの1つ又は複数を実行するように構成され得る。実施例では、CPU906、GPU908、及び/又は論理ユニット920は、方法、プロセス及び/又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット920のうちの1つ若しくは複数は、CPU906及び/若しくはGPU908のうちの1つ若しくは複数の一部でもよく及び/又はそこで統合されてもよく、及び/又は、論理ユニット920のうちの1つ若しくは複数は、CPU906及び/若しくはGPU908に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット920のうちの1つ又は複数は、CPU906のうちの1つ若しくは複数及び/又はGPU908のうちの1つ若しくは複数のコプロセッサでもよい。
論理ユニット920の実例は、1つ又は複数の処理コア及び/又はその構成要素、たとえば、データ処理ユニット(DPU:Data Processing Unit)、テンソル・コア(TC:Tensor Core)、テンソル処理ユニット(TPU:Tensor Processing Unit)、画素ビジュアル・コア(PVC:Pixel Visual Core)、ビジョン処理ユニット(VPU:Vision Processing Unit)、グラフィックス処理クラスタ(GPC:Graphics Processing Cluster)、テクスチャ処理クラスタ(TPC:Texture Processing Cluster)、ストリーミング・マルチプロセッサ(SM:Streaming Multiprocessor)、木の走査ユニット(TTU:Tree Traversal Unit)、人工知能加速装置(AIA:Artificial Intelligence Accelerator)、深層学習加速装置(DLA:Deep Learning Accelerator)、論理演算ユニット(ALU)、特定用途向け集積回路(ASIC)、浮動小数点演算ユニット(FPU)、入力/出力(I/O)エレメント、周辺構成要素相互接続(PCI)又は周辺構成要素相互接続エクスプレス(PCIe)エレメント、及び/又は同類のもの、を含む。
通信インターフェース910は、ワイヤード及び/又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス900が他の計算デバイスと通信することを可能にする、1つ又は複数のレシーバ、トランスミッタ、及び/又はトランシーバを含み得る。通信インターフェース910は、ワイヤレス・ネットワーク(たとえば、Wi-Fi、Z-Wave、ブルートゥース(登録商標)、ブルートゥース(登録商標)LE、ZigBeeなど)、ワイヤード・ネットワーク(たとえば、イーサネット(登録商標)又はInfiniBandを介して通信すること)、低電力ワイド・エリア・ネットワーク(たとえば、LoRaWAN、SigFoxなど)、及び/又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。1つ又は複数の実施例において、論理ユニット920及び/又は通信インターフェース910は、ネットワークを介して及び/又は相互接続システム902を通じて直接的に受信されたデータを1つ又は複数のGPU908(たとえば、のメモリ)に伝送するための1つ又は複数のデータ処理ユニット(DPU)を含み得る。
I/Oポート912は、そのうちのいくつかは計算デバイス900に内蔵(たとえば、統合)され得る、I/O構成要素914、提示構成要素918、及び/又は他の構成要素を含む、他のデバイスに計算デバイス900が論理的に連結されることを可能にすることができる。例示的なI/O構成要素914は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。I/O構成要素914は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース(NUI:natural user interface)を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。NUIは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス900のディスプレイに関連するタッチ認識(さらに詳しく後述するような)の任意の組合せを実装し得る。計算デバイス900は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、RGBカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス900は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る(たとえば、慣性測定ユニット(IMU:inertia measurement unit)の一部として)。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス900によって使用され得る。
電力供給装置916は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置916は、計算デバイス900の構成要素が動作することを可能にするために計算デバイス900に電力を提供することができる。
提示構成要素918は、ディスプレイ(たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置(HUD)、他のディスプレイタイプ、又はその組合せ)、スピーカ、及び/又は他の提示構成要素を含み得る。提示構成要素918は、他の構成要素(たとえば、GPU908、CPU906、DPUなど)からデータを受信し、データを(たとえば、画像、ビデオ、音響などとして)出力することができる。
例示的データ・センタ
図10は、本開示の少なくとも1つの実施例において使用され得る例示的データ・センタ1000を示す。データ・センタ1000は、データ・センタ・インフラストラクチャ層1010、フレームワーク層1020、ソフトウェア層1030、及び/又はアプリケーション層1040を含み得る。
図10は、本開示の少なくとも1つの実施例において使用され得る例示的データ・センタ1000を示す。データ・センタ1000は、データ・センタ・インフラストラクチャ層1010、フレームワーク層1020、ソフトウェア層1030、及び/又はアプリケーション層1040を含み得る。
図10に示すように、データ・センタ・インフラストラクチャ層1010は、資源オーケストレータ1012、グループ化された計算資源1014、及びノード計算資源(「ノードC.R.」)1016(1)~1016(N)を含み得、そこで、「N」は、任意の整数の、自然数を表す。少なくとも1つの実施例において、ノードC.R.1016(1)~1016(N)は、任意の数の中央処理装置(CPU)又は他のプロセッサ(DPU、加速装置、フィールド・プログラマブル・ゲート・アレイ(FPGA)、グラフィックス・プロセッサ若しくはグラフィックス・プロセッシング・ユニット(GPU)などを含む)、メモリ・デバイス(たとえば、動的リード・オンリ・メモリ)、記憶デバイス(たとえば、ソリッドステート若しくはディスク・ドライブ)、ネットワーク入力/出力(NW I/O)デバイス、ネットワーク・スイッチ、仮想マシン(VM)、電力モジュール、及び/又は冷却モジュールなどを含み得るが、これらに限定されない。いくつかの実施例において、ノードC.R.1016(1)~1016(N)のうちの1つ又は複数のノードC.R.は、前述の計算資源のうちの1つ又は複数を有するサーバに対応し得る。加えて、いくつかの実施例において、ノードC.R.1016(1)~10161(N)は、1つ若しくは複数の仮想構成要素、たとえば、vGPU、vCPU、及び/若しくは同類のもの、を含み得る、並びに/又は、ノードC.R.1016(1)~1016(N)のうちの1つ若しくは複数は、仮想マシン(VM)に対応し得る。
少なくとも1つの実施例において、グループ化された計算資源1014は、1つ又は複数のラック(図示せず)内に収容された別個のグループのノードC.R.1016、或いは様々な地理的場所(やはり図示せず)にあるデータ・センタに収容された多数のラックを含み得る。グループ化された計算資源1014内の別個のグループのノードC.R.1016は、1つ又は複数のワークロードをサポートするように構成する又は割り当てることができる、グループ化された計算、ネットワーク、メモリ又はストレージ資源を含み得る。少なくとも1つの実施例において、CPU、GPU、DPU、及び/又は他のプロセッサを含むいくつかのノードC.R.1016は、1つ又は複数のワークロードをサポートするための計算資源を提供するために、1つ又は複数のラック内にグループ化され得る。1つ又は複数のラックはまた、任意の組合せで、任意の数の電力モジュール、冷却モジュール、及び/又はネットワーク・スイッチを含み得る。
資源オーケストレータ1012は、1つ若しくは複数のノードC.R.1016(1)~1016(N)及び/又はグループ化された計算資源1014を構成又は他の方法で制御することができる。少なくとも1つの実施例において、資源オーケストレータ1012は、データ・センタ1000のソフトウェア設計インフラストラクチャ(SDI)管理エンティティを含み得る。資源オーケストレータ1012は、ハードウェア、ソフトウェア、又はその何らかの組合せを含み得る。
少なくとも1つの実施例において、図10に示すように、フレームワーク層1020は、ジョブ・スケジューラ1032、構成マネージャ1034、資源マネージャ1036、及び/又は分散型ファイル・システム1038を含み得る。フレームワーク層1020は、ソフトウェア層1030のソフトウェア1032及び/又はアプリケーション層1040の1つ若しくは複数のアプリケーション1042をサポートするためにフレームワークを含み得る。ソフトウェア1032又はアプリケーション1042は、ウェブベースのサービス・ソフトウェア又はアプリケーション、たとえば、アマゾン・ウェブ・サービス、グーグル・クラウド及びMicrosoft Azureによって提供されるもの、をそれぞれ含み得る。フレームワーク層1020は、大規模データ処理(たとえば、「ビッグ・データ」)のための分散型ファイル・システム1038を使用し得るApache Spark(商標)(以下「Spark」)などのフリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。少なくとも1つの実施例において、ジョブ・スケジューラ1032は、データ・センタ1000の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Sparkドライバを含み得る。構成マネージャ1034は、異なる層、たとえば、ソフトウェア層1030と、大規模データ処理をサポートするためのSpark及び分散型ファイル・システム1038を含むフレームワーク層1020、を構成する能力を有し得る。資源マネージャ1036は、分散型ファイル・システム1038及びジョブ・スケジューラ1032のサポートのためにマップされた又は割り当てられたクラスタ化された又はグループ化された計算資源を管理する能力を有し得る。少なくとも1つの実施例において、クラスタ化された又はグループ化された計算資源は、データ・センタ・インフラストラクチャ層1010にグループ化された計算資源1014を含み得る。資源マネージャ1036は、資源オーケストレータ1012と調整して、これらのマップされた又は割り当てられた計算資源を管理することができる。
少なくとも1つの実施例において、ソフトウェア層1030に含まれるソフトウェア1032は、ノードC.R.1016(1)~1016(N)の少なくとも部分、グループ化された計算資源1014、及び/又はフレームワーク層1020の分散型ファイル・システム1038によって使用されるソフトウェアを含み得る。1つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含み得るが、これらに限定されない。
少なくとも1つの実施例において、アプリケーション層1040に含まれるアプリケーション1042は、ノードC.R.1016(1)~1016(N)の少なくとも部分、グループ化された計算資源1014、及び/又はフレームワーク層1020の分散型ファイル・システム1038によって使用される1つ又は複数のタイプのアプリケーションを含み得る。1つ又は複数のタイプのアプリケーションは、任意の数のゲノミクス・アプリケーション、認知計算、並びに、トレーニング若しくは推論ソフトウェア、マシン学習フレームワーク・ソフトウェア(たとえば、PyTorch、TensorFlow、Caffeなど)、及び/又は1つ若しくは複数の実施例と併せて使用される他のマシン学習アプリケーションを含む、マシン学習アプリケーションを含み得るが、これらに限定されない。
少なくとも1つの実施例において、構成マネージャ1034、資源マネージャ1036、及び資源オーケストレータ1012のうちのいずれかは、任意の技術的に可能な方式で取得される任意の量及びタイプのデータに基づいて任意の数及びタイプの自己書換え型アクションを実装することができる。自己書換え型アクションは、よくない可能性のある構成決定を行うこと並びにデータ・センタの十分に活用されていない及び/又は実行の不十分な部分を恐らく回避することからデータ・センタ1000のデータ・センタ・オペレータを解放し得る。
データ・センタ1000は、1つ又は複数のマシン学習モデルをトレーニングする或いは本明細書に記載の1つ又は複数の実施例による1つ又は複数のマシン学習モデルを使用して情報を予測する又は推論するために、ツール、サービス、ソフトウェア或いは他の資源を含み得る。たとえば、マシン学習モデルは、データ・センタ1000に関して前述されたソフトウェア及び/又は計算資源を使用するニューラル・ネットワーク・アーキテクチャによる重量パラメータの計算によって、トレーニングされ得る。少なくとも1つの実施例において、1つ又は複数のニューラル・ネットワークに対応するトレーニングされた又は配備されたマシン学習モデルは、たとえば、本明細書に記載のものに限定されない、1つ又は複数のトレーニング技法を介して計算された重量パラメータを使用することによって、データ・センタ1000に関して前述された資源を使用して情報を推論又は予測するために使用され得る。
少なくとも1つの実施例において、データ・センタ1000は、前述の資源を使用するトレーニング及び/又は推論の実行のために、CPU、特定用途向け集積回路(ASIC)、GPU、FPGA、及び/又は他のハードウェア(若しくはそれに対応する仮想計算資源)を使用することができる。さらに、前述の1つ又は複数のソフトウェア及び/又はハードウェア資源は、情報の推論をユーザがトレーニング又は実行することを可能にするためのサービス、たとえば、画像認識、音声認識、又は他の人工知能サービス、として構成され得る。
例示的ネットワーク環境
本開示の実施例の実装において使用するのに適したネットワーク環境は、1つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ(NAS:network attached storage)、他のバックエンド・デバイス、及び/又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び/又は他のデバイス・タイプ(たとえば、各デバイス)は、図9の計算デバイス900の1つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス900の類似の構成要素、特徴、及び/又は機能性を含み得る。加えて、バックエンド・デバイス(たとえば、サーバ、NASなど)が、実装される場合、バックエンド・デバイスは、データ・センタ1000の一部として含まれ得、その実例は、図10に関して本明細書でさらに詳述される。
本開示の実施例の実装において使用するのに適したネットワーク環境は、1つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ(NAS:network attached storage)、他のバックエンド・デバイス、及び/又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び/又は他のデバイス・タイプ(たとえば、各デバイス)は、図9の計算デバイス900の1つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス900の類似の構成要素、特徴、及び/又は機能性を含み得る。加えて、バックエンド・デバイス(たとえば、サーバ、NASなど)が、実装される場合、バックエンド・デバイスは、データ・センタ1000の一部として含まれ得、その実例は、図10に関して本明細書でさらに詳述される。
ネットワーク環境の構成要素は、ワイヤード、ワイヤレス、又はその両方でもよい、ネットワークを介して互いに通信し得る。ネットワークは、複数のネットワーク、又はネットワークのネットワークを含み得る。実例として、ネットワークは、1つ若しくは複数のワイド・エリア・ネットワーク(WAN)、1つ若しくは複数のローカル・エリア・ネットワーク(LAN)、1つ若しくは複数のパブリック・ネットワーク、たとえば、インターネット及び/若しくは公衆交換電話網(PSTN)、並びに/又は1つ若しくは複数のプライベート・ネットワークを含み得る。ネットワークが、ワイヤレス電気通信ネットワークを含む場合、構成要素、たとえば、基地局、通信塔、或いはアクセス・ポイント(並びに他の構成要素)、は、ワイヤレス接続を提供し得る。
互換性のあるネットワーク環境は、1つ又は複数のピア・ツー・ピア・ネットワーク環境(その場合、サーバはネットワーク環境に含まれないことがある)と、1つ又は複数のクライアント・サーバ・ネットワーク環境(その場合、1つ又は複数のサーバがネットワーク環境に含まれ得る)とを含み得る。ピア・ツー・ピア・ネットワーク環境では、サーバに関して本明細書に記載した機能性は、任意の数のクライアント・デバイスで実装され得る。
少なくとも1つの実施例において、ネットワーク環境は、1つ又は複数のクラウドベースのネットワーク環境、分散型計算環境、その組合せなどを含み得る。クラウドベースのネットワーク環境は、フレームワーク層、ジョブ・スケジューラ、資源マネージャ、並びに、1つ若しくは複数のコア・ネットワーク・サーバ及び/又はエッジ・サーバを含み得る、サーバのうちの1つ又は複数で実装された分散型ファイル・システムを含み得る。フレームワーク層は、ソフトウェア層のソフトウェア及び/又はアプリケーション層の1つ若しくは複数のアプリケーションをサポートするために、フレームワークを含み得る。ソフトウェア又はアプリケーションは、それぞれ、ウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。実施例において、クライアント・デバイスのうちの1つ又は複数は、ウェブベースのサービス・ソフトウェア又はアプリケーションを使用し得る(たとえば、1つ又は複数のアプリケーション・プログラミング・インターフェース(API)を介してサービス・ソフトウェア及び/又はアプリケーションにアクセスすることによって)。フレームワーク層は、たとえば大規模データ処理(たとえば、「ビッグ・データ」)のための分散型ファイル・システムを使用し得る、フリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。
クラウドベースのネットワーク環境は、本明細書に記載の計算及び/又はデータ・ストレージ機能(又は1つ若しくは複数のその部分)の任意の組合せを実施するクラウド計算及び/又はクラウド・ストレージを提供し得る。これらの様々な機能のいずれも、セントラル又はコア・サーバ(たとえば、州、領域、国、世界にわたって分散され得る1つ又は複数のデータ・センタなどの)から複数の場所に分散され得る。ユーザ(たとえば、クライアント・デバイス)への接続が、エッジ・サーバに比較的近い場合、コア・サーバは、機能性の少なくとも一部分をエッジ・サーバに任じ得る。クラウドベースのネットワーク環境は、プライベート(たとえば、単一の組織に制限される)でもよく、パブリック(たとえば、多数の組織に利用可能)、及び/又はその組合せ(たとえば、ハイブリッド・クラウド環境)でもよい。
クライアント・デバイスは、図9に関して本明細書に記載の例示的計算デバイス900の構成要素、特徴、及び機能性のうちの少なくともいくつかを含み得る。実例として、及び制限ではなく、クライアント・デバイスは、パーソナル・コンピュータ(PC)、ラップトップ・コンピュータ、モバイル・デバイス、スマートフォン、タブレット・コンピュータ、スマート・ウォッチ、ウェアラブル・コンピュータ、パーソナル・デジタル・アシスタント(PDA)、MP3プレイヤ、仮想現実ヘッドセット、全地球測位システム(GPS)又はデバイス、ビデオ・プレイヤ、ビデオカメラ、監視デバイス又はシステム、車両、ボート、飛行船、仮想マシン、ドローン、ロボット、ハンドヘルド通信デバイス、病院デバイス、ゲーミング・デバイス又はシステム、娯楽システム、車両コンピュータ・システム、組み込み型システム・コントローラ、リモート制御、器具、民生用電子デバイス、ワークステーション、エッジ・デバイス、これらの描写されたデバイスの任意の組合せ、或いは任意の他の適切なデバイスとして実施され得る。
本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。
本明細書では、2個以上の要素に関する「及び/又は」の記述は、1つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素A、要素B、及び/又は要素C」は、要素Aのみ、要素Bのみ、要素Cのみ、要素A及び要素B、要素A及び要素C、要素B及び要素C、或いは、要素A、B、及びCを含み得る。加えて、「要素A又は要素Bのうちの少なくとも1つ」は、要素Aの少なくとも1つ、要素Bの少なくとも1つ、或いは、要素Aの少なくとも1つ及び要素Bの少なくとも1つを含み得る。さらに、「要素A及び要素Bのうちの少なくとも1つ」は、要素Aのうちの少なくとも1つ、要素Bのうちの少なくとも1つ、或いは、要素Aのうちの少なくとも1つ及び要素Bのうちの少なくとも1つを含み得る。
本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び/又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。
Claims (28)
- ディープ・ニューラル・ネットワーク(DNN)を使用して、及びエゴ・マシンの1つ又は複数の第1のセンサを使用して生成された第1のセンサ・データに少なくとも部分的に基づいて、1つ又は複数の第1の特徴ディスクリプタを表す第1の特徴マップを計算することと、
前記1つ又は複数の第1の特徴ディスクリプタに少なくとも部分的に基づいて、第1の物体に第1の特徴ディスクリプタを関連付けることと、
前記DNNを使用して、及び前記エゴ・マシンの前記1つ若しくは複数の第1のセンサ又は1つ若しくは複数の第2のセンサのうちの少なくとも1つを使用して生成された第2のセンサ・データに少なくとも部分的に基づいて、1つ又は複数の第2の特徴ディスクリプタを表す第2の特徴マップを計算することと、
前記1つ又は複数の第2の特徴ディスクリプタに少なくとも部分的に基づいて、第2の物体に第2の特徴ディスクリプタを関連付けることと、
前記第1の特徴ディスクリプタ及び前記第2の特徴ディスクリプタに少なくとも部分的に基づいて、前記第1の物体と前記第2の物体が同じ物体であると決定することと、
前記第1の物体と前記第2の物体が同じ物体であるとの前記決定に少なくとも部分的に基づいて、前記エゴ・マシンによって1つ又は複数の動作を実施することと
を行うための1つ又は複数の回路
を備える、プロセッサ。 - 前記第1のセンサ・データが、第1のタイムスタンプで前記1つ又は複数の第1のセンサを使用して生成され、前記第2のセンサ・データが、第2のタイムスタンプで前記1つ又は複数の第1のセンサを使用して生成される、請求項1に記載のプロセッサ。
- 前記第2のセンサ・データが前記1つ又は複数の第2のセンサを使用して生成されたのと同じ時間に、前記第1のセンサ・データが、前記1つ又は複数の第1のセンサを使用して生成される、請求項1に記載のプロセッサ。
- 前記第1の物体との前記第1の特徴ディスクリプタの前記関連付けが、
前記第1のセンサ・データに少なくとも部分的に基づいて境界形状を計算することと、
少なくとも部分的に前記境界形状内部にある前記1つ又は複数の第1の特徴ディスクリプタのサブセットを決定することと、
前記サブセットを使用して前記第1の特徴ディスクリプタを生成することと
を含む、請求項1に記載のプロセッサ。 - 前記サブセットを使用して前記第1の特徴ディスクリプタを前記生成することが、前記1つ又は複数の第1の特徴ディスクリプタの前記サブセットに対応する値を平均することを含む。請求項4に記載のプロセッサ。
- 前記境界形状を前記計算することが、前記DNN、別のDNN、又は物体検出アルゴリズムのうちの1つを使用して実行される、請求項4に記載のプロセッサ。
- 前記1つ又は複数の動作が、同じ物体を追跡することを含む、請求項1に記載のプロセッサ。
- 前記1つ又は複数の第1の特徴ディスクリプタの各第1の特徴ディスクリプタ、及び前記1つ又は複数の第2の特徴ディスクリプタの各第2の特徴ディスクリプタが、1次元特徴ベクトルを使用して表される、請求項1に記載のプロセッサ。
- 前記DNNが、三重項損失関数を使用してトレーニングされる、請求項1に記載のプロセッサ。
- 前記DNNが、バッチ・ハード三重項マイニング又はバッチ・セミハード三重項マイニングのうちの少なくとも1つを使用してさらにトレーニングされる、請求項1に記載のプロセッサ。
- 前記プロセッサが、
自律若しくは半自律マシンのための制御システム、
自律若しくは半自律マシンのための知覚システム、
シミュレーション動作を実施するためのシステム、
深層学習動作を実施するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
ロボットを使用して実装されるシステム、
1つ若しくは複数の仮想マシン(VM)を組み込むシステム、
データ・センタにおいて少なくとも部分的に実装されるシステム、又は
クラウド計算資源を使用して少なくとも部分的に実装されるシステム
のうちの少なくとも1つに備えられる、請求項1に記載のプロセッサ。 - 1つ又は複数の処理ユニットと、
1つ又は複数のメモリ・ユニットであって、前記1つ又は複数の処理ユニットによって実行されると、
ディープ・ニューラル・ネットワーク(DNN)を使用して、及びエゴ・マシンの1つ又は複数の第1のセンサを使用して生成された第1のセンサ・データに少なくとも部分的に基づいて、1つ又は複数の第1の特徴ベクトルを計算すること、
前記1つ又は複数の第1の特徴ベクトルを使用して第1の物体に第1の特徴ベクトルを関連付けること、
前記DNNを使用して、及び前記エゴ・マシンの前記1つ若しくは複数の第1のセンサ又は1つ若しくは複数の第2のセンサを使用して生成された第2のセンサ・データに少なくとも部分的に基づいて、1つ又は複数の第2の特徴ベクトルを計算すること、
前記1つ又は複数の第2の特徴ベクトルに少なくとも部分的に基づいて、第2の物体に第2の特徴ベクトルを関連付けること、
前記第1の特徴ベクトル及び前記第2の特徴ベクトルに少なくとも部分的に基づいて、前記第1の物体及び前記第2の物体を同じ物体として定義すること、並びに
前記第1の物体と前記第2の物体を同じ物体として前記定義することに少なくとも部分的に基づいて、前記エゴ・マシンによって1つ又は複数の動作を実施すること
を含む動作を前記1つ又は複数の処理ユニットに実行させる命令を記憶する、1つ又は複数のメモリ・ユニットと
を備える、システム。 - 前記第1のセンサ・データが、第1の時間において前記1つ又は複数の第1のセンサを使用して生成され、前記第2のセンサ・データが、第2の時間において前記1つ又は複数の第1のセンサを使用して生成される、請求項12に記載のシステム。
- 前記第1のセンサ・データが、1つの時間において前記1つ又は複数の第1のセンサを使用して生成され、前記第2のセンサ・データが、前記1つの時間において前記1つ又は複数の第2のセンサを使用して生成される、請求項12に記載のシステム。
- 前記第1の物体との前記第1の特徴ベクトルの前記関連付けが、
前記第1のセンサ・データに少なくとも部分的に基づいて、境界形状を計算することと、
少なくとも部分的に前記境界形状内部にある前記1つ又は複数の第1の特徴ベクトルのサブセットを決定することと、
前記サブセットを使用して前記第1の特徴ベクトルを生成することと
を含む、請求項12に記載のシステム。 - 前記サブセットを使用して前記第1の特徴ベクトルを前記生成することが、前記1つ又は複数の第1の特徴ベクトルの前記サブセットに対応する値を平均することを含む、請求項15に記載のシステム。
- 前記動作が、前記第1の特徴ベクトルと前記第2の特徴ベクトルとの間の距離を計算することをさらに含み、
前記第1の物体と前記第2の物体を同じ物体として前記定義することが、前記距離が閾値距離未満であることに少なくとも部分的に基づく、請求項12に記載のシステム。 - 前記距離を前記計算することが、コサイン距離、L1距離、L2距離、又はK近傍法(KNN)距離のうちの少なくとも1つを使用して実行される、請求項17に記載のシステム。
- 前記システムが、
自律若しくは半自律マシンのための制御システム、
自律若しくは半自律マシンのための知覚システム、
シミュレーション動作を実施するためのシステム、
深層学習動作を実施するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
ロボットを使用して実装されるシステム、
1つ若しくは複数の仮想マシン(VM)を組み込むシステム、
データ・センタにおいて少なくとも部分的に実装されるシステム、又は
クラウド計算資源を使用して少なくとも部分的に実装されるシステム
のうちの少なくとも1つに備えられる、請求項12に記載のシステム。 - トレーニング・データを使用して、物体に対応するように、第1のフレームの第1の境界形状及び第2のフレームの第2の境界形状にラベル付けするステップと、
ディープ・ニューラル・ネットワーク(DNN)を使用して、前記第1のフレームの前記第1の境界形状内部の第1のポイントに対応する1つ又は複数の第1の特徴ディスクリプタ、及び前記第2のフレームの前記第2の境界形状内部の第2のポイントに対応する1つ又は複数の第2の特徴ディスクリプタを決定するステップと、
前記第1のポイントのアンカー・ポイントに対応する前記1つ又は複数の第1の特徴ディスクリプタのうちの第1の特徴ディスクリプタを決定するステップと、
損失関数を使用して、前記第1の特徴ディスクリプタを、前記第2のポイントのうちの第2のポイントに対応する第2の特徴ディスクリプタと比較するステップと、
前記比較することに少なくとも部分的に基づいて、前記DNNの1つ又は複数のパラメータを更新するステップと
を含む、方法。 - 前記損失関数を使用して計算された損失が、前記第1の特徴ディスクリプタに対応する第1の値と前記第2の特徴ディスクリプタに対応する第2の値との間の差の大きさに基づく、請求項20に記載の方法。
- 前記トレーニング・データを使用して、別の物体に対応するように、第3のフレームの第3の境界形状にラベル付けするステップと、
前記ディープ・ニューラル・ネットワーク(DNN)を使用して、前記第3のフレームの前記第3の境界形状内部の第3のポイントに対応する1つ又は複数の第3の特徴ディスクリプタを決定するステップと、
前記損失関数を使用して、前記第1の特徴ディスクリプタを、前記第3のポイントのうちの第3のポイントに対応する第3の特徴ディスクリプタと比較するステップと
をさらに含み、
前記DNNの前記1つ又は複数のパラメータを前記更新するステップが、さらに、前記第1の特徴ディスクリプタを前記第3の特徴ディスクリプタと前記比較するステップに少なくとも部分的に基づく、
請求項20に記載の方法。 - 前記第3のフレームが、前記第2のフレームに対応する、請求項22に記載の方法。
- 前記損失関数を使用して計算された損失が、前記第1の特徴ディスクリプタに対応する第1の値と前記第2の特徴ディスクリプタに対応する第2の値との間の差の大きさに基づく、請求項22に記載の方法。
- 前記損失関数が、三重項損失関数である、請求項20に記載の方法。
- 前記トレーニング・データが、オンライン三重項マイニングを使用して選択される、請求項20に記載の方法。
- 前記オンライン三重項マイニングが、バッチ・ハード・オンライン三重項マイニング又はバッチ・セミハード・オンライン三重項マイニングのうちの少なくとも1つを含む、請求項26に記載の方法。
- センサ・データを使用して、及び、第1のセンサ・フレームにおける物体に対応する第1の特徴ベクトルが、第2のセンサ・フレームにおける前記物体に対応する第2の特徴ベクトルへの閾値類似性の範囲内にあると決定することに少なくとも部分的に基づいて生成された2つ以上のフレームにわたる前記物体を追跡するための1つ又は複数の回路であって、前記第1の特徴ベクトル及び前記第2の特徴ベクトルが、ディープ・ニューラル・ネットワーク(DNN)を使用して計算される、1つ又は複数の回路
を備える、プロセッサ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/551,986 | 2021-12-15 | ||
US17/551,986 US20230186640A1 (en) | 2021-12-15 | 2021-12-15 | Single and across sensor object tracking using feature descriptor mapping in autonomous systems and applications |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023088849A true JP2023088849A (ja) | 2023-06-27 |
Family
ID=86498579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022175366A Pending JP2023088849A (ja) | 2021-12-15 | 2022-11-01 | 自律型システム及びアプリケーションにおける特徴ディスクリプタ・マッピングを使用した単一及びアクロス・センサ物体追跡 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230186640A1 (ja) |
JP (1) | JP2023088849A (ja) |
CN (1) | CN116263688A (ja) |
DE (1) | DE102022132671A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12001175B2 (en) * | 2021-12-20 | 2024-06-04 | Gm Cruise Holdings Llc | Long tail lidar 3-D object detection improvement with targeted simulation data injection |
-
2021
- 2021-12-15 US US17/551,986 patent/US20230186640A1/en active Pending
-
2022
- 2022-11-01 JP JP2022175366A patent/JP2023088849A/ja active Pending
- 2022-11-11 CN CN202211411781.4A patent/CN116263688A/zh active Pending
- 2022-12-08 DE DE102022132671.3A patent/DE102022132671A1/de active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230186640A1 (en) | 2023-06-15 |
CN116263688A (zh) | 2023-06-16 |
DE102022132671A1 (de) | 2023-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11928822B2 (en) | Intersection region detection and classification for autonomous machine applications | |
US11688181B2 (en) | Sensor fusion for autonomous machine applications using machine learning | |
US11769052B2 (en) | Distance estimation to objects and free-space boundaries in autonomous machine applications | |
US11508049B2 (en) | Deep neural network processing for sensor blindness detection in autonomous machine applications | |
US11308338B2 (en) | Distance to obstacle detection in autonomous machine applications | |
JP7295234B2 (ja) | 自律運転マシンのための回帰ベースの線分検出 | |
US11704890B2 (en) | Distance to obstacle detection in autonomous machine applications | |
JP2022536030A (ja) | ビデオ分析アプリケーションにおける相関フィルタを使用した複数物体追跡 | |
JP2023503729A (ja) | 自律運転アプリケーションのための曲線適合を使用するランドマーク検出 | |
US20240020953A1 (en) | Surround scene perception using multiple sensors for autonomous systems and applications | |
WO2024015632A1 (en) | Surround scene perception using multiple sensors for autonomous systems and applications | |
US20230360255A1 (en) | Joint 2d and 3d object tracking for autonomous systems and applications | |
US20240071064A1 (en) | Object detection using deep learning for real-time streaming applications | |
JP2023088849A (ja) | 自律型システム及びアプリケーションにおける特徴ディスクリプタ・マッピングを使用した単一及びアクロス・センサ物体追跡 | |
US12026955B2 (en) | Assigning obstacles to lanes using neural networks for autonomous machine applications | |
US20240087333A1 (en) | Techniques for identifying occluded objects using a neural network | |
US20240022601A1 (en) | Detecting identity spoofing attacks in multi-sensor systems and applications | |
US20240176017A1 (en) | Sensor fusion using ultrasonic sensors for autonomous systems and applications | |
US20230360232A1 (en) | Object tracking and time-to-collision estimation for autonomous systems and applications | |
JP2023082647A (ja) | 自律システム及びアプリケーションのためのカメラベースの入力を使用した深層学習ベースの動作領域検証 | |
CN118154639A (zh) | 用于自主***及应用的对象跟踪管理 | |
CN117011329A (zh) | 用于自主***和应用的对象追踪和碰撞时间估计 |