JP2023087616A - 自律システム及びアプリケーションのための画像コントラスト分析を使用した眩しさ軽減 - Google Patents
自律システム及びアプリケーションのための画像コントラスト分析を使用した眩しさ軽減 Download PDFInfo
- Publication number
- JP2023087616A JP2023087616A JP2022007605A JP2022007605A JP2023087616A JP 2023087616 A JP2023087616 A JP 2023087616A JP 2022007605 A JP2022007605 A JP 2022007605A JP 2022007605 A JP2022007605 A JP 2022007605A JP 2023087616 A JP2023087616 A JP 2023087616A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- pixels
- contrast
- data
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 18
- 230000004313 glare Effects 0.000 title abstract description 64
- 230000000116 mitigating effect Effects 0.000 title abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims description 47
- 238000001514 detection method Methods 0.000 claims description 37
- 230000009471 action Effects 0.000 claims description 28
- 238000010801 machine learning Methods 0.000 claims description 17
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000004088 simulation Methods 0.000 claims description 6
- 230000001149 cognitive effect Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 11
- 230000015654 memory Effects 0.000 description 55
- 230000006870 function Effects 0.000 description 51
- 238000013528 artificial neural network Methods 0.000 description 43
- 230000009467 reduction Effects 0.000 description 28
- 238000013527 convolutional neural network Methods 0.000 description 26
- 238000003860 storage Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 22
- 230000004438 eyesight Effects 0.000 description 22
- 230000000670 limiting effect Effects 0.000 description 18
- 238000007726 management method Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 13
- 238000012549 training Methods 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 5
- 235000019800 disodium phosphate Nutrition 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000007667 floating Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 241000269400 Sirenidae Species 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 125000000914 phenoxymethylpenicillanyl group Chemical group CC1(S[C@H]2N([C@H]1C(=O)*)C([C@H]2NC(COC2=CC=CC=C2)=O)=O)C 0.000 description 4
- 229920002451 polyvinyl alcohol Polymers 0.000 description 4
- 235000019422 polyvinyl alcohol Nutrition 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000008093 supporting effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 101100175317 Danio rerio gdf6a gene Proteins 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000006424 Flood reaction Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 1
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000001693 membrane extraction with a sorbent interface Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
- B60Q1/1415—Dimming circuits
- B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
- H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
- B60Q1/1415—Dimming circuits
- B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
- B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
- B60Q2300/40—Indexing codes relating to other road users or special conditions
- B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
Abstract
【課題】自律システム及びアプリケーションのための画像コントラスト分析を使用した眩しさ軽減するためのシステム及び方法を提供する。【解決手段】様々な実例では、車両の1つ又は複数のセンサを使用して生成された1つ又は複数の画像の画素に対応するコントラスト値が、眩しさ軽減動作をトリガする物体を検出及び識別するために計算され得る。画素輝度値が、1セットの画素及び対応する輝度値に基づく基準輝度値と画素輝度値を比較することに基づいてコントラスト値を計算するために、決定及び使用される。車両が、車両の乗員及び/又はセンサが経験する眩しさを減らすように1つ又は複数の照明光源の構成を修正し得るように、コントラスト閾値が、眩しさ軽減動作をトリガするために画像データにおいて眩しさを識別するために、計算されたコントラスト値に適用され得る。【選択図】図1
Description
本発明は、自律システム及びアプリケーションのための画像コントラスト分析を使用した眩しさ軽減に関するものである。
自律及び半自律運転システム、並びに高度運転者支援システム(ADAS:advanced driver assistance system)は、カメラなどのセンサを使用して、リアルタイム又はほぼリアルタイムで、車両の周辺環境の理解を形成し得る。この理解には、物体、障害物、道路標識、車道表面、及び/又は他の印の位置に関する情報が含まれ得る。車道標識及び表面は、しばしば、反射物、反射塗料、及び/又は反射コーティングの使用を介してローライト条件において車両の運転者及び他の乗員に容易に可視であるように設計される。しかしながら、これは、車両のヘッドライトによって照らされたときに車道標識、インジケータ、及び/又は印に高度な反射光を時に生み出させることがある。ある場合には、反射光は、車両の乗員の視野において或いは車両の1つ又は複数のカメラ及び/又はセンサの視野において眩しさを引き起こし得る。ヘッドライトから放射される光が特に強いとき、たとえば、非常に遠い物体を照らすとき及び/又は光が近距離から反射されるとき、この問題は増大し得る。相当なレベルの眩しさは、人に視覚的不快感を引き起こし、センサ・データをキャプチャ及び分析するための車両のセンサの能力を低下させ得る。眩しさの影響を軽減するための試みは、眩しさの検出に基づく車両のハイビーム光の非アクティブ化、又はマトリックス・ハイビームの場合、除外されることになる位置に向けられるマトリックス・ハイビームの発光部分を非アクティブ化することによって、照らされるゾーンからある位置を除外することを含んでいた。
従来、車両における眩しさの検出は、表面から反射された光度エネルギを測定するための絶対輝度計測の使用に依拠していた。絶対輝度計測は、特定の物体からの反射光エネルギの直接測定を行うので、光を反射している物体のサイズの知識が、必要とされる。絶対輝度計測を目的とする物体のサイズの判定は、従来の眩しさ検出解決法において利用可能なものを超えて物体のサイズ(たとえば、表面積)を推定するための感知及び計算資源を必要とする。たとえば、カメラ画像において描写された物体のサイズは、物体の場所を3次元(3D)の場所へと変換すること(たとえば、表面積を推定するために)によって、判定され得る。これは、多種多様な可能なカメラの向き、光学的歪み、及び/又はリアルタイム距離測定による追加の計算動作を必要とする。さらに、センサ構成要素は時間とともに摩損及び/又は劣化するので、この手法を正確に使用して絶対輝度の測定を実行することは、カメラが、正確な輝度計測を維持するために、知られている輝度目標に対するルーティン較正を必要とし得るような、付加的較正動作及び較正パラメータを記憶するための関連ハードウェアを必要
本開示の実施例は、自律システム及びアプリケーションのための画像コントラスト分析を使用した眩しさ軽減に関する。軽減動作が実行され得るように、車両の1つ又は複数のセンサ或いは他のマシン又はシステムからのセンサ・データからコントラストを計算して、有意なレベルの眩しさを有する領域を検出する、システム及び方法が開示される。
前述のものなどの従来の手法とは対照的に、本開示は、相対輝度計測を使用して眩しさを検出することを実現する。開示される手法を使用して、コントラスト値が、画像の画素について計算され得、眩しさ(たとえば、標識及び他の物体から反射された光)を検出するために分析され得る。1つ又は複数の実施例において、システムは、車両のヘッドライトによって照らされた1つ又は複数の物体を描写する画像データを受信し得る。画像データにおいて表された画素は、画像データの他の画素に関してコントラスト値を計算するために使用され得る。少なくとも1つの実施例において、1つ又は複数のローカル・コントラスト値が、画素について計算され得る(たとえば、画像のすべて又は一部分の輝度に対するコントラストを計算することによって)。
1つ又は複数の実施例において、画像内の1セットの画素の平均輝度値が、基準輝度を決定するために計算され得る。ローカル・コントラスト値は、計算された基準輝度に対する画素の輝度の比率を計算することによって、決定され得る。輝度閾値は、輝度閾値を満たすコントラスト値を有する画素の数を判定するために、1セットの画素に関連するローカル・コントラスト値に適用され得る。サイズ閾値は、輝度閾値を満たす画素の次元及び/又は数量に基づいて眩しさ軽減動作がトリガされるべきかどうかを決定するために、適用され得る。
自律システム及びアプリケーションのための画像コントラスト分析を使用した眩しさ軽減のための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。
自律システム及びアプリケーションのための画像コントラスト分析を使用した眩しさ軽減に関連するシステム及び方法が、開示される。本開示は、例示的自律型車両700(或いは、本明細書で「車両700」と称され、その実例は図7A~7Dに関して説明される)に関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、非自律型車両、半自律型車両(たとえば、1つ又は複数の適応型運転者支援システム(ADAS:adaptive driver assistance system)における)、有人及び無人ロボット又はロボティクス・プラットフォーム、倉庫車両、オフロード車両、1つ又は複数のトレーラに連結された車両、飛行船舶、ボート、シャトル、緊急対応車両、オートバイ、電気若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、及び/又は、他の車両タイプによって使用されてもよいが、これに限定されない。加えて、本開示は、車両のための眩しさ軽減に関して説明されることがあるが、これは限定を意図しておらず、本明細書に記載のシステム及び方法は、拡張現実、仮想現実、複合現実、ロボット工学、セキュリティ及び監視、自律若しくは半自律マシン・アプリケーション、及び/又は、たとえば眩しさの軽減又は低減のために、眩しさの検出及び推定が求められ得る任意の他の技術空間において使用され得る。開示される手法は、自律又は半自律マシンのための制御システム、自律又は半自律マシンのための知覚システム、シミュレーション動作を実行するためのシステム、深層学習動作を実行するためのシステム、エッジ・デバイスを使用して実装されるシステム、ロボットを使用して実装されるシステム、1つ又は複数の仮想マシン(VM)を組み込むシステム、データ・センタにおいて少なくとも部分的に実装されるシステム、又はクラウド計算資源を使用して少なくとも部分的に実装されるシステムのうちの1つ又は複数において実装され得る。
前述のものなどの従来の手法とは対照的に、本開示は、相対輝度計測を使用して眩しさを検出することを実現する。開示される手法を使用して、コントラスト値が、画像の画素について計算され得、コントラスト値は、眩しさ(たとえば、運転者及び/又は車両センサに反射された光)を検出するためにさらに分析され得る。1つ又は複数の実施例において、システムは、車両のヘッドライトによって照らされた1つ又は複数の物体を描写する画像データを受信し得る。画像データにおいて表された画素は、画像データの他の画素に関してコントラスト値を計算するために使用され得る。少なくとも1つの実施例において、1つ又は複数のグローバル・コントラスト値は、画素について計算され得る(たとえば、すべての又はほぼすべての画像の輝度に関連してコントラストを計算することによって)。少なくとも1つの実施例において、1つ又は複数の領域のコントラスト値は、画素について計算され得る(たとえば、画素のうちの1つ又は複数を含む画像の1つ又は複数の領域の輝度に関連してコントラストを計算することによって)。少なくとも1つの実施例において、1つ又は複数のローカル・コントラスト値は、画素について計算され得る(たとえば、画素までの近接度又は距離に基づいて画像の1つ又は複数の領域の輝度に関連してコントラストを計算することによって)。相対輝度を使用することによって、相対的コントラストのみが計算されるので、眩しさは、センサ較正の実行又は3D空間における物体の物理次元の決定の必要なしに、検出され得る。
いくつかの実例において、システムは、車両に関連する様々な場所(たとえば、フロント・センタ、ダッシュボードなど)に配置され得る1つ又は複数のカメラを使用して生成された画像データを受信し得る。複数のカメラが使用される場合、各カメラは、類似の又は異なる視野(たとえば、広角、望遠など)を共有し得る。様々な実例において、画像データは、カメラによってキャプチャされた同解像度の1つ若しくは複数の画像を表し得る、及び/又は異なる解像度にダウンサンプリング若しくはアップサンプリングされ得る。少なくとも1つの実施例において、画像画素信号が線形表現にあり(たとえば、画像センサから読み取られた最初の画素レベルを維持して)、光の光度に比例する場合、画像データは、RAW、RAWのような、及び/又は他のセンサ・データを含み得る。画像データが、有意な口径食又は「レンズ・シェーディング」(隅において暗くなる)現象をもたらさない1つ又は複数のカメラ・レンズを使用して、生成され得る、或いは口径食を示す画素が、補正され得る(たとえば、RAWでレンズ・シェーディング補正を使用する画像信号プロセッサ(ISP:image signal processor)において)。
少なくとも1つの実施例において、画素のコントラスト値は、画素輝度を1つ又は複数の他の画素の輝度と比較することに少なくとも基づいて、画像データから計算され得る。たとえば、1つ又は複数の統計値が、1つ又は複数のコントラスト値を計算するために使用される基準輝度又は相対輝度を確立するために、画像の任意の数量の画素の輝度値から計算され得る。例として、そして限定せず、これは、平均(mean/average)画像輝度レベルを計算することを含み得る。基準輝度を計算するための適切な技法は、画素コントラスト値のヒストグラム又は平均を計算すること、グローバル画素平均化を実行すること、及び/又はトリム平均値を計算すること(たとえば、より低い及びより上のパーセンタイルが、考慮から外される場合、高コントラスト・シーンにおいてより安定している平均値を生み出すこと)を含む。
グローバル・コントラスト値の基準輝度を計算するために使用される画素は、すべての又はほぼすべての画像に対応し得る。少なくとも1つの実施例において、外れ値、画像又は視覚アーティファクトに対応する画素、(たとえば、CNN又は他のMLMに適用されることになる)関心領域外部の画素などの、1つ又は複数の画素が、破棄され得る又は基準輝度の計算から除外され得る。領域のコントラスト値の基準輝度を計算するために使用される画素は、それらの画素のうちの1つ又は複数を含む画像の1つ又は複数の領域(及び/又は画素に対応する物体の少なくとも一部分)に対応し得る。たとえば、領域は、画像内の50%又は異なるパーセンテージの画素、画像の中心領域内の画素、画像の四分円内の画素などを含み得る)。少なくとも1つの実施例において、領域の基準輝度は、領域に含まれている画素(領域は、領域の位置に関係なく定義される)に少なくとも基づいて画素のコントラスト値を計算するために使用され得る。ローカル・コントラスト値の基準輝度を計算するために使用される画素は、それらの画素のうちの1つ又は複数(及び/又は画素に対応する物体の少なくとも一部分)への近接度及び/又は距離に少なくとも基づいて選択又は決定され得る。
少なくとも1つの実施例において、システムは、画像を生み出し得、そこで各画素は、対応するコントラスト値を記録する。画素のコントラスト値は、画素値の輝度と基準輝度(たとえば、平均)との比率に少なくとも基づいて計算され得る。基準輝度を計算するために選択されたエリアのサイズ(たとえば、半径)に応じて、計算されたコントラスト値は、異なる現象を表し得る。小さい半径(たとえば、<画像次元の0.1%)は、画像の鮮明さを表し得、小から中位の半径(たとえば、<画像次元の3~4%)は、物体詳細のコントラストを表し得、中位の半径は、物体のコントラストを表し得、画像全体を包含する又は実質的に包含する大きい半径は、グローバル・コントラストを表し得る。
少なくとも1つの実施例において、物体検出器、たとえば、畳み込みニューラル・ネットワーク(CNN:convolutional neural network)及び/又は他のマシン学習モデル(MLM:machine learning model)、は、画像データにおいて1つ又は複数の物体(たとえば、道路標識、反射物、道路標示など)を検出するために使用され得る。たとえば、MLMは、画像データによって表される1つ又は複数の画像内の1つ又は複数の物***置及び/又は領域(たとえば、1つ又は複数の境界形状)を予測し得る。検出された物体は、1つ又は複数の物***置及び/又は領域を使用して画像データの1つ又は複数の画素と関連付けられ得る(たとえば、物体は、境界形状内の1つ又は複数の画素と関連付けられ得る)。システムは、検出された位置及び/又は境界形状のうちの1つ又は複数に少なくとも基づいて、入力画像の画素のうちの1つ又は複数のコントラスト値を計算し得る。たとえば、位置又は境界形状は、1つ又は複数の対応する画素のローカル、グローバル、及び/又は領域のコントラスト値を計算するために使用され得る。
追加で又は別法として、画像の1つ又は複数の物体及び/又は領域は、マシン学習を必ずしも含まなくてもよい、他の手法を使用して検出又は選択され得る。たとえば、画像内の画素は、画像特徴、たとえば、輝度、色値、コントラスト値(たとえば、グループ化のためのグローバル・コントラスト値を先ず決定し、次いで、グループを使用してローカル・コントラスト値を決定することによる)、相対的明度、相対的色合い、相対的濃淡など、に少なくとも基づいて画素を1つ又は複数のグループへとクラスタ化し得る、任意の適切なクラスタリング・アルゴリズムを使用してグループ化され得る。1つ又は複数の実施例において、コントラスト値は、グループ(たとえば、グループ内のすべての画素に適用される)について及び/又はグループ内の1つ又は複数の画素(たとえば、各画素)について計算され得る。
コントラスト値を計算した後、システムは、コントラスト値を分析して眩しさ及び/又は他の照明現象を検出し得る。少なくとも1つの実施例において、コントラスト値を分析することは、コントラスト値を1つ又は複数の閾値と比較することを含み得る。閾値は、予め決定され得る及び/又は動的に決定若しくは計算され得る。例として、そして限定せずに、コントラスト値の閾値は、コントラスト値を計算するために使用される1つ又は複数の基準輝度値に少なくとも基づいて計算又は選択され得る。少なくとも1つの実施例において、閾値は、基準輝度の倍数、たとえば及び限定せずに、5x、10x、又は100x基準輝度、でもよい。少なくとも1つの実施例において、閾値は、閾値処理されたコントラスト画像を生成するために、コントラスト画像に適用され得る。少なくとも1つの実施例において、閾値処理されたコントラスト画像は、それらが計算される(最初のコントラスト画像なしに)とき、1つ又は複数の閾値をコントラスト値に適用することに少なくとも基づいて、直接生成され得る。たとえば、閾値を超えるコントラスト値を有する任意の画素(たとえば、高コントラスト画素)は、維持され得る又は特定の値(たとえば、1)に設定され得、一方、閾値未満のコントラスト値を有する画素(たとえば、低コントラスト画素)は、取り除かれ得る又は特定の値(たとえば、0)に設定され得る。
1つ又は複数の実施例において、閾値を満たすコントラスト値を有するグループの画素に対応する(たとえば、検出された物体に関連する)画素の数量に基づいて、システムは、車両に強度を変更させる(たとえば、明度を上げさせる、明度を下げさせる、非アクティブ化させるなど)或いは車両の1つ若しくは複数のヘッドライト及び/又は他の光の構成(たとえば、場所、方向、レンズ焦点距離など)を変更させるためにデータを送信し得る。たとえば、強度は、画像内のグループの画素の1つ又は複数の位置及び/又は現実世界内の対応する位置に少なくとも基づいて、修正又は変更され得る。
少なくとも1つの実施例において、閾値を超える画素の数量が、数えられ得る又は特定の領域内の画素の数と比較され得る。たとえば、閾値を超えるコントラスト値を有する物体に対応する境界ボックス又は形状内の画素の数量が、低コントラスト画素に対する高コントラスト画素の比率を判定するために、境界ボックス又は形状内の画素の数量と比較され得る。
少なくとも1つの実施例において、システムは、閾値を満たす対応するコントラスト値を有する画素の数量にサイズ閾値を適用し得る。たとえば、サイズ閾値は、眩しさ軽減又は他の照明動作をトリガするために必要な画素の最小数を示し得る。いくつかの実例において、サイズ閾値は、画素の数、画素によって占められた領域の次元(たとえば、閾値を満たす画素によって占められた境界ボックス又は小領域)、1つ又は複数の画像の1つ又は複数の次元、及び/又は画素に関連するサイズを決定するための任意の適切な方法に基づいて、適用され得る。たとえば、境界ボックス内の閾値を超えるコントラスト値を有する画素の比率は、境界ボックスの次元のうちの1つ又は複数と比較され得る。
本明細書に記載のように、システムは、車両又はマシンに眩しさを軽減しようと試みる動作を実行させるデータを送信し得る。たとえば、画素コントラスト値に基づいて、検出された眩しさを軽減ために1つ又は複数の照明光源(たとえば、ヘッドライト、フォグ・ライトなど)を修正又は変更させる、データが、送信され得る。いくつかの実例において、眩しさを軽減することは、ヘッドライトの1つ又は複数の要素の構成を修正することを含み得る。たとえば、眩しさを検出することに基づいて、マトリックス・ビーム・ヘッドライト-車両の環境の一部分を照らす複数の独立して構成可能な照明要素を有する-は、画像データの高コントラスト画素に対応する物理位置に関連する1つ又は複数の照明要素の強度を非アクティブ化及び/又は低減し得る。
図1を参照すると、図1は、本開示のいくつかの実施例による、センサ・データを使用して眩しさを検出するための、コントラスト分析システム100(「システム100」とも称される)の例示的システム図である。本明細書に記載のこの及び他の構成は単に実例として記載されていることを理解されたい。他の構成及び要素(たとえば、マシン、インターフェース、機能、順番、機能のグループ化など)が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び/又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施例において、本明細書に記載のシステム、方法、及びプロセスは、図7A~7Dの例示的自律型車両700、図8の例示的計算デバイス800、及び/又は図9の例示的データ・センタ900のそれらに類似の構成要素、特徴、及び/又は機能性を使用して実行され得る。
コントラスト分析システム100は、特に、センサ・データ102、照明分析器104、物体検出器120、眩しさ除去マネージャ130、場所計算器124、1つ又は複数の制御構成要素140、及び1つ又は複数のヘッドライト150(又は、より一般的には照明要素)を含み得る。コントラスト分析システム100は、1つ又は複数のセンサからセンサ・データ102を生成する及び/又は受信するための動作を実行し得る。センサ・データ102は、非限定的実例として、車両の1つ又は複数のセンサ(たとえば、図7A~7Dの及び本明細書に記載の車両700)から受信され得る。センサ・データ102は、たとえば、図7A~7Dを参照すると、グローバル・ナビゲーション衛星システム(GNSS:global navigation satellite system)センサ758(たとえば、グローバル・ポジショニング・システム・センサ)、RADARセンサ760、超音波センサ762、LIDARセンサ764、慣性計測装置(IMU:inertial measurement unit)センサ766(たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など)、マイクロフォン796、ステレオ・カメラ768、ワイドビュー・カメラ770(たとえば、魚眼カメラ)、赤外線カメラ772、サラウンド・カメラ774(たとえば、360度カメラ)、長距離及び/又は中距離カメラ798、速度センサ744(たとえば、車両700の速度を測定するための)、及び/又は他のセンサ・タイプを含む、車両700のセンサの任意の組合せからのセンサ・データの1つ又は複数の部分を含み得るが、これに限定されない。
追加で又は別法として、センサ・データ102は、仮想(たとえば、試験)環境内の仮想車両又は他の仮想物体の任意の数のセンサから生成された仮想(たとえば、シミュレーション又は拡張された)センサ・データを含み得る。そのような実例において、仮想センサは、(たとえば、ニューラル・ネットワーク・パフォーマンスを試験、トレーニング、及び/又は検証するために使用される)シミュレーションされた環境内の仮想車両又は他の仮想物体に対応することができ、仮想センサ・データは、シミュレーションされた又は仮想環境内で仮想センサによってキャプチャされたセンサ・データを表すことができる。そのようなものとして、仮想センサ・データを使用することによって、本明細書に記載のマシン学習モデル122は、シミュレーション環境及び/又は拡張現実世界データからのシミュレーション・データを使用して、試験、トレーニング、及び/又は検証され得、そのような試験の安全性が低くなり得る現実世界環境の外でより極端なシナリオを試験することを可能にし得る。
いくつかの実施例において、センサ・データ102は、画像を表す画像データ、ビデオ(たとえば、ビデオのスナップショット)を表す画像データ、及び/又はセンサの認知フィールドの表現を表すセンサ・データ(たとえば、LiDARセンサの深度図、超音波センサの値グラフなど)を含み得る。センサ・データ102が、画像データを含む場合、たとえば、限定せずに、JPEG(Joint Photographic Experts Group)又はルミナンス/クロミナンス(YUV)フォーマット、H.264/AVC(Advanced Video Coding)若しくはH.265/HEVC(High Efficiency Video Coding)などの圧縮ビデオ・フォーマットに由来するフレームとしての圧縮画像、レッド・クリア・ブルー(RCCB:Red Clear Blue)、レッド・クリア(RCCC:Red Clear)、レッド・グリーン・ブルー(RGGB:Red Green Blue)若しくは他のタイプの画像センサに由来するものなどの未加工の画像、及び/又は他のフォーマットなど、任意のタイプの画像データ・フォーマットが、使用され得る。加えて、いくつかの実例において、センサ・データ102は、(たとえば、未加工の又はキャプチャされたフォーマットにおいて)前処理なしにシステム100内で使用することができ、一方、他の実例において、センサ・データ102は、前処理(たとえば、ノイズ・バランシング、デモザイク処理、スケーリング、トリミング、拡張、ホワイト・バランシング、トーン・カーブ調節、など、たとえば、センサ・データ・プレプロセッサ(図示せず)を使用)を受けることができる。本明細書では、センサ・データ102は、未処理のセンサ・データ、前処理されたセンサ・データ、又はその組合せを指し得る。
照明分析器104を参照すると、照明分析器104は、特に、画像データによって表されるコントラストを測定及び/又は計算するための1つ又は複数の構成要素を含み得る。たとえば、照明分析器104は、センサ・データ102などの画像データのコントラスト値を提供するために使用され得る。いくつかの実施例において、照明分析器104は、
輝度分析器106、コントラスト分析器108、及び/又はコントラスト・スレショルダ110を含み得る。照明分析器104のほんのわずかな構成要素及び/又は特徴が図1には示されているが、これは限定を意図していない。たとえば、照明分析器104は、追加又は代替の構成要素、たとえば、図7A~7Dの例示的自律型車両700に関して後述されるもの、を備え得る。
輝度分析器106、コントラスト分析器108、及び/又はコントラスト・スレショルダ110を含み得る。照明分析器104のほんのわずかな構成要素及び/又は特徴が図1には示されているが、これは限定を意図していない。たとえば、照明分析器104は、追加又は代替の構成要素、たとえば、図7A~7Dの例示的自律型車両700に関して後述されるもの、を備え得る。
輝度分析器106は、画像データの1つ又は複数の画素からの輝度値の測定及び/又は抽出を実行するための1つ又は複数の構成要素を含み得る。たとえば、輝度値は、センサ・データ102を表す画像データに含まれる1つ又は複数の画素について決定され得る。少なくとも1つの実施例において、輝度分析器106は、画像の各画素の輝度値を決定し得る。たとえば、センサ・データ102によって表される画像は、その特定の画像内のあらゆる画素に関連する輝度値を有し得る。少なくとも1つの実施例において、画像内のあらゆる画素より少ない数量の画素が、選択され得、対応する輝度値が、輝度分析器106によって決定され得る。たとえば、輝度値は、物体検出器120及び/又はMLM122によって示されたセンサ・データ102の一部分に従って、決定され得る。たとえば、物体検出器120は、輝度及び/又はコントラスト値が決定される画素(たとえば、物体を表す画素、物体に近接する画素など)の選択を決定するために提供された情報を使用し得る照明分析器104に、検出された物体に関連する情報(たとえば、物***置、物体場所、分類、ラベル、特徴、及び/又は検出された物体に関する他の関連情報)を提供し得る。
コントラスト分析器108は、輝度分析器106によって決定された画素輝度値を使用して、画像の画素に対応するコントラスト値(たとえば、グローバル、領域、及び/又はローカル)を計算し得る。たとえば、コントラスト分析器108は、1セットの画素の平均輝度値(又は本明細書に記載の他の統計値)、たとえば、画像内のあらゆる画素の平均輝度値、に対して特定の画素の輝度値を評価し得る。いくつかの実施例において、コントラスト分析器108は、基準輝度として1セットの画素の平均輝度値を計算し得る。画素輝度値の平均が、本明細書では説明されているが、それは限定を意図しておらず、ヒストグラム平均を計算すること、グローバル画素平均化を実行すること、及び/又はトリム平均値を計算することを含む、基準輝度を計算するための任意の適切な技法が、本明細書では意図されている。たとえば、コントラスト分析器108は、検出された物体への特定の近接度及び/又は距離の半径内の検出された物体に対応する画素のセット及び領域の輝度値のヒストグラム又は平均を計算することによって、基準輝度を決定し得る。基準輝度は、画像内の1つ又は複数の画素のコントラスト値を計算するために使用され得る。コントラスト分析器108は、特定の画素の輝度値と基準輝度の間の比率-又は他の関係-として表現される画素のコントラスト値を計算し得る。
コントラスト・スレショルダ110は、コントラスト閾値を満たす対応するコントラスト値を有する1セットの画素を決定するためにコントラスト閾値を適用するための1つ又は複数の構成要素を含み得る。少なくとも1つの実施例において、コントラスト閾値が、予め決定される。たとえば、コントラスト閾値は、眩しさが観測者にとって不快になり得る値(たとえば、基準輝度に対して5x、10x、100xなど)及び/又はセンサ・データをキャプチャするためのセンサの能力を任意の眩しさが崩壊させ得る値であると決定され得る。コントラスト閾値は、予め決定する或いは輝度分析器106によって決定された画素輝度値に基づいて動的に決定することができる。コントラスト・スレショルダ110は、コントラスト分析器108から1セットの画素に関連するコントラスト値を受信し得る。たとえば、コントラスト・スレショルダ110は、閾値を超える相対的コントラスト値を有する画素の数を数える又は決定することができる。
ここで物体検出器120を参照すると、物体検出器120は、特に、画像データ内の1つ又は複数の物体(たとえば、道路標識、反射物、道路標示など)を検出するための1つ又は複数の構成要素を含み得る。いくつかの実施例において、物体検出器120は、畳み込みニューラル・ネットワーク(CNN)及び/又は他のマシン学習モデル(MLM)を使用して画像データ内の1つ又は複数の物体(たとえば、道路標識、反射物、道路標示など)を検出し得る。たとえば、物体検出器120は、1つ又は複数のMLM122を使用してセンサ・データ102において(たとえば、画像において)物体を検出し得る。少なくとも1つの実施例において、物体検出器120は、MLM122のみに必ずしも依拠しない手法を使用して1つ又は複数の物体を検出し得る。たとえば、物体検出器120は、センサ・データ102によって表された画像の画素に対応する特徴、たとえば、輝度、色値、コントラスト値、相対的明度、相対的色合い、相対的濃淡など、をクラスタ化及び分析することによって、物体を検出し得る。
MLM122が、画像内の1つ又は複数の物体を検出するために使用され得る場合、センサ・データ102及び/又はそこから導出されたデータは、物体を含むとしてセンサ・データ102によって表された1つ又は複数の画像内の1つ又は複数の物***置及び/又は領域を予測するためにMLM122に適用され得る。検出された物体は、1つ又は複数の物***置及び/又は領域を使用して画像データの1つ又は複数の画素と関連付けられ得る(たとえば、物体は、境界形状又はボックス内の1つ又は複数の画素と関連付けられ得る)。コントラスト分析器108は、検出された位置及び/又は境界形状のうちの1つ又は複数に基づいて、入力画像の画素のうちの1つ又は複数の画素のコントラスト値を計算し得る。たとえば、位置又は境界形状は、1つ又は複数の対応する画素のローカル、グローバル、及び/又は領域コントラスト値を計算するために使用され得る。
ここで場所計算器124を参照すると、場所計算器は、検出された物体の1つ又は複数の2D及び/又は3D位置を判定するように構成された1つ又は複数の構成要素を含み得る。たとえば、場所計算器124は、物体検出器120によって検出された1つ又は複数の物体の指示を受信し得、1つ又は複数の検出された物体の場所、及び/又はそこまでの距離を判定し得る。1つ又は複数の実施例において、これは、MLM122からの予測データを後処理することを含み得る。いくつかの実施例において、場所計算器124は、図7A~7Dの自律型車両700などの自律マシンに対する1つ又は複数の検出された物体の場所を判定し得る。たとえば、場所計算器124は、車両から検出された物体、たとえば、標識、までの距離を計算し、車両に対する標識の計算された場所に関連する情報(たとえば、距離、車両進行方向に対する角度、物体の高さ、物体のサイズなど)を生成し得る。いくつかの実施例において、場所計算器124は、1つ又は複数の検出された物体に関連する場所情報を眩しさ除去マネージャ130に提供し得る。
眩しさ除去マネージャ130は、センサ・データ102に対応する画像の画素に対応する相対的コントラスト値に少なくとも基づいて実行する眩しさ軽減動作を決定するための1つ又は複数の構成要素を含み得る。たとえば、照明分析器104によって計算されたコントラスト値に基づいて、眩しさ除去マネージャ130は、眩しさ軽減動作の候補としてセンサ・データ102において表された1つ又は複数の物体を決定し、それにより眩しさ軽減動作をトリガし得る。いくつかの実施例において、眩しさ除去マネージャ130は、サイズ閾値を物体に関連する画素に適用することに基づいて眩しさ軽減動作の候補としてセンサ・データ102において表された物体を決定し得る。たとえば、眩しさ除去マネージャ130は、コントラスト閾値(たとえば、コントラスト・スレショルダ110によって示されるような)を超える物体のサイズ及び/又は画素の数に基づいて眩しさ軽減動作が検出物体に関連して実行されるべきであると決定し得る。たとえば、1つ又は複数の実施例において、眩しさ軽減動作は、物体に関連する高コントラスト画素の数が最低数量を満たすときにのみ実行され得る。いくつかの実例において、サイズ閾値が満たされていない場合、検出された物体に関連するすべての画素が、コントラスト閾値を超えるコントラスト値を有する場合でも、眩しさ軽減動作はトリガされないことになる。
少なくとも1つの実施例において、眩しさ除去マネージャ130は、1つ又は複数の検出された物体に関連する場所情報を受信し得る。少なくとも1つの実施例において、場所計算器124からの場所情報は、検出された物体がサイズ閾値を満たすかどうかを判定するために使用され得る。たとえば、物体のサイズは、場所計算器124によって及びセンサ・データ102に基づいて判定される物体までの距離を使用して、推定され得る。少なくとも1つの実施例において、眩しさ除去マネージャ130は、場所計算器124から検出物体の計算された3D場所に対応する情報を受信し得る。眩しさ除去マネージャ130は、場所計算器124からの場所情報を使用して、実行する眩しさ軽減動作を決定し得る。たとえば、場所計算器124からの場所情報が、ヘッドライト150によって放射された光が車両の乗員又はセンサの方向において反射物体に反射し得る可能性-検出された物体、車両の乗員、車両のセンサ、及び/又は1つ又は複数のヘッドライト150の場所に基づく-を示す場合、そのとき、眩しさ軽減動作(たとえば、ヘッドライトの1つ又は複数の要素への照明電力を減らすこと)がトリガされ得る。一実例として、眩しさ除去マネージャ130は、検出された標識とヘッドライト150及び/又はセンサ若しくは潜在的運転者/乗員の位置などの車両の特定の部分の場所との間の1つ又は複数の距離及び/又は角度を推定し得る。
いくつかの実施例において、眩しさ軽減動作が検出物体に関連して実行されるべきであると眩しさ除去マネージャ130が判定することに基づいて、眩しさ除去マネージャ130は、1つ又は複数のヘッドライト150への修正を引き起こす(たとえば、変更を制御する)ことができる1つ又は複数の制御構成要素140に検出物体に関連する情報を提供し得る。たとえば、眩しさ除去マネージャ130は、眩しさ誘導物体の場所の指示を1つ又は複数の制御構成要素140に提供してヘッドライト150の少なくとも1つの照明要素への調節を引き起こし得る。
ヘッドライト150は、図7A~7Dの自律型車両700などの自律マシンに関連する1つ又は複数の照明光源を含み得る。前向きのヘッドライトが、本明細書には記載されているが、これは限定を意図しておらず、任意の他の光源又は光源の向きが、本明細書では意図されている。たとえば、ヘッドライト150は、ロービーム・ヘッドライト、ハイビーム・ヘッドライト、フォグ・ライト、ランニング・ライト、ハザード・ランプ、信号灯、及び/又は任意の他の照明光源(たとえば、車両700の乗客及び/又はセンサに向けて光を跳ね返す或いは他の方法で眩しさを引き起こす又は眩しさに貢献する能力を有するもの)を含み得る。いくつかの実施例において、ヘッドライト150は、(たとえば、人間の目に可視の)可視光スペクトル外の波長を有する光を放射し得る。たとえば、ヘッドライト150は、赤外線光(IR)などの非可視放射線又は非可視光を放射し得る(たとえば、人間の目に)。ヘッドライト150は、1つ又は複数の独立して構成可能な照明要素を含み得る。たとえば、ヘッドライト150は、マトリックス構成(たとえば、グリッド)において配置された複数の照明要素を含み得る。そのような実例では、各照明要素は、個別に又は1つ若しくは複数の他の要素に関連して構成され得る。たとえば、個々の照明要素は、放射される光をアクティブ化/非アクティブ化すること、要素の照明電力を増やす若しくは減らすこと、投影される光の方向若しくは焦点を調整すること、又は任意の組合せの構成によって、構成され得る。ヘッドライト150の1つ又は複数の照明要素の構成を修正することによって、物体によって反射される眩しさは、軽減され得る。たとえば、眩しさが、標識から検出された場合、標識を照らしている照明要素は、非アクティブ化され得る、又は標識から離れて投影され得る(たとえば、標識又は他の物体の周りの照明を維持しながら)。
非限定的実例として、図2A~2Bに関して、図2A~2Bは、本開示の少なくともいくつかの実施例による、例示的眩しさ軽減を示すために使用される。たとえば、本開示のいくつかの実施例に従って、図2Aは、車両700などの車両の視点(たとえば、そのカメラの視点)からの例示的画像200Aを示し、図2Bは、眩しさ軽減後の車両700の視点からの例示的画像200Bを示す。
一実例として、車両700は、路面標識、車両、歩行者、障害物、視覚インジケータ、及び/又は道路標識206などのサイネージなどの物体を含む車道204上にあってもよい。車道204は、図1のヘッドライト150のうちの1つ又は複数に対応し得るヘッドライト240などの1つ又は複数の照明光源によって全体的に又は部分的に照らされ得る。照明光源は、個別に及び/又は集合的に制御され得る照明要素へと分割及び/又はグループ化され得る。たとえば、ヘッドライト240は、いくつかの照明要素、たとえば、光要素242A~242H、のいずれかを含み得る。ヘッドライト240は、8要素と描かれているが、これは限定を意図しておらず、任意の数及び/又は場所構成の照明要素が、本明細書では意図されている。
照明光源は、車道204が少なくとも部分的に照らされ得るように車道204に関連して照明足跡210をキャスト又は投影させ得る。照明足跡210の部分は、照明光源の少なくとも1つの光要素に対応し得る。たとえば、ビーム・セグメント212の各ビーム・セグメントは、光要素242A~242Hなどの光要素に対応し得る。いくつかの実例において、電力を減らすこと及び/又は特定の光要素を非アクティブ化することは、関連ビーム・セグメントに車道204への照明効果を減らさせ得る。たとえば、図2Bに示すように及び画像200Bによって反射されて、光要素242A及び242Bは、ビーム・セグメント212の一部分に道路標識206を照らすのを止めさせて、非アクティブ化されてある。この実例では、道路標識206に対応するビーム・セグメント212の部分に関連する光要素242A及び242Bは、非アクティブ化されてあるので、道路標識206へのヘッドライト240キャストによって引き起こされる眩しさは、車両700のセンサ及び/又は乗員に関して低減又は除去され得る。
ここで図3を参照すると、図3は、本開示のいくつかの実施例による、検出された物体に関連する画素のローカル・コントラスト値の判定において使用するための例示的画像300の視覚化を示す。画像300は、図1の物体検出器120を使用して検出され得る検出物体310(たとえば、標識)を含む。本明細書に記載のように、物体検出器120は、検出物体310に関連する境界形状、たとえば、境界ボックス330、の次元及び/又は場所のうちの1つ又は複数を示し得る。境界ボックス330は、画像300に関連する1つ又は複数の画素を含む画像300の領域を定義し得る。画像300は、境界ボックス330に関連して位置付けられ得る又は定義され得るローカル・コントラスト領域320を含み得る。ローカル・コントラスト領域320は、境界ボックス330内の1つ又は複数の画素(たとえば、各画素)のローカル・コントラスト値-本明細書に記載のような-を決定するために使用される基準輝度を計算するために使用され得る画像300の1つ又は複数の画素を含み得る。
境界ボックス330の次元のうちの1つ又は複数は、眩しさ軽減又は他の照明動作をトリガするかどうかを決定するために、サイズ閾値と比較され得る。たとえば、図1の眩しさ除去マネージャ130は、サイズ閾値を境界ボックス330の次元に適用し得る。サイズ閾値(たとえば、最小サイズ又は次元を示す)は、境界ボックス330の水平及び/又は垂直構成要素に適用され得る。たとえば、水平サイズ閾値350Aが水平物体サイズ340Aに適用され得る及び/又は垂直サイズ閾値350Bが垂直物体サイズ340Bに適用され得る。いくつかの実施例において、水平物体サイズ340Aが水平サイズ閾値350Aを超える場合及び垂直物体サイズ340Bが垂直サイズ閾値350Bを超える場合、眩しさ軽減動作がトリガされ得る。いくつかの実施例では、水平物体サイズ340Aが水平サイズ閾値350Aを超えるか又は垂直物体サイズ340Bが垂直サイズ閾値350Bを超えるかの場合に、眩しさ軽減動作がトリガされ得る。いくつかの実施例では、垂直物体サイズ340B及び水平物体サイズ340Aが、閾値エリア(たとえば、眩しさ軽減動作をトリガするために必要な最小エリア)と比較することができる物体エリアを決定するために使用され得る。たとえば、垂直物体サイズ340B及び水平物体サイズ340Aは、垂直サイズ閾値350B及び水平サイズ閾値350Aを乗じることによって計算されたエリアと比較され得る物体エリアを決定するために、乗じられ得る。
ここで図4A~4Cを参照すると、図4A~4Cは、本開示の少なくともいくつかの実施例による、検出物体310に対応する画素に図1の照明分析器104を適用する実例を示す。図4Aは、図1のセンサ・データ102に対応し得る図2Aの画像200Aの領域410を示す。たとえば、領域410は、センサ・データ102によって表される画素の一部分を含み得る。いくつかの実施例において、領域410は、センサ・データ102において検出された物体310に関連する1つ又は複数の画素を含む。たとえば、物体検出器120は、検出された物体に関連する画素の次元、位置、及び/又は他の指示を提供し得る。たとえば、物体検出器120は、検出された物体(たとえば、道路標識、車両、歩行者など)に対応する境界形状を生成し、境界形状内の画素のセットを決定し得る。画素のセットは、照明分析器104に提供され得る。輝度分析器106を使用して、輝度値の決定が、決定され得る(たとえば、個別に各画素について)。たとえば、図4Aの領域410は、輝度値420A(たとえば、10Kカンデラ/平方メートル「cd/m2」)によって示されるような、対応する輝度値をそれぞれ有する画素のセットを含む検出された標識の境界ボックス330に対応し得る。領域410の輝度値420Aを使用して、コントラスト分析器108は、対応する輝度値を基準輝度と比較することによって、各コントラスト値を計算し得る。
図4Bは、輝度値420Aを使用して計算され得るコントラスト値420Bの実例を示す。少なくとも1つの実施例において、特定の画素のコントラスト値420Bのうちのコントラスト値は、本明細書に記載のように、特定の画素の輝度値と決定されたグループの画素の基準輝度(たとえば、平均)との比率を計算することによって、決定され得る。たとえば、基準輝度を決定することは、画像200Aのエリアを選択することに基づき得る。画像200Aのエリアは、画像200A内の1つ又は複数の物体に関連する相対的コントラストの詳細をキャプチャするために選択され得る。たとえば、様々なサイズの半径(たとえば、小さい半径、小から中位の半径、中位の半径、大きい半径など)が、中心傾向を平均化及び/又は計算することによって基準輝度を決定するために使用される画素のグループを決定するために使用され得る。たとえば、図3のローカル・コントラスト領域320が、対応する領域内の画素から基準輝度を決定するために使用され得る。図4Bに描写されているように、コントラスト値は、領域410の各画素について決定され得る。たとえば、図4Bによって示される実例では、画素のセットの各画素は、この非限定的実例において75cd/m2の基準輝度に対する対応する輝度値420Aの比率を決定することによって計算されるコントラスト値と関連している。
図4Cは、閾値動作をコントラスト値420Cに適用することから生じ得る閾値処理された値420Vの実例を示す。閾値処理動作が、図1のコントラスト・スレショルダ110によって実行され得る。図4Cによって示された非限定的実例において、100の閾値が、コントラスト値420Cの各コントラスト値に適用される。1つ又は複数の実施例において、100の閾値を満たすコントラスト値を有する領域410の画素のみが、コントラスト閾値を満たすものとして維持又は他の方法で識別されることになる。一実例として、閾値を満たすコントラスト値420Cを有する画素は、1の値を割り当てられ得、一方、閾値を満たさないコントラスト値420Cを有する画素は、0の値を割り当てられ得る、又は他の方法で否定され得る若しくは示され得る。閾値を満たす領域410内の画素の数量が、決定され得、眩しさ軽減動作において使用され得る、たとえば、図1の眩しさ除去マネージャ130、制御構成要素140、及び/又はヘッドライト150によって。
ここで図5を参照すると、本明細書に記載される、方法500の各ブロックは、ハードウェア、ファームウェア、及び/又はソフトウェアの任意の組合せを使用して実行することができる計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって、実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス(独立型の又は別のホスト型サービスと組み合わせた)、又は別の製品へのプラグインによって、提供され得る。加えて、例として、図1のコントラスト分析システムに関して、方法500について説明する。しかしながら、これらの方法は、本明細書に記載のものを含むが、これらに限定されない、任意の1つのシステムによる、或いはシステムの任意の組合せ内で、追加で又は別法として、実行され得る。
図5は、本開示のいくつかの実施例による、眩しさ軽減のための画像コントラスト分析のための方法500を示す流れ図である。方法500は、ブロックB502において、1つ又は複数の物体を描写する1つ又は複数の画像を表す画像データを受信することを含む。たとえば、センサ・データ102は、照明分析器104及び物体検出器120によって受信され得る。
方法500は、ブロックB504において、1つ又は複数の物体に対応する1つ又は複数の画素の1つ又は複数のコントラスト値を、前記画像データを使用して計算することを含む。たとえば、コントラスト分析器108は、センサ・データ102を使用して表された及び物体検出器120によって検出され得る1つ又は複数の物体に対応する画素のコントラスト値を決定し得る。
方法500は、ブロックB506において、コントラスト値のセットの分析に少なくとも基づいて1つ又は複数の動作をマシンに実行させるためのデータを送信することを含む。たとえば、照明分析器104によって決定されたコントラスト値に基づいて、1つ又は複数の制御構成要素140は、動作、たとえば、ヘッドライト150を調節、修正、又は制御すること、を実行し得る。
ここで図6を参照すると、本明細書に記載される、方法600の各ブロックは、ハードウェア、ファームウェア、及び/又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって、実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス(独立型の若しくは別のホスト型サービスと組み合わせた)、又は別の製品へのプラグインによって、提供され得る。加えて、例として、図1のコントラスト分析システムに関して、方法600について説明する。しかしながら、これらの方法は、本明細書に記載のものを含むがこれらに限定されない、任意の1つのシステム、又は任意の組合せのシステムによって、追加で又は別法として実行され得る。
図6は、本開示のいくつかの実施例による、物体検出に基づく眩しさ軽減のための画像コントラスト分析のための方法600を示す流れ図である。方法600は、ブロックB602において、1つ又は複数の画像を表す画像データを受信することを含む。たとえば、照明分析器104は、センサ・データ102を受信し得る。
方法600は、ブロックB604において、1つ又は複数の物体を検出することを含む。たとえば、センサ・データ102を使用して、物体検出器120は、センサ・データ102において表された1つ又は複数の物体を検出し得る。
方法600は、ブロックB606において、1つ又は複数の物体に対応する関心領域を、1つ又は複数の画像において、決定することを含む。たとえば、物体検出器120は、センサ・データ102において検出された1つ又は複数の物体に対応する画素を示す関心領域を決定し得る。
方法600は、ブロックB608において、1つ又は複数の画像内の1つ又は複数の画素の1つ又は複数のコントラスト値を、画像データを使用して計算することを含む。たとえば、照明分析器104のコントラスト分析器108は、センサ・データ102によって表される画素のコントラスト値を決定し得る。1つ又は複数の実施例において、コントラスト値の計算は、関心領域又は関心のある検出された物体(たとえば、標識)のエリア制限され得る、或いはそれに少なくとも基づき得る。たとえば、ローカル・コントラスト値を計算することは、計算が重くなり得(あらゆる画素は、すべての周辺画素に依存し得るので)、分析される画素を制限することは、計算資源を節約し得る。
方法600は、ブロックB610において、関心領域に対応する1つ又は複数のコントラスト値からのコントラスト値のセットを分析することを含む。たとえば、コントラスト・スレショルダ110は、物体検出器120によって決定された関心領域に対応する1つ又は複数の画素の1つ又は複数のコントラスト値を分析し得る。
方法600は、ブロックB612において、コントラスト値のセットを分析することに少なくとも基づいて1つ又は複数の動作をマシンに実行させるためのデータを送信することを含む。たとえば、照明分析器104からの分析されたコントラスト値に基づいて、制御構成要素140は、ヘッドライト150の1つ又は複数の要素の構成を制御することなどの動作を実行し得る。
例示的自律型車両
図7Aは、本開示のいくつかの実施例による、例示的自律型車両700の図である。自律型車両700(或いは、本明細書で「車両700」と称される)は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び/又は別のタイプの車両(たとえば、無人の及び/又は1人若しくは複数の乗客を乗せた)を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通***(NHTSA:National Highway Traffic Safety Administration)、米国運輸省の部署、及び自動車技術者協会(SAE:Society of Automotive Engineers)「Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicle」(2018年6月15日に公開された規格番号J3016-201806、2016年9月30日に公開された規格番号J3016-201609、及びこの規格の前の及び未来のバージョン)によって定義される、自動化レベルに関して記述される。移動車700は、自律運転レベルのレベル3~レベル5のうちの1つ又は複数による機能の能力を有し得る。車両700は、自律運転レベルのレベル1~レベル5のうちの1つ又は複数による機能性の能力を有し得る。たとえば、車両700は、実施例に応じて、運転者支援(レベル1)、部分的自動化(レベル2)、条件的自動化(レベル3)、高い自動化(レベル4)、及び/又は完全な自動化(レベル5)の能力を有し得る。本明細書では「自律」という用語は、車両700又は他のマシンの任意の及び/又はすべてのタイプの自律性、たとえば、完全に自律していること、高度に自律していること、条件的に自律していること、部分的に自律していること、補助的自律を提供すること、半自律していること、主として自律していること、又は他の指定、を含み得る。
図7Aは、本開示のいくつかの実施例による、例示的自律型車両700の図である。自律型車両700(或いは、本明細書で「車両700」と称される)は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び/又は別のタイプの車両(たとえば、無人の及び/又は1人若しくは複数の乗客を乗せた)を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通***(NHTSA:National Highway Traffic Safety Administration)、米国運輸省の部署、及び自動車技術者協会(SAE:Society of Automotive Engineers)「Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicle」(2018年6月15日に公開された規格番号J3016-201806、2016年9月30日に公開された規格番号J3016-201609、及びこの規格の前の及び未来のバージョン)によって定義される、自動化レベルに関して記述される。移動車700は、自律運転レベルのレベル3~レベル5のうちの1つ又は複数による機能の能力を有し得る。車両700は、自律運転レベルのレベル1~レベル5のうちの1つ又は複数による機能性の能力を有し得る。たとえば、車両700は、実施例に応じて、運転者支援(レベル1)、部分的自動化(レベル2)、条件的自動化(レベル3)、高い自動化(レベル4)、及び/又は完全な自動化(レベル5)の能力を有し得る。本明細書では「自律」という用語は、車両700又は他のマシンの任意の及び/又はすべてのタイプの自律性、たとえば、完全に自律していること、高度に自律していること、条件的に自律していること、部分的に自律していること、補助的自律を提供すること、半自律していること、主として自律していること、又は他の指定、を含み得る。
移動車700は、移動車のシャシ、車体、車輪(たとえば、2、4、6、8、18など)、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。移動車700は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び/又は別の推進システム・タイプなど、推進システム750を含み得る。推進システム750は、移動車700の推進力を有効にするために、トランスミッションを含み得る、移動車700のドライブ・トレインに接続され得る。推進システム750は、スロットル/加速装置752からの信号の受信に応答して制御され得る。
ハンドルを含み得る、ステアリング・システム754は、推進システム750が動作しているときに(たとえば、移動車が移動中のときに)移動車700のかじを取る(たとえば、所望の進路又はルートに沿って)ために使用され得る。ステアリング・システム754は、ステアリング・アクチュエータ756から信号を受信することができる。ハンドルは、完全自動化(レベル5)機能のオプションでもよい。
ブレーキ・センサ・システム746は、ブレーキ・アクチュエータ748及び/又はブレーキ・センサからの信号の受信に応答して移動車ブレーキを動作させるために使用され得る。
1つ又は複数のシステム・オン・チップ(SoC:system on Chip)704(図7C)及び/又はGPUを含み得る、コントローラ736は、移動車700の1つ若しくは複数の構成要素及び/又はシステムに信号(たとえば、コマンドの表現)を提供することができる。たとえば、コントローラは、1つ又は複数のブレーキ・アクチュエータ748を介して移動車ブレーキを動作させて、1つ又は複数のステアリング・アクチュエータ756を介してステアリング・システム754を動作させて、1つ又は複数のスロットル/加速装置752を介して推進システム750を動作させるために、信号を送ることができる。コントローラ736は、センサ信号を処理する、並びに律的運転を可能にするために及び/又は運転者の移動車700の運転を支援するために動作コマンド(たとえば、コマンドを表す信号)を出力する、1つ又は複数の搭載された(たとえば、統合された)計算デバイス(たとえば、スーパーコンピュータ)を含み得る。コントローラ736は、自律運転機能のための第1のコントローラ736、機能的安全性機能のための第2のコントローラ736、人工知能機能(たとえば、コンピュータ・ビジョン)のための第3のコントローラ736、インフォテインメント機能のための第4のコントローラ736、緊急状態における冗長性のための第5のコントローラ736、及び/又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ736が、前述の機能のうちの2個以上を処理することができ、2個以上のコントローラ736が、単一の機能、及び/又はその任意の組合せを処理することができる。
コントローラ736は、1つ又は複数のセンサから受信したセンサ・データ(たとえば、センサ入力)に応答して移動車700の1つ若しくは複数の構成要素及び/又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ758(たとえば、グローバル・ポジショニング・システム・センサ)、RADARセンサ760、超音波センサ762、LIDARセンサ764、慣性計測装置(IMU:inertial measurement unit)センサ766(たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など)、マイクロフォン796、ステレオ・カメラ768、ワイドビュー・カメラ770(たとえば、魚眼カメラ)、赤外線カメラ772、サラウンド・カメラ774(たとえば、360度カメラ)、長距離及び/又は中距離カメラ798、スピード・センサ744(たとえば、移動車700のスピードを測定するための)、振動センサ742、ステアリング・センサ740、ブレーキ・センサ(たとえば、ブレーキ・センサ・システム746の一部としての)、及び/又は他のセンサ・タイプから受信され得る。
コントローラ736のうちの1つ又は複数のコントローラは、移動車700の計器群732から入力(たとえば、入力データによって表される)を受信し、出力(たとえば、出力データ、表示データなどによって表される)をヒューマン・マシン・インターフェース(HMI:human-machine interface)ディスプレイ734、可聴式アナンシエータ、ラウドスピーカ、及び/又は移動車700の他の構成要素を介して提供することができる。出力は、移動車ベロシティ、スピード、時間、マップ・データ(たとえば、図7CのHDマップ722)、位置データ(たとえば、マップ上などの、移動車の700の位置)、方向、他の移動車の位置(たとえば、占有グリッド)、コントローラ736によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、HMIディスプレイ734は、1つ又は複数の物体(たとえば、道路標識、警告標識、交通信号の変化など)の存在、及び/又は移動車が行った、行っている、又は行うであろう運転操作(たとえば、今、車線変更をしていること、3.22km(2マイル)内の出口34Bを出ることなど)に関する情報を表示することができる。
移動車700はさらに、1つ若しくは複数のワイヤレス・アンテナ726及び/又はモデムを使用して1つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース724を含む。たとえば、ネットワーク・インターフェース724は、LTE、WCDMA(登録商標)、UMTS、GSM、CDMA2000などを介する通信の能力を有し得る。ワイヤレス・アンテナ726はまた、ブルートゥース(登録商標)、ブルートゥース(登録商標)LE、Z-Wave、ZigBeeなどのローカル・エリア・ネットワーク、及び/又はLoRaWAN、SigFoxなどのロー・パワー・ワイドエリア・ネットワーク(LPWAN:low power wide-area network)を使用し、環境内の物体(たとえば、移動車、モバイル・デバイスなど)の間の通信を可能にすることができる。
図7Bは、本開示のいくつかの実施例による、図7Aの例示的自律型車両700のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、1つの例示的実施例であり、制限することは意図されていない。たとえば、追加の及び/又は代替カメラが含まれ得る、及び/又はカメラは移動車700の異なる位置に置かれ得る。
カメラのカメラ・タイプは、移動車700の構成要素及び/又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル(ASIL:automotive safety integrity level)Bにおいて及び/又は別のASILにおいて動作することができる。カメラ・タイプは、実施例に応じて、60フレーム/秒(fps)、120fps、240fpsなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、RCCC(red clear clear clear)カラー・フィルタ・アレイ、RCCB(red clear clear blue)カラー・フィルタ・アレイ、RBGC(red blue green clear)カラー・フィルタ・アレイ、Foveon X3カラー・フィルタ・アレイ、Bayerセンサ(RGGB)カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び/又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、RCCC、RCCB、及び/又はRBGCカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。
いくつかの実例では、カメラのうちの1つ又は複数が、高度運転者支援システム(ADAS:advanced driver assistance system)機能(たとえば、冗長又はフェイルセーフ設計の一部として)を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの1つ又は複数(たとえば、すべてのカメラ)が、画像データ(たとえば、ビデオ)を同時に記録及び提供することができる。
カメラのうちの1つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射(たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射)を取り除くために、カスタム設計された(3D印刷された)部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム3D印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある4個の支柱内に統合され得る。
移動車700の前の環境の部分を含む視野を有するカメラ(たとえば、前向きのカメラ)は、前向きの進路及び障害物の識別を助け、1つ若しくは複数のコントローラ736及び/又は制御SoCの助けにより、占有グリッドの生成及び/又は好ましい移動車進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、LIDARと同じADAS機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報(LDW:Lane Departure Warning)、自律的クルーズ制御(ACC:Autonomous Cruise Control)、及び/又は交通標識認識などの他の機能を含むADAS機能及びシステムのために使用され得る。
様々なカメラが、たとえば、CMOS(complementary metal oxide semiconductor)カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺(たとえば、歩行者、交差する交通又は自転車)からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ770でもよい。図7Bにはワイドビュー・カメラは1つだけ示されているが、移動車700には任意の数のワイドビュー・カメラ770が存在し得る。加えて、長距離カメラ798(たとえば、ロングビュー・ステレオ・カメラ・ペア)が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ798はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。
1つ又は複数のステレオ・カメラ768もまた、前向きの構成に含まれ得る。ステレオ・カメラ768は、単一のチップ上に統合されたCAN又はイーサネット(登録商標)・インターフェースを有するプログラマブル論理(FPGA)及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、移動車の環境の3Dマップを生成するために使用され得る。代替ステレオ・カメラ768は、2個のカメラ・レンズ(左と右に1つずつ)と、移動車から対象物体までの距離を測定する及び生成された情報(たとえば、メタデータ)を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ768が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。
移動車700の側面に対する環境の部分を含む視野を有するカメラ(たとえば、サイドビュー・カメラ)が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ774(たとえば、図7Bに示されるような4個のサラウンド・カメラ774)は、移動車700上に位置付けられ得る。サラウンド・カメラ774は、ワイドビュー・カメラ770、魚眼カメラ、360度カメラ、及び/又は同類のものを含み得る。たとえば、4個の魚眼カメラが、移動車の前、後ろ、及び側面に配置され得る。代替配置において、移動車は、3個のサラウンド・カメラ774(たとえば、左、右、及び後部)を使用してもよく、第4のサラウンド・ビュー・カメラとして1つ又は複数の他のカメラ(たとえば、前向きのカメラ)を活用してもよい。
移動車700の後ろに対する環境の部分を含む視野を有するカメラ(たとえば、後方確認カメラ)が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ(たとえば、長距離及び/又は中距離カメラ798、ステレオ・カメラ768)、赤外線カメラ772など)としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。
図7Cは、本開示のいくつかの実施例による、図7Aの例示的自律型車両700の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素(たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど)が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び/又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
図7Cの移動車700の構成要素、特徴、及びシステムのそれぞれは、バス702を介して接続されるものとして図示されている。バス702は、コントローラ・エリア・ネットワーク(CAN)データ・インターフェース(或いは、「CANバス」と称される)を含み得る。CANは、ブレーキ、加速度、ブレーキ、ステアリング、フロントガラス・ワイパなどの作動など、移動車700の様々な特徴及び機能の制御を助けるために使用される移動車700内のネットワークでもよい。CANバスは、それぞれが独自の一意の識別子(たとえば、CAN ID)を有する、数ダース又は数百ものノードを有するように構成され得る。CANバスは、ハンドル角度、対地速度、1分間のエンジン回転(RPM:revolutions per minute)、ボタン位置、及び/又は他の移動車状況指標を見つけるために読み取られ得る。CANバスは、ASIL B準拠でもよい。
バス702は、CANバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、CANバスに加えて、又はこのその代替として、FlexRay及び/又はイーサネット(登録商標)が使用されてもよい。加えて、単一の線が、バス702を表すために使用されているが、これは制限することを意図されていない。たとえば、1つ若しくは複数のCANバス、1つ若しくは複数のFlexRayバス、1つ若しくは複数のイーサネット(登録商標)・バス、及び/又は異なるプロトコルを使用する1つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス702が存在し得る。いくつかの実例では、2個以上のバス702が、異なる機能を実行するために使用され得る、及び/又は冗長性のために使用され得る。たとえば、第1のバス702は衝突回避機能のために使用されてもよく、第2のバス702は作動制御のために使用されてもよい。任意の実例において、各バス702は、移動車700の構成要素のいずれかと通信し得、2個以上のバス702が同じ構成要素と通信し得る。いくつかの実例では、移動車内の各SoC704、各コントローラ736、及び/又は各コンピュータは、同じ入力データ(たとえば、移動車700のセンサからの入力)へのアクセスを有し得、CANバスなどの共通バスに接続され得る。
移動車700は、図7Aに関して本明細書で説明されるものなど、1つ又は複数のコントローラ736を含み得る。コントローラ736は、様々な機能のために使用され得る。コントローラ736は、移動車700の様々な他の構成要素及びシステムのいずれかに連結されてもよく、移動車700、移動車700の人工知能、移動車700のためのインフォテインメント、及び/又は同類のものの制御のために使用され得る。
移動車700は、システム・オン・チップ(SoC)704を含み得る。SoC704は、CPU706、GPU708、プロセッサ710、キャッシュ712、加速装置714、データ・ストア716、及び/又は図示されていない他の構成要素及び特徴を含み得る。SoC704は、様々なプラットフォーム及びシステム内の移動車700を制御するために使用され得る。たとえば、SoC704は、1つ又は複数のサーバ(たとえば、図7Dのサーバ778)からネットワーク・インターフェース724を介してマップのリフレッシュ及び/又は更新を取得することができるHDマップ722を有するシステム(たとえば、移動車700のシステム)において結合され得る。
CPU706は、CPUクラスタ又はCPU複合体(或いは、「CCPLEX」とも称される)を含み得る。CPU706は、複数のコア及び/又はL2キャッシュを含み得る。たとえば、一部の実施例では、CPU706は、コヒーレント・マルチプロセッサ構成内の8個のコアを含み得る。一部の実施例では、CPU706は、4個のデュアルコア・クラスタを含むことができ、各クラスタが専用のL2キャッシュ(たとえば、2MBL2キャッシュ)を有する。CPU706(たとえば、CCPLEX)は、CPU706のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。
CPU706は、以下の特徴のうちの1つ又は複数を含む電力管理能力を実装することができる:個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、WFI/WFE命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び/又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。CPU706は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア/マイクロ・コードが、コア、クラスタ、及びCCPLEXに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。
GPU708は、統合されたGPU(或いは本明細書において「iGPU」と称される)を含み得る。GPU708は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、GPU708は、強化されたテンソル命令セットを使用することができる。GPU708は、1つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、L1キャッシュ(たとえば、少なくとも96KB記憶容量を有するL1キャッシュ)を含み得、ストリーミング・マイクロプロセッサのうちの2個以上が、キャッシュ(たとえば、512KB記憶容量を有するL2キャッシュ)を共用し得る。一部の実施例では、GPU708は、少なくとも8個のストリーミング・マイクロプロセッサを含み得る。GPU708は、計算アプリケーション・プログラミング・インターフェース(API)を使用することができる。加えて、GPU708は、1つ若しくは複数の並行のコンピューティング・プラットフォーム及び/又はプログラミング・モデル(たとえば、NVIDIAのCUDA)を使用することができる。
GPU708は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、GPU708は、FinFET(Fin field-effect transistor)上に製造され得る。しかしながら、これは制限することを意図されておらず、GPU708は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、64 PF32コア及び32 PF64コアは、4個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、16 FP32コア、8 FP64コア、16 INT32コア、深層学習行列演算のための2個の混合精度NVIDIAテンソル・コア、L0命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び/又は64KBレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたL1データ・キャッシュ及び共用メモリ・ユニットを含み得る。
GPU708は、一部の実例では、900GB/秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ(HBM:high bandwidth memory)及び/又は16GBHBM2メモリ・サブシステムを含み得る。いくつかの実例では、HBMメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ5同期ランダム・アクセス・メモリ(GDDR5:graphics double data rate type five synchronous random-access memory)などの同期グラフィックス・ランダム・アクセス・メモリ(SGRAM:synchronous graphics random-access memory)が使用され得る。
GPU708は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス(ATS:address translation service)サポートが、GPU708がCPU706ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、GPU708メモリ管理ユニット(MMU:memory management unit)がミスを経験するとき、アドレス変換要求が、CPU706に送信され得る。応答して、CPU706は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、GPU708に変換を送り返す。そのようなものとして、統一されたメモリ技術は、CPU706とGPU708との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりGPU708へのアプリケーションのGPU708プログラミング及び移植を単純化する。
加えて、GPU708は、他のプロセッサのメモリへのGPU708のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。
SoC704は、本明細書に記載のものを含む任意の数のキャッシュ712を含み得る。たとえば、キャッシュ712は、CPU706とGPU708との両方に利用可能な(たとえば、CPU706とGPU708との両方に接続された)L3キャッシュを含み得る。キャッシュ712は、キャッシュ・コヒーレンス・プロトコル(たとえば、MEI、MESI、MSIなど)を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。L3キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、4MB以上を含み得る。
SoC704は、車両700の様々なタスク又は動作のいずれか(たとえば、処理DNN)に関して処理を実行する際に活用され得る論理演算ユニット(ALU:arithmetic logic unit)を含み得る。加えて、SoC704は、システム内で数学演算を実行するための浮動小数点演算ユニット(FPU:floating point unit)(又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ)を含み得る。たとえば、SoC104は、CPU706及び/又はGPU708内の実行ユニットとして統合された1つ又は複数のFPUを含み得る。
SoC704は、1つ又は複数の加速装置714(たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ)を含み得る。たとえば、SoC704は、最適化されたハードウェア加速装置及び/又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ(たとえば、4MBのSRAM)は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、GPU708を補完するために及びGPU708のタスクの一部をオフロードするために(たとえば、他のタスクを実行するためのGPU708のより多くのサイクルを解放するために)使用され得る。一実例として、加速装置714は、加速に適するように十分に安定している対象ワークロード(たとえば、知覚、畳み込みニューラル・ネットワーク(CNN:convolutional neural network)など)のために使用され得る。本明細書では、「CNN」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク(RCNN:regional convolutional neural network)及び高速RCNN(たとえば、物体検出のために使用されるものとしての)を含む、すべてのタイプのCNNを含み得る。
加速装置714(たとえば、ハードウェア加速クラスタ)は、深層学習加速装置(DLA:deep learning accelerator)を含み得る。DLAは、深層学習アプリケーション及び推論のために1秒あたり追加の10兆の動作を提供するように構成することができる1つ又は複数のテンソル処理ユニット(TPU:Tensor processing unit)を含み得る。TPUは、画像処理機能(たとえば、CNN、RCNNなどの)を実行するように構成及び最適化された加速装置でもよい。DLAはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。DLAの設計は、汎用GPUよりも1ミリメートルあたりより多くのパフォーマンスを提供することができ、CPUのパフォーマンスを大きく超える。TPUは、たとえば、特徴と重みとの両方についてINT8、INT16、及びFP16データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。
DLAは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にCNN、を迅速に及び効率的に実行することができる:カメラ・センサからのデータを使用する物体識別及び検出のためのCNN、カメラ・センサからのデータを使用する距離推定のためのCNN、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのCNN、カメラ・センサからのデータを使用する顔認識及び移動車所有者識別のためのCNN、及び/又は、セキュリティ及び/又は安全性関連イベントのためのCNN。
DLAは、GPU708の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにDLA又はGPU708のいずれかを対象にすることができる。たとえば、設計者は、DLA上のCNN及び浮動小数点演算の処理に重点的に取り組み、他の機能をGPU708及び/又は他の加速装置714に任せることができる。
加速装置714(たとえば、ハードウェア加速クラスタ)は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置(PVA:programmable vision accelerator)を含み得る。PVAは、高度運転者支援システム(ADAS:advanced driver assistance system)、自律運転、及び/又は拡張現実(AR:augmented reality)及び/又は仮想現実(VR:virtual reality)アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。PVAは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各PVAは、たとえば、任意の数の縮小命令セット・コンピュータ(RISC:reduced instruction set computer)コア、直接メモリ・アクセス(DMA:direct memory access)、及び/又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。
RISCコアは、画像センサ(たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ)、画像信号プロセッサ、及び/又は同類のものと相互作用することができる。それぞれのRISCコアは、任意の量のメモリを含み得る。RISCコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、RISCコアは、リアルタイム・オペレーティング・システム(RTOS:real-time operating system)を実行することができる。RISCコアは、1つ若しくは複数の集積回路デバイス、特定用途向け集積回路(ASIC)、及び/又はメモリ・デバイスを使用して、実装され得る。たとえば、RISCコアは、命令キャッシュ及び/又はしっかりと結合されたRAMを含み得る。
DMAは、CPU706から独立したシステム・メモリにPVAの構成要素がアクセスすることを可能にし得る。DMAは、多次元アドレス指定及び/又は循環アドレス指定をサポートすることを含むがこれに限定されないPVAに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、DMAは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び/又は深度ステッピングを含み得る、6次元まで又はそれ以上のアドレス指定をサポートすることができる。
ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、PVAは、PVAコア及び2個のベクトル処理サブシステム・パーティションを含み得る。PVAコアは、プロセッサ・サブシステム、DMAエンジン(たとえば、2個のDMAエンジン)、及び/又は他の周辺装置を含み得る。ベクトル処理サブシステムは、PVAの1次的処理エンジンとして動作することができ、ベクトル処理ユニット(VPU:vector processing unit)、命令キャッシュ、及び/又はベクトル・メモリ(たとえば、VMEM)を含み得る。VPUコアは、たとえば、単一の命令、複数のデータ(SIMD)、超長命令語(VLIW:very long instruction word)デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。SIMD及びVLIWの組合せは、スループット及びスピードを高めることができる。
それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のPVAに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のPVAに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のPVAに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のPVAは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのPVAに含まれ得る。加えて、PVAは、全体的システム安全性を高めるために、追加のエラー訂正コード(ECC:error correcting code)メモリを含み得る。
加速装置714(たとえば、ハードウェア加速クラスタ)は、加速装置714のための高帯域幅、低レイテンシSRAMを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びSRAMを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、PVAとDLAとの両方によってアクセス可能でもよい、8個のフィールド構成可能なメモリ・ブロックから成る、少なくとも4MBのSRAMを含み得る。各ペアのメモリ・ブロックは、高度周辺バス(APB:advanced peripheral bus)インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。PVA及びDLAは、メモリへの高速アクセスを有するPVA及びDLAを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、(たとえば、APBを使用して)PVA及びDLAをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
コンピュータ・ビジョン・ネットワーク・オンチップは、PVAとDLAとの両方が作動可能及び有効信号を提供することを、任意の制御信号/アドレス/データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号/アドレス/データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ISO26262又はIEC61508規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。
いくつかの実例では、SoC704は、2018年8月10日に出願された米国特許出願第16/101,232号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、RADAR信号解釈のための、音響伝播合成及び/又は分析のための、SONARシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び/又は他の機能を目的とするLIDARデータに対する比較のための、及び/又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、(たとえば、世界モデル内の)物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、1つ又は複数の木の走査ユニット(TTU:tree traversal unit)が、1つ又は複数のレイトレーシング関連動作を実行するために使用され得る。
加速装置714(たとえば、ハードウェア加速装置クラスタ)は、自律運転のための多様な用途を有する。PVAは、ADAS及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。PVAの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、PVAは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、PVAは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、PVAは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。
たとえば、本技術の1つの実施例によれば、PVAは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル3~5の自律運転のための多数のアプリケーションは、動き推定/ステレオ・マッチング・オンザフライ(たとえば、SFM(structure from motion)、歩行者認識、レーン検出など)を必要とする。PVAは、2個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。
いくつかの実例では、PVAは、高密度のオプティカル・フローを実行するために使用され得る。処理されたRADARを提供するために未加工のRADARデータを処理する(たとえば、4D高速フーリエ変換を使用して)ことによる。他の実例において、PVAは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。
DLAは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ(AEB:automatic emergency braking)システムにおいて、誤判定検出は、移動車に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、AEBのトリガとして考えられるべきである。DLAは、信頼性値を退行するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、(たとえば、別のサブシステムから)取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び/又は他のセンサ(たとえば、LIDARセンサ764又はRADARセンサ760)から取得された物体の移動車700方位、距離、3D位置推定と相関する慣性計測装置(IMU:inertial measurement unit)センサ766出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。
SoC704は、データ・ストア716(たとえば、メモリ)を含み得る。データ・ストア716は、SoC704のオンチップ・メモリでもよく、GPU及び/又はDLAで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア716は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア712は、L2又はL3キャッシュ712を備え得る。データ・ストア716の参照は、本明細書に記載のような、PVA、DLA、及び/又は他の加速装置714に関連するメモリの参照を含み得る。
SoC704は、1つ又は複数のプロセッサ710(たとえば、組み込まれたプロセッサ)を含み得る。プロセッサ710は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、SoC704ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、SoC704熱及び温度センサの管理、及び/又はSoC704電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、SoC704は、リング発振器を使用してCPU706、GPU708、及び/又は加速装置714の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、SoC704をより低い電力状態に置く及び/又は移動車700をショーファーの安全停止モードにする(たとえば、移動車700を安全停止させる)ことができる。
プロセッサ710は、オーディオ処理エンジンの機能を果たし得る1セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオI/Oインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のRAMを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。
プロセッサ710は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたRAM、支援周辺装置(たとえば、タイマ及び割り込みコントローラ)、様々なI/Oコントローラ周辺装置、及びルーティング論理を含み得る。
プロセッサ710は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、2個以上のプロセッサ・コア、しっかりと結合されたRAM、サポート周辺装置(たとえば、タイマ、割り込みコントローラなど)、及び/又はルーティング論理を含み得る。安全性モードにおいて、2個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。
プロセッサ710は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。
プロセッサ710は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。
プロセッサ710は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック(たとえば、マイクロプロセッサに実装された)でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ770で、サラウンド・カメラ774で、及び/又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度SoCの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、移動車の目的地を変更する、移動車のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。
ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。
ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、GPU708は、新しい表面を連続してレンダリングために必要とされない。GPU708の電源が入れられ、3Dレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、GPU708をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。
SoC704は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース(MIPI:mobile industry processor interface)カメラ・シリアル・インターフェース、高速インターフェース、及び/又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。SoC704は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないI/O信号を受信するために使用され得る、入力/出力コントローラをさらに含み得る。
SoC704は、周辺装置、オーディオ・コーデック、電力管理、及び/又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。SoC704は、(たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット(登録商標)を介して接続された)カメラからのデータ、センサ(たとえば、イーサネット(登録商標)を介して接続され得るLIDARセンサ764、RADARセンサ760など)、バス702からのデータ(たとえば、移動車700のスピード、ハンドル位置など)、(たとえば、イーサネット(登録商標)又はCANバスを介して接続された)GNSSセンサ758からのデータを処理するために使用され得る。SoC704は、独自のDMAエンジンを含み得る及びルーティン・データ管理タスクからCPU706を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。
SoC704は、自動化レベル3~5に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びADAS技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。SoC704は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置714が、CPU706と結合されるとき、GPU708、及びデータ・ストア716は、レベル3~5の自律型車両のための高速で効率的なプラットフォームを提供することができる。
したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Cプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、CPUで実行され得る。しかしながら、CPUは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のCPUは、移動車内ADASアプリケーションの要件及び実際のレベル3~5の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。
従来のシステムとは対照的に、CPU複合体、GPU複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び/又は連続して実行されることと、レベル3~5の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、DLA又はdGPU(たとえば、GPU720)で実行するCNNは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。DLAは、標識の意味論的理解を識別、解釈、及び提供することと、CPU複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。
別の実例として、複数のニューラル・ネットワークは、レベル3、4、又は5の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意:点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第1の配備されたニューラル・ネットワーク(たとえば、トレーニングされてあるニューラル・ネットワーク)によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを移動車の進路計画立案ソフトウェア(好ましくはCPU複合体上で実行する)に知らせる、第2の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在(又は無いこと)を移動車の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第3の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての3個のニューラル・ネットワークは、DLA内及び/又はGPU708上などで、同時に実行することができる。
いくつかの実例では、顔認識及び移動車所有者識別のためのCNNは、カメラ・センサからのデータを使用して移動車700の正規の運転者及び/又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに移動車を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が移動車を離れるときに移動車の動作を停止させるために、使用され得る。このようにして、SoC704は、盗難及び/又は車の乗っ取りに対するセキュリティをもたらす。
別の実例では、緊急車両検出及び識別のためのCNNは、マイクロフォン796からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、SoC704は、環境の及び都市の音の分類、並びに視覚的データの分類のためにCNNを使用する。好ましい一実施例では、DLA上で実行するCNNは、(たとえば、ドップラー効果を使用することによって)緊急車両の相対的終速度を識別するようにトレーニングされる。CNNはまた、GNSSセンサ758によって識別されるように、移動車が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、CNNは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、CNNは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ762の支援を受けて、移動車を減速する、道の端に停止させる、移動車を駐車する、及び/又は移動車をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。
移動車は、高速相互接続(たとえば、PCIe)を介してSoC704に連結され得るCPU718(たとえば、個別のCPU、又はdCPU)を含み得る。CPU718は、たとえば、X86プロセッサを含み得る。CPU718は、たとえば、ADASセンサとSoC704との間の潜在的に不整合の結果を調停すること、及び/又はコントローラ736及び/又はインフォテインメントSoC730の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。
移動車700は、高速相互接続(たとえば、NVIDIAのNVLINK)を介してSoC704に連結され得るGPU720(たとえば、個別のGPU、又はdGPU)を含み得る。GPU720は、冗長及び/又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、移動車700のセンサからの入力(たとえば、センサ・データ)に基づいてニューラル・ネットワークをトレーニング及び/又は更新するために使用され得る。
移動車700は、1つ又は複数のワイヤレス・アンテナ726(たとえば、セルラ・アンテナ、ブルートゥース(登録商標)・アンテナなど、異なる通信プロトコルのための1つ又は複数のワイヤレス・アンテナ)を含み得るネットワーク・インターフェース724をさらに含み得る。ネットワーク・インターフェース724は、インターネットを介するクラウドとの(たとえば、サーバ778及び/又は他のネットワーク・デバイスとの)、他の移動車との、及び/又は計算デバイス(たとえば、乗客のクライアント・デバイス)とのワイヤレス接続を使用可能にするために使用され得る。他の移動車と通信するために、直接リンクが2個の移動車の間に確立され得る、及び/又は、間接リンクが(たとえば、ネットワークを通じて及びインターネットを介して)確立され得る。直接リンクは、移動車対移動車通信リンクを使用し、提供され得る。移動車対移動車通信リンクは、移動車700に近接する移動車(たとえば、移動車700の前の、横の、及び/又は後ろの移動車)に関する移動車700情報を提供することができる。この機能は、移動車700の共同適応クルーズ制御機能の一部でもよい。
ネットワーク・インターフェース724は、変調及び復調機能を提供する及びコントローラ736がワイヤレス・ネットワークを介して通信することを可能にする、SoCを含み得る。ネットワーク・インターフェース724は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び/又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、LTE、WCDMA(登録商標)、UMTS、GSM、CDMA2000、ブルートゥース(登録商標)、ブルートゥース(登録商標)LE、Wi-Fi、Z-Wave、ZigBee、LoRaWAN、及び/又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
移動車700は、チップ外の(たとえば、SoC704外の)ストレージを含み得るデータ・ストア728をさらに含み得る。データ・ストア728は、RAM、SRAM、DRAM、VRAM、フラッシュ、ハードディスク、及び/又は、少なくとも1ビットのデータを記憶することができる他の構成要素及び/又はデバイスを含む、1つ又は複数の記憶素子を含み得る。
車両700は、GNSSセンサ758をさらに含み得る。GNSSセンサ758(たとえば、GPS、支援されたGPSセンサ、ディファレンシャルGPS(DGPS)センサなど)は、マッピング、知覚、占有グリッド生成、及び/又は進路計画策定機能を支援する。たとえば、シリアル(RS-232)ブリッジへのイーサネット(登録商標)を有するUSBコネクタを使用するGPSを含むが、これに限定されない、任意の数のGNSSセンサ758が、使用され得る。
移動車700は、RADARセンサ760をさらに含み得る。RADARセンサ760は、暗闇及び/又は厳しい気象条件においても、長距離移動車検出のために移動車700によって使用され得る。RADAR機能安全性レベルは、ASIL Bでもよい。一部の実例では、RADARセンサ760は、未加工のデータにアクセスするためのイーサネット(登録商標)へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために(たとえば、RADARセンサ760によって生成されたデータを送信するために)CAN及び/又はバス702を使用することができる。多種多様なRADARセンサ・タイプが、使用され得る。たとえば、そして制限なしに、RADARセンサ760は、前部、後部、及び側部RADAR使用に適し得る。一部の実例では、パルス・ドップラーRADARセンサが使用される。
RADARセンサ760は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離RADARは、適応クルーズ制御機能のために使用され得る。長距離RADARシステムは、250mの範囲内など、2個以上の独立したスキャンによって実現される広い視野を提供することができる。RADARセンサ760は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのADASシステムによって使用され得る。長距離RADARセンサは、複数の(たとえば、6つ以上の)固定RADARアンテナと高速CAN及びFlexRayインターフェースとを有するモノスタティック・マルチモーダルRADARを含み得る。6つのアンテナを有する一実例では、中央の4個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で移動車700の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の2個のアンテナは、視野を広げることができ、移動車700のレーンに入る又はこれを去る移動車を迅速に検出することを可能にする。
一実例として、中距離RADARシステムは、760m(前)又は80m(後)までの範囲、及び42度(前)又は750度(後)までの視野を含み得る。短距離RADARシステムは、後部バンパの両端に設置されるように設計されたRADARセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなRADARセンサ・システムは、移動車の後ろ及び隣の死角を常に監視する2個のビームを作成することができる。
短距離RADARシステムは、死角検出及び/又はレーン変更アシストのためにADASシステムにおいて使用され得る。
移動車700は、超音波センサ762をさらに含み得る。移動車700の前部、後部、及び/又は側部に位置付けられ得る、超音波センサ762は、駐車アシストのために及び/又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ762が使用され得、異なる超音波センサ762が、異なる範囲の検出(たとえば、2.5m、4m)のために使用され得る。超音波センサ762は、ASIL Bの機能的安全性レベルにおいて動作することができる。
移動車700はLIDARセンサ764を含み得る。LIDARセンサ764は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び/又は他の機能のために使用され得る。LIDARセンサ764は、機能的安全性レベルASIL Bでもよい。いくつかの実例では、移動車700は、(たとえば、ギガビット・イーサネット(登録商標)・スイッチにデータを提供するために)イーサネット(登録商標)を使用することができる複数の(たとえば、2個、4個、6個などの)LIDARセンサ764を含み得る。
いくつかの実例では、LIDARセンサ764は、物体及び360度視野のそれらの距離のリストを提供する能力を有し得る。市販のLIDARセンサ764は、たとえば、2cm~3cmの精度を有し、700Mbpsイーサネット(登録商標)接続のサポートを有して、約700mの広告された範囲を有し得る。いくつかの実例では、1つ又は複数の非突出したLIDARセンサ764が、使用され得る。そのような実例では、LIDARセンサ764は、移動車700の前部、後部、側部、及び/又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、LIDARセンサ764は、低反射物体についても200mの範囲を有し、120度水平及び35度垂直視野まで提供することができる。前部に取り付けられたLIDARセンサ764は、45度と135度との間の水平視野向けに構成され得る。
いくつかの実例では、3DフラッシュLIDARなどのLIDAR技術もまた使用され得る。3DフラッシュLIDARは、約200mまで移動車の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュLIDARユニットは、移動車から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュLIDARは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、4個のフラッシュLIDARセンサが、移動車700の各側面に1つずつ、配備され得る。利用可能な3DフラッシュLIDARシステムは、送風機以外に動く部分を有さないソリッドステート3Dステアリング・アレイLIDARカメラ(たとえば、非スキャン型LIDARデバイス)を含む。フラッシュLIDARデバイスは、1フレームにつき5ナノ秒クラスI(目に安全な)レーザー・パルスを使用することができ、3D範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュLIDARを使用することによって、また、フラッシュLIDARは、動く部分を有さないソリッドステート・デバイスであるので、LIDARセンサ764は、モーション・ブラー、振動、及び/又は衝撃の影響を受けにくくなり得る。
移動車は、IMUセンサ766をさらに含み得る。一部の実例では、IMUセンサ766は、移動車700の後部車軸の中央に位置付けられ得る。IMUセンサ766は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び/又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、6軸アプリケーションなどにおいて、IMUセンサ766は、加速度計及びジャイロスコープを含み得るが、9軸アプリケーションにおいて、IMUセンサ766は、加速度計、ジャイロスコープ、及び磁力計を含み得る。
一部の実施例では、IMUセンサ766は、マイクロ電気機械システム(MEMS:micro-electro-mechanical system)慣性センサ、高感度GPSレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能GPS支援型慣性航行システム(GPS/INS:GPS-Aided Inertial Navigation System)として実装され得る。そのようなものとして、一部の実例では、IMUセンサ766は、GPSからIMUセンサ766までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を移動車700が推定することを可能にし得る。いくつかの実例では、IMUセンサ766及びGNSSセンサ758は、単一の統合されたユニットにおいて結合され得る。
移動車は、移動車700内及び/又は周囲に置かれたマイクロフォン796を含み得る。マイクロフォン796は、中でも、緊急車両検出及び識別のために使用され得る。
移動車は、ステレオ・カメラ768、ワイドビュー・カメラ770、赤外線カメラ772、サラウンド・カメラ774、長距離及び/又は中距離カメラ798、及び/又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、移動車700の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、移動車700の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、移動車700の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、移動車は、6個のカメラ、7個のカメラ、10個のカメラ、12個のカメラ、及び/又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク(GMSL:Gigabit Multimedia Serial Link)及び/又はギガビット・イーサネット(登録商標)をサポートし得るが、これに限定されない。それぞれのカメラは、図7A及び図7Bに関連して本明細書においてさらに詳しく説明される。
移動車700は、振動センサ742をさらに含み得る。振動センサ742は、車軸など、移動車の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、2個以上の振動センサ742が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る(たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき)。
移動車700は、ADASシステム738を含み得る。一部の実例では、ADASシステム738は、SoCを含み得る。ADASシステム738は、自律/適応/自動クルーズ制御(ACC:autonomous/adaptive/automatic cruise control)、共同適応クルーズ制御(CACC:cooperative adaptive cruise control)、前方衝突警報(FCW:forward crash warning)、自動緊急ブレーキ(AEB:automatic emergency braking)、車線逸脱警報(LDW:lane departure warning)、レーン・キープ・アシスト(LKA:lane keep assist)、死角警報(BSW:blind spot warning)、後部交差交通警報(RCTW:rear cross-traffic warning)、衝突警報システム(CWS:collision warning system)、レーン・センタリング(LC:lane centering)、及び/又は他の特徴及び機能を含み得る。
ACCシステムは、RADARセンサ760、LIDARセンサ764、及び/又はカメラを使用し得る。ACCシステムは、縦ACC及び/又は横ACCを含み得る。縦ACCは、移動車700の直ぐ前の移動車までの距離を監視及び制御し、前方の移動車からの安全距離を維持するために移動車速度を自動的に調整する。横ACCは、距離の保持を実行し、必要なときにレーンを変更するように移動車700にアドバイスする。横ACCは、LCA及びCWSなどの他のADASアプリケーションに関連する。
CACCは、ワイヤレス・リンクを介して他の移動車からネットワーク・インターフェース724及び/又はワイヤレス・アンテナ726を介して、或いは間接的にネットワーク接続を介して(たとえば、インターネットを介して)、受信することができる、他の移動車からの情報を使用する。直接リンクは、移動車対移動車(V2V:vehicle-to-vehicle)通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対移動車(I2V:infrastructure-to-vehicle)通信リンクでもよい。一般に、V2V通信概念は、直前の移動車(たとえば、移動車700と同じレーン内にある、移動車700の直ぐ前の移動車)に関する情報を提供し、一方、I2V通信概念は、さらに前の交通に関する情報を提供する。CACCシステムは、I2V情報ソースとV2V情報ソースとのいずれか又は両方を含み得る。移動車700の前方の移動車の情報を所与として、CACCは、より高信頼になり得、CACCは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。
運転者が修正行動を取ることができるように、FCWシステムは、危険を運転者に警告するように設計される。FCWシステムは、ディスプレイ、スピーカ、及び/又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、DSP、FPGA、及び/又はASICに連結された、前向きのカメラ及び/又はRADARセンサ760を使用する。FCWシステムは、音響、視覚的警報、振動及び/又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。
AEBシステムは、別の移動車又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。AEBシステムは、専用のプロセッサ、DSP、FPGA、及び/又はASICに連結された、前向きのカメラ及び/又はRADARセンサ760を使用することができる。AEBシステムが危険を検出するとき、AEBシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、AEBシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。AEBシステムは、ダイナミック・ブレーキ・サポート及び/又は衝突切迫ブレーキなどの技法を含み得る。
LDWシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び/又は触覚的警報を提供して、移動車700が車線区分線を越えたときに運転者に警告する。LDWシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。LDWシステムは、ディスプレイ、スピーカ、及び/又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、DSP、FPGA、及び/又はASICに連結された、前側を向いたカメラを使用することができる。
LKAシステムは、LDWシステムの変更形態である。LKAシステムは、移動車700が車線をはみ出し始めた場合に移動車700を修正するためにステアリング入力又はブレーキを提供する。
BSWシステムは、自動車の死角において移動車の運転者に検出及び警告する。BSWシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び/又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するときに、付加的警告を提供することができる。BSWシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び/又は振動部品、に電気的に結合された、専用プロセッサ、DSP、FPGA、及び/又はASICに結合された、後ろ側を向いたカメラ及び/又はRADARセンサ760を使用することができる。
RCTWシステムは、車両700がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び/又は触覚的通知を提供することができる。いくつかのRCTWシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、AEBを含む。RCTWシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び/又は振動部品、に電気的に結合された、専用プロセッサ、DSP、FPGA、及び/又はASICに結合された、1つ又は複数の後ろを向いたRADARセンサ760を使用することができる。
従来のADASシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のADASシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両700では、結果が矛盾する場合には、移動車700自体が、1次的コンピュータ又は2次的コンピュータ(たとえば、第1のコントローラ736又は第2のコントローラ736)からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ADASシステム738は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び/又は2次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ADASシステム738からの出力は、監督MCUに提供され得る。1次的コンピュータ及び2次的コンピュータからの出力が矛盾する場合、監督MCUは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。
いくつかの実例では、1次的コンピュータは、選択された結果における1次的コンピュータの信頼性を指示する、信頼性スコアを監督MCUに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督MCUは、2次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、1次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び1次的及び2次的コンピュータが異なる結果を示す(たとえば、矛盾する)場合、監督MCUは、コンピュータの間で調停して適切な結果を決定することができる。
監督MCUは、2次的コンピュータが誤ったアラームを提供する状態を、1次的コンピュータ及び2次的コンピュータからの出力に基づいて判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督MCU内のニューラル・ネットワークは、2次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、2次的コンピュータがRADARベースのFCWシステムであるとき、監督MCU内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつFCWが識別しているかを学習することができる。同様に、2次的コンピュータがカメラベースのLDWシステムであるとき、監督MCU内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、LDWを無視することを学習することができる。監督MCU上で実行中のニューラル・ネットワークを含む実施例では、監督MCUは、関連メモリを有するニューラル・ネットワークを実行するのに適したDLA又はGPUのうちの少なくとも1つを含み得る。好ましい実施例において、監督MCUは、SoC704の構成要素を備え得る、及び/又はSoC704の構成要素として含まれ得る。
他の実例において、ADASシステム738は、コンピュータ・ビジョンの従来のルールを使用するADAS機能を実行する2次的コンピュータを含み得る。そのようなものとして、2次的コンピュータは、古典的コンピュータ・ビジョン・ルール(if-then)を使用することができ、監督MCU内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア(又はソフトウェア-ハードウェア・インターフェース)機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、1次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、2次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督MCUは、総合的結果は正しく、1次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。
いくつかの実例では、ADASシステム738の出力は、1次的コンピュータの知覚ブロック及び/又は1次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ADASシステム738が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、2次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。
移動車700は、インフォテインメントSoC730(たとえば、移動車内のインフォテインメント・システム(IVI:in-vehicle infotainment system))をさらに含み得る。SoCとして図示及び記述されているが、インフォテインメント・システムは、SoCでなくてもよく、2個以上の個別の構成要素を含み得る。インフォテインメントSoC730は、オーディオ(たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など)、ビデオ(たとえば、TV、映画、ストリーミングなど)、電話(たとえば、ハンズフリー通話)、ネットワーク接続(たとえば、LTE、Wi-Fiなど)、及び/又は情報サービス(たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける/閉じる、エア・フィルタ情報などの移動車関連情報)を移動車700に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントSoC730は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、USB及びブルートゥース(登録商標)接続、カーピュータ、車内エンターテインメント、Wi-Fi、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ(HUD:heads-up display)、HMIディスプレイ734、テレマティックス・デバイス、制御パネル(たとえば、様々な構成要素、特徴、及び/又はシステムを制御する及び/又はこれと相互に作用するための)、及び/又は他の構成要素でもよい。インフォテインメントSoC730は、ADASシステム738からの情報、計画された移動車操作などの自律運転情報、軌道、周囲環境情報(たとえば、交差点情報、移動車情報、道路情報など)、及び/又は他の情報など、移動車のユーザへの情報(たとえば、視覚的及び/又は可聴式の)を提供するためにさらに使用され得る。
インフォテインメントSoC730は、GPU機能性を含み得る。インフォテインメントSoC730は、バス702(たとえば、CANバス、イーサネット(登録商標)など)を介して、移動車700の他のデバイス、システム、及び/又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのGPUが、1次的コントローラ736(たとえば、移動車700の1次的及び/又はバックアップ・コンピュータ)が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントSoC730は、監督MCUに連結され得る。そのような実例では、インフォテインメントSoC730は、本明細書に記載のように、移動車700をショーファーの安全停止モードにすることができる。
移動車700は、計器群732(たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど)をさらに含み得る。計器群732は、コントローラ及び/又はスーパーコンピュータ(たとえば、個別のコントローラ又はスーパーコンピュータ)を含み得る。計器群732は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ(SRS)システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、1セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントSoC730及び計器群732の間で表示及び/又は共有され得る。言い換えれば、計器群732は、インフォテインメントSoC730の一部として含まれてもよく、逆もまた同様である。
図7Dは、本開示のいくつかの実施例による、図7Aのクラウドベースのサーバと例示的自律型車両700との間の通信のシステム図である。システム776は、サーバ778、ネットワーク790、及び、移動車700を含む移動車を含み得る。サーバ778は、複数のGPU784(A)~784(H)(本明細書でGPU784と総称される)、PCIeスイッチ782(A)~782(H)(本明細書でPCIeスイッチ782と総称される)、及び/又はCPU780(A)~780(B)(本明細書でCPU780と総称される)を含み得る。GPU784、CPU780、及びPCIeスイッチは、たとえば、NVIDIAによって開発されたNVLinkインターフェース788及び/又はPCIe接続786などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、GPU784は、NVLink及び/又はNVSwitch SoCを介して接続され、GPU784及びPCIeスイッチ782は、PCIe相互接続を介して接続される。8個のGPU784、2個のCPU780、及び2個のPCIeスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ778は、任意の数のGPU784、CPU780、及び/又はPCIeスイッチを含み得る。たとえば、サーバ778は、それぞれ、8個、16個、32個、及び/又はそれ以上のGPU784を含み得る。
サーバ778は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク790を介して、移動車から、受信することができる。サーバ778は、ニューラル・ネットワーク792、更新されたニューラル・ネットワーク792、及び/又は、交通及び道路状態に関する情報を含むマップ情報794をネットワーク790を介して移動車に送信することができる。マップ情報794の更新は、建設現場、くぼみ、迂回路、洪水、及び/又は他の障害物に関する情報など、HDマップ722の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク792、更新されたニューラル・ネットワーク792、及び/又はマップ情報794は、環境において任意の数の移動車から受信されたデータにおいて表された新しいトレーニング及び/又は経験から、及び/又は(たとえば、サーバ778及び/又は他のサーバを使用する)データ・センタにおいて実行されたトレーニングに基づいて生じた可能性がある。
サーバ778は、トレーニング・データに基づいてマシン学習モデル(たとえば、ニューラル・ネットワーク)をトレーニングするために使用され得る。トレーニング・データは、移動車によって生成され得る、及び/又は(たとえば、ゲーム・エンジンを使用して)シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる(たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合)及び/又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び/又は事前処理されない(たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合)。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の1つ又は複数のクラスのマシン学習技法に従って、実行され得る:監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習(主要構成要素及びクラスタ分析を含む)、マルチ線形部分空間学習、多様体学習、表現学習(予備辞書学習を含む)、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、移動車によって使用され得(たとえば、ネットワーク790を介して移動車に送信される)、及び/又は、マシン学習モデルは、移動車を遠隔監視するために、サーバ778によって使用され得る。
いくつかの実例では、サーバ778は、移動車からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ778は、NVIDIAによって開発されたDGX及びDGXステーション・マシンなど、GPU784によって電力供給される深層学習スーパーコンピュータ及び/又は専用のAIコンピュータを含み得る。しかしながら、一部の実例では、サーバ778は、CPU電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。
サーバ778の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して移動車700内のプロセッサ、ソフトウェア、及び/又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、移動車700がそのシーケンスの画像内に位置したシーケンスの画像及び/又は物体など、移動車700からの定期的更新を受信することができる(たとえば、コンピュータ・ビジョン及び/又は他のマシン学習物体分類技法を介して)。深層学習インフラストラクチャは、物体を識別し、移動車700によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、移動車700内のAIは正常に機能していないという結論を下した場合、サーバ778は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように移動車700のフェイルセーフ・コンピュータに命じる移動車700への信号を送信することができる。
推論のために、サーバ778は、GPU784及び1つ又は複数のプログラマブル推論加速装置(たとえば、NVIDIAのTensorRT)を含み得る。GPU電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、CPU、FPGA、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。
例示的計算デバイス
図8は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス800の一実例のブロック図である。計算デバイス800は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム802を含み得る:メモリ804、1つ又は複数の中央処理装置(CPU)806、1つ又は複数のグラフィック処理ユニット(GPU)808、通信インターフェース810、入力/出力(I/O)ポート812、入力/出力構成要素814、電力供給装置816、1つ又は複数の提示構成要素818(たとえば、ディスプレイ)、及び1つ又は複数の論理ユニット820。少なくとも1つの実施例において、計算デバイス800は、1つ又は複数の仮想マシン(VM)を含み得る、及び/又は、その構成要素のいずれかは、仮想構成要素(たとえば、仮想ハードウェア構成要素)を含み得る。非限定的実例として、GPU808のうちの1つ又は複数は、1つ又は複数のvGPUを含み得、CPU806のうちの1つ又は複数は、1つ又は複数のvCPUを含み得、及び/又は、論理ユニット820のうちの1つ又は複数は、1つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス800は、個別の構成要素(たとえば、計算デバイス800専用の全GPU)、仮想構成要素(たとえば、計算デバイス800専用のGPUの一部分)、又はその組合せを含み得る。
図8は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス800の一実例のブロック図である。計算デバイス800は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム802を含み得る:メモリ804、1つ又は複数の中央処理装置(CPU)806、1つ又は複数のグラフィック処理ユニット(GPU)808、通信インターフェース810、入力/出力(I/O)ポート812、入力/出力構成要素814、電力供給装置816、1つ又は複数の提示構成要素818(たとえば、ディスプレイ)、及び1つ又は複数の論理ユニット820。少なくとも1つの実施例において、計算デバイス800は、1つ又は複数の仮想マシン(VM)を含み得る、及び/又は、その構成要素のいずれかは、仮想構成要素(たとえば、仮想ハードウェア構成要素)を含み得る。非限定的実例として、GPU808のうちの1つ又は複数は、1つ又は複数のvGPUを含み得、CPU806のうちの1つ又は複数は、1つ又は複数のvCPUを含み得、及び/又は、論理ユニット820のうちの1つ又は複数は、1つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス800は、個別の構成要素(たとえば、計算デバイス800専用の全GPU)、仮想構成要素(たとえば、計算デバイス800専用のGPUの一部分)、又はその組合せを含み得る。
図8の様々なブロックは、線で相互接続システム802を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素818は、I/O構成要素814と考えられ得る(たとえば、ディスプレイがタッチ・スクリーンである場合)。別の実例として、CPU806及び/又はGPU808はメモリを含み得る(たとえば、メモリ804は、GPU808、CPU806、及び/又は他の構成要素のメモリに加えた記憶デバイスを表し得る)。言い換えれば、図8の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット(ECU:electronic control unit)」、「仮想現実システム」、及び/又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図8の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。
相互接続システム802は、1つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム802は、1つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ(ISA:industry standard architecture)バス、拡張業界標準アーキテクチャ(EISA:extended industry standard architecture)バス、VESA(video electronics standards association)バス、周辺構成要素相互接続(PCI:peripheral component interconnect)バス、周辺構成要素相互接続エクスプレス(PCIe:peripheral component interconnect express)バス、及び/又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、CPU806は、メモリ804に直接接続され得る。さらに、CPU806は、GPU808に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム802は、接続を実施するためのPCIeリンクを含み得る。これらの実例では、PCIバスは、計算デバイス800に含まれる必要はない。
メモリ804は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス800によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び/又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び/又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ804は、オペレーティング・システムなど、(たとえば、プログラム及び/又はプログラム要素を表す)コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリ又は他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD:digital versatile disk)又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス800によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。
コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び/又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの1つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、RF、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
CPU806は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス800の1つ又は複数の構成要素を制御して本明細書に記載の方法及び/又はプロセスのうちの1つ又は複数を実行するように構成され得る。CPU806は、多数のソフトウェア・スレッドを同時に処理する能力を有する1つ又は複数の(たとえば、1個、2個、4個、8個、28個、72個などの)コアをそれぞれ含み得る。CPU806は、任意のタイプのプロセッサを含み得、実装された計算デバイス800のタイプに応じて、異なるタイプのプロセッサを含み得る(たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ)。たとえば、計算デバイス800のタイプに応じて、プロセッサは、縮小命令セット計算(RISC:Reduced Instruction Set Computing)を使用して実装されたAdvanced RISC Machines(ARM)プロセッサ、又は複合命令セット計算(CISC:Complex Instruction Set Computing)を使用して実装されたx86プロセッサでもよい。計算デバイス800は、計算コプロセッサなど、1つ又は複数のマイクロプロセッサ又は補助コプロセッサ内の1つ又は複数のCPU806を含み得る。
CPU806に加えて又はその代わりに、GPU808は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス800の1つ又は複数の構成要素を制御して本明細書に記載の方法及び/又はプロセスのうちの1つ又は複数を実行するように構成され得る。GPU808のうちの1つ若しくは複数は、統合されたGPU(たとえば、CPU806のうちの1つ又は複数とでもよく、及び/又はGPU808のうちの1つ若しくは複数は、離散GPUでもよい。実施例では、GPU808のうちの1つ又は複数は、CPU806のうちの1つ又は複数のコプロセッサでもよい。GPU808は、グラフィックス(たとえば、3Dグラフィックス)をレンダリングする又は汎用計算を実行するために、計算デバイス800によって使用され得る。たとえば、GPU808は、GPUによる汎用計算(GPGPU:General-Purpose computing on GPU)のために使用され得る。GPU808は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。GPU808は、レンダリング・コマンド(たとえば、ホスト・インターフェースを介して受信されたCPU806からのレンダリング・コマンド)に応答して、出力画像のための画素データを生成することができる。GPU808は、画素データ又は任意の他の適切なデータ、たとえばGPGPUデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ804の一部として含まれ得る。GPU808は、並行して動作する(たとえば、リンクを介して)2個以上のGPUを含み得る。リンクは、GPUに直接接続することができ(たとえば、NVLINKを使用して)、又はスイッチを介して(たとえば、NVSwitchを使用して)GPUを接続することができる。ともに結合されるとき、各GPU808は、出力の異なる部分の又は異なる出力の画素データ又はGPGPUデータ(たとえば、第1の画像の第1のGPU及び第2の画像の第2のGPU)を生成することができる。各GPUは、独自のメモリを含むことができ、又は他のGPUとメモリを共有することができる。
CPU806及び/又はGPU808に加えて又はその代わりに、論理ユニット820は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス800のうちの1つ又は複数を制御して本明細書に記載の方法及び/又はプロセスのうちの1つ又は複数を実行するように構成され得る。実施例では、CPU806、GPU808、及び/又は論理ユニット820は、方法、プロセス及び/又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット820のうちの1つ若しくは複数は、CPU806及び/若しくはGPU808のうちの1つ若しくは複数の一部でもよく及び/又はそこで統合されてもよく、及び/又は、論理ユニット820のうちの1つ若しくは複数は、CPU806及び/若しくはGPU808に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット820のうちの1つ又は複数は、CPU806のうちの1つ若しくは複数及び/又はGPU808のうちの1つ若しくは複数のコプロセッサでもよい。
論理ユニット820の実例は、1つ又は複数の処理コア及び/又はその構成要素、たとえば、データ処理ユニット(DPU:Data Processing Unit)、テンソル・コア(TC:Tensor Core)、テンソル処理ユニット(TPU:Tensor Processing Unit)、画素ビジュアル・コア(PVC:Pixel Visual Core)、ビジョン処理ユニット(VPU:Vision Processing Unit)、グラフィックス処理クラスタ(GPC:Graphics Processing Cluster)、テクスチャ処理クラスタ(TPC:Texture Processing Cluster)、ストリーミング・マルチプロセッサ(SM:Streaming Multiprocessor)、木の走査ユニット(TTU:Tree Traversal Unit)、人工知能加速装置(AIA:Artificial Intelligence Accelerator)、深層学習加速装置(DLA:Deep Learning Accelerator)、論理演算ユニット(ALU)、特定用途向け集積回路(ASIC)、浮動小数点演算ユニット(FPU)、入力/出力(I/O)エレメント、周辺構成要素相互接続(PCI)又は周辺構成要素相互接続エクスプレス(PCIe)エレメント、及び/又は同類のもの、を含む。
通信インターフェース810は、ワイヤード及び/又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス800が他の計算デバイスと通信することを可能にする、1つ又は複数のレシーバ、トランスミッタ、及び/又はトランシーバを含み得る。通信インターフェース810は、ワイヤレス・ネットワーク(たとえば、Wi-Fi、Z-Wave、ブルートゥース(登録商標)、ブルートゥース(登録商標)LE、ZigBeeなど)、ワイヤード・ネットワーク(たとえば、イーサネット(登録商標)又はInfiniBandを介して通信すること)、低電力ワイド・エリア・ネットワーク(たとえば、LoRaWAN、SigFoxなど)、及び/又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。1つ又は複数の実施例において、論理ユニット820及び/又は通信インターフェース810は、ネットワークを介して及び/又は相互接続システム802を通して受信されるデータを1つ又は複数のGPU808(たとえば、そのメモリ)に直接に送信するために1つ又は複数のデータ処理装置(DPU)を含み得る。
I/Oポート812は、そのうちのいくつかは計算デバイス800に内蔵(たとえば、統合)され得る、I/O構成要素814、提示構成要素818、及び/又は他の構成要素を含む、他のデバイスに計算デバイス800が論理的に連結されることを可能にすることができる。例示的なI/O構成要素814は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。I/O構成要素814は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース(NUI:natural user interface)を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。NUIは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス800のディスプレイに関連するタッチ認識(さらに詳しく後述するような)の任意の組合せを実装し得る。計算デバイス800は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、RGBカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス800は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る(たとえば、慣性測定ユニット(IMU:inertia measurement unit)の一部として)。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス800によって使用され得る。
電力供給装置816は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置816は、計算デバイス800の構成要素が動作することを可能にするために計算デバイス800に電力を提供することができる。
提示構成要素818は、ディスプレイ(たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置(HUD)、他のディスプレイタイプ、又はその組合せ)、スピーカ、及び/又は他の提示構成要素を含み得る。提示構成要素818は、他の構成要素(たとえば、GPU808、CPU806、DPUなど)からデータを受信し、データを(たとえば、画像、ビデオ、音響などとして)出力することができる。
例示的データ・センタ
図9は、本開示の少なくとも1つの実施例において使用され得る例示的データ・センタ900を示す。データ・センタ900は、データ・センタ・インフラストラクチャ層910、フレームワーク層920、ソフトウェア層930、及び/又はアプリケーション層940を含み得る。
図9は、本開示の少なくとも1つの実施例において使用され得る例示的データ・センタ900を示す。データ・センタ900は、データ・センタ・インフラストラクチャ層910、フレームワーク層920、ソフトウェア層930、及び/又はアプリケーション層940を含み得る。
図9に示すように、データ・センタ・インフラストラクチャ層910は、資源オーケストレータ912、グループ化された計算資源914、及びノード計算資源(「ノードC.R.」)916(1)~916(N)を含み得、そこで、「N」は、任意の整数の、自然数を表す。少なくとも1つの実施例において、ノードC.R.916(1)~916(N)は、任意の数の中央処理装置(CPU)又は他のプロセッサ(DPU、加速装置、フィールド・プログラマブル・ゲート・アレイ(FPGA)、グラフィックス・プロセッサ若しくはグラフィックス・プロセッシング・ユニット(GPU)などを含む)、メモリ・デバイス(たとえば、動的リード・オンリ・メモリ)、記憶デバイス(たとえば、ソリッドステート若しくはディスク・ドライブ)、ネットワーク入力/出力(NW I/O)デバイス、ネットワーク・スイッチ、仮想マシン(VM)、電力モジュール、及び/又は冷却モジュールなどを含み得るが、これらに限定されない。いくつかの実施例において、ノードC.R.916(1)~916(N)のうちの1つ又は複数のノードC.R.は、前述の計算資源のうちの1つ又は複数を有するサーバに対応し得る。加えて、いくつかの実施例において、ノードC.R.916(1)~9161(N)は、1つ若しくは複数の仮想構成要素、たとえば、vGPU、vCPU、及び/若しくは同類のもの、を含み得る、並びに/又は、ノードC.R.916(1)~916(N)のうちの1つ若しくは複数は、仮想マシン(VM)に対応し得る。
少なくとも1つの実施例において、グループ化された計算資源914は、1つ又は複数のラック(図示せず)内に収容された別個のグループのノードC.R.916、或いは様々な地理的場所(やはり図示せず)にあるデータ・センタに収容された多数のラックを含み得る。グループ化された計算資源914内の別個のグループのノードC.R.916は、1つ又は複数のワークロードをサポートするように構成する又は割り当てることができる、グループ化された計算、ネットワーク、メモリ又はストレージ資源を含み得る。少なくとも1つの実施例において、CPU、GPU、DPU、及び/又は他のプロセッサを含むいくつかのノードC.R.916は、1つ又は複数のワークロードをサポートするための計算資源を提供するために、1つ又は複数のラック内にグループ化され得る。1つ又は複数のラックはまた、任意の組合せで、任意の数の電力モジュール、冷却モジュール、及び/又はネットワーク・スイッチを含み得る。
資源オーケストレータ912は、1つ若しくは複数のノードC.R.916(1)~916(N)及び/又はグループ化された計算資源914を構成又は他の方法で制御することができる。少なくとも1つの実施例において、資源オーケストレータ912は、データ・センタ900のソフトウェア設計インフラストラクチャ(「SDI」)管理エンティティを含み得る。資源オーケストレータ912は、ハードウェア、ソフトウェア、又はその何らかの組合せを含み得る。
少なくとも1つの実施例において、図9に示すように、フレームワーク層920は、ジョブ・スケジューラ932、構成マネージャ934、資源マネージャ936、及び/又は分散型ファイル・システム938を含み得る。フレームワーク層920は、ソフトウェア層930のソフトウェア932及び/又はアプリケーション層940の1つ若しくは複数のアプリケーション942をサポートするためにフレームワークを含み得る。ソフトウェア932又はアプリケーション942は、ウェブベースのサービス・ソフトウェア又はアプリケーション、たとえば、アマゾン・ウェブ・サービス、グーグル・クラウド及びMicrosoft Azureによって提供されるもの、をそれぞれ含み得る。フレームワーク層920は、大規模データ処理(たとえば、「ビッグ・データ」)のための分散型ファイル・システム938を使用し得るApache Spark(商標)(以下「Spark」)などのフリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。少なくとも1つの実施例において、ジョブ・スケジューラ932は、データ・センタ900の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Sparkドライバを含み得る。構成マネージャ934は、異なる層、たとえば、ソフトウェア層930と、大規模データ処理をサポートするためのSpark及び分散型ファイル・システム938を含むフレームワーク層920、を構成する能力を有し得る。資源マネージャ936は、分散型ファイル・システム938及びジョブ・スケジューラ932のサポートのためにマップされた又は割り当てられたクラスタ化された又はグループ化された計算資源を管理する能力を有し得る。少なくとも1つの実施例において、クラスタ化された又はグループ化された計算資源は、データ・センタ・インフラストラクチャ層910にグループ化された計算資源914を含み得る。資源マネージャ936は、資源オーケストレータ912と調整して、これらのマップされた又は割り当てられた計算資源を管理することができる。
少なくとも1つの実施例において、ソフトウェア層930に含まれるソフトウェア932は、ノードC.R.916(1)~916(N)の少なくとも部分、グループ化された計算資源914、及び/又はフレームワーク層920の分散型ファイル・システム938によって使用されるソフトウェアを含み得る。1つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含み得るが、これらに限定されない。
少なくとも1つの実施例において、アプリケーション層940に含まれるアプリケーション942は、ノードC.R.916(1)~916(N)の少なくとも部分、グループ化された計算資源914、及び/又はフレームワーク層920の分散型ファイル・システム938によって使用される1つ又は複数のタイプのアプリケーションを含み得る。1つ又は複数のタイプのアプリケーションは、任意の数のゲノミクス・アプリケーション、認知計算、並びに、トレーニング若しくは推論ソフトウェア、マシン学習フレームワーク・ソフトウェア(たとえば、PyTorch、TensorFlow、Caffeなど)、及び/又は1つ若しくは複数の実施例と併せて使用される他のマシン学習アプリケーションを含む、マシン学習アプリケーションを含み得るが、これらに限定されない。
少なくとも1つの実施例において、構成マネージャ934、資源マネージャ936、及び資源オーケストレータ912のうちのいずれかは、任意の技術的に可能な方式で取得される任意の量及びタイプのデータに基づいて任意の数及びタイプの自己書換え型アクションを実装することができる。自己書換え型アクションは、よくない可能性のある構成決定を行うこと並びにデータ・センタの十分に活用されていない及び/又は実行の不十分な部分を恐らく回避することからデータ・センタ900のデータ・センタ・オペレータを解放し得る。
データ・センタ900は、1つ又は複数のマシン学習モデルをトレーニングする或いは本明細書に記載の1つ又は複数の実施例による1つ又は複数のマシン学習モデルを使用して情報を予測する又は推論するために、ツール、サービス、ソフトウェア或いは他の資源を含み得る。たとえば、マシン学習モデルは、データ・センタ900に関して前述されたソフトウェア及び/又は計算資源を使用するニューラル・ネットワーク・アーキテクチャによる重量パラメータの計算によって、トレーニングされ得る。少なくとも1つの実施例において、1つ又は複数のニューラル・ネットワークに対応するトレーニングされた又は配備されたマシン学習モデルは、たとえば、本明細書に記載のものに限定されない、1つ又は複数のトレーニング技法を介して計算された重量パラメータを使用することによって、データ・センタ900に関して前述された資源を使用して情報を推論又は予測するために使用され得る。
少なくとも1つの実施例において、データ・センタ900は、前述の資源を使用するトレーニング及び/又は推論の実行のために、CPU、特定用途向け集積回路(ASIC)、GPU、FPGA、及び/又は他のハードウェア(若しくはそれに対応する仮想計算資源)を使用することができる。さらに、前述の1つ又は複数のソフトウェア及び/又はハードウェア資源は、情報の推論をユーザがトレーニング又は実行することを可能にするためのサービス、たとえば、画像認識、音声認識、又は他の人工知能サービス、として構成され得る。
例示的ネットワーク環境
本開示の実施例の実装において使用するのに適したネットワーク環境は、1つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ(NAS:network attached storage)、他のバックエンド・デバイス、及び/又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び/又は他のデバイス・タイプ(たとえば、各デバイス)は、図8の計算デバイス800の1つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス800の類似の構成要素、特徴、及び/又は機能性を含み得る。加えて、バックエンド・デバイス(たとえば、サーバ、NASなど)が、実装される場合、バックエンド・デバイスは、データ・センタ900の一部として含まれ得、その実例は、図9に関して本明細書でさらに詳述される。
本開示の実施例の実装において使用するのに適したネットワーク環境は、1つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ(NAS:network attached storage)、他のバックエンド・デバイス、及び/又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び/又は他のデバイス・タイプ(たとえば、各デバイス)は、図8の計算デバイス800の1つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス800の類似の構成要素、特徴、及び/又は機能性を含み得る。加えて、バックエンド・デバイス(たとえば、サーバ、NASなど)が、実装される場合、バックエンド・デバイスは、データ・センタ900の一部として含まれ得、その実例は、図9に関して本明細書でさらに詳述される。
ネットワーク環境の構成要素は、ワイヤード、ワイヤレス、又はその両方でもよい、ネットワークを介して互いに通信し得る。ネットワークは、複数のネットワーク、又はネットワークのネットワークを含み得る。実例として、ネットワークは、1つ若しくは複数のワイド・エリア・ネットワーク(WAN)、1つ若しくは複数のローカル・エリア・ネットワーク(LAN)、1つ若しくは複数のパブリック・ネットワーク、たとえば、インターネット及び/若しくは公衆交換電話網(PSTN)、並びに/又は1つ若しくは複数のプライベート・ネットワークを含み得る。ネットワークが、ワイヤレス電気通信ネットワークを含む場合、構成要素、たとえば、基地局、通信塔、或いはアクセス・ポイント(並びに他の構成要素)、は、ワイヤレス接続を提供し得る。
互換性のあるネットワーク環境は、1つ又は複数のピア・ツー・ピア・ネットワーク環境(その場合、サーバはネットワーク環境に含まれないことがある)と、1つ又は複数のクライアント・サーバ・ネットワーク環境(その場合、1つ又は複数のサーバがネットワーク環境に含まれ得る)とを含み得る。ピア・ツー・ピア・ネットワーク環境では、サーバに関して本明細書に記載した機能性は、任意の数のクライアント・デバイスで実装され得る。
少なくとも1つの実施例において、ネットワーク環境は、1つ又は複数のクラウドベースのネットワーク環境、分散型計算環境、その組合せなどを含み得る。クラウドベースのネットワーク環境は、フレームワーク層、ジョブ・スケジューラ、資源マネージャ、並びに、1つ若しくは複数のコア・ネットワーク・サーバ及び/又はエッジ・サーバを含み得る、サーバのうちの1つ又は複数で実装された分散型ファイル・システムを含み得る。フレームワーク層は、ソフトウェア層のソフトウェア及び/又はアプリケーション層の1つ若しくは複数のアプリケーションをサポートするために、フレームワークを含み得る。ソフトウェア又はアプリケーションは、それぞれ、ウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。実施例において、クライアント・デバイスのうちの1つ又は複数は、ウェブベースのサービス・ソフトウェア又はアプリケーションを使用し得る(たとえば、1つ又は複数のアプリケーション・プログラミング・インターフェース(API)を介してサービス・ソフトウェア及び/又はアプリケーションにアクセスすることによって)。フレームワーク層は、たとえば大規模データ処理(たとえば、「ビッグ・データ」)のための分散型ファイル・システムを使用し得る、フリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。
クラウドベースのネットワーク環境は、本明細書に記載の計算及び/又はデータ・ストレージ機能(又は1つ若しくは複数のその部分)の任意の組合せを実施するクラウド計算及び/又はクラウド・ストレージを提供し得る。これらの様々な機能のいずれも、セントラル又はコア・サーバ(たとえば、州、領域、国、世界にわたって分散され得る1つ又は複数のデータ・センタなどの)から複数の場所に分散され得る。ユーザ(たとえば、クライアント・デバイス)への接続が、エッジ・サーバに比較的近い場合、コア・サーバは、機能性の少なくとも一部分をエッジ・サーバに任じ得る。クラウドベースのネットワーク環境は、プライベート(たとえば、単一の組織に制限される)でもよく、パブリック(たとえば、多数の組織に利用可能)、及び/又はその組合せ(たとえば、ハイブリッド・クラウド環境)でもよい。
クライアント・デバイスは、図8に関して本明細書に記載の例示的計算デバイス800の構成要素、特徴、及び機能性のうちの少なくともいくつかを含み得る。実例として、及び制限ではなく、クライアント・デバイスは、パーソナル・コンピュータ(PC)、ラップトップ・コンピュータ、モバイル・デバイス、スマートフォン、タブレット・コンピュータ、スマート・ウォッチ、ウェアラブル・コンピュータ、パーソナル・デジタル・アシスタント(PDA)、MP3プレイヤ、仮想現実ヘッドセット、全地球測位システム(GPS)又はデバイス、ビデオ・プレイヤ、ビデオカメラ、監視デバイス又はシステム、車両、ボート、飛行船、仮想マシン、ドローン、ロボット、ハンドヘルド通信デバイス、病院デバイス、ゲーミング・デバイス又はシステム、娯楽システム、車両コンピュータ・システム、組み込み型システム・コントローラ、リモート制御、器具、民生用電子デバイス、ワークステーション、エッジ・デバイス、これらの描写されたデバイスの任意の組合せ、或いは任意の他の適切なデバイスとして実施され得る。
本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。
本明細書では、2個以上の要素に関する「及び/又は」の記述は、1つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素A、要素B、及び/又は要素C」は、要素Aのみ、要素Bのみ、要素Cのみ、要素A及び要素B、要素A及び要素C、要素B及び要素C、或いは、要素A、B、及びCを含み得る。加えて、「要素A又は要素Bのうちの少なくとも1つ」は、要素Aの少なくとも1つ、要素Bの少なくとも1つ、或いは、要素Aの少なくとも1つ及び要素Bの少なくとも1つを含み得る。さらに、「要素A及び要素Bのうちの少なくとも1つ」は、要素Aのうちの少なくとも1つ、要素Bのうちの少なくとも1つ、或いは、要素Aのうちの少なくとも1つ及び要素Bのうちの少なくとも1つを含み得る。
本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び/又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。
Claims (20)
- 動作を実行するための1つ又は複数の処理装置を備え、前記動作が、
1つ又は複数のカメラを使用して生成された画像データを受信することであって、前記画像データが、車両の1つ又は複数のヘッドライトによって照らされた1つ又は複数の物体を描写する1つ又は複数の画像を表す、受信することと、
前記1つ又は複数の画像において描写された前記1つ又は複数の物体に対応する1つ又は複数の画素の1つ又は複数のコントラスト値を、前記画像データを使用して計算することと、
前記1つ又は複数の物体に対応する前記画素の前記コントラスト値に少なくとも基づいて前記1つ又は複数のヘッドライトの1つ又は複数のパラメータを前記車両に調節させるためのデータを送信することとを含む、システム。 - 前記1つ又は複数のヘッドライトのうちの1つのヘッドライトが、複数の照明要素を含み、前記データを前記送信することが、前記複数の照明要素のうちの少なくとも1つの照明要素の調節を引き起こす、請求項1に記載のシステム。
- 前記1つ又は複数の物体に対応する前記1つ又は複数の画素の前記1つ又は複数のコントラスト値が、グローバル基準輝度値に対して計算される、請求項1に記載のシステム。
- 前記1つ又は複数の物体に対応する前記1つ又は複数の画素の前記1つ又は複数のコントラスト値が、前記1つ又は複数の物体に対応する前記画素のうちの前記1つ又は複数への近接度に少なくとも基づいて選択される画素のセットに対して計算される、請求項1に記載のシステム。
- 前記1つ又は複数の物体に対応する前記1つ又は複数の画素の前記1つ又は複数のコントラスト値が、少なくとも1つの画像の1つ又は複数のチャネルに記憶される、請求項1に記載のシステム。
- 閾値を満たすコントラスト値を有する前記1つ又は複数の物体に対応する前記1つ又は複数の画素の数量を判定することをさらに含み、前記1つ又は複数のヘッドライトの前記1つ又は複数のパラメータを前記車両に調節させるための前記データを送信することが、前記画素の前記数量に少なくとも基づく、請求項1に記載のシステム。
- 前記1つ又は複数のヘッドライトの前記1つ又は複数のパラメータを前記車両に調節させるための前記データを送信することが、前記コントラスト値を計算するために使用される基準輝度値に対応する閾値と前記1つ又は複数のコントラスト値を比較することに少なくとも基づく、請求項1に記載のシステム。
- 前記1つ又は複数の画素を最小サイズ閾値と比較することをさらに含み、前記1つ又は複数のヘッドライトの前記1つ又は複数のパラメータを前記車両に調節させるための前記データを送信することが、前記最小サイズ閾値を超える前記画素に少なくとも基づく、請求項1に記載のシステム。
- 前記1つ又は複数の画素によって占められる画像の領域の1つ又は複数の次元を判定することをさらに含み、前記1つ又は複数のヘッドライトの前記1つ又は複数のパラメータを前記車両に調節させるための前記データを送信することが、前記最小サイズ閾値を超える前記1つ又は複数の次元に少なくとも基づき、前記最小サイズ閾値が、前記画像の1つ又は複数の次元のパーセンテージとして計算される、請求項1に記載のシステム。
- 1つ又は複数のカメラを使用して生成された画像データを受信するステップであって、前記画像データが、環境内のマシンに関連する1つ又は複数の視界を描写する1つ又は複数の画像を表す、受信するステップと、
前記1つ又は複数の視界において1つ又は複数の物体を検出するステップと、
前記1つ又は複数の物体の前記検出に少なくとも基づいて、前記1つ又は複数の物体に対応する関心領域を、前記1つ又は複数の画像内で決定するステップと、
前記1つ又は複数の画像内の1つ又は複数の画素の1つ又は複数のコントラスト値を、前記画像データを使用して計算するステップと、
前記関心領域に対応する前記1つ又は複数のコントラスト値からのコントラスト値のセットを分析するステップと、
コントラスト値の前記セットの前記分析に少なくとも基づいて1つ又は複数の動作を前記マシンに実行させるためのデータを送信するステップとを含む、方法。 - 前記1つ又は複数の視界において前記1つ又は複数の物体を前記検出するステップが、前記1つ又は複数の画像において前記関心領域を識別するステップを含む、請求項10に記載の方法。
- 前記1つ又は複数の視界において前記1つ又は複数の物体を前記検出するステップが、前記1つ又は複数の物体の1つ又は複数の位置を推論するようにトレーニングされたマシン学習モデルに前記1つ又は複数の画像を適用するステップを含み、前記領域が、前記1つ又は複数の位置に対応する、請求項10に記載の方法。
- 前記データを前記送信するステップが、前記マシンを使用して操作される複数の照明要素のうちの1つの照明要素への修正を引き起こす、請求項10に記載の方法。
- 前記コントラスト値の前記セットを前記分析することが、閾値を満たすコントラスト値を有する前記関心領域内の前記画素の数量を判定するステップを含む、請求項10に記載の方法。
- マシンの1つ又は複数のカメラを使用して生成された画像データを受信することと、前記画像データによって表された1つ又は複数の画像内の画素のコントラスト値を計算することと、前記1つ又は複数の画像において検出された1つ又は複数の物体に対応する前記コントラスト値のセットを分析することに少なくとも基づいて1つ又は複数の動作を前記マシンに実行させるためのデータを送信することとを行うための1つ又は複数の回路を含む、プロセッサ。
- 前記コントラスト値の前記セットが、前記1つ又は複数の画像内の前記1つ又は複数の物体の1つ又は複数の境界形状に対応する、請求項15に記載のプロセッサ。
- 前記1つ又は複数の動作が、前記マシンの1つ又は複数のヘッドライトの複数の照明要素のうちの1つの照明要素を修正することを含む、請求項15に記載のプロセッサ。
- 前記分析することが、閾値を満たす前記コントラスト値の前記セットの数量を判定することを含み、前記1つ又は複数の動作を前記マシンに前記実行させることが、前記数量に少なくとも基づく、請求項15に記載のプロセッサ。
- 前記コントラスト値の前記セット内の前記コントラスト値が、前記コントラスト値の前記セットに対応する前記画素のうちの1つ又は複数への近接度に少なくとも基づいて選択される前記画素のセットに対して計算される、請求項15に記載のプロセッサ。
- 前記プロセッサが、
自律又は半自律マシンの制御システム、
自律又は半自律マシンの認知システム、
シミュレーション動作を実行するためのシステム、
深層学習動作を実行するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
ロボットを使用して実装されるシステム、
1つ又は複数の仮想マシン(VM)を組み込むシステム、
データ・センタにおいて少なくとも部分的に実装されるシステム、又は
クラウド計算資源を使用して少なくとも部分的に実装されるシステム、のうちの少なくとも1つに含まれる、請求項15に記載のプロセッサ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/549,418 | 2021-12-13 | ||
US17/549,418 US20230186593A1 (en) | 2021-12-13 | 2021-12-13 | Glare mitigation using image contrast analysis for autonomous systems and applications |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023087616A true JP2023087616A (ja) | 2023-06-23 |
Family
ID=86498848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022007605A Pending JP2023087616A (ja) | 2021-12-13 | 2022-01-21 | 自律システム及びアプリケーションのための画像コントラスト分析を使用した眩しさ軽減 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230186593A1 (ja) |
JP (1) | JP2023087616A (ja) |
CN (1) | CN116263944A (ja) |
DE (1) | DE102022132478A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102584501B1 (ko) * | 2018-10-05 | 2023-10-04 | 삼성전자주식회사 | 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3215807B1 (en) * | 2014-11-06 | 2020-04-15 | Gentex Corporation | System and method for visibility range detection |
JP6552979B2 (ja) * | 2016-02-16 | 2019-07-31 | 株式会社日立製作所 | 画像処理装置、警告装置、画像処理システム、画像処理方法 |
TWI647828B (zh) * | 2017-07-10 | 2019-01-11 | 海華科技股份有限公司 | 可攜式電子裝置及其影像擷取模組與影像感測組件 |
JP7472136B2 (ja) * | 2019-07-12 | 2024-04-22 | 株式会社小糸製作所 | イメージング装置およびその照明装置、車両、車両用灯具 |
-
2021
- 2021-12-13 US US17/549,418 patent/US20230186593A1/en active Pending
-
2022
- 2022-01-21 JP JP2022007605A patent/JP2023087616A/ja active Pending
- 2022-09-28 CN CN202211193096.9A patent/CN116263944A/zh active Pending
- 2022-12-07 DE DE102022132478.8A patent/DE102022132478A1/de active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116263944A (zh) | 2023-06-16 |
US20230186593A1 (en) | 2023-06-15 |
DE102022132478A1 (de) | 2023-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11508049B2 (en) | Deep neural network processing for sensor blindness detection in autonomous machine applications | |
JP7399164B2 (ja) | 駐車スペース検出に適したスキューされたポリゴンを使用した物体検出 | |
US11995895B2 (en) | Multi-object tracking using correlation filters in video analytics applications | |
US11884294B2 (en) | Lane change planning and control in autonomous machine applications | |
US20240192320A1 (en) | Object detection and detection confidence suitable for autonomous driving | |
JP7424866B2 (ja) | 環境内のオブジェクトのレーン割り当てを決定するための障害物及びレーン検出の活用 | |
CN113139642B (zh) | 在自主驾驶应用中使用神经网络执行故障检测 | |
CN112989914B (zh) | 具有自适应加权输入的注视确定机器学习*** | |
JP2022538813A (ja) | 自律マシン・アプリケーションのための交差点領域検出及び分類 | |
US11841987B2 (en) | Gaze determination using glare as input | |
US20230054759A1 (en) | Object tracking using lidar data for autonomous machine applications | |
US20240059295A1 (en) | Multi-view geometry-based hazard detection for autonomous systems and applications | |
JP2023051713A (ja) | 自律マシン・アプリケーションにおける深層学習を使用する視認距離推定 | |
JP2023071168A (ja) | 自律マシン・アプリケーションのための粒子ベース危険検出 | |
JP2023021910A (ja) | 自律マシン・アプリケーションにおける距離画像マッピングのための信念伝搬 | |
US20230360255A1 (en) | Joint 2d and 3d object tracking for autonomous systems and applications | |
US20230360232A1 (en) | Object tracking and time-to-collision estimation for autonomous systems and applications | |
US20230186593A1 (en) | Glare mitigation using image contrast analysis for autonomous systems and applications | |
JP2023088849A (ja) | 自律型システム及びアプリケーションにおける特徴ディスクリプタ・マッピングを使用した単一及びアクロス・センサ物体追跡 | |
JP2023076393A (ja) | レーダー・ベースの車線変更安全システム | |
EP3850539B1 (en) | Deep neural network processing for sensor blindness detection in autonomous machine applications | |
JP2022117916A (ja) | 自律マシン・アプリケーションのための配備されたディープ・ニューラル・ネットワークのパッチ | |
US20240022601A1 (en) | Detecting identity spoofing attacks in multi-sensor systems and applications | |
US20240161341A1 (en) | Sensor calibration for autonomous systems and applications | |
JP2023082647A (ja) | 自律システム及びアプリケーションのためのカメラベースの入力を使用した深層学習ベースの動作領域検証 |