JP7214873B2 - 自律型車両のセンサデータリポジトリの検索 - Google Patents
自律型車両のセンサデータリポジトリの検索 Download PDFInfo
- Publication number
- JP7214873B2 JP7214873B2 JP2021533733A JP2021533733A JP7214873B2 JP 7214873 B2 JP7214873 B2 JP 7214873B2 JP 2021533733 A JP2021533733 A JP 2021533733A JP 2021533733 A JP2021533733 A JP 2021533733A JP 7214873 B2 JP7214873 B2 JP 7214873B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- samples
- query
- sensor samples
- embedding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 claims description 53
- 238000012549 training Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 31
- 238000010801 machine learning Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 12
- 230000007613 environmental effect Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- Databases & Information Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Medical Informatics (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
Claims (12)
- 1つ以上のコンピュータによって実行される、センササンプルのコレクションを検索するコンピュータ実装方法であって、
センササンプルのコレクションと、各センササンプルに対して、前記センササンプルの1つ以上の埋め込みと、を維持することであって、
前記コレクション内の各センササンプルは、対応する車両によってキャプチャされたセンサデータから生成され、前記対応する車両の近傍の環境領域を特徴付け、
各埋め込みは、入力センササンプルからのデータを処理して、各入力センササンプルのそれぞれの埋め込みを生成するように各々トレーニングされている1つ以上の埋め込みニューラルネットワークのセットからの埋め込みニューラルネットワークを介して、対応する前記センササンプルからのデータを処理することによって生成されている、維持することと、
クエリセンササンプルを指定する要求を受信することであって、前記クエリセンササンプルは、クエリ環境領域を特徴付ける、受信することと、
前記センササンプルのコレクションから、前記クエリ環境領域に類似した環境領域を特徴付ける複数の関連するセンササンプルを識別することであって、
前記セット内の前記埋め込みニューラルネットワークのうちの1つ以上を介して、前記クエリセンササンプルを処理して、1つ以上のクエリ埋め込みを生成することと、
前記コレクション内の前記センササンプルのサブセット内のセンササンプルから、前記クエリ埋め込みの各々に最も近い埋め込みを有する複数のセンササンプルを識別することと、を含む、識別することと、
前記複数の関連するセンササンプルを使用して、機械学習モデルのためのトレーニングデータを生成することと、を含む、方法。 - 前記セット内の前記埋め込みニューラルネットワークの各々を使用して、前記コレクション内の各センササンプルを処理して、前記センササンプルの前記埋め込みを生成することをさらに含む、請求項1に記載の方法。
- 前記複数の関連するセンササンプルの各々に対する視覚的表現を生成することと、
ユーザデバイスでの提示のための前記視覚的表現を提供することと、をさらに含む、請求項1~2のいずれか一項に記載の方法。 - 前記複数の関連するセンササンプルの各々に対する視覚的表現を生成することは、
各関連するセンササンプルに対して、前記関連するセンササンプルの指定された時間ウィンドウ内にキャプチャされた他のセンササンプルを識別することと、
前記他のセンササンプルおよび前記関連するセンササンプルのビデオ表現を生成することと、を含む、請求項3に記載の方法。 - 前記クエリ環境領域は、特定のオブジェクトタイプのオブジェクトを描写するものとして識別されており、前記機械学習モデルは、前記特定のオブジェクトタイプのオブジェクトを描写するものとして、センササンプルを分類するように構成されている機械学習分類器である、請求項1に記載の方法。
- 前記センササンプルのコレクション内の前記センササンプルは、前記センササンプルによって特徴付けられる前記環境領域に位置するオブジェクトのオブジェクトタイプを識別する高レベルの分類に各々関連付けられており、
前記要求は、クエリの高レベルの分類を指定し、
前記サブセットは、前記クエリの高レベル分類に関連付けられている前記コレクション内のセンササンプルのみを含む、請求項1~5のいずれか一項に記載の方法。 - 前記コレクション内の前記センササンプルの前記埋め込みおよび前記クエリ埋め込みは、前記埋め込みニューラルネットワークのパラメータのトレーニングされた値に従って各々生成される、請求項1~6のいずれか一項に記載の方法。
- 各センササンプルは、前記対応する車両の複数のセンサからの測定値を表し、各センサからの前記測定値は、同時に同じ領域を特徴付ける、請求項1~7のいずれか一項に記載の方法。
- 前記クエリ埋め込みに最も近い埋め込みを有する前記複数のセンササンプルは、距離メトリックに従って前記クエリ埋め込みに最も近い前記センササンプルである、請求項1~8のいずれか一項に記載の方法。
- 前記距離メトリックは、ユークリッド距離または余弦類似度である、請求項9に記載の方法。
- 1つ以上のコンピュータによって実行されるときに、前記1つ以上のコンピュータに請求項1~10のいずれか一項に記載の方法のうちのいずれか1つのそれぞれの動作を実行させる命令を記憶する、1つ以上のコンピュータ可読記憶媒体。
- 1つ以上のコンピュータと、1つ以上のコンピュータによって実行されるときに、前記1つ以上のコンピュータに請求項1~11のいずれか一項に記載の方法のうちのいずれか1つのそれぞれの動作を実行させる命令を記憶する1つ以上の記憶デバイスと、を含む、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862784354P | 2018-12-21 | 2018-12-21 | |
US62/784,354 | 2018-12-21 | ||
PCT/US2019/068431 WO2020132693A1 (en) | 2018-12-21 | 2019-12-23 | Searching an autonomous vehicle sensor data repository |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022513839A JP2022513839A (ja) | 2022-02-09 |
JP7214873B2 true JP7214873B2 (ja) | 2023-01-30 |
Family
ID=69374378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021533733A Active JP7214873B2 (ja) | 2018-12-21 | 2019-12-23 | 自律型車両のセンサデータリポジトリの検索 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11861481B2 (ja) |
EP (1) | EP3877911A1 (ja) |
JP (1) | JP7214873B2 (ja) |
CN (1) | CN113366495B (ja) |
WO (1) | WO2020132693A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10678244B2 (en) | 2017-03-23 | 2020-06-09 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
SG11202103493QA (en) | 2018-10-11 | 2021-05-28 | Tesla Inc | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
US11379670B1 (en) * | 2019-09-30 | 2022-07-05 | Splunk, Inc. | Automatically populating responses using artificial intelligence |
US11785735B2 (en) * | 2021-02-19 | 2023-10-10 | CyberSecure IPS, LLC | Intelligent cable patching of racks to facilitate cable installation |
US20230078320A1 (en) * | 2021-09-13 | 2023-03-16 | Ford Global Technologies, Llc | Vehicle guidance |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012234395A (ja) | 2011-05-02 | 2012-11-29 | Nippon Hoso Kyokai <Nhk> | 構図データ生成装置及び構図データ生成プログラム |
WO2017201444A1 (en) | 2016-05-20 | 2017-11-23 | Google Llc | Classifying input examples using a comparison set |
JP2017539023A (ja) | 2015-03-10 | 2017-12-28 | 三菱電機株式会社 | 信号の埋め込みを生成する方法およびシステム |
JP2018128456A (ja) | 2017-02-08 | 2018-08-16 | バイドゥ ユーエスエー エルエルシーBaidu USA LLC | ウォルシュ・カーネル・投影技術に基づく自動運転車両の位置決め |
WO2018154100A1 (en) | 2017-02-24 | 2018-08-30 | Deepmind Technologies Limited | Neural episodic control |
US20180285730A1 (en) | 2017-03-29 | 2018-10-04 | Alibaba Group Holding Limited | Method and apparatus for generating push notifications |
JP2018173946A (ja) | 2017-03-06 | 2018-11-08 | バイドゥ ユーエスエイ エルエルシーBaidu USA LLC | 自動運転車両に用いる畳み込みニューラルネットワークモデルのコンボリューション/デコンボリューション層とバッチ正規化層のオフライン組み合わせ |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9001227B2 (en) * | 2010-04-05 | 2015-04-07 | Qualcomm Incorporated | Combining data from multiple image sensors |
US8918416B1 (en) | 2012-09-19 | 2014-12-23 | Google Inc. | Classifying queries |
US10242112B2 (en) * | 2015-07-15 | 2019-03-26 | Google Llc | Search result filters from resource content |
US11222064B2 (en) * | 2015-12-31 | 2022-01-11 | Ebay Inc. | Generating structured queries from images |
US10706309B2 (en) * | 2016-02-29 | 2020-07-07 | Nec Corporation | Recursive neural networks on future event prediction |
US10037471B2 (en) * | 2016-07-05 | 2018-07-31 | Nauto Global Limited | System and method for image analysis |
US10318827B2 (en) * | 2016-12-19 | 2019-06-11 | Waymo Llc | Object detection neural networks |
US9990687B1 (en) * | 2017-01-19 | 2018-06-05 | Deep Learning Analytics, LLC | Systems and methods for fast and repeatable embedding of high-dimensional data objects using deep learning with power efficient GPU and FPGA-based processing platforms |
US10111043B1 (en) * | 2017-04-24 | 2018-10-23 | Uber Technologies, Inc. | Verifying sensor data using embeddings |
US10739775B2 (en) * | 2017-10-28 | 2020-08-11 | Tusimple, Inc. | System and method for real world autonomous vehicle trajectory simulation |
US10474916B2 (en) * | 2017-11-20 | 2019-11-12 | Ashok Krishnan | Training of vehicles to improve autonomous capabilities |
US11664108B2 (en) * | 2018-11-29 | 2023-05-30 | January, Inc. | Systems, methods, and devices for biophysical modeling and response prediction |
-
2019
- 2019-12-23 JP JP2021533733A patent/JP7214873B2/ja active Active
- 2019-12-23 US US16/726,060 patent/US11861481B2/en active Active
- 2019-12-23 EP EP19845658.4A patent/EP3877911A1/en not_active Withdrawn
- 2019-12-23 CN CN201980084969.2A patent/CN113366495B/zh active Active
- 2019-12-23 WO PCT/US2019/068431 patent/WO2020132693A1/en unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012234395A (ja) | 2011-05-02 | 2012-11-29 | Nippon Hoso Kyokai <Nhk> | 構図データ生成装置及び構図データ生成プログラム |
JP2017539023A (ja) | 2015-03-10 | 2017-12-28 | 三菱電機株式会社 | 信号の埋め込みを生成する方法およびシステム |
WO2017201444A1 (en) | 2016-05-20 | 2017-11-23 | Google Llc | Classifying input examples using a comparison set |
JP2018128456A (ja) | 2017-02-08 | 2018-08-16 | バイドゥ ユーエスエー エルエルシーBaidu USA LLC | ウォルシュ・カーネル・投影技術に基づく自動運転車両の位置決め |
WO2018154100A1 (en) | 2017-02-24 | 2018-08-30 | Deepmind Technologies Limited | Neural episodic control |
JP2018173946A (ja) | 2017-03-06 | 2018-11-08 | バイドゥ ユーエスエイ エルエルシーBaidu USA LLC | 自動運転車両に用いる畳み込みニューラルネットワークモデルのコンボリューション/デコンボリューション層とバッチ正規化層のオフライン組み合わせ |
US20180285730A1 (en) | 2017-03-29 | 2018-10-04 | Alibaba Group Holding Limited | Method and apparatus for generating push notifications |
Also Published As
Publication number | Publication date |
---|---|
US11861481B2 (en) | 2024-01-02 |
CN113366495A (zh) | 2021-09-07 |
WO2020132693A1 (en) | 2020-06-25 |
EP3877911A1 (en) | 2021-09-15 |
JP2022513839A (ja) | 2022-02-09 |
US20200202196A1 (en) | 2020-06-25 |
CN113366495B (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7214873B2 (ja) | 自律型車両のセンサデータリポジトリの検索 | |
JP7254823B2 (ja) | 物体の検出および特徴付けのためのニューラルネットワーク | |
JP7239703B2 (ja) | 領域外コンテキストを用いたオブジェクト分類 | |
US11531894B1 (en) | Neural networks for object detection | |
JP7203224B2 (ja) | 開放された車両ドアを検出するための分類器のトレーニング | |
US20210284184A1 (en) | Learning point cloud augmentation policies | |
US20230409903A1 (en) | Multi-agent simulations | |
US11967103B2 (en) | Multi-modal 3-D pose estimation | |
US20210150349A1 (en) | Multi object tracking using memory attention | |
US20210101614A1 (en) | Spatio-temporal pose/object database | |
US20220164350A1 (en) | Searching an autonomous vehicle sensor data repository based on context embedding | |
US20240135195A1 (en) | Efficient search for data augmentation policies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7214873 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |