JP7258137B2 - 複数フレーム意味信号の高速cnn分類 - Google Patents
複数フレーム意味信号の高速cnn分類 Download PDFInfo
- Publication number
- JP7258137B2 JP7258137B2 JP2021526679A JP2021526679A JP7258137B2 JP 7258137 B2 JP7258137 B2 JP 7258137B2 JP 2021526679 A JP2021526679 A JP 2021526679A JP 2021526679 A JP2021526679 A JP 2021526679A JP 7258137 B2 JP7258137 B2 JP 7258137B2
- Authority
- JP
- Japan
- Prior art keywords
- vectors
- images
- time
- classifier
- sequence images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims description 127
- 230000002123 temporal effect Effects 0.000 claims description 75
- 238000012545 processing Methods 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 58
- 230000004397 blinking Effects 0.000 claims description 46
- 238000013527 convolutional neural network Methods 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 39
- 238000013507 mapping Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000011664 signaling Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 230000001052 transient effect Effects 0.000 claims 1
- 230000015654 memory Effects 0.000 description 26
- 238000013528 artificial neural network Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 21
- 210000002569 neuron Anatomy 0.000 description 14
- 238000012549 training Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 210000004205 output neuron Anatomy 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000002364 input neuron Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000000946 synaptic effect Effects 0.000 description 3
- 241000269400 Sirenidae Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000036992 cognitive tasks Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/44—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating braking action or preparation for braking, e.g. by detection of the foot approaching the brake pedal
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
- G06V30/274—Syntactic or semantic context, e.g. balancing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Mechanical Engineering (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Electromagnetism (AREA)
- Game Theory and Decision Science (AREA)
- Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
Description
車両操縦を実行するための制御信号を車両制御デバイスに送信することと、をさらに含む、ことを含む。
16個のバックボーン特徴のセットが、前記複数のブレーキ信号及び前記複数の点滅信号について分類される、ことを含む。
Claims (23)
- 複数フレーム意味信号の高速CNN分類のためのシステムであって、前記システムは、
処理回路と、
命令を含む1つ以上の記憶デバイスであって、前記命令は、前記処理回路によって実行されるときに、処理回路が、
撮像デバイスから複数の時間シーケンス画像を受信することと、
前記複数の時間シーケンス画像を、時間シーケンスバッファに記憶される複数のベクトルに変換することと、
前記複数のベクトルに基づいて、時間的画像を生成することと、
前記時間的画像への畳み込みニューラルネットワークの適用に基づいて、意味信号を生成することと、を行うように構成し、
複数のベクトルの各々が、前記複数の時間シーケンス画像の各々と同じ幅の行ベクトルを含む、システム。 - 前記複数の時間シーケンス画像を前記複数のベクトルに変換するために、前記処理回路は、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について列値を計算するように構成されている、請求項1に記載のシステム。
- 前記列値を計算することは、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について平均値、中央値、又は最大値を計算するステップのうちの少なくとも1つを含む、請求項2に記載のシステム。
- 前記時間的画像の生成は、前記複数のベクトルを連結して前記時間的画像を形成することを含む、請求項1に記載のシステム。
- 前記複数の時間シーケンス画像を前記複数のベクトルに変換するために、前記処理回路は、分類器を使用して、それぞれの複数の画像から前記複数のベクトルの各々を取得するように構成されている、請求項1に記載のシステム。
- 前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、点滅分類器を使用するように構成されている、請求項1に記載のシステム。
- 前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、ブレーキ分類器を使用するように構成されている、請求項1に記載のシステム。
- 前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、前記複数のベクトルのベクトルの対にブレーキ分類器を使用し、前記時間的画像全体に点滅分類器を使用するように構成されている、請求項1に記載のシステム。
- 撮像デバイスが車両に搭載されており、
前記意味信号は、前記車両の変更された経路状態を示し、
前記命令は、前記処理回路が、
前記変更された経路状態に応答して、前記車両について操縦を特定することと、
前記操縦を実行するための車両制御信号を送ることと、を行うようにさらに構成する、請求項1に記載のシステム。 - 前記車両制御信号を受信し、前記車両について前記操縦を実行する車両制御デバイスをさらに含む、請求項9に記載のシステム。
- 自律型ナビゲーション意味信号方法であって、
撮像デバイスからの複数の時間シーケンス画像を受信することであって、前記複数の時間シーケンス画像の各々は固有の撮像時間に関連付けられる、ことと、
前記複数の時間シーケンス画像の各々を複数のベクトルの各々にマッピングすることと、
前記複数のベクトルを時間的画像に変換することと、
前記時間的画像に畳み込みニューラルネットワークを適用することに基づいて意味信号を識別することと、を含み、
複数のベクトルの各々が、前記複数の時間シーケンス画像の各々と同じ幅の行ベクトルを含む、方法。 - 前記複数の時間シーケンス画像を捕捉することと、
前記固有の撮像時間を、捕捉された前記複数の時間シーケンス画像の各々に関連付けることと、をさらに含む、請求項11に記載の方法。 - 前記複数の時間シーケンス画像の各々を複数のベクトルの各々にマッピングすることは、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について列値を計算することを含む、請求項11に記載の方法。
- 前記列値を計算することは、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について平均値、中央値、又は最大値を計算することのうちの少なくとも1つを含む、請求項13に記載の方法。
- 前記複数のベクトルを前記時間的画像に変換することは、前記複数のベクトルを連結して、前記時間的画像を形成することを含む、請求項11に記載の方法。
- 前記複数の時間シーケンス画像の各々を前記複数のベクトルにマッピングすることは、それぞれの複数の画像から前記複数のベクトルの各々を取得するために、分類器を使用することを含む、請求項11に記載の方法。
- 前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を識別することは、点滅分類器を使用することを含む、請求項11に記載の方法。
- 前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を識別することは、ブレーキ分類器を使用することを含む、請求項11に記載の方法。
- 前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を識別することは、前記複数のベクトルのベクトルの対にブレーキ分類器を使用することと、前記時間的画像全体に点滅分類器を使用することとを含む、請求項11に記載の方法。
- 前記意味信号に基づいて車両操縦を識別することと、
車両操縦を実行するための制御信号を車両制御デバイスに送信することと、をさらに含む、請求項11に記載の方法。 - 命令を記憶する非一時的なコンピュータプログラム製品であって、前記命令は、コンピュータ化システムによって実行されると、前記コンピュータ化システムが動作を行うようにし、前記動作は、
撮像デバイスからの複数の時間シーケンス画像を受信することであって、前記複数の時間シーケンス画像の各々は固有の撮像時間に関連付けられる、ことと、
前記複数の時間シーケンス画像の各々を複数のベクトルの各々にマッピングすることと、
前記複数のベクトルを時間的画像に変換することと、
前記時間的画像に畳み込みニューラルネットワークを適用することに基づいて意味信号を識別することと、を含み、
複数のベクトルの各々が、前記複数の時間シーケンス画像の各々と同じ幅の行ベクトルを含む、非一時的なコンピュータプログラム製品。 - 前記複数の時間シーケンス画像を前記複数のベクトルに識別することは、それぞれの複数の画像から前記複数のベクトルの各々を取得するために、分類器を使用することを含む、請求項21に記載の非一時的なコンピュータプログラム製品。
- 前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を識別することは、前記複数のベクトルのベクトルの対にブレーキ分類器を使用することと、前記時間的画像全体に点滅分類器を使用することと、を含む、請求項21に記載の非一時的なコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862767785P | 2018-11-15 | 2018-11-15 | |
US62/767,785 | 2018-11-15 | ||
PCT/IB2019/001293 WO2020099936A2 (en) | 2018-11-15 | 2019-11-15 | Fast cnn classification of multi-frame semantic signals |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022509774A JP2022509774A (ja) | 2022-01-24 |
JPWO2020099936A5 JPWO2020099936A5 (ja) | 2022-11-22 |
JP7258137B2 true JP7258137B2 (ja) | 2023-04-14 |
Family
ID=69582145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021526679A Active JP7258137B2 (ja) | 2018-11-15 | 2019-11-15 | 複数フレーム意味信号の高速cnn分類 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11200468B2 (ja) |
EP (1) | EP3881228A2 (ja) |
JP (1) | JP7258137B2 (ja) |
KR (1) | KR102630320B1 (ja) |
CN (1) | CN113614730B (ja) |
WO (1) | WO2020099936A2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020099936A2 (en) | 2018-11-15 | 2020-05-22 | Mobileye Vision Technologies Ltd. | Fast cnn classification of multi-frame semantic signals |
DE102019214999A1 (de) * | 2019-09-30 | 2021-04-01 | Robert Bosch Gmbh | Verfahren zum Bereitstellen eines Unterstützungssignals und/oder eines Ansteuerungssignals für ein zumindest teilautomatisiertes Fahrzeug |
US11195033B2 (en) | 2020-02-27 | 2021-12-07 | Gm Cruise Holdings Llc | Multi-modal, multi-technique vehicle signal detection |
JP7115502B2 (ja) | 2020-03-23 | 2022-08-09 | トヨタ自動車株式会社 | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 |
JP7359735B2 (ja) * | 2020-04-06 | 2023-10-11 | トヨタ自動車株式会社 | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 |
JP7388971B2 (ja) * | 2020-04-06 | 2023-11-29 | トヨタ自動車株式会社 | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム |
US11935309B2 (en) * | 2020-08-25 | 2024-03-19 | Ford Global Technologies, Llc | Determining traffic light labels and classification quality from infrastructure signals |
CN112084427A (zh) * | 2020-09-15 | 2020-12-15 | 辽宁工程技术大学 | 一种基于图神经网络的兴趣点推荐方法 |
TWI812291B (zh) * | 2022-06-17 | 2023-08-11 | 緯創資通股份有限公司 | 連續學習的機器學習方法及電子裝置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006203832A (ja) | 2004-12-22 | 2006-08-03 | Mitsubishi Electric Corp | 画像送受信システム、画像送受信方法、並びに画像送信手順と画像受信表示手順を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US20120219174A1 (en) | 2011-02-24 | 2012-08-30 | Hao Wu | Extracting motion information from digital video sequences |
JP2018112989A (ja) | 2017-01-13 | 2018-07-19 | 本田技研工業株式会社 | 運転補助装置及び運転補助方法 |
JP2018147368A (ja) | 2017-03-08 | 2018-09-20 | スズキ株式会社 | 路面状態推定装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101165359B1 (ko) * | 2011-02-21 | 2012-07-12 | (주)엔써즈 | 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법 |
US9632502B1 (en) * | 2015-11-04 | 2017-04-25 | Zoox, Inc. | Machine-learning systems and techniques to optimize teleoperation and/or planner decisions |
US10800455B2 (en) * | 2015-12-17 | 2020-10-13 | Ford Global Technologies, Llc | Vehicle turn signal detection |
KR20180051838A (ko) * | 2016-11-09 | 2018-05-17 | 삼성전자주식회사 | 보행자 및 차량의 탑승자에게 상대방의 접근을 알리는 방법 및 장치 |
US10699142B2 (en) * | 2017-04-20 | 2020-06-30 | GM Global Technology Operations LLC | Systems and methods for traffic signal light detection |
US20180314253A1 (en) * | 2017-05-01 | 2018-11-01 | Mentor Graphics Development (Deutschland) Gmbh | Embedded automotive perception with machine learning classification of sensor data |
US10902616B2 (en) * | 2018-08-13 | 2021-01-26 | Nvidia Corporation | Scene embedding for visual navigation |
WO2020099936A2 (en) | 2018-11-15 | 2020-05-22 | Mobileye Vision Technologies Ltd. | Fast cnn classification of multi-frame semantic signals |
-
2019
- 2019-11-15 WO PCT/IB2019/001293 patent/WO2020099936A2/en unknown
- 2019-11-15 CN CN201980087354.5A patent/CN113614730B/zh active Active
- 2019-11-15 JP JP2021526679A patent/JP7258137B2/ja active Active
- 2019-11-15 US US16/685,925 patent/US11200468B2/en active Active
- 2019-11-15 EP EP19850793.1A patent/EP3881228A2/en active Pending
- 2019-11-15 KR KR1020217018356A patent/KR102630320B1/ko active IP Right Grant
-
2021
- 2021-11-04 US US17/519,404 patent/US11755918B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006203832A (ja) | 2004-12-22 | 2006-08-03 | Mitsubishi Electric Corp | 画像送受信システム、画像送受信方法、並びに画像送信手順と画像受信表示手順を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US20120219174A1 (en) | 2011-02-24 | 2012-08-30 | Hao Wu | Extracting motion information from digital video sequences |
JP2018112989A (ja) | 2017-01-13 | 2018-07-19 | 本田技研工業株式会社 | 運転補助装置及び運転補助方法 |
JP2018147368A (ja) | 2017-03-08 | 2018-09-20 | スズキ株式会社 | 路面状態推定装置 |
Non-Patent Citations (3)
Title |
---|
Han-Kai Hsu et al.,Learning to tell brake and turn signals in videos using CNN-LSTM structure,2017 IEEE 20th International Conference on Intelligent Transportation System,米国,IEEE,2018年05月15日,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8317782 |
John M. Pierre, et al.,Spatio-tempral deep learning for robotic visuomotor control,2018 4th International Conference on Control, Automation and Robotics,米国,IEEE,2018年06月14日,p.94ーp.103,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber-8384651 |
谷口 博康 Hiroyasu TANIGUCHI,時空間画像を用いた動画像処理手法の提案-DTT法- A Method of Motion Analysis Using Spatio-Temporal Image -Directional Temporal Plane Transform-,電子情報通信学会論文誌 (J77-D-II) 第10号 THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS D-II,日本,社団法人電子情報通信学会 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS,1994年10月25日,第J77-D-II巻,p.2019ーp.2026 |
Also Published As
Publication number | Publication date |
---|---|
US11755918B2 (en) | 2023-09-12 |
JP2022509774A (ja) | 2022-01-24 |
WO2020099936A3 (en) | 2020-06-25 |
WO2020099936A2 (en) | 2020-05-22 |
US20200160126A1 (en) | 2020-05-21 |
EP3881228A2 (en) | 2021-09-22 |
CN113614730B (zh) | 2023-04-28 |
KR20210104712A (ko) | 2021-08-25 |
KR102630320B1 (ko) | 2024-01-30 |
CN113614730A (zh) | 2021-11-05 |
US11200468B2 (en) | 2021-12-14 |
US20220058453A1 (en) | 2022-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7258137B2 (ja) | 複数フレーム意味信号の高速cnn分類 | |
US10937173B2 (en) | Predicting subject body poses and subject movement intent using probabilistic generative models | |
US20220343138A1 (en) | Analysis of objects of interest in sensor data using deep neural networks | |
JP7227358B2 (ja) | トレーニングデータを取得するためのシステム及び方法 | |
US11137762B2 (en) | Real time decision making for autonomous driving vehicles | |
US11043005B2 (en) | Lidar-based multi-person pose estimation | |
EP3660734A1 (en) | Real time object behavior prediction | |
CN114723955A (zh) | 图像处理方法、装置、设备和计算机可读存储介质 | |
CN111368972B (zh) | 一种卷积层量化方法及其装置 | |
WO2018162933A1 (en) | Improved object recognition system | |
US20200239029A1 (en) | Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route | |
CN111105030B (zh) | 用于车辆感知***的神经网络中的激活零旁路和权重剪枝 | |
CN118215613A (zh) | 用于高效的对象属性和/或意图分类的机器学习架构 | |
CN114067166A (zh) | 用于确定物理对象的物理特性的设备和方法 | |
Goebl et al. | Design and capabilities of the Munich cognitive automobile | |
WO2021109118A1 (en) | Object re-identification using pose part based models | |
US20220048527A1 (en) | Device and method for controlling a hardware agent in a control situation having a plurality of hardware agents | |
Podbucki et al. | Aspects of autonomous drive control using NVIDIA Jetson Nano microcomputer | |
Zernetsch et al. | Cyclist Trajectory Forecasts by Incorporation of Multi-View Video Information | |
CN116434156A (zh) | 目标检测方法、存储介质、路侧设备及自动驾驶*** | |
JP2019053377A (ja) | 車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法 | |
US20230128941A1 (en) | Method for controlling an agent | |
Roomi et al. | Hand Gesture Recognition System Using Transfer Learning | |
WO2021126062A1 (en) | Method and system for predicting movement | |
CN118334614A (zh) | 用于交通信号识别的方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221114 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221114 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7258137 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |