JP7317717B2 - ネットワーク計算エッジにわたってアプリケーションを連続して操作する、人工知能および深層学習においてメモリで境界された継続学習を可能にするシステムおよび方法 - Google Patents
ネットワーク計算エッジにわたってアプリケーションを連続して操作する、人工知能および深層学習においてメモリで境界された継続学習を可能にするシステムおよび方法 Download PDFInfo
- Publication number
- JP7317717B2 JP7317717B2 JP2019561829A JP2019561829A JP7317717B2 JP 7317717 B2 JP7317717 B2 JP 7317717B2 JP 2019561829 A JP2019561829 A JP 2019561829A JP 2019561829 A JP2019561829 A JP 2019561829A JP 7317717 B2 JP7317717 B2 JP 7317717B2
- Authority
- JP
- Japan
- Prior art keywords
- dnn
- module
- learning
- neural network
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 74
- 238000013473 artificial intelligence Methods 0.000 title 1
- 238000013135 deep learning Methods 0.000 title 1
- 238000013528 artificial neural network Methods 0.000 claims description 63
- 230000004913 activation Effects 0.000 claims description 10
- 238000001994 activation Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 description 60
- 230000008569 process Effects 0.000 description 26
- 230000002776 aggregation Effects 0.000 description 21
- 238000004220 aggregation Methods 0.000 description 21
- 239000013598 vector Substances 0.000 description 21
- 238000002156 mixing Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 16
- 230000011218 segmentation Effects 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 13
- 230000008901 benefit Effects 0.000 description 11
- 210000004556 brain Anatomy 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000001953 sensory effect Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 241000282836 Camelus dromedarius Species 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 241000282472 Canis lupus familiaris Species 0.000 description 5
- 230000004931 aggregating effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241001133760 Acoelorraphe Species 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 241000282832 Camelidae Species 0.000 description 2
- 241000219492 Quercus Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000946 synaptic effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 206010035148 Plague Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000009165 androgen replacement therapy Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000011950 automated reagin test Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0409—Adaptive resonance theory [ART] networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Description
本出願は、米国特許法119条(e)の下で、2017年12月31日出願の米国特許出願第62/612,529号、および2017年5月9日出願の米国特許出願第62/503,639号の優先権を主張する。これらの各出願は、その全体を参照することにより本明細書に組み込まれる。
a.システムを新しい知識でオンザフライにより更新することは不可能である。
b.サーバとの通常通信、おおび知識の更新のための著しい待機時間なしでは、エッジの配備サイクルの間中の学習は不可能である。
c.新しい情報の学習には、さらなるトレーニングのため、全入力データを無期限に記憶する、サーバ空間、エネルギー消費、およびディスク空間の消費が必要となる。
d.小型フォームファクタのコンピューティングエッジデバイス上では学習できない。
e.低速で高価なサーバ側の再トレーニングおよび再配備を行わなければ、複数のエッジにわたって知識をマージできない。
生涯学習ディープニューラルネットワークまたは生涯ディープニューラルネットワーク(L-DNN)によって、リアルタイムに動作する機械が、中央サーバまたはクラウド上で学習する必要なく、エッジにてオンザフライで学習することが可能になる。これによって、ネットワークの遅延を排除し、リアルタイムの性能を増大させ、必要に応じてプライバシーが確保される。一部の例では、リアルタイムに動作する機械は、L-DNNを使用して、現場で特定のタスクに対して更新できる。例えば、L-DNNを用いて、調査ドローンが、基地局鉄塔もしくは太陽電池パネルの最上部で問題を特定する方法を学習でき、データをローカルデバイスの外部で共有しないため、プライバシーの問題を心配することなく、ユーザの嗜好に基づいてスマートトイを自分用に設定でき、スマートフォンが、非常に長くかかる学習のために情報を中央サーバへ発送することなく、エッジで学習した知識を共有でき(全デバイスとピアツーピアでまたは大局的に)、または自動運転自動車が動作すると、知識を学習し共有できる。
1)工場で事前にトレーニングされ固定されるか、または逆伝播、もしくはデータ入力の数列に基づく他の学習アルゴリズムによって学習するように構成されるかの、いずれかのニューラルネットワーク(例えば、ディープニューラルネットワーク)を含む、低速学習のモジュールA。
2)トレーニングサンプルをほとんど持たずに、シナプスの重みおよび表現を瞬時に変更できる、漸進的な分類器を提供する、モジュールB。この漸進的な分類器のインスタンス化の例には、例えば、適応共鳴理論(ART)ネットワーク、またはコントラスティブダイバージェンスでニューラルネットワークをトレーニングする、制限ボルツマンマシン(RBM)、およびサポートベクターマシン(SVM)または他の高速学習の教師付き分類プロセスなど、非ニューラルの方法を含む。
上に開示したように、L-DNNは、高速学習モードおよび低速学習モードを組み合わせるように、異種ニューラルネットワークアーキテクチャを実装する。高速学習モードでは、L-DNNを実装する、リアルタイムに動作する機械が、ほぼ即座に新しい知識に応答できるように、新しい知識および新しい体験を学習する。このモードでは、高速学習サブシステムの学習率は、新しい知識および対応する新しい体験に有利に働くほど高く、一方、低速学習サブシステムの学習率は、古い知識および対応する古い体験を保存するように、低い値またはゼロに設定される。
図2は、ロボット、ドローン、スマートフォン、またはIoTデバイスなど、リアルタイムに動作する機械によって使用される、L-DNNアーキテクチャの例を示す。L-DNN106は、二つのサブシステム、低速学習モジュールA102および高速学習モジュールB104を使用する。一実装では、モジュールAは事前にトレーニングされたDNNを含み、モジュールBは高速学習の適応共鳴理論(ART)パラダイムに基づき、DNNはARTへ、後者の特徴層のうちの一つ(通常、DNN自体が完全に接続した層を分類する直前の層、または直前から二番目の層)の出力を供給する。複数のDNN層が、一つ以上のモジュールBへ入力を提供できる(例えば、マルチスケール、投票、または階層形式で)、他の構成も可能である。
通常のL-DNNおよび特定のモジュールBは、連続する感覚入力にリアルタイムで動作するように設計されるため、モジュールBのニューラルネットワークは、知っている物体が全く提示されないときも、混乱しないように実装されるべきである。従来のニューラルネットワークは、入力にラベル付きの物体を通常包含するデータセットを標的としているため、結果として、知っている物体が存在しない場合、入力に対処する必要がない。したがって、このようなネットワークをL-DNNのモジュールBで使用するには、「何も知らない(Nothing I know)」というさらなる特別カテゴリをネットワークへ追加して、知らない物体を知っていると間違って分類するモジュールBの試み(偽陽性)を軽減するべきである。
式中、θは閾値であり、Cは既知のカテゴリ数であり、Nはカテゴリノード数であり、倍率sは、モジュールAで使用されるDNNタイプに基づいて設定され、L-DNN準備中に微調整される。sを高く設定しすぎると、ニューラルネットワークの偽陰性率が増大する場合があり、低く設定しすぎると偽陽性率が増大しうる。
動作中、モジュールAは特徴を抽出し、物体の圧縮表現を作り出す。畳み込みディープニューラルネットワークは、以下に概説するように、このタスクに非常に適している。
動作中、モジュールBは、新しい物体を迅速に致命的忘却なしに学習する。
モジュールBの一例示的実装は、ARTニューラルネットワークである。ARTでは、各物体提示に対して勝者ノードを判定するように、カテゴリノード間の競争を利用することによって致命的忘却を避ける。この勝者ノードが、物体の正しいラベルと関連付けられる場合、およびその場合にのみ、学習アルゴリズムがそのノードの重みを更新する。各ノードは一つの物体のみと関連付けられ、学習アルゴリズムは、勝者ノードに対してのみ重みを更新するため、ARTのいかなる学習エピソードも、たった一つの物体にのみ影響を与える。したがって、新しい物体がシステムに追加されるとき、前の知識の干渉はなく、むしろARTは、新しいカテゴリノードを作り出し、対応する重みを更新するのみである。
図4は、モジュールAのコアとして修正されたVGG-16のDNNを使用する、全体画像分類のための例示的なL-DNN実装を表す。ソフトマックスおよび完全に接続した最後の2層が、元のVGG-16のDNNから除去され、ARTベースのモジュールBが、VGG-16のDNNの完全に接続した第一層に接続する。類似だがより一層単純なL-DNNは、VGG-16の代わりにAlexnetを使用して作り出すことができる。これは非常に単純で計算コストが低いシステムであり、現代のいかなるスマートフォン上でも動き、GPUもいかなる他の専用プロセッサも必要とせず、スマートフォンのカメラにより提供される数個の入力フレームから、いかなる物体のセットも学習できる。
画像の中で関心のある物体を検出する一つの手段は、画像をグリッドに分け、各グリッドセル上で分類を行うことである。L-DNNのこの実装では、CNNの以下の特徴が特に有用である。
画像に対して、物体検出は通例、物体の回りに境界ボックスを置き、関連するクラス(例えば、「犬」)とラベル付けするタスクとして定義される。前セクションのグリッドに基づく方法に加えて、物体検出技法は通例、境界ボックスを伴う画像の一つ以上の領域を選択し、その後、そのボックス内の特徴を特定のクラスとして分類しながら、同時に境界ボックスの場所のオフセットを回帰推定することによって実装される。この物体検出の方法を実施するアルゴリズムは、Region-based CNN(R-CNN)、Fast R-CNN、およびFaster R-CNNを含むものの、位置確認を行わないいずれの方法も、検出モジュールとして置き換えられてもよい、分類情報に直接依存する。
L-DNNを実装する複数のリアルタイムに動作する機械は、L-DNNを通して新しい情報をオンザフライで個々に学習できる。一部の状況では、次のセクションに記載する、いくつかの使用事例で概説するように、リアルタイムに動作する機械間で知識を共有することは有利でありうる。リアルタイムに動作する機械がエッジで新しい知識を学習するので、新しい知識を共有するために、各リアルタイムに動作する機械は、エッジから中央サーバへまたは他のリアルタイムに動作する機械へ、新しい情報の、圧縮され普遍化された表現(モジュールBのシナプスの重み行列という観点から、ネットワークに表される)を送信する。次のステップを実施することによって、各リアルタイムに動作する機械により取得される知識を、中央サーバでまたは直接エッジデバイス上のいずれかで、抽出し、加えて、集約し、集中型通信またはピアツーピア通信によって、他のリアルタイムに動作する機械と共有できる。
図7Aは、ARTを使用する例示的な頭脳集約および混合プロセスを示す。図では、次のように既定のARTプロセスを拡張する。層F2の216にあるARTのカテゴリノードの各々は、ある物体を表し、各物体は、それを表す一つ以上のカテゴリノードを有する。図7Aの左側は、層F1の212により活性化される、層F2の216にあるカテゴリノードに対する重みパターン702を示す。各重みパターンは、層F1の212へ提供される、複数の現実の特徴入力210から学習された、普遍化された入力パターンを表す。ARTでの学習は、カテゴリノードおよび対応する物体が、競争に勝利していて、問題の物体を正しく識別しているときにのみ生じることに留意されたい。
L-DNNに基づくシステムはさらに、コンテキスト情報を現在の物体情報と組み合わせることによって、性能精度を向上できる。コンテキストL-DNNは、ある物体が入力ストリームで共起する可能性が高いことを学習しうる。例えば、ラクダ、ヤシの木、砂丘、およびオフロード車は、砂漠の場面に典型的な物体であり(図7Bを参照)、一方、家、スポーツカー、オークの木、および犬は、郊外の場面にコンテキスト典型的な物体である。ドローンの入力として取得された、ピクセルレベルで局所的に曖昧な情報は、コンテキストに応じて、二つの物体クラス(例えば、ラクダまたは犬)にマッピングできる。両方の事例で、物体の焦点には、低解像度画像によくある、曖昧な表現がある。砂漠の場面では、ラクダのピクセル化画像は、「ラクダ」がL-DNNによって推察される可能性の高いクラスの4番目であり、最もありうるのは、局所ピクセル情報のみに基づくと「馬」であるものの、場面に関する大局情報、および物体間で学習された過去の関連付けによって見出すことができる。コンテキストの物体(砂丘、オフロード車、ヤシの木)が、「ラクダ」と関連付けられる過去にあったことがあり、そのため、コンテキスト分類器は「馬」クラスを覆して、「ラクダ」クラスを選ぶことができる。同様に、「家」、「スポーツカー」、および「オークの木」を包含する都会の場面では、同じピクセルセットが「犬」にマッピングされうる。
莫大な量の非構造化コンテンツによって、ラベルなしでも、価値のあるレーニングデータがL-DNNのモジュールAに提供される。貪欲な層単位の事前トレーニング(greedy layer-wise pre-training)として知られる技法によって、DNNが、各層を順にトレーニングすることによって、ボトムアップからの教師なし学習を行うことが可能になる。層単位のトレーニングメカニズムは、コントラスティブダイバージェンス、すなわち、ノイズ除去オートエンコーダおよび畳み込みオートエンコーダを含む。オートエンコーダは、入力を取り込み、重みおよび転送機能によってコード化し、入力再構成誤差の点から出力を評価する。層をトレーニングした後に、その出力は次の層の入力になる。事前トレーニングされたネットワークは、いかなるディープネットワークの恩恵をも享受し、すなわち、例えば、層1上の学習エッジ、層2上のコーナーおよび他のエッジグループ、ならびに後の層における高次データに固有の特徴といった、有用な階層特徴の関係をしばしば捕捉する。さらに、畳み込みの変形は、畳み込みネットワークの生来の並進不変を享受する。
次の使用事例は、L-DNNが、様々な現場で技術上の問題にどのように取り組みうるかの非限定的な例である。
例えば、送電線、基地局鉄塔、または風力タービンといった産業インフラの調査プロセスを自動化したい、ドローンサービスプロバイダについて考える。既存のソリューションでは、調査が必要な主要構成要素を含むフレームを見つけるために、調査官がドローンのビデオを何時間も見る必要がある。調査官は、フレームの各々で、これらの主要構成要素を手動で識別しなくてはならない。
上に記載したシステムは、コンサートで動作する、複数の機械またはカメラ(固定された、ドローンに取り付けられた、など)に対して拡張できる。複数の異なる地理的場所に、大きな倉庫を持つ会社について考える。手作業で大きな倉庫の棚卸しをすると、多くの人時がかかる可能性があり、大抵その時間中、倉庫を閉める必要がある。既存の自動化ソリューションでは、隠れている場合がある、積み重なった物体を識別するのが困難である。加えて、既存の自動化ソリューションでは、一つの地理的場所で学習される情報は、他の場所へ転送されない。一部の例では、異なる地理的場所で収集される莫大な量のデータのため、これらの自動化ソリューションは、新しいデータを学習し、新しいデータに作用するのに何週間もかかりうる。
消費者のスマートフォンおよびタブレットなどの消費者のモバイルデバイス、またはモバイルカメラ、装着式カメラ、ならびに公共の安全のために第一対応者および公共安全担当者により使用される、手持ち式LTEデバイスなどの専門デバイスの分散型ネットワークについて考える。消費者のデバイスは、写真を撮る時など、消費者の周囲を理解するために使用できる。これらの場合、本明細書に記載するL-DNN技術が、図11に示すスマートフォンまたはタブレットデバイス1110、1120、および1130に適用できる。個人(例えば、ユーザ1105および1106)は、デバイス1110および1130のL-DNNモジュール106にそれぞれ知識を教え、この情報をピアツーピアで、またはモジュールB104を包含するサーバ1190上でマージしうる。サーバ1190は、マージした知識を、元のトレーニング1020に参加しなかったデバイスを場合により含む、一部またはすべての接続デバイスにプッシュバックする。
本明細書に記載するL-DNN技術は、図12に示すように、個々の計算ノードまたは大きなデータセンターのサーバ1200において、DNNプロセスの計算時間を低減する道具として適用できる。L-DNN技術によって、DNNにおける学習が桁違いに速くなる。この特徴を使用して、劇的にサーバ上での計算資源の必要性を減少させるか、または計算資源の消費を削減でき、情報は、大抵数時間/数日/数週間のトレーニング時間を必要とする、大規模なデータセット100に対して、ほとんど数秒もかからずに学習できる。L-DNNの使用はまた、電力消費を削減し、データセンターのサーバ資源1200を全体的により上手く利用することにもなる。
上に記載したように、L-DNNによって、オンザフライ(ワンショット)学習をニューラルネットワークシステムに提供できる。逆に、従来のDNNはしばしば、新しい物体を学習するのに、数千回または数百万回の繰り返しサイクルを必要とする。繰り返しサイクル当たりのステップサイズが大きくなるほど、損失関数の勾配が、実際の性能向上につながりうる可能性が低くなる。故に、これら従来のDNNは、トレーニングサンプルごとに、重みに小さな変更をもたらす。これによって、新しい知識をオンザフライで追加するのが非常に困難になる。対照的に、高速学習ニューラルネットワークを伴うL-DNNでは、ほとんどトレーニング例がなくても、安定した物体表現を学習できる。一部の例では、たった一つのトレーニング例でも、L-DNNに十分でありうる。
なお、出願当初の特許請求の範囲の記載は以下の通りである。
請求項1:
環境の中の物体を分析する方法であって、
センサによって、前記環境の中の前記物体を表すデータストリームを収集することと、
前記センサへ動作可能に連結するプロセッサ上で動くニューラルネットワークによって、前記データストリームから畳み込み出力を抽出することであって、前記畳み込み出力は、前記物体の特徴を表す、ことと、
前記ニューラルネットワークへ動作可能に連結する分類器によって、前記畳み込み出力に基づいて前記物体を分類することと、を含む、方法。
請求項2:
前記センサは画像センサであり、前記データストリームは画像を含む、請求項1に記載の方法。
請求項3:
前記特徴のセットを抽出することは、
前記第一画像の複数のセグメント化サブエリアを生成することと、
前記ニューラルネットワークによって、前記複数のセグメント化サブエリアの各々をコード化することと、を含む、請求項2に記載の方法。
請求項4:
前記特徴セットを抽出することは、
ユーザが、前記データストリームの中で関心のある部分を選択することが可能になることと、
前記ユーザが、前記関心のある部分を複数のセグメントに分割することが可能になることと、
前記ニューラルネットワークによって、前記複数のセグメントの各々をコード化することと、を含む、請求項1に記載の方法。
請求項5:
前記センサは、ライダー、レーダー、または音響センサのうちの少なくとも一つであり、前記データストリームは、ライダーデータ、レーダーデータ、または音響データのうちの対応する一つを含む、請求項1に記載の方法。
請求項6:
環境のデータストリームを収集するセンサであって、前記データストリームは、前記環境の中の物体を表す、センサと、
前記画像センサへ動作可能に連結する少なくとも一つのプロセッサであって、(i)前記物体の前記特徴を表す畳み込み出力を、前記データストリームから抽出するように、ニューラルネットワークを、および(ii)前記畳み込み出力に基づいて前記物体を分類する分類器を実行する、少なくとも一つのプロセッサと、を備える、装置。
請求項7:
前記センサは、画像センサ、ライダー、レーダー、または音響センサのうちの少なくとも一つを備える、請求項6に記載の装置。
請求項8:
前記ニューラルネットワークは、ディープニューラルネットワーク(DNN)を含む、請求項6に記載の装置。
請求項9:
前記ニューラルネットワークは、適応共鳴理論(ART)ネットワークを含む、請求項6に記載の装置。
請求項10:
リアルタイムに動作する機械に、生涯学習ディープニューラルネットワーク(L-DNN)を実装する方法であって、
前記L-DNNによって、(i)センサによる、前記リアルタイムに動作する機械の環境の観察、および(ii)前記L-DNNの予め判定された重みに基づいて、前記リアルタイムに動作する機械に対する第一作用を予測することと、
前記L-DNNによって、前記観察に基づいて、前記リアルタイムに動作する機械に関する予想と認知との間の不一致を判定することと、
前記不一致に応じて、前記L-DNNによって高速学習モードをトリガすることであって、前記高速学習モードは、前記L-DNNの前記予め判定された重みを変更することなく、前記観察に基づいて修正される予想を生成する、ことと、を含む、方法。
請求項11:
前記リアルタイムに動作する機械がオフラインであると判定することと、
前記リアルタイムに動作する機械がオフラインであるとの判定に応じて、低速学習モードをトリガすることであって、前記低速学習モードは、前記観察に基づいて前記L-DNNの前記予め判定された重みを修正する、ことと、をさらに含む、請求項10に記載の方法。
請求項12:
複数のリアルタイムに動作する機械の間で知識を抽出し、集約し、共有する方法であって、前記複数のリアルタイムに動作する機械の中の各リアルタイムに動作する機械は、重み行列のそれぞれのコピーと共にニューラルネットワークを実装し、
前記複数のリアルタイムに動作する機械の中の第一のリアルタイムに動作する機械の高速学習サブシステムで、少なくとも一つの新しい物体を学習することと、
通信チャネルを介して、前記第一のリアルタイムに動作する機械からサーバへ、前記少なくとも一つの新しい物体の表現を伝送することと、
前記中央サーバにて、前記第一のリアルタイムに動作する機械からの前記少なくとも一つの新しい物体の前記表現に少なくとも一部基づいて、更新された重み行列を形成することと、
前記サーバから、前記複数のリアルタイムに動作する機械の中の少なくとも一つの第二のリアルタイムに動作する機械へ、前記更新された重み行列のコピーを伝送することと、
を含む、方法。
請求項13:
前記新しい物体を学習することは、
前記第一のリアルタイムに動作する機械の前記高速学習サブシステムへ動作可能に連結する画像センサで、前記少なくとも一つの新しい物体の画像を取得することと、
前記第一のリアルタイムに動作する機械の前記高速学習サブシステムで、前記少なくとも一つの新しい物体の前記画像を処理することと、を含む、請求項12に記載の方法。
請求項14:
前記ニューラルネットワークは、適応共鳴理論(ART)ニューラルネットワークを含み、
前記ARTニューラルネットワークで、前記少なくとも一つの新しい物体の前記表現を生成することをさらに含む、請求項12に記載の方法。
請求項15:
前記少なくとも一つの新しい物体の前記表現は、重みベクトルを含み、
前記少なくとも一つの新しい物体の前記表現のメモリフットプリントを減少させるように、前記第一のリアルタイムに動作する機械によって使用される前記重み行列の前記コピーと、前記重みベクトルを集約することをさらに含む、請求項14に記載の方法。
請求項16:
前記新しい物体の前記表現を、少なくとも一つの予め知っている物体の表現と集約することをさらに含む、請求項12に記載の方法。
請求項17:
前記少なくとも一つの新しい物体の前記表現を伝送することは、
前記少なくとも一つの新しい物体の前記表現を、前記複数のリアルタイムに動作する機械の中の第二のリアルタイムに動作する機械によって、前記サーバへ伝送することを含む、請求項12に記載の方法。
請求項18:
前記更新された重み行列を形成することは、
前記少なくとも一つの新しい物体の前記表現を、前記複数のリアルタイムに動作する機械の中の、少なくとも一つの他のリアルタイムに動作する機械からの、少なくとも一つの他の新しい物体の表現と混合することを含む、請求項12に記載の方法。
請求項19:
複数のカテゴリの中で物体を認識するようにトレーニングされたニューラルネットワークで、物体を分類する方法であって、
前記ニューラルネットワークに物体を提示することと、
前記ニューラルネットワークによって、複数の信頼水準を判定することであって、前記複数の信頼水準の中の各信頼水準は、前記物体が前記複数のカテゴリの中の対応するカテゴリに該当する可能性を表す、ことと、
前記複数の信頼水準と閾値との比較を行うことと、
前記比較に基づいて、前記物体が前記複数のカテゴリのいずれにも該当しないと判定することと、を含む、方法。
請求項20:
前記比較を行うことは、
前記複数の信頼水準の中の信頼水準には、前記閾値を超えるものがないと判定することを含む、請求項19に記載の方法。
請求項21:
前記閾値を、前記複数の信頼水準の平均よりも大きく設定することをさらに含む、請求項19に記載の方法。
Claims (9)
- 環境の中の物体を分析する方法であって、
センサによって、前記環境の中の前記物体を表すデータストリームを収集することと、
前記センサへ動作可能に連結するプロセッサ上で動くニューラルネットワークによって、前記データストリームから畳み込み出力を抽出することであって、前記畳み込み出力は、前記物体の特徴を表す、ことと、
前記ニューラルネットワークへ動作可能に連結する分類器によって、前記畳み込み出力に基づいて既知の物体のカテゴリの活性化を判定することと、
前記分類器によって、活性化の分散と、前記活性化の平均から生成されると共に前記活性化の平均より大きい動的閾値との比較に基づいて、前記物体を既知の物体のカテゴリのうちの一つに属するものである知っている物体、または前記既知の物体のカテゴリのいずれにも属さないものである以前に見ていない物体のいずれかとして分類することと
を含む、方法。 - 前記センサは画像センサであり、前記データストリームは画像を含む、請求項1に記載の方法。
- 前記特徴を抽出することは、
前記画像の第一画像の複数のセグメント化サブエリアを生成することと、
前記ニューラルネットワークによって、前記複数のセグメント化サブエリアの各々をコード化することと、を含む、請求項2に記載の方法。 - 前記特徴を抽出することは、
ユーザが、前記データストリームの中で関心のある部分を選択することが可能になることと、
前記ユーザが、前記関心のある部分を複数のセグメントに分割することが可能になることと、
前記ニューラルネットワークによって、前記複数のセグメントの各々をコード化することと、を含む、請求項1に記載の方法。 - 前記センサは、ライダー、レーダー、および音響センサのうちの少なくとも一つであり、前記データストリームは、ライダーデータ、レーダーデータ、および音響データのうちの対応する一つを含む、請求項1に記載の方法。
- 環境のデータストリームを収集するセンサであって、前記データストリームは、前記環境の中の物体を表す、センサと、
前記センサへ動作可能に連結する少なくとも一つのプロセッサであって、(i)前記物体の特徴を表す畳み込み出力を、前記データストリームから抽出するように、ニューラルネットワークを、および(ii)前記畳み込み出力に基づいて既知の物体のカテゴリの活性化を判定し、活性化の分散と、前記活性化の平均から生成されると共に前記活性化の平均より大きい動的閾値との比較に基づいて、前記物体を既知の物体のカテゴリのうちの一つに属するものである知っている物体、または前記既知の物体のカテゴリのいずれにも属さないものである以前に見ていない物体のいずれかとして分類する分類器を実行する、少なくとも一つのプロセッサと
を備える、装置。 - 前記センサは、画像センサ、ライダー、レーダー、および音響センサのうちの少なくとも一つを備える、請求項6に記載の装置。
- 前記ニューラルネットワークは、ディープニューラルネットワーク(DNN)を含む、請求項6に記載の装置。
- 前記ニューラルネットワークは、適応共鳴理論(ART)ネットワークを含む、請求項6に記載の装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023117276A JP2023156308A (ja) | 2017-05-09 | 2023-07-19 | ネットワーク計算エッジにわたってアプリケーションを連続して操作する、人工知能および深層学習においてメモリで境界された継続学習を可能にするシステムおよび方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762503639P | 2017-05-09 | 2017-05-09 | |
US62/503,639 | 2017-05-09 | ||
US201762612529P | 2017-12-31 | 2017-12-31 | |
US62/612,529 | 2017-12-31 | ||
PCT/US2018/031833 WO2018208939A1 (en) | 2017-05-09 | 2018-05-09 | Systems and methods to enable continual, memory-bounded learning in artificial intelligence and deep learning continuously operating applications across networked compute edges |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023117276A Division JP2023156308A (ja) | 2017-05-09 | 2023-07-19 | ネットワーク計算エッジにわたってアプリケーションを連続して操作する、人工知能および深層学習においてメモリで境界された継続学習を可能にするシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020520007A JP2020520007A (ja) | 2020-07-02 |
JP7317717B2 true JP7317717B2 (ja) | 2023-07-31 |
Family
ID=64096214
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019561829A Active JP7317717B2 (ja) | 2017-05-09 | 2018-05-09 | ネットワーク計算エッジにわたってアプリケーションを連続して操作する、人工知能および深層学習においてメモリで境界された継続学習を可能にするシステムおよび方法 |
JP2023117276A Pending JP2023156308A (ja) | 2017-05-09 | 2023-07-19 | ネットワーク計算エッジにわたってアプリケーションを連続して操作する、人工知能および深層学習においてメモリで境界された継続学習を可能にするシステムおよび方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023117276A Pending JP2023156308A (ja) | 2017-05-09 | 2023-07-19 | ネットワーク計算エッジにわたってアプリケーションを連続して操作する、人工知能および深層学習においてメモリで境界された継続学習を可能にするシステムおよび方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11928602B2 (ja) |
EP (1) | EP3622438A4 (ja) |
JP (2) | JP7317717B2 (ja) |
KR (1) | KR20200028330A (ja) |
CN (1) | CN110914836A (ja) |
CA (1) | CA3061767A1 (ja) |
WO (1) | WO2018208939A1 (ja) |
Families Citing this family (86)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11468286B2 (en) * | 2017-05-30 | 2022-10-11 | Leica Microsystems Cms Gmbh | Prediction guided sequential data learning method |
US11138901B1 (en) | 2017-06-28 | 2021-10-05 | Amazon Technologies, Inc. | Item recognition and analysis |
US10540390B1 (en) | 2017-08-07 | 2020-01-21 | Amazon Technologies, Inc. | Image-based item identification |
CN107463907B (zh) * | 2017-08-08 | 2021-06-25 | 东软集团股份有限公司 | 车辆碰撞检测方法、装置、电子设备及车辆 |
US10860919B2 (en) * | 2017-09-27 | 2020-12-08 | Google Llc | End to end network model for high resolution image segmentation |
EP3477591B1 (en) * | 2017-10-24 | 2020-05-27 | AGFA Healthcare | Avoiding catastrophic interference while training an artificial neural network on an additional task |
JP6695947B2 (ja) * | 2018-09-21 | 2020-05-20 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像システム、画像処理方法及びプログラム |
CN110945449B (zh) | 2018-11-15 | 2023-10-17 | 灵动科技(北京)有限公司 | 现场环境的实时监督式机器学习***与方法 |
US11122099B2 (en) * | 2018-11-30 | 2021-09-14 | Motorola Solutions, Inc. | Device, system and method for providing audio summarization data from video |
US11133059B2 (en) * | 2018-12-06 | 2021-09-28 | Western Digital Technologies, Inc. | Non-volatile memory die with deep learning neural network |
KR20210098445A (ko) | 2018-12-07 | 2021-08-10 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치, 및 이동체 |
CN111310519B (zh) * | 2018-12-11 | 2024-01-05 | 成都智叟智能科技有限公司 | 基于机器视觉与数据采样的货品深度学习训练方法 |
TWI696961B (zh) | 2018-12-12 | 2020-06-21 | 財團法人工業技術研究院 | 深度神經網路硬體加速器與其操作方法 |
US10891514B2 (en) * | 2018-12-17 | 2021-01-12 | Microsoft Technology Licensing, Llc | Image classification pipeline |
US11138504B2 (en) * | 2018-12-28 | 2021-10-05 | Datalogic Ip Tech S.R.L. | Deployment of deep neural networks (DNN) in embedded devices by means of peer-to-peer routing between computational points |
US10467500B1 (en) * | 2018-12-31 | 2019-11-05 | Didi Research America, Llc | Method and system for semantic segmentation involving multi-task convolutional neural network |
US10509987B1 (en) | 2019-01-22 | 2019-12-17 | StradVision, Inc. | Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same |
CN109816097B (zh) * | 2019-01-23 | 2022-12-09 | 东北大学 | 一种基于YOLO的Compress-YOLO模型压缩方法 |
EP3696406A1 (en) * | 2019-02-13 | 2020-08-19 | Siemens Gamesa Renewable Energy A/S | A method for computer-implemented analysis of a wind farm comprising a number of wind turbines |
US11507677B2 (en) | 2019-02-15 | 2022-11-22 | Microsoft Technology Licensing, Llc | Image classification modeling while maintaining data privacy compliance |
WO2020176869A1 (en) | 2019-02-28 | 2020-09-03 | Stats Llc | System and method for player reidentification in broadcast video |
US10832407B2 (en) * | 2019-03-06 | 2020-11-10 | International Business Machines Corporation | Training a neural network adapter |
US10916306B2 (en) | 2019-03-07 | 2021-02-09 | Western Digital Technologies, Inc. | Burst mode operation conditioning for a memory device |
US10776695B1 (en) | 2019-03-08 | 2020-09-15 | Ai Concepts, Llc | Intelligent recognition and alert methods and systems |
US11699078B2 (en) | 2019-03-08 | 2023-07-11 | Ai Concepts, Llc | Intelligent recognition and alert methods and systems |
US10530561B1 (en) * | 2019-03-20 | 2020-01-07 | Xilinx, Inc. | Adaptive method to reduce training time of receivers |
CN113711233A (zh) * | 2019-04-24 | 2021-11-26 | 索尼集团公司 | 用于汽车的感测设备和控制*** |
CN110633610B (zh) * | 2019-05-17 | 2022-03-25 | 西南交通大学 | 一种基于yolo的学员状态检测方法 |
WO2020233850A1 (de) * | 2019-05-21 | 2020-11-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Rekursive kopplung von künstlich lernenden einheiten |
US11314517B2 (en) | 2019-06-14 | 2022-04-26 | Here Global B.V. | Method and apparatus for updating pipeline operations for data processing |
US11520521B2 (en) | 2019-06-20 | 2022-12-06 | Western Digital Technologies, Inc. | Storage controller having data augmentation components for use with non-volatile memory die |
US11501109B2 (en) | 2019-06-20 | 2022-11-15 | Western Digital Technologies, Inc. | Non-volatile memory die with on-chip data augmentation components for use with machine learning |
CN110417786B (zh) * | 2019-07-31 | 2022-01-11 | 广东工业大学 | 一种基于深度特征的p2p流量细粒度识别方法 |
US11036488B2 (en) * | 2019-08-12 | 2021-06-15 | International Business Machines Corporation | System and method for optimal hierarchical upgrade time prediction |
JP7158355B2 (ja) * | 2019-08-30 | 2022-10-21 | 株式会社豊田中央研究所 | ノイズ除去装置および距離測定装置 |
US11012526B1 (en) | 2019-09-19 | 2021-05-18 | Allstate Insurance Company | Inspection and assessment based on mobile edge-computing |
EP3809316A1 (de) * | 2019-09-24 | 2021-04-21 | Elektrobit Automotive GmbH | Vorhersage eines strassenverlaufs auf basis von radardaten |
CN110581898B (zh) * | 2019-10-09 | 2022-04-08 | 成都康胜思科技有限公司 | 基于5g和边缘计算的物联网数据终端*** |
US11769180B2 (en) * | 2019-10-15 | 2023-09-26 | Orchard Technologies, Inc. | Machine learning systems and methods for determining home value |
GB2588614B (en) * | 2019-10-29 | 2023-01-11 | Samsung Electronics Co Ltd | Method and system for customising a machine learning model |
WO2021085785A1 (en) | 2019-10-29 | 2021-05-06 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling thereof |
US11687805B2 (en) * | 2019-10-31 | 2023-06-27 | Shoreline Iot, Inc. | Systems and methods for self-learning artificial intelligence of things (AIOT) devices and services |
US11584377B2 (en) * | 2019-11-21 | 2023-02-21 | Gm Cruise Holdings Llc | Lidar based detection of road surface features |
CN111325708B (zh) * | 2019-11-22 | 2023-06-30 | 济南信通达电气科技有限公司 | 一种输电线路检测方法和服务器 |
JP7365999B2 (ja) * | 2019-12-24 | 2023-10-20 | 財團法人工業技術研究院 | ニューラルネットワーク演算装置および方法 |
US20210256845A1 (en) * | 2020-02-17 | 2021-08-19 | International Business Machines Corporation | Drone formation for traffic coordination and control |
US11675879B2 (en) * | 2020-02-20 | 2023-06-13 | K2Ai, LLC | Apparatus and method for operating a detection and response system |
US11176677B2 (en) * | 2020-03-16 | 2021-11-16 | Memorial Sloan Kettering Cancer Center | Deep interactive learning for image segmentation models |
CN111582016A (zh) * | 2020-03-18 | 2020-08-25 | 宁波送变电建设有限公司永耀科技分公司 | 基于云边协同深度学习的智能免维护电网监控方法及*** |
WO2021202794A1 (en) * | 2020-03-31 | 2021-10-07 | Flir Detection, Inc. | User-in-the-loop object detection and classification systems and methods |
CN111523597B (zh) * | 2020-04-23 | 2023-08-25 | 北京百度网讯科技有限公司 | 目标识别模型训练方法、装置、设备以及存储介质 |
CN111488948B (zh) * | 2020-04-29 | 2021-07-20 | 中国科学院重庆绿色智能技术研究院 | 一种抖动环境下稀疏样本的标记方法 |
CN111553481A (zh) * | 2020-04-30 | 2020-08-18 | 深圳市迪米欧科技有限公司 | 一种基于rnn的量子计算方法和装置 |
CN113671458A (zh) * | 2020-05-13 | 2021-11-19 | 华为技术有限公司 | 一种目标物体识别方法及装置 |
WO2021240636A1 (ja) * | 2020-05-26 | 2021-12-02 | 日本電信電話株式会社 | 分散深層学習システム |
WO2021245896A1 (ja) * | 2020-06-05 | 2021-12-09 | 日本電信電話株式会社 | 分割認識方法、分割認識装置及びプログラム |
US11507835B2 (en) | 2020-06-08 | 2022-11-22 | Western Digital Technologies, Inc. | Neural network data updates using in-place bit-addressable writes within storage class memory |
US11741698B2 (en) | 2020-06-10 | 2023-08-29 | Toyota Research Institute, Inc. | Confidence-estimated domain adaptation for training machine learning models |
US20220012588A1 (en) * | 2020-07-09 | 2022-01-13 | Samsung Electronics Co., Ltd. | Method and device with reservoir management and neural network online learning |
CN113282933B (zh) * | 2020-07-17 | 2022-03-01 | 中兴通讯股份有限公司 | 联邦学习方法、装置和***、电子设备、存储介质 |
TWI820347B (zh) * | 2020-09-04 | 2023-11-01 | 仁寶電腦工業股份有限公司 | 行為識別方法、行為識別系統及手寫辨識系統 |
WO2022060266A1 (en) * | 2020-09-18 | 2022-03-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Network node and method for handling inspection of structure |
CN112116576B (zh) * | 2020-09-20 | 2023-04-18 | 中国人民解放军空军工程大学 | 基于偏振结构光成像和改进的缺陷检测方法 |
WO2022072875A1 (en) * | 2020-10-01 | 2022-04-07 | The Regents Of The University Of California | Systems and methods for smart boiling control |
CN112257864B (zh) * | 2020-10-22 | 2022-08-16 | 福州大学 | 一种用于解决灾难性遗忘问题的终生学习方法 |
KR102576747B1 (ko) * | 2020-11-06 | 2023-09-11 | 한국전자통신연구원 | 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법 |
KR102612422B1 (ko) * | 2020-11-12 | 2023-12-12 | 한국전자통신연구원 | 네트워크를 이용한 고정형 폐쇄회로 영상 엣지 단말의 적응형 객체 인식 장치 및 방법 |
CN112418404A (zh) * | 2020-12-01 | 2021-02-26 | 策拉人工智能科技(云南)有限公司 | 一种人工智能会计神经网络深度学习训练方法 |
US11461591B2 (en) | 2020-12-16 | 2022-10-04 | Microsoft Technology Licensing, Llc | Allocating computing resources during continuous retraining |
US11792501B2 (en) | 2020-12-17 | 2023-10-17 | Motorola Solutions, Inc. | Device, method and system for installing video analytics parameters at a video analytics engine |
CN112667793B (zh) * | 2020-12-31 | 2023-08-22 | 徐波 | 一种基于dnn的人机交互方法、装置、***、电子设备和存储介质 |
CN113095141A (zh) * | 2021-03-15 | 2021-07-09 | 南通大学 | 一种基于人工智能的无人机视觉学习*** |
US11847847B2 (en) * | 2021-03-26 | 2023-12-19 | Analog Devices International Unlimited Company | Learning system for convolutional neural networks to improve accuracy of object detection in new environments |
CN112862083B (zh) * | 2021-04-06 | 2024-04-09 | 南京大学 | 一种边缘环境下的深度神经网络推断方法及装置 |
CN113297914B (zh) * | 2021-04-26 | 2023-04-18 | 云南电网有限责任公司信息中心 | 一种配网现场作业验电动作识别方法 |
CN113595993B (zh) * | 2021-07-12 | 2022-06-14 | 广东工业大学 | 边缘计算下模型结构优化的车载感知设备联合学习方法 |
CN113591668B (zh) * | 2021-07-26 | 2023-11-21 | 南京大学 | 一种使用深度学习和空间分析的广域未知大坝自动探测方法 |
US11698858B2 (en) | 2021-08-19 | 2023-07-11 | Micron Technology, Inc. | Prediction based garbage collection |
US11989421B2 (en) | 2021-08-19 | 2024-05-21 | Micron Technology, Inc. | Adjustable data protection scheme using artificial intelligence |
CN114061589B (zh) * | 2021-11-16 | 2023-05-26 | 中山大学 | 端边协同的多无人机自主导航方法 |
CN114564882A (zh) * | 2022-01-29 | 2022-05-31 | 内蒙古工业大学 | 基于离散事件的边缘深度学习模拟器的构建与应用 |
US20240104373A1 (en) * | 2022-09-26 | 2024-03-28 | NavInfo Europe B.V. | Artificial cognitive architecture incorporating cognitive computation, inductive bias and multi-memory systems |
NL2033808B1 (en) * | 2022-09-26 | 2024-04-03 | Navinfo Europe B V | Artificial cognitive architecture incorporating cognitive computation, inductive bias and multi-memory systems |
CN115643115B (zh) * | 2022-12-23 | 2023-03-10 | 武汉大学 | 基于大数据的工控网络安全态势预测方法及*** |
CN116189115A (zh) * | 2023-04-24 | 2023-05-30 | 青岛创新奇智科技集团股份有限公司 | 车型识别方法、电子设备和可读存储介质 |
CN117152668B (zh) * | 2023-10-30 | 2024-02-06 | 成都方顷科技有限公司 | 一种基于物联网的智慧后勤实现方法、装置及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130022242A1 (en) | 2009-08-31 | 2013-01-24 | Behavioral Recognition Systems, Inc. | Identifying anomalous object types during classification |
US20140050391A1 (en) | 2012-08-17 | 2014-02-20 | Nec Laboratories America, Inc. | Image segmentation for large-scale fine-grained recognition |
US20170032222A1 (en) | 2015-07-30 | 2017-02-02 | Xerox Corporation | Cross-trained convolutional neural networks using multimodal images |
US20170039469A1 (en) | 2015-08-04 | 2017-02-09 | Qualcomm Incorporated | Detection of unknown classes and initialization of classifiers for unknown classes |
Family Cites Families (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7702599B2 (en) | 2004-10-07 | 2010-04-20 | Bernard Widrow | System and method for cognitive memory and auto-associative neural network based pattern recognition |
US7587101B1 (en) | 2005-02-28 | 2009-09-08 | Adobe Systems Incorporated | Facilitating computer-assisted tagging of object instances in digital images |
US7831913B2 (en) | 2005-07-29 | 2010-11-09 | Microsoft Corporation | Selection-based item tagging |
US8259995B1 (en) | 2006-01-26 | 2012-09-04 | Adobe Systems Incorporated | Designating a tag icon |
US8165407B1 (en) | 2006-10-06 | 2012-04-24 | Hrl Laboratories, Llc | Visual attention and object recognition system |
US9361943B2 (en) | 2006-11-07 | 2016-06-07 | The Board Of Trustees Of The Leland Stanford Jr. University | System and method for tagging objects in a panoramic video and associating functions and indexing panoramic images with same |
US7900225B2 (en) | 2007-02-20 | 2011-03-01 | Google, Inc. | Association of ads with tagged audiovisual content |
US8209223B2 (en) | 2007-11-30 | 2012-06-26 | Google Inc. | Video object tag creation and processing |
GB2491987B (en) | 2008-03-03 | 2013-03-27 | Videoiq Inc | Method of searching data for objects identified by object detection |
US8176072B2 (en) | 2009-07-28 | 2012-05-08 | Vulcan Technologies Llc | Method and system for tag suggestion in a tag-associated data-object storage system |
US9232211B2 (en) | 2009-07-31 | 2016-01-05 | The University Of Connecticut | System and methods for three-dimensional imaging of objects in a scattering medium |
US9031844B2 (en) | 2010-09-21 | 2015-05-12 | Microsoft Technology Licensing, Llc | Full-sequence training of deep structures for speech recognition |
US8774515B2 (en) | 2011-04-20 | 2014-07-08 | Xerox Corporation | Learning structured prediction models for interactive image labeling |
US9336456B2 (en) | 2012-01-25 | 2016-05-10 | Bruno Delean | Systems, methods and computer program products for identifying objects in video data |
US10096235B2 (en) | 2012-03-15 | 2018-10-09 | Omni Ai, Inc. | Alert directives and focused alert directives in a behavioral recognition system |
WO2013153883A1 (ja) | 2012-04-09 | 2013-10-17 | ソニー株式会社 | 表示制御装置、表示制御方法、プログラム |
US9269022B2 (en) | 2013-04-11 | 2016-02-23 | Digimarc Corporation | Methods for object recognition and related arrangements |
JP6351243B2 (ja) | 2013-11-28 | 2018-07-04 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US9589595B2 (en) | 2013-12-20 | 2017-03-07 | Qualcomm Incorporated | Selection and tracking of objects for display partitioning and clustering of video frames |
US9158971B2 (en) | 2014-03-03 | 2015-10-13 | Xerox Corporation | Self-learning object detectors for unlabeled videos using multi-task learning |
WO2015134665A1 (en) | 2014-03-04 | 2015-09-11 | SignalSense, Inc. | Classifying data with deep learning neural records incrementally refined through expert input |
US9626566B2 (en) | 2014-03-19 | 2017-04-18 | Neurala, Inc. | Methods and apparatus for autonomous robotic control |
US20150324686A1 (en) * | 2014-05-12 | 2015-11-12 | Qualcomm Incorporated | Distributed model learning |
EP3146463B1 (en) | 2014-05-23 | 2020-05-13 | Ventana Medical Systems, Inc. | Systems and methods for detection of biological structures and/or patterns in images |
JP6365024B2 (ja) | 2014-07-02 | 2018-08-01 | 富士通株式会社 | サービス提供装置、方法、及びプログラム |
US9396409B2 (en) | 2014-09-29 | 2016-07-19 | At&T Intellectual Property I, L.P. | Object based image processing |
US9665802B2 (en) | 2014-11-13 | 2017-05-30 | Nec Corporation | Object-centric fine-grained image classification |
US9418319B2 (en) * | 2014-11-21 | 2016-08-16 | Adobe Systems Incorporated | Object detection using cascaded convolutional neural networks |
US10331675B2 (en) | 2015-08-06 | 2019-06-25 | Clarifai, Inc. | Systems and methods for learning new trained concepts used to retrieve content relevant to the concepts learned |
US9589210B1 (en) | 2015-08-26 | 2017-03-07 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
US10192129B2 (en) | 2015-11-18 | 2019-01-29 | Adobe Systems Incorporated | Utilizing interactive deep learning to select objects in digital visual media |
US11210595B2 (en) | 2015-11-30 | 2021-12-28 | Allegro Artificial Intelligence Ltd | System and method for selective use of examples |
US20170154269A1 (en) | 2015-11-30 | 2017-06-01 | Seematics Systems Ltd | System and method for generating and using inference models |
US20180150695A1 (en) | 2015-11-30 | 2018-05-31 | Seematics Systems Ltd | System and method for selective usage of inference models based on visual content |
US10083537B1 (en) | 2016-02-04 | 2018-09-25 | Gopro, Inc. | Systems and methods for adding a moving visual element to a video |
US10037471B2 (en) | 2016-07-05 | 2018-07-31 | Nauto Global Limited | System and method for image analysis |
CN106250812B (zh) | 2016-07-15 | 2019-08-20 | 汤一平 | 一种基于快速r-cnn深度神经网络的车型识别方法 |
CN106250931A (zh) | 2016-08-03 | 2016-12-21 | 武汉大学 | 一种基于随机卷积神经网络的高分辨率图像场景分类方法 |
US10895968B2 (en) | 2016-09-08 | 2021-01-19 | DJI Research LLC | Graphical user interface customization in a movable object environment |
CN109690433B (zh) | 2016-09-13 | 2022-05-17 | 杭州零零科技有限公司 | 具有环境感知的无人驾驶空中车辆***和方法 |
US10955838B2 (en) | 2016-09-26 | 2021-03-23 | Dji Technology, Inc. | System and method for movable object control |
US10051344B2 (en) | 2016-09-27 | 2018-08-14 | Clarifai, Inc. | Prediction model training via live stream concept association |
US10346723B2 (en) | 2016-11-01 | 2019-07-09 | Snap Inc. | Neural network for object detection in images |
US20180136332A1 (en) | 2016-11-15 | 2018-05-17 | Wheego Electric Cars, Inc. | Method and system to annotate objects and determine distances to objects in an image |
US9754190B1 (en) | 2016-11-29 | 2017-09-05 | Seematics Systems Ltd | System and method for image classification based on Tsallis entropy |
US10724505B2 (en) | 2016-11-30 | 2020-07-28 | Dji Technology, Inc. | Aerial inspection in a movable object environment |
US20180150698A1 (en) | 2017-01-09 | 2018-05-31 | Seematics Systems Ltd | System and method for collecting information about repeated behavior |
US10754514B1 (en) | 2017-03-01 | 2020-08-25 | Matroid, Inc. | Machine learning in video classification with schedule highlighting |
US20180373980A1 (en) | 2017-06-27 | 2018-12-27 | drive.ai Inc. | Method for training and refining an artificial intelligence |
WO2019050515A1 (en) | 2017-09-06 | 2019-03-14 | Dji Technology, Inc. | MOBILE OBJECT APPLICATION FRAMEWORK |
US11461383B2 (en) | 2017-09-25 | 2022-10-04 | Equifax Inc. | Dual deep learning architecture for machine-learning systems |
US10515295B2 (en) | 2017-10-27 | 2019-12-24 | Adobe Inc. | Font recognition using triplet loss neural network training |
-
2018
- 2018-05-09 EP EP18799281.3A patent/EP3622438A4/en active Pending
- 2018-05-09 JP JP2019561829A patent/JP7317717B2/ja active Active
- 2018-05-09 CN CN201880043894.9A patent/CN110914836A/zh active Pending
- 2018-05-09 KR KR1020197035963A patent/KR20200028330A/ko unknown
- 2018-05-09 WO PCT/US2018/031833 patent/WO2018208939A1/en unknown
- 2018-05-09 CA CA3061767A patent/CA3061767A1/en active Pending
- 2018-05-09 US US15/975,280 patent/US11928602B2/en active Active
-
2023
- 2023-07-19 JP JP2023117276A patent/JP2023156308A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130022242A1 (en) | 2009-08-31 | 2013-01-24 | Behavioral Recognition Systems, Inc. | Identifying anomalous object types during classification |
US20140050391A1 (en) | 2012-08-17 | 2014-02-20 | Nec Laboratories America, Inc. | Image segmentation for large-scale fine-grained recognition |
US20170032222A1 (en) | 2015-07-30 | 2017-02-02 | Xerox Corporation | Cross-trained convolutional neural networks using multimodal images |
US20170039469A1 (en) | 2015-08-04 | 2017-02-09 | Qualcomm Incorporated | Detection of unknown classes and initialization of classifiers for unknown classes |
Non-Patent Citations (2)
Title |
---|
YU, Jie,Leveraging Knowledge-based Inference for Material Classification,MM'15:Proceedings of the 23rd ACM international conference on Multimedia,2015年10月30日,pp.1243-1246,[検索日:2022.05.09],インターネット<URL:https://dl.acm.org/doi/pdf/10.1145/2733373.2806327> |
高岡 哲也,ほか2名,ART1のデータ提示順序と分類結果に関する考察,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,1997年12月12日,Vol.97 No.448,第87頁-第92頁 |
Also Published As
Publication number | Publication date |
---|---|
WO2018208939A1 (en) | 2018-11-15 |
US20180330238A1 (en) | 2018-11-15 |
US11928602B2 (en) | 2024-03-12 |
JP2020520007A (ja) | 2020-07-02 |
CA3061767A1 (en) | 2018-11-15 |
JP2023156308A (ja) | 2023-10-24 |
EP3622438A1 (en) | 2020-03-18 |
KR20200028330A (ko) | 2020-03-16 |
EP3622438A4 (en) | 2021-03-10 |
CN110914836A (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7317717B2 (ja) | ネットワーク計算エッジにわたってアプリケーションを連続して操作する、人工知能および深層学習においてメモリで境界された継続学習を可能にするシステムおよび方法 | |
Ball et al. | Comprehensive survey of deep learning in remote sensing: theories, tools, and challenges for the community | |
US20220092351A1 (en) | Image classification method, neural network training method, and apparatus | |
Aslan et al. | Human action recognition with bag of visual words using different machine learning methods and hyperparameter optimization | |
Saito et al. | Multiple object extraction from aerial imagery with convolutional neural networks | |
Kaymak et al. | A brief survey and an application of semantic image segmentation for autonomous driving | |
Wang et al. | Deep learning algorithms with applications to video analytics for a smart city: A survey | |
AlDahoul et al. | Real‐Time Human Detection for Aerial Captured Video Sequences via Deep Models | |
Kendall | Geometry and uncertainty in deep learning for computer vision | |
WO2018102918A1 (en) | System and method for cnn layer sharing | |
Charalampous et al. | On-line deep learning method for action recognition | |
Wu et al. | Feedback weight convolutional neural network for gait recognition | |
Liang et al. | A new image classification method based on modified condensed nearest neighbor and convolutional neural networks | |
Feng et al. | Bag of visual words model with deep spatial features for geographical scene classification | |
Pavel et al. | Object class segmentation of RGB-D video using recurrent convolutional neural networks | |
Putra et al. | A deep neural network model for multi-view human activity recognition | |
Werner et al. | DeepMoVIPS: Visual indoor positioning using transfer learning | |
Guo et al. | Using multi-scale and hierarchical deep convolutional features for 3D semantic classification of TLS point clouds | |
Venegas et al. | Automatic ladybird beetle detection using deep-learning models | |
Chen-McCaig et al. | Convolutional neural networks for texture recognition using transfer learning | |
Kumar | Machine intelligence prospective for large scale video based visual activities analysis | |
Gori et al. | Semantic video labeling by developmental visual agents | |
Sinha et al. | Human activity recognition from UAV videos using a novel DMLC-CNN model | |
Memon et al. | On multi-class aerial image classification using learning machines | |
Vu et al. | Detection of unknown anomalies in streaming videos with generative energy-based boltzmann models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210506 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220506 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7317717 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |