JPWO2019216404A1 - ニューラルネットワーク構築装置、情報処理装置、ニューラルネットワーク構築方法及びプログラム - Google Patents
ニューラルネットワーク構築装置、情報処理装置、ニューラルネットワーク構築方法及びプログラム Download PDFInfo
- Publication number
- JPWO2019216404A1 JPWO2019216404A1 JP2020518350A JP2020518350A JPWO2019216404A1 JP WO2019216404 A1 JPWO2019216404 A1 JP WO2019216404A1 JP 2020518350 A JP2020518350 A JP 2020518350A JP 2020518350 A JP2020518350 A JP 2020518350A JP WO2019216404 A1 JPWO2019216404 A1 JP WO2019216404A1
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- model
- unit
- condition
- hyperparameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Neurology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
上述のとおり、従来技術では、ハードウェア上の制約を満たし、かつ、より高い精度のニューラルネットワークを得るまでに、長い時間をかけての試行錯誤を経る必要がある。
[構成]
以下では複数の実施の形態を説明するが、まず、これらの実施の形態に共通するニューラルネットワーク構築装置の構成について説明する。
従来、ある用途のために最適なニューラルネットワークを得るには、その候補となるニューラルネットワークの各々に対して要求される条件を満たすか否かの判定が行われる。したがって、最適なニューラルネットワークが得られるまでの試行錯誤の繰り返し回数は膨大であり、長い時間を要する。
ここまでに、ニューラルネットワークの構築における条件(制約)について幾つかの種類の例を挙げた。以下に説明する各実施の形態では、これらの種類の制約について具体例を用いて説明する。実施の形態1としては、ニューラルネットワークを用いて解決しようとする問題に応じて決定される制約について説明する。
図7に構成例を示すような全結合ニューラルネットワークを用いて分類又は回帰等の推論を行う場合、モデルは入力データを縮約するように設計される。したがって、入力次元数と出力次元数とに基づいて中間層の層数及びノード数といったハイパーパラメータの上限を決定することができる。すなわち、各中間層のノード数の上限は、前層のノード数から1引いた数である。また、中間層数の上限は、入力層より1少ないノードを含む中間層からノード数を1つずつ減らした中間層を並べ、出力層より1多いノードを含む中間層まで配置可能な数である。
畳み込みニューラルネットワークを用いて画像の復元(ノイズ除去など)を行う場合に、ニューラルネットワークによって遮断したい成分(又は通過させたい成分)の周波数特性が与えられることで、生成するニューラルネットワークの中間層数又は各層のカーネルサイズといったハイパーパラメータの下限を決定することができる。この下限の設定について具体的な例を用いて説明する。
実施の形態2として、ニューラルネットワークを主に組込みデバイスへの実装することを考慮してCPUやメモリ(ROM/RAM)の情報が条件情報として入力される場合について説明する。
実施の形態3も、実施の形態2と同様にニューラルネットワークを主に組込みデバイスへの実装する場合であり、実施の形態2との差異点を中心に説明する。
以上のように、本発明に係る技術の例示として各実施の形態を説明した。しかしながら、本発明に係る技術はこの説明の内容に限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。例えば、以下のような変形例も本発明の一実施態様に含まれる。
2 入力装置
3 演算処理装置
4 出力装置
5 記憶装置
6 通信装置
7 バス
10 ニューラルネットワーク構築装置
11 取得部
12 設定部
13 生成部
14 判断部
15 出力部
19 学習部
Claims (23)
- 構築するニューラルネットワークのハイパーパラメータの候補である候補ハイパーパラメータの決定のために用いられる条件である第一条件、及び前記ニューラルネットワークのモデルが備えるべき性能に関する条件である第二条件を取得する取得部と、
前記第一条件を用いて前記候補ハイパーパラメータを決定する設定部と、
前記候補ハイパーパラメータを用いてニューラルネットワークのモデルを生成する生成部と、
生成された前記モデルについて、前記第二条件を満たすか否かの判断を実行し、前記判断の結果に基づくデータを出力する判断部とを備える
ニューラルネットワーク構築装置。 - 前記設定部は、前記第一条件を用いて前記候補ハイパーパラメータの上限及び下限の少なくとも一方を算出し、算出した前記上限及び下限の少なくとも一方に基づいて1個以上の前記候補ハイパーパラメータを決定する
請求項1に記載のニューラルネットワーク構築装置。 - 前記第一条件は、組込み機器が有する計算資源に関する資源条件を含み、
前記設定部は、前記資源条件に基づいて前記候補ハイパーパラメータの上限を算出し、前記上限以下のハイパーパラメータの少なくとも一部を前記候補ハイパーパラメータと決定する
請求項2に記載のニューラルネットワーク構築装置。 - 前記資源条件は前記組込み機器のメモリサイズの情報を含み、
前記設定部は、前記メモリサイズに収まるニューラルネットワークのハイパーパラメータの上限を前記候補ハイパーパラメータの上限として算出し、前記上限以下のハイパーパラメータの少なくとも一部を前記候補ハイパーパラメータと決定する
請求項3に記載のニューラルネットワーク構築装置。 - 前記第一条件は、前記ニューラルネットワークへの入力データのサイズ及び前記ニューラルネットワークからの出力データのサイズの少なくとも一方の情報を含み、
前記設定部は、前記第一条件に含まれる前記入力データのサイズ及び前記出力データのサイズの少なくとも一方に基づいて前記候補ハイパーパラメータの上限を算出し、算出した前記上限以下のハイパーパラメータの少なくとも一部を前記1個以上の候補ハイパーパラメータであると決定する
請求項2に記載のニューラルネットワーク構築装置。 - 前記入力データのサイズは前記入力データの次元数であり、前記出力データのサイズは前記出力データの次元数であり、
前記1個以上の候補ハイパーパラメータは、前記ニューラルネットワークの層数及びノード数をそれぞれ1個以上含む
請求項5に記載のニューラルネットワーク構築装置。 - 前記第一条件は、さらに前記ニューラルネットワークは畳み込みニューラルネットワークであることを示す情報を含む
請求項5に記載のニューラルネットワーク構築装置。 - 前記入力データは画像データであり、
前記入力データのサイズは前記画像データの画素数であり、前記出力データのサイズは前記画像データが分類されるクラスの数であり、
前記1個以上の候補ハイパーパラメータは、前記畳み込みニューラルネットワークの層数、カーネルのサイズ、前記カーネルの深度、特徴マップのサイズ、プーリング層のウインドウサイズ、パディング量、及びストライド量のうち少なくともひとつを含む
請求項7に記載のニューラルネットワーク構築装置。 - 前記第一条件は、前記ニューラルネットワークのモデルによる推論の精度目標を含み、
前記設定部は、前記精度目標を用いて前記候補ハイパーパラメータの下限を算出し、算出した前記下限以上のハイパーパラメータの少なくとも一部を前記1個以上の候補ハイパーパラメータであると決定する
請求項2から8のいずれか一項に記載のニューラルネットワーク構築装置。 - 前記第二条件は、ニューラルネットワークのモデルを用いた推論処理の基準所要時間に関する時間条件を含み、
前記生成部は、生成した前記モデルを用いた推論処理の所要時間を前記資源条件に基づいて算出し、
前記判断部は、算出された前記所要時間と前記基準所要時間との比較によって、生成された前記モデルが前記第二条件を満たすか否かを判断する
請求項3、4、及び請求項3又は4を引用する請求項9のいずれか一項に記載のニューラルネットワーク構築装置。 - 前記資源条件は前記組込み機器の演算処理装置の動作周波数の情報をさらに含み、
前記生成部は、生成した前記モデルの推論処理に対応する部分の実行サイクル数を取得し、前記実行サイクル数及び前記動作周波数を用いて前記所要時間を算出する
請求項10に記載のニューラルネットワーク構築装置。 - 前記生成部は、前記モデルの推論処理に対応する部分の前記演算処理装置に依存の言語による第一ソースコードを生成し、前記第一ソースコードをコンパイルして取得する中間コードを用いて前記実行サイクル数を取得する
請求項11に記載のニューラルネットワーク構築装置。 - さらに学習部及び出力部を備え、
前記取得部は、さらに前記ニューラルネットワークの学習データを取得し、
前記判断部は、前記生成部により生成されたモデルのうち、前記第二条件を満たすと判断したモデルを示すデータを出力し、
前記学習部は、前記判断部が出力したデータが示すモデルの学習を、前記学習データを用いて実行し、
前記出力部は、学習済みの前記モデルの少なくとも一部を出力する
請求項1から12のいずれか一項に記載のニューラルネットワーク構築装置。 - 前記学習部はさらに、学習済みの前記モデルの予測精度評価を実行し、実行した前記予測精度評価に関するデータを生成する
請求項13に記載のニューラルネットワーク構築装置。 - 前記学習部はさらに、学習済みの前記モデルの推論処理に対応する部分の演算処理装置依存の言語による第二ソースコードを生成し、前記第二ソースコードを用いて前記予測精度評価を実行する
請求項14に記載のニューラルネットワーク構築装置。 - 前記予測精度評価に関するデータは、前記予測精度評価が実行済みのモデルを示す評価済みモデルリストのデータであり、
前記生成部、前記判断部又は前記学習部は、前記評価済みモデルリストが示すモデルのいずれかと同一の組み合わせの複数のハイパーパラメータを用いて生成されたモデルを処理対象から除外する
請求項14又は15に記載のニューラルネットワーク構築装置。 - 前記出力部は、出力される前記モデルを、演算処理装置依存の言語によるソースコードの形式で出力する
請求項13から16のいずれか一項に記載のニューラルネットワーク構築装置。 - 前記出力部は、出力される前記モデルを、ハードウェア記述言語の形式で出力する
請求項13から16のいずれか一項に記載のニューラルネットワーク構築装置。 - 前記判断部は、実行された前記予測精度評価の成績が所定の条件を満たす場合に、前記生成部によるニューラルネットワークのモデルの生成を停止させる
請求項15又は16に記載のニューラルネットワーク構築装置。 - 前記取得部は、前記ニューラルネットワークのモデルの所定レベルの精度を示す精度目標を取得し、
前記所定の条件は、生成順の連続する所定個数以上のモデルで前記予測精度評価の成績が前記精度目標を達成しない状況が発生したことである
請求項19に記載のニューラルネットワーク構築装置。 - 演算処理部及び記憶部を備え、
前記記憶部は請求項1から18のいずれか一項に記載のニューラルネットワーク構築装置で生成されたモデルを記憶し、
前記演算処理部は、前記記憶部から前記モデルを読み出して実行する
情報処理装置。 - 演算処理装置及び記憶装置を備えるニューラルネットワーク構築装置における前記演算処理装置によって実行されるニューラルネットワーク構築方法であって、
組込み機器が有する計算資源に関する資源情報及び前記組込み機器が有する処理性能に関する性能制約を取得し、
ニューラルネットワークの規模制約を前記資源情報に基づいて設定し、
前記規模制約に基づいてニューラルネットワークのモデルを生成し、
生成された前記モデルについて、前記性能制約を満たすか否かを判断し、前記判断の結果に基づくデータを出力する
ニューラルネットワーク構築方法。 - 演算処理装置及び記憶装置を備えるニューラルネットワーク構築装置における前記演算処理装置によって実行されるプログラムであって、
前記演算処理装置によって実行されることで前記ニューラルネットワーク構築装置に、
組込み機器が有する計算資源に関する資源情報及び前記組込み機器が有する処理性能に関する性能制約を取得させ、
ニューラルネットワークの規模制約を前記資源情報に基づいて設定させ、
前記規模制約に基づいてニューラルネットワークのモデルを生成させ、
生成された前記モデルについて、前記性能制約を満たすか否かを判断し、前記判断の結果に基づくデータを出力させる
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018091303 | 2018-05-10 | ||
JP2018091303 | 2018-05-10 | ||
PCT/JP2019/018700 WO2019216404A1 (ja) | 2018-05-10 | 2019-05-10 | ニューラルネットワーク構築装置、情報処理装置、ニューラルネットワーク構築方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019216404A1 true JPWO2019216404A1 (ja) | 2020-10-22 |
JP6799197B2 JP6799197B2 (ja) | 2020-12-09 |
Family
ID=68468145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020518350A Active JP6799197B2 (ja) | 2018-05-10 | 2019-05-10 | ニューラルネットワーク構築装置、情報処理装置、ニューラルネットワーク構築方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210056420A1 (ja) |
JP (1) | JP6799197B2 (ja) |
CN (1) | CN112088383A (ja) |
WO (1) | WO2019216404A1 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
CN113039556B (zh) | 2018-10-11 | 2022-10-21 | 特斯拉公司 | 用于使用增广数据训练机器模型的***和方法 |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
CN111179149B (zh) * | 2019-12-17 | 2022-03-08 | Tcl华星光电技术有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
US20230316071A1 (en) * | 2020-06-30 | 2023-10-05 | Leapmind Inc. | Neural network generating device, neural network generating method, and neural network generating program |
CN111914488B (zh) * | 2020-08-14 | 2023-09-01 | 贵州东方世纪科技股份有限公司 | 一种基于对抗神经网络的有资料地区水文参数率定方法 |
CN113407806B (zh) * | 2020-10-12 | 2024-04-19 | 腾讯科技(深圳)有限公司 | 网络结构搜索方法、装置、设备及计算机可读存储介质 |
US20230351191A1 (en) * | 2020-10-13 | 2023-11-02 | Sony Group Corporation | Information processing apparatus, information processing method, computer program, and learning system |
US20220147810A1 (en) * | 2020-11-06 | 2022-05-12 | Micron Technology, Inc. | Discovery of hardware characteristics of deep learning accelerators for optimization via compiler |
DE112021007485T5 (de) * | 2021-06-14 | 2024-02-01 | Mitsubishi Electric Corporation | Neuronales-netz-erstellungseinrichtung, neuronales-netz-erstellungsverfahren, bildverarbeitungseinrichtung und bildverarbeitungsverfahren |
CN113780542B (zh) * | 2021-09-08 | 2023-09-12 | 北京航空航天大学杭州创新研究院 | 一种面向fpga的多目标网络结构的构建方法 |
CN115037553B (zh) * | 2022-07-07 | 2023-04-18 | 湖南工商大学 | 信息安全监控模型构建及其应用方法、装置和存储介质 |
CN117688984A (zh) * | 2022-08-25 | 2024-03-12 | 华为云计算技术有限公司 | 神经网络结构搜索方法、装置及存储介质 |
CN115906917B (zh) * | 2022-11-09 | 2024-01-30 | 武汉大学 | 一种基于模型算法划分的神经网络模型部署方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160224903A1 (en) * | 2015-01-29 | 2016-08-04 | Qualcomm Incorporated | Hyper-parameter selection for deep convolutional networks |
WO2017187798A1 (ja) * | 2016-04-28 | 2017-11-02 | ソニー株式会社 | 情報処理装置、及び情報処理方法 |
US20180053091A1 (en) * | 2016-08-17 | 2018-02-22 | Hawxeye, Inc. | System and method for model compression of neural networks for use in embedded platforms |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7007270B2 (en) * | 2001-03-05 | 2006-02-28 | Cadence Design Systems, Inc. | Statistically based estimate of embedded software execution time |
US9026479B1 (en) * | 2011-02-02 | 2015-05-05 | Google Inc. | Predicting user interests |
US10832138B2 (en) * | 2014-11-27 | 2020-11-10 | Samsung Electronics Co., Ltd. | Method and apparatus for extending neural network |
US10373069B2 (en) * | 2015-09-26 | 2019-08-06 | Intel Corporation | Technologies for platform-targeted machine learning |
EP3416105A4 (en) * | 2016-02-12 | 2019-02-20 | Sony Corporation | INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING DEVICE |
CN105844627B (zh) * | 2016-03-21 | 2019-02-05 | 华中科技大学 | 一种基于卷积神经网络的海面目标图像背景抑制方法 |
JP6703264B2 (ja) * | 2016-06-22 | 2020-06-03 | 富士通株式会社 | 機械学習管理プログラム、機械学習管理方法および機械学習管理装置 |
CN106326985A (zh) * | 2016-08-18 | 2017-01-11 | 北京旷视科技有限公司 | 神经网络训练方法和装置及数据处理方法和装置 |
US10656962B2 (en) * | 2016-10-21 | 2020-05-19 | International Business Machines Corporation | Accelerate deep neural network in an FPGA |
US20180121814A1 (en) * | 2016-10-31 | 2018-05-03 | Microsoft Technology Licensing, Llc | Hyperparameter tuning |
US11151471B2 (en) * | 2016-11-30 | 2021-10-19 | Here Global B.V. | Method and apparatus for predictive classification of actionable network alerts |
US10360517B2 (en) * | 2017-02-22 | 2019-07-23 | Sas Institute Inc. | Distributed hyperparameter tuning system for machine learning |
US11734584B2 (en) * | 2017-04-19 | 2023-08-22 | International Business Machines Corporation | Multi-modal construction of deep learning networks |
US11748610B1 (en) * | 2017-11-22 | 2023-09-05 | Amazon Technologies, Inc. | Building sequence to sequence (S2S) models using previously generated S2S models with similar use cases |
US11537439B1 (en) * | 2017-11-22 | 2022-12-27 | Amazon Technologies, Inc. | Intelligent compute resource selection for machine learning training jobs |
US11645520B2 (en) * | 2017-12-15 | 2023-05-09 | Nokia Technologies Oy | Methods and apparatuses for inferencing using a neural network |
US10948966B1 (en) * | 2018-03-07 | 2021-03-16 | Facebook, Inc. | Systems and methods for optimizing power usage for systems within quality-of-service constraints |
US11429862B2 (en) * | 2018-03-20 | 2022-08-30 | Sri International | Dynamic adaptation of deep neural networks |
-
2019
- 2019-05-10 JP JP2020518350A patent/JP6799197B2/ja active Active
- 2019-05-10 CN CN201980030667.7A patent/CN112088383A/zh active Pending
- 2019-05-10 WO PCT/JP2019/018700 patent/WO2019216404A1/ja active Application Filing
-
2020
- 2020-11-06 US US17/091,539 patent/US20210056420A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160224903A1 (en) * | 2015-01-29 | 2016-08-04 | Qualcomm Incorporated | Hyper-parameter selection for deep convolutional networks |
WO2017187798A1 (ja) * | 2016-04-28 | 2017-11-02 | ソニー株式会社 | 情報処理装置、及び情報処理方法 |
US20180053091A1 (en) * | 2016-08-17 | 2018-02-22 | Hawxeye, Inc. | System and method for model compression of neural networks for use in embedded platforms |
Also Published As
Publication number | Publication date |
---|---|
WO2019216404A1 (ja) | 2019-11-14 |
CN112088383A (zh) | 2020-12-15 |
US20210056420A1 (en) | 2021-02-25 |
JP6799197B2 (ja) | 2020-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6799197B2 (ja) | ニューラルネットワーク構築装置、情報処理装置、ニューラルネットワーク構築方法及びプログラム | |
Mirhoseini et al. | Chip placement with deep reinforcement learning | |
CN100504888C (zh) | 使用可达性过度逼近进行验证的方法和*** | |
JP6227195B1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
Gonzalez et al. | Optimizing loss functions through multi-variate taylor polynomial parameterization | |
US8302041B1 (en) | Implementation flow for electronic circuit designs using choice networks | |
EP3260940A1 (en) | Method and apparatus for automated hazard detection | |
US8935136B2 (en) | Multi-component model engineering | |
JP7119820B2 (ja) | 予測プログラム、予測方法および学習装置 | |
JP6902487B2 (ja) | 機械学習システム | |
WO2007020391A1 (en) | Electronic circuit design | |
US20100017173A1 (en) | Method of modelling the switching activity of a digital circuit | |
CN114492251B (zh) | 超算环境的低速流场发散处理方法、装置、设备及介质 | |
JP2021105950A (ja) | ニューラルネットワーク最適化方法、ニューラルネットワーク最適化装置およびプログラム | |
Martens et al. | Top-down heterogeneous synthesis of analog and mixed-signal systems | |
JP6173644B1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US20210279575A1 (en) | Information processing apparatus, information processing method, and storage medium | |
WO2022113274A1 (ja) | 時系列データ分析装置、時系列データ分析方法、及び時系列データ分析プログラム | |
CN113239655B (zh) | 半导体电路的约束确定***和方法 | |
US20110276929A1 (en) | Designing apparatus, designing method, and computer readable medium storing designing program | |
CN115699010A (zh) | 学习装置、推理装置以及可编程逻辑器件的开发用工具链 | |
EP3518153A1 (en) | Information processing method and information processing system | |
JP7149894B2 (ja) | 機械学習装置、設計支援装置、機械学習方法および設計支援方法 | |
JP7409396B2 (ja) | 情報処理装置、情報処理方法、および、プログラム | |
JPWO2017159523A1 (ja) | 推論システム、推論方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200713 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200713 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201020 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6799197 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |