JP7114528B2 - 推論装置、学習装置、推論方法及び学習方法 - Google Patents
推論装置、学習装置、推論方法及び学習方法 Download PDFInfo
- Publication number
- JP7114528B2 JP7114528B2 JP2019126591A JP2019126591A JP7114528B2 JP 7114528 B2 JP7114528 B2 JP 7114528B2 JP 2019126591 A JP2019126591 A JP 2019126591A JP 2019126591 A JP2019126591 A JP 2019126591A JP 7114528 B2 JP7114528 B2 JP 7114528B2
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- learning model
- decomposition
- tensor
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/043—Distributed expert systems; Blackboards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Description
第1実施形態では、機械学習モデルとして多層のニューラルネットワークを用いる場合を例にして説明する。なお、機械学習モデルは、多層のニューラルネットワークに限らず、サポートベクターマシンなどの他のモデルでもよい。また、ニューラルネットワークは全結合型について説明するが、畳み込み型などであってもよい。第1実施形態の説明では、重み係数のテンソルは、行列(階数2のテンソル)として説明を行う。なお、畳み込み型の場合は、横幅×縦幅×入力チャネル×出力チャネルの階数4のテンソルを(横幅×縦幅×入力チャネル)×出力チャネルというように行列に変換できる。制御パラメータとして直接モデルサイズを取得する場合について説明する。消費電力やメモリ容量などの所望のハードウェア性能を元にモデルサイズを決めてもよい。
図1は第1実施形態の推論装置10の機能構成の例を示す図である。第1実施形態の推論装置10は、モデル取得部11、分解部12、モデルサイズ取得部13、設定部14、変更部15、入力データ取得部16及び推論部17を備える。
次に第2実施形態について説明する。第2実施形態では、第1実施形態と同様の説明については省略する。第2実施形態では、機械学習モデルとして多層のニューラルネットワークを用いる場合を例に説明する。なお、機械学習モデルは、多層のニューラルネットワークに限らず、サポートベクターマシンなどの他のモデルを用いてもよい。重み係数のテンソルは、行列(階数2のテンソル)として説明を行う。制御パラメータとしてモデルサイズを用いる場合について説明する。消費電力やメモリ容量などの所望のハードウェア性能を元にモデルサイズを決めてもよい。
図6は第2実施形態の推論システム100の装置構成の例を示す図である。第2実施形態の推論システム100は、推論装置10及び学習装置20を備える。推論装置10の説明は、第1実施形態と同様であるので省略する。学習装置20は、モデルを学習データによって、機械学習し、学習済みモデルを推論装置10に入力する。なお、第2実施形態では、推論装置10及び学習装置20を備える推論システム100として説明するが、学習装置20単体でシステムを構成してもよい。
図7は第2実施形態の学習装置20の機能構成の例を示す図である。第2実施形態の学習装置20は、モデル取得部21、学習データ取得部22、近似部23、損失計算部24、勾配計算部25、勾配集積部26及び更新部27を備える。
次に第3実施形態について説明する。第3実施形態では、第1実施形態と同様の説明については省略する。第3実施形態では、具体例として、推論装置10を自動運転システムで利用する場合について説明する。自動運転システムは、車両の運転を補助するシステムである。例えば、自動運転システムは、車両に取り付けられたカメラにより撮像された画像を認識し、認識結果に基づき、車両の運転制御を実行する。例えば、自動運転システムは、歩行者、車両、信号、標識及び車線等を認識して、車両の運転制御を実行する。
図9は第3実施形態の自動運転システム200の構成の例を示す図である。第3実施形態の自動運転システム200は、推論装置10、取得装置30及び車両制御装置40を備える。
図10は第1乃至第3実施形態の推論装置10及び学習装置20のハードウェア構成の例を示す図である。
11 モデル取得部
12 分解部
13 モデルサイズ取得部
14 設定部
15 変更部
16 入力データ取得部
17 推論部
20 学習装置
21 モデル取得部
22 学習データ取得部
23 近似部
24 損失計算部
25 勾配計算部
26 集積部
27 更新部
30 取得装置
40 車両制御装置
301 制御装置
302 主記憶装置
303 補助記憶装置
304 表示装置
305 入力装置
306 通信装置
Claims (9)
- 第1の機械学習モデルを前記第1の機械学習モデルよりもサイズが小さい第2の機械学習モデルに変更する推論装置であって、
前記第2の機械学習モデルの制御パラメータを取得する取得部と、
前記第1の機械学習モデルの重み係数のテンソルを、テンソル分解法によって2以上の分解テンソルに分解する分解部と、
前記制御パラメータに応じて、前記分解テンソルの幅を設定し、前記第2の機械学習モデルのサイズを設定する設定部と、
前記第1の機械学習モデルを、前記設定部により設定されたサイズを有する2以上の分解テンソルによって表される前記第2の機械学習モデルに変更する変更部と、
前記第2の機械学習モデルを使用して、入力データに応じた推論をする推論部と、を備え、
前記重み係数のテンソルは、重み係数の行列であり、
前記分解テンソルは、R個の基底ベクトルにより構成される2以上の行列であり、
前記設定部は、前記R個の基底ベクトルからr(r≦R)個の基底ベクトルを選択することによって、前記分解テンソルの幅を設定し、
前記変更部は、前記第1の機械学習モデルを、前記設定部により設定された幅を有する2以上の分解テンソルによって表される第2の機械学習モデルに変更する、
推論装置。 - 第1の機械学習モデルを前記第1の機械学習モデルよりもサイズが小さい第2の機械学習モデルに変更する推論装置であって、
前記第2の機械学習モデルの制御パラメータを取得する取得部と、
前記第1の機械学習モデルの重み係数のテンソルを、テンソル分解法によって2以上の分解テンソルに分解する分解部と、
前記制御パラメータに応じて、前記分解テンソルの幅を設定し、前記第2の機械学習モデルのサイズを設定する設定部と、
前記第1の機械学習モデルを、前記設定部により設定されたサイズを有する2以上の分解テンソルによって表される前記第2の機械学習モデルに変更する変更部と、
前記第2の機械学習モデルを使用して、入力データに応じた推論をする推論部と、を備え、
前記変更部は、前記第1の機械学習モデルを、前記設定部により設定された幅を有する2以上の分解テンソルによって表される第2の機械学習モデルに変更し、
前記変更部は、前記第1の機械学習モデルが正規化処理をする正規化層を含む場合、正規化処理で使用されるパラメータを、前記設定部により設定された幅に応じて補正する、
推論装置。 - 前記制御パラメータは、前記推論装置のハードウェア性能を制御するパラメータであり、モデルサイズ、演算量、推論精度、推論速度、消費電力、メモリ量及びメモリ帯域の少なくとも1つを含む、
請求項1または2に記載の推論装置。 - 前記設定部は、前記基底ベクトルの寄与度が大きい順に、r個の基底ベクトルを選択することによって、前記分解テンソルの幅を設定する、
請求項1に記載の推論装置。 - 前記分解部は、前記重み係数の行列の特異値分解に基づいて、前記重み係数の行列を分解し、
前記設定部は、特異値に基づいて定められた寄与度が大きい順に、r個の基底ベクトルを選択することによって、前記分解テンソルの幅を設定する、
請求項1に記載の推論装置。 - 学習対象のモデルを取得するモデル取得部と、
前記モデルの重み係数のテンソルを、テンソル分解法によって得られる2以上の分解テンソルに分解し、前記モデルを、幅の異なる複数の前記分解テンソルによって表された複数の近似モデルに近似する近似部と、
入力データと教師データとを含む学習データを取得し、前記入力データを前記複数の近似モデルに入力する学習データ取得部と、
前記教師データと、前記複数の近似モデルから前記入力データに応じて出力される出力データとを使用して、前記複数の近似モデルそれぞれの損失関数を計算する損失計算部と、
前記それぞれの損失関数の勾配を計算する勾配計算部と、
前記勾配を集積する集積部と、
前記集積された勾配に基づいて、前記複数の近似モデルの損失関数が最小化されるようにして、前記学習対象のモデルのパラメータを更新する更新部と、
を備える学習装置。 - 第1の機械学習モデルを前記第1の機械学習モデルよりもサイズが小さい第2の機械学習モデルに変更する推論装置の推論方法であって、
第2の機械学習モデルの制御パラメータを取得するステップと、
前記第1の機械学習モデルの重み係数のテンソルを、テンソル分解法によって2以上の分解テンソルに分解するステップと、
前記制御パラメータに応じて、前記分解テンソルの幅を設定し、前記第2の機械学習モデルのサイズを設定するステップと、
前記第1の機械学習モデルを、前記設定するステップにより設定されたサイズを有する2以上の分解テンソルによって表される第2の機械学習モデルに変更するステップと、
前記第2の機械学習モデルを使用して、入力データに応じた推論をするステップと、を含み、
前記重み係数のテンソルは、重み係数の行列であり、
前記分解テンソルは、R個の基底ベクトルにより構成される2以上の行列であり、
前記設定するステップは、前記R個の基底ベクトルからr(r≦R)個の基底ベクトルを選択することによって、前記分解テンソルの幅を設定し、
前記変更するステップは、前記第1の機械学習モデルを、前記設定するステップにより設定された幅を有する2以上の分解テンソルによって表される第2の機械学習モデルに変更する、
推論方法。 - 第1の機械学習モデルを前記第1の機械学習モデルよりもサイズが小さい第2の機械学習モデルに変更する推論装置の推論方法であって、
前記第2の機械学習モデルの制御パラメータを取得するステップと、
前記第1の機械学習モデルの重み係数のテンソルを、テンソル分解法によって2以上の分解テンソルに分解するステップと、
前記制御パラメータに応じて、前記分解テンソルの幅を設定し、前記第2の機械学習モデルのサイズを設定するステップと、
前記第1の機械学習モデルを、前記設定するステップにより設定されたサイズを有する2以上の分解テンソルによって表される前記第2の機械学習モデルに変更するステップと、
前記第2の機械学習モデルを使用して、入力データに応じた推論をするステップと、を含み、
前記変更するステップは、前記第1の機械学習モデルを、前記設定するステップにより設定された幅を有する2以上の分解テンソルによって表される第2の機械学習モデルに変更し、
前記変更するステップは、前記第1の機械学習モデルが正規化処理をする正規化層を含む場合、正規化処理で使用されるパラメータを、前記設定するステップにより設定された幅に応じて補正する、
推論方法。 - 学習対象のモデルを取得するステップと、
前記モデルの重み係数のテンソルを、テンソル分解法によって得られる2以上の分解テンソルに分解し、前記モデルを、幅の異なる複数の前記分解テンソルによって表された複数の近似モデルに近似するステップと、
入力データと教師データとを含む学習データを取得し、前記入力データを前記複数の近似モデルに入力するステップと、
前記教師データと、前記複数の近似モデルから前記入力データに応じて出力される出力データとを使用して、前記複数の近似モデルそれぞれの損失関数を計算するステップと、
前記それぞれの損失関数の勾配を計算するステップと、
前記勾配を集積するステップと、
前記集積された勾配に基づいて、前記複数の近似モデルの損失関数が最小化されるようにして、前記学習対象のモデルのパラメータを更新するステップと、
を含む学習方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019126591A JP7114528B2 (ja) | 2019-07-08 | 2019-07-08 | 推論装置、学習装置、推論方法及び学習方法 |
US16/803,376 US20210012228A1 (en) | 2019-07-08 | 2020-02-27 | Inference apparatus, learning apparatus, inference method, and learning method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019126591A JP7114528B2 (ja) | 2019-07-08 | 2019-07-08 | 推論装置、学習装置、推論方法及び学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021012553A JP2021012553A (ja) | 2021-02-04 |
JP7114528B2 true JP7114528B2 (ja) | 2022-08-08 |
Family
ID=74103242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019126591A Active JP7114528B2 (ja) | 2019-07-08 | 2019-07-08 | 推論装置、学習装置、推論方法及び学習方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210012228A1 (ja) |
JP (1) | JP7114528B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019004350A1 (ja) | 2017-06-29 | 2019-01-03 | 株式会社 Preferred Networks | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 |
US11263052B2 (en) * | 2019-07-29 | 2022-03-01 | International Business Machines Corporation | Determining optimal compute resources for distributed batch based optimization applications |
JP7021158B2 (ja) | 2019-09-04 | 2022-02-16 | 株式会社東芝 | ロボットシステムおよび駆動方法 |
JP7051772B2 (ja) | 2019-09-12 | 2022-04-11 | 株式会社東芝 | 提供装置、提供方法及びプログラム |
JP7384081B2 (ja) * | 2020-03-18 | 2023-11-21 | 株式会社デンソー | 情報処理装置、データ分解方法、及びデータ分解プログラム |
WO2024071718A1 (ko) * | 2022-09-28 | 2024-04-04 | 삼성전자 주식회사 | 증강현실 기능을 지원하는 전자 장치 및 이의 동작 방법 |
CN117762760B (zh) * | 2023-12-27 | 2024-06-11 | 江苏博云科技股份有限公司 | 服务器的硬件性能测试分数获取方法、装置和介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020444A (ja) | 2008-07-09 | 2010-01-28 | Sony Corp | 学習装置、学習方法、およびプログラム |
US20150255061A1 (en) | 2014-03-07 | 2015-09-10 | Microsoft Corporation | Low-footprint adaptation and personalization for a deep neural network |
WO2018016608A1 (ja) | 2016-07-21 | 2018-01-25 | 株式会社デンソーアイティーラボラトリ | ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106548210B (zh) * | 2016-10-31 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 基于机器学习模型训练的信贷用户分类方法及装置 |
US10713593B2 (en) * | 2016-11-04 | 2020-07-14 | Google Llc | Implicit bridging of machine learning tasks |
CN111886606A (zh) * | 2018-02-23 | 2020-11-03 | Asml荷兰有限公司 | 用于图案的语义分段的深度学习 |
US10877558B1 (en) * | 2018-02-28 | 2020-12-29 | Facebook Technologies, Llc | Wearable gesture input device using electric impedance measurement |
CN109949300B (zh) * | 2018-06-03 | 2020-07-17 | 北京昆仑医云科技有限公司 | 解剖树结构分析的方法、***和计算机可读介质 |
US11710033B2 (en) * | 2018-06-12 | 2023-07-25 | Bank Of America Corporation | Unsupervised machine learning system to automate functions on a graph structure |
CN109460793B (zh) * | 2018-11-15 | 2023-07-18 | 腾讯科技(深圳)有限公司 | 一种节点分类的方法、模型训练的方法及装置 |
US10510002B1 (en) * | 2019-02-14 | 2019-12-17 | Capital One Services, Llc | Stochastic gradient boosting for deep neural networks |
IL286232B1 (en) * | 2019-03-26 | 2024-07-01 | Univ California | Distributed privacy-preserving computing on protected data |
EP3924935A1 (en) * | 2019-03-29 | 2021-12-22 | Google LLC | Processing fundus images using machine learning models to generate blood-related predictions |
US11816562B2 (en) * | 2019-04-04 | 2023-11-14 | Adobe Inc. | Digital experience enhancement using an ensemble deep learning model |
-
2019
- 2019-07-08 JP JP2019126591A patent/JP7114528B2/ja active Active
-
2020
- 2020-02-27 US US16/803,376 patent/US20210012228A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020444A (ja) | 2008-07-09 | 2010-01-28 | Sony Corp | 学習装置、学習方法、およびプログラム |
US20150255061A1 (en) | 2014-03-07 | 2015-09-10 | Microsoft Corporation | Low-footprint adaptation and personalization for a deep neural network |
WO2018016608A1 (ja) | 2016-07-21 | 2018-01-25 | 株式会社デンソーアイティーラボラトリ | ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021012553A (ja) | 2021-02-04 |
US20210012228A1 (en) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7114528B2 (ja) | 推論装置、学習装置、推論方法及び学習方法 | |
US10755164B2 (en) | Apparatus and method for learning a model corresponding to time-series input data | |
US10460230B2 (en) | Reducing computations in a neural network | |
JP6620439B2 (ja) | 学習方法、プログラム及び学習装置 | |
CN110059740A (zh) | 一种针对嵌入式移动端的深度学习语义分割模型压缩方法 | |
US20170147921A1 (en) | Learning apparatus, recording medium, and learning method | |
US11562250B2 (en) | Information processing apparatus and method | |
JP6610278B2 (ja) | 機械学習装置、機械学習方法及び機械学習プログラム | |
JP7051772B2 (ja) | 提供装置、提供方法及びプログラム | |
US11654553B2 (en) | Robot system and driving method | |
JP2021504836A5 (ja) | ||
JP2021039640A (ja) | 学習装置、学習システム、および学習方法 | |
KR20190045038A (ko) | 음성 인식 방법 및 장치 | |
CN111008631A (zh) | 图像的关联方法及装置、存储介质和电子装置 | |
CN114298179A (zh) | 一种数据处理方法、装置及设备 | |
WO2020065908A1 (ja) | パターン認識装置、パターン認識方法およびパターン認識プログラム | |
CN110136185B (zh) | 一种单目深度估计方法及*** | |
CN117034090A (zh) | 模型参数调整、模型应用方法、装置、设备及介质 | |
US20190156182A1 (en) | Data inference apparatus, data inference method and non-transitory computer readable medium | |
US11868885B2 (en) | Learning device, inference device, learning method, and inference method using a transformation matrix generated from learning data | |
JP7524031B2 (ja) | 学習装置、方法及びプログラム | |
WO2022015822A1 (en) | Neural network models using peer-attention | |
US20220138569A1 (en) | Learning apparatus, method, and storage medium | |
WO2022201399A1 (ja) | 推論装置、推論方法および推論プログラム | |
US20240256901A1 (en) | Information processing apparatus, information processing method and non-transitory computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220727 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7114528 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |