JP7475164B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP7475164B2 JP7475164B2 JP2020038120A JP2020038120A JP7475164B2 JP 7475164 B2 JP7475164 B2 JP 7475164B2 JP 2020038120 A JP2020038120 A JP 2020038120A JP 2020038120 A JP2020038120 A JP 2020038120A JP 7475164 B2 JP7475164 B2 JP 7475164B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- trained
- information processing
- constraint conditions
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 19
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000004364 calculation method Methods 0.000 claims description 61
- 238000013528 artificial neural network Methods 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000007792 addition Methods 0.000 description 5
- 238000004904 shortening Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
図1は、本実施形態の情報処理装置の一例としてのPCの機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやGPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
次に、図2を参照して、機械学習に用いられるニューラルネットワークの演算処理について説明する。図2は、本実施形態に係る1つの推論器を構成するニューラルネットワークが有する複数の層のうちの1つの層における演算処理を模式的に示している。なお、ニューラルネットワークは、例えば、図2に図示される層を1つ又は複数用いることにより隠れ層(中間層といわれる場合もある)を形成し、その隠れ層の前段に入力層、隠れ層の後段に出力層とを有する構成をなす。入力層は、当該ニューラルネットワークへ入力される情報が入力される層を形成し、また、出力層は、ニューラルネットワークの出力値(例えば、推論結果を示す出力値など)を出力する層を形成する。
式1に示すY1~Y3の導出計算を具体的に表すと式2のようになる。
ここで、X1~X4からY1~Y3の演算はニューロン演算と呼ばれ、Y1~Y3のニューロン演算の結果は、1入力1出力の計算を行う活性化関数h()に入力される。活性化関数には、一例としてReLU関数などが用いられてよい。活性化関数の出力Z1~Z3は入力値X1~X4に対するニューラルネットワークの1層分の出力に対応する。ニューラルネットワークが入力層と出力層の間に複数の中間層を有する場合、出力Z1~Z3は2層目の入力となる。なお、Y1~Y3からZ1~Z3への変換を数式で表すと式3のようになる。
なお、ニューラルネットワークの構造を、本実施形態では一例として、入力ノード数を4つとし、出力ノード数を3つとする場合を例に説明した。しかし、ニューラルネットワークのノード数には他のノード数を用いることができる。
次に、図3~図5を参照して、ニューロン演算のうちの式2に示した行列演算の処理に着目した、本実施形態に係る学習モデルの学習時の処理について説明する。なお、図3は、本実施形態に係る重み係数の量子化を説明するための具体例を示しており、図4は、本実施形態に係る拘束条件を示している。
式4d、式4f、式4hは、それぞれ、式2に対して図3(d)と図3(f)と図3(h)の具体例を適用した場合に、演算回数を減らすために行列演算を所定の法則に従ってまとめた式を表している。所定の法則とは、同一の値の重み係数を適用する入力同士をあらかじめ加算したうえで当該重み係数を乗算し、そのうえで重み係数ごとの乗算結果の総和をとるものである。
次に実施形態2について説明する。本実施形態では、学習モデルの学習時の処理に係る動作の一部が実施形態1と異なるが、PC100の構成は実施形態1と同一又は実質的に同一である。このため、実施形態1と同一又は実質的に同一である構成については同一の参照番号を付して説明を省略し、相違点について重点的に説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (9)
- ニューラルネットワークの構成を特定する情報と当該ニューラルネットワークにおける演算最大回数とを含んだ、前記ニューラルネットワークの構成を拘束する1つ以上の拘束条件を指定する指定手段と、
前記指定された拘束条件に基づいて構成されるニューラルネットワークの演算を実行する処理手段と、を有し、
前記処理手段は、ニューラルネットワークを学習させる際に、前記指定された拘束条件のもとでそれぞれのニューラルネットワークを学習させ、前記指定された拘束条件のもとで学習された学習済みモデルのなかの所定の学習済みモデルを推論用に採用する、ことを特徴とする情報処理装置。 - 前記演算最大回数は、前記ニューラルネットワークの演算を実行する際に必要な積和演算の演算回数を表す、ことを特徴とする請求項1に記載の情報処理装置。
- 前記ニューラルネットワークの積和演算は、当該ニューラルネットワークの同一の値の重み係数を適用する入力同士をあらかじめ加算したうえで当該重み係数を乗算する演算を含む、ことを特徴とする請求項2に記載の情報処理装置。
- 前記処理手段は、前記指定された拘束条件のもとで学習された学習済みモデルのなかで、学習済みモデルの最適化度合いを評価するための評価値が所定の評価値より低い学習済みモデルを前記所定の学習済みモデルとして選択する、ことを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。
- 前記処理手段は、前記指定された拘束条件のもとで学習された学習済みモデルのなかで、他の学習済みモデルより演算回数の少ない学習済みモデルを前記所定の学習済みモデルとして選択する、ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
- 前記ニューラルネットワークの構成を特定する情報は、当該ニューラルネットワークの入力層のノード数、当該ニューラルネットワークの出力層のノード数、当該ニューラルネットワークを構成する層の数、当該ニューラルネットワークの隠れ層それぞれのノード数、の少なくとも一部を含む、ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
- 前記ニューラルネットワークの重み係数は量子化された重み係数を含む、ことを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。
- 指定手段が、ニューラルネットワークの構成を特定する情報と当該ニューラルネットワークにおける演算最大回数とを含んだ、前記ニューラルネットワークの構成を拘束する1つ以上の拘束条件を指定する指定工程と、
処理手段が、前記指定された拘束条件に基づいて構成されるニューラルネットワークの演算を実行する処理工程と、を有し、
前記処理工程では、ニューラルネットワークを学習させる際に、前記指定された拘束条件のもとでそれぞれのニューラルネットワークを学習させ、前記指定された拘束条件のもとで学習された学習済みモデルのなかの所定の学習済みモデルを推論用に採用する、ことを特徴とする情報処理方法。 - コンピュータを、請求項1から7のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020038120A JP7475164B2 (ja) | 2020-03-05 | 2020-03-05 | 情報処理装置、情報処理方法およびプログラム |
US17/189,571 US20210279575A1 (en) | 2020-03-05 | 2021-03-02 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020038120A JP7475164B2 (ja) | 2020-03-05 | 2020-03-05 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021140493A JP2021140493A (ja) | 2021-09-16 |
JP7475164B2 true JP7475164B2 (ja) | 2024-04-26 |
Family
ID=77555965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020038120A Active JP7475164B2 (ja) | 2020-03-05 | 2020-03-05 | 情報処理装置、情報処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210279575A1 (ja) |
JP (1) | JP7475164B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118176728A (zh) * | 2021-11-01 | 2024-06-11 | Lg 电子株式会社 | 特征编码/解码方法和装置以及存储比特流的记录介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017138220A (ja) | 2016-02-04 | 2017-08-10 | 富士通株式会社 | ガスセンサ及び情報処理システム |
JP2017154284A (ja) | 2016-02-29 | 2017-09-07 | セイコーエプソン株式会社 | 液体供給装置 |
JP2019096285A (ja) | 2017-11-17 | 2019-06-20 | パナソニックIpマネジメント株式会社 | 情報処理方法および情報処理システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10275479B2 (en) * | 2014-02-27 | 2019-04-30 | Sas Institute Inc. | Sparse matrix storage in a database |
US11250311B2 (en) * | 2017-03-15 | 2022-02-15 | Salesforce.Com, Inc. | Deep neural network-based decision network |
US11270187B2 (en) * | 2017-11-07 | 2022-03-08 | Samsung Electronics Co., Ltd | Method and apparatus for learning low-precision neural network that combines weight quantization and activation quantization |
US11205115B1 (en) * | 2018-04-20 | 2021-12-21 | Perceive Corporation | Neural network inference circuit |
-
2020
- 2020-03-05 JP JP2020038120A patent/JP7475164B2/ja active Active
-
2021
- 2021-03-02 US US17/189,571 patent/US20210279575A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017138220A (ja) | 2016-02-04 | 2017-08-10 | 富士通株式会社 | ガスセンサ及び情報処理システム |
JP2017154284A (ja) | 2016-02-29 | 2017-09-07 | セイコーエプソン株式会社 | 液体供給装置 |
JP2019096285A (ja) | 2017-11-17 | 2019-06-20 | パナソニックIpマネジメント株式会社 | 情報処理方法および情報処理システム |
Also Published As
Publication number | Publication date |
---|---|
US20210279575A1 (en) | 2021-09-09 |
JP2021140493A (ja) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102127524B1 (ko) | 신경망 프로세서의 벡터 컴퓨테이션 유닛 | |
JP6880160B2 (ja) | 計算装置と計算方法 | |
KR20190073303A (ko) | 신경망의 컨볼루션 계산을 위한 방법 및 전자 디바이스 | |
JP6540841B1 (ja) | 演算処理装置、情報処理装置、情報処理方法、およびプログラム | |
KR20200136514A (ko) | 인공 신경망 정방향 연산 실행용 장치와 방법 | |
CN113850389B (zh) | 一种量子线路的构建方法及装置 | |
EP3671572A1 (en) | Information processing apparatus, neural network program, and processing method for neural network | |
JP2022165395A (ja) | ニューラルネットワークモデルの最適化方法及びニューラルネットワークモデルに関するグラフィックユーザインターフェースを提供する方法 | |
JP7475164B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN110414672B (zh) | 卷积运算方法、装置及*** | |
US11900577B2 (en) | Processing apparatus for performing processing using a convolutional neural network | |
CN115017773A (zh) | 一种三维网格模型的降维方法、电子设备和介质 | |
CN111160560A (zh) | 预估模拟量子计算所需资源的方法、*** | |
Shaeffer et al. | Application of machine learning to early-stage hull form design | |
WO2019182059A1 (ja) | モデル生成装置、モデル生成方法及びプログラム | |
JP7036224B2 (ja) | 演算処理装置及び演算処理装置の制御方法 | |
JP2014013555A (ja) | ニューラルネットワーク設計方法、フィッティング方法、及びプログラム | |
JP2020190901A (ja) | 演算処理装置、演算処理装置の制御プログラム及び演算処理装置の制御方法 | |
CN113902088A (zh) | 神经网络结构搜索的方法、装置与*** | |
JP5034041B2 (ja) | データ生成回路及びデータ生成方法 | |
TWI830940B (zh) | 資訊處理電路以及資訊處理電路的設計方法 | |
JP7226541B2 (ja) | 推論処理装置および推論処理方法 | |
CN116644813B (zh) | 一种利用量子电路确定最优组合方案的方法及装置 | |
JP7456501B2 (ja) | 情報処理回路および情報処理回路の設計方法 | |
JP6973651B2 (ja) | 演算最適化装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230303 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240313 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7475164 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |