JPWO2018167885A1 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents
情報処理装置、情報処理方法、および情報処理プログラム Download PDFInfo
- Publication number
- JPWO2018167885A1 JPWO2018167885A1 JP2018508235A JP2018508235A JPWO2018167885A1 JP WO2018167885 A1 JPWO2018167885 A1 JP WO2018167885A1 JP 2018508235 A JP2018508235 A JP 2018508235A JP 2018508235 A JP2018508235 A JP 2018508235A JP WO2018167885 A1 JPWO2018167885 A1 JP WO2018167885A1
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- partial
- partial layer
- gene pool
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
実施形態に係る情報処理装置10は、複雑な問題の解を見つけるための深層学習モデルを自動的に構築するコンピュータまたはコンピュータシステムである。「深層学習」とは多層構造のニューラルネットワーク(深層ニューラルネットワーク)を用いた機械学習であり、「深層学習モデル」とはその深層ニューラルネットワークの構造(以下では単に「ネットワーク構造」という)を示す表現である。「深層学習モデルを自動的に構築する」とは、情報処理装置10が深層学習モデルの少なくとも一部の構成要素を人手を介することなく生成し、生成された構成要素を含む深層学習モデルを出力することを意味する。情報処理装置10により生成される深層学習モデルの表現形式は限定されない。例えば、情報処理装置10は深層学習モデルをアルゴリズムまたはプログラムコードで表現してもよいし、ネットワーク図で抽象的に表現してもよい。
(1)merge([x,y],mode=“sum”)−−>x+y
(2)Convolution2D(3,3,3,border_mode=“same”)(x)−−>conv(x)
(3)MaxPooling2D()(x)−−>y
(4)AveragePooling2D(pool_size=(2,2))(x)−−>y
図7は情報処理装置10の一般的なハードウェア構成を示す。情報処理装置10は、オペレーティングシステムやアプリケーション・プログラムなどを実行するプロセッサ101と、ROMおよびRAMで構成される主記憶部102と、ハードディスクやフラッシュメモリなどで構成される補助記憶部103と、ネットワークカードまたは無線通信モジュールで構成される通信制御部104と、キーボードやマウスなどの入力装置105と、モニタなどの出力装置106とを備える。プロセッサ101の例としてCPUおよびGPUが挙げられるが、大量の積和演算を行う必要がある深層学習では一般に、並列計算を得意とするGPUが用いられる。
次に、図10を参照しながら、情報処理装置10の動作を説明するとともに本実施形態に係る情報処理方法について説明する。図10は、情報処理装置10の動作を示すフローチャートである。
次に、図11を参照しながら、コンピュータを情報処理装置10として機能させるための情報処理プログラムP1を説明する。図11は情報処理プログラムP1の構成を示す図である。
以上説明したように、本発明の一側面に係る情報処理装置は、プロセッサを備える情報処理装置であって、プロセッサが、深層学習モデルの構成要素の候補である複数の部分層を遺伝子プールとして取得する取得ステップと、遺伝的プログラミングを用いて遺伝子プールから新たな部分層を生成する生成ステップと、新たな部分層が追加された遺伝子プール内の各部分層を深層学習モデルのテンプレートに組み込んで各部分層を評価し、遺伝子プール内に残す複数の部分層を決定する評価ステップと、最も評価値が高い部分層が組み込まれた深層学習モデルを出力する出力ステップとを実行する。
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
Claims (10)
- プロセッサを備える情報処理装置であって、
前記プロセッサが、
深層学習モデルの構成要素の候補である複数の部分層を遺伝子プールとして取得する取得ステップと、
遺伝的プログラミングを用いて前記遺伝子プールから新たな部分層を生成する生成ステップと、
前記新たな部分層が追加された前記遺伝子プール内の各部分層を前記深層学習モデルのテンプレートに組み込んで各部分層を評価し、前記遺伝子プール内に残す複数の前記部分層を決定する評価ステップと、
最も評価値が高い前記部分層が組み込まれた前記深層学習モデルを出力する出力ステップとを実行する、
情報処理装置。 - 前記プロセッサが、前記生成ステップおよび前記評価ステップを含む探索を繰り返した後に前記出力ステップを実行する、
請求項1に記載の情報処理装置。 - 前記プロセッサが前記探索をn回繰り返し、ここでnは1より大きい自然数であり、
i回目までの前記評価ステップでは、前記プロセッサが、前記遺伝子プール内に残す前記複数の部分層をランダムに決定し、(i+1)回目以降の前記評価ステップでは、前記プロセッサが、前記遺伝子プール内に残す前記複数の部分層を評価値に基づいて決定し、ここでiはnより小さい自然数である、
請求項2に記載の情報処理装置。 - 各部分層が畳み込みを含む、
請求項1〜3のいずれか一項に記載の情報処理装置。 - 前記各部分層の評価が、該部分層が組み込まれた前記深層学習モデルを1エポック毎に評価し、評価値が前回のエポックよりも下がったときに該深層学習モデルの学習を終了することを含む、
請求項1〜4のいずれか一項に記載の情報処理装置。 - 前記評価ステップでは、前記プロセッサが、前記遺伝子プール内の前記部分層の個数が変わらないように、前記遺伝子プール内に残す前記複数の部分層を決定する、
請求項1〜5のいずれか一項に記載の情報処理装置。 - 前記遺伝的プログラミングが、前記部分層の評価値が低いほど、該部分層に適用する変異確率を上げることで新たな部分層を生成する、
請求項1〜6のいずれか一項に記載の情報処理装置。 - 前記深層学習モデルの評価値が上がらない場合に、前記プロセッサが、前記生成ステップおよび前記評価ステップを含む探索の繰り返し回数を増やすか、前記遺伝子プール内の部分層の個数を増やすか、前記遺伝的プログラミングにおける交叉確率を上げるか、または前記遺伝的プログラミングにおける突然変異確率を上げる、
請求項1〜7のいずれか一項に記載の情報処理装置。 - プロセッサを備える情報処理装置により実行される情報処理方法であって、
深層学習モデルの構成要素の候補である複数の部分層を遺伝子プールとして取得する取得ステップと、
遺伝的プログラミングを用いて前記遺伝子プールから新たな部分層を生成する生成ステップと、
前記新たな部分層が追加された前記遺伝子プール内の各部分層を前記深層学習モデルのテンプレートに組み込んで各部分層を評価し、前記遺伝子プール内に残す複数の前記部分層を決定する評価ステップと、
最も評価値が高い前記部分層が組み込まれた前記深層学習モデルを出力する出力ステップと
を含む情報処理方法。 - 深層学習モデルの構成要素の候補である複数の部分層を遺伝子プールとして取得する取得ステップと、
遺伝的プログラミングを用いて前記遺伝子プールから新たな部分層を生成する生成ステップと、
前記新たな部分層が追加された前記遺伝子プール内の各部分層を前記深層学習モデルのテンプレートに組み込んで各部分層を評価し、前記遺伝子プール内に残す複数の前記部分層を決定する評価ステップと、
最も評価値が高い前記部分層が組み込まれた前記深層学習モデルを出力する出力ステップと
をコンピュータに実行させる情報処理プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/010474 WO2018167885A1 (ja) | 2017-03-15 | 2017-03-15 | 情報処理装置、情報処理方法、および情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6325762B1 JP6325762B1 (ja) | 2018-05-16 |
JPWO2018167885A1 true JPWO2018167885A1 (ja) | 2019-03-28 |
Family
ID=62143835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508235A Active JP6325762B1 (ja) | 2017-03-15 | 2017-03-15 | 情報処理装置、情報処理方法、および情報処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11461656B2 (ja) |
JP (1) | JP6325762B1 (ja) |
WO (1) | WO2018167885A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11556778B2 (en) * | 2018-12-07 | 2023-01-17 | Microsoft Technology Licensing, Llc | Automated generation of machine learning models |
JP7171477B2 (ja) * | 2019-03-14 | 2022-11-15 | ヤフー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
US11836467B2 (en) * | 2021-06-15 | 2023-12-05 | Microsoft Technology Licensing, Llc. | Code generation with reinforcement learning |
CN117877749B (zh) * | 2024-03-11 | 2024-05-28 | 西安交通大学医学院第一附属医院 | 基于大数据的房颤患者抗凝治疗效果评估与优化方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2239228C (en) * | 1996-03-01 | 2002-12-03 | William P. Worzel | Method and system for genetic programming |
JP2003317073A (ja) * | 2002-04-24 | 2003-11-07 | Fuji Xerox Co Ltd | ニューラルネットワーク処理装置 |
JP6740597B2 (ja) * | 2015-11-27 | 2020-08-19 | 富士通株式会社 | 学習方法、学習プログラムおよび情報処理装置 |
US11250328B2 (en) * | 2016-10-26 | 2022-02-15 | Cognizant Technology Solutions U.S. Corporation | Cooperative evolution of deep neural network structures |
KR102302609B1 (ko) * | 2017-02-23 | 2021-09-15 | 구글 엘엘씨 | 신경망 아키텍처 최적화 |
-
2017
- 2017-03-15 JP JP2018508235A patent/JP6325762B1/ja active Active
- 2017-03-15 US US16/325,321 patent/US11461656B2/en active Active
- 2017-03-15 WO PCT/JP2017/010474 patent/WO2018167885A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US11461656B2 (en) | 2022-10-04 |
WO2018167885A1 (ja) | 2018-09-20 |
JP6325762B1 (ja) | 2018-05-16 |
US20190205763A1 (en) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11610131B2 (en) | Ensembling of neural network models | |
US20210390416A1 (en) | Variable parameter probability for machine-learning model generation and training | |
US11853893B2 (en) | Execution of a genetic algorithm having variable epoch size with selective execution of a training algorithm | |
JP6325762B1 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
WO2018131259A1 (ja) | 文章評価装置、及び文章評価方法 | |
CN111105029B (zh) | 神经网络的生成方法、生成装置和电子设备 | |
KR20060044772A (ko) | 트리를 학습하기 위한 테이블 사용 방법 | |
CN111047563B (zh) | 一种应用于医学超声图像的神经网络构建方法 | |
CN113011529B (zh) | 文本分类模型的训练方法、装置、设备及可读存储介质 | |
JP6751376B2 (ja) | 最適解探索方法、最適解探索プログラム及び最適解探索装置 | |
Lu et al. | Path planning of mobile robot with path rule mining based on GA | |
Szwarcman et al. | Quantum-inspired evolutionary algorithm applied to neural architecture search | |
US11488007B2 (en) | Building of custom convolution filter for a neural network using an automated evolutionary process | |
WO2023243731A1 (en) | Gan distributed rf power amplifier automation design with deep reinforcement learning | |
KR102559605B1 (ko) | 함수 최적화 방법 및 장치 | |
WO2022127603A1 (zh) | 一种模型处理方法及相关装置 | |
CN116305939A (zh) | 陆地生态***碳水通量高精度反演方法、***及电子设备 | |
JP4997524B2 (ja) | 多変数決定木構築システム、多変数決定木構築方法および多変数決定木を構築するためのプログラム | |
Javaheripi et al. | Swann: Small-world architecture for fast convergence of neural networks | |
US11676050B2 (en) | Systems and methods for neighbor frequency aggregation of parametric probability distributions with decision trees using leaf nodes | |
JP7438544B2 (ja) | ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法 | |
JP2020021474A (ja) | モーション合成装置及びモーション合成方法 | |
Huang et al. | Elastic dnn inference with unpredictable exit in edge computing | |
JP6801751B1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20210081772A1 (en) | Reservoir computer, reservoir designing method, and non-transitory computer-readable storage medium for storing reservoir designing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180215 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180215 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6325762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |