LU102710B1 - Input validation method for neural network model by crossing-layer dissection - Google Patents
Input validation method for neural network model by crossing-layer dissection Download PDFInfo
- Publication number
- LU102710B1 LU102710B1 LU102710A LU102710A LU102710B1 LU 102710 B1 LU102710 B1 LU 102710B1 LU 102710 A LU102710 A LU 102710A LU 102710 A LU102710 A LU 102710A LU 102710 B1 LU102710 B1 LU 102710B1
- Authority
- LU
- Luxembourg
- Prior art keywords
- layer
- model
- input
- neural network
- validity
- Prior art date
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 66
- 238000002224 dissection Methods 0.000 title claims abstract description 32
- 238000010200 validation analysis Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000006399 behavior Effects 0.000 claims description 69
- 238000004458 analytical method Methods 0.000 claims description 21
- 210000002569 neuron Anatomy 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000012417 linear regression Methods 0.000 claims description 6
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 110
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Claims (9)
1. Eingabevalidierungsverfahren für ein Modell eines neuronalen Netzes mittels schichtübergreifender Zerlegung, umfassend die folgenden Schritte: schritt 1: Bereitstellen eines gegebenen Modells eines neuronalen Netzes und Einlerndaten, die dem Modell eines neuronalen Netzes entsprechen, Eingeben der Einlerndaten in das gegebene Modell eines neuronalen Netzes, Extrahieren intermediärer Informationen der Daten auf jeder intermediären Schicht des Modells während eines Einlernprozesses, und Einlernen eines Untermodells, das jeder Schicht entspricht, gemäß den intermediären Informationen, wobei jedes Untermodell Wissen aus einer Eingabeschicht an eine entsprechende intermediäre Schicht des gegebenen Modells eines neuronalen Netzes enthält und ein Prädiktionsverhalten des gegebenen Modells eines neuronalen Netzes simuliert; schritt 2: Eingeben einer zu validierenden Eingabe in das Untermodell, das jeder intermediären Schicht entspricht und in schritt 1 erlangt wurde, um Prädiktionsverhaltensmomentaufnahmen an dem Untermodell, das jeder Schicht entspricht, mit Zunahme der Schichten zu erfassen, und Konvergieren der Prädiktionsverhaltensmomentaufnahmen zum Erzeugen eines gesamten Verhaltensprofils der Eingaben in alle Untermodelle; und schritt 3: auf Grundlage des gesamten Verhaltensprofils, das durch Zerlegen einer Schicht erlangt wird, die der gegebenen Eingabe entspricht, die in schritt 2 erlangt wurde, Analysieren einer Gültigkeit der Prädiktionsverhaltensmomentaufnahmen auf der Schicht und der Gültigkeit des gesamten Verhaltensprofils, und Bereitstellen eines Gütigkeitskonfidenzpunktwerts zum Bewerten der Gültigkeit.
2. Eingabevalidierungsverfahren für ein Modell eines neuronalen Netzes mittels schichtübergreifender Zerlegung nach Anspruch 1, dadurch gekennzeichnet, dass in Schritt 1 das gegebene Modell eines neuronalen Netzes und ein Einlerndatensatz des Modells eines neuronalen Netzes bereitgestellt werden, und die intermediären Informationen jeder Schicht des Einlernprozesses extrahiert werden; wobei die intermediären Informationen Modellparameterinformationen umfassen, die von Neuronen auf jeder intermediären Schicht im Laufe des Einlernprozesses erlangt werden, und ein Eingabewert und ein Ausgabewert jedes Neurons; wobei die Parameterinformationen dazu konfiguriert sind, von einem aktuellen Modell durch den Einlernprozess aus dem Einlerndatensatz erlerntes Wissen aufzuzeichnen;
und der Eingabewert und der Ausgabewert dazu konfiguriert sind, Einlerndaten für einen LU102710 nachfolgenden Einlernprozess des Untermodells bereitzustellen.
3. Eingabevalidierungsverfahren für ein Modell eines neuronalen Netzes mittels schichtiibergreifender Zerlegung nach Anspruch 1, dadurch gekennzeichnet, dass in Schritt 1 das Untermodell, das einer Schicht k entspricht, ein Modell eines neuronalen Netzes ist, das dem gegebenen Modell eines neuronalen Netzes strukturell gleicht, und das Untermodell strukturell zwei Teile umfasst; wobei der erste Teil alle Modellparameterinformationen, die von der Eingabeschicht erlangt wurden, für die entsprechende Schicht k und eine entsprechende Modellstruktur eines Metamodells übernimmt, das nach einem ursprünglichen Finlernprozess des gegebenen neuronalen Netzes erlangt wurde; der zweite Teil ein grundlegendes Metamodell verwendet, um die Neuronen der Schicht k und ein Prädiktionsausgabeneuron zu verbinden, und die intermediären Informationen der Neuronen der Schicht k, die in Schritt 1 aufgezeichnet wurden, und Vorhersagewertkennzeichnungen, die dem ursprünglichen Einlernsatz entsprechen, zum erneuten Einlernen verwendet, um Parameterinformationen des zweiten Teils nach dem Finlernen zu erlangen; wobei die Parameter der zwei Teile kombiniert werden, um eine Untermodellstruktur mit Parametern zu erlangen; und das grundlegende Metamodell allgemein ein lineares Regressionsmodell ist.
4. Eingabevalidierungsverfahren für ein Modell eines neuronalen Netzes mittels schichtübergreifender Zerlegung nach Anspruch 1, dadurch gekennzeichnet, dass in schritt 2 das Prädiktionsverhaltensmomentaufnahmen der Eingabe am Untermodell, die jeder Schicht entsprechen, vorhergesagte Informationen sind, die nach dem Eingeben der Eingabe in das Untermodell entsprechend jeder Schicht für die Prädiktion erlangt werden.
5. Eingabevalidierungsverfahren für ein Modell eines neuronalen Netzes mittels schichtübergreifender Zerlegung nach Anspruch 1, dadurch gekennzeichnet, dass das gesamte Verhaltensprofil ein Satz der Prädiktionsverhaltensmomentaufnahmen ist, die durch jedes Untermodell erlangt werden, und das gesamte Verhalten dazu konfiguriert ist, die in schritt 3 zu validierende Eingabe zu validieren und zu bewerten.
6. Eingabevalidierungsverfahren für ein Modell eines neuronalen Netzes mittels schichtübergreifender Zerlegung nach Anspruch 1, dadurch gekennzeichnet, dass in schritt 3 Verfahren zum Analysieren der Gültigkeit der Prädiktionsverhaltensmomentaufnahmen auf der entsprechenden Schicht durch Verwenden des gesamten Verhaltensprofils in schritt 2 LU102710 umfassen: verfahren 1: Betrachten einer Wahrscheinlichkeitsdifferenz zwischen einem vorhergesagten Hôchstwert und einem finalen vorhergesagten Wert eines Prädiktionsverhalten auf einer aktuellen Schicht, und Heranziehen einer relativen GrôBenproportion als einen Momentaufnahmengiiltigkeitspunktwert jeder Schicht; und verfahren 2: nach dem Betrachten einer direkten Prädiktionsverhaltensdifferenz zwischen der aktuellen Schicht und einer vorhergehenden Schicht, Heranziehen eines relativen Anteils jeder Wahrscheinlichkeitsveränderung des Prädiktionsverhaltens an einer Wahrscheinlichkeitsveränderung des finalen =— vorhergesagten Werts als den Momentaufnahmengültigkeitspunktwert jeder Schicht.
7. Eingabevalidierungsverfahren für Modell eines neuronalen Netzes mittels schichtübergreifender Zerlegung nach Anspruch 1, dadurch gekennzeichnet, dass in schritt 3 Verfahren zum Analysieren der Gültigkeit des gesamten Profils durch Verwenden des gesamten Verhaltensprofils in schritt 2 umfassen: verfahren 1: Verwenden einer tatsächlichen Prädiktionsgenauigkeit eines Einlernsatzes in Bezug auf jede Schicht am Einlernsatz als eine Gewichtung, Integrieren einer Analyse der Gültigkeit der Momentaufnahmen auf jeder Schicht zum Berechnen eines finalen Profilgültigkeitspunktwerts; verfahren 2: Einstellen von Gewichtungen unter Verwendung von Beobachtungen und häufig verwendeter Wachstumskurven, und Integrieren der Analyse der Gültigkeit der Momentaufnahmen auf jeder Schicht zum Berechnen des finalen Profilgültigkeitspunktwerts; und verfahren 3: Erlangen der Momentaufnahmen auf jeder Schicht und des gesamten Verhaltensprofils durch Verwenden der Einlernsatzdaten, Heranziehen der Analyse der Gültigkeit der Momentaufnahmen als Eingabedaten, Heranziehen eines entsprechenden Validierungsergebnisses als gekennzeichnete Daten, und Einlernen eines Modells zum Berechnen des finalen Profilgültigkeitspunktwerts durch Verwenden eines maschinellen Einlernmodells.
8. Eingabevalidierungsverfahren fiir ein Modell eines neuronalen Netzes mittels schichtiibergreifender Zerlegung nach Anspruch 1, dadurch gekennzeichnet, dass in schritt 3 der Gütigkeitskonfidenzpunktwert ein bestimmter Wert zwischen 0 und 1 im Hinblick auf den gesamten Profilgültigkeitspunktwert ist, der für die gegebene zu validierende Eingabe LU102710 berechnet wurde, und einen Konfidenzgrad hinsichtlich der Gültigkeit der zu validierenden Eingabe darstellt.
9. Eingabevalidierungsverfahren fiir ein Modell eines neuronalen Netzes mittels schichtiibergreifender Zerlegung nach Anspruch 1, dadurch gekennzeichnet, dass in schritt 3 der Schritt des Bewertens der Giiltigkeit umfasst: Unterscheiden zwischen giiltigen/ungiiltigen Eingaben durch Verwenden eines berechneten Giiltigkeitskonfidenzgrads und Einstellen eines Schwellenwerts.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910747317.4A CN110633788A (zh) | 2019-08-14 | 2019-08-14 | 面向神经网络模型的基于层间剖析的输入实例验证方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| LU102710B1 true LU102710B1 (en) | 2021-04-08 |
Family
ID=68970306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| LU102710A LU102710B1 (en) | 2019-08-14 | 2019-10-17 | Input validation method for neural network model by crossing-layer dissection |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN110633788A (de) |
| LU (1) | LU102710B1 (de) |
| WO (1) | WO2021027052A1 (de) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111475321B (zh) * | 2020-05-08 | 2024-04-26 | 中国人民解放军国防科技大学 | 一种基于迭代抽象分析的神经网络安全性质验证方法 |
| CN112070235A (zh) * | 2020-09-08 | 2020-12-11 | 北京小米松果电子有限公司 | 一种深度学习框架的异常定位方法、装置及存储介质 |
| CN112632309B (zh) * | 2020-12-15 | 2022-10-04 | 北京百度网讯科技有限公司 | 图像展示方法、装置、电子设备和存储介质 |
| CN112884513B (zh) * | 2021-02-19 | 2024-07-02 | 上海数鸣人工智能科技有限公司 | 基于深度因子分解机的营销活动预测模型结构和预测方法 |
| CN114254274B (zh) * | 2021-11-16 | 2024-05-31 | 浙江大学 | 一种基于神经元输出的白盒深度学习模型版权保护方法 |
| CN114422185B (zh) * | 2021-12-17 | 2024-03-15 | 广西壮族自治区公众信息产业有限公司 | 一种基于异步神经网络生成和验证签名的方法 |
| CN114863178A (zh) * | 2022-05-13 | 2022-08-05 | 南京大学 | 面向神经网络视觉***的图像数据输入检测方法和*** |
| CN114861912B (zh) * | 2022-07-06 | 2022-09-16 | 武汉山川软件有限公司 | 一种基于大数据的数据验证方法和装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184678A (zh) * | 2015-09-18 | 2015-12-23 | 齐齐哈尔大学 | 基于多种神经网络组合算法的光伏电站发电量短期预测模型的构建方法 |
| KR102607208B1 (ko) * | 2017-11-16 | 2023-11-28 | 삼성전자주식회사 | 뉴럴 네트워크 학습 방법 및 디바이스 |
| US10854326B2 (en) * | 2017-11-21 | 2020-12-01 | Verisim Life Inc. | Systems and methods for full body circulation and drug concentration prediction |
| CN109344806B (zh) * | 2018-10-31 | 2019-08-23 | 第四范式（北京）技术有限公司 | 利用多任务目标检测模型执行目标检测的方法和*** |
-
2019
- 2019-08-14 CN CN201910747317.4A patent/CN110633788A/zh active Pending
- 2019-10-17 WO PCT/CN2019/111612 patent/WO2021027052A1/zh active Application Filing
- 2019-10-17 LU LU102710A patent/LU102710B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021027052A1 (zh) | 2021-02-18 |
| CN110633788A (zh) | 2019-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| LU102710B1 (en) | Input validation method for neural network model by crossing-layer dissection | |
| EP3289528B1 (de) | Filter-spezifität als trainings-kriterium für neuronale netze | |
| US10318848B2 (en) | Methods for object localization and image classification | |
| CN108027899B (zh) | 用于提高经训练的机器学习模型的性能的方法 | |
| CN111144496B (zh) | 一种基于混合卷积神经网络的垃圾分类方法 | |
| EP3796228A1 (de) | Vorrichtung und verfahren zur erzeugung einer kontrafaktischen datenprobe für ein neuronales netzwerk | |
| US10846593B2 (en) | System and method for siamese instance search tracker with a recurrent neural network | |
| US20160283864A1 (en) | Sequential image sampling and storage of fine-tuned features | |
| US20170091619A1 (en) | Selective backpropagation | |
| CN111310814A (zh) | 利用不平衡正负样本对业务预测模型训练的方法及装置 | |
| US20170032247A1 (en) | Media classification | |
| CN110276248B (zh) | 一种基于样本权值分配和深度学习的人脸表情识别方法 | |
| WO2016122787A1 (en) | Hyper-parameter selection for deep convolutional networks | |
| US11586924B2 (en) | Determining layer ranks for compression of deep networks | |
| US11983917B2 (en) | Boosting AI identification learning | |
| Wu et al. | Optimized deep learning framework for water distribution data-driven modeling | |
| CN110781970A (zh) | 分类器的生成方法、装置、设备及存储介质 | |
| Kukreja et al. | Evaluating traffic signs detection using faster r-cnn for autonomous driving | |
| CN110751005B (zh) | 融合深度感知特征和核极限学习机的行人检测方法 | |
| CN117475266A (zh) | 基于多专家注意力融合的机器人视觉感知方法及装置 | |
| CN117173677A (zh) | 手势识别方法、装置、设备及存储介质 | |
| CN110765809A (zh) | 一种面部表情分类方法、装置和情感智能机器人 | |
| Ateş | Pothole detection in asphalt images using convolutional neural networks | |
| SANGAM et al. | Rotten fruit detection using artificial intelligence | |
| CN112732570B (zh) | 一种基于上下文环境的依恋情结代码味道检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG | Patent granted |
Effective date: 20210408 |