EP4318317A3 - Logikbaustein, insbesondere asic, zur durchführung neuronaler netzwerkberechnungen zum verarbeiten von daten mittels eines neuronalen netzwerks - Google Patents
Logikbaustein, insbesondere asic, zur durchführung neuronaler netzwerkberechnungen zum verarbeiten von daten mittels eines neuronalen netzwerks Download PDFInfo
- Publication number
- EP4318317A3 EP4318317A3 EP23218112.3A EP23218112A EP4318317A3 EP 4318317 A3 EP4318317 A3 EP 4318317A3 EP 23218112 A EP23218112 A EP 23218112A EP 4318317 A3 EP4318317 A3 EP 4318317A3
- Authority
- EP
- European Patent Office
- Prior art keywords
- layers
- neural network
- layer
- filters
- image area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title abstract 6
- 238000004364 calculation method Methods 0.000 title 1
- 230000004913 activation Effects 0.000 abstract 5
- 238000000034 method Methods 0.000 abstract 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Computerimplementiertes Verfahren zum Verarbeiten von Daten mittels eines neuronalen Netzwerks (100), wobei das neuronale Netzwerk (100) zwischen einer Inputschicht (103) und einer Outputschicht (104) eine Vielzahl von ersten Schichten (101) aufweist, wobei bevorzugt vorgesehen ist, dass jeder ersten Schicht (101) der Vielzahl von ersten Schichten (101) Filter (105) zugeordnet sind und wobei- in jeder ersten Schicht (101) der Vielzahl von ersten Schichten (101) in einem oder mehreren Kanälen aus Eingangsdaten - vorzugsweise unter Verwendung von der jeweiligen ersten Schicht (101) der Vielzahl von ersten Schichten (101) zugeordneten Filtern (105) - durch lineare Rechenoperationen Ergebnisdaten erzeugt werden, wobei die Eingangsdaten eine Eingangsdatengröße pro Kanal aufweisen- bevorzugt vorgesehen ist, dass für jede erste Schicht (101) der Vielzahl von ersten Schichten (101) die Größen von rezeptiven Feldern der den ersten Schichten (101) zugeordneten Filter (105) kleiner sind als die Eingangsdatengröße pro Kanal jener ersten Schicht (101) der Vielzahl von ersten Schichten (101), welcher die Filter (105) jeweils zugeordnet sind und die Filter (105) die lineare Rechenoperation jeweils an unterschiedlichen Stellen der Eingangsdaten durchführen- in zumindest einer ersten Schicht (101) der Vielzahl von ersten Schichten (101) auf die Ergebnisdaten eine nichtlineare Aktivierungsfunktion zur Erzeugung von Ergebnisdaten in Form von Aktivierungsergebnisdaten angewandt wird, wobei- während eines Trainings des neuronalen Netzwerks (100) in der zumindest einen ersten Schicht (101) der Vielzahl von ersten Schichten (101), vorzugsweise in allen ersten Schichten (101) der Vielzahl von ersten Schichten (101), zur Erzeugung der Aktivierungsergebnisdaten eine nichtlineare Aktivierungsfunktion mit einem ersten Bildbereich (B 1) verwendet wird- während eines Inferenzbetriebs des neuronalen Netzwerks (100) in der zumindest einen ersten Schicht (101) der Vielzahl von ersten Schichten (101), vorzugsweise in allen ersten Schichten (101) der Vielzahl von ersten Schichten (101), zur Erzeugung der Aktivierungsergebnisdaten eine nichtlineare Aktivierungsfunktion mit einem zweiten Bildbereich (B2) verwendet wird, wobei der zweite Bildbereich (B2) eine echte Teilmenge des ersten Bildbereichs (B1) bildet.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019129760.5A DE102019129760A1 (de) | 2019-11-05 | 2019-11-05 | Verfahren zur Verarbeitung von Eingangsdaten |
| PCT/EP2020/081156 WO2021089710A1 (de) | 2019-11-05 | 2020-11-05 | Verfahren zur verarbeitung von eingangsdaten |
| EP20810876.1A EP3908984B1 (de) | 2019-11-05 | 2020-11-05 | Logikbaustein, insbesondere asic, zur durchführung neuronaler netzwerkberechnungen zum verarbeiten von daten mittels eines neuronalen netzwerks |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP20810876.1A Division EP3908984B1 (de) | 2019-11-05 | 2020-11-05 | Logikbaustein, insbesondere asic, zur durchführung neuronaler netzwerkberechnungen zum verarbeiten von daten mittels eines neuronalen netzwerks |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EP4318317A2 EP4318317A2 (de) | 2024-02-07 |
| EP4318317A3 true EP4318317A3 (de) | 2024-03-06 |
Family
ID=73497717
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP23218112.3A Pending EP4318317A3 (de) | 2019-11-05 | 2020-11-05 | Logikbaustein, insbesondere asic, zur durchführung neuronaler netzwerkberechnungen zum verarbeiten von daten mittels eines neuronalen netzwerks |
| EP23189308.2A Pending EP4300367A2 (de) | 2019-11-05 | 2020-11-05 | Logikbaustein, insbesondere asic, zur durchführung neuronaler netzwerkberechnungen zum verarbeiten von daten mittels eines neuronalen netzwerks |
| EP20810876.1A Active EP3908984B1 (de) | 2019-11-05 | 2020-11-05 | Logikbaustein, insbesondere asic, zur durchführung neuronaler netzwerkberechnungen zum verarbeiten von daten mittels eines neuronalen netzwerks |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP23189308.2A Pending EP4300367A2 (de) | 2019-11-05 | 2020-11-05 | Logikbaustein, insbesondere asic, zur durchführung neuronaler netzwerkberechnungen zum verarbeiten von daten mittels eines neuronalen netzwerks |
| EP20810876.1A Active EP3908984B1 (de) | 2019-11-05 | 2020-11-05 | Logikbaustein, insbesondere asic, zur durchführung neuronaler netzwerkberechnungen zum verarbeiten von daten mittels eines neuronalen netzwerks |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US20220383065A1 (de) |
| EP (3) | EP4318317A3 (de) |
| JP (1) | JP2023501261A (de) |
| KR (1) | KR20220089699A (de) |
| AU (1) | AU2020379943A1 (de) |
| CA (1) | CA3149564A1 (de) |
| DE (1) | DE102019129760A1 (de) |
| ES (1) | ES2974685T3 (de) |
| WO (1) | WO2021089710A1 (de) |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0566015A3 (en) | 1992-04-14 | 1994-07-06 | Eastman Kodak Co | Neural network optical character recognition system and method for classifying characters in amoving web |
| JP3524250B2 (ja) | 1995-11-27 | 2004-05-10 | キヤノン株式会社 | デジタル画像処理プロセッサ |
| US6389408B1 (en) | 1999-06-30 | 2002-05-14 | The United States Of America As Represented By The Secretary Of The Army | Neural network systems for chemical and biological pattern recognition via the Mueller matrix |
| US20160026912A1 (en) * | 2014-07-22 | 2016-01-28 | Intel Corporation | Weight-shifting mechanism for convolutional neural networks |
| US10614618B2 (en) | 2014-11-05 | 2020-04-07 | Shell Oil Company | Method for multi-dimensional geophysical data visualization |
| US11755913B2 (en) | 2016-03-11 | 2023-09-12 | Telecom Italia S.P.A | Convolutional neural networks, particularly for image analysis |
| US10366328B2 (en) | 2017-09-19 | 2019-07-30 | Gyrfalcon Technology Inc. | Approximating fully-connected layers with multiple arrays of 3x3 convolutional filter kernels in a CNN based integrated circuit |
| CN108073977A (zh) | 2016-11-14 | 2018-05-25 | 耐能股份有限公司 | 卷积运算装置及卷积运算方法 |
| US11321613B2 (en) | 2016-11-17 | 2022-05-03 | Irida Labs S.A. | Parsimonious inference on convolutional neural networks |
| US10985777B2 (en) | 2016-12-09 | 2021-04-20 | William Marsh Rice University | Signal recovery via deep convolutional networks |
| WO2018112795A1 (en) | 2016-12-21 | 2018-06-28 | Intel Corporation | Large scale cnn regression based localization via two-dimensional map |
| US10176551B2 (en) * | 2017-04-27 | 2019-01-08 | Apple Inc. | Configurable convolution engine for interleaved channel data |
| JP6768616B2 (ja) | 2017-09-19 | 2020-10-14 | 株式会社Ｊｏｌｅｄ | 表示装置及び表示装置の製造方法 |
| US10643306B2 (en) | 2017-10-11 | 2020-05-05 | Qualcomm Incoporated | Image signal processor for processing images |
| CN110020716A (zh) | 2017-11-06 | 2019-07-16 | 畅想科技有限公司 | 神经网络硬件 |
-
2019
- 2019-11-05 DE DE102019129760.5A patent/DE102019129760A1/de active Pending
-
2020
- 2020-11-05 EP EP23218112.3A patent/EP4318317A3/de active Pending
- 2020-11-05 WO PCT/EP2020/081156 patent/WO2021089710A1/de unknown
- 2020-11-05 JP JP2022525543A patent/JP2023501261A/ja active Pending
- 2020-11-05 EP EP23189308.2A patent/EP4300367A2/de active Pending
- 2020-11-05 ES ES20810876T patent/ES2974685T3/es active Active
- 2020-11-05 AU AU2020379943A patent/AU2020379943A1/en active Pending
- 2020-11-05 EP EP20810876.1A patent/EP3908984B1/de active Active
- 2020-11-05 US US17/774,513 patent/US20220383065A1/en active Pending
- 2020-11-05 CA CA3149564A patent/CA3149564A1/en active Pending
- 2020-11-05 KR KR1020227014999A patent/KR20220089699A/ko unknown
Non-Patent Citations (3)
| Title |
|---|
| KAMEL ABDELOUAHAB ET AL: "Accelerating CNN inference on FPGAs: A Survey", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 26 May 2018 (2018-05-26), XP081234995 * |
| WASEEM RAWAT ET AL: "Deep Convolutional Neural Networks for Image Classification: A Comprehensive Review", NEURAL COMPUTATION., vol. 29, no. 9, 23 August 2017 (2017-08-23), US, pages 2352 - 2449, XP055529700, ISSN: 0899-7667, DOI: 10.1162/neco_a_00990 * |
| WUNDERLICH ILKAY ET AL: "An Overview of Arithmetic Adaptations for Inference of Convolutional Neural Networks on Re-configurable Hardware", THINKMIND ALLDATA 2020, THE SIXTH INTERNATIONAL CONFERENCE ON BIG DATA, SMALL DATA, LINKED DATA AND OPEN DATA, 23 February 2020 (2020-02-23), Lisbon, Portugal, pages 34 - 40, XP055793812, ISBN: 978-1-61208-775-7 * |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2020379943A1 (en) | 2022-03-24 |
| EP3908984B1 (de) | 2023-12-27 |
| EP4318317A2 (de) | 2024-02-07 |
| KR20220089699A (ko) | 2022-06-28 |
| EP3908984A1 (de) | 2021-11-17 |
| JP2023501261A (ja) | 2023-01-18 |
| WO2021089710A1 (de) | 2021-05-14 |
| ES2974685T3 (es) | 2024-07-01 |
| DE102019129760A1 (de) | 2021-05-06 |
| US20220383065A1 (en) | 2022-12-01 |
| CA3149564A1 (en) | 2021-05-14 |
| EP4300367A2 (de) | 2024-01-03 |
| EP3908984C0 (de) | 2023-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3970113B1 (de) | Bestimmung eines verschleissgrades eines werkzeugs | |
| DE4008510A1 (de) | Regeleinheit mit optimal-entscheidungsmitteln | |
| DE102005046747B3 (de) | Verfahren zum rechnergestützten Lernen eines neuronalen Netzes und neuronales Netz | |
| EP3078978A3 (de) | Verfahren zur magnetresonanz-bildgebung | |
| EP3830660B1 (de) | Verfahren und assistenzsystem zur parametrisierung eines anomalieerkennungsverfahrens | |
| EP3825796A1 (de) | Verfahren und vorrichtung zum ki-basierten betreiben eines automatisierungssystems | |
| DE102018100424A1 (de) | Verfahren und Vorrichtung zur Steuerung und/oder Überwachung eines sich wiederholenden Prozessablaufs | |
| DE10241746B4 (de) | Verfahren zur zyklischen Qualitätsbewertung und Prozessüberwachung bei periodischen Produktionsprozessen | |
| DE102017218851A1 (de) | Verfahren, Vorrichtung und Computerprogramm zur Erstellung eines tiefen neuronalen Netzes | |
| EP1927471A3 (de) | Mehrbahnige CD-Bedruckungsanlage | |
| EP3876060A1 (de) | Verfahren und recheneinheit zur ursachenanalyse eines anomalen zustandes einer maschine | |
| AT525791A5 (de) | Überwachungsverfahren für eine Stranggießkokille mit Aufbau einer Datenbank | |
| DE102014108477A1 (de) | Produktionsplanungs- und Steuerungssystem einer Druckeinrichtung sowie Verfahren zur automatisierten Erzeugung eines Druckauftrags | |
| EP4318317A3 (de) | Logikbaustein, insbesondere asic, zur durchführung neuronaler netzwerkberechnungen zum verarbeiten von daten mittels eines neuronalen netzwerks | |
| DE05790275T1 (de) | Verwürfler, verwürfelungs-verarbeitungsverfahren und programm | |
| DE102018221002A1 (de) | Steuereinrichtung zur Steuerung einer Fertigungsanlage sowie Fertigungsanlage und Verfahren | |
| DE102019100846A1 (de) | Verfahren zum Vorhersagen eines Quotienten der plastischen Formänderung aus einer Stanzsimulation | |
| DE102020212510A1 (de) | Verfahren und Vorrichtung zum Aufzeigen des Einflusses von Schneidparametern auf eine Schnittkante | |
| DE102016124205A1 (de) | Computer-implementiertes Verfahren zur Optimierung eines Herstellungsprozesses | |
| WO2022180218A1 (de) | Vorrichtung zur verarbeitung von mindestens einem eingangsdatensatz unter verwendung eines neuronalen netzes sowie verfahren | |
| EP3999925B1 (de) | Verfahren und vorrichtungen zum bestimmen einer produktgüte | |
| DE102022127260A1 (de) | Prozesskennzahlermittlung | |
| DE10234086A1 (de) | Verfahren zur Signalauswertung eines elektronischen Bildsensors bei der Mustererkennung von Bildinhalten eines Prüfkörpers | |
| DE69903852T2 (de) | Verfahren zum vergleich von aus bildpunkten bestehenden gespeicherten bildern, die äquipotentielen mindestens einer integrierten schaltung darstellen | |
| DE102020101422A1 (de) | Verfahren zum automatisierten Vermessen von Schweißlinsen eines im Laser-Powder Bed Fusion Prozess hergestellten Bauteils |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED |
|
| PUAL | Search report despatched |
Free format text: ORIGINAL CODE: 0009013 |
|
| AC | Divisional application: reference to earlier application |
Ref document number: 3908984 Country of ref document: EP Kind code of ref document: P |
|
| AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| AK | Designated contracting states |
Kind code of ref document: A3 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| RIC1 | Information provided on ipc code assigned before grant |
Ipc: G06N 3/063 20230101ALI20240129BHEP Ipc: G06N 3/0464 20230101AFI20240129BHEP |