LU504903B1 - Ein für mehrere Quell-und Zieldomänen geeignetes adaptives Verfahren und elektronisches Gerät - Google Patents

Ein für mehrere Quell-und Zieldomänen geeignetes adaptives Verfahren und elektronisches Gerät Download PDF

Info

Publication number
LU504903B1
LU504903B1 LU504903A LU504903A LU504903B1 LU 504903 B1 LU504903 B1 LU 504903B1 LU 504903 A LU504903 A LU 504903A LU 504903 A LU504903 A LU 504903A LU 504903 B1 LU504903 B1 LU 504903B1
Authority
LU
Luxembourg
Prior art keywords
dynamic
domain
features
target
module
Prior art date
Application number
LU504903A
Other languages
English (en)
Inventor
Yuwu Lu
Haoyu Huang
Original Assignee
Univ South China Normal
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ South China Normal filed Critical Univ South China Normal
Application granted granted Critical
Publication of LU504903B1 publication Critical patent/LU504903B1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

Diese Anmeldung stellt ein adaptives Verfahren, der für mehrere Quelldomänen und mehrere Zieldomänen geeignet, und eine elektronische Ausrüstung, die sich auf den Technologiebereich der domänenübergreifenden Klassifizierung beziehen. Im diesen adaptiven Verfahren werden folgenden Inhalten beschrieben: die Eingabe von Proben aus mehreren Quelldomänen und mehreren Zieldomänen in einen dynamischen Merkmalsgenerator, die Bestimmung von dynamischen Merkmalen jeder Quelldomäne und jeder Zieldomäne; die Bestimmung von den Aufmerksamkeitsmerkmalen, die den dynamischen Merkmalen mit derselben Bezeichnung entsprechen; die Eingabe von Aufmerksamkeitsmerkmalen zur Unterscheidung in mehrere Domänendiskriminatoren; die Berechnung der Gesamtverlust zwischen des jeweilige Quell- und Zieldomäne anhand der Ergebnisse aus den Diskriminatoren. Die mehrere Domänendiskriminatoren umfassen einen ersten Domänendiskriminator, der jeder Zieldomäne entspricht, und einen zweiten Domänendiskriminator, der jeweils zwei Zieldomänen entspricht; Das iterative Training wird anhand dem Gesamtverlust durchgeführt und schließlich ein dynamisches Zielmerkmal Generator aufbildet. Die technische Lösung in dieser Anmeldung kann die Verallgemeinerung und Robustheit der adaptiven Methode mit mehreren Domänen verbessern.

Description

_ Aneitung
Ein für mehrere Quell-und Zieldomänen geeignete adaptives
Verfahren und elektronisches Geraet
Technologiebereich
Die vorliegende Anmeldung bezieht sich auf denTechnologiebereich der domänenübergreifenden Klassifizierung und insbesondere auf ein fiir mehrere
Quell-und Zieldomänen geeignete adaptives Verfahren und elektronisches Gerät
Technischer Hintergrund
Transferlernen bezieht sich auf die Anwendung der Ähnlichkeitsbeziehung zwischen Daten in verschiedenen Bereichen, um das aus der Quelldomäne gelernte Wissen auf ein neues unbekanntes Feld anzuwenden. Die
Hauptherausforderung beim Transferlernen liegt daran, die Ähnlichkeit zwischen der neuen Domäne und der alten Domäne zu finden und dann Wissen reibungslos zu übertragen. Derzeit wird Transferlernen hauptsächlich durch tiefgreifende
Domänenanpassungsmethoden realisiert.
Methoden zur tiefen Domänenanpassung können in paarweise
Domänenanpassung (d. h. Anpassung einer einzelnen Quelldomäne und einer einzelnen Zieldomäne) und Multidomänenanpassung unterteilt werden. Unter diesen ist die Multi-Domänen-Anpassungsmethode eine beliebtere
Domänen-Anpassungsstrategie.
Anpassungsmethoden für mehrere Domänen müssen häufig auf große
Mengen gekennzeichneter Daten zurückgreifen. Jedoch gibt es in der Realität häufig einen Mangel von gekennzeichnete Daten aber genügend unbeschriftete
Daten, was dazu führt, dass adaptive Methoden mit mehreren Domänen immer in die Falle von einer suboptimalen Lösungen tappen.
Inhalt des Erfindung 1
Vor diesem Hintergrund stellt die vorliegende Anmeldung eines für mehrere
Quell-und Zieldomänen geeigneten adaptiven Verfahren und elektronisches Geräts, um die Verallgemeinerung und Robustheit des adaptiven Verfahrens mit mehreren
Domänen zu verbessern.
Um den oben genannten Zweck zu erreichen, stellt die Ausführungsform der vorliegenden Anmeldung im ersten Aspekt ein adaptives Verfahren mit mehreren
Quelldomänen und mehreren Zieldomänen bereit, einschließlich:
Die Proben in mehreren Quell- und Zieldomänen werden jeweils in den dynamischen Merkmalsgenerator eingegeben, um die dynamischen Merkmale
Jeder Quelldomäne und jeder Zieldomäne zu erhalten. Der sogenannte dynamische
Merkmalsgenerator enthält ein dynamisches Anpassungsmodul und ein dynamisches Faltungsmodul, das sogenannte dynamische Anpassungsmodul enthält einen statischen Block und einen dynamischen Restblock. Das dynamische
Anpassungsmodul wird zum Extrahieren von Merkmalen auf niedriger Ebene aus
Fingabeproben und das dynamische Faltungsmodul zum Extrahieren von
Merkmalen auf hoher Ebene aus Eingabeproben verwendet.
Bestimmen von Aufmerksamkeitsmerkmalen, die den dynamischen
Merkmalen mit derselben Bezeichnung entsprechen
Das Aufmerksamkeitsmerkmal wird zur Unterscheidung ın mehrere
Domänendiskriminatoren eingegeben, und der Gesamtverlust zwischen den jeweilige Quell- und Zieldomäne wird anhand der Ergebnisse aus den
Diskriminatoren bestimmt. Die mehrere Domänendiskriminatoren umfassen einen ersten Domänendiskriminator, der jeder Zieldomäne entspricht, und einen zweiten
Domänendiskriminator, der jeweils zwei Zieldomänen entspricht; Der erste
Domänendiskriminator wird verwendet, um die Aufmerksamkeitsmerkmale von
Proben in der entsprechenden Zieldomäne und Quelldomäne zu unterscheiden, und der zweite Domänendiskriminator wird zur Unterscheidung verwendet
Aufmerksamkeitsmerkmale der Proben in den entsprechenden zwei Zieldomänen;
Das iterative Training wird anhand dem Gesamtverlust durchgeführt und schliesslich ein dynamisches Zielmerkmal Generator aufbildet. 2
Als optionale Implementierung der Ausführungsform der vorliegenden
Anmeldung werden die Aufmerksamkeitsmerkmale zur Unterscheidung ın mehrere Domänendiskriminatoren eingegeben und die Gesamtverlustwerte, die den Quelldomänen und den Zieldomänen entsprechen, werden gemäß den
Unterscheidungsergebnissen bestimmt, einschließlich:
Gemäß jedem der Aufmerksamkeitsmerkmale können jeweils die Folgendes bestimmt werden: der Gesamtklassifizierungsverlustwert, der jeder der
Quelldomänen entspricht, der erste Gesamtkontradiktorsverlustwert, der jedem ersten Domänendiskriminator entspricht, und der erste Gesamtkontradiktorsverlust, der entspricht zu Jedem zweiten Doméinendiskriminator der zweitern
Gesamtkontradiktorsverlust;
Gemäß dem Gesamtwert des Klassifizierungsverlusts, dem ersten
Gesamtwert des gegnerischen Verlusts und dem zweiten Gesamtwert des gegnerischen Verlusts wird ein Gesamtverlust zwischen den jeweiligen Quell-und
Jeder der Zieldomänen bestimmt.
Als optionale Implementierung der Ausführungsform der vorliegenden
Anmeldung wird der statische Block verwendet, um statische Merkmale auf niedriger Ebene in den Eingabeproben zu extrahieren, der dynamische Restblock wird verwendet, um dynamische Merkmale auf niedriger Ebene ın den
Eingabeproben zu extrahieren, und die niedrigen Statische Merkmale auf niedriger
Ebene Die Summe der dynamischen Merkmale auf niedriger Ebene und der dynamischen Merkmale auf niedriger Ebene sind die Merkmale auf niedriger
Ebene.
Als optionale Implementierung der Ausführungsform der vorliegenden
Anmeldung umfasst das dynamische Faltungsmodul einen ersten
Kernel-Generator, einen zweiten Kernel-Generator, ein
Dimensionsreduktionsmodul, ein Dimensionsverbesserungsmodul und ein
Faltungsmodul;
Der erste Kernelgenerator wird verwendet, um einen ersten Faltungskernel entsprechend einem Eingabemuster zu erzeugen. 3
Der zweite Kernelgenerator wird verwendet, um einen zweiten Faltungskemn gemäß den Fingabeproben zu erzeugen, und die Erweiterungsverhältnisse des ersten Faltungskerns und des zweiten Faltungskerns sind unterschiedlich.
Das Dimensionsreduktionsmodul wird zur Dimensionsreduktionsoperation an
Eingabeproben verwendet, um Ergebnisse nach der Dimensionsreduktion zu erhalten.
Das Faltungsmodul wird verwendet, um ein erstes untergeordnetes Merkmal gemäß dem Ergebnis der Dimensionsreduktion und dem ersten Faltungskern zu erhalten und ein zweites untergeordnetes Merkmal gemäß dem Ergebnis der
Dimensionsreduktiom und dem zweiten Faltungskern zu erhalten.
Das Dimensionserhôhungsmodul wird verwendet, um eine
Dimensionserhöhungsoperation an den ersten untergeordneten erweiterten
Merkmalen und den zweiten untergeordneten erweiterten Merkmalen durchzuführen und die dimensional verbesserten ersten untergeordneten erweiterten Merkmale und die zweiten untergeordneten erweiterten Merkmale hinzuzufügen, um die eingegebenen erweiterten Merkmale zu erhalten der Probe.
Als optionale Implementierung der Ausführungsform der vorliegenden
Anmeldung umfasst die Bestimmung des Aufmerksamkeitsmerkmals, das dem dynamischen Merkmal mit derselben Bezeichnung entspricht:
Für jedes Probenpaar kann eine entsprechende Affinitätsmatrix entsprechend den jeweiligen dynamischen Merkmalen jeder Probe im Probenpaar generiert werden, und jedes Probenpaar enthält zwei Proben mit derselben Beschriftung
Anhand dem dynamischen Merkmal, das der Aufmerksamkeitskarte und dem
Probenpaar entspricht, koennen die Aufmerksamkeitsmerkmale bestimmt werden, das dem Probenpaar entspricht
Anhand der Aufmerksamkeitskarte und dem dynamischen Merkmal, das dem
Probenpaar entspricht, kann das Aufmerksamkeitsmerkmal bestimmt werden, das dem Probenpaar entspricht.
Als optionale Implementierung der Ausführungsform der vorliegenden
Anmeldung, ein Probepaar umfasst: Zwei verschiedene Proben mit derselben 4
Bezeichnung in derselben Quell- oder Zieldomäne oder zwei Proben mit derselben
Bezeichnung in unterschiedlichen Domänen.
Als optionale Implementierung der Ausführungsform der vorliegenden
Anmeldung umfasst die Durchführung eines iterativen Trainings entsprechend dem Gesamtverlust, um einen Generator für dynamische Zielmerkmale zu generieren:
Wenn die Differenz zwischen dem Gesamtverlust der aktuellen Iteration minus dem Gesamtverlust der vorherigen Iteration kleiner oder gleich dem voreingestellten Wert ist, wird der dynamische Merkmalsgenerator, der der aktuellen Iteration entspricht, als dynamischer Zielmerkmalsgenerator verwendet.
Im zweiten Aspekt stellt die Ausführungsform der vorliegenden Anmeldung ein adaptives Gerät mit mehreren Quell- und Zieldomänen bereit, es umfasst: Das dynamisches Merkmalsgenerierungsmodul, Aufmerksamkeitsmodul,
Bestimmungsmodul und Trainingsmodul:
Das dynamische Merkmalsgenerierungsmodul wird dafür verwendet : Die
Proben in mehreren Quell- und Zieldomänen werden jeweils in den dynamischen
Merkmalsgenerator eingegeben, um die dynamischen Merkmale jeder
Quelldomäne und jeder Zieldomäne zu erhalten. Der sogenannte dynamische
Merkmalsgenerator enthält ein dynamisches Anpassungsmodul und ein dynamisches Faltungsmodul, das sogenannte dynamische Anpassungsmodul enthält einen statischen Block und einen dynamischen Restblock. Das dynamische
Anpassungsmodul wird zum Extrahieren von Merkmalen auf niedriger Ebene aus
Eingabeproben und das dynamische Faltungsmodul zum Extrahieren von
Merkmalen auf hoher Ebene aus Eingabeproben verwendet.
Das Aufmerksamkeitsmodul wird dafür verwendet : Bestimmen von
Aufmerksamkeitsmerkmalen, die den dynamischen Merkmalen mit derselben
Bezeichnung entsprechen
Das Bestimmungsmodul wird dafür verwendet: Das
Aufmerksamkeitsmerkmal wird zur Unterscheidung in mehrere
Domänendiskriminatoren eingegeben, und der Gesamtverlust zwischen den 5 jeweilige Quell- und Zieldomäne wird anhand der Ergebnisse aus den
Diskriminatoren bestimmt. Die mehrere Domänendiskriminatoren umfassen einen ersten Domänendiskriminator, der jeder Zieldomäne entspricht, und einen zweiten
Domänendiskriminator, der jeweils zwei Zieldomänen entspricht; Der erste
Domänendiskriminator wird verwendet, um die Aufmerksamkeitsmerkmale von
Proben in der entsprechenden Zieldomäne und Quelldomäne zu unterscheiden, und der zweite Domänendiskriminator wird zur Unterscheidung verwendet
Aufmerksamkeitsmerkmale der Proben in den entsprechenden zwei Zieldomänen;
Das Trainingsmodul wird dafür verwendet: Das iterative Training wird anhand dem Gesamtverlust durchgeführt und schliesslich ein dynamisches
Zielmerkmal Generator aufbildet.
In drittem Aspekt stellt die Ausführungsform der vorliegenden Anmeldung ein elektronisches Gerät bereit, es umfasst: Ein Speicher und ein Prozessor, wobei der Speicher zum Speichern des Computerprogramms verwendet wird; der
Prozessor wird verwendet, um beim Aufrufen des Computerprogramms das im ersten Aspekt beschriebene Verfahren oder eine beliebige Implementierung des ersten Aspekts auszuführen.
In viertem Aspekt stellt eine Ausführungsform der vorliegenden Anmeldung ein computerlesbares Speichermedium bereit, auf dem ein Computerprogramm gespeichert ist, und wenn das Computerprogramm von einem Prozessor ausgefiihrt wird, das im ersten Aspekt beschriebene Verfahren oder eine beliebige
Implementierungsart davon Der erste Aspekt ist umgesetzt.
In fünftem Aspekt stellt eine Ausführungsform der vorliegenden Anmeldung ein Computerprogrammprodukt bereit, das, wenn das Computerprogrammprodukt auf einem elektronischen Gerät ausgeführt wird, das elektronische Gerät dazu veranlasst, das in einem der oben genannten ersten Aspekte beschriebene
Verfahren auszuführen.
Zu den technischen Lösungen, die durch die Ausführungsformen dieser
Anmeldung bereitgestellt werden, gehören: Die Proben in mehreren
Quelldomänen und mehreren Zieldomänen in den dynamischen 6
Merkmalsgenerator einzugeben, um die dynamischen Merkmale jeder”
Quelldomäne und jeder Zieldomäne zu erhalten; die Aufmerksamkeitsmerkmale zu bestimmen, die den dynamischen Merkmalen mit derselben Bezeichnung entsprechen; die Aufmerksamkeitsmerkmale zur Unterscheidung in mehrere
Domänendiskriminatoren einzugeben, und der Gesamtverlust, der jeder
Quelldomäne und Jeder Zieldomäne entspricht, gemäß den
Unterscheidungsergebnissen zu bestimmt; iteratives Training gemäß dem
Gesamtverlust durchzueführt, um einen dynamischen Zielmerkmalsgenerator zu generieren. In der oben genannten technischen Lösung umfasst der dynamische
Merkmalsgenerator ein dynamisches Anpassungsmodul und ein dynamisches
Faltungsmodul, das dynamische Anpassungsmodul umfasst einen statischen Block und einen dynamischen Restblock, und das dynamische Anpassungsmodul wird zum Extrahieren von Merkmalen auf niedriger Ebene aus Eingabeproben verwendet. und das dynamische Faltungsmodul wird zum Extrahieren verwendet
Die Merkmale auf höhere Niveur der Fingabestichprobe, sodass die
High-Level-Merkmale und Low-Level-Merkmale aus verschiedenen Domänen durch den dynamischen Merkmalsgenerator und den Verteilungsunterschied zwischen ihnen besser verarbeitet werden können Die Multi-Source-Domäne und die Multi-Target-Domäne können reduziert werden, und der
Aufmerksamkeitsmechanismus wird verwendet, um verschiedene Domänen zu erkunden. Die zwischen ihnen übertragbaren Informationen können dem Modell dabei helfen, domäneninvariante Darstellungen zu lernen und die Leistung des
Modells zu verbessern, sodass dies möglich ist Das Schema kann die
Verallgemeinerung und Robustheit der adaptiven Methode mit mehreren
Domänen verbessern. Darüber hinaus umfassen mehrere Domänendiskriminatoren
Jeweils. Jede Zieldomäne entspricht einem ersten Domänendiskriminator, der jeder Quelldomäne entspricht, und einem zweiten Domänendiskriminator, der
Jeweils zwei Zieldomänen entspricht Der Diskriminator der ersten Domäne wird verwendet, um die Aufmerksamkeitsmerkmale der Proben in den entsprechenden
Zieldomänen und Quelldomänen zu unterscheiden. Der Diskriminator der zweiten 7
Domäne wird verwendet, um die Aufmerksamkeitsmerkmale der Proben in den entsprechenden beiden Zieldomänen zu unterscheiden Durch die
Aufmerksamkeitsmerkmale mehrerer Zieldomänen wird die Korrespondenz zwischen jeder Quelldomäne und jeder Zieldomäne verbessert. Die Genauigkeit des Gesamtverlustwerts kann die Robustheit der adaptiven Methode mit mehreren
Domänen weiter verbessern.
Erläuterung der Figuren
Figur 1 ist ein schematisches Flussdiagramm eines adaptiven Verfahrens mit mehreren Quelldomänen und mehreren Zieldomänen, das durch eine
Ausführungsform der vorliegenden Anmeldung bereitgestellt wird;
Figur 2 ist ein visuelles Vergleichsergebnis der durch das Schema der vorliegenden Anmeldung extrahierten Merkmale und der durch DANN extrahierten Merkmale;
Figur 3 ist ein schematisches Strukturdiagramm einer adaptiven Vorrichtung mit mehreren Quelldomänen und mehreren Zieldomänen, die durch eine
Ausführungsform der vorliegenden Anmeldung bereitgestellt wird;
Figur 4 ist ein schematisches Strukturdiagramm eines elektronischen Geräts, das durch eine Ausführungsform der vorliegenden Anmeldung bereitgestellt wird.
Konkrete Ausführung
Ausführungsformen der vorliegenden Anmeldung werden im folgenden
Erläuterung der Figuren in den Ausführungsformen der vorliegenden Anmeldung beschrieben. Die bei der Umsetzung der Ausführungsformen der vorliegenden
Anmeldung verwendeten Begriffe dienen lediglich der Erläuterung der spezifischen Ausführungsformen der vorliegenden Anmeldung und sollen die vorliegende Anmeldung nicht einschränken. Die folgenden spezifischen
Ausführungsformen können miteinander kombiniert werden. Gleiche oder ähnliche Konzepte oder Prozesse werden ın einigen Ausführungsformen möglicherweise nicht wiederholt. 8
Aktuelle Multidomänen-Anpassungsmethoden müssen häufig auf große
Mengen gekennzeichneter Daten zurückgreifen. In der realen Welt mangelt es jedoch normalerweise an gekennzeichneten Daten (d. h. der Quelldomäne) und einer großen Menge unbeschrifteter Daten (d. h. der Zieldomäne), was dazu führt, dass adaptive Methoden mit mehreren Domänen häufig zu suboptimalen
Lösungen führen. Vor diesem Hintergrund stellt diese Anwendung eine Methode zur Anpassung mehrerer Quell-und Zieldomänen bereit, die einen aufmerksamkeitsgesteuerten dynamischen Merkmalsgenerator (Dynamic Feature
Generator With Attention. DGWA) verwendet, um die Anpassung mehrerer
OQuell- und Zieldomänen zu verbessern. Bei diesem Problem zielt DGWA darauf ab, dynamische Merkmalsgeneratoren zu verwenden, um die
Verteilungsunterschiede zwischen Domänen mit mehreren Quellen und Domänen mit mehreren Zielen zu verringern, und gleichzeitig den
Aufmerksamkeitsmechanismus zu verwenden, um übertragbare Informationen zwischen verschiedenen Domänen zu untersuchen und dem Modell beim Erlernen domäneninvarianter Darstellungen zu helfen und die Modellleistung weiter verbessern, was die Verallgemeinerung und Robustheit adaptiver Methoden mit mehreren Domänen verbessern kann.
Figur 1 ist ein schematisches Flussdiagramm eines adaptiven Verfahrens mit mehreren Quelldomänen und mehreren Zieldomänen, das durch eine
Ausführungsform der vorliegenden Anmeldung bereitgestellt wird. Wie in Abb. 1 gezeigt. kann das Verfahren die folgenden Schritte umfassen:
S110. Die Proben in mehreren Quelldomänen und mehreren Zieldomänen
Jeweils in den dynamischen Merkmalsgenerator eingegeben werden, um die dynamischen Merkmale jeder Quelldomäne und jeder Zieldomäne zu erhalten.
Um High-Level-Features und Low-Level-Features aus verschiedenen
Domänen besser verarbeiten zu können, kann der dynamische Feature-Generator ein dynamisches Anpassungsmodul und ein dynamisches Faltungsmodul enthalten.
Das dynamische Anpassungsmodul zielt hauptsächlich auf die 9
Low-Level-Merkmale in den Eingabeproben ab. Diese Low-Level-Merkmale enthalten mehr Hintergrundinformationen und Rauschinformationen, die keine gemeinsamen Merkmale der entsprechenden Domäne der Eingabeproben sind und von verarbeitet werden können das dynamische Adaptionsmodul.
Das dynamische Faltungsmodul zielt hauptsächlich auf die erweiterten
Funktionen in den Eingabeproben ab. Diese erweiterten Funktionen enthalten
Schlüsselinformationen in der entsprechenden Domäne der Eingabeproben, und das dynamische Faltungsmodul kann diese Schlüsselinformationen besser extrahieren.
Insbesondere können die dynamischen Eigenschaften jeder Quelldomäne und
Jeder Zieldomäne gemäß der folgenden Formel (1) bestimmt werden: 7, = 0+ fo 0 (0) 0
Unter diesen ist Zi das dynamische Merkmal der 1-ten Stichprobe in jeder
Quelldomäne oder Zieldomäne, Jo.) ist das Low-Level-Merkmal in der vom dynamischen Anpassungsmodul extrahierten Fingabeprobe, Jo ist die
Eingabeprobe Extrahieren Sie die erweiterten Funktionen des dynamischen
Faltungsmoduls.
Das dynamische Anpassungsmodul kann dafür sorgen, dass sich die
Parameter des dynamischen Merkmalsgenerators mit den Fingabeproben ändern und gleichzeitig den Umfang der Parameter für Deep Learning reduzieren. Das dynamische Anpassungsmodul kann statische Blöcke und dynamische Restblôcke umfassen. Der statische Block wird verwendet, um die statischen Merkmale auf niedriger Ebene in den Fingabeproben zu extrahieren, der dynamische Restblock wird verwendet, um die dynamischen Merkmale auf niedriger Ebene in den
Eingabeproben zu extrahieren, und die Summe der statischen Merkmale auf niedriger Ebene und der niedrigen Dynamische Funktionen auf -Ebene sind die
Funktionen auf niedriger Ebene.
Insbesondere können die Low-Level-Merkmale in den Fingabeproben gemäß der folgenden Formel (2) bestimmt werden:
So. (X) = Fo (X) +; m (X) 2) 10
Unter ihnen sind © die statischen Merkmale auf niedriger Ebene in den vom statischen Block extrahierten Eingabeproben und Van die dynamischen
Merkmale auf niedriger Ebene in den vom dynamischen Restblock extrahierten
Eingabeproben.
Darüber hinaus kônnen die dynamischen Merkmale auf niedriger Ebene gemäß der folgenden Formel ( 3 ) bestimmt werden:
My) =D 7,000 = G)
Unter diesen ist W die Anzahl der Faltungsschicht-Gewichtsmatrizen, die je nach Situation auf unterschiedliche Werte eingestellt werden kônnen, z. B. W=4. 7 (x) ist die Beispielkorrelationsmatrix in Der entsprechende
Gewichtsunterraum % ist die Gewichtsmatrix der relevanten Faltungsschicht.
Durch die eingabeabhängige Einschränkung der obigen Matrix kann das dynamische = Restmodul unterschiedliche Gewichte generieren, um unterschiedliche Stichproben zu verarbeiten.
Da Stichproben aus verschiedenen Domänen unterschiedliche
Merkmalsverteilungen aufweisen können, kann das dynamische Faltungsmodul dynamische Faltungskerne mit unterschiedlichen Expansionsraten generieren, um
Stichproben mit unterschiedlichen Merkmalsverteilungen anzupassen, sodass die
Skalenänderungen verschiedener Stichproben effektiv gehandhabt werden können
Dynamischer Feature-Generator zur besseren Verarbeitung von
Eingabebeispielen.
Das dynamische Faltungsmodul kann einen ersten Kernel-Generator, einen zweiten Kernel-Generator, ein Dimensionsreduktionsmodul. ein
Dimensionsverbesserungsmodul und ein Faltungsmodul umfassen.
Der erste Kernel-Generator wird verwendet, um den ersten Faltungskern basierend auf den FEingabeabtastwerten zu generieren. Der zweite
Kernel-Generator wird verwendet, um den zweiten Faltungskern basierend auf den
Eingabeabtastwerten zu generieren. Die Expansionsrate des ersten Faltungskerns und des zweiten Faltungskerns ist unterschiedlich. 11
Das Dimensionsreduktionsmodul wird verwendet, um
Dimensionsreduktionsoperationen an den Eingabeproben durchzuführen, um
Ergebnisse der Dimensionsreduktion zu erhalten. Das Faltungsmodul wird verwendet, um die ersten untergeordneten Merkmale gemäß den Ergebnissen der
Dimensionsreduktion und dem ersten Faltungskern zu erhalten Ergebnisse der
Dimensionsreduzierung und des zweiten Faltungskerns, um das zweite
Sub-Advanced-Feature zu erhalten; das Dimension-Up-Modul wird verwendet, um Dimensions-Up-Operationen für das erste Sub-Advanced-Feature und das zweite Sub-Advanced-Feature durchzuführen und das erste
Sub-Advanced-Feature hinzuzufügen -Erweiterte Funktion und die zweite untergeordnete erweiterte Funktion nach der Dimensionsverbesserung, um
High-Level-Funktionen der Eingabeproben zu erhalten.
Insbesondere können die beiden Faltungskerne nach der
Dimensionsreduzierung gemäß der folgenden Formel (4) und Formel (5) bestimmt werden:
M, = Ja OOF = Ja, 69 © f, (x) (4)
N, = Jo, (0) OF, = f, (x)® f, (x) (5)
Unter diesen sind M; und N; die beiden Faltungskerne nach der
Dimensionsreduzierung, 50 und 74 sind die beiden Faltungskerne, die vom ersten Kernelgenerator und dem zweiten Kernelgenerator erzeugt werden Kernel mit unterschiedlichen Expansionsraten, F; ist die Ausgabe des
Dimensionsreduktionsmoduls. 1 =J409 € ROC , h ist die Hôhe der Probe, w ist die Breite der Probe, c ist die Abmessung der Probe und m ist der Maßstab zur
Reduzierung der Abmessung der Probe.
Die vom dynamischen Faltungsmodul extrahierten erweiterten Merkmale gemäß der folgenden Formel (6) bestimmt werden:
Som (X) = [Lo (M,); fo (N))] = La, (fo, (X)® Ja (X); Ja, (fo, (x) ® fa (x))] (6)
S120. Bestimmen Sie Aufmerksamkeitsmerkmale, die dynamischen
Merkmalen mit derselben Bezeichnung entsprechen. 12
Für die komplementären Informationen zwischen den verschiedenen
Domänen können die übertragbaren Informationen zwischen den verschiedenen
Domänen über den Aufmerksamkeitsmechanismus des Aufmerksamkeitsmoduls abgerufen werden.
Die Eingabe des Aufmerksamkeitsmoduls kann jedes Mal ein Probenpaar sein. Die beiden Proben im Probenpaar können zwei verschiedene Proben mit derselben Bezeichnung in derselben Quelldomäne oder Zieldomäne oder zwei
Proben mit derselben Bezeichnung in verschiedenen Domänen sein. Probe.
Erstens kann entsprechend den entsprechenden dynamischen Merkmalen
Jeder Probe im Probenpaar eine entsprechende Affinıtätsmatrix generiert werden, und die Kontextabhängigkeit zwischen verschiedenen Kategorien mit einem großen Empfangsfeld kann durch die Affinitätsmatrix gelernt werden.
Konkret lässt sich die Affinitätsmatrix nach folgender Formel (7) und Formel (8) ermitteln:
SM = A p(x) a) pon Ps) >, exp) 8)
Unter diesen ist X das dynamische Merkmal, das der 1 -ten Stichprobe der k -ten Domäne entspricht, und x ist das entsprechende dynamische
Merkmal von j -te Probe in der h -ten Domäne Dynamische Merkmale, Pun’ ist die Affinitätsmatrix zwischen der 1- ten Probe der k -ten Domäne und der j -ten
Probe der h -ten Domine, >)" und 705") sind beide Faltungsschichten mit 1x1 Faltungskernen. In der Praxis ist , m das m-te Element der Stichprobe x" ,n das n-te Element der Stichprobe x" und T ist die Transformation des
Matrixsatzsymbols.
AnschlieBend kann anhand der Affinitätsmatrix die
Aufmerksamkeitszuordnung bestimmt werden, die dem obigen Beispielpaar entspricht.
Insbesondere kann die dem Stichprobenpaar entsprechende 13
Aufmerksamkeitskarte gemäß der Folgenden. Forel 49) bestpmt werden: SE " 9)
Darunter ist a," die Aufmerksamkeitskarte der Stichprobe x , die gemeinsam von x" und “erhalten wird, und €& wird durch die
Faltungsschicht des 1x1-Faltungskerns realisiert.
Anschließend können die den Stichprobenpaaren entsprechenden
Aufmerksamkeitsmerkmale und die den Stichprobenpaaren entsprechenden dynamischen Merkmale gemäß der Aufmerksamkeitskarte bestimmt werden.
Insbesondere kann das dem Stichprobenpaar entsprechende
Aufmerksamkeitsmerkmal gemäß der folgenden Formel (10) bestimmt werden:
A =a x a 4x" (10)
Unter diesen ist A; das Aufmerksamkeitsmerkmal und a der
Hyperparameter.
S130. Das Aufmerksamkeitsmerkmal wird zur Unterscheidung in mehrere
Domänendiskriminatoren eingegeben, und der Gesamtverlustwert, der jeder
Quelldomäne und Jeder Zieldomäne entspricht, wird gemäß den
Unterscheidungsergebnissen bestimmt.
Zunächst kann entsprechend jedem Aufmerksamkeitsmerkmal der
Gesamtklassifizierungsverlustwert bestimmt werden, der jeder Quelldomäne entspricht.
Insbesondere kann der Gesamtklassifizierungsverlustwert, der jeder
Quelldomäne entspricht, gemäß der folgenden Formel (11) und Formel (12) bestimmt werden:
BO,00).0) = X LG, 000,00). non, (11)
Ly = LL 0,(x").0) 12)
Darunter ist C6") der Klassifizierungsverlustwert der 1 - ten
Quelldomäne, ” die Anzahl der Stichproben in der i -ten Quelldomäne, >” die Kreuzentropieverlustfunktion und “&“C%) Der Klassifikator, Gy ("16,7") 14 ist das jeweilige Aufmerksamkeitsmerkmal, das der i-ten Quelldomäne entspricht, ve
C ist der Klassifikatorparameter , x ist die Stichprobe der 1 -ten Quelldomäne, y ist die Bezeichnung der 1 -ten Quelldomäne, Ly ist der
Gesamtklassifizierungsverlustwert, der K Quelldomänen entspricht, und K 1st die
Gesamtzahl der Quelldomänen.
Zweitens können die oben genannten Module durch die Konstruktion mehrerer Domänendiskriminatoren durch mehrere kontradiktorische Strategien ın ein einheitliches End-to-End-Trainingsframework integriert werden, um dynamische Funktionen aus mehreren Quelldomänen und mehreren Zieldomänen auszurichten.
Um Unterschiede in der Merkmalsverteilung und Domänenverschiebungen zwischen mehreren Quelldomänen und mehreren Zieldomänen zu minimieren, können Quell- und Zieldomänen paarweise gepaart werden, um die entsprechenden = Doménendiskriminatoren zu verwechseln. Mehrere
Domänendiskriminatoren können einen ersten Domänendiskriminator umfassen, der jeder Zieldomäne entspricht, und einen zweiten Domänendiskriminator, der
Jeweils zwei Zieldomänen entspricht, und der erste Domänendiskriminator kann verwendet werden, um die Aufmerksamkeitsmerkmale der Proben in der entsprechenden Zieldomäne zu klassifizieren die Domäne und die Quelldomäne.
Der Zweitdomänendiskriminator kann verwendet werden, um die
Aufmerksamkeitsmerkmale der Proben in den entsprechenden zwei Zieldomänen zu unterscheiden.
Insbesondere kann der erste Gesamtwert des gegnerischen Verlusts, der jedem ersten Domänendiskriminator entspricht, zuerst gemäß Jedem
Aufmerksamkeitsmerkmal bestimmt werden.
Insbesondere kann der kontradiktorische Verlust zwischen der i- ten
Quelldomäne und der j- ten Zieldomäne gemäß der folgenden Formel (13) bestimmt werden:
LV 0.0,0)=- X 1,(G}(G,(x0,(x):0,").d)
N xD, Di (13) 15
Unter diesen ist Gy" (56) der erste Domänendiskriminator, © ist dor vos
Parameter des ersten Domänendiskriminators, d ist die Domänenbezeichnung, wenn die Probe aus der Quelldomäne stammt, dann d=0. Wenn die Probe aus der
Quelldomäne stammt Zieldomäne, dann d =1.
Als nächstes kann der erste Gesamtwert des gegnerischen Verlusts, der jedem zweiten Domänendiskriminator entspricht, gemäB Jedem
Aufmerksamkeitsmerkmal bestimmt werden.
Insbesondere kann der kontradiktorische Verlust zwischen der i- ten
Zieldomäne und der j- ten Zieldomäne gemäß der folgenden Formel (14) bestimmt werden: 0.0.0) 1G (G,(x0,(0):0,).d)
N xen, D, (14)
Für jede Quelldomäne und jede Zieldomäne kann der kontradiktorische
Verlust zwischen jeder Zieldomäne gemäß der folgenden Formel (15) bestimmt werden: 1 =Hog Yexp(y 1 )+-L10g X exp(rI)
Yo Foe (15)
Der Gesamtverlustwert zwischen jeder Quelldomäne und jeder Zieldomäne kann gemäß der folgenden Formel (16) ermittelt werden:
L=AL +231)
JA (16)
Unter ihnen sind ”, % und * Hyperparameter.
S140. Ein iteratives Training gemäß dem Gesamtverlust ist durchgeführt, um ein dynamischer Zielmerkmalsgenerator yu generieren.
Nachdem der Gesamtverlustwert in jeder Iteration bestimmt wurde, kann anhand des Gesamtverlustwerts der aktuellen Iteration beurteilt werden, ob der der aktuellen Iteration entsprechende dynamische Merkmalsgenerator für die
Zieldomäne geeignet ist. 16
Insbesondere wenn die Differenz zwischen dem Gesamtverlustwert der ve aktuellen Iteration minus dem Gesamtverlustwert der vorherigen Iteration kleiner oder gleich dem vorgestellten Wert ist, kann der dynamische Merkmalsgenerator, der der aktuellen Iteration entspricht, als dynamisches Zielmerkmal Generator verwendet werden; Wenn die Differenz zwischen dem Gesamtverlustwert der aktuellen Iteration minus dem Gesamtverlustwert der vorherigen Iteration größer als ein voreingestellter Wert ist, wird die Iteration fortgesetzt.
Zu den technischen Lösungen, die durch die Ausführungsformen dieser
Anmeldung bereitgestellt werden, gehören: Die Proben in mehreren
Quelldomänen und mehreren Zieldomänen in den dynamischen
Merkmalsgenerator einzugeben, um die dynamischen Merkmale jeder
Quelldomäne und jeder Zieldomäne zu erhalten; die Aufmerksamkeitsmerkmale zu bestimmen, die den dynamischen Merkmalen mit derselben Bezeichnung entsprechen; die Aufmerksamkeitsmerkmale zur Unterscheidung in mehrere
Domänendiskriminatoren einzugeben, und der Gesamtverlust, der Jeder
Quelldomäne und Jeder Zieldomäne entspricht, gemäß den
Unterscheidungsergebnissen zu bestimmt; iteratives Training gemäß dem
Gesamtverlust durchzueführt, um einen dynamischen Zielmerkmalsgenerator zu generieren. In der oben genannten technischen Lösung umfasst der dynamische
Merkmalsgenerator ein dynamisches Anpassungsmodul und ein dynamisches
Faltungsmodul, das dynamische Anpassungsmodul umfasst einen statischen Block und einen dynamischen Restblock, und das dynamische Anpassungsmodul wird zum Extrahieren von Merkmalen auf niedriger Ebene aus Eingabeproben verwendet. und das dynamische Faltungsmodul wird zum Extrahieren verwendet
Die Merkmale auf höhere Niveur der FEingabestichprobe, sodass die
High-Level-Merkmale und Low-Level-Merkmale aus verschiedenen Domänen durch den dynamischen Merkmalsgenerator und den Verteilungsunterschied zwischen ihnen besser verarbeitet werden können Die Multi-Source-Domäne und die Multi-Target-Domäne können reduziert werden, und der
Aufmerksamkeitsmechanismus wird verwendet, um verschiedene Domänen zu 17 erkunden. Die zwischen ihnen übertragbaren Informationen können dem Modell dabei helfen, domäneninvariante Darstellungen zu lernen und die Leistung des
Modells zu verbessern, sodass dies möglich ist Das Schema kann die
Verallgemeinerung und Robustheit der adaptiven Methode mit mehreren
Domänen verbessern. Darüber hinaus umfassen mehrere Domänendiskriminatoren
Jeweils. Jede Zieldomäne entspricht einem ersten Domänendiskriminator, der jeder Quelldomäne entspricht, und einem zweiten Domänendiskriminator, der
Jeweils zwei Zieldomänen entspricht Der Diskriminator der ersten Domäne wird verwendet, um die Aufmerksamkeitsmerkmale der Proben in den entsprechenden
Zieldomänen und Quelldomänen zu unterscheiden. Der Diskriminator der zweiten
Domäne wird verwendet, um die Aufmerksamkeitsmerkmale der Proben in den entsprechenden beiden Zieldomänen zu unterscheiden Durch die
Aufmerksamkeitsmerkmale mehrerer Zieldomänen wird die Korrespondenz zwischen jeder Quelldomäne und jeder Zieldomäne verbessert. Die Genauigkeit des Gesamtverlustwerts kann die Robustheit der adaptiven Methode mit mehreren
Domänen weiter verbessern.
Der Fachmann versteht, dass die obigen Ausführungsformen beispielhaft sind und nicht dazu gedacht sind, die vorliegende Anwendung einzuschränken. Wo möglich, kann die Ausführungsreihenfolge eines oder mehrerer Schritte in den oben genannten Schritten angepasst oder selektiv kombiniert werden, um eine oder mehrere andere Ausführungsformen zu erhalten. Der Fachmann kann je nach
Bedarf jeden der oben genannten Schritte auswählen und kombinieren, und diejenigen, die nicht vom Wesen des Schemas der vorliegenden Anmeldung abweichen, fallen alle in den Schutzbereich der vorliegenden Anmeldung.
Die Wirksamkeit des Schemas der vorliegenden Anmeldung wird im
Folgenden anhand experimenteller Daten beschrieben.
Dieses Experiment verwendet zwei klassische Datensätze Office+Clatech10 und Office-Home.
Der Office+Caltech10-Datensatz besteht aus dem Office31-Datensatz und dem Caltech256-Datensatz und enthält vier Unterdomänen A (Amazon), W 18
(Webcam). D (Dslr) und C (Caltech); der Office31-Datensatz enthält insgesamt ve 4110 Bilder in 31 Kategorien. Caltech256 enthält 30607 Bilder aus 256
Kategorien. Im Experiment wird Caltech als vierte Domäne verwendet, und 10 gemeinsame Klassen werden aus den Datensätzen Office31 und Caltech256 ausgewählt, um den Datensatz Office+Caltechl0 zu bilden. und 6
Migrationsaufgaben werden für die 4 Unterdomänen des Datensatzes
Office+Caltech10 erstellt: C/D > A/W, D/W > A/C, W/C > A/D, A/D >
W/C, C/A > W/D,und A/W > C/D.
Der Office-Home-Datensatz ist komplexer als Office+Caltech10, der vier
Subdomains und 15500 Bilder aus 65 Kategorien enthält. Die vier Unterdomänen sind Ar (Künstlerische Bilder), Cl (Clip Art). Pr (Produktbilder) und Rw (Bilder aus der realen Welt). Für die vier Unterdomänen des Office-Home-Datensatzes werden außerdem sechs Migrationsaufgaben erstellt: Ar/Cl > Pr/Rw, Ar/Pr >
Cl/Rw, Ar/Rw > Cl/Pr, Cl/Pr > Ar/Rw, C/Rw > Ar/Pr, und Pr/Rw >
Ar/CI.
Für die beiden oben genannten Datensätze verwendet dieses Experiment
ResNet-50 als Backbone-Netzwerk des dynamischen Merkmalsgenerators und führt das dynamische Anpassungsmodul in den ersten drei Engpassschichten und das dynamische Faltungsmodul in der letzten Engpassschicht ein, um einen dynamischen Merkmalegenerator zu realisieren. Vorab trainierte Parameter.von
ImageNet-Datensatz wird eingeladen. Fin stochastischer Gradientenabstieg wird mit Impulsparameter (Momentum) als Optimierer verwendet, Impuls = 0,9.
Während des Trainings wird die Größe jedes Mini-Batches auf 32 eingestellt, und das Training wird für 50 Iterationen durchgeführt, die anfängliche Lernrate wird auf 0,001 eingestellt und die Lernrate wird mit jeder Iteration dynamisch reduziert. Für den Domänendiskriminator wird ein dreischichtiges, vollständig verbundenes neuronales Netzwerk mit 128 versteckten Einheiten verwendet, und ein zweischichtiges, vollständig verbundenes neuronales Netzwerk wird als endgültiger Klassifikator verwendet, um die Genauigkeit = der
Berechnungsklassifizierung zu verbessern. Die Hyperparameter sind auf 77°, 19
; LU504903
A=9, 4,=0.8 eingestellt.
Vergleichen Sie abschließend die experimentellen Ergebnisse mit den gängigen fortgeschrittenen Methoden in diesem Bereich. Zu den
Vergleichsobjekten gehören: Ansatz mit einer einzigen Quelldomäne und einer einzigen Zieldomäne: TCA, JDA, DANN, RSDA-MSTN, DAN, DCTN, SCDA,
BIWAA, SymNets; Multi-Source-Domain-Single-Target-Domain-Ansatz:
M3SDA, DCA, MDAN; Single-Source-Multi-Target-Domain-Ansatz:
MTDA-ITA und Multi-Source-Domain-Multi-Target-Domain-Ansatz: HTA und
AMDA.
Tabelle 1 ist die Klassifizierungsgenauigkeitsrate des Schemas dieser
Anwendung und des Vergleichsschemas auf Office+Caltech10. - [DANN [957 [ 1000 [93.7 [902 | 865 | 867 | 802 [800 | 066 | 935 [oni [na | 220 [DAN [943 | a [243 [#73 | 92.1 | ws | 200 [105 | 506 | 92 [no [na | 225 ocr [ous 00.7 [96.0 [94.7 | 555 | a | 567 [244 | ona 1000 [942 [ ona | 572
Tabelle 1 zeigt die experimentellen Ergebnisse der Bildklassifizierung bei
Verwendung des Office+Caltech10 -Datensatzes. Bei der
Single-Source-Domain-Single-Target-Domain-Methode stellt jede Spalte eine
Übertragungsaufgabe für eine Single-Source-Domain und eine
Single-Target-Domain dar, z. B. stellt die erste Spalte von Tabelle 1 den
Wissenstransfer von der Quelldomäne C zur Zieldomäne A dar C>A. Bei der
Single-Source-Domain-Multi-Target-Domain-Methode ist der Vergleichsinhalt derjenige mit der hôheren Genauigkeit in den beiden
Multi-Target-Domain-Übertragungsaufgaben, wie z. B. C>AW und D>AW in
Tabelle 1. Bei der Multi-Source-Domain-Multi-Target-Domain-Methode erfolgt der Vergleich anhand von zwei Quelldomänen und zwei Zieldomänen, wie beispielsweise in der ersten Spalte in Tabelle 1, die sich CP>AW auf das 20
Erlernen von Wissen aus den Quelldomänen C und D und den Wissenstransfer bezieht auf mehrere Zieldomänen, nämlich A und W.
Aus Tabelle 1 ist ersichtlich, dass die durchschnittliche
Klassifizierungsgenauigkeit von DGWA (dh dem Schema dieser Anwendung) in den sechs Migrationsaufgaben 98,4 % beträgt, was 0,6 % höher ist als die optimale Vergleichsmethode. AMDA in mehreren Kontrastkombinationen. Im
Vergleich zur Multi-Source-Domain-Methode DCA ist DGWA im Durchschnitt 16 % höher als DCA. DCA verwendet Multi-View-Funktionen und
Pseudo-Label-Trainingsstrategien, um das Modell zu optimieren. Da DCA jedoch die nützlichen Informationen ignoriert, die mehrere Zieldomänen bereitstellen können, besteht eine gewisse Leistungsliicke gegenüber DGWA.
Tabelle 2 zeigt die Klassıfizierungsgenauigkeit des Schemas dieser
Anwendung und des Vergleichsschemas auf Office-Home. - oan Twa [167 [470 [768 | ser | 000 | sia | 593 | 456 | ons | a [aos | 576)
Tabelle 2 zeigt die experimentellen Ergebnisse der DGWA-
Bildklassifizierung für den Office-Home- Datensatz. Aus Tabelle 2 können wir ersehen, dass DGWA eine um 2,1 % höhere Klassifizierungsgenauigkeit als
AMDA, die hochmoderne
Multi-Source-Domain-Multi-Target-Domain-Anpassungsmethode, erreicht und
AMDA im Durchschnitt bei allen sechs Ubertragungsaufgaben übertrifft. Es ist zu beachten, dass der Office-Home-Datensatz komplexer ist als der
Office+Caltech10-Datensatz und die Verteilung der darin enthaltenen Stichproben viel grôBer ist als im vorherigen Datensatz. Das Schema dieser Anwendung kann die bestehende Methode nach dem neuesten Stand der Technik immer noch 21 übertreffen, und der führende Bereich ist größer als der des vorherigen
Datensatzes. Dieses Phänomen zeigt, dass der dynamische Merkmalsgenerator dieser Anwendung für größere Stichproben besser ist Verteilungsunterschiede. Je besser die Leistung, desto mehr spielt das Aufmerksamkeitsmodul in diesem
Anwendungsschema auch eine Rolle bei der Erfassung übertragbarer
Informationen zwischen Proben. Darüber hinaus können die Informationen mehrerer Zieldomänen das Lernen des Modells bei der Domänenanpassung effektiv fördern.
Zusammenfassend lässt sich sagen, dass der dynamische Merkmalsgenerator dieser Anwendung eine klarere domäneninvariante Darstellung in Stichproben mit großen Verteilungsunterschieden aus mehreren Domänen erlernen kann und das
Aufmerksamkeitsmodul die Unterschiede zwischen verschiedenen Stichproben gut erfassen kann. Übertragbare Informationen. Und die Informationen mehrerer
Zieldomänen können die Ausrichtung von Merkmalen unterstützen, sodass sich das Modell besser an mehrere Zieldomänen anpassen kann.
Figur 2 ist das visuelle Vergleichsergebnis der durch das Schema dieser
Anwendung extrahierten Merkmale und der durch DANN extrahierten Merkmale.
Dieses Mal werden die Merkmale aus der vom Klassifikator vorhergesagten vorherigen verborgenen Schicht extrahiert, um eine t-SNE-Merkmalsvisualisierung zu generieren. Figur 2 dargestellt. ist in zwei
Sätzen von Vergleichsexperimenten die Unterscheidungsfähigkeit der von der
DANN-Methode generierten Merkmale schlechter als die der von der DGWA generierten Merkmale (d. h. der klasseninterne Stichprobenabstand der
DANN-Extraktion ). Die Merkmale sind nicht kompakt genug und der
Stichprobenabstand zwischen den Klassen ist nicht groß genug. Der Grund dafür ist, dass der statische Feature-Generator von DANN Informationen aus mehreren
Domänen nicht gut verarbeiten kann, wodurch die erlernte Feature-Darstellung weniger effektiv ist als DGWA. Die Wirksamkeit des dynamischen
Merkmalsgenerators, der durch den in dieser Anwendung vorgeschlagenen
Aufmerksamkeitsmechanismus gesteuert wird, kann durch die experimentellen 22
Ergebnisse der Merkmalsvisualisierung weiter bewiesen werden.
Basierend auf dem gleichen erfinderischen Konzept stellt die
Ausführungsform der vorliegenden Anmeldung als Implementierung des oben genannten Verfahrens ein selbstanpassendes Gerät mit mehreren Quelldomänen und mehreren Zieldomänen bereit. Die Ausführungsform des Geräts entspricht der oben genannten Ausführungsform des Verfahrens. Die Einzelheiten ın der Die vorstehenden Verfahrensausführungen werden einzeln beschrieben, es sollte jedoch klar sein, dass das Gerät in dieser Ausführungsform den gesamten Inhalt der vorstehenden Verfahrensausführungen entsprechend implementieren kann.
Figur 3 ist ein schematisches Strukturdiagramm eines adaptiven Geräts mit mehreren Quelldomänen und mehreren Zieldomänen, das in der Ausführungsform der vorliegenden Anmeldung bereitgestellt wird. Wie in Figur 3 gezeigt. umfasst das in dieser Ausführungsform bereitgestellte Gerät: 11 zur Generierung dynamischer Merkmale: zum Eingeben von Proben in mehreren Quelldomänen bzw. Mehreren Zieldomänen in einen Generator dynamischer Merkmale, um dynamische Merkmale jeder Quelldomäne und jeder
Zieldomäne zu erhalten, und der Generator dynamischer Merkmale umfasst ein dynamisches Anpassungsmodul 111 und a Dynamisches Faltungsmodul 112. Das dynamische Anpassungsmodul 111 enthält einen statischen Block 1111 und einen dynamischen Restblock 1112. Das dynamische Anpassungsmodul 111 wird zum
Extrahieren von Low-Level-Merkmalen von Eingabeproben verwendet, und das dynamische Faltungsmodul 112 wird zum Extrahieren von
High-Level-Merkmalen verwendet-Level-Merkmale von Eingabeproben;
Aufmerksamkeitsmodul 12: zum Bestimmung des
Aufmerksamkeitsmerkmals, das dem dynamischen Merkmal mit derselben
Bezeichnung entspricht;
Bestimmungsmodul 13: Das Aufmerksamkeitsmerkmal wird zur
Unterscheidung in mehrere Domänendiskriminatoren eingegeben, und der
Gesamtverlust zwischen den jeweilige Quell-und Zieldomäne wird anhand der
Ergebnisse aus den Diskriminatoren bestimmt. Die mehrere 23
Domänendiskriminatoren umfassen einen ersten Domänendiskriminator, der jeder
Zieldomäne entspricht, und einen zweiten Domänendiskriminator, der jeweils zwei Zieldomänen entspricht; Der erste Domänendiskriminator wird verwendet, um die Aufmerksamkeitsmerkmale von Proben in der entsprechenden Zieldomäne und Quelldomäne zu unterscheiden, und der zweite Domänendiskriminator wird zur Unterscheidung verwendet Aufmerksamkeitsmerkmale der Proben in den entsprechenden zwei Zieldomänen;
Trainingsmodul 14: Wird zur Durchführung eines iterativen Trainings entsprechend dem Gesamtverlustwert verwendet, um einen dynamischen
Zielmerkmalsgenerator zu generieren.
Als optionale Implementierung wird das Bestimmungsmodul 13 speziell verwendet für:
Gemäß jedem der Aufmerksamkeitsmerkmale können jeweils die Folgendes bestimmt werden: der Gesamtklassifizierungsverlustwert, der jeder der
Quelldomänen entspricht, der erste Gesamtkontradiktorsverlustwert, der jedem ersten Domänendiskriminator entspricht, und der erste
Gesamtkontradiktorsverlustwert, der —entspricht zu Jedem zweiten
Domänendiskriminator der zweiten Gesamtkontradiktorsverlustwert;
Gemäß dem Gesamtwert des Klassifizierungsverlusts, dem ersten
Gesamtwert des gegnerischen Verlusts und dem zweiten Gesamtwert des gegnerischen Verlusts wird ein Gesamtverlust zwischen den jeweiligen Quell-und
Jeder der Zieldomänen bestimmt.
Als optionale Implementierung wird der statische Block 1111 verwendet, um die statischen Merkmale auf niedriger Ebene in den Eingabeproben zu extrahieren, und der dynamische Restblock 1112 wird verwendet, um die dynamischen Merkmale auf niedriger Ebene zu extrahieren Die
Eingabe-Samples-Funktion, die Summe der statischen Low-Level-Funktion und der Low-Level-Dynamik-Funktion ist die Low-Level-Funktion.
Als optionale Implementierung umfasst das dynamische Faltungsmodul 112 einen ersten Kernelgenerator 1121, einen zweiten Kernelgenerator 1122, ein 24
Dimensionsreduktionsmodul 1123, ein Dimensionsverbesserungsmodul 1124 und ein Faltungsmodul 1125;
Der erste Kernel-Generator 1121 wird verwendet, um einen ersten
Faltungskernel entsprechend den Eingabeproben zu erzeugen;
Der zweite Kernelgenerator 1122 wird verwendet, um einen zweiten
Faltungskern gemäß den Eingabeabtastwerten zu erzeugen, und die
Expansionsverhältnisse des ersten Faltungskerns und des zweiten Faltungskerns sind unterschiedlich;
Das Dimensionsreduktionsmodul 1123 wird verwendet, um
Dimensionsreduktionsoperationen an KEingabeproben durchzuführen, um
Ergebnisse der Dimensionsreduktion zu erhalten;
Das Faltungsmodul 1125 ist so konfiguriert, dass es ein erstes untergeordnetes Merkmal gemäß dem Ergebnis der Dimensionsreduzierung und dem ersten Faltungskern erhält und ein zweites untergeordnetes Merkmal gemäß dem Ergebnis der Dimensionsreduzierung und dem zweiten Faltungskern erhält.
Das Dimensionserhöhungsmodul 1124 wird verwendet, um eine
Dimensionserhöhungsoperation an den ersten untergeordneten erweiterten
Merkmalen und den zweiten untergeordneten erweiterten Merkmalen durchzuführen und die dimensional verbesserten ersten untergeordneten erweiterten Merkmale und die zweiten untergeordneten erweiterten Merkmale hinzuzufügen, um eine Eingabe ,High“ zu erhalten-Level-Funktionen des
Beispiels.
Als optionale Implementierung wird das Aufmerksamkeitsmodul 12 in speziell verwendet für:
Für jedes Probenpaar kann eine entsprechende Affinitätsmatrix entsprechend den jeweiligen dynamischen Merkmalen jeder Probe im Probenpaar generiert werden, und jedes Probenpaar enthält zwei Proben mit derselben Beschriftung
Anhand dem dynamischen Merkmal, das der Aufmerksamkeitskarte und dem
Probenpaar entspricht, koennen die Aufmerksamkeitsmerkmale bestimmt werden, das dem Probenpaar entspricht 25
Anhand der Aufmerksamkeitskarte und dem dynamischen Merkmal, das dem
Probenpaar entspricht, kann das Aufmerksamkeitsmerkmal bestimmt werden, das dem Probenpaar entspricht.
Als optionale Implementierungsmethode umfasst das Probenpaar: Zwei werschiedene Proben mit derselben Bezeichnung in derselben Quell- oder
Zieldomäne oder zwei Proben mit derselben Bezeichnung in unterschiedlichen
Domänen.
Als optionale Implementierung ist das Trainingsmodul 14 speziell für folgenden Zwecke konfiguriert:
Wenn die Differenz zwischen dem Gesamtverlust der aktuellen Iteration minus dem Gesamtverlust der vorherigen Iteration kleiner oder gleich dem voreingestellten Wert ist, wird der dynamische Merkmalsgenerator, der der aktuellen Iteration entspricht, als dynamischer Zielmerkmalsgenerator verwendet.
Das in dieser Ausführungsform bereitgestellte adaptive Gerät mit mehreren
Quelldomänen und mehreren Zieldomänen kann die obige Ausführungsform des
Verfahrens ausführen, und sein Implementierungsprinzip und seine technische
Wirkung sind ähnlich und werden hier nicht wiederholt.
Für den Fachmann ist klar ersichtlich, dass der Bequemlichkeit und Kürze der Beschreibung halber nur die Aufteilung der oben genannten
Funktionseinheiten und Module zur Veranschaulichung verwendet wird. In praktischen Anwendungen können die oben genannten Funktionen unterschiedlichen Funktionseinheiten zugeordnet werden Vervollständigung von
Modulen bedeutet, dass die ınterne Struktur des Geräts ın verschiedene
Funktionseinheiten oder Module unterteilt ist, um alle oder einen Teil der oben beschriebenen Funktionen zu erfüllen. Und jedes Modul in der Ausführungsform kann in eine Verarbeitungseinheit integriert sein, oder jede Einheit kann physisch separat existieren, oder zwei oder mehr Einheiten können in eine Einheit integriert sein, und die oben genannten integrierten Einheiten können auch Hardware übernehmen in Form von Software-Funktionseinheiten umgesetzt. Darüber hinaus dienen die spezifischen Namen der Funktionseinheiten und Module nur der 26 besseren Unterscheidung voneinander und werden nicht dazu verwendet, den
Schutzumfang der vorliegenden Anmeldung einzuschränken. Und Module im obigen System kann auf den entsprechenden Prozess in den vorstehenden
Verfahrensausführungen verwiesen werden, und Einzelheiten werden hier nicht wiederholt.
Basierend auf demselben erfinderischen Konzept stellt die Ausführungsform der vorliegenden Anmeldung auch ein elektronisches Gerät bereit. Figur 4 ist ein schematisches Strukturdiagramm des in der Ausführungsform der vorliegenden
Anmeldung bereitgestellten elektronischen Geräts. Wie ın Figur 4 gezeigt. umfasst das in der vorliegenden Ausführungsform bereitgestellte elektronische Gerät: Eın
Speicher 210 und ein Prozessor 220. wobei der Speicher 210 zur Speicherung eines Computerprogramms dient; der Prozessor 220 dient zur Ausführung des in der obigen Verfahrensausführung beschriebenen Verfahrens beim Aufruf des
Computerprogramms.
Das in dieser Ausführungsform bereitgestellte elektronische Gerät kann die vorstehende Ausführungsform des Verfahrens ausführen, und sein
Implementierungsprinzip und seine technische Wirkung sind ähnlich, und
Einzelheiten werden hier nicht wiederholt.
Die Ausführungsform der vorliegenden Anmeldung stellt außerdem ein computerlesbares Speichermedium bereit, auf dem ein Computerprogramm gespeichert ist, und wenn das Computerprogramm von einem Prozessor ausgeführt wird, wird das in der vorherigen Ausführungsform des Verfahrens beschriebene Verfahren implementiert.
Eine Ausführungsform der vorliegenden Anmeldung stellt ferner ein
Computerprogrammprodukt bereit, das, wenn das Computerprogrammprodukt auf einem elektronischen Gerät ausgeführt wird, es dem elektronischen Gerät ermöglicht, das in den vorstehenden Verfahrensausführungsformen beschriebene
Verfahren umzusetzen.
In den oben genannten Ausführungsformen können alle oder Teile davon durch Software, Hardware, Firmware oder eine beliebige Kombination davon 27 implementiert werden. Bei der Umsetzung mittels Software kann die Umsetzung. ganz oder teilweise in Form eines Computerprogrammprodukts erfolgen. Das
Computerprogrammprodukt umfasst eine oder mehrere Computeranweisungen.
Wenn die Computerprogrammanweisungen geladen und auf dem Computer ausgeführt werden, werden die Prozesse oder Funktionen gemäß den
Ausführungsformen der vorliegenden Anmeldung ganz oder teilweise generiert.
Der Computer kann ein Allzweckcomputer, ein Spezialcomputer, ein
Computernetzwerk oder ein anderes programmierbares Gerät sein. Die
Computeranweisungen können in einem computerlesbaren Speichermedium gespeichert oder über dieses übertragen werden. Von einer Website, einem
Computer, einem Server oder einem Datenzentrum zur Übertragung an eine andere Website, einen anderen Computer, einen anderen Server oder ein anderes
Datenzentrum gesendet werden. Oder ein Rechenzentrum, das mit einem oder mehreren verfügbaren Medien integriert ist. Das verfügbare Medium kann ein magnetisches Medium (z. B. eine Diskette, eine Festplatte oder ein Magnetband), ein optisches Medium (z. B. eine DVD) oder ein Halbleitermedium (z. B. eine
Solid-State-Disk) sein. SSD) und dergleichen.
Der Durchschnittsfachmann versteht, dass alle oder ein Teil der Prozesse in den Verfahren der oben genannten Ausführungsformen realisiert werden. Die
Prozesse können durch Computerprogramme abgeschlossen werden, um zugehörige Hardware zu steuern. Die Programme können in computerlesbaren
Speichermedien gespeichert werden. Wenn die Programme ausgeführt werden, können die Prozesse der oben genannten Verfahrensausführungen enthalten sein.
Zu den oben genannten Speichermedien können gehören: Verschiedene Medien, auf denen Programmcodes gespeichert werden können, z. B. ROM oder
Arbeitsspeicher (RAM). Magnetplatte oder optische Platte.
Die Benennung oder Nummerierung der Schritte in dieser Anmeldung bedeutet nicht, dass die Schritte ım Methodenablauf in der durch die Benennung oder Nummerierung angegebenen zeitlichen / logischen Reihenfolge ausgeführt werden müssen. Die Ausführungsreihenfolge des technischen Zwecks wird 28 geändert, solange die gleiche oder ähnliche technische Wirkung erzielt werden kann.
In den oben genannten Ausführungsformen haben die Beschreibungen jeder
Ausführungsform ihre eigenen Schwerpunkte. Für Teile, die in einer bestimmten
Ausführungsform nicht detailliert oder aufgezeichnet sind, wird auf die entsprechenden Beschreibungen anderer Ausführungsformen verwiesen.
In den in dieser Anmeldung bereitgestellten Ausführungsformen sollte klar sein, dass die offenbarte Vorrichtung / das offenbarte Gerät und das offenbarte
Verfahren auf andere Weise implementiert werden können. Zum Beispiel ist die oben beschriebenen Vorrichtungs / Geräteausführungsformen nur eine
Veranschaulichung. Beispielsweise handelt es sich bei der Aufteilung der Module oder Einheiten nur um eine logische Funktionsaufteilung. In der tatsächlichen
Implementierung kann es andere Aufteilungsmethoden geben, beispielsweise mehrere Einheiten oder Komponenten kombiniert oder in ein anderes System integriert werden, oder einige Funktionen können weggelassen oder nicht implementiert werden. In einem anderen Punkt kann die gezeigte oder diskutierte gegenseitige Kopplung oder direkte Kopplung oder Kommunikationsverbindung über einige Schnittstellen erfolgen, und die indirekte Kopplung oder
Kommunikationsverbindung von Geräten oder Einheiten kann in elektrischer, mechanischer oder anderer Form erfolgen.
Es versteht sich, dass der Begriff ,, umfassend“ bei Verwendung in dieser
Spezifikation und den beigefügten Ansprüchen das Vorhandensein beschriebener
Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und / oder Komponenten anzeigt, jedoch ein oder mehrere andere Vorhandensein oder Hinzufügungen nicht ausschließt von Merkmalen, Ganzheiten, Schritten. Operationen, Elementen.
Komponenten und / oder Sammlungen davon.
In der Beschreibung dieser Anwendung bedeutet ,./*, sofern nicht anders angegeben, dass die einander zugeordneten Objekte eine „oder,, -Beziehung haben, zum Beispiel kann A/B A oder B darstellen; „und / oder,, ist in dieser Anwendung
Es handelt sich lediglich um eine Assoziationsbeziehung, die zugehörige Objekte 29 beschreibt, was darauf hinweist, dass es drei Beziehungen geben kann, zum
Beispiel A und / oder B. die Folgendes darstellen können: A allein existiert, sowohl A als auch B existieren und B existiert allein, wobei A und B Singular oder Plural sein können.
Und in der Beschreibung der vorliegenden Anmeldung bedeutet „Vielzahl“ zwei oder mehr als zwei, sofern nicht anders angegeben. „Mindestens einer der folgenden“ oder ähnliche Ausdrücke beziehen sich auf jede Kombination dieser Elemente, einschließlich jeder Kombination einzelner Elemente oder mehrerer Elemente. Beispielsweise kann mindestens eines von a, b oder c
Folgendes darstellen: a, b, c, ab, ac, bc oder abc, wobei a, b, c einfach oder mehrfach sein können.
Wie ın dieser Spezifikation und den beigefügten Ansprüchen verwendet, kann der Begriff „wenn“ je nach Kontext als „wann“ oder „einmalig“ oder „als
Reaktion auf die Bestimmung“ oder „als Reaktion auf die Erkennung“ ausgelegt werden. In ähnlicher Weise kann der Ausdruck „wenn festgestellt“ oder „wenn erkannt [beschriebener Zustand oder Ereignis]“ je nach Kontext so ausgelegt werden, dass er „einmal bestimmt“ oder „als Reaktion auf eine Bestimmung“ oder „einmal erkannt [beschrieben“ bedeutet Bedingung oder Ereignis] oder „als
Reaktion auf die Erkennung von [beschriebener Bedingung oder Ereignis]®.
Darüber hinaus werden in der Spezifikation dieser Anmeldung und der
Beschreibung der beigefügten Ansprüche die Begriffe „erster“, „zweiter“, „dritter“ usw, zur Unterscheidung ähnlicher Objekte verwendet und nicht unbedingt zur Beschreibung einer bestimmten Reihenfolge oder Reihenfolge. Es versteht sich, dass die so verwendeten Begriffe unter geeigneten Umständen austauschbar sind, so dass die hier beschriebenen Ausführungsformen in anderen als den hier dargestellten oder beschriebenen Reihenfolgen praktiziert werden können.
Verweise auf „eine Ausführungsform“ oder „einige
Ausführungsformen“ oder dergleichen, die in der Spezifikation der vorliegenden
Anmeldung beschrieben werden, bedeuten, dass ein bestimmtes Merkmal, eine 30 bestimmte Struktur oder ein bestimmtes Merkmal, das im Zusammenhang mit der
Ausführungsform beschrieben wird, in einer oder mehreren Ausführungsformen der vorliegenden Anmeldung enthalten ist. Somit beziehen sich die Ausdrücke „in einer Ausführungsform“, „in einigen Ausführungsformen““, „in anderen
Ausführungsformen“, „in einigen weiteren Ausführungsformen“ usw. an verschiedenen Stellen in dieser Spezifikation nicht unbedingt auf dieselbe
Ausführungsform, sondern bedeuten diese „eine oder mehrere, aber nicht alle
Ausführungsformen“‘, sofern nicht ausdrücklich anders angegeben.
Abschließend ist festzuhalten: Die obigen Ausführungsformen dienen lediglich der Veranschaulichung des technischen Schemas der vorliegenden
Anmeldung und schränken diese nicht ein; obwohl die Anwendung unter
Bezugnahme auf die vorstehenden Ausführungsformen ausführlich beschrieben wurde, sollte der Durchschnittsfachmann Folgendes verstehen: Es kann weiterhin die in den vorstehenden Ausführungsformen beschriebenen technischen Lösungen ändern oder gleichwertige Ersetzungen für einige oder alle technischen Merkmale vornehmen; diese Änderungen oder Ersetzungen führen nicht dazu, dass der Kern der entsprechenden technischen Lösungen von den technischen Lösungen der verschiedenen Ausführungsformen abweicht der Anwendung. 31

Claims (10)

Patentschrift OO
1. Ein adaptives Verfahren mit mehreren Quell- und Zieldomänen ist dadurch gekennzeichnet, wie es Folgendes umfasst: Die Proben in mehreren Quell- und Zieldomänen werden jeweils in den dynamischen Merkmalsgenerator eingegeben, um die dynamischen Merkmale jeder Quelldomäne und jeder Zieldomäne zu erhalten. Der sogenannte dynamische Merkmalsgenerator enthält ein dynamisches Anpassungsmodul und ein dynamisches Faltungsmodul, das sogenannte dynamische Anpassungsmodul enthält einen statischen Block und einen dynamischen Restblock. Das dynamische Anpassungsmodul wird zum Extrahieren von Merkmalen auf niedriger Ebene aus Eingabeproben und das dynamische Faltungsmodul zum Extrahieren von Merkmalen auf hoher Ebene aus Eingabeproben verwendet. Bestimmen von Aufmerksamkeitsmerkmalen, die den dynamischen Merkmalen mit derselben Bezeichnung entsprechen Das Aufmerksamkeitsmerkmal wird zur Unterscheidung in mehrere Domänendiskriminatoren eingegeben, und der Gesamtverlust zwischen den jeweilige Quell- und Zieldomäne wird anhand der Ergebnisse aus den Diskriminatoren bestimmt. Die mehrere Domänendiskriminatoren umfassen einen ersten Domänendiskriminator, der jeder Zieldomäne entspricht, und einen zweiten Domänendiskriminator, der jeweils zwei Zieldomänen entspricht; Der erste Domänendiskriminator wird verwendet, um die Aufmerksamkeitsmerkmale von Proben in der entsprechenden Zieldomäne und Quelldomäne zu unterscheiden, und der zweite Domänendiskriminator wird zur Unterscheidung verwendet Aufmerksamkeitsmerkmale der Proben in den entsprechenden zwei Zieldomänen; Das iterative Training wird anhand dem Gesamtverlust durchgeführt und schliesslich ein dynamisches Zielmerkmal Generator aufbildet.
2. Verfahren nach Anspruch 1, wobei das Aufmerksamkeitsmerkmal zur Unterscheidung in mehrere Domänendiskriminatoren eingegeben wird und die Gesamtverlust.zwischen den jeweilige Quell- und Zieldomäne wird anhand der Ergebnisse aus den Diskriminatoren bestimmt. 1
Gemäß jedem der Aufmerksamkeitsmerkmale können jeweils die Folgendes A bestimmt werden: der Gesamtklassifizierungsverlustwert, der jeder der Quelldomänen entspricht, der erste Gesamtkontradiktorsverlustwert, der jedem ersten Domänendiskriminator entspricht, und der erste Gesamtkontradiktorsverlustwert, der entspricht zu Jedem zweiten Domänendiskriminator der zweiter Gesamtkontradiktorsverlustwert; Gemäß dem Gesamtwert des Klassifizierungsverlusts, dem ersten Gesamtwert des gegnerischen Verlusts und dem zweiten Gesamtwert des gegnerischen Verlusts wird ein Gesamtverlust zwischen den jeweiligen Quell-und Jeder der Zieldomänen bestimmt.
3. Verfahren nach Anspruch 1, wobei der statische Block verwendet wird, um statische Merkmale auf niedriger Ebene ın Eingabeproben zu extrahieren, und der dynamische Restblock verwendet wird, um dynamische Merkmale auf niedriger Ebene in Eingabeproben zu extrahieren, und der Block auf niedriger Ebene verwendet wird Die Summe der statischen Funktion und der dynamischen Funktion auf niedriger Ebene ist die Funktion auf niedriger Ebene.
4. Verfahren nach Anspruch 3, wobei das dynamische Faltungsmodul einen ersten Kernel-Generator, einen zweiten Kernel-Generator, ein Dimensionsreduktionsmodul, ein Dimensionserhöhungsmodul und ein Faltungsmodul umfasst. Der erste Kernelgenerator wird verwendet, um einen ersten Faltungskernel entsprechend einem Eingabemuster zu erzeugen. Der zweite Kernelgenerator wird verwendet, um einen zweiten Faltungskern gemäß den Eingabeproben zu erzeugen, und die Erweiterungsverhältnisse des ersten Faltungskerns und des zweiten Faltungskerns sind unterschiedlich. Das Dimensionsreduktionsmodul wird zur Dimensionsreduktionsoperation an Eingabeproben verwendet, um Ergebnisse nach der Dimensionsreduktion zu erhalten. Das Faltungsmodul wird verwendet, um ein erstes untergeordnetes Merkmal gemäß dem Ergebnis der Dimensionsreduktion und dem ersten Faltungskern zu 2 erhalten und ein zweites untergeordnetes Merkmal gemäß dem Ergebnis der A Dimensionsreduktiom und dem zweiten Faltungskern zu erhalten. Das Dimensionserhôhungsmodul wird verwendet, um eine Dimensionserhöhungsoperation an den ersten untergeordneten erweiterten Merkmalen und den zweiten untergeordneten erweiterten Merkmalen durchzuführen und die dimensional verbesserten ersten untergeordneten erweiterten Merkmale und die zweiten untergeordneten erweiterten Merkmale hinzuzufügen, um die eingegebenen erweiterten Merkmale zu erhalten der Probe.
5.Verfahren nach Anspruch 1, wobei die Aufmerksamkeitsmerkmale bestimmt, die den dynamischen Merkmalen mit derselben Bezeichnung entsprechen, einschließlich: Für jedes Probenpaar kann eine entsprechende Affinitätsmatrix entsprechend den jeweiligen dynamischen Merkmalen jeder Probe im Probenpaar generiert werden, und jedes Probenpaar enthält zwei Proben mit derselben Beschriftung Anhand dem dynamischen Merkmal, das der Aufmerksamkeitskarte und dem Probenpaar entspricht, koennen die Aufmerksamkeitsmerkmale bestimmt werden, das dem Probenpaar entspricht Anhand der Aufmerksamkeitskarte und dem dynamischen Merkmal, das dem Probenpaar entspricht, kann das Aufmerksamkeitsmerkmal bestimmt werden, das dem Probenpaar entspricht.
6. Verfahren nach Anspruch 5, wobei das Probenpaar umfasst: Zwei verschiedene Proben mit derselben Bezeichnung in derselben Quell- oder Zieldomäne oder zwei Proben mit derselben Bezeichnung in unterschiedlichen Domänen.
7. Verfahren nach einem der Ansprüche 1-6, wobei das iterative Training entsprechend dem Gesamtverlustwert durchgefiihrt wird, um einen Generator fiir dynamische Zielmerkmale zu generieren, umfasst: Wenn die Differenz zwischen dem Gesamtverlust der aktuellen Iteration minus dem Gesamtverlust der vorherigen Iteration kleiner oder gleich dem voreingestellten Wert ist, wird der dynamische Merkmalsgenerator, der der 3 aktuellen Iteration entspricht, als dynamischer Zielmerkmalsgenerator verwendet. TE
8. Ein adaptives Gerät mit mehreren Quell-und Zieldomänen, dadurch gekennzeichnet, dass es Folgendes umfasst: Das dynamisches Merkmalsgenerierungsmodul, Aufmerksamkeitsmodul, Bestimmungsmodul und Trainingsmodul: Das dynamische Merkmalsgenerierungsmodul wird dafür verwendet : Die Proben in mehreren Quell- und Zieldomänen werden jeweils in den dynamischen Merkmalsgenerator eingegeben, um die dynamischen Merkmale jeder Quelldomäne und jeder Zieldomäne zu erhalten. Der sogenannte dynamische Merkmalsgenerator enthält ein dynamisches Anpassungsmodul und ein dynamisches Faltungsmodul, das sogenannte dynamische Anpassungsmodul enthält einen statischen Block und einen dynamischen Restblock. Das dynamische Anpassungsmodul wird zum Extrahieren von Merkmalen auf niedriger Ebene aus Eingabeproben und das dynamische Faltungsmodul zum Extrahieren von Merkmalen auf hoher Ebene aus Eingabeproben verwendet. Das Aufmerksamkeitsmodul wird dafür verwendet : Bestimmen von Aufmerksamkeitsmerkmalen, die den dynamischen Merkmalen mit derselben Bezeichnung entsprechen Das Bestimmungsmodul wird dafür verwendet: Das Aufmerksamkeitsmerkmal wird zur Unterscheidung in mehrere Domänendiskriminatoren eingegeben, und der Gesamtverlust zwischen den jeweilige Quell- und Zieldomäne wird anhand der Ergebnisse aus den Diskriminatoren bestimmt. Die mehrere Domänendiskriminatoren umfassen einen ersten Domänendiskriminator, der jeder Zieldomäne entspricht, und einen zweiten Domänendiskriminator, der jeweils zwei Zieldomänen entspricht; Der erste Domänendiskriminator wird verwendet, um die Aufmerksamkeitsmerkmale von Proben in der entsprechenden Zieldomäne und Quelldomäne zu unterscheiden, und der zweite Domänendiskriminator wird zur Unterscheidung verwendet Aufmerksamkeitsmerkmale der Proben in den entsprechenden zwei Zieldomänen; Das Trainingsmodul wird dafür verwendet: Das iterative Training wird 4 anhand dem Gesamtverlust durchgeführt und schliesslich ein dynamisches A Zielmerkmal Generator aufbildet.
9. Ein elektronisches Gerit, dadurch gekennzeichnet, dass es Folgendes umfasst: Ein Speicher und ein Prozessor, wobei der Speicher zur Speicherung eines Computerprogramms dient; der Prozessor dazu dient, beim Aufruf des Computerprogramms das Verfahren nach einem der Ansprüche 1-7 auszuführen.
10. Das computerlesbare Speichermedium, auf dem ein Computerprogramm gespeichert ist, wobei bei Ausführung des Computerprogramms durch einen Prozessor das Verfahren nach einem der Ansprüche 1-7 implementiert wird. 5
LU504903A 2023-07-13 2023-08-14 Ein für mehrere Quell-und Zieldomänen geeignetes adaptives Verfahren und elektronisches Gerät LU504903B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310854431.3A CN116580255B (zh) 2023-07-13 2023-07-13 多源域多目标域自适应方法、装置与电子设备

Publications (1)

Publication Number Publication Date
LU504903B1 true LU504903B1 (de) 2024-02-19

Family

ID=87545663

Family Applications (1)

Application Number Title Priority Date Filing Date
LU504903A LU504903B1 (de) 2023-07-13 2023-08-14 Ein für mehrere Quell-und Zieldomänen geeignetes adaptives Verfahren und elektronisches Gerät

Country Status (2)

Country Link
CN (1) CN116580255B (de)
LU (1) LU504903B1 (de)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256561B (zh) * 2017-12-29 2020-06-16 中山大学 一种基于对抗学习的多源域适应迁移方法及***
CN109948648B (zh) * 2019-01-31 2023-04-07 中山大学 一种基于元对抗学习的多目标域适应迁移方法及***
US10839269B1 (en) * 2020-03-20 2020-11-17 King Abdulaziz University System for fast and accurate visual domain adaptation
CN113610219B (zh) * 2021-08-16 2024-05-14 中国石油大学(华东) 一种基于动态残差的多源域自适应方法

Also Published As

Publication number Publication date
CN116580255A (zh) 2023-08-11
CN116580255B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
DE102016014798A1 (de) Genaues Vorhersagen einer Etikettrelevanz bei einer Bildabfrage
DE202020101701U1 (de) Trainieren neuronaler Netze unter Verwendung von Datenvermehrungsstrategien
DE112017005651T5 (de) Vorrichtung zur Klassifizierung von Daten
DE202017107393U1 (de) Vorhersagen eines Suchmaschinen-Einordnungssignalwerts
EP0901658B1 (de) Verfahren zur optimierung eines fuzzy-regelsatzes durch einen rechner
DE112020004651T5 (de) Multi-tenant-etl-ressourcenaufteilung
DE202022002901U1 (de) Text-Bild-Layout Transformer (TILT)
DE112016007411T5 (de) Fuzzy-eingabe für autoencoder
LU504903B1 (de) Ein für mehrere Quell-und Zieldomänen geeignetes adaptives Verfahren und elektronisches Gerät
DE102021204550A1 (de) Verfahren zum Erzeugen wenigstens eines Datensatzes zum Trainieren eines Algorithmus maschinellen Lernens
WO2012017056A1 (de) Verfahren und vorrichtung zur automatischen verarbeitung von daten in einem zellen-format
DE102012025349A1 (de) Bestimmung eines Ähnlichkeitsmaßes und Verarbeitung von Dokumenten
DE202022102752U1 (de) Ein neuartiges System gestapelter paralleler Faltungsschichten mit einem Aufmerksamkeitsmodul zur Klassifizierung von Bildern diabetischer Fußgeschwüre und normaler Haut
DE112018007536T5 (de) Konvolutionales neuronales Netz
DE19963123B4 (de) Analytisches Informationssystem
EP1264253A1 (de) Verfahren und anordnung zur modellierung eines systems
DE19906868C1 (de) Verfahren und Vorrichtung zum Berechnen einer diskreten orthogonalen Transformation wie FFT oder IFFT
EP1124187A1 (de) Vorrichtung, Speichermedium und Verfahren zum Ermitteln von Objekten mit grosser Ähnlichkeit zu einem vorgegebenen Objekt
WO2006037747A2 (de) Verfahren zur gliederung eines auf mindestens einem speichermedium gespeicherten datenbestandes
WO2023094325A1 (de) Computer-implementiertes verfahren zum betrieb eines technischen geräts mit einem modell
WO2020229407A1 (de) Klassifikatorsystem und verfahren zum verteilten erzeugen von klassifikationsmodellen
DE102020125937A1 (de) Verfahren und System zur Datenverarbeitung
EP4372618A1 (de) Vorrichtung und verfahren zum klassifizieren von objekten mittels maschinellem lernen
DE102021205897A1 (de) Untersuchen eines Trainingsdatensatzes
DE102022117429A1 (de) Verfahren zum Speichern von Daten in einem verteilten System mit einer Vielzahl von Recheneinheiten, computerlesbares Medium, und System

Legal Events

Date Code Title Description
FG Patent granted

Effective date: 20240219