DE112020003826T5

DE112020003826T5 - Ensemble gruppierter zweistufiger aufmerksamkeitsbasierter rekurenter neuronaler Netze zur multivariaten Zeitreihenvorhersage

Info

Publication number: DE112020003826T5
Application number: DE112020003826.2T
Authority: DE
Inventors: Dongjin Song; Yuncong Chen; Haifeng Chen
Original assignee: NEC Laboratories America Inc
Current assignee: NEC Laboratories America Inc
Priority date: 2019-08-08
Filing date: 2020-08-05
Publication date: 2022-04-28
Also published as: JP2022542872A; WO2021026219A1; US11699065B2; JP7305027B2; US20210042605A1

Abstract

Es wird ein Verfahren zur multivariaten Zeitreihenvorhersage geschaffen. Jede Zeitreihe aus einem Satz mehrerer Ansteuerzeitreihen und einer Zielzeitreihe werden in eine Rohkomponente, eine Formkomponente und eine Trendkomponente zerlegt (320). Für jede zerlegte Komponente wird eine Ansteuerzeitreihe, die für sie relevant ist, aus dem Satz gewählt und werden verborgene Merkmale der gewählten Ansteuerzeitreihe durch Anwenden (330) des Satzes auf einen aufmerksamkeitsbasierten Eingangscodierer eines Ensembles gruppierter zweistufiger aufmerksamkeitsbasierter rekurrenter neuronaler Netze (EC-DARNNS) erhalten. Die verborgenen Merkmale werden in einem verborgenen Raum unter Verwendung eines aufmerksamkeitsbasierten zeitlichen Decoders der EC-DARNNS automatisch (330) gruppiert. Jedes gruppierte zweistufige aufmerksamkeitsbasierte RNN im Ensemble ist einer jeweiligen zerlegten Komponente fest zugeordnet und wird darauf angewendet. Ein jeweiliger Werts eines oder mehrerer künftiger Zeitschritte für die Zielreihe wird auf der Grundlage jeweiliger Vorhersageausgaben für jede zerlegte Komponente durch die EC-DARNNS vorhergesagt (330).

Description

INFORMATIONEN VERWANDTER ANMELDUNGEN
Diese Anmeldung beansprucht die Priorität der nicht vorläufigen US-Patentanmeldung mit der Ifd. Nr. 16/984,359 , eingereicht am 4. August 2020, und der vorläufigen US-Patentanmeldung mit der Ifd. Nr. 62/884,338 , eingereicht am 8. August 2019, die hier beide durch Bezugnahme vollständig mit aufgenommen sind.
HINTERGRUND
Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf Datenverarbeitung und insbesondere auf ein Ensemble gruppierter zweistufiger aufmerksamkeitsbasierter rekurrenter neuronaler Netzen (RNNs) zur multivariaten Zeitreihenvorhersage.
Beschreibung des verwandten Gebiets
Viele reale Anwendungen wie z. B. Finanzmarktvorhersage, medizinische Diagnostik, Wetterprognose, Kommunikationsnetzverkehrsprognose, vorausschauende Wartung und weitere können von einer multivariaten Zeitreihenvorhersage profitieren.
Es wurden einige Typen von Studien für das multivariate Zeitreihenvorhersageproblem durchgeführt. Drei Schlüsseltypen enthalten die Folgenden: (1) Lineare Techniken wie z. B. ein autoregressives Gleitdurchschnittsmodell (ARMA-Modell) oder ein autoregressives integriertes Gleitdurchschnittsmodell (ARIMA-Modell); (2) Wahrscheinlichkeitsmodelle wie z. B. Gaußprozesse (GPs) und (3) tiefgehende neuronale Netze wie z. B. lange Kurzzeitgedächtnisse (LSTMs).
Allerdings sind diese Verfahren aus folgenden Gründen eingeschränkt: (1) Lineare Verfahren können die zugrundeliegenden nichtlinearen Beziehungen nicht erfassen; (2) Wahrscheinlichkeitsmodelle setzen eine vordefinierte nichtlineare Form ein und müssen nicht flexibel sein, um komplexe Beziehungen zu erfassen; und (3) bestehende tiefgehende neuronale Netze, z. B. LSTM, berücksichtigen die strukturellen Informationen von verborgenen Merkmalen (Eingangsdaten) nicht und können nicht mehrere Typen historischer Daten verarbeiten.
ZUSAMMENFASSUNG
Gemäß Aspekten der vorliegenden Erfindung wird ein computerimplementiertes Verfahren zur multivariaten Zeitreihenvorhersage geschaffen. Das Verfahren umfasst ein Zerlegen jeder Zeitreihe aus einem Satz mehrerer Ansteuerzeitreihen und einer Zielzeitreihe in eine Rohkomponente, eine Formkomponente und eine Trendkomponente. Das Verfahren umfasst ferner für jede zerlegte Komponente ein Wählen einer Ansteuerzeitreihe, die für sie relevant ist, aus dem Satz und ein Erhalten verborgener Merkmale der gewählten Ansteuerzeitreihe durch Anwenden des Satzes auf einen aufmerksamkeitsbasierten Eingangscodierer eines Ensembles gruppierter zweistufiger aufmerksamkeitsbasierter rekurrenter neuronaler Netze (EC-DARNNS). Das Verfahren enthält auch ein automatisches Gruppieren durch einen Hardware-Prozessor der verborgenen Merkmale in einem verborgenen Raum unter Verwendung eines aufmerksamkeitsbasierten zeitlichen Decoders der EC-DARNNS. Jedes der gruppierten zweistufigen aufmerksamkeitsbasierten RNNs im Ensemble ist einer jeweiligen zerlegten Komponente fest zugeordnet und wird darauf angewendet. Das Verfahren umfasst zusätzlich ein Vorhersagen eines jeweiligen Werts eines oder mehrerer künftiger Zeitschritte für die Zielreihe auf der Grundlage jeweiliger Vorhersageausgaben für jede zerlegte Komponente durch die EC-DARNNS.
Gemäß weiteren Aspekten der vorliegenden Erfindung wird ein Computerprogrammprodukt zur multivariaten Zeitreihenvorhersage geschaffen. Das Computerprogrammprodukt enthält ein nichttransitorisches computerlesbares Speichermedium, das Programmbefehle enthält, die damit verkörpert sind. Die Programmbefehle sind durch einen Computer ausführbar, um zu verursachen, dass der Computer ein Verfahren durchführt. Das Verfahren umfasst ein Zerlegen jeder Zeitreihe aus einem Satz mehrerer Ansteuerzeitreihen und einer Zielzeitreihe in eine Rohkomponente, eine Formkomponente und eine Trendkomponente. Das Verfahren umfasst ferner für jede zerlegte Komponente ein Wählen einer Ansteuerzeitreihe, die für sie relevant ist, aus dem Satz und ein Erhalten verborgener Merkmale der gewählten Ansteuerzeitreihe durch Anwenden des Satzes auf einen aufmerksamkeitsbasierten Eingangscodierer eines Ensembles gruppierter zweistufiger aufmerksamkeitsbasierter rekurrenter neuronaler Netze (EC-DARNNS). Das Verfahren umfasst außerdem ein automatisches Gruppieren der verborgenen Merkmale in einem verborgenen Raum unter Verwendung eines aufmerksamkeitsbasierten zeitlichen Decoders der EC-DARNNS. Jedes der gruppierten zweistufigen aufmerksamkeitsbasierten RNNs im Ensemble ist einer jeweiligen zerlegten Komponente fest zugeordnet und wird darauf angewendet. Das Verfahren umfasst zusätzlich ein Vorhersagen eines jeweiligen Werts eines oder mehrerer künftiger Zeitschritte für die Zielreihe auf der Grundlage jeweiliger Vorhersageausgaben für jede zerlegte Komponente durch die EC-DARNNS.
Gemäß noch weiteren Aspekten der vorliegenden Erfindung wird ein Computerverarbeitungssystem zur multivariaten Zeitreihenvorhersage geschaffen. Das Computerverarbeitungssystem enthält einen Arbeitsspeicher, um Programmcode zu speichern. Das Computerverarbeitungssystem enthält ferner einen Prozessor, der an den Arbeitsspeicher funktionstechnisch gekoppelt ist, um den Programmcode auszuführen, um jede Zeitreihe aus einem Satz mehrerer Ansteuerzeitreihen und einer Zielzeitreihe in eine Rohkomponente, eine Formkomponente und eine Trendkomponente zu zerlegen. Der Prozessor führt ferner den Programmcode aus, um für jede zerlegte Komponente eine Ansteuerzeitreihe, die für sie relevant ist, aus dem Satz zu wählen und verborgene Merkmale der gewählten Ansteuerzeitreihe durch Anwenden des Satzes auf einen aufmerksamkeitsbasierten Eingangscodierer eines Ensembles gruppierter zweistufiger aufmerksamkeitsbasierter rekurrenter neuronaler Netze (EC-DARNNS) zu erhalten. Der Prozessor führt den Programmcode außerdem aus, um die verborgenen Merkmale in einem verborgenen Raum unter Verwendung eines aufmerksamkeitsbasierten zeitlichen Decoders der EC-DARNNS automatisch zu gruppieren. Jedes der gruppierten zweistufigen aufmerksamkeitsbasierten RNNs im Ensemble ist einer jeweiligen zerlegten Komponente fest zugeordnet und wird darauf angewendet. Der Prozessor führt den Programmcode zusätzlich aus, um einen jeweiligen Wert eines oder mehrerer künftiger Zeitschritte für die Zielreihe auf der Grundlage jeweiliger Vorhersageausgaben für jede zerlegte Komponente durch die EC-DARNNS vorherzusagen.
Diese und weitere Merkmale und Vorteile werden aus der folgenden genauen Beschreibung ihrer veranschaulichenden Ausführungsformen, die in Verbindung mit den begleitenden Zeichnungen gelesen werden soll, offensichtlich.
Figurenliste
Die Offenbarung stellt Details in der folgenden Beschreibung von bevorzugten Ausführungsformen unter Bezugnahme auf die folgenden Figuren bereit; es zeigen:

1 ein Blockdiagramm, das eine beispielhafte Recheneinrichtung zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
2 ein Blockdiagramm, das ein beispielhaftes Verfahren zur multivariaten Zeitreihenvorhersage unter Verwendung eines Ensembles von gruppierten aufmerksamkeitsbasierten Doppelzustands-RNNS zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
3 ein Blockdiagramm, das ferner verschiedene Blöcke von 2 zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
4 ein Blockdiagramm, das eine beispielhafte Grundstruktur eines EC-DARNN-Modells zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
5 ein Blockdiagramm, das eine beispielhafte Grundstruktur eines Eingangsaufmerksamkeitsmechanismus eines gruppierten DARNN-Modells zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
6 ein Blockdiagramm, das eine beispielhafte Grundstruktur eines zeitlichen Aufmerksamkeitsmechanismus eines gruppierten DARNN-Modells zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
7 ein Ablaufdiagramm, das ein beispielhaftes Verfahren zur Verwendung eines gruppierten DARNN-Modells zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
8 ein Ablaufdiagramm, das ein beispielhaftes Verfahren zur Merkmalsregularisierung zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung; und
9 ein Blockdiagramm, das eine beispielhafte Rechenumgebung zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung.

GENAUE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
In Übereinstimmung mit Ausführungsformen der vorliegenden Erfindung werden Systeme und Verfahren zur multivariaten Zeitreihenvorhersage unter Verwendung eines Ensembles gruppierter zweistufiger aufmerksamkeitsbasierter rekurrenter neuronaler Netze (RNNS) geschaffen.
Insbesondere sagt die vorliegende Erfindung in Bezug auf eine veranschaulichende Ausführungsform ausgehend von den historischen Daten mehrerer Ansteuerzeitreihen sowie der Zielzeitreihe von Zeitschritt 1 bis T die künftigen Zielzeitreihenwerte von der Zeit T + 1 bis T + N vorher. Als ein nicht einschränkendes Beispiel kann die vorliegende Erfindung angewendet werden, um zur Energieeffizienz eine Innentemperaturprognose durchzuführen. In diesem Fall ist die Innentemperatur die Zielreihe und die Ansteuerreihe enthält die relative Luftfeuchtigkeit, Kohlenstoffdioxid in ppm, Regen oder nicht, Außentemperatur, usw.
Um dieses Problem zu adressieren, schlagen eine oder mehrere Ausführungsformen der vorliegenden Erfindung eine durchgehende tiefgehende Codierer/Decodierer-Grundstruktur, d. h. ein Ensemble gruppierter zweistufiger aufmerksamkeitsbasierter rekurrenter neuronaler Netze (EC-DARNNs) vor, um eine multivariate Zeitreihenvorhersage durchzuführen.
In einer Ausführungsform führt die vorliegende Erfindung eine multivariate Zeitreihenvorhersage durch wie folgt. Zunächst werden die Zeitreihenrohdaten in drei verschiedene Komponenten zerlegt: Roh; Form und Trend. Dann wird für jede Komponente ein Satz mehrerer Ansteuerreihen in aufmerksamkeitsbasierte Eingangscodierer eingegeben, um relevante Ansteuerreihen zu wählen und verborgene Merkmale zu erhalten. Dann werden die verborgenen Merkmale im verborgenen Raum auf der Grundlage eines Gaußschen Mischmodells automatisch gruppiert. Schließlich werden die gruppierten verborgenen Merkmale und die Zielreihe in Decodern eingesetzt und die Ausgabe der Decoder aus verschiedenen Komponenten werden verwendet, um die Werte künftiger Zeitschritte vorherzusagen.
1 ist ein Blockdiagramm, das eine beispielhafte Recheneinrichtung 100 zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung. Die Recheneinrichtung 100 ist konfiguriert, eine multivariate Zeitreihenvorhersage durchzuführen.
Die Recheneinrichtung 100 kann als beliebiger Typ einer Rechen- oder Computereinrichtung verkörpert sein, der die Funktionen, die hier beschrieben sind, durchführen kann, was ohne Einschränkung einen Computer, einen Server, einen rackbasierten Server, einen Blade-Server, eine Workstation, einen Desktopcomputer, einen Laptopcomputer, einen Notebook-Computer, einen Tabletcomputer, eine mobile Recheneinrichtung, eine tragbare Recheneinrichtung, ein Netzgerät, ein Internetgerät, ein verteiltes Rechensystem, ein prozessorbasiertes System und/oder eine Unterhaltungselektronikeinrichtung enthält. Zusätzlich oder alternativ kann die Recheneinrichtung 100 als ein oder mehrere Rechenschlitten, Arbeitsspeicherschlitten oder weitere Racks, Schlitten, die Rechengehäuse oder weitere Komponenten einer physisch zerteilten Recheneinrichtung verkörpert sein. Wie in 1 gezeigt ist, enthält die Recheneinrichtung 100 veranschaulichend den Prozessor 110, ein Eingabe/Ausgabe-Untersystem 120, einen Arbeitsspeicher 130, eine Datenspeichereinrichtung 140 und ein Kommunikationsuntersystem 150 und/oder weitere Komponenten und Einrichtungen, die üblicherweise in einem Server oder einer ähnlichen Recheneinrichtung vorgefunden werden. Selbstverständlich kann die Recheneinrichtung 100 in weiteren Ausführungsformen weitere oder zusätzliche Komponenten wie z. B. die, die üblicherweise in einem Server-Computer (z. B. verschiedene Eingabe/Ausgabe-Einrichtungen) vorgefunden werden, enthalten. Zusätzlich können in einigen Ausführungsformen eine oder mehrere der veranschaulichenden Komponenten in eine weitere Komponente aufgenommen werden oder auf andere Weise einen Abschnitt davon bilden. Zum Beispiel können der Arbeitsspeicher 130 oder Abschnitte davon in einigen Ausführungsformen in den Prozessor 110 aufgenommen werden.
Der Prozessor 110 kann als beliebiger Typ eines Prozessors verkörpert sein, der die Funktionen, die hier beschrieben sind, durchführen kann. Der Prozessor 110 kann als ein einzelner Prozessor, mehrere Prozessoren, eine oder mehrere Zentraleinheiten (eine oder mehrere CPUs), eine oder mehrere Grafikverarbeitungseinheiten (eine oder mehrere GPUs), ein oder mehrere Ein- oder Mehrkernprozessoren, ein oder mehrere digitale Signalprozessoren, ein oder mehrere Mikrocontroller oder ein oder mehrere sonstige Prozessoren oder eine oder mehrere Verarbeitungs-/Steuerschaltungen verkörpert sein.
Der Arbeitsspeicher 130 kann als beliebiger Typ eines flüchtigen oder nichtflüchtigen Speichers oder Datenspeichers verkörpert sein, der die Funktionen, die hier beschrieben sind, durchführen kann. Im Betrieb kann der Arbeitsspeicher 130 verschiedene Daten und Software, die während des Betriebs der Recheneinrichtung 100 verwendet werden, wie z. B. Betriebssysteme, Anwendungen, Programme, Bibliotheken und Treiber speichern. Der Arbeitsspeicher 130 ist mittels des Eingabe/Ausgabe-Untersystems 120, das als Schaltungsanordnung und/oder Komponenten verkörpert sein kann, um Eingabe/Ausgabe-Operationen mit dem Prozessor 110, dem Arbeitsspeicher 130 und weiteren Komponenten der Recheneinrichtung 100 zu erleichtern, kommunikationstechnisch an den Prozessor 110 gekoppelt. Zum Beispiel kann das Eingabe/Ausgabe-Untersystem 120 als Speichersteuereinheit-Hubs, Eingabe/Ausgabe-Steuer-Hubs, Plattformsteuereinheit-Hubs, eine integrierte Steuerschaltungsanordnung, Firmware-Einrichtungen, Kommunikationsverbindungen (z. B. Punkt-zu-Punkt-Verbindungen, Busverbindungen, Drähte, Kabel, Lichtleiter, Bahnen gedruckter Leiterplatten usw.) und/oder weitere Komponenten und Untersysteme, um die Eingabe/Ausgabe-Operationen zu erleichtern, verkörpert sein oder sie auf andere Weise enthalten. In einigen Ausführungsformen kann das Eingabe/Ausgabe-Untersystem 120 einen Abschnitt eines System-on-a-Chip (SOC) bilden und zusammen mit dem Prozessor 110, dem Arbeitsspeicher 130 und weiteren Komponenten der Recheneinrichtung 100 in einen einzelnen integrierten Schaltungschip aufgenommen sein.
Die Datenspeichereinrichtung 140 kann als beliebiger Typ einer Einrichtung oder von Einrichtungen verkörpert sein, die zur Kurzzeit- oder Langzeitspeicherung von Daten konfiguriert sind, wie z. B. Speichereinrichtungen und -schaltungen, Speicherkarten, Festplattenlaufwerke, Festkörperlaufwerke oder weitere Datenspeichereinrichtungen. Die Datenspeichereinrichtung 140 kann Programmcode 140A zur multivariaten Zeitreihenvorhersage speichern. Das Kommunikationsuntersystem 150 der Recheneinrichtung 100 kann als beliebige Netzschnittstellensteuereinheit oder weitere Kommunikationsschaltung, Einrichtung oder Sammlung davon verkörpert sein, die in der Lage sind, Kommunikationen zwischen der Recheneinrichtung 100 und weiteren entfernten Einrichtungen über ein Netz zu ermöglichen. Das Kommunikationsuntersystem 150 kann konfiguriert sein, eine oder mehrere Kommunikationstechnologie (z. B. drahtgebundene oder drahtlose Kommunikationen) und zugeordnete Protokolle (z. B. Ethernet, InfiniBand®, Bluetooth®, Wi-Fi®, WiMAX usw.) zu verwenden, um eine derartige Kommunikation zu bewirken.
Wie gezeigt ist, kann die Recheneinrichtung 100 auch eine oder mehrere Peripherieeinrichtungen 160 enthalten. Die Peripherieeinrichtungen 160 können eine beliebige Zahl zusätzlicher Eingabe/Ausgabe-Einrichtungen, Schnittstelleneinrichtungen und/oder weiterer Peripherieeinrichtungen enthalten. Zum Beispiel können in einigen Ausführungsformen die Peripherieeinrichtungen 160 eine Anzeigevorrichtung, einen Berührungsbildschirm, eine Grafikschaltungsanordnung, eine Tastatur, eine Maus, ein Lautsprechersystem, ein Mikrofon, eine Netzschnittstelle und/oder weitere Eingabe/Ausgabe-Einrichtungen, Schnittstelleneinrichtungen und/oder Peripherieeinrichtungen enthalten.
Selbstverständlich kann die Recheneinrichtung 100 auch weitere Elemente (die nicht gezeigt sind) enthalten, wie durch einen Fachmann leicht erwogen werden kann, sowie bestimmte Elemente auslassen. Zum Beispiel können verschiedene weitere Eingabeeinrichtungen und/oder Ausgabeeinrichtungen in der Recheneinrichtung 100 abhängig von ihrer bestimmten Implementierung enthalten sein, wie durch einen einschlägigen Fachmann leicht verstanden werden kann. Zum Beispiel können verschiedene Typen drahtloser und/oder drahtgebundener Eingabe- und/oder Ausgabeeinrichtungen verwendet werden. Außerdem können auch zusätzliche Prozessoren, Steuereinheiten, Arbeitsspeicher usw. in mehreren Konfigurationen verwendet werden. Diese und weitere Varianten des Verarbeitungssystems 100 werden durch einen einschlägigen Fachmann ausgehend von den Unterweisungen der vorliegenden Erfindung, die hier bereitgestellt sind, leicht erwogen.
Der Begriff „Hardware-Prozessoruntersystem“ oder „Hardware-Prozessor“, wie er hier eingesetzt wird, kann sich auf einen Prozessor, einen Arbeitsspeicher (der RAM, einen oder mehrere Zwischenspeicher, usw. enthält), Software (die Arbeitsspeichermanagementsoftware enthält) oder Kombinationen davon beziehen, die zusammenwirken, um eine oder mehrere bestimmte Aufgaben durchzuführen. In nützlichen Ausführungsformen kann das Hardware-Prozessoruntersystem ein oder mehrere Datenverarbeitungselemente (z. B. Logikschaltungen, Verarbeitungsschaltungen, Befehlsausführungseinrichtungen usw.) enthalten. Das eine oder die mehreren Datenverarbeitungselemente können in einer Zentraleinheit, einer Grafikverarbeitungseinheit und/oder einer getrennten Steuereinheit auf der Grundlage von Prozessor- oder Rechenelementen (z. B. Logikgates usw.) enthalten sein. Das Hardware-Prozessoruntersystem kann einen oder mehrere integrierte Arbeitsspeicher (z. B. Zwischenspeicher, fest zugeordnete Speicheranordnungen, Festwertspeicher usw.) enthalten. In einigen Ausführungsformen kann das Hardware-Prozessoruntersystem einen oder mehrere Arbeitsspeicher enthalten, die integriert oder nicht integriert sein können oder die zur Verwendung durch das Hardware-Prozessoruntersystem fest zugeordnet sein können (z. B. ROM, RAM, System zur grundlegenden Eingabe/Ausgabe (BIOS), usw.).
In einigen Ausführungsformen kann das Hardware-Prozessoruntersystem ein oder mehrere Software-Elemente enthalten und ausführen. Das eine oder die mehreren Software-Elemente können ein Betriebssystem und/oder eine oder mehrere Anwendungen und/oder bestimmten Code enthalten, um ein festgelegtes Ergebnis zu erreichen.
In weiteren Ausführungsformen kann das Hardware-Prozessoruntersystem eine fest zugeordnete spezialisierte Schaltungsanordnung enthalten, die eine oder mehrere elektronische Verarbeitungsfunktionen durchführt, um ein festgelegtes Ergebnis zu erreichen. Eine derartige Schaltungsanordnung kann eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs), FPGAs und/oder PLAs enthalten.
Diese und weitere Varianten eines Hardware-Prozessoruntersystems sind auch in Übereinstimmung mit Ausführungsformen der vorliegenden Erfindung vorgesehen.
2 ist ein Blockdiagramm, das ein beispielhaftes Verfahren 200 zur multivariaten Zeitreihenvorhersage unter Verwendung eines Ensembles von gruppierten aufmerksamkeitsbasierten Doppelzustands-RNNS zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung.
In Block 210 wird ein Satz von Sensoren z. B. in einem Kraftwerk, einem IT-System usw. installiert, um den Status des Kraftwerks, des IT-Systems usw. zu überwachen.
In Block 220 werden multivariate Zeitreihendaten (die historische Ansteuerreihen und Zielreihen enthalten) in diesen Systemen gesammelt.
In Block 230 werden die multivariaten Zeitreihendaten in das EC-DARNN-Modell eingegeben.
In Block 240 wird die Ausgabe des EC-DARNN-Modells als die vorausgesagten/prognostizierten Werte aus den Zeitschritten T + 1 bis T + N bereitgestellt. Die Ausgabe kann in Form jeweiliger Vorhersagen für jede von zerlegten Komponenten, die roh, Form und Trend enthalten, vorliegen oder kann eine einzelne Vorhersage sein, die aus den vorhergehenden mehreren Vorhersagen gebildet ist.
In Block 250 wird in Reaktion auf die Suchergebnisse eine Aktion durchgeführt.
Beispielhafte Aktionen können z. B. ein Erkennen von Anomalien in Computerverarbeitungssystemen und ein Steuern des Systems, in dem eine Anomalie detektiert wird, enthalten, sind jedoch nicht darauf beschränkt. Zum Beispiel kann eine Abfrage in Form von Zeitreihendaten von einem Hardware-Sensor oder einem Sensornetz (z. B. Gitter) als anomales Verhalten (gefährliche oder auf andere Weise zu hohe Arbeitsgeschwindigkeit (z. B. Motor, Getriebeverbindung), gefährliche oder auf andere Weise übermäßige Arbeitswärme (z. B. Motor, Getriebeverbindung), gefährliche oder auf andere Weise außerhalb einer Toleranz liegende Ausrichtung (z. B. Motor, Getriebeverbindung usw.)) unter Verwendung einer Textnachricht als ein Etikett bezeichnet werden. In einer Verarbeitungs-Pipeline kann eine ursprüngliche Eingangszeitreihe in mehreren Textnachrichten verarbeitet und dann rekombiniert werden, um eine Untermenge der Textnachrichten für eine stärker fokussierte resultierende Ausgangszeitreihe in Bezug auf ein gegebenes Thema (z. B. ein Anomalietyp) aufzunehmen. Entsprechend kann auf der Grundlage der Implementierung eine Einrichtung ausgeschaltet werden, kann ihre Arbeitsgeschwindigkeit verringert werden, kann eine (z. B. hardwarebasierte) Ausrichtungsprozedur durchgeführt werden usw.
Eine weitere beispielhafte Aktion kann eine Betriebsparameterverfolgung sein, wobei ein Verlauf der Änderung der Parameter im Zeitablauf protokolliert werden kann, weil er verwendet wird, um weitere Funktionen wie z. B. Hardware-Maschinensteuerfunktionen durchzuführen, die ein Ein- oder Ausschalten, ein Verlangsamen, ein Beschleunigen, ein Anpassen von Positionen usw. aufgrund der Detektion eines gegebenen Betriebszustands, der einer gegebenen Ausgangszeitreihe und/oder einem gegebenen Textkommentar in Bezug auf historische Daten gleichgesetzt wird, umfassen.
Beispielhafte Umgebungen, in denen die vorliegende Erfindung eingesetzt werden kann, enthalten Kraftwerke, Informationstechnologiesysteme, Fertigungsanlagen usw., sind jedoch nicht darauf beschränkt. Diese und weitere Umgebungen werden durch einen einschlägigen Fachmann ausgehend von den Unterweisungen der vorliegenden Erfindung, die hier bereitgestellt ist, leicht erwogen.
3 ist ein Blockdiagramm, das ferner die Blöcke 230 und 240 von 2 zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung.
In Block 310 werden die multivariaten Zeitreihendaten in verschiedenen Zeitschritten eingegeben.
In Block 320 wird die Zeitreihe in verschiedene Typen, z. B. roh, Form und Trend, zerlegt. Der Rohtyp enthält das ursprüngliche Zeitreihensegment. Der Formtyp enthält das ursprüngliche Zeitreihensegment minus die Werte jeder Zeitreihe in Zeitschritt T. Der Trendtyp enthält die Wertdifferenz von zwei aufeinanderfolgenden Zeitschritten.
In Block 330 werden verschiedene Typen von Zeitreihendaten in ein EC-DARNN eingespeist, um Vorhersageergebnisse zu erhalten.
4 ist ein Blockdiagramm, das eine beispielhafte Grundstruktur 400 eines EC-DARNN-Modells zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung.
Die Grundstruktur 400 enthält eine Eingabe 410, aus der verschiedene Typen einer Eingangszeitreihe, die Skala 411, Form 422 und Trend 413 enthält, erhalten werden.
Ein gruppiertes DARNN 1 421 verarbeitet die Skaleneingangszeitreihe 411, um die verborgene Repräsentation (die Merkmale) dieses Typs zu lernen, um eine erste Vorhersage 431 zu erzeugen.
Ein gruppiertes DARNN 2 422 verarbeitet die Formeingangszeitreihe 412, um die verborgene Repräsentation (die Merkmale) dieses Typs zu lernen, um eine zweite Vorhersage 432 zu erzeugen.
Ein gruppiertes DARNN 3 423 verarbeitet die Trendeingangszeitreihe 413, um die verborgene Repräsentation (die Merkmale) dieses Typs zu lernen, um eine dritte Vorhersage 433 zu erzeugen.
Aus der ersten Vorhersage 431, der zweiten Vorhersage 432 und der dritten Vorhersage 443 wird eine endgültige Vorhersage 440 auf der Grundlage eines Aufmerksamkeitsmechanismus, der die wichtigen Faktoren adaptiv wählen kann, erzeugt.
5 ist ein Blockdiagramm, das eine beispielhafte Grundstruktur 500 eines Eingangsaufmerksamkeitsmechanismus eines gruppierten DARNN-Modells zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung.
Die Grundstruktur 500 umfasst eine Ansteuerreihe 510 einer Länge T, eine Aufmerksamkeitseingangsschicht 520, eine Softmax-Schicht 530 und eine neue Eingabe 540 zur Zeit t.
6 ist ein Blockdiagramm, das eine beispielhafte Grundstruktur 600 eines zeitlichen Aufmerksamkeitsmechanismus eines gruppierten DARNN-Modells zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung.
Die Grundstruktur 600 umfasst einen Codierer 610, der aus einem Satz LSTMs 611 gebildet ist, eine zeitliche Aufmerksamkeitsschicht 620, eine Softmax-Schicht 630 und einen Decoder 640, der aus einem weiteren Satz LSTMs 641 gebildet ist.
7 ist ein Ablaufdiagramm, das ein beispielhaftes Verfahren 700 zur Verwendung eines gruppierten DARNN-Modells zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung.
In Block 710 wird die Ansteuerzeitreihe eines Typs (z. B. Skala, Form oder Trend) in das gruppierte DARNN eingegeben.
In Block 720 wird die Eingabe durch die Aufmerksamkeitseingangsschicht 520 codiert, um verborgene Repräsentationen/Merkmale zu erhalten, die auf der Grundlage der relevanten Zeitschritte erhalten werden.
In Block 730 werden die verborgenen Repräsentationen/Merkmale durch einen Verlust Gaußscher Mischmodelle (GMM-Verlust) regularisiert.
In Block 740 werden die verborgenen Merkmale und die Zielreihen desselben Typs (als die Eingangsansteuerreihe) in der zeitlichen Aufmerksamkeitsschicht 620 des Decoders 640 verwendet, um eine Vorhersage auf der Grundlage der relevanten verborgenen zeitlichen Merkmale durchzuführen.
8 ist ein Ablaufdiagramm, das ein beispielhaftes Verfahren 800 zur Merkmalsregularisierung zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung.
In Block 810 wird ausgehend von einem Satz verborgener Merkmale die Anzahl von Clustern vordefiniert.
In Block 820 wird ein GMM auf die verborgenen Merkmale angewendet und ein GMM-Verlust als ein Regularisierungsausdruck verwendet, um die Vorhersage zu regularisieren.
9 ist ein Blockdiagramm, das eine beispielhafte Rechenumgebung 900 zeigt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung.
Die Umgebung 900 enthält einen Server 910, mehrere Client-Einrichtungen (die gemeinsam durch das Figurenbezugszeichen 920 bezeichnet werden), ein gesteuertes System A 941 und ein gesteuertes System B 942.
Eine Kommunikation zwischen den Einheiten einer Umgebung 700 kann über ein oder mehrere Netze 930 durchgeführt werden. Zur Veranschaulichung ist ein Drahtlosnetz 930 gezeigt. In weiteren Ausführungsformen können ein drahtgebundenes, ein drahtloses und/oder eine Kombination davon verwendet werden, um die Kommunikation zwischen den Einheiten zu erleichtern.
Der Server 910 empfängt Zeitreihendaten von Client-Einrichtungen 920. Der Server 910 kann eines der Systeme 941 und/oder 942 auf der Grundlage einer Vorhersage, die dadurch erzeugt wird, steuern. In einer Ausführungsform können die Zeitreihendaten auf die gesteuerten Systeme 941 und/oder 942 bezogene Daten wie z. B. jedoch nicht eingeschränkt auf Sensordaten sein.
Einige der vielen begleitenden Vorteile eines EC-DARNNs über vorhergehenden Arbeiten enthalten Folgendes, sind jedoch nicht darauf beschränkt:

(1) Die vorhergehenden Zeitreihenvorhersagetechniken auf der Grundlage tiefgehender neuronaler Netze berücksichtigen nicht ausdrücklich die strukturellen Informationen von verborgenen Merkmalen (Eingangsdaten), während EC-DARNNs dieser Problematik durch Verwenden eines Gaußschen Mischmodells über die verborgenen Merkmale begegnen.
(2) Herkömmliche Zeitreihenvorhersagetechniken auf der Grundlage tiefgehender neuronaler Netze können nicht mehrere Typen historischer Zeitreihendaten verarbeiten, während EC-DARNNs diese Problematik mittels des Ensembles mehrerer grundlegender gruppierter DARNNs mit einer einheitlichen Aufgabe adressieren.

EC-DARNNs sind das erste Modell, das die strukturellen Informationen von verborgenen Merkmalen (Eingangsdaten) berücksichtigt und mehrere Typen historischer Zeitreihendaten verwendet, um Zeitreihenvorhersagen vorzunehmen. Diese und weitere begleitende Vorteile werden durch einen einschlägigen Fachmann ausgehend von den Unterweisungen der vorliegenden Erfindung, die hier bereitgestellt ist, leicht erwogen.
Hier beschriebene Ausführungsformen können vollständig aus Hardware, vollständig aus Software oder sowohl aus Hardware- als auch aus Software-Elementen bestehen. In einer bevorzugten Ausführungsform ist die vorliegende Erfindung in Software implementiert, was Firmware, residente Software, Mikrocode usw. enthält, jedoch nicht darauf beschränkt ist.
Ausführungsformen können ein Computerprogrammprodukt enthalten, das von einem computernutzbaren oder einem computerlesbaren Medium zugänglich ist und Programmcode zur Verwendung durch oder in Verbindung mit einem Computer oder einem beliebigen Befehlsausführungssystem bereitstellt. Ein computernutzbares oder ein computerlesbares Medium kann eine Vorrichtung enthalten, die das Programm zur Verwendung durch oder in Verbindung mit dem Befehlsausführungssystem, der Befehlsausführungsvorrichtung oder der Befehlsausführungseinrichtung speichert, kommuniziert, verbreitet oder transportiert. Das Medium kann ein magnetisches, ein optisches, ein elektronisches, ein elektromagnetisches, ein Infrarot- oder ein Halbleitersystem (oder eine entsprechende Vorrichtung oder Einrichtung) oder ein Verbreitungsmedium sein. Das Medium kann ein computerlesbares Speichermedium wie z. B. einen Halbleiter- oder Festkörperarbeitsspeicher, ein Magnetband, eine abnehmbare Computer-Diskette, einen Schreib-/LeseSpeicher (RAM), einen Festwertspeicher (ROM), einen starren magnetischen Datenträger und eine optische Platte usw. enthalten.
Jedes Computerprogramm kann in einem maschinenlesbaren Speichermedium oder einer maschinenlesbaren Speichereinrichtung (z. B. ein Programmarbeitsspeicher oder ein magnetischer Datenträger), das bzw. die durch einen allgemeinen programmierbaren Computer oder einen programmierbaren Computer für einen speziellen Zweck lesbar ist, materiell gespeichert sein, um, wenn das Speichermedium oder die Speichereinrichtung durch den Computer gelesen wird, den Betrieb eines Computers zu konfigurieren und zu steuern, die Prozeduren durchzuführen, die hier beschrieben sind. Das Erfindungssystem kann auch als in einem computerlesbaren Speichermedium verkörpert betrachtet werden, das mit einem Computerprogramm konfiguriert ist, wobei das derart konfigurierte Speichermedium verursacht, dass ein Computer in einer bestimmten und vordefinierten Weise arbeitet, um die Funktionen, die hier beschrieben sind, durchzuführen.
Ein Datenverarbeitungssystem, das zum Speichern und/oder Ausführen von Programmcode geeignet ist, kann mindestens einen Prozessor enthalten, der über einen Systembus an Speicherelemente direkt oder indirekt gekoppelt ist. Die Speicherelemente können lokalen Arbeitsspeicher, der während einer tatsächlichen Ausführung des Programmcodes eingesetzt wird, Bulk-Speicher und Zwischenspeicher, die eine vorläufige Speicherung mindestens eines Teils eines Programmcodes bereitstellen, um die Anzahl von Codeabrufen aus einem Bulk-Speicher während der Ausführung zu verringern, enthalten. Eingabe/Ausgabe- oder I/O-Einrichtungen (die Tastaturen, Anzeigevorrichtungen, Zeigeeinrichtungen usw. enthalten, jedoch nicht darauf beschränkt sind), können entweder direkt oder über dazwischenliegende Eingabe/Ausgabe-Steuereinheiten an das System gekoppelt sein.
Auch Netzadapter können an das System gekoppelt werden, um zu ermöglichen, dass das Datenverarbeitungssystem über dazwischenliegende private oder öffentliche Netze an weitere Datenverarbeitungssysteme oder entfernte Drucker oder Speichereinrichtungen gekoppelt wird. Modems, ein Kabelmodem und Ethernet-Karten sind nur wenige der gegenwärtig verfügbaren Typen von Netzadaptern.
Eine Bezugnahme in der Spezifikation auf „eine bestimmte Ausführungsform“ oder „eine Ausführungsform“ der vorliegenden Erfindung sowie weitere Varianten davon bedeutet, dass ein bestimmtes Merkmal, eine bestimmte Struktur, eine bestimmte Eigenschaft, usw., die in Verbindung mit der Ausführungsform beschrieben ist, in mindestens einer Ausführungsform der vorliegenden Erfindung enthalten ist. Somit nehmen die Erscheinungsformen der Wortverbindung „in einer bestimmten Ausführungsform“ oder „in einer Ausführungsform“ sowie weitere Varianten, die an verschiedenen Orten im Verlauf der Spezifikation erscheinen, nicht notwendigerweise alle auf dieselbe Ausführungsform Bezug. Allerdings versteht sich, dass Merkmale einer oder mehrerer Ausführungsformen ausgehend von den Unterweisungen der vorliegenden Erfindung, die hier bereitgestellt ist, kombiniert werden können.
Es versteht sich, dass beabsichtigt ist, dass die Verwendung eines der folgenden „/“, „und/oder“ und „mindestens eines von“ z. B. in den Fällen von „A/B“, „A und/oder B“ und „mindestens eines von A und B“ die Auswahl lediglich der ersten gelisteten Option (A) oder die Auswahl lediglich der zweiten gelisteten Option (B) oder die Auswahl beider Optionen (A und B) umfasst. Als ein weiteres Beispiel ist in den Fällen von „A, B und/oder C“ und „mindestens eines von A, B und C“ beabsichtigt, dass eine derartige Wortverbindung die Auswahl lediglich der ersten gelisteten Option (A) oder die Auswahl lediglich der zweiten gelisteten Option (B) oder die Auswahl lediglich der dritten gelisteten Option (C) oder die Auswahl lediglich der ersten und der zweiten gelisteten Option (A und B) oder die Auswahl lediglich der ersten und der dritten gelisteten Option (A und C) oder die Auswahl lediglich der zweiten und der dritten gelisteten Option (B und C) oder die Auswahl aller drei Optionen (A und B und C) umfasst. Dies kann für alle gelisteten Elemente erweitert werden.
Das Vorhergehende soll in jeder Hinsicht veranschaulichend und beispielhaft, jedoch nicht einschränkend verstanden werden und der Umfang der Erfindung, die hier offenbart ist, soll nicht aus der genauen Beschreibung bestimmt werden, sondern vielmehr aus den Ansprüchen, die gemäß dem gesamten Umfang, der durch die Patentgesetzt erlaubt ist, interpretiert werden. Es versteht sich, dass die Ausführungsformen, die hier gezeigt und beschrieben sind, lediglich für die vorliegende Erfindung veranschaulichend sind und dass Fachleute verschiedene Änderungen implementieren können, ohne vom Umfang und Geist der Erfindung abzuweichen. Fachleute können verschiedene weitere Merkmalskombinationen implementieren, ohne vom Umfang und Geist der Erfindung abzuweichen. Nachdem somit Aspekte der Erfindung mit den Details und der Ausführlichkeit, die durch die Patentgesetzt erforderlich sind, beschrieben worden sind, ist in den beigefügten Ansprüchen dargelegt, was beansprucht und durch das Patent zu schützen gesucht wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 16/984359 [0001]
US 62/884338 [0001]

Claims

Computerimplementiertes Verfahren zur multivariaten Zeitreihenvorhersage, das Folgendes umfasst: Zerlegen (320) jeder Zeitreihe aus einem Satz mehrerer Ansteuerzeitreihen und einer Zielzeitreihe in eine Rohkomponente, eine Formkomponente und eine Trendkomponente; für jede zerlegte Komponente Wählen einer Ansteuerzeitreihe, die für sie relevant ist, aus dem Satz und Erhalten verborgener Merkmale der gewählten Ansteuerzeitreihe durch Anwenden (330) des Satzes auf einen aufmerksamkeitsbasierten Eingangscodierer eines Ensembles gruppierter zweistufiger aufmerksamkeitsbasierter rekurrenter neuronaler Netze (EC-DARNNS); automatisches Gruppieren (330) durch einen Hardware-Prozessor der verborgenen Merkmale in einem verborgenen Raum unter Verwendung eines aufmerksamkeitsbasierten zeitlichen Decoders der EC-DARNNS, wobei jedes gruppierte zweistufige aufmerksamkeitsbasierte RNN im Ensemble einer jeweiligen zerlegten Komponente fest zugeordnet ist und darauf angewendet wird; und Vorhersagen (330) eines jeweiligen Werts eines oder mehrerer künftiger Zeitschritte für die Zielreihe auf der Grundlage jeweiliger Vorhersageausgaben für jede zerlegte Komponente durch die EC-DARNNS.
Computerimplementiertes Verfahren nach Anspruch 1, wobei der automatische Gruppierungsschritt die verborgenen Merkmale im verborgenen Raum auf der Grundlage eines Gaußschen Mischmodells (GMM) automatisch gruppiert.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Gaußsche Mischmodell zur Regularisierung verborgener Merkmale verwendet wird.
Computerimplementiertes Verfahren nach Anspruch 3, wobei die verborgenen Merkmale in Bezug auf einen GMM-Verlust, der als Regularisierungsausdruck implementiert ist, regularisiert werden.
Computerimplementiertes Verfahren nach Anspruch 1, wobei der Satz mehrerer Ansteuerzeitreihen historische Daten repräsentiert.
Computerimplementiertes Verfahren nach Anspruch 1, wobei der aufmerksamkeitsbasierte Eingangscodierer mehrere lange Kurzzeitgedächtnisse (LTSMs) umfasst.
Computerimplementiertes Verfahren nach Anspruch 6, wobei der aufmerksamkeitsbasierte Eingangscodierer ferner eine oder mehrere Aufmerksamkeitseingangsschichten umfasst, die von einer oder mehreren Softmax-Schichten gefolgt werden.
Computerimplementiertes Verfahren nach Anspruch 7, wobei die mehreren LSTMs der einen oder den mehreren Aufmerksamkeitseingangsschichten vorausgehen.
Computerimplementiertes Verfahren nach Anspruch 1, wobei der aufmerksamkeitsbasierte zeitliche Decoder mehrere lange Kurzzeitgedächtnisse (LTSMs) umfasst.
Computerimplementiertes Verfahren nach Anspruch 9, wobei der aufmerksamkeitsbasierte zeitliche Decoder ferner eine oder mehrere zeitliche Aufmerksamkeitsschichten umfasst, die von einer oder mehreren Softmax-Schichten gefolgt werden.
Computerimplementiertes Verfahren nach Anspruch 10, wobei die mehreren LSTMs der einen oder den mehreren zeitlichen Aufmerksamkeitsschichten vorausgehen.
Computerimplementiertes Verfahren nach Anspruch 1, wobei die Zielzeitreihe Zeitreihendaten mindestens eines Hardware-Sensors zur Anomaliedetektion eines Hardware-Systems umfasst.
Computerimplementiertes Verfahren nach Anspruch 12, wobei das Hardware-System in Reaktion auf den jeweiligen Wert des einen oder der mehreren künftigen Zeitschritte gesteuert wird.
Computerprogrammprodukt zur multivariaten Zeitreihenvorhersage, wobei das Computerprogrammprodukt ein nichttransitorisches computerlesbares Speichermedium umfasst, mit dem Programmbefehle verkörpert sind, wobei die Programmbefehle durch einen Computer ausführbar sind, um zu verursachen, dass der Computer ein Verfahren durchführt, das Folgendes umfasst: Zerlegen (320) jeder Zeitreihe aus einem Satz mehrerer Ansteuerzeitreihen und einer Zielzeitreihe in eine Rohkomponente, eine Formkomponente und eine Trendkomponente; für jede zerlegte Komponente Wählen einer Ansteuerzeitreihe, die für sie relevant ist, aus dem Satz und Erhalten verborgener Merkmale der gewählten Ansteuerzeitreihe durch Anwenden (330) des Satzes auf einen aufmerksamkeitsbasierten Eingangscodierer eines Ensembles gruppierter zweistufiger aufmerksamkeitsbasierter rekurrenter neuronaler Netze (EC-DARNNS); automatisches Gruppieren (330) der verborgenen Merkmale in einem verborgenen Raum unter Verwendung eines aufmerksamkeitsbasierten zeitlichen Decoders der EC-DARNNS, wobei jedes gruppierte zweistufige aufmerksamkeitsbasierte RNN im Ensemble einer jeweiligen zerlegten Komponente fest zugeordnet ist und darauf angewendet wird; und Vorhersagen (330) eines jeweiligen Werts eines oder mehrerer künftiger Zeitschritte für die Zielreihe auf der Grundlage jeweiliger Vorhersageausgaben für jede zerlegte Komponente durch die EC-DARNNS.
Computerprogrammprodukt nach Anspruch 14, wobei der automatische Gruppierungsschritt die verborgenen Merkmale im verborgenen Raum auf der Grundlage eines Gaußschen Mischmodells (GMM) automatisch gruppiert.
Computerprogrammprodukt nach Anspruch 14, wobei das Gaußsche Mischmodell zur Regularisierung verborgener Merkmale verwendet wird.
Computerprogrammprodukt nach Anspruch 16, wobei die verborgenen Merkmale in Bezug auf einen GMM-Verlust, der als Regularisierungsausdruck implementiert ist, regularisiert werden.
Computerprogrammprodukt nach Anspruch 14, wobei der Satz mehrerer Ansteuerzeitreihen historische Daten repräsentiert.
Computerprogrammprodukt nach Anspruch 14, wobei der aufmerksamkeitsbasierte Eingangscodierer mehrere lange Kurzzeitgedächtnisse (LTSMs) umfasst.
Computerverarbeitungssystem zur multivariaten Zeitreihenvorhersage, das Folgendes umfasst: einen Arbeitsspeicher (130), um Programmcode zu speichern; und einen Prozessor (110), der an den Arbeitsspeicher funktionstechnisch gekoppelt ist, um den Programmcode auszuführen zum Zerlegen jeder Zeitreihe aus einem Satz mehrerer Ansteuerzeitreihen und einer Zielzeitreihe in eine Rohkomponente, eine Formkomponente und eine Trendkomponente; für jede der zerlegten Komponenten Wählen einer Ansteuerzeitreihe, die für sie relevant ist, aus dem Satz und Erhalten verborgener Merkmale der gewählten Ansteuerzeitreihe durch Anwenden des Satzes auf einen aufmerksamkeitsbasierten Eingangscodierer eines Ensembles gruppierter zweistufiger aufmerksamkeitsbasierter rekurrenter neuronaler Netze (EC-DARNNS); automatisches Gruppieren der verborgenen Merkmale in einem verborgenen Raum unter Verwendung eines aufmerksamkeitsbasierten zeitlichen Decoders der EC-DARNNS, wobei jedes gruppierte zweistufige aufmerksamkeitsbasierte RNN im Ensemble einer jeweiligen zerlegten Komponente fest zugeordnet ist und darauf angewendet wird; und Vorhersagen eines jeweiligen Werts eines oder mehrerer künftiger Zeitschritte für die Zielreihe auf der Grundlage jeweiliger Vorhersageausgaben für jede zerlegte Komponente durch die EC-DARNNS.