DE102014103281A1

DE102014103281A1 - Verknüpfen unterschiedlicher typerzwingungskomponenten zum beurteilen eines latenten typs

Info

Publication number: DE102014103281A1
Application number: DE102014103281.0A
Authority: DE
Inventors: Sugato Bagchi; James J. Fan; David A. Ferrucci; Aditya A. Kalyanpur; James W. Murdock; Christopher A. Welty
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2013-03-15
Filing date: 2014-03-12
Publication date: 2014-09-18
Also published as: US20140272904A1; US20160086503A1; US9262938B2; CN104050224A; US10108904B2; CN104050224B

Abstract

Bei einem Verfahren zum Beantworten von Fragen wird eine Frage empfangen, ein LAT der Frage wird ermittelt, und eine mögliche Antwort auf die Frage wird ermittelt. Vorläufige Typen für die mögliche Antwort werden unter Verwendung erster Komponenten ermittelt, um die vorläufigen Typen zu erzeugen. Jede der ersten Komponenten erzeugt einen vorläufigen Typ unter Verwendung unterschiedlicher Verfahren. Eine erste Typ-Bewertungszahl wird erzeugt, die ein Maß der Übereinstimmung zwischen dem vorläufigen Typ und dem LAT der Frage repräsentiert. Jeder vorläufige Typ und jede erste Bewertungszahl werden beurteilt. Jede der zweiten Komponenten erzeugt eine zweite Bewertungszahl anhand einer Verknüpfung der ersten Typ-Bewertungszahl und einer Maßzahl, dass der vorläufige Typ mit dem LAT der Frage übereinstimmt. Die zweiten Komponenten verwenden unterschiedliche Verfahren, um die zweite Bewertungszahl zu erzeugen. Eine endgültige Bewertungszahl, die ein Maß der Sicherheit repräsentiert, dass die mögliche Antwort mit dem LAT der Frage übereinstimmt, wird anhand der zweiten Bewertungszahl berechnet.

Description

HINTERGRUND
Die vorliegende Erfindung bezieht sich auf Frage-Beantwortungs-(QA-)Systeme und insbesondere auf ein Ermitteln, ob eine mögliche Antwort von einem zutreffenden Typ einer lexikalischen Antwort (lexikalischen Antworttyp) ist.
Das Konzept der Beurteilung eines latenten Typs (deferred type evaluation) ist in der US-Patentanmeldung 12/126.642 mit dem Titel „System and Method of Providing Question and Answers with Deferred Type Evaluation” erklärt, die am 23. Mai 2008 eingereicht, als US-Patentanmeldung Nr. 2009/0292687 A1 veröffentlicht und als US-Patent 8 332 394 B2 herausgegeben wurde, deren Inhalt hier durch Bezugnahme eingeschlossen ist.
Das Konzept der Beurteilung eines latenten Typs wurde des Weiteren in der zuvor eingereichten US-Patentanmeldung 13/239.165 mit dem Titel „Providing Question and Answers with Deferred Type Evaluation Using Text with Limited Structure” erläutert, die am 21. September 2011 eingereicht und als US-Patentanmeldung Nr. 2012/0078902 A1 veröffentlicht wurde, deren Inhalt hier durch Bezugnahme eingeschlossen ist.
KURZDARSTELLUNG
Die hier genannten Systeme und Verfahren widmen sich dem Problem, wie individuelle Typerzwingungskomponenten abgedeckt werden können. Gegenwärtig gibt es eine Vielzahl von Arten zu ermitteln, ob eine mögliche Antwort vom lexikalischen Antworttyp (Lexical Answer Type – LAT) ist.
Die hier genannten Systeme und Verfahren verknüpfen die Zwischenausgaben von Erzwingungskomponenten unterschiedlichen Typs, um eine erzwungene Ausgabe neuen Typs zu erzeugen, die ein besseres Abdecken aufweist als die einzelnen Erzwingungskomponenten des anderen Typs.
Die vorliegende Offenbarung unterstützt das Konzept von LATs. Die LATs werden aus einer Analyse der natürlichen Sprache der Anfrage berechnet und stellen eine umfangreichere Beschreibung einer Antwort als ihre ontologische Kategorie bereit. Bei einem LAT der Frage/Anfrage handelt es sich um den Deskriptor des oder der Referenten der Entität, d. h. um eine gültige Antwort auf die Frage.
Gemäß einem hier genannten Verfahren wird eine Frage in einer computergestützten Einheit empfangen. Ein LAT der Frage wird unter Verwendung der computergestützten Einheit ermittelt. Bei dem LAT der Frage handelt es sich um einen lexikalischen Antworttyp, der der Frage zugehörig ist. Eine mögliche Antwort auf die Frage wird unter Verwendung der computergestützten Einheit identifiziert. Vorläufige Typen für die mögliche Antwort werden unter Verwendung erster Komponenten der computergestützten Einheit automatisch ermittelt. Die ersten Komponenten verwenden verschiedene Verfahren, um die vorläufigen Typen zu erzeugen, wobei jede der ersten Komponenten einen vorläufigen Typ erzeugt. Eine Übereinstimmung zwischen dem vorläufigen Typ und dem LAT der Frage wird unter Verwendung der computergestützten Einheit automatisch bewertet. Jede der ersten Komponenten erzeugt eine erste Typ-Bewertungszahl. Die erste Typ-Bewertungszahl repräsentiert einen Grad der Übereinstimmung zwischen dem vorläufigen Typ und dem LAT der Frage. Die Bewertung wird anhand dessen differenziert, welche der Komponenten den vorläufigen Typ erzeugt. Jeder vorläufige Typ und jede erste Typ-Bewertungszahl werden unter Verwendung zweiter Komponenten der computergestützten Einheit automatisch beurteilt. Jede der zweiten Komponenten erzeugt eine zweite Bewertungszahl anhand einer Verknüpfung der ersten Typ-Bewertungszahl und einer Maßzahl dafür, dass der vorläufige Typ mit dem LAT der Frage übereinstimmt. Die zweiten Komponenten verwenden unterschiedliche Verfahren, um die zweite Bewertungszahl zu erzeugen. Eine endgültige Bewertungszahl wird anhand der zweiten Bewertungszahl von jeder der zweiten Komponenten unter Verwendung der computergestützten Einheit automatisch berechnet. Die endgültige Bewertungszahl, die eine Maßzahl der Sicherheit repräsentiert, dass die mögliche Antwort von einem Typ ist, der mit dem LAT der Frage übereinstimmt, wird unter Verwendung der computergestützten Einheit automatisch ausgegeben.
Gemäß einem hier genannten Verfahren wird ein lexikalischer Antworttyp (LAT), der einer Frage in einem Frage-Beantwortungs-System zugehörig ist, unter Verwendung einer computergestützten Einheit automatisch identifiziert, um einen LAT der Frage zu erzeugen. Die mögliche Antwort auf die Frage wird unter Verwendung der computergestützten Einheit automatisch erzeugt. Vorläufige Typen für die mögliche Antwort werden unter Verwendung erster Komponenten der computergestützten Einheit automatisch ermittelt. Die ersten Komponenten verwenden unterschiedliche Ressourcen, um die vorläufigen Typen zu erzeugen, und jede der ersten Komponenten erzeugt einen vorläufigen Typ für die mögliche Antwort. Eine Übereinstimmung zwischen dem vorläufigen Typ und dem LAT der Frage wird unter Verwendung der ersten Komponenten der computergestützten Einheit automatisch bewertet, wobei eine Bewertungszahl des ersten Typs für jeden vorläufigen Typ anhand einer Maßzahl dafür erzeugt wird, dass der vorläufige Typ dem LAT der Frage entspricht. Die ersten Komponenten verwenden unterschiedliche Ressourcen, um die Bewertungszahl des ersten Typs für den vorläufigen Typ zu erzeugen, und die Bewertung wird anhand dessen differenziert, welche der ersten Komponenten den vorläufigen Typ erzeugt. Jede der zweiten Komponenten beurteilt automatisch jeden vorläufigen Typ und die Bewertungszahl des ersten Typs unter Verwendung der computergestützten Einheit. Jede der zweiten Komponenten erzeugt eine zweite Bewertungszahl für den vorläufigen Typ der möglichen Antwort anhand einer Verknüpfung der Bewertungszahl des ersten Typs und einer Maßzahl der Übereinstimmung zwischen dem vorläufigen Typ und dem LAT der Frage. Die endgültige Bewertungszahl anhand der zweiten Bewertungszahl von jeder der zweiten Komponenten wird unter Verwendung der computergestützten Einheit automatisch ausgegeben. Die endgültige Bewertungszahl repräsentiert eine Maßzahl der Sicherheit, dass die mögliche Antwort von einem Typ ist, der mit dem LAT der Frage übereinstimmt.
Gemäß einem Computersystem zum Ermitteln einer Sicherheits-Bewertungszahl für mögliche Antworten auf Fragen in einem hier genannten Frage-Beantwortungs-System weist das System ein automatisiertes Fragen-Beantwortungs-(QA-)System auf, das aufweist: ein Anfrage-Analysemodul, eine Erzeugungseinrichtung einer möglichen Antwort, die mit dem Anfrage-Analysemodul funktionsmäßig verbunden ist, einen Prozessor, der eine Vielzahl erster Komponenten aufweist, eine Vielzahl zweiter Komponenten, die mit der Vielzahl erster Komponenten funktionsmäßig verbunden ist, und eine Klassifizierungseinrichtung, die mit der Vielzahl zweiter Komponenten funktionsmäßig verbunden ist, sowie eine Benutzeroberfläche, die mit dem Anfrage-Analysemodul funktionsmäßig verbunden ist. Die Benutzeroberfläche empfängt eine Frage in dem automatisierten QA-System. Das Anfrage-Analysemodul ermittelt für die Frage einen lexikalischen Antworttyp (LAT) der Frage. Die Erzeugungseinrichtung einer möglichen Antwort berechnet automatisch eine mögliche Antwort auf die Frage. Der Prozessor berechnet automatisch einen vorläufigen Typ für die mögliche Antwort aus jeder von der Vielzahl erster Komponenten. Die ersten Komponenten verwenden unterschiedliche Verfahren, um den vorläufigen Typ zu erzeugen. Der Prozessor bewertet automatisch eine Übereinstimmung zwischen den vorläufigen Typen und dem LAT der Frage, um eine Bewertungszahl des ersten Typs aus jeder von der Vielzahl erster Komponenten anhand einer Maßzahl dafür zu berechnen, dass der vorläufige Typ dem LAT der Frage entspricht. Die Bewertung wird anhand dessen differenziert, welche der ersten Komponenten den vorläufigen Typ erzeugt. Derselbe vorläufige Typ erhält eine Bewertungszahl eines unterschiedlichen Typs anhand von Unterschieden zwischen den ersten Komponenten, die denselben Typ einer möglichen Antwort erzeugen. Der Prozessor beurteilt automatisch jeden vorläufigen Typ und die Bewertungszahl des ersten Typs aus jeder von der Vielzahl erster Komponenten unter Verwendung von jeder aus der Vielzahl zweiter Komponenten und erzeugt eine zweite Bewertungszahl für den vorläufigen Typ anhand einer Maßzahl der Übereinstimmung des vorläufigen Typs mit dem LAT der Frage für jede aus der Vielzahl zweiter Komponenten. Der Prozessor gibt automatisch eine endgültige Bewertungszahl für den vorläufigen Typ anhand der zweiten Bewertungszahl für den vorläufigen Typ von jeder aus der Vielzahl zweiter Komponenten aus der Klassifizierungseinrichtung aus.
Gemäß einem Computerprogrammprodukt zum Ermitteln einer Sicherheits-Bewertungszahl für mögliche Antworten auf Fragen in einem hier genannten Frage-Beantwortungs-System weist das Computerprogrammprodukt ein materielles computerlesbares Speichermedium auf, in dem Programmcode verkörpert ist. Der Programmcode kann durch einen Computer gelesen und ausgeführt werden, um ein Verfahren auszuführen. Gemäß dem Verfahren wird eine Frage in einer computergestützten Einheit empfangen. Ein LAT der Frage wird ermittelt. Bei dem LAT der Frage handelt es sich um einen lexikalischen Antworttyp, der der Frage zugehörig ist. Eine mögliche Antwort auf die Frage wird identifiziert. Vorläufige Typen für die mögliche Antwort werden unter Verwendung erster Komponenten der computergestützten Einheit automatisch ermittelt. Die ersten Komponenten verwenden unterschiedliche Verfahren, um die vorläufigen Typen zu erzeugen, und jede der ersten Komponenten erzeugt einen vorläufigen Typ. Eine Übereinstimmung zwischen dem vorläufigen Typ und dem LAT der Frage wird automatisch bewertet. Jede der ersten Komponenten erzeugt eine Bewertungszahl des ersten Typs. Die Bewertungszahl des ersten Typs repräsentiert eine Maßzahl der Übereinstimmung zwischen dem vorläufigen Typ und dem LAT der Frage. Die Bewertung wird anhand dessen differenziert, welche der Komponenten den vorläufigen Typ erzeugt. Jeder vorläufige Typ und jede Bewertungszahl des ersten Typs wird unter Verwendung zweiter Komponenten der computergestützten Einheit automatisch beurteilt. Jede der zweiten Komponenten erzeugt eine zweite Bewertungszahl anhand einer Verknüpfung der Bewertungszahl des ersten Typs und einer Maßzahl der Übereinstimmung des vorläufigen Typs mit dem LAT der Frage. Die zweiten Komponenten verwenden unterschiedliche Verfahren, um die zweite Bewertungszahl zu erzeugen. Eine endgültige Bewertungszahl wird anhand der zweiten Bewertungszahl von jeder der zweiten Komponenten automatisch berechnet. Die endgültige Bewertungszahl, die eine Maßzahl der Sicherheit repräsentiert, dass die mögliche Antwort von einem Typ ist, der mit dem LAT der Frage übereinstimmt, wird automatisch ausgegeben.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die hier genannten Systeme und Verfahren werden aus der folgenden genauen Beschreibung unter Bezugnahme auf die Zeichnungen besser verstanden, die nicht notwendigerweise maßstabsgerecht sind und worin:
1 eine Übersichts-Systemdarstellung gemäß hier genannter Systeme und Verfahren ist;
2 ein Blockschaubild ist, das verschiedene Aspekte der hier genannten Systeme und Verfahren veranschaulicht;
3 ein Blockschaubild ist, das verschiedene Aspekte der hier genannten Systeme und Verfahren veranschaulicht;
4 ein Blockschaubild ist, das verschiedene Aspekte der hier genannten Systeme und Verfahren veranschaulicht;
5 ein Ablaufplan ist, der hier genannte Systeme und Verfahren veranschaulicht;
6 ein Blockschaltbild ist, das ein Hardware-System gemäß hier genannter Systeme und Verfahren veranschaulicht;
7 ein Funktionsschaubild ist, das ein Einsatzsystem gemäß hier genannter Systeme und Verfahren veranschaulicht;
8 ein Funktionsschaubild ist, das ein Integrationssystem gemäß hier genannter Systeme und Verfahren veranschaulicht;
9 ein Funktionsschaubild ist, das ein Abrufsystem gemäß hier genannter Systeme und Verfahren veranschaulicht;
10 ein Funktionsschaubild ist, das ein System eines virtuellen privaten Netzwerks gemäß hier genannter Systeme und Verfahren veranschaulicht; und
11 ein Ablaufplan ist, der ein System eines virtuellen privaten Netzwerks gemäß hier genannter Systeme und Verfahren veranschaulicht.
GENAUE BESCHREIBUNG
Es ist ohne Weiteres klar, dass die Systeme und Verfahren der vorliegenden Beschreibung, die hier in den Zeichnungen allgemein beschrieben und veranschaulicht werden, zusätzlich zu den hier beschriebenen Systemen und Verfahren in einer großen Vielfalt von unterschiedlichen Konfigurationen angeordnet und entworfen werden können. Daher soll die folgende genaue Beschreibung der in den Zeichnungen dargestellten Systeme und Verfahren den in den angefügten Ansprüchen definierten Umfang nicht einschränken, sondern ausgewählte Systeme und Verfahren lediglich darstellen. Die folgende Beschreibung soll lediglich beispielhaft sein und in einfacher Weise bestimmte Konzepte der hier offenbarten und beanspruchten Systeme und Verfahren veranschaulichen.
Die hier genannten Worte „Frage” und „Antwort” sowie ihre Erweiterungen werden untereinander austauschbar verwendet und beziehen sich auf dasselbe Konzept, nämlich eine Anforderung von Informationen. Derartige Anforderungen werden üblicherweise in einem Fragesatz ausgedrückt, sie können jedoch auch in anderen Formen ausgedrückt werden, z. B. als ein Aussagesatz, der eine Beschreibung einer Entität bereitstellt, die von Interesse ist (wobei die Anforderung der Identifizierung der Entität aus dem Kontext abgeleitet werden kann). „Strukturierte Informationen” (von „Quellen strukturierter Informationen”) werden hier als Informationen definiert, deren vorgesehene Bedeutung unmissverständlich ist und in der Struktur oder dem Format der Daten (z. B. eine Datenbanktabelle) explizit dargestellt ist. „Unstrukturierte Informationen” (von „Quellen unstrukturierter Informationen”) werden hier als Informationen definiert, auf deren vorgesehene Bedeutung lediglich durch ihren Inhalt geschlossen werden kann (z. B. ein Dokument mit natürlicher Sprache). Mit „teilstrukturiert” sind Daten gemeint, bei denen ein bestimmter Teil der Bedeutung im Format der Daten explizit dargestellt ist, ein Abschnitt des Dokuments kann beispielsweise als „Titel” markiert sein.
1 zeigt eine Übersichts-Systemdarstellung, die eine logische Architektur für ein hier beschriebenes System 100 darstellt. Wie in 1 gezeigt enthält das System 100 ein Anfrage-Analysemodul 112, das Funktionen zum Empfangen und Analysieren einer Benutzerfrage oder Anfrage 118 umsetzt. Gemäß einem System und einem Verfahren bezeichnet ein „Benutzer” 115 eine oder mehrere Personen, die mit dem System 100 interagieren, und der Ausdruck „Benutzeranfrage” bezeichnet eine Anfrage 118 (und ihren Kontext), die durch einen Benutzer 115 gestellt wird. Es ist jedoch klar, dass weitere Systeme und Verfahren gebildet werden können, bei denen der Ausdruck „Benutzer” ein Computersystem 120 bezeichnet, das eine Anfrage 118 durch mechanische Mittel erzeugt, und bei denen der Ausdruck „Benutzeranfrage” eine derartige mechanisch erzeugte Anfrage und Kontext bezeichnet. Ein Modul 123 zum Erzeugen möglicher Antworten wird bereitgestellt, um eine Suche nach möglichen Antworten umzusetzen, indem primäre Quellen 126, die strukturierte, teilstrukturierte und unstrukturierte Quellen aufweisen, und eine Antwortquellen-Wissensbasis 129 durchsucht werden, die Sammlungen von Relationen und Listen, die aus primären Quellen extrahiert wurden, enthält. Sämtliche Informationsquellen können lokal gespeichert werden oder über ein Netzwerk, darunter das Internet, verteilt sein. Das Modul 123 zum Erzeugen möglicher Antworten erzeugt eine Vielzahl von Ausgabe-Datenstrukturen, die mögliche Antworten 132 enthalten, anhand der Analyse von abgerufenen Daten.
In 1 sind ein erstes System und ein erstes Verfahren dargestellt, die ein Modul 135 zum Sammeln von Nachweisen und Bewerten von Antworten enthalten, das mit den primären Quellen 126 und der Antwortquellen-Informationsbank 129 verbindet, um als Parallelverarbeitungsoperationen gleichzeitig den Nachweis anhand von Textstellen zu analysieren, die mögliche Antworten aufweisen, und jede mögliche Antwort 132 zu bewerten. Das Modul 135 zum Sammeln von Nachweisen und Bewerten von Antworten weist ein Modul 138 zum Bewerten möglicher Antworten auf, um eine abgerufene Textstelle zu analysieren und die möglichen Antworten 132 einer abgerufenen Textstelle zu bewerten.
Die Antwortquellen-Informationsbank 129 kann einen Datenkorpus aufweisen, der eine oder mehrere Datenbanken mit strukturierten oder teilstrukturierten Quellen (im Voraus berechnet oder anderweitig) aufweist, die Sammlungen von Relationen (z. B. typisierte Listen) beinhalten. Bei einer beispielhaften Umsetzung kann die Antwortquellen-Informationsbank 129 eine Datenbank aufweisen, die in einem Speichersystem z. B. einem Festplattenlaufwerk gespeichert ist. Die Antwortquellen-Informationsbank 129 kann mit mehreren strukturierten und unstrukturierten Quellen verbinden, darunter typisierte Listen (z. B. eine Liste aller Länder der Welt), eine genaue einfache Angabe (z. B. ein Land), eine zweiteilige Angabe (z. B. Land + Staatsoberhaupt dieses Lands), eine dreiteilige Angabe (z. B. Land + Staatsoberhaupt dieses Lands + Ehefrau des Staatsoberhaupts), eine n-fache extrahierte Relation usw.
Ein Modul 141 zum Einstufen von Antworten stellt eine Funktionalität zum Einstufen möglicher Antworten 132 und Ermitteln einer Rückmeldung 144 bereit, die an einem Benutzer 115 über eine (nicht gezeigte) Anzeigeschnittstelle eines Benutzercomputers oder ein Computersystem 120 zurückgegeben wird, wobei es sich bei der Rückmeldung um eine Antwort, eine ausführliche Darstellung einer vorherigen Antwort oder eine Anforderung einer Verdeutlichung in Reaktion auf eine Antwort handeln kann, wenn keine hochwertige Antwort auf die Frage gefunden wurde.
1 zeigt eine Umsetzung des maschinellen Lernens, bei der das Modul 141 zum Einstufen von Antworten eine Komponente 147 eines trainierten Modells enthält, die unter Verwendung von Techniken des maschinellen Lernens aus früheren Daten erzeugt wird. Die früheren Daten können Informationen über Merkmale von möglichen Antworten 132, die Merkmale von Textstellen, von denen die möglichen Antworten stammen, die Bewertungszahlen, die ihnen durch Module 138 zum Bewerten möglicher Antworten gegeben wurden, und ob die mögliche Antwort 132 korrekt ist, codieren. Mit anderen Worten, die Algorithmen des maschinellen Lernens können auf den gesamten Inhalt der Module 138 zum Bewerten möglicher Antworten zusammen mit den Informationen über die Korrektheit der möglichen Antwort angewendet werden. Derartige frühere Daten sind z. B. bei Funktionen zum Unterstützen technischer Dienste oder bei allgemeineren Einstellungen im Internet leicht verfügbar, wobei viele Webseiten Fragen mit korrekten Antworten auflisten. Das Modell codiert eine Vorhersagefunktion, die seine Eingabe in das Modul 148 zum Verknüpfen erkannter Merkmale darstellt, das in 1 gezeigt ist. Das Modul 141 zum Einstufen von Antworten kann außerdem einem Modul enthalten, um eine Einstufungsliste von Antworten 149 zu erzeugen, um eine qualitative Einstufung für die Rückmeldung 144 bereitzustellen, die an einen Benutzer 115 zurückgegeben wird.
Es ist klar, dass Fachleute eine weitere Erweiterung zu dem in 1 gezeigten System der Offenbarung umsetzen können, um ein oder mehrere Module zu nutzen, um eine E/A-Datenübertragung zwischen einem Benutzer oder einem Computersystem und dem System 100 gemäß den folgenden Modalitäten von Text, Audio, Video, Gestik, taktiler Eingabe und Ausgabe usw., ohne auf diese beschränkt zu sein, zu ermöglichen. Daher können sowohl eine Eingabe-Anfrage als auch eine erzeugte Abfrage-Rückmeldung gemäß einer oder mehreren von zahlreichen Modalitäten bereitgestellt werden, darunter Text, Audio, Abbildung, Video, taktile Empfindungen oder Gestik. Wenn z. B. eine Frage unter Verwendung anderer Modalitäten gestellt wird, z. B. eine Reihe von Abbildungen, auf die durch einen Benutzer gezeigt wird, wird das Verfahren auf die textlichen Aspekte der Abbildungen angewendet, die in ihren Beschreibungen enthalten sind oder durch ein (nicht gezeigtes) Analysesystem gefolgert werden.
Bei dem in 1 dargestellten System 100 kann es sich um ein lokales System handeln, es kann sich auf einem Server oder einem Server-Cluster oder in einer Firma befinden, oder es kann alternativ bei einer öffentlichen oder privat verfügbaren Suchmaschine verteilt sein oder kann einteilig mit dieser oder in Verbindung mit dieser betrieben werden, um die Frage-Antwort-Funktionalität in der beschriebenen Weise zu verbessern. Daher können die Systeme und Verfahren als Computerprogrammprodukte, die Befehle aufweisen, die durch eine Verarbeitungseinheit ausgeführt werden können, oder als ein Dienst, der das Computerprogrammprodukt einsetzt, bereitgestellt werden. Die Architektur verwendet eine Suchmaschine (ein Dokument-Abrufsystem) als Teil des Moduls 123 zum Erzeugen möglicher Antworten, das dem Internet, einer öffentlich zugänglichen Datenbank, einer Webseite (z. B. IMDB.com) oder einer privat zugänglichen Datenbank zugeordnet sein kann. Datenbanken können in jedem Speichersystem gespeichert sein, z. B. ein Festplattenlaufwerk oder ein Flash-Speicher, und können über das Netzwerk verteilt sein.
Wie in 1 gezeigt empfängt das Anfrage-Analysemodul 112 eine Eingabe, die die Anfrage 118 aufweist, die z. B. durch einen Benutzer 115 über einen webgestützten Browser-Dienst eingegeben wird. Eine Anfrage 118, die in das System 100 eingegeben wird, kann eine Zeichenfolge wie z. B. „Wer war der (körperlich) größte amerikanische Präsident?” aufweisen. Alternativ kann eine Anfrage 118 aus einer Zeichenfolge und einem impliziten Kontext bestehen, z. B. „Wer war der (körperlich) kleinste?” Bei diesem Beispiel kann der Kontext von einer einfachen Zeichenfolge z. B. „Amerikanische Präsidenten” oder „Wer war der größte amerikanische Präsident?” bis zu einer beliebigen Datenstruktur reichen, z. B. alle Zwischenergebnisse der Verarbeitung von vorhergehenden Zeichenfolgen enthalten – eine Situation, die bei einem mehrfach wechselndem Dialog entsteht. Die Anfrage 118 wird durch das Anfrage-Analysemodul 112 empfangen, das einen oder mehrere der folgenden Teilprozesse enthält, jedoch nicht auf diese beschränkt ist: ein (nicht gezeigter) Strukturblock zum Analysieren und Behaupten von Argumenten, der Funktionen und Programmierschnittstellen zum Zerlegen einer eingegebenen Anfrage in ihre grammatikalischen und semantischen Komponenten umsetzt, z. B. Nominalphrasen, Verbphrasen und eine Behauptungs/Argument-Struktur. Ein Parser des ESG-(English Slot Grammar)Typs kann verwendet werden, um ein Analysieren umzusetzen. Ein Block Fokussegment, Fokus und Modifizierer kann bereitgestellt werden, der den Fokus und die Fokus-Modifizierer der Frage berechnet. Weitere Umsetzungen können des Weiteren einen (nicht gezeigten) Block Fragezerlegung in dem Anfrage-Analysemodul 112 enthalten, der Funktionen und Programmierschnittstellen zum Analysieren der Anfrage 118 umsetzt, um die Gruppe von Einschränkungen zu ermitteln, die durch die Frage über die Ziel-Antwort spezifiziert werden. Gemäß den hier genannten Systemen und Verfahren enthält das Anfrage-Analysemodul 112 einen Block 152 lexikalischer Antworttyp (LAT), der Funktionen und Programmierschnittstellen umsetzt, um zusätzliche Einschränkungen an dem Antworttyp bereitzustellen. Zu den Berechnungen in dem Anfrage-Analysemodul 112 gehört der lexikalische Antworttyp, sie sind jedoch nicht darauf beschränkt. Der LAT wird aus einer Analyse der natürlichen Sprache der Anfrage 118 berechnet und stellt eine bessere Beschreibung einer Antwort bereit als ihre ontologische Kategorie.
In 1 enthält der LAT-Block 152 bestimmte (nicht gezeigte) Funktionen/Teilfunktionen, um den LAT zu ermitteln. Diese Teilfunktionen enthalten einen Parser wie z. B. der ESG-Parser, der hier vorhergehend beschrieben wurde, und ein Ko-Referenz-Auflösungsmodul (das z. B. in http://www.isi.edu/.about.hobbs/muc5-generic-final.pdf; und http://gate.ac.uk/sale/taln02/taln-ws-coref.pdf beschrieben ist).
Die bestimmten Funktionen/Teilfunktionen werden ausgeführt, um einen LAT aus einer Analyse der natürlichen Sprache zu berechnen und eine bessere Beschreibung einer Antwort als ihre ontologische Kategorie bereitzustellen. Daher repräsentieren die kursiv dargestellten Wörter in dem folgenden Satz den LAT „After circumnavigating the Earth, which explorer became mayor of Plymouth, England?”, wobei die Antwort sowohl „explorer” als auch „mayor” enthalten muss, wobei diese beiden Zeichenfolgen zu den LATs der Frage werden.
Wie oben erwähnt handelt es sich bei einem LAT der Frage/Anfrage 118 um den Typ (d. h. den Deskriptor) des Referenten der Entität, der eine gültige Antwort auf die Frage darstellt. In der Praxis handelt es sich bei dem LAT um den Deskriptor der Antwort, der durch das (nicht gezeigte) Modul zum Verstehen natürlicher Sprache erkannt wird, das eine Sammlung von Mustern oder einen Parser mit einem Semantik-Interpreter aufweist.
Bei Bezugnahme auf den LAT-Block 152 repräsentiert der LAT in dem Anfrage-Analysemodul 112 von 1 die Frageausdrücke, die den semantischen Typ einer korrekten Antwort identifizieren. Ein LAT kann wie bekannt in einer Frage durch Musterregeln erkannt werden wie z. B. „jede Nominalphrase, die dem wh-Wort folgt und als Subjekt oder Objekt des Hauptverbs in einer Frage dient, stellt ein LAT dar”. Beispielsweise folgt in der Frage ”Which Dublin-born actor once married Ellen Barkin?” die Nominalphrase ”Dublin-born actor” dem wh-Wort ”which” und ist das Subjekt des Hauptverbs „marry”. LAT-Erkennungsregeln können manuell codiert werden oder automatisch per Maschine durch Erkennen mittels Zuordnungsregel erkannt werden. In diesem Fall kann das Modul zum Verstehen natürlicher Sprache auf die Umsetzung der oben beschriebenen einfachen Regeln beschränkt sein.
LATs sollten Modifizierer des Hauptworts enthalten, wenn dieses seine Bedeutung ändert. Die Phrase ”body of water” hat beispielsweise eine andere Bedeutung als „water” oder „body”, und deswegen muss der LAT in der folgende Anfrage die vollständige Phrase (kursiv dargestellt) enthalten: ”Joliet and Co. found that the Mississippi emptied into what body of water?”
Es ist klar, dass in der Anfrage und im Kontext mehrere LATs vorhanden sein können, und sie können sogar in demselben Satzglied vorhanden sein. Kursiv dargestellte Wörter repräsentieren z. B. in den folgenden Anfragen den LAT:
”In 1581, a year after circumnavigating the Earth, which explorer became mayor of Plymouth, England?”
”Which New York City river is actually a tidal strait connecting upper New York Bay with Long Island Sound?”
Obwohl in vielen Fällen der LAT der Frage unter Verwendung einfacher Regeln berechnet werden kann wie in diesem Zusammenhang oben beschrieben, werden die LATs in anderen Situationen, z. B. wenn mehrere LATs vorhanden sind, anhand einer grammatischen und Aussageargument-Struktur berechnet. Deshalb sollte das Modul zum Verstehen natürlicher Sprache einen Parser (beispielsweise wird ein ESG verwendet, um die grammatischen Strukturen zu berechnen) und einen einfachen Semantik-Interpreter enthalten, um die semantische Co-Referenz zwischen den Diskurs-Entitäten zu berechnen wie z. B. „river” und „tidal strait” oder „explorer” und „mayor”, um beide der Liste von LATs anzufügen. Es ist klar, dass die LATs Modifizierungseinrichtungen enthalten können.
Somit kann die Liste von LATs in dem obigen ersten Beispiel explorer, mayor, mayor of Plymouth, mayor of Plymouth, England enthalten. Eine kleinstmögliche Nominalphrase, die den Antworttyp identifiziert, entspricht der maximalen Entitätsgruppe, und die maximale Nominalphrase liefert die beste Übereinstimmung.
Gemäß hier genannter Systeme und Verfahren enthält das Modul 135 zum Erlangen von Nachweisen und Bewerten von Antworten mehrere Typerzwingungs-(TyCor-)Komponenten 155, wie nachstehend genauer erläutert wird, um die mögliche Antwort 132 zu ermitteln, die einen zutreffenden Typ für die Frage/Anfrage 118 darstellt.
In 2 enthält eine Typerzwingungs-Struktur eine Folge von Antwortbewertungs-Komponenten, die jeweils einen LAT der Frage 207 und eine mögliche Antwort 132 verwenden und ermitteln, ob die mögliche Antwort 132 von dem lexikalischen Typ der Frage ist, indem sie eine Maßzahl dafür zurückgeben, dass es sich bei dem Typ der möglichen Antwort um einen zutreffenden lexikalischen Typ 125 handelt. Bei jeder möglichen Antwort 132 wird der Kandidat mit Instanzen in einem Datenkorpus (z. B. die Antwortquellen-Informationsbank 129) auf Übereinstimmung geprüft. Mögliche Typen, die diesen Instanzen in dem Datenkorpus zugehörig sind, werden abgerufen. Der LAT der Frage 207 wird auf die möglichen Typen getestet, und eine Bewertungszahl wird erzeugt, die den Grad der Übereinstimmung repräsentiert. Jede TyCor-Komponente 155 verwendet eine Quelle von Typisierungsinformationen und führt wie oben beschrieben mehrere Schritte aus, wobei jeder von diesen fehlerbehaftet sein kann, was seine Zuverlässigkeit beeinträchtigt.
Entität-Disambiguierung und Anpassung (EDM): Der offensichtlichste und fehlerträchtigste Schritt beim Verwenden einer vorhandenen Quelle von Typisierungsinformationen besteht darin, in der Quelle die Entität zu finden, die der möglichen Antwort entspricht. Da es sich bei dem Kandidaten lediglich um eine Zeichenfolge handelt, berücksichtigt dieser Schritt sowohl Polysemie (derselbe Name kann mehrere Entitäten bezeichnen) als auch Synonymie (dieselbe Entität kann mehrere Namen aufweisen). Jede Quelle kann ihre eigenen speziellen EDM-Umsetzungen fordern, die Eigenschaften der Quelle nutzen, z. B. codiert DBpedia nützliche Bezeichnungsinformationen in der URI der Entität. EDM-Umsetzungen versuchen üblicherweise, einen Teil des Kontexts für die Antwort zu verwenden, bei schwach strukturierten Quellen kann es jedoch schwierig sein, diesen Kontext zu nutzen.
Aussage-Disambiguierung und Anpassung (PDM): Ähnlich wie bei EDM wird der Typ in der Quelle gefunden, der dem LAT entspricht. Bei einigen Quellen handelt es sich dabei um denselben Algorithmus wie bei EDM, bei anderen erfordert die Typsuche eine spezielle Behandlung. Bei wenigen Quellen, besonders jenen, die unstrukturierte Informationen als Quelle verwenden, gibt der PDM-Schritt lediglich den eigentlichen LAT zurück. Bei Eingeben-und-Erzeugen entspricht dieser Schritt dem Erzeugen eines semantischen Antworttyps (SAT) aus der Frage. PDM entspricht in starkem Maße Vorstellungen einer Wortbedeutungs-Disambiguierung in Bezug auf eine spezielle Quelle.
Typ-Abruf (TR): Nach EDM werden die Typen von abgerufenen Entitäten abgerufen. Für einige TyCor-Komponenten wie jene, die strukturierte Quellen verwenden, übt dieser Schritt die primäre Funktion der Quelle aus und ist einfach. Bei anderen, z. B. unstrukturierten Quellen, kann ein Parsen oder eine andere semantische Verarbeitung von einigen kleinen Bruchstücken natürlicher Sprache erforderlich sein.
Typ-Ausrichtung: Die Ergebnisse der PDM- und TR-Schritte werden dann verglichen, um den Grad der Übereinstimmung zu ermitteln. Bei Quellen, die z. B. eine Typ-Systematik enthalten, beinhaltet dies ein Prüfen der Systematik nach Subsumtion, Zerlegung usw. Für andere Quellen werden bei Ausrichtungen Ressourcen genutzt wie WordNet zum Finden von Synonymen, Hypernymen usw. zwischen den Typen.
Jeder der obigen Schritte erzeugt eine Typ-Bewertung, die die Genauigkeit seiner Operation wiedergibt, wobei die Unsicherheit der Entitätszuordnung oder des Informationsabrufprozesses berücksichtigt wird. Die endgültige Bewertungszahl, die durch jede TyCor-Komponente 155 erzeugt wird, ist eine Verknüpfung der Analyseschritt-Bewertungszahlen und der Sicherheit in Bezug auf den Typ der möglichen Antwort. Einige Beispiele von speziellen Bewertungs-Verfahrensweisen sind in der der US-Patentanmeldung Nr. 2009/0292687 A1 genau beschrieben.
Im Einzelnen werden die mögliche Antwort 132 und der (die) Typ(en) als lexikalische Zeichenfolge repräsentiert. Das Erzeugen der Bewertungszahl, die hier als Typ-Bewertungszahl bezeichnet wird, weist mehrere Schritte auf: Prüfen auf Übereinstimmung von möglicher Antwort und Instanz, Extrahieren der Zuordnung von Instanz und Typ und Übereinstimmung von LAT und Typ. Die Typ-Bewertungszahl gibt eine Maßzahl dafür wieder, dass die mögliche Antwort zu dem LAT „erzwungen” werden kann, wobei höhere Bewertungszahlen ein besseres Erzwingen angeben.
Bei der Übereinstimmung von möglicher Antwort und Instanz wird die mögliche Antwort an eine Instanz oder Instanzen in der Wissensressource angepasst, wobei die Form, die die Instanz aufweist, von der Wissensressource abhängt. Bei einer strukturierten Informationsbank können Instanzen Entitäten sein, bei einer enzyklopädischen Quelle wie Wikipedia können Instanzen Einträge in der Enzyklopädie sein, bei lexikalischen Ressourcen wie WordNet (lexikalische Datenbank) können Instanzen Synset-Einträge sein (Gruppen von Synonymen) und bei Sammlungen von unstrukturierten Dokumenten (oder Webseiten) können Instanzen alle Ausdrücke oder Phrasen sein, die in dem Text vorkommen. Wenn mehrere Instanzen gefunden werden, wird ein Rollup unter Verwendung einer Aggregationsfunktion verwendet, um die Bewertungszahlen von allen möglichen Antworten zu verknüpfen. Wenn keine geeignete Instanz gefunden wird, wird eine Bewertungszahl von 0 zurückgegeben.
Anschließend werden Instanz-Zuordnungsinformationen von den Ressourcen extrahiert. Diese Informationen ordnen jeder Instanz einen Typ oder eine Gruppe von Typen zu. In Abhängigkeit von der Ressource kann dies unterschiedliche Formen annehmen: bei einer Informationsbank entspricht dies bestimmten Relationen, die von Interesse sind, die Instanzen mit Typen in Verbindung bringen, bei einer enzyklopädischen Quelle könnten dies Informationen einer lexikalischen Kategorie sein, die einen lexikalischen Typ einer Entität zuordnen, bei lexikalische Quellen, wie z. B. WordNet ist dies eine Gruppe von lexikalischen Relationen wie z. B. Hyponymie über Synsets (z. B. bei „artist” handelt es sich um eine „person”), und bei Sammlungen unstrukturierter Dokumente könnte dies ein gleichzeitiges Auftreten oder eine Nähe zu anderen Ausdrücken und Phrasen sein, die einen Typ repräsentieren.
Dann wird versucht, jeden LAT mit jedem Typ auf Übereinstimmung zu prüfen. Eine lexikalische Erscheinungsform des Typs wird verwendet. Bei Enzyklopädien könnte dies beispielsweise eine Zeichenfolge sein, die die Kategorie repräsentiert; bei einer lexikalischen Ressource wie z. B. WordNet könnte es sich dabei um die Gruppe von Zeichenfolgen handeln, die in der Synset enthalten ist. Das Prüfen auf Übereinstimmung wird ausgeführt, indem eine Zeichenfolge-Prüfung oder zusätzliche lexikalische Ressourcen verwendet werden wie z. B. WordNet, um auf Synomie oder Hyponomie zwischen dem LAT und dem Typ zu prüfen. Eine spezielle Logik kann für Typen, die von Interesse sind, umgesetzt werden; es kann z. B. eine Personen-Prüflogik aktiviert werden, die keine genaue Übereinstimmung, Synonym- oder Hyponym-Beziehung erfordert, sondern eher, dass es sich sowohl bei LAT und Typ um Hyponyme das Ausdrucks „person” handelt. Auf diese Weise würden „he” und „painter” z. B. eine positive Bewertungszahl erhalten, obwohl sie streng genommen keine Synonyme oder Hyponyme sind. Schließlich kann die Gruppe von Bewertungszahl-Paaren, die den Grad der Übereinstimmung bewerten, über eine Aggregationsfunktion zu einer einzigen endgültigen Bewertungszahl zusammengefasst werden. Die endgültige Bewertungszahl repräsentiert eine Maßzahl der Sicherheit, dass die mögliche Antwort von einem Typ ist, der mit dem LAT der Frage 207 übereinstimmt.
Die hier angegebene Offenbarung beschreibt ein Verfahren und ein System zum Verknüpfen mehrerer TyCor-Komponenten 155, um zu ermitteln, ob die mögliche Antwort 132 von dem lexikalische Typ 215 der Frage ist. 3 zeigt ein Beispiel der Typerzwingungsverkettung gemäß hier angegebener Systeme und Verfahren. Wie in 3 gezeigt, kann eine erste Gruppe von TyCor-Komponenten 155a bis 155f gemeinsam verwendet werden, um eine Eingabe in eine zweite Gruppe von TyCor-Komponenten 355a bis 355g bereitzustellen. Wie in 3 dargestellt, enthält die erste Gruppe von TyCor-Komponenten 155a bis 155f sechs Komponenten, und die zweite Gruppe von TyCor-Komponenten 355a bis 355g enthält sieben Komponenten. Andere Anzahlen von TyCor-Komponenten können verwendet werden. Jede der TyCor-Komponenten 155a bis 155g beurteilt die mögliche Antwort 132 nach ihrer eigenen Verfahrensweise und stellt einen vorläufigen Typ und eine Typ-Bewertungszahl anhand ihrer eigenen Sicherheit, dass die mögliche Antwort 132 mit dem LAT der Frage 207 übereinstimmt. Die bei den verschiedenen TyCor-Komponenten 155a bis 155g verwendeten Schwellenwerte und die Gewichtungen ihrer entsprechenden Regeln können anhand einer empirischen Bewertung festgelegt werden.
Der Prozess der „Antworttyp”-Klassifizierung hängt von den Ressourcen ab, von denen die mögliche Antwort 132 stammt. Verschiedene Verfahren werden auf unterschiedliche Ressourcen (strukturierte/unstrukturierte, semantische/lexikalische usw.) angewendet, um den Antworttyp einer möglichen Antwort 132 zu finden. Auf diese Weise können die verschiedenen Ressourcen unterschiedliche vorläufige Typen 313 erzeugen.
Zunächst versucht jede aus einer ersten Gruppe von TyCor-Komponenten (Wiki-Intro 155a, WIKI-List 155b, Identity 155c, Wiki-Category 155d, WordNet 155e und Yago 155f) einen Typ der eingegebenen möglichen Antwort 132 zu finden. Da unterschiedliche TyCor-Komponenten 155a bis 155f verschiedene Ressourcen und verschiedene Algorithmen verwenden, können sie unterschiedliche vorläufige Typen 313 für dieselbe mögliche Antwort extrahieren.
Das heißt, der Antworttyp einer vorgegebenen möglichen Antwort kann gefunden werden, indem eine andere ressourcenspezifische Verfahrensweise auf jede unterschiedliche Ressource oder Datenbank für ihre Typerzwingungs-Verfahrensweise angewendet wird. Beispielsweise weisen verschiedene Ressourcen (Wiki-List, WordNet, Yago usw.), die möglicherweise vorläufige Typen 313 für die mögliche Antwort erzeugen, unterschiedliche Algorithmen zum Finden des Antworttyps auf, die auf sie angewendet werden, um den Antworttyp zu finden. Daher kann die Verwendung von verschiedenen Verfahrensweisen zur ressourcenspezifischen Typklassifizierung unterschiedliche Ressourcen zur Folge haben, die unterschiedliche Typkategorien für dieselbe mögliche Antwort erzeugen, einfach weil die mögliche Antwort 132 unterschiedlich beurteilt wird.
Außerdem erzeugt jede der TyCor-Komponenten 155a bis 155f eine Typ-Bewertungszahl, die die Genauigkeit ihrer Funktion wiedergibt, wobei die Unsicherheit der Entitätszuordnung oder des Informations-Abrufprozesses berücksichtigt wird. Die unterschiedlichen Verfahrensweisen zur ressourcenspezifischen Antworttypklassifizierung können die Wahrscheinlichkeit, dass ein Antworttyp mit dem LAT der Frage übereinstimmt, unterschiedlich bewerten. Mit anderen Worten, eine ressourcenspezifische Verfahrensweise ergibt möglicherweise eine Wahrscheinlichkeit von 70%, dass der Antworttyp mit dem LAT der Frage übereinstimmt, während eine andere ressourcenspezifische Verfahrensweise möglicherweise eine Wahrscheinlichkeit von 90% ergibt, dass derselbe Antworttyp mit dem LAT der Frage übereinstimmt. Natürlich werden unterschiedliche ressourcenspezifische Verfahrensweisen mit unterschiedlichen Antworttypen aufwarten.
Gemäß hier genannter Systeme und Verfahren können die Ergebnisse der unterschiedlichen Verknüpfungen von TyCor-Komponenten als Merkmale direkt versendet werden, um ein Bewerten des vorläufigen Typs 313 für die mögliche Antwort 132 zu unterstützen. Das Problem besteht nicht so sehr darin, dass die mögliche Antwort 132 „korrekt” ist, sondern dass die mögliche Antwort 132 bei dieser Beurteilung den richtigen Fragetyp zum Ziel hat. Beispielsweise sollte eine eingegebene Anfrage, die lautet:

”Which 19th century US presidents were assassinated?”

einen lexikalischen Antworttyp (LAT) als ”19th century US president” (aber auch als ”US president” and ”president”) berechnen. Mögliche Antworten könnten ”Abraham Lincoln”, ”James A. Garfield”, ”William McKinley”, und ”John F. Kennedy” lauten, wobei die beiden zuletzt genannten falsche Antworten wären, jedoch vom korrekten Typ sind. Mögliche Antworten, die ”Secretariat” und ”War of 1812” lauten, sollten so beurteilt werden, dass sie vom falschen Typ sind.
Die Ausgabe von jeder aus der ersten Gruppe von TyCor-Komponenten 155a bis 155f stellt eine Eingabe für jede aus einer weiteren Gruppe von TyCor-Komponenten bereit (in diesem Fall Wiki-Intro 355a, Wiki-List 355b, Identity 355c, Wiki-Category 355d, WordNet 355e, Yago 355f und Prismatic 355g). Es wird angemerkt, dass die Gruppen von TyCor-Komponenten nicht identisch sein müssen. Gemäß hier genannter Systeme und Verfahren können beliebige Verknüpfungen von TyCor-Komponenten verwendet werden. Die Ausgabe von jeder aus der ersten Gruppe von TyCor-Komponenten 155a bis 155f enthält einen vorläufigen Typ 313 und eine erste Typ-Bewertungszahl.
Die zweite Gruppe von TyCor-Komponenten 355a bis 355g beurteilt den vorläufigen Typ 313 für die mögliche Antwort und die erste Typ-Bewertungszahl von jeder aus der ersten Gruppe von TyCor-Komponenten 155a bis 155f, um eine zweite Bewertungszahl für den vorläufigen Typ 313 zu erzeugen. Die zweite Bewertungszahl beruht auf einer Verknüpfung der ersten Typ-Bewertungszahl und einer Maßzahl dafür, dass der vorläufige Typ 313 mit dem LAT der Frage übereinstimmt, anhand der Verfahrensweise und Ressourcen für jede aus der zweiten Gruppe von TyCor-Komponenten 355a bis 355g. Die zweite Gruppe von TyCor-Komponenten 355a bis 355g kann die Herkunftsinformationen (d. h., welche TyCor-Komponente den vorläufigen Typ 313 für die mögliche Antwort extrahiert) als Merkmale verwenden.
Die Klassifizierungseinrichtung 373 beurteilt die zweite Bewertungszahl von jeder aus der zweiten Gruppe von TyCor-Komponenten 355a bis 355g und ermittelt eine endgültige Bewertungszahl, die die Maßzahl der Sicherheit repräsentiert, dass die mögliche Antwort 132 von dem lexikalischen Typ der Frage ist, indem die zweite Bewertungszahl von jeder aus der zweiten Gruppe von TyCor-Komponenten 355a bis 355g zusammengeführt wird. Die Klassifizierungseinrichtung 373 kann mit einer Gruppe von Ground-Truth-Instanzen aus kommentierten Trainingsdaten durch Algorithmen des maschinellen Lernens trainiert werden wie z. B. logistische Regression oder kann als eine Gruppe von manuell aufgestellten Regeln umgesetzt werden. Klassifizierungsregeln können manuell codiert oder durch Erkennen von Zuordnungsregeln automatisch erkannt werden.
Außerdem kann die zweite Gruppe von TyCor-Komponenten 355a bis 355g verwendet werden, um zu ermitteln, ob die die vorläufigen Typen 313 durch den LAT der Frage 207 „leader” erfasst werden (d. h., sie stellen einen Subtyp des LAT dar). Es wird angemerkt, dass die Gruppen von TyCor-Komponenten nicht identisch sind. Gemäß hier genannter Systeme und Verfahren können beliebige Verknüpfungen von TyCor-Komponenten verwendet werden, um mögliche Typen der Instanzen zu ermitteln und um zu ermitteln, ob es sich bei den Typen um Subtypen des LAT der Frage 207 handelt.
4 zeigt ein Beispiel einer Typerzwingungsverkettung. Wenn die beispielhafte Frage lautet:

”What leader gave a speech at the dedication of a national cemetery in Gettysburg, PA?”

kann es sich anhand einer Analyse bei dem LAT der Frage 207 um „leader” handeln. Eine mögliche Antwort 432 kann „Lincoln” sein. Die Aufgabe besteht darin zu ermitteln, ob es sich bei „Lincoln” um einen leader handelt. Die Kette von TyCor-Komponenten kann über den folgenden Prozess eine Ausgabe erzeugen:
Zuerst versucht jede aus seiner ersten Gruppe von TyCor-Komponenten (Wiki-Intro 155a, Wiki-List 155b, Identity 155c, Wiki-Category 155d, WordNet 155e, and Yago 155f) einen Typ der eingegebenen möglichen Antwort 432 zu erhalten. Da unterschiedliche TyCor-Komponenten 155a bis 155f unterschiedliche Ressourcen und unterschiedliche Algorithmen verwenden, können sie für dieselbe mögliche Antwort unterschiedliche vorläufige Typen extrahieren. Bei diesem Beispiel kann die mögliche Antwort 432 „Lincoln” zwei oder mehr vorläufige Typen extrahieren wie z. B. President 443 und Politician 446. Obwohl ein vorläufiger Typ Automobile extrahiert werden kann, ist zu erwarten, dass dieser eine sehr kleine erste Bewertungszahl aufweisen würde.
Wie oben beschrieben kann der vorläufige Typ einer vorgegebenen möglichen Antwort gefunden werden, indem eine unterschiedliche ressourcenspezifische Verfahrensweise auf jede unterschiedliche Ressource angewendet wird, die eine mögliche Antwort erzeugt. Beispielsweise weisen unterschiedliche Ressourcen (Wiki-List, WordNet, Yago usw.), die gegebenenfalls mögliche Antworten erzeugen, unterschiedliche Algorithmen zum Finden von Antworttypen auf, die auf sie angewendet werden, um den Antworttyp zu finden. Daher kann die Verwendung von unterschiedlichen Verfahrensweisen der ressourcenspezifischen Typklassifizierung ein Erzeugen von unterschiedlichen Typkategorien (Antworttyp President und Antworttyp Politician) in den unterschiedlichen Ressourcen für dieselbe mögliche Antwort zur Folge haben, einfach weil die mögliche Antwort Lincoln 432 von unterschiedlichen Ressourcen stammt.
Die Ausgabe der ersten Gruppe von TyCor-Komponenten 1558 bis 155f stellt eine Eingabe für jede aus einer zweiten Gruppe von TyCor-Komponenten (Wiki-Intro 355a, Wiki-List 355b, Identity 355c, Wiki-Category 355d, WordNet 355e, Yago 355f und Prismatic 355g) bereit. Die Ausgabe von jeder aus der ersten Gruppe von TyCor-Komponenten 155a bis 155f enthält einen vorläufigen Typ wie z. B. President 443 und Politician 446 und eine erste Typ-Bewertungszahl. Die zweite Gruppe von TyCor-Komponenten 355a bis 355g ermittelt, ob die Typen (z. B. President 443 und Politician 446) durch den LAT der Frage 207 „Leader” erfasst werden (d. h., sie stellen einen Subtyp des LAT der Frage dar).
Wie oben beschrieben erzeugt jede aus der ersten Gruppe von TyCor-Komponenten 155a bis 155f eine Typ-Bewertungszahl, die die Genauigkeit ihrer Funktion wiedergibt, wobei die Unsicherheit der Entitätszuordnung oder des Prozesses des Informationsabrufs berücksichtigt wird. Die unterschiedlichen Verfahrensweisen der ressourcenspezifischen Antworttyp-Klassifizierung können die Wahrscheinlichkeit, dass ein vorläufiger Typ mit dem LAT übereinstimmt, unterschiedlich bewerten. Bei diesem Beispiel ergibt sich bei einer ressourcenspezifischen Verfahrensweise eine Wahrscheinlichkeit von 70%, dass der vorläufige Typ „President” 443 mit dem LAT „Leader” übereinstimmt, wohingegen sich bei einer anderen ressourcenspezifischen Verfahrensweise eine Wahrscheinlichkeit von 90% ergibt, dass derselbe vorläufige Typ „President” 443 mit dem LAT „Leader” übereinstimmt. Natürlich werden unterschiedliche ressourcenspezifische Verfahrensweisen ebenfalls mit unterschiedlichen vorläufigen Typen aufwarten (z. B. der vorläufige Typ „Politician” 446).
Die zweite Gruppe von TyCor-Komponenten 355a bis 355g beurteilt die vorläufigen Typen President 443 und Politician 446 für die mögliche Antwort und die erste Typ-Bewertungszahl von jeder aus der ersten Gruppe von TyCor-Komponenten 155a bis 155f, um eine zweite Bewertungszahl für jeden der vorläufigen Typen President 443 und Politician 446 zu erzeugen. Die zweite Bewertungszahl beruht auf einer Verknüpfung der ersten Typ-Bewertungszahl und einer Maßzahl dafür, dass die vorläufigen Typen President 443 und Politician 446 mit dem LAT der Frage 207 „Leader” übereinstimmen, anhand der Verfahrensweise und der Ressourcen für jede aus der zweiten Gruppe von TyCor-Komponenten 355a bis 355g. Die zweite Bewertungszahl ist ein numerischer Wert, um den Grad der Übereinstimmung von Typ und LAT anzugeben.
Die Klassifizierungseinrichtung 373 verwendet die Ausgaben der zweiten Gruppe von TyCor-Komponenten 355a bis 355g, um zu ermitteln, ob es sich bei der möglichen Antwort 432 „Lincoln” möglicherweise um einen Leader handelt. Die Klassifizierungseinrichtung 373 beurteilt die zweite Bewertungszahl von jeder aus der zweiten Gruppe von TyCor-Komponenten 355a bis 355g und ermittelt eine endgültige Bewertungszahl, die die Sicherheit repräsentiert, dass die mögliche Antwort 432 „Lincoln” von dem lexikalischen Typ der Frage ist („Leader”).
Die Klassifizierungseinrichtung 373 führt die zweite Bewertungszahl von jeder aus der zweiten Gruppe von TyCor-Komponenten 355a bis 355g zusammen und verwendet die Herkunftsinformationen (d. h., welche TyCor-Komponente extrahiert den Typ für die mögliche Antwort und welche TyCor-Komponenten stellen fest, dass es sich bei dem vorläufigen Typ um einen Subtyp des LAT der Frage handelt) als Merkmale. Bei der Ausgabe der Klassifizierungseinrichtung 373 handelt es sich um die endgültige Bewertungszahl, die die Sicherheit repräsentiert, dass die mögliche Antwort 432 „Lincoln” von dem lexikalischen Typ der Frage „Leader” ist.
Die Grundgedanken der hier beschriebenen Systeme und Verfahren können bei Anwendungen mehrerer vertikaler Domänen vorteilhaft verwendet werden: Domänen, bei denen Anwendungen Textanalysen beinhalten, nehmen zu, wobei bei diesen eine Navigation durch großen Datenmengen problematisch wird. Zu beispielhaften Domänen können Biotechnik, Finanzen, Marketing, Rechtsprechung usw. gehören, sie sind jedoch nicht auf diese beschränkt.
Darüber hinaus können die vorliegenden Konzepte so erweitert werden, dass sie Informationen abdecken, die nach einem Dialog und nicht nur nach Frage-Antwort suchen. Das gilt sowohl für einen gesprochenen Dialog, z. B. zwischen Mensch und Maschine (Telefon, Computer) als auch z. B. für multimodalen Dialog unter Verwendung von Sprache und Text, der einen regelgestützten Ansatz zum Erzeugen von Dialogmodellen oder eine Kombination aus statistischer und regelgestützter Dialogmodellierung unterstützt. Daher ermöglicht er keine Kontextumschaltung ohne eine erhebliche Verschlechterung der Leistungsfähigkeit. Eine Anpassung eines latenten Typs, die gemäß dem hier genannten System und der hier genannten Verfahren ausgeführt wird, sollte die Verschlechterung abmindern und eine Kontextumschaltung ermöglichen.
Bei einem nochmals weiteren System und Verfahren können die Konzepte erweitert werden, so dass eine Informationssuche abgedeckt ist, bei der die Daten häufig von schlechter Qualität sind, der Kontext jedoch helfen könnte, z. B. das Extrahieren von Informationen aus Aufzeichnungen von Meetings.
5 ist ein Ablaufplan, der den Verarbeitungsablauf eines beispielhaften Verfahrens zum Ermitteln einer Sicherheits-Bewertungszahl für mögliche Antworten auf Fragen in einem Frage-Antwort-System gemäß hier genannter Systeme und Verfahren. Bei 509 wird eine Frage in einem automatisierten QA-System empfangen, das einen Datenkorpus aufweist. Bei 518 wird eine automatisierte Anfrageanalyse ausgeführt, um einen lexikalischen Antworttyp (LAT) zu ermitteln, der der Frage zugehörig ist. Bei 527 identifiziert eine Erzeugungseinrichtung möglicher Antworten eine mögliche Antwort auf die Frage unter Verwendung des Datenkorpus. Bei 536 werden für die mögliche Antwort vorläufige Typen unter Verwendung einer ersten Vielzahl von TyCor-Komponenten ermittelt. Jede von der ersten Vielzahl von TyCor-Komponenten verwendet unterschiedliche Ressourcen (Algorithmen und/oder Datenbanken), um die vorläufigen Typen zu erzeugen, und jede aus der ersten Vielzahl von TyCor-Komponenten erzeugt einen vorläufigen Typ. Die TyCor-Komponenten können auf der Grundlage von unterschiedlichen Verfahren unterschiedliche vorläufige Typen für dieselbe mögliche Antwort erzeugen. Bei 545 vergleicht jede aus der ersten Vielzahl von TyCor-Komponenten den vorläufigen Typ mit dem LAT der Frage, und bei 554 werden erste Typ-Bewertungszahlen für den vorläufigen Typ anhand der Maßzahl dafür, dass der vorläufige Typ dem LAT der Frage entspricht, erzeugt. Derselbe vorläufige Typ für die mögliche Antwort kann auf der Grundlage von Unterschieden zwischen den TyCor-Komponenten, die denselben vorläufigen Typ erzeugen, unterschiedliche Typ-Bewertungszahlen empfangen. Bei 563 werden jeder der vorläufigen Typen und die ersten Typ-Bewertungszahlen unter Verwendung einer zweiten Vielzahl von TyCor-Komponenten automatisch beurteilt. Jede aus der zweiten Vielzahl von TyCor-Komponenten erzeugt bei 572 eine zweite Bewertungszahl für den vorläufigen Typ anhand einer Verknüpfung der ersten Typ-Bewertungszahlen und einer Maßzahl dafür, dass der vorläufige Typ mit der LAT der Frage übereinstimmt. Die Bewertung wird anhand dessen differenziert, welche aus der ersten Vielzahl von TyCor-Komponenten die vorläufigen Typen erzeugt. Jede aus der zweiten Vielzahl von TyCor-Komponenten beurteilt jeden vorläufigen Typ und die erste Typ-Bewertungszahl von jeder aus der ersten Vielzahl von TyCor-Komponenten. Bei einigen Verfahren ermittelt die zweite Vielzahl von TyCor-Komponenten bei 581, ob die vorläufigen Typen Subtypen des LAT der Frage sind, anhand dessen, wie gut die Typen einer möglichen Antwort mit dem LAT der Frage übereinstimmen. Bei 590 wird eine endgültige Bewertungszahl, die eine Maßzahl der Sicherheit repräsentiert, dass die mögliche Antwort von einem Typ ist, der mit dem LAT der Frage übereinstimmt, automatisch ausgegeben. Die endgültige Bewertungszahl beruht auf einem Zusammenführen der zweiten Bewertungszahlen von jeder aus der zweiten Vielzahl von TyCor-Komponenten.
Aspekte der vorliegenden Erfindung werden hier unter Bezugnahme auf Ablaufplan-Darstellungen und/oder Blockschaubilder von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß zahlreicher Systeme und Verfahren beschrieben. Es ist klar, dass jeder Block der Ablaufplan-Darstellungen und/oder zweidimensionalen Blockschaubilder und Kombinationen von Blöcken in den Ablaufplan-Darstellungen und/oder Blockschaubildern durch Computerprogrammbefehle implementiert werden können. Diese Computerprogrammbefehle können einem Prozessor eines Universalcomputers, eines Spezialcomputers oder eine andere programmierbare Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu bilden, so dass Befehle, die über den Prozessor des Computers oder der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführt werden, Mittel zum Umsetzen der Funktionen/Wirkungen, die in dem Block oder den Blöcken des Ablaufplans und/oder Blockschaubilds spezifiziert sind, erzeugen.
Gemäß einem weiteren hier genannten System und Verfahren wird ein Herstellungsgegenstand bereitgestellt, der ein materielles computerlesbares Medium enthält, das computerlesbare Befehle aufweist, die darin verkörpert sind, um die Schritte der mittels Computer umgesetzten Verfahren auszuführen, darunter das in Figur dargestellte Verfahren, ohne auf dieses beschränkt zu sein. Jede Kombination von einem oder mehreren computerlesbaren nichtflüchtigen Medien kann genutzt werden. Bei dem computerlesbaren Medium kann es sich um ein computerlesbares Signalmedium oder ein computerlesbares Speichermedium handeln. Das nichtflüchtige Computerspeichermedium speichert Befehle und ein Prozessor führt die Befehle aus, um die hier beschriebenen Verfahren auszuführen. Ein computerlesbares Speichermedium kann z. B. ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem, -vorrichtung oder -einheit oder jede geeignete Kombination des Vorhergehenden sein, ist jedoch nicht darauf beschränkt. Jede dieser Einheiten kann computerlesbare Befehle aufweisen, um die Schritte der Verfahren auszuführen, die oben unter Bezugnahme auf 5 beschrieben wurden.
Die Computerprogrammbefehle können außerdem in einem computerlesbaren Medium gespeichert sein, das einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder andere Einheiten anweisen kann, in einer bestimmten Weise zu funktionieren, so dass die in dem computerlesbaren Medium gespeicherten Befehle einen Herstellungsgegenstand produzieren, zu dem Befehle gehören, die die Funktion/Wirkung umsetzen, die in dem Block/den Blöcken des Ablaufplans und/oder Blockschaubilds spezifiziert sind.
Des Weiteren können die Computerprogrammbefehle außerdem in einen Computer, andere programmierbare Datenverarbeitungsvorrichtungen oder andere Einheiten geladen werden, um eine Reihe von Operationsschritten zu bewirken, die auf dem Computer, der anderen programmierbaren Datenverarbeitungsvorrichtung oder anderen Einheiten ausgeführt werden sollen, um einen durch einen Computer umgesetzten Prozess zu erzeugen, so dass die Befehle, die auf dem Computer oder der anderen programmierbaren Vorrichtung ausgeführt werden, Prozesse zum Umsetzen der Funktionen/Wirkungen, die in dem Block oder Blöcken des Ablaufplans und/oder Blockschaubilds spezifiziert sind, bereitstellen.
Im Fall einer Umsetzung der hier genannten Systeme und Verfahren durch Software und/oder Firmware, kann ein Programm, das die Software bildet, in einem Computer mit spezieller Hardware von einem Speichermedium oder einem Netzwerk installiert werden, wobei der Computer in der Lage ist, verschiedene Funktionen auszuführen, falls verschiedene Programme darin installiert sind.
Eine beispielhafte Hardware-Umgebung zur praktischen Realisierung der hier genannten Systeme und Verfahren ist in 6 dargestellt. Diese schematische Zeichnung veranschaulicht eine Hardware-Konfiguration eines Steuerungs/Computer-Systems gemäß hier genannter Systeme und Verfahren. Das System weist wenigstens einen Prozessor oder eine zentrale Verarbeitungseinheit (CPU) 710 auf. Die CPUs 710 sind untereinander über einen Systembus 712, mit verschiedenen Einheiten wie z. B. Direktzugriffsspeicher (RAM) 714, Festwertspeicher (ROM) 716 und einem Eingabe/Ausgabe-(E/A-)Adapter 718 verbunden. Der E/A-Adapter 718 kann mit peripheren Einheiten wie z. B. Platteneinheiten 711 und Bandlaufwerken 713 oder anderen Programm-Speichereinheiten verbunden werden, die von dem System gelesen werden können. Das System kann die erfindungsgemäßen Befehle in den Programm-Speichereinheiten lesen und diese Befehle verfolgen, um die Verfahrensweise der hier genannten Systeme und Verfahren auszuführen.
In 6 führen die CPUs 710 verschiedene Verarbeitungen aus anhand eines Programms, das in einem Festwertspeicher (ROM) 716 gespeichert ist, oder eines Programms, das von einer peripheren Einheit wie z. B. Platteneinheiten 711 und Bandlaufwerken 713 in einen Direktzugriffsspeicher (RAM) 714 geladen wird. In dem RAM 714 sind außerdem gegebenenfalls Daten gespeichert, wenn die CPU 710 die verschiedenen Verarbeitungen dergleichen ausführt. Die CPU 710, der ROM 716 und der RAM 714 sind untereinander über einen Bus 712 verbunden. Ein Eingabe/Ausgabe-Adapter 718 ist außerdem mit dem Bus 712 verbunden, um gegebenenfalls eine Eingabe/Ausgabe-Schnittstelle bereitzustellen. Ein Wechsel-Medium wie z. B. eine Magnetplatte, eine optische Platte, eine magneto-optische Platte, ein Halbleiterspeicher oder dergleichen ist gegebenenfalls in der peripheren Einheit installiert, so dass ein Computerprogramm, das hiervon gelesen wird, gegebenenfalls in dem RAM 714 installiert werden kann.
Das System enthält ferner einen Benutzerschnittstellenadapter 719, der eine Tastatur 715, eine Maus 717, einen Lautsprecher 724, ein Mikrofon 722 und/oder andere Benutzerschnittstelleneinheiten wie z. B. eine (nicht gezeigte) berührungsempfindliche Bildschirmeinheit mit dem Bus 712 verbindet, um Benutzereingaben zu erfassen. Außerdem verbindet ein Datenübertragungsadapter 720, darunter eine Netzwerkschnittstellenkarte wie z. B. eine LAN-Karte, ein Modem oder dergleichen, den Bus 712 mit einem Datenverarbeitungsnetzwerk 725. Der Datenübertragungsadapter 720 führt eine Datenübertragungsverarbeitung über ein Netzwerk wie z. B. das Internet aus. Ein Anzeigenadapter 721 verbindet den Bus 712 mit einer Anzeigeeinheit 723, die z. B. als eine Ausgabeeinheit wie z. B. ein Monitor (wie etwa eine Katodenstrahlröhre (CRT), eine Flüssigkristallanzeige (LCD) oder dergleichen), ein Drucker oder Sender ausgeführt sein kann.
Falls die oben beschriebene Verarbeitungsserie mit Software umgesetzt ist, kann das Programm, das die Software darstellt, von einem Netzwerk wie z. B. das Internet oder einem Speichermedium wie z. B. das Wechsel-Medium installiert werden.
Einem Fachmann ist klar, dass das Speichermedium nicht auf die periphere Einheit beschränkt ist, in der das Programm gespeichert ist wie in 6 dargestellt, das getrennt von der Einheit verteilt wird, um dem Benutzer das Programm bereitzustellen. Zu Beispielen eines Wechsel-Mediums gehören eine Magnetplatte (darunter eine Diskette), eine optische Platte (darunter ein Compact-Disk-Festwertspeicher (CD-ROM) und eine Digital-Versatile-Disk (DVD)), eine magneto-optische Platte (darunter eine Mini-Disk (MD) (eingetragenes Warenzeichen)) und ein Halbleiterspeicher. Bei dem Speichermedium kann es sich alternativ um den ROM 716, eine Festplatte, die in dem Speicherabschnitt 711 enthalten ist oder dergleichen handeln, in dem das Programm gespeichert ist, und das zusammen mit der Einheit, die es enthält, an den Benutzer verteilt wird.
Einem Fachmann ist klar, dass Aspekte der hier genannten Systeme und Verfahren als System, Verfahren oder Computerprogrammprodukt verkörpert werden können. Dementsprechend können Aspekte der vorliegenden Offenbarung die Form eines reinen Hardware-Systems, eines reinen Software-Systems (darunter Firmware, residente Software, Mikrocode usw.) oder eines Systems, das Software- und Hardware-Aspekte kombiniert, annehmen, die hier alle allgemein als ”Schaltung”, ”Modul” oder ”System” bezeichnet werden können. Des Weiteren können Aspekte der vorliegenden Offenbarung die Form eines Computerprogrammprodukts annehmen, das in einem oder mehreren computerlesbaren Medien verkörpert wird, die computerlesbaren Programmcode aufweisen, der darin ausgeführt wird.
Jede Kombination aus einem oder mehreren nichtflüchtigen computerlesbaren Medien kann genutzt werden. Bei dem computerlesbaren Medium kann es sich um ein computerlesbares Signalmedium oder ein computerlesbares Speichermedium handeln. Das nichtflüchtige Computerspeichermedium speichert Befehle und ein Prozessor führt die Befehle aus, um die hier beschriebenen Verfahren auszuführen. Ein computerlesbares Speichermedium kann z. B. ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem, -vorrichtung oder -einheit oder jede geeignete Kombination des Vorhergehenden sein, ist jedoch nicht darauf beschränkt. Zu spezifischeren Beispielen (eine nicht erschöpfende Liste) des computerlesbaren Speichermediums würde Folgendes gehören: eine elektrische Verbindung mit einer oder mehreren Leitungen, eine tragbare Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (RAM), ein Festwertspeicher (ROM), ein löschbarer programmierbarer Festwertspeicher (EPROM oder Flash-Speicher), ein Lichtwellenleiter, eine magnetische Speichereinheit, ein tragbarer Compactdisk-Festwertspeicher (CD-ROM), eine optische Speichereinheit, eine Plug-and-Play-Speichereinheit wie ein USB-Flash-Laufwerk oder jede geeignete Kombination des Vorhergehenden. Im Kontext dieses Dokuments kann ein computerlesbares Speichermedium jedes materielle Medium sein, das ein Programm zur Verwendung durch oder in Verbindung mit einem System, einer Vorrichtung oder einer Einheit zur Befehlsausführung enthalten oder speichern kann.
Ein computerlesbares Signalmedium kann ein sich ausbreitendes Datensignal mit darin verkörpertem computerlesbaren Programmcode enthalten, z. B. im Basisband oder als Teil einer Trägerwelle. Ein derartiges sich ausbreitendes Signal kann jede von einer Vielzahl von Formen annehmen, zu denen elektromagnetische, optische Formen oder jede geeignete Kombination hiervon gehören, jedoch nicht darauf beschränkt sind. Ein computerlesbares Signalmedium kann jedes computerlesbare Medium sein, das kein computerlesbares Speichermedium ist und ein Programm zur Verwendung durch oder in Verbindung mit einem System, einer Vorrichtung oder einer Einheit zur Befehlsausführung kommunizieren, verbreiten oder transportieren kann.
Programmcode, der auf einem computerlesbaren Medium verkörpert ist, kann unter Verwendung jedes geeigneten Mediums übertragen werden, darunter drahtlose, leitungsgestützte, Lichtwellenleiterkabel-, Hochfrequenz-(HF-)Medien usw. oder jede geeignete Kombination aus dem Vorhergehenden, ohne darauf beschränkt zu sein.
Computerprogrammcode zum Ausführen von Operationen für Aspekte der vorliegenden Offenbarung kann in jeder Kombination aus einer oder mehreren Programmiersprachen geschrieben sein, darunter eine objektorientierte Programmiersprache wie Java, Smalltalk, C++ oder dergleichen und herkömmliche prozedurale Programmiersprachen wie etwa die Programmiersprache ”C” oder ähnliche Programmiersprachen. Der Programmcode kann nur auf dem Computer eines Benutzers, teilweise auf dem Computer eines Benutzers, als ein eigenständiges Software-Paket, teilweise auf dem Computer eines Benutzers und teilweise auf einem fernen Computer oder nur auf dem fernen Computer oder Server ausgeführt werden. In dem zuletzt genannten Szenario kann der ferne Computer mit dem Computer des Benutzers durch jeden Netzwerktyp verbunden sein, darunter ein lokales Netzwerk (LAN) oder ein Weitverkehrsnetz (WAN), oder die Verbindung kann zu einem externen Computer (z. B. über das Internet unter Verwendung eines Internet-Dienstanbieters) hergestellt werden.
Der Ablaufplan und die Blockschaubilder in den Figuren veranschaulichen die Architektur, Funktionalität und Operation von möglichen Umsetzungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedener hier genannter Systeme und Verfahren. In diesem Zusammenhang kann jeder Block in dem Ablaufplan oder Blockschaubildern ein Modul, Segment oder Abschnitt von Code repräsentieren, der einen oder mehrere ausführbare Befehle zum Umsetzen der spezifizierten logischen Funktion(en) aufweist. Es sollte außerdem angemerkt werden, dass bei einigen alternativen Umsetzungen die in dem Block angegebenen Funktionen nicht in der in den Figuren angegebenen Reihenfolge auftreten. Zum Beispiel können zwei Blöcke, die nacheinander gezeigt sind, tatsächlich im Wesentlichen gleichzeitig ausgeführt werden oder die Blöcke können gelegentlich in Abhängigkeit von der beteiligten Funktionalität in der umgekehrten Reihenfolge ausgeführt werden. Es wird außerdem angemerkt, dass jeder Block in den Blockschaubildern und/oder Ablaufplan-Darstellungen und Kombinationen von Blöcken in den Blockschaubildern und/oder Ablaufplan-Darstellung durch Systeme, die auf spezieller Hardware basieren, die die spezifizierten Funktionen oder Wirkungen ausführen, oder Kombinationen aus spezieller Hardware und Computerbefehlen umgesetzt werden können.
Einsatztypen enthalten ein direktes Laden in die Client-, Server- und Proxy-Computer über ein Laden eines Speichermediums wie etwa eine CD, eine DVD usw. Die Prozess-Software kann außerdem automatisch oder halbautomatisch in einem Computersystem implementiert werden, indem die Prozess-Software zu einem zentralen Server oder zu einer Gruppe von zentralen Servern gesendet wird. Die Prozess-Software wird anschließend in die Client-Computer heruntergeladen, die die Prozess-Software ausführen. Die Prozess-Software wird dann entweder in ein Verzeichnis abgelegt oder durch eine Schaltfläche in der eMail, die ein Programm ausführt, das die Prozess-Software in ein Verzeichnis ablegt, in ein Verzeichnis geladen. Die Prozess-Software kann alternativ direkt zu einem Verzeichnis in der Festplatte des Client-Computers gesendet werden. Wenn Proxy-Server vorhanden sind, wählt der Prozess den Code des Proxy-Servers aus, ermittelt, auf welchen Computern der Code des Proxy-Servers zu platzieren ist, überträgt den Code des Proxy-Servers und installiert anschließend des Code des Proxy-Servers in dem Proxy-Computer. Die Prozess-Software wird zu dem Proxy-Server übertragen und anschließend in dem Proxy-Server gespeichert.
Obwohl klar ist, dass die Prozess-Software durch direktes Laden in die Client-, Server- und Proxy-Computer über ein Laden eines Speichermediums wie etwa ein CD, DVD usw. implementiert werden kann, kann die Prozess-Software außerdem automatisch oder halbautomatisch in einem Computersystem implementiert werden, indem die Prozess-Software zu einem zentralen Server oder einer Gruppe zentraler Server gesendet wird. Die Prozess-Software wird anschließend in die Client-Computer heruntergeladen, die die Prozess-Software ausführen. Die Prozess-Software wird alternativ über eine eMail direkt zu dem Client-System gesendet. Die Prozess-Software wird dann entweder in ein Verzeichnis abgelegt oder durch eine Schaltfläche in der eMail, die ein Programm ausführt, das die Prozess-Software in ein Verzeichnis ablegt, in ein Verzeichnis geladen. Wenn Proxy-Server vorhanden sind, wählt der Prozess den Code des Proxy-Servers aus, ermittelt, auf welchen Computern der Code des Proxy-Servers zu platzieren ist, überträgt den Code des Proxy-Servers und installiert anschließend den Code des Proxy-Servers in dem Proxy-Computer. Die Prozess-Software wird zu dem Proxy-Server übertragen und anschließend in dem Proxy-Server gespeichert.
In 7 wird im Schritt 800 mit dem Implementieren der Prozess-Software begonnen. Zuerst wird ermittelt, ob Programme vorhanden sind, die sich in einem Server oder in Servern befinden, wenn die Prozess-Software ausgeführt wird 801. Wenn das der Fall ist, werden die Server, die die ausführbaren Dateien enthalten, identifiziert 909. Die Prozess-Software für den oder die Server wird über FTP oder ein anderes Protokoll oder durch Kopieren durch Verwenden eines Systems gemeinsam genutzter Dateien direkt zu dem Speicher des Servers übertragen 910. Die Prozess-Software wird anschließend in den Servern installiert 911.
Anschließend wird ermittelt, ob die Prozess-Software implementiert werden soll, indem die Benutzer auf die Prozess-Software in einem Server oder in Servern zugreifen müssen 802. Wenn die Benutzer auf die Prozess-Software in Servern zugreifen müssen, werden die Server-Adressen identifiziert, an denen die Prozess-Software gespeichert wird 803.
Es wird ermittelt, ob ein Proxy-Server so einzurichten ist 900, dass er die Prozess-Software speichert. Bei einem Proxy-Server handelt es sich um einen Server, der sich zwischen einer Client-Anwendung wie z. B. ein Web-Browser und einem eigentlichen Server befindet. Er empfängt alle Anforderungen an den eigentlichen Server, um zu ermitteln, ob er die Anforderungen selbst erfüllen kann. Wenn das nicht der Fall ist, leitet er die Anforderung zu dem eigentlichen Server weiter. Die beiden Hauptvorteile eines Proxy-Servers sind das Verbessern der Leistung und das Filtern der Anforderungen. Wenn ein Proxy-Server erforderlich ist, wird der Proxy-Server installiert 901. Die Prozess-Software wird entweder über ein Protokoll wie z. B. FTP zu den Servern gesendet oder wird von den Quellendateien zu den Serverdateien über Filesharing direkt kopiert 902. Ein weiteres Verfahren würde darin besteht, eine Transaktion zu den Servern zu senden, die die Prozess-Software enthalten, und zu bewirken, dass der Server die Transaktion ausführt, wobei die Prozess-Software anschließend empfangen und in das Datei-System des Servers kopiert wird. Nachdem die Prozess-Software in den Servern gespeichert wurde, greifen die Benutzer über ihre Client-Computer auf die in den Servern befindliche Prozess-Software zu und kopieren sie in die Datei-Systeme ihrer Client-Computer 903. Bei einem weiteren Verfahren werden die Server veranlasst, die Prozess-Software in jeden Client automatisch zu kopieren und anschließend das Installationsprogramm für die Prozess-Software in jedem Client-Computer ablaufen zu lassen. Die Benutzer führen das Programm aus, das die Prozess-Software in ihrem Client-Computer installiert 912, und beenden dann den Prozess 808.
Im Schritt 804 wird ermittelt, ob die Prozess-Software implementiert werden soll, indem die Prozess-Software via eMail zu Benutzern gesendet wird. Die Gruppe von Benutzern, bei denen die Prozess-Software implementiert wird, wird gemeinsam mit den Adressen der Benutzer-Clientcomputer identifiziert 805. Die Prozess-Software wird via eMail an jeden der Benutzer-Clientcomputer gesendet 904. Die Benutzer empfangen die eMail 905 und legen anschließend die Prozess-Software von der eMail in einem Verzeichnis in ihren Client-Computern ab 906. Die Benutzer führen das Programm aus, das die Prozess-Software in ihrem Client-Computer installiert 912 und beenden daraufhin den Prozess 808.
Schließlich wird ermittelt, ob die Prozess-Software zu Benutzerverzeichnissen in ihren Client-Computern 806 direkt gesendet wird. Wenn das der Fall ist, werden die Benutzerverzeichnisse identifiziert 807. Das kann auf mehrere Arten erfolgen, zu denen ein gemeinsames Nutzen von Verzeichnissen des Dateisystems und daraufhin Kopieren von dem Dateisystem des Absenders in das Dateisystem des empfangenden Benutzers oder alternativ ein Verwenden eines Übertragungsprotokolls wie etwa File Transfer Protokoll (FTP) gehören, jedoch nicht darauf beschränkt ist. Die Benutzer greifen auf die Verzeichnisse in ihren Client-Dateisystemen in Vorbereitung der Installation der Prozess-Software auf ihrem Client-Computern zu 908. Die Benutzer führen das Programm aus, das die Prozess-Software in ihrem Client-Computer installiert und beenden anschließend den Prozess 808.
Die Prozess-Software wird in eine Client-, Server- und Netzwerkumgebung integriert, indem gewährleistet wird, dass die Prozess-Software mit Anwendungen, Betriebssystemen und Netzwerk-Betriebssystemsoftware nebeneinander bestehen, und anschließend wird die Prozess-Software in den Clients und Servern in der Umgebung installiert, in denen die Prozess-Software funktionieren wird.
Der erste Schritt besteht darin, Software bei den Clients und Servern, bei denen die Prozess-Software implementiert wird, darunter das Netzwerk-Betriebssystem, zu identifizieren, die von der Prozess-Software gefordert wird oder die in Verbindung mit der Prozess-Software arbeitet. Dazu gehört das Netzwerk-Betriebssystem, das Software darstellt, die ein Basis-Betriebssystem durch Hinzufügen von Vernetzungsmerkmalen verbessert.
Anschließend werden die Software-Anwendungen und Versionsnummern identifiziert und mit der Liste von Software-Anwendungen und Versionsnummern verglichen, die auf ein Funktionieren mit der Prozess-Software getestet wurden. Diejenigen Software-Anwendungen, die fehlen oder nicht mit der korrekten Version übereinstimmen, werden mit den korrekten Versionsnummern aufgerüstet. Programmbefehle, die Parameter von der Prozess-Software an die Software-Anwendungen weitergeben, werden geprüft, um sicherzustellen, dass die Parameterlisten mit den Parameterlisten übereinstimmen, die von der Prozess-Software gefordert werden. Umgekehrt werden Parameter, die von den Software-Anwendungen zu der Prozess-Software geleitet werden, geprüft, um sicherzustellen, dass die Parameter mit den Parametern übereinstimmen, die von der Prozess-Software gefordert werden. Die Client- und Server-Betriebssysteme, darunter die Netzwerk-Betriebssysteme, werden identifiziert und mit der Liste von Betriebssystemen, Versionsnummern und Netzwerk-Software verglichen, die auf ein Funktionieren mit der Prozess-Software geprüft wurden. Diejenigen Betriebssysteme, Versionsnummern und die Netzwerk-Software, die nicht mit der Liste von getesteten Betriebssystemen und Versionsnummern übereinstimmen, werden in den Clients und Servern auf die geforderte Stufe aufgerüstet.
Nachdem sichergestellt wurde, dass die Software, bei der die Prozess-Software implementiert werden soll, auf der korrekten Versionsstufe ist, die auf ein Funktionieren mit der Prozess-Software getestet wurde, wird die Integration durchgeführt, indem die Prozess-Software bei den Clients und Servern installiert wird.
In 8 wird im Schritt 920 mit der Integration der Prozess-Software begonnen. Zunächst sollte ermittelt werden, ob Prozess-Software-Programme vorhanden sind, die in einem oder mehreren Servern ausgeführt werden 921. Wenn das nicht der Fall ist, geht die Integration vor zu 927. Wenn das der Fall ist, werden die Server-Adressen identifiziert 922. Die Server werden geprüft, um zu ermitteln, ob sie Software enthalten, die das Betriebssystem (OS), Anwendungen und Netzwerk-Betriebssysteme (NOS) gemeinsam mit ihren Versionsnummern enthalten, die mit der Prozess-Software getestet wurden 923. Die Server werden ebenfalls geprüft, um zu ermitteln, ob Software fehlt, die von der Prozess-Software gefordert wird 923.
Es wird ermittelt, ob die Versionsnummern mit den Versionsnummern von Betriebssystem (OS), Anwendungen und Netzwerk-Betriebssystem (NOS) übereinstimmen, die mit der Prozess-Software getestet wurde 924. Wenn sämtliche Versionsnummern übereinstimmen und keine geforderte Software fehlt, wird die Integration bei 927 fortgesetzt.
Wenn eine oder mehrere der Versionsnummern nicht übereinstimmen, werden die nicht übereinstimmenden Versionen in dem Server oder in den Servern mit den korrekten Versionen aktualisiert 925. Wenn außerdem wird dann, wenn benötigte Software fehlt, diese in dem Server oder in den Servern aktualisiert 925. Die Serverintegration wird durch Installieren der Prozess-Software 926 durchgeführt.
Im Schritt 927, der dem Schritt 921 oder 924 oder 926 folgt, wird ermittelt, ob es Programme der Prozess-Software gibt, die in Clients ausgeführt werden. Wenn in den Clients keine Prozess-Software-Programme ausgeführt werden, geht die Integration vor zu 930 und wird beendet. Wenn das nicht der Fall ist, werden die Client-Adressen identifiziert 928.
Die Clients werden geprüft, um zu ermitteln, ob sie Software enthalten, die das Betriebssystem (OS), Anwendungen und Netzwerk-Betriebssysteme (NOS) gemeinsam mit ihren Versionsnummern enthalten, die mit der Prozess-Software getestet wurde 929. Die Clients werden ebenfalls getestet, um zu ermitteln, ob es fehlende Software gibt, die von der Prozess-Software gefordert wird 929.
Es wird ermittelt, ob die Versionsnummern mit den Versionsnummern von OS, Anwendungen und NOS übereinstimmen, die mit der Prozess-Software getestet wurden 931. Wenn sämtliche Versionen übereinstimmen und es keine geforderte Software fehlt, geht der Integrationsprozess zu 930 und endet.
Wenn eine oder mehrere Versionsnummern nicht übereinstimmen, werden die nicht übereinstimmenden Versionen in den Clients mit den korrekten Versionen aufgerüstet. Wenn außerdem geforderte Software fehlt, wird sie in den Clients aktualisiert 932. Die Client-Integration wird durch Installieren der Prozess-Software in den Clients 932 durchgeführt. Die Integration geht vor zu 930 und wird beendet.
Die Prozess-Software kann in einem System gemeinsam genutzter Dateien gespeichert werden, auf das von einem oder mehreren Servern zugegriffen werden kann. Die Prozess-Software wird über Transaktionen ausgeführt, die Daten- und Server-Verarbeitungsanforderungen enthalten, die CPU-Einheiten in dem Server verwenden, auf den ein Zugriff erfolgt. Bei CPU-Einheiten handelt es sich um Zeiteinheiten wie z. B. Minuten, Sekunden, Stunden in dem Zentralprozessor des Servers. Außerdem kann der Server, auf den ein Zugriff erfolgt, Anforderungen von anderen Servern bearbeiten, die CPU-Einheiten fordern. CPU-Einheiten stellen ein Beispiel dar, das eine Verwendungsart repräsentiert. Zu weiteren Verwendungsarten gehören Netzwerk-Bandbreite, Arbeitsspeichernutzung, Speichernutzung, Pakettransfers, vollständige Transaktionen usw., ohne auf diese beschränkt zu sein. Wenn mehrere Benutzer dieselbe Prozess-Software-Anwendung verwenden, werden ihre Transaktionen durch Parameter unterschieden, die in den Transaktionen enthalten sind, die den eindeutigen Kunden und den Typ des Dienstes für diesen Kunden identifizieren. Sämtliche CPU-Einheiten und weitere Verwendungsarten, die für die Dienste für jeden Kunden verwendet werden, werden aufgezeichnet. Wenn die Anzahl von Transaktionen für irgendeinen Server eine Anzahl erreicht, die die Leistungsfähigkeit dieses Servers zu beeinträchtigen beginnt, wird auf weitere Server zugegriffen, um die Kapazität zu erhöhen und die Arbeitslast zu teilen. Wenn in ähnlicher Weise weitere Nutzungsmesswerte wie z. B. Netzwerk-Bandbreite, Arbeitsspeichernutzung, Speichernutzung usw. sich einem Kapazitätswert annähern, der die Leistungsfähigkeit beeinträchtigen könnte, werden zusätzliche Netzwerk-Bandbreite, zusätzliche Arbeitsspeichernutzung, zusätzlicher Speicher usw. bereitgestellt, um die Arbeitslast zu teilen. Die Nutzungsmesswerte für jeden Dienst und jeden Kunden werden zu einem Sammelserver gesendet, der die Nutzungsmesswerte für jeden Kunden und jeden Dienst aufsummiert, der irgendwo im Netzwerk von Servern verarbeitet wurde, das die gemeinsame Ausführung der Prozess-Software bereitstellt. Die gesammelten Einheiten der Nutzungsmesswerte werden periodisch mit den Einheitenkosten multipliziert, und die resultierenden Gesamt-Dienstkosten der Prozess-Software-Anwendung werden alternativ zu dem Kunden gesendet und/oder auf einer Webseite angegeben, auf die der Kunde zugreift, der dann eine Zahlung an den Dienstanbieter anweist. Bei einem weiteren Verfahren fordert der Dienstanbieter die Zahlung direkt von einem Kundenkonto bei einem Bank- oder Finanzinstitut. Wenn es sich bei einem weiteren Verfahren bei dem Dienstanbieter außerdem um einen Kunden des Kunden handelt, der die Prozess-Software-Anwendung verwendet, wird die Zahlung, die der Dienstanbieter schuldet, auf seine Zahlungsforderungen angerechnet, um den Zahlungstransfer auf ein Mindestmaß zu beschränken.
Die Prozess-Software wird gemeinsam genutzt, wobei mehrere Kunden in einer flexiblen automatisierten Weise gleichzeitig bedient werden. Sie ist standardisiert, erfordert eine geringe Kundenanpassung und ist skalierbar, wobei Kapazität auf Abruf bei einem Modell Pay-as-you-go (Zahlen nach Aufwand) bereitgestellt wird.
Die Prozess-Software kann in einem System gemeinsam genutzter Dateien gespeichert werden, auf das von einem oder mehreren Servern zugegriffen werden kann. Die Prozess-Software wird über Transaktionen ausgeführt, die Daten- und Server-Verarbeitungsanforderungen enthalten, die CPU-Einheiten in dem Server verwenden, auf den ein Zugriff erfolgt. Bei CPU-Einheiten handelt es sich um Zeiteinheiten wie z. B. Minuten, Sekunden, Stunden in dem Zentralprozessor des Servers. Außerdem kann der Server, auf den ein Zugriff erfolgt, Anforderungen von anderen Servern bearbeiten, die CPU-Einheiten fordern. CPU-Einheiten stellen ein Beispiel dar, das einen Nutzungsmesswert repräsentiert. Zu weiteren Nutzungsmesswerten gehören Netzwerk-Bandbreite, Arbeitsspeichernutzung, Speichernutzung, Pakettransfers, vollständige Transaktionen usw., ohne auf diese beschränkt zu sein.
Wenn mehrere Benutzer dieselbe Prozess-Software-Anwendung in Anspruch nehmen, werden ihre Transaktionen durch Parameter unterschieden, die in den Transaktionen enthalten sind, die den eindeutigen Kunden und den Typ des Dienstes für diesen Kunden identifizieren. Sämtliche CPU-Einheiten und weitere Nutzungsmesswerte, die für die Dienste für jeden Kunden verwendet werden, werden aufgezeichnet. Wenn die Anzahl von Transaktionen für irgendeinen Server eine Anzahl erreicht, die die Leistungsfähigkeit dieses Servers zu beeinträchtigen beginnt, wird auf weitere Server zugegriffen, um die Kapazität zu erhöhen und die Arbeitslast zu teilen. Wenn in ähnlicher Weise weitere Nutzungsmesswerte wie z. B. Netzwerk-Bandbreite, Arbeitsspeichernutzung, Speichernutzung usw. sich einem Kapazitätswert annähern, der die Leistungsfähigkeit beeinträchtigen könnte, werden zusätzliche Netzwerk-Bandbreite, zusätzliche Arbeitsspeichernutzung, zusätzlicher Speicher usw. bereitgestellt, um die Arbeitslast zu teilen.
Die Nutzungsmesswerte für jeden Dienst und jeden Kunden werden zu einem Sammelserver gesendet, der die Nutzungsmesswerte für jeden Kunden und jeden Dienst aufsummiert, der irgendwo im Netzwerk von Servern verarbeitet wurde, das die gemeinsame Ausführung der Prozess-Software bereitstellt. Die gesammelten Einheiten der Nutzungsmesswerte werden periodisch mit den Einheitenkosten multipliziert und die resultierenden Gesamt-Dienstkosten der Prozess-Software-Anwendung werden alternativ zu dem Kunden gesendet und/oder auf einer Webseite angegeben, auf die der Kunde zugreift, der dann eine Zahlung an den Dienstanbieter anweist.
Bei einem weiteren Verfahren fordert der Dienstanbieter die Zahlung direkt von einem Kundenkonto bei einem Bank- oder Finanzinstitut.
Wenn es sich bei einem weiteren Verfahren bei dem Dienstanbieter außerdem um einen Kunden des Kunden handelt, der die Prozess-Software-Anwendung verwendet, wird die Zahlung, die der Dienstanbieter schuldet, auf seine Zahlungsforderungen angerechnet, um den Zahlungstransfer auf ein Mindestmaß zu beschränken.
In 9 beginnt im Schritt 940 der On-Demand-Prozess. Eine Transaktion wird erzeugt, die die eindeutige Kundenkennung, den geforderten Diensttyp und alle Dienstparameter enthält, die den Typ des Dienstes weiter spezifizieren 941. Die Transaktion wird dann zu dem Hauptserver gesendet 942. Bei dem Hauptserver kann es sich bei einer On-Demand-Umgebung um den einzigen Server handeln, wobei dann, wenn Kapazität in Anspruch genommen wird, der On-Demand-Umgebung weitere Server hinzugefügt werden.
Die Serverkapazitäten der Zentraleinheit (CPU) in der On-Demand-Umgebung werden abgefragt 943. Die CPU-Inanspruchnahme der Transaktion wird geschätzt, anschließend wird die verfügbare CPU-Kapazität der Server in der On-Demand-Umgebung mit der CPU-Inanspruchnahme der Transaktion verglichen, um zu ermitteln, ob in einem Server eine ausreichende CPU-Kapazität zum Verarbeiten der Transaktion zur Verfügung steht. Wenn keine ausreichende CPU-Kapazität für Transaktionen zur Verfügung steht, wird zusätzliche Server-CPU-Kapazität zum Verarbeiten der Transaktion zugewiesen 948. Wenn bereits ausreichende CPU-Kapazität zur Verfügung steht, wird die Transaktion zu einem ausgewählten Server gesendet 945.
Vor einem Ausführen der Transaktion wird die restliche On-Demand-Umgebung geprüft, um zu ermitteln, ob die Umgebung eine ausreichende verfügbare Kapazität zum Verarbeiten der Transaktion aufweist. Bei dieser Kapazität der Umgebung handelt es sich um Netzwerk-Bandbreite, Prozessorspeicher, Speicher usw., ist jedoch nicht darauf beschränkt 946. Wenn keine ausreichende Kapazität zur Verfügung steht, wird der On-Demand-Umgebung Kapazität hinzugefügt 947. Anschließend wird auf die erforderliche Software zum Verarbeiten der Transaktion zugegriffen, diese in einen Speicher geladen und die Transaktion wird ausgeführt 949.
Die Nutzungsmesswerte werden aufgezeichnet 950. Die Nutzungsmesswerte enthalten die Abschnitte jener Funktionen in der On-Demand-Umgebung, die zum Verarbeiten der Transaktion verwendet werden. Die Verwendung derartiger Funktionen wie z. B. Netzwerk-Bandbreite, Prozessorspeicher, Speicher und CPU-Zyklen wird aufgezeichnet, ohne darauf beschränkt zu sein. Die Nutzungsmesswerte werden summiert, mit den Kosten pro Einheit multipliziert und anschließend als Gebühr für den anfordernden Kunden aufgezeichnet 951. Wenn der Kunde fordert, dass die On-Demand-Kosten zu einer Webseite gebucht werden 952, werden sie gebucht 953.
Wenn der Kunde fordert, dass die On-Demand-Kosten per eMail zu einer Kundenadresse gesendet werden 954, werden sie gesendet 955. Wenn der Kunde fordert, dass die On-Demand-Kosten direkt von einem Kundenkonto bezahlt werden 956, wird die Zahlung direkt von einem Kundenkonto erhalten 957. Der letzte Schritt ist das Beenden des On-Demand-Prozesses 958.
Die Prozess-Software kann implementiert werden, auf sie kann zugegriffen werden, und sie kann ausgeführt werden durch die Verwendung eines virtuellen privaten Netzwerks (VPN), wobei es sich dabei um eine beliebige Kombination von Technologien handelt, die verwendet werden können, um eine Verbindung über ein ansonsten ungesichertes und unzuverlässiges Netzwerk sicherzustellen. Die Verwendung von VPNs dient zum Verbessern der Sicherheit und vermindert Betriebskosten. Das VPN verwendet ein öffentliches Netzwerk, üblicherweise das Internet, um ferne Stellen und Benutzer untereinander zu verbinden. Anstelle der Verwendung einer speziellen realen Verbindung wie z. B. eine geleaste Leitung verwendet das VPN „virtuelle” Verbindungen, die über das Internet von dem privaten Netzwerk der Firma zu der fernen Stelle oder zu dem fernen Beschäftigten geleitet werden.
Die Prozess-Software kann implementiert werden, auf sie kann zugegriffen werden, und sie kann ausgeführt werden durch ein Fernzugriff-VPN oder ein Site-to-Site-VPN. Wenn Fernzugriff-VPNs verwendet werden, wird die Prozess-Software implementiert, auf sie wird zugegriffen, und sie wird ausgeführt über die sicheren verschlüsselten Verbindungen zwischen einem privaten Netzwerk einer Firma und fernen Benutzern durch einen dritten Dienstanbieter. Der Dienstanbieter eines Unternehmens (enterprise) (ESP) richtet einen Netzwerk-Zugriffserver (NAS) ein und stellt den fernen Benutzern Desktop-Client-Software für ihre Computer bereit. Die Telearbeiter (telecommuters) können dann eine gebührenfreie Nummer wählen oder sich über ein Kabel oder ein DSL-Modem direkt anschließen, um den NAS zu erreichen und seine VPN-Client-Software zu nutzen, um auf das gemeinsame Netzwerk zuzugreifen und um auf die Prozess-Software zuzugreifen, diese herunterzuladen und die Prozess-Software auszuführen.
Wenn das Site-to-Site-Netzwerk verwendet wird, wird die Prozess-Software implementiert, auf sie wird zugegriffen, und sie wird durch die Verwendung von spezieller Ausrüstung und umfangreicher Verschlüsselung ausgeführt, die verwendet wird, um mehrere feste Stellen einer Firma über ein öffentliches Netzwerk wie z. B. das Internet zu verbinden.
Die Prozess-Software wird über das VPN mittels Tunneln (tunneling) transportiert, wobei es sich dabei um einen Prozess handelt, bei dem ein gesamtes Paket in ein anderes Paket implementiert und dieses über ein Netzwerk versendet wird. Das Protokoll des äußeren Pakets wird von dem Netzwerk und an beiden als Tunnel-Schnittstellen bezeichneten Punkten verstanden, an denen das Paket in das Netzwerk eintritt und dieses verlässt.
In den 10 und 11 beginnt am Schritt 960 der Prozess des Virtuellen Privaten Netzwerks (VPN). Es wird festgestellt, ob ein VPN für einen Fernzugriff erforderlich ist 961. Wenn es nicht erforderlich ist, gehe zu 962. Wenn es erforderlich ist, ermittle, ob das Fernzugriff-VPN vorhanden ist 964.
Wenn es nicht vorhanden ist, gehe zu 965. Andernfalls identifiziere den Dritt-Anbieter, der die sicheren verschlüsselten Verbindungen zwischen dem privaten Netzwerk der Firma und den fernen Benutzern der Firma bereitstellt. Die fernen Benutzer der Firma werden identifiziert 977. Der Dritt-Anbieter richtet dann einen Netzwerk-Zugriffsserver (NAS) 978 ein, der es den fernen Benutzern ermöglicht, eine gebührenfreie Nummer zu wählen oder über ein Kabel- oder DSL-Modem direkt eine Verbindung herzustellen, um auf die Desktop-Client-Software für das Fernzugriff-VPN zuzugreifen, diese herunterzuladen und zu installieren 979.
Nachdem das Fernzugriff-VPN gebildet wurde oder falls es zuvor installiert wurde, können die fernen Benutzer auf die Prozess-Software zugreifen, indem sie sich in das NAS einwählen oder über ein Kabel oder ein DSL-Modem mit dem NAS direkt eine Verbindung herstellen 965. Das ermöglicht einen Zugang zu dem gemeinsamen Netzwerk, in dem auf die Prozess-Software zugegriffen wird 966. Die Prozess-Software wird mittels Tunneln über das Netzwerk zu dem Desktop des fernen Benutzers transportiert. Das heißt, die Prozess-Software wird in Pakete unterteilt, und jedes Paket, das die Daten und das Protokoll enthält, wird in einem weiteren Paket platziert 967. Wenn die Prozess-Software an dem Desktop des fernen Benutzers eintrifft, wird sie aus den Paketen entnommen, neu zusammengesetzt und auf dem Desktop des fernen Benutzers ausgeführt 968.
Es wird ermittelt, ob ein VPN für einen Site-to-Site-Zugriff erforderlich ist 962. Wenn es nicht erforderlich ist, verlasse den Prozess 963, andernfalls ermittle, ob das Site-to-Site-VPN vorhanden ist 969. Wenn es vorhanden ist, gehe zu 972. Andernfalls installiere die spezielle Ausrüstung, die zum Einrichten eines Site-to-Site-VPN benötigt wird 970. Richte anschließend die umfangreiche Verschlüsselung im VPN ein 971.
Nachdem das Site-to-Site-VPN aufgebaut wurde oder falls es vorher eingerichtet wurde, greift der Benutzer über das VPN auf die Prozess-Software zu 972. Die Prozess-Software wird mittels Tunneln über das Netzwerk zu den Benutzern der Stelle transportiert 973. Das heißt, die Prozess-Software wird in Pakete unterteilt und jedes Paket, das die Daten und das Protokoll enthält, wird in einem weiteren Paket platziert 974. Wenn die Prozess-Software an dem Desktop des fernen Benutzers eintrifft, wird sie aus den Paketen entnommen, neu zusammengesetzt und auf dem Desktop des fernen Benutzers ausgeführt 975. Verlasse den Prozess 963.
Die hier verwendete Terminologie dient lediglich dem Zweck der Beschreibung bestimmter Ausführungsformen und ist nicht vorgesehen, die Erfindung einzuschränken. Es ist vorgesehen, dass die hier verwendeten Singularformen ”ein” und ”der/die/das” ebenso die Pluralformen einschließen, falls im Kontext nicht anders deutlich angegeben. Es ist ferner klar, dass die Ausdrücke ”weist auf” und/oder ”aufweisen”, wenn sie in dieser Beschreibung verwendet werden, das Vorhandensein von angegebenen Merkmalen, Ganzzahlen, Schritten, Operationen, Elementen und/oder Komponenten spezifizieren, jedoch nicht das Vorhandensein oder die Hinzufügung von einem oder mehreren anderen Merkmalen, Ganzzahlen, Schritten, Operationen, Elementen, Komponenten und/oder Gruppen hiervon ausschließen.
Es ist vorgesehen, dass die entsprechenden Strukturen, Materialien, Wirkungen und Ersetzungen aller Mittel oder Schritte plus Funktionselementen in den nachfolgenden Ansprüchen jede Struktur, jedes Material oder jede Wirkung zum Ausführen der Funktion in Kombination mit anderen beanspruchten Elementen in der speziell beanspruchten Weise enthalten. Die Beschreibung der verschiedenen Systeme und Verfahren wurde hier für Zwecke der Erläuterung dargestellt, es ist jedoch nicht vorgesehen, dass sie für die beschriebenen Systeme und Verfahren erschöpfend oder einschränkend ist. Viele Modifikationen und Variationen sind für einen Fachmann vorstellbar, ohne von dem Umfang und dem Erfindungsgedanken der beschriebenen Systeme und Verfahren abzuweichen. Die hier beschriebene Terminologie wurde ausgewählt, um die Grundgedanken der Systeme und Verfahren, die praktische Anwendung oder technische Verbesserungen gegenüber am Markt vorhandenen Technologien am besten zu erläutern oder um andere Fachleute zu befähigen, die hier beschriebenen Systeme und Verfahren zu verstehen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

http://www.isi.edu/.about.hobbs/muc5-generic-final.pdf [0033]
http://gate.ac.uk/sale/taln02/taln-ws-coref.pdf [0033]

Claims

Verfahren, das aufweist: Empfangen einer Frage in einer computergestützten Einheit; Ermitteln eines LAT der Frage unter Verwendung der computergestützten Einheit, wobei es sich bei dem LAT der Frage um einen lexikalischen Antworttyp handelt, der der Frage zugehörig ist; Identifizieren einer möglichen Antwort auf die Frage unter Verwendung der computergestützten Einheit; automatisches Ermitteln vorläufiger Typen für die mögliche Antwort unter Verwendung erster Komponenten der computergestützten Einheit, wobei die ersten Komponenten unterschiedliche Verfahren verwenden, um die vorläufigen Typen zu erzeugen und jede der ersten Komponenten einen vorläufigen Typ erzeugt; automatisches Bewerten einer Übereinstimmung zwischen dem vorläufigen Typ und dem LAT der Frage unter Verwendung der computergestützten Einheit, wobei jede der ersten Komponenten eine erste Typ-Bewertungszahl erzeugt, wobei die erste Typ-Bewertungszahl ein Maß der Übereinstimmung zwischen dem vorläufigen Typ und dem LAT der Frage repräsentiert, wobei die Bewertung anhand dessen unterschieden wird, welche der ersten Komponenten den vorläufigen Typ erzeugt; automatisches Beurteilen jedes vorläufigen Typs und jeder ersten Typ-Bewertungszahl unter Verwendung zweiter Komponenten der computergestützten Einheit, wobei jede der zweiten Komponenten eine zweite Bewertungszahl anhand einer Verknüpfung der ersten Typ-Bewertungszahl und einer Maßzahl dafür, dass der vorläufige Typ mit dem LAT der Frage übereinstimmt, wobei die zweiten Komponenten unterschiedliche Verfahren verwenden, um die zweite Bewertungszahl zu erzeugen; automatisches Berechnen einer endgültigen Bewertungszahl anhand der zweiten Bewertungszahl von jeder der zweiten Komponenten unter Verwendung der computergestützten Einheit; und automatisches Ausgeben der endgültigen Bewertungszahl, die ein Maß der Sicherheit repräsentiert, dass die mögliche Antwort von einem Typ ist, der mit dem LAT der Frage übereinstimmt, unter Verwendung der computergestützten Einheit.
Verfahren nach Anspruch 1, das ferner aufweist: Ausführen einer automatisierten Abfrage-Analyse, um den LAT der Frage unter Verwendung der computergestützten Einheit zu ermitteln.
Verfahren nach Anspruch 1, wobei das Bewerten ferner aufweist: Überprüfen der möglichen Antwort auf Übereinstimmung mit Instanzen in einem Datenkorpus unter Verwendung der computergestützten Einheit; Abrufen vorläufiger Typen aus dem Datenkorpus unter Verwendung der computergestützten Einheit, wobei die vorläufigen Typen den Instanzen zugehörig sind; Überprüfen des Frage-Typs auf Übereinstimmung mit den vorläufigen Typen, die aus dem Datenkorpus abgerufen werden, unter Verwendung der computergestützten Einheit; und Erzeugen von Bewertungszahlen, die ein Maß der Übereinstimmung zwischen dem LAT der Frage und den vorläufigen Typen für die mögliche Antwort repräsentieren, unter Verwendung der computergestützten Einheit.
Verfahren nach Anspruch 1, wobei die ersten Komponenten Typerzwingungskomponenten enthalten, die unterschiedliche Verfahrensweisen der ressourcenspezifischen Typklassifizierung aufweisen, um die Maßzahl dafür zu bewerten, dass der vorläufige Typ mit dem LAT der Frage übereinstimmt, wobei das Bewerten ferner ein Vergleichen des vorläufigen Typs mit dem LAT der Frage, um die erste Typ-Bewertungszahl für jede Typerzwingungskomponente zu erzeugen, und eine automatisierte Bewertungsfunktion der computergestützten Einheit aufweist.
Verfahren nach Anspruch 1, das ferner ein automatisches Auflösen der zweiten Bewertungszahl aus jeder der zweiten Komponenten zu einer einzigen endgültigen Bewertungszahl unter Verwendung einer Aggregationsfunktion unter Verwendung der computergestützten Einheit aufweist.
Verfahren nach Anspruch 1, das ferner aufweist, dass die zweiten Komponenten automatisch ermitteln, ob es sich bei den vorläufigen Typen um Subtypen des LAT der Frage handelt anhand dessen, wie gut die vorläufigen Typen mit dem LAT der Frage übereinstimmen, unter Verwendung der computergestützten Einheit.
Verfahren, das aufweist: automatisches identifizieren eines lexikalischen Antworttyps einer Frage (LAT) für eine Frage in einem Frage-Beantwortungs-System unter Verwendung einer computergestützten Einheit; automatisches Erzeugen einer möglichen Antwort auf die Frage unter Verwendung der computergestützten Einheit; automatisches Ermitteln vorläufiger Typen für die mögliche Antwort unter Verwendung erster Komponenten der computergestützten Einheit, wobei die ersten Komponenten unterschiedliche Ressourcen verwenden, um die vorläufigen Typen zu erzeugen und jede der ersten Komponenten einen vorläufigen Typ für die mögliche Antwort erzeugt; automatisches Bewerten einer Übereinstimmung zwischen dem vorläufigen Typ und dem LAT der Frage unter Verwendung der ersten Komponenten der computergestützten Einheit und Erzeugen einer ersten Typ-Bewertungszahl für jeden vorläufigen Typ anhand einer Maßangabe, dass der vorläufige Typ dem LAT der Frage entspricht, wobei die ersten Komponenten unterschiedliche Ressourcen verwenden, um die erste Typ-Bewertungszahl für den vorläufigen Typ zu erzeugen, und wobei die Bewertung anhand dessen unterschieden wird, welche der ersten Komponenten den vorläufigen Typ erzeugt; wobei jede der zweiten Komponenten jeden vorläufigen Typ und die erste Typ-Bewertungszahl aus allen ersten Komponenten unter Verwendung der computergestützten Einheit beurteilt, wobei jede der zweiten Komponenten eine zweite Bewertungszahl für den vorläufigen Typ für die mögliche Antwort anhand einer Verknüpfung der ersten Typ-Bewertungszahl und einer Maßzahl erzeugt, dass der vorläufige Typ mit dem LAT der Frage übereinstimmt; und automatisches Ausgeben einer endgültigen Bewertungszahl anhand der zweiten Bewertungszahl von jeder der zweiten Komponenten, wobei die endgültige Bewertungszahl ein Maß der Sicherheit repräsentiert, dass die mögliche Antwort von einem Typ ist, der mit dem LAT der Frage übereinstimmt, unter Verwendung der computergestützten Einheit.
Verfahren nach Anspruch 7, das ferner aufweist: Empfangen einer Frage in der computergestützten Einheit; und Ausführen einer automatisierten Anfrage-Analyse, um den LAT der Frage zu ermitteln, unter Verwendung der computergestützten Einheit.
Verfahren nach Anspruch 7, wobei das Frage-Beantwortungssystem ferner einen Datenkorpus aufweist, wobei das Verfahren ferner aufweist: automatisches Erzeugen der möglichen Antwort auf die Frage unter Verwendung des Datenkorpus unter Verwendung der computergestützten Einheit.
Verfahren nach Anspruch 9, wobei das Bewerten ferner aufweist: Überprüfen der möglichen Antwort auf Übereinstimmung mit Instanzen in dem Datenkorpus unter Verwendung der computergestützten Einheit; Abrufen vorläufiger Typen von dem Datenkorpus unter Verwendung der computergestützten Einheit, wobei die vorläufigen Typen den Instanzen zugehörig sind; Überprüfen des LAT der Frage auf Übereinstimmung mit vorläufigen Typen, die von dem Datenkorpus abgerufen werden, unter Verwendung der computergestützten Einheit; und Erzeugen von Bewertungszahlen, die ein Maß der Übereinstimmung zwischen dem LAT der Frage und den vorläufigen Typen repräsentieren, unter Verwendung der computergestützten Einheit.
Verfahren nach Anspruch 7, wobei die ersten Komponenten Typerzwingungskomponenten enthalten, die unterschiedliche Verfahrensweisen zur ressourcenspezifischen Typklassifizierung aufweisen, um das Ausmaß zu bewerten, dass der vorläufige Typ mit dem LAT der Frage übereinstimmt, wobei ein Bewerten ferner ein Vergleichen des vorläufigen Typs mit dem LAT der Frage aufweist, um die erste Typ-Bewertungszahl für den vorläufigen Typ unter Verwendung der Typerzwingungskomponenten und einer automatisierten Bewertungsfunktion der computergestützten Einheit zu erzeugen.
Verfahren nach Anspruch 7, das ferner ein automatisches Auflösen der zweiten Bewertungszahl von jeder der zweiten Komponenten in eine einzige endgültige Bewertungszahl unter Verwendung einer Aggregationsfunktion unter Verwendung der computergestützten Einheit aufweist.
Verfahren nach Anspruch 7, das ferner aufweist: die zweiten Komponenten, die unter Verwendung der computergestützten Einheit ermitteln, ob es sich bei den vorläufigen Typen um einen Subtyp des LAT der Frage handelt anhand dessen, wie gut die vorläufigen Typen mit dem LAT der Frage übereinstimmen.
Computersystem zum Ermitteln einer Sicherheits-Bewertungszahl für mögliche Antworten auf Fragen in einem Frage-Beantwortungssystem, wobei das Computersystem aufweist: ein automatisiertes Frage-Beantwortungssystem (QA-System), das aufweist: ein Anfrage-Analysemodul; eine Erzeugungseinrichtung einer möglichen Antwort, die mit dem Anfrage-Analysemodul funktionsmäßig verbunden ist; und einen Prozessor, der aufweist: eine Vielzahl erster Komponenten; eine Vielzahl zweiter Komponenten, die mit der Vielzahl erster Komponenten funktionsmäßig verbunden ist; und eine Klassifizierungseinrichtung, die mit der zweiten Vielzahl zweiter Komponenten funktionsmäßig verbunden ist; und eine Benutzer-Schnittstelle, die mit dem Anfrage-Analysemodul funktionsmäßig verbunden ist, wobei die Benutzer-Schnittstelle eine Frage an das automatisierte QA-System empfängt, wobei das Anfrage-Analysemodul einen lexikalischen Antworttyp der Frage (LAT) für die Frage ermittelt; die Erzeugungseinrichtung möglicher Antworten eine mögliche Antwort auf die Frage automatisch berechnet; der Prozessor einen vorläufigen Typ für die mögliche Antwort aus jeder aus der Vielzahl erster Komponenten automatisch berechnet, wobei die ersten Komponenten unterschiedliche Verfahren verwenden, um den vorläufigen Typ zu erzeugen; wobei der Prozessor einen vorläufigen Typ für die mögliche Antwort aus jeder von der Vielzahl erster Komponenten automatisch berechnet, wobei die ersten Komponenten unterschiedliche Verfahren zum Erzeugen des vorläufigen Typs verwenden; wobei der Prozessor eine Übereinstimmung zwischen dem vorläufigen Typ und dem LAT der Frage automatisch berechnet, um eine erste Typ-Bewertungszahl aus jeder Vielzahl erster Komponenten anhand einer Maßzahl zu erzeugen, dass der vorläufige Typ dem LAT der Frage entspricht, wobei die Bewertung anhand dessen unterschieden wird, welche Komponente aus der Vielzahl erster Komponenten den vorläufigen Typ erzeugt, wobei derselbe vorläufige Typ eine andere Typ-Bewertungszahl empfängt anhand von Unterschieden zwischen den Komponenten, die denselben vorläufigen Typ erzeugen; wobei der Prozessor jeden vorläufigen Typ und die erste Typ-Bewertungszahl von jeder aus der Vielzahl erster Komponenten unter Verwendung von jeder aus der Vielzahl zweiter Komponenten automatisch beurteilt und eine zweite Bewertungszahl für den vorläufigen Typ anhand einer Maßzahl, dass der vorläufige Typ mit dem LAT der Frage übereinstimmt, für jede aus der Vielzahl zweiter Komponenten erzeugt; und der Prozessor eine endgültige Bewertungszahl für den vorläufigen Typ von der Klassifizierungseinrichtung anhand der zweiten Bewertungszahl für den vorläufigen Typ von jeder aus der Vielzahl zweiter Komponenten automatisch ausgibt.
System nach Anspruch 14, wobei das automatisierte QA-System ferner einen Datenkorpus aufweist, wobei die Erzeugungseinrichtung möglicher Antworten eine mögliche Antwort auf die Frage unter Verwendung des Datenkorpus automatisch berechnet.
Computerprogrammprodukt zum Ermitteln einer Sicherheits-Bewertungszahl für mögliche Antworten auf Fragen in einem Frage-Beantwortungssystem, wobei das Computerprogrammprodukt ein materielles computerlesbares Speichermedium mit Programmcode aufweist, der darin verkörpert ist, wobei der Programmcode durch einen Computer gelesen und ausgeführt werden kann, um ein Verfahren auszuführen, das aufweist: Empfangen einer Frage in einer computergestützten Einheit; Ermitteln eines LAT der Frage, wobei es sich bei dem LAT der Frage um einen lexikalischen Antworttyp handelt, der der Frage zugehörig ist; Identifizieren einer möglichen Antwort auf die Frage; automatisches Ermitteln vorläufiger Typen für die mögliche Antwort unter Verwendung erster Komponenten der computergestützten Einheit, wobei die ersten Komponenten unterschiedliche Verfahren verwenden, um die vorläufigen Typen zu erzeugen und jede der ersten Komponenten einen vorläufigen Typ erzeugt; automatisches Bewerten einer Übereinstimmung zwischen dem vorläufigen Typ und dem LAT der Frage, wobei jede der ersten Komponenten eine erste Typ-Bewertungszahl erzeugt, wobei die erste Typ-Bewertungszahl ein Maß der Übereinstimmung zwischen dem vorläufigen Typ und dem LAT der Frage repräsentiert, wobei das Bewerten anhand dessen unterschieden wird, welche der ersten Komponenten den vorläufigen Typ erzeugt; automatisches Beurteilen jedes vorläufigen Typs und jeder ersten Bewertungszahl unter Verwendung zweiter Komponenten der computergestützten Einheit, wobei jede der zweiten Komponenten eine zweite Bewertungszahl anhand einer Verknüpfung der ersten Typ-Bewertungszahl und einer Maßzahl, dass der vorläufige Typ mit dem LAT der Frage übereinstimmt, erzeugt, wobei die zweiten Komponenten unterschiedliche Verfahren verwenden, um die zweite Bewertungszahl zu erzeugen; automatisches Berechnen einer endgültigen Bewertungszahl anhand der zweiten Bewertungszahl von jeder der zweiten Komponenten; und automatisches Ausgeben der endgültigen Bewertungszahl, die ein Maß der Sicherheit repräsentiert, das die mögliche Antwort von einem Typ ist, der mit dem LAT der Frage übereinstimmt.