DE102019220056A1

DE102019220056A1 - Domänenwissensinjektion in halb-schwarmausgelagerte unstrukturierte datenzusammenfassung für diagnose und reparatur

Info

Publication number: DE102019220056A1
Application number: DE102019220056.7A
Authority: DE
Inventors: Wan-Yi Lin; Ji Eun Kim; Lisa Yu
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-12-28
Filing date: 2019-12-18
Publication date: 2020-07-02
Also published as: CN111400485A; US20200210855A1

Abstract

Ein Informationssynthesesystem zum Erzeugen einer Wissensbasis injiziert Domänenwissen in halb-schwarmausgelagerte Zusammenfassungspipelines zum Extrahieren von Informationen aus unstrukturierten Datenquellen. Die Zusammenfassungspipeline umfasst Ketten von Aufgaben, die durch Schwarmarbeiter und/oder Maschinen durchgeführt werden. Das Informationssynthesesystem verteilt die Aufgaben an Schwarmarbeiter und/oder Maschinen. Aufgabenantworten werden verarbeitet und gebündelt, um neue Informationen zu bestimmen, die verwendet werden, um die Wissensbasis zu aktualisieren.

Description

TECHNISCHES GEBIET
Diese Anmeldung bezieht sich allgemein auf ein System zum Injizieren von Domänenwissen und Erzeugen von Aufgaben für schwarm- und maschinenausgelagerte Datenzusammenfassung.
STAND DER TECHNIK
Produkte können aus vielen Komponenten aufgebaut sein, von denen einige reparierbar und/oder ersetzbar sein können. Darüber hinaus sind Produkte immer komplizierter zu betreiben. Während des Betriebs können Produkte aus verschiedenen Gründen nicht wie beabsichtigt arbeiten. Beispielsweise kann eine Komponente verschlissen oder gebrochen sein, was zu einem unsachgemäßen oder nicht vorhandenen Betrieb des Produkts führen kann. Einige Produkte können Selbstdiagnosemerkmale umfassen. Die Selbstdiagnosemerkmale können das Produkt veranlassen, einen Fehlercode zu speichern und/oder anzuzeigen, der für das Problem indikativ sein kann. In anderen Fällen kann das Produkt Probleme oder Symptome zeigen, ohne einen Fehlercode zu speichern.
Eine typische Prozedur kann Lesen des Fehlercodes und Beeinflussen der Reparatur basierend auf dem Fehlercode umfassen. In einigen Fällen kann der Fehlercode indikativ für mehrere Probleme sein. Weitere Diagnose und Problembehandlung kann erforderlich sein, um die Ursache des Problems zu bestimmen. In anderen Fällen haben die Probleme/Symptome möglicherweise keinen verknüpften Fehlercode. In einigen Fällen kann ein Problem durch die Diagnose- und Reparaturprozeduren des Herstellers nicht nachvollzogen werden. Produktdiagnose- und - reparaturdokumentationen werden typischerweise durch Domänenexperten produziert. Beispielsweise kann der Hersteller einen Experten damit beauftragen, ein Produktreparaturhandbuch zu erzeugen. Das Reparaturhandbuch kann Diagnose- und Reparaturprozeduren umfassen.
KURZDARSTELLUNG
Ein Informationssynthesesystem zum Erzeugen einer Wissensbasis, umfassend ein Datenverarbeitungssystem, das dazu programmiert ist, Vorlagen, umfassend Aufgaben zum Extrahieren von Informationen aus unstrukturierten Quellen, an Aufgabenausführende zu verteilen, Aufgabenergebnisse von Aufgabenausführenden als Antworten in den Vorlagen zu erhalten, Domänenwissensdarstellungen zu identifizieren, die in den Aufgabenergebnissen vorhanden sind, aber in der Wissensbasis nicht vorhanden sind, Vorlagen zu erzeugen, die die Aufgaben definieren und die die Domänenwissensdarstellungen umfassen zum Extrahieren von zusätzlichen Informationen aus unstrukturierten Quellen.
Die Aufgaben können als rein menschliche Aufgaben, Maschinenaufgaben und maschinengeführte Aufgaben definiert werden. Das Datenverarbeitungssystem kann ferner dazu programmiert sein, die Vorlagen basierend auf einer Verfügbarkeit der Aufgabenausführenden und einer Genauigkeit der Aufgabenausführenden zu verteilen. Die Aufgaben können Zusammenfassen von Informationen aus unstrukturierten Datenquellen umfassen. Die Aufgaben können Zusammenfassen von Informationen, die in zumindest einem Teil eines Videos enthalten sind, umfassen. Das Datenverarbeitungssystem kann ferner dazu programmiert sein, Aufgabenergebnisse zu validieren, die von jedem der Aufgabenausführenden empfangen wurden, und Aufgabenergebnisse in Reaktion darauf als ungültig zu identifizieren, dass eine Aufgabenabschlusszeit kleiner als ein vorbestimmter prozentualer Anteil einer Dauer des Teils des Videos ist. Das Datenverarbeitungssystem kann ferner dazu programmiert sein, die Aufgabenergebnisse von jedem der Aufgabenausführenden zu validieren und die Aufgabenergebnisse als ungültig zu identifizieren (i) in Reaktion darauf, dass die Aufgabenergebnisse für eine vorbestimmte Anzahl von Antworten gleich sind, (ii) in Reaktion darauf, dass die Aufgabenergebnisse Begriffe enthalten, die Komponenten identifizieren, die bei einer ursprünglichen Quelle, die den Aufgabenergebnissen entspricht, abwesend sind, und (iii) in Reaktion darauf, dass die Aufgabenergebnisse im Vergleich mit denen, die durch andere Aufgabenausführende eingereicht wurden, einzigartig sind. Das Datenverarbeitungssystem kann ferner dazu programmiert sein, eine Kette von Daten für die Aufgaben aufrechtzuerhalten, die für jede der Aufgaben Daten umfasst, die eine ursprüngliche Quelle, einen relevanten Teil der ursprünglichen Quelle, eine Zusammenfassung des relevanten Teils und eine abschließende Zusammenfassung, die aus der Zusammenfassung für jede der Aufgaben abgeleitet ist, definieren. Das Datenverarbeitungssystem kann ferner dazu programmiert sein, Training von einem oder mehreren Maschinenlernmodellen zu ermöglichen durch Bereitstellen der Kette von Daten als Trainingseingaben für die Maschinenlernmodelle. Das Datenverarbeitungssystem kann ferner dazu programmiert sein, vor dem Verteilen der Vorlagen eine Genauigkeit der Aufgabenausführenden zu prognostizieren.
Ein Verfahren zum Aktualisieren einer Wissensbasis durch ein Datenverarbeitungssystem umfasst Pflegen einer Strafpunktzahl für einen Aufgabenausführenden und Verteilen einer Aufgabe an den Aufgabenausführenden in Reaktion darauf, dass die Strafpunktzahl kleiner als eine vorbestimmte Schwelle ist. Das Verfahren umfasst ferner Erhöhen der Strafpunktzahl für den Aufgabenausführenden auf einen Wert, der größer als die vorbestimmte Schwelle ist, in Reaktion darauf, dass der Aufgabenausführende mehr als eine vorbestimmte Anzahl von Antworten auf Aufgaben bereitstellt, die domänenspezifische Darstellungen enthalten, die nicht in einer mit den Aufgaben verknüpften ursprünglichen Quelle vorhanden sind.
Das Verfahren kann ferner Erhöhen der Strafpunktzahl für den Aufgabenausführenden auf einen Wert, der größer als die vorbestimmte Schwelle ist, in Reaktion darauf umfassen, dass eine größere als eine vorbestimmte Anzahl von Antworten von dem Aufgabenausführenden empfangen wird, die die gleichen für unterschiedliche Aufgaben sind. Das Verfahren kann ferner Erhöhen der Strafpunktzahl für den Aufgabenausführenden auf einen Wert, der größer als die vorbestimmte Schwelle ist, in Reaktion darauf umfassen, dass der Aufgabenausführende mehr als eine vorbestimmte Anzahl von Antworten bereitstellt, die im Vergleich mit Antworten, die von anderen Aufgabenausführenden auf eine gleiche Aufgabe eingereicht wurden, einzigartig sind. Das Verfahren kann ferner Erhöhen der Strafpunktzahl für den Aufgabenausführenden in Reaktion darauf umfassen, dass der Aufgabenausführende eine Videozusammenfassungsaufgabe in einer Zeit abschließt, die kleiner als ein vorbestimmter prozentualer Anteil einer Laufzeit eines zugeordneten Videosegments ist. Das Verfahren kann ferner Annullieren von Antworten umfassen, die dazu beigetragen haben, dass die Strafpunktzahl die vorbestimmte Schwelle überschreitet.
Ein Verfahren zum Synthetisieren von Informationen aus unstrukturierten Datenquellen zum Aktualisieren einer Reparaturwissensbasis, umfassend Identifizieren relevanter Teile von ursprünglichen Quellen mit domänenspezifischem Wissen bezüglich der Reparaturwissensbasis und Erstellen von Vorlagen, umfassend Aufgaben zum Zusammenfassen jedes der relevanten Teile. Das Verfahren umfasst ferner Verteilen der Vorlagen an Aufgabenausführende basierend auf Verfügbarkeit und Genauigkeit von Aufgabenausführenden und Sammeln von Lösungen aus den Vorlagen, die von den Aufgabenausführenden ausgefüllt wurden, zum Erstellen einer Reparaturlösung, die als ein Aktionsverb gefolgt von einem Komponentennamen beschrieben wird. Das Verfahren umfasst ferner Aktualisieren der Reparaturwissensbasis mit domänenspezifischen Darstellungen von der Reparaturlösung, die momentan nicht in der Reparaturwissensbasis vorhanden sind, und Erstellen und Verteilen neuer Vorlagen basierend auf den domänenspezifischen Darstellungen.
Das Verfahren kann ferner Erstellen eines neuen Maschinenlernmodells unter Verwendung der ursprünglichen Quellen, der relevanten Teile, Zusammenfassungen und Reparaturlösung als Trainingsdaten zum Aktualisieren von Maschinenlernmodellen umfassen. Die Reparaturlösung kann als ein Aktionsverb gefolgt von einem Komponentennamen beschrieben werden. Die ursprünglichen Quellen können Dokumente sein, auf die auf einer Website zugegriffen wird. Die ursprünglichen Quellen können Videos sein, auf die auf einer Website zugegriffen wird.
Figurenliste

1 stellt eine mögliche Auslegung für ein Informationssynthesesystem zum Entwickeln einer Wissensbasis dar.
2 stellt ein mögliches Blockdiagramm für Prozesse für das Informationssynthesesystem dar.
3A und 3B stellen eine mögliche Anzeigeausgabe für eine erste beispielhafte Vorlage dar.
4A und 4B stellen eine mögliche Anzeigeausgabe für eine zweite beispielhafte Vorlage dar.
5A und 5B stellen eine mögliche Anzeigeausgabe für eine dritte beispielhafte Vorlage dar.
6 stellt eine mögliche Anzeigeausgabe für eine vierte beispielhafte Vorlage dar.
7 stellt eine mögliche Anzeigeausgabe für eine fünfte beispielhafte Vorlage dar.
8 stellt eine mögliche Anzeigeausgabe für eine sechste beispielhafte Vorlage dar.
9 stellt eine mögliche Anzeigeausgabe für eine siebte beispielhafte Vorlage dar.
10 stellt eine mögliche Anzeigeausgabe für eine achte beispielhafte Vorlage dar.
11 stellt eine mögliche Abfolge von Operationen für einen Zusammenfassungsarbeitsfluss dar.
12 stellt ein Blockdiagramm für Typen von Aufgaben dar, die durch einen Aufgabenausleger verwaltet werden können.
13 stellt ein Blockdiagramm für ein Aufrechterhalten von Spurdaten zum Aktualisieren der Wissensbasis dar.
14 stellt eine mögliche Abfolge von Operationen für ein Umsetzen des Informationssynthesesystems dar.

AUSFÜHRLICHE BESCHREIBUNG
Ausführungsformen der vorliegenden Offenbarung werden hier beschrieben. Es versteht sich allerdings, dass die offenbarten Ausführungsformen lediglich Beispiele sind und dass andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht notwendigerweise maßstabsgetreu; einige Merkmale können übertrieben oder minimiert sein, um Einzelheiten von bestimmten Komponenten zu zeigen. Daher sind hier offenbarte spezielle strukturelle und funktionale Details nicht als einschränkend zu interpretieren, sondern lediglich als repräsentative Grundlage, um einen Fachmann zu lehren, die vorliegende Erfindung auf verschiedene Weisen umzusetzen. Wie für einen Durchschnittsfachmann verständlich ist, können verschiedene Merkmale, wie Bezug nehmend auf eine der Figuren dargestellt und beschrieben, mit Merkmalen, die in einer oder mehreren anderen Figuren dargestellt sind, kombiniert werden, um Ausführungsformen zu produzieren, die nicht explizit dargestellt oder beschrieben werden. Die Kombinationen von dargestellten Merkmalen bieten repräsentative Ausführungsformen für typische Anwendungen. Verschiedene Kombinationen und Modifikationen der Merkmale im Einklang mit den Lehren dieser Offenbarung können allerdings für bestimmte Anwendungen oder Umsetzungen gewünscht sein.
Vorherige Verfahren zum Erzeugen von Diagnose- und Reparaturanweisungen haben allgemein Experten in der bestimmten Domäne ausgenutzt. Beispielsweise kann eine automobile Reparaturwissensbasis auf das Fachwissen eines geschulten Mechanikers oder anderer Personen ähnlichen Domänenwissens bauen. Vorhandensein von Domänenfachwissen ist insoweit vorteilhaft, als dann der Experte sich der Begriffe und Prozeduren bewusst wäre, die für die Domäne typisch sind. Ein Nachteil solcher Verfahren ist, dass jede Domäne einen unterschiedlichen Experten erfordert und nicht notwendigerweise die Bemühungen von Nicht-Experten ausnutzt. Verwenden von Nicht-Experten bei diesen Typen von Aktivitäten kann Kosten verringern. Einige Vorteile können durch Anwenden eines Schwarmauslagerungsmodells auf die Erzeugung von Diagnose- und Reparaturwissensbasen erreicht werden.
Schwarmauslagerungssysteme können verwendet werden, um hochgradig kognitive Aufgaben auszuführen (z. B. Sinngebung in Fotos oder geschriebenen Texten) durch Zerlegen der hochgradig kognitiven Aufgaben in relativ weniger kognitive Aufgaben, die einfach durch durchschnittliche menschliche Arbeiter ohne professionelle Fertigkeiten (z. B. ohne umfangreiches Domänenwissen) durchgeführt werden können. Die Schwarmarbeiter können in Schwarmauslagerungsmärkten registriert sein, wie etwa Amazon Mechanical Turk. Verschiedene Konzeptionsmuster (z. B. ein Finden-Extrahieren-Verifizieren-Muster) und Qualitätskontrollmechanismen (z. B. Mehrheitsentscheidung, Goldstandardinjektion) sind verfügbar, um eine konsistente Qualität des gesamten Systems aufrechtzuerhalten durch Minimieren der Abweichung von Aufgabenergebnisqualität von Schwarmarbeitern.
Hier werden Systeme und Verfahren offenbart zum Injizieren von Domänenwissen in halb-schwarmausgelagerte Zusammenfassungspipelines für Diagnose- und Reparaturwissen aus unstrukturierten Datenquellen, wie etwa Webforen und/oder Multimediainformationen, wie etwa Videos. Die Zusammenfassungspipeline kann Ketten von Aufgaben, die durch Schwarmarbeiter über Benutzerschnittstellen ausgeführt wurden, und Maschinenprozesse über Softwarebetrieb nutzen. Das System kann automatisch Aufgaben an Aufgabenausführende verteilen und verarbeitete Ergebnisse von Aufgabenausführenden sammeln. Die Aufgabenausführenden können Schwarmarbeiter und/oder Maschinen sein. Die Aufgaben können Zusammenfassen von Symptomen und Fehlern, die durch Menschen beschrieben oder durch Diagnosewerkzeuge detektiert wurden, in einer Vorlage , Suchen nach relevanten Informationsquellen, Extrahieren des relevantesten Teils aus den ausgewählten Quellen und Zusammenfassen der extrahierten Informationen in einer Vorlage sowie Gruppieren ähnlicher Informationen als die gleiche oder ähnliche Lösung umfassen.
1 stellt ein Informationssynthesesystem (ISS) 100 dar, das dazu ausgelegt werden kann, eine Wissensbasis für eine gegebene Domäne zu produzieren. Das ISS 100 kann dazu ausgelegt sein, eine Wissensbasis für Diagnose und Reparatur eines Produkts oder Systems zu produzieren. Das ISS 100 kann zumindest ein Datenverarbeitungssystem 102 umfassen. Das Datenverarbeitungssystem 102 kann auch als ein Wissensbasisserver bezeichnet werden. Das Datenverarbeitungssystem 102 kann zumindest eine Mikroprozessoreinheit 104 umfassen, die dazu ausgelegt ist, Anweisungen auszuführen. Das Datenverarbeitungssystem 102 kann flüchtigen Speicher 106 und nicht-flüchtigen Speicher 108 zum Speichern von Anweisungen und Daten umfassen. Das Datenverarbeitungssystem 102 kann eine Netzwerkschnittstelle 110 umfassen, die dazu ausgelegt ist, Kommunikation mit einem Netzwerkrouter 111 bereitzustellen. Beispielsweise kann der Netzwerkrouter 111 ein drahtgebundener oder drahtloser Ethernet-Router sein. In einigen Auslegungen kann der Netzwerkrouter 111 ein lokales Netzwerk errichten, um mit einem oder mehreren lokalen Servern 126 zu verbinden. Der Netzwerkrouter 111 kann ferner dazu ausgelegt sein, eine Kommunikationsschnittstelle mit einem externen Netzwerk 116 bereitzustellen. In einigen Auslegungen kann das Datenverarbeitungssystem 102 als ein abgesetzter Server in einer Cloud-Datenverarbeitungsarchitektur (z. B. Amazon Web Services (AWS)) vorhanden sein.
Das externe Netzwerk 116 kann als das „World-wide Web“ oder das Internet bezeichnet werden. Das externe Netzwerk 116 kann ein Standardkommunikationsprotokoll zwischen Datenverarbeitungsvorrichtungen errichten. Das externe Netzwerk 116 kann ermöglichen, dass Informationen und Daten einfach zwischen Datenverarbeitungsvorrichtungen und Netzwerken ausgetauscht werden können. Zumindest ein Server 120 kann in Kommunikation mit dem externen Netzwerk 116 sein. Jeder Server 120 kann eine Website oder Webseite beherbergen, von der Informationen abgeleitet werden können. Beispielsweise kann der Server 120 eine Webseite beherbergen, die Informationen aufweist, die für die interessierende Domäne relevant sind. Es kann viele solche Server 120 mit den Informationen geben. Die Server 120 können eine oder mehrere unstrukturierte Datenquellen beherbergen, die Daten in unterschiedlichen Formaten bereitstellen, umfassend ein Blog, ein Forum, einen Artikel, Bilder, Audio und/oder Videos. Die Daten können als unstrukturiert erachtet werden, da es möglicherweise kein gemeinsames Format zwischen den Quellen gibt. Beispielsweise kann jede Website unterschiedlich angeordnet sein. Domänenrelevante Informationen können auf unterschiedlichen Webseiten/Websites wiederholt werden.
Eine oder mehrere Aufgabenverarbeitungsmaschinen 118 können in Kommunikation mit dem externen Netzwerk 116 sein (z. B. 118A, 118B). Die Aufgabenverarbeitungsmaschinen 118 (z. B. 118C) können auch in Kommunikation mit dem durch den Netzwerkrouter 111 errichteten lokalen Netzwerk sein. Die Aufgabenverarbeitungsmaschinen 118 können dazu ausgelegt sein, Aufgaben oder Programme auszuführen, die empfangen werden. Die Aufgabenverarbeitungsmaschinen 118 können Datenverarbeitungssysteme sein, die dazu programmiert sind, Programme/Anweisungen und Daten zu empfangen, die Daten entsprechend den Programmen/Anweisungen zu verarbeiten und verarbeitete Daten auszugeben. Das Datenverarbeitungssystem 102 kann auch die Funktionen der Aufgabenverarbeitungsmaschinen 102 durchführen. Das heißt, dass das Datenverarbeitungssystem 102 dazu ausgelegt sein kann, Aufgaben und Programme auszuführen, die durch das System erzeugt werden.
Schwarmarbeiter 121 können Arbeitsstationen 122 nutzen, um auf das externe Netzwerk 116 zuzugreifen. Von Schwarmarbeitern 121 kann nicht erwartet werden, dass sie über Domänenfachwissen verfügen. Die Schwarmarbeiter 121 können in einem oder mehreren Schwarmauslagerungsmärkten registriert sein, wie etwa Amazon Mechanical Turk. Der Schwarmauslagerungsmarkt kann auf einem der Server 120 umgesetzt sein. Der Schwarmauslagerungsmarkt kann einem Aufgabenanforderer ermöglichen, Aufgaben zur Durchführung durch die Schwarmarbeiter 121 hochzuladen. Die Schwarmarbeiter 121 können unter Verwendung der Arbeitsstationen 122 auf den Schwarmauslagerungsmarkt zugreifen. Die Arbeitsstationen 122 können persönliche Datenverarbeitungsvorrichtungen sein, umfassend eine Benutzerschnittstelle für Eingabe und Ausgabe. Beispielsweise können die Arbeitsstationen 122 Computer mit einer Anzeige und einer Tastatur sein. Die Arbeitsstationen 122 können Tablets und Mobiltelefone umfassen.
Das Datenverarbeitungssystem 102 kann durch einen oder mehrere administrative Benutzer oder Systemadministratoren 124 über ein Endgerät/eine Arbeitsstation/eine Benutzerschnittstelle 114, das bzw. die in Kommunikation mit dem Datenverarbeitungssystem 102 oder mit diesem gekoppelt ist, geführt und verwaltet werden. Die Benutzerschnittstelle 114 kann dazu ausgelegt sein, den Systemadministratoren 124 zu ermöglichen, auf Informationen und Programme in dem Datenverarbeitungssystem 102 zuzugreifen und diese zu ändern. Das Datenverarbeitungssystem 102 kann in Kommunikation mit einer Wissensbasis 112 sein. Die Wissensbasis 112 kann das domänenspezifische Wissen darstellen, das durch das ISS 100 gesammelt und organisiert wird. Die Wissensbasis 112 kann dazu ausgelegt sein, Domänenwissen und Darstellungen zu speichern. Das Datenverarbeitungssystem 102 kann mit einer Schlussfolgerungsengine programmiert werden, die Regeln und Logik anwendet, um in der Wissensbasis 112 gespeicherte Informationen zu finden. Beispielsweise kann die Wissensbasis 112 Informationen bezüglich Diagnose und Reparatur eines bestimmten Produkts sein. Die Wissensbasis 112 kann sich auf einer physischen Speichervorrichtung befinden und/oder auf einem Speicher innerhalb des Datenverarbeitungssystems 102 befinden. Das Datenverarbeitungssystem 102 kann dazu programmiert sein, auf die in der Wissensbasis 112 enthaltenen Informationen zuzugreifen und diese Benutzern und Administratoren zu präsentieren. Beispielsweise kann auf die in der Wissensbasis 112 enthaltenen Informationen über eine Webschnittstelle zugegriffen werden, sodass externe Benutzer über das externe Netzwerk 116 auf die Informationen zugreifen können. Der Zugriff kann allgemein sein (z. B. verfügbar für alle) oder kann beschränkt sein (z. B. beschränkt auf bestimmte Einzelpersonen, wie etwa registrierte Produktreparaturspezialisten).
Ein oder mehrere Domänenexperten 130 können Arbeitsstationen 132 nutzen, um auf das externe Netzwerk 116 zuzugreifen. Die Domänenexperten 130 können Personen sein, die spezifisches Domänenwissen haben. Die Domänenexperten 130 können Domänenfachwissen bereitstellen, um sicherzustellen, dass die Wissensbasis 112 das korrekte Niveau an Domänenwissen umfasst.
Das Datenverarbeitungssystem 102 kann dazu ausgelegt sein, die Wissensbasis 112 unter Verwendung von auf den Servern 120 gefundenen Informationen aufzubauen oder zu erzeugen. In einigen Auslegungen kann das Datenverarbeitungssystem 102 dazu programmiert sein, über das externe Netzwerk 116 eine Suche nach domänenrelevanten Informationen umzusetzen. Die Suche kann durch Suchbegriffe geführt werden, die durch die Systemadministratoren 124 eingegeben oder aus der Wissensbasis 112 abgerufen werden. Die Systemadministratoren 124 können Domänenwissen injizieren, wie etwa technische Begriffe in der relevanten Domäne, um die Suche zu führen. Die Suche kann in einer oder mehreren Websites oder einheitlichen Ressourcenzeigern (URL) / Webadressen resultieren, die Informationen enthalten, die für die Suchbegriffe relevant sind. Nachdem potenzielle Quellen von domänenrelevanten Daten identifiziert sind, können die Quellen untersucht werden, um zu bestimmen, ob relevante Informationen vorhanden sind, die die Wissensbasis 112 verbessern können.
Das Datenverarbeitungssystem 102 kann dazu programmiert sein, Erzeugungsaufgaben zu ermöglichen, die Aufgabenausführenden (z. B. Schwarmarbeitern 121 und Aufgabenverarbeitungsmaschinen 118) zur Durchführung zugewiesen werden können. Die Aufgaben können einen Arbeitsfluss oder eine Pipeline zur Verarbeitung und Synthetisierung von Informationen definieren. Die Aufgaben können dazu ausgelegt sein, Zusammenfassungen von Informationsquellen zu erzeugen, die relevant für die Domäne sind, für die Wissen gesammelt wird. Die Zusammenfassungspipeline kann angepasst werden, um die Genauigkeit von Aufgabenausführenden (z. B. Schwarmarbeitern 121 und/oder Maschinen 118) zu prognostizieren und kann dazu ausgelegt sein, sich mit der Zeit zu ändern, um die Qualität der Lösungen zu verbessern. Die Aufgaben können so strukturiert sein, dass Schwarmarbeiter 121 kein umfangreiches domänenspezifisches Wissen benötigen, um die Aufgabe durchzuführen.
Neue in der gesamten Pipeline entdeckte/erlernte Daten können verwendet werden, um die Wissensbasis 112 zu aktualisieren, und verwendet werden, um zusätzliche Aufgaben zu unterstützen und zu konzipieren. Ein Beispiel für Informationen, die in der Wissensbasis 112 gespeichert werden, kann ein Wörterbuch sein, das aus Geräte- oder Fahrzeugkomponenten besteht, umfassend repräsentative Wörter, Synonyme, Akronyme, Multimediainhalte, zusammen mit unterschiedlichen Attributen/Beziehungen zwischen den Begriffen, wie etwa Produktinformationen, Symptombeschreibungen und Reparaturlösungen. Die Wissensbasis 112 kann Informationen bezüglich Fehlercodes, Symptombeschreibungen und verwandte Informationen (z. B. Diagnose- und Reparaturanweisungen) speichern.
Das Datenverarbeitungssystem 102 kann verschiedene Berechnungsansätze für Informationssynthese umsetzen. Frage-Antwort-Recherche (QA, Question Answering) zielt auf die Verfahren und Systeme zum automatischen Beantworten von Fragen, die von Menschen in natürlicher Sprache gestellt wurden. Das komplexe, interaktive QA (ciQA) kann zusätzlich zu oberflächlichem und Listen-QA genutzt werden. Halb-automatisierte QA-Ansätze (und ihre schwarmbasierten Varianten) können sich auf das Beantworten kurzer, faktischer Fragen anstatt auf das Abschließen komplexer Sinngebungsprozesse konzentrieren.
Mehrfachdokumentzusammenfassung zielt darauf ab, Berechnungstechniken zu verwenden, um unter Verwendung von merkmalsbasierten, clusterbasierten, graphenbasierten und wissensbasierten Verfahren Informationen aus mehreren Texten zu extrahieren, die für das gleiche Thema geschrieben wurden. Allerdings haben solche Ansätze Beschränkungen beim Umgang mit komplexen, aber dennoch kurzen und spärlichen, Daten, die auf dem Web gefunden werden können, und führen nicht zu der komplexen Synthese, die Menschen kognitiv durchführen, um eine zusammenhängende und einheitliche Ausgabe zu erzielen.
Während sich Schwarmauslagerung als effektiv erwiesen hat, wurden Schwarmauslagerungssysteme nicht systematisch an unterschiedliche Domänen angepasst. Schwarmauslagerung kann effektiver sein, wenn Domänenwissen in das Schwarmauslagerungssystem injiziert wird. Indem bei Bedarf Domänenwissen in die Struktur injiziert wird, benötigt das Schwarmauslagerungssystem keine Domänenexperten, um die Aufgaben durchzuführen. Die hier offenbarten Systeme und Verfahren beziehen sich allgemein auf menschliche kognitive Aufgabenkonzeption für Schwarmauslagerung, Maschinenverarbeitung und Zusammenfassung von unstrukturierten Daten aus mehreren Quellen in der Form von Text oder Multimedia und Zuordnung von menschlichen kognitiven Aufgaben und Maschinenlernaufgaben im Hinblick auf Effizienz und Genauigkeit, was zu einem Diagnose- und Reparaturwissen hoher Qualität durch Verwendung von Domänenwissen bei der Systemkonzeption führt.
Die Server 120 können Inhalt beherbergen, der mit der relevanten Domäne verwandt ist. Beispielsweise kann es Geräte- oder Fahrzeugreparaturwebsites und Foren geben, die detaillierte Informationen hinsichtlich verschiedener Reparatur- und Diagnosetechniken umfassen. Der Inhalt kann dahingehend unstrukturiert sein, dass es keine formelle Organisation der Informationen gibt. Die Wissensbasis 112 kann verbessert werden durch Einbeziehen von Informationen bezüglich eines Produkts oder Typs von Produkt von den Servern 120. Einige Techniken können durch den beherbergten Inhalt für ähnliche Produkte beschrieben werden, und diese Techniken können auf Produkte anwendbar sein, für die die Wissensbasis 112 synthetisiert wird.
Die hier offenbarten Systeme und Verfahren können auf Anwendungen angewendet werden, die domänenspezifisches Diagnose- und Reparaturwissen für Produkte, wie etwa Fahrzeuge, Heizungssysteme und Haushaltgeräte bereitstellen. Das Diagnose- und Reparaturwissen kann auf einer Website oder über ein Diagnosewerkzeug (z. B. ein Prüfwerkzeug, das von Technikern in Kraftfahrzeugwerkstätten verwendet wird) zugänglich sein. Hier werden Systeme und Verfahren offenbart, die dazu angepasst sind, menschliche kognitive Aufgaben zu konzipieren, die auf Schwarmarbeiter 121 abzielen, die nicht notwendigerweise über umfangreiches Domänenwissen verfügen, und um Maschinenverarbeitungs-/-lernaufgaben mit einer Domänenwissensdarstellung zu konzipieren, um komplexe Informationen für Diagnose- und Reparaturwissen für eine spezifische interessierende Domäne zu synthetisieren. Die offenbarten Systeme und Verfahren können Informationssyntheseaufgaben in mehrere Mikroaufgaben für Schwarmarbeiter 121 und Aufgabenverarbeitungsmaschinen 118 zerlegen. Die Zerlegung kann auslegbar und/oder dynamisch sein. Die Systeme und Verfahren können dazu ausgelegt sein, Domänenwissensdarstellungen zu aktualisieren, die von früheren Schwarmarbeiterausgaben sowie von Maschinenverarbeitungsausgaben erlernt wurden.
Hier werden Systeme und Verfahren offenbart zum Einbeziehen von Domänenwissen in die Konzeption von halb-schwarmausgelagerten ISS 100. Das ISS 100 kann dazu ausgelegt sein, eine Wissensbasis 112 für Diagnose und Reparatur eines Produkts auszugeben. Das ISS 100 kann dazu ausgelegt sein, Aufgaben zu erstellen oder zu erzeugen, die durch Menschen 121 oder Maschinen 118 ausgeführt werden können. Die erzeugten Aufgaben können weniger kognitive Aufgaben für Schwarmarbeiter 121 ohne vorheriges Wissen zu Reparatur und Diagnose hinsichtlich der spezifischen Domäne sein. Die Erzeugung von weniger kognitiven Aufgaben erlaubt die Ausführung durch einen breiteren Vorrat an Schwarmarbeitern 121, da spezialisiertes Domänenwissen nicht erforderlich ist, um die Aufgaben durchzuführen.
Das ISS 100 kann mit automatisierter Informationsverarbeitungsfertigkeit integriert werden. Das heißt, dass das ISS 100 auf dem Datenverarbeitungssystem 102 umgesetzt werden kann, das dazu programmiert werden kann, Informationen automatisch zu verarbeiten und zu erzeugen.
2 stellt ein Blockdiagramm von Merkmalen oder Prozessen dar, die als Teil des Datenverarbeitungssystems 102 umgesetzt werden können. Die beschriebenen Prozesse können miteinander interagieren. Ferner können die Prozesse durch den Systemadministrator 124 aktualisiert werden. Die Prozesse können im Speicher des Datenverarbeitungssystems 102 gespeichert und periodisch und/oder wenn ein Bedarf nach Ausführung besteht (z. B. Eingaben verfügbar und/oder Ausgaben erforderlich) ausgeführt werden. Das Datenverarbeitungssystem 102 kann ein Betriebssystem umsetzen, um Aufgabenausführung und Abfolgesteuerung zu verwalten.
Das Datenverarbeitungssystem 102 kann einen Aufgabenerzeugungsprozess 206 umfassen. Der Aufgabenerzeugungsprozess 206 kann dazu ausgelegt sein, Aufgaben zu definieren und zu erzeugen, die zum Aktualisieren der Wissensbasis 112 durchzuführen sind. Die Aufgaben können die spezifischen Daten oder das Wissen definieren, die bei Schwarmarbeitern 121 oder Aufgabenausführungsmaschinen 118 gesucht werden. Die Aufgaben können als eine Anforderung zum Durchführen einer spezifischen Anweisung zum Zurückgeben von Informationen oder Daten definiert werden. Die Aufgaben können ferner das Format definieren, in dem die Daten zurückgegeben werden sollen. Aufgaben können durch den Systemadministrator 124 basierend auf dem Typ von Informationen, nach denen gesucht wird, definiert werden.
Das Datenverarbeitungssystem 102 kann einen Vorlagendefinitions-/- erzeugungsprozess 204 umfassen. Das ISS 100 kann eine oder mehrere Vorlagen definieren, die Aufgaben zum Extrahieren von Informationen aus textbasiertem Diagnose- und Reparaturwissen von Menschen 121 und/oder Maschinen 118 umfassen. In einigen Anpassungen können die Vorlagen durch Systemdesigner oder -administratoren 124 konzipiert sein. In einigen Anpassungen können die Vorlagen automatisch durch eine Maschine (z. B. einen lokalen Server 126) erzeugt sein. Der Vorlagendefinitions-/-erzeugungsprozess 204 kann programmiert sein, um die Entwicklung von Vorlagen zu erleichtern. Vorlagen und Informationen im Zusammenhang mit den Vorlagen können in einer Vorlagendatenbank 202 gespeichert werden. Der Vorlagendefinitions-/-erzeugungsprozess 204 kann programmiert sein, um Vorlagen automatisch zu erzeugen. Beispielsweise können die Vorlagen auslegbare Felder in Verbindung mit einer bestimmten Domäne umfassen. Der Vorlagendefinitions-/-erzeugungsprozess 204 kann dazu programmiert sein, domänenspezifische Werte, die von der Wissensbasis 112 abgeleitet wurden, in die auslegbaren Felder einzufügen. Eine Vorlage kann eine oder mehrere Aufgaben umfassen, die durch den Aufgabenausführenden durchzuführen sind. Beispielsweise können die Aufgaben spezifische Fragen sein, die durch die Vorlage präsentiert werden.
Die Vorlagen können dazu konzipiert sein, größere Aufgaben in kleinere, besser verwaltbare Aufgaben aufzuteilen, die durch die Schwarmarbeiter 121 durchgeführt werden können. Ferner können die Aufgaben dazu ausgelegt sein, weniger kognitive Aufgaben zu erzeugen, die durch die Schwarmarbeiter 121 ohne detailliertes Expertenwissen durchgeführt werden können. Beispielsweise können die Aufgaben auf das Zusammenfassen oder Beschreiben von Informationen gerichtet sein, die in einer zugewiesenen Quelle gefunden werden. Die Aufgaben können in der Form von kurzen Fragen oder Mehrfachauswahlfragen sein.
Die Vorlagen können Informationen und/oder Anweisungen umfassen, um die Schwarmarbeiter 121 anzuleiten, wie eine oder mehrere Aufgaben durchzuführen sind. Die Vorlagen können Merkmale zum Sammeln von Informationen, wie etwa eine Symptomzusammenfassung, umfassen. Die Symptomzusammenfassung kann Daten umfassen, wie Auftreten, Ort und/oder relevante Bedingungen im Zusammenhang mit dem Problem. Die Vorlage kann dazu ausgelegt sein, relevante Produktmarken, Modelle, Modelljahre und andere Eigenschaften, wie etwa Kraftmaschinentyp oder Kraftstofftyp, die ein Produkt identifizieren, zu extrahieren. Die Vorlage kann dazu ausgelegt sein, eine Reparaturlösung zu extrahieren. Beispielsweise kann die Reparaturlösung formuliert werden als <Aktionsverb>, gefolgt von <Komponente des Objekts in Reparatur>. Die Vorlagen können dazu ausgelegt sein, domänenspezifische Begriffe und Darstellungen zu nutzen.
3A und 3B stellen eine mögliche Anzeigeausgabe 300 für eine erste beispielhafte Vorlage 302 dar. Die erste beispielhafte Vorlage 302 kann eine textbasierte Schnittstelle definieren. In einigen Auslegungen kann die erste beispielhafte Vorlage 302 (und andere nachfolgende Beispiele) als ein HTML-Dokument (Hypertext Markup Language) (z. B. eine Webseite) erzeugt oder definiert werden. Die erste beispielhafte Vorlage 302 kann auf einer Benutzerschnittstelle oder Anzeige einer Arbeitsstation 122 des Schwarmarbeiters 121, der zugeordnet ist, die erste beispielhafte Vorlage 302 auszufüllen, angezeigt werden. Die erste beispielhafte Vorlage 302 kann einen Anweisungsabschnitt 304 zum Bereitstellen von Anweisungen für den Schwarmarbeiter 121 umfassen. In einigen Anwendungen kann der Anweisungsabschnitt 304 eine oder mehrere Verknüpfungen auf Websites oder Dokumente umfassen, die durch den Schwarmarbeiter 121 anzusehen und zu verarbeiten sind. Der Anweisungsabschnitt 304 kann auch Informationen bereitstellen, um den Schwarmarbeiter 121 beim Durchführen der Aufgabe zu unterstützen.
Die erste beispielhafte Vorlage 302 kann eine oder mehrere Fragen 306 umfassen. Die Fragen 306 können spezifische Abfragen für bestimmte Informationen (z. B. ein Symptom oder eine Bedingung) sein. Die Fragen 306 können domänenspezifische Darstellungen enthalten, die von vorherigen Aufgabenantworten abgeleitet werden. Die Fragen 306, die dargestellt werden, können von Antworten aus vorherigen Vorlagen abhängen.
Die erste beispielhafte Vorlage 302 kann einen oder mehrere Antwort- oder Eingabeabschnitte 308 zum Aufnehmen von Eingaben von den Schwarmarbeitern 121 umfassen. Die erste beispielhafte Vorlage 302 kann dazu ausgelegt sein, spezifische Fragen zu stellen, bei denen erwartet wird, dass der Schwarmarbeiter 121 sie beantwortet. Die erste beispielhafte Vorlage 302 kann dazu ausgelegt sein, Texteingabe vom Schwarmarbeiter 121 über den Eingabeabschnitt 308 zu empfangen. Beispielsweise kann der Eingabeabschnitt 308 ein Feld oder Eingabefeld umfassen, in das der Schwarmarbeiter 121 Text eingeben kann. Der Eingabeabschnitt 308 kann auch vordefinierte Auswahlfelder umfassen, die dem Schwarmarbeiter 121 ermöglichen, eine Liste von Elementen anzuzeigen und eines oder mehrere der Elemente zur Eingabe auszuwählen. Die erste beispielhafte Vorlage 302 kann auch einen Mehrfachauswahlabschnitt 310 umfassen, der spezifische Fragen mit entsprechenden Kontrollkästchen umfassen kann, die durch den Schwarmarbeiter 121 als Antwort auszuwählen sind. Die Fragen 306 können Fragen vom Ja/Nein-Typ sein oder können Mehrfachauswahlfragen sein. Nach Abschluss kann die erste beispielhafte Vorlage 302 zur weiteren Überprüfung und Verarbeitung an das Datenverarbeitungssystem 102 übermittelt werden. Das Datenverarbeitungssystem 102 kann dazu ausgelegt sein, automatisch die Antwort zu verarbeiten, oder kann dazu ausgelegt sein, die Antwort zur späteren Überprüfung durch den Systemadministrator 124 zu speichern. Die Vorlagen können Fragen 306 stellen, um zu identifizieren, ob sich die Informationen auf eine spezifische Marke, ein Modell, Modelljahre und/oder andere Eigenschaften, wie etwa Kraftmaschinentyp oder Kraftstofftyp, die ein Produkt identifizieren, beziehen. Die Vorlagen können Fragen 306 stellen, die dazu gedacht sind, eine spezifische Komponente zu identifizieren.
4A und 4B stellen eine zweite Anzeigeausgabe 400 für eine zweite beispielhafte Vorlage 402 dar. Die zweite beispielhafte Vorlage 402 kann auf einer Benutzerschnittstelle oder Anzeige einer Arbeitsstation 122 des Schwarmarbeiters 121, der zugeordnet ist, die zweite beispielhafte Vorlage 402 auszufüllen, angezeigt werden. Die zweite beispielhafte Vorlage 402 kann einen Anweisungsabschnitt 403 definieren. Der Anweisungsabschnitt 403 kann Informationen definieren, die relevant für das Durchführen der Aufgaben in Verbindung mit der zweiten beispielhaften Vorlage 402 sind. Beispielsweise kann die zweite beispielhafte Vorlage 402 eine Problemdefinition, spezifische Produktinformationen und spezifische Anweisungen hinsichtlich der Ausgabe oder Antwort, die zu erwarten ist, umfassen. Die zweite beispielhafte Vorlage 402 kann den Aufgabenausführenden auffordern, nach einer Webseite zu suchen, die relevant für das definierte Problem ist. Die zweite beispielhafte Vorlage 402 kann ferner eine Liste von Webseiten bereitstellen, die bereits übermittelt wurden, um die Wahrscheinlichkeiten zu verringern, dass Suchergebnisse doppelt übermittelt werden.
Die zweite beispielhafte Vorlage 402 kann ferner eine spezifische Anforderung 404 umfassen. Beispielsweise kann die spezifische Anforderung 404 für einen URL sein, der aus einer angeforderten Suche resultiert. Die zweite beispielhafte Vorlage 402 kann ferner ein spezifisches Anforderungsantwortfeld 406 umfassen, das dazu ausgelegt ist, dem Aufgabenausführenden zu ermöglichen, die Antwort auf die spezifische Anforderung 404 einzugeben oder einzufügen. Das spezifische Anforderungsantwortfeld 406 kann dazu ausgelegt sein, Texteingabe von der Arbeitsstation 122 zu akzeptieren. Zusätzliche Anforderungs-/Antwortfelder können definiert werden. Beispielsweise können zusätzliche Anforderungs-/Antwortfelder dazu ausgelegt sein, die Suchbegriffe abzurufen, die der Aufgabenausführende verwendet hat.
5A und 5B stellen eine dritte Anzeigeausgabe 500 für eine dritte beispielhafte Vorlage 502 dar. Die dritte beispielhafte Vorlage 502 kann auf einer Benutzerschnittstelle oder Anzeige einer Arbeitsstation 122 des Schwarmarbeiters 121, der zugeordnet ist, die dritte beispielhafte Vorlage 502 auszufüllen, angezeigt werden. Die dritte beispielhafte Vorlage 502 kann eine oder mehrere Mehrfachauswahlabschnitte 504 umfassen. Die Mehrfachauswahlabschnitte 504 können eine Frage oder Aussage angeben, gefolgt von mehreren möglichen Antworten mit einem entsprechenden Kontrollkästchen oder Kreis. Der Aufgabenausführende kann eine oder mehrere Antworten auswählen, die für die Frage gelten. Beispielsweise kann die Frage eine spezifische Frage über eine Website (z. B. gerichtet auf ein spezifisches Produkt) sein oder kann eine spezifische Frage über einen spezifischen Fehlercode oder ein Problem sein. In einigen Vorlagendefinitionen können die Antworten ja oder nein sein.
Die dritte beispielhafte Vorlage 502 kann eine Anweisungsaussage 505 umfassen, die Anweisungen für den Aufgabenausführenden bereitstellt. Die Anweisungsaussage 505 kann spezifisches Domänenwissen oder Darstellungen umfassen. Beispielsweise kann eine Diagnose- und Reparaturanwendung auf spezifische Fehlercodes Bezug nehmen, um die Antwort des Aufgabenausführenden zu führen. Die dritte beispielhafte Vorlage 502 kann ein Antwortfeld 506 zum Einfügen von Text oder Bildern in Reaktion auf die Anweisungsaussage 505 umfassen. Das Antwortfeld 506 kann dazu ausgelegt sein, Text oder Bilder zu akzeptieren, die eingefügt werden. Beispielsweise kann die Anweisungsaussage 505 den Aufgabenausführenden auffordern, in das Antwortfeld 506 Informationen im Zusammenhang mit einer Lösung für einen spezifischen Fehlercode, der in einem Bezug vorgeschlagen wird, zu kopieren.
Die dritte beispielhafte Vorlage 502 kann eine Zusammenfassungsanforderung 508 umfassen. Die Zusammenfassungsanforderung 508 kann den Aufgabenausführenden anweisen, eine vorherige Antwort in einem spezifischen Format zusammenzufassen. Beispielsweise kann die Zusammenfassungsanforderung den Aufgabenausführenden anweisen, ein Aktionsverb gefolgt von einem Substantiv (z. B. Komponentenname) anzugeben. Die dritte beispielhafte Vorlage 502 kann ein Aktionsverbeingabefeld 510 und ein Komponentennameeingabefeld 512 definieren, die Eingabe von Text in Reaktion auf die Zusammenfassungsanforderung 508 ermöglichen. In einer Diagnose- und Reparaturanwendung kann die dritte beispielhafte Vorlage 502 ferner Informationen dazu anfordern, ob für die durch die Antwort auf die Zusammenfassungsanforderung 508 identifizierte Aktion bestätigt ist, dass sie das verbundene Problem löst oder behebt.
6 stellt eine vierte Anzeigeausgabe 600 für eine vierte beispielhafte Vorlage 602 dar. Die vierte beispielhafte Vorlage 602 kann auf einer Benutzerschnittstelle oder Anzeige einer Arbeitsstation 122 des Schwarmarbeiters 121, der zugeordnet ist, die vierte beispielhafte Vorlage 602 auszufüllen, angezeigt werden. Die vierte beispielhafte Vorlage 602 kann dazu ausgelegt sein, mehrere Lösungsaussagen 606 zu präsentieren. Die vierte beispielhafte Vorlage 602 kann ein Anweisungsfeld 604 umfassen, um Anweisungen für den Aufgabenausführenden zum Durchführen der Aufgabe bereitzustellen. Beispielsweise können die Lösungsaussagen 606 eine Liste von Aktionsverb/Komponente-Kombinationen zusammen mit Kontrollkästchen zum Bestätigen oder Löschen der einzelnen Kombinationen in der Liste präsentieren. Das Anweisungsfeld 604 kann den Aufgabenausführenden anweisen, diejenigen Kombinationen auszuwählen, die ähnlich sind. In einigen Auslegungen können die Lösungsaussagen 606 zumindest eine Lösung umfassen, die nicht mit den anderen präsentierten Lösungen in Beziehung steht. Die nicht in Beziehung stehende Lösung kann automatisch durch das Datenverarbeitungssystem 102 eingesetzt werden oder kann manuell durch einen Systemadministrator 124 eingesetzt werden. Die Einsetzung der nicht in Beziehung stehenden Lösung kann helfen sicherzustellen, dass Aufgabenausführenden die Aufgaben genau ausführen. Beispielsweise kann eine Strafpunktzahl in Verbindung mit einem Aufgabenausführenden erhöht werden, wenn der Aufgabenausführende die nicht in Beziehung stehende Lösung auswählt.
7 stellt eine fünfte Anzeigeausgabe 700 für eine fünfte beispielhafte Vorlage 702 dar. Die fünfte beispielhafte Vorlage 702 kann auf einer Benutzerschnittstelle oder Anzeige einer Arbeitsstation 122 des Schwarmarbeiters 121, der zugeordnet ist, die fünfte beispielhafte Vorlage 702 auszufüllen, angezeigt werden. Die fünfte beispielhafte Vorlage 702 kann eine Folgeaufgabe in Verbindung mit der vierten beispielhaften Vorlage 602 sein. Beispielsweise kann die fünfte beispielhafte Vorlage 702 in Reaktion auf Auswählen einer Weiter-Schaltfläche in der vierten beispielhaften Vorlage 602 angezeigt werden.
Die fünfte beispielhafte Vorlage 702 kann eine Auswahllösungszusammenfassung 706 umfassen, die die aus der vierten beispielhaften Vorlage 602 ausgewählten Lösungen auflistet. Die fünfte beispielhafte Vorlage 702 kann einen Anweisungsabschnitt 704 umfassen, um Anweisungen für den Aufgabenausführenden zum Durchführen der Aufgabe bereitzustellen. Beispielsweise kann der Anweisungsabschnitt 704 den Aufgabenausführenden anweisen, einen Titel für die Lösungen in der Form eines Aktionsverbs, gefolgt von dem Komponentennamen, zu erzeugen. Die fünfte beispielhafte Vorlage 702 kann ein Vorschlagsfeld 710 umfassen, das hilfreiche Informationen für den Aufgabenausführenden präsentiert. Beispielsweise kann das Vorschlagsfeld 710 eine Liste der am häufigsten verwendeten Aktionsverben umfassen. Die häufig verwendeten Aktionsverben können aus der Wissensbasis 112 abgeleitet werden, und die Vorschläge können sich mit der Zeit ändern, wenn die Wissensbasis 112 aktualisiert wird. Das Vorschlagsfeld 710 kann helfen, Konsistenz in den durch die Wissensbasis 112 präsentierten Informationen sicherzustellen. Die fünfte beispielhafte Vorlage 702 kann ein oder mehrere Eingabefelder 708 umfassen, die dazu ausgelegt sind, durch den Aufgabenausführenden eingesetzte Daten zu empfangen. Beispielsweise können die Eingabefelder 708 ein Feld zum Eingeben eines Aktionsverbs und eines Komponentennamen bereitstellen.
8 stellt eine sechste Anzeigeausgabe 800 für eine sechste beispielhafte Vorlage 802 dar. Die sechste beispielhafte Vorlage 802 kann auf einer Benutzerschnittstelle oder Anzeige einer Arbeitsstation 122 des Schwarmarbeiters 121, der zugeordnet ist, die sechste beispielhafte Vorlage 802 auszufüllen, angezeigt werden. Die sechste beispielhafte Vorlage 802 kann ein Anweisungsfeld 804 umfassen, um Anweisungen für den Aufgabenausführenden zum Durchführen der Aufgabe bereitzustellen. Die sechste beispielhafte Vorlage 802 kann ein Bildvergleichsfeld 806 umfassen, das ein oder mehrere Bilder anzeigt. Die Bilder können unterschiedliche Ansichten von einer oder mehreren Komponenten umfassen. Die Bilder können von der Wissensbasis 112 als Bilder abgeleitet sein, die mit einer bestimmten Komponente verbunden sind. Die Bilder können aus der Ausführung von vorherigen Aufgaben resultieren. Beispielsweise kann das Anweisungsfeld 804 Anweisungen zum Vergleichen einer oder mehrerer Mengen von Bildern präsentieren. Im Beispiel werden Bilder eines Niederdruck-Kraftstofffüllstandssensors und einer Kraftstoffpumpe angezeigt, und der Aufgabenausführende wird gefragt, ob die Bilder die gleiche Komponente darstellen. Die sechste beispielhafte Vorlage 802 kann Auswahlschaltflächen 808 (z. B. Ja oder Nein) umfassen, die verwendet werden können, um die Antwort des Aufgabenausführenden anzuzeigen oder aufzuzeichnen.
Der Vorlagendefinitions-/-erzeugungsprozess 204 kann dazu ausgelegt sein, eine oder mehrere Vorlagen zum Extrahieren von Informationen aus videobasiertem Diagnose- und Reparaturwissen von Schwarmarbeitern 121 und/oder Maschinen 118 zu definieren. Ein Video kann in mehrere kleinere Segmente (Ausschnitte) zur Verarbeitung unterteilt sein. Die videobasierten Vorlagen können Felder zum Extrahieren einer Startzeit des Videoausschnitts, einer Endzeit des Videoausschnitts, und eine kurze (z. B. einzeilige) Beschreibung des Videoausschnitts umfassen.
Einige Aufgaben/Vorlagen können zur Verarbeitung durch einen Domänenexperten 130 ausgelegt sein. Der Domänenexperte 130 kann in der Lage sein, Domänenwissen in die Aufgabenpipeline zu injizieren, um sicherzustellen, dass die Wissensbasis 112 relevante Informationen enthält. Zusätzlich kann der Domänenexperte 130 Ergebnisse von den Schwarmarbeitern 121 filtern und kombinieren. 9 stellt eine siebte Anzeigeausgabe 900 für eine siebte beispielhafte Vorlage 902 dar. Die siebte beispielhafte Vorlage 902 kann auf einer Benutzerschnittstelle oder Anzeige einer Arbeitsstation 122 des Domänenexperten 130, der zugeordnet ist, die siebte beispielhafte Vorlage 902 auszufüllen, angezeigt werden. Die siebte beispielhafte Vorlage 902 kann eine Verknüpfung 904 mit einer Informationsquelle (z. B. Website/Webseite) umfassen. Beispielsweise können die Informationen ein Forum im Zusammenhang mit dem Produkt sein. Der Domänenexperte 130 kann dazu aufgefordert werden, Lösungen zusammenzuführen, die vorher aus vorherigen Aufgabenausführungen identifiziert wurden. Die siebte beispielhafte Vorlage 902 kann eine Lösungshinzufügungsschnittstelle umfassen, die eine Lösungshinzufügungsschaltfläche 912 und ein Lösungseingabefeld 908 umfasst, die dem Überprüfer ermöglichen, eine neue Anweisung oder Beschreibung einzugeben. Die siebte beispielhafte Vorlage 902 kann eine Zum-Zusammenführen-auswählen-Schnittstelle 910 (z. B. virtuelle Schaltfläche) umfassen, die dem Aufgabenausführenden ermöglicht, Elemente zum Zusammenführen auszuwählen. Beispielsweise können Lösungen als „Ersetzen des Kraftstoffdrucksensors“, „Ersetzen des Niederdruck-Kraftstofffüllstandsensors“ und „Ersetzen des Sensors“ identifiziert werden. Der Aufgabenausführende kann erkennen, dass diese Lösungen die gleichen sind und sie zum Zusammenführen in eine einzelne Lösung auswählen. Die siebte beispielhafte Vorlage 902 kann eine Auswahl zum Löschen (z. B. „Verschieben in Papierkorb“) einer Lösung oder Anzeigen von zusätzlichen Informationen (z. B. „Zeigen von Clips“) in Verbindung mit einer Lösung umfassen.
10 stellt eine achte Anzeigeausgabe 1000 für eine achte beispielhafte Vorlage 1002 dar. Die achte beispielhafte Vorlage 1002 kann auf einer Benutzerschnittstelle oder Anzeige einer Arbeitsstation 122 des Schwarmarbeiters 121, der zugeordnet ist, die achte beispielhafte Vorlage 1002 auszufüllen, angezeigt werden. Die achte beispielhafte Vorlage 1002 kann ein eingebettetes Video 1008 oder eine Verknüpfung mit einem Video, das durch den Schwarmarbeiter 121 oder die Maschine 118 verarbeitet werden soll, umfassen. Beispielsweise kann das Video 1008 ein Anweisungsvideo sein, das Schritt-für-Schritt-Reparatur- oder Diagnoseanweisungen für ein spezifisches Produkt oder System umfasst. Der Schwarmarbeiter 121 kann durch einen Anweisungsabschnitt 1004 aufgefordert werden, das Video 1008 entsprechend den Anweisungsschritten oder durch das Video 1008 definierten logischen Segmenten zu segmentieren. Die achte beispielhafte Vorlage 1002 kann eine neue Anweisungsschnittstelle 1006 oder Schaltfläche umfassen, die dem Aufgabenausführenden ermöglichen, eine neue Anweisung oder Beschreibung in ein neu erstelltes Beschreibungsfeld 1010 einzugeben. Die achte beispielhafte Vorlage 1002 kann dazu ausgelegt sein, eine verstrichene Zeit innerhalb des Videos 1008 aufzuzeichnen, wenn die neue Anweisungsschnittstelle 1006 ausgewählt wird, um die verstrichene Zeit mit der neuen Anweisung zu verknüpfen. Auf diese Weise können das Video 1008 zusammengefasst und die Anweisungsschritte dokumentiert werden. Wenn abgeschlossen, kann die Vorlage zur weiteren Überprüfung und Verarbeitung an das Datenverarbeitungssystem 102 übermittelt werden.
Erneut Bezug nehmend auf 2, kann das Datenverarbeitungssystem 102 einen Aufgabenauslegeprozess 208 umfassen. Der Aufgabenauslegeprozess 208 kann dazu ausgelegt sein, die Aufgaben und/oder Vorlagen an einen oder mehrere Aufgabenausführende zu verteilen. Aufgabenausführende können die Schwarmarbeiter 121 und die Aufgabenverarbeitungsmaschinen 118 umfassen. Der Aufgabenauslegeprozess 208 kann ferner dazu ausgelegt sein, Aufgabenverteilung im Hinblick auf Genauigkeit und Fertigkeit der Schwarmarbeiter 121 und Aufgabenverarbeitungsmaschinen 118 zu automatisieren. Der Aufgabenauslegeprozess 208 kann dazu auslegbar sein, unterschiedlich konzipierte Aufgaben zu verteilen, die die gleichen Eingaben verarbeiten und ein gleiches Format von Ausgabe produzieren. Die Aufgabentypen können rein menschliche Aufgaben, maschinengeführte menschliche Aufgaben und reine Maschinenaufgaben umfassen (siehe 12). Das System kann dazu auslegbar sein, mehrere Aufgaben mit einem einzelnen Typ parallel oder sequenziell oder mit einer Kombination von unterschiedlichen Aufgabentypen parallel oder sequenziell auszuführen.
12 stellt ein Beispiel eines Aufgabenauslegeprozesses 1202 und die unterschiedlichen Typen von Aufgaben, die vorhanden sein können, dar. Eine rein menschliche Aufgabe 1204 kann definiert werden, die dazu bestimmt ist, einem oder mehreren der Schwarmarbeiter 121 und/oder Domänenexperten 130 zugewiesen und von diesem bzw. diesen durchgeführt zu werden. Beispielsweise kann eine Aufgabe im Arbeitsfluss definiert werden, um ähnliche Informationen von mehreren Quellen in eine einzelne Gruppe zu gruppieren und einen Titel für die Gruppe in einer Vorlage bereitzustellen (z. B. ‚Aktionsverb‘ ‚Artikel‘ ‚Komponentenname‘). Die Aufgabe kann als eine rein menschliche Aufgabe definiert sein, die eine grafische Benutzerschnittstelle für einen Menschen (z. B. Schwarmarbeiter 121) bereitstellt, um Auswahl von ähnlichen Informationen aus einer vollständigen Liste anzufordern und dann Einfügung eines Titels der gruppierten Sätze anzufordern. Einige Aufgaben erfordern Verarbeitung durch die Domänenexperten 130. Unterschiedliche Typen von Aufgaben können durch das Niveau von erforderlichem Domänenwissen unterschieden werden. Der Aufgabenauslegeprozess 1202 kann das Wissensniveau bestimmen und die Aufgabe entsprechend zuweisen.
Eine reine Maschinenaufgabe 1208 kann definiert werden, die dazu bestimmt ist, einer oder mehreren Aufgabenverarbeitungsmaschinen 118 zugewiesen und von dieser bzw. diesen durchgeführt zu werden. Beispielsweise kann eine Aufgabe als eine reine Maschinenaufgabe definiert werden, bei der Maschinenprozesse dazu konzipiert sind, eine Anzahl von Sätzen oder Phrasen zu empfangen und die Sätze basierend auf einer Prognosegenauigkeitsbewertung zu gruppieren.
Eine maschinengeführte menschliche Aufgabe 1206 kann definiert werden, die dazu bestimmt ist, einer Kombination aus den Schwarmarbeitern 121 und den Aufgabenverarbeitungsmaschinen 118 zugewiesen und von diesen durchgeführt zu werden. Beispielsweise kann eine Aufgabe als eine maschinengeführte Aufgabe definiert werden, bei der eine Aufgabenverarbeitungsmaschine 118 eine anfängliche Gruppierung von Sätzen verarbeitet, woraufhin Schwarmarbeiter 121 die maschinenverarbeiteten Ergebnisse validieren und einen Titel durch Interagieren mit dem System über eine grafische Benutzerschnittstelle bereitstellen.
Aufgaben des Systems können steckbar oder austauschbar sein, sodass Aufgaben unterschiedlicher Typen (z. B. menschlich, Maschine, maschinengeführt) untereinander ausgetauscht werden können. Die unterschiedlichen Typen von Aufgaben können definiert werden, um eine oder mehrere Eingaben 1210 zu empfangen und eine oder mehrere Ausgaben 1212 unter Verwendung eines üblichen Formats zu erzeugen. Für gegenseitig austauschbare Aufgaben können die Eingaben 1210 für jede der Aufgaben die gleichen sein, und die Ausgaben 1212 können die gleichen sein. Der Aufgabenauslegeprozess 1202 kann dann einen Aufgabenausführenden für jede Aufgabe auswählen. Beispielsweise kann eine rein menschliche Aufgabe durch eine neue maschinengeführte Aufgabe oder eine reine Maschinenaufgabe ersetzt werden, ohne den Arbeitsfluss zu beeinträchtigen. Der Austausch zwischen den Typen kann dynamisch bestimmt werden. Der Aufgabenauslegeprozess 1202 kann dazu ausgelegt sein, in Abhängigkeit von der Verfügbarkeit und Genauigkeit der von der Maschine oder dem Schwarmarbeiter verarbeiteten Information dynamisch zwischen den Aufgabentypen umzuschalten. Der Aufgabenauslegeprozess 1202 kann Aufgaben basierend auf der Verfügbarkeit jedes der Aufgabentypen zuweisen. Beispielsweise können einige Aufgaben als rein menschliche Aufgaben 1204 ohne eine entsprechende reine Maschinenaufgabe 1208 vorhanden sein. Mit der Zeit können zusätzliche reine Maschinenaufgaben entwickelt werden und können einfach in den Arbeitsfluss eingesetzt werden. Eine Aufgabe kann für jeden Typ von Aufgabenausführendem zugewiesen werden, um Ausgaben zu vergleichen. Dies kann verwendet werden, um die Ausgaben der unterschiedlichen Aufgabenausführenden zu validieren. Wenn eine Aufgabe validiert ist, kann sie in dem Arbeitsfluss verwendet werden. Der Aufgabenauslegeprozess 1202 kann Aufgaben für die effizientesten Aufgabenausführenden zuweisen (z. B. den schnellsten Aufgabenausführenden, der ein bestimmtes Niveau an Genauigkeit bietet).
Der Aufgabenauslegeprozess 1202 kann ein probabilistisches Modell zum Prognostizieren der Genauigkeit jedes Aufgabentyps vor der Aufgabenverteilung und ein probabilistisches Modell zum Validieren der Ausgabe von jeder durchgeführten Aufgabe umsetzen. Der Aufgabenauslegeprozess 1202 kann einen Arbeitsfluss von Aufgaben (z. B. Verteilung von Aufgaben) basierend auf der Prognose aus den Modellen bestimmen, um Qualität und Effizienz zu optimieren. Die Aufgabenauslegung und -auswahl kann auch manuell durch die Systemadministratoren 124 oder automatisch basierend auf in den Aufgabenauslegeprozess 1202 programmierten Regeln/Algorithmen geändert werden.
Erneut Bezug nehmend auf 2, kann das Datenverarbeitungssystem 102 einen Lösungsbündelungsprozess 210 umfassen. Der Lösungsbündelungsprozess 210 kann dazu ausgelegt sein, die von den Aufgabenausführenden empfangenen Lösungen zu bündeln. Die Lösungen können Antworten sein, die durch die Aufgabenausführenden in den Vorlagen bereitgestellt werden. Beispielsweise können Daten, die durch die Aufgabenausführenden in die Vorlagen eingefügt wurden, verarbeitet und mit Ausgaben ähnlicher Aufgaben oder Vorlagen verglichen werden. Einige Aufgaben können zur Durchführung an mehrere Aufgabenausführende gesendet werden. In einigen Fällen können ähnliche Aufgaben erzeugt und zugeordnet werden, um sicherzustellen, dass die Lösungen unter den Aufgabenausführenden konsistent sind. Der Lösungsbündelungsprozess 210 kann Lösungen vergleichen, um zu bestimmen, ob zusätzliche Aufgaben erzeugt werden sollen, um die Lösungen zu kombinieren oder weiter zu validieren.
Das Datenverarbeitungssystem 102 kann einen Wissensbasisaktualisierungsprozess 212 umfassen, der dazu ausgelegt ist, Informationen in der Wissensbasis 112 mit den durch die Aufgabenausführenden bereitgestellten Lösungen zu aktualisieren. Beispielsweise kann die Wissensbasis 112 dazu ausgelegt sein, eine Bibliothek von domänenspezifischen Begriffen oder domänenspezifischen Darstellungen zu umfassen. Eine Komponente kann durch unterschiedliche Beschriftungen oder Beschreibungen in unterschiedlichen Quellen beschrieben werden. Es kann hilfreich sein, die verschiedenen Darstellungen, die für die einzelnen Komponenten in Gebrauch sind, zu erfassen. Beispielsweise kann ein Sauerstoffsensor in unterschiedlichen Quellen als „O2-Sensor“ oder „Lambda-Sensor“ erscheinen. Der Wissensbasisaktualisierungsprozess 212 kann dazu ausgelegt sein, die Wissensbasis 112 mit den unterschiedlichen Domänenwissensdarstellungen zu aktualisieren. Bewusstheit der unterschiedlichen Darstellungen kann in relevanteren Suchergebnissen resultieren und kann beim Entdecken zusätzlicher Quellen zum Schürfen nach Daten helfen. Der Wissensbasisaktualisierungsprozess 212 kann natürliche Sprachverarbeitungsalgorithmen umsetzen, um Wissensdarstellung von der Wissensbasis 112 mit den in den Lösungen angegebenen zu vergleichen. Der Wissensbasisaktualisierungsprozess 212 kann dazu programmiert sein, zwei zusammengesetzte Substantive als potenzielle Synonyme zueinander im Hinblick auf die Substantive, die vorbestimmte Kriterien erfüllen, zu identifizieren. Die Kriterien können umfassen, dass eine Bildsuchengine in Reaktion auf eine Suche unter Verwendung der unterschiedlichen Begriffe mehr als eine vorbestimmte Anzahl von üblichen URLs bereitstellt. Die Kriterien können umfassen, dass die Substantive vollständig miteinander übereinstimmen, mit Ausnahme des Endwortes, das Sammlungen darstellt. Die Kriterien können umfassen, dass alle Unigramme der zwei Substantive die gleichen sind. Die Kriterien können umfassen, dass Unigramme eines Substantivs eine Teilmenge des anderen sind und die Endwörter der zwei Substantive die gleichen sind und ein generisches Wort sind. Der Prozess des Identifizierens unterschiedlicher Domänenwissensdarstellungen kann durch Konzipieren einer oder mehrerer Aufgaben zum Vergleichen von Begriffen mit präsentierten Bildern (z. B. 8) erleichtert werden.
Das Datenverarbeitungssystem 102 kann einen Wissensbasisquellenidentifizierungsprozess 214 umfassen. Der Wissensbasisquellenidentifizierungsprozess 214 kann dazu ausgelegt sein, Quellenmaterial zu identifizieren, das für die Wissensbasis 112 relevant ist. Der Wissensbasisquellenidentifizierungsprozess 214 kann dazu ausgelegt sein, die durch die Aufgabenausführenden bereitgestellten Lösungen auf zusätzliche Domänenwissensdarstellungen zu überwachen. Beispielsweise können die Domänenwissensdarstellungen zusätzliche Suchbegriffe zum Identifizieren von webbasierten Quellen, die die aktualisierten Domänenwissensdarstellungen umfassen, vorschlagen. Der Wissensbasisquellenidentifizierungsprozess 214 kann automatisiert und/oder durch die Systemadministratoren 124 geführt sein.
Das Datenverarbeitungssystem 102 kann einen Qualitätskontrollprozess 216 umfassen, der dazu ausgelegt ist, die Qualität von Lösungen und Aufgabenausführenden zu beurteilen und zu prognostizieren. Der Qualitätskontrollprozess 216 kann Verfahren zum Verbessern der Qualitätskontrolle von Aufgaben, die durch Schwarmarbeiter 121 durchgeführt wurden, durch Injizieren von Domänenwissen umsetzen. Verschiedene Strategien können umgesetzt werden, wie etwa Goldstandard, Mehrheitsentscheidung und Prognose. Der Qualitätskontrollprozess 216 kann dazu ausgebildet sein, die Genauigkeit einer gegebenen Lösung und die Genauigkeit der Aufgabenausführenden zu beurteilen. Der Qualitätskontrollprozess 216 kann auch die Zeitlinien von Aufgabenausführenden beim Bereitstellen der Lösungen überwachen. Die Rechtzeitigkeit kann als die Zeit von der Aufgabenzuweisung bis zum Aufgabenabschluss bestimmt werden. Der Qualitätskontrollprozess 216 kann dazu ausgelegt sein, die Aufgabenergebnisse und Antworten zu validieren. Der Qualitätskontrollprozess 216 kann Strategien umsetzen, um Genauigkeit der Aufgabenausführenden vor Verteilen der Aufgaben und Vorlagen zu prognostizieren.
Der Qualitätskontrollprozess 216 kann dazu ausgelegt sein, die Qualität der Schwarmarbeiter 121 durch Umsetzen eines Arbeiterprofilverwaltungsmerkmals zu verwalten. Die Qualität jedes Schwarmarbeiters 121 kann während einer Aufgabenevaluierung oder Überprüfung dynamisch berechnet werden. Das Qualitätsprofil eines Schwarmarbeiters 121 kann eine Gesamtstrafpunktzahl für alle Aufgabentypen und eine individuelle Aufgabenstrafpunktzahl für jeden Aufgabentyp umfassen. Die Strafpunktzahl kann basierend auf der Anzahl von Aufgaben mit korrekten Antworten über einer Gesamtanzahl von Aufgabeneinreichungen, Korrektheit von Goldstandardaufgaben, einer Zustimmungsrate von Antworten über verschiedene Schwarmarbeiter 121 für die gleiche Aufgabe und stichprobenartige Evaluierung von Aufgaben berechnet werden. Basierend auf den Strafpunktzahlen kann der Aufgabenauslegeprozess 208 dazu ausgelegt sein, die Zuweisung von Aufgaben zu einem Arbeiter vorübergehend oder permanent zurückzuhalten.
Der Qualitätskontrollprozess 216 kann dazu ausgelegt sein, eine Strafpunktzahl für jeden der Aufgabenausführenden zu pflegen. Die Strafpunktzahl kann durch den Aufgabenauslegeprozess 208 verwendet werden, um Aufgaben zu Aufgabenausführenden zuzuordnen. Der Aufgabenauslegeprozess 208 kann dazu programmiert sein, Aufgaben an die Aufgabenausführenden in Reaktion darauf zu verteilen, dass die entsprechende Strafpunktzahl kleiner als eine vorbestimmte Strafpunktschwelle ist. Die vorbestimmte Strafpunktschwelle kann ein Wert sein, der anzeigt, dass der Aufgabenausführende eine Qualitätsausgabe bereitstellt. Eine Strafpunktzahl, die die vorbestimmte Strafpunktschwelle überschreitet, kann indikativ für eine Ausgabe mit schlechter Qualität durch den Aufgabenausführenden sein. Der Aufgabenauslegeprozess 208 kann programmiert sein, um Verteilen von Aufgaben an einen Aufgabenausführenden mit einer entsprechenden Strafpunktzahl, die eine vorbestimmte Strafpunktschwelle überschreitet, zurückzuhalten oder zu verhindern. Der Qualitätskontrollprozess 216 kann die Strafpunktzahl entsprechend für jeden der Aufgabenausführenden erhöhen oder verringern.
Qualität kann basierend auf durch Schwarm und Maschine zusammen erstellten Qualitätskontrollmechanismen beurteilt werden. Qualität kann durch eine Validierung von menschlicher Eingabe mit einem Maschinenlernmodell mit Domänenwissen beurteilt werden. Ein Maschinenlernmodell kann als Konsens in Situationen, in denen Qualitätsprognose schwierig sein kann, als ein virtueller Schwarmarbeiter definiert werden.
Das Datenverarbeitungssystem 102 kann ein Verfahren zum Darstellen einer ranggeordneten Liste von Reparaturlösungen im Hinblick auf Quellengenauigkeitsprognose und Genauigkeitsprognose der Ausgabe der Aufgabenausführenden (Schwarmarbeiter, Maschine, Domänenexperte) umsetzen. Beispielsweise können Lösungen von Aufgabenausführenden mit höheren prognostizierten Genauigkeitswerten in einer Liste auffälliger platziert werden. Der Qualitätskontrollprozess 216 kann Quellengenauigkeitsprognose basierend auf vorgeschlagenen Lösungen von Nichtfachleuten, vorgeschlagenen Lösungen von Experten, Bestätigung der Behebung des Problems mit der vorgeschlagenen Lösung, vorgeschlagener Lösung basierend auf Raten, vorgeschlagener Lösung basierend auf der Lösung, die ein identisches oder ähnliches Problem, das früher aufgetreten ist, behoben hat, und der Anzahl (Auftreten) von redundanten Lösungen aus mehreren Quellen von Informationen berechnen.
Der Qualitätskontrollprozess 216 kann ferner eine Betrügeridentifizierungsstrategie umfassen. Ein Betrüger kann ein Arbeiter sein, der nicht korrekt arbeitet. Beispielsweise kann ein Betrüger motiviert sein, bei Maximierung des erhaltenen Betrags an Kompensation die Menge der durchgeführten Arbeit zu minimieren. Der Betrüger kann absichtlich ungenaue Informationen einreichen, ohne eine entsprechende Zeitdauer mit einer zugeordneten Aufgabe verbracht zu haben. Der Qualitätskontrollprozess 216 kann dazu programmiert sein, den Betrüger zu identifizieren und aufzuhören, dem identifizierten Betrüger Aufgaben zuzuweisen.
Der Qualitätskontrollprozess 216 kann ein Verfahren zum Identifizieren von Betrügern unter den Schwarmarbeitern für Reparatur- und Diagnosezusammenfassung umsetzen. Beispielsweise kann eine Aufgabenlösung für Textzusammenfassung überwacht werden, um Betrüger zu identifizieren. Die Strafpunktzahl für einen Aufgabenausführenden kann in Reaktion darauf, dass mehr als eine vorbestimmte Anzahl von Antworten von dem Aufgabenausführenden empfangen werden, die für unterschiedliche Aufgaben die gleichen sind (z. B. Schwarmarbeiter, der die gleiche Lösung für mehrere Reparaturfragen bereitstellt), auf einen Wert erhöht werden, der größer als die vorbestimmte Strafpunktschwelle ist. Das entsprechende Aufgabenergebnis oder die Antwort kann ungültig gemacht oder in Quarantäne versetzt werden. Ungültige Antworten können nicht weiterverarbeitet werden. In Quarantäne versetzte Antworten können für spätere Verwendung bei ausstehenden weiteren Ergebnissen vom gleichen Aufgabenausführenden gespeichert werden.
Der Qualitätskontrollprozess 216 kann domänenspezifische Darstellungen in einer bereitgestellten Lösung und einer ursprünglichen Quelle vergleichen. Die Strafpunktzahl für einen Aufgabenausführenden kann in Reaktion darauf, dass der Aufgabenausführende mehr als eine vorbestimmte Anzahl von Antworten auf Aufgaben bereitstellt, die domänenspezifische Darstellungen enthalten, die nicht in einer ursprünglichen Quelle in Verbindung mit den Aufgaben vorhanden sind (z. B. stellt der Schwarmarbeiter Lösungen bereit, die Komponenten enthalten, die nicht mehrmals in dem ursprünglichen Dokument vorhanden sind), auf einen Wert erhöht werden, der größer als die vorbestimmte Strafpunktschwelle ist. Die Strafpunktzahl kann über die vorbestimmte Strafpunktschwelle erhöht werden, wenn die Kriterien für mehr als eine vorbestimmte Anzahl von Aufgaben erfüllt sind. Das entsprechende Aufgabenergebnis oder die Antwort kann ungültig gemacht oder in Quarantäne versetzt werden.
Die Strafpunktzahl für einen Aufgabenausführenden kann in Reaktion darauf, dass der Aufgabenausführende mehr als eine vorbestimmte Anzahl von Antworten bereitstellt, die einzigartig im Vergleich mit Antworten sind, die von anderen Aufgabenausführenden für eine gleiche Aufgabe eingereicht wurden (z. B. stellt der Schwarmarbeiter mehrmals einzigartige Lösungen bereit, die keine anderen Schwarmarbeiter bereitgestellt haben), auf einen Wert erhöht werden, der größer als die vorbestimmte Strafpunktschwelle ist. Die Strafpunktzahl kann über die vorbestimmte Strafpunktschwelle erhöht werden, wenn die Kriterien für mehr als eine vorbestimmte Anzahl von Aufgaben erfüllt sind. Das entsprechende Aufgabenergebnis oder die Antwort kann ungültig gemacht oder in Quarantäne versetzt werden.
Die Kriterien zum Erhöhen der Strafpunktzahl sind indikativ dafür, dass der Schwarmarbeiter die Aufgabe nicht korrekt durchgeführt hat. In Auslegungen mit Videozusammenfassung kann sich die Strafpunktzahl in Reaktion darauf, dass der Aufgabenausführende eine Videozusammenfassungsaufgabe in einer Zeit abschließt, die kleiner als ein vorbestimmter Prozentsatz (z. B. eine Hälfte) einer Laufzeit eines zugeordneten Videosegments ist (z. B. schließt ein Schwarmarbeiter die Aufgabe innerhalb von weniger als der Hälfte der Gesamtlänge des Videos ab), erhöhen. Die Videozusammenfassung kann in Reaktion darauf, dass eine Aufgabenabschlusszeit kleiner als ein vorbestimmter Prozentsatz einer Dauer des Videos ist, das sich in der Quelle befindet, für ungültig erklärt werden. Dies ist indikativ dafür, dass der Schwarmarbeiter nicht den gesamten Videoausschnitt im Zusammenhang mit der Aufgabe angesehen hat.
Der Qualitätskontrollprozess 216 kann die Strafpunktzahl unter bestimmten Bedingungen verringern. Beispielsweise kann Einreichung von Antworten, die die Strafpunktkriterien nicht erfüllen, bewirken, dass die Strafpunktzahl verringert wird. Beispielsweise kann Bereitstellen von Lösungen, die durch eine andere Quelle validiert werden, bewirken, dass sich die Strafpunktzahl verringert. Die Rate des Erhöhens und Verringerns der Strafpunktzahl kann unterschiedlich sein.
Das Datenverarbeitungssystem 102 kann einen Systemadministrator-Benutzerschnittstellenprozess 222 umfassen. Der Systemadministrator-Benutzerschnittstellenprozess 222 kann dazu ausgelegt sein, Verwaltung des ISS 100 durch die Systemadministratoren 124 zu vereinfachen. Der Systemadministrator-Benutzerschnittstellenprozess 222 kann eine Anzeigeschnittstelle zum Ansehen von Informationen im Zusammenhang mit der Wissensbasis 112 umfassen. Der Systemadministrator-Benutzerschnittstellenprozess 222 kann Schnittstellen zum Erstellen und Verwalten von Vorlagen und Überprüfen von durch Aufgabenausführende bereitgestellten Lösungen umfassen.
Das Datenverarbeitungssystem 102 kann einen Schwarmarbeiter-Benutzerschnittstellenprozess 224 umfassen, der dazu ausgelegt ist, Aufgabendurchführung durch die Schwarmarbeiter 121 zu erleichtern. Der Schwarmarbeiter-Benutzerschnittstellenprozess 224 kann Schnittstellen umfassen, die den Schwarmarbeitern 121 ermöglichen, Lösungen anzusehen und in Vorlagen einzugeben. Beispielsweise kann der Schwarmarbeiter-Benutzerschnittstellenprozess 224 eine webbasierte Schnittstelle für Aufgabendurchführung definieren.
Das Datenverarbeitungssystem kann einen Maschine-zu-Maschine-Schnittstellenprozess 226 umfassen, der dazu ausgelegt ist, Interaktion mit den Aufgabenverarbeitungsmaschinen 118 zu verwalten. Der Maschine-zu-Maschine-Schnittstellenprozess 226 kann Kommunikationsprotokolle zwischen dem Datenverarbeitungssystem 102 und den Aufgabenverarbeitungsmaschinen 118 umsetzen. Der Maschine-zu-Maschine-Schnittstellenprozess 226 kann Programme zur Ausführung auf den Aufgabenverarbeitungsmaschinen 118 verteilen.
Das ISS 100 kann ferner ein Merkmal zum Bearbeiten/Überprüfen von Diagnose- und Reparaturlösungen umfassen. Das Merkmal kann Benutzerschnittstellen- (UI) und Softwarekomponenten umfassen, die Datenverarbeitungsspuren von ursprünglichen Quellen, extrahierten Informationen, Zusammenfassung und Gruppieren von ähnlichen Lösungen durch die Vorlage repräsentieren.
Das Datenverarbeitungssystem 102 kann einen Maschinenlernmodellaktualisierungsprozess 218 umfassen, der dazu ausgelegt ist, Erstellung und Training von Maschinenlernmodellen zu verwalten. Der Maschinenlernmodellaktualisierungsprozess 218 kann dazu ausgelegt sein, die Effizienz durch Maschinenlernen zu verbessern durch Umnutzen von aus früherer Ausführung erhaltenem Wissen durch einen mehrstufigen Validierungsprozess. Der Maschinenlernmodellaktualisierungsprozess 218 kann aktualisierbar sein, um Erstellung und Injektion von neuen Maschinenaufgaben, die offline konzipiert werden, in den Arbeitsfluss zu erlauben.
Domänenwissensdarstellung kann unter Verwendung einer Kette von Daten (z. B. Spur von Daten durch Rückverfolgung) aktualisiert werden. Beispielsweise kann das System anfänglich Domänenwissensdarstellung von Fahrzeugkomponenten mit einem repräsentativen Komponentennamen (z. B. Sauerstoffsensor), Akronymen (z. B. O2-Sensor) und/oder Synonymen (z. B. Lambda-Sensor) haben. Durch Verarbeitung von Informationen durch Aufgaben kann das System informelle Verwendungen (z. B. 02) oder häufige Schreibfehler (z. B. 02-Sensor, bei dem ein alphabetisches „O“ durch die Zahl null ersetzt wird) von Begriffen, die sich auf die gleiche Fahrzeugkomponente beziehen, lernen und aktualisieren. Der Maschinenlernmodellaktualisierungsprozess 218 kann dazu ausgelegt sein, das neue Wissen durch Aufrechterhalten einer Spur/Aufzeichnung der ursprünglichen Informationen, der zusammengefassten Informationen und der Gruppe/des Clusters von mehreren Zusammenfassungen, die in der abschließenden Lösung/Antwort für das zusammengefasste Problem resultieren, zu lernen.
13 stellt ein mögliches Blockdiagramm 1300 dar, das Daten zeigt, die als Teil einer Spurdatenbank 1320 aufrechterhalten werden können. Die Spurdatenbank 1320 kann nichtflüchtiger Speicher zum Speichern der Kette von Daten in dem Arbeitsfluss sein. Die Spurdatenbank 1320 kann eine erste Quelle 1304 und eine zweite Quelle 1310 umfassen. Die erste Quelle 1304 und die zweite Quelle 1310 stellen die ursprünglichen Quelldaten oder Verknüpfungen mit den ursprünglichen Quelldaten dar. Wie zuvor beschrieben, werden die ursprünglichen Quellen verarbeitet, um relevante Teile zu erhalten. Die Spurdatenbank 1320 kann ein erstes relevantes Teil 1306 umfassen, das aus der ersten Quelle 1304 abgeleitet wird. Die Spurdatenbank 1320 kann ein zweites relevantes Teil 1312 umfassen, das aus der zweiten Quelle 1310 abgeleitet wird. Wie zuvor beschrieben, können die relevanten Teile zusammengefasst werden. Die Spurdatenbank 1320 kann eine erste Zusammenfassung 1308 umfassen, die aus dem ersten relevanten Teil 1306 abgeleitet wird. Die Spurdatenbank 1320 kann eine zweite Zusammenfassung 1314 umfassen, die aus dem zweiten relevanten Teil 1312 abgeleitet wird. Wie zuvor beschrieben, können die zusammengefassten Teile kombiniert und gruppiert werden, was in einer abschließenden Zusammenfassung oder einem Titel resultiert. Die Spurdatenbank 1320 kann eine abschließende Zusammenfassung 1316 umfassen, die aus der ersten Zusammenfassung 1308 und der zweiten Zusammenfassung 1314 abgeleitet wird. 13 stellt eine abschließende Zusammenfassung dar, die eine Kombination aus zwei ursprünglichen Quellen ist. Es ist anzumerken, dass die Spurdatenbank 1320 viele solcher Datenstrukturen umfassen kann. Beispielsweise können mehrere relevante Teile aus einer ursprünglichen Quelle abgeleitet werden und in zusätzlichen abschließenden Zusammenfassungen resultieren. Die Spurdatenbank 1320 kann eine Kette oder Spur der Komponenten darstellen, die in den abschließenden Domänenwissensdarstellungen resultiert. Jede Aufgabe oder Vorlage kann mit einem entsprechenden Element innerhalb der Kette oder Spur verknüpft werden. Aufrechterhalten einer Spur der Komponenten ermöglicht ferner eine spätere Analyse, die hilfreich bei Neukonzeption oder Automatisierung des Arbeitsflusses sein kann.
Die Spurdatenbank 1320 kann Informationen für das Wissensbasisaktualisierungsmodul 212 bereitstellen. Beispielsweise kann die abschließende Zusammenfassung 1316 für das Wissensbasisaktualisierungsmodul 212 bereitgestellt werden. Das Wissensbasisaktualisierungsmodul 212 kann die abschließende Zusammenfassung 1316 durchsuchen, um zu bestimmen, ob sie Informationen enthält, die in der Wissensbasis 112 nicht vorhanden sind. Das Wissensbasisaktualisierungsmodul 212 kann die Wissensbasis 112 mit Domänenwissensdarstellungen, wie etwa Komponentennamen, Wörterbuchelementen, Symptomen, Fehlercodes und Reparaturinformationen, aktualisieren. Die Aktualisierung von Domänenwissen kann durch eine Maschine automatisiert oder halbautomatisiert sein (z. B. werden neu entdeckte Informationen durch einen Domänenexperten überprüft/bestätigt, bevor sie permanent als aktualisiertes Domänenwissen verwendet werden).
Die Spurdatenbank 1320 kann Informationen für den Maschinenlernmodellaktualisierungsprozess 218 zum Aktualisieren von Maschinenlernmodellen bereitstellen. Der Maschinenlernmodellaktualisierungsprozess 218 kann dazu ausgelegt sein, neue Maschinenlernmodelle zu erstellen durch Verwenden der Kette von Daten, die in unterschiedlichen Aufgaben des Arbeitsflusses verfolgt wurden. Beispielsweise kann eine Sammlung der relevanten Teile (z.B. erstes relevantes Teil 1306 und zweites relevantes Teil 1312), ausgewählt aus einer ursprünglichen Quelle von Informationen (z.B. erste Quelle 1304 und zweite Quelle 1310), der verknüpften Zusammenfassungen (z. B. erste Zusammenfassung 1308 und zweite Zusammenfassung 1314) und der abschließenden Zusammenfassung 1316, als Trainingsdaten für neue Maschinenlernalgorithmen eingegeben werden. Die Kette von Daten umfasst die Eingabe (z. B. ursprüngliche Quelle) und die abschließende Ausgabe (z. B. abschließende Zusammenfassung), die verwendet werden können, um die Maschinenlernmodelle zu trainieren. Beispielsweise kann das Maschinenlernmodell wiederholt mit den Trainingseingaben ausgeführt werden. Die Maschinenlernmodellausgaben können mit den erwarteten Ausgaben verglichen werden, um einen Fehler zu bestimmen. Gewichtungsfaktoren oder Verstärkungen innerhalb des Maschinenlernmodells können in Reaktion auf den Fehler angepasst werden. Der Prozess kann wiederholt werden, bis der Fehler unterhalb einer vorbestimmten Größe ist.
Der Informationsverarbeitungsarbeitsfluss kann eine Anzahl von Aufgaben oder Prozessen umfassen, wie in 11 dargestellt. 11 stellt eine mögliche Menge von Schritten oder Aufgaben für einen Zusammenfassungsarbeitsfluss 1100 dar. Jeder Schritt oder jede Aufgabe kann durch einen Menschen (z. B. Schwarmarbeiter 121) oder eine Maschine (z. B. Aufgabenverarbeitungsmaschine 118) durchgeführt werden.
Bei Aufgabe 1102 können Operationen durchgeführt werden, um die ursprüngliche Problembeschreibung von einem Diagnose-/Prüfwerkzeug oder Informationssystem in eine Vorlage zu transformieren. Die Vorlage kann eine oder mehrere Aufgaben definieren, die durchzuführen sind. Die Operation kann durch Systemadministratoren 124 oder durch ein Softwareprogramm oder eine Anwendung durchgeführt werden. In späteren Stufen der Informationssynthese kann die Operation durch eine Maschine automatisiert werden. Beispielsweise kann sich eine ursprüngliche Problembeschreibung auf einen Fehlercode im Zusammenhang mit einem Produkt beziehen. Der Fehlercode kann aus einem Diagnosewerkzeug gelesen oder durch das Produkt selbst angezeigt oder angegeben werden. Eine Vorlage kann erstellt werden, die versucht, Informationen in Verbindung mit dem spezifischen Fehlercode zu extrahieren. Fragen wie „Was verursacht Fehlercode X für ein Produkt Y?“, „Wie behebt man den Fehlercode X für Produkt Y?“ oder „Wie diagnostiziert man Fehlercode X für Produkt Y?“ könnten vorgelegt werden.
Bei Aufgabe 1104 können Operationen durchgeführt werden, um relevante Informationsquellen zu durchsuchen. Die Suche kann unter Verwendung von Suchbegriffen geführt werden, die mit vorhandenen domänenspezifischen Darstellungen in Beziehung stehen. Anfängliche Suchen können zusätzliche domänenspezifische Darstellungen enthüllen, die verwendet werden können, um zusätzliche Suchen zu führen. Relevante Informationsquellen können Websites und/oder Webseiten umfassen. Die Quellen können unstrukturierte Datenquellen sein. Eine unstrukturierte Datenquelle hat möglicherweise keine logische Reihenfolge oder Darstellung von Informationen. Beispielsweise ist ein webbasiertes Diskussionsforum nach Antworten oder Beiträgen geordnet. Um hilfreiche Informationen zu extrahieren, muss jeder Beitrag bzw. jede Antwort analysiert werden. Die Beiträge oder Antworten liefern möglicherweise nicht immer relevante Informationen. Der Suchprozess kann ein oder mehrere Quellen ergeben, die für das ursprüngliche Problem relevant sind. Beispielsweise können eine oder mehrere Webadressen identifiziert und gespeichert werden. Die Webadressen können in Vorlagen integriert werden. 4A und 4B stellen ein mögliches Beispiel einer Vorlage dar, die erstellt werden kann, um das Suchen zu erleichtern.
Bei Aufgabe 1106 können Operationen durchgeführt werden, um die relevantesten Daten aus der ausgewählten Quelle zu extrahieren. Eine Vorlage kann erstellt werden, um die ausgewählte Quelle zu identifizieren und eine Überprüfung anzufordern, um Abschnitte zu bestimmen, die für das ursprüngliche Problem relevant sind. 3A und 3B stellen ein mögliches Beispiel einer Vorlage dar, die Extrahieren von Informationen aus einer Quelle erleichtern kann. Die relevanten Daten können diejenigen Teile der Quelle umfassen, die am besten auf die ursprüngliche Problemdefinition anwendbar sind. Beispielsweise kann die Quelle von Informationen zusätzliche Informationen umfassen, die für das Problem nicht relevant sind. Die Aufgabenausgabe kann eine Identifizierung der relevanten Teile zur späteren Verarbeitung sein. Beispielsweise kann ein spezifischer Absatz oder Abschnitt identifiziert werden. Die Vorlage kann spezifische Fragen stellen, um Extraktion von relevanten Informationen zu erleichtern.
Bei Aufgabe 1108 können Operationen durchgeführt werden, um die relevanten Daten in einer Vorlage zusammenzufassen. Vorlagen können erstellt werden, um eine Zusammenfassung des relevanten Abschnitts der Quelle anzufordern. Beispielsweise kann die einem Schwarmarbeiter 121 zugewiesene Vorlage/Aufgabe Anweisungen zum Zusammenfassen der relevanten Daten in einem vorbestimmten Format bereitstellen, wie bereits beschrieben. Der Schwarmarbeiter 121 kann die Aufgabe verarbeiten und die angeforderte Zusammenfassung bereitstellen. Mehrere Aufgaben können verteilt werden, die unterschiedliche Quellen und/oder unterschiedliche relevante Abschnitte identifizieren. 5A und 5B stellen ein mögliches Beispiel einer Vorlage dar, die zum Zusammenfassen von Daten erstellt werden kann.
Bei Aufgabe 1110 können Operationen durchgeführt werden, um ähnliche Informationen in einer Gruppe zu gruppieren. Die Aufgabenergebnisse können analysiert werden, um zu bestimmen, ob es ähnliche Informationen gibt, die zusammen gruppiert werden können. Vorlagen können erstellt werden, um Aufgaben zu produzieren, um Identifizierung und Gruppierung von ähnlichen Informationen zu erleichtern. Vorlagen können eine Liste von ähnlichen Informationen produzieren, und dem Aufgabenausführenden kann Identifizieren der ähnlichen Informationen zugewiesen werden. 6 und 9 stellen mögliche Beispiele von Vorlagen zum Erleichtern des Kombinierens oder Gruppierens von Daten dar.
Bei Aufgabe 1112 kann eine Operation durchgeführt werden, um einen Titel/eine Kurzbeschreibung in der Vorlage zu erstellen. Der Aufgabenausführende kann das Gruppieren von Informationen überprüfen und einen Titel oder eine Beschreibung im Format <Aktionsverb> <Substantiv> bereitstellen. 7 stellt ein mögliches Beispiel einer Vorlage zum Erleichtern von Titelerzeugung dar.
Bei Aufgabe 1114 können Operationen durchgeführt werden, um nach Bildern für die Komponente für jeden Lösungstitel zu suchen. Eine Vorlage oder Aufgabe kann erstellt werden, um eine Suche nach Bildern der Komponente in Verbindung mit dem Titel/der Beschreibung zu bewirken.
Bei Aufgabe 1116 können Operationen durchgeführt werden, um Gruppen mit gemeinsamen Bildern in einer einzelnen Gruppe zu kombinieren. Die Bilder können überprüft werden, um zu bestimmen, ob beliebige Gruppen mit einem gemeinsamen Bild verknüpft sind. Aufgaben/Vorlagen können erstellt werden, um eine Analyse einer Menge von Bildern anzufordern. Beispielsweise kann eine Aufgabe anfordern, dass der Aufgabenausführende Bilder als von der gleichen Komponente identifiziert. 8 stellt ein mögliches Beispiel einer Vorlage zur Bildidentifizierung und -kombination dar.
Bei Aufgabe 1118 können Operationen durchgeführt werden, um die Lösungen abzuschließen und in eine Rangordnung einzureihen. Operationen können durchgeführt werden, um die abschließenden Lösungen in eine Rangordnung einzureihen. Die Strafpunktzahl kann verwendet werden, um Lösungen basierend auf den bereitgestellten Lösungen und/oder der vergangenen Leistung des Aufgabenausführenden in eine Rangordnung einzureihen. In der Rangordnung hoch eingereihte Lösungen können in die Wissensbasis 112 integriert werden. In der Rangordnung niedriger eingereihte Lösungen können zusätzliche Aufgaben zur späteren Validierung hervorbringen.
Der Arbeitsfluss aus 11 stellt eine Weise des Verarbeitens von Informationen dar, um eine Menge von unstrukturierten Daten in eine Menge von zielgerichtetem Domänenwissen in einem üblichen und konsistenten Format zu verringern. Der Arbeitsfluss kann durch die Vorlagen erleichtert werden, die spezifische, verwaltbare Aufgaben identifizieren, die durch die Aufgabenausführenden durchgeführt werden können. Der Arbeitsfluss kann für viele Produkte ähnlich sein. Die Vorlagen können dazu angepasst sein, die domänenspezifischen Darstellungen für ein gegebenes Produkt zu verwenden. Der Arbeitsfluss kann durchgeführt werden, um die domänenspezifische Wissensbasis für ein beliebiges Produkt oder System zu erzeugen.
14 stellt eine mögliche Abfolge von Operationen dar, die durch das ISS 100 durchgeführt werden können. Operationen können durch das Datenverarbeitungssystem 102 und/oder die Systemadministratoren 124 durchgeführt werden, in Abhängigkeit vom Grad der Automatisierung, der umgesetzt wird. Bei Operation 1402 können Aufgaben und Vorlagen erzeugt werden. Beispielsweise können domänenspezifische Darstellungen in eine leere oder generische Vorlage eingefügt werden. In einigen Auslegungen können die Aufgaben und Vorlagen durch den Systemadministrator 124 überprüft werden. Die Vorlagen können unter Verwendung von Informationen erzeugt werden, die momentan in der Wissensbasis 112 sind. Das Datenverarbeitungssystem 102 kann Domänenwissensdarstellungen, die momentan nicht in der Wissensbasis 112 vorhanden sind, aus vorherigen Aufgabenergebnissen identifizieren und Vorlagen erzeugen, die Aufgaben, die die Domänenwissensdarstellungen umfassen, zum Extrahieren von Informationen aus unstrukturierten Quellen definieren.
Bei Operation 1404 werden die Aufgaben/Vorlagen an die Aufgabenausführenden verteilt. Das Datenverarbeitungssystem 102 kann Daten hinsichtlich der Qualität von Aufgabenausführenden, die mit dem ISS 100 interagieren, pflegen. Das Datenverarbeitungssystem 102 kann ferner Aufgaben/Vorlagen basierend auf einer Verfügbarkeit der Aufgabenausführenden und einer Genauigkeit der Aufgabenausführenden verteilen. Das Datenverarbeitungssystem 102 kann Zuordnung der Aufgaben zu Aufgabenausführenden mit der höchsten Qualitätskennzeichnung priorisieren. Zusätzlich kann das Datenverarbeitungssystem 102 Planungsinformationen im Hinblick auf die Aufgabenausführenden pflegen. Beispielsweise kann das Datenverarbeitungssystem 102 Daten hinsichtlich ausstehender Aufgaben, die den Aufgabenausführenden zugewiesen sind, pflegen. Das Datenverarbeitungssystem 102 kann die Arbeitslast jedes Aufgabenausführenden bestimmen, um zu bestimmen, ob der Aufgabenausführende die Kapazität hat, die Aufgabe vor einem zugeordneten Termin durchzuführen. Das Datenverarbeitungssystem 102 kann auch den Typ von Aufgabe (z. B. rein menschlich oder rein maschinell) bestimmen, der zugeordnet werden soll. Beispielsweise kann das Datenverarbeitungssystem 102 auf die Verfügbarkeit der reinen Maschinenaufgabe prüfen, die die zuzuordnende Aufgabe durchführen kann. In einigen Fällen kann das Datenverarbeitungssystem 102 bestimmen, dass eine Aufgabe an mehrere Aufgabenausführende verteilt werden soll, um mehr Lösungen zu erhalten, die kombiniert werden können. Wenn der Aufgabenausführende bestimmt ist, kann das Datenverarbeitungssystem 102 die Aufgabe in einer angemessenen Weise über die entsprechende Schnittstelle an den Aufgabenausführenden senden.
Bei Operation 1406 kann das Datenverarbeitungssystem 102 die Lösungen/Antworten auf die Aufgaben empfangen. Beispielsweise können die Aufgabenausführenden die entsprechenden Eingabefelder in einer Vorlage ausgefüllt haben. Bei Operation 1408 kann das Datenverarbeitungssystem 102 die Antworten validieren. Beispielsweise kann das Datenverarbeitungssystem 102 die übermittelten Antworten mit anderen ähnlichen Antworten vergleichen. Das Datenverarbeitungssystem 102 kann den Qualitätskontrollprozess durchführen, um zu bestimmen, ob die Antwort gültig zu sein scheint. Das Datenverarbeitungssystem 102 kann im Rahmen des Validierungsprozesses Qualitätskontrollkennzeichnungen für die Aufgabenausführenden aktualisieren. Eine Antwort kann zurückgewiesen werden, wenn die Qualitätskontrollprüfungen nicht bestanden werden. Eine zurückgewiesene Aufgabe kann zurück an den Aufgabenausführenden gesendet werden oder kann zur weiteren Überprüfung und Aktion an Systemadministratoren 124 gesendet werden.
Bei Operation 1410 kann das Datenverarbeitungssystem 102 die Kette von Daten für Maschinenlerntraining aktualisieren. Beispielsweise kann das Datenverarbeitungssystem 102 die Spurdatenbank 1320 mit den relevanten Informationen in Verbindung mit der Aufgabe aktualisieren. Das Datenverarbeitungssystem 102 kann die Aufgaben identifizieren, die mit jedem Stück von Informationen verknüpft sind. Beispielsweise können mehrere Aufgaben verwendet werden, um die Kette von der ursprünglichen Quelle zu abschließenden Zusammenfassungsinformationen zu erstellen. Das Datenverarbeitungssystem 102 kann jede der Aufgaben mit dem entsprechenden Stück von Daten verknüpfen.
Bei Operation 1412 kann das Datenverarbeitungssystem die Antworten bündeln und zusammenfassen. Das Datenverarbeitungssystem 102 kann dazu programmiert sein, die Antworten zu verarbeiten, um ähnliche Antworten zu kombinieren. Ferner kann das Datenverarbeitungssystem 102 natürliche Sprachverarbeitungsroutinen umsetzen, um ähnliche Antwortdaten zu kombinieren. Beispielsweise kann für Zusammenfassungsdaten, die als ein Aktionsverb und ein Substantiv ausgedrückt sind, das Datenverarbeitungssystem 102 die Antworten für Wörter mit ähnlicher Bedeutung vergleichen und die Antworten unter Verwendung eines bevorzugten Wortes kombinieren. Ein Wort kann ein bevorzugtes Wort sein, wenn es in der Wissensbasis häufiger als eine vorbestimmte Anzahl von Malen und/oder häufiger als andere Wörter mit ähnlicher Bedeutung erscheint.
Bei Operation 1414 kann das Datenverarbeitungssystem 102 die Wissensbasis 112 aktualisieren. Beispielsweise kann das Datenverarbeitungssystem 102 identifizieren, dass ein Stück von Informationen momentan nicht in der Wissensbasis 112 ist. Das Datenverarbeitungssystem 102 kann dann die Wissensbasis 112 aktualisieren, um die neue Information einzuschließen. Wenn neue Informationen entdeckt werden, kann das Datenverarbeitungssystem 102 bestimmen, ob zusätzliche Aufgaben benötigt werden. Beispielsweise können die Antworten einen alternativen Namen für eine Komponente erzeugt haben. Zusätzliches Wissen kann durch Suchen nach Informationen basierend auf dem alternativen Namen erhalten werden. Auf diese Weise kann zusätzliches Wissen entdeckt und zur Wissensbasis 112 hinzugefügt werden.
Das beschriebene Informationssynthesesystem erleichtert die Erstellung einer Wissensbasis, die sich auf ein Produkt oder System bezieht. Die Wissensbasis kann basierend auf vorhandenen Informationen unter Verwendung von Arbeitern, die keine Domänenexperten sind, erzeugt werden. Dies resultiert in niedrigeren Kosten für das Erzeugen der Wissensbasis. Ferner ist das System einfach an das Verarbeiten neuer Informationen anpassbar. Beispielsweise können neue domänenbezogene Begriffe oder Darstellungen, die auftreten, verwendet werden, um zusätzliche Stücke von Informationen für die Wissensbasis zu suchen und zu erstellen. Ferner können die Vorlagen, die die Aufgaben definieren, für unterschiedliche Produkte ähnlich sein. Die Vorlagen können einfach an andere Produkte angepasst werden durch Ändern der domänenspezifischen Darstellungen und Begriffe.
Die hier offenbarten Prozesse, Verfahren oder Algorithmen können an eine Verarbeitungsvorrichtung, eine Steuerung oder einen Computer, der eine beliebige vorhandene programmierbare elektronische Steuereinheit oder dedizierte elektronische Steuereinheit umfassen kann, lieferbar sein oder durch diese umgesetzt werden. In ähnlicher Weise können die Prozesse, Verfahren oder Algorithmen als Daten und Anweisungen gespeichert werden, die durch eine Steuerung oder einen Computer in vielen Formen ausführbar sind, einschließlich u. a. als Informationen, die permanent auf nicht-beschreibbaren Speichermedien, wie etwa ROM-Vorrichtungen, gespeichert sind, und Informationen, die änderbar auf beschreibbaren Speichermedien, wie etwa Floppy Disks, Magnetbändern, CDs, RAM-Vorrichtungen und anderen magnetischen und optischen Medien gespeichert sind. Die Prozesse, Verfahren oder Algorithmen können auch in einem softwareausführbaren Objekt umgesetzt sein. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise unter Verwendung geeigneter Hardwarekomponenten, wie etwa anwendungsspezifischer integrierter Schaltungen (ASICs), feldprogrammierbarer Gate-Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderer Hardwarekomponenten oder -vorrichtungen oder einer Kombination aus Hardware-, Software- und Firmwarekomponenten ausgeführt sein.
Während oben beispielhafte Ausführungsformen beschrieben werden, ist nicht beabsichtigt, dass diese Ausführungsformen alle durch die Ansprüche eingeschlossenen möglichen Formen beschreiben. Die in dieser Spezifikation verwendeten Wörter sind eher Wörter der Beschreibung als der Beschränkung, und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne vom Geist und Schutzumfang der Offenbarung abzuweichen. Wie zuvor beschrieben, können die Merkmale verschiedener Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung zu bilden, die nicht explizit beschrieben oder dargestellt werden. Während verschiedene Ausführungsformen als Vorteile bietend oder als bevorzugt gegenüber anderen Ausführungsformen oder Umsetzungen des Stands der Technik im Hinblick auf eine oder mehrere gewünschte Charakteristiken beschrieben worden sein konnten, anerkennen Durchschnittsfachleute, dass ein oder mehrere Merkmale oder Charakteristiken beeinträchtigt sein können, um die gewünschten Systemattribute insgesamt zu erreichen, die von der spezifischen Anwendung und Umsetzung abhängen. Diese Attribute können, u. a., Kosten, Stärke, Haltbarkeit, Lebenszykluskosten, Vermarktbarkeit, Erscheinungsbild, Verpackung, Größe, Wartbarkeit, Gewicht, Herstellbarkeit, Einfachheit des Zusammenbaus usw. umfassen. Daher liegen Ausführungsformen, die als weniger wünschenswert als andere Ausführungsformen oder Umsetzungen des Stands der Technik im Hinblick auf eine oder mehrere Charakteristiken beschrieben werden, nicht außerhalb des Schutzumfangs der Offenbarung und können für bestimmte Anwendungen wünschenswert sein.

Claims

Informationssynthesesystem zum Erzeugen einer Wissensbasis, das Folgendes umfasst: ein Datenverarbeitungssystem, das dazu programmiert ist, Vorlagen, umfassend Aufgaben zum Extrahieren von Informationen aus unstrukturierten Quellen, an Aufgabenausführende zu verteilen, Aufgabenergebnisse von Aufgabenausführenden als Antworten in den Vorlagen zu erhalten, Domänenwissensdarstellungen zu identifizieren, die in den Aufgabenergebnissen vorhanden sind, aber in der Wissensbasis nicht vorhanden sind, Vorlagen zu erzeugen, die die Aufgaben definieren und die die Domänenwissensdarstellungen umfassen zum Extrahieren von zusätzlichen Informationen aus unstrukturierten Quellen.
System nach Anspruch 1, wobei die Aufgaben als rein menschliche Aufgaben, Maschinenaufgaben und maschinengeführte Aufgaben definiert werden.
System nach Anspruch 1, wobei das Datenverarbeitungssystem ferner dazu programmiert ist, die Vorlagen basierend auf einer Verfügbarkeit der Aufgabenausführenden und einer Genauigkeit der Aufgabenausführenden zu verteilen.
System nach Anspruch 1, wobei die Aufgaben Zusammenfassen von Informationen von unstrukturierten Datenquellen umfassen.
System nach Anspruch 1, wobei die Aufgaben Zusammenfassen von Informationen, die in zumindest einem Teil eines Videos enthalten sind, umfassen.
System nach Anspruch 5, wobei das Datenverarbeitungssystem ferner dazu programmiert ist, Aufgabenergebnisse zu validieren, die von jedem der Aufgabenausführenden empfangen wurden, und Aufgabenergebnisse in Reaktion darauf als ungültig zu identifizieren, dass eine Aufgabenabschlusszeit kleiner als ein vorbestimmter prozentualer Anteil einer Dauer des Teils des Videos ist.
System nach Anspruch 1, wobei das Datenverarbeitungssystem ferner dazu programmiert ist, die Aufgabenergebnisse von jedem der Aufgabenausführenden zu validieren und die Aufgabenergebnisse als ungültig zu identifizieren (i) in Reaktion darauf, dass die Aufgabenergebnisse für eine vorbestimmte Anzahl von Antworten gleich sind, (ii) in Reaktion darauf, dass die Aufgabenergebnisse Begriffe enthalten, die Komponenten identifizieren, die bei einer ursprünglichen Quelle, die den Aufgabenergebnissen entspricht, abwesend sind, und (iii) in Reaktion darauf, dass die Aufgabenergebnisse im Vergleich mit denen, die durch andere Aufgabenausführende eingereicht wurden, einzigartig sind.
System nach Anspruch 1, wobei das Datenverarbeitungssystem ferner dazu programmiert ist, eine Kette von Daten für die Aufgaben aufrechtzuerhalten, die für jede der Aufgaben Daten umfasst, die eine ursprüngliche Quelle, einen relevanten Teil der ursprünglichen Quelle, eine Zusammenfassung des relevanten Teils und eine abschließende Zusammenfassung, die aus der Zusammenfassung für jede der Aufgaben abgeleitet ist, definieren.
System nach Anspruch 8, wobei das Datenverarbeitungssystem ferner dazu programmiert ist, Training von einem oder mehreren Maschinenlernmodellen zu ermöglichen durch Bereitstellen der Kette von Daten als Trainingseingaben für die Maschinenlernmodelle.
System nach Anspruch 1, wobei das Datenverarbeitungssystem ferner dazu programmiert ist, vor dem Verteilen der Vorlagen eine Genauigkeit der Aufgabenausführenden zu prognostizieren.
Verfahren zum Aktualisieren einer Wissensbasis, das Folgendes umfasst: durch ein Datenverarbeitungssystem, Aufrechterhalten einer Strafpunktzahl für einen Aufgabenausführenden; Verteilen einer Aufgabe an den Aufgabenausführenden in Reaktion darauf, dass die Strafpunktzahl kleiner als eine vorbestimmte Schwelle ist; und Erhöhen der Strafpunktzahl für den Aufgabenausführenden auf einen Wert, der größer als die vorbestimmte Schwelle ist, in Reaktion darauf, dass der Aufgabenausführende mehr als eine vorbestimmte Anzahl von Antworten auf Aufgaben bereitstellt, die domänenspezifische Darstellungen enthalten, die nicht in einer mit den Aufgaben verknüpften ursprünglichen Quelle vorhanden sind.
Verfahren nach Anspruch 11, ferner umfassend Erhöhen der Strafpunktzahl für den Aufgabenausführenden auf einen Wert, der größer als die vorbestimmte Schwelle ist, in Reaktion darauf, dass eine größere als eine vorbestimmte Anzahl von Antworten von dem Aufgabenausführenden empfangen wird, die die gleichen für unterschiedliche Aufgaben sind.
Verfahren nach Anspruch 11, ferner umfassend Erhöhen der Strafpunktzahl für den Aufgabenausführenden auf einen Wert, der größer als die vorbestimmte Schwelle ist, in Reaktion darauf, dass der Aufgabenausführende mehr als eine vorbestimmte Anzahl von Antworten bereitstellt, die im Vergleich mit Antworten, die von anderen Aufgabenausführenden auf eine gleiche Aufgabe eingereicht wurden, einzigartig sind.
Verfahren nach Anspruch 11, ferner umfassend Erhöhen der Strafpunktzahl für den Aufgabenausführenden in Reaktion darauf, dass der Aufgabenausführende eine Videozusammenfassungsaufgabe in einer Zeit abschließt, die kleiner als ein vorbestimmter prozentualer Anteil einer Laufzeit eines zugeordneten Videosegments ist.
Verfahren nach Anspruch 11, ferner umfassend Annullieren von Antworten, die dazu beigetragen haben, dass die Strafpunktzahl die vorbestimmte Schwelle überschreitet.
Verfahren zum Synthetisieren von Informationen aus unstrukturierten Datenquellen zum Aktualisieren einer Reparaturwissensbasis, das Folgendes umfasst: Identifizieren relevanter Teile von ursprünglichen Quellen mit domänenspezifischem Wissen im Zusammenhang mit der Reparaturwissensbasis; Erstellen von Vorlagen, umfassend Aufgaben zum Zusammenfassen jedes der relevanten Teile, Verteilen der Vorlagen an Aufgabenausführende basierend auf Verfügbarkeit und Genauigkeit von Aufgabenausführenden, Bündeln von Lösungen aus den Vorlagen, die durch die Aufgabenausführenden ausgefüllt wurden, zum Erstellen einer Reparaturlösung, die als ein Aktionsverb gefolgt von einem Komponentennamen beschrieben werden; Aktualisieren der Reparaturwissensbasis mit domänenspezifischen Darstellungen von der Reparaturlösung, die momentan nicht in der Reparaturwissensbasis sind; und Erstellen und Verteilen von neuen Vorlagen basierend auf domänenspezifischen Darstellungen.
Verfahren nach Anspruch 16, ferner umfassend Erstellen eines neuen Maschinenlernmodells unter Verwendung der ursprünglichen Quellen, der relevanten Teile, Zusammenfassungen und Reparaturlösung als Trainingsdaten zum Aktualisieren von Maschinenlernmodellen.
Verfahren nach Anspruch 16, wobei die Reparaturlösung als ein Aktionsverb gefolgt von einem Komponentennamen beschrieben wird.
Verfahren nach Anspruch 16, wobei die ursprünglichen Quellen Dokumente sind, auf die auf einer Website zugegriffen wird.
Verfahren nach Anspruch 16, wobei die ursprünglichen Quellen Videos sind, auf die auf einer Website zugegriffen wird.