DE112020004921T5 - Vorausschauende virtuelle rekonstruktion physischer umgebungen - Google Patents

Vorausschauende virtuelle rekonstruktion physischer umgebungen Download PDF

Info

Publication number
DE112020004921T5
DE112020004921T5 DE112020004921.3T DE112020004921T DE112020004921T5 DE 112020004921 T5 DE112020004921 T5 DE 112020004921T5 DE 112020004921 T DE112020004921 T DE 112020004921T DE 112020004921 T5 DE112020004921 T5 DE 112020004921T5
Authority
DE
Germany
Prior art keywords
physical event
physical
event
events
program instructions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020004921.3T
Other languages
English (en)
Inventor
James Kozloski
Sarbajit Rakshit
Michael Gordon
Komminist Weldemariam
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of DE112020004921T5 publication Critical patent/DE112020004921T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Primary Health Care (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Technology Law (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Ausführungsformen der vorliegenden Erfindung beschreiben vorausschauend ein Rekonstruieren eines physischen Ereignisses unter Verwendung von erweiterter Realität. Ausführungsformen beschreiben ein Erkennen relativer Zustände von Objekten, die sich in einem Bereich eines physischen Ereignisses befinden, unter Verwendung von Videoanalyse, um gesammelte Video-Feeds aus dem Bereich des physischen Ereignisses vor und nach einem physischen Ereignis zu analysieren, an dem mindestens eines der Objekte beteiligt ist, ein Erstellen eines Wissenskorpus, das die Videoanalyse und die gesammelten Video-Feeds umfasst, die dem physischen Ereignis und Verlaufsinformationen zugehörig sind, und ein Erfassen von Daten, durch die Datenverarbeitungseinheit, des Bereichs des physischen Ereignisses. Darüber hinaus beschreiben Ausführungsformen ein Erkennen möglicher Vorereignisse auf der Grundlage der erfassten Daten und des Wissenskorpus und ein Erzeugen einer virtuellen Rekonstruktion des physischen Ereignisses unter Verwendung der möglichen Vorereignisse, ein Anzeigen, durch die Datenverarbeitungseinheit, der erzeugten virtuellen Rekonstruktion des vorhergesagten physischen Ereignisses, wobei die angezeigte virtuelle Rekonstruktion des vorhergesagten physischen Ereignisses ein Bild des Bereichs des physischen Ereignisses überlagert.

Description

  • HINTERGRUND
  • Die vorliegende Erfindung betrifft allgemein das Gebiet der erweiterten Realität (augmented reality) und insbesondere eine vorausschauende virtuelle Rekonstruktion physischer Umgebungen.
  • Bei erweiterter Realität (AR) handelt es sich um ein interaktives Erlebnis einer realen Umgebung, bei der Objekte, die sich in der realen Welt befinden, durch mittels Computer erzeugte Wahrnehmungsinformationen angereichert werden, manchmal über mehrere sensorische Modalitäten, unter anderem optische, akustische, haptische, somatosensorische und olfaktorische. AR kann als ein System definiert werden, das drei grundlegende Merkmale erfüllt: eine Kombination aus realen und virtuellen Welten, Echtzeit-Interaktion und exakte 3-D-Registrierung aktueller und realer Objekte. Die überlagerten sensorischen Informationen können die natürliche Umgebung ergänzen oder die natürliche Umgebung maskieren. Das AR-Erlebnis kann mit der physischen Welt nahtlos verflochten sein, sodass es als fesselnder Aspekt der realen Umgebung wahrgenommen wird. Auf diese Weise verändert erweiterte Realität die fortlaufende Wahrnehmung einer realen Umgebung, während virtuelle Realität die reale Umgebung des Benutzers durch eine simulierte ersetzt. Erweiterte Realität betrifft zwei weitgehend synonyme Begriffe: gemischte Realität (mixed reality) und computervermittelte Realität (computer-mediated reality).
  • Erweiterte Realität wird verwendet, um natürliche Umgebungen oder Situationen anzureichern und Wahrnehmungserlebnisse zu bereichern. Mit hochentwickelten AR-Technologien (z.B. Hinzufügen von Computer Vision, Einbeziehen von AR-Kameras in Smartphone-Anwendungen und Objekterkennung) werden Informationen über die umgebende reale Welt des Benutzers interaktiv. Informationen über die Umgebung und ihre Objekte werden der realen Welt überlagert. Den Benutzer fesselnde Wahrnehmungsinformationen werden manchmal mit ergänzenden Informationen wie etwa Punktbewertungen eines Live-Video-Feeds eines Sportereignisses kombiniert. Dies vereint die Vorteile sowohl der Technologie der erweiterten Realität als auch der Head-up-Display-Technologie (HUD).
  • KU RZDARSTELLU NG
  • Ausführungsformen der vorliegenden Erfindung offenbaren ein Verfahren, ein Computerprogrammprodukt und ein System zum Rekonstruieren eines physischen Ereignisses zum vorausschauenden Rekonstruieren eines physischen Ereignisses unter Verwendung von erweiterter Realität, wobei das durch Computer realisierte Verfahren aufweist: Erkennen relativer Zustände von Objekten, die sich in einem Bereich eines physischen Ereignisses befinden, unter Verwendung von Videoanalyse, um gesammelte Video-Feeds aus dem Bereich des physischen Ereignisses vor und nach einem physischen Ereignis zu analysieren, an dem mindestens eines der Objekte beteiligt ist; Erstellen eines Wissenskorpus, das die Videoanalyse und die gesammelten Video-Feeds, die dem physischen Ereignis zugehörig sind, und Verlaufsinformationen aus vorherigen physischen Ereignissen umfasst, um zu korrelieren, wie sich relative Positionen von Objekten in dem Bereich des physischen Ereignisses aufgrund des physischen Ereignisses, von Arten von physischen Ereignissen, die Nachereignissen zugehörig sind, und der Dauer des physischen Ereignisses änderten, das zu den Nachereignissen führte; Erfassen von Daten, durch eine Datenverarbeitungseinheit, des Bereichs des physischen Ereignisses; Erkennen möglicher Vorereignisse auf der Grundlage der erfassten Daten und des Wissenskorpus; Erzeugen einer virtuellen Rekonstruktion des physischen Ereignisses unter Verwendung möglicher Vorereignisse, wobei es sich bei der physischen Rekonstruktion des physischen Ereignisses um ein vorhergesagtes physisches Ereignis handelt, das höchstwahrscheinlich während des physischen Ereignisses eingetreten ist; und Anzeigen, durch die Datenverarbeitungseinheit, der erzeugten virtuellen Rekonstruktion des vorhergesagten physischen Ereignisses, wobei die angezeigte virtuelle Rekonstruktion des vorhergesagten physischen Ereignisses ein Bild des Bereichs des physischen Ereignisses überlagert.
  • Figurenliste
  • Im Folgenden werden Ausführungsformen der Erfindung lediglich beispielhaft beschrieben, wobei auf die beigefügten Zeichnungen Bezug genommen wird, in denen:
    • 1 ein Funktionsblockschema ist, das eine verteilte Datenverarbeitungsumgebung gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
    • 2 Arbeitsschritte eines Tools für virtuelle Rekonstruktion ist, das in Datenübertragungsverbindung mit einer Datenverarbeitungseinheit innerhalb der verteilten Datenverarbeitungsumgebung von 1 zum vorhersagenden Rekonstruieren eines physischen Ereignisses unter Verwendung von erweiterter Realität gemäß einer Ausführungsform der vorliegenden Erfindung steht; und
    • 3 ein Blockschema von Komponenten einer Datenverarbeitungseinheit bildlich darstellt, die das Tool für virtuelle Rekonstruktion innerhalb der verteilten Datenverarbeitungsumgebung von 1 gemäß einer Ausführungsform der vorliegenden Erfindung ausführt.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Während einer Untersuchung einer physischen Umgebung bewertet der Benutzer das umgebende physische Ereignis, sammelt Stichproben wie etwa defekte Objekte, relative Position der Objekte, unterschiedliche Markierungen auf dem Boden, Beschädigung des umgebenden Bereichs und/oder beliebige andere Informationen, die ein physisches Ereignis betreffen, das in der Technik bekannt ist. Dementsprechend kann ein Benutzer das physische Ereignis und den Bereich analysieren, der das physische Ereignis umgibt (d.h. den Bereich des physischen Ereignisses), um die Art des Vorfalls zu ermitteln, der stattgefunden haben könnte (z.B. Autounfall, Naturkatastrophe oder beliebige Umstände, an denen das in der Technik bekannte physische Ereignis beteiligt ist). Bei einem physischen Ereignis handelt es sich um ein Ereignis, an dem ein oder mehrere physische Objekte beteiligt sind, die mit einem oder mehreren weiteren physischen Objekten interagieren (z.B. Autounfall, Naturkatastrophe oder beliebige Umstände, an denen das in der Technik bekannte physische Objekt beteiligt ist). In der Technik umfassen gegenwärtig Ansätze zum Ermitteln, welche Ereignisse vor dem physischen Ereignis eintraten (d.h. Vorereignisse) und welche Ereignisse während des physischen Ereignisses eintraten, dass ein Benutzer die vielen unterschiedlichen Vorfälle zu erraten versucht, die in und um den Bereich des physischen Ereignisses stattgefunden haben könnten. In vielen Fällen ist es für einen Benutzer sehr schwierig die Ereignisse korrekt zu erraten oder zu ermitteln, die eingetreten sind und zu dem physischen Ereignis und den Ereignissen geführt haben, die während und nach dem physischen Ereignis geschahen, die zusammengefasst als Vorereignisse bezeichnet werden. Des Weiteren ist in vielen Fällen ein Vorhersagen und Ermitteln der Vorereignisse und der Ereignisse nach dem physischen Ereignis (d.h. Nachereignisse) nicht möglich, was zu Verzögerungen und Entscheidungsfehlern führen kann.
  • Ausführungsformen der vorliegenden Erfindung können die vorstehend aufgeführten Probleme lösen, indem ein auf künstlicher Intelligenz (Kl) beruhendes System erweiterter Realität bereitgestellt wird, das den umgebenden Bereich analysieren und unter Verwendung eines oder mehrerer Maschinenlernmodelle, die anhand historischer (physischer) Ereignisse trainiert wurden, vorhersagen kann, was in dem Bereich des physischen Ereignisses geschah. Zum Beispiel gehören zu dem einen oder den mehreren Maschinenlernmodellen, die zum Modellieren der Abläufe von Ereignissen und zum Vorhersagen von Vorereignissen verwendet werden können, Markowmodelle, bestärkendes Lernen (reinforcement learning, RL), rekurrentes neuronales Netz, Ablaufschürfmodell (sequence mining) und/oder Zeitreihenmodell. Darüber hinaus können Ausführungsformen der vorliegenden Erfindung die aktuelle Technik durch Anzeige der vorhergesagten Vorereignisse, der Ereignisse, die während des physischen Ereignisses eintraten, und der Nachereignisse verbessern, die durch das eine oder die mehreren Maschinenlernmodelle über eine Erweiterte-Realität-Brille (AR-Brille) oder eine AR-Anwendung oder ein Smartphone vorhergesagt wurden. Ausführungsformen der vorliegenden Erfindung können die aktuelle Technik durch Darstellen einer Liste möglicher Szenarien von Vorereignissen für einen Benutzer verbessern, indem Abläufe unter Verwendung von rekurrenten neuronalen Netzen (RNN) und der Ereignisse erzeugt werden, die während des physischen Ereignisses eintraten, wobei die Liste möglicher Szenarien von „am wahrscheinlichsten eingetreten“ bis „am wenigsten wahrscheinlich eingetreten“ eingestuft ist.
  • Ausführungsformen der vorliegenden Erfindung können AR-Technologie verbessern, indem ein Datenerfassungsmodul genutzt wird, um Verlaufsinformationen über physische Ereignisse zu erfassen, zu denen gehören: Video-Feeds (d.h. aufgenommenes Video) von unterschiedlichen Arten physischer Ereignisse, die zuvor aufgezeichnet wurden, oder berichtete physische Ereignisse; Internet-of-Things-Feeds (loT-Feeds), die beliebige physische Ereignisse betreffen; und mittels Computer erzeugte Simulationsergebnisse von unterschiedlichen Arten physischer Ereignisse. Dementsprechend können Ausführungsformen der vorliegenden Erfindung die Technik von AR-Technologie verbessern, indem Maschinenlernmodelle genutzt werden, um ein Wissenskorpus durch Sammeln und Speichern gesammelter Verlaufsinformationen zu erstellen, die einem aktuellen physischen Ereignis und vorherigen physischen Ereignissen zugehörig sind. Ausführungsformen der vorliegenden Erfindung erstellen ein Wissenskorpus durch Korrelieren verschiedener Parameter von Vorereignissen und Nachereignissen aus den zuvor gesammelten Daten, Ausführungsformen der vorliegenden Erfindung effizient das physische Ereignis vorhersagen und den Bereich und das physische Ereignis virtuell rekonstruieren können (z.B. demonstrieren, wie die unterschiedlichen Objekte beeinträchtigt oder beschädigt wurden, veranschaulichen, wie sich die relative Position der Objekte geändert haben könnte, die Arten von Ereignissen aufführen, die geschehen sein könnten, um das physische Ereignis und die Nachereignisse herbeizuführen, wie durch das eine oder die mehreren Maschinenlernmodelle erlernt; und den Kritikalitäts- oder Schweregrad des physischen Ereignisses ermitteln). Eine Klassifizierung des Kritikalitäts- oder Schweregrads des physischen Ereignisses kann unter Verwendung eines bidirektionalen Modells eines langen Kurzzeitgedächtnisses (LSTM-Modell) (LSTM = Long Short-term Memory) vorgenommen werden.
  • Wenn ein Benutzer durch eine AR-Brille auf den umgebenden Bereich des physischen Ereignisses schaut, können Ausführungsformen der vorliegenden Erfindung den umgebenden Bereich des physischen Ereignisses bewerten. Ausführungsformen der vorliegenden Erfindung können über erweiterte Realität virtuell eine Simulation des Demonstrierens anzeigen, wie das physische Ereignis eingetreten sein könnte, unter anderem die unterschiedlichen Arten von möglichen Vorereignissen, wie die Position eines Objektes bewegt wurde oder wie das Objekt beschädigt wurde. Ausführungsformen der vorliegenden Erfindung können über KI-fähige erweiterte Realität die Beleuchtung, die Wetterbedingungen und/oder die Umgebungsbedingungen des Bereichs des physischen Ereignisses zu dem Zeitpunkt nachahmen, zu dem das physische Ereignis eintrat. Zum Beispiel kann ein Benutzer beobachten, ob ein Fahrer zeitweilig durch die untergehende Sonne oder durch die Blendwirkung der Sonne in einem Seitenspiegel geblendet wurde.
  • Ausführungsformen der vorliegenden Erfindung können die Intensitätsarten, die Richtung der Intensität und die Dauer der Intensität eines physischen Ereignisses vorhersagen und dementsprechend dem Benutzer die vorhergesagten Ereignisse des physischen Ereignisses durch eine AR-Brille oder eine Datenverarbeitungsvorrichtung mit AR-Fähigkeit unter Verwendung des einen oder der mehreren Maschinenlernmodelle (z.B. RNN) anzeigen. Ausführungsformen der vorliegenden Erfindung können das physische Ereignis rekonstruieren und die Rekonstruktion des physischen Ereignisses über eine Erweiterte-Realität-Komponente anzeigen. Ausführungsformen der vorliegenden Erfindung können animierte Erweiterte-Realität-Grafiken anzeigen, um zu erklären, wie das physische Ereignis den Bereich des physischen Ereignisses geschaffen haben könnte, um einem Benutzer zu erleichtern, die Vorereignisse zu rekonstruieren und Einzelheiten über das physische Ereignis (z.B. Erdbeben, Wirbelstürme, Verkehrsmuster usw.) zu verstehen. Ausführungsformen der vorliegenden Erfindung können dem aktuellen Bereich des physischen Ereignisses AR-simulierte oder erlernte rekonstruierte Szenarien physische Ereignisse an ähnlichen Orten überlagern, um beliebige Ähnlichkeiten und/oder Unterschiede bei dem physischen Ereignis und/oder den Nachereignissen zu erkennen. Ausführungsformen der vorliegenden Erfindung können die ursprüngliche Position verschiedener Objekte vorhersagen, bevor das physische Ereignis eintrat, und anzeigen, wie die relative Position der Objekte aufgrund des physischen Ereignisses geändert wurde. Zum Beispiel eine Objektbewegungsbahn über AR-Simulation virtuell anzeigen.
  • Es sollte hierin beachtet werden, dass bei den beschriebenen Ausführungsformen teilnehmende Parteien (d.h. Benutzer) zugestimmt haben, dass ihre Bilder aufgenommen, hochgeladen und gespeichert sowie aufgezeichnet und überwacht werden. Darüber hinaus ist teilnehmenden Parteien die Möglichkeit bewusst, dass ein derartiges Aufzeichnen und Überwachen stattfinden kann. Bei verschiedenen Ausführungsformen, zum Beispiel beim Herunterladen oder Betreiben einer Ausführungsform der vorliegenden Erfindung, präsentiert die Ausführungsform der Erfindung eine Allgemeine-Geschäftsbedingungen-Eingabeaufforderung, die interessierten Parteien ermöglicht, einer Teilnahme zuzustimmen oder diese abzulehnen.
  • Realisierungsformen von Ausführungsformen der Erfindung können eine Vielfalt von Formen annehmen und beispielhafte Einzelheiten von Realisierungsformen werden im Folgenden unter Bezugnahme auf die Figuren (d.h. 1 bis 3) erörtert.
  • 1 ist ein Funktionsblockschema, das eine allgemein mit 100 bezeichnete verteilte Datenverarbeitungsumgebung gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht. Der Begriff „verteilt“ beschreibt in dem in dieser Spezifikation verwendeten Sinne ein Computersystem, das mehrere physisch getrennte Einheiten umfasst, die zusammen als ein einziges Computersystem arbeiten. 1 stellt lediglich eine Veranschaulichung einer Realisierungsform bereit und umfasst keinerlei stillschweigende Einschränkungen in Bezug auf die Umgebungen, in denen unterschiedliche Ausführungsformen realisiert werden können. Viele Modifikationen an der bildlich dargestellten Umgebung können durch Fachleute vorgenommen werden, ohne dass dies eine Abweichung von dem Schutzumfang der Erfindung darstellen würde, der durch die Ansprüche dargelegt ist. Die verteilte Datenverarbeitungsumgebung 100 umfasst eine Datenverarbeitungseinheit 110 und einen Server-Computer 120, die über ein Netzwerk 130 verbunden sind.
  • Bei dem Netzwerk 130 kann es sich zum Beispiel um ein Speichernetzwerk (storage area network, SAN), ein Telekommunikationsnetz, ein lokales Netzwerk (local area network, LAN), ein Weitverkehrsnetzwerk (wide area network, WAN) wie z.B. das Internet, eine kabellose Technologie zum Austauschen von Daten über kurze Entfernungen (unter Verwendung von Funkwellen mit kurzen Wellenlängen und ultrahohen Frequenzen (UHF-Funkwellen im ISM-Band (ISM = industry, scientific and medical)) von 2,4 bis 2,485 GHz von ortsfesten und mobilen Einheiten und des Aufbauens von persönlichen Netzwerken (personal area networks, PANs) in Gebäuden oder eine Kombination der drei) handeln, und es kann kabelgebundene, kabellose Verbindungen oder Lichtwellenleiterverbindungen umfassen. Das Netzwerk 130 kann eine oder mehrere kabelgebundene und/oder kabellose Netzwerke umfassen, die Daten-, Sprach- und/oder Videosignale senden und empfangen können, unter anderem Multimediasignale, die Sprach-, Daten-, Text- und/oder Videoinformationen umfassen. Allgemein kann es sich bei dem Netzwerk 130 um eine beliebige Kombination aus Verbindungen und Protokollen handeln, die Datenübertragungen zwischen der Datenverarbeitungseinheit 110 und dem Server-Computer 120 und beliebigen anderen Datenverarbeitungseinheiten und/oder Speichereinheiten (in 1 nicht gezeigt) innerhalb der verteilten Datenverarbeitungsumgebung 100 unterstützen.
  • Bei einigen Ausführungsformen der vorliegenden Erfindung kann es sich bei der Datenverarbeitungseinheit 110 um eine eigenständige Einheit, einen Client, einen Server, einen Notebook-Computer, einen Tablet-Computer, einen Netbook-Computer, einen Personal Computer (PC), ein Smartphone, einen Desktop-Computer, ein Smart-Fernsehgerät, eine Smartwatch, ein Radio, ein Stereosystem, einen Dienst auf Cloud-Basis (z.B. einen kognitiven Dienst auf Cloud-Basis), eine AR-Brille, ein Virtual-Reality-Headset, ein in der Technik bekanntes beliebiges HUD und/oder eine beliebige programmierbare elektronische Datenverarbeitungseinheit handeln, die in der Lage ist, über das Netzwerk 130 Daten mit verschiedenen Komponenten und Einheiten innerhalb einer verteilten Datenverarbeitungsumgebung 100 oder einer beliebigen Kombination darin auszutauschen, ohne auf diese beschränkt zu sein. Allgemein kann die Datenverarbeitungseinheit 110 für eine beliebige programmierbare Datenverarbeitungseinheit oder eine Kombination von programmierbaren Datenverarbeitungseinheiten stehen, die in der Lage sind, durch eine Maschine lesbare Programmanweisungen auszuführen und Daten mit Benutzern anderer Datenverarbeitungseinheiten über das Netzwerk 130 auszutauschen, und/oder in der Lage sind, durch eine Maschine lesbare Programmanweisungen zu lesen und Daten mit dem Server-Computer 120 auszutauschen.
  • Bei verschiedenen Ausführungsformen wird eine Kamerakomponente 108 auf der Datenverarbeitungseinheit 110 ausgeführt. Bei einigen Ausführungsformen kann sich die Kamerakomponente 108 an einer beliebigen Stelle innerhalb der verteilten Datenverarbeitungsumgebung 100 befinden und/oder ausgeführt werden. Bei der Kamerakomponente 108 kann es sich um eine oder mehrere Kameras handeln, die in der Technik bekannt sind. Bei verschiedenen Ausführungsformen kann die Kamerakomponente 108 der Datenverarbeitungseinheit 110 oder konkreter dem Tool 112 für virtuelle Rekonstruktion Video-Feeds (Video-Feed) davon bereitstellen, was der Benutzer anschaut. Ein Video-Feed kann in Echtzeit als Live-Video-Feed übertragen oder aufgezeichnet und als aufgezeichnete Video-Feed übertragen werden. Der Begriff „Video-Feed“ kann sich im hierin verwendeten Sinne auf eine oder beide Arten von Video-Feeds beziehen. Bei verschiedenen Ausführungsformen kann das Tool 112 für virtuelle Rekonstruktion die Datenverarbeitungseinheit 110 aktivieren, um den aufgenommenen Video-Feed und/oder Fotografien in einem gemeinsam genutzten Speicher 124 und/oder in einem lokalen Speicher 104 zu speichern. Bei verschiedenen Ausführungsformen ist die Kamerakomponente 108 in der Lage, Video-Feeds aufzuzeichnen, zu übertragen und zu speichern, und in der Lage, Fotografien aufzunehmen, zu übertragen und zu speichern.
  • Bei einigen Ausführungsformen der vorliegenden Erfindung kann die Datenverarbeitungseinheit 110 für eine beliebige elektronische Datenverarbeitungseinheit oder Kombination von programmierbaren elektronischen Datenverarbeitungseinheiten stehen, die in der Lage sind, durch eine Maschine lesbare Programmanweisungen auszuführen, durch eine Maschine lesbare Anweisungen zu manipulieren und über ein Netzwerk wie z.B. das Netzwerk 130 mit dem Server-Computer 120 oder anderen Datenverarbeitungseinheiten (nicht gezeigt) innerhalb der verteilten Datenverarbeitungsumgebung 100 Daten auszutauschen. Die Datenverarbeitungseinheit 110 kann eine Instanz einer Benutzeroberfläche (Schnittstelle) 106 und lokalen Speicher 104 umfassen. Bei verschiedenen Ausführungsformen, in 1 nicht bildlich dargestellt, kann die Datenverarbeitungseinheit 110 eine Mehrzahl von Benutzeroberflächen enthalten. Bei anderen Ausführungsformen, in 1 nicht bildlich dargestellt, kann die verteilte Datenverarbeitungsumgebung 100 eine Mehrzahl von Datenverarbeitungseinheiten, eine Mehrzahl von Server-Computern und/oder eine Mehrzahl von Netzwerken aufweisen. Die Datenverarbeitungseinheit 110 kann interne und externe Hardwarekomponenten umfassen, wie bildlich dargestellt und ausführlicher in Bezug auf 3 beschrieben.
  • Die Benutzeroberfläche (Schnittstelle) 106 stellt eine Schnittstelle zu dem vorausschauenden Tool für virtuelle Rekonstruktion (Tool für virtuelle Rekonstruktion) 112 bereit. Die Datenverarbeitungseinheit 110 kann über die Benutzeroberfläche 106 einem Benutzer und/oder einem Client ermöglichen, mit dem Tool 112 für virtuelle Rekonstruktion und/oder dem Server-Computer 120 auf verschiedene Weise wie z.B. Senden von Programmanweisungen, Empfangen von Programmanweisungen, Senden und/oder Empfangen von Nachrichten, Aktualisieren von Daten, Senden von Daten, Eingeben von Daten, Bearbeiten von Daten, Sammeln von Daten und/oder Empfangen von Daten zu interagieren. Bei einer Ausführungsform kann es sich bei der Schnittstelle 106 um eine grafische Benutzeroberfläche (graphical user interface, GUI) oder eine Web-Benutzeroberfläche (web user interface, WUI) handeln und mindestens Text, Dokumente, Webbrowser-Fenster, Benutzeroptionen, Anwendungsschnittstellen und Anweisungen zur Bedienung anzeigen. Die Schnittstelle 106 kann Informationen (wie z.B. Grafik, Text und Töne) umfassen, die einem Benutzer dargestellt werden und Abläufe steuern, die der Benutzer zum Steuern von Operationen nutzt. Bei einer weiteren Ausführungsform kann es sich bei der Schnittstelle 106 um eine mobile Anwendungssoftware handeln, die eine Schnittstelle zwischen einem Benutzer der Datenverarbeitungseinheit 110 und einem Server-Computer 120 bereitstellt. Mobile Anwendungssoftware bzw. eine „App“ kann so ausgestaltet sein, dass sie auf Smartphones, Tablet-Computern und anderen Datenverarbeitungseinheiten läuft. Bei einer Ausführungsform kann die Schnittstelle 106 dem Benutzer der Datenverarbeitungseinheit 110 ermöglichen, mindestens Daten zu senden, Daten einzugeben, Daten zu bearbeiten (Kommentare), Daten zu sammeln und/oder Daten zu empfangen.
  • Bei dem Server-Computer 120 kann es sich um eine eigenständige Datenverarbeitungseinheit, einen Verwaltungsserver, einen Webserver, eine mobile Datenverarbeitungseinheit, einen oder mehrere Client-Server oder eine beliebige elektronische Einheit oder ein beliebiges elektronisches Datenverarbeitungssystemen handeln, das in der Lage ist, Daten zu empfangen, zu senden und zu verarbeiten. Bei anderen Ausführungsformen kann der Server-Computer 120 für ein Server-Datenverarbeitungssystem stehen, das mehrere Computer wie z.B. ein Server-System wie z.B. in einer Cloud-Computing-Umgebung nutzt, ohne darauf beschränkt zu sein. Bei einer weiteren Ausführungsform kann der Server-Computer 120 für ein Datenverarbeitungssystemen stehen, das geclusterte (zu Gruppen zusammengefasste) Computer und Komponenten (z.B. Datenbankserver-Computer, Anwendungsserver-Computer usw.) nutzt, die als ein einziger Pool von nahtlosen Ressourcen fungieren, wenn innerhalb der verteilten Datenverarbeitungsumgebung 100 auf diese zugegriffen wird. Der Server-Computer 120 kann interne und externe Hardwarekomponenten umfassen, wie bildlich dargestellt und ausführlicher in Bezug auf 3 beschrieben.
  • Bei jedem des gemeinsam genutzten Speichers 124 und des lokalen Speichers 104 kann es sich um ein Daten-/Wissensarchiv (repository) und/oder eine Datenbank handeln, in das/die durch eines aus oder durch eine Kombination aus einem Tool 112 für virtuelle Rekonstruktion, einem Server-Computer 120 und einer Datenverarbeitungseinheit 110 geschrieben und/oder aus dem/der gelesen werden kann. Bei der bildlich dargestellten Ausführungsform befindet sich der gemeinsam genutzte Speicher 124 auf dem Server-Computer 120, und der lokale Speicher 104 befindet sich auf der Datenverarbeitungseinheit 110. Bei einer weiteren Ausführungsform können sich der gemeinsam genutzte Speicher 124, und/oder der lokale Speicher 104 an anderer Stelle innerhalb der verteilten Datenverarbeitungsumgebung 100 befinden, vorausgesetzt, dass jeder auf die Datenverarbeitungseinheit 110 und den Server-Computer 120 zugreifen kann und für diese zugänglich ist. Der gemeinsam genutzte Speicher 124 und/oder der lokale Speicher 104 können jeweils mit einer beliebigen Art von Speichereinheit realisiert sein, die in der Lage ist, Daten- und Konfigurationsdateien zu speichern, auf die der Server-Computer 120 zugreifen kann und die dieser nutzen kann, wie z.B. und ohne auf diese beschränkt zu sein, ein Datenbankserver, ein Festplattenlaufwerk oder ein USB-Stick.
  • Bei einigen Ausführungsformen der vorliegenden Erfindung kann es sich bei dem gemeinsam genutzten Speicher 124 und/oder dem lokalen Speicher 104 jeweils um ein Festplattenlaufwerk, eine Speicherkarte, einen COLD-Speicher (COLD = Computer Output to Laser Disc) und/oder eine beliebige Form von Datenspeicher handeln, die der Technik bekannt ist. Bei einigen Ausführungsformen kann es sich bei dem gemeinsam genutzten Speicher 124 und/oder dem lokalen Speicher 104 um ein oder mehrere Cloud-Speichersysteme und/oder Datenbanken handeln, die mit einem Cloud-Netzwerk verknüpft sind. Bei verschiedenen Ausführungsformen können der gemeinsam genutzte Speicher 124 und/oder der lokale Speicher 104 Daten physischer Ereignisse und/oder Daten, die in der gesamten verteilten Datenverarbeitungsumgebung 100 gemeinsam genutzt werden, speichern, aufnehmen und/oder darauf zugreifen.
  • Bei verschiedenen Ausführungsformen wird das Tool 112 für virtuelle Rekonstruktion auf dem Server-Computer 120 ausgeführt. Bei anderen Ausführungsformen kann das Tool 112 für virtuelle Rekonstruktion auf der Datenverarbeitungseinheit 110 ausgeführt werden. Bei einigen Ausführungsformen kann sich das Tool 112 für virtuelle Rekonstruktion an einer beliebigen Stelle innerhalb der verteilten Datenverarbeitungsumgebung 100 befinden und/oder ausgeführt werden. Bei verschiedenen Ausführungsformen kann das Tool 112 für virtuelle Rekonstruktion mit der Datenverarbeitungseinheit 110 und/oder dem Server-Computer 120 verbunden sein und tauscht Daten mit diesen aus. Bei den bildlich dargestellten Ausführungsformen weist das Tool 112 für virtuelle Rekonstruktion eine Datenerfassungskomponente 114, eine Maschinenlernkomponente 116 und eine Erweiterte-Realität-Komponente 118 auf. Bei der bildlich dargestellten Ausführungsform werden die Datenerfassungskomponente 114, die Maschinenlernkomponente 116 und die Erweiterte-Realität-Komponente 118 jeweils auf dem Tool 112 für virtuelle Rekonstruktion ausgeführt. Bei einigen Ausführungsformen der vorliegenden Erfindung können sich die Datenerfassungskomponente 114, die Maschinenlernkomponente 116 und die Erweiterte-Realität-Komponente 118 an einer beliebigen Stelle innerhalb der verteilten Datenverarbeitungsumgebung 100 befinden und/oder ausgeführt werden, solange die Datenerfassungskomponente 114, die Maschinenlernkomponente 116 und die Erweiterte-Realität-Komponente 118 mit dem Tool 112 für virtuelle Rekonstruktion, der Datenverarbeitungseinheit 110 und/oder dem Server-Computer 120 Daten austauschen können.
  • Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Datenerfassungskomponente 114 Verlaufsinformationen aus verschiedenen Informationsquellen sammeln, wie z.B.: zuvor aufgezeichneter Video-Feed von verschiedenen Arten physischer Ereignisse, loT-Feeds, die beliebige physische Ereignisse betreffen, zuvor erzeugte Ergebnisse von Computergrafiksimulationen von verschiedenen Arten physischer Ereignisse, Berichte über physische Ereignisse, Live-Video-Feed des aktuellen Bereichs des physischen Ereignisses und/oder beliebige andere Daten aus vorherigen physischen Ereignissen, die in der Technik bekannt sind. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die aus einem oder mehreren Maschinenlernmodellen bestehende Maschinenlernkomponente 116 unter Verwendung der gesammelten Verlaufsinformationen (d.h. der zuvor gesammelten Daten) ein Wissenskorpus erstellen. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Maschinenlernkomponente 116 ein Wissenskorpus erstellen, indem verschiedene Parameter von Vorereignissen und Nachereignissen aus den gesammelten Verlaufsinformationen korreliert werden, sodass das Tool 112 für virtuelle Rekonstruktion die Vorereignisse und Nachereignisse des aktuellen physischen Ereignisses vorhersagen und ermitteln kann. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion die aus dem Wissenskorpus erkannten korrelierten Parameter verwenden, um das physische Ereignis und den Bereich des physischen Ereignisses (z.B. veranschaulichen, wie die unterschiedlichen Objekte beeinträchtigt oder beschädigt wurden, veranschaulichen, wie die relative Positionsänderung von Objekten geändert werden kann, die Art des physischen Ereignisses erkennen, das die physischen Nachereignisse erzeugt, das physische Ereignis und den Kritikalitäts- oder Schweregrad des physischen Ereignisses erkennen).
  • Bei einigen Ausführungsformen kann das Tool 112 für virtuelle Rekonstruktion, wenn ein Benutzer eine AR-Brille verwendet und den umgebenden Bereich des physischen Ereignisses physisch untersucht, gleichzeitig Videos und Fotos sammeln, um den umgebenden Bereich des physischen Ereignisses durch die Kamerakomponente 108 zu bewerten. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion einem Benutzer unterschiedliche Szenarien anzeigen, die veranschaulichen, wie das physische Ereignis eingetreten sein könnte, die die Art des physischen Ereignisses umfassen und demonstrieren, wie sich die Positionen der Objekte bewegt haben können oder beschädigt wurden. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion die Beleuchtung der erzeugten Simulation der Rekonstruktion des physischen Ereignisses abändern, sodass der Benutzer „beobachten“ könnte, wie ein Fahrer zeitweilig durch die untergehende Sonne oder durch die Blendwirkung der Sonne in einem Seitenspiegel geblendet wurde.
  • Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion die Art des physischen Ereignisses, die Richtung des physischen Ereignisses, die Intensität des physischen Ereignisses, die Dauer des physischen Ereignisses vorhersagen, dementsprechend Nachstellung der vorhergesagten Ereignisse erzeugen und Nachstellung der vorhergesagten Ereignisse durch die Datenverarbeitungseinheit 110 über die Erweiterte-Realität-Komponente 118 anzeigen. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Erweiterte-Realität-Komponente 118 animierte Grafiken auf der Datenverarbeitungseinheit 110 erzeugen und anzeigen, wobei es sich bei den animierten Grafiken um Simulationen von (virtuellen) Erweiterte-Realität-Rekonstruktionen handelt, die veranschaulichen und bildlich darstellen können, wie das physische Ereignis eingetreten sein könnte, und dazu beitragen zu erklären, wie der Bereich des physischen Ereignisses erstellt wurde. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Datenerfassungskomponente 114 zuvor rekonstruierte Szenarien physischer Ereignisse an ähnlichen Orten abrufen und analysieren und die zuvor rekonstruierten Szenarien physischer Ereignisse dem aktuellen physischen Ereignis und dem Bereich des physischen Ereignisses überlagern, um nach Ähnlichkeiten und/oder Unterschieden zu suchen.
  • Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion die ursprüngliche Position von verschiedenen Elementen/Objekten vorhersagen, bevor das physische Ereignis eintrat, und kann die relative Position der Objekte anzeigen, die aufgrund des physischen Ereignisses geändert wurden. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Erweiterte-Realität-Komponente 118 animierte Bewegungs- oder Pfadverläufe von Objekten erzeugen und anzeigen, die von dem physischen Ereignis betroffen sind. Bei einer bestimmten Ausführungsform der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion Mechanismen, Abläufe, Ursachen und Auswirkungen des physischen Ereignisses aus einem Bericht mit geschriebenem Text sammeln. Bei dieser bestimmten Ausführungsform der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion den dokumentierten Bericht mit geschriebenem Text analysieren und interpretieren. Bei dieser bestimmten Ausführungsform der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion den gesammelten Bericht mit geschriebenem Text und zuvor gesammelte Daten verwenden, um eine Darstellung der erweiterten Realität des vorgeschlagenen Ablaufs von Ereignissen zu konstruieren (d.h. eine virtuelle Rekonstruktion des physischen Ereignisses). Wenn eine simulierte Position, ein simulierter Ablauf oder ein simuliertes Ergebnis von Ereignissen und Objekten mit dem aufgezeichneten endgültigen Zustand unvereinbar ist (z.B. fällt ein Objekt auf ein weiteres Objekt, obwohl sie sich in dem realen physischen Ereignis in einer unterschiedlichen Konstellation befinden), hält die Visualisierungssimulation an, hebt diese Unvereinbarkeit hervor und verlangt, dass der Benutzer Informationen abändert oder mehr Informationen zu dem Bericht hinzufügt.
  • Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion ein gemeinschaftliches Entwerfen von Erklärungen sowie virtuelle Realitätssimulationen ermöglichen und unterstützen. Das Tool 112 für virtuelle Rekonstruktion kann unterschiedlichen Benutzern ermöglichen, die Erklärung parallel zu Simulationen virtueller Rekonstruktionen des physischen Ereignisses zu bearbeiten, indem von der Master-Erklärung verzweigt wird, Simulationen in dieser Verzweigung ausgeführt werden und anschließend die erhaltenen Modifikationen im Master festgeschrieben werden, wodurch sie anderen Benutzern der Gemeinschaft zum Anzeigen der neuesten Version der Erklärung zur Verfügung stehen. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion Wortmeldungen verlangen, wodurch durch die Gemeinschaft erarbeitete Erklärungen ermöglicht werden.
  • Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion eine aktuelle Simulation der virtuellen Rekonstruktion des physischen Ereignisses mit verschiedenen Vorschriften und Randbedingungen vergleichen, die aus einer Datenbank abgeleitet sind, die aufweist: i) Bauvorschriften, ii) Straßenverkehrsrecht, iii) Sicherheitszertifizierungen, iv) technische Spezifikationen und/oder v) Produktgarantien. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion Aspekte (z.B. Objekte, Abläufe, Ursache-Wirkung-Beziehungen) in einer Simulation einer virtuellen Realität oder erweiterten Realität hervorheben und kann die Aspekte kommentieren (z.B. durch eine Farbe oder ein Symbol), um anzugeben, wann und wo eine Abweichung von Randbedingungen, Vorschriften, Zertifizierungen, Spezifikationen, Garantien und/oder beliebigen anderen verschiedenen in der Technik bekannten Reglementierungen in dem Bereich des physischen Ereignisses eingetreten sein könnte. Bei einer weiteren Ausführungsform der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion unter Verwendung der Objekte, des Ablaufs von Ereignissen, von Ursache-Wirkung-Beziehungen und von anderen Datenquellen (z.B. Video-Feed-Daten aus lokaler oder entfernter Erfassung oder gemeinschaftlich erarbeitete Daten) eine Vorhersage rekonstruieren und simulieren, wie das physische Ereignis eingetreten ist, und kann ein vorhergesagtes Szenario des physischen Ereignisses auf der Datenverarbeitungseinheit 110 (d.h. auf einem Virtuelle-Realität-System oder AR-System) als Wiedergabe des physischen Ereignisses darstellen. Wobei die Wiedergabe „Gefahrenherde“ unter Verwendung des Kommentars zum Markieren möglicher risikobehafteter Muster oder Ereignisse angeben kann, die die Ereignisse in dem physischen Ereignis verursachen könnten, während auf relevante Reglementierungen verwiesen wird. Die rekonstruierte Wiedergabe kann von einer Datenverarbeitungseinheit auf eine weitere verteilt werden und kann bei Bedarf in dreidimensionale Modelle (3-D-Modelle) umgewandelt werden.
  • Bei einer Ausführungsform der vorliegenden Erfindung können das aktuelle physische Ereignis, die Antwort und der zugehörige gemeinsam erklärte/bearbeitete Entwurf unter Verwendung von Smart-Contracts und Blockchain verwaltet und nachverfolgt werden. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann ein Benutzer eine AR-fähige Brille oder ein Virtuelle-Realität-Headset tragen und die Vorereignisse, das physische Ereignis und die Nachereignisse erneut erleben. Zum Beispiel fährt ein Benutzer ein Auto, als würde es sich um ein Auto in dem physischen Ereignis handeln, und die AR-fähige Brille zeigt eine Simulation eines Autos, das ihm die Vorfahrt in einer Weise nimmt, die den Autounfall verursacht haben könnte. Alternativ kann das Tool 112 für virtuelle Rekonstruktion die Simulation der virtuellen Rekonstruktion einem Benutzer auf der Windschutzscheibe eines Fahrzeugs in Echtzeit als HUD anzeigen. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Maschinenlernkomponente 114 Verlaufsberichte von physischen Ereignissen, Verlaufssimulationen von physischen Ereignissen, physische Ereignisse betreffende Video-Feeds und loT-Feeds erfassen, um ein Wissenskorpus zu erstellen. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Erweiterte-Realität-Komponente 118 einem Benutzer ermöglichen, eine virtuelle Neuerstellung einer vorhergesagten Erklärung der Ereignisse in dem aktuellen physischen Ereignis mit Hilfe der Datenverarbeitungseinheit 110 (z.B. einer Erweiterte-Realität-Brille oder eines Smartphones) anzeigen.
  • Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Datenerfassungskomponente 114 zuvor aufgezeichnete und gespeicherte Video-Feeds von verschiedenen physischen Ereignissen erfassen, unter anderem Armaturenbrettkamera-, Verkehrskamera-, loT-Feed und/oder beliebige andere Kamera oder beliebigen anderen Kamera-Feed, der in der Technik bekannt ist. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion Bilder und/oder Video aus einem loT-Feed von einer ortsfesten Kamera und/oder einer loT-Einheit in dem Bereich des physischen Ereignisses abrufen, wobei der loT-Feed die Kraftart, Temperatur, Aufprallrichtung (falls notwendig), Tageszeit und Wetterbedingungen aufweisen kann, die dem physischen Ereignis zugehörig sind, ohne auf diese beschränkt zu sein. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Datenerfassungskomponente 114 Berichte über das physische Ereignis von einem Benutzer oder aus einem Wissensarchiv (z.B. lokaler Speicher 104 und/oder gemeinsam genutzter Speicher 124) sammeln oder abrufen, während es gleichzeitig die auf Video beruhenden Simulationsergebnisse der verschiedenen Arten von vorhergesagten physischen Ereignissen sammelt, wobei die vorhergesagten physischen Ereignisse von „am wahrscheinlichsten eintretend“ bis „am wenigsten wahrscheinlich eintretend“ eingestuft sind. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion die gesammelten Daten auf der Grundlage von Vorereignissen, des physischen Ereignisses und von Nachereignissen clustern. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion das Vorereignis und Nachereignisse vergleichen, um Änderungen zu erkennen, die infolge der Ereignisse während des physischen Ereignisses an dem umgebenden Bereich und an den umgebenden Objekten aufgetreten sind.
  • Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann während des Vergleichs zwischen Vorereignissen und Nachereignissen das Tool 112 für virtuelle Rekonstruktion einen Vergleich zwischen den gesammelten Bildern, Video-Einzelbildern, loT-Feeds und/oder beliebigen anderen gesammelten Daten durchführen, die das physische Ereignis betreffen, das in der Technik bekannt ist. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion mit Bildobjektumgrenzung und Objekterkennung erkennen, wie die relative Position und der relative Zustand der Objekte infolge des physischen Ereignisses geändert wurden.
  • Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über Videoanalyse einen Abschnitt analysieren, der das physische Ereignis betrifft, und die Art des physischen Ereignisses die Art des Aufpralls (falls notwendig), Richtung des Aufpralls (falls notwendig), Dauer des Aufpralls (falls notwendig) und die Menge/Anzahl von Aufprallen des physischen Ereignisses erkennen. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Maschinenlernkomponente 116 ein Wissenskorpus durch Sammeln und Speichern gesammelter Verlaufsinformationen erstellen, die einem aktuellen physischen Ereignis und vorherigen physischen Ereignissen zugehörig sind. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion ein Wissenskorpus erstellen, indem die erfassten Daten (d.h. zuvor gesammelte Daten) verwendet werden, um zu korrelieren, wie die relative Position der Objekte wegen des physischen Ereignisses geändert worden sein könnte. Das Tool 112 für virtuelle Rekonstruktion kann mehrere Arten von physischen Ereignissen, die zu den aktuellen Nachereignissen führen können, und die Dauer des physischen Ereignisses erkennen, um ein derartiges physisches Ereignis zu erstellen. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Wissenskorpus zum virtuellen Rekonstruieren des physischen Ereignisses beitragen. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung stellt das Tool 112 für virtuelle Rekonstruktion, wenn ein Benutzer das Tool 112 für virtuelle Rekonstruktion über die Datenverarbeitungseinheit 110 (z.B. AR-Brille) ausführt, eine Verbindung zu dem erstellten Wissenskorpus her und ruft das physische Ereignis betreffende Daten ab, um das physische Ereignis zu rekonstruieren, wobei das Tool 112 für virtuelle Rekonstruktion das Wissenskorpus verwendet, um Daten aus ähnlichen physischen Ereignissen und ähnlichen Nachereignissen abzurufen.
  • Bei verschiedenen Ausführungsformen kann das Tool 112 für virtuelle Rekonstruktion die Kamera und einen Sensor (in 1 nicht bildlich dargestellt) aktivieren, die auf der Datenverarbeitungseinheit 110 ausgeführt werden, um das physische Ereignis und den Bereich aufzunehmen, der den Bereich des physischen Bereichs umgibt. Darüber hinaus kann das Tool 112 für virtuelle Rekonstruktion bei verschiedenen Ausführungsformen der vorliegenden Erfindung die Kamera und den Sensor aktivieren, die auf der Datenverarbeitungseinheit 110 ausgeführt werden, um auf Daten in einem loT-Feed zuzugreifen, aus einem loT-Feed zu erfassen und/oder abzurufen. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion ein oder mehrere Objekte in einem Bereich eines physischen Ereignisses erkennen, wobei das Tool 112 für virtuelle Rekonstruktion Objekte einzeln sowie die aktuelle Position des Objekts und den Zustand des Objekts (z.B. verbrannt, defekt, intakt usw.) erkennen kann. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion auf der Grundlage der gesammelten und analysierten Daten vorhersagen, wie die Nachereignisse eingetreten sind.
  • Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion auf der Grundlage des erstellten Wissenskorpus mögliche Erklärungen der physischen Ereignisse erkennen. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion die erkannten Vorhersagedaten an die Datenverarbeitungseinheit 110 (z.B. Erweiterte-Realität-Brille) senden, wobei das Tool 112 für virtuelle Rekonstruktion virtuelle animierte Objekte erstellen kann die dem aktuellen physischen Ereignis zugehörig sind. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion auf der Grundlage der erzeugten vorhergesagten Ereignisse, die zu dem physischen Ereignis geführt haben und währenddessen eingetreten sind, das physische Ereignis rekonstruieren und die virtuelle Rekonstruktion über die Datenverarbeitungseinheit 110 als Überlagerung des Bereichs des physischen Ereignisses anzeigen.
  • 2 veranschaulicht Arbeitsschritte des allgemein mit 200 bezeichneten Tools 112, das in Datenübertragungsverbindung mit der Datenverarbeitungseinheit 110 innerhalb der verteilten Datenverarbeitungsumgebung 100 von 1 zum vorhersagenden Rekonstruieren eines physischen Ereignisses unter Verwendung von erweiterter Realität gemäß einer Ausführungsform der vorliegenden Erfindung steht. 2 stellt eine Veranschaulichung einer Realisierungsform bereit und umfasst keinerlei stillschweigende Einschränkungen in Bezug auf die Umgebungen, in denen unterschiedliche Ausführungsformen realisiert werden können. Viele Modifikationen an der bildlich dargestellten Umgebung können durch Fachleute vorgenommen werden, ohne dass dies eine Abweichung von dem Schutzumfang der Erfindung darstellen würde, der durch die Ansprüche dargelegt ist.
  • In Schritt 202 sammelt das Tool 112 für virtuelle Rekonstruktion verschiedene Bilder oder Video-Feeds. Bei verschiedenen Ausführungsformen kann das Tool 112 für virtuelle Rekonstruktion über die Datenerfassungskomponente 114 verschiedene Bilder und/oder Video-Feeds aus verschiedenen Quellen (z.B. Kamerakomponente 108, loT-Einheiten und/oder loT-Sensoren) sammeln. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Datenerfassungskomponente 114 die dokumentierten Berichte des aktuellen physischen Ereignisses und zuvor dokumentierter physischer Ereignisse sammeln.
  • In Schritt 204 sammelt das Tool 112 für virtuelle Rekonstruktion zuvor erstellte Simulationen physischer Ereignisse. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Datenerfassungskomponente 114 zuvor erstellte Simulationen physischer Ereignisse aus einer Datenbank (z.B. lokaler Speicher 104 und/oder gemeinsam genutzter Speicher 124) sammeln.
  • In Schritt 206 clustert das Tool 112 für virtuelle Rekonstruktion die gesammelten Daten. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Datenerfassungskomponente 114 die gesammelten Daten (z.B. Video-Feeds aus verschiedenen Quellen, dokumentierten Berichten und/oder zuvor erstellten Simulationen physischer Berichte sammeln) in drei Kategorien (z.B. Vorereignisse, das physische Ereignis und Nachereignisse) clustern.
  • In Schritt 208 analysiert das Tool 112 für virtuelle Rekonstruktion die geclusterten Daten. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Maschinenlernkomponente 114 die geclusterten Daten durch Vergleichen der Vorereignisse und Nachereignisse analysieren, um die Änderungen zu erkennen, die durch das physische Ereignis verursacht wurden. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Maschinenlernkomponente 114 unter Verwendung von Bildobjektumgrenzung und Objekterkennung erkennen, wie sich die relative Position und der relative Zustand eines Objekts aufgrund des physischen Ereignisses geändert haben. Zum Beispiel wird sich nach einem Erdbeben die relative Position der Objekte in dem Lager geändert haben oder sie werden beschädigt worden sein (von den Regalen heruntergefallene und auf dem Boden zerbrochene Platten).
  • In Schritt 210 erkennt das Tool 112 für virtuelle Rekonstruktion die relativen Zustände von Objekten, die an dem physischen Ereignis beteiligt sind. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Maschinenlernkomponente 114 Videoanalyse verwenden, um die gesammelten Video-Feeds zu analysieren und Abschnitte der gesammelten Video-Feeds zu erkennen, die für das physische Ereignis von Bedeutung sind. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Maschinenlernkomponente 114 Videoanalyse verwenden, um die Art des physischen Ereignisses, die Art des vor, nach oder während des physischen Ereignisses eingetretenen Aufpralls, die Richtung des Aufpralls, die Dauer des Aufpralls und die Anzahl von Aufprallen erkennen, die an dem physischen Ereignis beteiligt sind.
  • In Schritt 212 erstellt das Tool 112 für virtuelle Rekonstruktion ein Wissenskorpus. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Maschinenlernkomponente 114 ein Wissenskorpus durch Sammeln und Speichern gesammelter Verlaufsinformationen erstellen, die einem aktuellen physischen Ereignis und vorherigen physischen Ereignissen zugehörig sind. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Maschinenlernkomponente 114 ein Wissenskorpus erstellen, indem die gesammelten Verlaufsinformationen, die einem aktuellen physischen Ereignis und vorherigen physischen Ereignis zugehörig sind, verwendet werden, um zu korrelieren, wie sich die relative Position der Objekte in dem Bereich des physischen Ereignisses aufgrund des physischen Ereignisses, der Arten von physischen Ereignissen, die den Nachereignissen zugehörig sind, und der Dauer des physischen Ereignisses geändert hat, das zu den Nachereignissen geführt hat. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion das Wissenskorpus verwenden, um das Rekonstruieren des physischen Ereignisses zu erleichtern, indem geclusterte Daten und erkannte relevante Videoabschnitte zum Konstruieren simulierter Szenarien von physischen Ereignissen verwendet werden.
  • In Schritt 214 erfasst das Tool 112 für virtuelle Rekonstruktion Daten in dem Bereich des physischen Ereignisses. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Datenerfassungskomponente 114 Daten aus dem Bereich des physischen Ereignisses erfassen und sammeln, während der Benutzer mit der Datenverarbeitungseinheit 110 das physische Ereignis und den Bereich des physischen Ereignisses betrachtet. Die Kamera und der Sensor, die an der AR-Brille installiert sind, können das Video und/oder die Fotos des Bereichs des physischen Ereignisses aufnehmen und einen loT-Feed erstellen. Das aufgenommene Video und/oder die aufgenommenen Fotos des Bereichs des physischen Ereignisses und der erstellte loT-Feed können durch das Tool 112 für virtuelle Rekonstruktion auf Datenpunkte analysiert werden, die das Vorhersagen der Ereignisse erleichtern können, die durch das physische Ereignis (d.h. Vorereignisse) verursacht werden. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion jedes einzelne Objekt einzeln sowie die aktuelle Position eines Objekts und den Zustand eines Objekts (z.B. verbrannt, defekt, intakt, verbeult, zerkratzt und/oder eine/n beliebige/n andere/n Beschaffenheit oder Zustand eines in der Technik bekannten beliebigen Objekts) erkennen. Zum Beispiel trägt ein Benutzer eine AR-Brille, geht um einen Autounfall herum und betrachtet den Ort und macht sich Notizen für einen schriftlichen Bericht. Bei diesem Beispiel nimmt das Tool 112 für virtuelle Rekonstruktion, während der Benutzer Informationen für den schriftlichen Bericht sammelt, passiv Video und Fotos der an dem Autounfall beteiligten Autos, der Schäden an diesen Autos, des Winkels der Autos und der Position der Autos auf.
  • In Schritt 216 erkennt das Tool 112 für virtuelle Rekonstruktion mögliche Erklärungen von Ereignissen, die während des physischen Ereignisses stattfanden. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Maschinenlernkomponente 116 auf der Grundlage des erfassten Daten und des Wissenskorpus mögliche Vorereignisse erkennen. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion mögliche Gründe oder Erklärungen erkennen, wie das physische Ereignis eingetreten ist.
  • In Schritt 218 erzeugt das Tool 112 für virtuelle Rekonstruktion eine virtuelle Rekonstruktion des physischen Ereignisses. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Erweiterte-Realität-Komponente 118 eine virtuelle Rekonstruktion des physischen Ereignisses erzeugen, wobei es sich bei der physischen Rekonstruktion des physischen Ereignisses um eine AR-Simulation handelt. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung erzeugt das Tool 112 für virtuelle Rekonstruktion auf der Grundlage der erkannten möglichen Vorereignisse eine virtuelle Rekonstruktion des physischen Ereignisses.
  • In Schritt 220 zeigt das Tool 112 für virtuelle Rekonstruktion die virtuelle Rekonstruktion des physischen Ereignisses an. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann das Tool 112 für virtuelle Rekonstruktion über die Erweiterte-Realität-Komponente 118 die erzeugte virtuelle Rekonstruktion auf der Datenverarbeitungseinheit 110 (z.B. Smartphone oder AR-Brille) anzeigen. Bei verschiedenen Ausführungsformen der vorliegenden Erfindung kann die angezeigte virtuelle Rekonstruktion des physischen Ereignisses dem tatsächlichen physischen Ereignis und/oder dem Bereich des physischen Ereignisses überlagert sein.
  • 3 stellt ein Blockschema von Komponenten der Datenverarbeitungseinheit 110 bildlich dar, die das Tool 112 für virtuelle Rekonstruktion innerhalb der verteilten Datenverarbeitungsumgebung 100 von 1 gemäß einer Ausführungsform der vorliegenden Erfindung ausführt. 3 stellt eine Veranschaulichung einer Realisierungsform bereit und umfasst keinerlei stillschweigende Einschränkungen in Bezug auf die Umgebungen, in denen unterschiedliche Ausführungsformen realisiert werden können. Viele Modifikationen an der bildlich dargestellten Umgebung können durch Fachleute vorgenommen werden, ohne dass dies eine Abweichung von dem Schutzumfang der Erfindung darstellen würde, der durch die Ansprüche dargelegt ist.
  • 3 stellt ein Computersystem 300 bildlich dar, bei dem die Datenverarbeitungseinheit 110 für ein Beispiel eines Computersystems 300 steht, das das Tool 112 für virtuelle Konstruktion umfasst. Das Computersystem umfasst Prozessoren 301, einen Cache 303, einen Hauptspeicher 302, einen Permanentspeicher 305, eine Datenverarbeitungseinheit 307, (eine) Eingabe/Ausgabe-Schnittstelle(n) (E/A-Schnittstelle(n) 306), eine Anzeige 309, eine externe Einheit(en) 308 und eine Datenübertragungsstruktur 304. Die Datenübertragungsstruktur 304 stellt Datenübertragung zwischen dem Cache 303, dem Hauptspeicher 302, dem Permanentspeicher 305, der Datenübertragungseinheit 307 und der/den Eingabe/Ausgabe-Schnittstelle(n) (E/A-Schnittstelle(n)) 306 bereit. Die Datenübertragungsstruktur 304 kann mit einer beliebigen Architektur realisiert sein, die auf das Weiterleiten von Daten und/oder Steuerinformationen zwischen Prozessoren (beispielsweise Mikroprozessoren, Datenübertragungs- und Netzwerkprozessoren usw.) und einem Systemhauptspeicher, Peripherieeinheiten und beliebigen anderen Hardwarekomponenten innerhalb eines Systems ausgelegt ist. Zum Beispiel kann die Datenübertragungsstruktur 304 mit einem oder mehreren Bussen oder mit einem Kreuzschienenschalter realisiert sein.
  • Bei dem Hauptspeicher 302 und dem Permanentspeicher 305 handelt es sich um durch einen Computer lesbare Speichermedien. Bei diesem Beispiel umfasst der Hauptspeicher 302 Direktzugriffsspeicher (random access memory, RAM). Im Allgemeinen kann der Hauptspeicher 302 beliebige geeignete flüchtige oder nichtflüchtige, durch einen Computer lesbare Speichermedien umfassen. Bei dem Cache 303 handelt es sich um einen schnellen Speicher, der das Leistungsvermögen der Prozessoren 301 verbessert, indem darin Daten gehalten werden, auf die aus dem Hauptspeicher 302 zugegriffen wurde, sowie Daten in der Nähe von Daten, auf die zugegriffen wurde.
  • Programmanweisungen und Daten, die zum praktischen Umsetzen von Ausführungsformen der vorliegenden Erfindung verwendet werden, können im Permanentspeicher 305 und im Hauptspeicher 302 gespeichert sein, um durch einen oder mehrere der jeweiligen Prozessoren 301 über den Cache 303 ausgeführt zu werden. Bei einer Ausführungsform umfasst der Permanentspeicher 305 ein magnetisches Festplattenlaufwerk. Alternativ oder zusätzlich zu einem magnetischen Festplattenlaufwerk kann der Permanentspeicher 305 ein Solid-State-Festplattenlaufwerk, eine Halbleiterspeichereinheit, einen Nur-Lese-Speicher (read-only memory, ROM), einen löschbaren programmierbaren Nur-Lese-Speicher (erasable programmable read-only memory, EPROM), einen Flash-Speicher oder beliebige andere, durch einen Computer lesbare Speichermedien enthalten, die in der Lage sind, Programmanweisungen oder digitale Informationen zu speichern.
  • Die durch den Permanentspeicher 305 verwendeten Medien können außerdem wechselbar sein. Zum Beispiel kann als Permanentspeicher 305 ein auswechselbares Festplattenlaufwerk verwendet werden. Zu anderen Beispielen gehören optische und magnetische Platten, USB-Sticks und Smart-Cards, die in eine Datenträgeraufnahme zur Übertragung auf ein weiteres, durch einen Computer lesbares Speichermedium eingeführt werden, das ebenfalls Bestandteil des Permanentspeichers 305 ist.
  • Die Datenübertragungseinheit 307 stellt bei diesem Beispiel Datenübertragung mit anderen Datenverarbeitungssystemen oder -einheiten bereit. Bei diesen Beispielen umfasst die Datenübertragungseinheit 307 eine oder mehrere Netzwerkschnittstellenkarten. Die Datenübertragungseinheit 307 kann durch die Verwendung von entweder physischen Datenübertragungsverbindungen oder kabellosen Datenübertragungsverbindungen oder beidem bereitstellen. Programmanweisungen und Daten, die zum praktischen Umsetzen von Ausführungsformen der vorliegenden Erfindung verwendet werden, können über die Datenübertragungseinheit 307 auf den Permanentspeicher 305 heruntergeladen werden.
  • Die E/A-Schnittstelle(n) 306 ermöglicht bzw. ermöglichen, Daten mit anderen Einheiten einzugeben oder auszugeben, die mit jedem Computersystem verbunden sein können. Zum Beispiel kann die E/A-Schnittstelle 306 eine Verbindung zu externen Einheiten 308 wie z.B. einer Tastatur, einem Tastenfeld, einem Touchscreen und/oder einer anderen geeigneten Eingabeeinheit bereitstellen. Zu externen Einheiten 308 können außerdem transportable, durch einen Computer lesbare Speichermedien wie zum Beispiel USB-Sticks, transportable optische oder magnetische Platten und Speicherkarten gehören. Software und Daten, die zum praktischen Umsetzen von Ausführungsformen der vorliegenden Erfindung verwendet werden, können auf derartigen transportablen, durch einen Computer lesbaren Speichermedien gespeichert sein und über die E/A-Schnittstelle(n) 306 in den Permanentspeicher 305 geladen werden. Die E/A-Schnittstelle(n) 306 stellt/stellen außerdem eine Verbindung zu der Anzeige 309 her.
  • Die Anzeige 309 stellt einen Mechanismus bereit, um einem Benutzer Daten anzuzeigen, und es kann sich dabei zum Beispiel um einen Computermonitor handeln.
  • Die hierin beschriebenen Programme sind auf der Grundlage der Anwendung bezeichnet, für die sie bei einer bestimmten Ausführungsform der Erfindung realisiert sind. Es sollte jedoch klar sein, dass hierin eine bestimmte Programmbenennung lediglich der Vereinfachung dient und die Erfindung daher nicht auf die Verwendung ausschließlich in einer bestimmten Anwendung begrenzt sein soll, die durch eine derartige Benennung bezeichnet oder stillschweigend darin eingeschlossen ist.
  • Bei der vorliegenden Erfindung kann es sich um ein System, ein Verfahren und/oder ein Computerprogrammprodukt handeln. Das Computerprogrammprodukt kann (ein) durch einen Computer lesbare(s) Speichermedium (oder -medien) enthalten, auf dem/denen durch einen Computer lesbare Programmanweisungen gespeichert ist/sind, um einen Prozessor zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
  • Bei dem durch einen Computer lesbaren Speichermedium kann es sich um eine beliebige materielle Einheit handeln, auf der Anweisungen zur Verwendung durch eine Einheit zur Ausführung von Anweisungen aufbewahrt und gespeichert sein können. Bei dem durch einen Computer lesbaren Speichermedium kann es sich zum Beispiel, ohne auf diese beschränkt zu sein, um eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder eine beliebige geeignete Kombination des Vorstehenden handeln. Eine nicht erschöpfende Liste genauerer Beispiele des durch einen Computer lesbaren Speichermediums umfasst Folgendes: eine transportable Computerdiskette, eine Festplatte, einen Direktzugriffsspeicher (RAM), einen Nur-Lese-Speicher (ROM), einen löschbaren programmierbaren Nur-Lese-Speicher (EPROM oder Flash-Speicher), einen statischen Direktzugriffsspeicher (SRAM), einen transportablen Nur-Lese-Speicher in Form einer Compact Disc (CD-ROM), eine Digital Versatile Disc (DVD), einen Speicherstick, eine Diskette, eine mechanisch codierte Einheit wie zum Beispiel Lochkarten oder erhöhte Strukturen in einer Rille mit darauf aufgezeichneten Anweisungen oder beliebige geeignete Kombinationen des Vorstehenden. Ein durch einen Computer lesbares Speichermedium im hierin verwendeten Sinne ist nicht so auszulegen, dass es sich dabei um flüchtige Signale an sich handelt, beispielsweise um Funkwellen oder sich frei ausbreitende elektromagnetische Wellen, um elektromagnetische Wellen, die sich durch einen Hohlleiter oder andere Übertragungsmedien ausbreiten (z.B. ein Lichtwellenleiterkabel durchlaufende Lichtimpulse) oder um elektrische Signale, die über ein Kabel übertragen werden.
  • Hierin beschriebene, durch einen Computer lesbare Programmanweisungen können über ein Netzwerk, zum Beispiel das Internet, ein lokales Netzwerk ein Weitverkehrsnetzwerk und/oder ein kabelloses Netzwerk von einem durch einen Computer lesbaren Speichermedium auf betreffende Datenverarbeitungs-/Verarbeitungseinheiten oder auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenleiter, kabellose Übertragung, Router, Firewalls, Switches, Gateway-Computer und/oder Edge-Server aufweisen. Eine Netzwerkadapterkarte oder eine Netzwerkschnittstelle in der Datenverarbeitungs-/Verarbeitungseinheit empfängt durch einen Computer lesbare Programmanweisungen aus dem Netzwerk und leitet die durch einen Computer lesbaren Programmanweisungen zur Speicherung in einem durch einen Computer lesbaren Speichermedium innerhalb der jeweiligen Datenverarbeitungs-/Verarbeitungseinheit weiter.
  • Bei durch einen Computer lesbaren Programmanweisungen zum Ausführen von Operationen der vorliegenden Erfindung können es sich um Assembleranweisungen, ISA-Anweisungen (ISA = Instruction Set Architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, Daten zum Setzen von Zuständen oder entweder Quellcode oder Objektcode handeln, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben sind, zu denen eine objektorientierte Programmiersprache wie beispielsweise Smalltalk, C++ oder Ähnliches und herkömmliche prozedurale Programmiersprachen wie beispielsweise die Programmiersprache „C“ oder ähnliche Programmiersprachen gehören. Die durch einen Computer lesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. Bei dem letztgenannten Szenario kann der entfernt angeordnete Computer mit dem Computer des Benutzers über eine beliebige Art von Netzwerk verbunden sein, unter anderem über ein lokales Netzwerk (Local Area Network, LAN) oder über ein Weitverkehrsnetzwerk (Wide Area Network, WAN), oder die Verbindung kann zu einem externen Computer hergestellt werden (beispielsweise über das Internet unter Nutzung eines Internetdienstanbieters (Internet Service Provider)). Bei einigen Ausführungsformen können elektronische Schaltungen, zu denen beispielsweise programmierbare Logikschaltungen, vor Ort programmierbare Schaltungen (fieldprogrammable gate arrays, FPGA) oder programmierbare Logik-Arrays (PLA) gehören, die durch einen Computer lesbaren Programmanweisungen ausführen, indem Zustandsinformationen der durch einen Computer lesbaren Programmanweisungen genutzt werden, um die elektronische Schaltung zu personalisieren, sodass Aspekte der vorliegenden Erfindung durchgeführt werden.
  • Aspekte der vorliegenden Erfindung sind hierin unter Bezugnahme auf Flussdiagrammdarstellungen und/oder Blockschemata von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es wird klar sein, dass jeder Block der Flussdiagramme und/oder der Blockschemata und Kombinationen von Blöcken in den Flussdiagrammen und/oder Blockschemata mit Hilfe von durch einen Computer lesbaren Programmanweisungen realisiert werden kann bzw. können.
  • Diese durch einen Computer lesbaren Programmanweisungen können einem Prozessor eines Universalcomputers, eines Spezialcomputers oder anderer programmierbaren Datenverarbeitungsvorrichtungen bereitgestellt werden, um eine Maschine zu erzeugen, sodass die Anweisungen, die über den Prozessor des Computers oder anderer programmierbarer Datenverarbeitungsvorrichtungen ausgeführt werden, Mittel schaffen, um die in einem Block bzw. in den Blöcken des Flussdiagramms bzw. der Flussdiagramme und/oder des Blockschemas bzw. der Blockschemata angegebenen Funktionen/Aktionen zu realisieren. Diese durch einen Computer lesbaren Programmanweisungen können ebenfalls in einem durch einen Computer lesbaren Medium gespeichert sein, das einen Computer, andere programmierbare Datenverarbeitungsvorrichtungen oder andere Einheiten anweisen kann, in einer bestimmten Weise zu funktionieren, sodass das durch einen Computer lesbare Medium mit darauf gespeicherten Anweisungen ein Erzeugnis aufweist, das Anweisungen enthält, die die in einem Block bzw. in den Blöcken der Flussdiagramme und/oder der Blockschemata angegebene Funktion/Aktion realisieren.
  • Die durch einen Computer lesbaren Programmanweisungen können auch in einen Computer, in andere programmierbare Datenverarbeitungsvorrichtungen oder in andere Einheiten geladen werden, um zu bewirken, dass auf dem Computer, auf anderen programmierbaren Vorrichtungen oder anderen Einheiten eine Reihe von Arbeitsschritten ausgeführt wird, um einen mittels Computer realisierten Prozess zu schaffen, sodass die Anweisungen, die auf dem Computer, auf anderen programmierbaren Vorrichtungen oder Einheiten ausgeführt werden, die in einem Block bzw. in den Blöcken der Flussdiagramme und/oder der Blockschemata angegebenen Funktionen/Aktionen realisieren.
  • Die Flussdiagramme und Blockschemata in den Figuren veranschaulichen die Architektur, Funktionalität und Wirkungsweise möglicher Realisierungsformen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In diesem Zusammenhang kann jeder Block in den Flussdiagrammen bzw. in den Blockschemata ein Modul, ein Segment oder einen Abschnitt von Anweisungen darstellen, das bzw. der eine oder mehrere ausführbare Anweisungen zum Realisieren der angegebenen Logikfunktion bzw. Logikfunktionen aufweist. Bei einigen alternativen Realisierungsformen können die in dem Block angegebenen Funktionen in einer anderen als in der Reihenfolge ausgeführt werden, die in den Figuren angegeben ist. Zum Beispiel können zwei hintereinander aufgeführte Blöcke tatsächlich im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können je nach der mit den Blöcken verbundenen Funktionalität manchmal in umgekehrter Reihenfolge ausgeführt werden. Darüber hinaus ist anzumerken, dass jeder Block der Blockschemata und/oder Flussdiagrammdarstellungen sowie Kombinationen von Blöcken in den Blockschemata und/oder Flussdiagrammdarstellungen mit Hilfe zweckgebundener hardwaregestützter Systeme zum Ausführen der angegebenen Funktionen bzw. Aktionen oder mit Hilfe von Kombinationen aus zweckgebundener Hardware und zweckgebundenen Computeranweisungen realisiert werden kann bzw. können.
  • Die Beschreibungen der verschiedenen Ausführungsformen der vorliegenden Erfindung sollen der Veranschaulichung dienen, sind jedoch nicht als erschöpfend oder auf die offenbarten Ausführungsformen beschränkt gedacht. Für Fachleute sind viele Modifikationen und Variationen denkbar, ohne dass diese eine Abweichung vom Schutzumfang und Grundgedanken der Erfindung darstellen würden. Die hierin verwendete Terminologie wurde gewählt, um die Grundgedanken der Ausführungsform, die praktische Anwendung bzw. die technische Verbesserung gegenüber den auf dem Markt vorgefundenen Technologien auf bestmögliche Weise zu erläutern bzw. anderen mit entsprechenden Fachkenntnissen das Verständnis der hierin offenbarten Ausführungsformen zu ermöglichen.

Claims (20)

  1. Mittels Computer realisiertes Verfahren zum vorausschauenden Rekonstruieren eines physischen Ereignisses unter Verwendung von Erweiterter Realität, wobei das mittels Computer realisierte Verfahren aufweist: Erkennen relativer Zustände von Objekten, die sich in einem Bereich eines physischen Ereignisses befinden, unter Verwendung von Videoanalyse, um gesammelte Video-Feeds aus dem Bereich des physischen Ereignisses vor und nach einem physischen Ereignis zu analysieren, an dem mindestens eines der Objekte beteiligt ist; Erstellen eines Wissenskorpus, das die Videoanalyse und die gesammelten Video-Feeds, die dem physischen Ereignis zugehörig sind, und Verlaufsinformationen aus vorherigen physischen Ereignissen umfasst, um zu korrelieren, wie sich relative Positionen von Objekten in dem Bereich des physischen Ereignisses aufgrund des physischen Ereignisses, von Arten von physischen Ereignissen, die Nachereignissen zugehörig sind, und der Dauer des physischen Ereignisses änderten, das zu den Nachereignissen führte; Erfassen von Daten, durch eine Datenverarbeitungseinheit, des Bereichs des physischen Ereignisses; Erkennen möglicher Vorereignisse auf der Grundlage der erfassten Daten und des Wissenskorpus; Erzeugen einer virtuellen Rekonstruktion des physischen Ereignisses unter Verwendung möglicher Vorereignisse, wobei es sich bei der physischen Rekonstruktion des physischen Ereignisses um ein vorhergesagtes physisches Ereignis handelt, das höchstwahrscheinlich während des physischen Ereignisses eingetreten ist; und Anzeigen, durch die Datenverarbeitungseinheit, der erzeugten virtuellen Rekonstruktion des vorhergesagten physischen Ereignisses, wobei die angezeigte virtuelle Rekonstruktion des vorhergesagten physischen Ereignisses ein Bild des Bereichs des physischen Ereignisses überlagert.
  2. Mittels Computer realisiertes Verfahren nach Anspruch 1, wobei: es sich bei Sonnenlicht um ein erstes Objekt handelt und es sich bei einer Position der Sonne am Himmel um einen ersten relativen Zustand in Bezug auf eine Straßenkreuzung und in der Nähe befindliche Gebäude handelt; es sich bei einem möglichen Vorereignis um das Sonnenlicht handelt, das in die Augen eines Fahrers scheint, während er sich an der Kreuzung befindet; und die virtuelle Rekonstruktion eine Ansicht der Sonne aus der Sicht des Fahrers umfasst.
  3. Mittels Computer realisiertes Verfahren nach Anspruch 2, das ferner aufweist: Anzeigen der Ansicht der Sonne aus der Sicht des Fahrers für einen Benutzer.
  4. Mittels Computer realisiertes Verfahren nach Anspruch 3, wobei die Ansicht der Sonne über einen Rückspiegel des durch den Fahrer gefahrenen Autos erfolgt.
  5. Mittels Computer realisiertes Verfahren nach Anspruch 1, wobei das Anzeigen der erzeugten virtuellen Rekonstruktion des physischen Ereignisses ferner aufweist: Nachahmen von Beleuchtung, Wetterbedingungen und Umgebungsbedingungen des Bereichs des physischen Ereignisses zu dem Zeitpunkt, als das physische Ereignis eintrat; Vorhersagen einer ursprünglichen Position verschiedener Objekte, die an dem physischen Ereignis beteiligt sind, bevor das physische Ereignis eintrat; virtuelles Anzeigen, wie die relative Position der Objekte aufgrund des physischen Ereignisses geändert wurde; und Sammeln von Verlaufsinformationen aus verschiedenen Informationsquellen wie z.B.: zuvor aufgezeichnetem Video-Feed von verschiedenen Arten physischer Ereignisse, loT-Feeds, die beliebige physische Ereignisse betreffen, zuvor erzeugten Ergebnissen von Computergrafiksimulationen von verschiedenen Arten physischer Ereignisse, Berichten über physische Ereignisse, Live-Video-Feed des aktuellen Bereichs des physischen Ereignisses.
  6. Mittels Computer realisiertes Verfahren nach Anspruch 1, das ferner aufweist: Vergleichen der erzeugten virtuellen Rekonstruktion des physischen Ereignisses mit verschiedenen Vorschriften und Randbedingungen, die aus einer Datenbank abgeleitet wurden, wobei die verschiedenen aus der Datenbank abgeleiteten Vorschriften und Randbedingungen aufweisen: Bauvorschriften, Straßenverkehrsrecht, Sicherheitsspezifikationen, technische Spezifikationen und Produktgarantien; Hervorheben von Objekten, Abläufen und Ursache-Wirkung-Beziehungen in der erzeugten virtuellen Rekonstruktion des physischen Ereignisses; und Kommentieren der Objekte, der Abläufe und der Ursache-Wirkung-Beziehungen mit Farbe oder Symbolen, um eine Abweichung von Randbedingungen, Vorschriften, Zertifizierungen, Spezifikationen und Garantien anzugeben, die in dem Bereich des physischen Ereignisses eingetreten ist.
  7. Mittels Computer realisiertes Verfahren nach Anspruch 1, das ferner aufweist: Darstellen einer Liste möglicher Szenarien von Vorereignissen für einen Benutzer, wobei die Liste möglicher Szenarien von Vorereignissen dem Benutzer über die Datenverarbeitungseinheit dargestellt wird; und Anzeigen unterschiedlicher Szenarien für den Benutzer, die bildlich darstellen, wie das physische Ereignis eingetreten sein könnte, die die Art des physischen Ereignisses umfassen und demonstrieren, wie sich die Positionen der Objekte bewegt haben können oder beschädigt wurden.
  8. Computerprogrammprodukt zur Platzierung virtueller Objekte in Erweiterte-Realität-Umgebungen, wobei das Computerprogrammprodukt aufweist: ein oder mehrere durch einen Computer lesbare Speichereinheiten Bauelement und auf dem einen oder den mehreren, durch einen Computer lesbaren Speichermedien gespeicherte Programmanweisungen, wobei die gespeicherten Programmanweisungen aufweisen: Programmanweisungen zum Erkennen relativer Zustände von Objekten, die sich in einem Bereich eines physischen Ereignisses befinden, unter Verwendung von Videoanalyse, um gesammelte Video-Feeds aus dem Bereich des physischen Ereignisses vor und nach einem physischen Ereignis zu analysieren, an dem mindestens eines der Objekte beteiligt ist; Programmanweisungen zum Erstellen eines Wissenskorpus, das die Videoanalyse und die gesammelten Video-Feeds, die dem physischen Ereignis zugehörig sind, und Verlaufsinformationen aus vorherigen physischen Ereignissen umfasst, um zu korrelieren, wie sich relative Positionen von Objekten in dem Bereich des physischen Ereignisses aufgrund des physischen Ereignisses, von Arten von physischen Ereignissen, die Nachereignissen zugehörig sind, und der Dauer des physischen Ereignisses änderten, das zu den Nachereignissen führte; Programmanweisungen zum Erfassen von Daten, durch eine Datenverarbeitungseinheit, des Bereichs des physischen Ereignisses; Programmanweisungen zum Erkennen möglicher Vorereignisse auf der Grundlage der erfassten Daten und des Wissenskorpus; Programmanweisungen zum Erzeugen einer virtuellen Rekonstruktion des physischen Ereignisses unter Verwendung möglicher Vorereignisse, wobei es sich bei der physischen Rekonstruktion des physischen Ereignisses um ein vorhergesagtes physisches Ereignis handelt, das höchstwahrscheinlich während des physischen Ereignisses eingetreten ist; und Programmanweisungen zum Anzeigen, durch die Datenverarbeitungseinheit, der erzeugten virtuellen Rekonstruktion des vorhergesagten physischen Ereignisses, wobei die angezeigte virtuelle Rekonstruktion des vorhergesagten physischen Ereignisses ein Bild des Bereichs des physischen Ereignisses überlagert.
  9. Computerprogrammprodukt nach Anspruch 8, wobei: es sich bei Sonnenlicht um ein erstes Objekt handelt und es sich bei einer Position der Sonne am Himmel um einen ersten relativen Zustand in Bezug auf eine Straßenkreuzung und in der Nähe befindliche Gebäude handelt; es sich bei einem möglichen Vorereignis um das Sonnenlicht handelt, das in die Augen eines Fahrers scheint, während er sich an der Kreuzung befindet; und die virtuelle Rekonstruktion eine Ansicht der Sonne aus der Sicht des Fahrers umfasst.
  10. Computerprogrammprodukt nach Anspruch 9, das ferner aufweist: Programmanweisungen zum Anzeigen der Ansicht der Sonne aus der Sicht des Fahrers für einen Benutzer.
  11. Computerprogrammprodukt nach Anspruch 10, wobei die Ansicht der Sonne über einen Rückspiegel des durch den Fahrer gefahrenen Autos erfolgt.
  12. Computerprogrammprodukt nach Anspruch 8 wobei das Anzeigen der erzeugten virtuellen Rekonstruktion des physischen Ereignisses ferner aufweist: Programmanweisungen zum Nachahmen von Beleuchtung, Wetterbedingungen und Umgebungsbedingungen des Bereichs des physischen Ereignisses zu dem Zeitpunkt, als das physische Ereignis eintrat; Programmanweisungen zum Vorhersagen einer ursprünglichen Position verschiedener Objekte, die an dem physischen Ereignis beteiligt sind, bevor das physische Ereignis eintrat; Programmanweisungen zum virtuellen Anzeigen, wie die relative Position der Objekte aufgrund des physischen Ereignisses geändert wurde; und Programmanweisungen zum Sammeln von Verlaufsinformationen aus verschiedenen Informationsquellen wie z.B.: zuvor aufgezeichnetem Video-Feed von verschiedenen Arten physischer Ereignisse, loT-Feeds, die beliebige physische Ereignisse betreffen, zuvor erzeugten Ergebnissen von Computergrafiksimulationen von verschiedenen Arten physischer Ereignisse, Berichten über physische Ereignisse, Live-Video-Feed des aktuellen Bereichs des physischen Ereignisses.
  13. Computerprogrammprodukt nach Anspruch 8, das ferner aufweist: Programmanweisungen zum Vergleichen der erzeugten virtuellen Rekonstruktion des physischen Ereignisses mit verschiedenen Vorschriften und Randbedingungen, die aus einer Datenbank abgeleitet wurden, wobei die verschiedenen aus der Datenbank abgeleiteten Vorschriften und Randbedingungen aufweisen: Bauvorschriften, Straßenverkehrsrecht, Sicherheitsspezifikationen, technische Spezifikationen und Produktgarantien; Programmanweisungen zum Hervorheben von Objekten, Abläufen und Ursache-Wirkung-Beziehungen in der erzeugten virtuellen Rekonstruktion des physischen Ereignisses; und Programmanweisungen zum Kommentieren der Objekte, der Abläufe und der Ursache-Wirkung-Beziehungen mit Farbe oder Symbolen, um eine Abweichung von den Randbedingungen, Vorschriften, Zertifizierungen, Spezifikationen und Garantien anzugeben, die in dem Bereich des physischen Ereignisses eingetreten ist.
  14. Computerprogrammprodukt nach Anspruch 8, das ferner aufweist: Programmanweisungen zum Darstellen einer Liste möglicher Szenarien von Vorereignissen für einen Benutzer, wobei die Liste möglicher Szenarien von Vorereignissen dem Benutzer über die Datenverarbeitungseinheit dargestellt wird; und Programmanweisungen zum Anzeigen unterschiedlicher Szenarien für den Benutzer, die bildlich darstellen, wie das physische Ereignis eingetreten sein könnte, die die Art des physischen Ereignisses umfassen und demonstrieren, wie sich die Positionen der Objekte bewegt haben können oder beschädigt wurden.
  15. Computersystem zur Platzierung virtueller Objekte in Erweiterte-Realität-Umgebungen, wobei das Computerprogrammprodukt aufweist: einen oder mehrere Computerprozessoren; ein oder mehrere, durch einen Computer in lesbare Speichereinheiten; Programmanweisungen, die auf den durch einen Computer lesbaren Bauelement zur Ausführung durch mindestens einen des einen oder der mehreren Computerprozessoren gespeichert sind, wobei die Programmanweisungen aufweisen: Programmanweisungen zum Erkennen relativer Zustände von Objekten, die sich in einem Bereich eines physischen Ereignisses befinden, unter Verwendung von Videoanalyse, um gesammelte Video-Feeds aus dem Bereich des physischen Ereignisses vor und nach einem physischen Ereignis zu analysieren, an dem mindestens eines der Objekte beteiligt ist; Programmanweisungen zum Erstellen eines Wissenskorpus, das die Videoanalyse und die gesammelten Video-Feeds, die dem physischen Ereignis zugehörig sind, und Verlaufsinformationen aus vorherigen physischen Ereignissen umfasst, um zu korrelieren, wie sich relative Positionen von Objekten in dem Bereich des physischen Ereignisses aufgrund des physischen Ereignisses, von Arten von physischen Ereignissen, die Nachereignissen zugehörig sind, und der Dauer des physischen Ereignisses änderten, das zu den Nachereignissen führte; Programmanweisungen zum Erfassen von Daten, durch eine Datenverarbeitungseinheit, des Bereichs des physischen Ereignisses; Programmanweisungen zum Erkennen möglicher Vorereignisse auf der Grundlage der erfassten Daten und des Wissenskorpus; Programmanweisungen zum Erzeugen einer virtuellen Rekonstruktion des physischen Ereignisses unter Verwendung möglicher Vorereignisse, wobei es sich bei der physischen Rekonstruktion des physischen Ereignisses um ein vorhergesagtes physisches Ereignis handelt, das höchstwahrscheinlich während des physischen Ereignisses eingetreten ist; und Programmanweisungen zum Anzeigen, durch die Datenverarbeitungseinheit, der erzeugten virtuellen Rekonstruktion des vorhergesagten physischen Ereignisses, wobei die angezeigte virtuelle Rekonstruktion des vorhergesagten physischen Ereignisses ein Bild des Bereichs des physischen Ereignisses überlagert.
  16. Computersystem nach Einspruch 15, wobei: es sich bei Sonnenlicht um ein erstes Objekt handelt und es sich bei einer Position der Sonne am Himmel um einen ersten relativen Zustand in Bezug auf eine Straßenkreuzung und in der Nähe befindliche Gebäude handelt; es sich bei einem möglichen Vorereignis um das Sonnenlicht handelt, das in die Augen eines Fahrers scheint, während er sich an der Kreuzung befindet; und die virtuelle Rekonstruktion eine Ansicht der Sonne aus der Sicht des Fahrers umfasst.
  17. Computersystem nach Anspruch 16, das ferner aufweist: Programmanweisungen zum Anzeigen der Ansicht der Sonne aus der Sicht des Fahrers für einen Benutzer, wobei die Ansicht der Sonne über einen Rückspiegel des durch den Fahrer gefahrenen Autos erfolgt.
  18. Computersystem nach Anspruch 15, wobei das Anzeigen der erzeugten virtuellen Rekonstruktion des physischen Ereignisses ferner aufweist: Programmanweisungen zum Nachahmen von Beleuchtung, Wetterbedingungen und Umgebungsbedingungen des Bereichs des physischen Ereignisses zu dem Zeitpunkt, als das physische Ereignis eintrat; Programmanweisungen zum Vorhersagen einer ursprünglichen Position verschiedener Objekte, die an dem physischen Ereignis beteiligt sind, bevor das physische Ereignis eintrat; Programmanweisungen zum virtuellen Anzeigen, wie die relative Position der Objekte aufgrund des physischen Ereignisses geändert wurde; und Programmanweisungen zum Sammeln von Verlaufsinformationen aus verschiedenen Informationsquellen wie z.B.: zuvor aufgezeichnetem Video-Feed von verschiedenen Arten physischer Ereignisse, loT-Feeds, die beliebige physische Ereignisse betreffen, zuvor erzeugten Ergebnissen von Computergrafiksimulationen von verschiedenen Arten physischer Ereignisse, Berichten über physische Ereignisse, Live-Video-Feed des aktuellen Bereichs des physischen Ereignisses.
  19. Computersystem nach Anspruch 15, das ferner aufweist: Programmanweisungen zum Vergleichen der erzeugten virtuellen Rekonstruktion des physischen Ereignisses mit verschiedenen Vorschriften und Randbedingungen, die aus einer Datenbank abgeleitet wurden, wobei die verschiedenen aus der Datenbank abgeleiteten Vorschriften und Randbedingungen aufweisen: Bauvorschriften, Straßenverkehrsrecht, Sicherheitsspezifikationen, technische Spezifikationen und Produktgarantien; Programmanweisungen zum Hervorheben von Objekten, Abläufen und Ursache-Wirkung-Beziehungen in der erzeugten virtuellen Rekonstruktion des physischen Ereignisses; und Programmanweisungen zum Kommentieren der Objekte, der Abläufe und der Ursache-Wirkung-Beziehungen mit Farbe oder Symbolen, um eine Abweichung von Randbedingungen, Vorschriften, Zertifizierungen, Spezifikationen und Garantien anzugeben, die in dem Bereich des physischen Ereignisses eingetreten ist.
  20. Computersystem nach Anspruch 15, das ferner aufweist: Programmanweisungen zum Darstellen einer Liste möglicher Szenarien von Vorereignissen für einen Benutzer, wobei die Liste möglicher Szenarien von Vorereignissen dem Benutzer über die Datenverarbeitungseinheit dargestellt wird; und Programmanweisungen zum Anzeigen unterschiedlicher Szenarien für den Benutzer, die bildlich darstellen, wie das physische Ereignis eingetreten sein könnte, die die Art des physischen Ereignisses umfassen und demonstrieren, wie sich die Positionen der Objekte bewegt haben können oder beschädigt wurden.
DE112020004921.3T 2019-12-02 2020-11-30 Vorausschauende virtuelle rekonstruktion physischer umgebungen Pending DE112020004921T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/699,836 US11710278B2 (en) 2019-12-02 2019-12-02 Predictive virtual reconstruction of physical environments
US16/699,836 2019-12-02
PCT/IB2020/061256 WO2021111269A1 (en) 2019-12-02 2020-11-30 Predictive virtual reconstruction of physical environments

Publications (1)

Publication Number Publication Date
DE112020004921T5 true DE112020004921T5 (de) 2022-08-04

Family

ID=76091617

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020004921.3T Pending DE112020004921T5 (de) 2019-12-02 2020-11-30 Vorausschauende virtuelle rekonstruktion physischer umgebungen

Country Status (6)

Country Link
US (1) US11710278B2 (de)
JP (1) JP2023503862A (de)
CN (1) CN114746874A (de)
DE (1) DE112020004921T5 (de)
GB (1) GB2605335A (de)
WO (1) WO2021111269A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230394410A1 (en) * 2022-06-07 2023-12-07 International Business Machines Corporation Computer-based risk analysis and mitigation
US11842455B1 (en) 2022-06-20 2023-12-12 International Business Machines Corporation Synchronizing physical and virtual environments using quantum entanglement
US20240013487A1 (en) * 2022-07-11 2024-01-11 Apple Inc. Method and device for generating a synthesized reality reconstruction of flat video content

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5660547A (en) * 1993-02-17 1997-08-26 Atari Games Corporation Scenario development system for vehicle simulators
US20020055861A1 (en) 2000-11-08 2002-05-09 King Daniel A. Claiming system and method
AU2002324865A1 (en) 2001-09-06 2003-03-24 Wtd Technologies, Inc. Accident evidence recording method
US6741168B2 (en) 2001-12-13 2004-05-25 Samsung Electronics Co., Ltd. Method and apparatus for automated collection and transfer of collision information
KR101040118B1 (ko) 2008-08-04 2011-06-09 한국전자통신연구원 교통사고 재현 시스템 및 그 제어방법
US9691189B1 (en) 2008-09-29 2017-06-27 United Services Automobile Association Accident assessment and reconstruction systems and applications
US9275499B2 (en) 2010-11-08 2016-03-01 Sony Corporation Augmented reality interface for video
TWI451283B (zh) 2011-09-30 2014-09-01 Quanta Comp Inc 事故資訊整合及管理系統及其相關事故資訊整合及管理方法
KR20150014264A (ko) 2013-07-29 2015-02-06 한국전자통신연구원 교통 사고 현장 재현 장치 및 방법
US8954226B1 (en) 2013-10-18 2015-02-10 State Farm Mutual Automobile Insurance Company Systems and methods for visualizing an accident involving a vehicle
KR101656808B1 (ko) 2015-03-20 2016-09-22 현대자동차주식회사 사고 정보 관리 장치, 이를 포함하는 차량 및 사고 정보 관리 방법
US20170178013A1 (en) 2015-12-21 2017-06-22 International Business Machines Corporation Augmented reality recommendations in emergency situations
US10346564B2 (en) * 2016-03-30 2019-07-09 Toyota Jidosha Kabushiki Kaisha Dynamic virtual object generation for testing autonomous vehicles in simulated driving scenarios
US20210354691A1 (en) 2016-04-27 2021-11-18 State Farm Mutual Automobile Insurance Company Systems and methods for reconstruction of a vehicular crash
WO2018013495A1 (en) 2016-07-11 2018-01-18 Gravity Jack, Inc. Augmented reality methods and devices
US10453172B2 (en) 2017-04-04 2019-10-22 International Business Machines Corporation Sparse-data generative model for pseudo-puppet memory recast
JP2019036872A (ja) 2017-08-17 2019-03-07 パナソニックＩｐマネジメント株式会社 捜査支援装置、捜査支援方法及び捜査支援システム
US10565802B2 (en) * 2017-08-31 2020-02-18 Disney Enterprises, Inc. Collaborative multi-modal mixed-reality system and methods leveraging reconfigurable tangible user interfaces for the production of immersive, cinematic, and interactive content
US11501168B2 (en) 2018-02-09 2022-11-15 Google Llc Learning longer-term dependencies in neural network using auxiliary losses
GB2572786B (en) * 2018-04-10 2022-03-09 Advanced Risc Mach Ltd Image processing for augmented reality
US11449946B1 (en) * 2019-01-10 2022-09-20 Allstate Insurance Company Hub for automated recovery after a critical event in shared mobility services
US11308741B1 (en) * 2019-05-30 2022-04-19 State Farm Mutual Automobile Insurance Company Systems and methods for modeling and simulation in vehicle forensics

Also Published As

Publication number Publication date
WO2021111269A1 (en) 2021-06-10
GB202209099D0 (en) 2022-08-10
GB2605335A (en) 2022-09-28
US20210166483A1 (en) 2021-06-03
US11710278B2 (en) 2023-07-25
JP2023503862A (ja) 2023-02-01
CN114746874A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
DE112020004921T5 (de) Vorausschauende virtuelle rekonstruktion physischer umgebungen
DE102021129177A1 (de) Durch erweiterte realität verbesserte situationsbewusstsein
DE112020002228T5 (de) Kognitive video- und audio-suchaggregation
DE112020003380B4 (de) Ermittlung des zustands der infrastruktur in einem interessierenden bereich
DE112016002373T5 (de) Tracking-support-vorrichtung, tracking-support-system und tracking-support-verfahren
DE112016002711T5 (de) Darstellung von virtuellem Realität-Inhalt einschliesslich Gesichtspunktübergängen um Simulatorkrankheit zu verhindern
DE112020000227T5 (de) Maschinelles lernen eines computermodells auf grundlage von korrelationenvon trainingsdaten mit leistungstrends
DE102017207686A1 (de) Einblicke in die belegschaftsstrategie
DE112021006232T5 (de) Proaktive anomalieerkennung
DE112013004801T5 (de) Multimodaler Berührungsbildschirmemulator
DE102022105471A1 (de) Generieren von modifizierten Digitalbildern unter Einsatz von tiefen visuellen angeleiteten Patchabgleichsmodellen zur Bildwiederherstellung
DE102016100046A1 (de) Verfahren, System und Benutzerschnittstelle zur Expertensuche auf der Basis von Aufzeichnungen zu Lösungen von Problemstellungen
DE112021004329T5 (de) Durch einen computer automatisierte erkennung von interaktiven aktivitäten auf der grundlage der feststellung von schlüsselpunkten
Fechner et al. Ethermap: real-time collaborative map editing
CN112925348A (zh) 无人机控制方法、无人机控制装置、电子设备及介质
DE112020005732T5 (de) Erzeugen von trainingsdaten zur objekterkennung
DE112018001711T5 (de) Generator von Unterrichtsnotizen auf Blickrichtungsgrundlage
DE112021004612T5 (de) Aufzeichnung eines digitalen zwillings für ein mehrdimensionales modell unter verwendung von photogrammetrie
DE102016205009A1 (de) Intelligente interaktive Bildschirmaufnahme
DE112021003923T5 (de) Iterative speicherzuordnungsoperationen bei intelligenten linsen/augmentierten brillen
DE112021006273T5 (de) Automatische beschreibung und entnahme von tabellendaten im portable document format unter verwendung von neuronalen graphennetzen
DE112021006507T5 (de) Räumlich-zeitliches tiefes lernen für die verhaltensbiometrie
DE112020005693T5 (de) Verfahren zum suchen nach bildern unter verwendung von rotationsgesteneingaben
DE112019001822B4 (de) Änderung und Darstellung von Audio- und Video-Multimedia
Gamboa et al. Human-AI Collaboration for Improving the Identification of Cars for Autonomous Driving.

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R084 Declaration of willingness to licence