DE112019006107T5

DE112019006107T5 - Authoring-Vorrichtung, Authoring-Verfahren und Authoring-Programm

Info

Publication number: DE112019006107T5
Application number: DE112019006107.0T
Authority: DE
Inventors: Takeru Shiraga
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-01-11
Filing date: 2019-01-11
Publication date: 2021-11-18
Also published as: CN113228117A; WO2020144848A1; TW202026861A; US20210327160A1; JPWO2020144848A1; JP6818968B2

Abstract

Eine Authoring-Vorrichtung (1) umfasst eine Benutzerschnittstelleneinheit (11), die eine Operation zum Bestimmen eines in realem Raum existierenden Zielobjekts empfängt, eine Bestimmungszielfestlegungseinheit (12), die unter Verwendung der Benutzerschnittstelleneinheit auf einer Referenzebene (Sp) in Beziehung zu dem Zielobjekt einen Referenzpunkt (p) eines Bestimmungsziels als das Zielobjekt bestimmt, eine Anordnungspositionberechnungseinheit (13), die eine erste Anordnungsebene (Sq) bestimmt, angeordnet in einer Position, die den Referenzpunkt umfasst und auf der ein virtuelles Objekt angeordnet werden kann, basierend auf der Referenzebene und dem Referenzpunkt, und eine Berechnungseinheit (14) für mehrere Blickpunkte, die eine oder mehrere zweite Anordnungsebenen (Sr1, ...), erhalten durch Drehen der ersten Anordnungsebene, bestimmt, auf denen das virtuelle Objekt angeordnet werden kann. Die Authoring-Vorrichtung gibt Informationen, die die erste Anordnungsebene und das virtuelle Objekt einander zuordnen, und Informationen, die die zweiten Anordnungsebenen und das virtuelle Objekt einander zuordnen, als Authoring-Daten aus.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Authoring-Vorrichtung, ein Authoring-Verfahren und ein Authoring-Programm.
STAND DER TECHNIK
Seit einigen Jahren gewinnt eine Technologie zum Präsentieren eines Bildes der erweiterten Realität (AR) durch Überlagern virtueller Informationen auf einem Bild der realen Welt große Aufmerksamkeit. Bekannt ist beispielsweise eine Technologie zum Anzeigen eines virtuellen Objekts als virtueller Informationensteil im Zusammenhang mit einem bestimmten Zielobjekt in der Nähe des bestimmten Zielobjekts, wenn der Benutzer eine Operation des Bestimmens des Zielobjekts als ein Objekt in der realen Welt ausgeführt hat.
Die Patentreferenz 1 schlägt eine Vorrichtung vor, die eine Referenzfläche (z. B. Handfläche) als Oberfläche eines Objekts (z. B. Hand), das im realen Raum existiert, durch Analysieren von Informationen bezüglich des realen Raums, der von einer Kamera erfasst wird, erhält, und ein auf einer Bildanzeigeeinheit angezeigtes virtuelles Objekt auf Grundlage der Referenzfläche ändert.
REFERENZ ZUM STAND DER TECHNIK
PATENTREFERENZ
Patentreferenz 1: Japanische Patentanmeldung, Veröffentlichungsnr. 2018-84886 (z. B. Abschnitte 0087 bis 0102, 8 bis 11)
ABRISS DER ERFINDUNG
AUFGABE DER ERFINDUNG
Problematisch bei der vorgenannten herkömmlichen Vorrichtung ist jedoch, dass es Fälle gibt, in denen die Sichtbarkeit des virtuellen Objekts abnimmt, da sich die Form und die Neigung einer Ebene, auf der das virtuelle Objekt angeordnet ist, in Abhängigkeit von der Form und der Neigung des im realen Raum vorhandenen Objekts ändern.
Eine Aufgabe der vorliegenden Erfindung, die getätigt wurde, um die vorstehend beschriebene Aufgabe zu lösen, ist das Bereitstellen einer Authoring-Vorrichtung, eines Authoring-Verfahrens und eines Authoring-Programms, die es ermöglichen, ein Bild der erweiterten Realität so anzuzeigen, dass sich die Sichtbarkeit eines virtuellen Objekts nicht verschlechtert.
MITTEL ZUR LÖSUNG DER AUFGABE
Eine Authoring-Vorrichtung gemäß einem Aspekt der vorliegenden Offenbarung umfasst eine Benutzerschnittstelleneinheit, die eine Operation zum Bestimmen eines in realem Raum existierenden Zielobjekts empfängt, eine Bestimmungszielfestlegungseinheit, die die unter Verwendung der Benutzerschnittstelleneinheit auf einer Referenzebene in Beziehung zu dem Zielobjekt einen Referenzpunkt eines Bestimmungsziels als das Zielobjekt bestimmt, eine Anordnungspositionberechnungseinheit, die eine erste Anordnungsebene bestimmt, angeordnet in einer Position, die den Referenzpunkt umfasst und auf der ein virtuelles Objekt angeordnet werden kann, basierend auf der Referenzebene und dem Referenzpunkt, eine Berechnungseinheit für mehrere Blickpunkte, die eine oder mehrere zweite Anordnungsebenen, erhalten durch Drehen der ersten Anordnungsebene, bestimmt, auf denen das virtuelle Objekt angeordnet werden kann. Die Authoring-Vorrichtung gibt Informationen, die die erste Anordnungsebene und das virtuelle Objekt einander zuordnen, und Informationen, die die zweiten Anordnungsebenen und das virtuelle Objekt einander zuordnen, als Authoring-Daten aus.
Ein Authoring-Verfahren gemäß einem weiteren Aspekt der vorliegenden Offenbarung umfasst einen Schritt des Empfangens einer Operation zum Bestimmen eines in realem Raum existierenden Zielobjekts, einen Schritt des Bestimmens eines Referenzpunkts eines Bestimmungsziels als das bestimmte Zielobjekt auf einer Referenzebene in Beziehung zu dem Zielobjekt, einen Schritt des Bestimmens einer ersten Anordnungsebene, angeordnet in einer Position, die den Referenzpunkt umfasst und auf der ein virtuelles Objekt angeordnet werden kann, basierend auf der Referenzebene und dem Referenzpunkt, einen Schritt des Bestimmens einer oder mehrerer zweiter Anordnungsebenen, erhalten durch Drehen der ersten Anordnungsebene, auf denen das virtuelle Objekt angeordnet werden kann, und einen Schritt des Ausgebens von Informationen, die die erste Anordnungsebene und das virtuelle Objekt einander zuordnen, und von Informationen, die die zweiten Anordnungsebenen und das virtuelle Objekt einander zuordnen, als Authoring-Daten.
WIRKUNG DER ERFINDUNG
Erfindungsgemäß wird es möglich, ein Bild der erweiterten Realität so anzuzeigen, dass sich die Sichtbarkeit des virtuellen Objekts nicht verschlechtert.
Figurenliste

1 ist ein Schaubild, das ein Beispiel einer Hardwarekonfiguration einer Authoring-Vorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
2 ist ein funktionales Blockdiagramm, das eine Konfiguration der Authoring-Vorrichtung gemäß der ersten Ausführungsform schematisch zeigt.
Die 3A bis 3D sind Schaubilder, die Daten zeigen, die von einer Datenerfassungseinheit der Authoring-Vorrichtung gemäß der ersten Ausführungsform verarbeitet werden, und Parameter, die Positionen und Lagen von Kameras angeben, die Bilder des realen Raums erfassen.
4 ist ein Schaubild, das ein Beispiel für Zielobjekte, die im realen Raum existieren, und Objekt-IDs, die den Zielobjekten zugeordnet sind, zeigt.
5 ist ein Schaubild, das ein Beispiel eines flächigen virtuellen Objekts zeigt.
6 ist ein Schaubild, das ein Beispiel eines massiven virtuellen Objekts zeigt.
7 ist ein Schaubild, das ein erstes Bestimmungsverfahren zum Bestimmen eines Bestimmungsziels durch eine Benutzeroperation des Umgebens einer Region auf einem Zielobjekt als dem Bestimmungsziel durch gerade Linien zeigt.
8 ist ein Schaubild, das ein zweites Bestimmungsverfahren zum Bestimmen eines Bestimmungsziels durch eine Benutzeroperation zum Bestimmen eines Punkts auf dem Zielobjekt als dem Bestimmungsziel zeigt.
9A ist ein Schaubild, das ein Beispiel einer Bestimmungszielregion und einen Referenzpunkt zeigt, der durch eine Benutzeroperation bestimmt wird,
9B ist ein Schaubild, das ein Beispiel des Referenzpunkts und einer Referenzebene zeigt, und 9C ist ein Schaubild, das ein Beispiel einer horizontalen Ebene zeigt.
Die 10A, 10B und 10C sind Schaubilder, die einen Prozess der Ableitung einer Anordnungsebene von der Referenzebene und der horizontalen Ebene zeigen.
Die 11A und 11B sind Schaubilder, die ein erstes Ableitungsverfahren und ein zweites Ableitungsverfahren zum Ableiten der Anordnungsebene, auf der das virtuelle Objekt angeordnet ist, von dem Referenzpunkt und der Referenzebene zeigen.
12A ist ein Schaubild, das angibt, dass virtuelle Objekte, die auf der Anordnungsebene angezeigt werden, gesehen werden können, wenn die Bestimmungszielregion von vorn betrachtet wird, und 12B ist ein Schaubild, das angibt, dass die virtuellen Objekte, die auf der Anordnungsebene angezeigt werden, nicht gesehen werden können, wenn die Bestimmungszielregion von oben betrachtet wird.
13 ist ein Schaubild, das ein Beispiel zum Anzeigen der virtuellen Objekte unter Verwendung von Billboard-Rendering im Zustand von 12B zeigt.
14 ist ein Schaubild, das eine Anordnungsebene zeigt, die von einer Berechnungseinheit für mehrere Blickpunkte abgeleitet ist.
15 ist ein Schaubild, das eine Anordnungsebene zeigt, die von der Berechnungseinheit für mehrere Blickpunkte abgeleitet ist.
16 ist ein Schaubild, das eine Anordnungsebene zeigt, die von der Berechnungseinheit für mehrere Blickpunkte abgeleitet ist.
17 ist ein Ablaufdiagramm, das die Funktionsweise der Authoring-Vorrichtung gemäß der ersten Ausführungsform zeigt.
18 ist ein Schaubild, das ein Beispiel einer Hardwarekonfiguration einer Authoring-Vorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt.
19 ist ein funktionales Blockdiagramm, das eine Konfiguration der Authoring-Vorrichtung gemäß der zweiten Ausführungsform schematisch zeigt.
20 ist ein Ablaufdiagramm, das eine Operation der Authoring-Vorrichtung gemäß der zweiten Ausführungsform zeigt.

ART UND WEISE DER AUSFÜHRUNG DER ERFINDUNG
Authoring-Vorrichtungen, Authoring-Verfahren und Authoring-Programme gemäß Ausführungsformen der vorliegenden Erfindung werden nachfolgend unter Bezugnahme auf die Zeichnungen beschrieben. Die folgenden Ausführungsformen sind nur Beispiele, und innerhalb des Umfangs der vorliegenden Erfindung sind eine Reihe von Modifikationen möglich.
(1) Erste Ausführungsform
(1-1) Konfiguration
(1-1-1) Hardwarekonfiguration
1 ist ein Schaubild, das ein Beispiel einer Hardwarekonfiguration einer Authoring-Vorrichtung 1 gemäß einer ersten Ausführungsform zeigt. 1 zeigt keine Konfiguration zum Ausführen von Rendering als einen Prozess zum Anzeigen eines AR-Bildes auf Grundlage von Authoring-Daten, die ein virtuelles Objekt umfassen. Die Authoring-Vorrichtung 1 kann jedoch eine Konfiguration zum Erfassen von Informationen über realen Raum, wie etwa eine Kamera oder einen Sensor, umfassen.
Wie in 1 gezeigt, weist die Authoring-Vorrichtung 1 beispielsweise auf: einen Arbeitsspeicher 102 als eine Speichervorrichtung, die ein Programm als Software, das heißt ein Authoring-Programm gemäß der ersten Ausführungsform, speichert, und einen Prozessor 101 als arithmetische Verarbeitungseinheit, die das im Speicher 102 gespeicherte Programm ausführt. Der Prozessor 101 ist eine Informationsverarbeitungsschaltung, wie eine CPU (Central Processing Unit, zentrale Verarbeitungseinheit). Der Speicher 102 ist eine flüchtige Speichervorrichtung, wie beispielsweise ein RAM (Random Access Memory, Direktzugriffsspeicher). Die Authoring-Vorrichtung 1 ist beispielsweise ein Computer. Das Authoring-Programm gemäß der ersten Ausführungsform wird von einem Aufzeichnungsmedium, auf dem Informationen gespeichert sind, über eine Mediuminformationen-Lesevorrichtung (nicht gezeigt) oder über eine Kommunikationsschnittstelle (nicht gezeigt), die mit dem Internet verbindbar ist, in dem Speicher 102 gespeichert.
Ferner umfasst die Authoring-Vorrichtung 1 eine Eingabevorrichtung 103, z. B. eine Maus, eine Tastatur oder ein Berührungsfeld, als eine Benutzeroperationseinheit. Die Eingabevorrichtung 103 ist eine Benutzeroperationsvorrichtung, die Benutzeroperationen empfängt. Die Eingabevorrichtung 103 umfasst eine HMD (Head Mounted Display, am Kopf angebrachte Anzeige), die eine Eingabe empfängt, die durch eine Gestenoperation erfolgt, eine Vorrichtung, die eine Eingabe empfängt, die durch eine Sichtlinienoperation erfolgt, oder dergleichen. Die HMD zum Empfangen einer Eingabe, die durch eine Gestenoperation erfolgt, umfasst eine kleine Kamera, erfasst Bilder eines Teils des Körpers des Benutzers und erkennt eine Gestenoperation, die die Bewegung des Körpers ist, als eine Eingabeoperation für die HMD.
Ferner umfasst die Authoring-Vorrichtung 1 eine Anzeigevorrichtung 104, die Bilder anzeigt. Die Anzeigevorrichtung 104 ist eine Anzeige, die dem Benutzer Informationen präsentiert, wenn das Authoring ausgeführt wird. Die Anzeigevorrichtung 104 zeigt eine Anwendung an. Die Anzeigevorrichtung 104 kann auch eine durchsichtige Anzeige der HMD sein.
Die Authoring-Vorrichtung 1 kann auch einen Speicher bzw. eine Ablage 105 als eine Ablagevorrichtung beinhalten, auf der verschiedene Arten von Informationen abgelegt sind bzw. werden. Die Ablage 105 ist eine Ablagevorrichtung, wie etwa eine Festplatte (Hard Disk Drive, HDD) oder eine SSD (Solid State Drive). Auf der Ablage 105 sind/werden auch Programme, Daten, die zum Zeitpunkt der Ausführung des Authorings verwendet werden sollen, Daten, die durch das Authoring erzeugt werden, und so weiter abgelegt. Die Ablage 105 kann auch eine Ablagevorrichtung außerhalb der Authoring-Vorrichtung 1 sein. Die Ablage 105 kann auch beispielsweise eine Ablagevorrichtung sein, die in der Cloud existiert und die über eine Kommunikationsschnittstelle (nicht gezeigt) verbindbar ist.
Die Authoring-Vorrichtung 1 kann implementiert werden, indem der Prozessor 101 ein in dem Speicher 102 gespeichertes Programm ausführt. Es ist auch möglich, einen Teil der Authoring-Vorrichtung 1 zu implementieren, indem der Prozessor 101 ein im Speicher 102 abgelegtes Programm ausführt.
(1-1-2) Authoring-Vorrichtung 1
2 ist ein funktionales Blockdiagramm, das eine Konfiguration der Authoring-Vorrichtung 1 gemäß der ersten Ausführungsform schematisch zeigt. Die Authoring-Vorrichtung 1 ist eine Vorrichtung, die in der Lage ist, ein Authoring-Verfahren gemäß der ersten Ausführungsform auszuführen. Die Authoring-Vorrichtung 1 führt das Authoring unter Berücksichtigung der Tiefe des virtuellen Objekts aus.
Die Authoring-Vorrichtung 1

(1) empfängt eine Benutzeroperation zum Bestimmen eines im realen Raum existierenden Zielobjekts,
(2) bestimmt einen Referenzpunkt eines Bestimmungsziels als das bestimmte Zielobjekt auf einer Referenzebene in Beziehung zu dem Zielobjekt (dieser Prozess ist in den 9A bis 9C gezeigt, die später erläutert werden),
(3) bestimmt eine erste Anordnungsebene, angeordnet in einer Position, die den Referenzpunkt umfasst und auf der das virtuelle Objekt angeordnet werden kann, basierend auf der Referenzebene und dem Referenzpunkt (dieser Prozess ist in den 10A bis 10C gezeigt, die später erläutert werden),
(4) bestimmt eine oder mehrere zweite Anordnungsebenen, die erhalten werden durch Drehen der ersten Anordnungsebene, auf denen das virtuelle Objekt angeordnet werden kann (dieser Prozess ist in den 14 bis 16 gezeigt, die später erläutert werden), und
(5) gibt Informationen, die die erste Anordnungsebene und das virtuelle Objekt einander zuordnen, und Informationen, die die zweite(n) Anordnungsebene(n) und das virtuelle Objekt einander zuordnen, als Authoring-Daten an den Speicher 105 aus, beispielsweise.

Wie in 2 gezeigt, umfasst die Authoring-Vorrichtung 1 eine Authoring-Einheit 10, eine Datenerfassungseinheit 20 und eine Erkennungseinheit 30. Die Authoring-Einheit 10 führt das Authoring in Reaktion auf eine Benutzeroperation als eine von dem Benutzer ausgeführte Eingabeoperation aus. Die Datenerfassungseinheit 20 erfasst Daten, die zum Zeitpunkt des Ausführens des Authorings verwendet werden sollen, aus dem Speicher 105 (in 1 gezeigt). Die Erkennungseinheit 30 führt eine Verarbeitung aus, beispielsweise eine Bilderkennung, die in dem von der Authoring-Einheit 10 ausgeführten Authoring-Prozess erforderlich wird. Während der Speicher 105 in der ersten Ausführungsform in 1 gezeigt ist, kann der Speicher 105 ganz oder teilweise auch eine Speichervorrichtung außerhalb der Authoring-Vorrichtung 1 sein.
(1-1-3) Datenerfassungseinheit 20
Die 3A bis 3D sind Schaubilder, die Daten zeigen, die von der Datenerfassungseinheit 20 der Authoring-Vorrichtung 1 gemäß der ersten Ausführungsform verarbeitet werden, und Parameter, die Positionen und Lagen von Kameras angeben, die Bilder des realen Raums erfassen. Die Kameras werden in einer zweiten Ausführungsform erläutert. Die Datenerfassungseinheit 20 erfasst Daten, die von der Authoring-Einheit 10 zum Zeitpunkt der Ausführung des Authorings verwendet werden sollen. Die zum Zeitpunkt der Ausführung des Authorings zu verwendenden Daten können dreidimensionale Modelldaten, die ein dreidimensionales Modell darstellen, virtuelle Objektdaten, die das virtuelle Objekt darstellen, und Sensordaten, die von dem Sensor ausgegeben werden, umfassen. Diese Daten können auch bereits im Speicher 105 gespeichert sein.
(Dreidimensionale Modelldaten)
Die dreidimensionalen Modelldaten sind Daten, die Informationen über den realen Raum, in dem das AR-Bild angezeigt wird, dreidimensional darstellen. Die dreidimensionalen Modelldaten können die in den 3A bis 3C gezeigten Daten umfassen. Die dreidimensionalen Modelldaten können beispielsweise unter Verwendung der SLAM-Technologie (Simultaneous Localization and Mapping, Simultane Positionsbestimmung und Kartierung) erhalten werden. In der SLAM-Technologie werden die dreidimensionalen Modelldaten durch Erfassen von Bildern des realen Raums unter Verwendung einer Kamera erhalten, die in der Lage ist, ein Farbbild (d. h. RGB-Bild) und ein Tiefenbild (d. h. Tiefenbild) des realen Raums (im Folgenden auch als eine „RGBD-Kamera“ bezeichnet) zu erhalten.
3A zeigt ein Beispiel eines dreidimensionalen Punktsatzes. Der dreidimensionale Punktsatz stellt Zielobjekte als im realen Raum vorhandene Objekte dar. Die im realen Raum vorhandenen Zielobjekte können beispielsweise einen Boden, eine Wand, eine Tür, eine Decke, einen auf dem Boden platzierten Gegenstand, einen von der Decke herabhängenden Gegenstand, einen an der Wand angebrachten Gegenstand usw. umfassen.
3B zeigt ein Beispiel einer Ebene, die in einem Prozess des Erzeugens der dreidimensionalen Modelldaten erhalten wurde. Diese Ebene wird aus dem in 3A gezeigten dreidimensionalen Punktsatz erhalten.
3C zeigt ein Beispiel von Bildern, die durch Bilderfassung aus einer Vielzahl von Blickpunkten und Bilderfassung unter einer Vielzahl von Winkeln erhalten werden. In der SLAM-Technologie werden die dreidimensionalen Modelldaten erzeugt, indem Bilder des realen Raums aus einer Vielzahl von Blickpunkten und unter einer Vielzahl von Winkeln unter Verwendung von RGBD-Kameras oder dergleichen erfasst werden. Die in 3C gezeigten Bilder (d. h. Bilddaten), die zum Zeitpunkt der Bilderfassung erhalten wurden, werden zusammen mit dem in 3A gezeigten dreidimensionalen Punktsatz, der in 3B gezeigten Ebene oder sowohl dem dreidimensionalen Punktsatz als auch der Ebene in dem Speicher 105 gespeichert.
Die in 3D gezeigten Informationen sind Informationen, die die Position und die Lage der Kamera in Bezug auf jedes Bild angeben. Es sei angenommen, dass k = 1, 2, ..., N (N: positive ganze Zahl), p_k die Position der k-ten Kamera und r_k die Lage der k-ten Kamera, d. h., eine Bildaufnahmerichtung der Kamera, darstellt.
4 ist ein Schaubild, das ein Beispiel für Zielobjekte, die im realen Raum existieren, und Objekt-IDs (Identifikationen), die den Zielobjekten zugeordnet sind, zeigt. In 4 sind „A1“, „A2“, „A3“ und „A4“ als Beispiele der Objekt-ID beschrieben. Die dreidimensionalen Modelldaten werden in einem Verfahren zum Bestimmen einer dreidimensionalen Anordnungsposition des virtuellen Objekts, einem Verfahren zum Ableiten der Position, der Lage oder sowohl der Position als auch der Lage eines Zielobjekts in einem Bild usw. verwendet. Die dreidimensionalen Modelldaten sind eine von mehreren Instanzen von Eingabedaten für die Authoring-Einheit 10.
Die dreidimensionalen Modelldaten können andere Informationen als die in den 3A bis 3D gezeigten Daten umfassen. Die dreidimensionalen Modelldaten können Daten jedes im realen Raum existierenden Zielobjekts umfassen. Wie beispielsweise in 4 gezeigt, können die dreidimensionalen Modelldaten die jedem Zielobjekt zugeordnete Objekt-ID und partielle dreidimensionale Modelldaten jedes Zielobjekts, dem eine Objekt-ID zugeordnet wurde, umfassen.
In dem in 4 gezeigten Fall können die partiellen dreidimensionalen Modelldaten jedes Zielobjekts beispielsweise unter Verwendung der semantischen Segmentierungstechnologie erhalten werden. Beispielsweise können die partiellen dreidimensionalen Modelldaten jedes Zielobjekts durch Segmentieren von Daten des in 3A gezeigten dreidimensionalen Punktsatzes, Daten der in 3B gezeigten Ebene oder beider dieser Datensätze in jeweils zu den Zielobjekten gehörende Regionen erhalten werden. Ferner beschreibt die Nicht-Patentreferenz 1 eine Technologie zum Erkennen von Regionen von Zielobjekten, die in Punktsatzdaten enthalten sind, basierend auf den Punktsatzdaten.
Nicht-Patentreferenz 1: Florian Walch, „Deep Learning for Image-Based Localization“, Fachbereich Informatik, Technische Universität München (TUM), 15.10.2016.
(Virtuelle Objektdaten)
5 ist ein Schaubild, das ein Beispiel eines flächigen virtuellen Objekts zeigt. 6 ist ein Schaubild, das ein Beispiel eines massiven virtuellen Objekts zeigt. Die virtuellen Objektdaten sind Daten, die Informationen speichern, die ein als AR-Bild anzuzeigendes virtuelles Objekt repräsentieren. Die hier behandelten virtuellen Objekte weisen zwei Arten von Attributen auf.
Ein in 5 gezeigtes virtuelles Objekt V1 ist durch eine Ebene dargestellt. Das virtuelle Objekt V1 entspricht einem Bild, Bewegungsvideo oder dergleichen. Eine Baryzentrumsposition des virtuellen Objekts V1 ist als Zv1 dargestellt. Die Baryzentrumsposition Zv1 ist in dem Speicher bzw. der Ablage 105 in Form von Koordinaten in einem lokalen Koordinatensystem abgelegt.
Ein in 6 gezeigtes virtuelles Objekt V2 ist durch ein massives Objekt dargestellt. Das virtuelle Objekt V2 entspricht Daten, die von einem dreidimensionalen Modellierungswerkzeug oder dergleichen erzeugt werden. Die Baryzentrumsposition des virtuellen Objekts V2 ist als Zv2 dargestellt. Die Baryzentrumsposition Zv2 ist in der Ablage 105 in Form von Koordinaten in einem lokalen Koordinatensystem abgelegt.
(Sensordaten)
Die Sensordaten sind Daten, die zur Unterstützung eines Verfahrens zur Abschätzung der Position und der Lage einer Kamera zum Zeitpunkt der Bilddatenerfassung verwendet werden sollen. Die Sensordaten können beispielsweise Neigungsdaten beinhalten, die von einem Kreiselsensor ausgegeben werden, der die Neigung der Kamera misst, die ein Bild des realen Raums erfasst, Beschleunigungsdaten, die von einem Beschleunigungssensor ausgegeben werden, der die Beschleunigung der Kamera misst, und so weiter. Die Sensordaten sind nicht auf der Kamera zugeordnete Informationen beschränkt; die Sensordaten können beispielsweise Daten einer von einem GPS (Globales Positionsbestimmungssystem) als Positionsinformationsmesssystem gemessenen Position umfassen.
(1-1-4) Erkennungseinheit 30
Die Erkennungseinheit 30 erkennt unter Verwendung der von der Datenerfassungseinheit 20 erfassten dreidimensionalen Modelldaten ein an einer bestimmten Stelle in einem Bild vorhandenes Flächen- oder Zielobjekt. Die Erkennungseinheit 30 erkennt das an der bestimmten Stelle im Bild vorhandene Flächen- oder Zielobjekt, indem sie zweidimensionale Positionen im Bild in dreidimensionale Positionen im realen Raum gemäß einem Lochkameramodell transformiert und die dreidimensionalen Positionen mit den dreidimensionalen Modelldaten abgleicht. Übrigens wird die zweidimensionale Position im Bild durch Pixelkoordinaten dargestellt.
Ferner empfängt die Erkennungseinheit 30 ein Bild als eine Eingabe und erkennt die Position und die Lage der Kamera, die das Bild aufgenommen hat, auf Grundlage des empfangenen Bildes. Als Verfahren zum Schätzen des Position-Lage-Paares einer Kamera, die ein Bild aufgenommen hat, auf der Grundlage des Bildes ist ein Verfahren unter Verwendung eines neuronalen Netzes, beispielsweise PoseNet, bekannt. Dieses Verfahren ist beispielsweise in der Nicht-Patentreferenz 2 beschrieben.
Nicht-Patentreferenz 2: Charles R. Qi und drei andere: „PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation“, Stanford University
Als ein weiteres Verfahren zum Schätzen des Position-Lage-Paares einer Kamera, die ein Bild auf der Grundlage des Bildes aufgenommen hat, ist ein Verfahren unter Verwendung der SLAM-Technologie bekannt.
(1-1-5) Authoring-Einheit 10
Die Authoring-Einheit 10 führt das Authoring des virtuellen Objekts unter Verwendung der von der Datenerfassungseinheit 20 erfassten dreidimensionalen Modelldaten, der virtuellen Objektdaten oder beider dieser Datensätze durch. Die Authoring-Einheit 10 gibt das Ergebnis des Authoring als die Authoring-Daten aus. Die Authoring-Einheit 10 führt das Authoring so aus, dass das sich auf einen vom Benutzer bestimmten Ort beziehende virtuelle Objekt, das heißt, eine Region an dem vom Benutzer bestimmten Bestimmungsziel, eine Position in einer Tiefenrichtung aufweist, die mit der Position des Bestimmungszielgebiets in der Tiefenrichtung übereinstimmt. Wie in 2 gezeigt, umfasst die Authoring-Einheit 10 eine Benutzerschnittstelleneinheit 11, eine Bestimmungszielfestlegungseinheit 12, eine Anordnungspositionberechnungseinheit 13 und eine Berechnungseinheit 14 für mehrere Blickpunkte.
(1-1-6) Benutzerschnittstelleneinheit 11
Die Benutzerschnittstelleneinheit 11 stellt eine Benutzerschnittstelle für das Authoring bereit. Die Benutzerschnittstelleneinheit 11 umfasst beispielsweise die Eingabevorrichtung 103 und die Anzeigevorrichtung 104, die in 1 gezeigt sind, und so weiter. Die Benutzerschnittstelleneinheit 11 kann eine GUI-Anwendung (Graphical User Interface, Graphische Benutzeroberfläche) beinhalten. Insbesondere veranlasst die Benutzerschnittstelleneinheit 11, dass die Anzeigevorrichtung 104 ein Bild oder dreidimensionale Daten anzeigt, die für das Authoring zu verwenden sind (z. B. dreidimensionale Punktsatzdaten, Ebenendaten usw.), und empfängt Benutzeroperationen, die für das Authoring erforderlich sind, von der Eingabevorrichtung 103. Hier können die dreidimensionalen Daten beispielsweise dreidimensionale Punktsatzdaten, Ebenendaten usw. umfassen.
Die Eingabevorgänge des Benutzers, die unter Verwendung der Eingabevorrichtung 103 ausgeführt werden, werden im Folgenden beschrieben. In einer „Operation U1“ bestimmt der Benutzer ein für das Authoring zu verwendendes Bild. Zum Beispiel wählt der Benutzer in der „Operation U1“ ein Bild aus den in den 3A, 3B und 3C gezeigten Bildern aus. In einer „Operation U2“ bestimmt der Benutzer das Bestimmungsziel als die Referenz für das AR-Bild. In einer „Operation U3“ führt der Benutzer eine Operation zur Anordnung des virtuellen Objekts durch. In einer „Operation U4“ bestimmt der Benutzer die Anzahl der Ebenenmuster. Die Anzahl der Ebenenmuster ist die Anzahl der Ebenen, die durch Berechnung durch die Berechnungseinheit 14 für mehrere Blickpunkte erhalten werden, die später beschrieben wird.
In dem in der „Operation U1“ bestimmten Bild bestimmt der Benutzer in der „Operation U2“ das Bestimmungsziel, auf dessen Grundlage die Bestimmungszielfestlegungseinheit 12 und die Anordnungspositionberechnungseinheit 13 die dreidimensionale Position des Bestimmungsziels und eine Anordnungsebene als eine Ebene erhalten, auf der das auf das Bestimmungsziel bezogene virtuelle Objekt angeordnet ist.
Auf der erhaltenen Ebene bestimmt der Benutzer die Position der Anordnung des virtuellen Objekts in der „Operation U3“, auf deren Grundlage die Anordnungspositionberechnungseinheit 13 die dreidimensionale Position und Lage des virtuellen Objekts berechnet. Ferner bestimmt der Benutzer die Anzahl G (G: positive ganze Zahl) von ebenen Mustern in der „Operation U4“, auf deren Grundlage die Berechnungseinheit 14 für mehrere Blickpunkte in der Lage ist, die Anordnungspositionen des virtuellen Objekts in Fällen zu erhalten, in denen das Bestimmungsziel von G Blickpunkten (in Sichtlinienrichtungen von G Mustern) aus betrachtet wird.
(1-1-7) Bestimmungszielfestlegungseinheit 12
Die Bestimmungszielfestlegungseinheit 12 bestimmt einen Referenzpunkt p und eine Referenzebene S_p basierend auf dem vom Benutzer über die Benutzerschnittstelleneinheit 11 bestimmten Bestimmungsziel. Als Verfahren zur Bestimmung des Bestimmungsziels gibt es ein erstes Bestimmungsverfahren und ein zweites Bestimmungsverfahren. Als Verfahren zur Ableitung des Referenzpunktes p und der Referenzebene S_p verwendet die Bestimmungszielfestlegungseinheit 12 für jedes Verfahren zur Bestimmung des Bestimmungsziels ein anderes Verfahren.
(Erstes Bestimmungsverfahren)
Bei dem ersten Bestimmungsverfahren führt der Benutzer auf einem Bild, in dem eine GUI angezeigt wird, eine Operation des Umgebens einer als das Bestimmungsziel einzurichtenden Region durch Geraden eines Rechtecks, eines Vielecks oder dergleichen durch. Die von den Geraden umgebene Stelle wird zur Region als Bestimmungsziel. Wurde das Bestimmungsziel nach dem ersten Bestimmungsverfahren bestimmt, ergeben sich der Bezugspunkt p und die Bezugsebene S_p wie folgt:
Scheitelpunkte einer n-seitigen Vieleckregion, die als das Bestimmungsziel bestimmt ist, sind als H₁, ... H_n definiert. Hier ist n eine ganze Zahl, die größer oder gleich 3 sind. Die Scheitelpunkte H₁, ... H_n sind im GUI-Bild durch Pixelkoordinaten (u, v) repräsentiert. Diese Koordinaten werden gemäß dem Lochkameramodell in dreidimensionale Koordinaten a_i = (x, y, z) transformiert. Hier gilt: i = 1, 2, ..., n.
Angenommen, b₁, b₂ und b₃ repräsentieren drei Punkte, die willkürlich aus den dreidimensionalen Koordinaten a₁, ..., an ausgewählt wurden, so wird eine Ebene Sm, welche die Punkte b₁, b₂ und b₃ enthält, eindeutig erhalten. Ferner ist unter den Scheitelpunkten H₁, ... H_n der Region des n-seitigen Vielecks ein Satz C von Punkten, die nicht als die drei Punkte b₁, b₂ und b₃ ausgewählt wurden, wie folgt repräsentiert: $C = {c_{1}, c_{2}, \dots, c_{n - 3}}$
Als Verfahren zur Auswahl von drei Punkten aus den dreidimensionalen Koordinaten a₁, ..., an gibt es J Möglichkeiten, die durch den folgenden Ausdruck (1) angegeben sind. Dabei ist J eine positive ganze Zahl.
$\begin{matrix} J & _{n} C_{3} \end{matrix}$
Es existieren also J Ebenen, die aus beliebigen drei aus den Scheitelpunkten des n-seitigen Vielecks ausgewählten Punkten erhalten werden. Die J Ebenen sind repräsentiert als Sm₁, ..., Sm_J.
Ferner gibt es als Sätze C_1, ..., C_J von Punkten, die durch Ausschließen beliebiger drei Punkte aus den Scheitelpunkten H₁, ..., H_n der Region des n-seitigen Vielecks erhalten werden, J Sätze, wie nachfolgend gezeigt.
$C_{1} = {c_{1,1}, c_{1,2}, \dots, c_{1,n - 3}}, \cdot \cdot \cdot, C_{J} = {c_{J,1}, c_{J,2}, \dots, c_{J,n - 3}}$
Das Element c_1,n-3 repräsentiert beispielsweise das (n-3)-te Element, das heißt, den (n-3)-ten Punkt im Satz C₁.
Angenommen, D(S, X) repräsentiert den Abstand zwischen einer Ebene S und einem Punkt X, wird die Referenzebene S_p durch den folgenden Ausdruck (2) erhalten. Unter einer Vielzahl von Ebenen, die aus drei aus den Scheitelpunkten des n-seitigen Vielecks ausgewählten Punkten erhalten werden, ist als Referenzebene S_p eine Ebene definiert, deren Mittelwert der Abstände zu anderen Punkten am kleinsten ist. Dabei bezeichnet der Ausdruck „andere Punkte“ Punkte, die nicht die Ebene bilden.
$S_{p} = arg min_{S m_{i}} \frac{1}{J} \sum_{j = 1}^{J} D ({Sm}_{i}, C_{i, j})$
Hier ist das Element C_i,j das j-te Element im Satz C_i.
Ferner stelle A_G die Koordinaten des Baryzentrums des n-seitigen Vielecks dar, wobei als Referenzpunkt p ein Schnittpunkt einer von den Koordinaten A_G zu der durch den Ausdruck (2) erhaltenen Referenzebene S_p gezeichneten Senkrechten und der Referenzebene S_p definiert ist.
(Zweites Bestimmungsverfahren)
Auf einem Bild, in dem eine GUI angezeigt wird, führt der Benutzer eine Operation der Bestimmung eines als das Bestimmungsziel einzurichtenden Punktes durch. Wurde der Punkt durch den Benutzer als die Bestimmungszielregion nach dem ersten Bestimmungsverfahren bestimmt, werden im zweiten Bestimmungsverfahren der Referenzpunkt p und die Referenzebene S_p wie folgt erhalten:

Angenommen, der Punkt in dem Bild, in dem der Referenzpunkt p bestimmt wurde, sei M = (u, v), kann M gemäß dem Lochkameramodell in dreidimensionale Koordinaten a_i = (x, y, z) transformiert werden. Im zweiten Bestimmungsverfahren werden die dreidimensionalen Koordinaten a_i direkt als Koordinaten des Referenzpunkts p verwendet.

Die Erkennungseinheit 30 bestimmt die Referenzebene S_p durch Erkennen einer Ebene, die den Referenzpunkt p in den Ebenendaten in den dreidimensionalen Modelldaten enthält. Wenn keine entsprechende Ebene vorhanden ist, kann die Erkennungseinheit 30 eine Quasi-Ebene erkennen, indem sie Punktsatzdaten in der Umgebung des Referenzpunktes p verwendet und beispielsweise RANSAC (RANdom Sample Consensus) verwendet.
7 ist ein Schaubild, das das erste Bestimmungsverfahren zum Bestimmen des Bestimmungsziels durch eine Benutzeroperation des Umgebens einer Region auf dem Zielobjekt als das Bestimmungsziel durch gerade Linien zeigt. 8 ist ein Schaubild, das das zweite Bestimmungsverfahren zum Bestimmen des Bestimmungsziels durch eine Benutzeroperation des Bestimmens eines Punkts auf dem Zielobjekt als das Bestimmungsziel zeigt. Bei dem in 8 gezeigten zweiten Bestimmungsverfahren wird eine Ebene auf der Grundlage nur eines Punkts erkannt, und somit gibt es Fälle, in denen die Referenzebene S_p nicht angemessen erkannt werden kann, wenn das Zielobjekt als das Bestimmungsziel keine Ebene ist. Unter Verwendung des in 7 gezeigten ersten Bestimmungsverfahrens kann jedoch die Referenzebene S_p auch dann abgeleitet werden, wenn die Form des Zielobjekts als Bestimmungsziel nicht flächig ist.
(1-1-8) Anordnungspositionberechnungseinheit 13
Die Anordnungspositionberechnungseinheit 13 führt einen ersten Prozess 13a und einen zweiten Prozess 13b aus, die nachfolgend beschrieben werden.
Im ersten Prozess 13a berechnet die Anordnungspositionberechnungseinheit 13 eine Anordnungsebene S_q , auf der das virtuelle Objekt angeordnet ist. Die Anordnungspositionberechnungseinheit 13 leitet die Anordnungsebene S_q aus dem Referenzpunkt p und der durch die Bestimmungszielfestlegungseinheit 12 erhaltenen Referenzebene S_p als eine Ebene, auf der das virtuelle Objekt angeordnet ist, ab. Als Verfahren zur Ableitung der Anordnungsebene S_q gibt es ein erstes Ableitungsverfahren und ein zweites Ableitungsverfahren.
(Erstes Ableitungsverfahren)
Im ersten Ableitungsverfahren behandelt die Anordnungspositionberechnungseinheit 13 die Referenzebene S_p direkt als die Anordnungsebene S_q .
(Zweites Ableitungsverfahren)
Im zweiten Ableitungsverfahren erkennt die Anordnungspositionberechnungseinheit 13 zunächst eine horizontale Ebene S_h auf der Grundlage der dreidimensionalen Modelldaten im realen Raum. Die horizontale Ebene S_h kann auch durch eine vom Benutzer unter Verwendung der Benutzerschnittstelleneinheit 11 ausgeführte Benutzeroperation ausgewählt werden. Ferner kann die horizontale Ebene S_h auch automatisch mittels Bilderkennungs- und Raumerkennungstechnik bestimmt werden. 9A ist ein Schaubild, das ein Beispiel für die Bestimmungszielregion und den Referenzpunkt p zeigt, der durch die Benutzeroperation bestimmt wird. 9B ist ein Schaubild, das ein Beispiel des Referenzpunkts p und der Referenzebene S_p zeigt. 9C ist ein Schaubild, das ein Beispiel der horizontalen Ebene S_h zeigt.
Die 10A, 10B und 10C sind Schaubilder, die einen Prozess der Ableitung der Anordnungsebene S_q aus der Referenzebene S_p und der horizontalen Ebene S_h zeigen. In diesem Fall leitet die Anordnungspositionberechnungseinheit 13 im zweiten Ableitungsverfahren die Anordnungsebene S_q nach dem in den 10A, 10B und 10C gezeigten Prozess ab.
Zunächst, wie in 10A gezeigt, wird die Schnittlinie der Referenzebene S_p und der horizontalen Ebene S_h als L definiert. Danach wird, wie in 10B gezeigt, die Referenzebene S_p um die Schnittlinie L als Mittelachse gedreht, um eine Ebene S_v vertikal zur horizontalen Ebene S_h auszubilden. Anschließend wird, wie in 10C gezeigt, die zur horizontalen Ebene S_h vertikale Ebene S_v so verschoben, dass sie den Referenzpunkt p enthält. Anschließend wird die zur horizontalen Ebene S_h vertikale Ebene S_v, die den Bezugspunkt p enthält, als die Anordnungsebene S_q definiert.
Im ersten Ableitungsverfahren kann die Anordnungsebene mit geringer Sichtbarkeit in Abhängigkeit von der Neigung des Bestimmungszielbereichs erhalten werden. Durch Erhalten der zur horizontalen Ebene S_h vertikalen Ebene S_v, die den Bezugspunkt p enthält, als die Anordnungsebene S_q , wie im zweiten Ableitungsverfahren, kann jedoch unabhängig von der Neigung des Bestimmungszielbereichs die Position des virtuellen Objekts in der Tiefenrichtung mit dem Referenzpunkt p als Referenzposition der Bestimmungszielregion in der Tiefenrichtung ausgerichtet werden.
Die 11A und 11B sind Schaubilder, die das erste Ableitungsverfahren und das zweite Ableitungsverfahren zum Ableiten der Anordnungsebene S_q , auf der das virtuelle Objekt angeordnet ist, aus dem Referenzpunkt p und der Referenzebene S_p zeigen.
Im zweiten Prozess 13b berechnet die Anordnungspositionberechnungseinheit 13 eine dreidimensionale Anordnungsposition q des virtuellen Objekts. Nachdem die Anordnungsebene S_q , auf der das virtuelle Objekt angeordnet ist, durch den ersten Prozess 13a von der Anordnungspositionberechnungseinheit 13 abgeleitet wurde, bestimmt der Benutzer die Anordnungsposition des virtuellen Objekts unter Verwendung einer GUI. Beispielsweise bestimmt der Benutzer die Anordnungsposition des virtuellen Objekts, indem er auf eine Stelle in einem Bild klickt, an der der Benutzer das virtuelle Objekt unter Verwendung der Eingabevorrichtung 103, wie etwa einer Maus, anordnen möchte. An diesem Punkt ist es auch möglich, die Operation der Anordnungspositionsbestimmung des Benutzers zu unterstützen, indem die Anordnungsebene S_q auf das GUI-Bild projiziert wird.
Angenommen, D = (u, v) würde die Koordinaten in dem durch die Bestimmung durch den Benutzer erhaltenen Bild darstellen, so können dreidimensionale Koordinaten E = (x, y, z) aus den Koordinaten D gemäß dem Lochkameramodell erhalten werden. Angenommen, F = (x_c, y_c, z_c) würde die aus den dreidimensionalen Modelldaten erhaltenen dreidimensionalen Koordinaten der Kamera darstellen, so ist ein Schnittpunkt der Anordnungsebene S_q und eines durch zwei Punkte an den Koordinaten E und den Koordinaten F ausgebildeten Vektors als die Anordnungsposition q definiert. Ferner ist es auch möglich, eine Vielzahl virtueller Objekte in Bezug auf ein Bestimmungsziel anzuordnen. Wenn t (t: positive ganze Zahl) virtuelle Objekte angeordnet sind, werden die Anordnungspositionen q₁, q₂, ..., qt nach der gleichen Vorgehensweise abgeleitet.
Ferner kann nach dem Bestimmen der Anordnungsposition die Größe des virtuellen Objekts durch den Benutzer durch eine Benutzeroperation, wie etwa eine Operation des Ziehens und Ablegens, geändert werden. In diesem Fall ist es zum Zeitpunkt der Benutzeroperation wünschenswert, das als Ergebnis des Renderings erhaltene virtuelle Objekt auf der Anzeigevorrichtung 104 anzuzeigen.
Ferner kann der Benutzer zu diesem Zeitpunkt die Richtung (d. h. Lage) ändern, in der das virtuelle Objekt angeordnet ist, indem er eine Benutzeroperation, wie eine Operation des Ziehens und Ablegens, durchführt. In diesem Fall werden als Authoring-Daten auch Informationen über die Drehung des virtuellen Objekts in der Ablage 105 gespeichert. Durch Ausführung des oben beschriebenen Verfahrens erhält man die dreidimensionale Anordnungsposition, den Bereich und die Lage des virtuellen Objekts.
(1-1-9) Berechnungseinheit 14 für mehrere Blickpunkte
Durch die Verarbeitung durch die Komponenten zur Anordnungspositionberechnungseinheit 13 wurden die Position des Bestimmungszielbereichs in der Tiefenrichtung und die Position des virtuellen Objekts in Tiefenrichtung aus einer bestimmten Richtung betrachtet aufeinander ausgerichtet. 12A ist ein Schaubild, das angibt, dass virtuelle Objekte Nr. 1 und Nr. 2, die auf der Anordnungsebene S_q angezeigt werden, zu sehen sind, wenn die Bestimmungszielregion von vorn betrachtet wird. 12B ist ein Schaubild, das angibt, dass virtuelle Objekte Nr. 1 und Nr. 2, die auf der Anordnungsebene S_q angezeigt werden, nicht zu sehen sind, wenn die Bestimmungszielregion von oben betrachtet wird.
13 ist ein Schaubild, das ein Beispiel des Anzeigens der virtuellen Nr. 1 und Nr. 2 Objekte unter Verwendung von Billboard-Rendering anzeigt. Wenn das Rendering unter Verwendung des Billboard-Renderings ausgeführt wurde, sodass sich jedes virtuelle Objekt ständig in einer Lage senkrecht zu einem Sichtlinienvektor der Kamera befindet, kann das virtuelle Objekt wie in 13 gezeigt gesehen werden. Die Positionen L₁ und L₂ der virtuellen Objekte Nr. 1 und Nr. 2 in der Tiefenrichtung werden jedoch von einer Position L_p der Bestimmungszielregion in der Tiefenrichtung abgeleitet.
Damit die Position jedes virtuellen Objekts in der Tiefenrichtung auch bei einer starken Änderung des Blickpunkts wie oben mit der Position des Bestimmungszielbereichs in der Tiefenrichtung übereinstimmt, bereitet die Berechnungseinheit 14 für mehrere Blickpunkte eine Vielzahl von Anordnungsebenen für ein Bestimmungsziel vor und führt die Berechnung der Anordnungsposition des virtuellen Objekts bezüglich jeder Anordnungsebene durch. Die Berechnungseinheit 14 für mehrere Blickpunkte wiederholt einen ersten Blickpunktberechnungsprozess 14a und einen zweiten Blickpunktberechnungsprozess 14b, die nachfolgend beschrieben werden, für eine Anzahl von Malen, die gleich der Anzahl der hinzugefügten Anordnungsebenen ist.
Im ersten Blickpunktberechnungsprozess 14a bestimmt die Berechnungseinheit 14 für mehrere Blickpunkte eine Ebene S_r, die durch Drehen der durch die Anordnungspositionberechnungseinheit 13 erhaltenen Anordnungsebene S_q um eine durch den Referenzpunkt p verlaufende Achse erhalten wurde.
Im zweiten Blickpunktberechnungsprozess 14b erhält die Berechnungseinheit 14 für mehrere Blickpunkte Anordnungspositionen q_r1, q_r2, ..., q_rt von angeordneten virtuellen Objekten v₁, v₂, ..., v_t, die von der Anordnungspositionberechnungseinheit 13 auf der Ebene S_r erhalten werden.
Hinsichtlich des ersten Blickpunktberechnungsprozesses 14a ist es auch möglich, den Benutzer selbst die Ebene S_r durch eine Benutzeroperation, wie die Operation des Ziehens und Ablegens, einstellen zu lassen. Ferner kann die Berechnungseinheit 14 für mehrere Blickpunkte eine Funktion des automatischen Erhaltens der Ebene S_r aufweisen. Nachfolgend werden Beispiele für das Verfahren zum automatischen Erhalten der Ebene S_r beschrieben.
Bezüglich des zweiten Blickpunktberechnungsprozesses 14b ist die Berechnungseinheit 14 für mehrere Blickpunkte in der Lage, die Anordnungspositionen q_r1, q_r2, ..., q_rt auf der Ebene S_r unter Verwendung einer relativen Positionsbeziehung auf der Anordnungsebene S_q zwischen dem Referenzpunkt p und den Anordnungspositionen q₁, q₂, ..., q_t der von der Anordnungspositionberechnungseinheit 13 erhaltenen virtuellen Objekte v₁, v₂, ..., v_t zu erhalten.
Ferner ist es auch möglich, nach dem Erhalten temporärer Anordnungspositionen durch das oben beschriebene Verfahren dem Benutzer eine Benutzerschnittstelle zur Verfügung zu stellen, um den Benutzer die Anordnungspositionen einstellen zu lassen. Ferner kann die Berechnungseinheit 14 für mehrere Blickpunkte nach Erhalt der temporären Anordnungspositionen die Anordnungspositionen der virtuellen Objekte anpassen, indem sie eine Beurteilung der Kollision der virtuellen Objekte und der Zielobjekte im realen Raum unter Verwendung der Punktsatzdaten in den dreidimensionalen Teilmodelldaten, der Ebenendaten in den dreidimensionalen Teilmodelldaten oder beider dieser Datensätze vornimmt.
Nachfolgend werden Beispiele für das Verfahren zum automatischen Erhalten der Ebene S_r im ersten Blickpunktberechnungsprozess 14a beschrieben. Ein Beispiel, in dem die Anzahl der Ebenen S_r drei ist, wird hier beschrieben. Wenn die Anzahl der Ebenen drei ist, leitet die Berechnungseinheit 14 für mehrere Blickpunkte Anordnungsebenen S_r1 , S_r2 und S_r3 als die Ebenen S_r ab. 14 ist ein Schaubild, das eine Anordnungsebene S_r1 zeigt, die von der Berechnungseinheit 14 für mehrere Blickpunkte abgeleitet ist. 15 ist ein Schaubild, das ein Beispiel der Anordnungsebene S_r2 zeigt, die von der Berechnungseinheit 14 für mehrere Blickpunkte abgeleitet ist. 16 ist ein Schaubild, das ein Beispiel der Anordnungsebene S_r3 zeigt, die von der Berechnungseinheit 14 für mehrere Blickpunkte abgeleitet ist. Die Beispiele aus den 14 bis 16 zeigen die Anordnungsebenen S_r1 , S_r2 and S_r3 , wobei berücksichtigt wird, dass das Bezeichnungsziel von vorn und hinten, oben und unten sowie links und rechts betrachtet wird. In den Fällen der Beispiele können die Anordnungsebenen S_r1 , S_r2 und S_r3 wie folgt ohne Benutzeroperation erhalten werden.
Das in 14 gezeigte Beispiel ist ein Beispiel, bei dem die von der Anordnungspositionberechnungseinheit 13 abgeleitete Anordnungsebene S_q direkt als Anordnungsebene S_r1 behandelt wird.
Die in 15 gezeigte Anordnungsebene S_r2 ist eine Ebene, die durch Drehen der Anordnungsebene S_q um eine horizontale Achse erhalten wird, die durch den Referenzpunkt p verläuft, um parallel zu der horizontalen Ebene S_h zu sein, die von der Anordnungspositionberechnungseinheit 13 erkannt wird.
Die in 16 gezeigte Anordnungsebene S_r3 ist eine Ebene, die durch Ändern der Anordnungsebene S_q in eine Richtung senkrecht zu sowohl der Anordnungsebene S_r1 als auch der Anordnungsebene S_r2 erhalten wird und den Referenzpunkt p umfasst.
Wie vorstehend berechnet die Anordnungspositionberechnungseinheit 13 eine Vielzahl von Anordnungsebenen und Anordnungspositionen und gibt das Ergebnis der Berechnung als die Authoring-Daten aus. Zum Zeitpunkt der Ausführung des Renderings können durch Umschalten der Ebene als Ziel des Renderings in Abhängigkeit vom Winkel der Kamera die Tiefenrichtungspositionen einer Vielzahl von virtuellen Objekten, die sich auf das Bestimmungsziel beziehen, mit der Position des Bestimmungsziels in der Tiefenrichtung übereinstimmen, auch wenn die virtuellen Objekte aus einer Vielzahl von Blickpunkten betrachtet werden.
(1-1-10) Authoring-Daten
Die Autoring-Daten sind im Speicher 105 gespeicherte Daten, die das Ergebnis des von der Authoring-Einheit 10 ausgeführten Authoring angeben. Die Authoring-Daten umfassen beispielsweise die folgenden ersten bis sechsten Informationen I1 bis I6:
Die ersten Informationen I1 sind Informationen über das Bestimmungsziel und enthalten Informationen über den Referenzpunkt p und die Referenzebene S_p . Die zweiten Informationen I2 sind Informationen über die Anordnungsebene und enthalten Informationen über die Anordnungsebene S_q und die Ebene S_r. Die dritten Informationen I3 sind Informationen über die virtuellen Objekte und enthalten Informationen über die virtuellen Objekte v₁, v₂, ... Die vierten Information I4 sind Informationen, die die Anordnungspositionen der virtuellen Objekte angeben. Die fünften Information I5 sind Informationen, die die Anordnungsbereiche der virtuellen Objekte angeben. Die sechsten Informationen I6 sind Informationen, die die Lagen der virtuellen Objekte angeben. Die Informationen, die die Lagen angeben, werden auch als Informationen bezeichnet, die die Richtungen der virtuellen Objekte angeben.
Die dreidimensionalen Anordnungspositionen der von der Authoring-Einheit 10 erhaltenen virtuellen Objekte werden verwaltet, während sie der Anordnungsebene, dem Bezeichnungsziel oder beiden dieser Informationen zugeordnet sind.
(1-2) Funktionsweise
17 ist ein Ablaufdiagramm, das die Funktionsweise der Authoring-Vorrichtung 1 gemäß der ersten Ausführungsform zeigt. Zunächst startet die Authoring-Vorrichtung 1 im Schritt S11 gemäß Benutzeranweisungen eine Authoring-Anwendung mit den Funktionen der Authoring-Einheit 10.
Im Schritt S12 erfasst die Authoring-Vorrichtung 1 ein Bild, einen als dreidimensionale Daten eingerichteten dreidimensionalen Punkt oder eine für das Authoring zu verwendende Ebene, die vom Benutzer über die Benutzerschnittstelleneinheit 11 der Authoring-Einheit 10 bestimmt wird, und zeigt das erfasste Bild oder die erfassten dreidimensionalen Daten auf der Anzeigevorrichtung 104 an. Die Bestimmung durch den Benutzer erfolgt unter Verwendung einer Maus, eines Touchpads oder dergleichen als Benutzerschnittstelleneinheit 11.
Im Schritt S13 legt die Authoring-Vorrichtung 1 über die Benutzerschnittstelleneinheit 11 das Bestimmungsziel der vom Benutzer bestimmten Bild- oder dreidimensionalen Daten fest. Die Authoring-Vorrichtung 1 erhält den Referenzpunkt p und die Referenzebene S_p basierend auf dem vom Benutzer bestimmten Bestimmungsziel.
Im Schritt S14 legt die Authoring-Vorrichtung 1 die Anordnungsebene S_q fest, auf der das virtuelle Objekt angeordnet ist.
Im Schritt S15 erhält die Authoring-Vorrichtung 1 Informationen über die Anordnungsposition, -größe, -drehung usw. des durch Benutzeroperationen eingegebenen virtuellen Objekts. Basierend auf den empfangenen Informationen berechnet die Authoring-Vorrichtung 1 Informationen wie die dreidimensionale Anordnungsposition und die Lage des virtuellen Objekts.
Im Schritt S16 erhält die Authoring-Vorrichtung 1 zum Umgang mit dem Rendering von einer Vielzahl von Blickpunkten die Anordnungsebene, die Anordnungsposition des auf der Anordnungsebene platzierten virtuellen Objekts usw. für die der Anzahl der hinzugefügten Ebenen entsprechende Anzahl von Malen. Zu diesem Zeitpunkt gibt es einen Fall, in dem die hinzugefügte Anordnungsebene auf einer GUI durch eine Benutzeroperation bestimmt wird, und einen Fall, in dem die hinzugefügte Anordnungsebene automatisch ohne Benutzeroperation bestimmt wird.
Im Schritt S17 gibt die Authoring-Vorrichtung 1 nach Erhalt der Authoring-Informationen bezüglich des virtuellen Objekts auf einer Vielzahl von Ebenen die durch die bisherige Verarbeitung gewonnenen Informationen zum Authoring als Authoring-Daten aus und speichert die Authoring-Daten im Speicher 105.
(1-3) Wirkung
Wie vorstehend beschrieben, werden in der ersten Ausführungsform, wenn das Authoring basierend auf dem Zielobjekt als Bestimmungsziel im realen Raum und einem virtuellen Objekt, das sich auf das Zielobjekt als Bestimmungsziel bezieht, ausgeführt wird, der Referenzpunkt p und die Referenzebene S_p von der Bestimmungszielfestlegungseinheit 12 aus dem Bestimmungsziel des Benutzers erhalten. Dementsprechend kann die Position des virtuellen Objekts in Tiefenrichtung unabhängig von der Form und der Neigung des Bestimmungsziels mit der Position des Bestimmungsziels in Tiefenrichtung übereinstimmen.
Ferner werden durch die Berechnungseinheit 14 für mehrere Blickpunkte eine Vielzahl virtueller Objektanordnungsebenen erhalten. Dementsprechend kann auch bei einer Richtungs- oder Lageänderung der Kamera die Position des virtuellen Objekts in der Tiefenrichtung mit der Position des Bestimmungsziels in der Tiefenrichtung übereinstimmen.
Ferner können auch in Fällen, in denen eine Vielzahl von Inhalten zu einem Bestimmungsziel registriert wurden, die Positionen der virtuellen Objekte in der Tiefenrichtung so hergestellt werden, dass sie mit der Position des Bezeichnungsziels in der Tiefenrichtung übereinstimmen, auch wenn die Richtung oder Lage der Kamera geändert wird.
(2) Zweite Ausführungsform
(2-1) Konfiguration
(2-1-1) Hardwarekonfiguration
Während die Authoring-Vorrichtung 1 gemäß der ersten Ausführungsform eine Vorrichtung ist, die Authoring-Daten erzeugt und ausgibt, kann die Authoring-Vorrichtung auch eine Konfiguration zum Ausführen von Rendering umfassen.
18 ist ein Schaubild, das ein Beispiel einer Hardwarekonfiguration einer Authoring-Vorrichtung 2 gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt. In 18 wurde jeder Komponente, die identisch mit einer in 1 gezeigten Komponente ist oder ihr entspricht, das gleiche Bezugszeichen wie in 1 zugeordnet. Die Authoring-Vorrichtung 2 gemäß der zweiten Ausführungsform unterscheidet sich von der Authoring-Vorrichtung 1 gemäß der ersten Ausführungsform darin, dass sie einen Sensor 106 und eine Kamera 107 umfasst.
Der Sensor 106 ist eine IMU (Inertial Measurement Unit, Trägheitsmesseinheit), ein Infrarotsensor, ein LiDAR (Light Detection and Ranging, Lichterkennung und Entfernungsbestimmung) oder dergleichen. Die IMU ist eine Detektionsvorrichtung, in die verschiedene Sensortypen wie ein Beschleunigungssensor, ein Geomagnetismussensor und ein Kreiselsensor integriert sind. Die Kamera 107 ist eine Bilderfassungsvorrichtung, z. B. eine Monokularkamera, eine Stereokamera oder eine RGBD-Kamera.
Die Authoring-Vorrichtung 2 schätzt die Position und die Lage der Kamera 107 aus Bilddaten, die von der Kamera 107 ausgegeben werden, die ein Bild des realen Raums erfasst, wählt aus einer ersten Anordnungsebene und einer oder mehreren zweiten Anordnungsebenen auf Grundlage der geschätzten Position und Lage der Kamera 107 und der Authoring-Daten eine Anzeigeebene, auf der das virtuelle Objekt angeordnet ist, aus, und gibt Anzeigebilddaten auf Grundlage der Bilddaten und des virtuellen Objekts aus, die auf der Anzeigeebene angeordnet sind.
Aus der ersten Anordnungsebene und der einen oder mehreren zweiten Anordnungsebenen wählt die Authoring-Vorrichtung 2 eine Anordnungsebene, mit der ein von der ersten Anordnungsebene und einem durch die Position der Kamera 107 und den Referenzpunkt p gebildeter Winkel oder ein durch die zweite Anordnungsebene und den Vektor gebildeter Winkel 90 Grad am nächsten ist, als die Anzeigeebene aus, auf welcher das virtuelle Objekt angezeigt wird.
(2-1-2) Authoring-Vorrichtung 2
19 ist ein funktionales Blockdiagramm, das eine Konfiguration der Authoring-Vorrichtung 2 gemäß der zweiten Ausführungsform schematisch zeigt. In 19 wurde jeder Komponente, die identisch mit einer in 2 gezeigten Komponente ist oder ihr entspricht, das gleiche Bezugszeichen wie in 2 zugeordnet. Die Authoring-Vorrichtung 2 gemäß der zweiten Ausführungsform unterscheidet sich von der Authoring-Vorrichtung 1 gemäß der ersten Ausführungsform darin, dass sie eine Bilderfassungseinheit 40 und eine AR-Anzeigeeinheit 50 umfasst, die Bilddaten an die Anzeigevorrichtung 104 ausgibt.
Die Bilderfassungseinheit 40 erfasst Bilddaten, die von der Kamera 107 ausgegeben werden. Die von der Bilderfassungseinheit 40 erfassten Bilddaten werden in die Authoring-Einheit 10, die Erkennungseinheit 30 und die AR-Anzeigeeinheit 50 eingegeben. In einem Fall, in dem das Authoring unter Verwendung der von der Kamera 107 ausgegebenen Bilddaten ausgeführt wird, werden die von der Kamera 107 ausgegebenen Bilddaten in die Authoring-Einheit 10 eingegeben. In anderen Fällen werden die von der Kamera 107 ausgegebenen Bilddaten in die AR-Anzeigeeinheit 50 eingegeben.
(2-1-3) AR-Anzeigeeinheit 50
Die AR-Anzeigeeinheit 50 führt das Rendering zum Erzeugen von Bilddaten zum Anzeigen des virtuellen Objekts auf der Anzeigevorrichtung 104 unter Verwendung der von der Authoring-Einheit 10 ausgegebenen oder im Speicher 105 gespeicherten Authoring-Daten durch. Wie in 19 gezeigt, umfasst die AR-Anzeigeeinheit 50 eine Position-Lage-Abschätzungseinheit 51, eine Anzeigeebenenfestlegungseinheit 52 und eine Rendering-Einheit 53.
(Position-Lage-Abschätzungseinheit 51)
Die Position-Lage-Abschätzungseinheit 51 schätzt die Position und die Lage der mit der Authoring-Vorrichtung 2 verbundenen Kamera 107 ein. Bilddaten eines von der Kamera 107 durch die Bilderfassungseinheit 40 erfassten Bildes werden der Erkennungseinheit 30 bereitgestellt. Die Erkennungseinheit 30 empfängt die Bilddaten als die Eingabe und erkennt die Position und die Lage der Kamera, die das Bild aufgenommen hat, auf Grundlage der empfangenen Bilddaten. Auf der Grundlage des Ergebnisses der Erkennung durch die Erkennungseinheit 30 schätzt die Position-Lage-Abschätzungseinheit 51 die Position und die Lage der mit der Authoring-Vorrichtung 2 verbundenen Kamera 107 ein.
(Anzeigeebenenfestlegungseinheit 52)
Bei den Authoring-Daten in der zweiten Ausführungsform gibt es einen Fall, in dem aufgrund der Berechnungseinheit 14 für mehrere Blickpunkte für ein vom Benutzer bestimmtes Bestimmungsziel eine Vielzahl von Anordnungsebenen existieren. Die Vielzahl von Anordnungsebenen sind beispielsweise die in 14 bis 16 gezeigten Anordnungsebenen S_r1 , S_r2 und S_r3 . Die Anzeigeebenenfestlegungseinheit 52 legt eine Ebene als das Ziel des Rendering aus der Vielzahl von Anordnungsebenen unter Verwendung der aktuellen Positions- und Lageinformationen zur Kamera 107 fest. Ein einem bestimmten Bestimmungsziel entsprechender Bezugspunkt ist als p repräsentiert, und t (t: positive ganze Zahl) Anzeigeebenen sind als S₁, S₂, ..., St repräsentiert. Ferner angenommen, dass θ₁, θ₂, ..., θ_t jeweils Winkel [°] darstellen, die durch einen Vektor gebildet werden, der durch die dreidimensionale Position der Kamera 107 und den Referenzpunkt p und die Anzeigeebenen S₁, S₂, ..., St bestimmt werden, und angenommen, dass i eine ganze Zahl größer oder gleich 1 und kleiner oder gleich t darstellt, wird die Ebene S_R als das Ziel des Rendering erhalten, wie durch den folgenden Ausdruck (3) angegeben, beispielsweise, wenn 0° < θ_i ≤ 90°. Der durch die dreidimensionale Position der Kamera 107 und den Referenzpunkt p bestimmte Vektor ist beispielsweise ein Vektor in einer Richtung, die die Position der optischen Achse der Kamera 107 und den Referenzpunkt p verbindet.
$S_{R} = arg min_{S_{i}} (90 - θ_{i})$
Wenn jedoch 90° < θ_i ≤ 180° ist, erhält man die Ebene S_R als das Ziel des Renderings, wie beispielsweise durch den folgenden Ausdruck (4) angegeben.
$S_{R} = arg min_{S_{i}} (θ_{i} - 90)$
Nach dem Erhalt der Ebene S_R werden Daten, wie beispielsweise die Anordnungsposition des in der Ebene S_R enthaltenen virtuellen Objekts, aus den Authoring-Daten erfasst und an die Rendering-Einheit 53 ausgegeben. Als Ebene S_R wird eine Anzeigeebene gewählt, mit welcher der Winkel, der von der Anzeigeebene und den durch die dreidimensionale Position der Kamera 107 und den Referenzpunkt p bestimmten Vektor gebildet wird, am nächsten bei 90 Grad liegt.
(Rendering-Einheit 53)
Basierend auf Informationen über die Position und die Lage der Kamera 107, die durch die Position-Lage-Abschätzungseinheit 51 und die Anordnungsebene und die Anordnungsposition des virtuellen Objekts erhalten werden, die durch die Anzeigeebenenfestlegungseinheit 52 erhalten werden, transformiert die Rendering-Einheit 53 die dreidimensionalen Koordinaten des virtuellen Objekts in zweidimensionale Koordinaten auf der Anzeige der Anzeigevorrichtung 104 und zeigt das virtuelle Objekt auf der Anzeige der Anzeigevorrichtung 104 in Überlagerung auf den durch die Transformation erhaltenen zweidimensionalen Koordinaten an.
(2-1-4) Anzeigevorrichtung 104
Die Anzeigevorrichtung 104 ist eine Vorrichtung zum Rendern des AR-Bildes. Die Anzeigevorrichtung 104 ist beispielsweise eine Anzeige eines PC (Personal Computer), eine Anzeige eines Smartphones, eine Anzeige eines Tablet-Terminals, eine kopfmontierte Anzeige oder dergleichen.
(2-2) Funktionsweise
20 ist ein Ablaufdiagramm, das eine Funktionsweise der Authoring-Vorrichtung 2 gemäß der zweiten Ausführungsform zeigt. Das von der Authoring-Vorrichtung 2 gemäß der zweiten Ausführungsform ausgeführte Authoring ist das gleiche wie jenes in der ersten Ausführungsform.
Im Schritt S21 startet die Authoring-Vorrichtung 2 eine AR-Anwendung.
Nachdem im Schritt S22 Authoring-Daten gestartet wurden, erfasst die Authoring-Vorrichtung 2 im Schritt S23 die Authoring-Daten als Anzeigedaten.
Im Schritt S24 erfasst die Authoring-Vorrichtung 2 die Bilddaten des aufgenommenen Bildes, das von der Kamera 107 ausgegeben wurde, die mit der Authoring-Vorrichtung 2 verbunden ist.
Im Schritt S25 schätzt die Authoring-Vorrichtung 2 die Position und die Lage der Kamera 107 ein.
Im Schritt S26 erfasst die Authoring-Vorrichtung 2 aus den Authoring-Daten Informationen über das/die ermittelte(n) Bestimmungsziel(e) und führt die Verarbeitung des Schritts S27 für ein Bestimmungsziel oder jedes von einer Vielzahl von Bestimmungszielen durch.
Im Schritt S26 ermittelt die Authoring-Vorrichtung 2 aus einer Vielzahl von dem Bestimmungsziel entsprechenden Anordnungsebenen eine Anordnungsebene, auf der das virtuelle Objekt angezeigt wird. Anschließend erfasst die Authoring-Vorrichtung 2 aus den Authoring-Daten Informationen über die Anordnungsposition, die Größe, die Position, die Lage usw. des auf der festgelegten Anordnungsebene angeordneten virtuellen Objekts. Anschließend führt die Authoring-Vorrichtung 2 das Rendering des virtuellen Objekts aus.
Im Schritt S27 beurteilt die Authoring-Vorrichtung 2, ob der AR-Anzeigeprozess fortgesetzt werden sollte oder der Prozess für alle registrierten Bestimmungsziele beendet ist. Wenn der AR-Anzeigeprozess fortgesetzt werden sollte, wird die Verarbeitung vom Schritt S24 bis zum Schritt S27 wiederholt.
(2-3) Wirkung
Wie oben beschrieben, wird in der zweiten Ausführungsform, wenn das Bestimmungsziel als das Ziel des virtuellen Objekts und das virtuelle Objekt, das sich auf das Bestimmungsziel bezieht, gerendert werden, das Rendern auf der Grundlage der von der Authoring-Einheit 10 ausgegebenen Authoring-Daten ausgeführt. Dementsprechend wird es möglich, ein Rendering auszuführen, durch das die Position des virtuellen Objekts in der Tiefenrichtung unabhängig von der Form oder der Neigung des Bestimmungsziels mit der Position des Bestimmungsziels in Tiefenrichtung übereinstimmt.
Ferner wird aus einer Vielzahl von Inhaltsanordnungsebenen, die durch die Berechnungseinheit 14 für mehrere Blickpunkte erhalten werden, die Ebene als das Ziel für das Rendering durch die Anzeigeebenenfestlegungseinheit 52 auf Grundlage der Position der Kamera 107, der Lage der Kamera 107 oder beider dieser Informationen bestimmt. Dementsprechend kann die Position des virtuellen Objekts in der Tiefenrichtung so gestaltet werden, dass sie auch bei einer Veränderung der Position der Kamera 107, der Lage der Kamera 107 oder beider dieser Informationen mit der Position des Bestimmungsziels in der Tiefenrichtung übereinstimmen.
Bezugszeichenliste

1, 2: Authoring-Vorrichtung,
10: Authoring-Einheit,
11: Benutzerschnittstelleneinheit,
12: Bestimmungszielfestlegungseinheit,
13: Anordnungs- positionberechnungseinheit,
14: Berechnungseinheit für mehrere Blickpunkte,
20: Datenerfassungseinheit,
30: Erkennungseinheit,
40: Bilderfassungseinheit,
50: AR-Anzeigeeinheit,
51: Position-Lage-Abschätzungseinheit,
52: Anzeigeebenenfestlegungseinheit,
53: Rendering-Einheit,
101: Prozessor,
102: Speicher,
103: Eingabevorrichtung,
104: Anzeigevorrichtung,
105: Ablage,
106: Sensor,
107: Kamera,
p: Referenzpunkt,
Sp: Referenzebene,
Sh: horizontale Ebene,
Sq: Anordnungsebene,
Sr1, Sr2, Sr3: Anordnungsebene.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 201884886 [0004]

Claims

Authoring-Vorrichtung, umfassend: eine Benutzerschnittstelleneinheit, die eine Operation zum Bestimmen eines in realem Raum existierenden Zielobjekts empfängt; eine Bestimmungszielfestlegungseinheit, die unter Verwendung der Benutzerschnittstelleneinheit auf einer Referenzebene in Beziehung zu dem Zielobjekt einen Referenzpunkt eines Bestimmungsziels als das Zielobjekt festlegt; eine Anordnungspositionberechnungseinheit, die eine erste Anordnungsebene festlegt, angeordnet in einer Position, die den Referenzpunkt umfasst und auf der ein virtuelles Objekt angeordnet werden kann, basierend auf der Referenzebene und dem Referenzpunkt; und eine Berechnungseinheit für mehrere Blickpunkte, die eine oder mehrere zweite Anordnungsebenen, erhalten durch Drehen der ersten Anordnungsebene, festlegt, auf denen das virtuelle Objekt angeordnet werden kann, wobei die Authoring-Vorrichtung Informationen, die die erste Anordnungsebene und das virtuelle Objekt einander zuordnen, und Informationen, die die zweiten Anordnungsebenen und das virtuelle Objekt einander zuordnen, als Authoring-Daten ausgibt.
Authoring-Vorrichtung nach Anspruch 1, wobei die Operation unter Verwendung der Benutzerschnittstelleneinheit eine Operation des Umgebens einer das Zielobjekt als das Bestimmungsziel repräsentierenden Region durch ein n-seitiges Vieleck ist, wobei n eine ganze Zahl größer/gleich drei ist.
Authoring-Vorrichtung nach Anspruch 2, wobei die Bestimmungszielfestlegungseinheit eine der Ebenen, die drei Scheitelpunkte unter Scheitelpunkten des n-seitigen Vielecks umfasst, als die Referenzebene festlegt, und den Referenzpunkt basierend auf einer Baryzentrumsposition des n-seitigen Vielecks und der Referenzebene bestimmt.
Authoring-Vorrichtung nach einem der Ansprüche 1 bis 3, wobei die Berechnungseinheit für mehrere Blickpunkte die eine oder mehrere Anordnungsebenen durch Drehen der ersten Anordnungsebene um eine Achsenlinie, die den Referenzpunkt umfasst, bestimmt.
Authoring-Vorrichtung nach einem der Ansprüche 1 bis 4, ferner umfassend: eine Position-Lage-Abschätzungseinheit, die eine Position und eine Lage einer Kamera, die ein Bild eines realen Raumes basierend auf von der Kamera ausgegebenen Bilddaten erfasst, abschätzt; eine Anzeigeebenenfestlegungseinheit, die eine Anzeigeebene, auf welcher das virtuelle Objekt angeordnet ist, aus der ersten Anordnungsebene und der einen oder mehreren zweiten Anordnungsebenen auswählt, basierend auf der abgeschätzten Position und Lage der Kamera und den Authoring-Daten; und eine Rendering-Einheit, die Anzeigebilddaten basierend auf den Bilddaten und dem auf der Anzeigeebene angeordneten virtuellen Objekt ausgibt.
Authoring-Vorrichtung nach Anspruch 5, wobei die Anzeigeebenenfestlegungseinheit aus der ersten Anordnungsebene und der einen oder mehreren zweiten Anordnungsebenen eine Anordnungsebene, mit der ein von der ersten Anordnungsebene und einem durch die Position der Kamera und den Referenzpunkt gebildeter Winkel oder ein durch die zweite Anordnungsebene und den Vektor gebildeter Winkel 90 Grad am nächsten ist, als die Anzeigeebene, auf welcher das virtuelle Objekt angezeigt wird, auswählt.
Authoring-Verfahren, umfassend: einen Schritt des Empfangens einer Operation zum Bestimmen eines in realem Raum existierenden Zielobjekts; einen Schritt des Festlegens eines Referenzpunkts eines Bestimmungsziels als das bestimmte Zielobjekt auf einer Referenzebene in Beziehung zu dem Zielobjekt; einen Schritt des Festlegens einer ersten Anordnungsebene, angeordnet in einer Position, die den Referenzpunkt umfasst und auf der ein virtuelles Objekt angeordnet werden kann, basierend auf der Referenzebene und dem Referenzpunkt; einen Schritt des Festlegens einer oder mehrerer zweiter Anordnungsebenen, erhalten durch Drehen der ersten Anordnungsebene, auf denen das virtuelle Objekt angeordnet werden kann; und einen Schritt des Ausgebens von Informationen, die die erste Anordnungsebene und das virtuelle Objekt einander zuordnen, und von Informationen, die die zweiten Anordnungsebenen und das virtuelle Objekt einander zuordnen, als Authoring-Daten.
Authoring-Programm, das einen Computer veranlasst, auszuführen: einen Prozess des Empfangens einer Operation zum Bestimmen eines in realem Raum existierenden Zielobjekts; einen Prozess des Festlegens eines Referenzpunkts eines Bestimmungsziels als das bestimmte Zielobjekt auf einer Referenzebene in Beziehung zu dem Zielobjekt; einen Prozess des Festlegens einer ersten Anordnungsebene, angeordnet in einer Position, die den Referenzpunkt umfasst und auf der ein virtuelles Objekt angeordnet werden kann, basierend auf der Referenzebene und dem Referenzpunkt; einen Prozess des Festlegens einer oder mehrerer zweiter Anordnungsebenen, erhalten durch Drehen der ersten Anordnungsebene, auf der das virtuelle Objekt angeordnet werden kann; und einen Prozess des Ausgebens von Informationen, die die erste Anordnungsebene und das virtuelle Objekt einander zuordnen, und von Informationen, die die zweiten Anordnungsebenen und das virtuelle Objekt einander zuordnen, als Authoring-Daten.