DE112017007791B4

DE112017007791B4 - Steuereinrichtung für eine optische vorrichtung, steuerverfahren für eine optische vorrichtung und steuerprogramm für eine optische vorrichtung

Info

Publication number: DE112017007791B4
Application number: DE112017007791.5T
Authority: DE
Inventors: Kento YAMAZAKI; Kohei OKAHARA; Shiori Arii; Mariko Ueno; Mikio Sasaki; Ichiro Furuki; Yoshiyuki Kato; Shingo Mine; Hironobu Abe
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-08-31
Filing date: 2017-08-31
Publication date: 2021-10-07
Anticipated expiration: 2037-09-01
Also published as: DE112017007791T5; CN111052218A; JP6456551B1; WO2019043854A1; JPWO2019043854A1; CN111052218B

Abstract

Steuereinrichtung für eine optische Vorrichtung (1, 1a), umfassend:eine Projektionsbilderzeugungseinheit (14), die eine optische Vorrichtung (202a) veranlasst, ein Projektionsbild basierend auf Projektionsbilddaten auf ein Ziel zu projizieren;eine Objekterkennungseinheit (11, 11a), die ein erstes Objekt erkennt, das zwischen der optischen Vorrichtung (202a) und dem Ziel vorhanden ist, basierend auf Realrauminformationen, die von einer Realrauminformation-Beschaffungseinrichtung (201) beschafft werden;eine Überlappungsbeurteilungseinheit (12), die beurteilt, ob sich ein in dem Projektionsbild enthaltenes Grafikbild in einem Überlappungszustand mit einem Schatten befindet oder nicht, als eine Region, in der das Projektionsbild aufgrund des ersten Objekts das Ziel nicht erreicht, basierend auf den Projektionsbilddaten und einem Ergebnis der Erkennung durch die Objekterkennungseinheit (11, 11a);eine Änderungseinheit (15), die die Projektionsbilddaten so ändert, dass das Grafikbild auf eine andere Region als die des Schattens projiziert wird, wenn das Grafikbild von der Überlappungsbeurteilungseinheit (12) beurteilt wird, im Überlappungszustand mit dem Schatten zu sein;eine Verwaltungseinheit (13), die der Projektionsbilderzeugungseinheit (14) die durch die Änderungseinheit (15) geänderten Projektionsbilddaten als die Projektionsbilddaten liefert, wenn das Grafikbild von der Überlappungsbeurteilungseinheit (12) beurteilt wird, im Überlappungszustand mit dem Schatten zu sein; undeine Speichereinheit (16), die Attribute eines ersten Bildes und eines zweiten Bildes speichert, wobeidas Grafikbild das erste Bild und das zweite Bild umfasst,wenn das erste Bild von der Überlappungsbeurteilungseinheit (12) beurteilt wird, im Überlappungszustand mit dem Schatten zu sein, berechnet die Änderungseinheit (15) basierend auf einem Zeichnungsalgorithmus und in einem dynamischen Modell, in dem Anziehungskraft und Abstoßungskraft unter einer Vielzahl von Punkten wirkt, die die Punkte sich einander nähern oder voneinander trennen lassen, stabile Positionen der Vielzahl von Punkten, so dass sie sich nicht überlappen, und ändert die Projektionsbilddaten, so dass das erste Bild basierend auf einem Ergebnis der Berechnung auf eine andere Region als eine Projektionsregion des zweiten Bildes und als der des Schattens projiziert wird,die Abstoßungskraft eine Kraft einschließt, die das erste Bild basierend auf einer Position des Schattens empfängt, und eine Kraft, die das erste Bild basierend auf einer Projektionsposition des zweiten Bildes empfängt, unddie Anziehungskraft eine Kraft ist, die das erste Bild basierend auf einer Position, auf die das erste Bild projiziert wird, empfängt, und die das erste Bild basierend auf einer Projektionsposition des zweiten Bildes empfängt, wenn das erste Bild und das zweite Bild ein gemeinsames Attribut aufweisen.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Steuereinrichtung für eine optische Vorrichtung, ein Steuerverfahren für eine optische Vorrichtung und ein Steuerprogramm für eine optische Vorrichtung zum Steuern einer optischen Vorrichtung, die ein Bild projiziert oder erfasst.
STAND DER TECHNIK
In der Technik gibt es die Augmented-Reality-Technologie des Zeichnens elektronischer Informationen (CG: Computergrafik, engl.: Computer Graphics) als zusätzliche Informationen in Überlagerung mit dem realen Raum, basierend auf der Position und Haltung eines Benutzers, die von einer Kamera oder einem Sensor beschafft werden. Die Augmented-Reality-Technologie ist eine Technologie, die in der Lage ist, eine computererzeugte CG in einem dreidimensionalen Koordinatensystem in Überlagerung mit dem realen Raum zu zeichnen, indem die Position und Lage einer Bilderfassungsvorrichtung, wie einer Kamera, in einem beliebigen dreidimensionalen Koordinatensystem, basierend auf einem beispielsweise von der Kamera beschafften zweidimensionalen Bild bestimmt werden.
Ein Projektor ist eine Einrichtung, die ein Bild anzeigt, indem aus einer Projektionslinse austretendes Licht auf ein Objekt aufgebracht wird, und bekanntlich durch Verwendung eines Modells berechenbar ist, das grundsätzlich einer Kamera ähnlich ist, mit der Ausnahme, dass die Strahlrichtung des Lichts entgegengesetzt zu der in der Kamera ist. Somit kann eine computererzeugte CG in einem dreidimensionalen Koordinatensystem auf eine beliebige Position im realen Raum projiziert werden, indem die und Lage eines Projektors in einem beliebigen dreidimensionalen Koordinatensystem bestimmt werden.
Die Augmented-Reality-Technologie konzentriert sich im Allgemeinen auf ein Problem der „geometrischen Konsistenz“, z.B. wo eine CG in Überlagerung gezeichnet werden soll. Andererseits wird die Technologie, die sich darauf konzentriert, wie die zu überlagernde CG verwaltet werden soll, um Informationen an den Benutzer zu übermitteln, als Ansichtsverwaltung bezeichnet (siehe z.B. Nicht-Patent-Referenz 1). Darüber hinaus wurde vorgeschlagen, dass drei Elemente: „die Überlappungsmenge zwischen Annotations- bzw. Anmerkungsinformationen und Annotationsinformationen oder zwischen einer Annotation und einem Objekt als Ziel der Erklärung“, „Abstand zwischen Annotationsinformationen und annotierten bzw. kommentierten Informationen“ und „Bewegungsabstand von Annotationsinformationen in einem Zeitsystem“ berücksichtigt werden sollten, wenn Annotationsinformationen mittels einer CG unter Verwendung der Augmented-Reality-Technologie gezeigt werden (siehe z.B. Nicht-Patentreferenz 2).
Patentreferenz 1 schlägt eine Anzeigeeinrichtung vor, umfassend eine Anzeigeabschirmungsobjekt-Erkennungseinheit, die ein Objekt (lichtabschirmendes bzw. Licht verdeckendes Objekt) erkennt, wenn ein Objekt zwischen einem Betrachter (Benutzer) und einer Anzeigeeinrichtung wie z. B. einer Anzeige bzw. einem Display vorhanden ist, und eine Anzeige-Layout-Einheit, die das Layout von Informationen basierend auf dem Ergebnis der Erkennung durch die Anzeigeabschirmungsobjekt-Erkennungseinheit bestimmt.
Patentreferenz 2 schlägt ein Fernindikationssystem vor, das ein Fotografiermittel beinhaltet, das ein Projektionsziel fotografiert, und ein Annotationseinstellmittel, das einen Anzeigemodus von Annotationsinformationen in Abhängigkeit von einem Fotografierbereich des Fotografiermittels einstellt.
Patentreferenz 3 schlägt eine Bildprojektionseinrichtung vor, die ein Projektionsmittel beinhaltet, das ein von einer externen Einrichtung eingegebenes Annotationsbild auf einen Gegenstand projiziert, und ein Steuermittel, das eine Bewegungssteuerung des auf den Gegenstand projizierten Annotationsbildes durchführt, basierend auf Informationen, die durch Fotografieren, durch ein Fotomittel, des Gegenstands, auf den das Annotationsbild durch das Projektionsmittel projiziert wird, erhalten wurden.
Patentreferenz 4 schlägt ein System vor mit einem Projektorkamerasystem, das einen Computer umfasst, der ein Bild an einen Projektor überträgt, wobei der Projektor das Bild auf eine Leinwand projiziert, einer Stereokameraeinheit, die ungefähr in der Ebene der Leinwand oder am Projektor angebracht und auf den Vortragenden gerichtet ist und mit dem Computer kommuniziert, und einer Software, die die Stereokameradaten interpretiert, um Vorder- und Hintergrundmerkmale zu unterscheiden und zu manipulieren.
Patentreferenz 5 schlägt ein projizierte Ein- und Ausgabegeräte vor, die sich an eine Desktop-Umgebung anpassen, indem sie Objekte in der Desktop-Umgebung erfassen und das projizierte Licht als Reaktion auf die erfassten Objekte verändern.
Patentreferenz 6 schlägt einen Projektor vor, der einen Projektionsabschnitt enthält, der so beschaffen ist, dass er ein Projektionsbild auf eine Projektionsfläche mit einem Zielteil projiziert, einen Erfassungsabschnitt, der so beschaffen ist, dass er einen Abstand von einer vorbestimmten Position zu dem Zielteil erfasst, und einen Steuerabschnitt, der so beschaffen ist, dass er einen auf die Projektionsfläche zu projizierenden Bereich, der nicht der Zielteil ist, auf der Grundlage des so erfassten Abstands als Teilbereich aus dem Projektionsbild herausstellt und einen Anzeigezustand des Projektionsbildes so ändert, dass der eingestellte Teilbereich maskiert.
Patentreferenz 7 schlägt ein Artikelinformationsanzeigesystem vor, bei dem die elektronische Artikelinformation eines Artikels dem Artikel zugeordnet und einem Beobachter angezeigt wird.
Patentreferenz 8 schlägt einen Projektor vor, der von einer Lichtquelle emittiertes Licht moduliert und das modulierte Bildlicht auf eine Projektionsfläche projiziert.
Patentreferenz 9 schlägt vor: Eine Bildanzeigeeinheit, die ein Bild auf der Grundlage von Bilddaten anzeigt; eine Erfassungseinheit, die eine Position erfasst, die der Spitze eines Anzeigeelements entspricht, das einen Teil des Bildes anzeigt, das von der Bildanzeigeeinheit angezeigt wurde; eine Extraktionseinheit, die Bilddaten für einen vorbestimmten Bereich einschließlich der der Spitze entsprechenden Position aus den Bilddaten extrahiert; und eine Steuereinheit, die so steuert, dass ein Fenster, das ein Bild anzeigt, das auf den von der Extraktionseinheit extrahierten Bilddaten basiert, auf der Bildanzeigeeinheit angezeigt wird.
Patentreferenz 10 schlägt einen Bildprozessor vor, der Folgendes umfasst: einen Erfasser; einen Prädiktor; einen Korrektor. Der Erfasser erfasst Informationen über die Form einer Projektionsfläche, auf die ein erstes Bild projiziert wird, Informationen über die Position eines Standpunktes zur Beobachtung des ersten auf die Projektionsfläche projizierten Bildes und Informationen über die Position eines Projektionspunktes zur Projektion des ersten Bildes. Der Prädiktor sagt einen sichtbaren Bereich voraus. Der Korrektor korrigiert ein zweites Bild, um das erste Bild zu erzeugen, wobei das zweite Bild innerhalb des sichtbaren Bereichs gesetzt wird.
REFERENZEN ZUM STAND DER TECHNIK
PATENTLITERATUR

Patentreferenz 1: Japanische Patentanmeldung Nummer: JP 3 874 737 B2 (z. B. Paragraphen 0020 bis 0029)
Patentreferenz 2: Japanische Patentanmeldung Nummer: JP 5 092 459 B2 (z. B. Paragraphen 0037 bis 0048 und 0053 bis 0061)
Patentreferenz 3: Japanische Patentanmeldung Veröffentlichungsnummer: JP 2008 -158 419 A (z. B. Paragraphen 0031 bis 0041)
Patentreferenz 4: US Patentanmeldung Veröffentlichungsnummer: US 2009/0 168 027 A1
Patentreferenz 5: US Patent Veröffentlichungsnummer: US 9 304 599 B2
Patentreferenz 6: US Patentanmeldung Veröffentlichungsnummer: US 2015/0 268 537 A1
Patentreferenz 7: Japanische Patentanmeldung Veröffentlichungsnummer: JP 2005 - 156 591 A
Patentreferenz 8: US Patentanmeldung Veröffentlichungsnummer: US 2013 / 0 194 554 A1
Patentreferenz 9: US Patentanmeldung Veröffentlichungsnummer: US 2012/0 098 852 A1
Patentreferenz 10: US Patentanmeldung Veröffentlichungsnummer: US 2015 / 0 195 479 A1 NICHT‐PATENTREFERENZ
Nicht-Patentreferenz 1: Takeshi Kurata, Nobuchika Sakata, Koji Makita, „Augmented Reality (AR): 11. Perspective 3: AR Interface", IPSJ Magazine, Vol. 51, No. 4, Apr. 2010, pp. 425-430
Nicht-Patentreferenz 2: Ronald Azuma, Chris Furmanski, „Evaluating Label Placement for Augmented Reality View Management", IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR 2003), (Tokyo 7 - 10 October 2003), pp. 66-75

ABRISS DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDES PROBLEM
Wenn jedoch ein Objekt (lichtabschirmendes Objekt) zwischen der optischen Vorrichtung (z.B. Projektor) und dem Projektionsziel vorhanden ist, bildet sich ein Schatten des Objekts (lichtabschirmendes oder lichtabdeckendes Objekt) auf dem Projektionsziel, und es besteht daher das Problem, dass dem Betrachter keine beabsichtigten Informationen zur Verfügung gestellt werden können, wie beispielsweise in Fällen, in denen eine CG nicht auf eine beabsichtigte Position projiziert werden kann.
So betrachtet beispielsweise die in der Patentreferenz 1 beschriebene Einrichtung nur ein Objekt zwischen dem Betrachter und einer Einrichtung wie einem Monitor, und nicht ein Objekt, das zwischen einer Anzeigeeinrichtung vom Projektionstyp wie einem Projektor und dem Projektionsziel vorhanden ist. Weiterhin weist die Patentreferenz 1 keine Beschreibung auf, wie die Beziehung zwischen Computergrafiken (CGs) gesteuert werden soll, wenn es eine Vielzahl von CGs gibt.
Während die in der Patentreferenz 2 beschriebene Einrichtung die Projektionsbedingung von CGs anpasst, konzentriert sich die Patentreferenz 2 ausschließlich auf eine hinzuzufügende CG und weist keine Beschreibung über einen Fall auf, in dem es ursprünglich eine Vielzahl von CGs gibt. Während die in der Patentreferenz 3 beschriebene Einrichtung eine Vielzahl von CGs bewegt, besteht eine Möglichkeit, dass verwandte CGs je nach Art der Bewegung der CGs weit auseinander platziert werden.
Ziel der vorliegenden Erfindung, die zur Lösung der oben beschriebenen Probleme gemacht wurde, ist es, eine Steuereinrichtung für eine optische Vorrichtung, ein Steuerverfahren für eine optische Vorrichtung und ein Steuerprogramm für eine optische Vorrichtung bereitzustellen, mit denen ein Grafikbild in einer geeigneten Region angezeigt werden kann, auch wenn ein Objekt (lichtabschirmendes Objekt) zwischen der optischen Vorrichtung und dem Ziel vorhanden ist.
MITTEL ZUM LÖSEN DES PROBLEMS
Eine Steuereinrichtung für eine optische Vorrichtung gemäß der vorliegenden Erfindung umfasst: eine Projektionsbilderzeugungseinheit, die eine optische Vorrichtung veranlasst, ein Projektionsbild basierend auf Projektionsbilddaten auf ein Ziel zu projizieren; eine Objekterkennungseinheit, die ein zwischen der optischen Vorrichtung und dem Ziel vorhandenes erstes Objekt basierend auf durch eine Realrauminformation-Beschaffungseinrichtung beschafften Realrauminformationen erkennt; eine Überlappungsbeurteilungseinheit, die beurteilt, ob sich ein im Projektionsbild enthaltenes Grafikbild in einem Überlappungszustand mit einem Schatten als eine Region befindet oder nicht, in der das Projektionsbild aufgrund des ersten Objekts das Ziel nicht erreicht, basierend auf den Projektionsbilddaten und einem Ergebnis der Erkennung durch die Objekterkennungseinheit; eine Änderungseinheit, die die Projektionsbilddaten so ändert, dass das Grafikbild auf eine andere Region als den Schatten projiziert wird, wenn das Grafikbild von der Überlappungsbeurteilungseinheit beurteilt wird, im Überlappungszustand mit dem Schatten zu sein; und eine Verwaltungseinheit, die die Projektionsbilderzeugungseinheit mit den Projektionsbilddaten bereitstellt, die durch die Änderungseinheit als die Projektionsbilddaten geändert werden, wenn das Grafikbild von der Überlappungsbeurteilungseinheit beurteilt wird, in einem Überlappungszustand mit dem Schatten zu sein.
Ein Steuerverfahren für eine optische Vorrichtung gemäß der vorliegenden Erfindung umfasst: einen Projektionsbilderzeugungsschritt des Veranlassens der optischen Vorrichtung, ein Projektionsbild basierend auf Projektionsbilddaten auf ein Ziel zu projizieren; einen Objekterkennungsschritt des Erkennens eines ersten Objekts, das zwischen der optischen Vorrichtung und dem Ziel vorhanden ist, basierend auf Realrauminformationen, die von einer Realrauminformation-Beschaffungseinrichtung beschafft werden; einen Überlappungsbeurteilungsschritt des Beurteilens, ob sich ein in dem Projektionsbild enthaltenes Grafikbild in einem Überlappungszustand mit einem Schatten als eine Region befindet oder nicht, in der das Projektionsbild aufgrund des ersten Objekts das Ziel nicht erreicht, basierend auf den Projektionsbilddaten und einem Ergebnis der Erkennung durch den Objekterkennungsschritt; einen Änderungsschritt des Änderns der Projektionsbilddaten, so dass das Grafikbild auf eine andere Region als die des Schattens projiziert wird, wenn das Grafikbild durch den Überlappungsbeurteilungsschritt beurteilt wird, im Überlappungszustand mit dem Schatten zu sein; und einen Verwaltungsschritt des Bereitstellens des Projektionsbilderzeugungsschritts mit den durch die Änderungseinheit geänderten Projektionsbilddaten als die Projektionsbilddaten, wenn das Grafikbild von dem Überlappungsbeurteilungsschritt beurteilt wird, im Überlappungszustand mit dem Schatten zu sein.
WIRKUNG DER ERFINDUNG
Gemäß der vorliegenden Erfindung ist es möglich, selbst wenn ein Objekt (lichtabschirmendes Objekt) zwischen der optischen Vorrichtung und dem Ziel vorhanden ist, ein Grafikbild in einer zugewiesenen Region anzuzeigen und somit ist es möglich, dem Betrachter die beabsichtigten Informationen bereitzustellen.
Figurenliste

1 ist ein funktionales Blockschaltbild, das schematisch eine Konfiguration einer Steuereinrichtung für eine optische Vorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.
2 ist ein Diagramm, das ein Beispiel einer Hardware-Konfiguration der Steuereinrichtung für eine optische Vorrichtung gemäß der ersten Ausführungsform zeigt.
3 ist ein Diagramm zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung gemäß der ersten Ausführungsform.
4(a) und 4(b) sind Diagramme zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung gemäß der ersten Ausführungsform.
5(a) und 5(b) sind Diagramme zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung gemäß der ersten Ausführungsform.
6(a) bis 6(c) sind Diagramme zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung gemäß der ersten Ausführungsform.
7(a) bis 7(d) sind Diagramme zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung gemäß der ersten Ausführungsform.
8 ist ein Flussdiagramm, das einen Betrieb der Steuereinrichtung für eine optische Vorrichtung gemäß der ersten Ausführungsform zeigt.
9 ist ein Flussdiagramm, das ein Beispiel eines Objekterkennungsprozesses in der ersten Ausführungsform zeigt.
10 ist ein Flussdiagramm, das ein Beispiel eines Überlappungsbeurteilungsprozesses in der ersten Ausführungsform zeigt.
11 ist ein Flussdiagramm, das ein Beispiel eines CG-Bewegungsprozesses in der ersten Ausführungsform zeigt.
12 ist ein funktionales Blockschaltbild, das schematisch eine Konfiguration einer Steuereinrichtung für eine optische Vorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt.
13 ist ein Diagramm zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung gemäß der zweiten Ausführungsform.
14 ist ein Flussdiagramm, das ein Beispiel eines Objekterkennungsprozesses in der zweiten Ausführungsform zeigt.

ART UND WEISE ZUM AUSFÜHREN DER ERFINDUNG
Eine Steuereinrichtung für eine optische Vorrichtung, ein Steuerverfahren für eine optische Vorrichtung und ein Steuerprogramm für eine optische Vorrichtung gemäß jeder Ausführungsform der vorliegenden Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Die folgenden Ausführungsformen sind nur Beispiele und eine Vielzahl von Modifikationen sind innerhalb des Schutzbereichs der vorliegenden Erfindung möglich.
Erste Ausführungsform
Konfiguration
1 ist ein funktionales Blockschaltbild, das schematisch eine Konfiguration einer Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt. Die Steuereinrichtung für eine optische Vorrichtung 1 ist eine Einrichtung, die in der Lage ist, ein Steuerverfahren für eine optische Vorrichtung gemäß der ersten Ausführungsform auszuführen. Ferner ist die Steuereinrichtung für eine optische Vorrichtung 1 eine Einrichtung, die in der Lage ist, ein Steuerprogramm für eine optische Vorrichtung gemäß der ersten Ausführungsform auszuführen.
Wie in 1 dargestellt, ist die Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform mit einer Realrauminformation-Beschaffungseinrichtung 201 als eine Einrichtung, die Informationen über den Realraum beschafft, wie beispielsweise eine Kamera 201a oder ein Sensor 201b, und einer Bildprojektionseinrichtung 202 als eine Einrichtung, die ein Bild projiziert, wie beispielsweise ein Projektor 202a, verbunden. Die Realrauminformation-Beschaffungseinrichtung 201 und die Bildprojektionseinrichtung 202 können entweder separate Einrichtungen oder eine integrierte Einrichtung sein.
Wie in 1 dargestellt, umfasst die Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform eine Objekterkennungseinheit 11, eine Überlappungsbeurteilungseinheit 12, eine Attributverwaltungseinheit 13 als Verwaltungseinheit, eine Projektionsbilderzeugungseinheit 14, eine Layout-Berechnungseinheit 15 als Änderungseinheit und eine Speichereinheit 16.
Die Realrauminformation-Beschaffungseinrichtung 201 beschafft Realrauminformationen G1 unter Verwendung der Kamera 201a, des Sensors 201b oder ähnlichem. Die Objekterkennungseinheit 11 empfängt die Realrauminformation G1 von der Realrauminformation-Beschaffungseinrichtung 201 und erkennt ein Objekt (z.B. eine Hand als Objekt 100 in 3), das zwischen einer optischen Vorrichtung (z.B. dem Projektor 202a) und einem Projektionsziel (Ziel) vorhanden ist, basierend auf der Realrauminformation G1. Die Objekterkennungseinheit 11 sendet die erkannte Objektinformation G2 bezüglich des erkannten Objekts 100 an die Überlappungsbeurteilungseinheit 12.
Die Überlappungsbeurteilungseinheit 12 beurteilt, ob sich eine in einem Projektionsbild enthaltene CG 104 in einem Überlappungszustand befindet oder nicht, in dem sich die CG 104 mit einem Schatten als einer Region überlappt, in der das vom Projektor 202a emittierte Licht aufgrund des Objekts 100 (d.h. der Schattenregion) nicht das Projektionsziel erreicht, (d.h. eine Überlappungsbeurteilung vornimmt), basierend auf der von der Objekterkennungseinheit 11 empfangenen erkannten Objektinformation G2 und der von der Attributverwaltungseinheit 13 geladenen Information G3 über die CG (die CG 104 als ein später zu erklärendes Grafikbild).
Die Überlappungsbeurteilungseinheit 12 beurteilt in der Überlappungsbeurteilung, ob das Objekt 100 jede CG 104 abschirmt oder nicht. Ein Ergebnis G4, das ein Ergebnis der durch die Überlappungsbeurteilungseinheit 12 vorgenommenen Überlappungsbeurteilung ist, wird an die Attributverwaltungseinheit 13 gesendet. Übrigens, während die Überlappungsbeurteilungseinheit 12 beurteilen kann, dass sich eine CG 104 im Überlappungszustand befindet, wenn es einen Teil gibt, bei dem die im Projektionsbild enthaltene CG 104 mit einem Schatten überlappt, kann die Überlappungsbeurteilungseinheit 12 auch beurteilen, dass sich die CG 104 im Überlappungszustand befindet, wenn die Fläche des Teils, bei dem die im Projektionsbild enthaltene CG 104 mit einem Schatten überlappt, größer als oder gleich einem bestimmten Verhältnis in Bezug auf die Fläche der CG 104 ist.
Die Attributverwaltungseinheit 13 ist eine Verwaltungseinheit, die die Informationen (Datensatzinhalt), die in der Speichereinheit 16 gespeichert sind, einliest, Informationen in die Speichereinheit 16 schreibt oder den Datensatzinhalt neu schreibt. Die Layout-Berechnungseinheit 15 ist eine Änderungseinheit, die die Anordnungsposition der CG 104 so ändert, dass die CG 104 auf eine andere Region als den Schatten des Objekts 100 projiziert wird. Die Layout-Berechnungseinheit 15 empfängt die Information G3 über die CG 104 und das Ergebnis G4 der Überlappungsbeurteilung von der Attributverwaltungseinheit 13 und berechnet Neuanordnungskoordinaten 16a der CG 104, basierend auf der empfangenen Information G3 über die CG 104 und dem empfangenen Ergebnis G4 der Überlappungsbeurteilung.
Die Information G5 einschließlich der von der Layout-Berechnungseinheit 15 berechneten Neuanordnungskoordinaten 16a der CG 104 wird an die Attributverwaltungseinheit 13 gesendet. Die Attributverwaltungseinheit 13 sieht die Projektionsbilderzeugungseinheit 14 mit der Information G3 über die CG 104 und der Information G5 einschließlich der von der Layout-Berechnungseinheit 15 berechneten Neuanordnungskoordinaten 16a der CG 104 vor.
Die Projektionsbilderzeugungseinheit 14 erzeugt die Projektionsbilddaten G6 basierend auf der Information G3 über die CG 104 und der Information G5 einschließlich der von der Attributverwaltungseinheit 13 empfangenen Neuanordnungskoordinaten 16a der CG 104 und sendet die Projektionsbilddaten G6 an die Bildprojektionseinrichtung 202. Die Bildprojektionseinrichtung 202 empfängt die Projektionsbilddaten G6 von der Projektionsbilderzeugungseinheit 14 und projiziert ein Projektionsbild einschließlich der CG 104 (Projektionsbild 102, das später erläutert wird).
Die Speichereinheit 16 ist ein Aufnahmemedium oder eine Speichereinrichtung, die Informationen über die CG 104 speichert. Wie in 1 dargestellt, speichert die Speichereinheit 16 zum Beispiel die Neuanordnungskoordinaten 16a, eine Hierarchie 16b, den Bereich 16c, die Anordnungskoordinaten 16d und ein Bewegungsflag 16e der CG 104.
2 ist ein Diagramm, das ein Beispiel einer Hardware-Konfiguration der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform zeigt. Die Steuereinrichtung für eine optische Vorrichtung 1 kann ein Computer sein. Die Steuereinrichtung für eine optische Vorrichtung 1 umfasst eine CPU (zentrale Verarbeitungseinheit) 21 als Prozessor, eine GPU (Grafik-Verarbeitungseinheit) 22, einen Hauptarbeitsspeicher 23, eine Speichereinheit 24 und einen Bus 25.
Wie ferner in 2 dargestellt, sind die Kamera 201a als Realrauminformation-Beschaffungseinrichtung 201, der Sensor 201b als Realrauminformation-Beschaffungseinrichtung 201 und der Projektor 202a als Bildprojektionseinrichtung 202 mit der Steuereinrichtung für eine optische Vorrichtung 1 verbunden. Die Realrauminformation-Beschaffungseinrichtung 201 kann auch durch nur eine der Kamera 201a und des Sensors 201b implementiert sein. Weiterhin kann die Realrauminformation-Beschaffungseinrichtung 201 auch durch eine Vielzahl von Kameras 201a implementiert werden, die Bilder des Ziels von verschiedenen Positionen aus aufnehmen, oder durch eine Vielzahl von Sensoren 201b, die das Ziel von verschiedenen Positionen aus erkennen.
Die CPU 21 ist eine arithmetische Einrichtung zur Ausführung des gesamten Betriebs der Steuereinrichtung für eine optische Vorrichtung 1. Die GPU 22 ist eine arithmetische Einrichtung, hauptsächlich zur Ausführung von Bilddatenverarbeitung. Der Hauptarbeitsspeicher 23 ist eine Speichereinrichtung, auf der das Löschen und Umschreiben von Daten durch die Hardware der Steuereinrichtung für eine optische Vorrichtung 1 durchgeführt werden kann. Obwohl es sich um einen flüchtigen Speicher handelt, arbeitet der Hauptarbeitsspeicher 23 mit höherer Geschwindigkeit als der Speicher 24, und somit wird der Hauptarbeitsspeicher 23 zum Speichern von verwendeten Daten oder Daten, die unmittelbar danach verwendet werden müssen, verwendet.
Das Steuerprogramm für eine optische Vorrichtung wird durch die CPU 21 ausgeführt. Die in 1 dargestellte Objekterkennungseinheit 11, die Überlappungsbeurteilungseinheit 12, die Attributverwaltungseinheit 13, die Projektionsbilderzeugungseinheit 14 und die Layout-Berechnungseinheit 15 können ganz oder zum Teil durch die Ausführung des Steuerprogramms für eine optische Vorrichtung durch die CPU 21 implementiert werden.
Der Speicher 24 ist eine Speichereinrichtung, auf der das Löschen und Umschreiben von Daten durch die Hardware der Steuereinrichtung für eine optische Vorrichtung 1 durchgeführt werden kann und die der Speichereinheit 16 in 1 entspricht. Notwendige Informationen im Steuerprogramm für eine optische Vorrichtung, die in diesem Speicher gespeichert sind, werden in den Hauptarbeitsspeicher 23 expandiert und durch die CPU 21 ausgeführt. Der Bus 25 ist ein Datenübertragungspfad zum Datenaustausch.
Die Kamera 201a ist die Realrauminformation-Beschaffungseinrichtung 201, die Bilder erfasst, die zum Beschaffen der Realrauminformation G1 nötig sind.
Der Sensor 201b ist die Realrauminformation-Beschaffungseinrichtung 201, die Werte beschafft, die zum Beschaffen der Realrauminformation G1 nötig sind. Der Sensor 201b ist beispielsweise ein GPS (Globales Positionsbestimmungssystem), das die Position misst, ein Beschleunigungssensor, der die Beschleunigung erkennt, ein Geomagnetismus-Sensor, der die Richtung misst, oder ein Tiefensensor, der den Abstand zu einem Objekt misst.
Der Projektor 202a ist die Bildprojektionseinrichtung 202, die nötig ist, um das Projektionsbild 102 auf den Realraum zu projizieren.
Betrieb
3 ist ein Diagramm zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform. Wie in 3 dargestellt, wird in der ersten Ausführungsform beispielsweise die Kamera 201a als Realrauminformation-Beschaffungseinrichtung 201 verwendet und der Projektor 202a wird als Bildprojektionseinrichtung 202 verwendet. Wie in 3 gezeigt, weist die Kamera 201a ein Kamerakoordinatensystem (Vorrichtungskoordinatensystem) 2011a auf, während der Projektor 202a ein Projektorkoordinatensystem 2021a aufweist.
In 3 ist eine Frustum-Ansicht 2020a des Projektors 202a zu sehen. Die Frustum-Ansicht 2020a des Projektors 202a zeigt einen Raumbereich an, durch die das Bild von dem Projektor 202a projiziert wird. Wie in 3 gezeigt, ist das Objekt (z. B. eine menschliche Hand) 100 als ein erstes Objekt in der Frustum-Ansicht 2020a des Projektors 202a enthalten (d.h. es ist ein Objekt vorhanden). Somit ist ein Teil des vom Projektor 202a projizierten Bildes durch das Objekt 100 abgeschirmt.
4(a) und 4(b) sind Diagramme zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform. 4(a) zeigt einen Zustand, in dem kein Objekt vorhanden ist, das ein Projektionsbild 102 vom Projektor 202a abschirmt. 4(b) zeigt einen Zustand, in dem ein Objekt 100 vorhanden ist, das das Projektionsbild 102 vom Projektor 202a abschirmt.
Wie in 4(a) dargestellt, wird das Projektionsbild 102 vom Projektor 202a auf eine Projektionsfläche 101 als Projektionsziel (Ziel) projiziert. Das Projektionsbild 102 umfasst jede CG 104. Eine Komponente (Komponente A) 103 als das Ziel des Durchführens einer Annotation unter Verwendung des Projektors 202a existiert in einem zentralen Teil des Projektionsbildes 102.
In einem oberen rechten Teil des Projektionsbildes 102 wird vom Projektor 202a eine CG 104 bezüglich der Komponente 103 (Information, die anzeigt, dass die Komponente 103 die „Komponente A“ ist) angezeigt. Die CG 104 ist zusätzliche Information, die vom Projektor 202a zur Annotation projiziert wird. In 4(a) ist die CG (zusätzliche Information) 104 für einen Betrachter sichtbar, da kein Objekt vorhanden ist, das ein Projektionsbild 102 vom Projektor 202a abschirmt.
Im Gegensatz dazu wird, wie in 4(b) gezeigt, in dem Zustand, in dem das Objekt 100 vorhanden ist, das das Projektionsbild 102 vom Projektor 202a abschirmt, ein Teil des Projektionsbildes 102 vom Projektor 202a vom Objekt 100 abgeschirmt, und somit ist ein Nicht-Projektionsbereich (Schattenbereich bzw. -region) 105 als Schatten des Objekts 100 in einem Teil des Projektionsbildes 102 vorhanden. Da sich ferner der Nicht-Projektionsbereich 105 und die Anordnungsposition (Projektionsbereich) der CG 104, wie in 4(b) gezeigt, überlappen, ist die CG 104 für den Betrachter unsichtbar (z.B. ein Arbeiter, der mit der Hand 100 an dem Bauteil 103 arbeitet).
5(a) und 5(b) sind Diagramme zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform. 5(a) und 5 (b) zeigen Zustände, in denen das Objekt 100 vorhanden ist, das das Projektionsbild 102 vom Projektor 202a abschirmt. In den 5(a) und 5(b) wird eine Bewegung (Neuanordnung) der Anordnungsposition der CG 104 aus dem Zustand der 4(a) und 4(b) vorgenommen, da die CG 104 mit dem Nicht-Projektionsbereich 105 überlappte und für den Betrachter unsichtbar war.
So wird beispielsweise die CG 104 in 5(a) zu einem unteren linken Teil des Projektionsbildes 102 bewegt und dort angezeigt, während die CG 104 in 5(b) zu einem oberen linken Teil des Projektionsbildes 102 bewegt und dort angezeigt wird. Wie vorstehend, ist die Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform dadurch gekennzeichnet, dass sie die Anordnungsposition der CG 104 so bewegt, dass die Anordnungsposition der CG 104 nicht mit dem Nicht-Projektionsbereich 105 überlappt. Dementsprechend kann die CG 104 für den Betrachter sichtbar gemacht werden, auch wenn es das Objekt 100 gibt, das einen Teil oder das gesamte Projektionsbild 102 vom Projektor 202a abschirmt.
6(a) bis 6(c) sind Diagramme zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform. Die 6(a) bis 6(c) zeigen Draufsichten von Projektionsbildern 102, die vom Projektor 202a auf die Projektionsfläche 101 projiziert werden. Die 6(a) bis 6(c) zeigen Zustände, in denen zwei CGs 104 (CG 104a und CG 104b) im Projektionsbild 102 enthalten sind.
6(a) zeigt einen Zustand, in dem kein Objekt vorhanden ist, das das Projektionsbild 102 vom Projektor 202a abschirmt und die 6(b) und 6(c) zeigen Zustände, in denen ein Objekt 100 vorhanden ist, das das Projektionsbild 102 vom Projektor 202a abschirmt. 6(b) zeigt einen Zustand vor einer Bewegung der CG 104b, während 6(c) einen Zustand nach der Bewegung der CG 104b zeigt.
Wie in 6(a) gezeigt, umfasst das Projektionsbild 102 die CG 104a (erstes Bild) zur Kommentierung der „Komponente A“ (d.h. in Bezug auf die „Komponente A“) und die CG 104b (zweites Bild) zur Kommentierung der „Komponente B“ als die CGs 104. Die CG 104a und die CG 104b werden mit einem Abstand 106ab zueinander angezeigt.
Wie in 6(b) gezeigt, überlappen sich aufgrund des Vorhandenseins des Objekts 100 die CG 104b zur Kommentierung der „Komponente B“ und der Schatten des Objekts 100 (d.h. der in 5 gezeigte Nicht-Projektionsbereich 105) und die CG 104b ist für den Betrachter unsichtbar geworden, so dass die Steuereinrichtung für eine optische Vorrichtung 1 die Bewegung (Neuanordnung) der Anordnungsposition der CG 104b vornimmt.
Wie in 6(c) gezeigt, wurde die CG 104b zur Kommentierung der „Komponente B“ vom Zustand in 6(b) zu einem oberen rechten Teil der Zeichnung bewegt. Dies beseitigt die Überlappung des Schattens des Objekts 100 und der CG 104b und macht die CG 104b für den Betrachter sichtbar. Die Position der CG 104b nach der Bewegung kann frei eingestellt werden, solange die CG 104b an der Position nicht mit dem Schatten des Objekts 100 überlappt und den Abstand 106ab' zur CG 104a sichern kann. Der Abstand 106ab' kann beispielsweise eingestellt werden auf einen vorbestimmten Abstand, einen Abstand, der verhindert, dass die CG 104b aus dem Projektionsbild 102 innerhalb der Fläche, die sich nicht mit der CG 104a oder dem Schatten des Objekts 100 überlappt, herausragt, einen vom Benutzer festgelegten Abstand oder dergleichen.
7(a) bis 7(d) sind Diagramme zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform. Die 7(a) bis 7(d) zeigen Draufsichten von Projektionsbildern 102, die vom Projektor 202a auf die Projektionsfläche 101 projiziert werden. Die 7(a) bis 7(d) zeigen Zustände, in denen drei CGs 104 (CG 104b, CG 104b und CG 104c) im Projektionsbild 102 enthalten sind.
7(a) zeigt einen Zustand vor Bewegungen der CGs 104a, 104b und 104c und 7(b) zeigt einen Zustand nach den Bewegungen der in 7(a) gezeigten CGs 104a, 104b und 104c. 7(c) zeigt einen Zustand vor Bewegungen der CGs 104a, 104b und 104c und 7(d) zeigt einen Zustand nach den Bewegungen der in 7(c) gezeigten CGs 104a, 104b und 104c. Die 7(a) und 7(b) zeigen ein Beispiel für die Bewegungen in einem Fall, in dem die CGs 104a, 104b und 104c kein Eltern-Kind-Hierarchie-Attribut (gemeinsames Attribut) miteinander aufweisen. Die 7(c) und 7(d) zeigen ein Beispiel für die Bewegungen in einem Fall, in dem die CGs 104a, 104b und 104c ein Eltern-Kind-Hierarchie-Attribut (gemeinsames Attribut) miteinander aufweisen.
Wie in 7(a) gezeigt, umfasst das Projektionsbild 102 die CG 104a zur Kommentierung der „Komponente A“, die CG 104b zur Kommentierung der „Komponente B“ und die CG 104c zur Kommentierung der „Komponente C“ als die CGs 104. Zwischen der CG104a und der CG104b ist eine durch den Abstand 106ab angezeigte Lücke vorhanden. Zwischen der CG104a und der CG104c ist eine durch den Abstand 106ac angezeigte Lücke vorhanden.
Wie in 7(a) gezeigt, ist aufgrund des Vorhandenseins des Objekts 100 ein Überlappungszustand eingetreten, in dem sich die CG 104b zur Kommentierung der „Komponente B“ und die CG 104c zur Kommentierung der „Komponente C“ mit dem Schatten des Objekts 100 überlappen und die CG 104b und die CG 104c für den Betrachter unsichtbar geworden sind, und somit die Bewegung (Neuanordnung) der Anordnungspositionen der CG 104b und der CG 104c wie in 7(b) dargestellt erfolgt.
Wie in 7(b) gezeigt, wurde die CG 104b zur Kommentierung der „Komponente B“ zu einem oberen rechten Teil der Zeichnung bewegt. Dies beseitigt die Überlappung des Schattens des Objekts 100 und der CG 104b und macht die CG 104b für den Betrachter sichtbar. Die Position der CG 104b nach der Bewegung kann frei eingestellt werden, solange die CG 104b an der Position nicht mit dem Schatten des Objekts 100 oder der CG 104c überlappt und den Abstand 106ab' von der CG 104a sichern kann. Der Abstand 106ab' kann beispielsweise eingestellt werden auf einen vorbestimmten Abstand, einen Abstand, der verhindert, dass die CG 104b aus dem Projektionsbild 102 innerhalb der Fläche, die sich nicht mit der CG 104a, der CG 104c oder dem Schatten des Objekts 100 überlappt, herausragt, einen vom Benutzer festgelegten Abstand oder dergleichen.
Wie in 7(b) gezeigt, wurde die CG 104c zur Kommentierung der „Komponente C“ zu einem unteren linken Teil der Zeichnung bewegt. Dies beseitigt die Überlappung des Schattens des Objekts 100 und der CG 104c und macht die CG 104c für den Betrachter sichtbar. Die Position der CG 104c nach der Bewegung kann frei eingestellt werden, solange die CG 104c an der Position nicht mit dem Schatten des Objekts 100 oder der CG 104b überlappt und den Abstand 106ac' von der CG 104a sichern kann. Der Abstand 106ac' kann beispielsweise eingestellt werden auf einen vorbestimmten Abstand, einen Abstand, der verhindert, dass die CG 104c aus dem Projektionsbild 102 innerhalb der Fläche, die sich nicht mit der CG 104a, der CG 104b oder dem Schatten des Objekts 100 überlappt, herausragt, einen vom Benutzer festgelegten Abstand oder dergleichen.
Die 7(c) und 7(d) zeigen einen Fall, in dem das Eltern-Kind-Hierarchie-Attribut zwischen der CG 104b und der CG 104c vorhanden ist (z.B. ist die CG 104b der Elternteil und die CG 104c ist das Kind). Wie in 7(c) gezeigt, umfasst das Projektionsbild 102 die CG 104a zur Kommentierung der „Komponente A“, die CG 104b zur Kommentierung der „Komponente B“ und die CG 104c zur Kommentierung der „Komponente C“. Zwischen der CG104a und der CG104b ist eine durch den Abstand 106ab angezeigte Lücke vorhanden.
Ferner ist zwischen der CG104b und der CG104c eine durch den Abstand 106bc angezeigte Lücke vorhanden. In solchen Fällen wird die Bewegung der Anordnungspositionen der CG104b und der CG104c so vorgenommen, dass der Abstand 106bc' zwischen der CG104b und der CG104c vorhanden ist. Ferner wird ähnlich zum Fall der 7(a) und 7(b) die Bewegung der Anordnungsposition der CG104b so vorgenommen, dass der Abstand 106ab' zwischen der CG104a und der CG104b vorhanden ist.
Wie in 7(d) gezeigt, wurden die CG 104b zur Kommentierung der „Komponente B“ und die CG 104c zur Kommentierung der „Komponente C“ zu einem unteren linken Teil der Zeichnung bewegt. Dies beseitigt die Überlappung des Schattens des Objekts 100 mit der CG 104b oder der CG 104c und macht die CG 104b und die CG 104c sichtbar. Die Position der CG 104c nach der Bewegung kann frei eingestellt werden, solange die CG 104c an der Position nicht mit dem Schatten des Objekts 100 oder der CG 104b überlappt und den Abstand 106ac' von der CG 104a sichern kann. Der Abstand 106ac' kann beispielsweise eingestellt werden auf einen vorbestimmten Abstand, einen Abstand, der verhindert, dass die CG 104c aus dem Projektionsbild 102 innerhalb der Fläche, die sich nicht mit der CG 104a, der CG 104b oder dem Schatten des Objekts 100 überlappt, herausragt, einen vom Benutzer festgelegten Abstand oder dergleichen.
Ferner kann die Position der CG 104c nach der Bewegung frei eingestellt werden, solange die CG 104c an der Position nicht mit dem Schatten des Objekts 100 oder der CG 104a überlappt und den Abstand 106bc' von der CG 104b sichern kann. In Fällen, in denen ein gemeinsames Attribut wie das Eltern-Kind-Hierarchie-Attribut zwischen der CG 104b und der CG 104c vorhanden ist, soll der Abstand 106bc' so kurz wie möglich innerhalb der Fläche sein, die sich nicht mit dem Schatten des Objekts 100 oder der CG 104a überschneidet. Besonders wenn die CG 104b und die CG 104c ein gemeinsames Attribut aufweisen, werden die Projektionsbilddaten so verändert, dass der Abstand 106bc' zwischen der Projektionsposition der CG 104b und der Projektionsposition der CG 104c nach der Änderung der Projektionsbilddaten kürzer ist als der Abstand 106bc zwischen der Projektionsposition der CG 104b und der Projektionsposition der CG 104c vor der Änderung der Projektionsbilddaten oder kürzer ist als ein vorbestimmter Abstand.
Der Zielpunkt der Bewegung jeder CG 104 (104a, 104b, 104c) ist wünschenswerterweise auf eine Position nahe der Originalposition eingestellt. Ferner ist der Zielpunkt der Bewegung jeder CG 104 wünschenswerterweise auf eine Position nahe der Komponente (Objekt) 103 eingestellt, für die die Annotation durchgeführt wird. Weiterhin ist der Bewegungsabstand jeder CG 104 vorzugsweise kurz. Die Steuereinrichtung für eine optische Vorrichtung 1 führt die Bewegung jeder CG 104 gemäß solchen Bedingungen durch.
8 ist ein Flussdiagramm, das einen Betrieb der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform zeigt. Der in 8 gezeigte Betrieb zeigt einen CG-Steuerungsprozess an: Wenn ein lichtabschirmendes Objekt (Objekt 100) zwischen dem Projektor 202a und der Projektionsfläche 101 vorhanden ist, wird beurteilt, ob die zu projizierende CG oder die zu projizierenden CGs 104 auf eine beabsichtigte Position oder beabsichtigte Positionen projiziert werden können oder nicht, wenn eine der CG oder CGs 104 als nicht projizierbar beurteilt wird, wird die CG 104 unter Berücksichtigung des Attributs bewegt, das vom Projektor 202a zu projizierende Projektionsbild 102 erzeugt und das erzeugte Projektionsbild 102 tatsächlich projiziert.
Der CG-Steuerungsprozess der Steuereinrichtung für eine optische Vorrichtung 1 in der ersten Ausführungsform wird im Folgenden unter Bezugnahme auf 8 beschrieben. Der durch die Steuereinrichtung für eine optische Vorrichtung 1 durchgeführte CG-Steuerungsprozess kann sich jedoch von dem in 8 gezeigten Prozess unterscheiden. Der in 8 gezeigte CG-Steuerungsprozess wird jedes Mal ausgeführt, wenn die Kamera 201a oder der für die Realrauminformation-Beschaffungseinrichtung 201b verwendete Sensor 201b die Realrauminformation G1 beschafft (z.B. in regelmäßigen Intervallen).
Wie in 8 gezeigt, veranlasst die Steuereinrichtung für eine optische Vorrichtung 1 in Schritt S11 die Realrauminformation-Beschaffungseinrichtung 201 die Realrauminformation G1 zu beschaffen, basierend auf dem Realraum einschließlich des Ziels. In Fällen, in denen die Realrauminformation-Beschaffungseinrichtung 201 die Kamera 201a ist, beschafft die Kamera 201a Bilddaten als die Realrauminformation G1. In Fällen, in denen die Realrauminformation-Beschaffungseinrichtung 201 der Sensor 201b ist, beschafft der Sensor 201b einen Erkennungswert (z. B. Abstandsinformationen im Falle eines Tiefensensors) als die Realrauminformation G1.
Im nächsten Schritt S12 veranlasst die Steuereinrichtung für eine optische Vorrichtung 1 die Objekterkennungseinheit 11 zu erkennen, ob ein Objekt 100 zwischen dem Projektor 202a und der Projektionsfläche 101 vorhanden ist oder nicht, basierend auf der durch die Realrauminformation-Beschaffungseinrichtung 201 beschafften Realrauminformation G1. Wenn ein Objekt 100 erkannt wird (JA in Schritt S12), geht die Verarbeitung weiter zum nächsten Schritt S13.
Im nächsten Schritt S13 veranlasst die Steuereinrichtung für eine optische Vorrichtung 1 die Überlappungsbeurteilungseinheit 12 zu beurteilen, ob das im Schritt S12 erkannte Objekt 100 die Projektion der CG 104 abschirmt oder nicht (ob sich der Schatten des Objekts 100 und der CG 104 im Überlappungszustand befindet oder nicht). Wenn das Objekt 100 beurteilt wird, die CG 104 abzuschirmen (JA in Schritt S13), geht die Verarbeitung weiter zum nächsten Schritt S14. Im nächsten Schritt S14 veranlasst die Steuereinrichtung für eine optische Vorrichtung 1 die Attributverwaltungseinheit 13 das in der Speichereinheit 16e gespeicherte Bewegungsflag 16e in Bezug auf die im Schritt S13 als abgeschirmt geltende CG 104 zu laden und das Bewegungsflag 16e einzuschalten.
Im nächsten Schritt S15 veranlasst die Steuereinrichtung für eine optische Vorrichtung 1 bezüglich der CG 104, für die das Bewegungsflag 16e eingestellt ist, die Layout-Berechnungseinheit 15 das Projektionsbild 102 zu erzeugen, indem sie die CG 104 basierend auf der Position und dem Attribut der CG 104 selbst und den Positionen und den Attributen anderer CGs 104 zu einer Zielposition bewegt. In diesem Fall wird das Projektionsbild 102 erzeugt, während die CG 104, für die das Bewegungsflag 16e eingestellt wurde, nach der Bewegung an Koordinaten platziert wird; das Projektionsbild 102 wird erzeugt, während eine andere CG 104, für die kein Bewegungsflag 16e eingestellt wurde, an ihren ursprünglichen Koordinaten platziert wird.
Im nächsten Schritt S16 veranlasst die Steuereinrichtung für eine optische Vorrichtung 1 die Bildprojektionseinrichtung 202, das durch die Projektionsbilderzeugungseinheit 14 erzeugte Projektionsbild 102 zu projizieren.
9 ist ein Flussdiagramm, das ein Beispiel eines Objekterkennungsprozesses in der ersten Ausführungsform zeigt. 9 zeigt ein Beispiel des Objekterkennungsprozesses in Schritt S12 in 8. Im Schritt S21 schätzt die Steuereinrichtung für eine optische Vorrichtung 1 die Position und die Form des Objekts 100 im Koordinatensystem 2011a der Einrichtung (z. B. die Kamera 201a), verwendet in der Realrauminformation-Beschaffungseinrichtung 201, basierend auf der durch die Realrauminformation-Beschaffungseinrichtung 201 beschafften Realrauminformation G1.
Im nächsten Schritt S22 formt die Steuereinrichtung für eine optische Vorrichtung 1 das Ergebnis der Schätzung in Schritt S21 Informationen über die Position und die Form des Objekts 100) in Informationen über die Position und die Form im Projektorkoordinatensystem 2021a um. Im nächsten Schritt S23 beurteilt die Steuereinrichtung für eine optische Vorrichtung 1, ob das Objekt 100 in der Frustum-Ansicht 2020a des Projektors vorhanden ist oder nicht. Wenn das Objekt 100 beurteilt wird, in der Frustum-Ansicht 2020a vorhanden zu sein, ist das Ergebnis der Beurteilung in Schritt S12 in 8 JA. Wenn kein Objekt 100 beurteilt wird, in der Frustum-Ansicht 2020a vorhanden zu sein, ist das Ergebnis der Beurteilung in Schritt S12 in 8 NEIN.
10 ist ein Flussdiagramm, das ein Beispiel eines Überlappungsbeurteilungsprozesses in der ersten Ausführungsform zeigt. 10 zeigt ein Beispiel des Überlappungsbeurteilungsprozesses für die CG 104 in Schritt S13 in 8. In Schritt S31 projiziert die Steuereinrichtung für eine optische Vorrichtung 1 das durch die Objekterkennungseinheit 11 erkannte Objekt 100 in ein Projektorbildkoordinatensystem.
Im nächsten Schritt S32 erzeugt die Steuereinrichtung für eine optische Vorrichtung 1 aus der äußeren Form des Schattens des projizierten Objekts 100 eine konvexe Umschließung (konvexe Hülle) in Bezug auf den Schatten des Objekts 100. Die konvexe Umschließung bedeutet Im Übrigen den minimalen konvexen Satz, der einen gegebenen Satz beinhaltet. Der konvexe Satz bezeichnet einen Satz, der jedes Liniensegment beinhaltet, das ein beliebiges Paar von Punkten in dem gegebenen Satz verbindet.
Im nächsten Schritt S33 projiziert die Steuereinrichtung für eine optische Vorrichtung 1 alle CGs 104 in das Projektorbildkoordinatensystem. Im nächsten Schritt S34 erzeugt die Steuereinrichtung für eine optische Vorrichtung 1 aus der äußeren Form der projizierten CG 104 die konvexe Umschließung in Bezug auf jede CG 104. Im nächsten Schritt S35 extrahiert die Steuereinrichtung für eine optische Vorrichtung 1 konvexe Umschließungen der Schatten des erkannten Objekts 100 und konvexe Umschließungen der CGs 104 nacheinander in einem Round-Robin-Format (nämlich in Bezug auf alle Kombinationen).
Im nächsten Schritt S36 berechnet die Steuereinrichtung für eine optische Vorrichtung 1 den Bereich eines Schnittpunktes basierend auf den extrahierten zwei konvexen Umschließungen und beurteilt, dass die CG 104 und der Schatten des Objekts 100 einander überlappen (d.h. im Überlappungszustand sind), wenn der Bereich größer oder gleich einem vorbestimmten Schwellenwert (Bereichsschwellenwert) ist. Wenn es eine Vielzahl von erkannten Objekten 100 gibt, wird dieser Prozess für jedes Objekt 100 wiederholt.
Im Übrigen ist das Verfahren der Überlappungsbeurteilung in Schritt S36 nicht auf das vorstehend beschriebene Verfahren beschränkt. So ist es beispielsweise auch möglich zu beurteilen, dass sich die CG 104 und der Schatten des Objekts 100 überlappen (d.h. im Überlappungszustand sind), wenn das Verhältnis des Bereichs des Schnittpunktes der extrahierten zwei konvexen Umschließungen zum Bereich der konvexen Umschließung der CG 104 größer oder gleich einem vorbestimmten Verhältnis (Verhältnisschwellenwert) ist.
11 ist ein Flussdiagramm, das ein Beispiel eines Bewegungsprozesses für die CGs 104 in der ersten Ausführungsform zeigt. 11 zeigt ein Beispiel des Bewegungsprozesses für die CGs 104 in Schritt S15 in 8. In Schritt S41 stellt die Steuereinrichtung für eine optische Vorrichtung 1 eine Prozessanzahl n auf 1.
Im nächsten Schritt S42 vergleicht die Steuereinrichtung für eine optische Vorrichtung 1 die Prozessanzahl n mit der Anzahl (Gesamtzahl) der projizierten CGs 104, die im Projektionsbild 102 enthalten sind, und setzt den Prozess für die CGs 104 fort, wenn die Prozessanzahl n kleiner oder gleich der Anzahl der projizierten CGs 104 ist. Wenn die Prozessanzahl n die Anzahl von CGs 104, die im Projektionsbild 102 enthalten sind, übersteigt (d.h. n > „die Anzahl von CGs 104“) (JA in Schritt S42), wird der Bewegungsprozess für die CGs 104 beendet.
Wenn die Prozessanzahl n kleiner oder gleich der Anzahl der CGs 104 ist, die in dem Projektionsbild 102 enthalten sind (NEIN in Schritt S42), geht der Prozess weiter zu Schritt S43 und die Steuereinrichtung für eine optische Vorrichtung 1 prüft, ob das Bewegungsflag 16e für die CG 104 eingeschaltet wurde oder nicht. Wenn das Bewegungsflag 16e eingeschaltet wurde (JA im Schritt S43), wird in den nachfolgenden Schritten S44 bis S47 die Berechnung gemäß einem Zeichnungsalgorithmus mit einem mechanischen Modell durchgeführt.
In diesem Zeichnungsalgorithmus werden Positionen einer Vielzahl von Punkten (der Schatten und die CGs in der vorliegenden Anwendung) so bestimmt, dass sie sich nicht überlappen, so dass jeder Punkt stabil in einem dynamischen Modell, in dem Anziehungskraft und Abstoßungskraft unter der Vielzahl von Punkten wirkt und die Punkte sich einander nähern oder voneinander trennen lässt, angeordnet ist.
Die Steuereinrichtung für eine optische Vorrichtung 1 berechnet Anziehungskraft oder Abstoßungskraft, die die CG 104 empfängt. Beispielsweise empfängt die CG 104 Abstoßungskraft von der Position des Schattens des Objekts 100 (Schritt S44), empfängt Abstoßungskraft von anderen CGs 104 (Schritt S45), empfängt Anziehungskraft von den CGs 104 mit einem gemeinsamen Attribut (z.B. dem Eltern-Kind-Hierarchie-Attribut) (Schritt S46) und empfängt Anziehungskraft von ihrer Originalposition (Schritt S47).
Im nächsten Schritt S48 lässt die Steuereinrichtung für eine optische Vorrichtung 1 die Layout-Berechnungseinheit 15 die Anordnungsposition des Zielpunkts der Bewegung der CG 104 berechnen, durch Zusammenrechnen der Anziehungskraft und der Abstoßungskraft, die die CG 104 empfangen hat. Im nächsten Schritt S49 aktualisiert die Steuereinrichtung für eine optische Vorrichtung 1 die Neuanordnungskoordinaten 16a der CG 104. Im nächsten Schritt S50 erhöht die Steuereinrichtung für eine optische Vorrichtung 1 die Prozessanzahl n um 1, der Prozess kehrt zum Schritt S42 zurück und der Prozess wird fortgesetzt, bis die Prozessanzahl n die Anzahl der CGs 104 überschreitet.
Wirkung
Wie vorstehend beschrieben, werden mit der Steuereinrichtung für eine optische Vorrichtung 1, dem Steuerverfahren für eine optische Vorrichtung und dem Steuerprogramm für eine optische Vorrichtung gemäß der ersten Ausführungsform die Objekterkennungseinheit 11, die Überlappungsbeurteilungseinheit 12 und die Layout-Berechnungseinheit 15 bereitgestellt, und wenn die Überlappungsbeurteilungseinheit 12 beurteilt, dass der Schatten des Objekts 100 und eine CG 104 miteinander überlappen (im Überlappungszustand), ordnet die Layout-Berechnungseinheit 15 die CG 104 durch Bewegen der CG 104 an einen Ort, an dem die CG 104 nicht mit dem Schatten des Objekts 100 überlappt, neu an. Dementsprechend ist es auch dann möglich, die CG 104 an einer geeigneten Stelle darzustellen und dem Betrachter die beabsichtigten Informationen zur Verfügung zu stellen, wenn ein lichtabschirmendes Objekt (z.B. das Objekt 100) zwischen der optischen Vorrichtung (z.B. dem Projektor 202a) und dem Projektionsziel (z.B. der Projektionsfläche 101) vorhanden ist.
Mit der Steuereinrichtung für eine optische Vorrichtung 1, dem Steuerverfahren für eine optische Vorrichtung und dem Steuerprogramm für eine optische Vorrichtung gemäß der ersten Ausführungsform werden, wenn eine Vielzahl von CGs 104 (z.B. 104b und 104c in den 7(c) und 7(d)) ein gemeinsames Attribut aufweisen, die Anordnungspositionen der CGs 104 basierend auf diesen Informationen bestimmt. Dementsprechend ist es möglich kontinuierlich die Tatsache anzuzeigen, dass die CGs 104 ein gemeinsames Attribut aufweisen und dem Betrachter die beabsichtigten Informationen bereitzustellen.
Zweite Ausführungsform
Konfiguration
12 ist ein funktionales Blockschaltbild, das eine schematische Konfiguration einer Steuereinrichtung für eine optische Vorrichtung 1a gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt. Während die in 12 gezeigte Steuereinrichtung für eine optische Vorrichtung 1a im Wesentlichen die gleiche ist wie die in 1 gezeigte Steuereinrichtung für eine optische Vorrichtung 1, unterscheidet sich die Steuereinrichtung für eine optische Vorrichtung 1a von der Steuereinrichtung für eine optische Vorrichtung 1 dadurch, dass sie eine Benutzersichtlinie-Schätzungseinheit 17 umfasst. In 12 ist jeder Komponente, die identisch zu einer in 1 gezeigten Komponente ist oder dieser entspricht, das gleiche Bezugszeichen wie in 1 zugewiesen. Eine Beschreibung von Komponenten, die identisch oder entsprechend den in 1 gezeigten Komponente sind, entfällt.
In der oben beschriebenen ersten Ausführungsform wird die Beschreibung eines Falls gegeben, in dem, wenn die vom Projektor 202a projizierte CG 104 durch ein Objekt 100 abgeschirmt wird, die CG 104 bewegt wird und dann dem Betrachter Informationen bereitgestellt werden. Der Standpunkt und die Sichtlinie (eine Linie, die den Standpunkt als Mittelpunkt der Augen und das betrachtete Ziel verbindet) des Betrachters werden jedoch bei der ersten Ausführungsform nicht berücksichtigt. Daher wird in der zweiten Ausführungsform die Beschreibung eines Modus gegeben, in dem die Sichtlinie des Betrachters berücksichtigt wird, und es ist möglich, dem Betrachter beabsichtigte Informationen zur Verfügung zu stellen, auch wenn ein Objekt (Objekt 100a, das später beschrieben wird) zwischen dem Betrachter und dem Projektionsziel vorhanden ist. Im Übrigen wird in der zweiten Ausführungsform das zwischen der optischen Vorrichtung (Projektor 202a) und dem Projektionsziel vorhandene Objekt 100 ebenfalls ähnlich der ersten Ausführungsform betrachtet.
Wie in 12 gezeigt, umfasst die Steuereinrichtung für eine optische Vorrichtung 1a die Benutzersichtlinie-Schätzeinheit 17. Die Benutzersichtlinie-Schätzeinheit 17 schätzt die Sichtlinie des Betrachters (Benutzer 203 in 13) basierend auf der durch die Realrauminformation-Beschaffungseinrichtung 201 beschafften Realrauminformation G1. Die Information G7 bezüglich der durch die Benutzersichtlinie-Schätzeinheit 17 geschätzten Sichtlinie des Benutzers 203 wird an die Überlappungsbeurteilungseinheit 12 gesendet. Weiterhin erfasst eine Objekterkennungseinheit 11a in der zweiten Ausführungsform das Objekt (zweites Objekt) 100a, das zwischen dem Standpunkt des Benutzers 203 und dem Projektionsziel (Projektionsfläche 101) vorhanden ist.
Die Überlappungsbeurteilungseinheit 12 führt die Überlappungsbeurteilung an der CG 104 durch, basierend auf den von der Objekterkennungseinheit 11a empfangenen erkannten Objektinformation G2, der Information G7 bezüglich der Sichtlinie des Benutzers 203 und der von der Attributverwaltungseinheit 13 geladenen Information G3 zur CG 104. In der Überlappungsbeurteilung wird beurteilt, ob sich die CG 104 auf der Projektionsfläche 101 im Überlappungszustand mit einer unsichtbaren Region befindet oder nicht, die für den Benutzer 203 durch das von der Objekterkennungseinheit 11a erkannte Objekt 100a unsichtbar geworden ist (d.h. eine Region, unsichtbar durch Behinderung der Sichtlinie durch das Objekt 100a). Die Layout-Berechnungseinheit 15 ändert die Projektionsbilddaten G6, so dass die CG 104 auf eine andere Region als die unsichtbare Region, die durch das Objekt 100a unsichtbar geworden ist, projiziert wird.
13 ist ein Diagramm zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung 1a gemäß der zweiten Ausführungsform. Wie in 13 gezeigt, verwendet die Steuereinrichtung für eine optische Vorrichtung 1a gemäß der zweiten Ausführungsform nicht den Projektor 202a, sondern den Standpunkt bzw. Blickpunkt 203a des Benutzers 203 als Startpunkt, im Unterschied zu der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform. Wie in 13 gezeigt, werden in der zweiten Ausführungsform das Projektorkoordinatensystem 2021a und die Frustum-Ansicht 2020a des Projektors in der ersten Ausführungsform (siehe 3) durch ein Benutzerkoordinatensystem 2031 und eine Frustum-Ansicht 2030 des Benutzers ersetzt.
Die Frustum-Ansicht 2030 des Benutzers 203 zeigt eine Raumfläche an, die vom Benutzer 203 gesehen wird. Wie in 13 gezeigt, ist ein Objekt (zweites Objekt) 100a in der Frustum-Ansicht 2030 des Benutzers enthalten. Somit ist ein Teil des vom Benutzer 203 gesehenen Bildes durch das Objekt 100a abgeschirmt.
14 ist ein Flussdiagramm, das ein Beispiel eines Objekterkennungsprozesses in der zweiten Ausführungsform zeigt. 14 zeigt ein Beispiel des Objekterkennungsprozesses in Schritt S12 in 8. In 14 ist die Verarbeitung von Schritt S21 bis Schritt S23 die gleiche wie die Verarbeitung von Schritt S21 bis Schritt S23 in 9. Im nächsten Schritt S51 wandelt die Optische-Vorrichtung-Speichereinrichtung 1a die Position der durch die Benutzersichtlinie-Schätzeinheit 17 geschätzten Sichtlinie des Benutzers 203 in diejenige im Benutzerkoordinatensystem 2031 um. Im nächsten Schritt S52 beurteilt die Steuereinrichtung für eine optische Vorrichtung 1a, ob das Objekt 100a in der Frustum-Ansicht 2030 des Benutzers vorhanden ist oder nicht.
Wirkung
Wie vorstehend beschrieben, ist mit der Steuereinrichtung für eine optische Vorrichtung 1a, dem Steuerverfahren für eine optische Vorrichtung und dem Steuerprogramm für eine optische Vorrichtung gemäß der zweiten Ausführungsform die Benutzersichtlinie-Schätzeinheit 17 als zusätzliche Komponente enthalten. Somit kann die CG 104 an einer für den Betrachter sichtbaren Position angezeigt werden und es ist möglich, dem Betrachter die beabsichtigte Information auch dann zur Verfügung zu stellen, wenn zwischen dem Standpunkt bzw. Blickpunkt des Betrachters (Benutzer 203) und dem Projektionsziel (Projektionsfläche 101) ein lichtabschirmendes Objekt (Objekt 100a) vorhanden ist.
Ferner können mit der Steuereinrichtung für eine optische Vorrichtung 1a, dem Steuerverfahren für eine optische Vorrichtung und dem Steuerprogramm für eine optische Vorrichtung gemäß der zweiten Ausführungsform Vorteile ähnlich denen der Steuereinrichtung für eine optische Vorrichtung 1, dem Steuerverfahren für eine optische Vorrichtung und dem Steuerprogramm für eine optische Vorrichtung gemäß der ersten Ausführungsform erzielt werden.
Modifikation
Während in den oben beschriebenen ersten und zweiten Ausführungsformen die CG 104 durch Bewegen der CG 104 sichtbar gemacht wird, ist es auch möglich, die CG 104 durch Anzeigen der CG 104 in reduzierter Anzeige, Ändern der Zeichenanordnung in der CG 104 (z.B. Ändern der horizontalen Schrift in vertikale Schrift) oder durch Kombinieren von etwas von der Bewegung, der Reduktion und der Änderung der Zeichenanordnung sichtbar zu machen.
Während ein Fall, in dem die CG 104b und die CG 104c das Eltern-Kind-Hierarchie-Attribut aufweisen, in den 7(c) und 7(d) beschrieben wird, ist es auch möglich, in Fällen, in denen eine der CGs nicht in die Projektionsfläche 101 passt, wenn eine CG-Anordnung mit dem Eltern-Kind-Hierarchie-Attribut verwendet wird, ohne Berücksichtigung des Eltern-Kind-Hierarchie-Attributs in eine andere Anordnung, wie z. B. eine CG-Anordnung, wie in den und gezeigt, zu wechseln.
Bezugszeichenliste

1, 1a: Steuereinrichtung für eine optische Vorrichtung,
11, 11a: Objekterkennungseinheit,
12: Überlappungsbeurteilungseinheit,
13: Attributverwaltungseinheit,
14: Projektionsbilderzeugungseinheit,
15: Layout-Berechnungseinheit,
16: Speichereinheit,
16a: Neuanordnungskoordinaten,
16b: Hierarchie,
16c: Bereich,
16d: Anordnungskoordinaten,
16e: Bewegungsflag,
17: Benutzersichtlinie-Schätzeinheit,
21: CPU,
22: GPU,
23: Hauptarbeitsspeicher,
24: Speicher,
25: Bus,
100: Objekt,
101: Projektionsfläche,
102: Projektionsbild,
103: Komponente,
104: CG,
105: Nicht-Projektionsbereich,
106: Abstand,
201: Realrauminformation-Beschaffungseinrichtung,
201a: Kamera,
201b: Sensor,
202: Bildprojektionseinrichtung,
202a: Projektor,
203: Benutzer,
G1 -G7: Information.

Claims

Steuereinrichtung für eine optische Vorrichtung (1, 1a), umfassend: eine Projektionsbilderzeugungseinheit (14), die eine optische Vorrichtung (202a) veranlasst, ein Projektionsbild basierend auf Projektionsbilddaten auf ein Ziel zu projizieren; eine Objekterkennungseinheit (11, 11a), die ein erstes Objekt erkennt, das zwischen der optischen Vorrichtung (202a) und dem Ziel vorhanden ist, basierend auf Realrauminformationen, die von einer Realrauminformation-Beschaffungseinrichtung (201) beschafft werden; eine Überlappungsbeurteilungseinheit (12), die beurteilt, ob sich ein in dem Projektionsbild enthaltenes Grafikbild in einem Überlappungszustand mit einem Schatten befindet oder nicht, als eine Region, in der das Projektionsbild aufgrund des ersten Objekts das Ziel nicht erreicht, basierend auf den Projektionsbilddaten und einem Ergebnis der Erkennung durch die Objekterkennungseinheit (11, 11a); eine Änderungseinheit (15), die die Projektionsbilddaten so ändert, dass das Grafikbild auf eine andere Region als die des Schattens projiziert wird, wenn das Grafikbild von der Überlappungsbeurteilungseinheit (12) beurteilt wird, im Überlappungszustand mit dem Schatten zu sein; eine Verwaltungseinheit (13), die der Projektionsbilderzeugungseinheit (14) die durch die Änderungseinheit (15) geänderten Projektionsbilddaten als die Projektionsbilddaten liefert, wenn das Grafikbild von der Überlappungsbeurteilungseinheit (12) beurteilt wird, im Überlappungszustand mit dem Schatten zu sein; und eine Speichereinheit (16), die Attribute eines ersten Bildes und eines zweiten Bildes speichert, wobei das Grafikbild das erste Bild und das zweite Bild umfasst, wenn das erste Bild von der Überlappungsbeurteilungseinheit (12) beurteilt wird, im Überlappungszustand mit dem Schatten zu sein, berechnet die Änderungseinheit (15) basierend auf einem Zeichnungsalgorithmus und in einem dynamischen Modell, in dem Anziehungskraft und Abstoßungskraft unter einer Vielzahl von Punkten wirkt, die die Punkte sich einander nähern oder voneinander trennen lassen, stabile Positionen der Vielzahl von Punkten, so dass sie sich nicht überlappen, und ändert die Projektionsbilddaten, so dass das erste Bild basierend auf einem Ergebnis der Berechnung auf eine andere Region als eine Projektionsregion des zweiten Bildes und als der des Schattens projiziert wird, die Abstoßungskraft eine Kraft einschließt, die das erste Bild basierend auf einer Position des Schattens empfängt, und eine Kraft, die das erste Bild basierend auf einer Projektionsposition des zweiten Bildes empfängt, und die Anziehungskraft eine Kraft ist, die das erste Bild basierend auf einer Position, auf die das erste Bild projiziert wird, empfängt, und die das erste Bild basierend auf einer Projektionsposition des zweiten Bildes empfängt, wenn das erste Bild und das zweite Bild ein gemeinsames Attribut aufweisen.
Steuereinrichtung für eine optische Vorrichtung (1, 1a) nach Anspruch 1, wobei, wenn das erste Bild und das zweite Bild ein gemeinsames Attribut aufweisen, die Änderungseinheit (15) die Projektionsbilddaten so ändert, dass ein Abstand zwischen einer Projektionsposition des ersten Bilds und einer Projektionsposition des zweiten Bilds nach der Änderung der Projektionsbilddaten kürzer ist als der Abstand zwischen der Projektionsposition des ersten Bilds und der Projektionsposition des zweiten Bilds vor der Änderung der Projektionsbilddaten oder kürzer ist als ein vorbestimmter Abstand.
Steuereinrichtung für eine optische Vorrichtung (1, 1a) nach Anspruch 2, wobei die Positionsbeziehung zwischen der Projektionsposition des ersten Bildes und der Projektionsposition des zweitens Bildes auf mindestens einem der Abstände zwischen der Projektionsposition des ersten Bildes und der Projektionsposition des zweiten Bildes und eine Anordnungsrichtung der Projektionsposition des ersten Bildes in Bezug auf die Projektionsposition des zweiten Bildes basiert.
Steuereinrichtung für eine optische Vorrichtung (1, 1a) nach einem der Ansprüche 1 bis 3, wobei die Überlappungsbeurteilungseinheit (12) beurteilt, dass sich das Grafikbild im Überlappungszustand mit dem Schatten befindet, wenn ein Bereich eines Teils, in dem sich das Grafikbild im Überlappungszustand mit dem Schatten befindet, größer oder gleich einem vorbestimmten Bereichsschwellenwert ist, oder wenn ein Verhältnis des Bereichs zum Grafikbild höher oder gleich einem vorbestimmten Verhältnisschwellenwert ist.
Steuereinrichtung für eine optische Vorrichtung (1a) nach einem der Ansprüche 1 bis 4, ferner umfassend eine Sichtlinienschätzeinheit (17), die eine Sichtlinie eines das Projektionsbild beobachtenden Betrachters schätzt, basierend auf den von der Realrauminformation-Beschaffungseinrichtung (201) erfassten Realrauminformationen, wobei die Objekterkennungseinheit (11a) ein zweites Objekt erkennt, das zwischen einem Standpunkt des Betrachters und dem Ziel vorhanden ist, die Überlappungsbeurteilungseinheit (12) beurteilt, ob sich das Grafikbild am Ziel im Überlappungszustand mit einer unsichtbaren Region befindet oder nicht, die für den Betrachter aufgrund des von der Objekterkennungseinheit (11a) erfassten zweiten Objekts unsichtbar geworden ist, basierend auf den Projektionsbilddaten, einem Ergebnis der Schätzung durch die Sichtlinienschätzeinheit und einem Ergebnis der Erkennung durch die Objekterkennungseinheit (11a), und die Änderungseinheit (15) die Projektionsbilddaten so ändert, dass das Grafikbild auf eine andere Region als die unsichtbare Region projiziert wird, wenn das Grafikbild von der Überlappungsbeurteilungseinheit (12) beurteilt wird, im Überlappungzustand mit der unsichtbaren Region zu sein.
Steuerverfahren für eine optische Vorrichtung, umfassend: einen Projektionsbilderzeugungsschritt des Veranlassens der optischen Vorrichtung (202a), ein Projektionsbild basierend auf Projektionsbilddaten auf ein Ziel zu projizieren; einen Objekterkennungsschritt des Erkennens eines ersten Objekts, das zwischen der optischen Vorrichtung (202a) und dem Ziel vorhanden ist, basierend auf Realrauminformationen, die von einer Realrauminformation-Beschaffungseinrichtung (201) beschafft werden; einen Überlappungsbeurteilungsschritt des Beurteilens, ob sich ein in dem Projektionsbild enthaltenes Grafikbild in einem Überlappungszustand mit einem Schatten als eine Region befindet oder nicht, in der das Projektionsbild aufgrund des ersten Objekts das Ziel nicht erreicht, basierend auf den Projektionsbilddaten und einem Ergebnis der Erkennung durch den Objekterkennungsschritt; einen Änderungsschritt des Änderns der Projektionsbilddaten, so dass das Grafikbild auf eine andere Region als der des Schattens projiziert wird, wenn das Grafikbild durch den Überlappungsbeurteilungsschritt beurteilt wird, im Überlappungszustand mit dem Schatten zu sein; und einen Verwaltungsschritt des Bereitstellens des Projektionsbilderzeugungsschritts mit den durch die Änderungseinheit geänderten Projektionsbilddaten als die Projektionsbilddaten, wenn das Grafikbild von dem Überlappungsbeurteilungsschritt beurteilt wird, im Überlappungszustand mit dem Schatten zu sein, wobei das Grafikbild ein erstes Bild und ein zweites Bild umfasst, wenn das erste Bild durch den Überlappungsbeurteilungsschritt beurteilt wird, im Überlappungszustand mit dem Schatten zu sein, im Änderungsschrittbasierend auf einem Zeichnungsalgorithmus und in einem dynamischen Modell, in dem Anziehungskraft und Abstoßungskraft unter einer Vielzahl von Punkten wirkt, die die Punkte sich einander nähern oder voneinander trennen lassen, stabile Positionen der Vielzahl von Punkten berechnet werden, so dass sie sich nicht überlappen, und die Projektionsbilddaten basierend auf dem Ergebnis der Berechnung so verändert werden, dass das erste Bild auf eine andere Region als eine Projektionsregion des zweiten Bilds und eine andere Region als der des Schattens projiziert wird, die Abstoßungskraft eine Kraft einschließt, die das erste Bild basierend auf einer Position des Schattens empfängt, und eine Kraft, die das erste Bild basierend auf einer Projektionsposition des zweiten Bildes empfängt, und die Anziehungskraft eine Kraft ist, die das erste Bild basierend auf einer Position, auf die das erste Bild projiziert wird, empfängt, und die das erste Bild basierend auf einer Projektionsposition des zweiten Bildes empfängt, wenn das erste Bild und das zweite Bild ein gemeinsames Attribut aufweisen.
Steuerprogramm für eine optische Vorrichtung, das einen Computer veranlasst, Folgendes auszuführen: einen Projektionsbilderzeugungsprozess des Veranlassens einer optischen Vorrichtung (202a), ein Projektionsbild basierend auf Projektionsbilddaten auf ein Ziel zu projizieren; einen Objekterkennungsprozess des Erkennens eines ersten Objekts, das zwischen der optischen Vorrichtung (202a) und dem Ziel vorhanden ist, basierend auf Realrauminformationen, die von einer Realrauminformation-Beschaffungseinrichtung (201) beschafft werden; einen Überlappungsbeurteilungsprozess des Beurteilens, ob sich ein in dem Projektionsbild enthaltenes Grafikbild in einem Überlappungszustand mit einem Schatten als eine Region befindet oder nicht, in der das Projektionsbild aufgrund des ersten Objekts das Ziel nicht erreicht, basierend auf den Projektionsbilddaten und einem Ergebnis der Erkennung durch den Objekterkennungsprozess; einen Änderungsprozess des Änderns der Projektionsbilddaten, so dass das Grafikbild auf eine andere Region als der des Schattens projiziert wird, wenn das Grafikbild durch den Überlappungsbeurteilungsprozess beurteilt wird, im Überlappungszustand mit dem Schatten zu sein; und einen Verwaltungsprozess des Bereitstellens des Projektionsbilderzeugungsprozesses mit den durch die Änderungseinheit geänderten Projektionsbilddaten als die Projektionsbilddaten, wenn das Grafikbild von dem Überlappungsbeurteilungsprozess beurteilt wird, im Überlappungszustand mit dem Schatten zu sein, wobei das Grafikbild ein erstes Bild und ein zweites Bild umfasst, wenn das erste Bild durch den Überlappungsbeurteilungsprozess beurteilt wird, im Überlappungszustand mit dem Schatten zu sein, im Änderungsprozess basierend auf einem Zeichnungsalgorithmus und in einem dynamischen Modell, in dem Anziehungskraft und Abstoßungskraftunter einer Vielzahl von Punkten wirkt, die die Punkte sich einander nähern oder voneinander trennen lassen, stabile Positionen der Vielzahl von Punkten berechnet werden, so dass sie sich nicht überlappen, und die Projektionsbilddaten basierend auf dem Ergebnis der Berechnung so verändert werden, dass das erste Bild auf eine andere Region als eine Projektionsregion des zweiten Bilds und eine andere Region als der des Schattens projiziert wird, die Abstoßungskraft eine Kraft einschließt, die das erste Bild basierend auf einer Position des Schattens empfängt, und eine Kraft, die das erste Bild basierend auf einer Projektionsposition des zweiten Bildes empfängt, und die Anziehungskraft eine Kraft ist, die das erste Bild basierend auf einer Position, auf die das erste Bild projiziert wird, empfängt, und die das erste Bild basierend auf einer Projektionsposition des zweiten Bildes empfängt, wenn das erste Bild und das zweite Bild ein gemeinsames Attribut aufweisen.