DE102016006242A1

DE102016006242A1 - Informationsverarbeitungsvorrichtung, steuerverfahren für informationsverarbeitungsvorrichtung, bildverarbeitungssystem und speichermedium

Info

Publication number: DE102016006242A1
Application number: DE102016006242.8A
Authority: DE
Inventors: Hiroichi Yamaguchi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-06-01
Filing date: 2016-05-20
Publication date: 2016-12-01
Anticipated expiration: 2036-05-21
Also published as: GB2541073B; GB2541073A; GB201609331D0; US10198868B2; JP6525740B2; US20160350976A1; CN106210699B; JP2016225885A; CN106210699A; DE102016006242B4

Abstract

Eine Informationsverarbeitungsvorrichtung umfasst eine Luminanzwert-Erfassungseinrichtung zum jeweiligen Erfassen von ersten und zweiten Luminanzwerten von ersten und zweiten Aufnahmebildern eines physischen Raums, wobei die ersten und zweiten Aufnahmebilder jeweils durch erste und zweite Bildaufnahmeeinrichtungen aufgenommen werden; eine Parametererfassungseinrichtung zum jeweiligen Erfassen von, einer Helligkeitsänderung des physischen Raums entsprechenden, ersten und zweiten Nachführparametern einer automatischen Belichtungssteuerung für die erste und zweite Bildaufnahmeeinrichtung; sowie eine Einstelleinrichtung zum Einstellen eines ersten Bildaufnahmeparameters für die erste Bildaufnahmeeinrichtung basierend auf dem ersten Luminanzwert und dem erfassten ersten Nachführparameter und eines zweiten Bildaufnahmeparameters für die zweite Bildaufnahmeeinrichtung basierend auf dem zweiten Luminanzwert und dem erfassten zweiten Nachführparameter.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Steuerverfahren für die Informationsverarbeitungsvorrichtung, sowie ein Bildverarbeitungssystem und ein Speichermedium, und sie bezieht sich insbesondere auf eine Bildverarbeitungsmethode, die eine Anzeigevorrichtung des kopfgetragenen Typs verwendet, das heißt ein HMD (Head Mounted Display bzw. kopfgetragene Anzeige, wörtlich: ”am Kopf befestigte Anzeige”).
Beschreibung des Standes der Technik
In den letzten Jahren sind sogenannte Mixed-Reality-(MR) bzw. vermischte-Realität-Methoden als Methoden zum nahtlosen Verflechten in Echtzeit der wirklichen Welt mit einer virtuellen Welt bekannt geworden. Eine bekannte MR-Methode beinhaltet das Verwenden eines Video-Durchsicht-HMDs (Head Mounted Display) zum Aufnehmen mittels einer Videokamera oder dergleichen von einem Subjekt, das im Wesentlichen mit einem von der Pupillenposition eines HMD-Benutzers beobachteten Subjekt übereinstimmt, sowie, dass der HMD-Benutzer ein Anzeigebild beobachtet, das durch Überlagern von CG (Computergrafik) auf das Aufnahmebild erhalten wird.
Das Video-Durchsicht-HMD besitzt eine Konfiguration zum Aufnehmen eines Subjekts mittels eines ladungsgekoppelten Elements wie etwa einem CCD, zum Erfassen der digitalen Bilddaten des Subjekts, sowie, um einem Träger davon über ein Anzeigegerät, wie etwa einer Flüssigkristallanzeige oder einer organische EL-Anzeige, ein durch Überlagern eines CG-Bilds auf das digitale Bild erhaltenes MR-Bild (Mixed-Reality Bild) anzuzeigen.
15 ist ein Diagramm eines HMDs 2501 beim Tragen durch einen HMD-Benutzer. Es ist eine vom HMD 2501 verschiedene externe Vorrichtung (nicht dargestellt) vorhanden, und ein Aufnahmebild, das durch das HMD 2501 aufgenommen wurde, wird vom HMD 2501 zur externen Vorrichtung übertragen. Die externe Vorrichtung berechnet aus dem vom HMD empfangenen Aufnahmebild die Position und Orientierung des HMDs 2501, überlagert basierend auf dem Berechnungsergebnis ein CG-Bild auf das Aufnahmebild, und überträgt das Bild zum HMD. Das HMD 2501 zeigt das von der externen Vorrichtung empfangene überlagerte Bild an. Der HMD-Benutzer kann durch Verwenden des HMDs 2501 einen MR-Raum wahrnehmen.
Es gibt ein HMD, das zusätzlich zu einem Bildsensor zum Aufnehmen der wirklichen Welt und Überlagern eines CG-Bilds, um einen MR-Raum wahrzunehmen, mit einem Bildsensor zum Erfassen der Position und Orientierung des HMDs 2501 ausgestattet ist. Ein Grund für das Trennen des Bildsensors zum Wahrnehmen von MR und des Bildsensors zum Erfassen von Position und Orientierung ist, dass eine genauere Position und Orientierung erfasst werden kann, indem man den Blickwinkel des Bildsensors zum Erfassen von Position und Orientierung erweitert und daher einen Bildaufnahmebereich erweitert, um eine große Anzahl Merkmalspunkte zum Erfassen der Position und Orientierung aufzunehmen.
Im Allgemeinen besitzen Bildaufnahmeeinheiten eine Auto-Belichtung genannte Funktion. Dies ist eine Funktion, um die Helligkeit eines von der Bildaufnahmeeinheit ausgegebenen Bilds durch Steuern der Verschlussgeschwindigkeit, des Verstärkungsgrads und dergleichen konstant zu machen (siehe japanische Patentoffenlegungsschrift JP 2006-295506 ).
Hier bezeichnet das Bezugszeichen 16001 in 16 ein Bild eines Tischs bei Aufnahme durch eine Bildaufnahmeeinheit. Die Position und Orientierung des HMDs kann durch Berechnen der Merkmale einer auf dem Tisch platzierten Markierung erhalten werden. Das Bezugszeichen 16002 bezeichnet ein als Ergebnis von Bildaufnahme mittels der Bildaufnahmeeinheit erhaltenes Bild, wenn die wirkliche Welt heller wird, und das aufgenommene Objekt überbelichtet ist, weil die wirkliche Welt heller geworden ist. Die Helligkeit der wirklichen Welt ändert sich zum Beispiel entsprechend der Stärke von durch ein Fenster einfallendem Sonnenlicht. Das Bezugszeichen 16003 bezeichnet ein Aufnahmebild nach der Aufnahme durch die Bildaufnahmeeinheit, das ähnlich zum Bild 16001 ist, weil nach Bild 16002 die Auto-Belichtungsfunktion der Bildaufnahmeeinheit arbeitet.
In der in der japanischen Patentoffenlegungsschrift JP 2006-295506 beschriebenen Auto-Belichtungsfunktion wird Bildaufnahme zum Wahrnehmen von MR und Bildaufnahme zum Erfassen von Position und Orientierung durchgeführt, ohne zwischen diesen zu unterscheiden. Deshalb besteht die Möglichkeit, dass eine Änderung wie etwa von Bild 16001 zu Bild 16002 und von Bild 16002 zu Bild 16003 auftritt. Das heißt das Aufnahmebild wird überbelichtet, wenn sich die Helligkeit der externen Umgebung (zum Zeitpunkt des Bilds 16002) ändert, und daher besteht das Problem, dass die Position und Orientierung des HMDs nicht notwendigerweise mit hoher Genauigkeit erfasst werden kann.
OFFENBARUNG DER ERFINDUNG
Die vorliegende Erfindung wurde im Hinblick auf das oben beschriebene Problem gemacht. Die vorliegende Erfindung stellt im Falle, dass mehrere Bildaufnahmeeinheiten vorhanden sind, eine Methode bereit zum Durchführen von Bildaufnahme mit hoher Genauigkeit unter der Verwendung jeder Bildaufnahmeeinheit, selbst wenn sich die Helligkeit der externen Umgebung ändert.
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die umfasst: eine Luminanzwert-Erfassungseinrichtung zum Erfassen eines ersten Luminanzwerts eines ersten Aufnahmebilds eines physischen Raums und eines zweiten Luminanzwerts eines zweiten Aufnahmebilds des physischen Raums, wobei das erste Aufnahmebild durch eine erste Bildaufnahmeeinrichtung aufgenommen wird und das zweite Aufnahmebild durch eine zweite Bildaufnahmeeinrichtung aufgenommen wird; eine Parametererfassungseinrichtung zum Erfassen eines, einer Helligkeitsänderung des physischen Raums entsprechenden, ersten Nachführparameters einer automatischen Belichtungssteuerung für die erste Bildaufnahmeeinrichtung und eines, einer Helligkeitsänderung des physischen Raums entsprechenden, zweiten Nachführparameters einer automatischen Belichtungssteuerung für die zweite Bildaufnahmeeinrichtung; sowie eine Einstelleinrichtung zum Einstellen eines ersten Bildaufnahmeparameters für die erste Bildaufnahmeeinrichtung basierend auf dem ersten Luminanzwert und dem erfassten ersten Nachführparameter und eines zweiten Bildaufnahmeparameters für die zweite Bildaufnahmeeinrichtung basierend auf dem zweiten Luminanzwert und dem erfassten zweiten Nachführparameter.
Weitere Merkmale der vorliegenden Erfindung werden anhand der folgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen deutlich.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Diagramm, das ein Konfigurationsbeispiel eines Bildverarbeitungssystems einer ersten Ausführungsform zeigt.
2 ist ein funktionelles Blockdiagramm gemäß der ersten Ausführungsform.
3 ist ein detailliertes Blockdiagramm einer Aufnahmebild-Verarbeitungseinheit gemäß der ersten Ausführungsform.
4A bis 4C sind Diagramme, die eine Beziehung zwischen einer Orientierung einer Bildaufnahmeeinheit zum Erfassen von Position und Orientierung und einem photometrischen Verfahren gemäß der ersten Ausführungsform zeigen.
5A und 5B sind zum Bestimmen eines Nachführzeitpunkts verwendete Tabellen gemäß der ersten Ausführungsform.
6 ist ein Diagramm, das Beispiele für Auto-Belichtungssteuerung gemäß der ersten Ausführungsform zeigt.
7 ist ein Diagramm, das Beispiele für Auto-Belichtungssteuerung gemäß der ersten Ausführungsform zeigt.
8 ist ein Flussdiagramm einer gesamten Auto-Belichtungssteuerung gemäß der ersten Ausführungsform.
9 ist ein Flussdiagramm einer Auto-Belichtungssteuerung gemäß der ersten Ausführungsform.
10A bis 10C sind Diagramme, die eine Orientierung einer Bildaufnahmeeinheit zum Erfassen von Position und Orientierung gemäß einer zweiten Ausführungsform zeigen.
11 ist ein funktionelles Blockdiagramm gemäß der zweiten Ausführungsform.
12 ist ein detailliertes Blockdiagramm einer Aufnahmebild-Verarbeitungseinheit gemäß der zweiten Ausführungsform.
13 ist ein Flussdiagramm einer gesamten Auto-Belichtungssteuerung gemäß der zweiten Ausführungsform.
14A und 14B sind Flussdiagramme einer Auto-Belichtungssteuerung gemäß einer zweiten Ausführungsform.
15 ist ein Diagramm, das einen Zustand zeigt, in dem ein HMD durch einen Benutzer getragen wird.
16 ist ein Diagramm, das einen Zustand eines Objekts zeigt, wenn sich die Helligkeit der externen Umgebung ändert.
BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Ausführungsbeispiele der vorliegenden Erfindung sind nachstehend unter Bezugnahme auf die Zeichnungen im Detail beschrieben. Es sei angemerkt, dass die relative Anordnung der Komponenten, die numerischen Ausdrücke und die numerischen Werte bei diesen Ausführungsformen den Schutzumfang der Erfindung nicht beschränken, außer es ist ausdrücklich etwas anderes gesagt.
Erste Ausführungsform
In dieser Ausführungsform ist eine getrennte Steuerung einer Auto-Belichtungs-(auch als automatische Belichtung bezeichnet)-Funktion einer Bildaufnahmeeinheit zum Wahrnehmen von MR und einer Auto-Belichtungsfunktion einer Bildaufnahmeeinheit zum Erfassen von Position und Orientierung einer kopfgetragenen Anzeigevorrichtung (nachstehend als HMD bezeichnet) als Informationsverarbeitungsvorrichtung beschrieben, wie auch ein Beispiel, in dem eine Steuerung derart durchgeführt wird, dass die Auto-Belichtungsfunktion der Bildaufnahmeeinheit zum Erfassen von Position und Orientierung schnell auf eine Änderung in der Helligkeit der externen Umgebung antwortet.
1 ist ein Diagramm, das das Konfigurationsbeispiel eines Bildverarbeitungssystems gemäß dieser Ausführungsform zeigt. In 1 ist das Bildverarbeitungssystem mit einem HMD 1101, einer Steuerungseinrichtung 1102, und einer eine Anzeigeeinheit 1103 besitzenden Bildverarbeitungsvorrichtung 1104 ausgestattet.
Das HMD 1101 ist mit einer Bildanzeigeeinheit 11010, einer Kommunikationseinheit 11011, die Kommunikation mit der Steuerungseinrichtung 1102 durchführt, sowie einer Steuereinheit 11012, die jene Einheiten steuert, ausgestattet, und das HMD 1101 wird durch einen Benutzer auf seinem oder ihrem Kopf getragen. Die Bildanzeigeeinheit 11010 zeigt durch die Bildverarbeitungsvorrichtung 1104 erzeugte Bilder an. Die Bildanzeigeeinheit 11010 ist mit einer Konfiguration angebracht, die ein optisches System vor jedem Auge des Benutzers beinhaltet.
Das HMD 1101 führt Kommunikation mit der Steuerungseinrichtung 1102 durch, die ein kleinmaßstäbliches Netzwerk wie etwa ein WLAN (Wireless Local Area Network, wörtlich: ”Schnurloses Lokales Netzwerk”) oder ein WPAN (Wireless Personal Area Network, wörtlich: ”Schnurloses Persönliches Netzwerk”) bildet. Die Kommunikation ist nicht auf ein schnurloses Kommunikationssystem begrenzt, und zwischen dem HMD 1101 und der Steuerungseinrichtung 1102 kann ein leitungsgebundenes Kommunikationssystem verwendet werden. Außerdem ist das HMD 1101 mit einer Bildaufnahmeeinheit 1105 ausgestattet. Die Bildaufnahmeeinheit 1105 nimmt die externe Umgebung auf, um die Position und Orientierung des HMDs 1101 zu erfassen.
Die Bildverarbeitungsvorrichtung 1104, die leitungsgebunden mit der Steuerungseinrichtung 1102 verbunden ist, besitzt eine Wiedergabeeinheit zum Wiedergeben von Bildern sowie eine Speichereinheit zum Speichern von wiederzugebenden Bildern. Die Bildverarbeitungsvorrichtung 1104 führt über die Steuerungseinrichtung 1102 Kommunikation mit dem HMD 1101 durch. Die Bildverarbeitungsvorrichtung 1104 ist auch mit einer Tastatur oder dergleichen zum Eingeben von Daten, Anweisungen und dergleichen ausgestattet, und eingegebene Daten, die Ergebnisse von Anweisungen und dergleichen werden auf der Anzeigeeinheit 1103 angezeigt.
Man beachte, dass die Bildverarbeitungsvorrichtung 1104 und die Steuerungseinrichtung 1102 getrennte Hardwarekonfigurationen im Beispiel in 1 besitzen. Jedoch ist es auch möglich alle Funktionen der Steuerungseinrichtung 1102 in der Bildverarbeitungsvorrichtung 1104 zu implementieren und diese Hardwarekonfigurationen zu integrieren, oder die Funktionen der Bildverarbeitungsvorrichtung 1104 und die Funktionen der Steuerungseinrichtung 1102 zu sammeln und eine dedizierte Bildverarbeitungsvorrichtung zu bilden.
2 ist ein funktionelles Blockdiagramm eines Bildverarbeitungssystems gemäß dieser Ausführungsform, das ein HMD und eine Bildverarbeitungsvorrichtung besitzt. Ein HMD 1201 ist mit einer Bildaufnahmeeinheit 1202 (eine erste Bildaufnahmeeinheit) zum Erfassen von Position und Orientierung, einer Bildaufnahmeeinheit 1203 (eine zweite Bildaufnahmeeinheit) zum Wahrnehmen von MR, einer Anzeigeeinheit 1204, einer Steuereinheit 1205, einer Aufnahmebild-Verarbeitungseinheit 1206, einer Bildverarbeitungsvorrichtung-I/F-Kommunikationseinheit 1207, und anderen funktionellen Einheiten (nicht dargestellt) ausgestattet. Das HMD 1201 entspricht dem HMD 1101.
Die Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung wird zum Aufnehmen der externen Umgebung und zum Erfassen der Position und Orientierung des HMDs verwendet. Die Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR wird zum Aufnehmen der externen Umgebung verwendet und, um Mixed-Reality wahrzunehmen. Die Anzeigeeinheit 1204 zeigt Bilder an. Die Steuereinheit 1205 steuert das HMD 1201. Die Aufnahmebild-Verarbeitungseinheit 1206 führt Bildverarbeitung an durch die Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR und die Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung aufgenommenen Bildern durch. Die Bildverarbeitungsvorrichtung-I/F-Kommunikationseinheit 1207 überträgt/empfängt Bilder und Steuersignale.
Andererseits ist eine Bildverarbeitungsvorrichtung 1210 aus einer vom HMD 1201 verschiedenen externen Vorrichtung wie etwa einem PC (Personal Computer) oder einer WS (Workstation) gebildet. Die Bildverarbeitungsvorrichtung 1210 ist mit einer HMD-I/F-Kommunikationseinheit 1211, einer Positions- und Orientierungserfassungseinheit 1212, einer Inhaltdatenbank (DB) 1213, einer CG-Rendereinheit 1214, und anderen funktionellen Einheiten (nicht dargestellt) ausgestattet. Die Bildverarbeitungsvorrichtung 1210 entspricht der Bildverarbeitungsvorrichtung 1104.
Die HMD-I/F-Kommunikationseinheit 1211 überträgt/empfängt Bilder, steuert Signale und dergleichen. Die Positions- und Orientierungserfassungseinheit 1212 erfasst die Position und Orientierung des HMDs 1201 aus einem Aufnahmebild zum Erfassen von Position und Orientierung, das vom HMD 1201 empfangen wurde. Die Inhaltdatenbank (DB) 1213 speichert CG-Inhalte von virtuellen Bildern. Die CG-Rendereinheit 1214 überlagert ein in der Inhalt-DB 1213 gespeichertes CG-Bild auf ein Aufnahmebild, das durch die Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR aufgenommen wurde.
Man beachte, dass in dieser Ausführungsform ein Aufnahmebild vom HMD 1201 zur Bildverarbeitungsvorrichtung 1210 gesendet wird, und die Bildverarbeitungsvorrichtung 1210 erfasst eine Position und Orientierung und überlagert CG eines virtuellen Bilds auf das Aufnahmebild, aber die Konfiguration ist nicht auf dieses Beispiel begrenzt. Zum Beispiel kann eine Konfiguration genommen werden, in der die Positions- und Orientierungserfassungseinheit 1212 am HMD 1201 angebracht ist, und die Positions- und Orientierungsinformation des HMDs 1201 zur Bildverarbeitungsvorrichtung 1210 übertragen wird. In dieser Konfiguration wird dann nur ein CG-Bild eines virtuellen Bilds von der Bildverarbeitungsvorrichtung 1210 zum HMD 1201 gesendet, und das Aufnahmebild und das CG-Bild werden im HMD 1201 überlagert.
Mit der oben beschriebenen Konfiguration werden durch die Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR und die Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung des HMDs 1201 aufgenommene Bilder der externen Umgebung durch die Aufnahmebild-Verarbeitungseinheit 1206 verarbeitet. Verarbeitungsinhalte der Aufnahmebild-Verarbeitungseinheit 1206 beinhalten Farbtonkorrektur der Aufnahmebilder, Verarbeitung zur Auto-Belichtung und dergleichen. Die verarbeiteten Aufnahmebilder werden dann über die Bildverarbeitungsvorrichtung-I/F-Kommunikationseinheit 1207 zur Bildverarbeitungsvorrichtung 1210 gesendet.
Die Positions- und Orientierungserfassungseinheit 1212 der Bildverarbeitungsvorrichtung 1210 erfasst die Position und Orientierung des HMDs 1201 basierend auf dem empfangenen Aufnahmebild zum Erfassen von Position und Orientierung. Die CG-Rendereinheit 1214 zeichnet CG basierend auf der durch die Positions- und Orientierungserfassungseinheit 1212 erfassten Position und Orientierung des HMDs 1201, und überlagert die CG auf das Aufnahmebild, das durch die Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR aufgenommen wurde. Das überlagerte Bild wird dann über die HMD-I/F-Kommunikationseinheit 1211 zum HMD 1201 übertragen. Das HMD 1201 zeigt das von der Bildverarbeitungsvorrichtung 1210 empfangene Bild auf der Anzeigeeinheit 1204 an. Die obige Konfiguration ermöglicht es einem Benutzer durch Tragen des HMDs 1201 das überlagerte Bild zu beobachten, das durch Überlagern der durch die Bildverarbeitungsvorrichtung 1210 gezeichneten CG auf das Aufnahmebild erhalten wurde.
Weiter ist 3 ein detailliertes Blockdiagramm der Aufnahmebild-Verarbeitungseinheit 1206 des HMDs 1201, und sie ist insbesondere ein funktionelles Blockdiagramm zum Realisieren der Auto-Belichtungsfunktion. Die Aufnahmebild-Verarbeitungseinheit 1206 ist mit einer Luminanzumwandlungseinheit 1301, einer Luminanzintegrationswert-Erfassungseinheit 1302, einer Photometrieverfahren-Bestimmungseinheit 1303, einer Parametereinstelleinheit 1304 (eine Einstelleinheit) und einer Nachführparameter-Bestimmungseinheit 1305 ausgestattet.
Ein Aufnahmebild eines physischen Raums, das durch die Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR oder die Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung aufgenommen wurde, wird zur Luminanzumwandlungseinheit 1301 gesendet. Die Luminanzumwandlungseinheit 1301 wandelt das Aufnahmebild von Rot (R), Grün (G) und Blau (B) für jeden Pixel in einen Luminanzwert um (erfasst einen Luminanzwert). Die Umwandlung von R, G und B in eine Luminanz (Y) wird mittels des folgenden allgemeinen Ausdrucks oder dergleichen durchgeführt. Y = 0.299 × R + 0.587 × G + 0.114 × B (1)
Durch die Luminanzumwandlungseinheit 1301 in Luminanzwerte umgewandelte Daten werden zur Luminanzintegrationswert-Erfassungseinheit 1302 gesendet. Die Luminanzintegrationswert-Erfassungseinheit 1302 erfasst einen Luminanzintegrationswert, der für jedes Gebiet gewichtet wird, basierend auf den von der Luminanzumwandlungseinheit 1301 gesendeten Luminanzwerten und dem von der Photometrieverfahren-Bestimmungseinheit 1303 gesendeten photometrischen Verfahren, und sendet den Luminanzintegrationswert zur Parametereinstelleinheit 1304.
Hier ist das durch die Photometrieverfahren-Bestimmungseinheit 1303 bestimmte photometrische Verfahren beschrieben. Beim Bestimmen des photometrischen Verfahrens wird das Aufnahmebild in 3 × 3 Gebiete, 5 × 5 Gebiete oder dergleichen aufgeteilt, und die Luminanzwerte werden bestimmt, deren Gebiete hauptsächlich verwendet werden sollen. 4A bis 4C zeigen jeweils ein Beispiel eines photometrischen Verfahrens beim Aufteilen des Aufnahmebilds in 4 × 4 Gebiete.
Das Bezugszeichen 1701 in 4A bezeichnet eine Person, die MR wahrnehmen soll, und das Bezugszeichen 1702 bezeichnet eine Bildaufnahmeeinheit zum Erfassen von Position und Orientierung. Die Bildaufnahmeeinheit 1702 zum Erfassen von Position und Orientierung in 4A ist so eingebaut, dass sie im Wesentlichen in dieselbe Richtung wie die Gesichtslinie der MR wahrnehmenden Person 1701 gerichtet ist. In diesem Fall werden die Gewichte der Luminanzintegrationswerte von Gebieten 1703 um die Mitte des Aufnahmebilds herum vergrößert.
Andererseits ist in 4B die Bildaufnahmeeinheit 1702 zum Erfassen von Position und Orientierung in eine leichte Aufwärtsrichtung gerichtet. In diesem Fall muss eventuell eine an der Decke angebrachte Beleuchtung entfernt werden, und daher wird verglichen mit dem Fall von 4A der zu gewichtende Ort in Gebiete 1704 geändert. Ähnlich ist im Fall von 4C die Bildaufnahmeeinheit zum Erfassen von Position und Orientierung in eine leichte Abwärtsrichtung gerichtet. In diesem Fall muss eventuell ein auf dem Boden reflektierter Schatten eliminiert werden, und daher wird der zu gewichtende Ort ähnlich in Gebiete 1705 geändert.
Die Orientierung der Bildaufnahmeeinheit 1702 zum Erfassen von Position und Orientierung wird geändert, um abhängig vom Ort zum Wahrnehmen von MR in eine optimale Richtung gerichtet zu sein. Zum Beispiel wird die Bildaufnahmeeinheit 1702 zum Erfassen von Position und Orientierung in einer wie in 4C gezeigten Weise verwendet, falls eine große Menge an Information zum Erfassen der Position und Orientierung auf dem Boden vorhanden ist.
Die Nachführparameter-Bestimmungseinheit 1305 bestimmt als Nachführparameter oder auch Folgeparameter (engl. tracking parameter) ein Ausmaß des Zeitunterschieds zwischen dem Zeitpunkt, zu dem sich die Helligkeit der externen Umgebung ändert, und dem Zeitpunkt, zu dem die Auto-Belichtungssteuerung durchgeführt wird, und sendet diese Information zur Parametereinstelleinheit 1304.
Hier ist der durch die Nachführparameter-Bestimmungseinheit 1305 bestimmte Nachführparameter beschrieben. Ein Nachführparameter gibt einen Zeitunterschied an zwischen dem Zeitpunkt, zu dem sich die Helligkeit der externen Umgebung ändert, und dem Zeitpunkt, zu dem eine automatische Belichtungssteuerung der Änderung nachgeführt wird bzw. ihr folgt. 5A und 5B zeigen Beispiele, die den Ausmaß des Zeitunterschieds zeigen, mit dem ein Nachführen der Auto-Belichtungssteuerung hinsichtlich einer Änderung in der Helligkeit der externen Umgebung durchgeführt wird. 5A zeigt Beispiele für den Nachführparameter einer Bildaufnahme zum Erfassen von Position und Orientierung, und 5B zeigt Beispiele für den Nachführparameter einer Bildaufnahme zum Wahrnehmen von MR.
In den Beispielen in 5A und 5B wird eine Steuerung derart durchgeführt, dass ein Ausgabebild von der Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung eine Zielluminanz zum Beispiel innerhalb 1 fps erreicht, oder die Zielluminanz innerhalb 5 fps erreicht. Andererseits zeigt 5B Beispiele für den Nachführparameter der Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR, und eine Steuerung wird derart durchgeführt, dass die Zielluminanz in einer Sekunde erreicht wird, oder die Zielluminanz in fünf Sekunden erreicht wird. Daher ist der Nachführparameter zum Erfassen von Position und Orientierung ein Parameter zum früheren Erreichen der Zielluminanz als der Nachführparameter zum Wahrnehmen von MR.
Basierend auf dem von der Luminanzintegrationswert-Erfassungseinheit 1302 empfangenen Luminanzintegrationswert für jedes Gebiet und dem von der Nachführparameter-Bestimmungseinheit 1305 empfangenen Nachführparameter, ermittelt die Parametereinstelleinheit 1304 Bildaufnahmeparameter wie etwa Verschlussgeschwindigkeit und Verstärkungsgrad, die für die Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR und die Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung derart eingestellt werden sollen, dass die Helligkeit des Aufnahmebilds konstant ist, und sendet die Bildaufnahmeparameter zur Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR und zur Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung.
Man beachte, dass in dieser Ausführungsform ein Verfahren zum Steuern von mindestens eins aus der Verschlussgeschwindigkeit und dem Verstärkungsgrad, um die Luminanz des Aufnahmebilds zu ändern, beschrieben ist, aber die vorliegende Erfindung ist nicht darauf begrenzt.
Als nächstes ist ein Verfahren zum Ändern der Verschlussgeschwindigkeit beschrieben, das durch die Parametereinstelleinheit 1304 durchgeführt wird. Die Bezugszeichen 601 bis 605 in 6 bezeichnen Diagramme, die die Änderung in der Helligkeit der externen Umgebung, verschiedene auf der Änderung basierende Steuerzeitpunkte, und die Luminanz eines Aufnahmebilds, das durch solche Steuerung ausgegeben wird, zeigen. Das Diagramm 601 ist ein Diagramm, das die Änderung in der Helligkeit der externen Umgebung zeigt. Die vertikale Achse gibt die Helligkeit an, und die horizontale Achse gibt die Zeit an, und es wird gezeigt, dass sich die Helligkeit von einem Zeitpunkt t1 zu einem Zeitpunkt t2 vergrößert und sich von einem Zeitpunkt t3 zu einem Zeitpunkt t4 verkleinert.
Das Diagramm 602 zeigt An/Aus-Steuerung einer Auto-Belichtungssteuerung der Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR, falls die Helligkeit der externen Umgebung sich wie im Diagramm 601 gezeigt ändert. Die Auto-Belichtungssteuerung wird zu einem Zeitpunkt t5 angefangen, wenn eine gewisse Zeitdauer seit dem Zeitpunkt t1 verstrichen ist, und die Steuerung wird zu einem Zeitpunkt t6 beendet, wenn eine gewisse Zeitdauer seit dem Zeitpunkt t2 verstrichen ist. Ähnlich wird die Auto-Belichtungssteuerung zu einem Zeitpunkt t7 angefangen, wenn eine gewisse Zeitdauer seit dem Zeitpunkt t3 verstrichen ist, und die Steuerung wird zu einem Zeitpunkt t8 beendet, wenn eine gewisse Zeitdauer seit dem Zeitpunkt t4 verstrichen ist.
Das Diagramm 603 zeigt Luminanzinformation eines von der Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR ausgegebenen Aufnahmebilds, falls eine im Diagramm 602 gezeigte An/Aus-Steuerung durchgeführt wird. Die Steuerung wird Änderungen in der Helligkeit der externen Umgebung mit einer geringen Verzögerung nachgeführt, und hält die Luminanz des Aufnahmebilds im allgemeinen konstant. Schnelles Antworten auf Änderungen in der Helligkeit der externen Umgebung fühlt sich für die MR wahrnehmende Person unnatürlich an, und deshalb wird die Steuerung Änderungen in der Helligkeit der externen Umgebung mit einer geringen Verzögerung nachgeführt.
Das Diagramm 604 zeigt An/Aus-Steuerung einer Auto-Belichtungssteuerung der Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung. Die Steuerung fängt zu einem Zeitpunkt t9 an, der ein früherer Zeitpunkt als der Anfangszeitpunkt t5 der An/Aus-Steuerung der Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR ist, und die Steuerung endet zu einem Zeitpunkt t10, was bedeutet, dass die Steuerung zu einem früheren Zeitpunkt als ein Zeitpunkt t6 endet, zu dem die An/Aus-Steuerung der Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR endet.
Das Diagramm 605 zeigt die Luminanzinformation eines von der Bildaufnahmeeinheit zum Erfassen von Position und Orientierung ausgegebenen Aufnahmebilds, wenn eine im Diagramm 604 gezeigte An/Aus-Steuerung durchgeführt wird. Wie im Diagramm 605 gezeigt, wird die Steuerung der Änderung in der Helligkeit der externen Umgebung ohne Verzögerung nachgeführt, um die Helligkeit konstant zu halten.
Man beachte, dass anstelle der in den Diagrammen 601 bis 605 gezeigten Steuerung eine wie in Diagrammen 701 bis 705 in 7 gezeigte Steuerung durchgeführt werden kann. Das Diagramm 701 ist ein Diagramm, das eine Änderung in der Luminanz der externen Umgebung zeigt, und ist ähnlich zum Diagramm 601. Unter den Diagrammen 601 bis 605 und den Diagrammen 701 bis 705 sind das Diagramm 602 und das Diagramm 702 verschieden. Insbesondere ist ein Anfangszeitpunkt einer Auto-Belichtungssteuerung AN der Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR verschieden. Ein Anfangszeitpunkt t5 im Diagramm 702 liegt zwischen einem Zeitpunkt t1 und einem Zeitpunkt t2, aber er liegt früher als der Anfangszeitpunkt t5 im Diagramm 602. Ähnlich liegt ein Anfangszeitpunkt t7 im Diagramm 702 zwischen einem Zeitpunkt t3 und einem Zeitpunkt t4, aber er liegt früher als ein Anfangszeitpunkt t7 im Diagramm 602.
Es genügt, dass Anfang und Ende einer Auto-Belichtungssteuerung der Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR derart gesteuert wird, dass die Luminanzinformation des von der Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR ausgegebenen Aufnahmebilds der Änderung in der Helligkeit der externen Umgebung mit einer geringen Verzögerung nachgeführt wird, und es können andere Verfahren als die in 6 und 7 gezeigten Steuerverfahren verwendet werden. Selbst wenn sich die Helligkeit der externen Umgebung wie im in 16 gezeigten Fall ändert, ändern sich, durch Durchführen von Auto-Belichtungssteuerung der Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung wie in 6 gezeigt und dergleichen, Ausgabebilder von der Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung wie von 16001 zu 16003 in 16 anstelle von wie von 16001 zu 16002 in 16.
[00611 8 ist ein Flussdiagramm, das eine Verarbeitungsprozedur einer durch die Aufnahmebild-Verarbeitungseinheit 1206 durchgeführten Auto-Belichtungssteuerung gemäß dieser Ausführungsform zeigt. In Schritt S1801 bestimmt die Luminanzumwandlungseinheit 1301, ob das Aufnahmebild ein Aufnahmebild zum Erfassen von Position und Orientierung oder ein Aufnahmebild zum Wahrnehmen von MR ist. Im Falle eines Aufnahmebilds zum Erfassen von Position und Orientierung schreitet der Arbeitsablauf zu Schritt S1802 fort. Andererseits schreitet im Falle eines Aufnahmebilds zum Wahrnehmen von MR der Arbeitsablauf zu Schritt S1805 fort.
In Schritt S1802 detektiert die Photometrieverfahren-Bestimmungseinheit 1303 die Orientierung der Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung. Man beachte, dass bezüglich der Orientierung der Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung die Orientierung der Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung im Voraus in einem am HMD 1201 angebrachten ROM gespeichert werden kann. Wahlweise können Daten von der Bildverarbeitungsvorrichtung 1210 empfangen werden, oder das HMD 1201 kann die Orientierung der Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung erfassen, indem das HMD 1201 ein spezielles Diagramm aufnimmt.
In Schritt S1803 bestimmt die Photometrieverfahren-Bestimmungseinheit 1303 das photometrische Verfahren basierend auf der Orientierung der Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung. Wie unter Bezugnahme auf 4A bis 4C beschrieben, wird das photometrische Verfahren basierend auf der Orientierung der Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung bestimmt. In Schritt S1804 bestimmt die Nachführparameter-Bestimmungseinheit 1305 einen Parameter zum Nachführen der Änderung in der Helligkeit der externen Umgebung. Eine Bestimmung eines Nachführparameters kann durch die Bildverarbeitungsvorrichtung 1210 durchgeführt werden, oder er kann in einer Verbindungsabfolge zwischen dem HMD 1201 und der Bildverarbeitungsvorrichtung 1210 bestimmt werden.
In Schritt S1805 bestimmt die Photometrieverfahren-Bestimmungseinheit 1303 ein photometrisches Verfahren. Zum Beispiel wird bestimmt, dass das photometrische Verfahren bezüglich eines Aufnahmebilds zum Wahrnehmen von MR ein Verfahren zum hauptsächlichen Verwenden eines zentralen Gebiets ist. In Schritt S1806 bestimmt die Nachführparameter-Bestimmungseinheit 1305 einen Parameter zum Nachführen der Änderung in der Helligkeit der externen Umgebung bezüglich des Aufnahmebilds zum Wahrnehmen von MR. In Schritt S1807 führt die Aufnahmebild-Verarbeitungseinheit 1206 eine Auto-Belichtungssteuerung durch (wird später im Detail unter Bezugnahme auf 9 beschrieben), und die Verarbeitungen des Flussdiagramms von 8 enden.
Eine Verarbeitung von Schritt S1807 ist nachstehend im Detail unter Bezugnahme auf ein Flussdiagramm in 9 beschrieben. In Schritt S1901 führt die Luminanzumwandlungseinheit 1301 eine Umwandlung am erhaltenen Aufnahmebild in Luminanzwerte durch. Die Umwandlung von Rot, Grün und Blau in Luminanzwerte wird wie oben beschrieben durchgeführt. In Schritt S1902 erfasst die Luminanzintegrationswert-Erfassungseinheit 1302 einen Luminanzintegrationswert für jedes Gebiet basierend auf dem von der Luminanzumwandlungseinheit 1301 gesendeten Luminanzwert für jeden Pixel und dem durch die Photometrieverfahren-Bestimmungseinheit 1303 bestimmten photometrischen Verfahren.
In Schritt S1903 erfasst die Nachführparameter-Bestimmungseinheit 1305 den in Schritt S1804 oder Schritt S1806 bestimmten Nachführparameter. In Schritt S1904 bestimmt die Parametereinstelleinheit 1304, ob eine dem in Schritt S1903 erhaltenen Nachführparameter entsprechende vorbestimmte Zeit verstrichen ist oder nicht, seit die Helligkeit der externen Umgebung sich geändert hat. Falls die vorbestimmte Zeit verstrichen ist, schreitet der Arbeitsablauf zu Schritt S1905 fort. Falls andererseits die vorbestimmte Zeit nicht verstrichen ist, endet der Arbeitsablauf.
In Schritt S1905 bestimmt die Parametereinstelleinheit 1304 einen für jede der Bildaufnahmeeinheiten (die Bildaufnahmeeinheit 1202 zum Erfassen von Position und Orientierung und die Bildaufnahmeeinheit 1203 zum Wahrnehmen von MR) einzustellenden Bildaufnahmeparameter (Verschlussgeschwindigkeit, Verstärkungsgrad und dergleichen) aus dem durch die Luminanzintegrationswert-Erfassungseinheit 1302 erfassten Luminanzintegrationswert für jedes Gebiet. In Schritt S1906 stellt die Parametereinstelleinheit 1304 den in Schritt S1905 bestimmten Bildaufnahmeparameter für jede der Bildaufnahmeeinheiten ein. Die Verarbeitungen des Flussdiagramms in 9 enden dann.
Wie oben beschrieben, wird in dieser Ausführungsform eine Auto-Belichtungssteuerung der Bildaufnahmeeinheit zum Wahrnehmen von MR sowie eine Auto-Belichtungssteuerung der Bildaufnahmeeinheit zum Erfassen von Position und Orientierung durchgeführt, nachdem jede der Bildaufnahmeeinheiten optimiert wird, und daher kann eine genauere Position und Orientierung erfasst werden, selbst falls sich die Helligkeit der externen Umgebung ändert.
Zweite Ausführungsform
In der ersten Ausführungsform wird genau eine Bildaufnahmeeinheit zum Erfassen von Position und Orientierung verwendet, aber in dieser Ausführungsform ist eine Verarbeitung im Falle beschrieben, dass mehrere Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung vorhanden sind.
10A zeigt das HMD 1101, das in der ersten Ausführungsform verwendet wird und mit genau einer Bildaufnahmeeinheit 2001 zum Erfassen von Position und Orientierung ausgestattet ist. Dagegen zeigt 10B ein HMD 2010, das in dieser Ausführungsform verwendet wird und mit zwei Bildaufnahmeeinheiten 2002 und 2003 zum Erfassen von Position und Orientierung ausgestattet ist. In 10B sind die Bildaufnahmeeinheiten 2002 und 2003 zum Erfassen von Position und Orientierung mit einem HMD so verbunden, dass sie in dieselbe Richtung gerichtet sind, aber es kann eine Konfiguration genommen werden, in der eine Bildaufnahmeeinheit 2005 zum Erfassen von Position und Orientierung mit einem HMD so verbunden ist, dass sie in eine Aufwärtsrichtung gerichtet ist, und eine Bildaufnahmeeinheit 2004 zum Erfassen von Position und Orientierung mit dem HMD so verbunden ist, dass sie in eine Abwärtsrichtung gerichtet ist wie in 10C gezeigt.
11 ist ein funktionelles Blockdiagramm eines ein HMD und eine Bildverarbeitungsvorrichtung besitzenden Bildverarbeitungssystems gemäß dieser Ausführungsform. Anders als in 2 ist eine Bildaufnahmeeinheit 2101 zum Erfassen von Position und Orientierung (B) angebracht, und eine Aufnahmebild-Verarbeitungseinheit 2102 ist ausgebildet, drei Kameras verarbeiten zu können. In dieser Ausführungsform ist ein Beispiel beschrieben, in dem zwei Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung vorhanden sind, aber es genügt, dass die Anzahl Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung zwei oder mehr ist, und sie ist nicht speziell auf zwei begrenzt.
12 ist ein detailliertes Blockdiagramm der Aufnahmebild-Verarbeitungseinheit 2102 des HMDs 1201, und sie ist insbesondere ein funktionelles Blockdiagramm zum Realisieren der Auto-Belichtungsfunktion. Anders als in 3 kann durch die Aufnahmebild-Verarbeitungseinheit 2102 ein durch die Bildaufnahmeeinheit 2101 zum Erfassen von Position und Orientierung aufgenommenes Aufnahmebild empfangen werden. Die Konfiguration der Verarbeitungseinheit zum Verarbeiten des empfangenen Aufnahmebilds ist ähnlich zu der in 3.
Weiter ist 13 ein Flussdiagramm, das eine Verarbeitungsprozedur einer durch die Aufnahmebild-Verarbeitungseinheit 2102 durchgeführten Auto-Belichtungssteuerung gemäß dieser Ausführungsform zeigt. Die Beschreibung wird nachstehend mit Schwerpunkt auf die Unterschiede zu jeder Verarbeitung des Flussdiagramms in 8 der ersten Ausführungsform gegeben.
In Schritt S1801 bestimmt die Luminanzumwandlungseinheit 1301, ob ein Aufnahmebild ein Aufnahmebild zum Erfassen von Position und Orientierung oder ein Aufnahmebild zum Wahrnehmen von MR ist oder nicht. Im Falle eines Aufnahmebilds zum Erfassen von Position und Orientierung schreitet der Arbeitsablauf zu Schritt S2301 anstelle von Schritt S1802 fort. Jedoch im Falle eines Aufnahmebilds zum Wahrnehmen von MR schreitet der Arbeitsablauf ähnlich zur ersten Ausführungsform zu Schritt S1805 fort.
In Schritt S2301 detektiert die Photometrieverfahren-Bestimmungseinheit 1303 die Richtungen der Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung und die Beziehung zwischen den Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung. Die Richtungen von Bildaufnahmeeinheiten werden detektiert, um ähnlich zur ersten Ausführungsform ein photometrisches Verfahren zu bestimmen.
Die Beziehung zwischen den Bildaufnahmeeinheiten ist nachstehend beschrieben. Wie in 10B und 10C wird die Beziehung der Orientierungen der Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung detektiert. Im Falle des Beispiels von 10B sind die Bildaufnahmeeinheiten 2002 und 2003 zum Erfassen von Position und Orientierung in dieselbe Richtung gerichtet, aber im Falle des Beispiels in 10C ist die Bildaufnahmeeinheit 2005 zum Erfassen von Position und Orientierung aufwärts gerichtet, und die Bildaufnahmeeinheit 2004 zum Erfassen von Position und Orientierung ist abwärts gerichtet. Falls die Richtungen, in die die Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung gerichtet sind, wie in 10C verschieden sind, ist vorzuziehen, dass die Auto-Belichtungssteuerung getrennt gesteuert wird anstelle die Auto-Belichtungssteuerung zu synchronisieren. Dies liegt daran, dass Änderungen in der durch eine aufwärts gerichtete Bildaufnahmeeinheit aufgenommenen Beleuchtungsumgebung und Änderungen in der durch eine abwärts gerichtete Bildaufnahmeeinheit aufgenommenen Beleuchtungsumgebung in den meisten Fällen verschieden sind.
Jedoch sind im Falle eines wie in 10B gezeigten Einbauorts die Bildaufnahmeeinheit 2002 zum Erfassen von Position und Orientierung und die Bildaufnahmeeinheit 2003 zum Erfassen von Position und Orientierung beide in dieselbe Richtung gerichtet, und daher ist die Änderung in der durch die Bildaufnahmeeinheit 2002 zum Erfassen von Position und Orientierung aufgenommenen Beleuchtungsumgebung und die Änderung in der durch die Bildaufnahmeeinheit 2003 zum Erfassen von Position und Orientierung aufgenommenen Beleuchtungsumgebung im Wesentlichen dieselbe. Deshalb ist es vorzuziehen die Auto-Belichtungssteuerung zu synchronisieren.
Bezüglich eines Verfahrens zum Detektieren der Beziehung der Orientierungen, mit denen die Bildaufnahmeeinheiten angebracht sind, kann eine Konfiguration genommen werden, in der die Beziehung zwischen den Bildaufnahmeeinheiten im Voraus in einem am HMD 1201 angebrachten ROM gespeichert wird und dann ausgelesen wird. Wahlweise können Daten von der Bildverarbeitungsvorrichtung 1210 empfangen werden, oder die Beziehung kann aus der Luminanzverteilung eines durch das HMD 1201 aufgenommenen Bilds geschätzt werden. Zum Beispiel kann man unter Verwendung der Tatsache, dass ein Luminanzintegrationswert für jedes Gebiet des Bildschirms erfasst wird, schätzen, dass die Richtungen, in die die Bildaufnahmeeinheiten gerichtet sind, verschieden sind, falls sich der Luminanzintegrationswert für jedes Gebiet zwischen den Bildaufnahmeeinheiten um einen Betrag größer als oder gleich einem Schwellenwert unterscheidet. Falls jedoch der Unterschied kleiner oder gleich dem Schwellenwert ist, kann man schätzen, dass die Richtungen, in die die Bildaufnahmeeinheiten gerichtet sind, dieselben sind.
Die anderen Verarbeitungen in 13 sind ähnlich zu jenen in der ersten Ausführungsform, aber die Verarbeitungsinhalte der Auto-Belichtungssteuerung von Schritt S2302 ist von jenen in der ersten Ausführungsform verschieden.
Die Verarbeitung von Schritt S2302 ist nachstehend im Detail unter Bezugnahme auf ein Flussdiagramm in 14A–14B beschrieben mit Schwerpunkt auf den Unterschied zu den Verarbeitungen des Flussdiagramms in 9. In Schritt S2401 bestimmt die Luminanzumwandlungseinheit 1301, ob das empfangene Aufnahmebild ein Aufnahmebild zum Erfassen von Position und Orientierung oder ein Aufnahmebild zum Wahrnehmen von MR ist. Im Falle eines Aufnahmebilds zum Erfassen von Position und Orientierung schreitet der Arbeitsablauf zu Schritt S2402 fort. Andererseits schreitet im Falle eines Aufnahmebilds zum Wahrnehmen von MR der Arbeitsablauf zu Schritt S1901 fort.
In Schritt S2402 bestimmt die Luminanzumwandlungseinheit 1301 mittels der in Schritt S2301 detektierten Orientierungen der Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung, ob die Orientierungen der Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung dieselben sind. Falls die Richtungen, in die die Bildaufnahmeeinheiten gerichtet sind, dieselben sind, schreitet der Arbeitsablauf zu Schritt S2403 fort. Falls jedoch die Richtungen, in die die Bildaufnahmeeinheiten gerichtet sind, verschieden sind, schreitet der Arbeitsablauf zu Schritt S1901 fort.
In Schritt S2403 wandelt die Luminanzumwandlungseinheit 1301 alle Bilder der Bildaufnahmeeinheit zum Erfassen von Position und Orientierung in Luminanzwerte um. In Schritt S2404 erfasst die Luminanzintegrationswert-Erfassungseinheit 1302 einen Luminanzintegrationswert für jedes Gebiet bezüglich jeder Bildaufnahmeeinheit zum Erfassen von Position und Orientierung basierend auf den von der Luminanzumwandlungseinheit 1301 gesendeten Luminanzwerten und dem durch die Photometrieverfahren-Bestimmungseinheit 1303 bestimmten photometrischen Verfahren.
In Schritt S2405 erfasst die Luminanzintegrationswert-Erfassungseinheit 1302 einen Luminanzintegrationswert basierend auf den Luminanzintegrationswerten von jeder der Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung, die in Schritt S2404 erfasst wurden. In Schritt S2406 bestimmt die Nachführparameter-Bestimmungseinheit 1305 einen Parameter zum Nachführen der Änderung in der Helligkeit der externen Umgebung. In Schritt S2407 bestimmt die Parametereinstelleinheit 1304, ob eine dem in Schritt S2406 erhaltenen Nachführparameter entsprechende vorbestimmte Zeit verstrichen ist oder nicht, seit die Helligkeit der externen Umgebung sich geändert hat. Falls die vorbestimmte Zeit verstrichen ist, schreitet der Arbeitsablauf zu Schritt S2408 fort. Falls andererseits die vorbestimmte Zeit nicht verstrichen ist, endet der Arbeitsablauf.
In Schritt S2408 bestimmt die Parametereinstelleinheit 1304 Bildaufnahmeparameter (Verschlussgeschwindigkeit, Verstärkungsgrad und dergleichen), die für die jeweiligen Bildaufnahmeeinheiten eingestellt werden sollen, basierend auf dem durch die Luminanzintegrationswert-Erfassungseinheit 1302 erfassten Luminanzintegrationswert für jedes Gebiet. In Schritt S2409 stellt die Parametereinstelleinheit 1304 die Parameter ein, die in Schritt S2408 bestimmt wurden und für die Bildaufnahmeeinheiten eingestellt werden sollen, und stellt die Parameter für die jeweiligen Bildaufnahmeeinheiten ein.
Falls andererseits in Schritt S2401 bestimmt wird, dass das Aufnahmebild kein Aufnahmebild zum Erfassen von Position und Orientierung ist, oder in Schritt S2402 bestimmt wird, dass die Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung in verschiedene Richtungen gerichtet sind, schreitet der Arbeitsablauf zu den Verarbeitungen von Schritten S1903 bis 1906 fort. Dann wird dieselbe Steuerung durchgeführt wie die Auto-Belichtungssteuerung im Falle, dass genau eine Bildaufnahmeeinheit vorhanden ist.
In dieser Ausführungsform wurde ein Beispiel beschrieben, in dem zwei Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung vorhanden sind, aber es können drei oder mehr Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung vorhanden sein. In jenem Fall genügt es, dass Auto-Belichtungssteuerung für jede der Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung durchgeführt wird, die in dieselbe Richtung gerichtet ist.
Wie oben beschrieben, kann gemäß dieser Ausführungsform im Falle, dass mehrere Bildaufnahmeeinheiten zum Erfassen von Position und Orientierung vorhanden sind, eine Position und Orientierung genauer erfasst werden, selbst wenn sich die Helligkeit der externen Umgebung ändert.
Gemäß der vorliegenden Erfindung kann im Falle, dass mehrere Bildaufnahmeeinheiten vorhanden sind, eine Bildaufnahme durch jede Bildaufnahmeeinheit mit hoher Genauigkeit durchgeführt werden, selbst wenn sich die Helligkeit der externen Umgebung ändert.
Weitere Ausführungsformen
Ausführungsform(en) der vorliegenden Erfindung können auch durch einen Computer eines Systems oder Vorrichtung realisiert werden, der auf einem Speichermedium (das vollständiger auch als ein 'nicht-flüchtiges computerlesbares Speichermedium' bezeichnet werden kann) aufgezeichnete computerausführbare Anweisungen (z. B. ein oder mehr Programme) ausliest und ausführt, um die Funktionen von einer oder mehr der oben beschriebenen Ausführungsform(en) durchzuführen, und/oder der ein oder mehr Schaltungen (z. B. eine anwenderspezifisch-integrierte Schaltung (ASIC)) beinhaltet zum Durchführen der Funktionen von einer oder mehr der oben beschriebenen Ausführungsform(en), sowie durch ein durch den Computer des Systems oder Vorrichtung durchgeführtes Verfahren durch, zum Beispiel, Auslesen und Ausführen der computerausführbaren Anweisungen von dem Speichermedium, um die Funktionen von einer oder mehr der oben beschriebenen Ausführungsform(en) durchzuführen, und/oder Steuern der ein oder mehr Schaltungen, um die Funktionen von einer oder mehr der oben beschriebenen Ausführungsform(en) durchzuführen. Der Computer kann einen oder mehr Prozessoren (z. B. eine zentrale Verarbeitungseinheit (CPU), eine Mikroprozessoreinheit (MPU)) umfassen, und kann ein Netzwerk von separaten Computern oder separaten Computerprozessoren enthalten, um die computerausführbaren Anweisungen auszulesen und auszuführen. Die computerausführbaren Anweisungen können dem Computer z. B. von einem Netzwerk oder dem Speichermedium bereitgestellt werden. Das Speichermedium kann zum Beispiel eines oder mehr aus einer Festplatte, einem Speicher mit wahlfreiem Zugriff (RAM), einem Nur-Lese-Speicher (ROM), einem Speicher von verteilten Computersystemen, einer optischen Platte (wie etwa eine Compact Disc (CD), Digital Versatile Disc (DVD) oder Blu-ray Disc (BD)^TM), einer Flashspeichervorrichtung, einer Speicherkarte, und dergleichen enthalten.
Obwohl die vorliegende Erfindung unter Bezugnahme auf Ausführungsbeispiele beschrieben worden ist, ist selbstverständlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele begrenzt ist. Dem Umfang der folgenden Ansprüche soll die weitestgehende Interpretation zugestanden werden, sodass all solche Modifikationen und äquivalenten Strukturen und Funktionen erfasst sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2006-295506 [0006, 0008]

Claims

Informationsverarbeitungsvorrichtung, umfassend: eine Luminanzwert-Erfassungseinrichtung zum Erfassen eines ersten Luminanzwerts eines ersten Aufnahmebilds eines physischen Raums und eines zweiten Luminanzwerts eines zweiten Aufnahmebilds des physischen Raums, wobei das erste Aufnahmebild durch eine erste Bildaufnahmeeinrichtung aufgenommen wird und das zweite Aufnahmebild durch eine zweite Bildaufnahmeeinrichtung aufgenommen wird; eine Parametererfassungseinrichtung zum Erfassen eines, einer Helligkeitsänderung des physischen Raums entsprechenden, ersten Nachführparameters einer automatischen Belichtungssteuerung für die erste Bildaufnahmeeinrichtung und eines, einer Helligkeitsänderung des physischen Raums entsprechenden, zweiten Nachführparameters einer automatischen Belichtungssteuerung für die zweite Bildaufnahmeeinrichtung; sowie eine Einstelleinrichtung zum Einstellen eines ersten Bildaufnahmeparameters für die erste Bildaufnahmeeinrichtung basierend auf dem ersten Luminanzwert und dem erfassten ersten Nachführparameter und eines zweiten Bildaufnahmeparameters für die zweite Bildaufnahmeeinrichtung basierend auf dem zweiten Luminanzwert und dem erfassten zweiten Nachführparameter.
Informationsverarbeitungsvorrichtung nach Anspruch 1, weiterhin umfassend: eine Detektionseinrichtung zum Detektieren einer Orientierung der ersten Bildaufnahmeeinrichtung; eine Bestimmungseinrichtung zum Bestimmen eines photometrischen Verfahrens basierend auf der Orientierung der ersten Bildaufnahmeeinrichtung; sowie eine Erfassungseinrichtung zum Erfassen eines integrierten Werts des Luminanzwerts basierend auf einem Luminanzwert eines Aufnahmebilds der ersten Bildaufnahmeeinrichtung und auf dem photometrischen Verfahren, wobei die Einstelleinrichtung den ersten Bildaufnahmeparameter für die erste Bildaufnahmeeinrichtung basierend auf dem integrierten Wert des Luminanzwerts und dem ersten Nachführparameter einstellt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, weiterhin umfassend: eine Bestimmungseinrichtung zum Bestimmen eines photometrischen Verfahrens; sowie eine Erfassungseinrichtung zum Erfassen eines integrierten Werts des Luminanzwerts basierend auf einem Luminanzwert eines Aufnahmebilds der zweiten Bildaufnahmeeinrichtung und auf dem photometrischen Verfahren, wobei die Einstelleinrichtung den zweiten Bildaufnahmeparameter für die zweite Bildaufnahmeeinrichtung basierend auf dem integrierten Wert des Luminanzwerts und dem zweiten Nachführparameter einstellt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei der, der ersten Bildaufnahmeeinrichtung entsprechende, erste Nachführparameter verschieden von dem, der zweiten Bildaufnahmeeinrichtung entsprechenden, zweiten Nachführparameter ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Einstelleinrichtung den ersten Bildaufnahmeparameter einstellt, nachdem eine dem ersten Nachführparameter entsprechende vorbestimmte Zeit verstrichen ist, und den zweiten Bildaufnahmeparameter einstellt, nachdem eine dem zweiten Nachführparameter entsprechende vorbestimmte Zeit verstrichen ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei der erste Nachführparameter und der zweite Nachführparameter jeweils einen Zeitunterschied von, wenn die Helligkeit einer externen Umgebung sich geändert hat, bis, wenn ein Nachführen einer automatischen Belichtungssteuerung durchgeführt wird, angeben.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei der, der ersten Bildaufnahmeeinrichtung entsprechende, erste Nachführparameter kürzer als der, der zweiten Bildaufnahmeeinrichtung entsprechende, zweite Nachführparameter ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei mindestens eines aus dem ersten Bildaufnahmeparameter und der zweiten Bildaufnahmeeinrichtung mindestens eins aus einer Verschlussgeschwindigkeit und einem Verstärkungsgrad ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die erste Bildaufnahmeeinrichtung eine Bildaufnahmeeinrichtung zum Erfassen einer Position und Orientierung der Informationsverarbeitungsvorrichtung ist, und die zweite Bildaufnahmeeinrichtung eine Bildaufnahmeeinrichtung zum Wahrnehmen von vermischter Realität ist.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Detektionseinrichtung weiterhin eine Orientierung einer dritten Bildaufnahmeeinrichtung detektiert, die von der ersten Bildaufnahmeeinrichtung verschieden ist, und die Informationsverarbeitungsvorrichtung weiterhin eine Steuereinrichtung zum Umschalten auf synchronisierte Steuerung oder getrennte Steuerung der ersten Bildaufnahmeeinrichtung und der dritten Bildaufnahmeeinrichtung beinhaltet, basierend auf der Orientierung der ersten Bildaufnahmeeinrichtung und der Orientierung der dritten Bildaufnahmeeinrichtung.
Informationsverarbeitungsvorrichtung nach Anspruch 10, wobei die erste Bildaufnahmeeinrichtung eine Bildaufnahmeeinrichtung zum Erfassen einer Position und Orientierung der Informationsverarbeitungsvorrichtung ist, und die zweite Bildaufnahmeeinrichtung eine Bildaufnahmeeinrichtung zum Wahrnehmen von vermischter Realität ist, und die dritte Bildaufnahmeeinrichtung eine Bildaufnahmeeinrichtung zum Erfassen einer Position und Orientierung der Informationsverarbeitungsvorrichtung ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Informationsverarbeitungsvorrichtung eine Anzeigevorrichtung des kopfgetragenen Typs ist.
Bildverarbeitungssystem, das eine Informationsverarbeitungsvorrichtung und eine Bildverarbeitungsvorrichtung umfasst, die mit der Informationsverarbeitungsvorrichtung leitungsgebunden oder schnurlos verbunden ist, die Informationsverarbeitungsvorrichtung beinhaltend: eine Luminanzwert-Erfassungseinrichtung zum Erfassen eines ersten Luminanzwerts eines ersten Aufnahmebilds eines physischen Raums und eines zweiten Luminanzwerts eines zweiten Aufnahmebilds des physischen Raums, wobei das erste Aufnahmebild durch eine erste Bildaufnahmeeinrichtung aufgenommen wird und das zweite Aufnahmebild durch eine zweite Bildaufnahmeeinrichtung aufgenommen wird; eine Parametererfassungseinrichtung zum Erfassen eines, einer Helligkeitsänderung des physischen Raums entsprechenden, ersten Nachführparameters einer automatischen Belichtungssteuerung für die erste Bildaufnahmeeinrichtung und eines, einer Helligkeitsänderung des physischen Raums entsprechenden, zweiten Nachführparameters einer automatischen Belichtungssteuerung für die zweite Bildaufnahmeeinrichtung; sowie eine Einstelleinrichtung zum Einstellen eines ersten Bildaufnahmeparameters für die erste Bildaufnahmeeinrichtung basierend auf dem ersten Luminanzwert und dem erfassten ersten Nachführparameter und eines zweiten Bildaufnahmeparameters für die zweite Bildaufnahmeeinrichtung basierend auf dem zweiten Luminanzwert und dem erfassten zweiten Nachführparameter.
Steuerverfahren für eine Informationsverarbeitungsvorrichtung, umfassend: Erfassen eines ersten Luminanzwerts eines ersten Aufnahmebilds eines physischen Raums und eines zweiten Luminanzwerts eines zweiten Aufnahmebilds des physischen Raums, wobei das erste Aufnahmebild durch eine erste Bildaufnahmeeinrichtung aufgenommen wird und das zweite Aufnahmebild durch eine zweite Bildaufnahmeeinrichtung aufgenommen wird; Erfassen eines, einer Helligkeitsänderung des physischen Raums entsprechenden, ersten Nachführparameters einer automatischen Belichtungssteuerung für die erste Bildaufnahmeeinrichtung und eines, einer Helligkeitsänderung des physischen Raums entsprechenden, zweiten Nachführparameters einer automatischen Belichtungssteuerung für die zweite Bildaufnahmeeinrichtung; sowie Einstellen eines ersten Bildaufnahmeparameters für die erste Bildaufnahmeeinrichtung basierend auf dem erstem Luminanzwert und dem erfassten ersten Nachführparameter und eines zweiten Bildaufnahmeparameters für die zweite Bildaufnahmeeinrichtung basierend auf dem zweiten Luminanzwert und dem erfassten zweiten Nachführparameter.
Computerlesbares Speichermedium, das ein Computerprogramm speichert zum Veranlassen, dass ein Computer ein Steuerverfahren für eine Informationsverarbeitungsvorrichtung auszuführt, umfassend: Erfassen eines ersten Luminanzwerts eines ersten Aufnahmebilds eines physischen Raums und eines zweiten Luminanzwerts eines zweiten Aufnahmebilds des physischen Raums, wobei das erste Aufnahmebild durch eine erste Bildaufnahmeeinrichtung aufgenommen wird und das zweite Aufnahmebild durch eine zweite Bildaufnahmeeinrichtung aufgenommen wird; Erfassen eines, einer Helligkeitsänderung des physischen Raums entsprechenden, ersten Nachführparameters einer automatischen Belichtungssteuerung für die erste Bildaufnahmeeinrichtung und eines, einer Helligkeitsänderung des physischen Raums entsprechenden, zweiten Nachführparameters einer automatischen Belichtungssteuerung für die zweite Bildaufnahmeeinrichtung; sowie Einstellen eines ersten Bildaufnahmeparameters für die erste Bildaufnahmeeinrichtung basierend auf dem ersten Luminanzwert und dem erfassten ersten Nachführparameter und eines zweiten Bildaufnahmeparameters für die zweite Bildaufnahmeeinrichtung basierend auf dem zweiten Luminanzwert und dem erfassten zweiten Nachführparameter.