DE102023103963A1

DE102023103963A1 - Elektronische Einrichtung, Verfahren zum Steuern der elektronischen Einrichtung und Programm

Info

Publication number: DE102023103963A1
Application number: DE102023103963.6A
Authority: DE
Inventors: Rurika Shimizu
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-02-18
Filing date: 2023-02-17
Publication date: 2023-08-24
Also published as: GB202302015D0; GB2617673A; US20230269360A1

Abstract

Eine elektronische Einrichtung zeigt sequenziell eine Vielzahl von Rahmenbildern eines Bewegungsinhalts auf einem Bildschirm an und zeigt einen Zeitlinienbereich entsprechend der Wiedergabeperiode der Vielzahl von Rahmenbildern auf dem Bildschirm an. Die elektronische Einrichtung berechnet eine Position auf einer Spur, die Referenzpositionen eines ersten Rahmenbildes und eines zweiten Rahmenbildes verbindet, stellt die berechnete Position als die Referenzposition des dritten Rahmenbildes ein und stellt eine Vielzahl von vierten Rahmenbildern, die in einer spezifizierten Periode vorhanden sind, die durch einen Benutzer spezifiziert wird, um eine Referenzposition, die durch den Benutzer spezifiziert wird, beizubehalten, ein. Die elektronische Einrichtung zeigt die spezifizierte Periode und andere Perioden in dem Zeitlinienbereich separat an und zeigt Regionen entsprechend den Referenzpositionen, die für jedes der Vielzahl von Rahmenbildern eingestellt sind, in Abfolge auf dem Bildschirm an.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine elektronische Einrichtung, ein Verfahren zum Steuern der elektronischen Einrichtung und ein Programm.
Beschreibung des Standes der Technik
Es gibt Plattformen und Vorrichtungen, die einen VR-Inhalt (zum Beispiel omnidirektionale Bilder, omnidirektionale Panoramabilder) wiedergeben und teilen können.
Um den VR-Inhalt in Bilder umzuwandeln, die einfach gehandhabt werden können, ist hier ein Verfahren zum Extrahieren einer Region, dessen Betrachtungswinkel enger als der VR-Inhalt ist, von dem VR-Inhalt bekannt. Der Extrahierungsbetrachtungswinkel kann für jeden Rahmen durch eine Benutzeroperation spezifiziert werden.
Die japanische Patentanmeldungsoffenlegungsschrift Nr. JP 2014-165 763 A und die japanische Patentanmeldungsoffenlegungsschrift Nr. JP 2005-223 416 A offenbaren Techniken, die eine beliebige Position in einem VR-Inhalt durch eine Benutzeroperation spezifizieren können, und ein Bild in einem Bereich, der um diese Position herum zentriert ist (einem Bereich, der enger als der ursprüngliche VR-Bereich ist) extrahieren (auswählen) können.
Wenn die vorstehend offenbarten Techniken jedoch verwendet werden, um Regionen für alle Rahmen des VR-Inhalts zu extrahieren (auszuwählen), muss der Benutzer die Positionen für alle Rahmen spezifizieren. Dies erfordert viele Operationsschritte für den Benutzer und ist zeitaufwendig.
KURZFASSUNG DER ERFINDUNG
Angesichts des Vorstehenden erlaubt die vorliegende Erfindung dem Benutzer, einen Teil einer Region von dem Inhalt einfach auszuwählen.
Ein Aspekt der Erfindung ist eine elektronische Einrichtung, die einen Bewegtbildinhalt wiedergibt, mit: einer Anzeigesteuerungseinheit, die dazu konfiguriert ist, eine Steuerung auszuführen, um eine Vielzahl von Rahmenbildern, die den Bewegtbildinhalt umfassen, auf einem Bildschirm sequenziell anzuzeigen, und einen Zeitlinienbereich, der einer Wiedergabeperiode der Vielzahl von Rahmenbildern entspricht, auf dem Bildschirm anzuzeigen; einer Berechnungseinheit, die dazu konfiguriert ist, für ein drittes Rahmenbild, dessen Referenzposition noch nicht eingestellt wurde, das zwischen einem ersten Rahmenbild und einem zweiten Rahmenbild vorhanden ist, welche zwei Rahmenbilder sind, deren Referenzpositionen eingestellt wurden, eine Position auf einer Spur, die eine erste Referenzposition des ersten Rahmenbildes und eine zweite Referenzposition des zweiten Rahmenbildes verbindet, zu berechnen; einer Einstelleinheit, die dazu konfiguriert ist, die berechnete Position als eine dritte Referenzposition des dritten Rahmenbildes automatisch einzustellen, und, für eine Vielzahl von vierten Rahmenbildern, die in einer spezifizierten Periode vorhanden sind, die in dem Zeitlinienbereich gemäß einer Operation durch den Benutzer spezifiziert ist, eine vierte Referenzposition, die gemäß einer Operation durch den Benutzer spezifiziert ist, so dass die eine vierte Referenzposition beibehalten wird, automatisch einzustellen; und eine Steuerungseinheit, die dazu konfiguriert ist, eine Steuerung auszuführen, um die spezifizierte Periode und andere Perioden in dem Zeitlinienbereich auf dem Bildschirm separat anzuzeigen, und eine Steuerung auszuführen, um den Bewegtbildinhalt durch sequenzielles Anzeigen von Regionen entsprechend den Referenzpositionen, die für die Vielzahl von Rahmenbildern entsprechend eingestellt sind, auf dem Bildschirm wiederzugeben.
Ein Aspekt der Erfindung ist ein Verfahren zum Steuern einer elektronischen Einrichtung, die einen Bewegtbildinhalt wiedergibt, mit den Schritten: Ausführen einer Steuerung, um eine Vielzahl von Rahmenbildern, die den Bewegtbildinhalt umfassen, auf einem Bildschirm sequenziell anzuzeigen und einen Zeitlinienbereich, der einer Wiedergabeperiode der Vielzahl von Rahmenbildern entspricht, auf dem Bildschirm anzuzeigen; für ein drittes Rahmenbild, dessen Referenzposition noch nicht eingestellt wurde, das zwischen einem ersten Rahmenbild und einem zweiten Rahmenbild vorhanden ist, welche zwei Rahmenbilder sind, deren Referenzpositionen eingestellt wurden, Berechnen einer Position auf einer Spur, die eine erste Referenzposition des ersten Rahmenbildes und eine zweite Referenzposition des zweiten Rahmenbildes verbindet; automatisches Einstellen der berechneten Position als eine dritte Referenzposition des dritten Rahmenbildes; für eine Vielzahl von vierten Rahmenbildern, die in der spezifizierten Periode vorhanden sind, die in dem Zeitlinienbereich gemäß einer Operation durch einen Benutzer spezifiziert ist, automatisches Einstellen einer vierten Referenzposition, die gemäß einer Operation durch den Benutzer spezifiziert ist, so dass die eine vierte Referenzposition beibehalten wird; Ausführen einer Steuerung, um die spezifizierte Periode und anderen Perioden in dem Zeitlinienbereich auf dem Bildschirm separat anzuzeigen; und Ausführen einer Steuerung, um den Bewegtbildinhalt durch sequenzielles Anzeigen von Regionen entsprechend den Referenzpositionen, die für die Vielzahl von Rahmenbildern entsprechend eingestellt sind, auf dem Bildschirm wiederzugeben.
Weitere Merkmale der vorliegenden Erfindung werden von der folgenden Beschreibung von beispielhaften Ausführungsbeispielen mit Bezug auf die anhängigen Zeichnungen ersichtlich.
Figurenliste

1A bis 1C sind Diagramme, die eine Digitalkamera darstellen;
2A und 2B sind Diagramme, die eine Anzeigesteuerungseinrichtung darstellen;
3A bis 3C sind Diagramme und Tabellen zum Beschreiben einer Anzeigesteuerungsverarbeitung;
4 ist ein Ablaufdiagramm einer Anzeigesteuerungsverarbeitung;
5 ist ein Ablaufdiagramm einer Bewegtbilderzeugungsverarbeitung;
6A bis 6D sind Diagramme zum Beschreiben einer Geschwindigkeitssteuerungsverarbeitung; und
7 ist ein Ablaufdiagramm der Geschwindigkeitssteuerungsverarbeitung.

BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Eine Technik zum systematischen und automatischen Einstellen einer Position als eine Referenzposition einer Extrahierung (Extrahierungsreferenzposition) könnte möglich sein. Zum Beispiel wird die Extrahierungsreferenzposition zu jedem Zeitpunkt zwischen einem ersten Zeitpunkt und einem zweiten Zeitpunkt eingestellt, so dass sich die Extrahierungsreferenzposition von dem ersten Zeitpunkt zu der Extrahierungsreferenzposition zu dem zweiten Zeitpunkt ändert. Mit dieser Technik, in einem Fall, in dem die Extrahierungsreferenzposition für jeden Zeitpunkt zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt an einer gleichen Position eingestellt ist, muss der Benutzer jedoch die gleiche Extrahierungsreferenzposition für sowohl den ersten Zeitpunkt als auch den zweiten Zeitpunkt manuell einstellen. Deshalb wird in den folgenden Ausführungsbeispielen eine Technik beschrieben, bei der es einfacher ist, Extrahierungsreferenzpositionen zwischen zwei Zeitpunkten auf eine gleiche Position einzustellen.
Ausführungsbeispiele der vorliegenden Erfindung werden mit Bezug auf die Zeichnungen beschrieben. Die folgenden Ausführungsbeispiele sind jedoch nicht dazu gedacht, die vorliegende Erfindung gemäß den Ansprüchen zu beschränken und nicht alle Kombinationen der Merkmale, die in den vorliegenden Ausführungsbeispielen beschrieben sind, sind als Lösungen der Probleme, die in der vorliegenden Erfindung offenbart sind, essenziell. In der folgenden Beschreibung ist ein gleiches Bestandselement mit einem gleichen Bezugszeichen bezeichnet. Jede der nachstehend beschriebenen Ausführungsbeispiele der vorliegenden Erfindung kann allein oder als Kombination mehrerer Ausführungsbeispiele oder Merkmale davon ausgeführt werden, wenn dies erforderlich ist oder wenn die Kombination von Elementen oder Merkmalen einzelner Ausführungsbeispiele in einem einzigen Ausführungsbeispiel vorteilhaft ist.
Ausführungsbeispiel 1
Ein Ausführungsbeispiel 1 der vorliegenden Erfindung wird mit Bezug auf die Zeichnungen beschrieben. 1A ist eine perspektivische Frontansicht (Außenansicht) einer Digitalkamera 100 (Abbildungsvorrichtung), die eine elektronische Einrichtung ist. 1B ist eine perspektivische Rückansicht (Außenansicht) der Digitalkamera 100. Die Digitalkamera 100 ist eine omnidirektionale Kamera.
Eine Barriere 102A ist ein Schutzfenster einer Bildaufnahmelinse 103a für einen „Kameraabschnitt A“, dessen Bildaufnahmebereich die Vorderseite der Digitalkamera 100 ist. Die Barriere 102a kann eine äußere Oberfläche der Bildaufnahmelinse 103a selbst sein. Der „Kameraabschnitt A“ ist eine Weitwinkelkamera, deren Bildaufnahmebereich ein breiter Bereich (zumindest 180° in die Richtungen nach oben, nach unten, nach links und nach rechts) auf der Vorderseite der Digitalkamera 100 ist. Eine Barriere 102b ist ein Schutzfenster einer Bildaufnahmelinse 103b für einen „Kameraabschnitt B“, dessen Bildaufnahmebereich auf der Rückseite der Digitalkamera 100 ist. Die Barriere 102b kann eine äußere Oberfläche der Bildaufnahmelinse 103b selbst sein. Der „Kameraabschnitt B“ ist eine Weitwinkelkamera, deren Bildaufnahmebereich ein breiter Bereich (zumindest 180° in die Richtungen nach oben, nach unten, nach links und nach rechts) auf der Rückseite der Digitalkamera 100 ist.
Eine Anzeigeeinheit 28 ist eine Anzeigeeinheit, um verschiedene Informationen anzuzeigen. Eine Verschlusstaste 61 ist eine Operationseinheit, um ein Aufnehmen eines Bildes anzuweisen. Ein Betriebsartauswahlschalter 60 ist eine Operationseinheit zum Umschalten von verschiedenen Betriebsarten. Eine Verbindungsschnittstelle 25 ist ein Konnektor zwischen einem Verbindungskabel zum Verbinden mit einer externen Einrichtung (zum Beispiel einem Smartphone, Personal Computer, TV) und der Digitalkamera 100. Die Operationseinheit bzw. Bedieneinheit 70 ist eine Operationseinheit, die aus Operationselementen bzw. Bedienelementen besteht, um verschiedene Operationen von dem Benutzer anzunehmen (zum Beispiel verschiedene Schalter, Tasten, ein Wählrad, ein Berührungssensor). Ein Leistungsversorgungsschalter 72 ist eine Drücktaste, um eine Leistung AN/AUS zu schalten.
Eine lichtemittierende Einheit bzw. Leuchteinheit 21 ist ein Leuchtelement, wie etwa eine Leuchtdiode (LED, „light-emitting diode“). Die Leuchteinheit 21 informiert den Benutzer über verschiedene Zustände der Digitalkamera 100 durch ein Leuchtmuster oder eine Ausgabefarbe. Eine Fixiereinheit 40 ist ein Schraubloch für ein Stativ, zum Beispiel, und ist ein Element, um die Digitalkamera 100 auf solch einer Fixierungseinrichtung, wie etwa einem Stativ, zu installieren.
1C ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Digitalkamera 100 darstellt. Die Barriere 102a deckt das Abbildungssystem des „Kameraabschnitts A“ der Digitalkamera 100 inklusive der Bildaufnahmelinse 103a ab, um eine Verschmutzung und Beschädigung des Abbildungssystems (inklusive der Bildaufnahmelinse 103a, eines Verschlusses 101a und einer Abbildungseinheit 22a) zu verhindern. Die Bildaufnahmelinse 103a ist eine Linsengruppe und umfasst eine Zoomlinse und eine Fokuslinse. Die Bildaufnahmelinse 103a ist zum Beispiel eine Weitwinkellinse. Der Verschluss 101a ist ein Verschluss, der eine Blendenfunktion aufweist, um eine Menge des Motivlichts, das in die Abbildungseinheit 22a eintritt, anzupassen. Die Abbildungseinheit 22a ist ein Bildaufnahmeelement, das aus einem CCD-, CMOS-Element oder Ähnlichem gebildet ist, das ein optisches Bild in elektrische Signale umwandelt. Ein A/D-Wandler 23a wandelt analoge Signale, die von der Abbildungseinheit 22a ausgegeben werden, in digitale Signale um.
Die Barriere 102b deckt das Abbildungssystem des „Kameraabschnitts B“ der Digitalkamera 100 inklusive der Bildaufnahmelinse 103b ab, um eine Verschmutzung und Beschädigung des Abbildungssystems (inklusive der Bildaufnahmelinse 103b, des Verschlusses 101b und der Abbildungseinheit 22b) zu verhindern. Die Bildaufnahmelinse 103b ist eine Linsengruppe und umfasst eine Zoomlinse und eine Fokuslinse. Die Bildaufnahmelinse 103b ist zum Beispiel eine Weitwinkellinse. Der Verschluss 101b ist ein Verschluss, der eine Blendenfunktion aufweist, um eine Menge eines Motivlichts, das in die Abbildungseinheit 22b eintritt, anzupassen. Die Abbildungseinheit 22b ist ein Bildaufnahmeelement, das aus einem CCD-, CMOS-Element oder Ähnlichem besteht, das ein optisches Bild in elektrische Signale umwandelt. Ein A/D-Wandler 23b wandelt analoge Signale, die von der Abbildungseinheit 22b ausgegeben werden, in digitale Signale um.
Ein VR-Bild wird durch die Abbildungseinheit 22a und die Abbildungseinheit 22b aufgenommen. Das VR-Bild ist ein Bild, das VR-angezeigt werden kann. Das VR-Bild umfasst ein omnidirektionales Bild, das durch eine omnidirektionale Kamera aufgenommen wird, und ein Panoramabild mit einem Bildbereich (einem effektiven Bildbereich), der breiter ist als der Anzeigebereich, der auf einmal auf der Anzeigeeinheit angezeigt werden kann. Das VR-Bild umfasst nicht nur ein Standbild, sondern ebenso ein Bewegtbild und ein Live-Ansicht-Bild (ein Bild, das von der Kamera in nahezu Echtzeit beschafft wird). Das VR-Bild besitzt einen Bildbereich des Sichtfeldes (des effektiven Bildbereichs), der maximal 360° in der vertikalen Richtung (vertikaler Winkel, Winkel vom Zenit, Elevationswinkel, Depressionswinkel, Höhenwinkel) und 360° in der horizontalen Richtung (horizontaler Winkel, Azimutwinkel) beträgt. Weiterhin umfasst das VR-Bild ein Bild mit einem breiten Betrachtungswinkel (Sichtfeldbereich), der breiter ist als der Betrachtungswinkel, der durch eine Standardkamera aufgenommen werden kann, oder ein Bild, das einen Bildbereich (effektiven Bildbereich) aufweist, der breiter ist als der Anzeigebereich, der auf einmal auf der Anzeige angezeigt werden kann, auch wenn der Abbildungsbereich weniger als 360° vertikal und weniger als 360° horizontal beträgt. Ein Bild zum Beispiel, das durch eine omnidirektionale Kamera aufgenommen wird, die Subjekte bzw. Motive aufnehmen kann, die in einem Sichtfeld (in einem Betrachtungswinkel) von 360° in der horizontalen Richtung (horizontaler Winkel, Azimutwinkel) und einem vertikalen Winkel von 210° mit dem Zenit in der Mitte vorhanden sind, ist eine Art eines VR-Bildes.
Weiterhin ist zum Beispiel ein Bild, das durch eine Kamera aufgenommen wird, die Subjekte bzw. Motive aufnehmen kann, die in einem Sichtfeld (in einem Betrachtungswinkel) von 180° in der horizontalen Richtung (horizontaler Winkel, Azimutwinkel) und einem vertikalen Winkel von 180° mit der horizontalen Richtung in der Mitte vorhanden sind, eine Art eines VR-Bildes. Mit anderen Worten ist ein Bild, das einen Bildbereich aufweist, dessen Sichtfeld zumindest 160° (± 80°) entsprechend in der vertikalen Richtung und der horizontalen Richtung beträgt und einen Bildbereich aufweist, der breiter ist als ein Bereich, den menschliche Augen auf einmal erkennen können, eine Art eines VR-Bildes. Wenn dieses VR-Bild VR-angezeigt wird (in der Anzeigebetriebsart „VR-Ansicht“ angezeigt wird), und die Ausrichtung der Anzeigeeinrichtung in die horizontale Rotationsrichtung geändert wird, kann ein omnidirektionales Bild, das in der horizontalen Richtung (der horizontalen Rotationsrichtung) nahtlos ist, betrachtet werden. In dem Fall der vertikalen Richtung (vertikalen Rotationsrichtung), kann ein omnidirektionales Bild, das nahtlos ist, in dem Bereich von ± 105° von einer Position unmittelbar darüber (über dem Zenit) betrachtet werden, aber ein Bereich, der 105° von der Position unmittelbar darüber überschreitet, wird ein leerer Bereich. Das VR-Bild kann als ein Bild definiert werden, dessen Bildbereich zumindest ein Teil eines virtuellen Raumes (eines VR-Raumes) ist.
Das VR-Bild (die VR-Ansicht) ist ein Anzeigeverfahren (eine Anzeigebetriebsart), das (die) den Anzeigebereich des VR-Bildes ändern kann, so dass ein Bild in einem Sichtfeld entsprechend der Ausrichtung der Anzeigeeinrichtung gemäß der Ausrichtung der Anzeigeeinrichtung angezeigt wird. In einem Fall des Betrachtens während eines Tragens einer am Kopf angebrachten Anzeige (HMD, „head mounted display“) als eine Anzeigeeinrichtung, wird ein Bild in einem Sichtfeldbereich gemäß der Richtung des Gesichts des Benutzers angezeigt. Zum Beispiel wird angenommen, dass ein Bild, das um den Betrachtungswinkel (Blickwinkel) von 0° horizontal (spezifische Richtung, wie etwa Norden) und 90° vertikal (90° von dem Zenit, das heißt die horizontale Richtung) zentriert ist, momentan angezeigt wird. Wenn die Ausrichtung der Anzeigeeinheit bezüglich vorne und hinten umgekehrt wird (zum Beispiel eine Richtung der Anzeigeoberfläche wird von Süden nach Norden geändert), wird der Anzeigebereich des VR-Bildes von einem Bild, das um den Betrachtungswinkel von 180° horizontal (entgegengesetzte Richtung, wie etwa Süden) und 90° vertikal (horizontale Richtung) zentriert ist, geändert. In dem Fall, in dem der Benutzer schaut, während er eine HMD trägt, wenn der Benutzer sein Gesicht von Norden nach Süden dreht (das heißt, wenn sich der Benutzer umdreht), ändert sich das Bild, das auf der HMD angezeigt wird, ebenso von dem Bild nach Norden zu dem Bild nach Süden. Durch diese VR-Anzeige kann der Benutzer Empfindungen visuell wahrnehmen, als wenn er sich an dem tatsächlichen Ort in dem VR-Bild (innerhalb des VR-Raums) befinden würde. Ein Smartphone, das in einer VR-Brille (am Kopf angebrachter Adapter) installiert ist, kann als eine Art einer HMD betrachtet werden.
Das Verfahren zum Anzeigen eines VR-Bildes ist nicht auf die vorstehend beschriebenen Verfahren beschränkt, sondern der Anzeigebereich könnte nicht gemäß einer Änderung der Ausrichtung, sondern gemäß einer Operation des Benutzers, die auf dem Berührungsfeld, der Richtungstaste oder Ähnlichem durchgeführt wird, bewegt (gescrollt) werden. Während einer Anzeige auf der VR-Anzeige (in der VR-Ansichtsbetriebsart), könnte der Anzeigebereich auch nicht nur durch Ändern der Ausrichtung, sondern durch eine Berührungs-Bewegungs-Operation auf dem Berührungsfeld und einer Ziehoperation mit einem Operationselement, wie etwa einer Maus geändert werden.
Eine Bildverarbeitungseinheit 24 führt eine Größenänderungsverarbeitung (zum Beispiel eine vorbestimmte Pixelinterpolation, Reduzierung bzw. Verkleinerung) und eine Farbumwandlungsverarbeitung bezüglich Daten von dem A/D-Wandler 23a und dem A/D-Wandler 23b oder bezüglich Daten von einer Speichersteuerungseinheit 15 durch. Die Bildverarbeitungseinheit 24 führt ebenso eine vorbestimmte arithmetische Verarbeitung unter Verwendung der aufgenommenen Bilddaten durch. Eine Systemsteuerungseinheit 50 führt eine Belichtungssteuerung und eine Entfernungsmessungssteuerung basierend auf dem arithmetischen Operationsergebnis durch, das durch die Bildverarbeitungseinheit 24 beschafft wird. Dabei werden eine TTL-Autofokusverarbeitung (AF, „auto focus“, TTL, „through-the-lens“), eine AE-Verarbeitung (AE, „auto exposure“) und eine Vorblitzaussendeverarbeitung bzw. „pre-flash emission“-Verarbeitung (EF-Verarbeitung) durchgeführt. Die Bildverarbeitungseinheit 24 führt weiterhin eine vorbestimmte arithmetische Verarbeitung unter Verwendung der aufgenommenen Bilddaten durch und führt eine automatische Weißabgleich-Verarbeitung (AWB, „auto white balance“) der TTL-Art basierend auf dem beschafften arithmetischen Operationsergebnis durch.
Die Bildverarbeitungseinheit 24 führt ebenso eine Basisbildverarbeitung bezüglich zwei Bildern (Fischaugenbildern) durch, die von dem A/D-Wandler 23a und dem A/D-Wandler 23b beschafft werden, und kombiniert diese dann (führt eine Bildverbindungsverarbeitung durch), um ein einzelnes VR-Bild zu erzeugen. In der Bildverbindungsverarbeitung, die für die zwei Bilder durchgeführt wird, berechnet die Bildverarbeitungseinheit 24 in jedem der zwei Bilder den Abweichungsbetrag zwischen einem Referenzbild und einem Vergleichsbild für jeden Bereich durch eine Musterabgleichsverarbeitung, um eine Verbindungsposition zu erfassen. Dann, unter Berücksichtigung der erfassten Verbindungspositionen und einer Charakteristik von jedem optischen Linsensystem, führt die Bildverarbeitungseinheit 24 entsprechend eine Verzerrungskorrektur für die zwei Bilder durch eine geometrische Umwandlung durch und wandelt die korrigierten zwei Bilder in Bilder in einem omnidirektionalen Bildformat um. Durch Überlagern bzw. Vermischen dieser zwei Bilder in dem omnidirektionalen Bildformat, erzeugt die Bildverarbeitungseinheit 24 letztendlich ein omnidirektionales Bild (VR-Bild). Das erzeugte omnidirektionale Bild (VR-Bild) ist ein Bild, das zum Beispiel durch die äquidistante zylindrische Projektion erzeugt wird, und eine Position von jedem Pixel kann Koordinaten auf der Oberfläche der Kugel entsprechen. Wenn das VR-Bild auf der Live-Ansicht angezeigt wird oder wiedergegeben wird, wird eine Verarbeitung zum VR-Anzeigen des VR-Bildes, wie etwa eine Bildextrahierungsverarbeitung, eine Vergrößerungsverarbeitung und eine Verzerrungskorrektur durchgeführt, und wird ebenso ein Rendering zum Zeichnen des VR-Bildes auf dem VRAM eines Speichers 32 durchgeführt.
Die Ausgabedaten von dem A/D-Wandler 23 werden über die Bildverarbeitungseinheit 24 und die Speichersteuerungseinheit 15 oder nur über die Speichersteuerungseinheit 15 in den Speicher 32 geschrieben. Der Speicher 32 speichert Bilddaten, die durch die Abbildungseinheit 22 beschafft wurden und durch den A/D-Wandler 23 in digitale Daten umgewandelt wurden, und Bilddaten, die an eine externe Anzeige über die Verbindungsschnittstelle 25 auszugeben sind. Der Speicher 32 besitzt eine Speicherkapazität, die zum Speichern einer vorbestimmten Anzahl von Standbildern und einer vorbestimmten Dauer von Bewegtbildern und Tönen ausreichend ist.
Der Speicher 32 spielt ebenso eine Rolle eines Speichers zum Anzeigen von Bildern (Videospeicher). Die Daten für die Bildanzeige, die in dem Speicher 32 gespeichert wurden, können über die Verbindungsschnittstelle 25 an eine externe Anzeige ausgegeben werden. Die VR-Bilder (VR-Bilder, die durch die Abbildungseinheiten 22a und 22b aufgenommen wurden, durch die Bildverarbeitungseinheit 24 erzeugt wurden und in dem Speicher 32 gespeichert wurden) werden sequenziell an die Anzeige übertragen und die VR-Bilder werden darauf angezeigt. Durch diesen Prozess wird die Live-Ansicht-Anzeige (LV-Anzeige) der VR-Bilder implementiert. Nachstehend wird ein Bild, das durch eine Live-Ansicht angezeigt wird, als „LV-Bild“ bezeichnet. Die Live-Ansicht-Anzeige kann ebenso durch Übertragen der VR-Bilder, die in dem Speicher 32 gespeichert sind, an eine externe Einrichtung (zum Beispiel ein Smartphone), die über eine Kommunikationseinheit 54 drahtlos verbunden ist, und Anzeigen der VR-Bilder auf Seiten der externen Einrichtung durchgeführt werden (Fern-LV-Anzeige).
Ein nichtflüchtiger Speicher 56 ist ein elektrisch löschbarer/beschreibbarer Speicher. Als der nichtflüchtige Speicher 56 wird zum Beispiel ein EEPROM verwendet. In dem nichtflüchtigen Speicher 56 werden Konstanten, Programme und Ähnliches zum Betrieb der Systemsteuerungseinheit 50 gespeichert. „Programme“ bezeichnen hier Computerprogramme zum Ausführen von Verarbeitungsschritten von verschiedenen nachstehend beschriebenen Ablaufdiagrammen.
Die Systemsteuerungseinheit 50 ist eine Steuerungseinheit, die aus zumindest einem Prozessor oder einer Schaltung besteht und die Digitalkamera 100 allgemein steuert. Die Systemsteuerungseinheit 50 implementiert jede Verarbeitung von jedem Ausführungsbeispiel durch Ausführen von Programmen, die in dem nichtflüchtigen Speicher 56 gespeichert sind. Ein RAM zum Beispiel wird als ein Systemspeicher 52 verwendet. In dem Systemspeicher 52 werden Konstanten und Variablen zum Betreiben der Systemsteuerungseinheit 50, Programme, die von dem nichtflüchtigen Speicher 56 gelesen werden, und Ähnliches entwickelt. Die Systemsteuerungseinheit 50 führt ebenso eine Anzeigesteuerung durch Steuern des Speichers 32, der Bildverarbeitungseinheit 24 und der Speichersteuerungseinheit 15 durch.
Der Systemzeitnehmer 53 ist eine Zeitnehmereinheit, um eine Zeit zu messen (Zeit, die zur Ausführung von verschiedenen Steuerungen verwendet wird, und Zeit einer internen Uhr bzw. eines internen Taktes).
Der Betriebsartauswahlschalter 60, die Verschlusstaste 61 und die Operationseinheit 70 sind Operationselemente zum Eingeben von verschiedenen Operationsanweisungen in die Systemsteuerungseinheit 50. Der Betriebsartauswahlschalter 60 schaltet die Betriebsart der Systemsteuerungseinheit 50 zu einer Standbildaufzeichnungsbetriebsart, einer Bewegtbildaufnahmebetriebsart, einer Wiedergabebetriebsart, einer Kommunikationsverbindungsbetriebsart oder Ähnlichem um. Die Standbildaufnahmebetriebsart umfasst: eine Automatikbildaufnahmebetriebsart, eine Automatikszenenbestimmungsbetriebsart, eine manuelle Betriebsart, eine Blendenprioritätsbetriebsart (Av-Betriebsart), eine Verschlussgeschwindigkeitsprioritätsbetriebsart (Tv-Betriebsart) und eine Programm-AE-Betriebsart. Die Standbildaufzeichnungsbetriebsart umfasst: verschiedene Szenenbetriebsarten, um eine Bildaufnahme für jede Bildaufnahmeszene einzustellen, und eine benutzerspezifische Betriebsart. Der Benutzer kann unter Verwendung des Betriebsartauswahlschalters 60 direkt in eine dieser Betriebsarten wechseln. Als eine Alternative kann der Benutzer zuerst unter Verwendung des Betriebsartauswahlschalters 60 einen Listenbildschirm in der Bildaufnahmebetriebsart auswählen, dann eine der Vielzahl von Betriebsarten, die auf der Anzeigeeinheit 28 angezeigt werden, auswählen, und unter Verwendung eines anderen Operationselements zu der ausgewählten Betriebsart wechseln. Auf die gleiche Weise kann die Bewegtbildaufnahmebetriebsart eine Vielzahl von Betriebsarten umfassen.
Ein erster Verschlussschalter 62 wird in der Mitte des Betriebs der Verschlusstaste 61, die in der Digitalkamera 100 angeordnet ist, das heißt in dem halbgedrückten Zustand eingeschaltet bzw. auf AN geschaltet (Bildaufnahmevorbereitungsanweisung) und erzeugt ein erstes Verschlussschaltsignal SW1. Durch die Erzeugung des ersten Verschlussschaltsignals SW1 startet die Systemsteuerungseinheit 50 eine Bildaufnahmevorbereitungsoperation, wie etwa die Autofokusverarbeitung bzw. AF-Verarbeitung, die Autobelichtungsverarbeitung bzw. AE-Verarbeitung, die Automatikweißabgleichverarbeitung bzw. AWB-Verarbeitung und die Vorblitzemissionsverarbeitung bzw. EF-Verarbeitung.
Ein zweiter Verschlussschalter 64 wird eingeschaltet bzw. auf AN geschaltet, wenn der Betrieb der Verschlusstaste 61 vollständig ist, das heißt in dem vollständig gedrückten Zustand (Bildaufnahmeanweisung), und erzeugt ein zweites Verschlussschaltsignal SW2. Durch die Erzeugung des zweiten Verschlussschaltsignals SW2 startet die Systemsteuerungseinheit 50 eine Reihe von Bildaufnahmeverarbeitungsoperationen, von dem Schritt des Lesens von Signalen von der Abbildungseinheit 22 zu einem Schritt des Schreibens der Bilddaten auf ein Aufzeichnungsmedium 90.
Die Verschlusstaste 61 ist nicht auf die Verschlusstaste beschränkt, die in zwei Schritten, das heißt vollständig und halb heruntergedrückt, betätigt werden kann, sondern kann auch ein Operationselement sein, das in einem Schritt heruntergedrückt werden kann. In diesem Fall werden durch das Herunterdrücken in einem Schritt die Bildaufnahmevorbereitungsoperation und die Bildaufnahmeoperation kontinuierlich ausgeführt. Diese Operation ist äquivalent zu der Operation, wenn die Verschlusstaste, die voll und halb heruntergedrückt werden kann, vollständig gedrückt wird (Operation, wenn die Signale SW1 und SW2 fast gleichzeitig erzeugt werden).
Jedes Operationselement der Operationseinheit 70 kann als verschiedene Funktionstasten funktionieren, denen in Abhängigkeit der Szene geeignete Funktionen zugewiesen wurden, durch Auswählen von verschiedenen funktionalen Symbolen und Auswahlmöglichkeiten, die auf der Anzeigeeinheit 28 angezeigt sind. Diese Funktionstasten sind zum Beispiel eine Beendigungstaste, eine Zurücktaste, eine Vorwärtstaste, eine Sprungtaste, eine Filtertaste, und eine Eigenschaftsänderungstaste. Wenn zum Beispiel eine Menütaste gedrückt wird, wird ein Menübildschirm, auf dem verschiedene Einstellungen möglich sind, auf der Anzeigeeinheit 28 angezeigt. Durch Betätigen der Operationseinheit 70 während eines Überprüfens des Menübildschirms, der auf der Anzeigeeinheit 28 angezeigt wird, kann der Benutzer intuitiv verschiedene Einstellungen durchführen.
Eine Leistungsversorgungssteuerungseinheit 80 umfasst eine Batterieerfassungsschaltung, einen DC-DC-Wandler, einen Schaltkreis (Schaltkreis zum Schalten eines zu erregenden Blocks) und Ähnliches. Die Leistungsversorgungssteuerungseinheit 80 erfasst, ob eine Batterie installiert ist, eine Art der Batterie und einen Restbetrag der Batterie. Die Leistungsversorgungssteuerungseinheit 80 steuert ebenso den DC-DC-Wandler basierend auf diesem Erfassungsergebnis und Anweisungen von der Systemsteuerungseinheit 50 und führt die erforderliche Spannung an jede Einheit (inklusive des Aufzeichnungsmediums 90) für eine erforderliche Zeitperiode zu. Eine Leistungsversorgungseinheit 30 umfasst eine Hauptbatterie (zum Beispiel eine Alkalibatterie, einer Lithiumbatterie), eine Sekundärbatterie (zum Beispiel eine NiCd-Batterie, eine NiMH-Batterie, eine Li-Batterie), einen AC-Adapter und Ähnliches.
Eine Aufzeichnungsmediumsschnittstelle 18 ist eine Schnittstelle mit dem Aufzeichnungsmedium 90 (zum Beispiel eine Speicherkarte, eine Festplatte). Das Aufzeichnungsmedium 90 ist ein Aufzeichnungsmedium, um aufgenommene Bilder aufzuzeichnen, wie etwa eine Speicherkarte. Das Aufzeichnungsmedium 90 besteht aus einem Halbleiterspeicher, einer optischen Platte, einer magnetischen Platte oder Ähnlichem. Das Aufzeichnungsmedium 90 kann ein austauschbares Aufzeichnungsmedium sein, das von der Digitalkamera 100 entfernbar ist, oder kann ein internes Aufzeichnungsmedium der Digitalkamera 100 sein.
Die Kommunikationseinheit 54 ist mit einer externen Einrichtung drahtlos oder über ein Kabel verbunden und überträgt/empfängt Videosignale und Audiosignale. Die Kommunikationseinheit 54 kann ebenso mit einem Drahtlos-LAN oder dem Internet verbunden werden. Die Kommunikationseinheit 54 kann ein Bild (inklusive eines LV-Bildes), das durch die Abbildungseinheit 22a oder die Abbildungseinheit 22b aufgenommen wird, und ein Bild, das in dem Aufzeichnungsmedium 90 aufgezeichnet ist, senden. Die Kommunikationseinheit 54 kann ebenso Bilder und verschiedene andere Informationen von der externen Einrichtung empfangen.
Eine Ausrichtungserfassungseinheit 55 erfasst eine Ausrichtung einer Digitalkamera 100 mit Bezug auf die Schwerkraftrichtung. Basierend auf der Ausrichtung, die durch die Ausrichtungserfassungseinheit 55 erfasst wird, kann bestimmt werden, ob das Bild, das durch die Abbildungseinheit 22 aufgenommen wird, ein Bild ist, das durch die Digitalkamera 100 aufgenommen wird, die horizontal gehalten wird, oder ein Bild ist, das durch die Digitalkamera 100 aufgenommen wird, die vertikal gehalten wird. Weiterhin kann bestimmt werden, wie stark die Abbildungseinheit 22 in die drei Achsenrichtungen (Gieren, Nicken, Rollen) geneigt ist, wenn das Bild durch die Abbildungseinheit 22 aufgenommen wurde. Die Systemsteuerungseinheit 50 kann die Ausrichtungsinformationen gemäß der Ausrichtung, die durch die Ausrichtungserfassungseinheit 55 erfasst wird, an eine Bilddatei eines VR-Bildes, das durch die Abbildungseinheiten 22a und 22b aufgenommen wird, anhängen. Die Systemsteuerungseinheit 50 kann ebenso ein Bild in dem gedrehten Zustand gemäß der erfassten Ausrichtung aufzeichnen (mit Anpassen der Richtung des Bildes, um die Neigung zu korrigieren). Für die Ausrichtungserfassungseinheit 55 kann zumindest einer oder eine Kombination eines Beschleunigungssensors, eines Gyrosensors, eines geomagnetischen Sensors, eines Azimutsensors, eines Höhensensors oder Ähnliches verwendet werden. Unter Verwendung der Ausrichtungserfassungseinheit 55 (Beschleunigungssensor, Gyrosensor, Azimutsensor) kann eine Bewegung der Digitalkamera 100 (zum Beispiel Schwenken, Neigen, Anheben, Stillstand) erfasst werden.
Ein Mikrofon 20 ist ein Mikrofon zum Sammeln der Töne um die Digitalkamera 100 herum, um als Töne des Bewegtbildes des VR-Bildes aufgezeichnet zu werden. Die Verbindungsschnittstelle 25 ist ein Verbindungsstecker mit einem HDMI@-Kabel, einem USB-Kabel oder Ähnlichem, so dass Bilder an die verbundene externe Einrichtung übertragen werden oder von dieser empfangen werden.
2A gibt ein Beispiel einer externen Ansicht bzw. Außenansicht einer Anzeigesteuerungseinrichtung 200 an, welche eine Art einer elektronischen Einrichtung ist. Eine Anzeige 205 ist eine Anzeigeeinheit zum Anzeigen von Bildern und verschiedenen Informationen. Wie später erwähnt wird, ist die Anzeige 25 mit einem Berührungsfeld bzw. einem berührungsempfindlichen Feld 206a integriert. Dadurch kann die Anzeigesteuerungseinrichtung 200 eine Berührungsoperation auf einer Anzeigeoberfläche der Anzeige 205 erfassen. Die Anzeigesteuerungseinrichtung 200 kann ein VR-Bild (einen VR-Inhalt) in dem VR-Format auf der Anzeige 205 anzeigen und wiedergeben.
Die Operationseinheit 206 umfasst das Berührungsfeld 206a, und Operationseinheiten 206b, 206c, 206d und 206e. Die Operationseinheit 206b ist eine Leistungsversorgungstaste, die eine Operation zum AN/AUS-Schalten der Leistungsversorgung der Anzeigesteuerungseinrichtung 200 annimmt. Die Operationseinheit 206c und die Operationseinheit 206d sind Lautstärketasten, um die Lautstärke der Töne, die von einer Tonausgabeeinheit 212 ausgegeben werden, zu erhöhen/zu verringern. Die Operationseinheit 206e ist eine Heim-Taste bzw. Start-Taste, um einen Heim-Bildschirm bzw. Start-Bildschirm auf der Anzeige 205 anzuzeigen. Ein Tonausgabeanschluss 212a ist ein Kopfhörerstecker und ist ein Anschluss zum Ausgeben der Töne an einen Kopfhörer, einen externen Lautsprecher oder Ähnliches. Ein Lautsprecher 212b ist ein interner Lautsprecher der Haupteinheit, um Töne auszugeben.
2B gibt ein Beispiel einer Konfiguration der Anzeigesteuerungseinrichtung 200 an. Die Anzeigesteuerungseinrichtung 200 kann unter Verwendung einer Anzeigevorrichtung eines Smartphones oder Ähnlichem konfiguriert sein. Mit einem internen Bus 250 sind eine CPU 201, ein Speicher 202, ein nichtflüchtiger Speicher 203, eine Bildverarbeitungseinheit 204, die Anzeige 205, eine Operationseinheit 206, eine Speichermediumsschnittstelle 207, eine externe Schnittstelle 209 und eine Kommunikationsschnittstelle 210 verbunden. Weiterhin sind die Tonausgabeeinheit 212 und eine Ausrichtungserfassungseinheit 213 ebenso mit dem internen Bus 250 verbunden. Jede Einheit, die mit dem internen Bus 250 verbunden ist, kann Daten mit jedem anderen über den internen Bus 250 austauschen.
Eine CPU 201 ist eine Steuerungseinheit, die die Anzeigesteuerungseinrichtung 200 allgemein steuert, und umfasst zumindest einen Prozessor oder eine Schaltung. Der Speicher 202 ist zum Beispiel aus einem RAM (z.B. ein flüchtiger Speicher unter Verwendung eines Halbleiterelements) gebildet. Die CPU 201 steuert jede Einheit der Anzeigesteuerungseinrichtung 200 unter Verwendung des Speichers 202 als ein Arbeitsspeicher gemäß einem Programm, das zum Beispiel in dem nichtflüchtigen Speicher 203 gespeichert ist. In dem nichtflüchtigen Speicher 203 werden Bilddaten, Audiodaten, andere Daten, verschiedene Programme für den Betrieb der CPU 201 und Ähnliches gespeichert. Der nichtflüchtige Speicher 203 besteht aus einem Flashspeicher, einem ROM oder Ähnlichem, zum Beispiel.
Basierend auf der Steuerung der CPU 201 führt die Bildverarbeitungseinheit 204 verschiedene Arten einer Bildverarbeitung bezüglich Bildern durch (zum Beispiel Bildern, die in dem nichtflüchtigen Speicher 203 und dem Speichermedium 208 gespeichert sind, Videosignalen, die über die externe Schnittstelle 209 beschafft werden, Bildern, die über die Kommunikationsschnittstelle 210 beschafft werden). Die Bildverarbeitung, die durch die Bildverarbeitungseinheit 204 durchgeführt wird, umfasst eine A/D-Umwandlungsverarbeitung, eine D/A-Umwandlungsverarbeitung, eine Kodierverarbeitung für Bilddaten, eine Komprimierungsverarbeitung, eine Dekodierverarbeitung, eine Vergrößerungs-/ Verkleinerungsverarbeitung (Größenänderung bzw. Größenanpassung), eine Rauschreduzierungsverarbeitung und eine Farbumwandlungsverarbeitung. Die Bildverarbeitungseinheit 204 führt ebenso verschiedene andere Arten einer Bildverarbeitung durch, wie etwa eine Panoramaentwicklung, eine Abbildungs- bzw. Zuordnungsverarbeitung („mapping processing“) und Umwandlung eines VR-Bildes, das ein Bild mit einem breiten Bereich ist (inklusive aber nicht beschränkt auf ein omnidirektionales Bild), das Daten in einem breiten Bereich aufweist. Die Bildverarbeitungseinheit 204 kann durch einen dedizierten Schaltungsblock konfiguriert sein, um eine spezifische Bildverarbeitung durchzuführen. In Abhängigkeit der Art der Bildverarbeitung kann die CPU 201 die Bildverarbeitung gemäß einem Programm ohne Verwendung der Bildverarbeitungseinheit 204 durchführen.
Die Anzeige 205 zeigt Bilder, Bildschirme einer graphischen Benutzeroberfläche (GUI, „graphical user interface“), die eine GUI konfigurieren, und Ähnliches basierend auf der Steuerung der CPU 201 an. Die CPU 201 erzeugt Anzeigesteuerungssignale gemäß einem Programm und steuert jede Einheit der Anzeigesteuerungseinrichtung 200 (steuert derart, dass Videosignale zum Anzeigen von Bildern auf der Anzeige 205 erzeugt und an die Anzeige 205 ausgegeben werden). Die Anzeige 205 zeigt Bilder basierend auf den Videosignalen an. Die Konfiguration, die durch die Anzeigesteuerungseinrichtung 200 selbst bereitgestellt wird, könnte nur aus den Einheiten bis zu der Schnittstelle zum Ausgeben der Videosignale zum Anzeigen der Bilder auf der Anzeige 205 bestehen und die Anzeige 205 könnte durch einen extern verbundenen Monitor (zum Beispiel, einen TV) konfiguriert sein.
Die Operationseinheit 206 ist eine Eingabeeinrichtung, um eine Benutzeroperation anzunehmen. Die Operationseinheit 206 umfasst eine Textinformationseingabeeinrichtung (zum Beispiel eine Tastatur), eine Zeigeeinrichtung (zum Beispiel eine Maus, ein Berührungsfeld), Tasten, ein Wählrad bzw. Einstellrad, einen Joystick, einen Berührungssensor, und eine Berührungsfläche. Das Berührungsfeld ist eine flache Eingabeeinrichtung, die auf der Anzeige 205 überlagert ist, und von der Koordinateninformationen gemäß der Berührungsposition ausgegeben werden.
In der Speichermediumsschnittstelle 207 kann ein Speichermedium 208 (Speicherkarte, CD, DVD) installiert sein. Basierend auf der Steuerung der CPU 201 kann die Speichermediumsschnittstelle 207 Daten von dem installierten Speichermedium 208 lesen oder Daten auf das Speichermedium 208 schreiben. Die externe Schnittstelle 209 ist eine Schnittstelle zur Verbindung mit einer externen Einrichtung drahtlos oder über ein Kabel, und um Videosignale und Audiosignale einzugeben/auszugeben. Die Kommunikationsschnittstelle 210 ist eine Schnittstelle zur Kommunikation mit einer externen Einrichtung, einem Netzwerk 211 oder Ähnlichen, und sendet/empfängt verschiedene Daten, wie etwa Dateien und Befehle.
Die Tonausgabeeinheit 212 gibt Töne von Bewegtbildern und Musikdaten, Betriebstöne, Klingeltöne und verschiedene Benachrichtigungstöne aus. Die Tonausgabeeinheit 212 umfasst den Tonausgabeanschluss 212a (einen Anschluss zum Verbinden eines Kopfhörers oder Ähnlichem) und den Lautsprecher 212b. Die Tonausgabeeinheit 212 kann Töne über eine drahtlose Kommunikation ausgeben.
Eine Ausrichtungserfassungseinheit 213 erfasst eine Ausrichtung der Anzeigesteuerungseinrichtung 200 mit Bezug auf die Schwerkraftrichtung und die Neigung der Ausrichtung von jeder Achse eines Gierens, Rollens und Nickens. Basierend auf der durch die Ausrichtungserfassungseinheit 213 erfassten Ausrichtung kann erfasst werden, ob die Anzeigesteuerungseinrichtung 200 horizontal gehalten wird, vertikal gehalten wird, nach oben gedreht ist, nach unten gedreht ist, in der diagonalen Ausrichtung ist, oder Ähnliches. Für die Ausrichtungserfassungseinheit 213 kann zumindest einer eines Beschleunigungssensors, eines Gyrosensors, eines geomagnetischen Sensors, eines Azimutsensors, eines Höhensensors oder Ähnliches verwendet werden, oder könnte eine Kombination einer Vielzahl von solchen Sensoren verwendet werden.
Die Operationseinheit 206 umfasst das Berührungsfeld 206a. Die CPU 201 kann die folgenden Operationen auf dem Berührungsfeld 206a oder Zustände davon erfassen.

• ein Finger oder ein Stift, der das berührungsempfindliche Feld 206a nicht berührt, berührt das Berührungsfeld 206a, das heißt, der Start einer Berührung (nachstehend „Touch-Down“ bzw. Aufsetzen)
• ein Finger oder ein Stift berührt das berührungsempfindliche Feld 206a (nachstehend „Touch-On“ bzw. Berührung)
• ein Finger oder ein Stift bewegt sich auf dem Berührungsfeld 206a in dem berührten Zustand (nachstehend „Touch-Move“ bzw. Berührungsbewegung)
• ein Finger oder ein Stift, der das Berührungsfeld 206a berührt, wird von dem Berührungsfeld 206a freigegeben bzw. abgehoben, das heißt das Ende der Berührung (nachstehend „Touch-Up“ bzw. Abheben)
• das Berührungsfeld 206a wird durch nichts berührt (nachstehend „Touch-Off“ bzw. keine Berührung)

Wenn ein „Touch-Down“ bzw. Aufsetzen erfasst wird, wird gleichzeitig ein „Touch-On“ bzw. eine Berührung erfasst. Solange kein „Touch-Up“ bzw. Abheben nach dem „Touch-Down“ bzw. Aufsetzen erfasst wird, wird kontinuierlich ein „Touch-On“ bzw. eine Berührung erfasst. In dem Fall, in dem eine Berührungsbewegung ebenso erfasst wird, wird gleichzeitig ein „Touch-Down“ bzw. eine Berührung erfasst. Auch wenn eine Berührung erfasst wird, wird eine Berührungsbewegung nicht erfasst, solange sich die Berührungsposition nicht bewegt. Wenn ein Abheben eines Fingers oder eines Stiftes erfasst wird und das Berührungsfeld 206a nicht berührt wird, wird ein „Touch-Off“ bzw. keine Berührung erfasst.
Diese Operationen/Zustände und Koordinaten der Positionen auf dem Berührungsfeld 206a, die ein Finger oder ein Stift berührt, werden der CPU 201 über den internen Bus mitgeteilt. Basierend auf den mitgeteilten Informationen bestimmt die CPU 201, welche Operation (Berührungsoperation) auf dem Berührungsfeld 206a durchgeführt wurde. Für eine Berührungsbewegung kann ebenso die Bewegungsrichtung des Fingers oder des Stiftes, der sich auf dem Berührungsfeld 206a bewegt, für die vertikale Komponente und die horizontale Komponente auf dem Berührungsfeld 206a entsprechend bestimmt werden, basierend auf der Änderung der positionellen Koordinaten. In dem Fall, in dem eine Berührungsbewegung für zumindest eine vorbestimmte Entfernung bestimmt wird, wird bestimmt, dass eine Schiebeoperation bzw. Wischoperation durchgeführt wurde. Eine Operation des schnellen Bewegens eines Fingers über eine bestimmte Entfernung während einer Berührung des Berührungsfeldes 206a und dann des Freigebens des Fingers wird als „Flick“ bzw. „Schnippen“ bezeichnet. Mit anderen Worten ist ein Schnippen eine Operation einer plötzlichen schnellen Bewegung (Schnippen) des Fingers auf dem Berührungsfeld 206a. In einem Fall, in dem eine Berührungsbewegung für zumindest eine vorbestimmte Entfernung bei einer vorbestimmten Geschwindigkeit oder schneller erfasst wird, und ein Abheben unmittelbar danach erfasst wird, wird bestimmt, dass ein Schnippen durchgeführt wurde (es wird bestimmt, dass ein Schnippen nach der Wischoperation aufgetreten ist).
Weiterhin wird eine Berührungsoperation des Berührens einer Vielzahl von Orten (zum Beispiel zweier Punkte) gleichzeitig und aufeinander Zubewegens dieser Berührungspositionen als „Pinch-In“ bzw. Zuziehen bezeichnet, und wird die Berührungsoperation des voneinander Wegbewegens dieser Berührungspositionen als „Pinch-Out“ bzw. Aufziehen bezeichnet. Pinch-In und Pinch-Out bzw. Zuziehen und Aufziehen werden gemeinsam als „Pinch Operation“ oder Zieh-Operation (oder einfach „Ziehen“) bezeichnet. Für das Berührungsfeld 206a kann irgendeine der verschiedenen Arten von Berührungsfeldern verwendet werden, wie etwa ein Typ eines resistiven Films, ein elektrostatisch-kapazitiver Typ, ein akustischer Oberflächenwellentyp, ein Infrarot-Typ, ein elektromagnetischer Induktionstyp, ein Bilderkennungstyp, und ein Photosensortyp. Einige Typen erkennen eine Berührung, wenn das Berührungsfeld tatsächlich berührt wird, während andere eine Berührung erkennen, wenn sich ein Finger oder ein Stift dem Berührungsfeld nähert, aber beide Typen können verwendet werden.
Das Speichermedium 208 speichert Daten, wie etwa Bilder, die auf der Anzeige 205 anzuzeigen sind. Die CPU 201 zeichnet Daten über die Speichermediumsschnittstelle 207 auf dem Speichermedium 208 auf und liest Daten über die Speichermediumsschnittstelle 207 von dem Speichermedium 208 aus.
Die externe Schnittstelle 209 ist eine Schnittstelle zum Durchführen einer Datenkommunikation mit einer externen Einrichtung dadurch, dass ermöglicht wird, dass ein USB-Kabel oder Ähnliches in die Anzeigesteuerungseinrichtung 200 eingesteckt wird. Die Kommunikationsschnittstelle 210 ist eine Schnittstelle zum Durchführen einer Datenkommunikation mit einem externen Netzwerk 211 über eine drahtlose Kommunikation.
Die Tonausgabeeinheit 212 gibt den Ton des Inhalts, der in der Anzeigesteuerungseinrichtung 200 wiedergegeben bzw. reproduziert wird, aus, zum Beispiel. Die Ausrichtungserfassungseinheit 213 erfasst die Ausrichtung der Anzeigesteuerungseinrichtung 200 und teilt die Ausrichtungsinformationen der CPU 201 mit.
Nun wird eine Anzeigesteuerungsverarbeitung zum Einstellen einer Extrahierungsreferenzposition (Betrachtungspunktposition) zum Extrahieren (Auswählen) eines Teiles eines Bildes bei einem Betrachtungswinkel des VR-Inhalts, den die Digitalkamera 100 durch eine Bildaufnahme beschafft hat, mit Bezug auf 3A bis 3C und 4 beschrieben. Der VR-Inhalt kann hier ein omnidirektionales Bild oder ein omnidirektionales Panoramabild sein. Der VR-Inhalt kann ein Bild sein, das durch eine Kamera aufgenommen wird, die ein Subjekt bzw. Motiv in einem Sichtfeldbereich (Betrachtungswinkel) von 180° oder weniger in der horizontalen Richtung (horizontaler Winkel, Azimutwinkel) und von 180° oder weniger in der vertikalen Richtung mit der horizontalen Richtung in der Mitte aufnehmen kann. Der VR-Inhalt kann ein Standbild oder ein Bewegtbild sein, solange ein Bild (Rahmenbild) jeder Wiedergabezeit (Rahmen) entspricht. In der folgenden Beschreibung wird angenommen, dass der VR-Inhalt ein Bewegtbildinhalt ist, der eine Vielzahl von Rahmenbildern umfasst. Jedes Rahmenbild entspricht der Wiedergabezeit in der Wiedergabeperiode (Wiedergabedauer) des VR-Inhalts. Der VR-Inhalt wird durch sequenzielles Anzeigen einer Vielzahl von Rahmenbildern auf dem Bildschirm gemäß der Wiedergabezeit wiedergegeben.
Die Daten über die Extrahierungsreferenzposition, die mit jedem Rahmen (jeder Wiedergabezeit) des VR-Inhalts verknüpft sind, wurden in Positionseinstellungsdaten gespeichert. Die Positionseinstellungsdaten sind Daten in einem Tabellenformat, wie es zum Beispiel in 3C angegeben ist. Die Positionseinstellungsdaten sind in dem Speicher 202 gespeichert. In den Positionseinstellungsdaten, auch in einem Fall, in dem der Benutzer die Extrahierungsreferenzposition nicht spezifiziert, wird ein vorbestimmter Anfangswert (zum Beispiel eine Mittelposition des VR-Inhalts) mit jedem Rahmen als die Extrahierungsreferenzposition verknüpft.
Anzeigesteuerungsbildschirm
3A ist ein Anzeigesteuerungsbildschirm 300, der auf der Anzeige 205 der Anzeigesteuerungseinrichtung 200 angezeigt wird, um die Anzeigesteuerungsverarbeitung durchzuführen.
Der Anzeigesteuerungsbildschirm 300 umfasst einen Wiedergabeanzeigebereich 301 und einen Zeitlinienbereich 302. Der Wiedergabeanzeigebereich 301 zeigt eine Betrachtungswinkelregion an, die durch Extrahieren (Auswählen) eines Bereichs (eines Teiles des Rahmenbildes), der um die Extrahierungsreferenzposition zentriert ist, von dem Rahmenbild des VR-Inhalts, der momentan wiedergegeben wird (ein Rahmenbild zu der momentanen Wiedergabezeit), erzeugt wird. Der Zeitlinienbereich 302 entspricht der Wiedergabeperiode des VR-Inhalts und gibt eine zeitliche Änderung (Änderung gemäß dem Ablauf der Wiedergabezeit) des VR-Inhalts in zumindest einem Teil der Wiedergabeperiode an.
In dem Wiedergabeanzeigebereich 301 wird ein Rahmenbild entsprechend der Wiedergabezeit des VR-Inhalts angezeigt, und wenn die Extrahierungsreferenzposition, die durch den Benutzer spezifiziert ist (die Extrahierungsreferenzposition, die durch den Benutzer spezifiziert ist, wird nachstehend als eine „spezifizierte Position“ bezeichnet) für dieses Rahmenbild (diesen Rahmen) eingestellt wurde, wird ebenso ein Zeiger 303 an dieser spezifizierten Position angezeigt. Anstatt eine spezifizierte Position in einem Rahmen (einem Rahmenbild) einzustellen, kann der Benutzer eine gemeinsame spezifizierte Position für eine Periode (einen Block), die (der) aus einer Vielzahl von kontinuierlichen Rahmenbildern besteht, einstellen. In einer Periode, für die eine spezifizierte Position eingestellt ist (eine „spezifizierte Periode“ genannt), ist die Extrahierungsreferenzposition, die mit allen Rahmen, die in dieser spezifizierten Periode umfasst sind, verknüpft ist, auf die spezifizierte Position festgelegt.
Hier wird der Zeiger 303 an der Mittelposition des extrahierten Bildes (der Betrachtungswinkelregion) in dem Ausführungsbeispiel 1 angezeigt, aber könnte an Koordinaten einer Vielzahl von Positionen, wie etwa zwei entgegengesetzten Ecken der Betrachtungswinkelregion, angezeigt werden. Der Zeiger 303 könnte ein beliebiges Anzeigeelement sein, solange das Element in dem Wiedergabeanzeigebereich 301 angeben kann, dass der Rahmen, der momentan wiedergegeben wird, in der spezifizierten Periode enthalten ist.
In dem Zeitlinienbereich 302 wird ein Rahmen (eine Wiedergabezeit) von dem VR-Inhalt für jede vorbestimmte Anzahl von Rahmen (vorbestimmte Periode), ausgewählt, zum Beispiel, und diese Bilder der Vielzahl von ausgewählten Rahmen (Rahmenbildern) werden in der Reihenfolge der Rahmen (in der Reihenfolge der Wiedergabezeiten) angezeigt. Durch Anordnen der Vielzahl von Rahmen auf diese Weise, kann die zeitliche Änderung des VR-Inhalts in zumindest einem Teil der Wiedergabeperiode ausgedrückt werden. In dem Zeitlinienbereich 302 wird für ein Bild des ausgewählten Rahmens nur die Betrachtungswinkelregion, die um die Extrahierungsreferenzposition, die mit diesem Rahmen verknüpft ist, zentriert ist, angezeigt. In dem Zeitlinienbereich 302 wird ein Bild eines späteren Rahmens angezeigt, wenn die Anzeigeposition näher nach rechts rückt. Mit anderen Worten, in dem Zeitlinienbereich 302 ist die Periode der Wiedergabezeit später, je näher die Anzeigeposition nach rechts rückt.
In einem Fall, in dem eine Periode (spezifizierte Periode), in der die Beibehaltung der Extrahierungsreferenzposition eingestellt ist, in dem Zeitlinienbereich 302 vorhanden ist, wird die spezifizierte Periode angezeigt, so dass diese Periode von einer Periode, in der die Beibehaltung der Extrahierungsreferenzposition nicht eingestellt ist (eine „nicht spezifizierte Periode“ genannt) getrennt werden kann. In Ausführungsbeispiel 1 füllt die Anzeigesteuerungseinrichtung 200 die spezifizierte Periode 304 auf, so dass das Rahmenbild entsprechend der spezifizierten Periode 304 durchsichtig erscheint, wie in 3A angegeben ist, aber könnte die spezifizierte Periode 304 durch ein anderes Verfahren hervorheben. Die Anzeigesteuerungseinrichtung 200 könnte die nicht spezifizierte Periode anstelle der spezifizierten Periode 304 hervorheben.
Weiterhin könnte die Anzeigesteuerungseinrichtung 200 auf dem Anzeigesteuerungsbildschirm 300 eine Hinzufügungstaste 305 anzeigen, um eine spezifizierte Position für den Rahmen (den Wiedergaberahmen), der angezeigt wird und in dem Wiedergabeanzeigebereich 301 wiedergegeben wird, einzustellen. In dem Fall, in dem die spezifizierte Position in dem Wiedergaberahmen in dem Wiedergabeanzeigebereich 301 auf dem Anzeigesteuerungsbildschirm 300 eingestellt ist, kann die Anzeigesteuerungseinrichtung 200 eine Kopieren-Taste 306 anzeigen, um diese spezifizierte Position in anderen Rahmen widerzuspiegeln. Zum Beispiel ist die spezifizierte Periode in dem Zeitlinienbereich 302 gemäß der Benutzeroperation eingestellt, und durch Berühren der Kopieren-Taste 306 wird die spezifizierte Position kopiert und für eine Vielzahl von Rahmen (Rahmenbildern), die in der spezifizierten Periode 304 umfasst sind, eingestellt.
Es wird hier angenommen, dass die spezifizierte Position für einen Rahmen (Wiedergaberahmen) eingestellt ist, der in dem Wiedergabeanzeigebereich 301 gemäß der Benutzeroperation angezeigt und wiedergegeben wird, und eine unterschiedliche spezifizierte Position für einen unterschiedlichen Wiedergaberahmen eingestellt ist. In diesem Fall werden für eine Vielzahl von Rahmen (Rahmenbildern), die zwischen diesen zwei Rahmen vorhanden sind, die Positionen von diesen auf der Spur, die die spezifizierten Positionen von diesen zwei Rahmen (Rahmenbildern) verbinden, für jeden Rahmen berechnet und automatisch eingestellt.
Die Anzeigesteuerungseinrichtung 200 kann ebenso eine Erzeugungstaste 307 zum Erzeugen eines Bewegtbildes durch Extrahieren der Betrachtungswinkelregion von jedem Rahmen von dem VR-Inhalt auf dem Anzeigesteuerungsbildschirm 300 anzeigen. Durch Berühren von verschiedenen Tasten (Hinzufügungstaste 305, Kopieren-Taste 306, Erzeugungstaste 307), die auf der Anzeige 205 angezeigt werden, kann der Benutzer Anweisungen entsprechend den verschiedenen Tasten an die Anzeigesteuerungseinrichtung 200 senden. Weiterhin, nachdem die Vielzahl von spezifizierten Perioden ausgewählt ist, kann die Anzeigesteuerungseinrichtung 200 (die CPU 201) die Zeitdauer der Vielzahl von ausgewählten spezifizierten Perioden steuern, so dass diese die gleiche Länge aufweisen, wenn eine spezifische Taste gedrückt wird. Des Weiteren, nachdem die Vielzahl von spezifizierten Perioden ausgewählt ist, könnte die CPU 201 die spezifizierten Positionen, die mit der Vielzahl von ausgewählten spezifizierten Perioden verknüpft sind, steuern, so dass es die gleiche Position ist, wenn eine spezifische Taste gedrückt wird.
Weiterhin könnte der Bereich der spezifizierten Periode 304 gemäß der Ziehoperation (Aufziehen oder Zuziehen), die bezüglich der spezifizierten Periode 304, die in dem Zeitlinienbereich 302 angezeigt wird, durchgeführt wird, veränderbar sein, zum Beispiel. Des Weiteren könnte die spezifizierte Position, die mit dem Rahmen des Rahmenbildes verknüpft ist, das in dem Wiedergabeanzeigebereich 301 angezeigt wird, gemäß der Berührungsbewegung, die mit dem Zeiger 303 durchgeführt wird, veränderbar sein. In diesem Fall, wenn die spezifizierte Position, die mit diesem Rahmen verknüpft ist, geändert wird, ändert die CPU 201 die spezifizierten Positionen auf die gleiche Weise für alle der Rahmen in der spezifizierten Periode, zu der dieser Rahmen gehört.
Anzeigesteuerungsverarbeitung
4 ist ein Ablaufdiagramm, das die Anzeigesteuerungsverarbeitung angibt. Die Verarbeitung dieses Ablaufdiagramms beginnt, wenn bestimmt ist, dass eine vorbestimmte Operation auf der Operationseinheit 206 durchgeführt wird. Die vorbestimmte Operation kann hier eine Operation des Drückens der Hinzufügungstaste 305 zum Einstellen einer neuen spezifizierten Position sein. Die vorbestimmte Operation kann ebenso eine Operation zum Drücken der Kopieren-Taste 306 sein, um Informationen über eine spezifizierte Position, die für eine bestimmte Periode (Rahmen) eingestellt ist, für eine andere Periode (Rahmen) einzustellen. Die vorbestimmte Operation kann ebenso eine Ziehoperation, die in der spezifizierten Periode 304, die auf dem Zeitlinienbereich 302 angezeigt wird, durchgeführt wird, oder eine Berührungsbewegung sein, die bezüglich des Zeigers 303 durchgeführt wird.
Die Verarbeitung dieses Ablaufdiagramms wird durch die CPU 201 implementiert, die ein Programm, das in dem nichtflüchtigen Speicher 203 gespeichert ist, ausführt.
Im Folgenden wird angenommen, dass es sich bei dem VR-Inhalt um Bewegtbilder handelt, die eine Wiedergabeperiode von 100 Rahmen (Rahmen f1 bis f100) aufweisen. Mit anderen Worten ist der Startpunktrahmen des VR-Inhalts der Rahmen f1 und ist der Endpunktrahmen des VR-Inhalts der Rahmen f100.
In Schritt S401 beschafft die CPU 201 Daten (Operationsdaten) gemäß der Benutzeroperation. Die Operationsdaten umfassen hier Daten über die spezifizierte Periode (Periode, in der die Extrahierungsreferenzposition beibehalten wird), und Daten über die spezifizierte Position, die mit dieser spezifizierten Periode verknüpft ist. Der Führungsrahmen (erste Rahmen) in der spezifizierten Periode wird ein „Startpunktrahmen“ genannt und der letzte Rahmen in der spezifizierten Periode wird ein „Endpunktrahmen“ genannt. Die Daten der spezifizierten Periode können Daten über die zwei Rahmen des Startpunktrahmens und des Endpunktrahmens sein, da der Bereich der spezifizierten Periode dadurch erkannt werden kann.
Wenn zum Beispiel der Benutzer eine Berührungsbewegung auf dem Zeiger 303 ausführt und die spezifizierte Position in dem Wiedergaberahmen (dem Rahmenbild, das sich momentanen in dem Wiedergabeanzeigebereich 201 befindet) ändert, beschafft die CPU 201 Daten über die aktualisierte spezifizierte Position. Dann, wenn der Benutzer die Kopieren-Taste 306 in dem Zeitlinienbereich berührt, werden die Daten über die spezifizierte Periode von dem Startpunktrahmen zu dem Endpunktrahmen, welche diesem Rahmenbild entsprechen, beschafft.
In Schritt S401 kann eine Vielzahl von Operationsdaten beschafft werden. In dem Fall zum Beispiel, in dem eine Operation zum Ändern der spezifizierten Positionen und spezifizierten Perioden, die mit dem VR-Inhalt verknüpft sind, gebündelt ausgeführt wird (zum Beispiel eine Operation zum Einstellen der spezifizierten Positionen, die mit der Vielzahl von spezifizierten Perioden verknüpft sind, auf die gleiche Position), beschafft die CPU 201 eine Vielzahl von Operationsdaten.
Nachstehend wiederholt die CPU 201 in Schritten S402 bis S415 die Verarbeitung unabhängig für alle Operationsdaten, die in Schritt S401 beschafft werden. Die Operationsdaten, die hier verarbeitet werden, werden „Zieldaten“ genannt. Die Zieldaten sind Operationsdaten, die die spezifizierte Periode von „dem Startpunktrahmen ft zu dem Endpunktrahmen ft“ aufweisen.
In Schritt S402 speichert die CPU 201 die Zieldaten in einer spezifizierten Datengruppe. Wie in 3B angegeben ist, kann die spezifizierte Datengruppe hier eine oder eine Vielzahl von spezifizierten Daten umfassen (zum Beispiel spezifizierte Daten 311 bis 313 in dem Fall von 3B). Jede der einen oder der Vielzahl von spezifizierten Daten enthält Daten über die spezifizierten Positionen und Daten über die spezifizierte Periode, in der die Extrahierungsreferenzposition bei der spezifizierten Position beibehalten wird. Da die spezifizierte Position und die spezifizierte Periode miteinander verknüpft sind und als die spezifizierten Daten in der spezifizierten Datengruppe gespeichert sind, wird für diese Daten eingestellt, dass die Extrahierungsreferenzposition während dieser spezifizierten Periode beibehalten (fixiert) wird. Die spezifizierte Datengruppe kann Daten in einem Datentabellenformat sein (spezifizierte Datentabelle), wie in 3B angegeben ist, oder kann Daten in einem Feldformat sein (spezifiziertes Datenfeld).
In Schritt S403 bestimmt die CPU 201, ob die spezifizierte Datengruppe vorhergehende Daten umfasst. „Vorhergehende Daten“ betrifft hier die spezifizierten Daten, deren Startpunktrahmen ein Rahmen vor dem Startpunktrahmen ft der Zieldaten ist. Wenn zum Beispiel der Startpunktrahmen ft der Zieldaten der Rahmen f14 ist, umfasst die spezifizierte Datengruppe, die in 3B angegeben ist, die spezifizierten Daten 311 (spezifizierten Daten mit dem Startpunktrahmen f10, der vor dem Startpunktrahmen ft ist) als die vorhergehenden Daten. Die Verarbeitung geht über zu Schritt S404, wenn bestimmt ist, dass die spezifizierte Datengruppe die vorhergehenden Daten umfasst. Die Verarbeitung geht über zu Schritt S408, wenn bestimmt ist, dass die spezifizierte Datengruppe die vorhergehenden Daten nicht umfasst.
In Schritt S404 bestimmt die CPU 201, ob irgendwelche der spezifizierten Perioden der vorhergehenden Daten, die in der spezifizierten Datengruppe umfasst sind, die spezifizierte Periode der Zieldaten überlappen. Dass sich „zwei spezifizierte Perioden überlappen“ bezieht sich hier auf den Zustand, in dem zwei spezifizierte Perioden zumindest einen gleichen Rahmen teilen. Zum Beispiel teilen sich die spezifizierte Periode der Rahmen f5 bis F10 und die spezifizierte Periode der Rahmen f10 bis f15 den Rahmen f10 und folglich überlappen sich diese spezifizierten Perioden. Wenn die spezifizierte Periode der Zieldaten gleich Rahmen f14 bis f18 ist und die vorhergehenden Daten die spezifizierten Daten 311 sind (spezifizierte Daten, deren spezifizierte Periode gleich f10 bis f15 ist), überlappen sich diese zwei spezifizierten Perioden. Die Verarbeitung geht über zu Schritt S405, wenn bestimmt ist, dass irgendwelche der spezifizierten Perioden der vorhergehenden Daten mit der spezifizierten Periode der Zieldaten überlappen. Die Verarbeitung geht über zu Schritt S406, wenn bestimmt ist, dass keine der spezifizierten Perioden der vorhergehenden Daten mit der spezifizierten Periode der Zieldaten überlappen.
Die Verarbeitung könnte nicht nur in dem Fall, in dem irgendwelche der spezifizierten Perioden der vorhergehenden Daten mit der spezifizierten Periode der Zieldaten überlappen, zu S405 übergehen, sondern auch in dem Fall, in dem irgendwelche der spezifizierten Perioden der vorhergehenden Daten und die spezifizierte Periode der Zieldaten kontinuierlich sind. Zum Beispiel sind die spezifizierte Periode der Rahmen f5 bis f9 und die spezifizierte Periode der Rahmen f10 bis f15 kontinuierlich, da keine anderen Rahmen zwischen diesen zwei spezifizierten Perioden vorhanden sind.
In Schritt S405 verschiebt die CPU 201 den Startpunktrahmen ft der Zieldaten um den Betrag einer vorbestimmten Anzahl von Rahmen nach hinten, um die Überlappung (oder die Kontinuität) der spezifizierten Periode der Zieldaten und der spezifizierten Periode der vorhergehenden Daten aufzuheben. In dem Fall zum Beispiel, in dem die Rahmen f14 bis f20, die die spezifizierte Periode der Zieldaten sind, mit den Rahmen f10 bis f15 überlappen, welche die spezifizierte Periode der vorhergehenden Daten (spezifizierten Daten 311) sind, verschiebt die CPU 201 den Startpunktrahmen ft der Zieldaten um drei Rahmen nach hinten. Mit anderen Worten ändert die CPU 201 den Startpunktrahmen ft der Zieldaten zu Rahmen f17. Die CPU 201 aktualisiert hier die spezifizierten Daten (spezifizierten Daten entsprechend den Zieldaten), die in der spezifizierten Datengruppe gespeichert sind, gemäß den Zieldaten, deren Startzeitpunktrahmen (spezifizierte Periode) geändert wurde.
Als eine Alternative kann die CPU 201 den Endpunktrahmen der spezifizierten Periode der vorhergehenden Daten („der überlappenden vorhergehenden Daten“), die die spezifizierte Periode der Zieldaten überlappen (oder zu dieser kontinuierlich ist), um einen Betrag einer vorbestimmten Anzahl an Rahmen nach vorne verschieben. Die überlappenden vorhergehenden Daten werden in der spezifizierten Datengruppe gespeichert und folglich wird die spezifizierte Periode (der Endpunktrahmen) der überlappenden vorhergehenden Daten in der spezifizierten Datengruppe aktualisiert.
Das Ziel der Änderung (welcher des Startpunktrahmens ft der Zieldaten oder des Endpunktrahmens der überlappenden vorhergehenden Daten zu ändern ist) und die vorbestimmte Anzahl von Rahmen kann hier im Voraus bestimmt werden oder kann durch eine Operation eingestellt werden. Die CPU 201 kann den Startpunkrahmen ft der Zieldaten oder den Endpunktrahmen der überlappenden vorhergehenden Daten verschieben, bis die Überlappung (oder die Kontinuität) der spezifizierten Periode der Zieldaten und der spezifizierten Periode der vorhergehenden Daten aufgehoben ist. In Ausführungsbeispiel 1 ändert die CPU 201 eine der zwei spezifizierten Perioden, aber beide dieser zwei Perioden könnten geändert werden oder keine könnte geändert werden. Weiterhin könnte die CPU 201 eine Steuerung ausführen, so dass der Benutzer die Operationsdaten (Zieldaten), die mit irgendwelchen spezifizierten Daten in der spezifizierten Datengruppe überlappen (oder kontinuierlich sind), nicht einstellen kann.
In Schritt S406 berechnet (bestimmt) die CPU 201 die Extrahierungsreferenzpositionen der Rahmen („dazwischenliegenden Rahmen“) zwischen dem Endpunktrahmen der überlappenden vorhergehenden Daten und dem Startpunktrahmen ft der Zieldaten. Die CPU 201 berechnet hier die Extrahierungsreferenzpositionen der dazwischenliegenden Rahmen, so dass die Extrahierungsreferenzposition sich auf einer Spur, die die spezifizierte Position der überlappenden vorhergehenden Daten und die spezifizierte Position der Zieldaten verbindet, bei einer konstanten Geschwindigkeit von dem Endpunktrahmen der überlappenden vorhergehenden Daten zu dem Startpunktrahmen ft bewegt (zusammen mit dem Ablauf der Wiedergabezeit), zum Beispiel. Als eine Alternative könnte die CPU 201 die Extrahierungsreferenzpositionen der dazwischenliegenden Rahmen derart berechnen, dass sich die Extrahierungsreferenzposition auf einer Spur, die die spezifizierte Position der überlappenden vorhergehenden Daten und die spezifizierte Position der Zieldaten verbindet, bei einer konstanten Geschwindigkeit von dem Startpunktrahmen der dazwischenliegenden Rahmen zu dem Endpunktrahmen der dazwischenliegenden Rahmen bewegt (zusammen mit dem Ablauf der Wiedergabezeit). Diese Bewegungsgeschwindigkeit der Extrahierungsreferenzposition ist nicht auf die konstante Geschwindigkeit begrenzt, sondern könnte durch die Benutzer beliebig eingestellt werden.
In Schritt S407 speichert die CPU 201 jede Extrahierungsreferenzposition der dazwischenliegenden Rahmen, die in Schritt S406 berechnet werden, in den Positionseinstellungsdaten. Mit anderen Worten aktualisiert die CPU 201 jede Extrahierungsreferenzposition der dazwischenliegenden Rahmen in den Positionseinstellungsdaten auf jede Extrahierungsreferenzposition, die in Schritt S406 berechnet wird.
In Schritt S408 berechnet (bestimmt) die CPU 201 die Extrahierungsreferenzposition von jedem Rahmen von dem Start von dem Startpunktpunktrahmen f1 zu dem Rahmen ft-1 (vorhergehender Rahmen des Startpunktrahmens ft der Zieldaten) des VR-Inhalts. Hier könnte die Extrahierungsreferenzposition von jedem Rahmen auf die spezifizierte Position der Zieldaten eingestellt werden oder könnte die Extrahierungsreferenzposition des Rahmens f1 sein, die in den Positionseinstellungsdaten im Voraus gespeichert ist. Die CPU 201 kann jede Extrahierungsreferenzposition der Rahmen f1 bis ft-1 entsprechend berechnen, so dass sich die Extrahierungsreferenzposition von der Extrahierungsreferenzposition des Rahmens f1, die in den Positionseinstellungsdaten gespeichert ist, zu der spezifizierten Position der Zieldaten bei einer konstanten Geschwindigkeit von dem Rahmen f1 zu ft bewegt. Dann aktualisiert die CPU 201 jede Extrahierungsreferenzposition der Rahmen f1 bis ft-1 in den Positionseinstellungsdaten entsprechend auf die berechnete Extrahierungsreferenzposition.
In Schritt S409 bestimmt die CPU 201, ob die spezifizierte Datengruppe die nachfolgenden Daten umfasst. Die „nachfolgenden Daten“ beziehen sich hier auf die spezifizierten Daten, deren Endpunktrahmen ein Rahmen nach dem Endpunktrahmen der Zieldaten ist. Wenn zum Beispiel der Endpunktrahmen ft' der Zieldaten der Rahmen f30 ist, umfasst die spezifizierte Datengruppe, die in 3B angegeben ist, die spezifizierten Daten 313 (die spezifizierten Daten mit dem Endpunktrahmen f33, der vor dem Endpunktrahmen ft liegt) als die nachfolgenden Daten. Die Verarbeitung geht über zu Schritt S410, wenn bestimmt ist, dass die spezifizierte Datengruppe die nachfolgenden Daten umfasst. Die Verarbeitung geht über zu Schritt S414, wenn bestimmt ist, dass die spezifizierte Datengruppe die nachfolgenden Daten nicht umfasst.
In Schritt S410 bestimmt die CPU 201, ob irgendeine der spezifizierten Perioden der nachfolgenden Daten, die in der spezifizierten Datengruppe enthalten sind, mit der spezifizierten Periode der Zieldaten überlappt. Die Verarbeitung geht über zu Schritt S411, wenn bestimmt ist, dass irgendeine der spezifizierten Perioden der nachfolgenden Daten mit der spezifizierten Periode der Zieldaten überlappt. Die Verarbeitung geht über zu Schritt S412, wenn bestimmt ist, dass keine der spezifizierten Perioden der nachfolgenden Daten mit der spezifizierten Periode der Zieldaten überlappt.
Die Verarbeitung kann zu S411 nicht nur dann übergehen, wenn irgendeine der spezifizierten Perioden der nachfolgenden Daten mit der spezifizierten Periode der Zieldaten überlappt, sondern ebenso in dem Fall, in dem irgendeine der spezifizierten Perioden der nachfolgenden Daten und die spezifizierte Periode der Zieldaten kontinuierlich sind.
In Schritt S411 verschiebt die CPU 201 den Endpunktrahmen ft' der Zieldaten um den Betrag einer vorbestimmten Anzahl von Rahmen nach vorne, um die Überlappung (Kontinuität) der spezifizierten Periode der Zieldaten und der spezifizierten Periode der nachfolgenden Daten aufzuheben. Die CPU 201 aktualisiert hier die spezifizierten Daten (die spezifizierten Daten entsprechend den Zieldaten), die in der spezifizierten Datengruppe gespeichert sind, gemäß den Zieldaten, deren Endpunktrahmen ft' (spezifizierte Periode) geändert wurde.
Als eine Alternative könnte die CPU 201 den Startpunktrahmen der spezifizierten Periode der nachfolgenden Daten („überlappenden nachfolgenden Daten“), die mit der spezifizierten Periode der Zieldaten überlappen, um einen Betrag einer vorbestimmten Anzahl von Rahmen nach hinten verschieben. Die überlappenden nachfolgenden Daten werden in der spezifizierten Datengruppe gespeichert, und folglich wird die spezifizierte Periode (der Startpunktrahmen) der überlappenden nachfolgenden Daten in der spezifizierten Datengruppe aktualisiert.
Hier können das Ziel der Änderung (welcher des Endpunktrahmens ft' der Zieldaten oder des Startpunktrahmens der überlappenden nachfolgenden Daten zu ändern ist) und die vorbestimmte Anzahl von Rahmen im Voraus bestimmt werden oder können durch eine Operation eingestellt werden. In Ausführungsbeispiel 1 ändert die CPU 201 eine der zwei spezifizierten Perioden, aber beide dieser zwei Perioden könnten geändert werden oder keine könnte geändert werden. Weiterhin könnte die CPU 201 eine Steuerung durchführen, so dass der Benutzer Operationsdaten (Zieldaten), die mit irgendwelchen spezifizierten Daten in der spezifizierten Datengruppe überlappen (oder zu diesen kontinuierlich sind), nicht einstellen kann.
In Schritt S412 berechnet die CPU 201 die Extrahierungsreferenzpositionen der Rahmen (dazwischenliegenden Rahmen) zwischen dem Startpunktrahmen der überlappenden nachfolgenden Daten und dem Endpunktrahmen ft' der Zieldaten. Die CPU 201 berechnet hier die Extrahierungsreferenzposition der dazwischenliegenden Rahmen, so dass sich die Extrahierungsreferenzposition auf einer Spur, die die spezifizierte Position der Zieldaten und die spezifizierte Position der überlappenden nachfolgenden Daten verbindet, bei einer konstanten Geschwindigkeit von dem Endpunktrahmen ft' zu dem Startpunktrahmen der überlappenden nachfolgenden Daten bewegt. Als eine Alternative könnte die CPU 201 die Extrahierungsreferenzposition der dazwischenliegenden Rahmen berechnen, so dass sich die Extrahierungsreferenzposition auf einer Spur, die die spezifizierte Position der Zieldaten und die spezifizierte Position der überlappenden nachfolgenden Daten verbindet, bei einer konstanten Geschwindigkeit von dem Startpunkt der dazwischenliegenden Rahmen zu dem Endpunktrahmen der dazwischenliegenden Rahmen bewegt (zusammen mit dem Ablauf der Wiedergabezeit). Diese Bewegungsgeschwindigkeit der Extrahierungsreferenzposition kann durch den Benutzer beliebig eingestellt werden.
In Schritt S413 speichert die CPU 201 jede Extrahierungsreferenzposition der dazwischenliegenden Rahmen, die in Schritt S412 berechnet wird, in den Positionseinstellungsdaten. Mit anderen Worten aktualisiert die CPU 201 jede Extrahierungsreferenzposition der dazwischenliegenden Rahmen in den Positionseinstellungsdaten auf jede Extrahierungsreferenzposition, die in Schritt S412 berechnet wird.
In Schritt S414 berechnet die CPU 201 die Extrahierungsreferenzposition von jedem Rahmen von dem Rahmen ft' + 1 (nachfolgender Rahmen des Endpunktrahmens ft' der Zieldaten) zu dem Endrahmen f100 des VR-Inhalts. Die Extrahierungsreferenzposition von jedem Rahmen könnte hier die spezifizierte Position der Zieldaten oder die Extrahierungsreferenzposition des Rahmens f100, der im Voraus in den Positionseinstellungsdaten gespeichert ist, sein. Die CPU 201 könnte die Extrahierungsreferenzposition von jedem der Rahmen ft' + 1 bis f100 derart berechnen, dass sich die Extrahierungsreferenzposition auf einer Spur, die die spezifizierte Position der Zieldaten mit der Extrahierungsreferenzposition des Rahmens f100, die im Voraus gespeichert ist, verbindet, bei einer konstanten Geschwindigkeit von dem Endpunktrahmen ft' zu dem Rahmen f100 bewegt. Dann aktualisiert die CPU 201 jede Extrahierungsreferenzposition der Rahmen ft' + 1 bis f100 in den Positionseinstellungsdaten auf die berechnete Extrahierungsreferenzposition.
In Schritt S415 aktualisiert die CPU 201 die Extrahierungsreferenzposition von jedem Rahmen von dem Startpunktrahmen ft zu dem Endpunktrahmen ft' in den Positionseinstellungsdaten auf die spezifizierte Position der Zieldaten. Zum Beispiel wird angenommen, dass die spezifizierte Periode der Zieldaten die Rahmen f14 bis f18 sind und die spezifizierte Position der Zieldaten die Koordinaten (200, 200) sind. In diesem Fall aktualisiert die CPU 201 die Extrahierungsreferenzposition, die mit den Rahmen f14 bis f18 verknüpft ist, in den Positionseinstellungsdaten auf die Koordinaten (200, 200).
Wenn die Verarbeitung in Schritt S415 für die Zieldaten hier endet, stellt die CPU 201 irgendwelche der verbleibenden Operationsdaten, für die die Verarbeitung in Schritten S402 bis S415 nicht ausgeführt wurde, als neue Zieldaten ein, wenn solche Operationsdaten übrig bleiben. Dann führt die CPU 201 die Verarbeitung in Schritten S402 bis S415 für diese neuen Zieldaten aus. Dadurch kann die CPU 201 die Verarbeitung in Schritten S402 bis S415 für alle beschafften Operationsdaten ausführen.
In Schritt S416 aktualisiert die CPU 201 basierend auf der spezifizierten Datengruppe und den Positionseinstellungsdaten die Anzeige des Wiedergabeanzeigebereichs 301 und des Zeigers 303 auf dem Anzeigesteuerungsbildschirm 300, der auf der Anzeige 205 angezeigt wird. Zum Beispiel beschafft die CPU 201 die Extrahierungsreferenzposition des Wiedergaberahmens von den Positionseinstellungsdaten und zeigt eine Betrachtungswinkelregion entsprechend der Extrahierungsreferenzposition, von dem VR-Inhalt, auf dem Wiedergabeanzeigebereich 301 an. Die CPU 201 kann die Zenitkorrektur bezüglich des Rahmenbildes von jedem Wiedergaberahmen, der in der spezifizierten Periode enthalten ist, zuerst durchführen, und dann die Wiedergabebilder anzeigen. Dadurch, auch wenn sich die Ausrichtung der Abbildungsvorrichtung während des Aufnehmens des VR-Inhalts ändert, insbesondere während der Bildaufnahme entsprechend der spezifizierten Periode, kann dieselbe positionelle Betrachtungswinkelregion wiedergegeben und auf der Himmelskugel angezeigt werden. In dem Fall, in dem die spezifizierte Periode in dem VR-Inhalt vorhanden ist, könnte die Zenitkorrektur bezüglich der Rahmenbilder von allen Wiedergaberahmen, die in dem VR-Inhalt umfasst sind, durchgeführt werden und könnte nicht durchgeführt werden, wenn die spezifizierte Periode nicht vorhanden ist. In jedem Fall ist es vorzuziehen, dass die Zenitkorrektur bezüglich des Rahmenbildes von jedem Wiedergaberahmen durchgeführt wird, der in der spezifizierten Periode umfasst ist.
Die CPU 201 zeigt den Zeiger 303 in dem Fall an, in dem ein Wiedergaberahmen in der spezifizierten Periode in irgendwelchen der spezifizierten Daten der spezifizierten Datengruppe umfasst ist. Die CPU 201 zeigt den Zeiger 303 in dem Fall nicht an, in dem kein Wiedergaberahmen in einer spezifizierten Periode in irgendwelchen der spezifizierten Daten der spezifizierten Datengruppe umfasst ist. Die CPU 201 aktualisiert die Anzeige der spezifizierten Periode in dem Zeitlinienbereich 302 basierend auf der spezifizierten Datengruppe.
Bewegtbilderzeugungsverarbeitung
Nun wird eine Bewegtbilderzeugungsverarbeitung zum Erzeugen eines Bewegtbildes, das von einem Teil eines Betrachtungswinkels von einem VR-Inhalt, in dem eine spezifizierte Periode eingestellt ist, extrahiert (ausgewählt) wird, basierend auf dem Ablaufdiagramm in 4 mit Bezug auf 5 beschrieben. 5 ist ein Ablaufdiagramm der Bewegtbilderzeugungsverarbeitung.
Die Verarbeitung in dem Ablaufdiagramm in 5 beginnt, wenn bestimmt ist, dass die Erzeugungstaste 307 gedrückt wird (eine Erzeugung des Bewegtbildes, das bei einem Teil der Betrachtungswinkelregion von dem VR-Inhalt extrahiert ist, angefordert wird). Die Verarbeitung dieses Ablaufdiagramms wird durch die CPU 201 implementiert, die ein Programm, das in dem nichtflüchtigen Speicher 203 gespeichert ist, ausführt.
Hier wiederholt die CPU 201 für eine Anzahl von Rahmen des VR-Inhalts eine Ausführung der Verarbeitung in Schritten S501 und S502 von dem Startrahmen f1 für jeweils einen Rahmen. Mit anderen Worten führt die CPU 201 die Verarbeitung in Schritten S501 und S502 unabhängig für jeden des Startpunktrahmens f1 bis zu dem Endrahmen f100 aus. Im Folgenden wird ein Rahmen, der in Schritten S501 und S502 zu verarbeiten ist, ein „Zielrahmen“ genannt.
In Schritt S501 beschafft die CPU 201 Daten über die Extrahierungsreferenzposition des Zielrahmens von den Positionseinstellungsdaten.
In Schritt S502, basierend auf den Daten über die Extrahierungsreferenzposition, die in Schritt S502 beschafft werden, extrahiert die CPU 201 einen Teil einer Betrachtungswinkelregion von dem Zielrahmen (Rahmenbild des Zielrahmens) des VR-Inhalts (wählt diesen aus). Die CPU 201 speichert die extrahierte Betrachtungswinkelregion in dem Speicher 202 als das extrahierte Bild.
Wenn die Verarbeitung in Schritten S501 und S502 endet, führt die CPU 201 die Verarbeitung in Schritten S501 und S502 für den Rahmen neben dem Zielrahmen als neuen Zielrahmen durch, solange der Zielrahmen nicht der letzte Rahmen ist. Wenn der Zielrahmen der letzte Rahmen ist, führt die CPU 201 die Verarbeitung in Schritt S503 durch.
In Schritt S503 beschafft die CPU 201 ein extrahiertes Bild von jedem Rahmen des VR-Inhalts von dem Speicher 202. Dann erzeugt die CPU 201 ein Bewegtbild durch Verbinden aller beschafften extrahierten Bilder in der Reihenfolge der Rahmen (in der Reihenfolge der Wiedergabezeiten).
Geschwindigkeitssteuerungsverarbeitung
Wie vorstehend beschrieben, in dem Fall, in dem die spezifizierte Position in einer Periode in Schritten S406 und S412 der Anzeigesteuerungsverarbeitung in 4 nicht eingestellt ist (nicht spezifizierte Periode), berechnet die CPU 201 die Extrahierungsreferenzposition für diese Periode basierend auf den spezifizierten Positionen in den spezifizierten Perioden vor und nach der nicht spezifizierten Periode. Weiterhin kann die Extrahierungsreferenzposition in der nicht spezifizierten Periode berechnet werden, so dass sich die Extrahierungsreferenzposition von einer bestimmten Position (Koordinate) zu einer anderen Position zusammen mit dem Ablauf der Wiedergabezeit bewegt. Im Folgenden wird die Geschwindigkeitssteuerungsverarbeitung zum Steuern der Geschwindigkeit der Extrahierungsreferenzpositionsbewegung in der nicht spezifizierten Periode mit Bezug auf 6A bis 6D und 7 beschrieben.
6A gibt einen Anzeigesteuerungsbildschirm 600 an, der auf der Anzeige 205 angezeigt wird, um die Geschwindigkeitssteuerungsverarbeitung durchzuführen. Der Anzeigesteuerungsbildschirm 600 in 6A weist im Wesentlichen die gleiche Anzeigekonfiguration auf, wie der Anzeigesteuerungsbildschirm 300, der in 3A dargestellt ist. Deshalb wird nur die Anzeigekonfiguration, die in der Geschwindigkeitssteuerungsverarbeitung nennenswert ist, nachstehend beschrieben.
Auf dem Anzeigesteuerungsbildschirm 600 wird ein Zeitlinienbereich 602 angezeigt, um die zeitliche Änderung des VR-Inhalts anzuzeigen (Änderung zusammen mit dem Ablauf der Wiedergabezeit). In dem Zeitlinienbereich 602 ist die spezifizierte Periode 604, in der die spezifizierte Position (Beibehaltung der spezifizierten Position) eingestellt ist, hervorgehoben. Hier könnte eine nicht spezifizierte Periode anstelle der spezifizierten Periode 604 hervorgehoben werden.
In dem Zeitlinienbereich 602 wird ein Bewegungsgeschwindigkeitsgraph 608 (ein Graph, der die Bewegungsgeschwindigkeit der Extrahierungsreferenzposition in der nicht spezifizierten Periode angibt) angezeigt, so dass dieser auf der nicht spezifizierten Periode überlagert ist. In dem Fall, in dem die Bewegungsgeschwindigkeit der Extrahierungsreferenzposition in der nicht spezifizierten Periode eine konstante Geschwindigkeit ist, wird der Bewegungsgeschwindigkeitsgraph 608 durch eine diagonale Linie in der nicht spezifizierten Periode ausgedrückt, wie in 6A angegeben ist. In dem Fall, in dem die Bewegungsgeschwindigkeit der Extrahierungsreferenzposition in der nicht spezifizierten Periode keine konstante Geschwindigkeit ist, ist der Bewegungsgeschwindigkeitsgraph 608 ein Bewegungsgeschwindigkeitsgraph, der durch eine Kurve ausgedrückt ist, wie in 6B bis 6D angegeben ist. Anstelle des Bewegungsgeschwindigkeitsgraphen könnte ein anderes Anzeigeverfahren zum Ausdrücken der Bewegungsgeschwindigkeit der Extrahierungsreferenzposition in der nicht spezifizierten Periode verwendet werden. Der Bewegungsgeschwindigkeitsgraph 608 kann auf allen nicht spezifizierten Perioden, die in dem Zeitlinienbereich 602 angezeigt werden, angezeigt werden oder könnte nur auf der durch den Benutzer ausgewählten nicht spezifizierten Periode angezeigt werden.
7 ist ein Ablaufdiagramm der Geschwindigkeitssteuerungsverarbeitung zum Steuern der Bewegungsgeschwindigkeit der Extrahierungsreferenzposition basierend auf dem Bewegungsgeschwindigkeitsgraphen. Die Geschwindigkeitssteuerungsverarbeitung beginnt, wenn bestimmt ist, dass eine Operation zum Auswählen eines Bewegungsgeschwindigkeitsgraphen durchgeführt wird. Die Operation zum Auswählen eines Bewegungsgeschwindigkeitsgraphen kann eine Berührung auf einem Bewegungsgeschwindigkeitsgraphen oder ein Drücken einer spezifizierten Taste zum Auswählen eines Bewegungsgeschwindigkeitsgraphen sein. Die Verarbeitung dieses Ablaufdiagramms wird durch die CPU 201 implementiert, die ein Programm ausführt, das in dem nichtflüchtigen Speicher 203 gespeichert ist.
In Schritt S701 beschafft die CPU 201 die Daten über den ausgewählten Bewegungsgeschwindigkeitsgraphen und Daten über die nicht spezifizierte Periode, auf der der Bewegungsgeschwindigkeitsgraph überlagert ist.
In Schritt S702 berechnet die CPU 201 die Extrahierungsreferenzposition in jedem Rahmen der nicht spezifizierten Periode, basierend auf der Form des Bewegungsgeschwindigkeitsgraphen und der nicht spezifizierten Periode. In einem Fall zum Beispiel, in dem ein Bewegungsgeschwindigkeitsgraph mit der in 6A angegeben Form beschafft wird, bestimmt die CPU 201 die Extrahierungsreferenzposition von jedem Rahmen derart, dass die Bewegungsgeschwindigkeit der Extrahierungsreferenzposition in der nicht spezifizierten Periode eine konstante Geschwindigkeit wird.
Weiterhin, in einem Fall, in dem die Bewegungsgeschwindigkeitsgraphen, die die in 6B bis 6D angegebenen Formen aufweisen, beschafft werden, stellt die CPU 201 die Bewegungsgeschwindigkeit der Extrahierungsreferenzposition in der nicht spezifizierten Periode gemäß der Steigung des Bewegungsgeschwindigkeitsgraphen in einer Periode, in der die Steigung bzw. Neigung groß ist, auf eine schnelle Geschwindigkeit ein. Andererseits stellt die CPU 201 die Bewegungsgeschwindigkeit der Extrahierungsreferenzposition auf eine niedrigere Geschwindigkeit gemäß der Steigung des Bewegungsgeschwindigkeitsgraphen in einer Periode, in der die Steigung klein ist, ein. Dann bestimmt die CPU 201 die Extrahierungsreferenzposition von jedem Rahmen durch Anpassen der Bewegungsgeschwindigkeit der Extrahierungsreferenzposition, um eine Anzahl von Rahmen in der nicht spezifizierten Periode nicht zu überschreiten.
Zum Beispiel gibt der Bewegungsgeschwindigkeitsgraph, der in 6B gezeigt ist, an, dass die Bewegungsgeschwindigkeit der Extrahierungsreferenzposition in dem führenden Rahmen (dem ersten Rahmen) der nicht spezifizierten Periode die schnellste ist und die Bewegungsgeschwindigkeit in den Rahmen danach sequenziell abnimmt. Der in 6C gezeigte Bewegungsgeschwindigkeitsgraph gibt andererseits an, dass die Bewegungsgeschwindigkeit der Extrahierungsreferenzposition in dem führenden Rahmen (dem ersten Rahmen) der nicht spezifizierten Periode die langsamste ist und die Bewegungsgeschwindigkeit in den Rahmen danach sequenziell zunimmt, was entgegengesetzt zu dem Fall von 6B ist. Der in 6D angezeigte Bewegungsgeschwindigkeitsgraph gibt an, dass die Bewegungsgeschwindigkeit gemäß der Form des Bewegungsgeschwindigkeitsgraphen schneller oder langsamer wird. Der Benutzer kann die Form des Bewegungsgeschwindigkeitsgraphen durch Ausführen einer Berührungsbewegung auf dem Bewegungsgeschwindigkeitsgraphen frei ändern.
In Schritt S703 aktualisiert die CPU 201 die Extrahierungsreferenzposition von jedem Rahmen der nicht spezifizierten Periode in den Positionseinstellungsdaten auf die Extrahierungsreferenzposition von jedem Rahmen, die in S702 berechnet wird.
In Schritt S704 aktualisiert die CPU 201 die Anzeige des Wiedergabeanzeigebereichs auf dem Anzeigesteuerungsbildschirm 600, der auf der Anzeige 205 angezeigt wird, basierend auf der spezifizierten Datengruppe und den Positionseinstellungsdaten, wie in Schritt S416. Die CPU 201 aktualisiert ebenso die Anzeige des Zeitlinienbereichs 602 basierend auf der spezifizierten Datengruppe.
In dem Ausführungsbeispiel 1 wurde ein Beispiel der Anzeigesteuerungseinrichtung 200, die die Anzeigesteuerungsverarbeitung, die Bewegtbilderzeugungsverarbeitung und die Geschwindigkeitssteuerungsverarbeitung ausführt, beschrieben. Jedoch könnte die Digitalkamera 100 zumindest einen Teil der Konfiguration aufweisen, die in der Beschreibung der Anzeigesteuerungseinrichtung 200 beschrieben ist, und diese Verarbeitungsschritte ausführen.
Die CPU 201 könnte die Betrachtungswinkelregion nach einem Durchführen der perspektivischen Projektionstransformation (Koordinatentransformation, so dass ein nahes Objekt groß erscheint und ein entferntes Objekt kleiner erscheint, wie in dem Fall der menschlichen Vision) auf den VR-Inhalt und Abbilden des transformierten VR-Inhalts auf die Ebene extrahieren. Die CPU 201 könnte die Betrachtungswinkelregion ohne Durchführen solch einer Bildverarbeitung auf den VR-Inhalt extrahieren. Das vorliegende Ausführungsbeispiel ist ebenso auf ein Bild mit einer breiten Region (Betrachtungswinkel) oder Ähnlichem anstelle des VR-Inhalts anwendbar.
Wie vorstehend beschrieben, kann gemäß dem vorliegenden Ausführungsbeispiel der Benutzer die spezifizierte Periode einfach einstellen, die eine Periode ist, wenn die Extrahierungsreferenzposition beibehalten wird. Weiterhin werden die spezifizierte Periode und die nicht spezifizierte Periode separat in dem Zeitlinienbereich angezeigt und folglich kann der Benutzer die spezifizierte Periode einfach erkennen und kann die spezifizierte Periode einfach einstellen oder ändern.
Dies macht es für den Benutzer einfach, die Extrahierungsreferenzposition auf eine gewünschte Position einzustellen. Folglich kann der Benutzer einen Teil einer Region (zu extrahierenden Region) von dem Inhalt einfach auswählen.
Solange eine Region in einem Bereich, der in einer Richtung vorhanden ist, die als Extrahierungsreferenz in dem virtuellen Raum dient, aus dem VR-Inhalt extrahiert (ausgewählt) werden kann, könnte die „Extrahierungsreferenzrichtung“ anstelle der „Extrahierungsreferenzposition“ verwendet werden. In diesem Fall spezifiziert der Benutzer für die spezifizierte Richtung die Richtung des Beibehaltens der Extrahierungsreferenzposition, die in der spezifizierten Periode eingestellt ist. Auf diese Weise könnte irgendeine Referenz anstelle der „Extrahierungsreferenzposition“ verwendet werden, solange diese Referenz verwendet werden kann, um eine Betrachtungswinkelregion in dem VR-Inhalt zu bestimmen.
Gemäß der vorliegenden Erfindung kann der Benutzer einen Teil einer Region des Inhalts einfach auswählen.
Während die vorliegende Erfindung basierend auf den bevorzugten Ausführungsbeispielen von dieser beschrieben wurde, ist die vorliegende Erfindung nicht auf diese spezifizierten Ausführungsbeispiele beschränkt und verschiedene Betriebsarten innerhalb eines Umfangs, der sich von dem Geist der Erfindung nicht entfernt, sind ebenso in der vorliegenden Erfindung umfasst. Weiterhin könnten Teile der vorstehenden Ausführungsbeispiele nach Bedarf kombiniert werden.
In der vorstehenden Beschreibung könnte „die Verarbeitung geht über zu Schritt S1, wenn A gleich B oder mehr ist, und geht über zu Schritt S2, wenn A kleiner (niedriger) als B ist“ interpretiert werden als „die Verarbeitung geht über zu Schritt S1, wenn A größer (höher) als B ist, und geht über zu Schritt S2, wenn A gleich B oder weniger ist“. Umgekehrt könnte „die Verarbeitung geht über zu Schritt S1, wenn A größer (höher) als B ist, und geht über zu Schritt S2, wenn A gleich B oder weniger ist“ interpretiert werden als „die Verarbeitung geht über zu Schritt S1, wenn A gleich B oder mehr ist, und geht über zu Schritt S2, wenn A kleiner (niedriger) als B ist“. Mit anderen Worten, solange keine Inkonsistenz auftritt, könnte „A oder mehr“ als „größer (höher; länger; mehr) als A“ interpretiert werden und könnte „A oder weniger“ als „kleiner (niedriger; kürzer; weniger) als A“ interpretiert werden. Weiterhin könnte „größer (höher; länger; mehr) als A“ interpretiert werden als „A oder mehr“ und könnte „kleiner (niedriger; kürzer; weniger) als A“ als „A oder weniger“ interpretiert werden.
Andere Ausführungsbeispiele
Eines oder mehrere Ausführungsbeispiele der vorliegenden Erfindung können ebenso durch einen Computer eines Systems oder einer Vorrichtung, der computerausführbare Anweisungen (zum Beispiel eines oder mehrere Programme), die auf einem Speichermedium (welches ebenso vollständiger als ein „nichtflüchtiges computerlesbares Speichermedium“ bezeichnet wird) aufgezeichnet sind, ausliest und ausführt, um die Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, und/oder der eine oder mehrere Schaltungen (zum Beispiel anwendungsspezifische integrierte Schaltung (ASIC, „application specific integrated circuit“) zum Durchführen der Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispiele umfasst, und durch ein Verfahren, das durch den Computer des Systems oder der Vorrichtung durch zum Beispiel Auslesen und Ausführen der computerausführbaren Anweisungen von dem Speichermedium, um die Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, und/oder Steuern der einen oder mehreren Schaltungen zum Durchführen der Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispiele realisiert werden. Der Computer kann einen oder mehrere Prozessoren (zum Beispiel zentrale Verarbeitungseinheit (CPU), Mikroverarbeitungseinheit (MPU)) umfassen und kann ein Netzwerk von separaten Computern oder separaten Prozessoren umfassen, um die computerausführbaren Anweisungen auszulesen und auszuführen. Die computerausführbaren Anweisungen können dem Computer zum Beispiel von einem Netzwerk oder dem Speichermedium bereitgestellt werden. Das Speichermedium kann zum Beispiel eines oder mehrere einer Festplatte, eines Direktzugriffsspeichers (RAM), eines Festwertspeichers (ROM), eines Speichers von verteilten Rechensystemen, einer optischen Platte (wie etwa „compact disc“ (CD), „digital versatile disc“ (DVD) oder „Blu-ray Disc“ (BD)™), einer Flashspeichereinrichtung, einer Speicherkarte oder Ähnliches umfassen.
Während die vorliegende Erfindung mit Bezug auf Ausführungsbeispiele beschrieben wurde, ist zu verstehen, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist. Dem Umfang der folgenden Ansprüche ist die breiteste Interpretation zuzugestehen, so dass alle Modifikationen, äquivalenten Strukturen und Funktionen mitumfasst sind.
Eine elektronische Einrichtung zeigt sequenziell eine Vielzahl von Rahmenbildern eines Bewegungsinhalts auf einem Bildschirm an und zeigt einen Zeitlinienbereich entsprechend der Wiedergabeperiode der Vielzahl von Rahmenbildern auf dem Bildschirm an. Die elektronische Einrichtung berechnet eine Position auf einer Spur, die Referenzpositionen eines ersten Rahmenbildes und eines zweiten Rahmenbildes verbindet, stellt die berechnete Position als die Referenzposition des dritten Rahmenbildes ein und stellt eine Vielzahl von vierten Rahmenbildern, die in einer spezifizierten Periode vorhanden sind, die durch einen Benutzer spezifiziert wird, um eine Referenzposition, die durch den Benutzer spezifiziert wird, beizubehalten, ein. Die elektronische Einrichtung zeigt die spezifizierte Periode und andere Perioden in dem Zeitlinienbereich separat an und zeigt Regionen entsprechend den Referenzpositionen, die für jedes der Vielzahl von Rahmenbildern eingestellt sind, in Abfolge auf dem Bildschirm an.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2014165763 A [0004]
JP 2005223416 A [0004]

Claims

Elektronische Einrichtung, die einen Bewegtbildinhalt wiedergibt, mit: einer Anzeigesteuerungseinheit, die dazu konfiguriert ist, eine Vielzahl von Rahmenbildern, die den Bewegtbildinhalt umfassen, auf einem Bildschirm sequentiell anzuzeigen und einen Zeitlinienbereich, der einer Wiedergabeperiode der Vielzahl von Rahmenbildern entspricht, auf dem Bildschirm anzuzeigen; einer Berechnungseinheit, die dazu konfiguriert ist, für ein drittes Rahmenbild, dessen Referenzposition noch nicht eingestellt wurde, das zwischen einem ersten Rahmenbild und einem zweiten Rahmenbild vorhanden ist, welche zwei Rahmenbilder sind, deren Referenzpositionen eingestellt wurden, eine Position auf einer Spur zu berechnen, die eine erste Referenzposition des ersten Rahmenbildes und eine zweite Referenzposition des zweiten Rahmenbildes verbindet; einer Einstellungseinheit, die dazu konfiguriert ist, die berechnete Position als eine dritte Referenzposition des dritten Rahmenbildes automatisch einzustellen, und für eine Vielzahl von vierten Rahmenbildern, die in einer spezifizierten Periode vorhanden sind, die in dem Zeitlinienbereich gemäß einer Operation durch einen Benutzer spezifiziert ist, eine vierte Referenzposition automatisch einzustellen, die gemäß einer Operation durch den Benutzer spezifiziert ist, so dass die eine vierte Referenzposition beibehalten wird; und einer Steuerungseinheit, die dazu konfiguriert ist, die spezifizierte Periode und andere Perioden in dem Zeitlinienbereich auf dem Bildschirm separat anzuzeigen, und eine Steuerung auszuführen, um den Bewegtbildinhalt durch sequenzielles Anzeigen von Regionen entsprechend den Referenzpositionen, die für die Vielzahl von Rahmenbildern entsprechend eingestellt sind, auf dem Bildschirm wiederzugeben.
Elektronische Einrichtung gemäß Anspruch 1, wobei eine Vielzahl von spezifizierten Perioden in dem Bewegtbildinhalt vorhanden sind, wobei das erste Rahmenbild ein letztes Rahmenbild einer ersten spezifizierten Periode ist und das zweite Rahmenbild ein führendes Rahmenbild einer zweiten spezifizierten Periode ist, die nach der ersten spezifizierten Periode liegt, und die erste Referenzposition, die die vierte Referenzposition des ersten Rahmenbildes ist, von der zweiten Referenzposition, die die vierte Referenzposition des zweiten Rahmenbildes ist, verschieden ist.
Elektronische Einrichtung gemäß Anspruch 1 oder 2, wobei die Einstellungseinheit eine Referenzposition in einem Rahmenbild aus der Vielzahl von Rahmenbildern, die auf dem Bildschirm angezeigt werden, gemäß einer Operation durch den Benutzer einstellt, und das erste Rahmenbild und das zweite Rahmenbild auf dem Bildschirm angezeigt werden und die Referenzpositionen in dem ersten Rahmenbild und dem zweiten Rahmenbild gemäß Operationen durch den Benutzer eingestellt werden.
Elektronische Einrichtung gemäß einem der Ansprüche 1 bis 3, wobei die dritte Referenzposition von der ersten Referenzposition zu der zweiten Referenzposition zusammen mit dem Ablauf einer Wiedergabezeit des Bewegtbildinhalts geändert wird, in einem Fall, in dem das erste Rahmenbild vor dem zweiten Rahmenbild vorhanden ist.
Elektronische Einrichtung gemäß einem der Ansprüche 1 bis 4, wobei ein Graph, der eine Geschwindigkeit einer Änderung der Referenzposition in der anderen Periode angibt, auf der anderen Periode in dem Zeitlinienbereich angezeigt wird, und die Einstellungseinheit die Referenzposition eines Rahmenbildes entsprechend jeder Wiedergabezeit in der anderen Periode basierend auf einer Form des Graphen bestimmt.
Elektronische Einrichtung gemäß Anspruch 5, wobei die Form des Graphen gemäß einer Operation durch den Benutzer veränderbar ist.
Elektronische Einrichtung gemäß einem der Ansprüche 1 bis 6, wobei in einem Zustand, in dem ein Beibehalten der Referenzposition für eine Vielzahl von spezifizierten Perioden eingestellt ist, die Einstellungseinheit Längen von zumindest zwei Perioden, die der Benutzer aus der Vielzahl von spezifizierten Perioden ausgewählt hat, auf die gleichen Längen ändert, wenn eine erste Operation durch den Benutzer durchgeführt wird.
Elektronische Einrichtung gemäß einem der Ansprüche 1 bis 7, wobei die Steuerungseinheit 1) eine Vielzahl von Wiedergabezeiten durch Auswählen von einer Wiedergabezeit zu jeder vorbestimmten Zeit aus einer Wiedergabeperiode des Bewegtbildinhalts auswählt, und 2) eine Steuerung ausführt, so dass eine Region entsprechend jeder der Vielzahl von Wiedergabezeiten, die von dem Bewegtbildinhalt entsprechend ausgewählt ist, in dem Zeitlinienbereich in der Reihenfolge der Wiedergabezeit angeordnet ist und angezeigt wird.
Elektronische Einrichtung gemäß Anspruch 8, wobei die Region entsprechend jeder der Vielzahl von Wiedergabezeiten eine Region entsprechend der Referenzposition ist, die mit jeder der Vielzahl von Rahmen entsprechend der Vielzahl von Wiedergabezeiten verknüpft ist.
Elektronische Einrichtung gemäß einem der Ansprüche 1 bis 9, wobei die Steuerungseinheit 1) eine Steuerung ausführt, so dass eine Region, die ein Teil einer Region des Bewegtbildinhalts ist und einer Referenzposition einer momentanen Wiedergabezeit entspricht, in einem vorbestimmten Bereich angezeigt wird, und 2) eine Steuerung ausführt, so dass in einem Fall, in dem die momentane Wiedergabezeit in der spezifizierten Periode enthalten ist, ein vorbestimmtes Anzeigeelement in der Region angezeigt wird.
Elektronische Einrichtung gemäß einem der Ansprüche 1 bis 10, wobei der Bewegtbildinhalt ein Bewegungsbild eines omnidirektionalen Bildes oder ein Bewegungsbild eines Panoramabildes ist.
Elektronische Einrichtung gemäß einem der Ansprüche 1 bis 10, wobei die Vielzahl von Rahmenbildern, die den Bewegtbildinhalt umfassen, omnidirektionale Bilder sind, und die elektronische Einrichtung weiterhin eine Korrektureinheit umfasst, die dazu konfiguriert ist, eine Zenitkorrektur für jedes der Rahmenbilder durchzuführen.
Elektronische Einrichtung gemäß Anspruch 12, wobei die Zenitkorrektur für das vierte Rahmenbild aus der Vielzahl von Rahmenbildern, die den Bewegtbildinhalt umfassen, durchgeführt wird.
Elektronische Einrichtung gemäß einem der Ansprüche 1 bis 13, weiterhin mit einer Erzeugungseinheit, die dazu konfiguriert ist, von der Vielzahl von Rahmenbildern, die den Bewegtbildinhalt umfassen, eine Region entsprechend der Referenzposition zu extrahieren, die für jedes der Vielzahl von Rahmenbildern eingestellt ist, und einen neuen Bewegtbildinhalt zu erzeugen, der Bilder der extrahierten Regionen in einer zeitlichen Abfolge umfasst.
Verfahren zum Steuern einer elektronischen Einrichtung, die einen Bewegungsinhalt wiedergibt, mit den Schritten: Ausführen einer Steuerung zum sequenziellen Anzeigen einer Vielzahl von Rahmenbildern, die den Bewegtbildinhalt umfassen, auf einem Bildschirm, und Anzeigen eines Zeitlinienbereichs, der einer Wiedergabeperiode der Vielzahl von Rahmenbildern entspricht, auf dem Bildschirm; für ein drittes Rahmenbild, dessen Referenzposition noch nicht eingestellt wurde, das zwischen einem ersten Rahmenbild und einem zweiten Rahmenbild vorhanden ist, welche zwei Rahmenbilder sind, deren Referenzpositionen eingestellt wurden, Berechnen einer Position auf einer Spur, die eine erste Referenzposition des ersten Rahmenbildes und eine zweite Referenzposition des zweiten Rahmenbildes verbindet; automatisches Einstellen der berechneten Position als eine dritte Referenzposition des dritten Rahmenbildes; für eine Vielzahl von vierten Rahmenbildern, die in einer spezifizierten Periode vorhanden sind, die in dem Zeitlinienbereich gemäß einer Operation durch einen Benutzer spezifiziert ist, automatisches Einstellen einer vierten Referenzposition, die gemäß einer Operation durch den Benutzer spezifiziert ist, so dass die eine vierte Referenzposition beibehalten wird; Ausführen einer Steuerung zum Anzeigen der spezifizierten Periode und anderer Perioden separat in dem Zeitlinienbereich auf dem Bildschirm; und Ausführen einer Steuerung zum Wiedergeben des Bewegtbildinhalts durch sequenzielles Anzeigen von Regionen entsprechend den Referenzpositionen, die für die Vielzahl von Rahmenbildern entsprechend eingestellt sind, auf dem Bildschirm.
Programm, das, wenn es auf einem Computer ausgeführt wird, den Computer veranlasst, als jede Einheit der elektronischen Einrichtung gemäß einem der Ansprüche 1 bis 14 zu funktionieren.