DE102022115806A1

DE102022115806A1 - Verfahren und System zum Bereitstellen eines durch eine Ausgabevorrichtung anzuzeigenden Bildes

Info

Publication number: DE102022115806A1
Application number: DE102022115806.3A
Authority: DE
Inventors: Pierre Escrieut
Original assignee: Valeo Comfort and Driving Assistance SAS
Current assignee: Valeo Comfort and Driving Assistance SAS
Priority date: 2022-06-24
Filing date: 2022-06-24
Publication date: 2024-01-04
Also published as: WO2023247606A1

Abstract

Die Erfindung bezieht sich auf ein Verfahren zum Bereitstellen eines durch eine Ausgabevorrichtung (6) anzuzeigenden Bildes, ein System (2), eine Kamera (3) und die Ausgabevorrichtung (6). Das Verfahren umfasst das Bereitstellen einer Rohbildinformation (10) durch die Kamera (3), die ein 360-Grad-Bild beschreibt; das Bereitstellen einer Blickpunktinformation (11) durch die Ausgabevorrichtung (6), die einen Blickpunkt beschreibt, aus dem ein Ausschnittbild des 360-Grad-Bildes aufgenommen wird; das Bestimmen einer Pixelinformation (12) durch Umwandeln der Blickpunktinformation (11) in entsprechende Pixelkoordinaten; das Bereitstellen der Pixelinformation (12) an die Kamera (3); das Bestimmen einer Ausschnittbildinformation (15) durch Verringern der Rohbildinformation (10) auf einen Pixelbereich gemäß der Pixelinformation (12); das Bereitstellen der Ausschnittbildinformation (15) an die Ausgabevorrichtung (6); und das Anzeigen eines jeweiligen Ausschnittbildes durch die Ausgabevorrichtung (6).

Description

Die Erfindung bezieht sich auf ein Verfahren zum Bereitstellen eines durch eine Ausgabevorrichtung anzuzeigenden Bildes. Die Erfindung bezieht sich ferner auf ein System, um ein solches Verfahren auszuführen, eine Kamera zum Bereitstellen eines durch eine Ausgabevorrichtung anzuzeigendes Bildes, und eine Ausgabevorrichtung zum Anzeigen eines Bildes. Überdies bezieht sich die Erfindung auf ein Computerprogrammprodukt, um ein solches Verfahren auszuführen.
Es gibt Verwendungsfälle, in denen ein 360-Grad-Bild, das durch eine Kamera erfasst wird, für die Anzeige auf einem Bildschirm einer Ausgabevorrichtung bereitgestellt wird. Die Ausgabevorrichtung kann ein Smartphone, ein Tablet, ein Computer oder irgendeine andere mobile oder stationäre Vorrichtung mit einem Bildschirm sein. Um Live-Streaming des 360-Grad-Bildes durch die Ausgabevorrichtung bereitzustellen, wird das 360-Grad-Bild typischerweise in einer komprimierten Form zur Ausgabevorrichtung gesendet. Dies führt jedoch typischerweise zur Verringerung der Bildqualität des durch die Ausgabevorrichtung angezeigten Bildes im Vergleich zur Bildqualität des durch die Kamera erfassten ursprünglichen Bildes.
Die US 2019/0149731 A1 offenbart ein Verfahren und ein System für die Live-Verteilung von 360-Grad-Videoströmen auf einer mobilen Vorrichtung durch Anbinden der mobilen Vorrichtung an eine 360-Grad-Kameraquelle, um Live-Videoströme von verschiedenen Orten zu beherbergen. Eine Verteilungsplattform ist dazu eingerichtet, den Live-Videostrom von einer oder mehreren Host-Vorrichtungen, die mit der 360-Grad-Kamera gekoppelt sind, aufzunehmen. Eine oder mehrere Bild- oder Videoverarbeitungstechniken werden angewendet und das verarbeitete Bild oder Video wird zu einer oder mehreren Betrachtungsvorrichtungen über das Netzwerk übertragen. In diesem Zusammenhang wird das 360-Grad-Bild über das Netzwerk übertragen.
Die US 2021/0243418 A1 offenbart ein Verfahren mit dem Empfangen von Metadaten, die angeben, welcher Teil des 360-Grad-Videos einem ersten Ansichtsfenster des 360-Grad-Videos, das auf einer festen Anzeige angezeigt wird, entspricht. Eine Orientierung einer zweiten Anzeige relativ zur ersten Anzeige wird verfolgt und ein zweites Ansichtsfenster des immersiven Videos, das in Zeit und Orientierung relativ zum immersiven Video, das auf der ersten Anzeige angezeigt wird, synchronisiert ist, wird auf der Basis der Metadaten und der Orientierung der zweiten Anzeige relativ zur ersten Anzeige bestimmt. Das zweite Ansichtsfenster wird dann auf der zweiten Anzeige angezeigt.
Die Aufgabe der Erfindung besteht darin, die Qualität eines auf einer Ausgabevorrichtung angezeigten Bildes zu erhöhen, während Bilddaten mittels einer Kamera in Echtzeit übertragen werden.
Die Aufgabe wird durch die unabhängigen Ansprüche gelöst.
Ein erster Aspekt der Erfindung bezieht sich auf ein Verfahren zum Bereitstellen eines durch eine Ausgabevorrichtung anzuzeigenden Bildes. Die Ausgabevorrichtung umfasst wenigstens einen Bildschirm, auf dem das Bild angezeigt werden kann. Das Bild wird durch eine Bildinformation beschrieben. Die Bildinformation kann alternativ als Bilddaten bezeichnet werden oder kann wenigstens Bilddaten umfassen. Die Ausgabevorrichtung kann ein Smartphone, ein Tablet und/oder ein Computer wie zum Beispiel ein Personal Computer oder ein Laptop sein. Die Ausgabevorrichtung kann irgendeine mobile oder stationäre Vorrichtung mit dem wenigstens einen Bildschirm sein.
Das Verfahren umfasst das Bereitstellen einer Rohbildinformation durch eine Kamera. Die Rohbildinformation beschreibt ein 360-Grad-Bild. Die Rohbildinformation kann als Rohbilddaten bezeichnet werden oder kann durch Rohbilddaten beschrieben werden. Die verwendete Kamera ist eine 360-Grad-Kamera. Die Kamera erfasst die Rohbildinformation. Die Kamera umfasst eine Kommunikationsschnittstelle, die dazu eingerichtet ist, Information zu senden oder zu empfangen, insbesondere die Rohbildinformation zu einer anderen Vorrichtung wie zum Beispiel der Ausgabevorrichtung zu senden. Die Kamera kann in einem Raum oder in einer anderen Umgebung positioniert sein. Sie ist beispielsweise dazu eingerichtet, die Rohbildinformation des Raums oder der anderen Umgebung konstant bereitzustellen. Die durch die Kamera bereitgestellte Rohbildinformation kann in Echtzeit bereitgestellt werden, was bedeutet, dass die Kamera die Rohbildinformation in Echtzeit übertragen (live streamen) kann. Alternativ oder zusätzlich ist die bereitgestellte Rohbildinformation eine gespeicherte Information, was bedeutet, dass sie durch die Kamera zu einem vorherigen Zeitpunkt aufgenommen und in einer Speichereinheit einer Steuereinheit oder in einer anderen Speichervorrichtung seit dann gespeichert wurde.
Das Verfahren umfasst ferner das Bereitstellen einer Blickpunktinformation durch die Ausgabevorrichtung. Die Blickpunktinformation wird durch die Ausgabevorrichtung bestimmt. Die Blickpunktinformation beschreibt einen Blickpunkt, aus dem ein Ausschnittbild des 360-Grad-Bildes genommen wird. Das Ausschnittbild ist für die Anzeige auf dem Bildschirm der Ausgabevorrichtung bestimmt. Die Blickpunktinformation kann alternativ als Blickpunktdaten bezeichnet werden oder kann durch Blickpunktdaten beschrieben werden. Mit anderen Worten definiert die Blickpunktinformation eine Perspektive, aus der das 360-Grad-Bild betrachtet werden soll, wenn es auf dem Bildschirm der Ausgabevorrichtung angezeigt wird. Aufgrund der Wahl eines Blickpunkts ist nur ein Abschnitt des 360-Grad-Bildes für die Anzeige auf dem Bildschirm bestimmt. Der Abschnitt kann alternativ als Bereich oder Teilbereich des 360-Grad-Bildes bezeichnet werden. Das angezeigte Bild ist daher nicht das ganze 360-Grad-Bild und wird daher als Ausschnittbild des 360-Grad-Bildes bezeichnet. Die Blickpunktinformation definiert jedoch nur Details beispielsweise über eine Position und Richtung, aus der das 360-Grad-Bild durch einen Benutzer betrachtet werden soll, wenn er auf den Bildschirm der Ausgabevorrichtung blickt. Die Blickpunktinformation kann daher beispielsweise eine Positionsinformation, die eine relative Position des Blickpunkts zu einem Punkt der 360 Grad des Bildes beschreibt, umfassen.
Ein weiterer Schritt des Verfahrens umfasst das Bestimmen einer Pixelinformation durch Umwandeln der bereitgestellten Blickpunktinformation in entsprechende Pixelkoordinaten. Die Pixelinformation wird durch die Ausgabevorrichtung bestimmt. Die Pixelinformation kann alternativ als Pixeldaten bezeichnet werden oder kann durch Pixeldaten beschrieben werden. Die Pixelinformation wird in einer Weise bestimmt, so dass sie einen Pixelbereich des 360-Grad-Bildes beschreibt, der dem bereitgestellten Blickpunkt entspricht. Mit anderen Worten, auf der Basis der bereitgestellten Blickpunktinformation wird das Ausschnittbild, das für die Anzeige auf dem Bildschirm der Ausgabevorrichtung bestimmt ist, als Pixelbereich des 360-Grad-Bildes definiert. Die Pixelinformation beinhaltet die Information, welcher Teil des 360-Grad-Bildes dem gewollten Ausschnittbild entspricht. Die Pixelinformation wird jedoch nur beispielsweise in Form von Pixelkoordinaten angegeben, da die Rohbildinformation bisher nicht notwendigerweise mit der Ausgabevorrichtung geteilt wurde. Die Pixelinformation ist daher vorzugsweise von der Rohbildinformation unabhängig und hängen nur von der Blickpunktinformation ab.
Das Verfahren umfasst ferner das Bereitstellen der bestimmten Pixelinformation für die Kamera. Die bestimmte Pixelinformation wird daher durch die Ausgabevorrichtung für die Kamera bereitgestellt. Die bestimmte Pixelinformation kann über eine kabelfreie und insbesondere eine drahtlose Kommunikationsverbindung zwischen der Kamera und der Ausgabevorrichtung zur Kamera gesendet werden. Die Ausgabevorrichtung umfasst folglich ebenso wie die Kamera eine Kommunikationsschnittstelle, über die die Ausgabevorrichtung die bestimmte Pixelinformation für die Kamera bereitstellen kann. Die drahtlose Kommunikationsverbindung kann auf einem drahtlosen lokalen Netzwerk (WLAN für Wireless Local Area Network), einer Bluetooth-Verbindung und/oder einem mobilen Datennetzwerk, beispielsweise auf der Basis des Mobilfunkstandards Long Term Evolution (LTE), Long Term Evolution Advanced (LTE-A), fünfte Generation (5G) oder sechste Generation (6G), basieren. Alternativ kann die Kommunikationsverbindung kabelgebunden sein. Der ganze Informationsaustausch zwischen der Kamera und der Ausgabevorrichtung findet vorzugsweise über die Kommunikationsverbindung statt. Die Kommunikationsverbindung kann eine Zwischenschnittstelle, beispielsweise einen Cloud-Server, ein Backend oder einen Server, umfassen.
Daneben umfasst das Verfahren das Bestimmen einer Ausschnittbildinformation. Die Ausschnittbildinformation wird durch die Kamera bestimmt. Die Bestimmung der Ausschnittbildinformation umfasst das Verringern der bereitgestellten Rohbildinformation auf den Pixelbereich gemäß der bereitgestellten Pixelinformation. Die Ausschnittbildinformation beschreibt das Ausschnittbild. Die Ausschnittbildinformation kann als Ausschnittbilddaten bezeichnet werden oder kann durch Ausschnittbilddaten beschrieben werden. Mit anderen Worten beschneidet die Kamera das 360-Grad-Bild auf das Ausschnittbild, das, wenn es auf dem Bildschirm angezeigt wird, nur einen Abschnitt des 360-Grad-Bildes umfasst. Der Abschnitt des 360-Grad-Bildes, der von dem Ausschnittbild enthalten ist, wird nicht zufällig gewählt, sondern wird durch die bereitgestellte Pixelinformation vorbestimmt. Folglich beschreibt die Ausschnittbildinformation den Abschnitt oder das Detail des 360-Grad-Bildes, das sichtbar ist, wenn der Benutzer eine Szene, die durch das 360-Grad-Bild gezeigt wird, von dem Blickpunkt gemäß den Blickpunktinformation betrachtet.
Sobald die Ausschnittbildinformation bestimmt ist, umfasst das Verfahren das Bereitstellen der bestimmten Ausschnittbildinformation an die Ausgabevorrichtung. Die bestimmte Ausschnittbildinformation wird daher für die Ausgabevorrichtung bereitgestellt. Dies kann durch Senden der bestimmten Ausschnittbildinformation von der Kamera zur Ausgabevorrichtung über die Kommunikationsverbindung zwischen der Kamera und der Ausgabevorrichtung erreicht werden. Im Vergleich zu der Rohbildinformation ist die Ausschnittbildinformation ein kleineres Datenpaket, da die Ausschnittbildinformation nicht das ganze 360-Grad-Bild, sondern nur das Ausschnittbild umfasst. Das Verfahren umfasst ferner das Anzeigen des Ausschnittbildes gemäß der bereitgestellten Ausschnittbildinformation auf dem Bildschirm der Ausgabevorrichtung. Dies bedeutet, dass die Kamera nicht die ganze Rohbildinformation mit der Ausgabevorrichtung teilt, sondern nur die Ausschnittbildinformation, die in Abhängigkeit von der durch die Ausgabevorrichtung bestimmten Blickpunktinformation gewählt wird.
Das beschriebene Verfahren ermöglicht eine genaue Anforderung für spezielle Teile des 360-Grad-Bildes, die dem Blickpunkt entsprechen, um die Datengröße der Bildinformation, die zur Ausgabevorrichtung gesendet werden müssen, im Vergleich zu einem Verfahren, das das Senden des ganzen 360-Grad-Bildes zur Ausgabevorrichtung umfasst, zu verringern. Daher ist das Live-Streaming der durch die Kamera bereitgestellten Bildinformation mittels der Ausgabevorrichtung möglich, ohne die Qualität der bereitgestellten Bildinformation zu verringern. Dies wird durch Reduzieren oder Beschneiden des 360-Grad-Bildes auf das Ausschnittbild erreicht, was das Teilen des ganzen 360-Grad-Bildes mit der Ausgabevorrichtung verhindert. Daher wird erreicht, dass die Qualität eines auf einer Ausgabevorrichtung angezeigten Bildes erhöht wird, während Bilddaten durch eine Kamera in Echtzeit übertragen werden, im Vergleich zu Verfahren, die das Bereitstellen des ganzen 360-Grad-Bildes an die Ausgabevorrichtung umfassen.
Gemäß einer Ausführungsform umfasst das Verfahren das Bestimmen einer Positionsinformation und/oder Winkelinformation der Ausgabevorrichtung. Es umfasst ferner das Bestimmen der Blickpunktinformation unter Berücksichtigung der bestimmten Positionsinformation und/oder Winkelinformation. Mit anderen Worten wird die Blickpunktinformation in Abhängigkeit von der bestimmten Positionsinformation und/oder Winkelinformation bestimmt. Die Positionsinformation kann alternativ als Positionsdaten bezeichnet werden oder kann durch Positionsdaten beschrieben werden. Die Winkelinformation kann alternativ als Winkeldaten bezeichnet werden oder kann durch Winkeldaten beschrieben werden. Die Positionsinformation beschreibt eine Position des Blickpunkts. Die Position kann eine absolute Position oder eine relative Position der Ausgabevorrichtung in Bezug auf beispielsweise eine Position der Kamera sein. Die Position kann durch Koordinaten beschrieben werden. Die Winkelinformation beschreibt einen Blickwinkel, unter dem das 360-Grad-Bild betrachtet wird. Die Winkelinformation beschreibt daher einen Winkel, wobei ein Startpunkt des Winkels die Position des Blickpunkts ist. Der Winkel beschreibt eine Orientierung in Richtung einer Bildoberfläche des 360-Grad-Bildes, wobei das 360-Grad-Bild gemäß der Orientierung durch den Benutzer betrachtet wird. Der Blickwinkel kann in Abhängigkeit von der Position der Ausgabevorrichtung definiert werden. Folglich kann die Blickpunktinformation eine Anordnung eines Betrachters zu der im 360-Grad-Bild betrachteten Szene umfassen. Der Betrachter ist der Benutzer, der das angezeigte Ausschnittbild auf dem Bildschirm der Ausgabevorrichtung betrachtet. Das Durchführen der Bestimmung der Positions- und/oder Winkelinformation kann auf bekannten Verfahren, um die Position und/oder Orientierung der Ausgabevorrichtung zu bestimmen, beruhen, die beispielsweise typischerweise in einem Smartphone implementiert werden. Die Positionsinformation und/oder Winkelinformation ermöglichen eine genaue Bestimmung der Blickpunktinformation und folglich der Ausschnittbildinformation.
Eine andere Ausführungsform umfasst, dass die Positionsinformation und/oder die Winkelinformation in Abhängigkeit von einer Anordnung der Ausgabevorrichtung zur Kamera bestimmt werden. Die Anordnung beschreibt die Position und Orientierung der Ausgabevorrichtung relativ zur Kamera. In einem Beispiel kann die Kamera in einem Zentrum eines Raums positioniert sein, sodass sie den umgebenden Raum als Szene, die im 360-Grad-Bild gezeigt wird, erfasst. Im gleichen Raum kann der Benutzer anwesend sein, der ein Smartphone als Ausgabevorrichtung in seinen Händen hält. Die Positionsinformation kann beispielsweise als relative Position der Ausgabevorrichtung zur Kamera bestimmt werden. Die Orientierung der Ausgabevorrichtung kann als relative Winkelinformation der Ausgabevorrichtung in Bezug auf die Kamera beschrieben werden. Auf der Basis dieser Positionsinformation und/oder Winkelinformation kann die Ausgabevorrichtung den Blickpunkt in Bezug auf die Szene, das heißt in Bezug auf den Raum, berechnen. Es ist möglich, dass die Kamera ihre eigene Position als Kamerapositionsinformation der Ausgabevorrichtung bereitstellt.
Wenn der Benutzer die Ausgabevorrichtung innerhalb des Raums bewegt, wird die Änderung der Anordnung der Ausgabevorrichtung in Bezug auf die Kamera detektiert. Folglich ändert sich die Ausschnittbildinformation gemäß der Bewegung der Ausgabevorrichtung. Daher ist es erforderlich, kontinuierlich die Positions- und/oder Winkelinformation bereitzustellen, um die Blickpunktinformation kontinuierlich zu aktualisieren. Folglich kann die bereitgestellte Ausschnittbildinformation der Bewegung der Ausgabevorrichtung folgen und passt sich daher an die aktuelle Anordnung der Ausgabevorrichtung in Bezug auf die Kamera an. Dies führt zu einer komfortablen Weise für den Benutzer, das Ausschnittbild auszuwählen, das für die Anzeige auf dem Bildschirm bestimmt ist.
Daneben umfasst eine Ausführungsform das Empfangen der Rohbildinformation durch die Ausgabevorrichtung. Es umfasst ferner das Anzeigen des 360-Grad-Bildes gemäß der empfangenen Rohbildinformation auf der Ausgabevorrichtung. In diesem Szenario ist es möglich, dass das auf dem Bildschirm gezeigte Bild eine niedrige Qualität im Vergleich zu dem 360-Grad-Bild gemäß den Rohbilddaten aufweist, wenn die Rohbildinformation in der Bildqualität verringert wurde, um die Menge der zur Ausgabevorrichtung zu sendenden Bildinformation zu verringern. Die Ausführungsform umfasst ferner das Bereitstellen einer manuellen Positionierung des Blickpunkts und/oder einer manuellen Einstellung des Blickwinkels mittels eines Bedienelements der Ausgabevorrichtung. Der Benutzer kann daher beispielsweise den Blickpunkt innerhalb des angezeigten 360-Grad-Bildes virtuell wählen. Der Benutzer kann sich in diesem Szenario daher zu einem Blick auf das 360-Grad-Bild mittels einer manuellen Eingabe entscheiden. Das Bedienelement kann ein Element sein, das auf einem Berührungsbildschirm der Ausgabevorrichtung angezeigt wird. Alternativ oder zusätzlich kann das Bedienelement ein Knopf, eine Taste, ein Schalter oder ein anderes Steuermittel sein, das durch oder für die Ausgabevorrichtung bereitgestellt wird. Danach umfasst das Verfahren das Bestimmen der Positionsinformation und/oder der Winkelinformation unter Berücksichtigung jeweils der manuell bereitgestellten Position und/oder des manuell bereitgestellten Blickwinkels. Daher ist es nicht erforderlich, dass die Ausgabevorrichtung in der Nähe zu oder wenigstens in derselben Umgebung wie die Kamera angeordnet ist, da eine rein virtuelle Wahl des Blickpunkts möglich ist. Dies ermöglicht die Bereitstellung einer vorher erfassten Rohbildinformation, die in der Speichereinheit gespeichert werden kann, als Rohbildinformation. Daher ist es nicht erforderlich, dass ein Live-Stream der Bildinformation, die durch die Kamera in Echtzeit erfasst wird, durchgeführt wird. Selbst in einer rein virtuellen Umgebung kann jedoch der Benutzer immer noch den Blickpunkt gemäß der Blickpunktinformation festlegen oder wenigstens beeinflussen.
Gemäß einer weiteren Ausführungsform umfasst das Bestimmen der Pixelinformation das Berücksichtigen einer Bildschirmgrößeninformation. Die Bildschirmgrößeninformation beschreibt eine Bildschirmgröße des Bildschirms der Ausgabevorrichtung, sodass eine Größe des Ausschnittbildes der Bildschirmgröße entspricht. Die Bildschirmgrößeninformation kann als Bildschirmgrößendaten bezeichnet werden oder kann durch Bildschirmgrößendaten beschrieben werden. Mit anderen Worten wird berücksichtigt, ob die Ausgabevorrichtung einen großen Bildschirm oder einen vergleichsweise kleineren Bildschirm umfasst. Die Bildschirmgrößeninformation ist daher beispielsweise für ein Tablet (großer Bildschirm) oder ein Smartphone (kleinerer Bildschirm) als Ausgabevorrichtungen unterschiedlich. Auf dem großen Bildschirm ist es möglich, ein Ausschnittbild zu zeigen, das einen größeren Teil des 360-Grad-Bildes umfasst, im Vergleich zu einem kleineren Bildschirm, der nur Bildschirmplatz für ein vergleichsweise kleineres Ausschnittbild bereitstellt. Die bereitgestellte Ausschnittbildinformation hängen daher nicht nur von der bereitgestellten Blickpunktinformation, sondern auch von der Bildschirmgrößeninformation ab, die von der verwendeten Ausgabevorrichtung abhängt. Dies führt zu einer weiteren Benutzerfreundlichkeit, da das Ausschnittbild unter Berücksichtigung des Bildschirms, auf dem es betrachtet wird, bestimmt wird. Daher kann das Ausschnittbild an die verwendete Ausgabevorrichtung angepasst werden.
Gemäß einer Ausführungsform umfasst das Bestimmen der Ausschnittbildinformation das Herunterskalieren des Ausschnittbildes um einen Faktor. Der Faktor hängt von der Bildschirmgrößeninformation ab. Im Vergleich zum 360-Grad-Bild betrachtet das Ausschnittbild nur einen Abschnitt des 360-Grad-Bildes, wobei der betrachtete Abschnitt im Maßstab weiter verkleinert wird. Ein spezieller Abstand im 360-Grad-Bild, beispielsweise ein Abstand zwischen zwei Objekten, die im 360-Grad-Bild gezeigt sind, ist folglich im Ausschnittbild im Vergleich zum 360-Grad-Bild aufgrund der Herunterskalierung kleiner. Dies bedeutet, dass die im Ausschnittbild betrachtete Szene in ihren Verhältnissen im Vergleich zu jeweiligen Verhältnissen im 360-Grad-Bild vermindert sein kann. Obwohl die Bildschirmgröße des Bildschirms der Ausgabevorrichtung typischerweise im Vergleich zur Größe der im 360-Grad-Bild gezeigten Szene klein ist, ist es möglich, aufgrund der zusätzlichen Herunterskalierung der im Ausschnittbild gezeigten Szene einen relativ großen Bereich des 360-Grad-Bildes auf der Anzeige als Ausschnittbild zu zeigen. Der Faktor kann eine natürliche Zahl sein, was zu einem Faktor von 2, 3 oder mehr führt. Es ist alternativ oder zusätzlich möglich, irgendeinen Faktor zwischen natürlichen Zahlen zu wählen, beispielsweise einen Faktor von 2,1 oder 2,15. Die Verkleinerung des Ausschnittbildes kann alternativ als Verminderung des Abschnitts des 360-Grad-Bildes bezeichnet werden, der durch das Ausschnittbild betrachtet wird. Aufgrund der Herunterskalierung ist das Verfahren aufgrund der gesteigerten Anpassung an die verwendete Ausgabevorrichtung für den Benutzer noch komfortabler.
Eine andere Ausführungsform umfasst das Umwandeln der bereitgestellten Pixelinformation in eine Ansichtsfensterinformation und das Bestimmen der Ausschnittbildinformation unter Berücksichtigung der Ansichtsfensterinformation. Die Ansichtsfensterinformation beschreibt eine Größe und Position des Ausschnittbildes innerhalb des 360-Grad-Bildes. Die Ansichtsfensterinformation kann alternativ als Ansichtsfensterdaten bezeichnet werden oder kann durch Ansichtsfensterdaten beschrieben werden. Das Umwandeln wird vorzugsweise mittels der Kamera durchgeführt. Die Ansichtsfensterinformation kann als Äquivalent zu der bestimmten Pixelinformation verstanden werden. Der Unterschied zwischen den zwei Informationen besteht wenigstens darin, dass die Ansichtsfensterinformation in einer Weise definiert wird, dass sie direkt durch die Kamera verwendbar sind, um das gewollte Ausschnittbild bereitzustellen. Das Ansichtsfenster wird durch den Blickpunkt gemäß der Blickpunktinformation definiert. Das Berücksichtigen der Ansichtsfensterinformation führt zu einer besonders genauen Bestimmung der Ausschnittbildinformation durch die Kamera.
Gemäß einer weiteren Ausführungsform umfasst das Bestimmen der Ausschnittbildinformation das Schwärzen aller Regionen des 360-Grad-Bildes, die außerhalb des Ausschnittbildes liegen. Das Schwärzen wird unter Berücksichtigung der Ansichtsfensterinformation durchgeführt. Der Teil des 360-Grad-Bildes, der dem Ausschnittbild entspricht, wird daher beibehalten, während alle anderen Teile des 360-Grad-Bildes geschwärzt werden. Die Bildpixel in allen Regionen des 360-Grad-Bildes, die außerhalb des Ausschnittbildes liegen, werden somit automatisch auf einen Pixelwert gesetzt, der der Farbe Schwarz entspricht. Alternativ können sie auf einen Pixelwert gesetzt werden, der eine andere Farbe, beispielsweise Weiß oder Grau, darstellt. Dies bedeutet, dass die Ausschnittbildinformation ein Bild darstellen kann, das dieselbe Größe hinsichtlich einer Länge und Höhe des Bildes wie das 360-Grad-Bild aufweist. Die Länge und Höher sind hier Dimensionen des Bildes in x- und y-Richtung, wobei eine x-y-Ebene eine Oberflächenebene des Bildes darstellt. Das 360-Grad-Bild und das Ausschnittbild können daher dieselbe Dimension hinsichtlich Länge und Höhe des jeweiligen Bildes aufweisen. Die geschwärzten Regionen erfordern jedoch weniger Speicherplatz im Vergleich zu Teilen des jeweiligen Bildes, die gemäß dem Abschnitt des 360-Grad-Bildes tatsächlich variierende Pixelwerte umfassen. Das Schwärzen führt daher zu verringerter Datengröße der Ausschnittbildinformation im Vergleich zu der Rohbildinformation, was die Bereitstellung der Live-Bilddaten an die Ausgabevorrichtung erleichtert, ohne die Bildqualität verringern zu müssen.
Gemäß einer Ausführungsform umfasst das Verfahren das Überprüfen, ob ein Modus der Ausgabevorrichtung aktiviert wurde, in dem die Ausgabevorrichtung die bestimmte Pixelinformation mit der Kamera teilt. Nur in einem aktivierten Modus der Ausgabevorrichtung bestimmt die Kamera die Ausschnittbildinformation. Daher ist es möglich, das beschriebene Verfahren zu aktivieren oder zu deaktivieren, sodass es immer noch möglich ist, beispielsweise Bilddaten von der Kamera der Ausgabevorrichtung bereitzustellen, ohne zuerst die Blickpunktinformation bereitzustellen. Der Modus der Ausgabevorrichtung kann mittels des Bedienelements der Ausgabevorrichtung aktiviert oder deaktiviert werden. Vorzugsweise wird der Modus manuell durch den Benutzer der Ausgabevorrichtung aktiviert oder deaktiviert. Dies macht das beschriebene Verfahren besonders kundenfreundlich.
Daneben umfasst eine Ausführungsform, dass in einem deaktivierten Modus der Ausgabevorrichtung die Kamera die Rohbildinformation der Ausgabevorrichtung bereitstellt. Dies bedeutet, dass, wenn der Modus nicht tatsächlich aktiviert ist, kein Ausschnittbild bereitgestellt und durch die Ausgabevorrichtung angezeigt wird. Es ist dennoch möglich, dass die Rohbildinformation beispielsweise komprimiert wird, was bedeutet, dass sie in der Bildgröße und daher Bildqualität verringert wird. Folglich ist es möglich, die Größe der Bildinformation zu verringern, die die Kamera zur Ausgabevorrichtung sendet, ohne die Ausschnittbildinformation bereitzustellen.
In diesem Zusammenhang umfasst eine Ausführungsform, dass die Ausgabevorrichtung eine Modusinformation für die Kamera bereitstellt. Die Modusinformation kann alternativ als Modusdaten bezeichnet werden oder kann durch Modusdaten beschrieben werden. Die Modusinformation beschreibt den Modus der Ausgabevorrichtung, der aktiviert wurde. Der Modus, der aktiviert wurde, ist insbesondere ein Modus mit geteiltem Blickpunkt der Ausgabevorrichtung. Der Modus kann für eine Situation bestimmt sein, in der mehrere Ausgabevorrichtungen jeweils die Bildinformation von der Kamera empfangen. Die Benutzer der mehreren Ausgabevorrichtungen können dann beispielsweise durch Aktivieren des Modus mit geteiltem Blickpunkt von wenigstens einer der Ausgabevorrichtungen über einen gemeinsamen Blickpunkt entscheiden. Daher ist es möglich, dass eine Anwendung, die auf der Ausgabevorrichtung betrieben wird, den speziellen Modus mit geteiltem Blickpunkt umfasst, der manuell aktiviert oder deaktiviert werden kann. Der Modus ermöglicht ferner eine schnelle Prüfung mittels der Kamera, um zu bestimmen, ob die Blickpunktinformation von der Ausgabevorrichtung zu erwarten ist oder nicht. Es ist möglich, dass das Bestimmen und Bereitstellen der Blickpunktinformation und der Pixelinformation durch die Ausgabevorrichtung davon abhängt, ob der Modus aktiviert ist oder nicht. Dies führt zu weniger durch die Ausgabevorrichtung erforderlichem Rechenaufwand, wenn der Modus deaktiviert ist.
Es ist möglich, dass das Verfahren das Bereitstellen der bestimmten Ausschnittbildinformation an die Ausgabevorrichtung in Echtzeit umfasst. Dies kann unter Verwendung eines Übertragungssystems mit geringer Latenz erreicht werden, das beispielsweise dazu eingerichtet ist, die Bildinformation von der Kamera an die Ausgabevorrichtung über die Kommunikationsverbindung in festgelegten Zeitintervallen bereitzustellen. Die Zeitintervalle können beispielsweise auf 100 Millisekunden gesetzt werden. Dies bedeutet, dass beispielsweise alle 100 Millisekunden eine neue Bildinformation, insbesondere Ausschnittbildinformation, zur Ausgabevorrichtung für die Anzeige auf dem Bildschirm gesendet wird. Dies ermöglicht ein tatsächliches Echtzeit-Übertragen und daher Live-Streaming von Bildinformation, die durch die Kamera bereitgestellt werden.
Ein anderer Aspekt der Erfindung bezieht sich auf ein System zum Bereitstellen eines durch eine Ausgabevorrichtung anzuzeigenden Bildes. Das System umfasst eine Kamera und die Ausgabevorrichtung, wobei die Kamera dazu eingerichtet ist, eine Rohbildinformation bereitzustellen, die ein 360-Grad-Bild beschreibt. Die Ausgabevorrichtung ist dazu eingerichtet, eine Blickpunktinformation, die einen Blickpunkt beschreibt, aus dem ein Ausschnittbild des 360-Grad-Bildes genommen wird, bereitzustellen, wobei das Ausschnittbild für die Anzeige auf einem Bildschirm der Ausgabevorrichtung bestimmt ist; eine Pixelinformation durch Umwandeln der bereitgestellten Blickpunktinformation in entsprechende Pixelkoordinaten zu bestimmen, sodass die Pixelinformation einen Pixelbereich des 360-Grad-Bildes beschreiben, der dem bereitgestellten Blickpunkt entspricht; und die bestimmte Pixelinformation der Kamera bereitzustellen. Die Kamera ist dazu eingerichtet, eine Ausschnittbildinformation durch Verringern der bereitgestellten Rohbildinformation auf den Pixelbereich gemäß der bereitgestellten Pixelinformation zu bestimmen, wobei die Ausschnittbildinformation das Ausschnittbild beschreibt; und die bestimmte Ausschnittbildinformation an die Ausgabevorrichtung bereitzustellen. Die Ausgabevorrichtung ist dazu eingerichtet, das Ausschnittbild gemäß der bereitgestellten Ausschnittbildinformation auf dem Bildschirm der Ausgabevorrichtung anzuzeigen. Das System führt das oben beschriebene Verfahren durch.
Die Erfindung bezieht sich zudem auf eine Kamera zum Bereitstellen eines durch eine Ausgabevorrichtung anzuzeigenden Bildes. Die Kamera ist dazu eingerichtet, eine Rohbildinformation bereitzustellen, die ein 360-Grad-Bild beschreibt; eine Pixelinformation von einer Ausgabevorrichtung zu empfangen, wobei die Pixelinformation einen Pixelbereich des 360-Grad-Bildes beschreibt; eine Ausschnittbildinformation durch Verringern der bereitgestellten Rohbildinformation auf den Pixelbereich gemäß der empfangenen Pixelinformation zu bestimmen, wobei die Ausschnittbildinformation ein Ausschnittbild des 360-Grad-Bildes beschreibt; und die bestimmte Ausschnittbildinformation der Ausgabevorrichtung bereitzustellen.
Ein weiterer Aspekt der Erfindung bezieht sich auf eine Ausgabevorrichtung zum Anzeigen eines Bildes. Die Ausgabevorrichtung ist dazu eingerichtet, eine Blickpunktinformation bereitzustellen, die einen Blickpunkt beschreibt, aus dem ein Ausschnittbild eines 360-Grad-Bildes aufgenommen wird, wobei das Ausschnittbild für die Anzeige auf einem Bildschirm der Ausgabevorrichtung bestimmt ist; eine Pixelinformation durch Umwandeln der bereitgestellten Blickpunktinformation in entsprechende Pixelkoordinaten zu bestimmen, sodass die Pixelinformation einen Pixelbereich des 360-Grad-Bildes beschreibt, der dem bereitgestellten Blickpunkt entspricht; die bestimmte Pixelinformation der Kamera bereitzustellen; eine Ausschnittbildinformation, die ein Ausschnittbild eines 360-Grad-Bildes beschreibt, von einer Kamera zu empfangen; und das Ausschnittbild gemäß der bereitgestellten Ausschnittbildinformation auf dem Bildschirm der Ausgabevorrichtung anzuzeigen.
Ferner bezieht sich ein Aspekt der Erfindung auf ein Computerprogrammprodukt. Das Computerprogrammprodukt umfasst Anweisungen, die, wenn das Programm durch eine Kamera, wie vorstehend beschrieben, und eine Ausgabevorrichtung, wie vorstehend beschrieben, ausgeführt wird, bewirken, dass die Kamera beziehungsweise die Ausgabevorrichtung die Schritte des vorstehend beschriebenen Verfahrens ausführen. Die Kamera führt die für die Kamera bestimmten Schritte aus und die Ausgabevorrichtung führt die für die Ausgabevorrichtung bestimmten Schritte aus. Das Computerprogrammprodukt kann ein Computerprogramm sein.
Die Erfindung umfasst auch eine Steuereinheit, um das erfindungsgemäße Computerprogrammprodukt auszuführen. Sowohl die Kamera als auch die Ausgabevorrichtung umfassen eine solche Steuereinheit. Die Steuereinheit ist dazu eingerichtet, wenigstens die vorstehend erwähnten Schritte durchzuführen, die das Bestimmen von speziellen Information, das Betreiben des Bildschirms, um ein spezielles Bild anzuzeigen, oder das Betreiben der Kamera, um die Rohbildinformation bereitzustellen, die insbesondere durch die Kamera erfasst werden, umfassen. Die jeweilige Steuereinheit kann als Verarbeitungseinheit bezeichnet werden. Die Steuereinheit kann einen oder mehrere Mikroprozessoren und/oder einen oder mehrere Mikrocontroller und/oder einen oder mehrere ASIC (anwendungsspezifischer integrierter Schaltkreis) umfassen. Ferner kann die Steuereinheit einen Programmcode umfassen, der dazu ausgelegt ist, das Verfahren durchzuführen, wenn er durch die Steuereinheit ausgeführt wird. Der Programmcode kann in einem Datenspeicher der Steuereinheit gespeichert sein. Die Steuereinheiten führen die Schritte des erfindungsgemäßen Verfahrens durch. Der Programmcode kann als erfindungsgemäßes Computerprogrammprodukt verstanden werden.
Die Erfindung umfasst auch weitere Ausführungsformen des Systems, der Kamera, der Ausgabevorrichtung, der Steuereinheit und/oder des Computerprogrammprodukts, die Merkmale aufweisen, wie bereits in Verbindung mit den Ausführungsformen des erfindungsgemäßen Verfahrens beschrieben. Die Erfindung umfasst auch Kombinationen der Merkmale der beschriebenen Ausführungsformen.
Die Figuren zeigen in:

1 eine schematische Darstellung des Systems, um ein durch eine Ausgabevorrichtung anzuzeigendes Bild bereitzustellen;
2 eine schematische Darstellung eines Verfahrens, um ein durch eine Ausgabevorrichtung anzuzeigendes Bild bereitzustellen; und
3 eine schematische Darstellung von weiteren Schritten des in 2 gezeigten Verfahrens.

1 zeigt einen Raum 1, in dem ein System 2 angeordnet ist. Das System 2 umfasst eine Kamera 3, die beispielhaft an einem Dreibein 4 montiert ist. Die Kamera 3 ist eine 360-Grad-Kamera, was bedeutet, dass sie 360-Grad-Bilder des Raums 1 erfassen kann. Die Kamera 3 kann das 360-Grad-Bild für eine andere Vorrichtung des Systems 2 bereitstellen.
In dem Raum 1 ist ein Benutzer 5 anwesend. Der Benutzer 5 ist eine Person, die ein Smartphone in ihren Händen hält. Das Smartphone ist ein Beispiel für eine Ausgabevorrichtung 6. Das System 2 umfasst die Ausgabevorrichtung 6. Alternativ oder zusätzlich kann die Ausgabevorrichtung 6 ein Computer, ein Tablet oder irgendeine andere elektronische Vorrichtung sein, die einen Bildschirm 7 umfasst. Der Benutzer 5 hält die Ausgabevorrichtung 6 in einer speziellen Position 8 sowie in einem speziellen Blickwinkel 9 in Bezug auf den Raum 1 oder die Kamera 3. Mit anderen Worten, die Ausgabevorrichtung 6 ist in einer speziellen Anordnung innerhalb des Raums 1 positioniert. Die Anordnung kann durch die Position 8 und eine Orientierung der Ausgabevorrichtung 6 beschrieben werden, die hier durch den Blickwinkel 9 beschrieben wird. Die Position 8 und/oder der Blickwinkel 9 können einen Blickpunkt definieren, von dem der Benutzer 5 den Raum 1 betrachten kann, wenn ein durch die Kamera 3 erfasstes Bild auf dem Bildschirm 7 der Ausgabevorrichtung 6 angezeigt werden würde.
2 zeigt Schritte eines Verfahrens, um ein durch die Ausgabevorrichtung 6 anzuzeigenden Bild bereitzustellen. In einem ersten Schritt S1 stellt die Kamera 3 eine Rohbildinformation 10 bereit. Die Rohbildinformation 10 beschreibt ein durch die Kamera 3 aufgenommenes 360-Grad-Bild. In diesem Beispiel zeigt das 360-Grad-Bild das Innere des Raums 1, der hier beispielhaft eine Kirche ist. Das 360-Grad-Bild kann irgendeine Art von Umgebung zeigen. Daher ist es nicht auf das Innere des Raums 1 begrenzt. Das Bereitstellen der Rohbildinformation 10 durch die Kamera 3 umfasst nicht notwendigerweise das Senden der Rohbildinformation 10 zur Ausgabevorrichtung 6.
Ein Schritt S2 umfasst das Bestimmen einer Positionsinformation und/oder Winkelinformation der Ausgabevorrichtung 6. Die Positionsinformation beschreibt die Position 8 des Blickpunkts. Die Winkelinformation beschreibt den Blickwinkel 9, unter dem das 360-Grad-Bild betrachtet wird. Die Positionsinformation und/oder Winkelinformation können in Abhängigkeit von der Anordnung der Ausgabevorrichtung 6 zur Kamera 3 bestimmt werden. Alternativ oder zusätzlich ist es möglich, dass die Positionsinformation und/oder die Winkelinformation in der folgenden Weise bestimmt werden: Die Ausgabevorrichtung 6 empfängt die Rohbildinformation 10 von der Kamera 3. Danach wird das 360-Grad-Bild gemäß den Rohbildinformation 10 auf dem Bildschirm 7 der Ausgabevorrichtung 6 angezeigt. Die Ausgabevorrichtung 6 stellt dann eine manuelle Positionierung des Blickpunkts und/oder eine manuelle Einstellung des Blickwinkels 9 mittels eines Bedienelements der Ausgabevorrichtung 6 bereit. Dies bedeutet, dass der Benutzer 5 die Position 8 und/oder den Blickwinkel 9 manuell wählen kann. Die Positionsinformation und/oder die Winkelinformation werden dann unter Berücksichtigung der manuell bereitgestellten Position 8 und/oder des manuell bereitgestellten Blickwinkels 9 bestimmt.
In einem Schritt S3 wird eine Blickpunktinformation 11 durch die Ausgabevorrichtung 6 bereitgestellt. Die Blickpunktinformation 11 beschreibt den Blickpunkt, aus dem ein Ausschnittbild des 360-Gradbildes genommen wird. Das Ausschnittbild ist für die Anzeige auf dem Bildschirm 7 der Ausgabevorrichtung 6 bestimmt.
Ein Schritt S4 umfasst ein Bestimmen einer Pixelinformation 12. Die Pixelinformation 12 wird durch Umwandeln der bereitgestellten Blickpunktinformation 11 in entsprechende Pixelkoordinaten bestimmt, sodass die Pixelinformation 12 einen Pixelbereich für das 360-Grad-Bild, der dem bereitgestellten Blickpunkt entspricht, beschreibt. Die Pixelinformation 12 kann daher von den Positionsinformation und/oder den Winkelinformation, wie vorher bestimmt, abhängen. Es ist möglich, dass die Bestimmung der Pixelinformation 12 das Berücksichtigen einer Bildschirmgrößeninformation 13 umfasst. Die Bildschirmgrößeninformation 13 beschreibt eine Bildschirmgröße des Bildschirms 7 der Ausgabevorrichtung 6. Dies führt zu dem Szenario, dass eine Größe des Ausschnittbildes der Bildschirmgröße gemäß der Bildschirmgrößeninformation 13 entspricht.
Danach stellt in einem Schritt S5 die Ausgabevorrichtung 6 die bestimmte Pixelinformation 12 für die Kamera 3 bereit, was bedeutet, dass die bestimmte Pixelinformation 12 von der Ausgabevorrichtung 6 zur Kamera 3 gesendet oder übertragen wird. Daher besteht eine Kommunikationsverbindung zwischen einer Kommunikationsschnittstelle der Kamera 3 und einer Kommunikationsschnittstelle der Ausgabevorrichtung 6. Die Kommunikationsverbindung kann kabelfrei oder kabelgebunden sein.
Danach wird eine Ausschnittbildinformation 15 mittels der Kamera 3 bestimmt. Dies wird durch Verringern der bereitgestellten Rohbildinformation 10 auf den Pixelbereich gemäß der bereitgestellten Pixelinformation 12 durchgeführt. Die Ausschnittbildinformation 15 beschreibt das Ausschnittbild, das auf dem Bildschirm 7 durch die Ausgabevorrichtung 6 angezeigt werden soll. Um die Ausschnittbildinformation 15 zu bestimmen, ist es möglich, zuerst eine Ansichtsfensterinformation 14 zu bestimmen. Die bereitgestellte Pixelinformation 12 wird in die Ansichtsfensterinformation 14 umgewandelt und danach wird die Ansichtsfensterinformation 14 zum Bestimmen der Ausschnittbildinformation 15 berücksichtigt. Die Ansichtsfensterinformation 14 beschreibt die Größe und Position des Ausschnittbildes innerhalb des 360-Grad-Bildes.
Das Bestimmen der Ausschnittbildinformation 15 kann zudem das Herunterskalieren des Ausschnittbildes um einen Faktor umfassen. Der Faktor hängt von der Bildschirmgrößeninformation 13 ab. Der Maßstab des Ausschnittbildes kann daher gemäß der Bildschirmgröße des Bildschirms 7 der Ausgabevorrichtung 6 variieren. Das Ausschnittbild kann daher einen größeren Teil des 360-Grad-Bildes zeigen, wenn der Bildschirm 7 relativ groß ist, im Vergleich zu einem kleineren Bildschirm 7. Je kleiner der Bildschirm 7 ist, desto höher kann der Faktor sein. Obwohl ein Bildschirm 7 relativ klein ist, wie es für den Bildschirm 7 eines Smartphones als Ausgabevorrichtung 6 der Fall sein kann, kann das ausgegebene Bild aufgrund der Herunterskalierung des Ausschnittbildes um den Faktor immer noch einen relativ großen Teil des 360-Grad-Bildes zeigen.
Durch Bestimmen der Ausschnittbildinformation 15 können alle Regionen des 360-Grad-Bildes, die außerhalb des Ausschnittbildes liegen, geschwärzt werden. Dazu wird die Ansichtsfensterinformation 14 berücksichtigt. Dies bedeutet, dass eine Größe eines Bildes, das durch die Ausschnittbildinformation 15 beschrieben wird, dieselbe Größe in der Länge und Höhe des Bildes, das heißt in der x- und y-Richtung des Bildes, wie das 360-Grad-Bild aufweisen kann, da die Teile, die das Ausschnittbild umgeben, geschwärzt, aber nicht ausgeschnitten werden.
Ein weiterer Schritt S8 umfasst das Bereitstellen der bestimmten Ausschnittbildinformation 15 an die Ausgabevorrichtung 6. Daher kann die bestimmte Ausschnittbildinformation 15 zur Ausgabevorrichtung 6 über die Kommunikationsverbindung gesendet werden. Ein Schritt S9 umfasst das Anzeigen des Ausschnittbildes gemäß der bereitgestellten Ausschnittbildinformation 15 auf dem Bildschirm 7 der Ausgabevorrichtung 6. Hierbei ist beabsichtigt, dass die geschwärzten Regionen des 360-Grad-Bildes nicht auf dem Bildschirm 7 angezeigt werden. Vorzugsweise ist das einzige auf dem Bildschirm 7 sichtbare Bild der Pixelbereich des 360-Grad-Bildes, der als Ausschnittbild des 360-Grad-Bildes gewählt wurde.
3 zeigt zusätzliche Schritte des Verfahrens. Nach dem Bereitstellen der Rohbildinformation 10 in Schritt S1 ist es möglich, einen Schritt S11 durchzuführen, der ein Überprüfen, ob ein Modus der Ausgabevorrichtung 6 aktiviert wurde, in dem die Ausgabevorrichtung 6 die bestimmten Pixelinformation 12 mit der Kamera 3 teilt, oder nicht, umfasst. Um den Schritt S11 durchzuführen, ist ein Schritt S10 vorhanden, der das Bereitstellen einer Modusinformation 16 umfasst. Die Modusinformation 16 beschreibt, dass der Modus der Ausgabevorrichtung 6 aktiviert wurde. Der Modus ist insbesondere ein Modus mit geteiltem Blickpunkt. Die Ausgabevorrichtung 6 stellt die Modusinformation 16 für die Kamera 3 beispielsweise durch Senden derselben zur Kamera 3 bereit. Wenn der Blickpunktmodus aktiviert wurde, führt die Kamera 3 beispielsweise weiterhin die Schritte S6 bis S8 durch, was bedeutet, dass die Ausschnittbildinformation 15 bestimmt wird und der Ausgabevorrichtung 6 bereitgestellt wird. In diesem Fall führt das Verfahren zu Schritt S9, das heißt zum Anzeigen des Ausschnittbildes auf dem Bildschirm 7 der Ausgabevorrichtung 6.
Wenn jedoch die Überprüfung in Schritt S11 negativ ist, was bedeutet, dass der Modus nicht aktiviert wurde und somit inaktiv ist, stellt die Kamera 3 die Rohbildinformation 10 in Schritt S12 der Ausgabevorrichtung 6 bereit. In diesem Fall ist es möglich, dass die Rohbildinformation 10 in der Qualität im Vergleich zu der ursprünglich erfassten Rohbildinformation 10 der Kamera 3 verringert wird, um eine schnelle Übertragung der Rohbildinformation 10 zur Ausgabevorrichtung 6 über die Kommunikationsverbindung bereitzustellen. In Schritt S9 wird nur das Ausschnittbild auf dem Bildschirm 7 gezeigt, wohingegen in Schritt S12 das ganze 360-Grad-Bild auf dem Bildschirm 7 angezeigt wird.
Im Allgemeinen kann das Verfahren eine Echtzeit- oder Live-Anzeige des Ausschnittbildes bereitstellen. Dies bedeutet, dass das Bestimmen und Bereitstellen der Ausschnittbildinformation 15 an die Ausgabevorrichtung 6 in Echtzeit stattfindet. Es ist auch beabsichtigt, dass die Blickpunktinformation 11 von der Ausgabevorrichtung 6 an die Kamera 3 in Echtzeit bereitgestellt wird, sodass Änderungen der Position 8 und/oder des Blickwinkels 9 in Echtzeit berücksichtigt werden können. Zusammengefasst wird das 360-Grad-Bild der Kamera 3 für Live-Streaming verwendet. In einer Anwendung, die auf der Ausgabevorrichtung 6 betrieben wird, kann ein Modus bereitgestellt werden, der die Benutzer 5 zwingt, einen gemeinsamen Blickpunkt des 360-Grad-Bildes zu sehen oder denselben Teil des 360-Grad-Bildes zu sehen. Dieser Modus wird Modus mit geteiltem Blickpunkt genannt.
Es ist möglich, dass die Blickpunktinformation 11, die durch eine Ausgabevorrichtung 6 bestimmt ist, mit anderen Ausgabevorrichtungen 6 geteilt wird, die dann die Ausschnittbildinformation 15 von der Kamera 3 empfangen. Es ist die Idee der Erfindung, die Blickpunktinformation 11 der Ausgabevorrichtung 6 zu teilen, die für die 360-Grad-Kamera 3 verantwortlich ist, um den Blickpunkt in Pixelkoordinaten, das heißt in die Pixelinformation 12, umzuwandeln und sie zur 360-Grad-Kamera 3 zu senden, nur um den Teil des angezeigten Bildes im Blickpunkt zu halten. Dies ist durchführbar aufgrund der Verwendung von Übertragungssystemen mit geringer Latenz. Dies führt zu einer erhöhten Bildqualität des Ausschnittbildes aufgrund der Schwärzung aller Regionen, die keine interessanten Regionen sind, da sie das Ausschnittbild umgeben.
Anstelle eines statischen Bildes kann die Kamera 3 dynamische Bilder wie zum Beispiel ein Video bereitstellen. Die Rohbildinformation 10 kann daher Rohvideodaten und die Ausschnittbildinformation 15 Ausschnittvideodaten sein.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20190149731 A1 [0003]
US 20210243418 A1 [0004]

Claims

Verfahren zum Bereitstellen eines durch eine Ausgabevorrichtung (6) anzuzeigenden Bildes, umfassend: - Bereitstellen einer Rohbildinformation (10) durch eine Kamera (3), wobei die Rohbildinformation (10) ein 360-Grad-Bild beschreibt; - Bereitstellen einer Blickpunktinformation (11) durch die Ausgabevorrichtung (6), wobei die Blickpunktinformation (11) einen Blickpunkt beschreibt, aus dem ein Ausschnittbild des 360-Grad-Bildes genommen wird, wobei das Ausschnittbild für die Anzeige auf einem Bildschirm (7) der Ausgabevorrichtung (6) bestimmt ist; - Bestimmen einer Pixelinformation (12) durch Umwandeln der bereitgestellten Blickpunktinformation (11) in entsprechende Pixelkoordinaten durch die Ausgabevorrichtung (6), sodass die Pixelinformation (12) einen Pixelbereich des 360-Grad-Bildes beschreibt, der dem bereitgestellten Blickpunkt entspricht; - Bereitstellen der bestimmten Pixelinformation (12) an die Kamera (3); - Bestimmen einer Ausschnittbildinformation (15) durch Verringern der bereitgestellten Rohbildinformation (10) auf den Pixelbereich gemäß der bereitgestellten Pixelinformation (12) durch die Kamera (3), wobei die Ausschnittbildinformation (15) das Ausschnittbild beschreibt; - Bereitstellen der bestimmten Ausschnittbildinformation (15) an die Ausgabevorrichtung (6); und - Anzeigen des Ausschnittbildes gemäß der bereitgestellten Ausschnittbildinformation (15) auf dem Bildschirm (7) der Ausgabevorrichtung (6).
Verfahren nach Anspruch 1, umfassend Bestimmen einer Positionsinformation und/oder Winkelinformation der Ausgabevorrichtung (6) und Bestimmen der Blickpunktinformation (11) unter Berücksichtigung der bestimmten Positionsinformation und Blickwinkelinformation, wobei die Positionsinformation eine Position (8) des Blickpunkts beschreibt und die Winkelinformation einen Blickwinkel (9), unter dem das 360-Grad-Bild betrachtet wird, beschreibt.
Verfahren nach Anspruch 2, wobei die Positionsinformation und/oder die Winkelinformation in Abhängigkeit von einer Anordnung der Ausgabevorrichtung (6) zur Kamera (3) bestimmt werden.
Verfahren nach Anspruch 2 oder 3, umfassend Empfangen der Rohbildinformation (10) durch die Ausgabevorrichtung (6), Anzeigen des 360-Grad-Bildes gemäß den empfangenen Rohbildinformation (10) auf dem Bildschirm (7) der Ausgabevorrichtung (6), Bereitstellen einer manuellen Positionierung des Blickpunkts und/oder einer manuellen Einstellung des Blickwinkels (9) mittels eines Bedienelements der Ausgabevorrichtung (6) und Bestimmen der Positionsinformation und/oder der Winkelinformation unter Berücksichtigung der manuell bereitgestellten Position (8) und des manuell bereitgestellten Blickwinkels (9).
Verfahren nach einem der vorangehenden Ansprüche, wobei das Bestimmen der Pixelinformation (12) das Berücksichtigen einer Bildschirmgrößeninformation (13) umfasst, die eine Bildschirmgröße des Bildschirms (7) der Ausgabevorrichtung (6) beschreibt, sodass eine Größe des Ausschnittbildes der Bildschirmgröße entspricht.
Verfahren nach Anspruch 5, wobei das Bestimmen der Ausschnittbildinformation (15) ein Herunterskalieren des Ausschnittbildes um einen Faktor umfasst, wobei der Faktor von der Bildschirmgrößeninformation (13) abhängt.
Verfahren nach einem der vorangehenden Ansprüche, umfassend Umwandeln der bereitgestellten Pixelinformation (12) in eine Ansichtsfensterinformation (14) und Bestimmen der Ausschnittbildinformation (15) unter Berücksichtigung der Ansichtsfensterinformation (14), wobei die Ansichtsfensterinformation (14) eine Größe und Position des Ausschnittbildes innerhalb des 360-Grad-Bildes beschreibt.
Verfahren nach Anspruch 7, wobei das Bestimmen der Ausschnittbildinformation (15) ein Schwärzen aller Regionen des 360-Grad-Bildes, die außerhalb des Ausschnittbildes liegen, unter Berücksichtigung der Ansichtsfensterinformation (14) umfasst.
Verfahren nach einem der vorangehenden Ansprüche, umfassend Überprüfen, ob ein Modus der Ausgabevorrichtung (6) aktiviert wurde, in dem die Ausgabevorrichtung (6) die bestimmte Pixelinformation (12) mit der Kamera (3) teilt, wobei nur im aktivierten Modus der Ausgabevorrichtung (6) die Kamera (3) die Ausschnittbildinformation (15) bestimmt.
Verfahren nach Anspruch 9, wobei in einem deaktivierten Modus der Ausgabevorrichtung (6) die Kamera (3) die Rohbildinformation (10) der Ausgabevorrichtung (6) bereitstellt.
Verfahren nach Anspruch 9 oder 10, wobei die Ausgabevorrichtung (6) eine Modusinformation (16) der Kamera (3) bereitstellt, wobei die Modusinformation (16) den Modus der Ausgabevorrichtung (6) beschreibt, der aktiviert wurde, der insbesondere ein Modus mit geteiltem Blickpunkt ist.
System (2) zum Bereitstellen eines durch eine Ausgabevorrichtung (6) anzuzeigenden Bildes, wobei das System eine Kamera (3) und die Ausgabevorrichtung (6) umfasst, wobei - die Kamera (3) dazu eingerichtet ist, eine Rohbildinformation (10) bereitzustellen, die ein 360-Grad-Bild beschreibt; - die Ausgabevorrichtung (6) dazu eingerichtet ist, - eine Blickpunktinformation (11) bereitzustellen, die einen Blickpunkt beschreibt, aus dem ein Ausschnittbild des 360-Grad-Bildes aufgenommen wird, wobei das Ausschnittbild für die Anzeige auf einem Bildschirm (7) der Ausgabevorrichtung (6) bestimmt ist; - eine Pixelinformation (12) durch Umwandeln der bereitgestellten Blickpunktinformation (11) in entsprechende Pixelkoordinaten zu bestimmen, sodass die Pixelinformation (12) einen Pixelbereich des 360-Grad-Bildes beschreibt, der dem bereitgestellten Blickpunkt entspricht; und - die bestimmte Pixelinformation (12) der Kamera (3) bereitzustellen; - die Kamera (3) dazu eingerichtet ist, - eine Ausschnittbildinformation (15) durch Verringern der bereitgestellten Rohbildinformation (10) auf den Pixelbereich gemäß der bereitgestellten Pixelinformation (12) zu bestimmen, wobei die Ausschnittbildinformation (15) das Ausschnittbild beschreibt; und - die bestimmte Ausschnittbildinformation (15) der Ausgabevorrichtung (6) bereitzustellen; und - die Ausgabevorrichtung (6) dazu eingerichtet ist, das Ausschnittbild gemäß der bereitgestellten Ausschnittbildinformation (15) auf dem Bildschirm (7) der Ausgabevorrichtung (6) anzuzeigen.
Kamera (3) zum Bereitstellen eines durch eine Ausgabevorrichtung (6) anzuzeigenden Bildes, wobei die Kamera (3) dazu eingerichtet ist, - eine Rohbildinformation (10) bereitzustellen, die ein 360-Grad-Bild beschreibt; - eine Pixelinformation (12) von einer Ausgabevorrichtung (6) zu empfangen, wobei die Pixelinformation (12) einen Pixelbereich des 360-Grad-Bildes beschreibt; - eine Ausschnittbildinformation (15) durch Verringern der bereitgestellten Rohbildinformation (10) auf den Pixelbereich gemäß der empfangenen Pixelinformation (12) zu bestimmen, wobei die Ausschnittbildinformation (15) ein Ausschnittbild des 360-Grad-Bildes beschreibt; und - die bestimmte Ausschnittbildinformation (15) der Ausgabevorrichtung (6) bereitzustellen.
Ausgabevorrichtung (6) zum Anzeigen eines Bildes, wobei die Ausgabevorrichtung (6) dazu eingerichtet ist, - eine Blickpunktinformation (11) bereitzustellen, die einen Blickpunkt beschreibt, aus dem ein Ausschnittbild eines 360-Grad-Bildes aufgenommen wird, wobei das Ausschnittbild für die Anzeige auf einem Bildschirm (7) der Ausgabevorrichtung (6) bestimmt ist; - eine Pixelinformation (12) durch Umwandeln der bereitgestellten Blickpunktinformation (11) in entsprechende Pixelkoordinaten zu bestimmen, sodass die Pixelinformation (12) einen Pixelbereich des 360-Grad-Bildes beschreibt, der dem bereitgestellten Blickpunkt entspricht; - die bestimmte Pixelinformation (12) der Kamera (3) bereitzustellen; - eine Ausschnittbildinformation (15), die ein Ausschnittbild eines 360-Grad-Bildes beschreibt, von der Kamera (3) zu empfangen; und - das Ausschnittbild gemäß der bereitgestellten Ausschnittbildinformation (15) auf dem Bildschirm (7) der Ausgabevorrichtung (6) anzuzeigen.
Computerprogrammprodukt mit Anweisungen, die, wenn das Programm durch eine Kamera (3) nach Anspruch 13 und eine Ausgabevorrichtung (6) nach Anspruch 14 ausgeführt wird, bewirken, dass die Kamera (3) und die Ausgabevorrichtung (6) jeweilige Schritte eines Verfahrens nach einem der Ansprüche 1 bis 11 ausführen.