DE102015204118A1

DE102015204118A1 - Verfahren, elektronische vorrichtung und server für die erzeugung von digital verarbeiteten bildern

Info

Publication number: DE102015204118A1
Application number: DE102015204118.2A
Authority: DE
Inventors: Piergiorgio Sartor; Klaus Zimmermann
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-03-11
Filing date: 2015-03-06
Publication date: 2015-09-17
Also published as: CN104918027B; US9693010B2; CN104918027A; US20150264246A1

Abstract

Ein Verfahren zur Erzeugung eines digital verarbeiteten Bildes, wobei das Verfahren ein Empfangen von Rohbilddaten von einer elektronischen Vorrichtung umfasst, die von einem Bildssensor an einer elektronischen Vorrichtung erzeugt wurden, sowie ein Empfangen von Hilfssensordaten, die von einem Hilfssensor an der elektronischen Vorrichtung erzeugt wurden. Das Verfahren umfasst ferner eine Verarbeitung der Rohbilddaten unter Berücksichtigung der Hilfssensordaten, um ein digital verarbeitetes Bild zu erzeugen.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf Verfahren, elektronische Vorrichtungen und Server zur Erzeugung von digital verarbeiteten Bildern. Die elektronischen Vorrichtungen können zum Beispiel Handkameras, Spiegelreflexkameras (DSLR) oder Smartphones sein. Der Server kann Teil eines Server-Systems im Internet sein, das einen Cloud-Dienst bereitstellt.
TECHNISCHER HINTERGRUND
Digitale Fotografie und Videografie weisen im Allgemeinen folgende grundsätzliche Bestandteile auf: Optik, Bildsensor und Signalverarbeitung. Das optische System fokussiert einfallendes Licht auf einen elektronischen Bildsensor. Der Bildsensor konvertiert auftreffendes Licht, um messbare elektrische Signale zu erhalten. Die messbaren elektrischen Signale werden von einem Analog-Digital-Wandler gesampelt. Die Signalverarbeitungskomponente rekonstruiert ein Bild, indem sie die vom Bildsensor aufgenommenen Daten konvertiert und verarbeitet und in eine digitale Darstellung in einem darstellbaren Format umwandelt. Der Rekonstruierungsschritt umfasst typischerweise die Verarbeitungsschritte des Demosaicing und der Farbinterpolation, der Konvertierung der Sensordaten in ein RGB-Format, das auf einem Bildschirm angezeigt werden kann. Nachfolgende Verarbeitungsschritte können Gamma-Korrektur, Chroma-Subsampling, Entrauschen und JPEG-Enkodierung sein. Das daraus resultierende Bild wird üblicherweise auf einem Speichermedium wie etwa einem Flash-Speicher, einem optischen Datenspeicher oder einer Festplatte gespeichert.
Über die Jahre wurden neben den Bildsensoren weitere Sensoren in elektronische Vorrichtungen und Kameras integriert, angefangen mit einem Autofokussensor (AF-Sensor). Solche zusätzlichen Sensoren (zum Beispiel Gyrossensor, Beschleunigungssensor, GPS, Temperaturfühler) werden entweder direkt im Bildverarbeitungsschritt verwendet oder ihre Daten werden zusammen mit den Bildaten als Metadaten weitergeleitet, um dem Nutzer zusätzliche Funktionen zur Verfügung zu stellen, wie etwa die Standortlokalisierung durch GPS, GLONASS und Galileo.
Die Qualität des gespeicherten Bilds hängt von der Qualität der einzelnen Komponenten ab. In letzter Zeit wurde durch den Trend der „computational photography“ (CP – computergestützten Fotografie) ein neues Design-Paradigma eingeführt, wonach die zentralen Komponenten (Optik, Sensor, Signalverarbeitung) so ausgestaltet sind, dass sie Mängel aufgrund der Optik und der Sensoren durch Computerberechnungen ausgleichen können.
ZUSAMMENFASSUNG
Gemäß einem Ausführungsbeispiel wird ein Verfahren offenbart, das Folgendes umfasst:
Empfangen, von Rohbilddaten von einer elektronischen Vorrichtung, die von einem Bildssensor der elektronischen Vorrichtung erzeugt wurden, sowie von Hilfssensordaten, die von einem Hilfssensor der elektronischen Vorrichtung erzeugt wurden; und Verarbeiten der Rohbilddaten unter Berücksichtigung der Hilfssensordaten, um ein digital verarbeitetes Bild zu erzeugen.
Gemäß einem weiteren Ausführungsbeispiel wird ein elektronisches Gerät offenbart, das Folgendes umfasst: einen Bildsensor, um ein Bild zu erfassen und Rohbilddaten zu erzeugen, die das Bild darstellen; einen Hilfssensor, um Hilfssensordaten zu erfassen; und einen Sender, um die Rohbilddaten und die Hilfssensordaten an einen Remote-Bildverarbeitungs-Server zu übermitteln, wobei der Remote-Bildverarbeitungs-Server so konfiguriert ist, dass er die Rohbilddaten unter Berücksichtigung der Hilfssensordaten verarbeitet, um ein digital verarbeitetes Bild zu erzeugen.
Gemäß einem weiteren Ausführungsbeispiel wird ein Server offenbart, der einen Prozessor umfasst, der konfiguriert ist, um Rohbilddaten zu empfangen, um Hilfssensordaten zu empfangen, und um die Rohbilddaten unter Berücksichtigung der Hilfssensordaten zu verarbeiten, um ein digital verarbeitetes Bild zu erzeugen.
Weitere Ausführungsbeispiele werden in den beigefügten Ansprüchen, in der folgenden Beschreibung und den Zeichnungen erläutert.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Ausführungsbeispiele sind exemplarisch beschrieben im Hinblick auf die beigefügten Zeichnungen, wobei
1 schematisch ein Ausführungsbeispiel einer elektronischen Vorrichtung, hier eine Digitalkamera, darstellt;
2 schematisch eine beispielhafte Sequenz von Operationen darstellt, wenn die Rohbilddaten verarbeitet werden, um ein digital verarbeitetes Bild zu erzeugen.
3 schematisch ein System darstellt, um digital verarbeitete Bilder zu erzeugen.
4 schematisch zwei Arten einer Datenübertragung von einer Digitalkamera zu einem Bildverarbeitungs-Server, um digital verarbeitete Bilder zu erzeugen, darstellt; und
5a und 5b schematisch Ausführungsbeispiele für Verfahren zur Erzeugung von digital verarbeiteten Bilder darstellen.
AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Ausführungsbeispiele für elektronische Vorrichtungen, Cloud-Dienste, Server und Verfahren, um digital verarbeitete Bilder zu erzeugen, werden nun exemplarisch beschrieben.
Ein Verfahren zur Erzeugung von digital verarbeiteten Bildern kann Folgendes umfassen:
Empfangen, von Rohbilddaten von einer elektronischen Vorrichtung, die von einem Bildssensor einer elektronischen Vorrichtung erzeugt wurden, sowie von Hilfssensordaten, die von einem Hilfssensor an der elektronischen Vorrichtung erzeugt wurden, und Verarbeiten der genannten Rohbilddaten unter Berücksichtigung der Hilfssensordaten, um ein digital verarbeitetes Bild zu erzeugen.
Die elektronische Vorrichtung kann beispielsweise eine Vorrichtung sein, die einen Bildsensor umfasst, wie etwa eine Digitalkamera, beispielsweise eine Kompaktkamera, eine Spiegelreflexkamera (DSLR) oder ein Smartphone mit integrierter Kamera.
Das Empfangen von Rohbilddaten und Hilfssensordaten und die Verarbeitung der Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, kann von einem Remote-Bildverarbeitungs-Server ausgeführt werden.
Das Verfahren kann ferner umfassen: Erzeugen, durch die genannte elektronische Vorrichtung, von Rohbilddaten unter Verwendung eines Bildsensors, Empfangen, durch die elektronische Vorrichtung, von Hilfssensordaten von einem Hilfssensor und Übermitteln, durch die elektronische Vorrichtung, der Rohbilddaten und der Hilfssensordaten zu einem Remote-Bildverarbeitungs-Server.
Rohbilddaten enthalten üblicherweise unverarbeitete oder nur minimal verarbeitete Daten vom Bildsensor. Minimale Verarbeitung kann zum Beispiel das Berücksichtigen von Sensormetadaten umfassen, die zur Auswertung des Rohsensorsignals verwendet werden, darunter zum Beispiel auch die Größe des Sensors und Eigenschaften des Farbfilterarrays und dessen Farbprofils. Einige Rohbilddaten enthalten einen standardisierten Metadatenabschnitt mit Daten im Exif-Format. Rohbilddaten können zum Zweck der Kompression auch kodierte Daten sein.
Rohbilddaten werden üblicherweise von einem sogenannten Raw-Converter weiterverarbeitet, um ein digital verarbeitetes Bild zu erhalten, das auf einer Display-Vorrichtung angezeigt werden kann. Der Ausdruck digital verarbeitetes Bild wird im Folgenden verwendet, um digital verarbeitete Bildaten von Rohbilddaten zu unterscheiden. Um ein digital verarbeitetes Bild zu erhalten, können Rohbilddaten zum Beispiel in einen Wide-Gamut-Farbraum konvertiert werden, wo vor der Konvertierung in ein Dateiformat für digital verarbeitete Bilder wie TIFF oder JPEG genaue Anpassungen vorgenommen werden. Weitere Verarbeitungen können das Kodieren des digital verarbeiteten Bilds in einem vorrichtungsabhängigen Farbraum beinhalten. Wenn Rohbilddaten in ein standardisiertes, für die Nutzung verwendbares Format für digital verarbeitete Bilder konvertiert werden, können eine Reihe von Verarbeitungsschritten durchgeführt werden. Solche Verarbeitungsschritte können beispielsweise eine Vorverarbeitung (einschließlich Demosaicing oder Farbinterpolation), Gamma-Korrektur, Farbraumumwandlung, YUV-Raumumwandlung und/oder Bildkompression umfassen.
In den unten detaillierter beschriebenen Ausführungsbeispielen, werden bei der Verarbeitung von Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, Hilfssensordaten berücksichtigt.
Hilfssensordaten können beispielsweise folgende Daten enthalten: Audiodaten, Einstellungen der elektronischen Vorrichtung, operative elektronische Daten der Vorrichtung, Nutzerdaten, Positionsdaten, Bewegungsdaten, Temperaturdaten, Wetterdaten und/oder Funkdaten.
Das Verfahren kann ferner die Übertragung des digital verarbeiteten Bilds durch den Remote-Bildverarbeitungs-Server an die elektronische Vorrichtung umfassen. In alternativen Ausführungsbeispielen wird das digital verarbeitete Bild an eine Wiedergabevorrichtung übermittelt, die von der elektronischen Vorrichtung, welche die Rohbilddaten erzeugte, verschieden ist.
Die Verarbeitung der genannten Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, kann eine vorrichtungsabhängige Verarbeitung von Rohbilddaten umfassen, eine beschleunigungssensorabhängige Verarbeitung von Rohbilddaten, eine ortsabhängige Verarbeitung von Rohbilddaten, eine temperaturabhängige Verarbeitung von Rohbilddaten oder eine Verarbeitung von Rohbilddaten, die abhängig ist von den Einstellungen der Vorrichtung.
Ferner wird auch ein Server offenbart, der einen Prozessor umfasst, der konfiguriert ist, um Rohbilddaten und Hilfssensordaten zu empfangen, und die Rohbilddaten unter Berücksichtigung der Hilfssensordaten zu verarbeiten, um ein digital verarbeitetes Bild zu erzeugen. Der Prozessor kann ein einzelner Prozessor sein oder ein vernetzter Prozessor, der mehrere Prozessoreinheiten umfasst, die sich an verschiedenen Orten befinden.
Ein Cloud-Server-System, das einen Cloud-Dienst zur Verarbeitung von Rohbilddaten bereitstellt, kann einen oder mehrere der oben beschriebene Bildverarbeitungs-Server umfassen.
Ausführungsbeispiele von elektronischen Vorrichtungen, Cloud-Diensten und Verfahren zur Erzeugung von digital verarbeiteten Bildern werden nun im Hinblick auf die Zeichnungen detaillierter beschrieben.
1 zeigt ein schematisches Blockdiagramm einer elektronischen Vorrichtung 101. Die elektronische Vorrichtung 101 umfasst eine Optik 103, einen Bildsensor 105, einen GPS-Empfänger 107, einen Gyrosensor 109, einen Beschleunigungssensor 111, ein Mikrofon 113, einen Analog-Digital-Wandler 115 für Audiosignale, einen internen Prozessor 117 und einen Transmitter 119. Der Tranmitter 119 ist so ausgelegt, dass er Rohbilddaten zu einem Remote-Bildverarbeitungs-Server übertragen kann, der konfiguriert ist, um die vom Bildsensor 105 erzeugten Rohbilddaten in ein digital verarbeitetes Bild zu konvertieren. Die Sensoren 107, 109, 111 generieren Hilfssensordaten, die ebenfall vom Transmitter 119 an den Remote-Bildverarbeitungs-Server übertragen werden. Der Remote-Bildverarbeitungs-Server kann Teil eines Cloud-Dienstes sein, das einen Cloud-Dienst für Bildverarbeitung zur Verfügung stellt.
2 zeigt ein Ausführungsbeispiel für den Verarbeitungsprozess, der von einem Rohbildkonverter ausgeführt wird, der sich in einem Remote-Bildverarbeitungs-Server befindet, um ein digital verarbeitetes Bild aus Rohbilddaten von einer elektronischen Vorrichtung wie in 1 beschrieben zu erhalten. Im Verarbeitungsprozess von 2 werden eine Reihe von Prozessen durchgeführt. Diese Prozesse umfassen Demosaicing 201 (oder Farbinterpolation), Gamma-Korrektur 203, Farbraumumwandlung 205, YUV-Raumumwandlung 207 und Bildkompression 209.
In anderen Ausführungsbeispielen kann das Verarbeiten von Rohbilddaten auch Rauschunterdrückung, Tonemapping (Dynamikkompression), Chroma Subampling (Farbunterabtastung), Weißabgleich, etc. umfassen.
Im Ausführungsbeispiel von 2 werden beispielhafte Vorverarbeitungsverfahren in einer Reihenfolge aufgelistet, in der sie normalerweise durchgeführt werden. Diese Reihenfolge ist jedoch nicht verbindlich und kann in anderen Ausführungsbeispielen verändert werden. Ferner kann in Abhängigkeit von den Anforderungen des jeweiligen Bildsensors jedwede Teilmenge der gelisteten Verarbeitungsverfahren aus der Reihe der Verarbeitungsverfahren weggelassen werden.
Gemäß den hier beschriebenen Ausführungsbeispielen wird die Umwandlung von Rohbilddaten, die von einer elektronischen Vorrichtung empfangen wurden, von einem Remote-Bildverarbeitungs-Server durchgeführt. Mit anderen Worten, alle Schritte, oder zumindest ein Schritt der Verarbeitung der genannten Rohbilddaten wird von einem Remote-Bildverarbeitungs-Server durchgeführt.
3 illustriert schematisch ein Ausführungsbeispiel für ein System 300 für die Erzeugung digital verarbeiteter Bilder. Das System 300 umfasst eine Aufnahmeeinheit 310, eine Rekonstruktionseinheit 320 und eine Wiedergabevorrichtung 330. Die Aufnahmeeinheit 310 kann eine elektronische Vorrichtung sein, wie die im Ausführungsbeispiel von 1 offenbarte, zum Beispiel eine Digitalkamera. Ähnlich wie in 1 ist die Aufnahmeeinheit 310 des Ausführungsbeispiels von 3 eine elektronische Vorrichtung, die folgendes umfasst: eine Optik 311, einen Bildsensor 312 und eine Kompressions- und Übertragungseinheit 314. Ferner umfasst die Aufnahmeeinheit 310 von 3 auch einen lokalen Speicher 313. Die Optik 311 ist konfiguriert, um ein Bild von einem Objekt auf einem Bildsensor 312 abzubilden. Der Bildsensor 312 ist dazu ausgelegt, Rohbilddaten von einem vom Bildsensor 312 empfangenen Bild zu erzeugen. Der Bildsensor 312 ist dazu ausgelegt, die Rohbilddaten an den lokalen Speicher 313 zu senden, wo sie vorrübergehend gespeichert werden. Darüber hinaus umfasst die Aufnahmeeinheit 310 ein Mikrofon 315 und einen Analog-Digital-Wandler 316. Das Mikrofon 315 ist dazu ausgelegt, ein Audiosignal zu erzeugen und das Audiosignal dem Analog-Digital-Wandler 316 bereitzustellen. Der Analog-Digital-Wandler 316 ist dazu ausgelegt, die Audiodaten (die auch als Hilfssensordaten verwendet werden können) an den lokalen Speicher 313 zu senden. Der lokale Speicher 313 kann ein Flashmemory, eine Festplatte oder ähnliches sein. Der lokale Speicher 313 ist dazu ausgelegt, die Rohbilddaten und gespeicherten Hilfssensordaten an die Kompressions- und Übertragungseinheit 314 zu übertragen. Darüber hinaus umfasst die Aufnahmeeinheit 310 einen GPS-Sensor 317. Der GPS-Sensor 317 ist dazu ausgelegt, GPS-Daten zu erhalten und (zur Verwendung als Hilfssensordaten) an den lokalen Speicher 313 zu übertragen.
Die Kompressions- und Übertragungseinheit 314 ist dazu ausgelegt, die vom Bildsensor 312 aufgenommenen Rohbilddaten und Hilfssensordaten zu einer Rekonstruktionseinheit 320 des Systems 300 zu übertragen. Um die Übertragungsbandbreite zu erhalten, kann die Kompressions- und Übertragungseinheit 314 vor der Übertragung der Rohbilddaten an die Rekonstruktionseinheit 320 Rohbilddaten komprimieren.
4 beschreibt schematisch zwei Möglichkeiten, wie die Kompressions- und Übertragungseinheit 314 der Aufnahmeeinheit 310 die Übertragung der Daten an die Rekonstruktionseinheit 320 vornehmen kann. Im Ausführungsbeispiel der 4 besteht die Aufnahmeeinheit 310 aus einer Digitalkamera 401, und die Rekonstruktionseinheit 320 besteht aus einem Cloud-Server-System 405, das einen Bildverarbeitungs-Server 403 umfasst. Gemäß einer ersten Möglichkeit sendet die Digitalkamera 401 die Rohbilddaten an den Bildverarbeitungs-Server 403 per GSM, UMTS oder LTE-Transmitter (d.h. über die Kompressions- und Übertragungseinheit 314 der elektronischen Vorrichtung aus 3, oder über den Transmitter 19 der elektronischen Vorrichtung aus 2), die in der Aufnahmeeinheit des Systems eingebaut ist. Gemäß einer zweiten Möglichkeit ist die Digitalkamera 401 mit einem Smartphone 407 über ein Kabel oder eine WIFI-Verbindung verbunden. Diese Verbindung wird genutzt, um die Rohbilddaten und die Hilfssensordaten von der Digitalkamera 401 an das Smartphone zu übertragen. Das Smartphone 407 dient als Gateway zwischen der Digitalkamera 401 und dem Bildverarbeitungs-Server 403. Das Smartphone leitet die von der Digitalkamera 401 empfangenen Rohbilddaten und Hilfssensordaten an den Cloud-Dienst 405 weiter.
Zurück zum Ausführungsbeispiel aus 3. Die Rekonstruktionseinheit 320 des Systems 300 kann ein Bildverarbeitungs-Server sein, der sich in einer Cloud befindet. Die Rekonstruktionseinheit 320 kann sich so an einem von der Aufnahmeeinheit 310 enfernten Ort befinden, zum Beispiel im zentralen Büro eines Service-Providers. Die Rekonstruktionseinheit 320 kann als ein Cloud-Dienst ausgestaltet sein. Das heißt, die Funktion der Rekonstruktionseinheit 320 kann verteilt auf mehrere Bildverarbeitungs-Server von diesen übernommen werden.
Die Rekonstruktionseinheit 320 umfasst eine Cloud-Verarbeitungs- und Speichereinheit 321, die so konfiguriert ist, dass von einer Aufnahmeeinheit 310 erhaltene Rohbilddaten weiterverarbeitet werden, um die Rohbilddaten in ein digital verarbeitetes Bild zu konvertieren. Bei der Weiterverarbeitung der Rohbilddaten berücksichtigt die Rekonstruktionseinheit 320 die von der Aufnahmeeinheit 310 erhaltenen Hilfssensordaten wie es in den folgenden Ausführungsbeispielen näher beschrieben wird. Die Rekonstruktionseinheit 320 ist so konfiguriert, dass sie die bei der Verarbeitung der Rohbilddaten erhaltenen digital verarbeiteten Bilder zu einer Wiedergabeeinheit 330 des Systems 300 sendet.
Die Wiedergabeeinheit 330 umfasst eine Übetragungs-, Dekompressions- und Wiedergabeeinheit 331, um digital verarbeitete Bilder und Audioinformationen darzustellen oder abzuspielen. Die Wiedergabeeinheit 330 verwendet ein Display 332 zur Wiedergabe der rekonstruierten digital verarbeiteten Bilder. Die Wiedergabeeinheit 330 umfasst ferner einen Lautsprecher 333, für die Wiedergabe der Audioinformation.
Typischerweise befinden sich die Aufnahmeeinheit 310 und die Wiedergabeeinheit 330 in derselben elektronischen Vorrichtung, z.B. in einer Digitalkamera wie im Ausführungsbeispiel von 2. Jedoch müssen die Aufnahmeeinheit 310 und die Wiedergabeeinheit 330 sich nicht notwendigerweise in derselben elektronischen Vorrichtung befinden. Zum Beispiel könnte das Display (oder ein Sucher) für eine Digitalkamera, die als Aufnahmeeinheit 310 fungiert, auch zu einem Smartphone oder einem Notebook gehören.
Da die Weiterverarbeitung der Rohbilddaten von der Rekonstruktionseinheit 320 durchgeführt wird, ist weniger oder sogar gar keine Weiterverarbeitung der Rohbilddaten durch die Aufnahmeeinheit 310 notwendig, z.B. durch eine elektronische Vorrichtung wie eine Digitalkamera. Daher kann die Verarbeitungskapazität der Aufnahmeeinheit 310 auf ein Minimum reduziert werden.
Die Rekonstruktionseinheit 320 kann zum Beispiel die im Ausführungsbeispiel von 2 beschriebenen Verarbeitungsverfahren durchführen. Auf diese Weise kann die Aufnahmeeinheit 310 in diesem Ausführungsbeispiel von der Last befreit werden, vorverarbeitende Schritte in der Rohbilddaten-Konversion durchzuführen. Dies erlaubt eine effizientere Ausgestaltung der elektronischen Vorrichtung, aus der die Aufnahmeeinheit 310 besteht. Zum Beispiel kann für die Aufnahmeeinheit 310 ein kostengünstigerer interner Prozesssor eingesetzt werden. Auf diese Weise können weniger komplexe und preiswertere elektronische Vorrichtungen als Aufnahmeeinheit 310 verwendet werden.
Die Weiterverarbeitung in der Rekonstruktionseinheit 320 kann auch Verfahren umfassen wie das Erzeugen einer höheren Pixeldichte, das Anpassen der Farbbalance, Kontrasteinstellungen, Gamma-Einstellungen, Luminanz-Einstellungen, Filtervorrichtung zur Begrenzung von Fixed-Pattern-Noise, Störfilter unter Verwendung eines Wiener Filters, sich verändernde Zoomfaktoren, Recropping, die Anwendung von Enhancement-Filtern, Glättungsfiltern, die Verwendung von gegenstandabhängigen Filtern, die Verwendung von koordinierten Umwandlungen, Morphing, Verzerrung, Perspektivwechsel, künstlerischen Verbesserungen und die Verbesserung der aufgenommenen Bilddaten jenseits der praktischen Möglichkeiten einer tragbaren elektronischen Vorrichtung (z.B. einer digitalen Handkamera).
Andere Bilderverarbeitungsfunktionen können von der Rekonstruktionseinheit 320 durchgeführt werden, wie etwa die Kompression von Bildern, die Größenanpassung und/oder Skalierung unter Verwendung eines Interpolations-Algorithmus, die Durchführung eines Histogramausgleichs der Bilder, die Durchführung von Farbverbesserungs-Algorithmen bei den Bildern, Reduzierung des Roten-Augen-Effekts in Bildern von Menschen, Durchführung von geometrischen Transformationen, die Nachschärfung von Bildern, das Herausfiltern von Bildrauschen, Erweiterung des Dynamikbereichs, Korrektur des Linsenverzerzerrungseffekts, Bewegungskompensation zur Reduzierung der Auswirkungen vom Wackeln der Kamera und/oder der Bewegung des Aufnahmeobjekts, die Verwendung von hochauflösenden Enhancement-Verfahren und das zusammenheften von vielerlei Bildern, um Mosaiken und Panoramen zu erzeugen, Transcodierung.
Die von der Rekonstruktionseinheit 320 durchgeführte Weiterverarbeitung kann auch Audio-Verarbeitung umfassen, falls die Aufnahmeeinheit des Systems mit einem Mikrofon ausgestattet ist (315 in 3).
Die Verarbeitungsschritte können auf dem für eine Anwendung jeweils erforderlichen Qualitätsniveau erfolgen, also zwischen einem niedrigen und sehr hohen Niveau. Aufgrund der hohen Verarbeitungsleistung, die bei Bildverarbeitungs-Servern oder Cloud-Diensten potentiell zur Verfügung steht, kann die Rohbilddaten-Verarbeitung von einem Bildverarbeitungs-Server oder einem Cloud-Dienst besser durchgeführt werden als von einer herkömmlichen elektronischen Vorrichtung. Zum Beispiel kann die Verarbeitung von Rohbilddaten so erfolgen wie bei Rohbilddaten, die von der Aufnahmeeinheit einer Lightfield-Kamera oder einer Digitalkamera mit einem Gigapixel-Bildsensor stammen.
Algorithmen, die zur Verarbeitung der Rohbilddaten verwendet werden, können in der Zukunft jederzeit verbessert werden, denn die erhaltenen Rohbilddaten sind reine Sensordaten. Dies erlaubt es einem Cloud-Bildverarbeitungs-Dienst von den neuesten Entwicklungen von Algorithmen in der Bildverarbeitung zu profitieren. In diesem Sinne kann das System 300 von 3 auch in der Zukunft ausbaufähig sein.
Darüber hinaus kann der gesamte Bilderzeugungsprozess in Echtzeit durchgeführt werden. Des weiteren können die Rohbilddaten vom Bildssensor der Aufnahmeeinheit 310 direkt zur Rekonstruktionseinheit 320 gesendet werden oder offline. Z.B. können die Rohbilddaten in der elektronischen Vorrichtung gespeichert werden und später, etwa von Zuhause, vom Büro oder Hotel aus, für die endgültige Bildverarbeitungs-Stufe zum Bildverarbeitungs-Server gesendet werden.
5a und 5b zeigen Ausführungsbeispiele von Verfahren zur Erzeugung von digital verarbeiteten Bildern.
5a beschreibt ein Ausführungsbeispiel von Verarbeitungsverfahren, die von einem Bildverarbeitungs-Server ausgeführt werden, der die Rekonstruktionseinheit 320 aus 3 sein kann. In S501 werden Rohbilddaten, die von einem Bildssensor der elektronischen Vorrichtung erzeugt wurden, und Hilfssensordaten, die von einem Hilfssensor an der elektronischen Vorrichtung erzeugt wurden, von einer elektronischen Vorrichtung empfangen. In S503 werden die Rohbilddaten verarbeitet, um ein digital verarbeitetes Bild zu erzeugen, das besagte Hilfssensordaten berücksichtigt.
5b beschreibt ein Ausführungsbeispiel von Verarbeitungsverfahren, die von einer elektronischen Vorrichtung ausgeführt werden, die die Aufnahmeeinheit 310 aus 3 sein kann. In S511 erzeugt die elektronische Vorrichtung Rohbilddaten unter Verwendung eines Bildsensors. In S513 werden Hilfssensordaten von einem Hilfssensor abgefragt. In S515 werden die Rohbilddaten und die Hilfssensordaten zu einem Remote-Bildverarbeitungs-Server übertragen.
Im Folgenden werden Ausführungsbeispiele ausführlicher beschrieben, in denen bei der Weiterverarbeitung unter Berücksichtigung von Hilfssensordaten von Rohbilddaten, die von einer elektronischen Vorrichtung erhalten wurden, die als Aufnahmeeinheit (310 in 3) fungiert, durch einen Bildverarbeitungs-Server, der als Rekonstruktionseinheit (320 in 3) fungiert, um ein digital verarbeitetes Bild zu erzeugen.
Vorrichtungstypabhängige Verarbeitung von Rohbilddaten
Digitale Kameras wie etwa Kompaktkameras oder DSLR-Kameras umfassen Sensoren, die den Linsentyp bestimmen, der in der Kamera verwendet wird. Zum Beispiel empfängt eine DSLR-Kamera typischerweise Meta-Informationen, die den Typ und das Modell der Linse identifizieren.
Auch Kameraeinstellungen wie etwa Brennweite, Blendenöffnung und Verschlusszeit können von einer Digitalkamera erfasst werden. Solche Sensordaten können als Hilfsdaten an den Bildverarbeitungs-Server übermittelt werden, der den jeweiligen Linsentyp bei der Weiterverarbeitung der Rohbilddaten berücksichtigt. Zum Beispiel können Linsenkorrekturalgorithmen, die das Linsenmodell berücksichtigen, bei der Weiterverarbeitung der Rohbilddaten am Bildverarbeitungs-Server verwendet werden.
Beschleunigungssensor-basierte Verarbeitung von Rohbilddaten
Zusätzlich oder wahlweise können Bildsensor-Daten, die von einem in die Kamera-Vorrichtung integrierten Beschleunigungssensor empfangen wurden, dazu verwendet werden, die Qualität des digital verarbeiteten Bildes zu verbessern. Zum Beispiel können Algorithmen zur Reduktion von Bewegungsunschärfen von Informationen über die Bewegung der Kameravorrichtung zum Zeitpunkt der Aufnahme des Bildes profitieren.
Orts-basierte Verarbeitung von Rohbilddaten
Zusätzlich oder wahlweise können zu einem Bildverarbeitungs-Server hochgeladene Rohbilddaten mit anderen, in einer zentralen Datenbank im Bildverarbeitungs-Server oder in einer mit dem Bildverarbeitungs-Server verbundenen Datenbank gespeicherten Bilddaten oder Bildern verglichen werden. Wird ein vorher festgelegter Übereinstimmungsgrad zwischen dem Merkmalsatz eines hochgeladenen Bildes mit dem entsprechenden Merkmalsatz eines gespeicherten Bildes überschritten, kann die mit besagtem gespeicherten Bild verfknüpfte Ortsinformation dazu verwendet werden, das digital verarbeitete Bild mit der Ortsinformation zu versehen.
Die ortsabhängigen Informationen können zum Beispiel aus irgendeiner Unterkategorie der folgenden Informationen bestehen: Ortszeit, jede Art von örtlicher Wettervorhersage, beschreibende Informationen oder Beschriftungen eines oder mehrerer im Bild aufgenommener Objekte (zum Beispiel die Namen von Dörfern, Bergen, Flüssen, Bächen, Berghütten, Brücken, Bahnhöfen, Bushaltestellen, Pässen, Skiliften), der Fahrplan eines öffentlichen Verkehrsmittels, eine Liste von Hotspots in der Nähe des Benutzers, eine Liste von örtlichen Radiokanälen, eine Liste von Sehenswürdigkeiten, eine Landkarte, ein Veranstaltungskalender, der Almanach eines Positionsbestimmungssystems (z.B. GPS, GLONASS, Galileo), oder jede andere Art von ortsabhängiger Information, die für einen Benutzer von Interesse sein könnte oder in einer App (Software-Application) einer elektronischen Vorrichtung oder auf einem Smartphone verwendet werden kann.
Temperaturabhängige Verarbeitung von Rohbilddaten
Zusätzlich oder wahlweise kann der Bildverarbeitungs-Server die aktuelle Temperatur von einem Teil der elektronischen Vorrichtung zur Zeit der Aufnahme der Rohbilddaten berücksichtigen. Zum Beispiel können bestimmte optische Merkmale der Optik einer elektronischen Vorrichtung temperaturabhängig sein. Folglich kann der Bildverarbeitungs-Server dazu verwendet werden, die Temperaturabhängigkeit einer Linse oder der Optik einer elektronischen Vorrichtung zumindest teilweise zu kompensieren.
Darüber hinaus kann der Bildverarbeitungs-Server die tatsächliche Temperatur eines anderen Teils der elektronischen Vorrichtung zum Zeitpunkt der Aufnahme der Rohbilddaten berücksichtigen. Zum Beispiel können bestimmte optische Merkmale eines Bildssensors der elektronischen Vorrichtung temperaturabhängig sein. Folglich kann der Bildverarbeitungs-Server dazu verwendet werden, die Temperaturabhängigkeit eines Bildsensors IS vollständig oder zumindest teilweise zu kompensieren.
Einstellungsabhängige Verarbeitung von Rohbilddaten
Zusätzlich oder wahlweise kann der Bildverarbeitungs-Server Präferenzen des Benutzers berücksichtigen. Die Präferenzen des Benutzers können implizit definiert sein, etwa durch die Verwendung von Nebeninformationen wie Ort, Vorrichtungstyp (z.B. Kameratyp), persönliche Angaben (wie Beruf, Alter, Geschlecht) oder die explizite Verwendung von Informationen über Einstellungen der Vorrichtung oder Einträge auf einer individuellen Homepage.
Alle in dieser Beschreibung beschriebenen und in den anhängigen Ansprüchen beanspruchten Vorrichtungen und Einheiten können, falls nicht anders angegeben, als integrierte Schaltungen umgesetzt werden, z.B. auf einem Chip, und die Funktionalität, die solche Vorrichtungen und Einheiten bereitstellen, können, falls nicht anders angegeben, durch Software implementiert werden.
In dieser Beschreibung werden demnach offenbart:

(1) Ein Verfahren umfassend: Empfangen von Rohbilddaten von einer elektronischen Vorrichtung, die von einem Bildssensor der elektronischen Vorrichtung erzeugt wurden, sowie von Hilfssensordaten, die von einem Hilfssensor an der elektronischen Vorrichtung erzeugt wurden; und Verarbeiten der Rohbilddaten unter Berücksichtigung der Hilfssensordaten, um ein digital verarbeitetes Bild zu erzeugen.
(2) Das Verfahren nach (1), wobei das Empfangen der Rohbilddaten und Hilfssensordaten und das Verarbeiten der genannten Rohbilddaten und Hilfssensordaten, um ein digital verarbeitetes Bild zu erzeugen, von einem Remote-Bildverarbeitungs-Server durchgeführt wird, wobei das Verfahren ferner umfasst: Erzeugen, in der elektronischen Vorrichtung, von Rohbilddaten unter Verwendung eines Bildsensors Erhalten, in der elektronischen Vorrichtung, von Hilfssensordaten von einem Hilfssensor; und Übermitteln, durch die elektronische Vorrichtung, der genannten Rohbilddaten und der genannten Hilfssensordaten an den Remote-Bildverarbeitungs-Server.
(3) Das Verfahren nach (1) und (2), wonach die genannten Hilfssensordaten Audiodaten, Einstellungen der elektronischen Vorrichtung, betriebliche elektronische Daten der Vorrichtung, Benutzerdaten, Positionsdaten, Bewegungsdaten, Temperaturdaten, meteorologische Daten und/oder Funkdaten umfassen.
(4) Das Verfahren nach einem aus (1) bis (3), wonach das Verarbeiten der genannten Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, eine Bildbearbeitung auf Grundlage der Hilfssensordaten umfasst.
(5) Das Verfahren nach einem aus (1) bis (4), das ferner ein Übertragen des genannten digital verarbeiteten Bilds von dem genannten Remote-Bildverarbeitungs-Server an die elektronische Vorrichtung umfasst.
(6) Das Verfahren nach einem aus (1) bis (5), wonach das Verarbeiten der Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, ein vorrichtungsabhängiges Verarbeiten der Rohbilddaten umfasst.
(7) Das Verfahren nach einem aus (1) bis (5), wonach das Verarbeiten der Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, eine beschleunigungssensor-basierte Verarbeitung der Rohbilddaten umfasst.
(8) Das Verfahren nach einem aus (1) bis (5), wonach das Verarbeiten der Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, eine ortsabhängige Verarbeitung der Rohbilddaten umfasst.
(9) Das Verfahren nach einem aus (1) bis (5), wonach das Verarbeiten der Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, eine temperaturabhängige Verarbeitung der Rohbilddaten umfasst.
(10) Das Verfahren nach einem aus (1) bis (5), wonach das Verarbeiten der Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, eine Verarbeitung der Rohbilddaten in Abhängigkeit von Einstellungen der Vorrichtung umfasst.
(11) Eine elektronische Vorrichtung, umfassend: einen Bildsensor, um ein Bild zu erfassen und um Rohbilddaten zu erzeugen, die das Bild darstellen; einen Hilfssensor, um Hilfssensordaten zu gewinnen; und einen Transmitter, um die Rohbilddaten und die Hilfssensordaten an den Remote-Bildverarbeitungs-Server zu übermitteln, wobei der genannte Remote-Bildverarbeitungs-Server dazu ausgelegt ist, unter Berücksichtigung der Hilfssensordaten aus den Rohbilddaten ein digital verarbeitetes Bild zu erzeugen.
(12) Einen Server, der einen Prozessor umfasst, der dazu ausgelegt ist: Rohbilddaten zu empfangen; Hilfssensordaten zu empfangen; die Rohbilddaten unter Berücksichtigung der Hilfssensordaten zu verarbeiten, um ein digital verarbeitetes Bild zu erzeugen.
(13) Ein Cloud-Server-System, das einen Cloud-Dienst bereitstellt, der Rohbilddaten verarbeitet, wobei das Cloud-Server-System einen oder mehrere Server nach (12) umfasst.

Claims

Verfahren umfassend: Empfangen von Rohbilddaten von einer elektronischen Vorrichtung, die von einem Bildssensor der elektronischen Vorrichtung erzeugt wurden, sowie von Hilfssensordaten, die von einem Hilfssensor an der elektronischen Vorrichtung erzeugt wurden; und Verarbeiten der Rohbilddaten unter Berücksichtigung der Hilfssensordaten, um ein digital verarbeitetes Bild zu erzeugen.
Verfahren nach Anspruch 1, wobei das Empfangen von Rohbilddaten und Hilfssensordaten und das Verarbeiten der genannten Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, von einem Remote-Bildverarbeitungs-Server durchgeführt wird, wobei das Verfahren weiterhin umfasst: Erzeugen, in der elektronischen Vorrichtung, von Rohbilddaten unter Verwendung eines Bildsensors; Erhalten, in der elektronischen Vorrichtung, von Hilfssensordaten von einem Hilfssensor; und Übermitteln, durch die elektronische Vorrichtung, der genannten Rohbilddaten und der genannten Hilfssensordaten an den Remote-Bildverarbeitungs-Server.
Verfahren nach Anspruch 1, wonach die genannten Hilfssensordaten Audiodaten, elektronische Einstellungen der Vorrichtung, betriebliche elektronische Daten der Vorrichtung, Benutzerdaten, Positionsdaten, Bewegungsdaten, Temperaturdaten, meteorologische Daten und/oder Funkdaten umfassen.
Verfahren nach Anspruch 1, wonach das Verarbeiten der genannten Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, eine Bildbearbeitung auf Grundlage der Hilfssensordaten umfasst.
Verfahren nach Anspruch 1, ferner umfassend ein Übertragen des digital verarbeiteten Bilds von dem Remote-Bildverarbeitungs-Server an die elektronische Vorrichtung.
Verfahren nach Anspruch 1, wobei das Verarbeiten der Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, ein vorrichtungsabhängiges Verarbeiten der Rohbilddaten umfasst.
Verfahren nach Anspruch 1, wobei das Verarbeiten der Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, eine beschleunigungssensor-basierte Verarbeitung der Rohbilddaten umfasst.
Verfahren nach Anspruch 1, wobei das Verarbeiten der Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, eine ortsabhängige Verarbeitung der Rohbilddaten umfasst.
Verfahren nach Anspruch 1, wobei das Verarbeiten der Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, eine temperaturabhängige Verarbeitung der Rohbilddaten umfasst.
Verfahren nach Anspruch 1, wobei das Verarbeiten der Rohbilddaten, um ein digital verarbeitetes Bild zu erzeugen, eine Verarbeitung der Rohbilddaten in Abhängigkeit von Einstellungen der Vorrichtung umfasst.
Elektronische Vorrichtung, umfassend: einen Bildsensor, um ein Bild zu erfassen und um Rohbilddaten zu erzeugen, die das Bild darstellen; einen Hilfssensor, um Hilfssensordaten zu gewinnen; und einen Transmitter, um die Rohbilddaten und die Hilfssensordaten an einen Remote-Bildverarbeitungs-Server zu übermitteln, wobei der Remote-Bildverarbeitungs-Server dazu ausgelegt ist, aus den genannten Rohbilddaten unter Berücksichtigung der Hilfssensordaten ein digital verarbeitetes Bild zu erzeugen.
Server, der einen Prozessor umfasst, der dazu ausgelegt: Rohbilddaten zu empfangen; Hilfssensordaten zu empfangen; die Rohbilddaten unter Berücksichtigung der Hilfssensordaten zu verarbeiten, um ein digital verarbeitetes Bild zu erzeugen.
Cloud-Server-System, das einen Cloud-Dienst bereitstellt, der Rohbilddaten verarbeitet, wobei das Cloud-Server-System einen oder merhrere Cloud-Server nach Anspruch 12 umfasst.