DE102015208740A1 - System und Verfahren zum Übertragen von Videodaten von einem Server zu einem Client - Google Patents

System und Verfahren zum Übertragen von Videodaten von einem Server zu einem Client Download PDF

Info

Publication number
DE102015208740A1
DE102015208740A1 DE102015208740.9A DE102015208740A DE102015208740A1 DE 102015208740 A1 DE102015208740 A1 DE 102015208740A1 DE 102015208740 A DE102015208740 A DE 102015208740A DE 102015208740 A1 DE102015208740 A1 DE 102015208740A1
Authority
DE
Germany
Prior art keywords
video data
quality
client
server
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102015208740.9A
Other languages
English (en)
Inventor
Norbert Oertel
Andreas Hutter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102015208740.9A priority Critical patent/DE102015208740A1/de
Priority to US15/573,099 priority patent/US20180167650A1/en
Priority to EP16723702.3A priority patent/EP3278562A1/de
Priority to PCT/EP2016/060483 priority patent/WO2016180844A1/de
Priority to JP2017557918A priority patent/JP2018523341A/ja
Priority to CN201680027185.2A priority patent/CN107567712A/zh
Publication of DE102015208740A1 publication Critical patent/DE102015208740A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Endoscopes (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

Es wird ein System zum Übertragen von Videodaten von einem Server zu einem Client vorgeschlagen. Das System weist eine erste Codierungseinheit, die dazu eingerichtet ist, Videodaten von dem Server mit einer ersten Qualität an den Client als Livestream zu übertragen, und eine zweite Codierungseinheit auf, die dazu eingerichtet ist, die Videodaten in einer zweiten Qualität in einer Speichereinheit (13) zu speichern und, in Antwort auf ein Anforderungssignal von dem Client (2), die codierten Videodaten in der zweiten Qualität von der Speichereinheit (13) an den Client (2) zu übertragen, wobei die zweite Qualität höher als die erste Qualität ist. Durch das vorgeschlagene System ist es möglich, Videodaten aus einem medizinischen Umfeld, z.B. einem Operationssaal, über ein Netzwerk an einen externen Experten zu übertragen. Hierbei liegen die Videodaten als Livestream in niedriger Qualität vor und können zusätzlich in hoher Qualität auf Abfrage durch den Experten bereitgestellt werden. Des Weiteren wird ein Verfahren zum Übertragen von Videodaten von einem Server zu einem Client vorgeschlagen.

Description

  • Die vorliegende Erfindung betrifft ein System zum Übertragen von Videodaten von einem Server zu einem Client, insbesondere von medizinischen Videodaten, die zu Diagnosezwecken aus einem medizinischen Umfeld an einen externen Client übertragen werden. Des Weiteren betrifft die vorliegende Erfindung ein entsprechendes Verfahren zum Übertragen von Videodaten von einem Server an einen Client.
  • Im medizinischen Bereich, z.B. bei Typisierung kanzerösen Gewebes während einer Operation im Operationssaal mit Hilfe von Mikroskopie-Aufnahmen, ist eine bildbasierte Remote-Kollaborations-Anwendung wünschenswert. Es gilt dabei, sichere Entscheidungen unter Beachtung der Belastung des Patienten und der Kosten zu treffen. Hierbei ist zu beachten, dass es Zeit und Geld kostet, Experten, wie z.B. Pathologen, für die mikroskopische Bestimmung von Gewebstypen in den Operationssaal zu holen. Dasselbe gilt, wenn Gewebeproben zur Bestimmung in ein Labor eingeschickt werden.
  • Um eine Remote-Diagnose durch einen Experten zu ermöglichen, ist es nötig, Aufnahmen, beispielweise Videodaten, an diesen aus dem medizinischen Bereich zu übertragen. Um jedoch eine zuverlässige Diagnose zu ermöglichen, müssen diese Videodaten schnell und in einer hohen Qualität beim Experten vorliegen. Um eine schnelle Übertragung zu gewährleisten, werden jedoch häufig verlustbehaftete Kompressionsverfahren eingesetzt, mit denen eine ausreichende Qualität nicht sichergestellt werden kann.
  • Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, eine schnelle Bereitstellung von Videodaten in hoher Qualität zu ermöglichen.
  • Demgemäß wird ein System zum Übertragen von Videodaten von einem Server zu einem Client vorgeschlagen. Das System weist eine erste Codierungseinheit auf, die dazu eingerichtet ist, Videodaten von dem Server mit einer ersten Qualität an den Client als Livestream zu übertragen, und eine zweite Codierungseinheit auf, die dazu eingerichtet ist, die Videodaten in einer zweiten Qualität in einer Speichereinheit zu speichern und, in Antwort auf ein Anforderungssignal von dem Client, die codierten Videodaten in der zweiten Qualität von der Speichereinheit an den Client zu übertragen, wobei die zweite Qualität höher als die erste Qualität ist.
  • Die jeweilige Einheit, zum Beispiel Codierungseinheit, kann hardwaretechnisch und/oder auch softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit als Vorrichtung oder als Teil einer Vorrichtung, zum Beispiel als Computer oder als Mikroprozessor oder als Steuerrechner eines Fahrzeuges ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.
  • Das vorgeschlagene System ermöglicht es, Videodaten an räumlich und/oder zeitlich entfernte Experten zur Diagnose zu senden. Durch die erste Codierungseinheit wird dabei eine Livestreamübertragung sichergestellt. Diese kann in einer niedrigen Qualität (erste Qualität) der Videodaten, z.B. unter Verwendung von Kompressionsverfahren wie z.B. H.264 oder HEVC, erfolgen. Zusätzlich kann, wenn dies angefordert wird, d.h. auf Abfrage zum Beispiel über eine http-Anfrage vom Client an den Server mit in einer URL codierten Details zum angeforderten Video, eine Übertragung der Videodaten in einer hohen Qualität (zweite Qualität) erfolgen. Die Übertragung der Videodaten in der hohen Qualität kann auch nur für einen bestimmten Teil der Videodaten erfolgen, wie beispielsweise besonders interessante Sequenzen. Die Details dazu können z.B. in einer URL codiert werden, die in der Abfrage mit übermittelt wird, und können z.B. weitere Informationen umfassen, wie beispielsweise welcher Videostrom, bei Vorhandensein von mehreren Videoströmen, gewünscht wird oder welcher Zeitraum der Videodaten benötigt wird.
  • Auf diese Weise können Bildinformationen, d.h. Videodaten, aus einem medizinischen Bereich bzw. Umfeld, z.B. einem Operationssaal, online, d.h. live und mit kurzer Verzögerung an einen Client, beispielsweise einem entfernten Experten, zur Verfügung gestellt werden. Dieser kann dadurch interaktiv (steuernd) mit dem Operator bzw. den mikroskopischen Geräten, d.h. Vorrichtungen oder ähnlichem aus dem medizinischen Bereich, in Kontakt sein kann.
  • Die zweite Codierungseinheit kann die Videodaten in der zweiten Qualität in der Speichereinheit speichern, die beispielsweise eine Datenbank oder ein Pufferspeicher, z.B. ein Ringspeicher, sein kann. Da die Videodaten in der zweiten, höheren bzw. hohen Qualität, nur auf Abfrage an den Client gesendet werden müssen, können diese also in bereits codierter Form gespeichert werden. In Antwort auf das Anforderungssignal von dem Client können dann die codierten Videodaten in der zweiten Qualität, z.B. die angeforderten Abschnitte bzw. Sequenzen der Videodaten, von der Speichereinheit an den Client übertragen werden. Auf diese Weise kann auf Anforderungen zu zeitlich zurückliegenden Videoaufnahmen reagiert werden kann.
  • Die Videodaten in der zweiten Qualität können beispielsweise in Abschnitten bereitgestellt werden. Auf diese Weise ist es nicht erforderlich, alle Videodaten in der hohen Qualität zu übertragen, sondern lediglich die angeforderten Abschnitte, die für den externen Experten von Interesse sind.
  • Der Server kann in diesem Zusammenhang als die serverseitigen Elemente verstanden werden, d.h. alle Elemente, die in Zusammenhang mit der Übertragung der Videodaten aus dem medizinischen Bereich heraus benötigt werden. Als Client kann in diesem Zusammenhang eine externe Vorrichtung verstanden werden, an den/die vom Server Videodaten zur Anzeige übertragen werden. Diese externe Vorrichtung kann durch einen Experten verwendet werden.
  • Als Videodaten wird in diesem Zusammenhang ein Signal verstanden, das Videodaten enthält.
  • Gemäß einer Ausführungsform gibt die erste Qualität eine erste Auflösung der Videodaten und/oder erste Codierparameter der Videodaten an und die zweite Qualität gibt eine zweite Auflösung der Videodaten und/oder zweite Codierparameter an.
  • In der ersten Qualität können die Videodaten relativ stark komprimiert sein, um eine schnelle Übertragung zu ermöglichen. So kann auch bei einer begrenzten Kommunikationsbandbreite, d.h. einer geringen Bandbreite des Netzwerks, über das die Videodaten von dem Server an den Client gesendet werden, eine schnelle Übertragung gewährleistet werden.
  • Da der Experte jedoch auch zeitnah und schnell selektierbare Bildinformationen in hoher (diagnosefähiger) Qualität benötigt, können die Videodaten in Antwort auf ein Anforderungssignal von dem Client, d.h. wenn der Client dies anfordert, in der zweiten höheren Qualität bereitgestellt werden. Dabei können zu den Videodaten auch die damit verbundenen Metadaten und Ereignisinformationen zur Verfügung gestellt werden.
  • Unter Qualität kann beispielsweise eine Auflösung der Videodaten verstanden werden, wobei die zweite Auflösung höher als die erste Auflösung ist. Die Auflösung kann eine Ortsauflösung und/oder eine zeitliche Auflösung, d.h. die Bildwiederholrate, sein. Die Qualität kann auch durch unterschiedliche Codierparameter, z.B. die Quantisierung, bestimmt werden.
  • Gemäß einer weiteren Ausführungsform enthalten die gespeicherten codierten Videodaten einen Index zum Zugriff auf die Inhalte der Videodaten.
  • Um den Zugriff auf bestimmte Abschnitte oder Sequenzen der Videodaten zu vereinfachen, können die Videodaten einen Index enthalten. Dieser Index kann die Abschnitte der Videodaten beispielsweise unter Verwendung der Ereignisinformationen oder zeitlich indizieren.
  • Gemäß einer weiteren Ausführungsform ist die erste Codierungseinheit dazu eingerichtet, die Videodaten zu empfangen und in der ersten Qualität zu codieren.
  • Zur Codierung der Videodaten in der ersten Qualität können Kompressionsverfahren wie z.B. H.264/AVC oder H.265/HEVC eingesetzt werden. Auf diese Weise kann die Datenmenge der Videodaten reduziert werden.
  • Gemäß einer weiteren Ausführungsform ist die erste Codierungseinheit dazu eingerichtet, beim Codieren der Videodaten Metadaten zu den Videodaten hinzuzufügen, wobei die Metadaten Informationen über den Inhalt der Videodaten enthalten.
  • Metadaten können in diesem Zusammenhang Informationen sein, die beispielsweise aus automatisierten Analysen der Videodaten resultieren. Wenn es sich bei den Videodaten beispielsweise um Mikroskopie- oder Makroskopie-Videobilder handelt, können diese bereits serverseitig, d.h. in dem medizinischen Bereich wie einem Operationssaal, bereits automatisiert analysiert werden und diese Analyseinformationen in die übertragenen Videodaten integriert werden. Die Metadaten können dabei in einem separaten Strom übertragen werden, in den Videostrom auf syntaktischer Ebene eingebettet sein, z.B. als H.264 oder H.265 SEI Nachrichten, und/oder als Überlagerung (Overlay) fest mit dem Videoinhalt vor der Codierung verknüpft werden.
  • Gemäß einer weiteren Ausführungsform ist die erste Codierungseinheit dazu eingerichtet, beim Codieren der Videodaten Ereignisinformationen zu den Videodaten hinzuzufügen.
  • Die Ereignisinformationen können dabei ebenfalls in einem separaten Strom übertragen werden, in den Videostrom auf syntaktischer Ebene eingebettet sein, z.B. als H.264 oder H.265 SEI Nachrichten, und/oder als Überlagerung (Overlay) fest mit dem Videoinhalt vor der Codierung verknüpft werden.
  • Ereignisinformationen können beispielsweise Informationen sein, die auf ein serverseitiges Ereignis hinweisen. Solche Ereignisse können serverseitig bewusst verursacht werden, um diese in die Videodaten zu integrieren.
  • Gemäß einer weiteren Ausführungsform weisen die Ereignisinformationen auf bestimmte Sequenzen in den Videodaten hin.
  • Durch absichtlich verursachte Ereignisse kann beispielsweise auf bestimmte Sequenzen in den Videodaten hingewiesen werden.
  • Gemäß einer weiteren Ausführungsform ist die zweite Codierungseinheit dazu eingerichtet, die Videodaten zu empfangen, in der zweiten Qualität zu codieren, und in der Speichereinheit zu speichern, und/oder die Metadaten und/oder Ereignisinformationen zu empfangen und in der Speichereinheit zu speichern.
  • Die Metadaten und Ereignisinformationen werden hierbei nicht als Überlagerung vor der Codierung in das Bildmaterial eingebrannt. Wenn das Videomaterial, d.h. die Videodaten, auf Anforderung an den Client übertragen wird, dann können diese Informationen auf Anforderung mit übertragen werden. Eine Decodiereinheit des Clients kann diese Informationen dann in geeigneter Weise darstellen, z.B. nach Decodierung als Überlagerung über dem Video darstellen.
  • Die zweite Codierung kann zwar ebenfalls ein Kompressionsverfahren durchführen, in jedem Fall wird jedoch eine höhere Qualität der Videodaten erreicht.
  • Gemäß einer weiteren Ausführungsform weist das System eine erste Decodierungseinheit, die dazu eingerichtet ist, die Videodaten mit der ersten Qualität zu decodieren und auf einer Anzeigevorrichtung anzuzeigen, und eine zweite Decodierungseinheit auf, die dazu eingerichtet ist, die Videodaten in der zweiten Qualität abzufragen, zu decodieren und auf der Anzeigevorrichtung anzuzeigen.
  • Auf der Clientseite können die Videodaten durch Decodierungseinheiten decodiert und auf einer Anzeigevorrichtung dargestellt werden. Die zweite Decodierungseinheit wird hierbei nur aktiv, wenn die Videodaten in der zweiten Qualität angefordert und an die zweite Decodierungseinheit übertragen wurden.
  • Gemäß einer weiteren Ausführungsform ist die Speichereinheit dazu eingerichtet, die Videodaten in der zweiten Qualität basierend auf einer verfügbaren Bandbreite an die zweite Decodierungseinheit zu übertragen.
  • Gemäß dieser Ausführungsform werden die Videodaten in der zweiten Qualität unter Berücksichtigung der verfügbaren Bandbreite übertragen. Das bedeutet, dass die Videodaten in der zweiten Qualität beispielsweise dann übertragen werden, wenn eine ausreichende Bandbreite zur Verfügung steht. Auf diese Weise wird die Übertragung der Videodaten in der ersten Qualität, bei der eine niedrige Latenz wichtig ist, nicht beeinflusst.
  • Hierbei kann serverseitig eine verfügbare Bandbreite ermittelt werden. Die zweite Decodiereinheit kann einen Abschnitt der Videodaten in der zweiten Qualität abrufen, beispielsweise anhand eines Start- und Endzeitpunkts. Die verfügbare Bandbreite, mit der diese Daten vom Server zum Client gesendet werden, kann sich dann auf der Serverseite aus der insgesamt verfügbaren Bandbreite abzüglich der Bandbreite, die benötigt wird, um den Livestream, d.h. die Übertragung der Videodaten in der ersten Qualität, aufrechtzuerhalten, bestimmen. Bei der Übertragung der Videodaten in der ersten Qualität könnte die erste Qualität weiter reduziert werden, um den Bandbreitenbedarf weiter zu reduzieren und mehr Bandbreite für die Übertragung der angeforderten Videodaten in der zweiten Qualität bereitzustellen.
  • Gemäß einer weiteren Ausführungsform ist die zweite Decodierungseinheit dazu eingerichtet, die Videodaten und/oder die Metadaten und/oder die Ereignisinformationen in der zweiten Qualität clientseitig in einer Speichervorrichtung zu speichern.
  • Indem die Videodaten und/oder die damit verbundenen Metadaten und Ereignisinformationen in der zweiten Qualität clientseitig gespeichert werden, stehen diese Videodaten für ein erneutes Abspielen und Anzeigen zur Verfügung.
  • Die in der Speichereinheit auf Serverseite und der Speichervorrichtung auf Clientseite gespeicherten Daten können, gesamt oder in Teilen, in einem PACS-System (Picture Archiving and Communication System) archiviert werden. Dieses PACS-System kann auch cloud-basiert sein.
  • Gemäß einer weiteren Ausführungsform ist die zweite Decodierungseinheit dazu eingerichtet, die Videodaten in der zweiten Qualität auf der Anzeigevorrichtung mit überlagerten Informationen anzuzeigen, wobei die Informationen Metadaten und/oder Ereignisinformationen sind.
  • Die zweite Decodierungseinheit kann beim Decodieren der Videodaten die darin möglicherweise enthaltenen Metadaten und/oder Ereignisinformation extrahieren. Beim Anzeigen auf der Anzeigevorrichtung können diese zusätzlich zu den Videodaten selbst ebenfalls angezeigt werden.
  • Gemäß einer weiteren Ausführungsform weist das System eine Steuerungseinheit auf, die dazu eingerichtet ist, eine Benutzereingabe in Antwort auf die angezeigten Videodaten zu empfangen und die Benutzereingabe als Steuersignal an den Server zu übertragen.
  • Auf diese Weise können Steuersignale beispielsweise an einen Aktor in einem Operationssaal von Clientseite, d.h. vom externen Experten, übertragen werden. Solche Aktoren können z.B. eine Positionierung eines Mikroskops steuern.
  • Gemäß einer weiteren Ausführungsform weist das System eine Mischeinheit auf, die dazu eingerichtet ist, mehrere lokale Videoströme zu einem gemeinsamen lokalen Videostrom zu mischen und den gemeinsamen lokalen Videostrom als die Videodaten an die erste Codierungseinheit bereitzustellen.
  • Die Videodaten können mehrere Videoströme enthalten, beispielsweise von verschiedenen Kameras, die durch die Mischeinheit zu einem Signal kombiniert werden. Beim Decodieren können diese wieder separiert und als getrennte Bilder angezeigt werden.
  • Zusammenfassend können durch das vorgeschlagene System bzw. dessen verschiedene Ausführungsformen folgende Ausführungen und die damit verbundenen Vorteile erreicht werden:
    • • Echtzeit-Encodierung durch die Codierungseinheiten in hoher Qualität der beteiligten Videoquellen (Mikroskopie, Makroskopie)
    • • Lokale Aufnahme der encodierten Ströme der beteiligten Videoquellen, der Metadaten aus der automatisierten Analyse der Videos sowie von Ereignissen, die z.B. durch Fußtaster oder ähnliche Eingabegeräte ausgelöst werden können und der Annotation der aufgenommenen Daten dienen können. Es können dabei zusätzlich Informationen zur zeitlichen Synchronisation der Videoströme, Metadaten und Ereignisse (auch als Events bezeichnet) untereinander abgelegt, sowie ein Index zum Zugriff (basierend auf Zeit, Metadaten und Events) auf die aufgenommenen Daten erzeugt werden.
    • • Adaptive Echtzeit-Encodierung der beteiligten Videoquellen (Mikroskopie, Makroskopie) zum Live-Streaming aus dem Operationssaal zum angeschlossenen Experten. Dabei können Videos wahlweise mit Metadaten oder Informationen zu Events überlagert werden und es können mehrere Videoströme zu einem Strom örtlich gemixt werden. Die nötigen Steuersignale dazu (Encodersteuerung, Overlay, Mixen) können zum einen durch Messwerte gegeben sein (z.B. momentane Bandbreite zwischen Experte und Operationssaal zur Steuerung des Encoders), oder aber durch eine Benutzerschnittstelle lokal oder entfernt erzeugt werden. Im letzteren Fall werden diese Signale über das Netzwerk übertragen.
    • • Streaming des bzw. der encodierten Live-Video-Signale aus dem Operationssaal zum Experten mit niedriger Latenz
    • • Anzeige der Live-Videosignale beim Experten und/oder im Operationssaal, mit einer Auswahl- bzw. Konfigurationsmöglichkeit des Metadatenoverlays und der örtlichen Darstellung der Videosignale (Mixing)
    • • Zugriff auf die Informationen zu aufgenommenen, hochqualitativen Videosignalen, den Metadaten und Events von der Expertenseite aus, Herunterladen von Teilen der Aufnahme dieser Daten und Ablage der heruntergeladenen Daten auf Expertenseite. Das Herunterladen der hochqualitativen Videoaufnahmen kann im Hintergrund unter Priorisierung der Datenrate für die Live-Ströme erfolgen.
    • • Wiedergabe der auf Expertenseite heruntergeladenen und lokal gespeicherten hochqualitativen Videosignale mit wahlweiser Überlagerung der Videosignale durch Metadaten- und Event-Overlays. Die Wiedergabe kann bereits erfolgen, obwohl die angeforderten Daten noch nicht vollständig heruntergeladen sind (progressive download).
    • • Übertragung von Steuersignalen von der Expertenseite in den Operationssaal zur Steuerung von Aktoren, z.B. Positionierung des Mikroskops
    • • Teile der Daten aus der Aufnahme auf Operationssaal- und auf Experten-Seite können in ein PACS-System archiviert werden. Dieses PACS-System kann auch cloud-basiert sein.
    • • Um die nötige Netzwerkkonnektivität zwischen Operationssaal und Experte herzustellen kann ein, möglicherweise cloudbasiertes, Relay verwendet werden.
  • Gemäß einem weiteren Aspekt wird ein Verfahren zum Übertragen von Videodaten von einem Server zu einem Client vorgeschlagen. Das Verfahren weist die folgenden Schritte auf: Übertragen von Videodaten von dem Server mit einer ersten Qualität an den Client als Livestream, und Übertragen der Videodaten in einer zweiten Qualität in Antwort auf ein Anforderungssignal von dem Client an den Client, wobei die zweite Qualität höher als die erste Qualität ist.
  • Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, welches auf einer programmgesteuerten Einrichtung die Durchführung des wie oben erläuterten Verfahrens veranlasst.
  • Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
  • Die für das vorgeschlagene System beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Verfahren entsprechend.
  • Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
  • Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
  • 1 zeigt ein schematisches Blockdiagramm einer ersten Ausführungsform eines Systems zum Übertragen von Videodaten von einem Server an einen Client;
  • 2 zeigt ein schematisches Blockdiagramm der serverseitigen Einheiten des Systems von 1 gemäß einer zweiten Ausführungsform;
  • 3 zeigt ein schematisches Blockdiagramm der clientseitigen Einheiten des Systems von 1 gemäß der zweiten Ausführungsform; und
  • 4 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Übertragen von Videodaten von einem Server zu einem Client.
  • In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
  • 1 zeigt ein System 100 zum Übertragen von Videodaten von einem Server 1 zu einem Client 2.
  • Serverseitig ist eine Mischeinheit 12 vorgesehen, die, sofern vorhanden, mehrere Videoströme zu einem gemeinsamen Videodatensignal kombinieren kann. Die Mischeinheit 12 ist optional.
  • Das kombinierte Videodatensignal, auch Videodaten genannt, wird an eine erste Codierungseinheit 10 bereitgestellt. Eine zweite Codierungseinheit 11 empfängt die nicht-kombinierten Videoströme.
  • Die erste Codierungseinheit 10 überträgt die Videodaten von dem Server 1 mit einer ersten Qualität an den Client 2 über eine Netzwerkschnittstelle 30. Die Videodaten in der ersten Qualität stellen dabei einen Livestream dar.
  • Clientseitig werden die Videodaten in der ersten Qualität von einer ersten Decodierungseinheit 20 empfangen, decodiert und auf einer Anzeigevorrichtung 22, z.B. einem Monitor, angezeigt.
  • Die zweite Codierungseinheit 11 speichert die Videodaten in einer zweiten Qualität in einer Speichereinheit 13. Von dieser können die Videodaten in Antwort auf ein Anforderungssignal von dem Client 2 an den Client 2 übertragen werden. Die zweite Qualität ist dabei höher als die erste Qualität.
  • Clientseitig werden die Videodaten in der zweiten Qualität von einer zweiten Decodierungseinheit 21 auf Anforderung empfangen, decodiert und auf der Anzeigevorrichtung 22 angezeigt. Die zweite Decodierungseinheit 21 kann diese Videodaten eventuell zusammen mit damit verbundenen Metadaten und/oder Ereignisinformationen in einer Speichervorrichtung 23 (siehe 3) speichern.
  • Die 2 und 3 zeigen eine weitere Ausführungsform des Systems 100, wobei 2 den serverseitigen Abschnitt darstellt und 3 den clientseitigen Abschnitt darstellt.
  • Mehrere Videoströme 3, 4 sowie Metadaten 5 und Ereignisinformationen 6 können kombiniert und an die erste Codierungseinheit 10 bzw. zweite Codierungseinheit 11 bereitgestellt werden. Gemäß dieser Ausführungsform codiert die erste Codierungseinheit 10 die Videodaten 3, 4 zusammen mit den Metadaten 5 und den Ereignisinformationen 6 und stellt diese bereit. Die zweite Codierungseinheit 11 hingegen codiert nur die Videodaten 3, 4 und speichert diese in der Speichereinheit 13. Die Metadaten 5 und die Ereignisinformationen 6 werden ebenfalls in der Speichereinheit 13 gespeichert.
  • Der serverseitige Bereich 1 des Systems 100 stellt ein Anwendungsfrontend 14 bereit, welches beispielsweise zur Bandbreitenpriorisierung des Livestreams bei der Übertragung dient. Über dieses Frontend 14 können verschiedene Schnittstellen 7, 8 und 9 zu dem Client angesteuert werden. Das Frontend 14 dient also als Vermittlungsschicht zwischen der ersten Codierungseinheit 10 und der Speichereinheit 13 sowie den verschiedenen Schnittstellen 7, 8 und 9, die im Folgenden erläutert werden.
  • Zwischen dem Server 1 und dem Client 2 sind verschiedene Schnittstellen vorgesehen: eine Schnittstelle 7 für den Livestream, eine Schnittstelle 8 für den Zugriff auf die Videodaten in der zweiten Qualität, auch als Aufnahmezugriff bzw. Speicherzugriff bezeichnet, und eine Schnittstelle 9 für die Steuerung.
  • Die Schnittstelle 9 für die Steuerung dient beispielsweise dazu, Steuersignale von dem Client 2 an den Server 1 zu übertragen, um auf eine Analyse der Videodaten zu reagieren. Durch diese Steuersignale kann beispielsweise von der Expertenseite in dem Operationssaal eine Steuerung von Aktoren, z.B. Positionierung des Mikroskops, durchgeführt werden. Diese Steuersignale können auf der Clientseite 2 durch die Anwendungssteuerung 24 erzeugt werden.
  • 4 zeigt ein Verfahren zum Übertragen von Videodaten von einem Server 1 zu einem Client 2. Das Verfahren weist die Schritte 401 und 402 auf.
  • In Schritt 401 werden Videodaten von dem Server 1 mit einer ersten Qualität an den Client 2 als Livestream übertragen.
  • In Schritt 402 werden die Videodaten in einer zweiten Qualität in Antwort auf ein Anforderungssignal von dem Client 2 an den Client 2 übertragen, wobei die zweite Qualität höher als die erste Qualität ist.
  • Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.

Claims (15)

  1. System (100) zum Übertragen von Videodaten von einem Server (1) zu einem Client (2), mit: einer ersten Codierungseinheit (10), die dazu eingerichtet ist, Videodaten von dem Server (1) mit einer ersten Qualität an den Client (2) als Livestream zu übertragen, und einer zweiten Codierungseinheit (11), die dazu eingerichtet ist, die Videodaten in einer zweiten Qualität in einer Speichereinheit (13) zu speichern und, in Antwort auf ein Anforderungssignal von dem Client (2), die codierten Videodaten in der zweiten Qualität von der Speichereinheit (13) an den Client (2) zu übertragen, wobei die zweite Qualität höher als die erste Qualität ist.
  2. System nach Anspruch 1, dadurch gekennzeichnet, dass die erste Qualität eine erste Auflösung der Videodaten und/oder erste Codierparameter der Videodaten angibt und die zweite Qualität eine zweite Auflösung der Videodaten und/oder zweite Codierparameter angibt.
  3. System nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die gespeicherten codierten Videodaten einen Index zum Zugriff auf die Inhalte der Videodaten enthalten.
  4. System nach einem der Ansprüche 1–3, dadurch gekennzeichnet, dass die erste Codierungseinheit (10) dazu eingerichtet ist, die Videodaten zu empfangen und in der ersten Qualität zu codieren.
  5. System nach Anspruch 4, dadurch gekennzeichnet, dass die erste Codierungseinheit (10) dazu eingerichtet ist, beim Codieren der Videodaten Metadaten zu den Videodaten hinzuzufügen, wobei die Metadaten Informationen über den Inhalt der Videodaten enthalten.
  6. System nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass die erste Codierungseinheit (10) dazu eingerichtet ist, beim Codieren der Videodaten Ereignisinformationen zu den Videodaten hinzuzufügen.
  7. System nach Anspruch 6, dadurch gekennzeichnet, dass die Ereignisinformationen auf bestimmte Sequenzen in den Videodaten hinweisen.
  8. System nach einem der Ansprüche 1–7, dadurch gekennzeichnet, dass die zweite Codierungseinheit (11) dazu eingerichtet ist, die Videodaten zu empfangen, in der zweiten Qualität zu codieren und in der Speichereinheit (13) zu speichern, und/oder die Metadaten und/oder Ereignisinformationen zu empfangen und in der Speichereinheit (13) zu speichern.
  9. System nach einem der Ansprüche 1–8, gekennzeichnet durch eine erste Decodierungseinheit (20), die dazu eingerichtet ist, die Videodaten mit der ersten Qualität zu decodieren und auf einer Anzeigevorrichtung (22) anzuzeigen, und eine zweite Decodierungseinheit (21), die dazu eingerichtet ist, die Videodaten in der zweiten Qualität abzufragen, zu decodieren und auf der Anzeigevorrichtung (22) anzuzeigen.
  10. System nach Anspruch 9, dadurch gekennzeichnet, dass die Speichereinheit (13) dazu eingerichtet ist, die Videodaten in der zweiten Qualität basierend auf einer verfügbaren Bandbreite an die zweite Decodierungseinheit (21) zu übertragen.
  11. System nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass die zweite Decodierungseinheit (21) dazu eingerichtet ist, die Videodaten in der zweiten Qualität und/oder die Metadaten und/oder die Ereignisinformationen clientseitig in einer Speichervorrichtung (23) zu speichern.
  12. System nach einem der Ansprüche 9–11, dadurch gekennzeichnet, dass die zweite Decodierungseinheit (21) dazu eingerichtet ist, die Videodaten in der zweiten Qualität auf der Anzeigevorrichtung (22) mit überlagerten Informationen anzuzeigen, wobei die Informationen Metadaten und/oder Ereignisinformationen sind.
  13. System nach einem der Ansprüche 9–12, gekennzeichnet durch eine Steuerungseinheit (24), die dazu eingerichtet ist, eine Benutzereingabe in Antwort auf die angezeigten Videodaten zu empfangen und die Benutzereingabe als Steuersignal an den Server (1) zu übertragen.
  14. System nach einem der Ansprüche 1–13, gekennzeichnet durch eine Mischeinheit (12), die dazu eingerichtet ist, mehrere lokale Videoströme zu einem gemeinsamen lokalen Videostrom zu mischen und den gemeinsamen lokalen Videostrom als die Videodaten an die erste Codierungseinheit (10) bereitzustellen.
  15. Verfahren zum Übertragen von Videodaten von einem Server (1) zu einem Client (2), mit: Übertragen (401) von Videodaten von dem Server (1) mit einer ersten Qualität an den Client (2) als Livestream, Speichern der Videodaten in einer zweiten Qualität, und in Antwort auf ein Anforderungssignal von dem Client (2), Übertragen (402) der Videodaten in der zweiten Qualität an den Client (2), wobei die zweite Qualität höher als die erste Qualität ist.
DE102015208740.9A 2015-05-12 2015-05-12 System und Verfahren zum Übertragen von Videodaten von einem Server zu einem Client Withdrawn DE102015208740A1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DE102015208740.9A DE102015208740A1 (de) 2015-05-12 2015-05-12 System und Verfahren zum Übertragen von Videodaten von einem Server zu einem Client
US15/573,099 US20180167650A1 (en) 2015-05-12 2016-05-11 System and method for transmitting video data from a server to a client
EP16723702.3A EP3278562A1 (de) 2015-05-12 2016-05-11 System und verfahren zum übertragen von videodaten von einem server zu einem client
PCT/EP2016/060483 WO2016180844A1 (de) 2015-05-12 2016-05-11 System und verfahren zum übertragen von videodaten von einem server zu einem client
JP2017557918A JP2018523341A (ja) 2015-05-12 2016-05-11 サーバからクライアントへ映像データを送信するシステム及び方法
CN201680027185.2A CN107567712A (zh) 2015-05-12 2016-05-11 用于将视频数据从服务器传输到客户机的***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015208740.9A DE102015208740A1 (de) 2015-05-12 2015-05-12 System und Verfahren zum Übertragen von Videodaten von einem Server zu einem Client

Publications (1)

Publication Number Publication Date
DE102015208740A1 true DE102015208740A1 (de) 2016-11-17

Family

ID=56024259

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015208740.9A Withdrawn DE102015208740A1 (de) 2015-05-12 2015-05-12 System und Verfahren zum Übertragen von Videodaten von einem Server zu einem Client

Country Status (6)

Country Link
US (1) US20180167650A1 (de)
EP (1) EP3278562A1 (de)
JP (1) JP2018523341A (de)
CN (1) CN107567712A (de)
DE (1) DE102015208740A1 (de)
WO (1) WO2016180844A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018108772A1 (de) * 2018-04-12 2019-10-17 Olympus Winter & Ibe Gmbh Verfahren und System zum Aufzeichnen und zur Wiedergabe erweiterter medizinischer Videodaten

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11949927B2 (en) 2020-10-30 2024-04-02 Stryker Corporation Methods and systems for hybrid and concurrent video distribution for healthcare campuses
CN113157232A (zh) * 2021-04-26 2021-07-23 青岛海信医疗设备股份有限公司 一种多屏幕拼接显示***和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69417143T2 (de) * 1993-10-14 1999-09-23 Koninklijke Philips Electronics N.V., Eindhoven Verfahren zur Speicherung von kodierten Bilddaten
US20070024706A1 (en) * 2005-08-01 2007-02-01 Brannon Robert H Jr Systems and methods for providing high-resolution regions-of-interest
DE102009035659B4 (de) * 2009-07-30 2012-07-12 Vitaphone Gmbh Verfahren zur telemedizinischen Assistenz von Endnutzern

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059758A (ja) * 1998-08-05 2000-02-25 Matsushita Electric Ind Co Ltd 監視カメラ装置、監視装置、及びこれらを用いた遠隔監視システム
US6466248B1 (en) * 2000-04-05 2002-10-15 Dialogic Corporation Videoconference recording
US20030023982A1 (en) * 2001-05-18 2003-01-30 Tsu-Chang Lee Scalable video encoding/storage/distribution/decoding for symmetrical multiple video processors
US7830965B2 (en) * 2004-01-14 2010-11-09 Sony Ericsson Mobile Communications Ab Multimedia distributing and/or playing systems and methods using separate resolution-enhancing supplemental data
US8214516B2 (en) * 2006-01-06 2012-07-03 Google Inc. Dynamic media serving infrastructure
JP2007228337A (ja) * 2006-02-24 2007-09-06 Olympus Corp 画像撮影装置
JP4719641B2 (ja) * 2006-07-27 2011-07-06 ソニー株式会社 動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システム。
CN201403163Y (zh) * 2009-04-21 2010-02-10 东北大学 一种基于嵌入式平台的网络视频服务器
CN101534423A (zh) * 2009-04-21 2009-09-16 东北大学 基于嵌入式平台的网络视频服务器
US9113177B2 (en) * 2010-04-02 2015-08-18 Telefonaktiebolaget L M Ericsson (Publ) Methods, apparatuses and computer program products for pausing video streaming content
CN103442202B (zh) * 2013-08-22 2017-09-26 北京智谷睿拓技术服务有限公司 视频通信方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69417143T2 (de) * 1993-10-14 1999-09-23 Koninklijke Philips Electronics N.V., Eindhoven Verfahren zur Speicherung von kodierten Bilddaten
US20070024706A1 (en) * 2005-08-01 2007-02-01 Brannon Robert H Jr Systems and methods for providing high-resolution regions-of-interest
DE102009035659B4 (de) * 2009-07-30 2012-07-12 Vitaphone Gmbh Verfahren zur telemedizinischen Assistenz von Endnutzern

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
STAHL, J. N. [et al.]: Teleconferencing with Dynamic Medical Images. In: IEEE Transactions on Information Technology in Biomedicine. Juni 2000, Ausgabe 2, Vol. 4, Seiten 88- 96 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018108772A1 (de) * 2018-04-12 2019-10-17 Olympus Winter & Ibe Gmbh Verfahren und System zum Aufzeichnen und zur Wiedergabe erweiterter medizinischer Videodaten
DE102018108772B4 (de) 2018-04-12 2020-01-02 Olympus Winter & Ibe Gmbh Verfahren und System zum Aufzeichnen und zur Wiedergabe erweiterter medizinischer Videodaten

Also Published As

Publication number Publication date
WO2016180844A1 (de) 2016-11-17
US20180167650A1 (en) 2018-06-14
EP3278562A1 (de) 2018-02-07
JP2018523341A (ja) 2018-08-16
CN107567712A (zh) 2018-01-09

Similar Documents

Publication Publication Date Title
DE10309165A1 (de) Medizinische Systemarchitektur zur interaktiven Übertragung und progressiven Darstellung von komprimierten Bilddaten
DE112012005330B4 (de) Verfahren und Vorrichtung zur Kompensation einer Überschreitung eines gewünschten Sichtbereichs durch eine ferngesteuerte Bilderfassungsvorrichtung
DE60214622T2 (de) Verfahren zum Übertragen von Bildern, Bildübertragungverfahrenprogramm, Programmspeichermedium zum Speichern des Bildübertragungprogramms und Vorrichtung zur Übertragung von Bildern
DE102020108357A1 (de) Umkodieren vorhergesagter bilder in live-videostream-anwendungen
DE10120806B4 (de) Vorrichtung und Verfahren zur Übertragung von multimedialen Datenobjekten
DE102008058489A1 (de) Verfahren zum Codieren einer Folge von digitalisierten Bildern
DE112015001880T5 (de) Drahtloses Endoskopsystem, Endoskop, Anzeigevorrichtung, Bildübertragungsverfahren, Bildanzeigeverfahren und Programm
EP3278562A1 (de) System und verfahren zum übertragen von videodaten von einem server zu einem client
DE202012013682U1 (de) Videokommunikation mit ultraniedriger Latenz
DE112015002650T5 (de) Systeme und Verfahren zur prädiktiven Auslieferung von Inhalten mit hohen Bitraten zur Wiedergabe
DE102018208496B4 (de) Persistente kennung für offline-zugriff auf gestreamte medien
DE102012200417B4 (de) Bilddatenaufzeichnungsvorrichtung
DE102011079916B4 (de) Verfahren und Vorrichtung zum progressiven Laden von medizinischen, mehrdimensionalen Bildern in eine medizinische Applikation
DE102016120845B4 (de) Kamerasystem und Betriebsverfahren hierfür
DE102012212923B4 (de) Steuerungsmodul für einen Signalgeber zur Remote-Client-Darstellung einer medizinischen Bildfolge
DE102012202315A1 (de) Videosystem zur Darstellung von Bilddaten, Verfahren und Computerprogramm
EP3078206A1 (de) Verfahren zur übertragung digitaler bilder aus einer bilderfolge
DE102005052207A1 (de) Verfahren zum Übertragen von einem Datenstrom von einer Datenquelle zu einer Datensenke sowie Datensenkengerät, Datenquellgerät und Gerät zur Durchführung des Verfahrens
DE202015008258U1 (de) Moderne Bilddatenübertragung durch Streaming zu veralteten und modernen Displays
DE102004057305A1 (de) Pipeline zum Datenaustausch zwischen medizinischen Bildapplikationen
DE102007056431A1 (de) Vorrichtung und Verfahren zur Anpassung von medizinischen Bildern für die Darstellung auf einem Großdisplay
EP2961171B1 (de) Verfahren zum kontinuierlichen überwachen einer synchronität zwischen verschiedenen beim http adaptiven streaming verwendeten qualitätsprofilen
DE102019208780A1 (de) Vorrichtungen und verfahren zum komprimieren bzw. dekomprimieren
DE10135948B4 (de) Verfahren und Vorrichtung für einen gesteuerten Ladevorgang von Internetdaten mittels Kommunikation zwischen einem Client und einem Server
DE10101075C2 (de) Verfahren und Mediendistributionssystem zur Speicherung und Übertragung von Videodateien

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee