ITTO20100042A1 - Metodo per il trasporto di dati informativi e/o applicativi allâ¬"interno di un flusso video digitale e relativi dispositivi per la generazione e la fruizione di tale flusso video - Google Patents
Metodo per il trasporto di dati informativi e/o applicativi allâ¬"interno di un flusso video digitale e relativi dispositivi per la generazione e la fruizione di tale flusso video Download PDFInfo
- Publication number
- ITTO20100042A1 ITTO20100042A1 IT000042A ITTO20100042A ITTO20100042A1 IT TO20100042 A1 ITTO20100042 A1 IT TO20100042A1 IT 000042 A IT000042 A IT 000042A IT TO20100042 A ITTO20100042 A IT TO20100042A IT TO20100042 A1 ITTO20100042 A1 IT TO20100042A1
- Authority
- IT
- Italy
- Prior art keywords
- video stream
- information
- image
- frame
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 56
- 239000002131 composite material Substances 0.000 claims description 36
- 238000004519 manufacturing process Methods 0.000 claims description 28
- 238000003780 insertion Methods 0.000 claims description 12
- 230000037431 insertion Effects 0.000 claims description 12
- 238000004806 packaging method and process Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 230000011664 signaling Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013479 data entry Methods 0.000 claims description 3
- 238000011144 upstream manufacturing Methods 0.000 claims 1
- 238000009826 distribution Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 10
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
“Metodo per il trasporto di dati informativi e/o applicativi all’interno di un flusso video digitale e relativi dispositivi per la generazione e la fruizione di tale flusso videoâ€
DESCRIZIONE
- CAMPO DELLA TECNICA -La presente invenzione si riferisce in generale alla produzione e visualizzazione di contenuti video digitali.
In particolare, l’invenzione si riferisce all’utilizzo delle tecniche di codifica e decodifica video per il trasporto di dati informativi e/o applicativi all’interno di contenuti video digitali e ai relativi dispositivi per la generazione e la fruizione di tali contenuti.
L’invenzione trova applicazione preferita e vantaggiosa nella codifica e decodifica di flussi video stereoscopici digitali, e si applica quindi ai relativi dispositivi per la generazione e la fruizione di tali flussi video stereoscopici.
- ARTE NOTA -Come noto, la distribuzione di contenuti video in formato digitale richiede l’adozione di tecniche di codifica (compressione) atte a ridurre il bitrate necessario alla relativa trasmissione o memorizzazione su supporti di massa. All’atto della fruizione di tali contenuti, il fruitore utilizzerà un opportuno dispositivo di decodifica che applicherà tecniche di decompressione che consistono, usualmente, in operazioni inverse a quelle effettuate dal codificatore.
Tali contenuti video possono avere formato diverso. Per esempio, i materiali di archivio sono caratterizzati dallo storico formato 4:3, contenuti più recenti possono assumere il formato 16:9, mentre contenuti che provengono da produzioni cinematografiche possono assumere formati ancora più allungati. Questi contenuti potranno essere fruiti su dispositivi di visualizzazione caratterizzati da differenti formati degli schermi.
Di conseguenza, la distribuzione di questi contenuti su una specifica rete di trasporto o supporto di massa comporta l’adozione di tecniche di adattamento e ottimizzazione della loro visualizzazione, in funzione anche delle preferenze dello spettatore.
Ad esempio, i contenuti in formato 4:3 possono essere adattati alla fruizione su dispositivi di visualizzazione 16:9 inserendo due bande nere verticali se lo spettatore preferisce visualizzare l’immagine senza introdurre deformazioni.
Affinché il dispositivo di visualizzazione sia in grado di applicare tali tecniche di adattamento e ottimizzazione correttamente, à ̈ necessario che possa disporre delle informazioni che descrivono il formato dell’immagine ricevuta.
Tale esigenza non si presenta solo nel mondo dei contenuti bidimensionali (2D) ma diviene ancora più pressante nel campo dei contenuti stereoscopici (3D).
Ad esempio, i flussi video stereoscopici possono contenere delle immagini composite al cui interno sono appositamente disposte un’immagine destra ed una sinistra destinate rispettivamente all’occhio destro e sinistro dell’utente che osserva il video. Nel formato “side-by-side†, le due immagini destra e sinistra sono sottocampionate orizzontalmente e sono disposte in modo tale da occupare la metà sinistra e la metà destra dell’immagine composita. Nel formato “top-bottom†le immagini destra e sinistra sono sottocampionate verticalmente e disposte nelle metà superiore ed inferiore dell’immagine composita.
I dipositivi di visualizzazione, a loro volta, utilizzano tecniche differenti per la visualizzazione dell’immagine stereoscopica. Per effettuare correttamente tale visualizzazione secondo la tecnica da essi utilizzata, à ̈ opportuno segnalare il formato dell’immagine composita all’interno del flusso video da visualizzare. Per ricostruire le immagini destra e sinistra, il decodificatore deve, infatti, sapere come queste sono disposte all’interno dell’immagine composita, altrimenti non può ricostruirle e permettere la visualizzazione corretta dei contenuti 3D.
Al giorno d’oggi sono noti molti metodi per l’inserimento di dati informativi e/o applicativi all’interno di flussi video. Nella televisione analogica, ad esempio, dati di questo tipo venivano inseriti all’interno dei ritorni di riga verticali (Vertical Blanking Interval). Col passaggio alla televisione digitale, questi ritorni di riga sono stati eliminati ed il trasporto di dati viene affidato ad apposite sezioni del flusso video separate dalla parte video. Ad esempio, à ̈ noto l’uso di opportune tabelle di segnalazione all’interno del transport stream MPEG2, che contengono informazioni relative al formato delle immagini 2D.
Inoltre, à ̈ noto l’uso di header per il trasporto di dati di segnalazione all’interno del flusso video digitale codificato.
Tali dati informativi e/o applicativi sono presenti e fruibili solo nel tratto della catena di distribuzione compreso tra il codificatore e il decodificatore. A livello di produzione, i contenuti video, infatti, non vengono compressi (o al limite vengono compressi con bassi livelli di compressione) per permettere l’elaborazione degli stessi o la successiva riproduzione degli stessi senza perdita di qualità , anche nel caso di frequenza ridotta (ralenty).
- OBIETTIVI E BREVE RIASSUNTO DELL’INVENZIONE -Scopo della presente invenzione à ̈ fornire un metodo ed un sistema alternativi per il trasporto di dati informativi e/o applicativi all’interno di un contenuto video digitale. In particolare à ̈ scopo della presente invenzione quello di presentare un metodo per il trasporto dei dati che possa essere applicato indifferentemente ai contenuti video 2D e 3D.
Altro scopo della presente invenzione à ̈ indicare un metodo e sistema per il trasporto di dati informativi e/o applicativi che permetta l’utilizzo di tali dati anche in fase di produzione di contenuti video digitali.
Questi ed altri scopi della presente invenzione sono raggiunti mediante un metodo ed un sistema per il trasporto di dati informativi e/o applicativi all’interno del flusso video (e dispositivi che implementano i suddetti metodi) incorporanti le caratteristiche delle rivendicazioni allegate, le quali formano parte integrante della presente descrizione.
In particolare, un’idea alla base della presente invenzione à ̈ di inserire dei dati, in particolare un’informazione relativa alle caratteristiche del flusso video stereoscopico digitale, come ad es. il suo formato, in alcune zone dei fotogrammi che formano il flusso video. In particolare, dati informativi e/o applicativi vengono inseriti in linee del fotogramma che non contengono informazione visiva utile, ossia informazione che fa parte dell’immagine da visualizzare. In questo modo i dati informativi e/o applicativi viaggiano insieme all’immagine (anch’essa inserita nel fotogramma) e resistono così ad eventuali cambiamenti del sistema di trasmissione che possono provocare la perdita dei metadati associati al video.
Dato che i dati informativi e/o applicativi non sono miscelati ai pixel dell’immagine da visualizzare, i dati informativi e/o applicativi non risultano visibili e non infastidiscono la visione dello spettatore.
Vantaggiosamente, i dati informativi e/o applicativi vengono inseriti nelle prime o nelle ultime linee del fotogramma, così da permettere una separazione semplice dell’informazione visiva (ad es. immagine composita) da quella non visiva (i dati informativi e/o applicativi).
La scelta di inserire i dati informativi e/o applicativi all’interno delle prime o ultime otto linee risulta poi particolarmente adatta nel caso di compressione H.264 di contenuti ad alta definizione (2D o 3D). Tale codifica H.264 viene descritta nel documento ITU-T “H.264 Advanced video coding for generic audiovisual services†.
Il formato di codifica H.264 prevede che ogni immagine che compone il flusso video venga scomposta in cosiddetti “macroblocchi†, le cui dimensioni sono di 16x16 pixel. Ogni macroblocco contiene una matrice di 16x16 pixel di luminanza, mentre per i due segnali di crominanza (che hanno risoluzione più bassa) si utilizzano matrici di 8x8 pixel che coprono la stessa area della matrice di luminanza. Di conseguenza, un’immagine di 1920x1080 pixel sarà rappresentata da una matrice di 1920x1088 pixel, con un’aggiunta di otto linee sul fondo, aggiunta necessaria per il fatto che 1080 non à ̈ un numero divisibile per sedici, mentre ogni immagine deve essere scomposta in un numero intero di macroblocchi. L’invenzione prevede quindi di utilizzare le otto linee che non sono occupate dall’immagine vera e propria per trasmettere i dati informativi e/o applicativi.
Ulteriori scopi e vantaggi della presente invenzione appariranno maggiormente chiari dalla descrizione che segue di alcuni esempi di realizzazione forniti a titolo esplicativo e non limitativo.
- BREVE DESCRIZIONE DELLE FIGURE -Alcuni esempi di realizzazione preferiti e vantaggiosi vengono descritti a titolo esemplificativo e non limitativo, con riferimento ai disegni allegati, in cui:
· La figura 1 mostra un diagramma di flusso relativo alle fasi che vanno dalla generazione alla fruizione di contenuti video.
· La figura 2 mostra un sistema di produzione e distribuzione di un flusso video stereoscopico secondo una prima forma di realizzazione della presente invenzione;
· Le figure 3a e 3b mostrano due esempi di un sistema per la fruizione di un flusso video stereoscopico secondo la presente invenzione;
· La figura 4 mostra un sistema di produzione e distribuzione di un flusso video stereoscopico secondo una seconda forma di realizzazione della presente invenzione;
· La figura 5 mostra un sistema di produzione e distribuzione di un flusso video stereoscopico secondo una terza forma di realizzazione della presente invenzione;
· La figura 6 mostra un sistema di produzione e distribuzione di un flusso video stereoscopico secondo una quarta forma di realizzazione della presente invenzione;
· La figura 7 mostra un sistema di produzione e distribuzione di un flusso video stereoscopico secondo una quinta forma di realizzazione della presente invenzione;
· La figura 8 mostra un sistema di produzione e distribuzione di un flusso video stereoscopico secondo una sesta forma di realizzazione della presente invenzione.
· La figura 9 mostra un sistema di produzione e distribuzione di un flusso video stereoscopico secondo una settima forma di realizzazione della presente invenzione.
Le figure illustrano differenti aspetti e forme di realizzazione della presente invenzione e, dove appropriato, numeri di riferimento illustranti strutture, componenti, materiali e/o elementi simili in differenti figure sono indicati da numeri di riferimento simili.
- DESCRIZIONE DETTAGLIATA DELL’INVENZIONE –
In figura 1 viene mostrato schematicamente il processo che va dalla generazione alla fruizione di contenuti video digitali. In una prima fase 100 i contenuti vengono generati ed elaborati; questa fase prende il nome di produzione e può comprendere fasi quali l’acquisizione delle immagini mediante telecamere, la creazione di contenuti video mediante computer grafica, il mixaggio, l’editing delle immagini acquisite ed eventualmente la loro registrazione in un master ad alta qualità (vale a dire senza compressione o con compressione blanda).
Successivamente, i contenuti video prodotti vengono codificati in modo tale da ridurre il bit rate e permetterne la registrazione ad uso dell’utente (ad es. su supporti ottici quali i DVD o i Blu-Ray) o la distribuzione mediante rete di diffusione o telecomunicazioni. Questa fase prende il nome di distribuzione ed à ̈ indicata col riferimento 200 in figura 1.
Infine segue una fase che, ai fini della presente descrizione, individueremo come fase di fruizione 300, in cui i contenuti video distribuiti vengono decodificati da opportuni decodificatori (ad esempio dei lettori di DVD o dei set-top-box) e visualizzati sullo schermo.
La figura 2 mostra schematicamente un sistema per generare flussi video stereoscopici 2 secondo una prima forma di realizzazione della presente invenzione. Tale figura mostra quindi alcuni degli elementi tecnici che contribuiscono alle fasi di produzione e distribuzione sopra descritte con riferimento alla figura 1.
Il sistema comprende due coppie di telecamere 3a e 3b; chiaramente il numero di coppie di telecamere à ̈ solo esemplificativo e non limitativo, esso può andare da un minimo di una coppia di telecamere, fino anche a dieci coppie di telecamere e oltre. Ugualmente la coppia di telecamere può essere integrata in un unico dispositivo che acquisisce due immagini.
Per ogni coppia, le due telecamere acquisiscono immagini da due prospettive differenti. Le telecamere generano quindi una sequenza di immagini destra 4 ed una sequenza di immagini sinistra 5 che vengono ricevute da un multiplexer 6 ed inserite all’interno di fotogrammi di corrispondenti flussi video.
Il multiplexer 6 provvede a combinare una coppia di immagini destra e sinistra delle sequenze 4 e 5 in un’immagine composita C che viene fornita in uscita ad un
mixer di regia 10. In una forma di realizzazione l’immagine composita C generata dal multiplexer 6 à ̈ un’immagine di 1080x1920 pixel.
Il segnale in uscita dal mixer 10 può essere inviato direttamente al codificatore 8 per la compressione, oppure, prima della codifica, può venire registrato e subire ulteriori elaborazioni in fase di post-produzione.
Per questo motivo, in figura 2 il sistema di editing e postproduzione 7, che permette l’elaborazione dell’immagine composita, viene indicato con linea tratteggiata.
L’immagine composita, eventualmente elaborata dal sistema 7, viene fornita ad un codificatore 8 che la comprime e la codifica secondo un formato atto alla trasmissione e/o registrazione.
In una forma di realizzazione preferita, il codificatore 8 Ã ̈ un codificatore di tipo H.264 opportunamente modificato per inserire nel flusso video dei dati (ad es. una segnalazione) come meglio decritto nel seguito.
Il codificatore 8 genera quindi un flusso video comprendente una sequenza di fotogrammi trasmessi mediante matrici di dimensioni 1088x1920 in cui le prime 1080 linee contengono l’immagine composita (C0) ricevuta in ingresso ed in cui una o più delle ultime otto linee contengono i dati informativi e/o applicativi.
Nell’esempio di figura 2, il sistema comprende dei mezzi 9 che forniscono al codificatore 8 le informazioni da inserire come dati informativi e/o applicativi all’interno del fotogramma.
In una forma di realizzazione, i mezzi 9 sono dei mezzi che permettono l’inserimento manuale dei dati da inserire nel fotogramma quali dati informativi e/o applicativi; ad esempio, tali mezzi possono essere un personal computer che viene controllato da un utente per immettere manualmente i dati da inserire nel fotogramma. Alternativamente i mezzi d’inserimento 9 possono limitarsi ad un dispositivo di immissione dati, quali una tastiera o una periferica di input di tipo touch screen, opportunamente collegati al codificatore 8 in modo tale da permettere all’utente di fornire le informazioni che devono essere trasportate dal flusso video all’interno dei fotogrammi.
Le informazioni fornite al codificatore 8 possono essere di vario tipo ed avere varie funzioni. In particolare, tali informazioni servono al decoder per ricostruire le immagini destra e sinistra, pertanto possono comprendere un’informazione relativa al frame packaging (ossia relativa alla disposizione delle immagini destra e sinistra nell’immagine composita).
Ricevute le informazioni di cui sopra dai mezzi d’inserimento 9, il codificatore 8 genera quindi in uscita un flusso video che comprende sia l’immagine composita ricevuta in ingresso, sia i dati informativi e/o applicativi che permettono al decodificatore di ricostruire le immagini destra e sinistra così da permetterne la successiva visualizzazione.
Il flusso video stereoscopico 2 generato dal codificatore 8 può quindi essere registrato su un’opportuno supporto (DVD, Blu-ray, memorie di massa, hard-disk, ecc…) o essere trasmesso attraverso una rete di comunicazione quale una rete di broadcasting o di telecomunicazioni.
Il segnale in uscita, che nell’esempio di figura 2 à ̈ codificato secondo le specifiche correnti dello standard H.264, contiene le indicazioni (cropping window, ovvero finestra che delimita l’immagine) che istruiscono il decoder affinché, al momento della decodifica, effettui la delimitazione (cropping) dell’immagine. Secondo una forma di realizzazione preferita, il codificatore 8 inserisce tra i metadati un’opportuna informazione per segnalare al decoder che le linee aggiuntive devono essere analizzate prima di essere scartate. Tali metadati possono, ad esempio, essere inseriti in opportuni pacchetti dati quali le NAL (Network Abstraction Layer) unit della codifica H.264.
Veniamo ora all’altro estremo della catena di distribuzione, e cioà ̈ al lato ricezione e visualizzazione o riproduzione. La figura 3a mostra schematicamente un sistema 3000 di fruizione dei contenuti video prodotti e distribuiti dal sistema di figura 2.
Il sistema 3000 comprende un decoder 3100 che acquisisce il flusso video 2 mediante un blocco di acquisizione 3110. Il blocco di acquisizione 3110 può comprendere uno o più tra: un sintonizzatore per ricevere un flusso video diffuso via etere (ad es. via rete terrestre o satellitare), un’ingresso dati per ricevere un flusso video trasmesso via cavo (coassiale, fibra ottica, doppino o altro), un lettore per la lettura di un flusso video registrato come segnale video su un supporto ottico (ad es.DVD o Blu-Ray) o su una memoria di massa.
Il flusso video acquisito dal blocco 3110 viene decodificato dal blocco di decodifica 3120, in particolare un decodificatore H.264 modificato, che fornisce in uscita due sequenze di immagini destra e sinistra estratte dal flusso video 2 decodificato.
Il blocco di decodifica 3120 comprende un’unità 3121 per l’analisi dei metadati contenuti nel flusso video, uno o più registri 3122 per la memorizzazione temporanea dei fotogrammi ricevuti (ad es. immagini di tipo I, B o P nella codifica H.264), un’unità di ricostruzione 3123 dei fotogrammi che ricostruisce le immagini composite presenti nei fotogrammi e le mette nell’ordine temporale corretto, un’unità di estrazione 3124 delle immagini destra e sinistra che estrae le immagini destra e sinistra presenti nelle immagini composite ricostruite sulla base delle informazioni non visibili (dati informativi e/o applicativi) contenute nei fotogrammi ricevuti. Il decoder 3100 comprende poi un’interfaccia d’uscita 3130 che fornisce al dispositivo di visualizzazione 3200 le sequenze di immagini destra e sinistra estratte dal flusso video 2.
L’interfaccia 3130 può essere un’interfaccia HDMI (High Definition Multimedia Interface), un’interfaccia che fornisce in uscita due flussi video (uno per la sequenza di immagini destra e uno per la sequenza di immmagini sinistre) ad es. due flussi VGA o XVGA, o un’interfaccia che fornisce in uscita due flussi RGB.
La forma di attuazione sopra descritta con riferimento alle figure 2 e 3a, che prevede l’inserimento di un’informazione nei metadati sulla presenza di dati informativi e/o applicativi nelle linee aggiuntive, presenta il vantaggio che, in caso di assenza di questi dati, il decoder può tralasciarne l’analisi. D’altra parte, questa soluzione comporta un aumento della complessità delle operazioni svolte dall’encoder nonché della complessità di decodifica del flusso.
In una forma di attuazione alternativa alla precedente, il codificatore non aggiunge metadati al flusso codificato, lasciando al decoder il compito di analizzare il contenuto delle linee aggiuntive prima di scartarle. In questo caso, l’encoder e la struttura del flusso video codificato risultano semplificati, mentre risulta accresciuto l’onere computazionale a carico del decoder, ed in particolare dell’unità di estrazione 3124 che per estrarre le immagini destra e sinistra deve prima analizzare il contenuto delle linee e/o colonne aggiuntive contenenti i dati informativi e/o applicativi.
In assenza di metadati dedicati, la ricerca dei dati informativi e/o applicativi può ad esempio essere effettuata nelle linee e/o colonne del fotogramma che (come indicato dai metadati, quali il metadato di cropping window) che non concorrono alla ricostruzione dell’immagine a livello di decodificatore. In una forma di realizzazione, la ricerca dei dati viene effettuata ricercando le linee e/o colonne aggiunte contenenti pixel non uniformi.
In’un’ulteriore forma di realizzazione, mostrata in figura 3b, il decodificatore 3100 differisce da quello di figura 3a per il fatto di non comprendere l’unità di estrazione 3124. In questa forma di realizzazione, il decodificatore si limita a decodificare il flusso video senza estrarre le immagini destra e sinistra, che restano multiplexate in immagini composite.
Queste ultime vengono trasmesse dall’interfaccia 3131 di tipo analogo all’interfaccia 3130, ma che porta in uscita un unico flusso video i cui fotogrammi contengono le immagini composite decompresse.
In questa forma di realizzazione, l’estrazione delle immagini destra e sinistra à ̈ demandata al dispositivo di visualizzazione 3200 che viene provvisto di appositi mezzi. Qui di seguito vengono descritte delle varianti al sistema di figura 2, le quali si prestano a generare e distribuire flussi video secondo la presente invenzione.
Nell’esempio di figura 4, le telecamere generano delle immagini costituite da 1080x1920 pixel, ed il multiplexer 60 genera una sequenza di fotogrammi C1 costituti da matrici di 1088x1920 pixel, in cui l’immagine composita occupa le prime 1080 linee ed in cui i pixel delle ultime otto linee sono ad esempio tutti neri o grigi.
In particolare, le otto linee aggiuntive che permettono il trasporto dei dati informativi e/o applicativi, vengono create nella scheda del multiplexer 60 che riceve in entrata i due flussi video destro e sinistro e produce in uscita il flusso video stereoscopico, contenente le immagini composite C1.
I fotogrammi C1 generati dai diversi multiplexer 60 del sistema vengono ricevuti dal mixer di regia 10 in uscita dal quale si ha una sequenza di immagini con 1088x1920 pixel che sono compatibili con il formato richiesto per la compressione H.264.
Le otto linee di C1 che contengono informazione da non visualizzare (ossia non contengono l’immagine composita) vengono quindi create in fase di produzione ed utilizzate già in questa fase per trasportare dati che vengono inseriti all’uscita del mixer 10 mediante un sistema 90 di inserimento della segnalazione. Come per i mezzi 9 di figura 2, il sistema 90 permette l’inserimento manuale (ad esempio via computer o tastiera) da parte di un’operatore dei dati informativi e/o applicativi. Questi dati vengono quindi inseriti in una o più delle otto linee aggiunte all’immagine composita C1 in fase di multiplexing. In uscita al sistema 90 si hanno quindi dei fotogrammi C1a di dimensione 1088x1920 in cui 1080 linee contengono informazione visiva, ossia l’immagine da visualizzare, e le rimanenti otto linee contengono informazione non visiva (ossia da non visualizzare) tra cui i dati inseriti dal sistema 90.
Le immagini C1a in uscita dal sistema 90 possono essere elaborate dal sistema di editing e post-produzione 70 (tratteggiato in figura 4 dato che può essere omesso) e modificate come immagini C2 sempre di dimensione 1088x1920. Il sistema 70 à ̈ simile al sistema 7 con la differenza che può gestire immagini di 1088x1920 pixel.
Le immagini C1a, eventualmente modificate dal sistema 70 come immagini C2, vengono ricevute dal codificatore 80 (preferibilmente di tipo H.264), che le comprime e genera il flusso video stereoscopico 2.A differenza dell’esempio di figura 2, in cui i dati informativi e/o applicativi sono inseriti nel fotogramma in fase di codifica del flusso video, nell’esempio di figura 4 i dati sono inseriti in fase di produzione.
Preferibilmente, quando i dati informativi e/o applicativi sono inseriti in fase di produzione, allora questi dati possono essere di vario tipo ed avere varie funzioni. In particolare, tali dati servono al decoder per ricostruire le immagini destra e sinistra, pertanto possono in particolare comprendere un’informazione relativa al frame packaging (ossia relativa alla disposizione delle immagini destra e sinistra nell’immagine composita), ma possono anche contenere informazioni relative ai parametri di ripresa. Dato che le immagini riprese da una telecamera possono essere combinate con immagini generate con metodi di computer grafica, i dati informativi e/o applicativi possono comprendere un’informazione relativa alle modalità con cui sono state effettuate le riprese con telecamera, così da assicurare un corretto matching fra le immagini reali e quelle artificiali. Ad es. tale informazione può essere relativa alla distanza fra le due telecamere, destra e sinistra, che non sempre à ̈ uguale alla distanza media fra i due occhi umani; ancora, tale informazione permette di sapere se le due telecamere sono parallele o convergenti (in alcuni casi si imita il comportamento degli occhi umani, che quando focalizzano un oggetto vicino tendono a convergere).
Le informazioni di cui sopra sono utili anche per verificare che, se si combinano assieme due immagini provenienti da sorgenti diverse, non necessariamente prodotte da computer, ma anche da telecamere, l’immagine risultante sia per così dire “coerente†e quindi gradevole alla vista. Infatti, combinare immagini prodotte con parametri di ripresa differenti può generare strani effetti poco gradevoli per il telespettatore.
In figura 5 viene mostrata una variante dell’esempio di figura 4, in cui il multiplexer 600 oltre ad incrementare il numero di linee rispetto a quanto necessario per inserire l’immagine composita (formattata secondo un formato prestabilito, ad es. 1080 righe per 1920 colonne), inserisce nelle linee aggiuntive anche i dati informativi e/o applicativi.
Uno o più sistemi d’inserimento dati 900 (nell’esempio di figura 5 uno solo, ma se ne possono prevedere più di uno fino ad uno per multiplexer) sono collegati ai multiplexer 600 e forniscono i dati informativi e/o applicativi da inserire in linee non visibili del fotogramma C1a in uscita dal multiplexer 600. Questi dati possono essere del medesimo tipo di quelli inseriti dal sistema 90 di figura 4. In questo modo i fotogrammi C1a in uscita dal multiplexer 600 corrispondono sostanzialmente a quelli in uscita dal sistema 90 di figura 4 e possono essere trattati nel medesimo modo mediante compressione ed eventuale elaborazione di editing e post produzione.
Nell’esempio di figura 6, il multiplexer 6 à ̈ del medesimo tipo di figura 2; pertanto riceve i flussi video delle telecamere e li combina in un flusso video stereoscopico i cui fotogrammi contengono immagini composite.
Le otto linee per i dati informativi e/o applicativi vengono generate dal sistema di editing e post produzione 70 che genera così una sequenza di fotogrammi contenenti sia l’immagine composita sia i dati informativi e/o applicativi. Questi ultimi vengono generati utilizzando le informazioni fornite dai mezzi 9000 simili ai mezzi 90 descritti con riferimento alla figura 4.
Come per l’esempio di figura 2, il codificatore 80 comprime la sequenza di fotogrammi C2 e li fornisce in uscita per la registrazione e/o trasmissione.
In una ulteriore forma di realizzazione non mostrata nelle figure, le otto linee per i dati informativi e/o applicativi vengono aggiunte all’immagine composita dal sistema di editing, ma l’inserimento dei dati informativi e/o applicativi in queste otto linee viene effettuato a livello di codificatore, ad esempio mediante mezzi del tipo descritto con riferimento alla figura 2.
In un’ulteriore forma di realizzazione, i dati che vengono utilizzati per i dati informativi e/o applicativi vengono presi automaticamente da metadati associati ai flussi video generati dalle telecamere o al flusso video in uscita dal multiplexer o al flusso video in uscita dal sistema di editing e post produzione. Questa soluzione risulta particolarmente vantaggiosa dato che non richiede alcuna immissione manuale. Inoltre tale soluzione appare vantaggiosa in quanto molti degli strumenti utilizzati nella produzione professionale di contenuti audiovisivi, dai sistemi di acquisizione (telecamere) a quelli di trasporto (file formats, ad esempio MXF – Material Exchange Format) e workflow management/archiviazione (Digital Asset Management) fanno uso di metadati per l’annotazione e la descrizione delle “essenze†(i segnali video veri e propri); pertanto questi sono spesso disponibili alla scheda che produce il flusso stereoscopico o il codificatore.
Ai soli fini di maggior chiarezza, e senza scopo limitativo alcuno, in figura 7 viene mostrato il sistema di figura 2 in cui l’inserimento delle informazioni per i dati informativi e/o applicativi avviene in automatico senza bisogno dei mezzi d’inserimento 9. Il codificatore 800 riceve in ingresso l’immagine composita C ed i metadati ad essa associati, estrae i metadati e li elabora per generare i dati informativi e/o applicativi da inserire nelle otto linee aggiunte all’immagine composita e trasmesse nel fotogramma del flusso video stereoscopico.
Occorre osservare che nell’ambiente di produzione possono avvenire elaborazioni complesse, quali ad es. la combinazione di immagini provenienti da fonti diverse, alcune magari provenienti da archivio, oppure da un broadcaster diverso che usa un diverso formato di frame packaging (impacchettamento delle due immagini destra e sinistra nell’immagine composita). In quest’ultimo caso per la combinazione delle immagini à ̈ necessario effettuare una conversione di formato. L’uso dei dati informativi e/o applicativi sopra proposta (che specifica il formato di frame packaging) su tutti i segnali video circolanti nell’ambiente di produzione, consente di automatizzare il processo di conversione.
Il flusso video risultante, che esce dall’ambiente di produzione e va verso l’ambiente di distribuzione, avrà invece un unico formato di frame packaging, con relativa segnalazione.
Negli esempi sopra descritti le immagini destra e sinistra acquisite dalle due telecamere 3a o 3b vengono combinate immediatamente in un’immagine composita.
Ai fini della presente invenzione ciò non à ̈ essenziale e le sequenze d’immagini destra e sinistra possono viaggiare separatamente fino al codificatore.
Ciò à ̈ mostrato ad esempio in figura 8, dove le immagini destra e sinistra acquisite dalle coppie di telecamere 3a e 3b vengono ricevute dal mixer di regia 10 che fornisce in uscita due flussi video separati per le immagini destra e sinistra.
Le immagini destra e sinistra selezionate dal mixer di regia 10 vengono fornite in ingresso al sistema di editing e postproduzione 7000 dove vengono elaborate, ad esempio aggiungendo effetti speciali. Alternativamente le immagini vengono inviate direttamente al codificatore e multiplexer 8000. In caso fosse presente, il sistema di editing e post produzione 7000 invia separatamente i due flussi video destro e sinistro al codificatore e multiplexer 8000.
Quest’ultimo combina i flussi video in ingresso in un unico flusso video stereoscopico 2 i cui fotogrammi contengono un’immagine composita più i dati informativi e/o applicativi (che, in questo esempio, sono ricevuti dai mezzi d’inserimento 9, ma possono essere altrimenti ricavati automaticamente come sopra descritto) posti in un certo numero di linee (in particolare otto) che non trasportano informazione visiva, ossia l’informazione che verrà poi visualizzata. Il codificatore e multiplexer 8000 può ad esempio combinare le immagini destra e sinistra secondo un qualsiasi formato (top-bottom, side-by-side ecc...) e poi codificarle secondo la codifica H.264.
In un’ulteriore forma di realizzazione, descritta con riferimento alla figura 9, il codificatore 8001 codifica il flusso stereoscopico secondo la codifica MVC (Multi View Coding), descritta nell’appendice H della norma H.264. Questa norma non prevede la generazione di un’immagine composita vera e propria, bensì la trasmissione di un’immagine di base (base layer), ad esempio quella destra, e della differenza tra immagine destra ed immagine sinistra (enhancement layer). Un possibile esempio di tale tecnica à ̈ la cosiddetta codifica 2D plus Delta. Nella presente forma di realizzazione i dati informativi e/o applicativi relativi al frame packaging non sono necessari perché non esiste frame packaging. Inoltre il segnale compresso H.264 contiene al suo interno tutti i metadati necessari, per cui non à ̈ strettamente necessario utilizzare le otto linee aggiuntive per inserire informazioni utili per il dispositivo di visualizzazione. Gli inventori hanno tuttavia osservato che anche in questo caso l’inserimento di una segnalazione nelle immagini di uno o di entrambi i layer appare utile e conveniente. In particolare appare conveniente inserire i dati informativi e/o applicativi a livello di produzione.
Nell’esempio di figura 9 i flussi video in uscita del mixer 10 vengono ricevuti dal sistema d’inserimento dati 9000 che aumenta il numero di linee di ogni fotogramma dei flussi video ricevuti in ingresso e inserisce dati informativi e/o applicativi nelle linee aggiunte. Preferibilmente, le telecamere generano flussi video con fotogrammi di 1080x1920 pixel che il sistema 9000 incrementa a 1088x1920 pixel inserendo i dati informativi e/o applicativi nelle linee aggiunte. Questi dati possono indicare se l’immagine contenuta nel fotogramma à ̈ relativa ad un’immagine destinata all’occhio destro o a quello sinistro, e possono dare informazioni relative alle modalità d’acquisizione dell’immagine (ad es. relazioni spaziali tra le due telecamere di una coppia), formato dell’immagine (4:3 o 16:9) ecc… Tali informazioni à ̈ bene che siano preservate anche nell’ambiente di distribuzione, in quanto capita spesso che, trascorsi molti anni dalla produzione di un programma, il master ad alta qualità non sia più disponibile e quindi, se si vuole recuperare il programma per inserirlo ad es. in uno dei programmi che in gergo vengono chiamati “nostalgia†, à ̈ opportuno conoscere i parametri di ripresa al fine di effettuare correttamente la combinazione del suddetto vecchio programma con contenuti attuali.
Il sistema 9000 può ricavare automaticamente i dati dai flussi video ricevuti in ingresso come sopra descritto, oppure può riceverli da un’opportuna periferica d’inserimento controllata da un’operatore che li inserisce manualmente.
Le immagini modificate dal sistema d’inserimento 9000 possono essere fornite in ingresso al codificatore 8001 o (se presente) al sistema di editing e post produzione come mostrato in figura 9.
Dagli esempi sopra descritti, appare chiaro che il flusso video stereoscopico 2 generato con il metodo secondo la presente invenzione, comprende quindi un’informazione visiva utile (immagine composita o immagini MVC) e i dati informativi e/o applicativi inseriti in una zona di un fotogramma che non contiene informazione visiva utile.
In una forma di realizzazione, i dati informativi e/o applicativi vengono inseriti in tutti i fotogrammi del flusso video stereoscopico.
In un’altra forma di realizzazione i dati informativi e/o applicativi vengono inseriti solo in una parte dei fotogrammi del flusso video stereoscopico. Preferibilmente, i fotogrammi che non contengono i dati informativi e/o applicativi hanno le linee non contenenti informazione visiva utile riempite con pixel di ugual colore, in particolare grigi o neri. Analogamente, anche nei fotogrammi contenenti i dati, le linee aggiuntive (o porzioni di queste) non utilizzate per questi ultimi contengono preferibilmente pixel di uguale colore, in particolare nero o grigio.
I dati informativi e/o applicativi, siano essi presenti in tutti i fotogrammi, o solo in una parte di questi, possono essere utilizzati dal decodificatore per decodificare il segnale e ricostruire correttamente le immagini destra e sinistra così da permetterne la visualizzazione.
Il decoder che riceve il flusso stereoscopico 2, ad esempio compresso secondo la codifica H.264, provvede a decomprimerlo e ad estrarre i dati informativi e/o applicativi dai fotogrammi.
Successivamente, l’informazione contenuta nei dati suddetti può essere utilizzata per estrarre e/o ricostruire le immagini trasportate dal flusso video. In particolare questi dati possono permettere di ricostruire le immagini destra e sinistra, così da fornirle ad un sistema di visualizzazione, ad esempio un televisore o un videoproiettore, che provvede a presentarle in modo tale da permettere la corretta fruizione dei contenuti 3D.
In una forma di realizzazione, il decodificatore conosce il formato di presentazione e cioà ̈ il formato richiesto all’ingresso dal dispositivo di visualizzazione, che può coincidere o meno con quello usato per la visualizzazione stessa (ad es. line alternation, frame alternation, ecc…). In questo caso il decodificatore può effettuare, ove necessario, una conversione dal formato di trasporto noto dai dati informativi e/o applicativi inseriti nelle linee aggiuntive al formato di presentazione.
In una prima forma di realizzazione il decoder conosce il formato richiesto all’ingresso del dispositivo di visualizzazione in quanto questa informazione à ̈ stata programmata e inserita in modo permanente, per esempio in un’apposita area di memoria, in sede di fabbricazione del decoder o del dispositivo di visualizzazione. Questa soluzione à ̈ particolarmente vantaggiosa se il decoder à ̈ incorporato nel dispositivo di visualizzazione e pertanto rigidamente associato ad esso.
In un’altra forma di realizzazione, l’informazione sul formato di presentazione viene trasmessa dal dispositivo di visualizzazione al decoder che la carica in un’opportuna area di memoria. Questo à ̈ particolarmente vantaggioso nei casi in cui il decoder sia un dispositivo distinto dal dispositivo di visualizzazione e facilmente associabile ad esso mediante una interfaccia che permette uno scambio bidirezionale di dati. In questo modo senza intervento dell’utente à ̈ possibile una visualizzazione corretta dei contenuti 3D senza possibilità d’errore.
In un’altra forma di realizzazione tale informazione viene fornita manualmente al decoder da un’utente.
Dalla descrizione sopra effettuata di alcuni esempi di realizzazione, appaiono chiare le caratteristiche ed i vantaggi della presente invenzione, il cui ambito di protezione à ̈ definito dalle rivendicazioni allegate. E’ chiaro quindi che una persona esperta del ramo può apportare diverse modifiche e varianti ai metodi e sistemi sopra descritti per trasportare dati all’interno di flussi video e per decodificare questi ultimi.
E’ chiaro che il sistema qui descritto si applica anche in altri apparati o modelli di produzione e distribuzione di contenuti video 2D o 3D non professionali quali quelli descritti qui in dettaglio. Per esempio il dispositivo di acquisizione delle immagini che implementa l’invenzione può essere incorporato in una macchina fotografica, videocamera o in un telefono cellulare atto a catturare immagini video e a memorizzarle in una memoria di massa per la loro visualizzazione successiva, vuoi sullo stesso apparato, vuoi su apparati diversi.
A tale scopo il flusso video risultante dalla cattura può essere trasferito su un diverso apparato di riproduzione e visualizzazione (ad esempio PC dotato di monitor, televisore, riproduttore multimediale portatile, ecc…) in qualsiasi modo, (per esempio trasferendo il supporto dati di memorizzazione da un apparato all’altro, via rete LAN wireless o cavo, via Internet, via bluetooth, via trasmissione su rete cellulare in forma di MMS, ecc…). Anche in questo ambito si applica il modello schematico composto da produzione, distribuzione e fruizione dei contenuti video qui illustrato, sussiste lo stesso problema tecnico e può essere applicata la stessa soluzione tecnica oggetto della presente invenzione con accorgimenti del tutto ovvi per un esperto del ramo.
Inoltre un tecnico può combinare caratteristiche dei metodi, sistemi ed apparecchiature sopra descritte con riferimento a diversi esempi di realizzazione.
In particolare à ̈ chiaro che i vari passi del metodo di generazione del flusso video (editing, multiplexing, codifica, ecc…) possono essere realizzati mediante dispositivi separati o in qualsiasi modo integrati e/o connessi. Ad esempio le due telecamere ed il multiplexer che ne riceve i video acquisiti possono essere inclusi in un'unica telecamera stereoscopica provvista di uno o più obiettivi.
Più in generale, à ̈ da sottolineare che à ̈ possibile e vantaggioso prevedere un sistema per l’inserimento di dati in un flusso video, comprendente:
- un’unità d’ingresso per ricevere uno o più flussi video, - un’unità d’elaborazione per la generazione di fotogrammi contenenti le immagini di detti uno o più flussi video, detti fotogrammi comprendendo un numero di pixel maggiore rispetto al numero di pixel di dette immagini sorgente,
- mezzi d’acquisizione atti ad acquisire dati informativi e/o applicativi da inserire in detti fotogrammi e mezzi d’inserimento atti ad inserire detti dati informativi e/o applicativi in pixel di detti fotogrammi non occupati da dette immagini. Detti pixel possono occupare linee e/o colonne periferiche di detti fotogrammi.
Anche le unità e i mezzi di questo sistema possono essere integrati in un unico apparato oppure far parte di apparati diversi.
Si deve notare che le forme di attuazione qui illustrate fanno riferimento al formato 1920x1080, ovvero il formato di uso più comune che, nella codifica H.264, presenta la necessità di introdurre un incremento nelle dimensioni dell’immagine codificata. Tale situazione potrebbe presentarsi, ed essere sfruttata in modo analogo, anche per formati di immagine differenti, per questo o altri sistemi di codifica.
L’invenzione à ̈ stata qui descritta con riferimento alla sola codifica H.264, ma può essere ugualmente applicata ad altre tecniche di compressione video in cui si rende necessario incrementare le dimensioni dell’immagine da sottoporre al codificatore, ad es. perché le dimensioni di partenza non consentono la scomposizione dell’immagine in un numero intero di macroblocchi, oppure per qualsiasi altra ragione. Tale situazione potrebbe presentarsi, ad esempio, nei successori della codifica H.264 attualmente in fase di studio e sviluppo (per esempio, il cosiddetto H.265/HVC). E’ ugualmente chiaro che, a seconda del formato del fotogramma, i dati informativi e/o applicativi possono essere inseriti in linee e/o colonne del fotogramma purché non contenenti informazione visiva, ossia pixel dell’immagine da visualizzare.
I dati informativi e/o applicativi possono poi trasportare informazioni di vario genere, anche non relative alla formattazione dell’immagine stereoscopica e/o alle modalità di realizzazione delle riprese stereoscopiche. Ad esempio i dati informativi e/o applicativi possono essere utilizzati per segnalare la destinazione d’uso del flusso video, in modo tale da renderlo decodificabile solamente a decoder posti o distribuiti in una data regione del mondo, ad esempio solo negli USA o solo in Europa. I dati informativi e/o applicativi possono quindi trasportare qualsiasi tipo di informazione, correlata o meno alle immagini nelle quali vengono inseriti, ed essere ad esempio utilizzati per applicazioni eseguibili a livello di decodificatore o di dispositivo di visualizzazione.
Inoltre, sebbene i fotogrammi che trasportano i dati informativi e/o applicativi nelle forme di attuazione sopra descritte contengano immagini stereoscopiche, à ̈ chiaro da quanto descritto che l’invenzione può essere ugualmente applicata alle immagini 2D o alle rappresentazioni cosiddette “multiview". Anche in flussi video digitali 2D à ̈ possibile inserire i dati informativi e/o applicativi in linee e/o colonne del fotogramma che non contengono pixel di immagini da visualizzare.
Claims (46)
- RIVENDICAZIONI 1. Metodo per il trasporto di dati all’interno di un flusso video digitale, in cui detto flusso video digitale comprende dati informativi e/o applicativi non destinati alla visualizzazione ed almeno un fotogramma comprendente un’immagine da visualizzare, ed in cui detto almeno un fotogramma comprende un numero di pixel maggiore rispetto al numero di pixel di detta immagine, il metodo essendo caratterizzato dal fatto di inserire detti dati informativi e/o applicativi in pixel di detto fotogramma non occupati da detta immagine.
- 2. Metodo secondo la rivendicazione 1, comprendente i passi di: - inserire detta immagine in un primo fotogramma, - aggiungere linee e/o colonne a detto primo fotogramma in modo tale da ottenere un fotogramma di dimensioni maggiori rispetto a detto primo fotogramma, - inserire detti dati informativi e/o applicativi in detto fotogramma di dimensioni maggiori.
- 3. Metodo secondo la rivendicazione 1 o 2, in cui dette linee e/o colonne sono aggiunte dal medesimo dispositivo che inserisce detti dati.
- 4. Metodo secondo la rivendicazione 1 o 2, dette linee e/o colonne sono aggiunte da un dispositivo distinto da quello che inserisce detti dati.
- 5. Metodo secondo la rivendicazione 2 o 3 o 4, in cui dette linee e/o colonne aggiunte sono linee e/o colonne periferiche di detto fotogramma di dimensioni maggiori.
- 6. Metodo secondo una qualsiasi delle rivendicazioni da 2 a 5, in cui dette linee e/o colonne aggiunte sono linee e/o colonne adiacenti di detto fotogramma di dimensioni maggiori.
- 7. Metodo secondo una qualsiasi delle rivendicazioni da 2 a 6, in cui detti dati informativi e/o applicativi occupano tutte o solo parte delle linee e/o colonne aggiunte.
- 8. Metodo secondo una qualsiasi delle rivendicazioni da 2 a 7, in cui detto fotogramma di dimensioni maggiori ha dimensioni tali da essere scomponibile in un numero intero di macroblocchi, le dimensioni dei macroblocchi dipendendo dall’algoritmo di codifica utilizzato per la codifica di detto flusso video.
- 9. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 8, in cui detta immagine da visualizzare à ̈ una immagine composita di un flusso video stereoscopico.
- 10. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 8, in cui detta immagine à ̈ una tra un’immagine destra ed un’immagine sinistra, ed in cui detto flusso video comprende almeno un secondo fotogramma contenente la differenza tra dette immagini destra e sinistra.
- 11. Metodo secondo una qualsiasi delle rivendicazioni da 2 a 10, in cui dette linee e/o colonne sono aggiunte da un dispositivo a monte di un codificatore che comprime detto flusso video.
- 12. Metodo secondo una qualsiasi delle rivendicazioni da 2 a 10, in cui detti dati sono inseriti da un codificatore che comprime detto flusso video.
- 13. Metodo secondo la rivendicazione 12, in cui detto codificatore inserisce metadati in detto flusso video, detti metadati comprendendo un’informazione atta a segnalare la presenza di dati in dette linee e/o colonne aggiunte.
- 14. Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui detti dati sono atti a permettere la elaborazione e/o la conversione automatica del formato dei fotogrammi del flusso video da un formato di trasporto ad un formato di presentazione.
- 15. Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui detti dati sono relativi alla formattazione di detta immagine, ed in particolare comprendono uno o più dei dati compresi nel gruppo costituito da: identificativo che l’immagine à ̈ 2D o 3D, aspect ratio, frame packaging, modalità di ripresa.
- 16. Metodo secondo una qualsiasi delle rivendicazioni da 2 a 15, in cui detti dati sono inseriti automaticamente.
- 17. Metodo secondo la rivendicazione 16, in cui detti dati sono ricavati da metadati associati ad un flusso video da cui si ricava detta immagine.
- 18. Metodo secondo una qualsiasi delle rivendicazioni da 2 a 15, in cui detti dati sono inseriti manualmente da un operatore.
- 19. Dispositivo per l’inserimento di dati in un flusso video, comprendente: - un’unità d’ingresso per ricevere un’immagine, - un’unità d’elaborazione per la generazione di un fotogramma di detto flusso video, detto fotogramma contenendo detta immagine e comprendendo un numero di pixel maggiore rispetto al numero di pixel di detta immagine, caratterizzato dal fatto di comprendere mezzi d’acquisizione atti ad acquisire dati informativi e/o applicativi da inserire in detto flusso video e mezzi d’inserimento atti ad inserire detti dati informativi e/o applicativi in pixel di detto fotogramma non occupati da detta immagine.
- 20. Dispositivo secondo la rivendicazione 19, in cui detta unità d’ingresso à ̈ atta a ricevere un primo fotogramma contenente detta immagine, in cui detta unità d’elaborazione à ̈ atta ad aggiungere linee e/o colonne a detto primo fotogramma in modo tale da ottenere un fotogramma di dimensioni maggiori rispetto a detto primo fotogramma, ed in cui detti mezzi d’inserimento sono atti ad inserire detti dati informativi e/o applicativi in detto fotogramma di dimensioni maggiori.
- 21. Dispositivo secondo la rivendicazione 19 o 20, in cui dette linee e/o colonne aggiunte sono linee e/o colonne periferiche e/o adiacenti di detto fotogramma di dimensioni maggiori.
- 22. Dispositivo secondo una qualsiasi delle rivendicazioni da 19 a 21, in cui detti dati informativi e/o applicativi occupano tutte o solo parte delle linee e/o colonne aggiunte.
- 23. Dispositivo secondo una qualsiasi delle rivendicazioni da 19 a 22, in cui detti mezzi d’acquisizione sono atti a ricavare detti dati informativi e/o applicativi da metadati associati ad un flusso video da cui si ricava detta immagine.
- 24. Dispositivo secondo una qualsiasi delle rivendicazioni da 19 a 23, ulteriormente comprendente un’interfaccia per il collegamento da un’unità d’inserimento dati operati da un operatore.
- 25. Dispositivo secondo una qualsiasi delle rivendicazioni da 19 a 24, ulteriormente comprendente mezzi per codificare detto flusso video secondo un algoritmo di codifica, ed in cui detto fotogramma di dimensioni maggiori ha dimensioni tali da essere scomponibile in un numero intero di macroblocchi, le dimensioni di detti macroblocchi dipendendo da detto algoritmo di codifica.
- 26. Dispositivo secondo la rivendicazione 25, in cui detti mezzi per codificare sono atti ad inserire metadati nel flusso video codificato, detti metadati comprendendo un’informazione atta a segnalare la presenza di dati in dette linee e/o colonne aggiunte.
- 27. Dispositivo multiplexer comprendente un dispositivo secondo una qualsiasi delle rivendicazioni da 19 a 26.
- 28. Apparato per l’acquisizione di immagini, in particolare telecamera, videocamera o fotocamera, comprendente un dispositivo secondo una qualsiasi delle rivendicazioni da 19 a 27.
- 29. Flusso video digitale comprendente dati informativi e/o applicativi non destinati alla visualizzazione ed almeno un fotogramma comprendente un’immagine da visualizzare, detto almeno un fotogramma comprendendo un numero di pixel maggiore rispetto al numero di pixel di detta immagine, caratterizzato dal fatto che detti dati informativi e/o applicativi sono posti in pixel di detto fotogramma non occupati da detta immagine.
- 30. Flusso video secondo la rivendicazione 29, in cui detta immagine à ̈ un’immagine composita comprendente un’immagine destra ed un’immagine sinistra multiplexate.
- 31. Flusso video secondo la rivendicazione 29 o 30, in cui detto flusso video à ̈ codificato secondo la codifica H.264 ITU-T “H.264 Advanced video coding for generic audiovisual services†.
- 32. Flusso video secondo la rivendicazione 31, in cui detto flusso video à ̈ codificato secondo l’appendice H della codifica H.264 ITU-T “H.264 Advanced video coding for generic audiovisual services†.
- 33. Flusso video secondo una qualsiasi delle rivendicazioni da 29 a 32, in cui detti dati sono posti in linee e/o colonne periferiche di detto almeno un fotogramma.
- 34. Flusso video secondo una qualsiasi delle rivendicazioni da 29 a 33, ulteriormente comprendente metadati contenenti un’informazione atta a segnalare la presenza di dati in detti pixel di detto fotogramma non occupati da detta immagine.
- 35. Metodo per decodificare un flusso video, in cui detto flusso video à ̈ un flusso video secondo una qualsiasi delle rivendicazioni da 29 a 34, ed in cui il metodo comprende i passi di: - Estrarre detti dati informativi e/o applicativi, - Estrarre detta immagine.
- 36. Metodo secondo la rivendicazione 35, in cui detti dati informativi e/o applicativi sono estratti utilizzando informazioni contenute in metadati inseriti in detto flusso video.
- 37. Metodo secondo la rivendicazione 36, ulteriormente comprendente i passi di: - Individuare, in particolare mediante un’informazione di cropping window, linee e/o colonne del fotogramma da tagliare, - Ricercare detti dati informativi e/o applicativi in dette linee e/o colonne da tagliare, - Estrarre detti dati informativi e/o applicativi.
- 38. Metodo secondo una qualsiasi delle rivendicazioni da 35 a 37, in cui detti dati informativi e/o applicativi sono codificati mediante valori di pixel, ed in cui il metodo comprende i passi di: - Ricercare tra dette linee e/o colonne aggiuntive quelle contenenti pixel non uniformi, - Estrarre detti dati informativi e/o applicativi da dette linee e/o colonne contenenti pixel non uniformi.
- 39. Metodo secondo una qualsiasi delle rivendicazioni da 35 a 38, in cui detto flusso video à ̈ un flusso video stereoscopico, in particolare uno comprendente almeno un’immagine composita o coppia di immagini destra e sinistra.
- 40. Metodo secondo una qualsiasi delle rivendicazioni da 35 a 39, in cui i fotogrammi di detto flusso video da decodificare à ̈ sono un formato di trasporto, ed in cui si individua detto formato di trasporto sulla base di detti dati estratti e si converte automaticamente il formato dei fotogrammi di detto flusso video da detto formato di trasporto ad un formato di presentazione.
- 41. Dispositivo per decodificare un flusso video stereoscopico, caratterizzato dal fatto di comprendere mezzi atti ad implementare il metodo secondo una qualsiasi delle rivendicazioni da 35 a 40.
- 42. Dispositivo per visualizzare un flusso video atto a implementare un metodo secondo la rivendicazione 41.
- 43. Dispositivo per convertire il formato di fotogrammi di un flusso video d’ingresso a un formato di fotogrammi di un flusso video d’uscita destinato a essere visualizzato su un dispositivo di visualizzazione, caratterizzato dal fatto di comprendere mezzi atti a convertire detto flusso video d’ingresso in detto flusso video d’uscita sulla base dei dati applicativi e/o informativi inseriti in detto flusso video d’ingresso secondo il metodo di una qualsiasi delle rivendicazioni da 1 a 18.
- 44. Dispositivo secondo la rivendicazione 43, in cui il dispositivo à ̈ a conoscenza del formato da utilizzare all’ingresso del dispositivo di visualizzazione in base a impostazioni inserite in sede di fabbricazione o assemblaggio del dispositivo.
- 45. Dispositivo secondo la rivendicazione 43, in cui il dispositivo viene a conoscenza del formato di presentazione da utilizzare all’ingresso del dispositivo di visualizzazione in base a informazioni ricevute da detto dispositivo di visualizzazione.
- 46. Dispositivo secondo la rivendicazione 43, in cui il dispositivo viene a conoscenza del formato di presentazione da utilizzare all’ingresso del dispositivo di visualizzazione in base a informazioni inserite manualmente da un utente. ***********
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ITTO2010A000042A IT1397789B1 (it) | 2010-01-22 | 2010-01-22 | Metodo per il trasporto di dati informativi e/o applicativi all'interno di un flusso video digitale e relativi dispositivi per la generazione e la fruizione di tale flusso video. |
ES11707909.5T ES2556364T3 (es) | 2010-01-22 | 2011-01-19 | Método para transportar datos de información y/o de aplicación dentro de un flujo continuo de vídeo digital, y dispositivos correspondientes para la generación y reproducción de dicho flujo continuo de vídeo |
PCT/IB2011/050243 WO2011089556A1 (en) | 2010-01-22 | 2011-01-19 | Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream |
JP2012549452A JP2013518458A (ja) | 2010-01-22 | 2011-01-19 | デジタルビデオストリーム内の情報及び/又はアプリケーションデータを転送する方法、及び、ビデオストリームを生成及び再生するための関連装置 |
CN2011800152719A CN102934452A (zh) | 2010-01-22 | 2011-01-19 | 用于传送在数字视频流内的信息和/或应用数据的方法,以及用于生成和播放这样的视频流的相关设备 |
EP11707909.5A EP2526689B1 (en) | 2010-01-22 | 2011-01-19 | Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream |
US13/574,491 US20120307882A1 (en) | 2010-01-22 | 2011-01-19 | Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream |
KR1020127021729A KR20120127605A (ko) | 2010-01-22 | 2011-01-19 | 디지털 비디오 스트림 내부의 정보 및/또는 애플리케이션 데이터를 전달하기 위한 방법, 및 이러한 비디오 스트림을 생성하고 재생하기 위한 관련 디바이스들 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ITTO2010A000042A IT1397789B1 (it) | 2010-01-22 | 2010-01-22 | Metodo per il trasporto di dati informativi e/o applicativi all'interno di un flusso video digitale e relativi dispositivi per la generazione e la fruizione di tale flusso video. |
Publications (2)
Publication Number | Publication Date |
---|---|
ITTO20100042A1 true ITTO20100042A1 (it) | 2011-07-23 |
IT1397789B1 IT1397789B1 (it) | 2013-01-24 |
Family
ID=42668638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ITTO2010A000042A IT1397789B1 (it) | 2010-01-22 | 2010-01-22 | Metodo per il trasporto di dati informativi e/o applicativi all'interno di un flusso video digitale e relativi dispositivi per la generazione e la fruizione di tale flusso video. |
Country Status (8)
Country | Link |
---|---|
US (1) | US20120307882A1 (it) |
EP (1) | EP2526689B1 (it) |
JP (1) | JP2013518458A (it) |
KR (1) | KR20120127605A (it) |
CN (1) | CN102934452A (it) |
ES (1) | ES2556364T3 (it) |
IT (1) | IT1397789B1 (it) |
WO (1) | WO2011089556A1 (it) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9877068B2 (en) | 2014-03-26 | 2018-01-23 | Koninklijke Philips N.V. | Transmitter, receiver, system and signal for transmitting auxiliary data frame synchronously across an HDMI interface |
US9560100B1 (en) * | 2015-03-19 | 2017-01-31 | Action Streamer, LLC | Method and system for stabilizing and streaming first person perspective video |
US9826013B2 (en) | 2015-03-19 | 2017-11-21 | Action Streamer, LLC | Method and apparatus for an interchangeable wireless media streaming device |
EP3780588A1 (de) * | 2019-08-14 | 2021-02-17 | Siemens Aktiengesellschaft | Verfahren zum übertragen einer metainformation zu einem bild eines videostroms |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5650825A (en) * | 1995-03-31 | 1997-07-22 | Matsushita Electric Corporation Of America | Method and apparatus for sending private data instead of stuffing bits in an MPEG bit stream |
WO2003003737A2 (en) * | 2001-06-19 | 2003-01-09 | Harris Corporation | System and method for encoding information into a video signal |
US20070296859A1 (en) * | 2006-05-16 | 2007-12-27 | Sony Corporation | Communication method, communication system, transmission method, transmission apparatus, receiving method and receiving apparatus |
US20090167941A1 (en) * | 2007-12-28 | 2009-07-02 | Kabushiki Kaisha Toshiba | Video data reception apparatus and video data transmission and reception system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11187363A (ja) * | 1997-12-24 | 1999-07-09 | Mitsubishi Electric Corp | 移動局映像伝送システム |
JP3746506B2 (ja) * | 2004-03-08 | 2006-02-15 | 一成 江良 | 立体視化パラメータ埋込装置及び立体視画像再生装置 |
JP4603446B2 (ja) * | 2004-09-29 | 2010-12-22 | 株式会社リコー | 画像処理装置、画像処理方法および画像処理プログラム |
JP4665166B2 (ja) * | 2005-06-29 | 2011-04-06 | ソニー株式会社 | ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム |
-
2010
- 2010-01-22 IT ITTO2010A000042A patent/IT1397789B1/it active
-
2011
- 2011-01-19 KR KR1020127021729A patent/KR20120127605A/ko not_active Application Discontinuation
- 2011-01-19 US US13/574,491 patent/US20120307882A1/en not_active Abandoned
- 2011-01-19 CN CN2011800152719A patent/CN102934452A/zh active Pending
- 2011-01-19 ES ES11707909.5T patent/ES2556364T3/es active Active
- 2011-01-19 JP JP2012549452A patent/JP2013518458A/ja active Pending
- 2011-01-19 EP EP11707909.5A patent/EP2526689B1/en not_active Not-in-force
- 2011-01-19 WO PCT/IB2011/050243 patent/WO2011089556A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5650825A (en) * | 1995-03-31 | 1997-07-22 | Matsushita Electric Corporation Of America | Method and apparatus for sending private data instead of stuffing bits in an MPEG bit stream |
WO2003003737A2 (en) * | 2001-06-19 | 2003-01-09 | Harris Corporation | System and method for encoding information into a video signal |
US20070296859A1 (en) * | 2006-05-16 | 2007-12-27 | Sony Corporation | Communication method, communication system, transmission method, transmission apparatus, receiving method and receiving apparatus |
US20090167941A1 (en) * | 2007-12-28 | 2009-07-02 | Kabushiki Kaisha Toshiba | Video data reception apparatus and video data transmission and reception system |
Non-Patent Citations (1)
Title |
---|
"What if it's not a multiple of 16?", May 2008 (2008-05-01), XP002600002, Retrieved from the Internet <URL:http://forum.doom9.org/archive/index.php/t-137587.html> [retrieved on 20100909] * |
Also Published As
Publication number | Publication date |
---|---|
JP2013518458A (ja) | 2013-05-20 |
CN102934452A (zh) | 2013-02-13 |
KR20120127605A (ko) | 2012-11-22 |
US20120307882A1 (en) | 2012-12-06 |
EP2526689B1 (en) | 2015-10-14 |
EP2526689A1 (en) | 2012-11-28 |
ES2556364T3 (es) | 2016-01-15 |
IT1397789B1 (it) | 2013-01-24 |
WO2011089556A1 (en) | 2011-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8570360B2 (en) | Stereoscopic parameter embedding device and stereoscopic image reproducer | |
CN102396236B (zh) | 广播接收机及其视频数据处理方法 | |
US9179124B2 (en) | Method and apparatus for generating stereoscopic image data stream by using camera parameter, and method and apparatus for restoring stereoscopic image by using camera parameter | |
JP6037567B2 (ja) | 2次元にも対応する立体映像フローのデコード方法 | |
US8878836B2 (en) | Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same | |
US20100309287A1 (en) | 3D Data Representation, Conveyance, and Use | |
JP5295236B2 (ja) | 三次元映像変換記録装置、三次元映像変換記録方法、記録媒体、三次元映像変換装置、及び三次元映像伝送装置 | |
EP2579597A1 (en) | Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium | |
US11516453B2 (en) | Information processing apparatus, information processing method, and program for point cloud sample processing | |
TWI539790B (zh) | 用於產生及重建一視訊串流之裝置、方法與軟體產品 | |
JP4821846B2 (ja) | 画像符号化装置、画像符号化方法およびそのプログラム | |
US10037335B1 (en) | Detection of 3-D videos | |
ITTO20100282A1 (it) | Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica. | |
JP2010157826A (ja) | 画像復号装置、画像符復号方法およびそのプログラム | |
TW201342884A (zh) | 編碼裝置及編碼方法、以及解碼裝置及解碼方法 | |
ITTO20100042A1 (it) | Metodo per il trasporto di dati informativi e/o applicativi allâ¬"interno di un flusso video digitale e relativi dispositivi per la generazione e la fruizione di tale flusso video | |
WO2013146636A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム | |
JP2010157821A (ja) | 画像符号化装置、画像符号化方法およびそのプログラム | |
JP2010157823A (ja) | 画像符号化装置、画像符号化方法およびそのプログラム | |
JP2010157822A (ja) | 画像復号装置、画像符復号方法およびそのプログラム | |
KR101130210B1 (ko) | 초고화질 영상을 위한 크로마키 시스템 | |
JP5228077B2 (ja) | 立体3dビデオイメージディジタルデコーディングのシステムおよび方法 | |
JP2010157824A (ja) | 画像符号化装置、画像符号化方法およびそのプログラム |