DK2604036T3 - Multi-viewsignalcodec - Google Patents

Multi-viewsignalcodec Download PDF

Info

Publication number
DK2604036T3
DK2604036T3 DK11741600.8T DK11741600T DK2604036T3 DK 2604036 T3 DK2604036 T3 DK 2604036T3 DK 11741600 T DK11741600 T DK 11741600T DK 2604036 T3 DK2604036 T3 DK 2604036T3
Authority
DK
Denmark
Prior art keywords
image
data
video
depth
data stream
Prior art date
Application number
DK11741600.8T
Other languages
English (en)
Inventor
Thomas Wiegand
Detlev Marpe
Karsten Mueller
Philipp Merkle
Gerhard Tech
Hunn Rhee
Heiko Schwarz
Original Assignee
Ge Video Compression Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ge Video Compression Llc filed Critical Ge Video Compression Llc
Application granted granted Critical
Publication of DK2604036T3 publication Critical patent/DK2604036T3/da

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Claims (15)

  1. PAT E NT K RAV
    1. Afkoder, indrettet til at rekonstruere (106v,i, 106d,i) et første billede (12i) af et multi-viewsignal (10) fra en datastrøm (18) ved i henhold til første kodningsparametre (46i, 48i, 50i) opnået fra datastrømmen (18 ) at forudsige en aktuel del af det første billede (12i) fra en første tidligere rekonstrueret del af multi-viewsignalet (10), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del af det første billede (12i), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af det første billede (12i) ved anvendelse af første korrektionsdata (42i,2) indeholdt i datastrømmen (18); i det mindste delvis at vælge eller forudsige andre kodningsparametre fra de første kodningsparametre; og at rekonstruere (106v,2, 106d,2) et andet billede (122) af multi-viewsignalet (10) fra datastrømmen (18) ved i henhold til de andre kodningsparametre at forudsige en aktuel del af det andet billede fra en anden tidligere rekonstrueret del af multi-viewsignalet (10), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del af det andet billede (122), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af det andet billede (122) ved anvendelse af andre korrektionsdata (423,4) indeholdt i datastrømmen (18), hvor hvert af det første billede (12i) og det andet billede (122) omfatter en video (14i,2), der er optaget fra en respektiv kameraposition, og tilknyttede dybde-/disparitets-kortdata (161,2), hvor afkoderen er indrettet til at rekonstruere (106v,i) videoen (14i) af det første billede (12i) fra datastrømmen (18) ved i henhold til en første del (46i, 48i, 50i) af de første kodningsparametre at forudsige en aktuel del af videoen (14i) af det første billede (12i) fra en tredje tidligere rekonstrueret del af multiview-signalet (10), der er rekonstrueret fra datastrømmen af afkoderen forud for rekonstruktionen af den aktuelle del af videoen (14i) af det første billede (12i), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af videoen (14i) af det første billede (12i) ved anvendelse af en første delmængde (42i) af de første korrektionsdata (42i,2) indeholdt i datastrømmen (18), i det mindste delvis at vælge eller forudsige en anden del af de første kodningsparametre fra den første del af de første kodningsparametre, at rekonstruere (106d,i) dybde-/disparitetskortdataene (16i) af det første billede (12i) fra datastrømmen (18) ved i henhold til den anden del af de første kodningsparametre at forudsige en aktuel del af dybde-/disparitetskortdataene (16i) af det første billede (12i) fra en fjerde tidligere rekonstrueret del af multiview-signalet (10), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del af dybde-/disparitetskortdataene (161) af det første billede (12i), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af dybde-/disparitetskortdataene (16i) af det første billede (12i) ved anvendelse af en anden delmængde (422) af de første korrektionsdata, hvor de første kodningsparametre definerer en segmentering af rammer af videoen (14i) af det første billede (12i), og afkoderen er kendetegnet ved, at den er indrettet til ved rekonstruktion af dybde-/disparitetskortdataene (16i) af det første billede (12i) at anvende segmenteringen af rammerne af videoen (14i) af det første billede (12i) som en præsegmentering af dybde-/disparitetskortdataene (161) af det første billede (12i) sammen med en signalering af en afvigelse af segmenteringen for dybde-/disparitetsdataene (161) af det første billede (12i) fra segmenteringen af rammerne af videoen (14i) af det første billede (12i) via datastrømmen.
  2. 2. Afkoder ifølge krav 1, hvor afkoderen endvidere er indrettet til at ekstrahere (108) et mellemliggende billede (102) fra det første og andet billede.
  3. 3. Afkoder ifølge krav 1 eller 2, hvor afkoderen er indrettet til at forudsige den aktuelle del (60a) af videoen af det første billede (12i) fra en første tidligere rekonstrueret del (vi,t-i) af videoen af det første billede (12i), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del af videoen af det første billede, og at forudsige den aktuelle del (66a) af dybde-/disparitetskortdataene af det første billede (12i) fra en første tidligere rekonstrueret del (di,t-i) af dybde-/disparitets-kortdataene af det første billede (12i), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del (66a) af dybde-/dispa-ritetskortdataene af det første billede (12i).
  4. 4. Afkoder ifølge et hvilket som helst af kravene 1 til 3, hvor afkoderen er indrettet til i det mindste delvis at vælge eller forudsige en første del af de andre kodningsparametre fra de første kodningsparametre, at rekonstruere (106v,2) videoen (142) af det andet billede (122) fra datastrømmen (18) ved i henhold til den første del af de andre kodningsparametre at forudsige en aktuel del af videoen (142) af det andet billede (122) fra en femte tidligere rekonstrueret del af multiview-signalet (10), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del af videoen (142) af det andet billede (122), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af videoen (142) af det andet billede (122) ved anvendelse af en første delmængde (423) af de andre korrektionsdata indeholdt i datastrømmen (18), i det mindste delvis at vælge eller forudsige en anden del af de andre kodningsparametre fra de første kodningsparametre og/eller den første del af de andre kodningsparametre, og at rekonstruere (106d,2) dybde-/disparitetskortdataene (162) af det andet billede (122) fra datastrømmen (18) ved i henhold til den anden del af de andre kodningsparametre at forudsige en aktuel del af dybde-/disparitetskortdataene (162) af det andet billede (122) fra en sjette tidligere rekonstrueret del af multiview-signalet (10), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del af dybde-/disparitetskortdataene (162) af det andet billede (122), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af dybde-/disparitetskortdataene (162) af det andet billede (122) ved anvendelse af en anden delmængde (424) af de andre korrektionsdata.
  5. 5. Afkoder ifølge krav 4, hvor afkoderen er indrettet til at forudsige den aktuelle del (74a; 74b) af videoen (142) af det andet billede (122) fra en tidligere rekonstrueret del (V2,t-i) af videoen (142) af det andet billede (122), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del af videoen (M2) af det andet billede (122), eller fra en anden tidligere rekonstrueret del (vi,m) af videoen (14i) af det første billede (12i), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del af videoen (142) af det andet billede (122), og at forudsige den aktuelle del (80a; 80b) af dybde-/disparitetskortdataene (162) af det andet billede (122) fra en tidligere rekonstrueret del (d2,t-i) af dybde-/dispari-tetskortdataene (162) af det andet billede (122), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del af dybde-/disparitetskortdataene (162) af det andet billede (122), eller fra en anden tidligere rekonstrueret del (di,t) af dybde-/disparitetskortdataene (161) af det første billede (12i), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del af dybde-/disparitetskortdataene af det andet billede.
  6. 6. Afkoder ifølge krav 4 eller 5, hvor afkoderen er indrettet til at detektere en kant (72) i den aktuelle ramme (V2,t) af videoen af det andet billede (122) og bestemme en wedgelet-ski I lelinje (70) til at forløbe langs kanten (72), og ved rekonstruktion af dybde-/disparitetskortdataene (162) af det andet billede fra datastrømmen (18) at fastsætte en grænse for den aktuelle del af et dybde-/dispa-ritetskort (d2,t) af dybde-/disparitetskortdataene (162) af det andet billede, der er knyttet til den aktuelle ramme (V2,t) af videoen af det andet billede, så at den falder sammen med wedgelet-skillelinjen.
  7. 7. Afkoder ifølge krav 6, hvor afkoderen er indrettet til at udføre prædiktionen inden for rekonstruktionen af dybde-/disparitetskortdataene (162) af det andet billede fra datastrømmen (18) segmentvis i enheder af segmenter, hvortil den aktuelle del hører, med anvendelse af tydelige sæt af prædiktionsparametre for segmenterne.
  8. 8. Afkoder ifølge kravene 6 eller 7, hvor afkoderen er indrettet således, at wedgelet-skillelinjen (70) er en lige linje, og afkoderen er indrettet til at opdele en blok (66c) af en præsegmentering af dybde-/disparitetskortdataene (162) af det andet billede langs wedgelet-skillelinjen (70), således at to nabosegmenter (72a, 72b) er wedgelet-formede segmenter, der sammen danner blokken (66c) af præsegmenteringen.
  9. 9. Afkoder ifølge et hvilket som helst af de foregående krav, hvor afkoderen er indrettet således, at de første og andre kodningsparametre omfatter henholdsvis første og andre prædiktionsparametre, der styrer henholdsvis prædiktionen af den aktuelle del af det første billede og prædiktionen af den aktuelle del af det andet billede.
  10. 10. Afkoder ifølge et hvilket som helst af de foregående krav, hvor de aktuelle dele er segmenter af en segmentering af rammer af videoen af henholdsvis det første og andet billede.
  11. 11. Afkoder ifølge et hvilket som helst af de foregående krav, hvor afkoderen er indrettet til at rekonstruere det første billede (12i) af multi-viewsignalet (10) fra datastrømmen ved at udføre prædiktionen og korrektionen af den aktuelle del deraf ved en første rumlig opløsning og at rekonstruere det andet billede (122) af multi-viewsignalet (10) fra datastrømmen ved at udføre prædiktionen og korrektionen af den aktuelle del deraf ved en anden rumlig opløsning, der er lavere end den første rumlige opløsning, med efterfølgende opsampling af den rekonstruerede aktuelle del af det andet billede fra den anden rumlige opløsning til den første rumlige opløsning, hvor afkoderen er indrettet til i det mindste delvis at vælge eller forudsige de andre kodningsparametre fra de første kodningsparametre, idet de første kodningsparametre skaleres i henhold til et forhold mellem den første og anden rumlige opløsning.
  12. 12. Koder, indrettet til at kode et første billede af et multi-viewsignal i en datastrøm ved at bestemme første kodningsparametre, i henhold til de første kodningsparametre at forudsige en aktuel del af det første billede fra en første tidligere kodet del af multi-viewsignalet, der er kodet i datastrømmen af koderen forud for kodningen af den aktuelle del af det første billede, og at bestemme en prædiktionsfejl i prædiktionen af den aktuelle del af det første billede for at opnå første korrektionsdata og at indsætte de første kodningsparametre og de første korrektionsdata i datastrømmen; at kode et andet billede af multi-viewsignalet i datastrømmen ved at bestemme andre kodningsparametre ved at vælge eller forudsige de andre kodningsparametre fra de første kodningsparametre; i henhold til de andre kodningsparametre at forudsige en aktuel del af det andet billede fra en anden tidligere kodet del af multi-viewsignalet, der er kodet i datastrømmen af koderen forud for kodningen af den aktuelle del af det andet billede, og at bestemme en prædiktionsfejl i prædiktionen af den aktuelle del af det andet billede for at opnå andre korrektionsdata indeholdt i datastrømmen, at indsætte de andre korrektionsdata i datastrømmen, hvor hvert af det første billede (12i) og det andet billede (122) omfatter en video (14i,2), der er optaget fra en respektiv kameraposition, og tilknyttede dybde-/dis-paritetskortdata (161,2), hvor koderen er indrettet til at kode (106v,i) videoen (14i) af det første billede (12i) i datastrømmen (18) ved i henhold til en første del (46i, 48i, 50i) af de første kodningsparametre at forudsige en aktuel del af videoen (14i) af det første billede (12i) fra en tredje tidligere kodet del af multiview-signalet (10), der er kodet i datastrømmen af koderen forud for kodningen af den aktuelle del af videoen (14i) af det første billede (12i), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af videoen (14i) af det første billede (12i) ved anvendelse af en første delmængde (42i) af de første korrektionsdata (42i,2) og at indsætte prædiktionsfejlen i datastrømmen (18), i det mindste delvis at vælge eller forudsige en anden del af de første kodningsparametre fra den første del af de første kodningsparametre, at kode dybde-/disparitetskortdataene (161) af det første billede (12i) i datastrømmen (18) ved i henhold til den anden del af de første kodningsparametre at forudsige en aktuel del af dybde-/disparitetskortdataene (161) af det første billede (12i) fra en fjerde tidligere kodet del af multiview-signalet (10), der er kodet i datastrømmen (18) af koderen forud for kodningen af den aktuelle del af dybde-/disparitets-kortdataene (161) af det første billede (12i), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af dybde-/disparitetskortdataene (161) af det første billede (12i) ved anvendelse af en anden delmængde (422) af de første korrektionsdata, hvor de første kodningsparametre definerer en segmentering af rammer af videoen (14i) af det første billede (12i), og koderen er kendetegnet ved, at den er indrettet til ved kodning af dybde-/disparitetskortdataene (161) af det første billede (12i) at anvende segmenteringen af rammerne af videoen (14i) af det første billede (12i) som en præsegmentering af dybde-/disparitetskortdataene (161) af det første billede (12i) sammen med en signalering af en afvigelse af segmenteringen for dybde-/disparitetsdataene (161) af det første billede (12i) fra segmenteringen af rammerne af videoen (14i) af det første billede (12i) via datastrømmen.
  13. 13. Afkodningsfremgangsmåde, omfattende at rekonstruere (106v,i, 106d,i) et første billede (12i) af et multi-viewsignal (10) fra en datastrøm (18) ved i henhold til første kodningsparametre (46i, 48i, 50i) opnået fra datastrømmen (18 ) at forudsige en aktuel del af det første billede (12i) fra en første tidligere rekonstrueret del af multi-viewsignalet (10), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del af det første billede (12i), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af det første billede (12i) ved anvendelse af første korrektionsdata (42i,2) indeholdt i datastrømmen (18); i det mindste delvis at vælge eller forudsige andre kodningsparametre fra de første kodningsparametre; og at rekonstruere (106v,2, 106d,2) et andet billede (122) af multi-viewsignalet (10) fra datastrømmen (18) ved i henhold til de andre kodningsparametre at forudsige en aktuel del af det andet billede fra en anden tidligere rekonstrueret del af multi-viewsignalet (10), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del af det andet billede (122), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af det andet billede (122) ved anvendelse af andre korrektionsdata (423,4) indeholdt i datastrømmen (18), hvor hvert af det første billede (12i) og det andet billede (122) omfatter en video (14i,2), der er optaget fra en respektiv kameraposition, og tilknyttede dybde-/disparitets-kortdata (16i,2), hvor rekonstruktion (106v,i) af videoen (14i) af det første billede (12i) fra datastrømmen (18) udføres ved i henhold til en første del (461, 48i, 50i) af de første kodningsparametre at forudsige en aktuel del af videoen (14i) af det første billede (12i) fra en tredje tidligere rekonstrueret del af multiview-signalet (10), der er rekonstrueret fra datastrømmen af afkoderen forud for rekonstruktionen af den aktuelle del af videoen (14i) af det første billede (12i), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af videoen (14i) af det første billede (12i) ved anvendelse af en første delmængde (42i) af de første korrektionsdata (42i, 2) indeholdt i datastrømmen (18), i det mindste delvis at vælge eller forudsige en anden del af de første kodningsparametre fra den første del af de første kodningsparametre, rekonstruktion (106d,i) af dybde-/disparitetskortdataene (16i) af det første billede (12i) fra datastrømmen (18) udføres ved i henhold til den anden del af de første kodningsparametre at forudsige en aktuel del af dybde-/disparitetskortdataene (161) af det første billede (12i) fra en fjerde tidligere rekonstrueret del af multiview-signalet (10), der er rekonstrueret fra datastrømmen (18) af afkoderen forud for rekonstruktionen af den aktuelle del af dybde-/disparitetskortdataene (16i) af det første billede (12i), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af dybde-/disparitetskortdataene (161) af det første billede (12i) ved anvendelse af en anden delmængde (422) af de første korrektionsdata, hvor de første kodningsparametre definerer en segmentering af rammer af videoen (14i) af det første billede (12i), og rekonstruktionen af dybde-/disparitetskort-dataene (161) af det første billede (12i) er kendetegnet ved, at omfatte anvendelse af segmenteringen af rammerne af videoen (14i) af det første billede (12i) som en præsegmentering af dybde-/disparitetskortdataene (16i) af det første billede (12i) sammen med en signalering af en afvigelse af segmenteringen for dybde-/disparitetsdataene (16i) af det første billede (12i) fra segmenteringen af rammerne af videoen (14i) af det første billede (12i) via datastrømmen.
  14. 14. Kodningsfremgangsmåde, omfattende at kode et første billede af et multi-viewsignal i en datastrøm ved at bestemme første kodningsparametre, i henhold til de første kodningsparametre at forudsige en aktuel del af det første billede fra en første tidligere kodet del af multi-viewsignalet, der er kodet i datastrømmen af koderen forud for kodningen af den aktuelle del af det første billede, og at bestemme en prædiktionsfejl i prædiktionen af den aktuelle del af det første billede for at opnå første korrektionsdata og at indsætte de første kodningsparametre og de første korrektionsdata i datastrømmen; og at kode et andet billede af multi-viewsignalet i datastrømmen ved at bestemme andre kodningsparametre ved at vælge eller forudsige de andre kodningsparametre fra de første kodningsparametre; i henhold til de andre kodningsparametre at forudsige en aktuel del af det andet billede fra en anden tidligere kodet del af multi-viewsignalet, der er kodet i datastrømmen af koderen forud for kodningen af den aktuelle del af det andet billede, og at bestemme en prædiktionsfejl i prædiktionen af den aktuelle del af det andet billede for at opnå andre korrektionsdata indeholdt i datastrømmen, at indsætte de andre korrektionsdata i datastrømmen, hvor hvert af det første billede (12i) og det andet billede (122) omfatter en video (14i,2), der er optaget fra en respektiv kameraposition, og tilknyttede dybde-/dis-paritetskortdata (16i,2), hvor kodning (106v,i) af videoen (14i) af det første billede (12i) i datastrømmen (18) udføres ved i henhold til en første del (461, 48i, 50i) af de første kodningsparametre at forudsige en aktuel del af videoen (14i) af det første billede (12i) fra en tredje tidligere kodet del af multiview-signalet (10), der er kodet i datastrømmen af koderen forud for kodningen af den aktuelle del af videoen (14i) af det første billede (12i), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af videoen (14i) af det første billede (12i) ved anvendelse af en første delmængde (42i) af de første korrektionsdata (42i, 2) og at indsætte prædiktionsfejlen i datastrømmen (18), i det mindste delvis at vælge eller forudsige en anden del af de første kodningsparametre fra den første del af de første kodningsparametre, kodning af dybde-/disparitetskortdataene (16i) af det første billede (12i) i datastrømmen (18) udføres ved i henhold til den anden del af de første kodningsparametre at forudsige en aktuel del af dybde-/disparitetskortdataene (16i) af det første billede (12i) fra en fjerde tidligere kodet del af multiview-signalet (10), der er kodet i datastrømmen (18) af koderen forud for kodningen af den aktuelle del af dybde-/disparitetskortdataene (161) af det første billede (12i), og at korrigere en prædiktionsfejl i prædiktionen af den aktuelle del af dybde-/disparitetskortdataene (161) af det første billede (12i) ved anvendelse af en anden delmængde (422) af de første korrektionsdata, hvor de første kodningsparametre definerer en segmentering af rammer af videoen (14i) af det første billede (12i), og kodningen af dybde-/disparitetskortdataene (161) af det første billede (12i) er kendetegnet ved, at omfatte anvendelse af segmenteringen af rammerne af videoen (14i) af det første billede (12i) som en præsegmentering af dybde-/disparitetskortdataene (161) af det første billede (12i) sammen med en signalering af en afvigelse af segmenteringen for dybde-/dispa-ritetsdataene (16i) af det første billede (12i) fra segmenteringen af rammerne af videoen (14i) af det første billede (12i) via datastrømmen.
  15. 15. Computerprogram, der omfatter instruktioner, der får computeren til at udføre trinene i fremgangsmåden ifølge krav 13 eller 14, når programmet afvikles af en computer.
DK11741600.8T 2010-08-11 2011-08-11 Multi-viewsignalcodec DK2604036T3 (da)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US37278510P 2010-08-11 2010-08-11
PCT/EP2011/063852 WO2012020092A1 (en) 2010-08-11 2011-08-11 Multi-view signal codec

Publications (1)

Publication Number Publication Date
DK2604036T3 true DK2604036T3 (da) 2018-06-14

Family

ID=44504420

Family Applications (1)

Application Number Title Priority Date Filing Date
DK11741600.8T DK2604036T3 (da) 2010-08-11 2011-08-11 Multi-viewsignalcodec

Country Status (14)

Country Link
US (6) US9648298B2 (da)
EP (3) EP3349464B1 (da)
JP (8) JP2013533714A (da)
KR (9) KR20230145537A (da)
CN (4) CN107277550B (da)
DK (1) DK2604036T3 (da)
ES (1) ES2671596T3 (da)
HK (3) HK1244141A1 (da)
HU (1) HUE037750T2 (da)
NO (1) NO2604036T3 (da)
PL (1) PL2604036T3 (da)
PT (1) PT2604036T (da)
TR (1) TR201807638T4 (da)
WO (1) WO2012020092A1 (da)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
CN101589625B (zh) 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
CN107277550B (zh) * 2010-08-11 2020-11-20 Ge视频压缩有限责任公司 解码器、解码方法、编码器、编码方法以及存储介质
CN107197226B (zh) 2011-03-18 2019-05-28 索尼公司 图像处理设备、图像处理方法和计算机可读存储介质
JPWO2013031575A1 (ja) * 2011-08-31 2015-03-23 ソニー株式会社 画像処理装置および画像処理方法
EP2753080A4 (en) 2011-08-31 2015-04-29 Sony Corp ENCODING DEVICE, ENCODING METHOD, DECODING DEVICE, AND DECODING METHOD
CN109525846B (zh) 2011-11-11 2023-07-04 Ge视频压缩有限责任公司 用于编码和解码的设备和方法
KR102588425B1 (ko) 2011-11-11 2023-10-12 지이 비디오 컴프레션, 엘엘씨 적응적 분할 코딩
EP2777284B1 (en) 2011-11-11 2018-09-05 GE Video Compression, LLC Effective wedgelet partition coding using spatial prediction
EP2777286B1 (en) 2011-11-11 2017-01-04 GE Video Compression, LLC Effective wedgelet partition coding
EP2833634A4 (en) * 2012-03-30 2015-11-04 Sony Corp IMAGE PROCESSING DEVICE AND METHOD, AND RECORDING MEDIUM
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
US20130329800A1 (en) * 2012-06-07 2013-12-12 Samsung Electronics Co., Ltd. Method of performing prediction for multiview video processing
US9648347B1 (en) * 2012-06-14 2017-05-09 Pixelworks, Inc. Disparity postprocessing and interpolation for motion estimation and motion correction
WO2014005248A1 (en) * 2012-07-02 2014-01-09 Qualcomm Incorporated Intra-coding of depth maps for 3d video coding
JP2014027448A (ja) * 2012-07-26 2014-02-06 Sony Corp 情報処理装置、情報処理方法、及びプログラム
KR102149959B1 (ko) * 2013-01-04 2020-08-31 지이 비디오 컴프레션, 엘엘씨 효율적인 확장가능한 코딩 개념
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
KR102327617B1 (ko) * 2013-04-08 2021-11-17 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
CN104427291B (zh) * 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
US9544601B2 (en) * 2013-10-15 2017-01-10 Qualcomm Incorporated Wedgelet pattern extension for depth intra coding
KR101483053B1 (ko) * 2013-12-27 2015-01-19 연세대학교 산학협력단 영상 합성 방법, 장치 및 시스템
CN106063264B (zh) * 2014-01-03 2019-06-07 Ge视频压缩有限责任公司 基于楔形波的编码概念
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
JPWO2015141549A1 (ja) * 2014-03-20 2017-04-06 日本電信電話株式会社 動画像符号化装置及び方法、及び、動画像復号装置及び方法
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
WO2015194915A1 (ko) * 2014-06-20 2015-12-23 삼성전자 주식회사 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치
US9870617B2 (en) 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
WO2016056779A1 (ko) * 2014-10-08 2016-04-14 엘지전자 주식회사 3d 비디오 코딩에서 카메라 파라미터 처리 방법 및 장치
CN105872539B (zh) * 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
US10200666B2 (en) * 2015-03-04 2019-02-05 Dolby Laboratories Licensing Corporation Coherent motion estimation for stereoscopic video
WO2016145243A1 (en) 2015-03-10 2016-09-15 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
CN106210741B (zh) * 2016-09-10 2018-12-21 天津大学 一种基于视点间相关性的深度视频编码算法
US10796464B2 (en) * 2017-08-25 2020-10-06 Siemens Healthcare Gmbh Selective image reconstruction
US20190045198A1 (en) * 2017-12-28 2019-02-07 Intel Corporation Region adaptive data-efficient generation of partitioning and mode decisions for video encoding
US10880531B2 (en) * 2018-01-31 2020-12-29 Nvidia Corporation Transfer of video signals using variable segmented lookup tables
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors
US10971192B2 (en) * 2018-11-07 2021-04-06 Genetec Inc. Methods and systems for detection of anomalous motion in a video stream and for creating a video summary
GB201905400D0 (en) * 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
US20220277164A1 (en) * 2021-02-26 2022-09-01 Qualcomm Incorporated Technologies for image signal processing and video processing
WO2022246999A1 (en) * 2021-05-26 2022-12-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Multiview video encoding and decoding
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4258879B2 (ja) * 1999-03-08 2009-04-30 パナソニック株式会社 画像符号化方法とその装置、画像復号化方法とその装置、コンピュータに画像符号化方法および画像復号化方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US7856148B2 (en) * 2006-01-12 2010-12-21 Lg Electronics Inc. Processing multiview video
ATE523861T1 (de) * 2006-10-04 2011-09-15 Koninkl Philips Electronics Nv Bildverbesserung
US7756348B2 (en) 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
BRPI0717639A2 (pt) * 2006-10-30 2013-11-12 Nippon Telegraph & Telephone Método de geração de informações de referência preditas, métodos de codificação de decodificação de vídeo, aparelhos destinados aos mesmos, programas destinados aos mesmos, e mídias de armazenamento que armazenam os programas
WO2008133910A2 (en) 2007-04-25 2008-11-06 Thomson Licensing Inter-view prediction with downsampled reference pictures
US8488677B2 (en) * 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
US8351685B2 (en) 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
CN101911700A (zh) * 2008-01-11 2010-12-08 汤姆逊许可证公司 视频和深度编码
WO2009099510A1 (en) * 2008-02-05 2009-08-13 Thomson Licensing Methods and apparatus for implicit block segmentation in video encoding and decoding
CN101330631A (zh) * 2008-07-18 2008-12-24 浙江大学 一种立体电视***中深度图像的编码方法
WO2010043373A1 (en) 2008-10-14 2010-04-22 Nec Europe Ltd. Method for providing error indication information at an end device
CN102257818B (zh) * 2008-10-17 2014-10-29 诺基亚公司 3d视频编码中运动向量的共享
US10198792B2 (en) * 2009-10-14 2019-02-05 Dolby Laboratories Licensing Corporation Method and devices for depth map processing
US9467689B2 (en) * 2010-07-08 2016-10-11 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered image and video delivery using reference processing signals
CN107277550B (zh) 2010-08-11 2020-11-20 Ge视频压缩有限责任公司 解码器、解码方法、编码器、编码方法以及存储介质
WO2012047496A1 (en) * 2010-10-08 2012-04-12 Dolby Laboratories Licensing Corporation Scalable frame compatible multiview encoding and decoding methods
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus

Also Published As

Publication number Publication date
JP2015180104A (ja) 2015-10-08
CN107257484A (zh) 2017-10-17
JP2024105604A (ja) 2024-08-06
HUE037750T2 (hu) 2018-09-28
US20170171548A1 (en) 2017-06-15
US11843757B2 (en) 2023-12-12
JP6633694B2 (ja) 2020-01-22
JP2017143521A (ja) 2017-08-17
CN103155558A (zh) 2013-06-12
US20240106997A1 (en) 2024-03-28
CN107277550B (zh) 2020-11-20
KR102331748B1 (ko) 2021-12-02
HK1244141A1 (zh) 2018-07-27
US9648298B2 (en) 2017-05-09
JP6356286B2 (ja) 2018-07-11
EP3349464A1 (en) 2018-07-18
KR20230145537A (ko) 2023-10-17
JP2021141602A (ja) 2021-09-16
KR102588146B1 (ko) 2023-10-12
PT2604036T (pt) 2018-06-12
TR201807638T4 (tr) 2018-06-21
KR20200136497A (ko) 2020-12-07
PL2604036T3 (pl) 2018-08-31
EP2604036A1 (en) 2013-06-19
JP7491985B2 (ja) 2024-05-28
HK1245547A1 (zh) 2018-08-24
JP7189272B2 (ja) 2022-12-13
KR20140102774A (ko) 2014-08-22
CN107257485A (zh) 2017-10-17
CN103155558B (zh) 2017-05-10
KR20180118807A (ko) 2018-10-31
KR20220163520A (ko) 2022-12-09
EP3905681B1 (en) 2024-08-07
US20220303519A1 (en) 2022-09-22
JP2018186513A (ja) 2018-11-22
US20130147915A1 (en) 2013-06-13
US10674134B2 (en) 2020-06-02
KR20170108171A (ko) 2017-09-26
KR102051771B1 (ko) 2019-12-03
US11330242B2 (en) 2022-05-10
KR101781254B1 (ko) 2017-09-26
NO2604036T3 (da) 2018-08-04
WO2012020092A1 (en) 2012-02-16
HK1245546A1 (zh) 2018-08-24
KR102185765B1 (ko) 2020-12-03
JP6892493B2 (ja) 2021-06-23
JP2023025159A (ja) 2023-02-21
EP3349464B1 (en) 2021-04-07
KR20190134822A (ko) 2019-12-04
KR102472533B1 (ko) 2022-11-30
US20190028692A1 (en) 2019-01-24
US20200252595A1 (en) 2020-08-06
KR101913993B1 (ko) 2018-10-31
CN107257485B (zh) 2020-05-12
JP6100833B2 (ja) 2017-03-22
CN107257484B (zh) 2020-05-12
EP2604036B1 (en) 2018-03-07
ES2671596T3 (es) 2018-06-07
JP2013533714A (ja) 2013-08-22
KR101483380B1 (ko) 2015-01-15
CN107277550A (zh) 2017-10-20
KR20130055659A (ko) 2013-05-28
JP2020058055A (ja) 2020-04-09
KR20210147084A (ko) 2021-12-06
EP3905681A1 (en) 2021-11-03
US10110903B2 (en) 2018-10-23

Similar Documents

Publication Publication Date Title
US11330242B2 (en) Multi-view signal codec
WO2013021023A1 (en) View synthesis compliant signal codec