SE513353C2 - Partiell hämtning av bilder i den komprimerade domänen - Google Patents

Partiell hämtning av bilder i den komprimerade domänen

Info

Publication number
SE513353C2
SE513353C2 SE9803593A SE9803593A SE513353C2 SE 513353 C2 SE513353 C2 SE 513353C2 SE 9803593 A SE9803593 A SE 9803593A SE 9803593 A SE9803593 A SE 9803593A SE 513353 C2 SE513353 C2 SE 513353C2
Authority
SE
Sweden
Prior art keywords
client
server
image
request
information
Prior art date
Application number
SE9803593A
Other languages
English (en)
Other versions
SE9803593D0 (sv
SE9803593L (sv
Inventor
Mathias Larsson
Charilaos Christopoulos
Magnus Jaendel
Cruz Diego Santa
Touradj Ebrahimi
Original Assignee
Ericsson Telefon Ab L M
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ericsson Telefon Ab L M filed Critical Ericsson Telefon Ab L M
Priority to SE9803593A priority Critical patent/SE513353C2/sv
Publication of SE9803593D0 publication Critical patent/SE9803593D0/sv
Priority to CA002348622A priority patent/CA2348622C/en
Priority to AU14252/00A priority patent/AU766874B2/en
Priority to EP99970820A priority patent/EP1127452B1/en
Priority to JP2000577826A priority patent/JP4764549B2/ja
Priority to KR1020017004901A priority patent/KR100595400B1/ko
Priority to PCT/SE1999/001847 priority patent/WO2000024188A1/en
Priority to DE69941743T priority patent/DE69941743D1/de
Priority to EP06012362A priority patent/EP1715672B1/en
Priority to DE69935729T priority patent/DE69935729T2/de
Priority to CNB998123722A priority patent/CN1166171C/zh
Priority to US09/418,323 priority patent/US7571382B2/en
Publication of SE9803593L publication Critical patent/SE9803593L/sv
Publication of SE513353C2 publication Critical patent/SE513353C2/sv

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/327Initiating, continuing or ending a single-mode communication; Handshaking therefor
    • H04N1/32765Initiating a communication
    • H04N1/32771Initiating a communication in response to a request, e.g. for a particular document
    • H04N1/32776Initiating a communication in response to a request, e.g. for a particular document using an interactive, user-operated device, e.g. a computer terminal, mobile telephone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/327Initiating, continuing or ending a single-mode communication; Handshaking therefor
    • H04N1/32765Initiating a communication
    • H04N1/32771Initiating a communication in response to a request, e.g. for a particular document

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)
  • Facsimiles In General (AREA)

Description

513 353 2 av en ny kodning av hela bitströmmen om ett ROI väljs på grund av bristen på oberoende avkodningsbara enheter. Beroende på servermjukvaran mäste den ibland till och med åter ladda ner bilden från lagringsmediet. Nackdelen med detta är att ett tidskrävande och beräkningsmässigt komplext schema krävs vilket ställer höga krav på beräkningskraft i servern.
Vidare används i stillbildsstandarden JPEGZOOO som är under utveckling oberoende entropikodning av s k kodningsenheter (coding unit CU). En kodningsenhet kan exempelvis vara ett subband i transformdomänen, i exempelvis fallet med wavelet- transformern en del av ett subband, såsom ett bitplan eller block med viss storlek (exempelvis 16x16), eller ett bitplan för ett område i ett subband.
Redogörelse för uppfinningen Det är ett syfte med föreliggande uppfinning att övervinna problemen som beskrivs ovan och särskilt att minska mängden beräkning och kodning i en server dà en klient begär ett ROI eller en del av bilden.
Detta syfte och andra uppnås genom att lagra bilder som en uppsättning oberoende avkodningsbara enheter (CU) på en ser- ver. Dä en klient begär en viss del av bilden mäste endast in- formation från de CU som inte redan har överförts omkodas vil- ket sparar en stor mängd processortid i servern.
Anta exempelvis att en klient avger en begäranserie efter bildinformation. Varje begäran innehåller ett begärannummer, information om vilken bildinformation som klienten vill se härnäst och information om vilken bildinformation klienten har mottagit vid tidpunkten då begäran avgavs. Servern behöver inte lagra någon tillstàndsinformation (exempelvis tidigare begäranden). Vid mottagning av en begäran sänder servern en omstartmarkör, en bekräftelse på begârannumret och inkremen- tell bildinformation svarande mot begäran. 513 353 3 Användning av förfarandet och systemet som beskrivs hári kommer att leda till att ingen avkodning av hela bitströmmen krävs i servern. Detta kommer att spara mycket tid på sändar- sidan (serversidan) eftersom den inte behöver utföra en full- ständig avkodning av strömmen.
Kortfattad beskrivning av ritningarna Föreliggande uppfinning kommer nu att beskrivas närmare och med hänvisning till de bilagda ritningar, på vilka: - Fig. 1 visar grundstegen som utförs i en klient- server- process.
- Fig. 2 visar stegen som utförs i en klient-serverprocess enligt en första utföringsform.
- Fig. 3 visar stegen som utförs i en klient-serverprocess enligt en andra utföringsform.
- Fig. 4 visar stegen som utförs i en klient-serverprocess enligt en tredje utföringsform.
- Fig. 5 visar stegen som utförs i en klient-serverprocess enligt ett första alternativ för den tredje utföringsformen.
- Fig. 6 visar stegen som utförs i en klient-serverprocess enligt ett andra alternativ enligt den tredje utföringsformen.
- Fig. 7 visar stegen som utförs i en klient-serverprocess enligt ett tredje alternativ enligt den tredje utförings- formen.
- Fig. 8 visar stegen som utförs i en klient-serverprocess enligt en fjärde utföringsform.
Beskrivning av föredraga utföringsformer I fig. l visas grundläggande interaktion mellan en klient och en server. Således begär klienten först en bild, steg 101.
Därefter i ett steg 103 påbörjar servern överföring av bilden till klienten. Klienten begär sedan vid något tillfälle under 513.353 4 överföringen en del av bilden, som för närvarande överförs, steg 105. Servern börjar som svar på begäran i steg 105 att sända den begärda delen, steg 107. Klienten kan också begära ytterligare delar av bilden när som helst såsom indikeras i steg 109. Överföringen kan avbrytas när som helst på en lägre protokollnivà, såsom TCP eller HTTP.
I den följande beskrivningen och på motsvarande ritningar används följande definitioner, syntax och notation: - En kodningsenhet (CU) är en del av en bitström som är obe- roende avkodningsbar. Således är det möjligt att avkoda en viss del av bitströmmen utan att avkoda hela strömmen.
- En TAG eller en omsynkningsmarkör är en kombination av bitar som inte kan alstras av entropikodaren.
Syntaxelement i klient-serverprocessen Flera detaljerade exempel pá en grundläggande klient- serverprocess beskrivs nedan. De svarar mot olika specifika format för syntaxelementen i klient-serverprocessen. kan ha följande format: - = sänd första subband - ll sänd första bitplan sänd första subband av ROI - - = sänd första bitplan för ROI - = sänd (som beskriver vilka CU som begärs. kan ha följande format: - = bitar/byte/CU mottagna - = CU mottagen ... , där är 515 353 5 numret som tilldelats ett mottaget CU.
Version l ånvânds tillsammans med ett átersändande och paketbestàllande överföringsprotokoll såsom TCP. Version 2 används med ett förbindelselöst bàsta-försököverförings- protokoll såsom UDP. kan ha följande format: - = svarande mot första av återstående subband - = svarande mot första av återstående bitplan - = svarande mot första av återstående subband i ROI - = svarande mot första återstående bitplan av ROI - = svarande mot CU specificerat i 513 355 6 Ytterligare olika format av är möjliga: - = ...
CUN> ... - = <1ängd CU2> - = ...
N> - = ...
Bildheadern behövs inte eftersom den redan mottagits av klienten. innefattar en beskrivning av transkodningsoperationerna som utfördes pà originalbilden i syfte att alstra den transkodade bilden. Klienten använde denna information för att mappa CU fràn originalbilden till den transkodade bilden och mappa CU från den transkodade bil-den till originalbilden. används för att tala om för klienten att den transkodade bilden är lagrad på servern. Detta ger URL till den transkodade bilden. En time-out kan valfritt inklude- ras som indikerar att bilden kommer att sparas under endast specificerad tid.
I fig. 2 visas en första utföringsform av uppfinningen. I detta fall vill klienten accessa en del av den lagrade bilden.
Detta skulle kunna vara vissa bitplan, subband eller förlag- rade ROI. I detta fall har servern inga specialfunktioner för att spara pá begäran förutom de som finns i kommunikations- protokollet (exempelvis HTTP). En process för detta visas i fig. 2.
Klienten sänder en begäran om en lagrad bild, steg 201.
Bilden är lagrad som en komprimerad bitström och i ett format som innefattar oberoende kodade kodningsenheter (CU). Steg 203, 513 353 7 servern svarar och påbörjar överföringen. Steg 205, kli-enten beslutar att en del av bilden är viktigare. Klienten får information om var den är lagrad från bildheadern och sänder en begäran till servern om den önskade delen. Delen kan vara en ROI av bilddata som förbättrar hela bildens kvalitet. Steg 207, servern kanske nu sänder en omstartmarkör och påbörjar överföringen av de önskade CU.
Omstartmarkörfunktionaliteten kan också åstadkommas av ett lägre protokoll i starten, exempelvis TCP eller HTTP.
Omstartmarkören kan valfritt exkluderas om den kan härledas från information i de lägre protokollnivàerna.
I fig. 3 visas en annan typ av klient-serverprocess. I processen i fig. 3 utförs ingen avancerad behandling på ser- versidan. I exemplet som beskrivs i samband med fig. 3 börjar klienten motta en bild och mitt i överföringen beslutas sedan att en del av bilden är viktigare och endast denna del skall överföras. Detta skulle kunna vara ett antal bitplan, subband eller ROI. Det bör observeras att i detta fall skulle bilden kunna lagras med ett ROI men användaren vill välja ett annat ROI.
I ett sådant fall måste servern använda ytterligare funk- tioner för att hitta begärda delar av den komprimerade bilden.
Interaktionen mellan klienten och servern och operationerna på båda sidor kan ske på följande sätt, bekräftelsemeddelanden och liknande meddelanden visas inte för tydlighetens skull. De kan exempelvis använda IP, TCP/UDP, HTTP eller liknande proto-koll för sådana meddelanden.
Steg 301, en klient sänder en begäran efter en lagrad bild.
Bilden är lagrad som en komprimerad bitström och i ett format med oberoende kodande kodningsenheter (CU). Steg 303, servern svarar och påbörjar överföringen. Steg 305, klienten beslutar att en del av bilden är viktigare och om ett ROI väljs sänder 513 353 f 8 den också formen på det valda området och annan information som behövs. Detta skulle exempelvis kunna vara det kronolo-giska numret på begäran, antalet CU eller byte som mottagits, markerade med (*) i fig. 4. Vid denna tidpunkt har klienten skapat en mask i transformdomànen, exempelvis medelst använd- ning av förfarandet som beskrivs i Charilaos Christopoulus (utgivare), JPEG 2000 Verification Model Version 1.2, ISO/IEC JTCl/SC29/WG1 N982, 14 augusti 1998, som väljer koefficien- terna som behövs för att servern skall besluta vilka CU som behövs från servern.
Steg 307, servern får begäran. Servern använder information i bitströmmen, såsom TAGS, i syfte att hitta önskade CU. Ser- vern sänder nu en omstartmarkör och om det behövs längden på återstående CU. Den påbörjar sedan sändning av begärda CU.
I det följande behandlas situationen då en klient börjar med att motta en bild och sedan mitt i överföringen beslutar att någon del av bilden är viktigare och endast vill att denna del skall överföras. Detta är också känt som val av ROI. Det bör observeras att i detta fall kan bilden vara lagrad med ett ROI men användaren vill välja ett annat ROI. I exemplet nedan används JPEG2000 progressive-by-resolution (PBR) schemat. Ett liknande förfarande kan emellertid användas i progressive-by- accuracy (PBA) scheman, såsom beskrivs i Charilaos Christopou- lus (utgivare), JPEG 2000 Verification Model Version 1.2, ISO/IEC JTC1/SC29/WGl N982, 14 augusti 1998.
I fig. 4 visas progressive-by-resolution schemat i JPEG 2000. I PBR-moden i JPEG 2000 kan varje subband, på ett för- enklat sätt, ses som en kodningsenhet, CU, eftersom hela sub- bandet år oberoende entropikodat. Detta är fallet om den så kallade icke-adaptiva moden används, eftersom i detta fall ett subband är samma sak som en sekvens. Detta gör det möjligt att entropikoda alla subband oberoende om klienten vet var den .- »as 513 353 9 skall hitta det i bitströmmen. I den grundläggande moden av JPEG2000 stöds detta av en array, som lagras i bildheadern, som innehåller längden på varje CU i bit/byte. Således är det möjligt för klienten att söka igenom bitströmmen eftersom den vet längden på varje entropikodat subband.
Klienten sänder en begäran till en server och begår en lagrad bild. Bilden är lagrad som en komprimerad bitström.
Servern får bitströmmen och påbörjar överföringen. I en före- dragen utföringsform sker interaktionen mellan klienten och servern och operationerna på båda sidor på följande sätt, där bekräftelsemeddelanden och liknande meddelanden utelämnats för tydlighetens skull.
- Först sänder klienten en begäran om en lagrad bild. Bilden är lagrad som en komprimerad bitström och i ett CU-format.
- Servern svarar sedan och påbörjar överföringen. - vid något tillfälle under överföringen beslutar klienten att en del av bilden är viktigare och sänder formen på det valda området och annan information som behövs. Detta kan exempelvis vara det kronologiska numret på begäran, antalet CU eller byte som mottagits, markerade med (*) i fig. 4.
- Servern får sedan begäran och ROI och utför en entropiav- kodning för de CU som ännu inte har sänts. I detta fall är det de subband som ännu inte,har sänts. Entropiavkodningen ger de kvantiserade transformkoefficienterna. Servern skapar en mask i transformdomänen. Sedan kan servern välja koefficienterna som behövs för ROI, exempelvis genom användning av förfarandet som beskrivs i Charilaos Christopoulus (utgivare), JPEG 2000 Verification Model Version 1.2, ISO/IEC JTCI/SC29/WGl N982, 14 augusti 1998. Således väljer servern medelst användning av masken vilka koefficienter som behövs i varje återstående sub- band. De kvantiserade koefficienterna som hör till ROI entro- pikodas sedan subbandsvis. Således bibehålls samma CU-struk- 513 353 10 tur. Servern kan nu sända en omstartsmarkör och längderna på de CU som skall sändas och påbörjar sändning av CU.
- Klienten får svaret från servern som beskriver vilken typ av transkodning som har använts. Klienten skapar sedan den önskade masken i transformdomänen, exempelvis medelst använd- ning av förfarandet som beskrivs i Charilaos Christopoulus (utgivare), JPEG 2000 Verification Model Version 1.2, ISO/IEC JTCl/SC29/WG1 N982, 14 augusti 1998, som väljer koefficien- terna som behövs för svaret från servern.
Ur klientsynpunkt kommer resultatet bli att ROI har full upplösning medan bakgrunden kommer att ha en sämre upplösning (vilken skulle kunna förbättras i senare steg om förfarandet som beskrivs ovan som använder skiftning används). Hur mycket sämre beror på när ROI-begäran gjordes.
Om begäran om ROI träffar mitt i en CU, vilket är det mest sannolika fallet, finns det tvá vägar att välja på. Antingen sänds CU då begäran kom om eller så slutförs överföring av CU och sedan påbörjas omkodning.
I fallet med progressive-by-accuracy mode i JPEG2000 kan samma idé som i det föregående exemplet användas utan några större förändringar. I detta fall är ett CU ett bitplan. Säle- des beordras bitströmmen efter noggrannhet. Först överförs det högsta bitplanet och sedan det näst högsta och så vidare.
Interaktionen mellan klient och server och operationerna på båda sidor är följande, där bekräftelsemeddelanden och liknan- de meddelanden utelàmnats.
- Först sänder klienten en begäran efter en lagrad bild. Bil- den är lagrad som en komprimerad dataström och i ett CU-for- mat.
- Servern svarar och påbörjar överföringen.
- Klienten bestämmer att en del av bilden är viktigare och sänder formen på det valda området och viss annan information 51s 353 åë >f:?j;fi H som behövs. Detta skulle exempelvis kunna vara, kronologiskt nummer på begäran, antalet CU eller byte som mottagits, mar- kerade med (*) i fig. 4. Vid denna tidpunkt har klienten ska- pat en mask i transformdomänen, exempelvis medelst användning av förfarandet som beskrivs i Charilaos Christopoulus (ut- givare), JPEG 2000 Verification Model Version 1.2, ISO/IEC JTCl/SC29/WGl N982, 14 augusti 1998, som väljer koefficien- terna som behövs för svaret från servern.
- Servern får begäran efter ROI och utför en entropiavkodning för CU som ännu inte har sänts. I detta fall är det bitplanen som ännu inte har sänts. Entropiavkodning ger nu återstående delar av de kvantiserade transformkoefficienterna. Servern skapar en mask i transformdomänen. Sedan kan servern välja ko- efficienterna som behövs för ROI, exempelvis medelst använd- ning av förfarandet som beskrivs i Charilaos Christopoulus (utgivare), JPEG 2000 Verification Model Version 1.2, ISO/IEO JTC1/SC29/WGI N982, 14 augusti 1998. Således väljer servern medelst användning av masken vilka koefficienter som behövs i alla bitplan. De återstående delarna av de kvantiserade ko- efficienterna som hör till ROI entropikodas bitplanvis. Således bibehålls samma CU-struktur. Servern kan nu sända en omstartmarkör och längderna på CU som sänds och påbörja över- föring av CU.
I stället för att minska upplösningen på bakgrunden, som i det föregående exemplet, minskas noggrannheten på de pixel som inte hör till ROI. Detta görs genom att bara skippa de åter- stående bitplanen för bitplan som hör till bakgrunden.
Vid mottagning av en begäran transkodar servern original- bilden. Den transkodade bilden sänds antingen till en utbuf- fert, processerna Cl och C2 nedan eller postas som en ny bild, process C3 nedan. En klient kommer alltid att referera till en postad bild antingen originalbilden som i Cl eller C2, se ne- 513 353 12 dan, eller den postade transkodade bilden som i C3, se nedan.
Klienten är ansvarig för att transformera mellan bildformaten så att den mottagna bildinformationen som hör till original- bilden kan återanvändas i klientens kopia av den transkodade bilden. Framgångsrik återanvändning rapporteras till servern i meddelanden.
Klient-serverprocess Cl (Optimerad för nedladdnings- hastighet) Denna process skulle kunna starta utan någon tidigare över- föring av bildinformation. En klient-serverprocess enligt fal- len som beskrivs i samband med figurerna 2 eller 3 kan emel- lertid ha skett. Några CU i originalbilden kan ha överförts till klienten under denna process. Klienten känner till denna tidiga aktivitet men servern behöver inte lagra någon sådan tillståndsinformation.
- Klientbegäran l) - Serversvar l) (headern på den transkodade bilden sänds) Om klienten inte förstår det nya formatet kan den avbryta strömmen på TCP-nivå. En ny uppsättning klient-serverutbyten kan fortsätta. De kommer alltid att referera till original- bilden eftersom den transkodade bilden vanligen inte behålls av servern. Om en ny begäran enligt fallet inträffar kommer servern sedan vanligen att repetera transkodningsoperationen.
Servern kan besluta att spara en cachad kopia av den transko- dade bilden men detta kan inte förutsättas av klienten.
Klient-serverprocess C2 (optimerad för låg bandbredd) Denna process kan också påbörjas utan någon tidigare över- 513 353 13 föring av bildinformation. En klient-serverprocess enligt fal- len som beskrivs ovan i samband med figurerna 2 eller 3 kan emellertid ha skett. Några CU i originalbilden kan ha över- förts till klienten under denna process. Klienten känner till denna tidigare aktivitet men servern behöver inte lagra någon sådan tillstàndsinformation.
- Klientbegäran 1) - Serversvar 1) (servern har endast beräknat headern för den transkodade bilden. En fullständig transkodning har inte utförts).
- Klientbegäran 2) (klienten bekräftar att den kan hantera det transkodade formatet. Begäran upprepad eftersom servern inte har sparat den gamla begäran).
- Serversvar 2) (servern utför en fullständig transkodning och sänder bildfildatamängden till utbufferten).
Klient-serverprocess C3 (en transkodad bild postas av ser- vern) Denna process skulle kunna starta utan någon tidigare över- föring av bildinformation. En klient-serverprocess enligt fal- len som beskrivs ovan i samband med figurerna 2 eller 3 kan emellertid ha skett. Några CU i originalbilden kan ha över- förts till klienten under denna process. Klienten känner till denna tidigare aktivitet men servern behöver inte lagra någon sådan tillstàndsinformation.
- Klientbegäran 1) - Serversvar 1) 513 353 1?ïfé§Éf3 14 - Klientbegäran 2) (klienten adresserar nu den postade trans- kodade bilden på HTTP protokollnivå) (Klienten är ansvarig för transformering av CU från original- bilden till formatet för den transkodade bilden. Resultatet av dessa operationer placerat i ) - Serversvar 2) En ny uppsättning klient-serverutbyten kan fortsätta. De kan referera till originalbilden eller den transkodade bilden i enlighet med beslut av klienten.
Det bör observeras att i vissa situationer behövs inte an- talet mottagna CU eller bits/byte. Detta är fallet om klienten fortsätter att motta bilddata efter att begäran/begärandena har sänts. Servern sänder omstartsmarkören och kanske någon annan information i syfte att informera klienten att frán och med nu kommer det begärda bitplanet, subbandet eller ROI.
Nedan beskrivs ytterligare exempel pà interaktivt val av ROI under överföring av bit-strömmar då strömmen inte inne- håller önskat ROI. Exemplen visas med olika bit-strömformat till Ovan i samband med fig. 4 beskrivs PDR-moden och JPEG2000 kodaren. En modifiering av schemat som beskrivs ovan skulle vara att sända längden på CU tillsammans med data. Dvs när servern får begäran och ROI och utför entropiavkodning för CU som inte har sänts. I stället för att sända en omstartsmarkör och längderna pà de CU som skall sändas och påbörja över- föring av CU kan servern nu sända en omstartsmarkör och läng- den pá efterföljande CU.
Den resulterande klient-serverprocessen visas i fig. 5.
Detta kommer att resultera i att det inte finns något behov av 513 353 " 5 15 att sända om arrayen med CU-längder som visas i fig. 4.
Det är också möjligt att använda TAGS eller omsynkronise- ringsmarkörer i bitströmmen. Således kan CU markeras i bit- strömmen av ett bitmönster som inte alstras av entropikodaren i stället för att ha en array som beskriver längden på varje CU som ovan i samband med fig. 4. Bitströmmen genomsöks på ett sekvensiellt sätt i syfte att hitta olika kodningsenheter.
Interaktionen mellan klienten och servern och operationerna på båda sidor ändras så att i stället för att sända en omstart- markör och längden på CU som skall sändas och påbörja över- föring av CU kan servern sända en omstartsmarkör och en TAG innan motsvarande CU. Den resulterande klient-serverprocessen visas i fig. 6.
Det bör observeras att ett alternativt sätt är att använda TAGS efter varje CU eller header i stället för före CU som vi- sas i fig. 7. Således ändras interaktionen mellan klient och server och operationen på båda sidor så att i stället för att sända en omstartsmarkör och längderna på CU som skall sändas och påbörja överföringen av CU sänder servern en omstartmarkör och en TAG efter motsvarande CU.
En annan lösning skulle kunna vara att använda “skalnings- baserade förfaranden" i JPEG2000 för övriga subband. Detta be- tyder att ROI-masken för återstående subband fortfarande alst- ras men att ingen annan kodning av ROI-mask-koefficienterna måste utföras. ROI-maskkoefficienterna skalas upp med en viss faktor. Sedan fortsätter kodning av subbanden utan ändringar.
Skiftvärdet måste lagras i bitströmmen så att klienten kan skifta ner. Således ändras interaktionen mellan klient och server och operationerna på båda sidor så att i stället för att sända en omstartsmarkör och längden på CU som skall sändas och påbörja överföring av CU kan servern nu sända en omstart-markör och en TAG efter motsvarande CU. 513 353 ï .» 16 I schemana som beskrivs ovan i samband med fig. 4 - 7 behöver servern utföra en entropiavkodning och sedan en entro- pikodning av kvantiserade koefficienter. Detta är inte så bra om en riktig snabb access av olika delar av bilden önskas.
Lösningen på detta problem âr att bilden delas upp i block som är oberoende avkodningsbara. Dessa kommer att utgöra CU.
Interaktionen mellan klient och server och operationerna på båda sidor är följande som visas i fig. 8. Det bör observeras att bekrâftelsemeddelanden och liknande meddelanden uteläm- nats.
- Steg 801, klienten sänder en begäran om en lagrad bild.
Bilden är lagrad som en komprimerad bitström.
- Steg 803, servern svarar och påbörjar överföringen.
- Steg 805, klienten beslutar att en del av bilden är viktigare och skapar en mask i transformdomänen, se referens, som väljer nödvändiga CU. Önskade CU sänds till servern.
- Steg 807, servern får begäran och CU. Servern kan nu sända en omstartsmarkör och en TAG innan motsvarande CU.
Förfarandet och systemet som beskrivs häri åstadkommer ett antal fördelar jämfört med tidigare klient-serversystem för bildhämtning. Således behöver servern inget minne för att lag- ra information om vilka delar som har sänts. I den första ut- föringsformen behöver servern inte utföra någon behandling över huvud taget i syfte att ge klienten de önskade delarna av bitströmmen. Klienten kommer att få information om var de be- gärda delarna är lagrade ur bildheadern. I den första och and- ra utföringsformen behöver servern inte utföra någon entropi- avkodning, den behöver endast sända begärda CU. Således mins- kas överföringstiden dramatiskt. I den tredje utföringsformen behöver servern inte avkoda hela bitströmmen. Detta kommer att spara mycket tid på sàndarsidan (serversidan), eftersom den inte behöver fullständig avkodning av bitströmmen. 515 353 17 Förfarandet och systemet som beskrivits hàri kan också ut- ökas till att användas tillsammans med en videokomprimerings- algoritm som har oberoende avkodningsbara enheter i den kom- primerade vídeoströmmen.

Claims (14)

515 353, 18 PATENTKRAV
1. l. Förfarande för överföring av en bild, som är lagrad som ett antal oberoende avkodningsbara kodningsenheter, mellan en server och en klient, kânnetecknat av stegen att: - överföra en begäran om bilddata från klienten till servern, - starta överföring av begärda bilddata från servern till klienten, - överföra en begäran om en ny del av bilden under eller ef- ter överföring av denna och - överföra den begärda nya delen av bilden från servern till klienten genom att endast använda kodningsenheter som ännu inte överförts.
2. Förfarande enligt krav 1, kännetecknat av att bilden är lagrad i transformdomànen.
3. Förfarande enligt något av kraven 1 - 2, kânnetecknat av att varje begäran från klienten innefattar ett begäran- nummer.
4. Förfarande enligt något av kraven 1 - 3, kännetecknat av att varje begäran från klienten innefattar information om vilken bildinformation klienten är intresserad av och vilken information om bilden klienten redan har tillgång till.
5. Förfarande enligt något av kraven 1 - 4, kânnetecknat av att servern efter att ha sänt begärd information till kli- enten direkt kastar bort all information från klienten.
6. Förfarande enligt något av kraven l - 5, kännetecknat av att servern överför en markörkod innan överföring av be- gärda kodningsenheter.
7. Förfarande enligt något av kraven 1 - 6, kânnetecknat av att servern utför en transkodning innan överföring av den nya bilddelen. 513 353 19
8. Klient-serversystem, där bilder lagras som ett antal kodningsenheter i servern, kännetecknat av: - organ i servern för att ta emot en begäran om bilddata från klienten, - organ för att sända begärda bilddata från servern till klienten, - organ i servern för att ta emot en begäran om en ny del av bilden under eller efter överföring av denna och - organ i servern för att överföra den begärda nya delen av bilden från servern till klienten genom att endast använda kodningsenheter som ännu inte överförts.
9. System enligt krav 8, kännetecknat av organ för att lagra bilder i transformdomänen.
10. System enligt något av kraven 8 - 9, kånnetecknat av att varje begäran från klienten innefattar ett begärannummer.
11. ll. System enligt något av kraven 8 - 10, kânnetecknat av att varje begäran från klienten innefattar information om vilken bildinformation klienten är intresserad av och vilken information om bilden klienten redan har tillgång till.
12. System enligt något av kraven 8 - ll, kännetecknat av att servern är anordnad att direkt kasta bort all information som klienten har överfört efter att denna har behandlats.
13. System enligt något av kraven 8 - 12, kânnetecknat av att servern är anordnad att överföra en markörkod innan de be- gärda kodningsenheterna överförs.
14. System enligt något av kraven 8 - 13, kännetecknat av att servern är anordnad att utföra transkodning av kodnings- enheter som ännu inte överförts innan överföring av den nya bildddelen.
SE9803593A 1998-10-21 1998-10-21 Partiell hämtning av bilder i den komprimerade domänen SE513353C2 (sv)

Priority Applications (12)

Application Number Priority Date Filing Date Title
SE9803593A SE513353C2 (sv) 1998-10-21 1998-10-21 Partiell hämtning av bilder i den komprimerade domänen
CNB998123722A CN1166171C (zh) 1998-10-21 1999-10-13 在压缩域中的图像局部检索方法和***
PCT/SE1999/001847 WO2000024188A1 (en) 1998-10-21 1999-10-13 Partial retrieval of images in the compressed domain
AU14252/00A AU766874B2 (en) 1998-10-21 1999-10-13 Partial retrieval of images in the compressed domain
EP99970820A EP1127452B1 (en) 1998-10-21 1999-10-13 Partial retrieval of images in the compressed domain
JP2000577826A JP4764549B2 (ja) 1998-10-21 1999-10-13 圧縮ドメインにおける画像の部分検索
KR1020017004901A KR100595400B1 (ko) 1998-10-21 1999-10-13 압축된 도메인에서 영상의 부분 검색
CA002348622A CA2348622C (en) 1998-10-21 1999-10-13 Partial retrieval of images in the compressed domain
DE69941743T DE69941743D1 (de) 1998-10-21 1999-10-13 Teiaufteilung von Bildern im komprimierten Bereich
EP06012362A EP1715672B1 (en) 1998-10-21 1999-10-13 Partial retrieval of images in the compressed domain
DE69935729T DE69935729T2 (de) 1998-10-21 1999-10-13 Teilauffindung von bildern im kompromierten bereich
US09/418,323 US7571382B2 (en) 1998-10-21 1999-10-14 Partial retrieval of images in the compressed domain

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
SE9803593A SE513353C2 (sv) 1998-10-21 1998-10-21 Partiell hämtning av bilder i den komprimerade domänen

Publications (3)

Publication Number Publication Date
SE9803593D0 SE9803593D0 (sv) 1998-10-21
SE9803593L SE9803593L (sv) 2000-04-22
SE513353C2 true SE513353C2 (sv) 2000-08-28

Family

ID=20413027

Family Applications (1)

Application Number Title Priority Date Filing Date
SE9803593A SE513353C2 (sv) 1998-10-21 1998-10-21 Partiell hämtning av bilder i den komprimerade domänen

Country Status (10)

Country Link
US (1) US7571382B2 (sv)
EP (2) EP1127452B1 (sv)
JP (1) JP4764549B2 (sv)
KR (1) KR100595400B1 (sv)
CN (1) CN1166171C (sv)
AU (1) AU766874B2 (sv)
CA (1) CA2348622C (sv)
DE (2) DE69941743D1 (sv)
SE (1) SE513353C2 (sv)
WO (1) WO2000024188A1 (sv)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748786A (en) * 1994-09-21 1998-05-05 Ricoh Company, Ltd. Apparatus for compression using reversible embedded wavelets
US6873734B1 (en) * 1994-09-21 2005-03-29 Ricoh Company Ltd Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
US6549666B1 (en) * 1994-09-21 2003-04-15 Ricoh Company, Ltd Reversible embedded wavelet system implementation
US6898323B2 (en) * 2001-02-15 2005-05-24 Ricoh Company, Ltd. Memory usage scheme for performing wavelet processing
US6895120B2 (en) * 2001-03-30 2005-05-17 Ricoh Co., Ltd. 5,3 wavelet filter having three high pair and low pair filter elements with two pairs of cascaded delays
US7062101B2 (en) * 2001-03-30 2006-06-13 Ricoh Co., Ltd. Method and apparatus for storing bitplanes of coefficients in a reduced size memory
US6950558B2 (en) * 2001-03-30 2005-09-27 Ricoh Co., Ltd. Method and apparatus for block sequential processing
US7581027B2 (en) * 2001-06-27 2009-08-25 Ricoh Co., Ltd. JPEG 2000 for efficent imaging in a client/server environment
US7284069B2 (en) 2002-01-11 2007-10-16 Xerox Corporation Method for document viewing
US7120305B2 (en) * 2002-04-16 2006-10-10 Ricoh, Co., Ltd. Adaptive nonlinear image enlargement using wavelet transform coefficients
JP2003333569A (ja) * 2002-05-13 2003-11-21 Sony Corp ファイルフォーマット、情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
US7734824B2 (en) 2002-10-18 2010-06-08 Ricoh Co., Ltd. Transport of reversible and unreversible embedded wavelets
FR2842378B1 (fr) * 2002-07-15 2005-02-04 Canon Kk Procede et dispositif de traitement d'une requete ou de donnees numeriques compressees
US7200615B2 (en) 2003-10-16 2007-04-03 Xerox Corporation Viewing tabular data on small handheld displays and mobile phones
US7539341B2 (en) 2004-07-29 2009-05-26 Xerox Corporation Systems and methods for processing image data prior to compression
US7721204B2 (en) * 2004-07-29 2010-05-18 Xerox Corporation Client dependent image processing for browser-based image document viewer for handheld client devices
US7620892B2 (en) * 2004-07-29 2009-11-17 Xerox Corporation Server based image processing for client display of documents
CN101147174B (zh) * 2004-10-15 2011-06-08 微软公司 用于管理图像数据的传送和/或存储的***和方法
JP4716949B2 (ja) * 2005-09-02 2011-07-06 株式会社リコー 画像処理装置および画像処理方法
US8812978B2 (en) 2005-12-22 2014-08-19 Xerox Corporation System and method for dynamic zoom to view documents on small displays
JP4656190B2 (ja) * 2008-06-10 2011-03-23 ソニー株式会社 情報処理装置および方法
US8909806B2 (en) * 2009-03-16 2014-12-09 Microsoft Corporation Delivering cacheable streaming media presentations
US9237387B2 (en) 2009-10-06 2016-01-12 Microsoft Technology Licensing, Llc Low latency cacheable media streaming
US8356114B2 (en) 2010-04-15 2013-01-15 Canon Kabushiki Kaisha Region of interest-based image transfer
US8755441B2 (en) 2010-05-10 2014-06-17 Canon Kabushiki Kaisha Region of interest-based video transfer
US9407876B1 (en) * 2010-09-14 2016-08-02 Pixia Corp. Method and system for encoding and decoding multiple wide-area surveillance area-of-interest video codestreams
US9747010B2 (en) 2014-01-16 2017-08-29 Xerox Corporation Electronic content visual comparison apparatus and method
CN106664439B (zh) * 2014-07-30 2020-04-03 Sk普兰尼特有限公司 云流服务器

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3820038A1 (de) * 1988-06-13 1989-12-14 Ant Nachrichtentech Verfahren zur aufbereitung und uebertragung einer bildsequenz
US5444550A (en) * 1989-04-28 1995-08-22 Canon Kabushiki Kaisha Image processing apparatus
US5333246A (en) * 1990-04-05 1994-07-26 Seiko Epson Corporation Page-description language interpreter for a parallel-processing system
DE69232164T2 (de) * 1991-08-22 2002-07-18 Sun Microsystems Inc Netzwerkvideoanbietergerät und-verfahren
US5327248A (en) * 1992-03-23 1994-07-05 Ricoh Company, Ltd. Compressed image virtual editing system
US5253055A (en) * 1992-07-02 1993-10-12 At&T Bell Laboratories Efficient frequency scalable video encoding with coefficient selection
JPH07107255A (ja) * 1993-10-04 1995-04-21 Fujitsu Ltd 画像情報転送制御方式
US5966465A (en) * 1994-09-21 1999-10-12 Ricoh Corporation Compression/decompression using reversible embedded wavelets
US5678007A (en) * 1994-11-22 1997-10-14 Microsoft Corporation Method and apparatus for supporting multiple outstanding network requests on a single connection
US5764235A (en) * 1996-03-25 1998-06-09 Insight Development Corporation Computer implemented method and system for transmitting graphical images from server to client at user selectable resolution
US6006231A (en) * 1996-09-10 1999-12-21 Warp 10 Technologies Inc. File format for an image including multiple versions of an image, and related system and method
US5838927A (en) * 1996-11-22 1998-11-17 Webtv Networks Method and apparatus for compressing a continuous, indistinct data stream
US5991816A (en) * 1996-12-13 1999-11-23 Wisconsin Alumni Research Foundation Image transfer protocol in progressively increasing resolution
US6182127B1 (en) * 1997-02-12 2001-01-30 Digital Paper, Llc Network image view server using efficent client-server tilting and caching architecture
US6049892C1 (en) * 1997-02-24 2002-06-04 Ethos Software Corp Process and apparatus for downloading data from a server computer to a client computer
US6535878B1 (en) * 1997-05-02 2003-03-18 Roxio, Inc. Method and system for providing on-line interactivity over a server-client network
JP3213582B2 (ja) * 1997-05-29 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
JPH1188866A (ja) * 1997-07-18 1999-03-30 Pfu Ltd 高精細画像表示装置及びそのプログラム記憶媒体
SG116400A1 (en) * 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
US6182114B1 (en) * 1998-01-09 2001-01-30 New York University Apparatus and method for realtime visualization using user-defined dynamic, multi-foveated images
US6256415B1 (en) * 1998-06-10 2001-07-03 Seiko Epson Corporation Two row buffer image compression (TROBIC)
US6496607B1 (en) * 1998-06-26 2002-12-17 Sarnoff Corporation Method and apparatus for region-based allocation of processing resources and control of input image formation
JP2000048036A (ja) * 1998-07-28 2000-02-18 Canon Inc 画像処理装置およびその方法
SE9803454L (sv) * 1998-10-09 2000-04-10 Ericsson Telefon Ab L M Förfarande och system för kodning av ROI
US6201897B1 (en) * 1998-11-09 2001-03-13 Earth Resource Mapping Transformation and selective inverse transformation of large digital images
US6546143B1 (en) * 1999-03-12 2003-04-08 Hewlett-Packard Development Company Efficient wavelet-based compression of large images

Also Published As

Publication number Publication date
AU1425200A (en) 2000-05-08
EP1715672A3 (en) 2006-11-15
CN1326637A (zh) 2001-12-12
CA2348622A1 (en) 2000-04-27
KR20010085937A (ko) 2001-09-07
EP1127452B1 (en) 2007-04-04
US20030110299A1 (en) 2003-06-12
EP1715672B1 (en) 2009-12-02
DE69935729T2 (de) 2007-08-16
AU766874B2 (en) 2003-10-23
EP1715672A2 (en) 2006-10-25
DE69935729D1 (de) 2007-05-16
CN1166171C (zh) 2004-09-08
US7571382B2 (en) 2009-08-04
EP1127452A1 (en) 2001-08-29
SE9803593D0 (sv) 1998-10-21
WO2000024188A1 (en) 2000-04-27
CA2348622C (en) 2009-08-18
KR100595400B1 (ko) 2006-07-03
JP4764549B2 (ja) 2011-09-07
JP2002528969A (ja) 2002-09-03
DE69941743D1 (de) 2010-01-14
SE9803593L (sv) 2000-04-22

Similar Documents

Publication Publication Date Title
SE513353C2 (sv) Partiell hämtning av bilder i den komprimerade domänen
US7660476B2 (en) Image processing method and image processing apparatus
JP4709493B2 (ja) 圧縮されたディジタル画像を通信する方法及び製造物
JP4664916B2 (ja) データ圧縮
US7580577B2 (en) Methods, apparatus and computer products for generating JPEG2000 encoded data in a client
US20040136598A1 (en) Method and device for selecting data in a communication network
JP2004274758A (ja) Jpp−ストリームからjpeg2000符号ストリームへの変換方法及び変換装置
KR20050007607A (ko) 인트라 코딩에 기반한 공간 예측
JP2004274759A (ja) 制限されたアクセスとサーバ/クライアント受け渡しを有する圧縮されたディジタル画像の通信方法及び装置
US20040078491A1 (en) Transport of reversible and unreversible embedded wavelets
US8577157B2 (en) Conditional replenishment for motion JPEG2000
US7721971B2 (en) Image processing system, image processing method and computer readable information recording medium
US7456844B2 (en) Image transmission method, computer-readable image transmission program, recording medium, and image transmission apparatus
JP4604851B2 (ja) 送信装置、受信装置、送信処理方法、受信処理方法、それらのプログラム
JP2007166013A (ja) 画像処理方式、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体
JP2004208266A (ja) 画像通信方法及びシステム
JP4773770B2 (ja) 画像処理システム、画像処理方法、プログラムおよび記録媒体
US6339659B1 (en) Fractal coding/decoding of picture data using memory capacity information
JP4174111B2 (ja) 符号化方法及び装置
JP2006086579A (ja) 画像処理装置、プログラム、及び記憶媒体
EP1552702A2 (en) Method and system for significance-based embedded motion-compensation wavelet video coding and transmission
JP2006185134A (ja) ネットワークシステム及び画像配信方法
Gormish et al. Tile-based transport of JPEG 2000 images
JP4024157B2 (ja) 電子情報伝達方法、ファクシミリ装置、情報処理装置、プログラム及び記憶媒体
JPH05207259A (ja) 画像切り出し処理方法

Legal Events

Date Code Title Description
NUG Patent has lapsed