FI124520B - Procedure and arrangement for synchronizing digital multimedia signals - Google Patents
Procedure and arrangement for synchronizing digital multimedia signals Download PDFInfo
- Publication number
- FI124520B FI124520B FI20095408A FI20095408A FI124520B FI 124520 B FI124520 B FI 124520B FI 20095408 A FI20095408 A FI 20095408A FI 20095408 A FI20095408 A FI 20095408A FI 124520 B FI124520 B FI 124520B
- Authority
- FI
- Finland
- Prior art keywords
- synchronization
- multimedia
- embedding
- signals
- signal
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
MENETELMÄ JA JÄRJESTELY DIGITAALISTEN MULTIMEDIASIGNAALIEN SYNKRONOIMISEKSIMETHOD AND ORDER FOR SYNCHRONIZING DIGITAL MULTIMEDIA SIGNALS
Keksinnön kohteena on patenttivaatimuksen 1 johdanto-osassa 5 esitetty menetelmä ja patenttivaatimuksen 7 johdanto-osassa esitetty järjestely digitaalisten multimediasignaalien synk-ronoimiseksi.The invention relates to a method as described in the preamble of claim 1 and to an arrangement described in the preamble of claim 7 for synchronizing digital multimedia signals.
Keksinnön pääkäyttökohteena on digitaalisen multimediaesityksen 10 synkronointi eli tahdistaminen. Keksinnön mukaiseen menetelmään ja järjestelyyn eli lyhyemmin keksinnön mukaiseen ratkaisuun kuuluu tällöin esimerkiksi se, miten erillisten multimediasignaalien tahdistustieto voidaan tallentaa, ylläpitää ja säilyttää multimediaesityksen luomishetkestä alkaen esityshetkeen 15 asti. Keksinnön mukaista ratkaisua voidaan soveltaa kaikilla osa-alueilla, joissa tarvitaan digitaalista ääntä, kuvaa tai muuta multimediadataa. Tällaisia osa-alueita ovat esimerkiksi Internetin videopalvelut, videoneuvottelu, digitaalitelevisio, elokuvat, audiovisuaaliset viestit, ym. Keksintöä voidaan hel-20 posti käyttää rinnakkain esimerkiksi jo olemassa olevien standardien ja menetelmien kanssa, joita ovat esimerkiksi MPEG-2, MPEG-4, DVB, HDTV, DVD, VCD, jne.The main object of the invention is the synchronization or synchronization of the digital multimedia presentation 10. The method and arrangement according to the invention, i.e. the solution according to the invention, for example, includes how the synchronization information of separate multimedia signals can be stored, maintained and stored from the moment of creation of the multimedia presentation to the moment of presentation. The solution of the invention can be applied in all areas where digital audio, video or other multimedia data is required. Such areas include, for example, Internet video services, videoconferencing, digital television, movies, audio-visual messaging, etc. The invention can be easily used in parallel with, for example, existing standards and methods such as MPEG-2, MPEG-4, DVB, HDTV, DVD, VCD, etc.
^ Digitaalinen multimediaesitys koostuu kahdesta tai useammasta o ° 25 erillisestä multimediasignaalista. Multimediasignaalit voivat i g sisältää eri tyyppistä multimediadataa, kuten esimerkiksi vi- i deokuvaa, musiikkia, puheääntä, yksittäisiä kuvia, kuvaustietoa g esityksen näkymästä, synteettisiä objekteja (esim. tietokone- Q.^ A digital multimedia presentation consists of two or more o 25 separate multimedia signals. Multimedia signals may include various types of multimedia data such as video, music, audio, single images, shooting information g from the view of the presentation, synthetic objects (e.g., computer-Q.
grafiikka), oheislaitteiden, kuten esimerkiksi valojen ja tuu-o J 30 lettimien ohjausdataa, ja niin edelleen. Laadukas multimedia- σ> o esitys vaatii, että erilliset multimediasignaalit pystytään c\j tahdistamaan täsmällisesti keskenään ja multimediasignaalit on pystyttävä esittämään oikeaan aikaan siten, että erilliset 2 multimediasignaalit koetaan kuuluvaksi samaan esitykseen. Tällöin tahdistetun signaalin sisältämän tiedon esittämisessä ei saa syntyä ihmisaistein havaittavia eikä häiritseviä viiveitä ja/tai katkoksia muihin tahdistettuihin signaaleihin nähden.graphics), control data for peripherals, such as lights and tuners, and so on. A high quality multimedia presentation requires that the separate multimedia signals be accurately synchronized with each other and that the multimedia signals must be rendered at the right time so that the separate multimedia signals are considered to belong to the same presentation. In this case, the presentation of the information contained in the synchronized signal shall not result in delays and / or interruptions in the sense of the human mind in relation to the other synchronized signals.
55
Tahdistukseen käytetty tieto on pystyttävä liittämään mukaan esitykseen esitystä luotaessa. Tahdistukseen tarvittava tieto on pystyttävä tallentamaan ja tiedon on säilyttävä multimediaesityksen tallennuksessa, kuten esimerkiksi Blu-ray-, DVD- ja 10 VCD-tallenteissa. Lisäksi tiedon on säilyttävä multimediaesityksen lähettämisen aikana eri tiedonvälityskanavia, esimerkiksi radiosignaaleita (esim. DVB-T) tai Internet-tekniikoita (esim. RTP, IP) hyödyntäen. Tahdistukseen käytetty tieto on pystyttävä myös tulkitsemaan vastaanottopäässä (esim. DVB-T 15 digisovitin) ja sitä on pystyttävä hyödyntämään esityksessä (esim. televisio) . Voidaan puhua niin sanotusta päästä päähän tahdistuksesta (end-to-end synchronization).The information used for pacing must be able to be included in the presentation when creating the presentation. You need to be able to record the information you need for pacing and store it in a multimedia presentation, such as Blu-ray, DVD, and 10 VCD recordings. In addition, information must be retained during the transmission of the multimedia presentation using various communication channels, for example, radio signals (e.g., DVB-T) or Internet technologies (eg, RTP, IP). The information used for synchronization must also be able to be interpreted at the receiving end (eg DVB-T 15 set-top box) and used in the presentation (eg television). One can talk about so-called end-to-end synchronization.
Digitaaliset multimediasignaalit pakataan eli tiivistetään 20 kullekin signaalille parhaiten soveltuvalla enkoodausmenetel- mällä esityksen tallentamista tai siirtoa varten. Koska enkoo- dausmenetelmät ovat toisistaan riippumattomia ja erillisiä, on signaalien välille kyettävä luomaan riippuvuussuhteita, esimer- ^ kiksi aikariippuvuus synkronointiin. Keksinnön avulla signaa- o ^ 25 lien vastinosien välille pystytään luomaan monella tavalla i ^ hyödynnettäviä riippuvuussuhteita. Tässä signaalin vastinosilla i ^ tarkoitetaan tiettyä aikaikkunaa vastaavia itsenäisiä osia eri signaaleista. Signaalin itsenäisellä osalla puolestaan tarkoi-Digital multimedia signals are compressed, i.e. compressed, by the most suitable encoding method for each signal for recording or transmission of a presentation. Since the encoding methods are independent and separate, it must be possible to establish dependencies between the signals, for example, time dependency for synchronization. The invention makes it possible to create exploitable dependencies between the signal counterparts. Here, the signal counterparts i ^ denote independent portions of different signals corresponding to a given time window. The independent part of the signal, in turn,
CLCL
_ tetaan tässä sitä, että se voidaan jatkokäsitellä, esimerkiksi oo o 30 pakata ja purkaa ilman tietoa signaalin muista osista. Aika-σ> g riippuvuussuhteiden lisäksi voidaan luoda monia muita hyödylli-It is stated here that it can be further processed, for example, o 30 can be compressed and decompressed without knowledge of other parts of the signal. In addition to the time-σ> g dependencies, many other useful-
C\JC \ J
siä riippuvuussuhteita joiden avulla järjestelmän toimintaa voidaan parantaa. Riippuvuussuhteet luodaan keksinnön mukaises 3 ti signaalien sisään eikä oheisinformaatioksi, kuten tunnetussa tekniikassa on tapana tehdä.dependencies that can improve the performance of the system. Dependencies are created within the signals of the invention and not as ancillary information as is known in the art.
Nykyisin käytössä olevat menetelmät hyödyntävät niin sanottua 5 aikaleima-tekniikkaa. Esimerkiksi MPEG-2 koodaussysteemissä äänen tai videokuvan esitysajankohta liitetään enkoodaussystee-min eli tallennuksen tai lähetyksen yhteydessä tiivistettyyn bittivirtaan. Enkoodaussysteemissä audio- tai videoenkooderin jälkeen ulostulo paketoidaan PES paketeiksi, joihin liitetään 10 otsikkokenttiin aikaleimat dekoodausta tai esittämistä varten. Aikaleimatut paketit limitetään eli multipleksataan bittivirraksi. Dekoodaussysteemin eli vastaanoton tai esityksen yhteydessä kyseisten aikaleimojen avulla pyritään saamaan äänen ja videokuvan esitysajat tahdistettua eli synkronoitua keskenään. 15 Dekoodaussysteemissä jaetaan eli demultipleksataan limitetyt paketit oikeille dekoodausoperaatioille. Ennen dekoodausta aikaleimat luetaan pakettien otsikkokentistä dekoodaussysteemin käyttöön.The methods currently in use utilize the so-called 5 time stamp technique. For example, in an MPEG-2 encoding system, the time at which an audio or video image is rendered is associated with an encoded system, i.e., a bit stream compressed during recording or transmission. In an encoding system, after the audio or video encoder, the output is packaged into PES packets, which are labeled with 10 time stamps for decoding or presentation. The time-stamped packets are interleaved or multiplexed into a bit stream. In the context of a decoding system, i.e. reception or presentation, these timestamps are intended to synchronize or synchronize the presentation times of audio and video. 15 In a decoding system, interleaved packets are distributed or demultiplexed for proper decoding operations. Before decoding, the timestamps are read from the packet header fields for use by the decoding system.
20 Siis ääni ja videokuva enkoodataan ja dekoodataan toisistaan erillään, mutta niiden välillä käytetään yleensä MPEG standardin (ISO/IEC 13818-1) tarjoamaa tapaa "liimata" ääni ja videokuva toisiinsa aikaleimojen avulla. Synkronoinnin on oltava ^ täsmällistä, jotta videon ja äänen voidaan koeta olevan samaa o ^ 25 esitystä.20 Thus, audio and video are encoded and decoded separately from each other, but they generally use the MPEG standard (ISO / IEC 13818-1) method of "gluing" audio and video to each other using timestamps. Synchronization must be accurate in order for video and audio to be considered as the same presentation.
ii
OO
^ Ratkaisu toimii yleensä varsin hyvin mikäli vastaanottopään dekoodaussysteemi saa vastaanotettua dataa riittävän tasaiseen^ The solution usually works quite well if the receiving end decoding system gets the received data sufficiently smooth
CLCL
tahtiin. Ongelmia aiheuttavat muun muassa viiveet ja huojunta o J 30 (jitter - viiveen vaihtelu) vastaanottopäässä. Ongelmat saatta en § vat aiheutua viiveiden vaihtelun lisäksi myös virheistä tiedon-pace. Problems include delays and sway o J 30 (jitter delay variation) at the receiving end. In addition to varying delays, problems may not only be caused by errors in the
C\JC \ J
siirtotiellä tai tallennusmedioissa. Uudet multimediapalvelut (esim. sisällön muokkaus tai skaalaus), multimedianesityksen 4 suoratoisto (streamaus), esityksen ominaisuuksien skaalaus tai koodauksen muuttaminen toiseen (transcoding) aiheuttavat lisää ongelmia. Ongelmat myös lisääntyvät, kun yritetään käyttää epäluotettavia tiedonsiirtokanavia, esimerkiksi Internet-yh-5 teyttä.on a transmission path or on storage media. New problems with new multimedia services (such as content editing or scaling), streaming of multimedia presentation 4, scaling of presentation features, or transcoding will cause further problems. Problems also increase when trying to use unreliable communication channels, such as Internet access.
Tunnetussa tekniikassa saattaa myös laitteistotasolla olla ongelmia muun muassa käytetyn kellon tarkkuudessa tai virheitä käytetyssä ohjelmistossa. Tämän tyyppisiä ajastusvirheitä on 10 havaittu Suomessakin liittyen digitaalisten televisiolähetysten tekstityksiin. Tässä tapauksessa voidaan melko varmasti olettaa, että televisioyhtiöiden lähetykset ovat virheettömiä ja standardin mukaisia eli tahdistusongelmat eivät yleensä aiheudu lähetyksestä. Virheet johtuvat usein vastaanottimesta. Sen 15 toteutuksessa on saatettu vähän "oikaista" yksityiskohdissa ja oletettu, että kaikki toimii moitteetta. Jos kyseessä on pelkkä ohjelmointivirhe, vika saadaan korjattua yleensä ohjelmistopäivityksellä.The prior art may also have hardware problems such as the accuracy of the clock used or errors in the software used. 10 of these types of timing errors have also been detected in Finland in connection with subtitles for digital television broadcasts. In this case, it can be assumed with certainty that the broadcasts are broadcast correctly and in accordance with the standard, that is, that sync problems are not usually caused by the broadcast. Errors are often caused by the receiver. Its 15 implementations may have done a little "tweaking" in the details and assumed that everything was working properly. In the case of a mere programming error, the problem can usually be corrected by a software update.
20 Lähitulevaisuudessa tulee multimediasovelluksia, jotka voivat sisältää nykyistä huomattavasti enemmän multimediasignaaleja.20 Multimedia applications that may contain significantly more multimedia signals will be available in the near future.
Esimerkiksi seuraavan sukupolven televisiot, joihin liittyviä sovelluksia ja tekniikoita maailmalla tutkitaan tälläkin het- kellä. Käsiteltävien signaalien määrän kasvaminen lisää myös o ° 25 vaatimuksia laitteiston suorituskyvylle ja muistinkulutukselle.For example, next-generation TVs, which are currently being researched for applications and technologies around the world. Increasing the number of signals to be processed also increases the o 25 requirements for hardware performance and memory consumption.
i § Videokuvan tarkkuus kasvaa, tulee stereovideolähetyksiä, mo- i ^ ninäkymälähetyksiä, monikanavaääniä, täysin uuden tyyppisiä multimediasignaaleja, jne. Tällaisessa tapauksessa yhden lait- Q.i § The resolution of the video image increases, there will be stereo video broadcasts, multi-screen broadcasts, multichannel audio, a whole new type of multimedia signals, etc. In such a case, a single Q.
m teiston tarjoamat resurssit voivat loppua kesken, joten on pys- o J 30 tyttävä jakamaan signaalien prosessointia usealle eri laitteis ta § tolle. Tarvitaan menetelmä, jolla kaikkien signaalien tahdista en minen onnistuu myös eri laitteistojen välillä jotain kommuni- 5 kointikanavaa pitkin. Voidaan puhua hajautetuista enkoodaus-tai dekoodaussysteemeistä.The resources provided by the m hardware may be exhausted, so status J 30 must be able to distribute signal processing to a plurality of devices. There is a need for a method whereby all the signals can also be synchronized between different equipment over a communication channel. One can talk about distributed encoding or decoding systems.
Ennestään tunnetaan myös kaksi kiinalaista patenttijulkaisua 5 nro CN1655616 ja nro CN1599464, joissa tahdistusongelmaa on yritetty ratkaista siten, että audio- ja videosignaalit yhdistetään toisiinsa niin sanotuksi hybridisignaaliksi, joka enkoo-dataan yhtä ja samaa enkooderia käyttäen. Näissä menetelmissä on kuitenkin useita puutteita, joista eräitä on esitetty tar-10 kemmin seuraavassa.Two Chinese Patent Nos. CN1655616 and CN1599464 are also known in the prior art, in which attempts have been made to solve the synchronization problem by combining audio and video signals into a so-called hybrid signal, which is encoded using the same encoder. However, these methods have several drawbacks, some of which are described in more detail below.
Molemmissa CN-patenteissa heikkoutena on tietynlainen ajatusvirhe. Äänisignaali ja videosignaali ovat ominaisuuksiltaan täysin erilaisia. Molemmissa menetelmissä äänisignaali yrite-15 tään yhdistää videosignaaliin ja käyttää videosignaalille suunniteltua enkoodausmenetelmää yhdistetyn hybridisignaalin pakkaamiseksi. Äänisignaalin liittäminen videosignaaliin on videosignaalia ajatellen kohinan (lähes satunnaisvirheen) lisäämistä videokuvaan. Videoenkooderi puolestaan on suunniteltu pakkaa-20 maan parhaiten videokuvaa, jossa on paljon samankaltaisuuksia. Se yrittää vähentää redundanssia spatiaali- ja temporaalitasos-sa.The weakness of both CN patents is a kind of clerical error. The audio signal and the video signal have completely different characteristics. In both methods, the audio signal is attempted to be combined with the video signal and uses an encoding method designed to compress the combined hybrid signal for the video signal. Attaching an audio signal to a video signal is to add noise (almost a random error) to the video image with the video signal. The video encoder, on the other hand, is designed to compress the best video in 20 countries with a lot of similarities. It attempts to reduce redundancy at the spatial and temporal levels.
Yhtenä ongelmana on, että enkoodausprosessi ei tuota CN-patent- G) o 25 tien esittämissä ratkaisuissa enää hyvää pakkaussuhdetta. To- dennäköisesti näillä menetelmillä yhdistetyn hybridisignaalin oOne problem is that the encoding process no longer produces a good compression ratio in the solutions presented by CN Patent No. 25. It is likely that these methods combine the hybrid signal o
Tt enkoodaaminen eli pakkaaminen tuottaa paljon suuremman bitti- x virran kuin se, että molemmille signaaleille käytettäisiin ccTt encoding, or compression, produces a much larger bit x current than using cc for both signals
CLCL
erikseen sopivaa enkoodausmenetelmää. oo ° 30 m o Ensimmäisessä kiinalaisessa patentissa nro CN1655616 esitetty o ^ menetelmä on virheellinen. Mikäli esitettyä menetelmää käyte tään ilman korjausta, niin sekä audio- että videodata korrup- 6 toituu. Äänessä ja kuvassa havaitaan virheitä. Menetelmän pystyisi kohtalaisen helposti korjaamaan ja täten virheet vältettäisiin, mutta signaalien laatu suhteessa pakkaustehokkuuteen kärsii joka tapauksessa huomattavasti.a separately suitable encoding method. oo 30 m o The oo method disclosed in the first Chinese patent No. CN1655616 is incorrect. If the method described is used without repair, both audio and video data will be corrupted. Audio and picture errors are detected. The method would be relatively easy to correct and thus avoid errors, but the quality of the signals in relation to the compression efficiency would in any case suffer considerably.
55
Toisessa kiinalaisessa patentissa nro CN1599464 esitetty menetelmä näyttää myös pahasti virheelliseltä. Näyttäisi siltä, että tässä menetelmässä joko audiodata tuhoutuu häviöllisessä kvantisointioperaatiossa tai vaihtoehtoisesti videokuvan laatu 10 kärsii huomattavasti.The method disclosed in another Chinese patent No. CN1599464 also appears to be grossly incorrect. It would appear that in this method, either audio data is lost in a lossy quantization operation or, alternatively, video image quality 10 is severely compromised.
CN-patenteissa esitetyt lähestymistavat voisi saada pienin muutoksin ja korjauksin toimimaan kohtalaisesti, jos audiodataa on vähän. Kuitenkin, jos audiodataa on paljon, niin joko videon 15 laatu tai pakkaustehokkuus kärsii huomattavasti ja paljon parempi lopputulos saavutettaisiin enkoodaamalla molemmat signaalit erikseen.The approaches presented in the CN patents could make modifications and corrections work moderately with low audio data. However, if there is a lot of audio data, either the video quality or compression efficiency will suffer significantly and a much better result would be achieved by encoding the two signals separately.
Tämän keksinnön tarkoituksena on poistaa edellä mainitut epä-20 kohdat sekä aikaansaada yksinkertainen ja varmatoiminen menetelmä ja järjestely digitaalisten multimediasignaalien tahdistamiseksi. Keksinnön mukaiselle menetelmälle on tunnusomaista se, mitä on esitetty patenttivaatimuksen 1 tunnusmerkkiosassa Φ ja vastaavasti keksinnön mukaiselle järjestelylle on tunnus ti) ° 25 omaista se, mitä on esitetty patenttivaatimuksen 7 tunnusmerk- i ^ kiosassa. Muille keksinnön sovellutusmuodoille on tunnusomaista i se, mitä on esitetty muissa patenttivaatimuksissa.It is an object of the present invention to eliminate the above-mentioned drawbacks and to provide a simple and reliable method and arrangement for synchronizing digital multimedia signals. The method according to the invention is characterized by what is set forth in the characterizing part of claim 1 and correspondingly the arrangement according to the invention is characterized by the character ti) ° 25 in the characterizing part of claim 7. Other embodiments of the invention are characterized by what is stated in the other claims.
i cci cc
CLCL
Keksinnön mukaisen ratkaisun etuja on esitetty seuraavassa.The advantages of the solution according to the invention are set out below.
S 30 O) o Keksintö mahdollistaa erilaisten riippuvuussuhteiden luomisenS 30 O) The invention makes it possible to create various dependencies
(M(M
toisistaan erillisten multimediasignaalien välille. Esimerkkinä mainittakoon aikariippuvuus, jota voidaan käyttää multime- 7 diasignaalien tahdistettua esittämistä varten. Keksintö mahdollistaa muun muassa tarkemman, joustavamman ja vikasietoisemman tavan toteuttaa multimediaesitykseen kuuluvien multimediasig-naalien keskinäinen tahdistaminen esitystä varten. Menetelmä 5 mahdollistaa myös monia muita sovellukselle hyödyllisiä lisäominaisuuksia. Toisaalta keksintöä voidaan hyödyntää monella muullakin tavalla. Sen avulla on mahdollista liittää yhteen tai useampaan signaaliin sovellukselle arvokasta lisäinformaatiota. Lisäinformaation avulla eri sovelluksiin voidaan suunnitella 10 helposti toiminnallisuutta ja/tai ominaisuuksia, joiden toteuttaminen ilman keksintöä olisi todella vaivalloista. Esimerkkinä näistä sovelluksista voidaan mainita kuormantasaus, multimediaesityksen pikakelaus, multimediasignaalien priorisointi, jne.between separate multimedia signals. An example is the time dependence that can be used for synchronous display of multimedia signals. Among other things, the invention provides a more accurate, flexible, and fault-tolerant way of performing the synchronization of multimedia signals included in a multimedia presentation for presentation. Method 5 also provides many other additional features useful to the application. On the other hand, the invention can be utilized in many other ways. It makes it possible to append additional information valuable to the application to one or more signals. With the help of additional information, it is easy to design functionalities and / or features for various applications, which would be extremely difficult to implement without the invention. Examples of these applications include load balancing, fast forwarding of multimedia presentation, prioritization of multimedia signals, etc.
15 Etuna on myös se, että keksintöä voidaan käyttää itsenäisesti sellaisenaan tai jo olemassa olevien standardien menetelmien kanssa rinnakkain. Jälkimmäisessä tapauksessa keksintö tarjoaa muun muassa lisää joustavuutta ja vikasietoisuutta sovellukselle. Se voi parantaa tai varmentaa sovelluksen tarjoamia palve-20 luja tai helpottaa lisätoiminnallisuuksien toteuttamista. Keksintöä voidaan käyttää kaikissa muissakin sovelluksissa jotka hyödyntävät multimediadataa. Sovellus voi olla jo olemassa, tulossa tai vielä kehitteillä.It is also an advantage that the invention can be used independently as such or in parallel with existing standard methods. In the latter case, the invention provides, among other things, greater flexibility and fault tolerance to the application. It can improve or certify the service 20 capabilities provided by the application or facilitate the implementation of advanced functionality. The invention can also be used in all other applications utilizing multimedia data. The application may already exist, is coming, or is still under development.
o o ^ 25 Keksintö mahdollistaa tarkemman ja varmemman toteutustavan i g multimediaesityksen tahdistamiseen eli synkronointiin. Menetel-The invention provides a more accurate and reliable implementation for synchronizing or synchronizing a multimedia presentation. methods
JJ
^ män tarjoama lisäinformaatio on erityisen hyödyllinen tilan- teissä, joissa standardit menetelmät pettävät esimerkiksi mul- Q_ φ timediaesityksen siirrossa tapahtuvien virheiden tai viiveiden o 30 seurauksena tai vaihtoehtoisesti ohjelmisto- tai laitteistovir- σ> § heiden takia.The additional information provided by the software is particularly useful in situations where standard methods fail, for example, due to errors or delays in the transmission of a multi-Q_ φ timedia presentation or, alternatively, due to software or hardware errors σ> §.
C\JC \ J
88
Keksintö tarjoaa myös tunnettua tekniikkaa tarkemman, joustavamman, varmemman ja vikasietoisemman tavan toteuttaa tahdistus multimediaesityksen eri osien (esim. audion ja videon) välille, sekä ratkaisee ongelmia, joita uudet multimediasovellukset 5 saattavat aiheuttaa aikaleima-tekniikkaa hyödyntävälle audion ja videon synkronoinnille. Keksintö mahdollistaa myös monia hyödyllisiä lisäpalveluita. Se ei sulje pois standardien synkronointimenetelmien hyödyntämistä ja sitä voidaan käyttää myös niiden kanssa rinnakkain, kuten aikaisemmin on jo mainittu.The invention also provides a more accurate, flexible, secure and fault-tolerant technique than the prior art for performing synchronization between different parts of a multimedia presentation (e.g. audio and video) and solves the problems that new multimedia applications 5 may pose for audio and video synchronization using timestamp technology. The invention also provides many useful additional services. It does not exclude the use of standard synchronization methods, and it can also be used in parallel with them, as already mentioned.
1010
Todella tärkeä etu keksinnölle on sen yhteensopivuus standardien ja jo olemassa olevien menetelmien kanssa. Keksinnön ei tarvitse yrittää korvata vanhoja menetelmiä vaan sovelluksen suunnittelijat ja kehittäjät voivat ottaa sen halutessaan käyt- 15 töön. Mikäli keksinnön kanssa käytetään standardia koodausmenetelmää, joudutaan standardiin menetelmään tekemään yleensä pieni muutos, jotta riippuvuussuhteet saadaan luotua eri signaalien välille.A very important advantage of the invention is its compatibility with standards and existing methods. The invention does not have to try to replace the old methods, but application designers and developers can adopt it if they wish. If the standard coding method is used with the invention, it will usually be necessary to make a small change to the standard method in order to establish dependencies between different signals.
20 Yhteensopivuus saadaan aikaan, kun keksinnön mukainen upotus- operaatio toteutetaan siten, ettei signaalin jatkokäsittely enkoodausprosessissa muutu. Tällöin enkoodausprosessi tuottaa edelleen standardin mukaisen bittivirran, joka voidaan dekooda-Compatibility is achieved when the embedding operation of the invention is carried out so that the further processing of the signal in the encoding process is not changed. The encoding process then produces a standard bit stream that can be decoded
Qj ta kaikilla standardin mukaisilla dekoodausprosesseilla. Näin o ^ 25 ollen jo olemassa olevat dekoodausprosessit eivät tarvitse i ^ muutoksia. Dekoodausprosessiin on toki tehtävä pieni muutos i ^ niissä tapauksissa, joissa halutaan hyödyntää keksinnön tarjoaja maa toiminnallisuutta.Qj through all standard decoding processes. Thus, already existing decoding processes do not require changes. Of course, the decoding process must be slightly modified in those cases where it is desired to utilize the functionality provided by the inventor.
Q.Q.
00 o 30 Keksintöä voidaan käyttää myös täysin itsenäisesti, ilman jo σ> g olemassa olevia synkronointimenetelmiä. Tässä tapauksessa upo-The invention can also be used in complete independence, without the use of existing synchronization methods σ> g. In this case,
CMCM
tus- ja tunnistusmenetelmät voidaan toteuttaa paljon vapaammin, 9 koska yhteensopivuutta standardien menetelmien kanssa ei vaadita.Detection and identification methods can be implemented much more freely 9 as compatibility with standard methods is not required.
Keksinnön mukaisesti käytetyn synkronointiosoittimen vaatima 5 tietomäärä on todella pieni, joten se on helppo upottaa useisiin erilaisiin signaaleihin siten, ettei signaalin laatu oleellisesti heikkene. Mitä tiheämmin synkronointiosoittimia upotetaan sitä varmemmin virhetilanteista pystytään toipumaan ja sitä tarkemmin signaalit voidaan tahdistaa keskenään. Pienen 10 tietomäärän ansiosta multimediaesitykseen voidaan signaalien välisen tahdistuksen lisäksi luoda muitakin lisäarvoa antavia riippuvuussuhteita, esimerkiksi priorisointi.The amount of data required by the synchronization pointer 5 used in accordance with the invention is really small, so it is easy to embed it in a variety of different signals without substantially reducing the quality of the signal. The more often the synchronization pointers are embedded, the more likely it is that errors will be recovered and the more accurate the signals can be synchronized. Due to the small amount of data 10, there can be added value additions, such as prioritization, to the multimedia presentation in addition to signal synchronization.
Virhetilanteissa tahdistustietoa voidaan yrittää etsiä riippu-15 vuussuhteiden avulla myös toisista signaaleista. Perinteisissä menetelmissä esitysaikatieto saadaan aikaleimoista. Tässä uudessa menetelmässä esitysaikatieto voidaan saada esimerkiksi synkronointiosoittimien hyötykuormasta, signaalien ominaisuuksista (esim. käytetty näytteistys), toisista signaaleista, 20 olemassa olevista aikaleimoista tai olemassa olevista otsikkokentistä, ja niin edelleen.In case of errors, it is also possible to try to search for synchronization information from other signals using dependencies. In conventional methods, the time stamp information is obtained from time stamps. In this new method, presentation time information may be obtained, for example, from the payload of the synchronization pointers, the properties of the signals (e.g., the sampling used), other signals, existing timestamps, or existing header fields, and so on.
Keksinnön etu tulevaisuuden kannalta on myös sen skaalautuvuus jjj erilaisten sovellusten tarpeisiin. Sitä voidaan hyödyntää sekä 0 ^ 25 pienissä laitteissa, kuten videokamerat ja mobiililaitteet että i § suurissa järjestelmissä, kuten esimerkiksi hajautetut koodaus- i ^ systeemit.An advantage of the invention for the future is also its scalability to the needs of various applications. It can be utilized both in small devices such as camcorders and mobile devices and in large systems such as distributed coding systems.
cccc
CLCL
jjq Keksinnön edut standardien menetelmien kanssa käytettynä: o J 30 · toisen tason synkronointi (lisää tarkkuutta ja vikasietoi- cn § suutta)jjq Advantages of the invention when used with standard methods: o J 30 · Second-level synchronization (increases accuracy and fault tolerance)
CUCU
• lisätoiminnallisuutta/lisäominaisuuksia helppo toteuttaa 1 kommunikointimahdollisuus synkronointiyksiköiden välillä 10• extra functionality / features easy to implement 1 communication capability between synchronization units 10
Edut itsenäisesti käytettynä: • ei tarvita standardien menetelmien paketointeja eli voidaan pienentää signaalien paketoinnin otsikkokenttien aiheuttamaa 5 ylikuormaa. Otsikkokenttiä ei välttämättä tarvita, jos tah-distustieto kulkee signaalin sisällä.Advantages when used independently: • No standard method wrapping is required, which can reduce the 5 overload caused by the header fields of the signal wrapping. The header fields may not be needed if the synchronization information passes within the signal.
• mitä vähemmän tarvitaan datan kapselointia otsikkokenttien sisään koodausprosessin eri vaiheissa sitä vähemmän tarvitsee käyttää bittejä esityksen tallennukseen tai siirtoon.• The less data encapsulation required in the header fields at different stages of the encoding process, the less need to use bits for storing or transmitting the presentation.
10 · mobiilisovelluksissa ja matalan bittivirran sovelluksissa tietyt standardit voivat kuormittaa otsikkokentillään varsin paljon kokonaisbittivirtaa • joustava tahdistaminen ja skaalautuvuus pienistä sovelluksista järeisiin ammattilaissovelluksiin.10 · In mobile and low bitstream applications, certain standards can load quite a bit of total bitstream in their header fields • Flexible synchronization and scalability from small applications to robust professional applications.
1515
Seuraavassa keksintöä selostetaan yksityiskohtaisemmin yhden sovellutusesimerkin avulla viittaamalla oheisiin piirustuksiin, joissa 20 kuvio 1 esittää yksinkertaistettuna kaaviokuvana eräs tä tunnetun tekniikan mukaista menetelmää mul-timediasignaalien enkoodaamiseksi, kuvio 2 esittää yksinkertaistettuna kaaviokuvana eräs- jjj tä tunnetun tekniikan mukaista menetelmää mul- o g 25 timediasignaalien dekoodaamiseksi, i g kuvio 3 esittää yksinkertaistettuna kaaviokuvana eräs- i ^ tä menetelmää multimediasignaalien enkoodaami- ^ seksi, jossa menetelmässä sovelletaan keksin- 0.In the following, the invention will be explained in more detail by way of one embodiment, with reference to the accompanying drawings, in which: FIG. Figure 3 is a simplified diagrammatic representation of a method for encoding multimedia signals in which the invention is applied.
„ nön mukaista ratkaisua, oo o "5 30 kuvio 4 esittää yksinkertaistettuna kaaviokuvana eräs-Figure 4 shows a simplified diagram of an
lo Jlo J
CDCD
g tä menetelmää multimediasignaalien dekoodaami- c\j seksi, jossa menetelmässä sovelletaan keksinnön mukaista ratkaisua, 11 kuvio 5 esittää yksinkertaistettuna kaaviokuvana kek sinnön mukaista upotusyksikköä ja enkoodaus-vaiheen synkronointiyksikköä, kuvio 6 esittää yksinkertaistettuna kaaviokuvana kek- 5 sinnön mukaista tunnistusyksikköä ja dekooda usvaiheen synkronointiyksikköä, kuvio 7 esittää yksinkertaistettuna kaaviokuvana eräs tä enkooderia, jossa käytetään keksinnön mukaista ratkaisua ja 10 kuvio 8 esittää erästä synkronointitiedon upotusmene telmää .Fig. 5 is a simplified diagrammatic representation of an embedding unit and an encoding phase synchronization unit; Fig. 7 is a simplified diagrammatic view of an encoder using the solution of the invention; and Fig. 8 is a representation of a synchronization data embedding method.
Kuten aikaisemmin on mainittu, keksinnön pääkäyttökohteena voidaan ajatella olevan digitaalisen multimediaesityksen synk-15 ronointi eli tahdistaminen. Tarkoituksena on tällöin, että erillisten multimediasignaalien tahdistustieto voidaan tallentaa, ylläpitää ja säilyttää multimediaesityksen luomishetkestä alkaen esityshetkeen asti.As mentioned earlier, the main object of the invention can be thought of as synchronization or synchronization of a digital multimedia presentation. The purpose here is that the synchronization information of the individual multimedia signals can be stored, maintained and retained from the moment of creation of the multimedia presentation to the moment of presentation.
20 Kuviossa 1 on esitetty yksinkertaistettuna kaaviokuvana tunnetun MPEG-2 standardin mukainen menetelmä multimediasignaalien enkoodaamiseksi. Kuviossa on esitetty videosignaalin 1 ja audiosignaalin 2 enkoodaaminen. Videosignaali 1 enkoodataan eli ^ pakataan aluksi erikseen videoenkooderilla 3 ja audiosignaali 2 o ^ 25 audioenkooderilla 4. Tämän jälkeen enkoodattu videosignaali 1 i g pilkotaan ja paketoidaan videopaketeiksi la (Video PES) ja i ^ enkoodattu audiosignaali audiopaketeiksi 2a (Audio PES). Pakein toinnin yhteydessä jokaisen paketin la ja 2a yhteyteen liite- □_ _ tään otsikkodataa, joka sisältää mm. aikatiedon, jonka avulla 00 J o J 30 signaalit voidaan synkronoida niitä purettaessa. Lopuksi molem- σ> o mat paketit yhdistetään yhdeksi bittivirraksi multiplekserin 5a c\j tai 5b avulla. Bittivirtaa yhdistettäessä siitä tehdään tyypiltään joko ohjelmavirta 6a (Program Stream eli PS) tai siirto- 12 virta 6b (Transport Stream eli TS) riippuen siitä miten sitä on tarkoitus käyttää. Esimerkiksi DVD-levylle tallennettava data on tyypiltään PS ja digi-tv-lähetys TS.Figure 1 is a simplified diagrammatic representation of a method for encoding multimedia signals according to a known MPEG-2 standard. The figure shows the encoding of the video signal 1 and the audio signal 2. The video signal 1 is first encoded, i.e., initially compressed separately by the video encoder 3 and the audio signal 2 0-25 by the audio encoder 4. Thereafter, the encoded video signal 1 g is decomposed and packaged into video packets 1a (Video PES) and i encoded audio signal. Each packet la and 2a is accompanied by header data containing, e.g. time information that allows the 00 J to J 30 signals to be synchronized when decoded. Finally, both packets are combined into a single bit stream by the multiplexer 5a c \ j or 5b. When bit stream is combined, it is made either of program stream 6a (Program Stream or PS) or transmission stream 6b (Transport Stream or TS) depending on how it is to be used. For example, the data to be recorded on a DVD is of the PS type and digital TV broadcast TS.
5 Kuviossa 2 on esitetty yksinkertaistettuna kaaviokuvana tunnetun MPEG-2 standardin mukainen menetelmä multimediasignaalien dekoodaamiseksi. Aluksi purettavasta datavirrasta (PS tai TS) erotellaan eri videopaketit la ja audiopaketit 2a demultiplek-serin 7 avulla. Tämän jälkeen videopaketit la dekoodataan vi-10 deodekooderin 9 avulla ja audiopaketit audiodekooderin 10 avulla. Pakettien otsikkodatassa olevien aikatietojen sekä aikaoh-jaimen 8 avulla signaalit saadaan synkronoitua, jolloin ulostu-levat videokuva 11 sekä ääni 12 toistuvat keskenään oikea-aikaisesti.Figure 2 is a simplified diagrammatic representation of a method for decoding multimedia signals according to a known MPEG-2 standard. Initially, the different video packets 1a and the audio packets 2a are separated from the data stream (PS or TS) to be decoded by means of a demultiplexer 7. The video packets la are then decoded by the vi-10 decoder 9 and the audio packets la by the audio decoder 10. The time information in the packet header data and the time controller 8 allow the signals to be synchronized, whereby the output video image 11 and the audio 12 are repeated in a timely manner.
1515
Kuviossa 3 on esitetty yksinkertaistettuna kaaviokuvana menetelmä multimediasignaalien enkoodaamiseksi, jossa menetelmässä käytetään keksinnön mukaista ratkaisua signaalien tahdistamiseksi. Menetelmä on muuten samanlainen kuin tunnettu MPEG-2-en-20 koodaus, joka kuvattiin kuviossa 1, lukuun ottamatta synk-ronointitietojen lisäämistä itse multimediasignaaleihin. Tässä menetelmässä käytetään synkronointiyksikköä 25, joka saa video-enkooderilta 23 ja audioenkooderilta 24 tarvittavat tiedot, o, joiden avulla se määrittää synkronointitiedot ja palauttaa ne o ^ 25 enkoodereille. Videoenkoodereissa 23 on kuvasignaalin upotusyk- i ^ sikkö 26a ja audioenkooderissa 24 on äänisignaalin upotusyksik- i ^ kö 26b. Upotusyksiköt 26a ja 26b upottavat synkronointitiedot multimediasignaaleina oleviin datasignaaleihin 21 ja 22. Synk-Figure 3 is a simplified diagrammatic representation of a method for encoding multimedia signals using a solution of the invention to synchronize signals. The method is otherwise similar to the known MPEG-2-en-20 encoding described in Figure 1, except for the addition of synchronization information to the multimedia signals themselves. This method employs a synchronization unit 25, which obtains from the video encoder 23 and the audio encoder 24 the necessary information, o by which it determines the synchronization information and returns it to the encoder. The video encoders 23 have an image signal embedding unit 26a and the audio encoder 24 has an audio signal embedding unit 26b. The embedding units 26a and 26b embed synchronization data into data signals 21 and 22 as multimedia signals.
CLCL
ronointitietojen upottaminen signaaleihin on kuvattu tarkemmin o J 30 jäljempänä. Upotuksen jälkeen signaalit pilkotaan paketeiksi σ> § 21a ja 22a ja paketit yhdistetään bittivirraksi 28a tai 28b C\1 multiplekserin 27a tai 27b avulla.the embedding of the ronation data into the signals is described in more detail below o J 30. After embedding, the signals are decomposed into packets σ> § 21a and 22a and the packets are combined into bit streams 28a or 28b by means of a C 1 multiplexer 27a or 27b.
1313
Kuviossa 4 on esitetty yksinkertaistettuna kaaviokuvana tunnetun MPEG-2 standardin mukainen menetelmä multimediasignaalien dekoodaamiseksi, jossa menetelmässä käytetään keksinnön mukaista ratkaisua signaalien tahdistamiseksi. Aluksi purettavasta 5 datavirrasta (PS tai TS) erotellaan eri videopaketit 21a ja audiopaketit 22a demultiplekserin 29 avulla. Tämän jälkeen videopaketit 21a dekoodataan videodekooderin 31 avulla ja audiopaketit 22a audiodekooderin 32 avulla. Dekoodereissa on tunnistusyksiköt 33a ja 33b, jotka purkavat paketteihin upote-10 tut synkronointitiedot ja lähettävät ne synkronointiyksikölle 34. Synkronointiyksikön 34 sekä aikaohjaimen 30 avulla signaalit saadaan synkronoitua, jolloin ulostulevat videokuva 35 sekä ääni 36 toistuvat keskenään oikea-aikaisesti.Fig. 4 is a simplified diagrammatic representation of a method for decoding multimedia signals according to the known MPEG-2 standard, which method utilizes a solution of the invention to synchronize signals. Initially, the demultiplexer 29 separates the different video packets 21a and the audio packets 22a from the 5 data streams (PS or TS) to be decoded. The video packets 21a are then decoded by the video decoder 31 and the audio packets 22a by the audio decoder 32. The decoders include recognition units 33a and 33b, which decode the synchronization data embedded in the packets 10 and send it to the synchronization unit 34. The synchronization unit 34 and the time controller 30 allow the signals to be synchronized, thereby reproducing the output video 35 and audio 36.
15 Kuviossa 5 on esitetty yksinkertaistettuna kaaviokuvana keksin-nönmukainen upotusyksikkö 26a, 26b sekä enkoodausvaiheen synk- ronointiyksikkö 25. Videosignaalin upotusyksikössä 26a ja audiosignaalin upotusyksikössä 26b on upotusvälineet 37, joiden avulla upotusyksikössä 26a, 26b käsiteltävää multimediasignaa- 20 Iin palaa 21b muutetaan siten, että synkronointiyksiköltä 25 saatava synkronointiosoitin 38 saadaan upotetuksi signaalin palaan 21b. Signaalin palaan 21b tehdyt muutokset siis kuvaavat synkronointiosoittimen 38 sisältämää informaatiota. Upotusväli- jjj neet 3 7 ovat eri signaalityypeille erilaiset. Tietylle signaa- o ^ 25 lityypille on oltava kyseiselle signaalityypille sopivat upo- i ^ tusvälineet. Upotusyksikkö 26a, 26b kommunikoi siis synkronoin- ^ tiyksikön 25 kanssa pyytäen siltä esimerkiksi uutta synkronointi tiosoitinta 38 upotettavaksi tai lupaa jatkaa enkoodaustoimen- Q.Figure 5 is a simplified diagrammatic view of the inventive embedding unit 26a, 26b and the encoding step synchronization unit 25. The video signal embedding unit 26a and the audio signal embedding unit 26b are provided with embedding means 37 which enable the multimedia The resulting synchronization pointer 38 is embedded in the signal piece 21b. Thus, the changes made to the signal piece 21b illustrate the information contained in the synchronization pointer 38. The embedding spacers 3 to 7 are different for different signal types. For a given signal type, there must be submersible means suitable for that signal type. Thus, the embedding unit 26a, 26b communicates with the synchronization unit 25, for example, by requesting it to embed a new synchronization pointer 38 into the embedding unit, or to allow it to continue the encoding operation.
piteitä ilman uutta synkronointiosoitinta 38. Synkronoin-o J 30 tiosoittimia 38 ei välttämättä laiteta joka kohtaan, vaan aino- σ> § astaan synkronointiyksikön 25 ehdottamiin kohtiin. Upotusyksi- c\j kön 26a, 26b käsittelyn jälkeen muokattu signaalin pala 21c lähetetään eteenpäin.without the new synchronization pointer 38. The sync pointer 38 is not necessarily placed everywhere, but only at the points suggested by the synchronization unit 25. After processing the embedding unit 26a, 26b, the edited signal piece 21c is transmitted.
1414
Synkronointiyksikkö 25 siis tahdistaa eri enkoodausprosessit toimimaan samanaikaisesti. Se saa synkronointiin tarvittavan aikatiedon 40 joko ulkopuolisesta lähteestä tai järjestelmään 5 sisältyvän kellon ajasta. Synkronointiyksikköön 25 sisältyy synkronointivälineet 39, joiden avulla itse synkronointi tapahtuu. Synkronointivälineet 39 käyttävät yleisesti tunnettuja menetelmiä erityyppisten signaalien synkronointiin. Synkronointivälineet 39 voivat esimerkiksi viivästyttää tiettyjen enkoo-10 derien etenemistä siihen asti, kunnes hitaammat enkooderit ovat päässeet samaan vaiheeseen. Ne voivat myös antaa enemmän las-kenta-aikaa hitaammille enkoodereille, esimerkiksi videoenkoo-dereille. Synkronointiyksikkö 25 voi sisältää lisäksi kommunikointivälineet 41, joiden avulla se voi olla yhteydessä muihin 15 synkronointiyksiköihin, jos järjestelyssä sellaisia käytetään. Kommunikointi on tarpeellista silloin, kun synkronointiyksiköi-tä 25 on käytössä enemmän kuin yksi.Thus, the synchronization unit 25 synchronizes the various encoding processes to operate simultaneously. It receives the synchronization time information 40 either from an external source or from the clock in system 5. The synchronization unit 25 includes synchronization means 39 by means of which the synchronization itself takes place. Synchronization means 39 utilizes generally known methods for synchronizing different types of signals. For example, the synchronization means 39 may delay the progress of certain enco-10 derivatives until the slower encoders have reached the same stage. They can also give more computation time to slower encoders, such as video encoders. The synchronization unit 25 may further include communication means 41 to enable it to communicate with other synchronization units 15, if used in the arrangement. Communication is necessary when more than one of the synchronization units 25 is in use.
Kuviossa 6 on esitetty yksinkertaistettuna kaaviokuvana keksin- 20 nonmukainen tunnistusyksikkö 33a, 33b sekä dekoodausvaiheen synkronointiyksikkö 34. Videotunnistusyksikössä 33a ja audio- tunnistusyksikössä 33b on tunnistusvälineet 42, joiden avulla signaalin palaan upotettu informaatio eli synkronointiosoitin ^ voidaan tunnistaa ja lukea käsiteltävänä olevasta signaalin o ^ 25 palasta 21d. Synkronointiosoittimen informaatio välitetään i g synkronointiyksikölle 34, jossa on synkronointivälineet 43 eri i signaalien synkronoimiseksi. Tunnistusyksikkö 33a, 33b ja synkin ronointiyksikkö 34 kommunikoivat keskenään siten, että tunnis- Q.Fig. 6 is a simplified diagrammatic view of the identification unit 33a, 33b according to the invention and the synchronization unit 34 of the decoding step. The video identification unit 33a and the audio identification unit 33b have identification means 42 for detecting and reading the inbuilt information 21d. The synchronization pointer information is transmitted to the g synchronization unit 34 having synchronization means 43 for synchronizing the various signals i. The recognition unit 33a, 33b and the dark climbing unit 34 communicate with each other so that the identification Q.
tusyksikkö lähettää synkronointiyksikölle synkronointiosoitti- o . . , , 30 mia 38 ja ellei synkronomtiosoitmta ole kyseisellä hetkellä O) , o annettavana, tunnistusyksikkö 33a, 33b voi pyytää synkronoin ee tiyksiköltä 34 lupaa jatkaa dekoodaustoimenpiteitä. Synkronointiyksikkö 34 antaa luvan jatkaa dekoodausta ja voi myös pyytää 15 tietyissä tapauksissa, että dekoodausprosessi, johon tunnis-tusyksikkö on liitetty lopettaa toimintansa. Tällainen pyyntö voi olla tarpeen esimerkiksi sovelluksissa, joissa ei ole käytössä riittävästi laskentatehoa jokaisen signaalin dekoodaami-5 seen, jolloin voidaan dekoodata vain osa signaaleista.the synchronization unit sends the synchronization pointer o to the synchronization unit. . ,, 30 mia 38, and if the synchronization address is not present at time O), o to be provided, the identification unit 33a, 33b may request from the synchronization unit 34 to continue its decoding operations. The synchronization unit 34 permits permission to continue decoding and may also request in certain cases that the decoding process to which the authentication unit is connected terminate. Such a request may be necessary, for example, in applications that do not have sufficient computing power to decode each signal, whereby only a portion of the signals can be decoded.
Synkronointiyksikkö 34 voi sisältää lisäksi kommunikointivälineet 44, joiden avulla se voi olla yhteydessä muihin synk-ronointiyksiköihin, jos järjestelyssä sellaisia käytetään. 10 Lisäksi synkronointiyksikkö 34 voi välittää esitysaikatietoa 45 ulkopuolisten operaatioiden käyttöön, jos sellaiselle on tarvetta .The synchronization unit 34 may further include communication means 44 to enable it to communicate with other synchronization units, if used in the arrangement. In addition, synchronization unit 34 may transmit presentation time information 45 for use by external operations if required.
Kuviossa 7 on esitetty yksinkertaistettuna kaaviokuvana yksi 15 osa kuvamateriaalia pakkaamaan soveltuvan enkooderin toiminnoista, jossa enkooderissa käytetään keksinnön mukaista menetelmää. Kuvadatan kuvapisteet eli pikselit on yleensä esitetty RGB-väriavaruudessa. Usein suoritetaan aluksi väriavaruuden muunnos RGB-avaruudesta YCbCr-avaruuteen, jonka jälkeen teh- 20 dään krominanssikomponettien Cb ja Cr alinäytteistys. Tämän jälkeen käsiteltävä kuvamateriaali paloitellaan segmentointi-vaiheessa 46 tietyn kokoisiin lohkoihin. Jokainen värikompo-nentti Y, Cb ja Cr käsitellään erikseen KxL pisteen lohkoina, ^ jossa K on lohkon korkeus ja L lohkon leveys. Yleisimmin käy- o ^ 25 tetty lohkokoko on nykyään 8x8 kuvapistettä. Jokainen signaalin i g pala muodostuu yhdestä tai useammasta lohkosta. Segmentoinnin i ^ jälkeen jokaiselle KxL kuvapisteen lohkolle tehdään diskreetti g kosinimuunnos 47, jonka avulla käsiteltävästä lohkosta saadaan jokaiselle kuvapisteelle lasketut muunnoskertoimet.Fig. 7 is a simplified diagrammatic view of one of the functions of an encoder suitable for compressing image material, wherein the encoder utilizes the method of the invention. The pixels or pixels of image data are usually displayed in RGB color space. Often a color space conversion from RGB to YCbCr is performed first, followed by sub-sampling of the chrominance components Cb and Cr. Thereafter, the image material to be processed is segmented in segment 46 into blocks of a certain size. Each color component Y, Cb, and Cr is treated separately as KxL point blocks, where K is the height of the block and L is the width of the block. The most commonly used block size today is 8x8 pixels. Each piece of signal i g consists of one or more blocks. After segmentation i ^, each block of KxL pixels is subjected to a discrete g cosine transform 47, by which the transform coefficients calculated for each pixel are obtained from the block being processed.
S 30 σ> § Tämän jälkeen tehdään muunnoskertoimien kvantisointi 48, jol- c\j loin suurin osa muunnoksen tuottamista kertoimista nollaantuu. Seuraavaksi suoritetaan synkronointitiedon ja mahdollisen muun 16 hyötykuormatiedon upotus upotusyksikön 26a ja synkronointiyksi-kön 25 avulla. Lopuksi tehdään zigzag-skannaus 49, minkä jälkeen vielä muodostetaan 2-ulotteinen juoksunpituuskoodi sekä entropiakoodausvaiheessa 50 kirjoitetaan esimerkiksi 2-ulottei-5 set koodiparit Huffman-koodeina tai vastaavina bittivirtaan. Upotusvaihe on sijoitettu kvantisointivaiheen 48 jälkeen sen takia, koska kvantisoinnissa on paljon häviötä. Jos upotus tehtäisiin sitä ennen, kvantisointi voisi muuttaa dataa niin, että dekoodausvaiheessa synkronointidataa ei enää tunnistettai-10 si. Jos upotus halutaan tehdä ennen kvantisointia, on huomioitava, että upotettu informaatio säilyy kvantisoinnin yli. Tämä voidaan toteuttaa muuttamalla hieman upotusmenetelmää. Sen sijaan upotusvaihe voidaan tehdä hyvin myös zigzag-skannauksen 49 jälkeen, jolloin häviöongelmaa ei ole. Synk-15 ronointiosoittimen 38 upotus on kuitenkin tehtävä viimeistään ennen dekoodausvaihetta.S 30 σ> § Subsequently, quantization of the conversion coefficients 48 is performed, whereby most of the coefficients produced by the conversion are reset. Next, embedding of the synchronization data and any other 16 payload information is performed by means of the embedding unit 26a and the synchronization unit 25. Finally, a zigzag scan 49 is performed, after which a 2-dimensional run length code is generated and, for example, in the entropy coding step 50, 2-dimensional code pairs are written as Huffman codes or the like in a bit stream. The embedding step is placed after the quantization step 48 because of the large amount of losses in quantization. If the embedding was done before that, the quantization could alter the data so that during the decoding step, the synchronization data would no longer be recognized. If embedding is desired prior to quantization, it must be noted that the embedded information is retained over quantization. This can be accomplished by slightly changing the immersion method. Instead, the embedding step can also be done well after a zigzag scan 49, where there is no loss problem. However, the Synk-15 climbing pointer 38 must be embedded at the latest before the decoding step.
Kuviossa 8 on esitetty yksi menetelmä, ns. Changing Parity-me-netelmä synkronointitiedon upottamiseksi multimediasignaaliin 20 eli tarkemmin multimediasignaalin palaan. Tässä menetelmässä on ideana muuttaa tarvittaessa laskettuja, nollasta poikkeavia muunnoskertoimia kohti nolla-arvoa joko parittomiksi tai parillisiksi luvuiksi riippuen upotettavasta informaatiosta, eli ^ esimerkiksi tässä tapauksessa synkronointiosoittimesta.Figure 8 shows one method, the so-called. Changing Parity method for embedding synchronization information in a multimedia signal 20, or more precisely in a piece of a multimedia signal. In this method, the idea is to convert the calculated non-zero conversion factors, if necessary, toward a zero value, either odd or even, depending on the information to be embedded, i.e., in this case, the synchronization pointer.
o o 2 5o o 2 5
CMCM
g Esimerkin mukainen upotusmenetelmä lisää binääri-informaatiota i ^ yhden bitin muunnoskerrointa kohti. Muunnoskertoimista tärkein g on ensimmäinen, eli ns. DC-termi, koska se kuvaa koko KxL loh-g The embedding method in the example adds binary information i ^ per conversion factor of one bit. The most important of the conversion factors, g, is the so-called g. DC term because it describes the entire KxL loh-
CLCL
m kon painotettua keskiarvoa. Tästä syystä sitä ei haluta käyttää o 30 upotuksessa ja siksi menetelmässä käytetään ns. sovittua toi-σ> g mintaväliä [M, N], joka alkaa sovitusta M:nnestä kertoimestam weighted average. For this reason, it is not desired to be used for o 30 immersion and therefore the method utilizes so-called. agreed-to-σ> g sample interval [M, N] starting from the matched M-factor
CMCM
eli alkiosta eteenpäin ja jossa on sovittu määrä kertoimia N:nteen kertoimeen saakka. Tarve muuttaa muunnoskertoimia upo- 17 tuksen yhteydessä riippuu upotettavasta informaatiosta. Sovelluskohtaisesti tehdään sopimus siitä, mitä toimintaväliä [M, N] käytetään ja paljonko bittejä upotettava synkronointiosoitin sisältää. Synkronointiosoitin voi sisältää mm. tunnistetiedon 5 ja hyötykuormatiedon. Samoin tehdään sopimus myös synkronoin-tiosoittimen bittiesitykselle, esimerkiksi tässä esimerkissä on sovittu, että synkronointiosoittimen bitti "1" vastaa paritonta lukua ja bitti "0" vastaa parillista lukua.that is, from the element forward and having an agreed number of coefficients up to the Nth factor. The need to change the conversion factors upon immersion depends on the information to be embedded. An application-by-application agreement is made on what operating range [M, N] is used and how many bits the embedded synchronization pointer contains. The synchronization pointer may include e.g. identification information 5 and payload information. Similarly, the bit representation of the synchronization pointer is also contracted, for example in this example it is agreed that bit "1" of the synchronization pointer corresponds to an odd number and bit "0" corresponds to an even number.
10 Kuvion 8 ensimmäisellä kerroinrivillä on esitetty koodattuna yksi kuvalohko kvantisointivaiheen 48 jälkeen. Kun kuvalohkona on KxL kuvapistettä, on siitä laskettuja koodattuja muunnosker-toimia, eli alkioita kaikkiaan K*L kappaletta. Esimerkiksi 8x8 kokoisessa lohkossa on 64 muunnoskerrointa. Kuviossa 8 on esi-15 tetty muunnoskertoimista ensimmäinen ja viimeinen sekä muutamia kertoimia näiden väliltä. Toisella kerroinrivillä on esitetty toimintaväli [M, N], jolle upotus tehdään. Vastaavasti alimmalla kerroinrivillä on esitetty muunnoskertoimet upotuksen jälkeen .In the first coefficient row of Figure 8, one image block after quantization step 48 is encoded. When the pixel block is KxL pixels, there are coded conversion coefficients, that is, K * L elements, calculated from it. For example, an 8x8 block has 64 conversion factors. Figure 8 shows the first and last of the conversion factors and some coefficients between them. The second row of coefficients shows the operating range [M, N] for which the embedding is performed. Similarly, the bottom row of coefficients shows the conversion factors after embedding.
2020
Esimerkissä upotetaan seuraavat neljä bittiä: 1, 1, 0 ja 0 toimintaväline [M, N] alkaen kertoimesta M, jonka arvo on -6. Koska ensimmäinen upotettava bitti on "1", joka siis vastaa ^ paritonta lukua, on kerroin -6 muutettava parittomaksi ja nol- o g 25 lan suuntaan, siis kertoimeksi -5. Toinenkin upotettava bitti i g on "1", jolloin seuraavaa kerrointa eli kerrointa 3 ei tarvitse i ^ muuttaa, koska se on valmiiksi pariton. Kolmas kerroin on 0,In the example, the following four bits are embedded: 1, 1, 0, and 0 actuator [M, N], starting with a factor M of -6. Since the first bit to be embedded is "1", which corresponds to an odd number, the coefficient -6 must be changed to odd and zero in the direction of 25 l, i.e., a coefficient of -5. The second bit i g to be embedded is "1", so that the next coefficient, i.e. coefficient 3, does not need to be changed because it is already odd. The third factor is 0,
g joten sitä ei oteta huomioon. Neljäs kerroin kertoimesta Mg so it is ignored. The fourth factor was M
CLCL
alkaen on -5, mutta seuraava upotettava bitti on "0", joka o J 30 vastaa sopimuksen mukaan parillista lukua, joten kerroin -5 on O) g muutettava nollaan päin luvuksi -4. Seuraava kerroin on taas 0,starting with is -5, but the next bit to be embedded is "0", which o J 30 by convention is an even number, so the factor -5 must change O) g to zero to -4. The next factor is again 0,
(M(M
jota ei oteta huomioon ja viimeistä upotettavaa bittiä vastaava kerroin on 2, joka on jo valmiiksi parillinen, jolloin sitä ei 18 tarvitse muuttaa. Näin toimintavälillä [M, N] nollasta poikkeavat kertoimet muuttuivat seuraavasti:which is ignored and the coefficient corresponding to the last bit to be embedded is 2, which is already even, so that it does not need to be changed 18. Thus, within the operating range [M, N], the non-zero coefficients changed as follows:
Ennen upotusta: ...-6 3 0 -5 0 2 ... 1 -1 5 Upotuksen jälkeen: ...-5 30-402 ... 1-1 Tämä upotusmenetelmä siis muuttaa kertoimien arvoja synkronoin-tiosoittimen bittiesityksen mukaan tarvittaessa joko parittomiksi tai parillisiksi arvoiksi. Muutos täytyy tehdä vain sil-10 loin, kun synkronointiosoittimen bittiesitys ei vastaa pariteettia. Muutos tehdään lisäksi kohti nolla-arvoa, koska pienemmän lukuarvon kirjoittaminen bittivirtaan vie yleensä vähemmän bittejä. Kertoimet 1 ja -1 ovat poikkeuksia, sillä niitä ei voi muuttaa nolla-arvoiksi, koska tällöin tunnistusmenetelmä ei 15 osaisi niitä tunnistaa. Tästä syystä kertoimet 1 ja -1 muutetaan tarvittaessa arvoiksi 2 ja -2.Before embedding: ...- 6 3 0 -5 0 2 ... 1 -1 5 After embedding: ...- 5 30-402 ... 1-1 This embedding method thus changes the values of the coefficients according to the bit representation of the synchronization pointer as needed either odd or even. The change only needs to be made to sil-10 when the bit representation of the synchronization pointer does not match parity. In addition, the change is made toward a zero value because writing a lower number value in a bit stream usually takes fewer bits. The coefficients 1 and -1 are exceptions, since they cannot be converted to zero values, because then the identification method would not be able to recognize them. Therefore, the coefficients 1 and -1 are changed to 2 and -2, if necessary.
Tunnistusvaiheessa dekoodauksen yhteydessä tarkastellaan yksinkertaisesti kertoimesta M alkaen neljää nollasta eroavaa ker-20 rointa ja niiden arvoista päätellään ennalta sovitun mukaisesti upotetut neljä bittiä. Toimintavälillä [M, N] on upotuksen jälkeen seuraavat kertoimet: ^ Upotuksen jälkeen: ...-5 30-402 ... 1-1 o o 2 5In the identification step, four coefficients differing from zero are considered in the decoding step, starting with the coefficient M, and their values are inferred by a predetermined four bits. The range [M, N] after immersion has the following coefficients: ^ After immersion: ...- 5 30-402 ... 1-1 o o 2 5
(M(M
g Niistä saadaan: -5, pariton => 1 i ^ 3, pariton => 1 -4, parillinen => 0g They give: -5, odd => 1 i ^ 3, odd => 1 -4, even => 0
CLCL
2, parillinen => 0 S 30 O) g eli sama kuin upotettu koodi: 1100.2, even => 0 S 30 O) g, i.e. same as embed code: 1100.
C\1 19C \ 1 19
Yhteisenä asiana edellä selostetulle on se, että keksinnön pääideana on upottaa vähintään kahteen tai useampaan multime-diasignaalin palaan 21b niin sanottuja synkronointiosoittimia 38, jotka sisältävät ainakin tietyn tunnistetiedon ja tarpeen 5 mukaan myös hyötykuorman. Yleensä toisiaan vastaavat signaalin palat eli vastinosat ovat eri multimediasignaaleissa ainakin signaalien välisessä synkronoinnissa. Tällöin vastinosat ovat esimerkiksi videosignaalissa 21 ja audiosignaalissa 22. Multimediaesityksen pikakelaussovelluksessa vastinosia voi olla myös 10 ainoastaan yhdessä signaalissa, eli esimerkiksi pelkästään videosignaalissa 21.Common to the foregoing is that the main idea of the invention is to embed at least two or more blocks 21b of the multimedia signal so-called synchronization pointers 38 which contain at least a certain amount of identification information and, if necessary, a payload. Generally, the corresponding pieces of the signal, i.e. the counterparts, are in different multimedia signals, at least in the synchronization between the signals. Here, the counterparts are, for example, in the video signal 21 and the audio signal 22. In the fast-forwarding application of a multimedia presentation, the counterparts may also be 10 only in one signal, i.e., for example, the video signal 21 only.
Synkronointiosoittimen 38 tunnistetiedon avulla merkitään vas-tinosien välinen riippuvuussuhde eli eri vastinosat liitetään 15 toisiinsa upottamalla niihin sama tunnistetieto. Dekoodaussys-teemi pystyy tunnistamaan ja lukemaan upotetut tunnistetiedot. Tunnistetiedon perusteella dekoodaussysteemi pystyy päättelemään mitkä palat eri signaaleissa sisältävät saman tunnistetiedon ja siten vastaavat toisiaan. Käytössä olevat riippuvuussuh-20 teet, tunnistetiedot ja hyötykuormat ovat sovelluskohtaisia sopimuksia jotka on tehtävä enkoodaus- ja dekoodaussysteemiä suunniteltaessa.By means of the identification information of the synchronization pointer 38, the relationship between the counterparts is marked, i.e. the different counterparts are connected to each other by embedding the same identification information therein. The decoding system can recognize and read embedded credentials. Based on the identification information, the decoding system is able to deduce which pieces in the different signals contain the same identification information and thus correspond to each other. Dependencies, identifiers, and payloads in use are application specific agreements that must be made when designing an encoding and decoding system.
^ Alan ammattimiehelle on selvää, ettei keksintö rajoitu edellä o g 25 esitettyyn esimerkkiin, vaan voi vaihdella jäljempänä esitettä- i ^ vien patenttivaatimusten puitteissa. Niinpä esimerkiksi upotus- i ^ menetelmänä voidaan käyttää mitä tahansa muutakin menetelmää kuin esimerkissä kerrottu menetelmä.It will be apparent to one skilled in the art that the invention is not limited to the example set forth above but may vary within the scope of the following claims. Thus, for example, any method other than that described in the example can be used as an immersion method.
Q.Q.
00 o [jf 30 Alan ammattimiehelle on myös selvää, että upotus voidaan tehdä σ> g muussakin kohdassa enkoodausta kuin suoraan kvantisoinnin jäl-It is also clear to one skilled in the art that embedding can be performed at σ> g at points other than directly after quantization.
C\JC \ J
keen. Se voidaan tehdä myös ennen kvantisointia tai yksi tai useampi vaihe kvantisoinnin jälkeen. Tärkeintä on, että käyte- 20 tään aina tietylle signaalille ja koodausprosessille soveltuvaa upotusmenetelmää eli menetelmää joka pystyy takaamaan sen, että upotettu tieto pystytään tunnistamaan ja lukemaan vastaanotto-tai esityspäässä. Käytettävä upotusmenetelmä voidaan suunnitel-5 la ja toteuttaa mihin tahansa kohtaan multimediaesityksen luo-mishetkestä sen esityshetkeen asti.movement. It can also be done before quantization or one or more steps after quantization. Most importantly, there is always a method of embedding suitable for a particular signal and encoding process, i.e., a method that can guarantee that the embedded information can be recognized and read at the receiving or display end. The embedding method used can be designed and implemented anywhere from the moment a multimedia presentation is created to the time it is presented.
σ> o oσ> o o
CMCM
oo
XX
DCDC
CLCL
00 o00 o
LOLO
O)O)
OO
oo
CMCM
Claims (13)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FI20095408A FI124520B (en) | 2009-04-14 | 2009-04-14 | Procedure and arrangement for synchronizing digital multimedia signals |
| PCT/FI2010/050259 WO2010119171A1 (en) | 2009-04-14 | 2010-03-31 | Method and arrangement for synchronizing digital multimedia signals |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FI20095408 | 2009-04-14 | ||
| FI20095408A FI124520B (en) | 2009-04-14 | 2009-04-14 | Procedure and arrangement for synchronizing digital multimedia signals |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| FI20095408A0 FI20095408A0 (en) | 2009-04-14 |
| FI20095408A FI20095408A (en) | 2010-10-15 |
| FI124520B true FI124520B (en) | 2014-09-30 |
Family
ID=40590289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FI20095408A FI124520B (en) | 2009-04-14 | 2009-04-14 | Procedure and arrangement for synchronizing digital multimedia signals |
Country Status (2)
| Country | Link |
|---|---|
| FI (1) | FI124520B (en) |
| WO (1) | WO2010119171A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6119260B2 (en) * | 2013-01-16 | 2017-04-26 | 富士通株式会社 | Moving picture multiplexing apparatus and moving picture multiplexing method, multiplexed moving picture decoding apparatus, and multiplexed moving picture decoding method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001045448A (en) * | 1999-07-30 | 2001-02-16 | Nec Corp | Video data synchronization system for digital tv broadcast |
| US6642966B1 (en) * | 2000-11-06 | 2003-11-04 | Tektronix, Inc. | Subliminally embedded keys in video for synchronization |
| JP2003259314A (en) * | 2002-02-26 | 2003-09-12 | Nippon Hoso Kyokai <Nhk> | Video audio synchronization method and system thereof |
| CN101346741A (en) * | 2005-12-22 | 2009-01-14 | 皇家飞利浦电子股份有限公司 | Script synchronization by watermarking |
| CN100413341C (en) * | 2006-07-18 | 2008-08-20 | 吉林大学 | Audio and video frequency signal synchronizing method |
-
2009
- 2009-04-14 FI FI20095408A patent/FI124520B/en active IP Right Grant
-
2010
- 2010-03-31 WO PCT/FI2010/050259 patent/WO2010119171A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| FI20095408A0 (en) | 2009-04-14 |
| WO2010119171A1 (en) | 2010-10-21 |
| FI20095408A (en) | 2010-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10827208B2 (en) | Transmitting method, receiving method, transmitting device and receiving device | |
| AU2011219325B2 (en) | Transport stream packet header compression | |
| US11064229B2 (en) | Transmitting device, receiving device, transmitting method and receiving method | |
| KR101227029B1 (en) | Method and apparatus for transmitting broadcast, method and apparatus for receiving broadcast | |
| KR101073777B1 (en) | Converting apparatus of multiplexed system | |
| KR101122200B1 (en) | Method and apparatus for transmitting broadcast, method and apparatus for receiving broadcast | |
| US20160105259A1 (en) | Apparatus and method of transmitting/receiving broadcast data | |
| US20090168691A1 (en) | Method and system for generating digital video broadcast (dvb) transport stream from direct satellite system (dss) transport stream | |
| EP1827030A2 (en) | Method and apparatus for changing codec to reproduce video and/or audio data streams encoded by different codecs within a channel | |
| JP2005229587A (en) | Multiplex system conversion device | |
| US8432937B2 (en) | System and method for recovering the decoding order of layered media in packet-based communication | |
| US20130136189A9 (en) | Method and system for converting a dss stream to an encrypted mpeg stream | |
| US11284136B2 (en) | Transmitting method, receiving method, transmitting device and receiving device | |
| US6834083B1 (en) | Data transmitting method and data transmitter | |
| US7346054B2 (en) | Method and system for co-relating transport packets on different channels using a cyclic redundancy check (CRC) | |
| US10506265B2 (en) | Transmitting method, receiving method, transmitting device and receiving device | |
| US7415014B2 (en) | Method and system for co-relating transport packets on different channels using a packet prioritization scheme | |
| WO2016192413A1 (en) | Bitstream alignment and synchronous processing method and system, receiving terminal and communication system | |
| WO2011105082A1 (en) | Transmission method, transmission apparatus, reception method, and reception apparatus | |
| US8184660B2 (en) | Transparent methods for altering the video decoder frame-rate in a fixed-frame-rate audio-video multiplex structure | |
| US8073051B2 (en) | Method and related device for converting transport stream into file | |
| FI124520B (en) | Procedure and arrangement for synchronizing digital multimedia signals | |
| US8155506B2 (en) | System and method for transport PID version check | |
| KR101008976B1 (en) | Method of detecting error in multimedia streaming system | |
| US20080123732A1 (en) | Method and system for configuring decoding based on detecting transport stream input rate |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG | Patent granted |
Ref document number: 124520 Country of ref document: FI Kind code of ref document: B |