WO1999012355A1 - Verfahren zum komprimieren von bildinformationen - Google Patents
Verfahren zum komprimieren von bildinformationen Download PDFInfo
- Publication number
- WO1999012355A1 WO1999012355A1 PCT/DE1998/002169 DE9802169W WO9912355A1 WO 1999012355 A1 WO1999012355 A1 WO 1999012355A1 DE 9802169 W DE9802169 W DE 9802169W WO 9912355 A1 WO9912355 A1 WO 9912355A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- image information
- current
- motion vector
- current image
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Definitions
- the present invention relates to a method for compressing image information according to the preamble of claim 1.
- the present invention relates to a method for compressing image information according to the preamble of claim 1, as is used in image recording systems, in particular in mobile video telephones.
- image or video data or information is compressed and encoded before it is transmitted to a receiver in order to reduce the amount of data to be transmitted and to increase the transmission security.
- the compression and encoding rate can be set independently of the amount of data to be processed.
- compression and coding systems are also known in which the compression and coding rate depends on the complexity of the image to be processed and the movement within the image, i.e. the movement of the source data varies in order to ensure a sufficient quality of the overall picture received.
- a higher compression and coding rate can be selected for processing a complex picture, while the compression and coding of a simple picture is carried out with a lower compression and coding rate, so that a constant quality for the transmitted overall picture is ensured.
- picture signals have the property of being predictable within certain limits. This means that prediction of the next picture is possible on the basis of previous pictures. In order to predict the next image or the image information corresponding to the next image, a so-called. Motion estimation performed, due to a the next image is predicted in a motion detected motion.
- FIG. 3 shows a simplified block diagram to explain the mode of operation of the MPEG2 algorithm.
- Certain image information or image data i is present on the input side and has been recorded or generated, for example, by a camera, a CCD image sensor or another image recording device.
- This image information i is fed to an image information memory 1, which stores the image information i in frames, ie in a sequence of frames.
- the data of the image information memory 1 are fed to a DCT transformation device 3, which subjects the picture information to a discrete cosine transformation, the output signals of the DCT transformation device 3 being fed to a quantization device 4, which assigns the signals present at their input to specific quantization stages or quantization intervals and applies them this reduces the bit stream to be processed and transmitted and realizes the actual compression.
- the output signals of the quantization device 4 are fed to a coding device 5 which the signals are encoded according to a predetermined coding scheme and output for transmission to a receiver.
- the output signals of the quantization device 4 are also fed to an inverse quantization device 6 and an inverse DCT transformation device 7, so that the data or signals present at the input of the DCT transformation device 3 appear again at the output of the inverse DCT transformation device 7 .
- the original image data or image information is thus stored in a (full) image memory 8.
- a motion estimation or movement detection device 9 is provided which, on the basis of the image information stored in the image memory 8 and the image information present at the input of the compression and coding system i, a movement between the previous image stored in the image memory 8 and that at the output of the Image information memory 1 occurring or current image detected.
- the motion estimation device 9 When a movement is detected between the stored previous image and the current image occurring on the input side, the motion estimation device 9 generates an image vector v which represents the movement between the stored previous image and the current image applied on the input side.
- the motion estimation device 9 transmits the motion vector information v to a motion compensation device 10 which, depending on the motion vector v thus transmitted and the likewise transmitted image information of the previous image, which is stored in the image memory 8, is a prediction for the next, that is to say the currently applied, image carries out.
- the motion compensation device 10 determines image information i 'which represents an estimate or prediction for the image currently present on the input side, this predicted image information being fed to an adder 2 which supplies the predicted image information i of the motion compensation device 10 compares with the actual image information i of the current image and generates a corresponding difference signal ⁇ i.
- This difference signal ⁇ i, ie the difference between the predicted image information i 'and the actual image information i is known as the so-called.
- Prediction error denotes, with only the prediction error ⁇ i being transformed, quantized and coded using devices 3, 4 and 5.
- the instantaneous image can already be inferred based on the received prediction error ⁇ i based on the already received image information of the previous image.
- This method of motion estimation has the advantage that the signals can be transmitted at a higher bit rate, since the bandwidth of the difference signal ⁇ i is less than the bandwidth of a normal quantized signal
- This MPEG2 algorithm described above is generally used for compressing and encoding image information or image data.
- this algorithm can also be used in mobile image acquisition systems, such as video cameras or mobile image telephones.
- the H.261 or H.263 algorithm is preferably used in this area.
- Mobile image recording systems of this type are normally used without a tripod, so that the problem arises that the recorded moving images can easily be blurred.
- the wobbling during the image acquisition has a negative effect on the image quality, since the image compression algorithms used here evaluate the motion information (ie the motion vector information v for the MPEG2 algorithm) for the image data compression.
- the invention is therefore based on the object of proposing an improved method for compressing image information, with the aid of which impairment of the image quality due to blurring during image recording can be avoided in the simplest possible way.
- this method for compressing image information should also be able to be implemented in a simple manner and as cheaply as possible in mobile video telephones.
- the inventive method works on the principle of the so-called. Motion estimation.
- Motion estimation it is proposed to monitor or analyze the motion vectors determined in the motion estimation and depending on the intrinsic Shafts of the motion vectors to conclude that there is an unwanted wobble during the image acquisition.
- a distinction is made between intentional panning or unwanted blurring of the image. If an unwanted blurring of the image was detected, intervention is made in order to be able to correct the difference image information generated as a result of the motion estimation directly or preferably indirectly.
- the motion vectors generated during the motion estimation are corrected themselves, i.e. changed their size or direction.
- the correction on the input side is carried out directly on the basis of the stored image information, the image information memory on the input side being accessed and thus, after detection of an undesired blurring of the image, the corresponding image information is artificially manipulated in order to compensate for the determined movement as a result of the blurring - retire.
- the method according to the invention can basically be applied to algorithms with motion estimation, such as the MPEG1, MPEG2, MPEG4, H.261 or H.263 algorithm.
- the correction of an undesired image movement as a result of a wobble during image recording is compensated and corrected simply by intervening in the corresponding algorithm for compressing and encoding image information.
- the method according to the invention can be implemented particularly easily, for example as a software extension, in mobile video telephones without extensive circuit-related changes or expansions being necessary.
- the method according to the invention can also be used in any mobile image recording system, such as in camcorders or video cameras. Regardless of this, use in stationary imaging systems is also possible in principle.
- the invention is explained in more detail below with reference to the drawing using preferred exemplary embodiments.
- Fig. 1 shows a simplified block diagram for
- FIG. 2 shows a simplified block diagram to explain a second exemplary embodiment of the method according to the invention.
- FIG. 3 shows a simplified block diagram to explain a known method for compressing and encoding image information
- the invention is described below with reference to FIGS. 1 and 2 using two preferred exemplary embodiments, the method according to the invention being based on the so-called.
- MPEG2 algorithm for compressing and encoding image information is used.
- the method according to the invention can be applied to any algorithm with motion estimation.
- FIG. 1 shows a simplified block diagram of an arrangement for carrying out the method according to the invention in accordance with a first preferred exemplary embodiment.
- the basic structure of the block diagram shown in FIG. 1 essentially corresponds to the block diagram shown in FIG. 3.
- the sequential image information of a corresponding image recording device such as any image sensor or a video camera etc., is stored in an image information memory 1, the image information in each case Frames or full images are combined.
- image information i is read out for each frame.
- image information to be transmitted is subjected to a discrete cosine transformation (DCT) by a DCT transformation device 3.
- the discrete cosine transformation is an orthogonal transformation and maps the discrete temporal samples of the image information into discrete values of the frequency domain.
- the output signal of the DCT transformation device 3 is fed to a quantization device 4.
- the quantization device 4 quantizes the transformation result of the DCT transformation device 3 with a specific quantization value or a specific quantization rate, the entire value range of the transformation result being divided into a specific number of quantization intervals and the value of the transformation result in each case is assigned to a specific quantization interval. In this way, the quantization device 4 reduces the amount of bits to be processed and transmitted and thus carries out the desired compression with a corresponding quantization value.
- the sampling values of the transformation result can be assigned to the individual quantization intervals according to a linear or non-linear characteristic. With the aid of a non-linear quantization, certain samples of the image information signal can be quantized more precisely than with a linear quantization, which is particularly advantageous if these values occur more frequently or errors of these values are more conspicuous or of greater importance.
- the output signal of the quantization device 4 is fed to a coding device 5, which finally the quantized transformation result of a specific coding and trains and outputs the quantized and coded image information signal for transmission.
- the coding device 5 can, for example, carry out run-length limited (RLL) coding.
- the output signal of the quantization device 4 is also fed to an inverse quantization device 6 and an inverse DCT transformation device 7, the inverse quantization device 6 quantizing the quantization device 4 and the inverse DCT transformation device 7 the DCT transformation of the DCT transformation device 3, so that the original input data of the DCT transformation device 3 appear again at the output of the inverse DCT transformation device 7.
- the image information supplied by the DCT transformation device 7 is stored in an image memory 8, the image memory 8 in particular storing the image information frame by frame or frame by frame.
- an interpolation device 11 is also provided, which preferably reads the image information stored in the image memory 8 frame by frame and image-wise and, by interpolation between two adjacent pixels (pixels), obtains additional image information which is that between the two pixels correspond to the lying pixel. In this way, the interpolation device 11 can double the image resolution.
- the interpolation device 11 stores the image information obtained as a result of the interpolation with the increased resolution.
- a motion estimation device 9 receives the image that occurs at the output of the image information memory 1 Information i of a current or current image and, via the interpolation device 11, the image information of the previous image stored in the image memory 8. By comparing these two pieces of image information, the motion estimation device 9 can recognize a movement in the current image compared to the previous image and, based on the image information of the previous image stored in the image memory 8, determines a motion vector v which represents the displacement of the current image relative to the previous image.
- the motion vector information v is fed to an analysis device 12 which analyzes and monitors the motion vector (s) and determines whether a shift, i.e. Movement of the currently adjacent image is given compared to the previous image. If there is a shift, corresponding information is passed on to an evaluation device 13.
- a shift i.e. Movement of the currently adjacent image is given compared to the previous image. If there is a shift, corresponding information is passed on to an evaluation device 13.
- the evaluation device 13 determines whether the displacement is the result of an intentional panning or an unwanted wobble during the image recording. This decision is made in particular by the direction and / or the size, i.e. the amount of the motion vector v. If, for example, the amount or the direction of rotation of the motion vector exceeds a predetermined threshold value, it is concluded that the shift must have been the result of an unwanted wobble during the image acquisition, since, as a rule, an unwanted wobble compared to an intentional panning result in larger movements and displacements in the captured images, ie major changes in the image information occur.
- a damping device 14 which, after detecting an unwanted wobble during the image recording with the aid of the movement device 13, mathematically dampens the movement vector v originally generated by the movement estimation device 9 or compensates for the direction of displacement that occurs as a result of the unwanted wobble.
- the damping device 14 corrects the motion vector v in particular depending on the size of the amount or the direction of rotation of the motion vector v.
- the damping device 14 thus supplies a corrected movement vector V which, in the best case, corresponds to a movement of the instantaneous image present on the input side in relation to the previous image stored in the image memory 8 without taking into account the shift occurring due to the unwanted wobbling.
- This corrected motion vector v ' is fed to the motion compensation device 10 which, as has already been explained with reference to FIG. 3, uses the motion vector V and the image information of the previous image stored in the image memory 8 to supply it with a prediction for the image information of the instantly attached image.
- the motion compensation device 10 thus executes a motion compensation prediction and outputs image information i ′ which correspond to the image predicted by the motion compensation device 10.
- the image predicted by the motion compensation device 10 should correspond to the image currently present on the input side, ie the image information i 'should correspond to the image information i of the current image.
- the prediction of the motion compensation device 10 is compared in an adder with the actually applied image, i.e. the adder 2 forms the difference between the image information i that actually corresponds to the current image and the image information i ′ of the current image predicted by the motion compensation device 10.
- the difference signal ⁇ i supplied by the adder 2 represents the so-called. Prediction error, which is now DCT-transformed, quantized and encoded via devices 3 - 5.
- a receiver which can determine and display the image information of the current image as a result of the received prediction error and the image data or image information of a previous image.
- the transformed and quantized prediction error ⁇ i is in turn subjected to an inverse quantization and an inverse DCT transformation via the devices 6 and 7, so that the image information 8 of the motion compensation device 10 always depends on the predicted image information i 'of the motion compensation device 10 Image can be saved.
- compression and encoding is preferably carried out with a variable compression or encoding rate.
- the system's compression and coding rate is set as a function of the amount of data (bit rate) output by the coding device 5 for each frame.
- the block diagram shown in FIG. 1 can therefore be supplemented by a control unit which receives, for example, the data quantity (bit rate) output for each frame from the coding device 5 and, depending on this, the quantization devices 4 and 6 for setting the quantization value, ie for Change the number of quantization intervals, and for example controls the motion compensation device 10 to set certain filter coefficients in order to adapt these parameters adaptively to the amount of data to be transmitted.
- the quality of the images to be transmitted which is as constant as possible can be achieved regardless of whether large changes in movement occur in the respective image or not.
- FIG. 2 shows a simplified block diagram to explain a second exemplary embodiment of the method according to the invention, an address manipulation device 15 being provided in addition to the devices 12 to 14.
- the mode of operation of the second exemplary embodiment illustrated in FIG. 2 basically corresponds to the first exemplary embodiment shown in FIG. 1.
- an analysis device 12 is again provided, which analyzes and monitors the motion vectors supplied by the motion estimation device 9 and determines whether there is a shift in the full image.
- the evaluation device 13 determines whether the ascertained displacement is the result of an intentional panning or an unwanted wobble during the image recording.
- intentional swiveling and unwanted wobbling can be made in particular, as has been explained with reference to FIG. 1, on the basis of the magnitude of the amount or the direction of rotation of the motion vector v.
- the embodiment shown in FIG. 2 proposes directly to the image information or image data i present on the input side. It is assumed that an overall image stored in the image information memory 1 is divided into several sections. Corresponding sections of the image information corresponding to the overall image are assigned to each of these sections, the sections of the image information or image data corresponding to a section being stored and stored in the image information memory 1 under a respectively assigned address.
- the address manipulation device 15 After the evaluation device 13 has determined a shift in an image as a result of an unwanted wobble during the image recording by evaluating the movement vectors v, the address manipulation device 15 is activated, which has knowledge of the addresses assigned to the individual image information sections in the image information memory 1. Depending on the amount and the direction of the unwanted shift reported by the evaluation device 13, the address manipulation device 15 can thus change the arrangement of the image sections or image blocks corresponding to the individual sections in the overall image and thus rearrange the individual image sections in such a way by changing the addresses assigned to the individual data sections move that the determined shift is reversed and compensated for as a result of an unwanted wobble. In this case, the corrected image information or image data of the respective overall image can then be read out at the output of the image information memory 1 and used as a basis for the further image processing. In the exemplary embodiment shown in FIG. 2, the input image is corrected retrospectively.
- the second exemplary embodiment of the present invention is in addition to the first exemplary embodiment of the invention explained with reference to FIG. 1, ie in addition to changing the movement vectors v.
- the method explained with reference to FIG. 2 can also be used as an alternative to the method explained with reference to FIG. 1, in which case the damping device 14 shown in FIGS. 1 and 2 is omitted and the motion compensation device 10 always the motion vector v originally generated by the motion estimation device 9 would be supplied.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Verfahren zum Komprimieren und Kodieren von Bildinformationen mit Hilfe einer Bewegungsschätzung, wobei infolge der Bewegungsschätzung Bewegungsvektoren (v) erzeugt werden. Abhängig von der Größe und/oder der Richtung der Bewegungsvektoren (v) wird auf das Vorliegen einer ungewünschten Veränderung in einem Bild infolge eines ungewollten Wackelns bei der Bildaufnahme geschlossen und eine entsprechende Korrektur der Bildinformationsdaten durchgeführt. Die Korrektur, die zur Kompensation dieser ungewünschten Verschiebung führt, kann anhand des Bewegungsvektors (v) selbst erfolgen, so daß ein korrigierter Bewegungsvektor (v') erzeugt wird, oder es kann direkt auf die gespeicherten Bildinformationen eines augenblicklichen Bildes zugegriffen werden, um mit Hilfe einer Adressenmanipulation die einzelnen Ausschnitte des Bildes neu anzuordnen.
Description
Beschreibung
Verfahren zum Komprimieren von Bildinformationen
Die vorliegende Erfindung betrifft ein Verfahren zum Komprimieren von Bildinformationen nach dem Oberbegriff des Anspruches 1. Insbesondere betrifft die vorliegende Erfindung ein Verfahren zum Komprimieren von Bildinformationen nach dem Oberbegriff des Anspruches 1, wie es in Bildaufnahmesystemen, insbesondere in mobilen Bildtelefonen, eingesetzt wird.
Bekanntermaßen werden Bild- bzw. Videodaten oder -Informationen vor ihrer Übertragung an einen Empfänger komprimiert und kodiert , um die zu übertragende Datenmenge zu verringern und die Übertragungssicherheit zu erhöhen. Dabei kann unabhängig von der zu verarbeitenden Datenmenge die Komprimier- und Kodierrate festgelegt sein. Alternativ sind jedoch auch Komprimier- und Kodiersysteme bekannt, bei denen die Komprimier- und Kodierrate abhängig von der Komplexität des zu verarbeitenden Bildes sowie der Bewegung innerhalb des Bildes, d.h. der Bewegung der Quelldaten, variiert, um auf diese Weise eine ausreichende Qualität des empfangenen Gesamtbildes sicherzustellen. So kann bei Anwendung einer variablen Komprimier- und Kodierrate eine höhere Komprimier- und Kodierrate zur Verarbeitung eines komplexen Bildes gewählt werden, während die Komprimierung und Kodierung eines einfachen Bildes mit einer geringeren Komprimier- und Kodierrate erfolgt, so daß eine gleichbleibende Qualität für das übertragene Gesamtbild sichergestellt wird.
Allgemein haben Bildsignale die Eigenschaft, daß sie innerhalb bestimmter Grenzen vorhersagbar sind. Dies bedeutet, daß aufgrund vorhergehender Bilder eine Prädiktion des nächsten Bildes möglich ist. Zur Prädiktion des nächsten Bildes bzw. der dem nächsten Bild entsprechenden Bildinformationen wird eine sogen. BewegungsSchätzung durchgeführt, wobei aufgrund einer
in einem vorliegenden Bild festgestellten Bewegung das nächste Bild vorhergesagt wird.
Zur Komprimierung und Kodierung von Bildinformationen wurden verschiedene Algorithmen vorgeschlagen, bei denen die zuvor erwähnte BewegungsSchätzung Anwendung findet. So wurde beispielsweise von der „Moving Picture Coding Experts Group" der sogen. MPEG-Algorithmus zum Komprimieren von Bewegtbildern entwickelt, bei dem zudem eine variable Komprimierrate (und Kodierrate) angewendet werden kann, um die Eigenschaften des KomprimierSystems (und Kodiersystems) an die zu übertragende Datenmenge anzupassen. Der MPEG-Algorithmus ist heute in Form der sogen. MPEG1- und MPEG2-Algorithmen bekannt. Weitere bekannte Komprimier- und Kodieralgorithmen mit Bewegungsschät- zung sind beispielsweise die H.261- und H.263-Algorithmen.
Fig. 3 zeigt ein vereinfachtes Blockschaltbild zur Erläuterung der Funktionsweise des MPEG2-Algorithmus .
Eingangsseitig liegen bestimmte Bildinformationen oder Bilddaten i vor, die beispielsweise von einer Kamera, einem CCD- Bildsensor oder einer sonstigen Bildaufnahmevorrichtung aufgenommen bzw. erzeugt worden sind. Diese Bildinformationen i werden einem Bildinformationsspeicher 1 zugeführt, der die Bildinformationen i in Rahmen (Frames) , d.h. in einer Folge von Vollbildern abspeichert. Die Daten des Bildinformationsspeichers 1 werden einer DCT-Transformationseinrichtung 3 zugeführt, die die Bildinformationen einer diskreten Cosinustransformation unterzieht, wobei die Ausgangssignale der DCT- Transformationseinrichtung 3 einer Quantisierungseinrichtung 4 zugeführt werden, die die an ihrem Eingang anliegenden Signale bestimmten Quantisierungsstufen bzw. Quantisierungsintervallen zuordnet und auf diese Weise den zu verarbeitenden und zu übertragenden Bitstrom reduziert und die eigentliche Kompri- mierung realisiert. Die AusgangsSignale der Quantisierungseinrichtung 4 werden einer Kodierungseinrichtung 5 zugeführt, die
die Signale gemäß einem vorgegebenen Kodierschema kodiert und zur Übertragung an einen Empfänger ausgib .
Zur Durchführung der sogen. BewegungsSchätzung werden die Aus- gangssignale der Quantisierungseinrichtung 4 zudem einer in- versen Quantisierungseinrichtung 6 sowie einer inversen DCT- Transformationseinrichtung 7 zugeführt, so daß am Ausgang der inversen DCT-Transformationseinrichtung 7 wieder die am Eingang der DCT-Transformationseinrichtung 3 anliegenden Daten bzw. Signale auftreten. In einem (Voll-) Bildspeicher 8 werden somit die ursprünglichen Bilddaten bzw. Bildinformationen abgelegt. Des weiteren ist eine Bewegungsschätzungs- oder Bewe- gungserfassungseinrichtung 9 vorgesehen, die aufgrund der in dem Bildspeicher 8 abgelegten Bildinformationen sowie der am Eingang des Komprimier- und Kodiersystems anliegenden Bildinformationen i eine Bewegung zwischen dem in dem Bildspeicher 8 gespeicherten vorhergehenden Bild und dem am Ausgang des Bildinformationsspeichers 1 auftretenden aktuellen oder augenblicklichen Bild erfaßt. Bei Feststellen einer Bewegung zwi- sehen dem gespeicherten vorhergehenden Bild und dem eingangsseitig auftretenden aktuellen Bild erzeugt die BewegungsSchätzungseinrichtung 9 einen Bildvektor v, der die Bewegung zwischen dem gespeicherten vorhergehenden Bild und dem eingangsseitig anliegenden aktuellen Bild repräsentiert. Die Bewe- gungsschätzungseinrichtung 9 überträgt die Bewegungsvektorinformation v an eine Bewegungskompensationseinrichtung 10, die abhängig von dem somit übertragenen Bewegungsvektor v sowie den ebenfalls übertragenen Bildinformationen des vorhergehenden Bildes, welches in dem Bildspeicher 8 gespeichert ist, eine Prädiktion für das nächste, d.h. das augenblicklich anliegende Bild durchführt. Die Bewegungskompensationseinrich- tung 10 ermittelt somit Bildinformationen i' , die eine Abschätzung oder Prädiktion für das augenblicklich eingangsseitig anliegende Bild darstellen, wobei diese vorhergesagten Bildinformationen einem Addierer 2 zugeführt werden, der die vorhergesagten Bildinformationen i der Bewegungskompensations-
einrichtung 10 mit den tatsächlichen Bildinformationen i des augenblicklichen Bildes vergleicht und ein entsprechendes Differenzsignal Δi erzeugt. Dieses Differenzsignal Δi, d.h. der Unterschied zwischen den vorhergesagten Bildinformationen i' und den tatsächlichen Bildinformationen i, wird als sogen.
„Prädiktionsfehler" bezeichnet, wobei nurmehr der Prädiktions- fehler Δi mit den Einrichtungen 3, 4 und 5 transformiert, quantisiert und kodiert wird. Empfangsseitig kann bereits aufgrund des empfangenen Prädiktionsfehlers Δi anhand der bereits empfangenen Bildinformationen des vorhergehenden Bildes auf das augenblickliche Bild rückgeschlossen werden. Dieses Verfahren der BewegungsSchätzung hat den Vorteil, daß die Signale mit einer höheren Bitrate übertragen werden können, da die Bandbreite des Differenzsignals Δi geringer ist als die Band- breite eines normalen quantisierten Signals. Aufgrund der
Rückkopplungsschleife mit der Bewegungsschätzungseinrichtung 9 und der Bewegungskompensationseinrichtung 10 können sich Quantisierungsfehler der Quantisierungseinrichtung 4 nicht akkumulieren.
Dieser zuvor beschriebene MPEG2 -Algorithmus wird allgemein zur Komprimierung und Kodierung von Bildinformationen bzw. Bilddaten eingesetzt. Im Prinzip kann dieser Algorithmus auch in mobilen Bildaufnahme-Systemen, wie z.B. Videokameras oder mobi- len Bildtelefonen, eingesetzt werden. Bevorzugt werden jedoch auf diesem Gebiet z.B. der H.261 - oder H.263-Algorithmus verwendet. Derartige mobile Bildaufnahmesysteme werden normalerweise ohne Stativ benutzt, so daß das Problem entsteht, daß die aufgenommenen Bewegtbilder leicht verwackelt werden kön- nen. Speziell bei mobilen Bildtelefonen, die mit einer digitalen Bildkompression arbeiten, wirkt sich das Wackeln während der Bildaufnahme negativ auf die Bildqualität aus, da die hier verwendeten Bildkompressionsalgorithmen die BewegungsInformationen (d.h. beim MPEG2 -Algorithmus die Bewegungsvektorinfor- mationen v) für die Bilddatenkompression auswerten.
Ein ähnliches Problem tritt bei Videokameras oder Camcordern auf, wobei hier bereits zur Lösung dieses Problems vorgeschlagen wurde, die Wackelbewegung durch geeignete Maßnahmen zu erkennen und durch ein gegenphasiges Schieben eines aktiven Auf- nahmeausschnitts auf dem CCD-Bildsensor der Videokamera oder das Camcorders zu kompensieren. Dieses Verfahren ist jedoch sehr aufwendig .
Insbesondere bei mobilen Bildtelefonen wurde das zuvor ge- nannte Problem bisher nicht gelöst. Prinzipiell könnte zwar das zur Lösung bei Videokameras oder Camcordern oben beschriebene Verfahren auch bei mobilen Bildtelefonen eingesetzt werden, dies würde jedoch die Systemkosten deutlich erhöhen.
Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zum Komprimieren von Bildinformationen vorzuschlagen, mit dessen Hilfe auf möglichst einfache Weise eine Beeinträchtigung der Bildqualität durch ein Verwackeln bei der Bildaufnahme vermieden werden kann .
Insbesondere soll dieses Verfahren zum Komprimieren von Bildinformationen auch auf einfache Art und Weise und möglichst billig in mobilen Bildtelefonen implementierbar sein.
Die oben genannte Aufgabe wird gemäß der vorliegenden Erfindung durch ein Verfahren mit den Merkmalen des Anspruches 1 gelöst.
Die Unteransprüche beschreiben vorteilhafte und bevorzugte Ausgestaltungen und Ausführungsformen des erfindungsgemäßen Verfahrens .
Das erfindungsgemäße Verfahren arbeitet nach dem Prinzip der sogen. BewegungsSchätzung. Erfindungsgemäß wird vorgeschlagen, die bei der BewegungsSchätzung ermittelten Bewegungsvektoren zu überwachen bzw. zu analysieren und abhängig von den Eigen-
Schäften der Bewegungsvektoren auf das Vorliegen eines ungewollten Wackeins bei der Bildaufnahme zu schließen. Anhand der Bewegungsvektoren wird somit zwischen einem gewollten Schwenken oder einem ungewollten Verwackeln des Bildes unterschie- den. Wurde ein ungewolltes Verwackeln des Bildes erkannt, wird eingegriffen, um die infolge der BewegungsSchätzung erzeugten Differenz-Bildinformationen direkt oder bevorzugt indirekt korrigieren zu können.
Gemäß einem ersten Ausführungsbeispiel werden nach Erkennen eines ungewollten Verwackelns die bei der BewegungsSchätzung erzeugten Bewegungsvektoren selbst korrigiert, d.h. ihre Größe oder Richtung geändert. Gemäß einem zweiten Ausführungsbei- spiel erfolgt die Korrektur eingangsseitig direkt anhand der gespeicherten Bildinformationen, wobei auf den eingangsseiti- gen Bildinformationsspeicher zugegriffen wird und somit nach Feststellen eines ungewünschten Verwackeins des Bildes die entsprechenden Bildinformationen künstlich manipuliert werden, um die festgestellte Bewegung infolge des Verwackeins zu kom- pensieren.
Das erfindungsgemäße Verfahren ist grundsätzlich auf Algorithmen mit BewegungsSchätzung anwendbar, wie z.B. den MPEG1-, MPEG2-, MPEG4-, H.261- oder H.263 -Algorithmus . Die Korrektur einer ungewünschten Bildbewegung infolge eines Wackeins bei der Bildaufnahme wird erfindungsgemäß einfach durch Eingriff in den entsprechenden Algorithmus zum Komprimieren und Kodieren von Bildinformationen kompensiert und korrigiert. Das erfindungsgemäße Verfahren läßt sich insbesondere leicht, z.B. als Softwareerweiterung, in mobilen Bildtelefonen implementieren, ohne daß umfangreiche schaltungstechnische Änderungen oder Erweiterungen notwendig sind. Das erfindungsgemäße Verfahren läßt sich jedoch genauso in jedes beliebige mobile Bildaufnahmesystem, wie z.B. auch in Camcordern oder Videoka- meras, einsetzen. Unabhängig davon ist prinzipiell auch der Einsatz in stationären Bildaufnahmesystemen möglich.
Die Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnung anhand bevorzugter Ausführungsbeispiele näher erläutert.
Fig. 1 zeigt ein vereinfachtes Blockschaltbild zur
Erläuterung eines ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
Fig. 2 zeigt ein vereinfachtes Blockschaltbild zur Erläuterung eines zweiten Ausführungsbeispiels des erfindungsgemäßen Verfahrens, und
Fig. 3 zeigt ein vereinfachtes Blockschaltbild zur Erläuterung eines bekannten Verfahrens zum Komprimieren und Kodieren von Bildinformationen mit
Hilfe einer BewegungsSchätzung.
Die Erfindung wird nachfolgend unter Bezugnahme auf Fig. 1 und 2 anhand zweier bevorzugter Ausführungsbeispiele beschrieben, wobei gemäß diesen Ausführungsbeispielen das erfindungsgemäße Verfahren jeweils anhand des sogen. MPEG2-Algorithmus zur Komprimierung und Kodierung von Bildinformationen eingesetzt wird. Wie jedoch bereits zuvor beschrieben worden ist, ist das erfindungsgemäße Verfahren auf jeden beliebigen Algorithmus mit BewegungsSchätzung anwendbar.
Fig. 1 zeigt ein vereinfachtes Blockschaltbild einer Anordnung zur Durchführung des erfindungsgemäßen Verfahrens gemäß einem ersten bevorzugten Ausführungsbeispiel .
Der Grundaufbau des in Fig. 1 gezeigten Blockschaltbildes entspricht im wesentlichen dem in Fig. 3 gezeigten Blockschaltbild. Die sequentiellen Bildinformationen einer entsprechenden Bildaufnahmeeinrichtung, wie z.B. eines beliebigen Bildsensors oder einer Videokamera etc., werden in einem Bildinformationsspeicher 1 gespeichert, wobei die Bildinformationen jeweils zu
Rahmen bzw. Vollbildern zusammengefaßt sind. Am Ausgang des Bildinformationsspeichers 1 werden für jedes Vollbild Bildinformationen i ausgelesen.
Allgemein werden zu übertragende Bildinformationen von einer DCT-Transformationseinrichtung 3 einer diskreten Cosinustrans- formation (DCT) unterzogen. Die diskrete Cosinustransformation ist eine orthogonale Transformation und bildet die diskreten zeitlichen Abtastwerte der Bildinformationen in diskrete Werte des Frequenzbereiches ab. Das Ausgangssignal der DCT-Transformationseinrichtung 3 wird einer Quantisierungseinrichtung 4 zugeführt .
Die Quantisierungseinrichtung 4 quantisiert das Transforma- tionsergebnis der DCT-Transformationseinrichtung 3 mit einem bestimmten Quantisierungswert bzw. einer bestimmten Quantisierungsrate, wobei der gesamte Wertebereich des Transforma- tionsergebnisses in eine bestimmte Anzahl von Quantisierungs- intervallen unterteilt wird und der Wert des Transforma- tionsergebnisses jeweils einem bestimmten Quantisierungsintervall zugeordnet wird. Auf diese Weise reduziert die Quantisierungseinrichtung 4 die zu verarbeitende und zu übertragende Bitmenge und führt somit die gewünschte Komprimierung mit einem entsprechenden Quantisierungswert durch. Allgemein kann die Zuordnung der Abtastwerte des Transformationsergebnisses zu den einzelnen Quantisierungsintervallen gemäß einer linearen oder nichtlinearen Kennlinie erfolgen. Mit Hilfe einer nichtlinearen Quantisierung können bestimmte Abtastwerte des Bildinformationssignals genauer quantisiert werden als bei ei- ner linearen Quantisierung, was insbesondere vorteilhaft ist, falls diese Werte häufiger auftreten oder Fehler dieser Werte auffälliger bzw. von größerer Bedeutung sind.
Das Ausgangssignal der Quantisierungseinrichtung 4 wird einer Kodierungseinrichtung 5 zugeführt, die schließlich das quanti- sierte Transformationsergebnis einer bestimmten Kodierung un-
terzieht und das quantisierte und kodierte Bildinformations- signal zur Übertragung ausgibt. Die Kodierungseinrichtung 5 kann beispielsweise eine lauflängenbegrenzte (run-length limi- ted, RLL) -Kodierung durchführen.
Zur Durchführung der BewegungsSchätzung bzw. Bildprädiktion wird das Ausgangssignal der Quantisierungseinrichtung 4 auch einer inversen Quantisierungseinrichtung 6 sowie einer inversen DCT-Transformationseinrichtung 7 zugeführt, wobei die in- verse Quantisierungseinrichtung 6 die Quantisierung der Quantisierungseinrichtung 4 und die inverse DCT-Transformationseinrichtung 7 die DCT-Transformation der DCT-Transformationseinrichtung 3 wieder rückgängig macht, so daß am Ausgang der inversen DCT-Transformationseinrichtung 7 wieder die ursprüng- liehen Eingangsdaten der DCT-Transformationseinrichtung 3 auftreten.
In einem Bildspeicher 8 werden die von der in der DCT-Trans- formationseinrichtung 7 gelieferten Bildinformationen gespei- chert, wobei der Bildspeicher 8 insbesondere die Bildinformationen rahmen- oder bildweise abspeichert.
Gemäß dem in Fig. 1 gezeigten bevorzugten Ausführungsbeispiel ist zudem eine Interpolationseinrichtung 11 vorgesehen, die die in dem Bildspeicher 8 abgelegten Bildinformationen vorzugsweise rahmen- und bildweise ausliest und durch Interpolation zwischen zwei benachbarten Bildpunkten (Pixel) zusätzliche Bildinformationen gewinnt, die dem zwischen den beiden Pixeln liegenden Bildpunkt entsprechen. Auf diese Weise kann die Interpolationseinrichtung 11 die Bildauflösung verdoppeln. Die Interpolationseinrichtung 11 speichert die infolge der Interpolation gewonnenen Bildinformationen mit der erhöhten Auflösung.
Eine Bewegungsschätzungseinrichtung 9 empfängt einerseits die am Ausgang des Bildinformationsspeichers 1 auftretenden Bild-
Informationen i eines aktuellen bzw. augenblicklichen Bildes sowie über die Interpolationseinrichtung 11 die in dem Bildspeicher 8 gespeicherten Bildinformationen des vorhergehenden Bildes. Durch Vergleich dieser beiden Bildinformationen kann die Bewegungsschätzungseinrichtung 9 eine Bewegung in dem augenblicklichen Bild gegenüber dem vorherigen Bild erkennen und ermittelt auf Grundlage der im dem Bildspeicher 8 gespeicherten Bildinformationen des vorhergehenden Bildes einen Bewegungsvektor v, der die Verschiebung des augenblicklichen Bildes gegenüber dem vorhergehenden Bild repräsentiert.
Die Bewegungsvektorinformationen v werden einer Analyseeinrichtung 12 zugeführt, die den oder die Bewegungsvektoren analysiert und überwacht und feststellt, ob eine Verschiebung, d.h. Bewegung, des augenblicklich eingangsseitig anliegenden Bildes gegenüber dem vorhergehenden Bild gegeben ist. Falls eine Verschiebung vorliegt, werden entsprechende Informationen an eine Bewertungseinrichtung 13 weitergegeben.
Die Bewertungseinrichtung 13 ermittelt aufgrund einer Bewertung der Verschiebung, ob die Verschiebung die Folge eines gewollten Schwenkens oder eines ungewollten Wackeins bei der Bildaufnahme ist. Diese Entscheidung wird insbesondere von der Richtung und/oder der Größe, d.h. dem Betrag, des Bewegungs- vektors v gemacht. Überschreitet beispielsweise der Betrag oder die Drehrichtung des Bewegungsvektors einen vorgegebenen Schwellenwert, wird darauf geschlossen, daß die Verschiebung die Folge eines ungewollten Wackeins bei der Bildaufnahme gewesen sein muß, da in der Regel bei einem ungewollten Wackeln im Vergleich zu einem gewollten Schwenken größere Bewegungen und Verschiebungen in den aufgenommenen Bildern, d.h. größere Änderungen der Bildinformationen, auftreten.
Nachdem auf diese Weise erkannt worden ist, daß ein ungewoll- tes Wackeln vorliegt, muß die infolge des ungewollten Wackeins aufgetretene Änderung der Bildinformationen i ausgeglichen
bzw. kompensiert werden. Zu diesem Zweck wird gemäß dem in Fig. 1 gezeigten Ausführungsbeispiel vorgeschlagen, die der Bewegungskompensationseinrichtung 10 zugeführten Bewegungsvektoren direkt zu korrigieren. Zu diesem Zweck ist eine Dämp- fungseinrichtung 14 vorgesehen, die nach Feststellen eines ungewollten Wackeins bei der Bildaufnahme mit Hilfe der Bewegungseinrichtung 13 den ursprünglich von der Bewegungsschätzungseinrichtung 9 erzeugten Bewegungsvektor v rechnerisch dämpft bzw. die infolge des ungewollten Wackeins auftretende Verschiebungsrichtung ausgleicht. Die Dämpfungseinrichtung 14 korrigiert den Bewegungsvektor v dabei insbesondere abhängig von der Größe des Betrags bzw. der Drehrichtung des Bewegungs- vektors v. Je größer der Betrag bzw. die Drehrichtung des Be- wegungsvektors v ist, desto größer wird auch die Kompensation bzw. Korrektur des Betrags bzw. der Drehrichtung des Bewegungsvektors v durch die Dämpfungseinrichtung 14 sein. Die Dämpfungseinrichtung 14 liefert somit einen korrigierten Bewe- gungsvektor V , der im Optimalfall einer Bewegung des eingangsseitig anliegenden augenblicklichen Bildes gegenüber dem in dem Bildspeicher 8 gespeicherten vorhergehenden Bild ohne Berücksichtigung der durch das ungewollte Wackeln auftretenden Verschiebung entspricht .
Dieser korrigierte Bewegungsvektor v' wird der Bewegungskom- pensationseinrichtung 10 zugeführt, die - wie bereits anhand von Fig. 3 erläutert worden ist - anhand des Bewegungsvektors V sowie den ihr ebenfalls zugeführten Bildinformationen des in dem Bildspeicher 8 gespeicherten vorhergehenden Bildes eine Vorhersage für die Bildinformationen des augenblicklich anlie- genden Bildes macht . Die Bewegungskompensationseinrichtung 10 führt somit eine Bewegungskompensationsprädiktion aus und gibt Bildinformationen i' aus, die dem von der Bewegungskompensa- tionseinrichtung 10 vorhergesagten Bild entsprechen. Im Ideal- fall sollte das von der Bewegungskompensationseinrichtung 10 vorhergesagte Bild dem augenblicklich eingangsseitig anliegenden Bild entsprechen, d.h. die Bildinformationen i' sollten
den Bildinformationen i des augenblicklich anliegenden Bildes entsprechen.
In einem Addierer wird die Prädiktion der Bewegungskompensa- tionseinrichtung 10 mit dem tatsächlich anliegenden Bild verglichen, d.h. der Addierer 2 bildet die Differenz zwischen den tatsächlich dem augenblicklichen Bild entsprechenden Bildinformationen i und den von der Bewegungskompensationseinrich- tung 10 vorhergesagten Bildinformationen i' des augenblickli- chen Bilds. Das von dem Addierer 2 gelieferte Differenzsignal Δi stellt den sogen. Prädiktionsfehler dar, der nunmehr über die Einrichtungen 3 - 5 DCT-transformiert, quantisiert und kodiert wird. Somit wird gemäß dem in Fig. 1 gezeigten System bzw. Algorithmus nurmehr der Prädiktionsfehler an einen Emp- fänger übertragen, der infolge des empfangenen Prädiktionsfehlers und der Bilddaten bzw. Bildinformationen eines vorhergehenden Bildes die Bildinformationen des augenblicklichen Bildes ermitteln und darstellen kann. Der transformierte und quantisierte Prädiktionsfehler Δi wird wiederum über die Ein- richtungen 6 und 7 einer inversen Quantisierung und einer inversen DCT-Transformation unterzogen, so daß im Bildspeicher 8 abhängig von den vorhergesagten Bildinformationen i' der Bewe- gungskompensationseinrichtung 10 stets die Bildinformationen des tatsächlich anliegenden Bildes gespeichert werden können.
Vorzugsweise wird bei dem MPEG2-Algorithmus zur Komprimierung und Kodierung von Bildinformationen eine Komprimierung und Kodierung mit variabler Komprimier- bzw. Kodierrate vorgenommen. Dabei wird die Kompromier- und Kodierrate des Systems abhängig von der von der Kodierungseinrichtung 5 ausgegebenen Datenmenge (Bitrate) für jedes Vollbild eingestellt. Das in Fig. 1 gezeigte Blockschaltbild kann daher durch eine Steuereinheit ergänzt werden, die beispielsweise von der Kodierungseinrichtung 5 die für jedes Vollbild ausgegebene Datenmenge (Bitrate) empfängt und davon abhängig die Quantisierungseinrichtungen 4 und 6 zur Einstellung des Quantisierungswertes, d.h. zur Ver-
änderung der Anzahl der Quantisierungsintervalle, sowie beispielsweise die Bewegungskompensationseinrichtung 10 zur Einstellung bestimmter Filterkoeffizienten ansteuert, um diese Parameter adaptiv an die zu übertragende Datenmenge anzupassen. Mit einer derartigen variablen Steuerung der Komprimier- und Kodierrate kann eine möglichst gleichbleibende Qualität der zu übertragenden Bilder unabhängig davon, ob in dem jeweiligen Bild große Bewegungsänderungen auftreten oder nicht, erzielt werden.
Fig. 2 zeigt ein vereinfachtes Blockschaltbild zur Erläuterung eines zweiten Ausführungsbeispiels des erfindungsgemäßen Verfahrens, wobei zusätzlich zu den Einrichtungen 12 bis 14 eine Adressenmanipulationseinrichtung 15 vorgesehen ist.
Grundsätzlich entspricht die Funktionsweise des in Fig. 2 veranschaulichten zweiten Ausführungsbeispiels dem in Fig. 1 gezeigten ersten Ausführungsbeispiel. Das heißt, es ist wiederum eine Analyseeinrichtung 12 vorgesehen, die die von der Bewe- gungsschätzungseinrichtung 9 gelieferten Bewegungsvektoren analysiert und überwacht und feststellt, ob eine Verschiebung des Vollbildes gegeben ist . Die Bewertungseinrichtung 13 ermittelt bei Feststellen einer Verschiebung des Vollbildes durch Bewertung der Bewegungsvektoren v, ob die festgestellte Verschiebung die Folge eines gewollten Schwenkens oder eines ungewollten Wackeins bei der Bildaufnahme ist. Die Unterscheidung zwischen einem gewollten Schwenken und einem ungewollten Wackeln kann dabei insbesondere, wie anhand von Fig. 1 erläutert worden ist, anhand der Größe des Betrages oder der Dreh- richtung des Bewegungsvektors v erfolgen.
Während bei dem in Fig. 1 dargestellten ersten Ausführungsbei- spiel die Kompensation der infolge eines ungewollten Wackeins auftretenden Verschiebung in einem Bild durch Korrigieren des Bewegungsvektors v selbst erfolgt, wird gemäß dem in Fig. 2 gezeigten Ausführungsbeispiel vorgeschlagen, direkt auf die
eingangsseitig vorliegenden Bildinformationen bzw. Bilddaten i einzuwirken. Dabei wird davon ausgegangen, daß ein in dem Bildinformationsspeicher 1 abgelegtes Gesamtbild in mehrere Ausschnitte unterteilt ist. Jedem dieser Ausschnitte sind entsprechende Abschnitte der dem Gesamtbild entsprechenden Bildinformationen zugeordnet, wobei die einem Ausschnitt entsprechenden Abschnitte der Bildinformationen bzw. Bilddaten in dem Bildinformationsspeicher 1 unter einer jeweils zugewiesenen Adresse abgelegt und gespeichert sind.
Nachdem die Bewertungseinrichtung 13 durch Auswertung der Bewegungsvektoren v eine Verschiebung in einem Bild infolge eines ungewollten Wackeins bei der Bildaufnahme festgestellt hat, wird die Adressenmanipulationseinrichtung 15 angesteuert, die Kenntnis von den den einzelnen Bildinformationsabschnitten zugewiesenen Adressen im Bildinformationsspeicher 1 besitzt. Abhängig von dem Betrag und der Richtung der von der Bewertungseinrichtung 13 mitgeteilten ungewollten Verschiebung kann somit die Adressenmanipulationseinrichtung 15 durch Verändern der den einzelnen Datenabschnitten zugewiesenen Adressen die Anordnung der den einzelnen Abschnitten entsprechenden Bildausschnitte bzw. Bildblöcke im Gesamtbild verändern und die einzelnen Bildausschnitte derart neu anordnen und verschieben, daß die festgestellte Verschiebung infolge eines ungewollten Wackeins rückgängig gemacht und kompensiert wird. Am Ausgang des Bildinformationsspeichers 1 können dann in diesem Fall die korrigierten Bildinformationen bzw. Bilddaten des jeweiligen Gesamtbildes ausgelesen und der weiteren Bildverarbeitung zugrunde gelegt werden. Bei dem in Fig. 2 gezeigten Ausführungs- beispiel erfolgt somit eine rückwirkende Korrektur des Eingangsbildes .
Bei dem in Fig. 2 gezeigten Blockschaltbild ist das zweite Ausführungsbeispiel der vorliegenden Erfindung zusätzlich zu dem anhand von Fig. 1 erläuterten ersten Ausführungsbeispiel der Erfindung, d.h. zusätzlich zu dem Verändern der Bewegungs-
vektoren v, dargestellt. Es ist jedoch zu beachten, daß das anhand Fig. 2 erläuterte Verfahren auch alternativ zu dem anhand Fig. 1 erläuterten Verfahren eingesetzt werden kann, wobei in diesem Fall die in Fig. 1 und 2 gezeigte Dämpfungseinrichtung 14 entfallen und der Bewegungskompensationseinrich- tung 10 stets der von der Bewegungsschätzungseinrichtung 9 ursprünglich erzeugte Bewegungsvektor v zugeführt werden würde.
Claims
1. Verfahren zum Komprimieren von Bildinformationen, umfassend die Schritte a) Bereitstellen von einem augenblicklichen Bild entsprechenden Bildinformationen (i) , b) Vergleichen der dem augenblicklichen Bild entsprechenden Bildinformationen (i) mit einem vorhergehenden Bild entsprechenden Bildinformationen und Erzeugen eines Bewegungsvektors (v) , der einer Verschiebung des augenblicklichen Bildes gegenüber dem vorhergehenden Bild entspricht, c) Vorhersagen von dem augenblicklichen Bild entsprechenden Bildinformationen (i') auf Grundlage des im Schritt b) erzeugten Bewegungsvektors und der dem vorhergehenden Bild entsprechenden Bildinformationen, d) Vergleichen der dem augenblicklichen Bild tatsächlich entsprechenden Bildinformationen (i) mit den im Schritt c) vorhergesagten Bildinformationen (i'), und e) Komprimieren von Differenz-Bildinformationen (Δi) , die einem im Schritt d) ermittelten Unterschied zwischen den dem augenblicklichen Bild tatsächlich entsprechenden Bildinformationen (i) und den im Schritt c) vorhergesagten Bildinformationen (i') entsprechen, dadurch gekennzeichnet, daß der im Schritt b) erzeuge Bewegungsvektor (v) analysiert und abhängig von dem Bewegungsvektor (v) ein ungewolltes Verwackeln des augenblicklichen Bildes erkannt wird, und daß nach Erkennen eines ungewollten Verwackeins des augenblicklichen Bildes mindestens ein die Differenz-Bildinformationen (Δi) beeinflussende Größe abhängig von dem im Schritt b) erzeugten und analysierten Bewegungsvektor (v) korrigiert wird.
2. Verfahren nach Anspruch l, dadurch gekennzeichnet,
daß nach Erkennen eines ungewollten Verwackeins des augenblicklichen Bildes die die Differenz-Bildinformationen (Δi) beeinflussende Größe abhängig von dem Betrag und/oder der Richtung des Bewegungsvektors (v) korrigiert wird.
3. Verfahren nach Anspruch 1 oder 2 , dadurch gekennzeichnet, daß nach Erkennen eines ungewollten Verwackeins des augenblicklichen Bildes der im Schritt b) erzeugte Bewegungsvektor (v) derart korrigiert wird, daß der korrigierte Bewegungsvektor (v' ) das ungewollte Verwackeln des augenblicklichen Bildes nicht mehr berücksichtigt, und daß in dem Schritt c) die vorhergesagten Bildinformationen (i') auf Grundlage des korrigierten Bewegungsvektors (v' ) er- mittelt werden.
4. Verfahren nach Anspruch 3 , dadurch gekennzeichnet, daß der Bewegungsvektor (v) nach Erkennen eines ungewollten Verwackeins des augenblicklichen Bildes durch Verringerung seiner Größe korrigiert wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge en zeichnet, daß jedes Bild in mehrere Ausschnitte unterteilt ist, und daß nach Erkennen eines ungewollten Verwackeins des augenblicklichen Bildes einzelne Ausschnitte des augenblicklichen Bildes derart verschoben werden, daß das ungewollte Verwackeln des augenblicklichen Bildes ausgeglichen wird, wobei die im Schritt a) bereitgestellten Bildinformationen (i) dem somit korrigierten augenblicklichen Bild entsprechen.
6 . Verfahren nach Anspruch 5 , d a d u r c h g e k e n n z e i c h n e t , daß nach Erkennen eines ungewollten Verwackeins des augenblicklichen Bildes einzelne Ausschnitte des augenblicklichen
Bildes entgegen der Richtung des im Schritt b) erzeugten Bewegungsvektors (v) verschoben werden, um das augenblickliche Bild zu korrigieren.
7. Verfahren nach Anspruch 5 oder 6 , dadurch gekennzeichnet, daß die zunächst bereitgestellten und dem augenblicklichen Bild entsprechenden Bildinformationen (i) in einem Speicher (1) gespeichert sind, wobei ein bestimmter Abschnitt der dem augenblicklichen Bild entsprechenden Bildinformationen (i) jeweils einen Ausschnitt des augenblicklichen Bildes beschreibt und unter einer bestimmten Adresse des Speichers (1) abgespeichert ist, und daß die Verschiebung der einzelnen Ausschnitte des augenblick- liehen Bildes durch Manipulation der Adressen, die den zu verschiebenden Ausschnitten des augenblicklichen Bildes entsprechen, erfolgt, um somit dem korrigierten augenblicklichen Bild entsprechende Bildinformationen aus dem Speicher (1) auszulesen.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Komprimieren im Schritt e) durch Quantisieren der Differenz-Bildinformationen (Δi) mit einem bestimmten Quantisie- rungswert erfolgt .
9. Verfahren nach Anspruch 8 , dadurch gekennzeichnet, daß die Differenz-Bildinformationen (Δi) vor der Quantisierung einer diskreten Kosinustransformation unterzogen werden.
10. Verfahren nach Anspruch 9 , dadurch gekennzeichnet, daß die dem vorhergehenden Bild entsprechenden Bildinformatio- nen abhängig von den Differenz-Bildinformationen (Δi) zwischengespeichert werden, nachdem die Differenz-Bildinformatio-
nen (Δi) einer inversen Quantisierung und einer inversen diskreten Cosinustransformation unterzogen worden sind.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß die gespeicherten, dem vorhergehenden Bild entsprechenden Bildinformationen interpoliert werden, um die Bildauflösung der dem vorhergehenden Bild entsprechenden Bildinformationen zu erhöhen, und daß die interpolierten, dem vorhergehenden Bild entsprechenden Bildinformationen im Schritt b) der Erzeugung des Bewegungsvektors (v) zugrunde gelegt werden.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichne , daß die im Schritt e) komprimierten Differenz-Bildinformationen (Δi) kodiert werden.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Verfahren die Bildinformationen nach dem MPEG2 -Algorithmus komprimiert .
14. Anwendung des Verfahrens nach einem der vorhergehenden Ansprüche in einer mobilen Bildaufnahmevorrichtung.
15. Anwendung nach Anspruch 14 , dadurch gekennzeichnet, daß die mobile Bildaufnahmevorrichtung ein mobiles Bildtelefon ist.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19737823 | 1997-08-29 | ||
DE19737823.4 | 1997-08-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO1999012355A1 true WO1999012355A1 (de) | 1999-03-11 |
Family
ID=7840641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/DE1998/002169 WO1999012355A1 (de) | 1997-08-29 | 1998-07-29 | Verfahren zum komprimieren von bildinformationen |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO1999012355A1 (de) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000069178A1 (de) * | 1999-05-07 | 2000-11-16 | Siemens Aktiengesellschaft | Verfahren und anordnungen zur rechnergestützten bewegungskompensation eines digitalisierten bildes sowie computerprogramm-erzeugnisse und computerlesbare speichermedien |
EP1377040A1 (de) * | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Bildsequenzstabilisationsverfahren |
WO2006019484A1 (en) * | 2004-07-21 | 2006-02-23 | Zoran Corporation | Processing of video data to compensate for unintended camera motion between acquired image frames |
EP1638317A3 (de) * | 2004-09-18 | 2007-08-15 | Deutsche Telekom AG | Vorrichtung zur Bildstabilisierung |
US8325810B2 (en) | 2002-06-19 | 2012-12-04 | Stmicroelectronics S.R.L. | Motion estimation method and stabilization method for an image sequence |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0626791A2 (de) * | 1993-05-25 | 1994-11-30 | Nec Corporation | Bewegungsvektorbestimmungsvorrichtung für Bewegtbildern |
EP0649256A2 (de) * | 1993-10-19 | 1995-04-19 | Canon Kabushiki Kaisha | Bewegungskompensation für ein reproduziertes Bildsignal |
US5497191A (en) * | 1993-12-08 | 1996-03-05 | Goldstar Co., Ltd. | Image shake compensation circuit for a digital video signal |
EP0762774A2 (de) * | 1995-08-30 | 1997-03-12 | Sony Corporation | Bildsignalkodierungsvorrichtung |
-
1998
- 1998-07-29 WO PCT/DE1998/002169 patent/WO1999012355A1/de active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0626791A2 (de) * | 1993-05-25 | 1994-11-30 | Nec Corporation | Bewegungsvektorbestimmungsvorrichtung für Bewegtbildern |
EP0649256A2 (de) * | 1993-10-19 | 1995-04-19 | Canon Kabushiki Kaisha | Bewegungskompensation für ein reproduziertes Bildsignal |
US5497191A (en) * | 1993-12-08 | 1996-03-05 | Goldstar Co., Ltd. | Image shake compensation circuit for a digital video signal |
EP0762774A2 (de) * | 1995-08-30 | 1997-03-12 | Sony Corporation | Bildsignalkodierungsvorrichtung |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000069178A1 (de) * | 1999-05-07 | 2000-11-16 | Siemens Aktiengesellschaft | Verfahren und anordnungen zur rechnergestützten bewegungskompensation eines digitalisierten bildes sowie computerprogramm-erzeugnisse und computerlesbare speichermedien |
US7221390B1 (en) | 1999-05-07 | 2007-05-22 | Siemens Aktiengesellschaft | Computer-assisted motion compensation of a digitized image |
EP1377040A1 (de) * | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Bildsequenzstabilisationsverfahren |
US7852375B2 (en) | 2002-06-19 | 2010-12-14 | Stmicroelectronics S.R.L. | Method of stabilizing an image sequence |
US8325810B2 (en) | 2002-06-19 | 2012-12-04 | Stmicroelectronics S.R.L. | Motion estimation method and stabilization method for an image sequence |
WO2006019484A1 (en) * | 2004-07-21 | 2006-02-23 | Zoran Corporation | Processing of video data to compensate for unintended camera motion between acquired image frames |
US7705884B2 (en) | 2004-07-21 | 2010-04-27 | Zoran Corporation | Processing of video data to compensate for unintended camera motion between acquired image frames |
US8289401B2 (en) | 2004-07-21 | 2012-10-16 | Csr Technology Inc. | Processing of video data to compensate for unintended camera motion between acquired image frames |
EP1638317A3 (de) * | 2004-09-18 | 2007-08-15 | Deutsche Telekom AG | Vorrichtung zur Bildstabilisierung |
US8289406B2 (en) | 2004-09-18 | 2012-10-16 | Deutsche Telekom Ag | Image stabilization device using image analysis to control movement of an image recording sensor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69123705T2 (de) | Verfahren zur Kompression von bewegten Bildsignalen nach dem Zeilensprungverfahren | |
DE4343211B4 (de) | Adaptives Bildkompressionsverfahren und adaptive Bildkompressionsvorrichtung | |
DE69738264T2 (de) | Videokodierungs- und Videodekodierungsvorrichtung | |
EP0359094B1 (de) | Übertragungssystem für ein zeitlich und örtlich hochaufgelöstes Bildsignal | |
DE69434668T2 (de) | Adaptives Codierungs- und Decodierungsverfahren mit variabler Länge für Bilddaten | |
DE69116869T2 (de) | Digitale bildkodierung mit einer zufallsabtastung der bilder | |
DE69635369T2 (de) | Videokodierungsvorrichtung | |
DE69424909T2 (de) | Verfahren und vorrichtung zur bildkodierung | |
DE60220106T2 (de) | Verfahren und Vorrichtung zur Reduzierung von Störungen in dekodierten Bildern mit Nachfilterung | |
DE69313692T2 (de) | Kodierung und Dekodierung zur Videokompression mit automatischer Halbbild/Bild Bewegungskompensation auf der Subpixelebene | |
DE69031045T2 (de) | Einrichtung zur adaptiven Zwischenbild-Prädiktionsdekodierung eines Videosignals | |
DE69316439T2 (de) | Methode und Vorrichtung zur Kodierung und Dekodierung von Videodaten | |
DE69418525T2 (de) | Bildsignalkodierung mit hoher Wirksamkeit | |
DE69124536T2 (de) | Bildkodiervorrichtung | |
DE69815922T2 (de) | Verfahren und Vorrichtung zur prädiktiven Bildkodierung und -dekodierung | |
DE69330620T2 (de) | Verfahren und Einrichtung zur Bildkodierung | |
DE69422257T2 (de) | Gerät zur Videosignalkompression unter Verwendung einer Rauschreduktion | |
DE69417480T2 (de) | Bestimmung von Bewegungsvektoren in einem Videokodierer mit Bilddezimation | |
DE69231678T2 (de) | Bewegungskompensierte Prädiktionseinrichtung | |
DE69226127T2 (de) | Effiziente Kodierungs- und Dekodierungsanordnungen zur Verarbeitung eines digitalen Bildsignals | |
DE4442643B4 (de) | Verfahren zum Abschätzen der Bewegung in einem Bewegtbild | |
DE69515997T2 (de) | Transkodierer | |
DE10296787B4 (de) | Selektive Prädikation für ein Intra-Codieren eines Videodatenblocks | |
DE69310609T2 (de) | Quantisierungskontrollschaltung | |
DE19907132B4 (de) | Videodecoder für einen Digitalfernseher |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AK | Designated states |
Kind code of ref document: A1 Designated state(s): US |
|
AL | Designated countries for regional patents |
Kind code of ref document: A1 Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
DFPE | Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101) | ||
122 | Ep: pct application non-entry in european phase |