DE10141130C1

DE10141130C1 - Digital image data stream coding and decoding method has several pre-processing and processing steps for coding, decoding and filtering effected in parallel

Info

Publication number: DE10141130C1
Application number: DE10141130A
Authority: DE
Inventors: Martin Koehler
Original assignee: Sci Worx GmbH
Current assignee: Sci Worx GmbH
Priority date: 2001-08-22
Filing date: 2001-08-22
Publication date: 2003-04-03
Anticipated expiration: 2021-08-23

Abstract

The coding and decoding method uses a signal processor and at least one data memory, with pre-processing of the image data from a camera (C) by scaling and color conversion and movement estimation, using separate processing units (VVB,ME), in parallel with the coding or decoding. A further signal processing unit (VNB) provides parallel image data decoding for supplying a display, the image data provided by the processor and each of the processing units being held in different memory locations (R1-R7) of the memory, e.g. RAM. The decoded data is subjected to parallel filtering by a filter unit (VEP) before being fed to the display. An Independent claim is included for a device for coding and decoding of a digital image data stream .

Description

Die Erfindung betrifft ein Verfahren zur Kodierung und Dekodierung von digitalen Bild datenströmen mit einem Signalprozessor und mindestens einem Datenspeicher.The invention relates to a method for coding and decoding digital images data streams with a signal processor and at least one data memory.

Die Erfindung betrifft ferner eine Vorrichtung zur Kodierung von digitalen Bilddaten strömen von einer Bildaufnahmeeinheit und zur Dekodierung kodierter Bilddatenströ me zur Anzeige auf einer Bildanzeigeeinheit mit einem Signalprozessor und minde stens einem Datenspeicher, wobei der Signalprozessor zur Kodierung und zur Deko dierung des Bilddatenstroms ausgebildet ist.The invention further relates to a device for encoding digital image data flow from an image acquisition unit and for decoding coded image data streams me for display on an image display unit with a signal processor and min least a data memory, the signal processor for coding and deco dation of the image data stream is formed.

Aus der DE 199 29 419 A1 ist ein Kommunikationsbus zur synchronen Kommunika tion zwischen Schaltungsmodulen beschrieben. Hieraus ist bekannt, voneinander un abhängige Signalverarbeitungseinheiten über einen spezialisierten Datenbus miteinan der zu verbinden und den Datenbus und die Schaltungseinheiten über eine Steue rungseinheit zu synchronisieren. Die Signalverarbeitungseinheiten arbeiten unabhängig voneinander und werden über Interruptsignale gestartet. DE 199 29 419 A1 describes a communication bus for synchronous communication tion between circuit modules described. From this it is known, un from one another dependent signal processing units with each other via a specialized data bus the to connect and the data bus and the circuit units via a control synchronization unit. The signal processing units work independently from each other and are started via interrupt signals.

Die Kodierung und Dekodierung von Bilddatenströmen, insbesondere von bewegten Bildsequenzen, ist hinreichend bekannt und z. B. als MPEG-Standard genormt.The encoding and decoding of image data streams, especially of moving ones Image sequences is well known and z. B. standardized as MPEG standard.

Insbesondere bei der Kodierung und Dekodierung von Bilddatenströmen nach dem MPEG-4-Standard z. B. zur Bildtelefonie besteht das Problem, dass die Aufnahme, Ko dierung und Sendung eines Bewegbilddatenstroms gleichzeitig mit dem Empfangen, Dekodieren und Präsentieren eines anderen Bewegbilddatenstroms mit Hilfe einer ein zigen integrierten Schaltung mit geringstmöglichem technischen Aufwand realisiert werden muß. Aus Platz- und Kostengründen wird herkömmlicherweise ein einziger Signalprozessor eingesetzt, dessen Rechenleistung durch die ihm zugewiesenen Auf gaben stark belastet ist.Especially when encoding and decoding image data streams after the MPEG-4 standard e.g. B. for video telephony there is the problem that the recording, Ko dation and transmission of a motion picture data stream simultaneously with the reception, Decode and present another motion picture data stream using one umpte integrated circuit realized with the least possible technical effort must become. For space and cost reasons, a single is traditionally used Signal processor used, its computing power through the assigned to it were heavily burdened.

In der EP 1 091 590 A1 ist ein Videodekoder mit einem Dekoderprozessor, aufgeteil tem Speicher und Video-Zwischenspeichern beschrieben.EP 1 091 590 A1 divides a video decoder with a decoder processor memory and video buffers.

In dem US-Patent 5,860,086 ist ein Videoprozessor offenbart, der unter anderem spezialisierte Bausteine zur Bewegungskompensation, variablen Längendekodierung und inversen Quantisierung hat, die auf einen gemeinsamen Bildspeicher zugreifen.A video processor is disclosed in U.S. Patent 5,860,086 which inter alia specialized modules for motion compensation, variable length decoding and has inverse quantization that access a common frame buffer.

In der EP 0 790 579 A2 ist ein Videodekoder beschrieben, bei dem die Prozesse in verse Quantisierung, inverse diskrete Kosinustransformation und Bewegungskompen sation parallel durch Logikoperationen auf einem superscalaren Mikroprozessor ausge führt werden.EP 0 790 579 A2 describes a video decoder in which the processes in verse quantization, inverse discrete cosine transformation and motion components sation in parallel by logic operations on a superscalar microprocessor leads.

In der WO 97/04401 A2 ist ein Bildverarbeitungssystem mit einem Masterprozessor, mehreren parallelen Prozessoren und parallelen Speichern beschrieben, wobei die auf gabenspezifischen parallelen Prozessoren über ein Kommunikationsmodul arbiter gesteuert miteinander verbunden sind. WO 97/04401 A2 describes an image processing system with a master processor, several parallel processors and parallel memories described, the on parallel processors using a communication module arbiter are connected to each other in a controlled manner.

Aus der WO 00/60759 A1 ebenfalls die Aufteilung einzelner Prozesse zur digitalen Bildkodierung und Dekodierung auf separate Prozessoren bekannt.From WO 00/60759 A1 also the division of individual processes for digital Image coding and decoding on separate processors known.

Das US-Patent 5,982,459 offenbart einen digitalen Bildverarbeitungsprozessor, der einen separaten Dekoder/Koder hat und bei dem die Speicher zum Ablegen von Zwi schenergebnissen aufgeteilt sind. Die Videokodier- und dekodierprozeduren sind ne ben der Hufmannkodierung/-dekodierung in einem Vision-Prozessor implementiert. Dieser Prozessor beeinhaltet auch die Bewegungsschätzung.U.S. Patent 5,982,459 discloses a digital image processor which has a separate decoder / encoder and in which the memory for storing two results are divided. The video encoding and decoding procedures are ne Hufmann coding / decoding implemented in a vision processor. This processor also includes motion estimation.

Aufgabe der Erfindung ist es, ein weiter verbessertes Verfahren zur Kodierung und Dekodierung von digitalen Bilddatenströmen zu schaffen, bei dem der Signalprozessor entlastet wird, die Speicher durch Steuerung der Schreib-, Lese- und Überschreibzy klen optimal ausgenutzt werden und die Prozesse zur Echtzeitverarbeitung optimal ineinander greifen.The object of the invention is a further improved method for coding and To create decoding of digital image data streams using the signal processor the memory is relieved by controlling the write, read and overwrite cycles optimally used and the processes for real-time processing optimal mesh.

Die Aufgabe wird dadurch gelöst, dass die Prozesse einer Vorverarbeitung von Bildda ten aus einer Bildaufnahmeeinheit durch Skalierung und Farbkonvertierung und einer Bewegungsschätzung mit separaten Signalverarbeitungseinheiten in grundsätzlich be kannter Weise parallel zur Signalverarbeitung, insbesondere Kodierung oder Dekodie rung, durch den Signalprozessor und die Prozesse einer Nachbearbeitung dekodierter Bilddaten zur Anzeige auf einer Bildanzeigeeinheit durch Skalierung und Farbkonvertie rung mit einer separaten Signalverarbeitungseinheit in grundsätzlich bekannter Weise parallel zur Signalverarbeitung durch den Signalprozessor durchgeführt werden und die Bilddaten von den Signalverarbeitungseinheiten und dem Signalprozessor jeweils in voneinander getrennten Speicherbereichen des mindestens einen Datenspeichers abgelegt werden.The task is solved in that the processes of preprocessing image data from an image acquisition unit by scaling and color conversion and one Motion estimation with separate signal processing units in basically be known in parallel to signal processing, in particular coding or decoding tion, decoded by the signal processor and postprocessing processes Image data for display on an image display unit by scaling and color conversion tion with a separate signal processing unit in a generally known manner be carried out in parallel to the signal processing by the signal processor and the image data from the signal processing units and the signal processor, respectively in separate memory areas of the at least one data memory be filed.

Die Vorverarbeitung, Bewegungsschätzung und Nachbearbeitung der Bilddaten wird somit wie bereits aus dem Stand der Technik bekannt in separaten spezialisierten Si gnalverarbeitungseinheiten parallel zu der Kodierung und Dekodierung durch den Si prozessor zu implementiert. Dabei werden die verarbeiteten Daten von den einzelnen Signalverarbei tungseinheiten bzw. dem Signalprozessor in jeweils voneinander getrennte Speicher bereiche abgelegt, so dass die Prozesse parallel bzw. verschachtelt im Zeitmultiplex durchgeführt werden können.The preprocessing, motion estimation and post-processing of the image data is done thus, as already known from the prior art, in separate specialized Si Signal processing units parallel to the coding and decoding by the Si processor implemented. The processed data is processed by the individual Signalverarbei processing units or the signal processor in separate memories areas stored so that the processes are parallel or nested in time-division multiplex can be carried out.

Erfindungsgemäß sind für die Kodierung die Schritte vorgesehen von:
According to the invention, the steps for coding are provided by:

1. Skalierung und Farbkonvertierung eines Bilddatenstromes von einer Bildauf nahmeeinheit zur Vorverarbeitung, Speichern der vorverarbeiteten Bilddaten in einem ersten Speicherbereich und Senden eines Vorverarbeitungs- Interruptsignals an den Signalprozessor, wenn eine Bildblockzeile abgespeichert ist,1. Scaling and color conversion of an image data stream from one image to another acquisition unit for preprocessing, storing the preprocessed image data in a first memory area and sending a preprocessing Interrupt signal to the signal processor when a picture block line is saved is
2. Auslesen der Bilddaten aus dem ersten Speicherbereich, Bewegungsschätzung mit einer Bewegungsschätzungseinheit während der fortgesetzten Vorverarbei tung nach Erhalt eines Vorverarbeitungs-Interruptsignals, Abspeichern der Er gebnisse der Bewegungsschätzung in einem zweiten Speicherbereich und Sen den eines Bewegungsschätz-Interruptsignals an den Signalprozessor, wenn ein Bildblock oder eine Bildblockzeile abgespeichert ist,2. Reading out the image data from the first memory area, motion estimation with a motion estimation unit during the ongoing preprocessing device after receiving a preprocessing interrupt signal, storing the Er results of motion estimation in a second memory area and Sen that of a motion estimation interrupt signal to the signal processor when a Image block or an image block line is stored,
3. Auslesen der Bilddaten aus dem ersten und zweiten Speicherbereich durch den Signalprozessor, Kodieren der Bilddaten und Übertragen der kodierten Bildda ten.3. Read the image data from the first and second memory area by the Signal processor, encoding the image data and transmitting the encoded image th.

Weiterhin sind für die Dekodierung erfindungsgemäß die Schritte vorgesehen von:
According to the invention, the steps for:

1. Dekodieren von kodierten Bilddaten mit dem Signalprozessor und Abspeichern der dekodierten Bilddaten in einem dritten Speicherbereich,1. Decoding coded image data with the signal processor and storing the decoded image data in a third memory area,
2. adaptives Filtern der im dritten Speicherbereich abgespeicherten Bilddaten je weils nach Dekodierung und Abspeicherung einer Bildblockzeile und Abspei chern der gefilterten Bilddaten in einem vierten und fünften Speicherbereich,2. adaptive filtering of the image data stored in the third memory area each because after decoding and saving an image block line and copy storing the filtered image data in a fourth and fifth memory area,
3. Auslesen der gefilterten Bilddaten aus dem vierten und fünften Speicherbereich und Skalieren und Farbkonvertieren der gefilterten Bilddaten zur Nachbearbei tung jeweils nach Filterung und Abspeicherung einer Bildblockzeile,3. Reading out the filtered image data from the fourth and fifth memory area and scaling and color converting the filtered image data for post-processing processing after filtering and saving an image block line,
4. Anzeigen der nachbearbeiteten Bilddaten.4. Display the post-processed image data.

Hierdurch ist eine Kodierung und Dekodierung im Zeitmultiplex annähernd parallel mit einer einzigen Signalverarbeitungsvorrichtung möglich, wobei die Prozesse unter Be rücksichtigung eines Eckzeitbetriebs optimal ineinandergreifen und der notwendige Speicherbedarf reduziert ist. Die Ausnutzung der einzelnen spezialisierten Prozessoren sowie der Speicherbereiche ist durch den erfindungsgemäßen, aufeinander abge stimmten Verfahrensablauf nahezu optimal.As a result, coding and decoding in time-division multiplexing is approximately parallel with a single signal processing device possible, the processes under Be taking into account a corner time operation optimally intermesh and the necessary Memory requirements are reduced. The exploitation of the individual specialized processors and the memory areas is mutually abge by the invention agreed procedure almost optimal.

Die Größe der zu reservierenden Speicherbereiche kann optimiert werden, wenn die Speicherbereiche jeweils als Ringspeicher adressiert werden. Hierbei werden die Adressen ausgehend von einer Startadresse des jeweiligen Speicherbereichs fortlau fend inkrementiert. Nach Erreichen einer Zieladresse des Speicherbereiches wird die Adressierung wieder von der Startadresse ausgehend fortgeführt. Das Lesen und Schreiben der Speicherbereiche erfolgt somit nach dem First-In-First-Out (FIFO)- Prinzip in einer unendlichen Schleife fortlaufend.The size of the memory areas to be reserved can be optimized if the Memory areas are each addressed as ring memories. Here, the Addresses proceed from a start address of the respective memory area fend incremented. After reaching a destination address of the memory area, the Addressing continued from the start address. Reading and The memory areas are thus written after the first-in-first-out (FIFO) - Principle continuous in an infinite loop.

Besonders vorteilhaft ist es, wenn die vorverarbeiteten Bilder zusätzlich verkleinert in einem sechsten Speicherbereich abgespeichert und aus diesem Speicherbereich an die aufgenommene Bildsequenz sofort kontrolliert werden. Die Anzeige der verkleiner ten Bildsequenz kann mit Hilfe der Videonachbearbeitung auf der Anzeigeeinheit einer zur Anzeige übertragen und dekodierten Bildsequenz überlagert werden.It is particularly advantageous if the preprocessed images are additionally reduced in size a sixth memory area is stored and from this memory area the recorded image sequence can be checked immediately. The display of the zoom out th image sequence can be edited with the help of video post-processing on the display unit transmitted for display and decoded image sequence are superimposed.

Die Aufgabe wird weiterhin mit der Vorrichtung zur Kodierung und Dekodierung digi taler Bilddatenströme mit
The task continues with the device for coding and decoding digital image data streams

- einer Bilddatenvorverarbeitungseinheit, die an die Bildaufnahmeeinheit ange schlossen ist, zur Skalierung und Farbkonvertierung der Bilddaten der Bildauf nahmeeinheit,- An image data preprocessing unit, which is attached to the image recording unit is closed, for scaling and color conversion of the image data of the image acceptance unit,
- einer Bewegungsschätzungseinheit zur Ermittlung von Bewegungsvektoren des Bilddatenstroms,- A motion estimation unit for determining motion vectors of the Image data stream,
- einer Bilddatennachverarbeitungseinheit, die an die Bildanzeigeeinheit ange schlossen ist, zur Skalierung und Farbkonvertierung der dekodierten Bilddaten, erfindungsgemäß dadurch gelöst, dass- An image data post-processing unit, which is attached to the image display unit is closed, for scaling and color conversion of the decoded image data, solved according to the invention in that

die Bilddatenvorverarbeitungseinheit, Bewegungsschätzungseinheit, zur Durchführung des oben beschriebenen Verfahren ausgebildet sind.the image data preprocessing unit, motion estimation unit, for implementation of the method described above are formed.

Die Speicherbereiche sind hierzu vorzugsweise jeweils als Ringspeicher fortlaufend adressiert, wobei die Adressen ausgehend von einer Startadresse des jeweiligen Spei cherbereiches fortlaufend inkrementiert und nach Erreichen einer Zieladresse des Speicherbereichs die Adressierung wieder von der Startadresse ausgehend fortgeführt wird. For this purpose, the memory areas are preferably continuous as ring memories addressed, the addresses starting from a start address of the respective memory continuously incremented and after reaching a destination address of the Memory area continued addressing starting from the start address becomes.

Besonders vorteilhaft ist es, wenn die Speicherbereiche in einem gemeinsamen Spei cherelement, z. B. einem Random Access Memory (RAM) angeordnet sind.It is particularly advantageous if the storage areas are in a common memory cherelement, e.g. B. a random access memory (RAM) are arranged.

Zur Unterdrückung verfahrensspezifischer Rauscheffekte nach der Dekodierung ist es vorteilhaft, eine Filtereinheit zur Filterung der dekodierten Bilddaten vorzusehen, die parallel zu den anderen Signalverarbeitungseinheiten und dem Signalprozessor arbeitet und ebenfalls interrupt-gesteuert von dem Signalprozessor aktiviert wird.It is used to suppress process-specific noise effects after decoding advantageous to provide a filter unit for filtering the decoded image data works in parallel with the other signal processing units and the signal processor and is also activated interrupt-controlled by the signal processor.

Die Erfindung wird nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:The invention is explained below with reference to the accompanying drawings. Show it:

Fig. 1 Blockdiagramm der Vorrichtung zur Kodierung und Dekodierung digitaler Bilddatenströme mit Zugriffen auf Speicherbereiche eines Datenspeichers und Interrupt-Steuerung bei der Kodierung eines Datenstroms; FIG. 1 is block diagram of apparatus for encoding and decoding digital image data streams with access to memory areas of a data memory, and interrupt control in the coding of a data stream;

Fig. 2 Blockdiagramm der Vorrichtung aus Fig. 2 mit Speicherzugriffen und Interrupt-Steuerung bei der Dekodierung eines Bilddatenstroms; FIG. 2 shows a block diagram of the device from FIG. 2 with memory accesses and interrupt control when decoding an image data stream; FIG.

Fig. 3 Blockdiagramm der Vorrichtung aus Fig. 1 und 2 mit Speicherzugriffen und Interrupt-Steuerung bei der Dekodierung mit umgeschalteten Zugriff auf den vierten und fünften Speicherbereich. Fig. 3 is a block diagram of the apparatus of Fig. 1 and 2 with memory access and interrupt control in the decoding with the switched access to the fourth and fifth memory area.

Die Fig. 1 läßt ein Blockdiagramm einer Vorrichtung zur Kodierung und Dekodierung von digitalen Bilddatenströmen erkennen, wobei Bildsequenzen von einer Bildaufnah meeinheit C aufgenommen und in einer Bilddatenvorverarbeitungseinheit VVB vorver arbeitet werden. Die Bilddaten werden hierbei skaliert, nach Farbkomponenten sortiert und es wird eine Farbraumkonvertierung durchgeführt. Die resultierenden Bilddaten werden für die nachfolgende Kodierung in einem ersten Speicherbereich R1 eines Da tenspeichers RAM abgelegt. Fig. 1 shows a block diagram of an apparatus for encoding and decoding digital image data streams, image sequences from a Bildaufnah meeinheit C was added and vorver in a Bilddatenvorverarbeitungseinheit VVB works are. The image data are scaled, sorted according to color components and a color space conversion is carried out. The resulting image data are stored in a first memory area R1 of a data memory RAM for subsequent encoding.

Es ist weiterhin eine Bewegungsschätzungseinheit ME vorgesehen, um die für die nach dem MPEG-4-Standard erforderlichen Bewegungsvektoren und sonstige statisti sche Daten in bekannter Weise zu ermitteln. Die Bewegungsvektoren und sonstigen statistischen Daten werden in einem zweiten Speicherbereich R2 des Datenspeichers RAM abgelegt. Die Bewegungsschätzungseinheit ME greift auf den ersten Speicher bereich R1 zu, um die vorverarbeiteten Bilddaten auszulesen.A motion estimation unit ME is also provided in order to determine the for the motion vectors and other statistical data required according to the MPEG-4 standard determine cal data in a known manner. The motion vectors and others statistical data are stored in a second memory area R2 of the data memory RAM stored. The motion estimation unit ME accesses the first memory area R1 to read out the preprocessed image data.

Es ist ein Signalprozessor µP zur Kodierung, Dekodierung und Prozesssteuerung vor gesehen, der zur Kodierung die im ersten Speicherbereich R1 abgelegten Bilddaten und im zweiten Speicherbereich R2 abgelegten Bewegungsvektoren und sonstige sta tistische Daten ausliest und eine Kodierung durchführt. Der kodierte Bilddatenstrom wird über eine Übertragungseinheit T weitergeleitet.There is a signal processor µP for coding, decoding and process control in front seen, the image data stored in the first memory area R1 for coding and motion vectors and other sta stored in the second memory area R2 reads statistical data and performs coding. The encoded image data stream is forwarded via a transmission unit T.

Für die Kodierung erfolgt die Steuerung der Bilddatenvorverarbeitungseinheit VVB und der Bewegungsschätzungseinheit ME über ein Steuerungssignal CTR. Die Steuerung der Prozesse erfolgt mit Hilfe von Interruptsignalen I.The control of the image data preprocessing unit VVB and takes place for the coding the motion estimation unit ME via a control signal CTR. The control the processes take place with the help of interrupt signals I.

Für die Dekodierung sind weiterhin eine Bilddatennachverarbeitungseinheit VNB und eine Filtereinheit VEP sowie weitere Speicherbereiche vorgesehen. Der Kodierprozess unter Beteiligung der Bilddatenvorverarbeitungseinheit VVB, der Bewegungsschät zungseinheit ME und des Signalprozessors µP sowie der Dekodier- und Anzeigepro zess unter Beteiligung der Bilddatennachverarbeitungseinheit VNB, der Filtereinheit VEP und der Anzeigeeinheit D laufen in den einzelnen Signalverarbeitungseinheiten VNB, VVB, ME und VEP nahezu unabhängig voneinander ab. Im Signalprozessor µP werden die Prozesse hingegen im Zeitmultiplex abgearbeitet. Eine auf dem Signalpro zessor µP implementierte Software dient zur Kontrolle des Ablaufs eines bestimmten Zugriffsschemas auf die Speicherbereiche des Datenspeichers RAM. Hierbei wird der momentane Programmstatus im Signalprozessor µP und der Status der Signalverarbei tungseinheiten ausgewertet und es werden gegebenenfalls Arbeitsschritte im Signal prozessor µP oder den Signalverarbeitungseinheiten initiiert.An image data postprocessing unit VNB and are also for the decoding a filter unit VEP and further storage areas are provided. The coding process with the participation of the image data preprocessing unit VVB, the Movement Schät tion unit ME and the signal processor µP as well as the decoding and display pro zess with the participation of the image data post-processing unit VNB, the filter unit VEP and the display unit D run in the individual signal processing units VNB, VVB, ME and VEP are almost independent of each other. In the signal processor µP however, the processes are processed in time-division multiplex. One on the signal pro processor µP implemented software is used to control the flow of a certain Access schemes to the memory areas of the data memory RAM. Here, the current program status in the signal processor µP and the status of the signal processing processing units are evaluated and, if necessary, work steps in the signal processor µP or the signal processing units initiated.

Der Kodierprozess wird wie folgt durchgeführt:
Zunächst wird über ein Steuerungssignal CTR die Bilddatenvorverarbeitungseinheit VVB gestartet, um Bilddaten von der Bildaufnahmeeinheit C in Empfang zu nehmen, zu skalieren und farbzukonvertieren. Die vorverarbeiteten, zu kodierenden Bilddaten werden in einem speziell zugewiesenen ersten Speicherbereich R1 von hinreichender Größe im Datenspeicher RAM abgelegt. Der erste Speicherbereich R1 ist hierbei als Ringspeicher organisiert, wobei ab einer Startadresse des ersten Speicherbereichs R1 mit inkrementierender Adresse abgespeichert wird, bis die höchste Adresse (Ziel adresse) im Speicherbereich R1 erreicht ist. Anschließend wird wieder bei der Start adresse begonnen.The coding process is carried out as follows:
First of all, the image data preprocessing unit VVB is started via a control signal CTR in order to receive image data from the image recording unit C, to scale it and to convert it to color. The preprocessed image data to be encoded are stored in a specially assigned first memory area R1 of sufficient size in the data memory RAM. The first memory area R1 is organized as a ring memory, with an incrementing address being stored from a start address of the first memory area R1 until the highest address (destination address) in the memory area R1 is reached. Then it starts again at the start address.

Gleichzeitig wird das Bild stark verkleinert in einem dritten Speicherbereich R3 abge legt, wobei der dritte Speicherbereich R3 ebenfalls als Ringspeicher organisiert ist und genau die Größe des verkleinerten Bildes hat.At the same time, the image is reduced in size in a third memory area R3 sets, the third memory area R3 is also organized as a ring memory and exactly the size of the reduced image.

Während des gesamten Kodierprozesses arbeitet die Bilddatenvorverarbeitungseinheit VVB kontinuierlich weiter. Der Signalprozessor µP ist so gesteuert, dass die für die Kodierung benötigten Bilddaten rechtzeitig aus dem ersten Speicherbereich R1 ent nommen werden, bevor die Bilddatenvorverarbeitungseinheit VVB diese Bilddaten in dem ersten Speicherbereich R1 wieder überschreibt. Da das im dritten Speicherbe reich R3 abgelegte stark verkleinerte Bild lediglich zur Aufnahmekontrolle dient, wird ein Überschreiben des Inhalts des dritten Speicherbereichs R3 nicht gesondert über wacht.The image data preprocessing unit works during the entire coding process VVB continues. The signal processor µP is controlled so that for the Encoding required image data from the first memory area R1 in good time be taken before the image data preprocessing unit VVB in this image data overwrites the first memory area R1 again. Since that in the third storage area richly filed R3 greatly reduced image is used only for recording control overwrite the content of the third memory area R3 not separately wakes.

Die Bilddatenvorverarbeitungseinheit VVB sendet nach jeder an den ersten Speicher bereich R1 übertragenen Bildblockzeile ein Vorverarbeitungs-Interruptsignal I1 aus, um dem Signalprozessor µP die Menge der derzeit im ersten Speicherbereich R1 zur Ver fügung stehenden Bilddaten mitzuteilen. Bei Bedarf wird von dem Signalprozessor µP mit einem Steuersignal CTR nach jedem von der Bilddatenvorverarbeitungseinheit VVB erhaltenen Vorverarbeitungs-Interruptsignal I1 die Bewegungsschätzungseinheit ME gestartet. Diese analysiert die aktuell von der Bilddatenvorverarbeitungsenheit VVB abgelegte Bildblockzeile und speichert die Analyseergebnisse, nämlich die Bewe gungsvektoren und statistischen Daten, ebenfalls in dem Datenspeicher RAM, jedoch in einem zweiten Speicherbereich R2 hinreichender Größe. Der zweite Speicherbe reich R2 ist ebenfalls als Ringspeicher organisiert. Wahlweise nach jedem verarbeite ten Bildblock oder nach jeder verarbeiteten Bildblockzeile sendet die Bewegungs schätzungseinheit ME ein Bewegungsschätz-Interruptsignal I2 an den Signalprozessor µP, um diesem mitzuteilen, dass die entsprechenden Analyseergebnisse nunmehr in dem zweiten Speicherbereich R2 verfügbar sind. Die Bewegungsschätzeinheit ME be endet ihre Arbeit selbständig nach erfolgter Analyse einer jeden Bildblockzeile und wartet für den nächsten Prozess auf ein erneutes Startsignal über die Steuerleitung CTR vom Signalprozessor µP. Der Signalprozessor µP wird so gesteuert, dass die für die Kodierung benötigten Bilddaten rechtzeitig aus dem zweiten Speicherbereich R2 entnommen werden, bevor die Bewegungsschätzeinheit ME diese Bilddaten wieder überschreibt.The image data preprocessing unit VVB sends to the first memory after each area R1 transmitted image block line from a preprocessing interrupt signal I1 the signal processor µP the amount of the currently in the first memory area R1 for Ver available image data. If necessary, the signal processor µP with a control signal CTR after each of the image data preprocessing unit VVB received preprocessing interrupt signal I1 the motion estimation unit ME started. This analyzes the currently from the image data preprocessing unit VVB stored image block line and saves the analysis results, namely the movement supply vectors and statistical data, also in the data memory RAM, however in a second memory area R2 of sufficient size. The second storage area rich R2 is also organized as a ring buffer. Optionally after each process The movement sends the first picture block or after each processed picture block line Estimation unit ME a motion estimation interrupt signal I2 to the signal processor µP, in order to inform the latter that the corresponding analysis results are now in the second memory area R2 are available. The movement estimation unit ME be their work ends independently after analysis of each image block line and waits for the next process for a new start signal via the control line CTR from the signal processor µP. The signal processor µP is controlled so that the for the coding required image data in good time from the second memory area R2 be removed before the motion estimation unit ME again this image data overrides.

Auf diese Weise ist eine gleichzeitige Verarbeitung der Bilddaten durch die Bilddaten vorverarbeitungseinheit VVB, die Bewegungsschätzungseinheit ME und den Signal prozessor µP möglich. Idealerweise wird von der Bilddatenvorverarbeitungseinheit VVB eine Bildblockzeile in den ersten Speicherbereich R1 geschrieben, während die Bewegungsschätzungseinheit ME die zuvor geschriebene Bildblockzeile analysiert. Gleichzeitig wertet der Signalprozessor µP die bereits generierten Analyseergebnisse aus, die in dem zweiten Speicherbereich R2 vorliegen und kodiert hiermit die zugehö rigen noch in dem ersten Speicherbereich R1 befindlichen Bilddaten.This is a simultaneous processing of the image data by the image data preprocessing unit VVB, the motion estimation unit ME and the signal processor µP possible. Ideally, the image data preprocessing unit VVB a picture block line written in the first memory area R1, while the Motion estimation unit ME analyzes the previously written image block line. At the same time, the signal processor µP evaluates the analysis results already generated that exist in the second memory area R2 and hereby encodes the associated ones image data still located in the first memory area R1.

Aus der Fig. 2 ist der Speicherzugriff bei der Dekodierung von Bilddatenströmen zu erkennen, die von der Übertragungseinheit T an den Signalprozessor µP geschickt werden. Der übermittelte kodierte Bilddatenstrom wird von Signalprozessor µP in be kannter Weise, z. B. nach dem MPEG-4-Standard, dekodiert. Die resultierenden Bildda ten werden von dem Signalprozessor µP in einem vierten Speicherbereich R4 in dem Datenspeicher RAM abgelegt. Zusätzlich speichert der Signalprozessor µP in einem fünften Speicherbereich R5 weitere aus dem Dekodierprozess stammende und für die adaptive Filterung relevante Informationen ab. Jedesmal, wenn der Signalprozessor µP eine Bildblockzeile kodiert und abgespeichert hat, wird über die Steuerleitung CTR die Filtereinheit VEP zur adaptiven Filterung gestartet. Die Filtereinheit VEP liest die Bilddaten aus dem dritten und vierten Speicherbereich R3 und R4 aus und führt eine adaptive Filterung zur Befreiung der Bilddaten von Rauschartefakten durch. Nährend die Filtereinheit VEP arbeitet, fährt der Signalprozessor µP mit der Dekodierung der nächsten Bilddaten fort und legt die neuen Bilddaten bereits in dem vierten und fünf ten Speicherbereich R4 und R5 ab, die ebenfalls als Ringspeicher organisiert sind. Die Filtereinheit VEP speichert nach Bearbeitung der Bildblockzeile ihre Ergebnisse jeweils in einem von zwei für die Filtereinheit VEP reservierten Speicherbereichen R6 und R7 im Datenspeicher RAM ab. Der sechste und siebte Speicherbereich R6 und R7 wer den jeweils abwechselnd verwendet. Nach Abschluß der Filterung einer Bildlblockzeile sendet die Filtereinheit VEP ein Filter-Interruptsignal I3 an den Signalprozessor yP. Dieser startet daraufhin die Bilddatennachverarbeitungseinheit VNB, welche die gefil terten Bilddaten aus dem jeweiligen sechsten und siebten Speicherbereich R6 und R7 ausliest, nachbearbeitet und an die Bildanzeigeeinheit D überträgt. Zur Bildnachbear beitung wird eine Skalierung und Farbraumkonvertierung durchgeführt. Zusätzlich wird gegebenenfalls noch ein weiterer Datenstrom hinzugemischt, der z. B. einen syn thetischen Ursprung haben kann.From Fig. 2, the memory access can be seen in the decoding of image data streams that are sent from the transmission unit T to the signal processor uP. The transmitted coded image data stream is from the signal processor µP in a known manner, for. B. according to the MPEG-4 standard, decoded. The resulting image data are stored by the signal processor μP in a fourth memory area R4 in the data memory RAM. In addition, the signal processor μP stores in a fifth memory area R5 further information originating from the decoding process and relevant for the adaptive filtering. Each time the signal processor µP has coded and stored an image block line, the filter unit VEP for adaptive filtering is started via the control line CTR. The filter unit VEP reads out the image data from the third and fourth memory areas R3 and R4 and carries out adaptive filtering in order to free the image data from noise artifacts. While the filter unit VEP is working, the signal processor µP continues to decode the next image data and already stores the new image data in the fourth and fifth memory areas R4 and R5, which are also organized as ring memories. After processing the image block line, the filter unit VEP stores its results in one of two memory areas R6 and R7 reserved for the filter unit VEP in the data memory RAM. The sixth and seventh memory areas R6 and R7 are used alternately. After the filtering of a picture block line has been completed, the filter unit VEP sends a filter interrupt signal I3 to the signal processor yP. The latter then starts the image data postprocessing unit VNB, which reads the filtered image data from the respective sixth and seventh memory areas R6 and R7, post-processes them and transfers them to the image display unit D. Scaling and color space conversion are carried out for image processing. In addition, another data stream may also be mixed in, e.g. B. may have a synthetic origin.

Die Bilddatennachverarbeitungseinheit VNB kann zudem bedarfsweise Bilddaten aus dem dritten Speicherbereich R3 auslesen und das dort gespeicherte von der Bildauf nahmeeinheit C aufgenommene Bildsignal zusätzlich auf der Bildanzeigeeinheit D ein blenden. Nachdem die Bilddatennachverarbeitungseinheit VNB den Inhalt des jeweili gen aktuellen der beiden Speicherbereiche R6 und R7 abgearbeitet hat, sendet diese ebenfalls ein Nachverarbeitungs-Interruptsignal I4 an den Signalprozessor µP aus. An schließend arbeitet die Bilddatennachverarbeitungseinheit VNB so lange selbständig weiter, bis ein Wechsel auf den anderen Speicherbereich R6 und R7 erfolgen müßte. Der Prozess der Nachbearbeitung wird erst dann wieder mit Zugriff auf dem anderen Speicherbereich R6 bzw. R7 gestartet, wenn über die Steuerleitung CTR ein Startsi gnal vom Signalprozessor µP empfangen wurde.The image data postprocessing unit VNB can also generate image data as required read out the third memory area R3 and the data stored there from the image acquisition unit C additionally recorded image signal on the image display unit D. dazzle. After the image data post-processing unit VNB the content of the respective has processed the current of the two memory areas R6 and R7, sends them also a post-processing interrupt signal I4 to the signal processor µP. to the image data postprocessing unit VNB then works independently for so long continue until a change to the other memory areas R6 and R7 should take place. The process of post-processing is only possible with access to the other Memory area R6 or R7 started when a start is via the control line CTR signal was received by the signal processor µP.

Das Software-Programm für den Signalprozessor µP ist so ausgebildet, dass die vier ten und fünften Speicherbereiche R4 und R5 schnell genug ausgelesen werden und die Filtereinheit VEP stets in dem sechsten Speicherbereich R6 speichert, wenn die Bilddatennachverarbeitungseinheit VNB aus dem siebten Speicherbereich R7 liest bzw. die Filtereinheit VEP in dem siebten Speicherbereich R7 speichert, wenn die Bilddatennachverarbeitungseinheit VNB aus dem sechsten Speicherbereich R6 liest. Sofern diese Bedingungen erfüllt sind, können der Signalprozessor µP, die Filtereinheit VEP und die Bilddatennachverarbeitungseinheit VNB gleichzeitig arbeiten. Auch hier bei wird der Inhalt des dritten Speicherbereichs R3 nicht gesondert überwacht.The software program for the signal processor µP is designed so that the four th and fifth memory areas R4 and R5 can be read out quickly enough and the filter unit VEP always stores in the sixth memory area R6 when the Reads image data post-processing unit VNB from the seventh memory area R7 or the filter unit VEP stores in the seventh memory area R7 when the Reads image data post-processing unit VNB from the sixth memory area R6. If these conditions are met, the signal processor µP, the filter unit VEP and the image data post-processing unit VNB work simultaneously. Here too the content of the third memory area R3 is not monitored separately.

Die Fig. 3 läßt den alternierenden Zugriff auf den sechsten und siebten Speicherbe reich R6 und R7 erkennen, wobei in der Fig. 2 die Filtereinheit VEP die gefilterten Bilddaten in sechsten Speicherbereich R6 abspeichert und die Bilddatennachverarbei tungseinheit VNB die gefilterten Bilddaten aus dem siebten Speicherbereich R7 liest. In der Fig. 3 ist hingegen skizziert, dass die Filtereinheit VEP die gefilterten Bilddaten in dem siebten Speicherbereich R7 abspeichert und die Bilddatennachverarbeitungs einheit VNB die gefilterten Bilddaten aus dem sechsten Speicherbereich R6 liest. FIG. 3 shows the alternating access to the sixth and seventh memory areas R6 and R7, wherein in FIG. 2 the filter unit VEP stores the filtered image data in the sixth memory area R6 and the image data post-processing unit VNB stores the filtered image data from the seventh memory area R7 read. In Fig. 3, however, is outlined that the filter unit VEP stores the filtered image data in the seventh storage area R7, and the Bilddatennachverarbeitungs VNB unit reads the filtered image data from the sixth storage area R6.

Claims

1. Verfahren zur Kodierung und Dekodierung von digitalen Bilddatenströmen mit einem Signalprozessor (µP) und mindestens einem Datenspeicher (D), wobei die Prozesse
einer Vorverarbeitung von Bilddaten aus einer Bildaufnahmeeinheit (C) durch Skalierung und Farbkonvertierung und einer Bewegungsschätzung mit separaten Signalverarbeitungseinheiten (VVB, ME) parallel zur Signal verarbeitung, insbesondere Kodierung oder Dekodierung, durch den Si gnalprozessor (µP), und
einer Nachbearbeitung dekodierter Bilddaten zur Anzeige auf einer Bild anzeigeeinheit (D) durch Skalierung und Farbkonvertierung mit einer se paraten Signalverarbeitungseinheit (VNB) parallel zur Signalverarbeitung durch den Signalprozessor (µP) durchgeführt werden, und dass
die Bilddaten von den Signalverarbeitungseinheiten (VNB, VVB, ME) und dem Signalprozessor (µP) jeweils in voneinander getrennten Speicherbe reichen (R1-R7) des mindestens einen Datenspeichers (RAM) abgelegt werden, mit den Schritten zur Kodierung von:

1. Skalierung und Farbkonvertierung eines Bilddatenstromes von einer Bild aufnahmeeinheit (C) zur Vorverarbeitung, Speicherung der vorverarbeite ten Bilddaten in einem ersten Speicherbereich (R1) und Senden eines Vorverarbeitungs-Interruptsignals (I1) an den Signalprozessor (µP), wenn eine Bildblockzeile abgespeichert ist,
2. Auslesen der Bilddaten aus dem ersten Speicherbereich (R1), Bewe gungsschätzung mit einer Bewegungsschätzungseinheit (ME) während der fortgesetzten Vorverarbeitung nach Erhalt eines Vorverarbeitungs- Interruptsignals (I1), Abspeichern der Ergebnisse der Bewegungsschät zung in einem zweiten Speicherbereich (R2) und Senden eines Bewe gungsschätz-Interruptsignals (I2) an den Signalprozessor (µP), wenn ein Bildblock oder eine Bildblockzeile abgespeichert ist,
3. Auslesen der Bilddaten aus dem ersten und zweiten Speicherbereich (R1, R2) durch den Signalprozessor (µP), Kodieren der Bilddaten und Übertra gen der kodierten Bilddaten, und mit den Schritten zur Dekodierung von:
4. Dekodieren von kodierten Bilddaten mit dem Signalprozessor (µP) und Abspeichern der dekodierten Bilddaten in einem vierten Speicherbereich (R4),
5. adaptives Filtern der im vierten Speicherbereich (R4) abgespeicherten Bilddaten unter Zuhilfenahme von in einem fünften Speicherbereich (R5) abgelegten Zusatzdaten jeweils nach Dekodierung und Abspeicherung ei ner Bildblockzeile und Abspeichern der gefilterten Bilddaten in einem sechsten und siebten Speicherbereich (R6, R7),
6. Auslesen der gefilterten Bilddaten aus dem sechsten und siebten Spei cherbereich (R6, R7) und Skalieren und Farbkonvertieren der gefilterten Bilddaten zur Nachbearbeitung jeweils nach Filterung und Abspeicherung einer Bildblockzeile,
7. Anzeigen der nachbearbeiteten Bilddaten.

1. Method for coding and decoding digital image data streams with a signal processor (µP) and at least one data memory (D), the processes
a preprocessing of image data from an image acquisition unit (C) by scaling and color conversion and a motion estimation with separate signal processing units (VVB, ME) parallel to the signal processing, in particular coding or decoding, by the signal processor (µP), and
a post-processing of decoded image data for display on an image display unit (D) by scaling and color conversion with a separate signal processing unit (VNB) in parallel to signal processing by the signal processor (µP), and that
the image data from the signal processing units (VNB, VVB, ME) and the signal processor (µP) are each stored in separate memory areas (R1-R7) of the at least one data memory (RAM), with the steps for coding:

1. Scaling and color conversion of an image data stream from an image recording unit (C) for preprocessing, storing the preprocessed image data in a first memory area (R1) and sending a preprocessing interrupt signal (I1) to the signal processor (µP) if an image block line is stored .
2. Reading out the image data from the first memory area (R1), motion estimation with a motion estimation unit (ME) during the continued preprocessing after receiving a preprocessing interrupt signal (I1), storing the results of the motion estimation in a second memory area (R2) and sending a motion estimation interrupt signal (I2) to the signal processor (µP) when an image block or an image block line is stored,
3. Reading out the image data from the first and second memory area (R1, R2) by the signal processor (µP), encoding the image data and transmitting the encoded image data, and with the steps for decoding:
4. decoding coded image data with the signal processor (µP) and storing the decoded image data in a fourth memory area (R4),
5.adaptive filtering of the image data stored in the fourth memory area (R4) with the aid of additional data stored in a fifth memory area (R5) each after decoding and storing an image block line and storing the filtered image data in a sixth and seventh memory area (R6, R7),
6. Reading out the filtered image data from the sixth and seventh storage area (R6, R7) and scaling and color conversion of the filtered image data for post-processing, each time after filtering and saving an image block line,
7. Displaying the post-processed image data.

2. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeich net, dass die Speicherbereiche (R1-R7) jeweils als Ringspeicher adressiert wer den, wobei die Adressen ausgehend von einer Startadresse des jeweiligen Speicherbereichs (R1-R7) fortlaufend inkrementiert und nach Erreichen einer Zieladresse des Speicherbereichs (R1-R7) die Adressierung wieder von der Start adresse ausgehend fortgeführt wird.2. The method according to the preceding claim, characterized net that the memory areas (R1-R7) are each addressed as a ring memory the, the addresses starting from a start address of the respective Memory area (R1-R7) incremented continuously and after reaching one Destination address of the memory area (R1-R7) the addressing again from the start address is continued.

3. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch zusätzliches verkleinertes Abspeichern der vorverarbeiteten Bilder in einem drit ten Speicherbereich (R3) und Auslesen, Nachbearbeiten und Anzeigen der ab gespeicherten Bilder.3. The method according to any one of the preceding claims, characterized by additional reduced storage of the preprocessed images in a third memory area (R3) and reading, reworking and displaying the saved images.

4. Vorrichtung zur Kodierung von digitalen Bilddatenströmen von einer Bildauf nahmeeinheit (C) und Dekodierung zur Anzeige auf einer Bildanzeigeeinheit (D) mit einem Signalprozessor (µP) und mindestens einem Datenspeicher (RAM), wobei der Signalprozessor (µP) zur Kodierung und zur Dekodierung des Bild datenstroms ausgebildet ist, mit
einer Bilddatenvorverarbeitungseinheit (VVB), die an die Bildaufnahme einheit (C) angeschlossen ist, zur Skalierung und Farbkonvertierung der Bilddaten der Bildaufnahmeeinheit (C),
einer Bewegungsschätzungseinheit (ME) zur Ermittlung von Bewegungs vektoren des Bilddatenstroms,
einer Bilddatennachverarbeitungseinheit (VNB), die an die Bildanzeigeein heit (D) angeschlossen ist, zur Skalierung und Farbkonvertierung der de kodierten Bilddaten,
dadurch gekennzeichnet, dass Steuerungsmittel für die Bilddatenvorverarbei tungseinheit (VVB), Bewegungsschätzungseinheit (ME) und Bilddatennachver arbeitungseinheit (VNB) und der Signalprozessor (µP) vorgesehen sind, die zur Durchführung der Verfahrensschritte nach einem der vorangehenden Ansprüche ausgebildet sind.4. Device for encoding digital image data streams from an image recording unit (C) and decoding for display on an image display unit (D) with a signal processor (µP) and at least one data memory (RAM), the signal processor (µP) for coding and decoding of the image data stream is formed with
an image data preprocessing unit (VVB), which is connected to the image recording unit (C), for scaling and color conversion of the image data of the image recording unit (C),
a motion estimation unit (ME) for determining motion vectors of the image data stream,
an image data post-processing unit (VNB), which is connected to the image display unit (D), for scaling and color conversion of the decoded image data,
characterized in that control means for the image data preprocessing unit (VVB), motion estimation unit (ME) and image data postprocessing unit (VNB) and the signal processor (µP) are provided, which are designed to carry out the method steps according to one of the preceding claims.

5. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass die Speicherbe reiche (R1-R7) jeweils als Ringspeicher fortlaufend adressiert sind, wobei die Adressen ausgehend von einer Startadresse des jeweiligen Speicherbereichs (R1-R7) fortlaufend inkrementiert und nach Erreichen einer Zieladresse des Speicherbereichs (R1-R7) die Adressierung wieder von der Startadresse ausge hend fortgeführt wird.5. The device according to claim 4, characterized in that the Speicherbe rich (R1-R7) are continuously addressed as ring memories, whereby the Addresses based on a start address of the respective memory area (R1-R7) incremented continuously and after reaching a destination address of the Memory area (R1-R7) the addressing again from the start address is continued.

6. Vorrichtung nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass die Spei cherbereiche (R1-R7) in einem gemeinsamen Speicherelement angeordnet sind.6. The device according to claim 4 or 5, characterized in that the Spei areas (R1-R7) are arranged in a common memory element.