EP1185109A1 - Method and apparatus for storing video images in a memory and associated mobile radio device - Google Patents
Method and apparatus for storing video images in a memory and associated mobile radio device Download PDFInfo
- Publication number
- EP1185109A1 EP1185109A1 EP00117157A EP00117157A EP1185109A1 EP 1185109 A1 EP1185109 A1 EP 1185109A1 EP 00117157 A EP00117157 A EP 00117157A EP 00117157 A EP00117157 A EP 00117157A EP 1185109 A1 EP1185109 A1 EP 1185109A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- image
- data
- storage units
- image data
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
- H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Definitions
- the invention relates to a method for processing images made of matrix elements.
- image data determine the display type of the picture elements of a picture.
- the image data contain luminance and / or Chrominance values of certain picture elements.
- the picture elements are, for example, black or white and have the shape of a Squares or a spot with an approximately circular outline.
- the number of picture elements of a picture is determined by the Structure of an image converter unit using a transmission protocol or according to a standardized picture format.
- BMP format Bit-MaP
- YUV format Another common format.
- the picture elements are, for example, with the help of a converter unit creates an image area line by line in a Scans line direction.
- the picture is in a scanned across the row direction.
- the angle between the row and column direction is usually 90 °.
- a picture denotes in the context of this application an overall picture.
- the picture is for better editing broken down into drawing files, which are also called blocks or macroblocks be designated.
- a mobile device can be specified that is required to run the Process is suitable.
- the invention is based on the idea that a simple Editing of the image data is possible when the image is segmented and the image data of a segment in each case a separate storage unit can be saved. This makes possible it namely, on the storage units with different Access bus systems that have different bus widths.
- the data bus of a processor system have a standard width of 32 bits and a special one Hardware for time-critical image processing processes a data bus bit width x times, where x is a natural one Number is greater than two.
- the invention is further based on the knowledge that a Segmentation only leads to a simple procedure if the entire image is segmented at the same time because the Segmentation of drawing files the bus systems of the processor and possibly also the bus systems of the special hardware overburdened.
- the image data are dependent on the location of the one belonging to the respective image date Picture element in a certain segment of the picture in different Storage units as data words with a given Data word width saved.
- the data word width corresponds to the data bus width of the processor system.
- the segment boundaries are set so that the representation of the in picture elements lying in a row or column of the segment each determined by the image data of a data word becomes.
- the image data of an overall image depending on the segmentation there are different storage units exist in which the image data of an overall image depending on the segmentation. All image data are essentially related to an image at least one kind depending on the segmentation stored in different memory cells of the storage units. This requires the storage capacity of the storage units equal to or greater than the storage capacity is for the storage of the relevant type or the relevant Types of image data is needed. Types of image data are, for example, luminance data or chrominance data. All image data of one or more types must therefore in different memory cells of the memory units be storable. All image data can first be segmented save in the storage units before editing or use of the image data is started. alternative the image data can also be saved Edit and use. The image data are in the alternative also stored in different memory cells.
- Image data of the same image again with image data overwrite another image if editing or use of this image data is complete.
- the Image data of an image are then never at the same time stored in the various storage units.
- Image data may also be added a narrow edge of the image compared to the overall image, e.g. with 176 by 144 picture elements per picture a border with the Width of a macroblock, i.e. e.g. with the width of 16 Picture elements.
- the border area and all image data are e.g. segmented for image stabilization of the entire image saved.
- the segmentation of the image in a segmentation process enables the Store image data in the storage units so that a later additional segmentation of the overall picture or one additional segmentation of partial images of the overall image using additional storage units can.
- a training for motion estimation only handles the processor system in writing and the special one Hardware only reads on the different storage units to
- the luminance data is segmented, possibly also the chrominance data.
- the image search areas that when editing with reference areas of a reference image can be compared.
- the entire image can also form the search area that then compared to the entire reference image.
- the reference image is a by the image converter unit immediately before or immediately after taking the picture with the search areas Image.
- Such moving images are created using a CCD sensors (Charged Coupled Device) or with the help of another Cradle generated.
- a movement estimate is made with the help of a block comparison, which too is referred to as block matching, and / or movement compensation carried out.
- Such methods of motion compensation are, for example, in the ITU-T standard H.263 (International Telecommunication Union - Telecommunication Standardization Sector).
- the standard was H.263 in the standard ISO / IEC 14496-2 (International Organization for Standardization / International Electronic Commission), also known as MPEG-4 (Moving Pictures Experts Group) is called.
- MPEG-4 Motion Pictures Experts Group
- Even with those addressed there Image processing method can be the inventive Use procedures to simplify image editing.
- the image compensation is both in an encoder and in an associated decoder used.
- the motion estimation is only executed in the encoder and is not currently standardized.
- the special hardware just reading the different storage units required. With motion compensation is used in addition to reading the various Storage units through the special hardware also a parallel Write access performed by the special hardware, to the advantages of the method according to the invention to use when writing.
- the image data of the image with the search area or the reference image are considered for further training within a Device, e.g. within a sending mobile device with built-in camera and image display unit, during processing only in the different storage units stored together, which the VIDEO RAM (Random Access Memory). There is no additional video RAM available.
- VIDEO RAM Random Access Memory
- the storage units each contain their own control unit for reading or writing data words or in a memory cell with one to be specified during access Address.
- the control unit itself contains an address decoder and a controller to control access.
- the different storage units allow a simultaneous one Access to data words from different storage units to. In the case of further training, therefore, during processing to several data words from different storage units accessed at the same time to read or to read the data words write.
- the multiple data words become according to a selection process, part of the image data selected.
- the selection process includes another one Designing a step to swap the order of Data words. For example, approximations must be made at the half-pixel level with the help of the image data of different data words be performed. In such a case, the data words a part selected from the original by parts different data words was formed.
- the image is segmented in strips, so that the picture elements of an entire line or one whole column lie in a segment.
- the image format for the image with the search area and / or for the reference image, d. H. for an overall picture is at one Further training in the format Sub-QCIF (Quarter Common Interchange Format), QCIF, CIF, 4CIF or the 16CIF format.
- These formats are defined in the ITU-T standard H.263.
- the format specification is transmitted in a header before the image data.
- at MPEG4 is the number of picture elements per total picture in the Transmission protocol transmitted is, for example, according to the transmission protocol specified in the ITU-T standard H.245.
- the number of picture elements is preferably one Image by the standards or protocols mentioned established.
- image content e.g. the representation of a scene, how it appears to a viewer, determines what image data form an overall picture.
- drawing files only contain Excerpts of the overall picture.
- the invention also relates to an image processing system.
- the storage units are for another bus system the parallel or simultaneous transmission of several data words different storage units with one access unit connected.
- the storage units have a storage capacity that the common storage of essentially all image data of the Image depending on the segmentation.
- the number The picture elements of an image is made up of a Image converter unit and / or according to a transmission protocol and / or specified according to a standardized image format. Border areas may not be part of the image be considered or supplement the standardized Image format.
- the image processing system allows the image data can be processed with different data word widths.
- the processing unit contains, for example Processor with an external data word width of 8, 16 or another multiple of 8 bits.
- the access unit is a hardware with a processing width that is x times corresponds to the data word width of the processor, where x is one natural number is greater than one. Without extensive transfer processes can be a variety of image processing methods To run.
- the access unit there either data words of x times the data word width or one other data word width, with the data words then a selection of certain data from the data words read in parallel be formed.
- the image processing system is like this built that it for the implementation of the invention Process or its training is suitable. Consequently the technical effects mentioned above also apply to the Image processing system.
- the invention also relates to a mobile radio device, which the image processing system according to the invention or its further developments contains.
- the mobile device receives or sends the image signals over a radio link, for example on a Frequency of 800 gigahertz.
- the mobile device is portable and enables image and voice data to be sent and sent receive.
- FIG. 1 shows an image processing system 10, which is a processor 12, a VIDEO memory 14 and an image processing circuit 16 contains.
- the image processing system 10 is a component a cellular phone 18.
- the cellular phone 18 receives image and via a receiving unit, not shown Speech signals that are processed by processor 12.
- the cellular phone 18 also generates itself Voice and image signals and sends them.
- the mobile phone 18 is connected to a camera or a CCD element (Charged Coupled Device) and an image display unit.
- CCD element Charged Coupled Device
- the processor 12 stores in the VIDEO memory 14 using of a data bus 20 image data words that have a word width of 32 bits.
- the image data of a last picture taken Images are stored in a reference image memory 22 of the VIDEO memory 14 saved.
- the data of a previously from the cellular phone 18 received images were stored in a search image memory 24 of the VIDEO memory 14 stored.
- the reference image memory 22 and the search image memory 24 are segmented, as explained below with reference to FIGS. 3 and 4. This means, that individual segments of the reference image or the search image are stored in different storage units.
- the data word width of the data bus For example, 26 is equal to the data word width of the Data bus 20.
- the number of bytes concurrent with Help of the data bus 26 can be transmitted through denotes the lowercase letter n.
- n is 4, i.e. the data word width of the data bus 26 is 32 bits.
- the embodiment relates especially the so-called YUV format.
- the search image memory 24 also contains a plurality of storage units, which are used to segment the search image. Between Search image memory 24 and image processing circuit 16 there is a data bus 28 that is one byte wider than the data bus 26 is. In the first embodiment, the data bus 28 has one Width of five bytes, i.e. of 40 bits.
- the image processing circuit 16 is used to perform a Motion estimation between successive images. The one performed when sending pictures in the cellular phone 18 Motion estimation is described in more detail below with reference to FIG. 5 explained.
- FIG. 2 shows a segmented image 50 which is arranged in a matrix Contains picture elements, for example the picture element 52.
- Image 50 has the format of a QCIF image, i.e. 176 picture elements per line and 144 picture elements per column.
- the picture elements are shown below by their position within of the matrix.
- the image data are as follows denoted by the position of the picture elements to which they are assigned.
- Fig. 2 there are nine columns of the picture 50 partially shown, starting from the left with the Reference numerals 60 to 76 are designated.
- a double arrow 78 indicates the column direction. Eight lines are from top to bottom designated below with reference numerals 80 to 94.
- the row direction is illustrated by a double arrow 96.
- Columns and rows are counted from zero, see above that, for example, the eighth column 74 by the numeric Value "7" is referred to.
- the picture element 52 has in the matrix the position "7.7".
- Luminance data of image 50 considered.
- To save the Image data of a picture element are in the exemplary embodiment eight bits needed.
- the image data from each four picture elements in a data word of data word width Save 32 bits.
- segment to the left of segment boundary 98 thus contains 144 line sections of four picture elements each. This also applies to that between the segment boundaries 98 and 100 Segment 104 and one to the right of segment boundary 100 lying segment 106.
- FIG. 3 shows the assignment of the image segments of the image 50 to two storage units 120 and 122 of the search image memory 24.
- the image data of segments 102, 104, 106, etc. of image 50 are alternating in segments in the storage unit 120 or stored in the storage unit 122. That's why an address A1 starting in the memory unit 120 Image data of segment 102 stored, cf. Image data of the Picture element "0.0" at address A1 and the picture data of the Picture element at the picture position "3.143" at the address AX of the storage unit 120.
- Those not shown in FIG. 3 Image data of segment 102 are indicated by points 124.
- the image data of segment 104 is stored in the storage unit 122 starting from memory address A1 to memory address AX saved. Points 126 indicate not shown Image data of segment 104.
- the next segment 106 will again in the memory unit 120 starting from the address AY saved, which immediately follows the address AX.
- the right segment lying next to segment 106 is in the memory unit 122 saved from an address AY that the address AX immediately follows this storage unit 122.
- the storage of the other segments of the image 50 in the storage units 120 and 122 follows the same procedure, cf. Points 128 and 130.
- At an address AZ of the storage unit 122 is the data word that stores the image data of the lowest Line of the segment on the far right of the image 50 contains, see for example the image data of the corner picture element "175, 143".
- the storage unit 120 includes a control unit 132 that access to the memory cells of the memory units 120 controls and outputs data words on a data bus 134 when reading, which has a bit width of 32 bits, i.e. of four bytes.
- the storage unit 122 includes a control unit 136 that access to the memory cells of the memory unit 122 controls and when reading data words the data words on one Outputs data bus 138, which also has a bit width of Has 32 bits.
- the data buses 134 and 138 lead to an access unit 139, which contains a switching unit 140. Dependent connects from a control signal, not shown the switching unit 140 the data buses 134 and 136 with one Data bus 142 in the position shown in FIG. 3.
- the data bus 142 also leads to an access unit 139 belonging multiplex unit 144, with the help of five contiguous Bytes of data bus 142 starting at one Byte limit can be selected.
- the lowercase letter n denotes the width of a data word before the actual image processing.
- the multiplex unit 144 is also on the output side connected to the data bus 28 which, as already mentioned, to the image processing circuit 16 leads, see Fig. 1. With half-pixel processing approximates a unit, not shown the five bytes the values of the half-pixels. The result is four Byte for further processing.
- the functions of the switching unit 140 and the multiplex unit 144 become clear from two examples. It is assumed that a data word is required for image processing the data of the picture elements at the picture positions "3.2", “4.2”, “5.2”, “6.2” and “7.2” contains, see frame 146.
- the control units 132 and 136 are controlled in such a way that the addresses A3 in the memory unit 120 or 122 data words stored on data bus 134 or 138 be issued.
- the switching unit 140 is controlled that the order of the data words shown in Fig. 3 remains unchanged.
- Using the multiplex unit 144 are then the right byte of the at address A3 in the Storage unit 120 stored data word and the bytes the one stored at address A3 in the storage unit 122 Data word selected. This is on the data bus 28 data word designated by frame 146 is output.
- a coherent image area of the image elements is intended at positions "6.0”, “7.0”, “8.0”, “9.0” and "10.0" to be edited, so must be by a frame 148 framed image data can be accessed.
- the control unit 132 of the storage unit 120 is controlled so that the data word read out at address AY on data bus 134 becomes.
- the control unit 136 of the storage unit 122 becomes like this controlled that the data word at address A1 on the data bus 138 is read out.
- the switching unit 140 becomes so driven that the data bus 138 with the left part of the Data bus 142 and the data bus 134 with the right part of the Data bus 142 is connected.
- the image processing circuit 16 calculates, for example, that between the picture elements "6.0" to "10.0" half-pixel values and leads the motion estimation, the motion compensation in the frame encoding and / or image stabilization on the plane of half-pixels through.
- the motion estimation is at the pixel level performed, the frames 146 and 148 only include each the image data of four picture elements.
- the procedure for However, selecting the image data remains basically the same.
- On the data bus 28 during a motion estimation For example, only the first four bytes are evaluated at the pixel level.
- FIG. 4 shows a second exemplary embodiment for an assignment from image segments of the image 50, see FIG. 2, to three Storage units 200 to 204, which form part of the search image memory 24 are.
- the image data of the far left Segments 102 begin in the storage unit 200 the smallest address.
- Points 206 indicate image data between the image data for the image elements "0.0", “1.0", “2.0” and “3.0” as well as for the picture elements "0.143", “1.43”, "2.143” and "3.143”.
- the image data for the picture elements of the one to the right of segment 102 Segment 104 are started in the memory unit 202 saved from the smallest address.
- Points 208 indicate the Image data of segment 104 not shown in FIG. 4.
- the image data of the segment to the right of segment 104 106 are stored in the memory unit 204 starting from smallest address saved. Points 210 indicate the in Fig. 4, not shown, image data of segment 106.
- the image data of the immediately to the right of segment 106 lying segment are stored in the first storage unit 200 stored at addresses that match the addresses for storing the Image data for segment 206 follow.
- the image data of the others Segments of image 50 are made using the same scheme distributed to the storage units 200 to 204. This means, that the segments from left to right in that order successively to the storage units 200, 202 and 204 can be distributed.
- the memory unit 200 is again occupied with a segment.
- Points 212 indicate the image data of the others in the storage unit 200 stored segments.
- Points 214 indicate the Image data of the other segments in the storage unit 202 have been deposited.
- Point in storage unit 204 Points 216 on the image data of the segments other than the Image data of segment 106 is stored in storage unit 206 have been.
- the segmentation method so describe that when counting the segments from the left to the right beginning with zero in the memory unit 200 Image data of all segments are saved, their number are an integer divisible by three, i.e. segments 0, 3, 6, etc.
- the division with integer The rest is also referred to as modulo operation.
- more than three storage units used are then made according to the same scheme, whereby however, the division factor by the number of storage units is specified.
- the storage units 200, 202 and 204 contain therein Sequence one control unit 220, 222 or 224, which gives access to those in the respective storage unit 200, 202 or 204 stored data words controls.
- the control unit 220, 222 and 224 give a data word to be read on a four byte wide data bus 230, 232 or 234 out.
- the data buses 230, 232 and 234 lead to an access unit 239, which contains a switching unit 240.
- the Switchover unit 240 has a 12 byte on the output side wide data bus 242 connected. With the help of a not shown The control unit 240 can thus control the control signal that the data buses 230, 232 and 234 are in different Sequences are connected to the data bus 242.
- the data bus 230 is, for example with the left part of the data bus 242, the data bus 232 with the middle part of the data bus 242 and the data bus 234 connected to the right part of the data bus 242.
- the switching unit 240 has the function of the data words read to the storage units 200, 202 and 204 to move data word by word like a rotation register.
- the data bus 242 also leads to one in the access unit 239 contained multiplex unit 244, with the help of 9 Bytes of the data word transmitted on the data bus 242 a data bus 28b.
- the 9 bytes are there within the 12 bytes starting at a byte boundary immediately side by side.
- a control circuit, not shown the multiplex unit 244 causes the selection of the required ones Bytes.
- the data bus 28b leads to one, not shown Image processing circuit, for example a motion estimation performs.
- the reference image memory also contains 22 three storage units.
- the assignment of the Image data of a reference image follows the same scheme like the assignment of the image data of the image 50 to the storage units 200, 202 and 204.
- the storage units for Storage of the reference image is just like the storage units 200, 202 and 204 with another switchover unit connected, which is followed by a multiplex unit.
- the Multiplex unit of the reference image memory 22 differs differs from the multiplex unit 244 in that only 8 Bytes can be selected from the 12 bytes that are provided by the Switching unit are output.
- FIG. 5 shows the representation of a motion estimation using the image processing circuit 16, see Fig. 1, reference area 250 used and a search area 252. Assume that according to MPEG-4 with one parameter fcodel is working. In other embodiments the search area is larger than a macroblock. The procedure will also by processing quarters of a macro block executed.
- the reference area 250 has a size of 16 by 16 picture elements, which form a macroblock contained in an image is received by the mobile phone 18 according to the image 50 has been.
- the search area 252 becomes nine in one Matrix of three by three macroblocks arranged macroblocks of the image 50 is formed. Each macroblock contains 16 times 16 picture elements, see macroblock 254. Assume that the macro block 254 has the picture elements in the upper right Contains part of image 50. The picture element 52 is in the search area 252 shown in black.
- the reference area 250 is in the area according to the image 50 transferred image at a position that matches the position of the middle macroblock of the search area 252 in image 50 corresponds.
- the picture elements are used in motion estimation of the reference area 250 with picture elements of the search area 252 compared to determine motion vectors, see for example Motion vector 256, which is a motion by 32 Half-pixel clarified.
- the motion estimation can be made in the image with the search area 250 without additional storage of the image data.
- the image data can be viewed through the image processing circuit 16 with a processing width from the VIDEO memory 14 remove that larger than the processing width on the data bus 20.
- the motion compensation is both part of the standard H.263 or MPEG4 an encoder of the image processing system 10, e.g. one transmitting mobile phone 18 with camera or CCD sensor, as well as part of the decoder, e.g. in the same Mobile phone 18 with liquid crystal display for display of a received picture.
- the access units for reading remain unchanged.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
Die Erfindung betrifft ein Verfahren zur Bearbeitung von Bildern aus matrixförmig angeordneten Bildelementen. Bilddaten legen die Darstellungsart der Bildelemente eines Bildes fest. Beispielsweise enthalten die Bilddaten Luminanz- und/oder Chrominanzwerte bestimmter Bildelemente. Die Bildelemente sind beispielsweise schwarz oder weiß und haben die Form eines Quadrates oder eines Fleckes mit etwa kreisförmigem Umriss. Die Anzahl der Bildelemente eines Bildes wird durch den Aufbau einer Bildwandlereinheit, durch ein Übertragungsprotokoll oder gemäß einem standardisierten Bildformat vorgegeben. So gehören beispielsweise zu dem sogenannten BMP-Format (Bit-MaP) den Bilddaten in einem Kopfteil zugeordnete Angaben zur Breite und Höhe des Bildes in Bildelementen ausgedrückt. Ein anderes verbreitetes Format ist das sogenannte YUV-Format.The invention relates to a method for processing images made of matrix elements. image data determine the display type of the picture elements of a picture. For example, the image data contain luminance and / or Chrominance values of certain picture elements. The picture elements are, for example, black or white and have the shape of a Squares or a spot with an approximately circular outline. The number of picture elements of a picture is determined by the Structure of an image converter unit using a transmission protocol or according to a standardized picture format. For example, the so-called BMP format (Bit-MaP) information associated with the image data in a header Width and height of the picture expressed in picture elements. On Another common format is the so-called YUV format.
Die Bildelemente werden beispielsweise mit Hilfe einer Wandlereinheit erzeugt, die einen Bildbereich zeilenweise in einer Zeilenrichtung abtastet. Außerdem wird das Bild in einer quer zur Zeilenrichtung liegenden Spaltenrichtung abgetastet. Üblicherweise beträgt der Winkel zwischen Zeilen- und Spaltenrichtung 90°. Ein Bild bezeichnet im Rahmen dieser Anmeldung ein Gesamtbild. Das Bild wird zur besseren Bearbeitung in Teilbilder zerlegt, die auch als Blöcke bzw. Makroblöcke bezeichnet werden.The picture elements are, for example, with the help of a converter unit creates an image area line by line in a Scans line direction. In addition, the picture is in a scanned across the row direction. The angle between the row and column direction is usually 90 °. A picture denotes in the context of this application an overall picture. The picture is for better editing broken down into drawing files, which are also called blocks or macroblocks be designated.
Bei bekannten Verfahren werden beispielsweise sämtliche Bilddaten eines Bildes in einer einzigen physikalischen Speichereinheit gespeichert. Bei dieser Speicherung ist der Zugriff auf Teile eines Datenwortes erschwert, weil Bilddaten nebeneinanderliegender Bildelemente oft zwei aufeinanderfolgende Zugriffe auf zwei Datenworte mit anschließenden Ausblendungs-operationen (z.B. ODER-, UND-Operation) erfordern, obwohl die betreffenden Bilddaten auch in einem Datenwort gespeichert werden könnten.In known methods, for example, all image data an image in a single physical storage unit saved. With this storage is the access difficult for parts of a data word because image data are adjacent Picture elements often two consecutive Access to two data words with subsequent blanking operations (e.g. OR, AND operation), although the relevant image data also stored in a data word could become.
Es ist Aufgabe der Erfindung, ein Verfahren und Bildbearbeitungssystem zur Bearbeitung von Bildern aus matrixförmig angeordneten Bildelementen anzugeben, mit deren Hilfe die Bilder auf einfache Art bearbeitet werden können. Außerdem soll ein Mobilfunkgerät angegeben werden, das zur Ausführung des Verfahrens geeignet ist.It is an object of the invention, a method and image processing system for processing images from a matrix Specify picture elements with the help of which the pictures can be edited easily. In addition, should a mobile device can be specified that is required to run the Process is suitable.
Die das Verfahren betreffende Aufgabe wird durch ein Verfahren
mit den im Patentanspruch 1 angegebenen Verfahrensschritten
gelöst. Weiterbildungen sind in den Unteransprüchen angegeben.The task concerning the procedure is carried out by a procedure
with the method steps specified in
Die Erfindung geht von der Überlegung aus, dass eine einfache Bearbeitung der Bilddaten dann möglich ist, wenn das Bild segmentiert wird und die Bilddaten eines Segmentes jeweils in einer eigenen Speichereinheit gespeichert werden. Dies ermöglicht es nämlich, auf die Speichereinheiten mit verschiedenen Bussystemen zuzugreifen, die unterschiedliche Busbreite haben. Beispielsweise könnte der Datenbus eines Prozessorsystems eine marktübliche Breite von 32 Bit haben und eine spezielle Hardware für zeitkritische Bildbearbeitungsvorgänge eine x-mal so große Datenbus-Bit-Breite, wobei x eine natürliche Zahl größer Zwei ist.The invention is based on the idea that a simple Editing of the image data is possible when the image is segmented and the image data of a segment in each case a separate storage unit can be saved. this makes possible it namely, on the storage units with different Access bus systems that have different bus widths. For example, the data bus of a processor system have a standard width of 32 bits and a special one Hardware for time-critical image processing processes a data bus bit width x times, where x is a natural one Number is greater than two.
Die Erfindung geht weiterhin von der Erkenntnis aus, dass eine Segmentierung nur dann zu einem einfachen Verfahren führt, wenn das gesamte Bild gleichzeitig segmentiert wird, weil die Segmentierung von Teilbildern die Bussysteme des Prozessors und gegebenenfalls auch die Bussysteme der speziellen Hardware übermäßig belastet.The invention is further based on the knowledge that a Segmentation only leads to a simple procedure if the entire image is segmented at the same time because the Segmentation of drawing files the bus systems of the processor and possibly also the bus systems of the special hardware overburdened.
Beim erfindungsgemäßen Verfahren werden die Bilddaten abhängig von der Lage des zum jeweiligen Bilddatum gehörenden Bildelementes in einem bestimmten Segment des Bildes in verschiedenen Speichereinheiten als Datenworte mit einer vorgegebenen Datenwortbreite gespeichert. Die Datenwortbreite entspricht der Datenbusbreite des Prozessorsystems. Die Segmentgrenzen werden so festgelegt, dass die Darstellung der in einer Zeile oder Spalte des Segmentes liegenden Bildelemente jeweils durch die Bilddaten eines Datenwortes festgelegt wird.In the method according to the invention, the image data are dependent on the location of the one belonging to the respective image date Picture element in a certain segment of the picture in different Storage units as data words with a given Data word width saved. The data word width corresponds to the data bus width of the processor system. The segment boundaries are set so that the representation of the in picture elements lying in a row or column of the segment each determined by the image data of a data word becomes.
Beim erfindungsgemäßen Verfahren sind verschiedene Speichereinheiten vorhanden, in welchen die Bilddaten eines Gesamt-Bildes abhängig von der Segmentierung abgespeichert werden. Bezogen auf ein Bild werden im Wesentlichen alle-Bilddaten zumindest einer Art abhängig von der Segmentierung in verschiedenen Speicherzellen der Speichereinheiten gespeichert. Dies erfordert, dass die Speicherkapazität der Speichereinheiten gleich oder größer als die Speicherkapazität ist, die für das Speichern der betreffenden Art bzw. der betreffenden Arten von Bilddaten benötigt wird. Arten von Bilddaten sind beispielsweise Luminanzdaten oder Chrominanzdaten. Sämtliche Bilddaten einer Art oder mehrerer Arten müssen somit in verschiedenen Speicherzellen der Speichereinheiten speicherbar sein. Es lassen sich zunächst alle Bilddaten segmentiert in den Speichereinheiten speichern bevor mit der Bearbeitung oder Verwendung der Bilddaten begonnen wird. Alternativ lassen sich die Bilddaten auch während des Speicherns Bearbeiten und Verwenden. Die Bilddaten werden bei der Alternative ebenfalls in verschiedenen Speicherzellen gespeichert. Jedoch lassen sich beim Speichern der Bilddaten eines Bildes zuvor in anderen Speicherzellen der Speichereinheiten gespeicherte Bilddaten desselben Bildes bereits wieder mit Bilddaten eines nächsten Bildes überschreiben, falls die Bearbeitung oder Verwendung dieser Bilddaten abgeschlossen ist. Die Bilddaten eines Bildes sind dann zu keinem Zeitpunkt gleichzeitig in den verschiedenen Speichereinheiten gespeichert.In the method according to the invention there are different storage units exist in which the image data of an overall image depending on the segmentation. All image data are essentially related to an image at least one kind depending on the segmentation stored in different memory cells of the storage units. This requires the storage capacity of the storage units equal to or greater than the storage capacity is for the storage of the relevant type or the relevant Types of image data is needed. Types of image data are, for example, luminance data or chrominance data. All image data of one or more types must therefore in different memory cells of the memory units be storable. All image data can first be segmented save in the storage units before editing or use of the image data is started. alternative the image data can also be saved Edit and use. The image data are in the alternative also stored in different memory cells. However, when saving the image data of an image previously stored in other memory cells of the storage units Image data of the same image again with image data overwrite another image if editing or use of this image data is complete. The Image data of an image are then never at the same time stored in the various storage units.
Bei einer Weiterbildung des erfindungsgemäßen Verfahrens werden vor der Bearbeitung oder Verwendung der Bilddaten des Bildes alle Bilddaten zumindest einer Art, z.B. nur die Luminanzdaten, oder auch alle Bilddaten des Bildes gemeinsam in den verschiedenen Speichereinheiten abhängig von der Segmentierung gespeichert. Zu einem bestimmten Zeitpunkt vor der Bearbeitung oder Verwendung sind dann alle Bilddaten zumindest einer Art gleichzeitig in den verschiedenen Speichereinheiten gespeichert. Hinzu kommen gegebenenfalls noch Bilddaten eines im Vergleich zum Gesamtbild schmalen Bildrandes, z.B. bei 176 mal 144 Bildelementen je Bild ein Rand mit der Breite eines Makroblocks, d.h. z.B. mit der Breite von 16 Bildelementen. Der Randbereich und alle Bilddaten werden z.B. für die Bildstabilisierung des gesamten Bildes segmentiert gespeichert. Bei der Bildstabilisierung werden kleine Abweichungen der Kameraposition ausgeglichen. Die Segmentierung des Bildes in einem Segmentierungsvorgang ermöglicht es, die Bilddaten so in den Speichereinheiten abzulegen, dass eine spätere zusätzliche Segmentierung des Gesamt-Bildes bzw. eine zusätzliche Segmentierung von Teilbildern des Gesamt-Bildes unter Verwendung zusätzlicher Speichereinheiten entfallen kann. Bei einer Weiterbildung für die Bewegungsabschätzung greift das Prozessorsystem nur schreibend und die spezielle Hardware nur lesend auf die verschiedenen Speichereinheiten zuIn a development of the method according to the invention before editing or using the image data of the Image all image data of at least one kind, e.g. only the luminance data, or all image data of the image together in the different storage units depending on the segmentation saved. At some point before Editing or use is then at least all image data of a kind simultaneously in the different storage units saved. Image data may also be added a narrow edge of the image compared to the overall image, e.g. with 176 by 144 picture elements per picture a border with the Width of a macroblock, i.e. e.g. with the width of 16 Picture elements. The border area and all image data are e.g. segmented for image stabilization of the entire image saved. There are small deviations in the image stabilization the camera position compensated. The segmentation of the image in a segmentation process enables the Store image data in the storage units so that a later additional segmentation of the overall picture or one additional segmentation of partial images of the overall image using additional storage units can. In a training for motion estimation only handles the processor system in writing and the special one Hardware only reads on the different storage units to
Bei der Bewegungsabschätzung, der Bewegungskompensation bzw. der Bildstabilisierung werden die Luminanzdaten segmentiert, gegebenenfalls auch die Chrominanzdaten.In motion estimation, motion compensation or the image stabilization, the luminance data is segmented, possibly also the chrominance data.
Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens enthält das Bild Suchbereiche, die bei der Bearbeitung mit Referenzbereichen eines Referenzbildes verglichen werden. Alternativ kann auch das gesamte Bild den Suchbereich bilden, der dann mit dem gesamten Referenzbild verglichen wird. So lassen sich Verfahren zur Bildstabilisierung beim Aufnehmen einer Folge von Bildern mit Hilfe eines Bildwandlers auf einfache Art durchführen. In one embodiment of the method according to the invention the image search areas that when editing with reference areas of a reference image can be compared. alternative the entire image can also form the search area that then compared to the entire reference image. Let it be procedures for image stabilization when recording a Sequence of images with the help of an image converter to simple Kind of perform.
Ist bei einer nächsten Weiterbildung auch das Referenzbild segmentiert und werden die Bilddaten in weiteren Speichereinheiten abhängig vom Segment gespeichert, so gelten die für das Bild mit dem Suchbereich genannten technischen Wirkungen auch für das Referenzbild. Insbesondere werden zusätzliche Speicherzugriffe auf die Bilddaten des Referenzbildes zur Segmentierung von Teilbildern vermieden.Is also the reference picture for a next training segmented and the image data in further storage units saved depending on the segment, so apply to the image with the technical effects mentioned in the search area also for the reference picture. In particular, additional ones Memory access to the image data of the reference image Segmentation of drawing files avoided.
Bei einer weiteren Ausgestaltung ist das Referenzbild ein durch die Bildwandlereinheit unmittelbar vor oder unmittelbar nach der Aufnahme des Bildes mit den Suchbereichen aufgenommenes Bild. Derartige Bewegtbilder werden mit Hilfe eines CCD-Sensors (Charged Coupled Device) oder mit Hilfe einer anderen Aufnahmevorrichtung erzeugt.In a further embodiment, the reference image is a by the image converter unit immediately before or immediately after taking the picture with the search areas Image. Such moving images are created using a CCD sensors (Charged Coupled Device) or with the help of another Cradle generated.
Während der Bearbeitung wird bei einer Weiterbildung eine Bewegungsabschätzung mit Hilfe eines Blockvergleichs, der auch als Block-Matching bezeichnet wird, und/oder eine Bewegungskompensation durchgeführt. Solche Verfahren zur Bewegungskompensation sind beispielsweise im Standard H.263 der ITU-T (International Telecommunication Union - Telecommunication Standardization Sector) erläutert. Der Standard H.263 wurde im Standard ISO/IEC 14496-2 (International Organisation for Standardization/ International Electronical Commission) aufgegriffen, der auch als MPEG-4 (Moving Pictures Experts Group) bezeichnet wird. Auch bei den dort angesprochenen Bildbearbeitungsverfahren lässt sich das erfindungsgemäße Verfahren zur Vereinfachung der Bildbearbeitung einsetzen. Die Bildkompensation wird sowohl in einem Encoder als auch in einem zugehörigen Decoder eingesetzt. Die Bewegungsabschätzung wird nur im Encoder ausgeführt und ist derzeit nicht standardisiert. Bei der Bewegungsabschätzung ist durch die spezielle Hardware nur ein Lesen der verschiedenen Speichereinheiten erforderlich. Bei der Bewegungskompensation wird gegebenenfalls zusätzlich zum Lesen der verschiedenen Speichereinheiten durch die spezielle Hardware auch ein paralleler Schreibzugriff durch die spezielle Hardware ausgeführt, um die Vorteile des erfindungsgemäßen Verfahrens auch beim Schreiben zu nutzen.During the course of further training, a movement estimate is made with the help of a block comparison, which too is referred to as block matching, and / or movement compensation carried out. Such methods of motion compensation are, for example, in the ITU-T standard H.263 (International Telecommunication Union - Telecommunication Standardization Sector). The standard was H.263 in the standard ISO / IEC 14496-2 (International Organization for Standardization / International Electronic Commission), also known as MPEG-4 (Moving Pictures Experts Group) is called. Even with those addressed there Image processing method can be the inventive Use procedures to simplify image editing. The image compensation is both in an encoder and in an associated decoder used. The motion estimation is only executed in the encoder and is not currently standardized. When estimating motion, the special hardware just reading the different storage units required. With motion compensation is used in addition to reading the various Storage units through the special hardware also a parallel Write access performed by the special hardware, to the advantages of the method according to the invention to use when writing.
Die Bilddaten des Bildes mit dem Suchbereich bzw. des Referenzbildes sind bei einer Weiterbildung innerhalb eines betrachteten Gerätes, z.B. innerhalb eines sendenden Mobilfunkgerätes mit eingebauter Kamera und Bildwiedergabeeinheit, während der Bearbeitung nur in den verschiedenen Speichereinheiten gemeinsam gespeichert, die den VIDEO-RAM (Random Access Memory) bilden. Ein zusätzlicher Video-RAM ist nicht vorhanden. Bei der Bearbeitung in dem betrachteten Gerät ist kein Umspeichern der Bilddaten in Speichereinheiten gleicher Speicherkapazität oder größerer Speicherkapazität notwendig. Gegebenenfalls werden nur einzelne Bilddaten oder Bilddatenworte in Register gespeichert.The image data of the image with the search area or the reference image are considered for further training within a Device, e.g. within a sending mobile device with built-in camera and image display unit, during processing only in the different storage units stored together, which the VIDEO RAM (Random Access Memory). There is no additional video RAM available. When processing in the device under consideration no re-storage of the image data in the same storage units Storage capacity or larger storage capacity necessary. If necessary, only individual image data or image data words stored in register.
Die Speichereinheiten enthalten jeweils eine eigene Steuereinheit für das Lesen bzw. das Schreiben von Datenworten aus bzw. in eine Speicherzelle mit einer beim Zugriff anzugebenden Adresse. Die Steuereinheit selbst enthält einen Adressen-decoder und eine Steuerung zur Steuerung des Zugriffs.The storage units each contain their own control unit for reading or writing data words or in a memory cell with one to be specified during access Address. The control unit itself contains an address decoder and a controller to control access.
Die verschiedenen Speichereinheiten lassen einen gleichzeitigen Zugriff auf Datenworte verschiedener Speichereinheiten zu. Bei einer Weiterbildung wird deshalb während der Bearbeitung auf mehrere Datenworte verschiedener Speichereinheiten gleichzeitig zugegriffen, um die Datenworte zu lesen oder zu schreiben.The different storage units allow a simultaneous one Access to data words from different storage units to. In the case of further training, therefore, during processing to several data words from different storage units accessed at the same time to read or to read the data words write.
Bei einer nächsten Weiterbildung wird aus den mehreren Datenworten gemäß einem Auswahlverfahren ein Teil der Bilddaten ausgewählt. Das Auswahlverfahren enthält bei einer nächsten Ausgestaltung einen Schritt zum Tauschen der Reihenfolge von Datenworten. Beispielsweise müssen auf Halbpixelebene Approximationen mit Hilfe der Bilddaten verschiedener Datenworte durchgeführt werden. In einem solchen Fall wird aus den Datenworten ein Teil ausgewählt der ursprünglich durch Teile verschiedener Datenworte gebildet wurde.In a next training course, the multiple data words become according to a selection process, part of the image data selected. The selection process includes another one Designing a step to swap the order of Data words. For example, approximations must be made at the half-pixel level with the help of the image data of different data words be performed. In such a case, the data words a part selected from the original by parts different data words was formed.
Bei einer Weiterbildung wird das Bild streifenweise segmentiert, so dass die Bildelemente einer ganzen Zeile bzw. einer ganzen Spalte in einem Segment liegen. Durch diese Vorgehensweise können eine Vielzahl von Bildbearbeitungsverfahren auf einfache Art durchgeführt werden, weil der Zugriff letztlich unabhängig von den Segmentgrenzen durchführbar ist.In the case of further training, the image is segmented in strips, so that the picture elements of an entire line or one whole column lie in a segment. By doing this can use a variety of image processing methods simple way to be done because ultimately access is feasible regardless of the segment boundaries.
Das Bildformat für das Bild mit dem Suchbereich und/oder für das Referenzbild, d. h. für ein Gesamtbild, ist bei einer Weiterbildung das Format Sub-QCIF (Quarter Common Interchange Format), QCIF, CIF, 4CIF oder das Format 16CIF. Diese Formate sind im Standard H.263 der ITU-T festgelegt. Die Formatangabe wird in einem Kopfteil vor den Bilddaten übertragen. Bei MPEG4 wird die Anzahl der Bildelemente pro Gesamt-Bild im Übertragungsprotokoll übermittelt, ist beispielsweise gemäß dem im Standard H.245 der ITU-T festgelegte Übertragungsprotokoll. Vorzugsweise wird die Anzahl der Bildelemente eines Bildes durch die genannten Standards oder Protokolle festgelegt. Hinzu kommen gegebenenfalls noch Bilddaten eines schmalen Randbereiches, der beispielsweise die Breite eines Makroblocks von 16 mal 16 Bildelementen hat. In der Regel wird durch den Bildinhalt, z.B. die Darstellung einer Szene, wie sie einem Betrachter erscheint, festgelegt, welche Bilddaten ein Gesamtbild bilden. Teilbilder enthalten dagegen nur Ausschnitte des Gesamtbildes.The image format for the image with the search area and / or for the reference image, d. H. for an overall picture, is at one Further training in the format Sub-QCIF (Quarter Common Interchange Format), QCIF, CIF, 4CIF or the 16CIF format. These formats are defined in the ITU-T standard H.263. The format specification is transmitted in a header before the image data. at MPEG4 is the number of picture elements per total picture in the Transmission protocol transmitted is, for example, according to the transmission protocol specified in the ITU-T standard H.245. The number of picture elements is preferably one Image by the standards or protocols mentioned established. In addition, there may also be image data of a narrow edge area, for example the width of a Has macro blocks of 16 by 16 picture elements. Usually is determined by the image content, e.g. the representation of a scene, how it appears to a viewer, determines what image data form an overall picture. In contrast, drawing files only contain Excerpts of the overall picture.
Die Erfindung betrifft auch ein Bildbearbeitungssystem. Eine mit den Speichereinheiten über ein Bussystem für die Übertragung jeweils eines Datenwortes einer vorgegebenen Datenwortbreite verbundene Bearbeitungseinheit, speichert abhängig von der Lage des zum jeweiligen Bilddatum gehörenden Bildelements in einem bestimmten Segment des Bildes die Bilddaten in einer der beiden Speichereinheiten. The invention also relates to an image processing system. A with the storage units via a bus system for transmission one data word each of a predetermined data word width connected processing unit, saves depending on the position of the picture element belonging to the respective picture date in a certain segment of the image the image data in a of the two storage units.
Die Speichereinheiten sind über ein weiteres Bussystem für die parallele bzw. gleichzeitige Übertragung mehrerer Datenworte verschiedener Speichereinheiten mit einer Zugriffseinheit verbunden. Im erfindungsgemäßen Bildbearbeitungssystem haben die Speichereinheiten eine Speicherkapazität, die die gemeinsame Speicherung im Wesentlichen aller Bilddaten des Bildes abhängig von der Segmentierung ermöglicht. Die Anzahl der Bildelemente eines Bildes ist durch den Aufbau einer Bildwandlereinheit und/oder gemäß einem Übertragungsprotokoll und/oder gemäß einem standardisierten Bildformat vorgegeben. Randbereiche können gegebenenfalls als nicht zum Bild gehörend betrachtet werden bzw. Ergänzen das standartisierte Bildformat.The storage units are for another bus system the parallel or simultaneous transmission of several data words different storage units with one access unit connected. In the image processing system according to the invention the storage units have a storage capacity that the common storage of essentially all image data of the Image depending on the segmentation. The number The picture elements of an image is made up of a Image converter unit and / or according to a transmission protocol and / or specified according to a standardized image format. Border areas may not be part of the image be considered or supplement the standardized Image format.
Das Bildbearbeitungssystem ermöglicht es, dass die Bilddaten mit unterschiedlicher Datenwortbreite bearbeitet werden können. Die Bearbeitungseinheit enthält beispielsweise einen Prozessor mit einer externen Datenwortbreite von 8, 16 oder einem anderen Vielfachen von 8 Bit. Die Zugriffseinheit ist eine Hardware mit einer Bearbeitungsbreite die dem x-fachen der Datenwortbreite des Prozessors entspricht, wobei x eine natürliche Zahl größer Eins ist. Ohne umfangreiche Umspeichervorgänge lassen sich so eine Vielzahl von Bildbearbeitungsverfahren ausführen. Die Zugriffseinheit gibt entweder Datenworte der x-fachen Datenwortbreite oder einer anderen Datenwortbreite aus, wobei dann die Datenworte durch eine Auswahl bestimmter Daten aus den parallel gelesenen Datenworten gebildet werden.The image processing system allows the image data can be processed with different data word widths. The processing unit contains, for example Processor with an external data word width of 8, 16 or another multiple of 8 bits. The access unit is a hardware with a processing width that is x times corresponds to the data word width of the processor, where x is one natural number is greater than one. Without extensive transfer processes can be a variety of image processing methods To run. The access unit there either data words of x times the data word width or one other data word width, with the data words then a selection of certain data from the data words read in parallel be formed.
Bei einer Weiterbildung ist das Bildbearbeitungssystem so aufgebaut, dass es für die Durchführung des erfindungsgemäßen Verfahrens oder dessen Weiterbildungen geeignet ist. Somit gelten die oben genannten technischen Wirkungen auch für das Bildbearbeitungssystem.In the case of further training, the image processing system is like this built that it for the implementation of the invention Process or its training is suitable. Consequently the technical effects mentioned above also apply to the Image processing system.
Die Erfindung betrifft außerdem ein Mobilfunkgerät, welches das erfindungsgemäße Bildbearbeitungssystem bzw. dessen Weiterbildungen enthält. Das Mobilfunkgerät erhält bzw. sendet die Bildsignale über eine Funkstrecke, beispielsweise auf einer Frequenz von 800 Gigahertz. Das Mobilfunkgerät ist tragbar und ermöglicht es, Bild- und Sprachdaten zu senden und zu empfangen.The invention also relates to a mobile radio device, which the image processing system according to the invention or its further developments contains. The mobile device receives or sends the image signals over a radio link, for example on a Frequency of 800 gigahertz. The mobile device is portable and enables image and voice data to be sent and sent receive.
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand
der beiliegenden Zeichnungen erläutert. Darin zeigen:
Figur 1 zeigt ein Bildbearbeitungssystem 10, das einen Prozessor
12, einen VIDEO-Speicher 14 und eine Bildbearbeitungsschaltung
16 enthält. Das Bildbearbeitungssystem 10 ist Bestandteil
eines Mobilfunktelefons 18. Das Mobilfunktelefon 18
empfängt über eine nicht dargestellte Empfangseinheit Bild-und
Sprachsignale, die vom Prozessor 12 bearbeitet werden.
Andererseits erzeugt das Mobilfunktelefon 18 auch selbst
Sprach- und Bildsignale und sendet diese. Das Mobilfunktelefon
18 ist mit einer Kamera bzw. einem CCD-Element (Charged
Coupled Device) und einer Bildwiedergabeeinheit ausgerüstet.Figure 1 shows an
Der Prozessor 12 speichert im VIDEO-Speicher 14 unter Verwendung
eines Datenbusses 20 Bilddatenworte, die eine Wortbreite
von 32 Bit haben. Die Bilddaten eines zuletzt aufgenommenen
Bildes werden in einem Referenzbildspeicher 22 des VIDEO-Speichers
14 gespeichert. Die Daten eines zuvor vom Mobilfunktelefon
18 empfangenen Bildes wurden in einem Suchbildspeicher
24 des VIDEO-Speichers 14 gespeichert. Der Referenzbildspeicher
22 und der Suchbildspeicher 24 sind segmentiert,
wie unten anhand der Fig. 3 und 4 erläutert. Dies bedeutet,
dass einzelne Segmente des Referenzbildes bzw. des Suchbildes
in verschiedenen Speichereinheiten gespeichert sind.The
Aufgrund der Segmentierung ist es möglich, aus den Speichereinheiten
des Referenzbildspeichers 22 mehrere Datenworte
der Bit-Breite 32 Bit gleichzeitig mit Hilfe einer Zugriffseinheit
auszulesen, siehe Figur 3, Bezugszeichen 139.
Anschließend werden Teile dieser Datenworte zu einem neuen
Datenwort zusammengefügt und als ein Datenwort auf einem Datenbus
26 zwischen Referenzbildspeicher 22 und Bildbearbeitungsschaltung
16 ausgegeben. Die Datenwortbreite des Datenbusses
26 ist beispielsweise gleich der Datenwortbreite des
Datenbusses 20. Die Anzahl der Bytes, die gleichzeitig mit
Hilfe des Datenbusses 26 übertragen werden können, wird durch
den Kleinbuchstaben n bezeichnet. Im ersten Ausführungsbeispiel
ist n gleich 4, d.h. die Datenwortbreite des Datenbusses
26 beträgt 32 Bit. Das Ausführungsbeispiel betrifft
insbesondere das sogenannte YUV-Format.Because of the segmentation, it is possible to get out of the storage units
of the reference image memory 22 a plurality of data words
the
Der Suchbildspeicher 24 enthält ebenfalls mehrere Speichereinheiten,
die zur Segmentierung des Suchbildes dienen. Zwischen
Suchbildspeicher 24 und Bildbearbeitungsschaltung 16
liegt ein Datenbus 28, der ein Byte breiter als der Datenbus
26 ist. Im ersten Ausführungsbeispiel hat der Datenbus 28 eine
Breite von fünf Byte, d.h. von 40 Bits.The
Die Bildbearbeitungsschaltung 16 dient zur Durchführung einer
Bewegungsabschätzung zwischen aufeinander folgenden Bildern.
Die beim Senden von Bildern im Mobilfunktelefon 18 durchgeführte
Bewegungsabschätzung wird unten anhand der Fig. 5 näher
erläutert.The
Fig. 2 zeigt ein segmentiertes Bild 50, das matrixförmig angeordnete
Bildelemente enthält, beispielsweise das Bildelement
52. Das Bild 50 hat das Format eines QCIF-Bildes, d.h.
176 Bildelemente pro Zeile und 144 Bildelemente pro Spalte.
Die Bildelemente werden im Folgenden durch ihre Position innerhalb
der Matrix bezeichnet. Die Bilddaten werden im Folgenden
durch die Position der Bildelemente bezeichnet, denen
sie zugeordnet sind. Dabei wird zuerst die Spaltennummer und
dann die Zeilennummer angegeben, in der das jeweilige Bildelement
angeordnet ist. In Fig. 2 sind neun Spalten des Bildes
50 teilweise dargestellt, die von links beginnend mit den
Bezugszeichen 60 bis 76 bezeichnet sind. Ein Doppelpfeil 78
gibt die Spaltenrichtung an. Acht Zeilen sind von oben nach
unten mit Bezugszeichen 80 bis 94 bezeichnet. Die Zeilenrichtung
wird durch einen Doppelpfeil 96 verdeutlicht. Bei der
Zählung der Spalten und Zeilen wird mit Null begonnen, so
dass beispielsweise die achte Spalte 74 durch den numerischen
Wert "7" bezeichnet wird. Das Bildelement 52 hat in der Matrix
die Position "7,7".2 shows a
Zur übersichtlicheren Darstellung werden im Folgenden nur die
Luminanzdaten des Bildes 50 betrachtet. Zur Speicherung der
Bilddaten eines Bildelementes werden im Ausführungsbeispiel
acht Bit benötigt. Somit lassen sich die Bilddaten von jeweils
vier Bildelementen in einem Datenwort der Datenwortbreite
32 Bit speichern. Bei der Speicherung der Bilddaten in
Datenworten wird mit den Bilddaten des Bildelementes "0,0"
begonnen. Danach werden die Bilddaten der rechts daneben liegenden
Bildelemente "1,0", "2,0" und "3,0" in das Datenwort
aufgenommen. Durch die Datenwortgröße wird die Lage von Segmentgrenzen
98 und 100 festgelegt, die in Spaltenrichtung 78
liegen. For the sake of clarity, only the
Luminance data of
Das links der Segmentgrenze 98 liegende Segment enthält somit
144 Zeilenabschnitte aus jeweils vier Bildelementen. Dies
gilt auch für das zwischen den Segmentgrenzen 98 und 100 liegende
Segment 104 und ein rechts neben der Segmentgrenze 100
liegendes Segment 106.The segment to the left of
Fig. 3 zeigt die Zuordnung der Bildsegmente des Bildes 50 zu
zwei Speichereinheiten 120 und 122 des Suchbildspeichers 24.
Die Bilddaten der Segmente 102, 104, 106, usw. des Bildes 50
werden segmentweise abwechselnd in der Speichereinheit 120
bzw. in der Speichereinheit 122 gespeichert. Deshalb sind ab
einer Adresse A1 beginnend in der Speichereinheit 120 die
Bilddaten des Segmentes 102 gespeichert, vgl. Bilddaten des
Bildelementes "0,0" an der Adresse A1 und die Bilddaten des
Bildelementes an der Bildposition "3,143" an der Adresse AX
der Speichereinheit 120. Die nicht in Fig. 3 dargestellten
Bilddaten des Segmentes 102 sind durch Punkte 124 angedeutet.3 shows the assignment of the image segments of the
Die Bilddaten des Segmentes 104 werden in der Speichereinheit
122 ab der Speicheradresse A1 beginnend bis zur Speicheradresse
AX gespeichert. Punkte 126 deuten nicht dargestellte
Bilddaten des Segments 104 an. Das nächste Segment 106 wird
wieder in der Speichereinheit 120 beginnend ab der Adresse AY
gespeichert, die der Adresse AX unmittelbar folgt. Das rechts
neben dem Segment 106 liegende Segment wird in der Speichereinheit
122 ab einer Adresse AY gespeichert, die der Adresse
AX dieser Speichereinheit 122 unmittelbar folgt. Die Speicherung
der weiteren Segmente des Bildes 50 in den Speichereinheiten
120 und 122 erfolgt nach dem gleichen Verfahren, vgl.
Punkte 128 und 130. An einer Adresse AZ der Speichereinheit
122 ist das Datenwort gespeichert, das die Bilddaten der untersten
Zeile des rechts außen liegenden Segments des Bildes
50 enthält, siehe beispielsweise die Bilddaten des Eck-Bildelements
"175, 143".The image data of
Die Speichereinheit 120 enthält eine Steuereinheit 132, die
den Zugriff auf die Speicherzellen der Speichereinheiten 120
steuert und beim Lesen Datenworte auf einem Datenbus 134 ausgibt,
der eine Bit-Breite von 32 Bit hat, d.h. von vier Byte.
Die Speichereinheit 122 enthält eine Steuereinheit 136, die
den Zugriff auf die Speicherzellen der Speichereinheit 122
steuert und beim Lesen von Datenworten die Datenworte auf einem
Datenbus 138 ausgibt, der ebenfalls eine Bit-Breite von
32 Bit hat. Die Datenbusse 134 und 138 führen zu einer Zugriffseinheit
139, die eine Umschalteinheit 140 enthält. Abhängig
von einem nicht dargestellten Steuersignal verbindet
die Umschalteinheit 140 die Datenbusse 134 und 136 mit einem
Datenbus 142 in der in Fig. 3 dargestellten Lage. Das heißt,
dass der linke Teil des Datenbusses 142 die Signale des Datenbusses
134 führt. Der rechte Teil des Datenbusses 142 wird
mit dem Datenbus 138 verbunden. Die Reihenfolge der Daten innerhalb
der Datenworte bleibt unverändert. Hat das Steuersignal
dagegen den anderen Wert, so wird die Zuordnung der Datenbusse
134 und 138 zum Datenbus 142 mit Hilfe der Umschalteinheit
140 vertauscht. Der Datenbus 138 ist dann mit der
linken Hälfte des Datenbusses 142 verbunden. Der Datenbus 134
ist mit der rechten Hälfte des Datenbusses 142 verbunden. Die
Reihenfolge der Daten innerhalb der Datenworte eines Datenbusses
bleibt wieder unverändert.The
Der Datenbus 142 führt zu einer ebenfalls zur Zugriffseinheit
139 gehörenden Multiplexeinheit 144, mit deren Hilfe fünf zusammenhängende
Byte des Datenbusses 142 beginnend an einer
Byte-Grenze ausgewählt werden. Der Kleinbuchstabe n bezeichnet
die Breite eines Datenwortes vor der eigentlichen Bildbearbeitung.
Die Multiplexeinheit 144 ist ausgangsseitig mit
dem Datenbus 28 verbunden, der wie bereits erwähnt zur Bildbearbeitungsschaltung
16 führt, siehe Fig. 1. Bei Halbpixelbearbeitung
approximiert eine nicht dargestellte Einheit aus
den fünf Byte die Werte der Halbpixel. Das Ergebnis sind vier
Byte für die weitere Bearbeitung.The data bus 142 also leads to an
Die Funktionen der Umschalteinheit 140 und der Multiplexeinheit
144 werden anhand zweier Beispiele deutlich. Es sei angenommen,
dass für die Bildbearbeitung ein Datenwort benötigt
wird, das die Daten der Bildelemente an den Bildpositionen
"3,2", "4,2", "5,2", "6,2" und "7,2" enthält, siehe Rahmen
146. Die Steuereinheiten 132 und 136 werden so angesteuert,
dass die an den Adressen A3 in der Speichereinheit 120 bzw.
122 gespeicherten Datenworte auf dem Datenbus 134 bzw. 138
ausgegeben werden. Die Umschalteinheit 140 wird so angesteuert,
dass die in Fig. 3 dargestellte Reihenfolge der Datenworte
unverändert bleibt. Mit Hilfe der Multiplexeinheit 144
werden dann das rechte Byte des an der Adresse A3 in der
Speichereinheit 120 gespeicherten Datenwortes und die Bytes
des an der Adresse A3 in der Speichereinheit 122 gespeicherten
Datenwortes selektiert. Auf dem Datenbus 28 wird das
durch den Rahmen 146 bezeichnete Datenwort ausgegeben.The functions of the
Soll dagegen ein zusammenhängender Bildbereich der Bildelemente
an den Positionen "6,0", "7,0", "8,0", "9,0" und
"10,0" bearbeitet werden, so muss auf die durch einen Rahmen
148 umrahmten Bilddaten zugegriffen werden. Die Steuereinheit
132 der Speichereinheit 120 wird so angesteuert, dass das Datenwort
an der Adresse AY auf dem Datenbus 134 ausgelesen
wird. Die Steuereinheit 136 der Speichereinheit 122 wird so
angesteuert, dass das Datenwort an der Adresse A1 auf dem Datenbus
138 ausgelesen wird. Die Umschalteinheit 140 wird so
angesteuert, dass der Datenbus 138 mit dem linken Teil des
Datenbusses 142 und der Datenbus 134 mit dem rechten Teil des
Datenbusses 142 verbunden wird. Mit Hilfe der Multiplexeinheit
144 werden dann das dritte bis siebte auf dem Datenbus
142 übertragene Byte ausgewählt, indem die diesen Bytes zugeordneten
Datenleitungen des Datenbusses 142 mit den Datenleitungen
des Datenbusses 28 verbunden werden. Hier beginnt die
Zählung der Bytes links mit Eins. Die Bildbearbeitungsschaltung
16 berechnet dann beispielsweise die zwischen den Bildelementen
"6,0" bis "10,0" liegenden Halbpixelwerte und führt
die Bewegungsabschätzung, die Bewegungskompensation im Rahmen
der Encodierung und/oder die Bildstabilisierung auf der Ebene
von Halbpixeln durch. On the other hand, a coherent image area of the image elements is intended
at positions "6.0", "7.0", "8.0", "9.0" and
"10.0" to be edited, so must be by a
Wird die Bewegungsabschätzung dagegen auf der Ebene von Pixeln
durchgeführt, so umfassen die Rahmen 146 und 148 nur jeweils
die Bilddaten von vier Bildelementen. Das Verfahren zum
Auswählen der Bilddaten bleibt jedoch grundsätzlich gleich.
Auf dem Datenbus 28 werden bei einer Bewegungsabschätzung auf
Pixelebene beispielsweise nur die ersten vier Byte ausgewertet.The motion estimation, on the other hand, is at the pixel level
performed, the
Fig. 4 zeigt ein zweites Ausführungsbeispiel für eine Zuordnung
von Bildsegmenten des Bildes 50, siehe Fig. 2, auf drei
Speichereinheiten 200 bis 204, die Bestandteil des Suchbildspeichers
24 sind. Die Bilddaten des ganz links liegenden
Segments 102 werden in der Speichereinheit 200 beginnend ab
der kleinsten Adresse gespeichert. Punkte 206 deuten Bilddaten
an, die zwischen den Bilddaten für die Bildelemente
"0,0", "1,0", "2,0" und "3,0" sowie für die Bildelemente
"0,143", "1,43", "2,143" und "3,143" liegen. Die Bilddaten
für die Bildelemente des rechts neben dem Segment 102 liegenden
Segmentes 104 werden in der Speichereinheit 202 beginnend
ab der kleinsten Adresse gespeichert. Punkte 208 deuten die
in Fig. 4 nicht dargestellten Bilddaten des Segmentes 104 an.4 shows a second exemplary embodiment for an assignment
from image segments of the
Die Bilddaten des rechts neben dem Segment 104 liegenden Segmentes
106 werden in der Speichereinheit 204 beginnend ab der
kleinsten Adresse gespeichert. Punkte 210 deuten die in Fig.
4 nicht dargestellten Bilddaten des Segmentes 106 an.The image data of the segment to the right of
Die Bilddaten des unmittelbar rechts neben dem Segment 106
liegenden Segmentes werden in der ersten Speichereinheit 200
an Adressen gespeichert, die den Adressen zur Speicherung der
Bilddaten für das Segment 206 folgen. Die Bilddaten der anderen
Segmente des Bildes 50 werden nach dem gleichen Schema
auf die Speichereinheiten 200 bis 204 verteilt. Dies bedeutet,
dass die Segmente von links nach rechts in dieser Reihenfolge
nacheinander auf die Speichereinheiten 200, 202 und
204 verteilt werden. Nach dem Belegen der Speichereinheit 204
mit einem Segment wird wieder die Speichereinheit 200 belegt.
Punkte 212 deuten die Bilddaten der weiteren in der Speichereinheit
200 hinterlegten Segmente an. Punkte 214 deuten die
Bilddaten der anderen Segmente an, die in der Speichereinheit
202 hinterlegt worden sind. In der Speichereinheit 204 deuten
Punkte 216 auf die Bilddaten der Segmente hin, die außer den
Bilddaten des Segmentes 106 in der Speichereinheit 206 hinterlegt
worden sind.The image data of the immediately to the right of
Mit anderen Worten lässt sich das Verfahren zur Segmentierung
so beschreiben, dass bei einer Zählung der Segmente von links
nach rechts mit Null beginnend in der Speichereinheit 200 die
Bilddaten aller Segmente gespeichert werden, deren Nummer
ganzzahlig durch drei teilbar sind, d.h. die Segmente 0, 3,
6, usw. In der Speichereinheit 202 werden die Bilddaten aller
Segmente gespeichert, deren Nummer bei Division durch 3 den
Rest 1 ergibt, d.h. die Segmente 1, 4, 7, usw. In der Speichereinheit
204 werden alle Segmente gespeichert, deren Nummer
bei einer Division durch 3 den ganzzahligen Rest 2 ergibt,
d.h. die Segmente 2, 5, 8, usw. Die Division mit ganzzahligem
Rest wird auch als Modulooperation bezeichnet.In other words, the segmentation method
so describe that when counting the segments from the left
to the right beginning with zero in the
Bei anderen Ausführungsbeispielen werden mehr als drei Speichereinheiten verwendet. Die Aufteilung der Segmente auf die Speichereinheiten erfolgt dann nach demselben Schema, wobei jedoch der Divisionsfaktor durch die Anzahl der Speichereinheiten vorgegeben ist.In other embodiments, more than three storage units used. The distribution of the segments on the Storage units are then made according to the same scheme, whereby however, the division factor by the number of storage units is specified.
Die Speichereinheiten 200, 202 und 204 enthalten in dieser
Reihenfolge jeweils eine Steuereinheit 220, 222 bzw. 224,
welche den Zugriff auf die in der jeweiligen Speichereinheit
200, 202 bzw. 204 gespeicherten Datenworte steuert. Die Steuereinheit
220, 222 bzw. 224 gibt ein zu lesendes Datenwort
auf einem jeweils vier Byte breiten Datenbus 230, 232 bzw.
234 aus. Die Datenbusse 230, 232 und 234 führen zu einer Zugriffseinheit
239, die eine Umschalteinheit 240 enthält. Die
Umschalteinheit 240 ist ausgangsseitig mit einem 12 Byte
breiten Datenbus 242 verbunden. Mit Hilfe eines nicht dargestellten
Steuersignals kann die Umschalteinheit 240 so gesteuert
werden, dass die Datenbusse 230, 232 und 234 in verschiedenen
Reihenfolgen mit dem Datenbus 242 verbunden werden.
In einer Betriebsart ist der Datenbus 230 beispielsweise
mit dem linken Teil des Datenbusses 242, der Datenbus 232 mit
dem mittleren Teil des Datenbusses 242 und der Datenbus 234
mit dem rechten Teil des Datenbusses 242 verbunden. Allgemein
ausgedrückt hat die Umschalteinheit 240 die Funktion, die aus
den Speichereinheiten 200, 202 und 204 gelesenen Datenworte
nach Art eines Rotationsregisters datenwortweise zu verschieben.The
Der Datenbus 242 führt zu einer ebenfalls in der Zugriffseinheit
239 enthaltenen Multiplexeinheit 244, mit deren Hilfe 9
Byte des auf dem Datenbus 242 übertragenen Datenwortes auf
einen Datenbus 28b geführt werden. Die 9 Byte liegen dabei
innerhalb der 12 Byte beginnend an einer Byte-Grenze unmittelbar
nebeneinander. Eine nicht dargestellte Steuerschaltung
der Multiplexeinheit 244 veranlasst die Auswahl der benötigten
Bytes. Der Datenbus 28b führt zu einer nicht dargestellten
Bildbearbeitungsschaltung, die beispielsweise eine Bewegungsabschätzung
ausführt.The
Beim zweiten Ausführungsbeispiel enthält auch der Referenzbildspeicher
22 drei Speichereinheiten. Die Zuordnung der
Bilddaten eines Referenzbildes erfolgt nach demselben Schema
wie die Zuordnung der Bilddaten des Bildes 50 auf die Speichereinheiten
200, 202 und 204. Die Speichereinheiten zur
Speicherung des Referenzbildes sind ebenso wie die Speichereinheiten
200, 202 und 204 mit einer weiteren Umschalteinheit
verbunden, der eine Multiplexeinheit nachgeschaltet ist. Die
Multiplexeinheit des Referenzbildspeichers 22 unterscheidet
sich jedoch von der Multiplexeinheit 244 dadurch, dass nur 8
Byte aus den 12 Bytes ausgewählt werden können, die von der
Umschalteinheit ausgegeben werden. In the second embodiment, the reference image memory also contains
22 three storage units. The assignment of the
Image data of a reference image follows the same scheme
like the assignment of the image data of the
Fig. 5 zeigt die Darstellung eines bei der Bewegungsabschätzung
mit Hilfe der Bildbearbeitungsschaltung 16, siehe Fig.
1, eingesetzten Referenzbereiches 250 und eines Suchbereiches
252. Es sei angenommen, dass gemäß MPEG-4 mit einem Parameter
fcodel gearbeitet wird. Bei anderen Ausführungsbeispielen ist
der Suchbereich größer als ein Makroblock. Das Verfahren wird
auch durch die Verarbeitung von Vierteln eines Makroblocks
ausgeführt.5 shows the representation of a motion estimation
using the
Der Referenzbereich 250 hat eine Größe von 16 mal 16 Bildelementen,
die einen Makroblock bilden, der in einem Bild enthalten
ist, das nach dem Bild 50 vom Mobilfunktelefon 18 empfangen
worden ist. Der Suchbereich 252 wird aus neun in einer
Matrix aus drei mal drei Makroblöcken angeordneten Makroblökken
des Bildes 50 gebildet. Jeder Makroblock enthält 16 mal
16 Bildelemente, siehe Makroblock 254. Es sei angenommen,
dass der Makroblock 254 die Bildelemente im rechten oberen
Teil des Bildes 50 enthält. Das Bildelement 52 ist im Suchbereich
252 schwarz dargestellt.The
Der Referenzbereich 250 befindet sich in dem nach dem Bild 50
übertragenen Bild an einer Position, die der Position des
mittleren Makroblocks des Suchbereichs 252 im Bild 50 entspricht.
Bei der Bewegungsabschätzung werden die Bildelemente
des Referenzbereiches 250 mit Bildelementen des Suchbereichs
252 verglichen, um Bewegungsvektoren zu ermitteln, siehe beispielsweise
Bewegungsvektor 256, der eine Bewegung um 32
Halbpixel verdeutlicht.The
Durch die Segmentierung des Bildes 50, siehe Segmentgrenzen
98 und 100, sowie durch die Segmentierung des nachfolgenden
Bildes mit dem Suchbereich 250 lässt sich die Bewegungsabschätzung
ohne zusätzliche Umspeicherung der Bilddaten durchführen.
Die Bilddaten lassen sich durch die Bildbearbeitungsschaltung
16 mit einer Bearbeitungsbreite aus dem VIDEO-Speicher
14 entnehmen, die größer als die Bearbeitungsbreite
auf dem Datenbus 20 ist. By segmenting
Bei einem anderen Ausführungsbeispiel werden den anhand der
Figuren 1, 3 und 4 erläuterten Baueinheiten ähnliche Baueinheiten
zur Bewegungskompensation verwendet. Die Bewegungskompensation
ist gemäß Standard H.263 oder MPEG4 sowohl Bestandteil
eines Encoders des Bildbearbeitungssystems 10, z.B. eines
sendenden Mobilfunktelefons 18 mit Kamera bzw. CCD-Sensor,
als auch Bestandteil des Decoders, z.B. in demselben
Mobilfunktelefon 18 mit Flüssigkeitskristallanzeige zur Darstellung
eines empfangenen Bildes. Bei der Bewegungskompensation
bleiben die Zugriffseinheiten zum Lesen unverändert. Zusätzlich
gibt es auch Zugriffseinheiten ähnlichen Aufbaus zum
Schreiben der verschiedenen Speichereinheiten bzw. zur Ausgabe
eines Datenwortes auf den Prozesserbus.In another embodiment, the are based on the
Figures 1, 3 and 4 explained units similar units
used for motion compensation. The motion compensation
is both part of the standard H.263 or MPEG4
an encoder of the
Claims (16)
und dass insbesondere ohne Umspeichern in Speichereinheiten gleicher Speicherkapazität oder größerer Speicherkapazität gearbeitet wird.Method according to one of the preceding claims, characterized in that the image data of the image (50) or of the reference image are only stored together in the various storage units (22 or 24) during processing in the device,
and that in particular without re-storage in storage units of the same storage capacity or greater storage capacity.
und/oder dass das Übertragungsprotokoll gemäß Standard H.245 gemäß einem diesen Standard vorausgehenden Standard oder gemäß einem auf diesen Standards aufbauenden Standard arbeitet.Method according to one of the preceding claims, characterized in that the image format is the format Sub-QCIF, QCIF, CIF, 4CIF or 16CIF, preferably expanded by an edge surrounding the image, or that the image format is a format defined in accordance with the MPEG4 standard, that matches the formats mentioned or lies between these formats,
and / or that the transmission protocol according to standard H.245 works according to a standard preceding this standard or according to a standard based on these standards.
wobei die Speichereinheiten (120, 122) eine Speicherkapazität haben, die die gemeinsame Speicherung im wesentlichen aller Bilddaten zumindest einer Art des Gesamt-Bildes ermöglicht,
wherein the storage units (120, 122) have a storage capacity which enables the common storage of essentially all image data of at least one type of the overall image,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP00117157A EP1185109A1 (en) | 2000-08-10 | 2000-08-10 | Method and apparatus for storing video images in a memory and associated mobile radio device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP00117157A EP1185109A1 (en) | 2000-08-10 | 2000-08-10 | Method and apparatus for storing video images in a memory and associated mobile radio device |
Publications (1)
Publication Number | Publication Date |
---|---|
EP1185109A1 true EP1185109A1 (en) | 2002-03-06 |
Family
ID=8169488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP00117157A Withdrawn EP1185109A1 (en) | 2000-08-10 | 2000-08-10 | Method and apparatus for storing video images in a memory and associated mobile radio device |
Country Status (1)
Country | Link |
---|---|
EP (1) | EP1185109A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0697794A2 (en) * | 1994-08-15 | 1996-02-21 | General Instrument Corporation Of Delaware | Method and apparatus for efficient addressing of DRAM in a video decompression processor |
EP0710033A2 (en) * | 1994-10-28 | 1996-05-01 | Matsushita Electric Industrial Co., Ltd. | MPEG video decoder having a high bandwidth memory |
EP0859524A1 (en) * | 1996-08-29 | 1998-08-19 | Matsushita Electric Industrial Co., Ltd. | Image decoder and image memory overcoming various kinds of delaying factors caused by hardware specifications specific to image memory by improving storing system and reading-out system |
-
2000
- 2000-08-10 EP EP00117157A patent/EP1185109A1/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0697794A2 (en) * | 1994-08-15 | 1996-02-21 | General Instrument Corporation Of Delaware | Method and apparatus for efficient addressing of DRAM in a video decompression processor |
EP0710033A2 (en) * | 1994-10-28 | 1996-05-01 | Matsushita Electric Industrial Co., Ltd. | MPEG video decoder having a high bandwidth memory |
EP0859524A1 (en) * | 1996-08-29 | 1998-08-19 | Matsushita Electric Industrial Co., Ltd. | Image decoder and image memory overcoming various kinds of delaying factors caused by hardware specifications specific to image memory by improving storing system and reading-out system |
Non-Patent Citations (1)
Title |
---|
WINZKER M ET AL: "ARCHITECTURE AND MEMORY REQUIREMENTS FOR STAND-ALONE AND HIERARCHICAL MPEG2 HDTV-DECODERS WITH SYNCHRONOUS DRAMS", 1995 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS),US,NEW YORK, IEEE, 30 April 1995 (1995-04-30), pages 609 - 612, XP000583293, ISBN: 0-7803-2571-0 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69411791T2 (en) | Method and device for decoding compressed images | |
DE69526470T2 (en) | Method and device for the efficient addressing of the DRAM of a video decompression processor | |
DE69330191T2 (en) | Predictive interframe coding device with motion compensation | |
DE19521973C2 (en) | Image decoding device | |
DE69506059T2 (en) | Block matching method with reduced number of accesses to a reference raster memory | |
DE4231158C5 (en) | Method and device for the composition and display of images | |
DE69627920T2 (en) | Memory control arrangement and picture decoder with it | |
DE19535100A1 (en) | Image processing device e.g. for video conferencing system | |
DE4408522C2 (en) | Device for processing image data and method for processing image data | |
DE69324549T2 (en) | Moving picture decoder | |
DE69521873T2 (en) | Method for selecting motion vectors and image processing device for carrying out the method | |
DE69319852T2 (en) | Device for processing coded digital signals of variable length and corresponding device for reverse processing | |
DE69523103T2 (en) | Image processing method and apparatus | |
DE19935604B4 (en) | Device for decoding a motion picture | |
DE69523416T2 (en) | Process for decoding compressed images | |
DE69731342T2 (en) | Image processing device | |
DE69419815T2 (en) | Arrangement for recording and reproducing data-reduced video information | |
DE69509421T2 (en) | Shift stage for a decoder of variable length digital codes | |
EP1110407B1 (en) | Method and array for coding and decoding a digitized image using an overall motion vector | |
DE69324128T2 (en) | Double bus architecture for motion compensation | |
DE4307936C2 (en) | Image processor for detecting movements | |
EP1185109A1 (en) | Method and apparatus for storing video images in a memory and associated mobile radio device | |
EP0613302B1 (en) | Videodecoder with a control unit | |
EP0336510A2 (en) | Predictive still-image encoder | |
DE69019119T2 (en) | Method and device for moving picture decoding. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20010305 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE |
|
AX | Request for extension of the european patent |
Free format text: AL;LT;LV;MK;RO;SI |
|
AKX | Designation fees paid |
Free format text: DE FR GB |
|
17Q | First examination report despatched |
Effective date: 20080131 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN |
|
18D | Application deemed to be withdrawn |
Effective date: 20080301 |