EP1886274A1 - Integrierte schaltung mit warping-berechnungseinheit - Google Patents

Integrierte schaltung mit warping-berechnungseinheit

Info

Publication number
EP1886274A1
EP1886274A1 EP06763365A EP06763365A EP1886274A1 EP 1886274 A1 EP1886274 A1 EP 1886274A1 EP 06763365 A EP06763365 A EP 06763365A EP 06763365 A EP06763365 A EP 06763365A EP 1886274 A1 EP1886274 A1 EP 1886274A1
Authority
EP
European Patent Office
Prior art keywords
integrated circuit
warping
images
circuit according
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP06763365A
Other languages
English (en)
French (fr)
Inventor
Roland Michael Frei
Holger Bellm
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Electronics Europe GmbH
Original Assignee
Toshiba Electronics Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Electronics Europe GmbH filed Critical Toshiba Electronics Europe GmbH
Publication of EP1886274A1 publication Critical patent/EP1886274A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Definitions

  • the invention relates to an integrated circuit for the electronic manipulation of images, a method for the electronic manipulation of images by means of warping, a system for the electronic manipulation of images comprising an integrated circuit and a use of the integrated circuit according to the invention.
  • a graphics card which includes a graphics chip that communicates via a bus system with a main processing unit (CPU) and the main memory of the computer or provided specifically for the graphics card memory.
  • CPU main processing unit
  • the warping of images is known. During warping, a given image is distorted by changing the position of the individual pixels, or a distorted image is equalized and corrected accordingly. First of all, an optical image has to be converted into an electronic image.
  • each pixel of the source image is assigned an exact screen position (x, y).
  • the screen position of each pixel is stored in an image memory area of a memory.
  • everyone is now warping Pixel of the source image according to a well-defined transformation rule to a new image position (x ', y') in the target image shifted.
  • the resulting target image is stored in a second memory area and / or displayed on a screen via a graphics card.
  • the following methods are typically used:
  • a filter method is used per image, which on the one hand takes into account the overlapping of pixels in reduced image areas and, on the other hand, by interpolation between target image points, which in expanded areas are no longer adjacent, new pixels calculated.
  • a possible application of this principle is a "head-up display" in a motor vehicle in which, for example, the instrument panel of the motor vehicle is projected via a projector on the windshield of the motor vehicle. So that a viewer, for example the driver of the motor vehicle, does not perceive the instrument panel distorted by the curved windshield, the electronically generated image of the instrument panel is previously distorted in such a way that it appears undistorted in reflection from the windshield.
  • the warping function i.
  • the curvature of the windshield must be taken into account.
  • the problem with such an application is that it depends on the viewing angle or the position of a viewer of the projected instrument panel, whether the image appears completely equalized or whether a complete equalization of the image has been calculated.
  • FPGA field programmable gate array
  • the object of the invention is to provide an integrated circuit for the electronic manipulation of images and a system for the electronic manipulation of images comprising an integrated circuit which has a high computing power a warp of Guaranteed real-time images while allowing low unit costs for the hardware.
  • the invention has for its object to propose a corresponding use of an integrated circuit according to the invention and a method for the electronic manipulation of images by means of warping, with which the previous disadvantages of the known applications are eliminated.
  • the above-mentioned object is achieved by an integrated circuit in that the integrated circuit comprises a main processor unit, a memory access control unit, a graphics output control unit and a warping calculation unit.
  • the main processing unit may calculate the source image independently of the warping calculation unit and store it in memory.
  • the memory access control unit ensures access to the memory area of at least one internal or external memory.
  • memory access controllers access memory provided by random access memory (RAM) memory modules. These are often arranged externally.
  • RAM random access memory
  • the memory may also be integrated in the integrated circuit, whereby the performance of the integrated circuit can be further increased.
  • the integration of at least one memory access control unit also provides access the individual units of the integrated circuit to the required memory area unified and accelerated accordingly. If only one memory access control unit is provided, the layout of the integrated circuit can be kept simple. On the other hand, if a plurality of memory access control units are provided, it is possible to parallelize and speed up the memory access.
  • the warping calculation unit then calculates the position of the target pixels in accordance with the transformation rules and, in the calculation, for example, accesses images calculated by the main processor unit.
  • the target images calculated by the warping calculation unit are transferred from the graphics output control unit to a display for display or to other image processing devices for further processing. Due to the parallel and independent calculation of the source and target images and the short signal paths in the integrated circuit according to the invention, a very high computing power is achieved, which in principle also allows the transformation rules of the warping time-dependent, so to calculate dynamically. Since the space requirement of the individual units can be optimally adapted to the tasks and optimized, the space requirement of the integrated circuit remains low overall. Thus, the circuit according to the invention is very well suited for mass production.
  • the integrated circuit is designed as a customer-specific integrated circuit (ASIC) or as an application-specific standard product (ASSP).
  • ASIC customer-specific integrated circuit
  • ASSP application-specific standard product
  • An ASIC has a fixed, application-specific functionality and is generally designed for an application.
  • An ASSP is an integrated circuit that is optimized for high volume production and can be used in a variety of applications. Both an ASIC and an ASSP are characterized by an optimized space requirement and an optimization with regard to process reliability during production.
  • the semiconductor substrate is at least partially made of silicon. It is conceivable, however, that the integrated circuit according to the invention is also produced on another semiconductor substrate, for example a III-V compound semiconductor substrate.
  • a main processor unit processing 64-bit instructions has the advantage over a main processor unit processing 32-bit instructions that within a 64-bit instruction a higher number of instructions or more complex instructions can be transferred to the main processor unit and a larger address space can be addressed.
  • a graphics input control unit is provided.
  • electronic images can be transferred directly to the integrated circuit according to the invention.
  • the processing speed of the integrated circuit can be further increased.
  • a video frame grabber unit is provided as a graphics input control unit, it is possible in a simple manner to process real-time pictures by the integrated circuit, in which an incoming data stream of video pictures is "decomposed" into individual pictures by the video frame grabber unit.
  • a performance gain is achieved.
  • a further improvement of the computing performance with regard to performing the warping of real-time images is, according to a next embodiment of the integrated circuit, achieved by providing a lookup matrix based warping calculation unit.
  • the use of a lookup matrix-based warping calculation unit results in particular in comparison with the other warping method a speed advantage in connection with the integrated circuit according to the invention.
  • the transformation rules are stored in a matrix, the lookup matrix.
  • the individual entries are successively separated from the warping Calculation unit read out and used.
  • a simultaneous, parallel and independent recalculation of the same or another lookup matrix is made possible by the main processor unit.
  • At least one warping calculation unit is used for the three primary colors, blue, green and red, each using a lookup matrix, it is possible to calculate the displacement of the target pixels for each color individually.
  • the three primary colors, blue, green and red each using a lookup matrix
  • Wavelength dependence of the dispersion of optical lenses are taken into account and a correspondingly accurate correction or distortion of the calculated image can be achieved.
  • Allows the memory access control unit direct memory access at least the
  • Main processor unit and the warping calculation unit to a storage area of at least one internal or external memory, a very fast calculation of the warping can be guaranteed.
  • the warping calculation unit communicates in the case without detours, i. without access to the main processor unit, with the memory. Further accelerated is the
  • Input image memory area a lookup matrix memory area, an output image memory area and / or a memory area of the main processor unit is addressable.
  • the calculation speed is additionally increased by providing a warping calculation unit enabling simultaneous or quasi-simultaneous access to the input picture memory area, the output picture memory area and / or the lookup matrix memory area.
  • a warping calculation unit enabling simultaneous or quasi-simultaneous access to the input picture memory area, the output picture memory area and / or the lookup matrix memory area.
  • simultaneous access the different memory areas are addressed in parallel.
  • the quasi-simultaneous access actually takes place sequentially at the memory level.
  • the access with regard to the latency times is optimized so that the data in the individual processing units are processed approximately parallel.
  • Such a warping calculation unit ensures that the image position of the new source pixel from the input image memory area and the corresponding warping function from the lookup matrix are read in at the same time or almost simultaneously and the previously calculated target pixel can be stored in the output image memory area.
  • At least one filter unit is provided for filtering the graphics output in order, for example, to take into account the overlapping of pixels in the case of shrinking image areas, but also the calculation of new pixels by interpolation between target pixels which are no longer adjacent in the case of expanded image areas after the transformation.
  • An integration of the filter unit in the integrated circuit provides an additional increase in computing power.
  • the filter unit is preferably designed as a pixel filter unit, wherein the filter parameters are stored in a programmable memory, in particular a RAM memory. This allows easy access by the main processor unit to calculate changed filter parameters.
  • the speed of the calculations of the main processor unit can, according to another embodiment of the integrated circuit according to the invention, be increased by the fact that the main processor unit has a floating-point calculation unit. This results in additional speed advantages, in particular in connection with a dynamic calculation of the transformation rules of warping.
  • the previously derived object is procedurally achieved in that in a method for manipulating images by warping, in which pixels of a source image are assigned to the pixels of a target image using transformation rules, the transformation rules for mapping the source pixels to the target pixels are calculated dynamically.
  • the transformation rules for mapping the source pixels to the target pixels are calculated dynamically.
  • the manipulation can take place images as a function of the position of the observer. For example, it is conceivable to recognize dynamic changes of the projection surface onto which a target image is projected and to adapt the transformation instructions do so that the image is not influenced by the changing projection surface and is displayed undistorted.
  • the viewing angle and / or the position of at least one observer of the target image is determined via measuring means and the transformation specifications are calculated dynamically at least as a function of the measured viewing angle and / or of the measured position of the observer.
  • the transformation specifications are calculated dynamically at least as a function of the measured viewing angle and / or of the measured position of the observer.
  • the electronic manipulation of the images takes place by means of warping based on a lookup matrix and the lookup matrix is calculated dynamically.
  • the look-up matrix which contains the transformation rules, must be recalculated at least once or twice a second to allow sufficient consideration for the viewer's movements.
  • a more frequent calculation is also conceivable.
  • a correspondingly fast calculation is made possible, for example, with the integrated circuit according to the invention.
  • a second lookup matrix is calculated during the calculation of the target image based on a first lookup matrix, the speed of the dynamic warping can be increased further, as there is no need to recalculate the lookup matrix.
  • the newly calculated and possibly previously stored memory in the memory can be used for warping.
  • the above-mentioned object is achieved by a system for the electronic manipulation of images comprising an integrated circuit according to the invention, means for converting optical images into electrical signals for transfer the integrated circuit and means for displaying an image provided by the graphics output control unit, solved.
  • a particularly advantageous embodiment of the system is achieved in that the system is designed as a head-up display or as a rearview camera display.
  • the system in particular if it is designed as a head-up disply or rearview camera diplay with a windshield as a display surface, can be advantageously developed that measuring means for detecting the viewing angle or the position of a viewer of the target image are provided and the target image at least dependent can be calculated from the measured angle and / or position of at least one observer.
  • measuring means for detecting the viewing angle or the position of a viewer of the target image are provided and the target image at least dependent can be calculated from the measured angle and / or position of at least one observer.
  • the position of the head of the observer can be accurately determined and tracked and the
  • Transformation rules of warping be dynamically adapted to the respective head position of at least one observer.
  • the above-mentioned object is achieved according to a fourth teaching of the present invention in that the integrated circuit according to the invention is used in a device for performing a warping, in particular a dynamic warping of images in real time.
  • a head-up display or a rearview camera display By using the integrated circuit in vehicles or motor vehicles, additional visual aids for the driver of a vehicle, for example a head-up display or a rearview camera display, can be provided in an economical manner be put.
  • a head-up display or a rearview camera display When used in motor vehicles in particular ensures the enormous computing power of the integrated circuit that even with rapid image changes or changes in the head position, the driver perceives no delays in the image structure of the applications.
  • Fig. 2 is a schematic representation of the architecture of an embodiment of the integrated circuit according to the invention.
  • Fig. 3 is a schematic data flow diagram of the embodiment of Fig. 2 of the integrated circuit according to the invention.
  • FIG. 1a represents the undistorted source image
  • FIG. 1b shows the target image in the form of a warped mesh after warping.
  • the source image in Fig. Ia consists of several, a grid forming lines, wherein at each crossing point of two straight lines, a pixel 1 is located.
  • the pixel 1 is associated with a precise image position by a coordinate pair (x, y), whereby the image position of the pixel is precisely defined.
  • each pixel 1 of the source image with the coordinates (x, y) is assigned a new pixel 1 'with the coordinates (x', y ') of the target image. This is done for all pixels of the source image, for the individual pixels z. T different calculation rules for determining the new image position of the pixel apply, as shown in FIG. 1.
  • warping By applying warping to a source image, not only undistorted images can be distorted, but in particular, warping can be used to correct for non-linear distortions of an image typically encountered with the use of optical lenses. As already explained in the introduction to the description, there are different ways to perform the warping.
  • An exemplary embodiment of the integrated circuit according to the invention is described below, which uses dynamic warping using a lookup matrix, representative of the remaining warping methods.
  • FIG. 2 schematically shows the architecture of an embodiment of the integrated circuit according to the invention, which is realized on a semiconductor substrate 2.
  • a main processor unit 3 a graphics input control unit 4, a graphics output control unit 5 and a warping calculation unit 6 are provided on the semiconductor substrate 2.
  • the graphics input control unit 4 is formed in the embodiment as a video frame grabber unit.
  • the video frame grabber unit 4 processes the images supplied by an image sensor or a camera 7. If the image sensor 7 delivers a data stream to video images, the video Frame grabber unit 4 the delivered image stream into individual images and stores them in memory 10 from. The individual images from the memory 10 are then recalculated by the warping calculation unit 6 and forwarded to the graphics output control unit 5 or stored again in the memory 10 for further processing.
  • the further processing can be done for example by the main processor unit 3.
  • the graphics output control unit 5 communicates, for example, with the image input 8 of a display and transfers the images calculated by the warping calculation unit 6 to the image input 8 of a display.
  • a further device for graphic processing of the revised images is provided at this point, which then further processes the images.
  • the warping calculation unit 6 uses a look-up matrix (not shown in FIG. 2) in the memory 10, which calculates the calculation rules for calculating the new image positions of the individual pixels of the video pixel.
  • Framegrabber unit 4 supplied source image in Matrizenform contains.
  • the main processor unit 3 To perform dynamic warping, for example, to accommodate a viewer's current head position, the values in the lookup matrix must be recalculated at least once to twice a second.
  • the required computing power can be achieved by the main processor unit 3 being able to recalculate the lookup matrix values in the memory 10, independently of the graphical revision of the source images, without the warping Calculation unit 6 is hindered.
  • the main processor unit 3 additionally comprises a floating-point calculation unit, not shown in FIG. 2, which increases the computing power of the main processor unit 3, in particular for graphical distortion calculations.
  • a memory access control unit 9 which coordinates the memory accesses to a memory 10 of the individual processing units of the integrated circuit (3 to 6).
  • a warping calculation unit 6 and the main processor unit 3 access a common main memory 10 after the unified memory
  • UMA UMA Architecture
  • a further increase in the data throughput results from the fact that the memory access control unit 9 enables direct access to the memory 10 by the individual processing units of the integrated circuit (3 to 6).
  • the process units are connected to the memory access control unit 9 via four buses 3a, 4a, 5a, 6a.
  • the memory access control unit 9 only communicates with the common memory 10 via a bus in this embodiment.
  • the memory 10 is generally designed as a random access module (RAM) memory. It is possible, however, the memory 10 is integrated in the integrated circuit. The computing power of the integrated circuit can thus be further increased.
  • RAM random access module
  • FIG. 3 The data flow between the exemplary embodiment of the integrated circuit on the semiconductor substrate 2 and the memory 10 is shown schematically in FIG. 3 in a data flow diagram.
  • the data flow diagram of FIG. 3 shows the memory 10, which is subdivided into different memory areas 12, 13, 14, 15.
  • the images obtained via the input 11 of the video frame grabber unit 4 are buffered in an input image memory area 12 of the memory 10.
  • the lookup matrix required for the warping is stored in a lookup matrix memory area 13 of the memory 10.
  • the images calculated by the warping calculation unit 6 are stored.
  • the warping calculation unit 6 accesses all three memory areas simultaneously or quasi-simultaneously in order to parallelize the steps for calculating the target image.
  • the graphics output control unit 5 now reads out the images stored in the output image memory area 14 and forwards them to a display, for example.
  • a display for example.
  • approximately 20 to 30 images per second must be calculated by the warping calculation unit 6 and transferred from the graphics output control unit 5, for example, to the graphic input 8 of a display.
  • the images may be filtered by an image not shown in FIG Filter unit, preferably pixel filter unit, carried out, wherein the filter unit may preferably be integrated in the integrated circuit according to the invention.
  • the filter unit may preferably be integrated in the integrated circuit according to the invention.
  • bilinear, bicubic or anisotropic filter units may be provided as possible filter units, with bilinear filtering requiring the lowest computing power and anisotropic filtering requiring the highest computing power.
  • the additional memory area 15 of the main processor unit 3 provided in the memory 10 is used to buffer the programs and data necessary for the dynamic calculation of the look-up matrix.
  • the main processor unit 3 calculates the lookup matrix independently of the calculation of the warping calculation unit 6 depending on the data existing in the work memory area 15.
  • the proposed integrated circuit can be used to achieve a particularly high performance with regard to the warping of real-time images.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Semiconductor Integrated Circuits (AREA)

Abstract

Die Erfindung betrifft eine integrierte Schaltung zur elektronischen Manipulation von Bildern, ein Verfahren zur elektronischen Manipulation von Bildern mittels Warping, ein System zur elektronischen Manipulation von Bildern umfassend eine integrierte Schaltung sowie eine Verwendung der erfindungsgemäßen, integrierten Schaltung. Die Aufgabe, eine integrierte Schaltung zur elektronischen Manipulation von Bildern sowie ein System zur elektronischen Manipulation von Bildern umfassend eine integrierte Schaltung zur Verfügung zu stellen, welche bzw. welches eine hohe Rechenleistung hinsichtlich eines dynamischen Warpings von Echtzeitbildern gewährleistet und gleichzeitig geringe Stückkosten für die Hardware ermöglicht, wird dadurch gelöst, dass die integrierte Schaltung eine Hauptprozessoreinheit (3), eine Speicherzugriff-Kontrolleinheit (9), eine Grafikausgang-Kontrolleinheit (5) und eine Warping- Berechnungseinheit (6) aufweist.

Description

Integrierte Schaltung mit Warping-Berechnungseinheit
Die Erfindung betrifft eine integrierte Schaltung zur elektronischen Manipulation von Bildern, ein Verfahren zur elektronischen Manipulation von Bildern mittels Warping, ein System zur elektronischen Manipulation von Bildern umfassend eine integrierte Schaltung sowie eine Verwendung der erfindungsgemäßen, integrierten Schaltung.
Zur elektronischen Manipulation von Bildern werden in der Regel Computer eingesetzt. Die Ausgabe der Bildinformationen erfolgt meistens über eine Grafikkarte, welche einen Grafikchip umfasst, der über ein Bussystem mit einer Hauptprozessoreinheit (CPU) und dem Arbeitsspeicher des Computers oder einem eigens für die Grafikkarte vorgesehenen Arbeitsspeicher kommuniziert. Neben einer Vielzahl anderer Verfahren zur elektronischen Manipulation von Bildern ist das Warping von Bildern bekannt. Beim Warping wird ein gegebenes Bild durch Veränderung der Position der einzelnen Bildpunkte verzerrt oder ein verzerrtes Bild entsprechend entzerrt und damit korrigiert. Zunächst muss dazu ein optisches Bild in ein elektronisches Bild umgewandelt werden. Ausgehend beispielsweise von den elektronischen Signalen einer Videokamera oder digitalen Fotokamera, welche die Quellbilder in eine festgelegte Anzahl von Bildpunkten, den so genannten Pixeln, unterteilen, wird jedem Bildpunkt des Quellbildes eine genaue Bildschirmposition (x, y) zugeordnet. Die Bildschirmposition der einzelnen Bildpunkte werden in einem Bildspeicherbereich eines Speichers gespeichert. Beim Warping wird jetzt jeder Bildpunkt des Quellbildes gemäß einer genau definierten Transformationsvorschrift an eine neue Bildposition (x' , y' ) im Zielbild verschoben. Meistens wird das resultierende Zielbild in einem zweiten Speicherbereich abgespeichert und/oder über eine Grafikkarte auf einem Bildschirm dargestellt. Um die neuen Bildpositionen der Bildpunkte zu berechnen, werden typischerweise folgende Verfahren angewendet:
1. Verwendung einer zweidimensionalen (2D) oder einer 3D auf 2D projizierenden polynomialen Transformationsfunktion zur Berechnung des resultierenden Zielbildpunktes (x' , y' ) für jeden Quellbildpunkt (x, y) , wobei die Transformationsfunktion abhängig von der Bildposition des Quellbildpunktes (x, y) ist.
2. Verwendung einer gespeicherten Lookup-Matrix, welche eine beliebige Transformationsvorschrift zu jedem Quellbildpunkt (x, y) als Matrix-eintrag enthält.
3. Verwendung eines Netzes aus Dreiecken, welches durch Abbilden von kleinen dreieckförmigen Quellbildpunktbereichen auf transformierte dreieckige Zielbildpunktbereiche die Abbildungsvorschrift der Quellbildpunkte (x, y) auf die Zielbildpunkte (x' , y' ) beschreibt.
Pro Bild wird zusätzlich zu den drei oben genannten Verfahren zur Verbesserung der Qualität der manipulierten Bilder ein Filterverfahren angewendet, welches einerseits das Überlappen von Bildpunkten bei verkleinerten Bildbereichen berücksichtigt und andererseits durch Interpolation zwischen Zielbildpunkten, welche in expandierten Bereichen nicht mehr benachbart sind, neue Bildpunkte berechnet.
Als Ergebnis des Warpings können Bilder, welche durch Linsen- oder Spiegeleffekte verzerrt worden sind, wieder korrigiert werden. Es ist aber auch möglich Bilder bewusst zu verzerren, um diese bei Projektion auf unebenen Flächen wieder „gerade" bzw. unverzerrt erscheinen zu lassen. Eine mögliche Anwendung dieses Prinzips stellt ein „Headup-Display" in einem Kraftfahrzeug dar, bei welchem beispielsweise die Instrumententafel des Kraftfahrzeuges über einen Projektor auf die Windschutzscheibe des Kraftfahrzeuges projiziert wird. Damit ein Betrachter, beispielsweise der Fahrer des Kraftfahrzeuges, die Instrumententafel durch die gekrümmte Windschutzscheibe nicht verzerrt wahrnimmt, wird das elektronisch erzeugte Bild der Instrumententafel vorher so verzerrt, dass es bei Reflektion von der Windschutzscheibe unverzerrt erscheint. In der Warping-Funktion, d.h. in der Abbildungsfunktion der Bildpunkte (x, y) auf die Zielbildpunktposition (x' , y' ) muss also die Krümmung der Windschutzscheibe berücksichtigt werden. Problematisch bei einer derartigen Anwendung ist, dass es von dem Blickwinkel oder der Position eines Betrachters der projizierten Instrumententafel abhängig ist, ob das Bild vollständig entzerrt erscheint bzw. ob eine vollständige Entzerrung des Bildes berechnet wurde.
Es wurden Untersuchungen mit konventionellen SD- beschleunigten Grafikkarten mit Standard PC-Ausstattung durchgeführt, welche ein Netz aus Dreiecken zur Definition einer zeitlich konstanten
Transformationsvorschrift beim Warping verwenden. Diese Systeme erzielten trotz hohen Aufwandes hinsichtlich der - A -
Hardware und der Leistungscharakteristik der Hardware nur relativ schlechte Leistungsergebnisse hinsichtlich eines Warpings von Echtzeitbildern.
Aufgrund des enormen Rechenaufwandes beim Warping wurden daher Versuche mit einem „Field Programmable Gate Array" (FPGA) durchgeführt. Ein FPGA weist eine Vielzahl frei programmierbarer, nicht spezialisierter Logikschaltkreise auf. FPGAs bieten die Möglichkeit, durch Programmierung der einzelnen Logikschaltkreise Funktionen im FPGA abzubilden und Informationen massiv parallel zu verarbeiten. FPGAs können damit bei relativ niedrigen Taktfrequenzen bereits gute Rechenleistung erzielen. Mit den FPGAs konnten zwar gute Resultate hinsichtlich des Warpings von Echtzeitbildern unter Verwendung von zeitlich konstanten Transformationsvorschriften erzielt werden, nachteilig bei den FPGAs ist jedoch deren hoher Flächenbedarf und der damit einhergehende Bedarf an Halbleitersubstrat. Hieraus resultiert ein relativ hoher Stückkostenpreis der FPGAs, der auch bei einer Massenproduktion nicht gesenkt werden kann. Die Verwendung von derart komplexen FPGAs in einem Massenprodukt des Consumer-Bereichs ist daher nicht vorteilhaft. Darüber hinaus konnten die aus den Anwendungen bekannten und beispielsweise aus einem veränderlichen Blickwinkel resultierende Probleme nicht zufrieden stellend gelöst werden.
Von dem zuvor beschriebenen Stand der Technik ausgehend, liegt der Erfindung damit die Aufgabe zugrunde, eine integrierte Schaltung zur elektronischen Manipulation von Bildern sowie ein System zur elektronischen Manipulation von Bildern umfassend eine integrierte Schaltung zur Verfügung zu stellen, welche bzw. welches eine hohe Rechenleistung hinsichtlich eines Warpings von Echtzeitbildern gewährleistet und gleichzeitig geringe Stückkosten für die Hardware ermöglicht. Darüber hinaus liegt der Erfindung die Aufgabe zugrunde, eine entsprechende Verwendung einer erfindungsgemäßen, integrierten Schaltung und ein Verfahren zur elektronischen Manipulation von Bildern mittels Warping, mit welchem die bisherigen Nachteile der bekannten Anwendungen beseitigt werden, vorzuschlagen.
Gemäß einer ersten Lehre der vorliegenden Erfindung wird die oben aufgezeigte Aufgabe durch eine integrierte Schaltung dadurch gelöst, dass die integrierte Schaltung eine Hauptprozessoreinheit, eine Speicherzugriff- Kontrolleinheit, eine Grafikausgang-Kontrolleinheit und eine Warping-Berechnungseinheit aufweist.
Überraschenderweise konnte durch die Integration der verschiedenen Bearbeitungseinheiten der integrierten Schaltung ein enormer Leistungsgewinn bei gleichzeitig geringem Flächenbedarf an Halbleitersubstrat und damit geringen Herstellkosten erzielt werden. Die Hauptprozessoreinheit kann beispielsweise das Quellbild unabhängig von der Warping-Berechnungseinheit berechnen und dieses in einem Speicher ablegen. Hierzu dient die Speicherzugriff-Kontrolleinheit, welche den Zugriff auf den Speicherbereich mindestens eines internen oder externen Speichers gewährleistet. In der Regel greifen Speicherzugriff-Kontrolleinheiten auf Speicher zu, welcher durch RAM (Random Access Memory) -Speichermodule zur Verfügung gestellt wird. Diese sind häufig extern angeordnet. Der Speicher kann aber auch in die integrierte Schaltung integriert sein, wodurch die Leistung der integrierten Schaltung weiter gesteigert werden kann. Durch die Integration mindestens einer Speicherzugriff-Kontrolleinheit wird zudem der Zugriff der einzelnen Einheiten der integrierten Schaltung auf den benötigten Speicherbereich vereinheitlicht und entsprechend beschleunigt. Ist nur eine Speicherzugriff- Kontrolleinheit vorgesehen, kann das Layout der integrierten Schaltung einfach gehalten werden. Sind dagegen eine Mehrzahl an Speicherzugriff- Kontrolleinheiten vorgesehen, ist es möglich, den Speicherzugriff zu parallelisieren und zu beschleunigen.
Die Warping-Berechnungseinheit berechnet dann entsprechend den Transformationsvorschriften die Position der Zielbildpunkte und greift bei der Berechnung beispielsweise auf von der Hauptprozessoreinheit berechnete Bilder zurück. Die von der Warping- Berechnungseinheit berechneten Zielbilder werden von der Grafikausgang-Kontrolleinheit an ein Display zur Darstellung oder an andere bildbearbeitende Vorrichtungen zur weiteren Bearbeitung übergeben. Aufgrund der parallelen und unabhängigen Berechnung der Quell- und Zielbilder sowie der kurzen Signalwege in der erfindungsgemäßen, integrierten Schaltung wird eine sehr hohe Rechenleistung erzielt, welche prinzipiell ermöglicht auch die Transformationsvorschriften des Warpings zeitabhängig, also dynamisch zu berechnen. Da der Flächenbedarf der einzelnen Einheiten optimal an die Aufgaben angepasst und optimiert werden kann, bleibt der Flächenbedarf der integrierten Schaltung insgesamt gering. Damit ist die erfindungsgemäße Schaltung sehr gut für die Massenproduktion geeignet.
Gemäß einer weiteren vorteilhaften Ausgestaltung ist die integrierte Schaltung als eine kundenspezifische Integrierte Schaltung (ASIC) oder als ein applikationsspezifisches Standardprodukt (ASSP) ausgebildet. Ein ASIC weist eine fest vorgegebene, anwendungsspezifische Funktionalität auf und ist im Allgemeinen für eine Anwendung ausgelegt. Ein ASSP ist dagegen eine integrierte Schaltung, welche auf die Herstellung in großen Stückzahlen optimiert ist und in verschiedenen Anwendungen verwendet werden kann. Sowohl ein ASIC als auch ein ASSP zeichnet sich durch einen optimierten Flächenbedarf und einer Optimierung hinsichtlich der Prozesssicherheit bei der Herstellung aus .
Bereits langjährig erprobte Herstellungsprozesse mit einer hohen Ausbeute an Gutteilen können, gemäß einer nächsten vorteilhaften Ausführungsform der erfindungsgemäßen, integrierten Schaltung, dadurch verwendet werden, dass das Halbleitersubstrat zumindest teilweise aus Silizium besteht. Vorstellbar ist jedoch, dass die erfindungsgemäße integrierte Schaltung auch auf einem anderen Halbleitersubstrat, beispielsweise einem III-V-Mischungshalbleitersubstrat, hergestellt wird.
Ist eine 32bit- und/oder 64bit-Befehle verarbeitende Hauptprozessoreinheit vorgesehen, kann auf bestehende Layouts für Hauptprozessoreinheiten zurückgegriffen werden, so dass die Herstellkosten der integrierten Schaltung weiter verringert werden. Eine 64bit-Befehle verarbeitende Hauptprozessoreinheit hat dabei gegenüber einer 32bit-Befehle verarbeitende Hauptprozessoreinheit den Vorteil, dass innerhalb eines 64bit-Befehls eine höhere Anzahl von Instruktionen bzw. komplexere Instruktionen an die Hauptprozessoreinheit übergeben werden können und ein größerer Adressraum adressierbar ist .
Beim Warping wird die Leistungscharakteristik, gemäß einer nächsten weitergebildeten Ausführungsform der erfindungsgemäßen, integrierten Schaltung, dadurch verbessert, dass eine Grafikeingang-Kontrolleinheit vorgesehen ist. Durch die Integration der Grafikeingang- Kontrolleinheit können elektronische Bilder direkt an die erfindungsgemäße integrierte Schaltung übergeben werden. Dadurch, dass die Berechnung der Bilder durch die Hauptprozessoreinheit im wesentlichen entfällt, kann die Verarbeitungsgeschwindigkeit der integrierten Schaltung weiter erhöht werden.
Ist als Grafikeingang-Kontrolleinheit eine Video- Framegrabber-Einheit vorgesehen, wird auf einfache Weise die Verarbeitung von Echtzeit-Bildern durch die integrierte Schaltung ermöglicht, in dem ein eingehender Datenstrom an Videobildern in einzelne Bilder durch die Video-Framegrabber-Einheit „zerlegt" und der Speicherzugriff-Kontrolleinheit übergeben wird. Andererseits wird aufgrund der Hardwareintegration der Video-Framegrabber-Einheit bei der Bereitstellung der Quellbilder für die Warping-Berechnungseinheit ein Performancegewinn erzielt.
Eine weitere Verbesserung der Rechenleistung im Hinblick auf die Durchführung des Warpings von Echtzeitbildern wird, gemäß einer nächsten Ausführungsform der integrierten Schaltung, dadurch erreicht, dass eine Lookup-Matrix basierte Warping-Berechnungseinheit vorgesehen ist. Die Verwendung einer Lookup-Matrix basierten Warping-Berechnungseinheit ergibt insbesondere im Vergleich zu den übrigen Warping-Verfahren einen Geschwindigkeitsvorteil in Verbindung mit der erfindungsgemäßen, integrierten Schaltung. Wie bereits ausgeführt, sind die Transformationsvorschriften in einer Matrix, der Lookup-Matrix, gespeichert. Die einzelnen Einträge werden sukzessive von der Warping- Berechnungseinheit ausgelesen und verwendet. Eine gleichzeitige, parallele und unabhängige Neuberechnung der gleichen oder einer weiteren Lookup-Matrix wird durch die Hauptprozessoreinheit ermöglicht.
Ist zumindest eine für die drei Grundfarben, Blau, Grün und Rot, jeweils eine Lookup-Matrix verwendende Warping- Berechnungseinheit vorgesehen, ist es möglich, die Verschiebung der Zielbildpunkte für jede Farbe einzeln zu berechnen. Damit kann beispielsweise die
Wellenlängenabhängigkeit der Dispersion optischer Linsen berücksichtigt werden und eine entsprechend exakte Korrektur oder Verzerrung des berechneten Bildes erzielt werden.
Ermöglicht die Speicherzugriff-Kontrolleinheit einen direkten Speicherzugriff zumindest der
Hauptprozessoreinheit und der Warping-Berechnungseinheit auf einen Speicherbereich mindestens eines internen oder externen Speichers, kann eine sehr schnelle Berechnung des Warpings gewährleistet werden. Die Warping- Berechnungseinheit kommuniziert in dem Fall ohne Umwege, d.h. ohne Zugriff auf die Hauptprozessoreinheit, mit dem Speicher. Weiter beschleunigt wird die
Berechnungsgeschwindigkeit der integrierten Schaltung, wenn zusätzlich die Grafikeingang-Kontrolleinheit und/oder die Grafikausgang-Kontrolleinheit die Speicherbereiche direkt adressieren können. Greifen zumindest die Hauptprozessoreinheit und die Warping-Berechnungseinheit auf einen Speicherbereich eines gemeinsamen Hauptspeicher nach dem Unified-Memory- Architecture (UMA) -Prinzip zu, wird einerseits eine weitere Verbesserung der Leistung der integrierten Schaltung erzielt. Andererseits wird aufgrund des „Unified-Memory-Architecture" (UMA) -Prinzips das Schaltungslayout vereinfacht und die Anzahl der externen oder internen Speichereinheiten minimiert und damit die Herstellkosten reduziert.
Besonders kurze Zugriffszeiten werden dadurch erzielt, dass über die Speicherzugriff-Kontrolleinheit in mindestens einem Speicher ein
Eingangsbildspeicherbereich, ein Lookup-Matrix- Speicherbereich, ein Ausgangsbildspeicherbereich und/oder ein Arbeitsspeicherbereich der Hauptprozessoreinheit adressierbar ist.
Gemäß einer weiteren, vorteilhaften Ausführungsform der erfindungsgemäßen, integrierten Schaltung wird die Berechnungsgeschwindigkeit zusätzlich dadurch gesteigert, dass eine einen simultanen oder quasi-simultanen Zugriff auf den Eingangsbildspeicherbereich, den Ausgangsbildspeicherbereich und/oder den Lookup- Matrixspeicherbereich ermöglichende Warping- Berechnungseinheit vorgesehen ist. Beim simultanen Zugriff werden die verschiedenen Speicherbereiche parallel angesprochen. Der quasi-simultane Zugriff erfolgt zwar auf der Speicherebene tatsächlich sequentiell. Allerdings ist der Zugriff hinsichtlich der Latenzzeiten so optimiert, dass die Daten in den einzelnen Bearbeitungseinheiten annähernd parallel verarbeitet werden. Eine derartige Warping- Berechnungseinheit gewährleistet, dass gleichzeitig bzw. nahezu gleichzeitig die Bildposition des neuen Quellbildpunktes aus dem Eingangsbildspeicherbereich sowie die entsprechende Warping-Funktion aus der Lookup- Matrix eingelesen werden und der zuvor berechnete Zielbildpunkt im Ausgangsbildspeicherbereich abgespeichert werden kann. Durch diese Maßnahme werden die Schritte zur Generierung des Zielbildes weiter parallelisiert .
Vorzugsweise ist mindestens eine Filtereinheit zum Filtern der Grafikausgabe vorgesehen, um beispielsweise das Überlappen von Bildpunkten im Falle von schrumpfenden Bildbereichen aber auch die Berechnung von neuen Bildpunkten durch Interpolation zwischen Zielbildpunkten, welche bei expandierten Bildbereichen nach der Transformation nicht mehr benachbart sind, zu berücksichtigen. Eine Integration der Filtereinheit in die integrierte Schaltung sorgt für eine zusätzliche Steigerung der Rechenleistung.
Um eine dynamische Modifikation der Filterparameter durch die integrierte Hauptprozessoreinheit zu ermöglichen, ist vorzugsweise die Filtereinheit als Bildpunkt- Filtereinheit ausgebildet, wobei die Filterparameter in einem programmierbaren Speicher, insbesondere einem RAM- Speicher, abgespeichert sind. Hierdurch wird ein einfacher Zugriff durch die Hauptprozessoreinheit zur Berechnung geänderter Filterparameter ermöglicht.
Die Geschwindigkeit der Berechnungen der Hauptprozessoreinheit kann, gemäß einer weiteren Ausführungsform der erfindungsgemäßen, integrierten Schaltung, dadurch gesteigert werden, dass die Hauptprozessoreinheit eine Gleitkomma-Berechnungseinheit aufweist. Hierdurch ergeben sich insbesondere im Zusammenhang mit einer dynamischen Berechnung der Transformationsvorschriften des Warpings zusätzliche Geschwindigkeitsvorteile .
Gemäß einer zweiten Lehre der Erfindung wird die zuvor hergeleitete Aufgabe verfahrensmäßig dadurch gelöst, dass bei einem Verfahren zur Manipulation von Bildern mittels Warping, bei welchem Bildpunkte eines Quellbildes den Bildpunkten eines Zielbildes unter Verwendung von Transformationsvorschriften zugeordnet werden, die Transformationsvorschriften für die Abbildung der Quellbildpunkte auf die Zielbildpunkte dynamisch berechnet werden. Durch die dynamische Berechnung der Transformationsvorschriften werden diese zeitlich veränderlich, so dass beim Warping diese zeitliche Änderungen der Transformationsvorschriften in die elektronische Bildent- oder Verzerrung eingebracht werden und damit eine dynamische Bildent- bzw. -Verzerrung ermöglicht wird. Damit können prinzipiell Kopfbewegungen eines Betrachters des zuvor beschriebenen „Headup- Displays" berücksichtigt werden. Dies wird auch als dynamisches Warping bezeichnet.
Erfolgt die dynamische Berechnung der Transformationsvorschriften zumindest abhängig von mindestens einem externen Ereignis, welches über Messmittel detektiert wird, kann beispielsweise die Manipulation Bilder in Abhängigkeit der Position des Betrachters geschehen. Beispielsweise ist es denkbar, dynamische Veränderungen der Projektionsfläche, auf welche ein Zielbild projiziert wird, zu erkennen und die Transformationsvorschriften do anzupassen, dass das Bild durch die sich verändernde Projektionsfläche nicht beeinflusst wird und unverzerrt dargestellt wird.
Vorzugsweise wird alternativ oder kumulativ über Messmittel der Blickwinkel und/oder die Position mindestens eines Betrachters des Zielbildes ermittelt und zumindest abhängig von dem gemessenen Blickwinkel und/oder von der gemessenen Position des Betrachters die Transformationsvorschriften dynamisch berechnet. Bei einem „Headup-Dipslay" kann dann die Kopfposition des Kraftfahrers bestimmt und die Transformationsvorschriften des Warpings abhängig von der Kopfposition des Kraftfahrers immer wieder neu berechnet werden. Vorteilhafterweise geschieht dies in Echtzeit, so dass für einen Betrachter eine Neuberechnung der Transformationsvorschriften des Warpings nicht spürbar ist .
Besonders vorteilhaft ist es, wenn die elektronische Manipulation der Bilder mittels Warping basierend auf einer Lookup-Matrix erfolgt und die Lookup-Matrix dynamisch berechnet wird. Bei Echtzeitbildern muss die Lookup-Matrix, welche die Transformationsvorschriften enthält, mindestens ein- bis zweimal pro Sekunde neu berechnet werden, um Bewegungen des Betrachters ausreichend zu berücksichtigen. Es ist aber auch eine häufigere Berechnung denkbar. Eine entsprechend schnelle Berechnung wird beispielsweise mit der erfindungsgemäßen, integrierten Schaltung ermöglicht.
Wird während der Berechnung des Zielbildes basierend auf einer ersten Lookup-Matrix eine zweite Lookup-Matrix berechnet, kann die Geschwindigkeit des dynamischen Warpings weiter gesteigert werden, da ein Warten auf die Neuberechnung der Lookup-Matrix entfällt. Direkt nach Beendigung der Berechnung des Zielbildes kann die neu berechnete und eventuell zuvor im Speicher abgelegte zweite Lookup-Matrix für das Warping verwendet werden.
Gemäß einer dritten Lehre der Erfindung wird die oben hergeleitete Aufgabe durch ein System zur elektronischen Manipulation von Bildern umfassend eine erfindungsgemäße integrierte Schaltung, Mittel zur Umwandlung von optischen Bildern in elektrische Signale zur Übergabe an die integrierte Schaltung und Mittel zur Darstellung eines von der Grafikausgang-Kontrolleinheit zur Verfügung gestellten Bildes, gelöst.
Eine besonders vorteilhafte Ausgestaltung des Systems wird dadurch erzielt, dass das System als Head-Up-Display oder als Rearview-Kameradisplay ausgebildet ist.
Das System, insbesondere wenn es als Head-Up-Disply oder Rearview-Kameradiplay mit einer Windschutzscheibe als Displayfläche ausgebildet ist, kann dadurch vorteilhaft weitergebildet werden, dass Messmittel zur Erfassung des Blickwinkels oder der Position eines Betrachters des Zielbildes vorgesehen sind und das Zielbild zumindest abhängig von dem gemessenen Blickwinkel und/oder Position mindestens eines Betrachters berechenbar ist. Beispielsweise kann durch einen so genannten Head-Track- Sensor die Position des Kopfes des Betrachters genau bestimmt und verfolgt werden und die
Transformationsvorschriften des Warpings dynamisch an die jeweilige Kopfposition mindestens eines Betrachters angepasst werden.
Schließlich wird die oben hergeleitete Aufgabe gemäß einer vierten Lehre der vorliegenden Erfindung dadurch gelöst, dass die erfindungsgemäße integrierte Schaltung in einer Vorrichtung zur Durchführung eines Warpings, insbesondere eines dynamischen Warpings von Bildern in Echtzeit verwendet wird.
Durch die Verwendung der integrierten Schaltung in Fahrzeugen bzw. Kraftfahrzeugen können zusätzliche Sichthilfen für den Kraftfahrer eines Fahrzeuges, beispielsweise ein Head-Up-Display oder ein Rearview- Kameradisplay auf wirtschaftliche Weise zur Verfügung gestellt werden. Beim Einsatz im Kraftfahrzeug sorgt insbesondere die ernorme Rechenleistung der integrierten Schaltung dafür, dass auch bei schnellen Bildwechseln oder Veränderungen der Kopfposition der Fahrer keinerlei Verzögerungen im Bildaufbau der Anwendungen wahrnimmt.
Es gibt nun eine Vielzahl von Möglichkeiten, die erfindungsgemäße integrierte Schaltung auszugestalten und weiterzubilden. Hierzu wird verwiesen einerseits auf die den unabhängigen Patentansprüchen 1, 16, 21 und 23 nachgeordneten Patentansprüchen, andererseits auf die Beschreibung eines Ausführungsbeispiels in Verbindung mit der Zeichnung. Die Zeichnung zeigt in
Fig. 1 schematisch die Auswirkung des Warpings an einem Gitternetz,
Fig. 2 eine schematische Darstellung der Architektur eines Ausführungsbeispiels der erfindungsgemäßen, integrierten Schaltung und
Fig. 3 ein schematisches Datenflussdiagramm des Ausführungsbeispiels aus Fig. 2 der erfindungsgemäßen, integrierten Schaltung.
In Fig. 1 sind schematisch die Auswirkungen des Warpings an einem Gitternetz dargestellt. Fig. Ia stellt das unverzerrte Quellbild dar, während Fig. Ib das Zielbild in der Form eines verzerrten Gitternetzes nach dem Warping zeigt. Das Quellbild in Fig. Ia besteht aus mehreren, ein Gitternetz bildenden Geraden, wobei an jedem Kreuzungspunkt von zwei Geraden sich ein Bildpunkt 1 befindet. Dem Bildpunkt 1 ist eine genaue Bildposition durch ein Koordinatenpaar (x, y) zugeordnet, wodurch die Bildposition des Bildpunktes genau festgelegt ist. Wird das Quellbild der Fig. Ia unter Verwendung des Warping- Verfahrens verzerrt, so werden jedem Bildpunkt 1 des Quellbildes mit den Koordinaten (x, y) ein neuer Bildpunkt 1' mit den Koordinaten (x' , y' ) des Zielbildes zugeordnet. Dies erfolgt für alle Bildpunkte des Quellbildes, wobei für die einzelnen Bildpunkte z. T unterschiedliche Berechnungsvorschriften zur Bestimmung der neuen Bildposition des Bildpunktes gelten, wie Fig. 1 zeigt. Durch Anwendung des Warpings auf ein Quellbild können nicht nur unverzerrte Bilder verzerrt werden, insbesondere kann das Warping dazu verwendet werden, nicht-lineare Verzerrungen eines Bildes, wie sie typischerweise bei Verwendung von optischen Linsen auftreten, zu korrigieren. Wie in der Beschreibungseinleitung bereits ausgeführt, gibt es prinzipiell verschiedene Möglichkeiten das Warping durchzuführen. Im Weiteren wird ein Ausführungsbeispiel der erfindungsgemäßen, integrierten Schaltung beschrieben, welches, stellvertretend für die übrigen Warping-Verfahren, ein dynamisches Warping unter Verwendung einer Lookup-Matrix verwendet.
Fig. 2 zeigt schematisch die Architektur eines Ausführungsbeispiels der erfindungsgemäßen, integrierten Schaltung, welche auf einem Halbleitersubstrat 2 realisiert ist. Auf dem Halbleitersubstrat 2 ist erfindungsgemäß eine Hauptprozessoreinheit 3, eine Grafikeingang-Kontrolleinheit 4, eine Grafikausgang- Kontrolleinheit 5 sowie eine Warping-Berechnungseinheit 6 vorgesehen. Die Grafikeingang-Kontrolleinheit 4, ist in dem Ausführungsbeispiel als Video-Framegrabber-Einheit ausgebildet. Die Video-Framegrabber-Einheit 4 verarbeitet die von einem Bildsensor oder einer Kamera 7 gelieferten Bilder. Liefert der Bildsensor 7 einen Datenstrom an Videobildern, zerlegt die Video- Framegrabber-Einheit 4 den gelieferten Bildstrom in einzelne Bilder und legt diese im Speicher 10 ab. Die einzelnen Bilder aus dem Speicher 10 werden dann von der Warping-Berechnungseinheit 6 neu berechnet und an die Grafikausgang-Kontrolleinheit 5 weitergeleitet oder wieder im Speicher 10 zur weiteren Verarbeitung abgelegt. Die Weiterverarbeitung kann beispielsweise durch die Hauptprozessoreinheit 3 geschehen. Die Grafikausgang- Kontrolleinheit 5 steht beispielsweise mit dem Bildeingang 8 eines Displays in Verbindung und übergibt die von der Warping-Berechnungseinheit 6 berechneten Bilder an den Bildeingang 8 eines Displays. Vorstellbar ist jedoch auch, dass an Stelle des Bildeingangs 8 eines Displays eine weitere Vorrichtung zur grafischen Aufbereitung der überarbeiteten Bilder an dieser Stelle vorgesehen ist, welche die Bilder dann weiterverarbeitet.
Die Warping-Berechnungseinheit 6 greift in dem Ausführungsbeispiel der erfindungsgemäßen, integrierten Schaltung zur Durchführung des Warpings auf eine in Fig. 2 nicht dargestellte Lookup-Matrix im Speicher 10 zurück, welche die Berechnungsvorschriften zur Berechnung der neuen Bildpositionen der einzelnen Bildpunkte des von der Video-Framegrabber-Einheit 4 gelieferten Quellbildes in Matritzenform enthält.
Zur Durchführung des dynamischen Warpings, beispielsweise, um die aktuelle Kopfposition eines Betrachters zu berücksichtigen, müssen die Werte in der Lookup-Matrix mindestens ein bis zweimal pro Sekunde neu berechnet werden. Die erforderliche Rechenleistung kann dadurch erreicht werden, dass die Hauptprozessoreinheit 3, unabhängig von der grafischen Überarbeitung der Quellbilder, eine Neuberechnung der Lookup-Matrix-Werte im Speicher 10 durchführen kann, ohne dass die Warping- Berechnungseinheit 6 behindert wird. Vorzugsweise umfasst die Hauptprozessoreinheit 3 zusätzlich eine in Fig. 2 nicht dargestellte Gleitkomma-Berechnungseinheit, welche die Rechenleistung der Hauptprozessoreinheit 3 insbesondere für grafische Verzerrungsberechnungen steigert .
Wie die Fig. 2 weiter zeigt, ist auf dem
Halbleitersubstrat 2 eine Speicherzugriff-Kontrolleinheit 9 vorgesehen, welche die Speicherzugriffe auf einen Speicher 10 der einzelnen Bearbeitungseinheiten der integrierten Schaltung (3 bis 6) koordiniert. Zur Verbesserung der Performance der integrierten Schaltung auf dem Halbleitersubstrat 2 greifen zumindest die Warping-Berechnungseinheit 6 und die Hauptprozessoreinheit 3 auf einen gemeinsamen Hauptspeicher 10 nach dem Unified-Memory-
Architecture (UMA) -Prinzip zu. Eine weitere Steigerung des Datendurchsatzes ergibt sich daraus, dass die Speicherzugriff-Kontrolleinheit 9 einen direkten Zugriff durch die einzelnen Prozesseinheiten der integrierten Schaltung (3 bis 6) auf den Speicher 10 ermöglicht. In dem vorliegenden Ausführungsbeispiel sind hierzu die Prozesseinheiten über vier Busse 3a, 4a, 5a, 6a an die Speicherzugriff-Kontrolleinheit 9 angebunden. Die Speicherzugriff-Kontrolleinheit 9 kommuniziert in diesem Ausführungsbeispiel nur über einen Bus mit dem gemeinsamen Speicher 10.
Daneben ist auch eine direkte Verbindung der einzelnen Einheiten der integrierten Schaltung denkbar, sofern eine Speicherung der Daten im Speicher 10 nicht notwendig ist.
Der Speicher 10 ist im Allgemeinen als Random-Access- Modul (RAM) -Speicher ausgebildet. Denkbar ist aber such, dass der Speicher 10 in der integrierten Schaltung integriert ist. Die Rechenleistung der integrierten Schaltung kann damit nochmals gesteigert werden.
Der Datenfluss zwischen dem Ausführungsbeispiel der integrierten Schaltung auf dem Halbleitersubstrat 2 und dem Speicher 10 ist in Fig. 3 schematisch in einem Datenflussdiagramm dargestellt. Das Datenflussdiagramm der Fig. 3 zeigt den Speicher 10, welcher in unterschiedliche Speicherbereiche 12, 13, 14, 15 unterteilt ist. Die über den Eingang 11 der Video- Framegrabber-Einheit 4 erhaltenen Bilder werden in einem Eingangsbildspeicherbereich 12 des Speichers 10 zwischengespeichert. Die für das Warping benötigte Lookup-Matrix ist in einem Lookup-Matrix-Speicherbereich 13 des Speichers 10 abgelegt. Des Weiteren werden in einem Ausgangsbildspeicherbereich 14 die von der Warping- Berechnungseinheit 6 berechneten Bilder abgespeichert. Vorzugsweise greift die Warping-Berechnungseinheit 6 simultan oder quasi-simultan auf alle drei Speicherbereiche zu, um die Schritte zur Berechnung des Zielbildes zu parallelisieren.
Die Grafikausgang-Kontrolleinheit 5 liest nun die im Ausgangsbildspeicherbereich 14 abgelegten Bilder aus und leitet diese beispielsweise an ein Display weiter. Zur Erzeugung eines störungsfreien bzw. ruckfreien Bildes müssen ca. 20 bis 30 Bilder pro Sekunde durch die Warping-Berechnungseinheit 6 berechnet und von der Grafikausgang-Kontrolleinheit 5 beispielsweise an den Grafikeingang 8 eines Displays übergeben werden.
Kumulativ kann vor der Ausgabe der manipulierten Bilder über die Grafikausgang-Kontrolleinheit 5 eine Filterung der Bilder durch eine in Fig. 2 nicht dargestellte Filtereinheit, vorzugsweise Bildpunkt-Filtereinheit, erfolgen, wobei die Filtereinheit vorzugsweise in der erfindungsgemäßen, integrierten Schaltung integriert sein kann. Als mögliche Filtereinheiten können beispielsweise bilineare, bikubisch oder anisotrop arbeitende Filtereinheiten vorgesehen sein, wobei ein bilineares Filtern die geringste Rechenleistung benötigt und anisotropes Filtern die höchste Rechenleistung.
Der im Speicher 10 zusätzlich vorgesehene Arbeitsspeicherbereich 15 der Hauptprozessoreinheit 3 wird verwendet, um dort die für die dynamische Berechnung der Lookup-Matrix notwendigen Programme und Daten zwischenzuspeichern . Die Hauptprozessoreinheit 3 berechnet abhängig von den in dem Arbeitsspeicherbereich 15 vorhandenen Daten die Lookup-Matrix unabhängig von der Berechnung der Warping-Berechnungseinheit 6.
Durch die parallele dynamische Konfigurierung der Lookup- Matrix kann mit der vorgeschlagenen integrierten Schaltung eine besonders hohe Performance hinsichtlich des Warpings von Echzeitbildern erzielt werden.

Claims

Patentansprüche
1. Integrierte Schaltung umfassend mindestens ein Halbleitersubstrat (2), d a d u r c h g e k e n n z e i c h n e t, d a s s die integrierte Schaltung eine Hauptprozessoreinheit (3) , mindestens eine Speicherzugriff-Kontrolleinheit (9), eine Grafikausgang-Kontrolleinheit (5) und eine Warping-Berechnungseinheit (6) aufweist.
2. Integrierte Schaltung nach Anspruch 1 d a d u r c h g e k e n n z e i c h n e t, d a s s die integrierte Schaltung als kundenspezifische Integrierte Schaltung (ASIC) oder applikationsspezifisches Standardprodukt (ASSP) ausgebildet ist.
3. Integrierte Schaltung nach Anspruch 1 oder 2, d a d u r c h g e k e n n z e i c h n e t, d a s s genau ein Halbleitersubstrat (2) vorgesehen ist.
4. Integrierte Schaltung nach einem der Ansprüche 1 bis 3, d a d u r c h g e k e n n z e i c h n e t, d a s s das Halbleitersubstrat (2) zumindest teilweise aus Silizium besteht.
5. Integrierte Schaltung nach einem der Ansprüche 1 bis 4, d a d u r c h g e k e n n z e i c h n e t, d a s s eine 32bit- und/oder 64bit-Befehle verarbeitende Hauptprozessoreinheit (3) vorgesehen ist.
6. Integrierte Schaltung nach einem der Ansprüche 1 bis 5, d a d u r c h g e k e n n z e i c h n e t, d a s s eine Grafikeingang-Kontrolleinheit (4) vorgesehen ist .
7. Integrierte Schaltung nach Anspruch 6, d a d u r c h g e k e n n z e i c h n e t, d a s s als Grafikeingang-Kontrolleinheit (4) eine Video- Framegrabber-Einheit vorgesehen ist.
8. Integrierte Schaltung nach einem der Ansprüche 1 bis 6, d a d u r c h g e k e n n z e i c h n e t, d a s s eine Lookup-Matrix basierte Warping- Berechnungseinheit (5) vorgesehen ist.
9. Integrierte Schaltung nach Anspruch 7, d a d u r c h g e k e n n z e i c h n e t, d a s s eine mindestens für die drei Grundfarben, Blau, Grün und Rot, jeweils eine Lookup-Matrix verwendende Warping-Berechnungseinheit (6) vorgesehen ist.
10. Integrierte Schaltung nach Anspruch 9, d a d u r c h g e k e n n z e i c h n e t, d a s s die Speicherzugriff-Kontrolleinheit (9) einen direkten Speicherzugriff zumindest der Hauptprozessoreinheit (3) und der Warping- Berechnungseinheit (6) auf den Speicherbereich mindestens eines internen oder externen Speichers
(10) ermöglicht.
11. Integrierte Schaltung nach einem der Ansprüche 1 bis 10, d a d u r c h g e k e n n z e i c h n e t, d a s s zumindest die Hauptprozessoreinheit (3) und die Warping-Berechnungseinheit (6) auf einen gemeinsamen Speicherbereich eines Hauptspeichers (10) nach dem Unified-Memory-Architecture (UMA) -Prinzip zugreifen.
12. Integrierte Schaltung nach einem der Ansprüche 9 bis 11, d a d u r c h g e k e n n z e i c h n e t, d a s s über die Speicherzugriff-Kontrolleinheit (9) in mindestens einem Speicher (10) ein
Eingangsbildspeicherbereich (12), ein Lookup-Matrix- Speicherbereich (13) , ein Ausgangsbildspeicherbereich (14) und/oder ein Arbeitsspeicherbereich (15) der Hauptprozessoreinheit (3) adressierbar sind.
13. Integrierte Schaltung nach einem der Ansprüche 6 bis 12, d a d u r c h g e k e n n z e i c h n e t, d a s s eine einen simultanen Zugriff auf den Eingangsbildspeicherbereich (12), den Ausgangsbildspeicherbereich (14) und/oder auf den Lookup-Matrix-Speicherbereich (13) ermöglichende Warping-Berechnungseinheit (6) vorgesehen ist.
14. Integrierte Schaltung nach einem der Ansprüche 1 bis 13, d a d u r c h g e k e n n z e i c h n e t, d a s s eine Filtereinheit zum Filtern der Grafikausgabe der Grafikausgang-Kontrolleinheit (5) vorgesehen ist.
15. Integrierte Schaltung nach Anspruch 14, d a d u r c h g e k e n n z e i c h n e t, d a s s die Filtereinheit als Bildpunkt-Filtereinheit ausgebildet ist, wobei die Filterparameter in einem programmierbaren Speicher (10) abgespeichert sind.
16. Verfahren zur elektronischen Manipulation von Bildern mittels Warping, bei welchem Bildpunkte eines Quellbildes den Bildpunkten eines Zielbildes unter Verwendung einer Transformationsvorschrift zugeordnet werden, insbesondere unter Verwendung einer integrierten Schaltung nach einem der Ansprüche 1 bis 15, d a d u r c h g e k e n n z e i c h n e t, d a s s die Transformationsvorschriften für die Abbildung der Quellbildpunkte auf die Zielbildpunkte dynamisch berechnet werden.
17. Verfahren zur elektronischen Manipulation von Bildern mittels Warping nach Anspruch 16, d a d u r c h g e k e n n z e i c h n e t, d a s s die dynamische Berechnung der
Transformationsvorschriften zumindest abhängig von mindestens einem externen Ereignis, welches über Messmittel detektiert wird, erfolgt.
18. Verfahren zur elektronischen Manipulation von Bildern mittels Warping nach Anspruch 16 oder 17, d a d u r c h g e k e n n z e i c h n e t, d a s s über Messmittel der Blickwinkel und/oder die Position eines Betrachters des Zielbildes ermittelt wird und zumindest abhängig von dem gemessenen Blickwinkel oder von der gemessenen Position mindestens eines Betrachters die Transformationsvorschriften dynamisch berechnet werden.
19. Verfahren zur elektronischen Manipulation von Bildern mittels Warping nach einem der Ansprüche 16 bis 18, d a d u r c h g e k e n n z e i c h n e t, d a s s das Warping der Bildinformationen basierend auf einer Lookup-Matrix erfolgt und die Lookup-Matrix dynamisch berechnet wird.
20. Verfahren zur elektronischen Manipulation von Bildinformationen mittels Warping nach einem der Ansprüche 16 bis 19, d a d u r c h g e k e n n z e i c h n e t, d a s s während der Berechnung der Zielbildes durch die Warping-Berechnungseinheit eine zweite zeitlich folgende Lookup-Matrix durch die Hauptprozessoreinheit berechnet wird.
21. System zur elektronischen Manipulation von Bildern, insbesondere zur Verwirklichung eines Verfahrens nach einem der Ansprüche 16 bis 19, umfassend eine integrierte Schaltung nach einem der Ansprüche 1 bis 15, Mittel zur Umwandlung von optischen Bildern in elektrische Signale zur Manipulation der Bilder (7) unter Verwendung der integrierten Schaltung und Mittel zur Darstellung eines durch die integrierte Schaltung elektronisch manipulierten Bildes (8) .
22. System nach Anspruch 20, d a d u r c h g e k e n n z e i c h n e t, d a s s das System als ein Head-Up-Display oder als Rearview- Kameradisplay-System für Fahrzeuge ausgebildet ist.
23. System nach Anspruch 20 oder 21, d a d u r c h g e k e n n z e i c h n e t, d a s s Messmittel zur Erfassung des Blickwinkels oder der Position eines Betrachters des Zielbildes und das Zielbild zumindest abhängig von dem gemessenen Blickwinkel und/oder der gemessenen Position mindestens eines Betrachters des Zielbildes berechenbar ist.
24. Verwendung einer integrierten Schaltung nach einem der Ansprüche 1 bis 15 in einer Vorrichtung zur Durchführung einer elektronischen Manipulation von Bildern .
25. Verwendung einer integrierten Schaltung nach Anspruch 23, d a d u r c h g e k e n n z e i c h n e t, d a s s die integrierte Schaltung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, verwendet wird.
EP06763365A 2005-05-30 2006-05-30 Integrierte schaltung mit warping-berechnungseinheit Withdrawn EP1886274A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005025025A DE102005025025A1 (de) 2005-05-30 2005-05-30 Integrierte Schaltung mit Warping-Berechnungseinheit
PCT/EP2006/062712 WO2006128862A1 (de) 2005-05-30 2006-05-30 Integrierte schaltung mit warping-berechnungseinheit

Publications (1)

Publication Number Publication Date
EP1886274A1 true EP1886274A1 (de) 2008-02-13

Family

ID=36781540

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06763365A Withdrawn EP1886274A1 (de) 2005-05-30 2006-05-30 Integrierte schaltung mit warping-berechnungseinheit

Country Status (4)

Country Link
EP (1) EP1886274A1 (de)
JP (1) JP2008543071A (de)
DE (2) DE202005021565U1 (de)
WO (1) WO2006128862A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2804144A1 (de) * 2013-05-16 2014-11-19 SMR Patents S.à.r.l. Verfahren und Vorrichtung zur Verarbeitung von Eingabebilddaten
KR20150015680A (ko) * 2013-08-01 2015-02-11 씨제이씨지브이 주식회사 특징점의 생성을 이용한 이미지 보정 방법 및 장치
US9229228B2 (en) 2013-12-11 2016-01-05 Honeywell International Inc. Conformal capable head-up display
US9606355B2 (en) 2014-09-29 2017-03-28 Honeywell International Inc. Apparatus and method for suppressing double images on a combiner head-up display
US10459224B2 (en) 2014-09-29 2019-10-29 Honeywell International Inc. High transmittance eyewear for head-up displays
DE102016224166B3 (de) 2016-12-05 2018-05-30 Continental Automotive Gmbh Head-Up-Display
EP3688513A1 (de) 2017-09-25 2020-08-05 Continental Automotive GmbH Head-up-display
DE102019206565A1 (de) * 2019-05-07 2020-11-12 Continental Automotive Gmbh Konzept zum Betreiben einer Anzeigevorrichtung mit einer gewölbten Oberfläche

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204944A (en) * 1989-07-28 1993-04-20 The Trustees Of Columbia University In The City Of New York Separable image warping methods and systems using spatial lookup tables
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
NO942080D0 (no) * 1994-06-03 1994-06-03 Int Digital Tech Inc Bildekoder
JPH10327373A (ja) * 1997-05-26 1998-12-08 Mitsubishi Electric Corp 接眼映像表示装置
JP2001061129A (ja) * 1999-08-20 2001-03-06 Fujitsu General Ltd ドライブレコーダシステム
US6687387B1 (en) * 1999-12-27 2004-02-03 Internet Pictures Corporation Velocity-dependent dewarping of images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2006128862A1 *

Also Published As

Publication number Publication date
DE202005021565U1 (de) 2008-09-11
DE102005025025A1 (de) 2006-12-07
JP2008543071A (ja) 2008-11-27
WO2006128862A1 (de) 2006-12-07

Similar Documents

Publication Publication Date Title
DE10053439B4 (de) Grafik-Beschleuniger mit Interpolationsfunktion
EP1886274A1 (de) Integrierte schaltung mit warping-berechnungseinheit
DE102006036933B4 (de) Verfahren zur Erzeugung eines Gesamtbilds aus überlappenden Einzelbildern
DE102008046398B4 (de) Vorrichtung zum Erzeugen eines zusammengesetzten Bildes und computerlesbares Medium zum Speichern eines Programmes, um zu bewirken, dass ein Computer als Vorrichtung zum Erzeugen eines zusammengesetzten Bildes wirkt
DE10101073B4 (de) Bildaufbereitungsvorrichtung mit niedrigeren Speicherkapazitätsanforderungen und Verfahren dafür
DE10200400A1 (de) Anzeigevorrichtung für den Einsatz in einem Fahrzeug
DE19539642A1 (de) Verfahren zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes insbesondere bei einem Fahrzeug, und Vorrichtung zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes
DE112013006544T5 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
DE102006038646A1 (de) Bildverarbeitungsvorrichtung für Farb-Bilddaten und Verfahren zur Bildverarbeitung von Farb-Bilddaten
DE102017001015A1 (de) Latenzarme Korrektur einer Projektion eines Head-Up Displays
WO2007098974A2 (de) Vorrichtung und verfahren zur ausgabe von unterschiedlichen bildern auf wenigstens zwei anzeigen
EP0903723B1 (de) Anzeigevorrichtung mit und ohne Antialiasing
DE202015104345U1 (de) Adapter zur Einspeisung von Videosignalen in ein Steuergerät
DE3508606C2 (de)
EP1985105B1 (de) Verfahren und vorrichtung zum scannen von bildern
DE10240313A1 (de) Bildverarbeitungsvorrichtung mit einem Verarbeitungsvorgang Koordinatenberechung
DE19714915A1 (de) Bilddarstellungsverfahren und Vorrichtung zur Durchführung des Verfahrens
EP3465608B1 (de) Verfahren und vorrichtung zum bestimmen eines übergangs zwischen zwei anzeigebildern, und fahrzeug
EP4068198B1 (de) Verfahren zur erzeugung eines bilds eines objekts, computerprogrammprodukt und bilderzeugungssystem zur durchführung des verfahrens
DE102008044521A1 (de) Verfahren und Vorrichtung zur Erzeugung von Bildinformationen
DE102019108599A1 (de) Dynamische batchgrössenauswahl für die bildverarbeitung von fahrzeugkameras
DE102019207415A1 (de) Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
DE102015109878B3 (de) Korrektur eines musterförmigen Bildfehlers
DE102018205759B4 (de) Head-Up-Display und Verfahren zum zweidimensionalen Darstellen einer dreidimensionalen Grafik
DE102016223388A1 (de) Bildverarbeitungssystem und bildverarbeitungsverfahren

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20071102

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE FR IT

RBV Designated contracting states (corrected)

Designated state(s): DE FR IT

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): DE FR IT

17Q First examination report despatched

Effective date: 20090911

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20110124