EP3036684A2 - Verfahren zur erkennung von fehlern für zumindest ein bildverarbeitungssystem - Google Patents
Verfahren zur erkennung von fehlern für zumindest ein bildverarbeitungssystemInfo
- Publication number
- EP3036684A2 EP3036684A2 EP14766094.8A EP14766094A EP3036684A2 EP 3036684 A2 EP3036684 A2 EP 3036684A2 EP 14766094 A EP14766094 A EP 14766094A EP 3036684 A2 EP3036684 A2 EP 3036684A2
- Authority
- EP
- European Patent Office
- Prior art keywords
- image
- primary image
- feature
- primary
- pbl
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Definitions
- the invention relates to a method for error detection for at least one image processing system, in particular for detecting the surroundings of a vehicle, particularly preferably a motor vehicle.
- the invention relates to an error detection device for at least one image processing system or an algorithm to be checked therein, in particular for detecting the surroundings of a vehicle, particularly preferably a motor vehicle.
- Such a visual monitoring device is disclosed, for example, in DE 10 2007025 373 B3, which can record image data containing first distance information and can recognize and track objects from the image data.
- This first distance information is checked for plausibility on the basis of a second distance information, the second distance information being obtained from a change in an image size of the objects over successive sets of the image data.
- the only criterion used to check the plausibility is the distance information obtained. Errors in the image recognition or image processing that do not affect this distance information can not be detected.
- this object is achieved by a method of the type mentioned, in which the following steps are provided according to the invention: a) detecting at least one first primary image based on a primary image origin, b) processing the at least one first primary image using at least one checking algorithm, after step a)
- step b) extracting at least one primary image feature based on the processed at least one first primary image, after step b)
- step a) generating or detecting at least one first secondary image by shifting and / or rotating the at least one first primary image or the primary image origin, after step a)
- step d) processing the at least one first secondary image using the at least one algorithm to be checked, after step d)
- errors include errors in image acquisition (eg due to hardware or software errors), in data processing or in image processing, eg in the extraction of image features. These can basically be caused by hardware defects, overfilled memories, bit errors, programming errors, etc.
- the term "primary image origin” is understood to mean an image area (actually recorded or even partially fictitious) to which the at least one first primary image has been taken and which is at least the same size but generally larger than the image area of at least
- the at least one first secondary image can be generated virtually on the one hand in step d), on the other hand it is also possible to use a captured image as a secondary image at a subsequent point in time a first primary image and at a subsequent time (in the form of a secondary image) detected, at least partially located within the primary image origin image area done.
- Such a relative movement can be present in a simple manner, for example, if a camera mounted on a vehicle is set up to detect the primary or secondary images.
- Relative movements of the vehicle to the environment detected by the camera can thus be used to generate a "natural" displacement / rotation of the at least one first secondary image .
- This also has the advantage that the secondary images are used as primary images for the next inspection in a next step
- the comparison of the at least one primary image feature with the at least one secondary image feature and the use of the result of the comparison to determine the presence of at least one error can be done eg by checking the correlation between the primary image feature and the secondary image feature or the underlying displacement and / or rotation
- any arbitrary measure of similarity between the primary image feature and the secondary image feature may be used Examining and / or the rotation of a secondary image, for example, the Euclidean distance between points of a secondary image feature and points that can be derived from the primary image characteristics in relation to the displacement and / or rotation of the secondary image are set and to form a threshold for Judgment of the presence of an error in step g) are used.
- the invention relates in particular to the detection of the environment of a vehicle, but is also suitable for other applications.
- motor vehicles for example, automobiles or robots, in particular mobile robots, aircraft, water mowers or any other motorized technical systems for locomotion are cited.
- the at least one primary image feature is represented by local color information and / or local contrast and / or local image sharpness and / or local gradients in at least the first primary image and / or the at least one secondary image feature.
- feature by a local color information and / or a local contrast and / or a local image sharpness and / or local gradients in at least the first secondary image is calculated. This allows rapid and reliable detection of relevant image features. As an example of such relevant primary image and / or secondary image features, object boundaries or object edges or corners are given.
- step a) at least one second primary image is captured and used to extract the at least one primary image feature in step c), wherein in step d) at least the first and the second primary image and shifted and / or or twisted and at least the first secondary image and / or an additional second secondary image is generated in consideration of the second primary image and in step d) the at least one secondary image feature is extracted from the first secondary image and / or the second secondary image.
- a second primary image for example, depth image information having primary image features / secondary image features can be obtained by combining the two primary images and / or the two secondary images.
- the at least one primary image feature and / or the at least one secondary image feature relates to at least one object, wherein location information is extracted for the at least one primary image feature and / or the at least one secondary image feature.
- step d) the at least one first primary image is rotated about a vertical axis lying in the center of the image.
- the rotation around this axis causes the pixels to stay within the image area and move closer together. This change is particularly easy to detect and reverse.
- the rotation could, for example, be done around a single pixel, and preferably the axis may be positioned so that the sum of the distances to the pixel contained in the image is minimized.
- the at least one first primary image is recorded by means of at least one first sensor.
- the displacement and / or rotation of the at least one first primary image in Step d) is achieved at least by a physical displacement and / or rotation of the position and / or orientation of the at least one first sensor.
- the displacement and / or rotation of the first sensor takes place relative to the sensor environment detected by the first sensor.
- a sensor mounted on a vehicle can therefore be moved either together with the vehicle or else individually relative to the environment detected by the first sensor. This allows error detection even when the vehicle is at a standstill or more generally, when the vehicle environment does not make a relative movement to the vehicle.
- the displacement and / or rotation of the at least one first primary image in step d) is achieved at least by a digital processing of the at least one first primary image.
- a digital processing of the at least one first primary image for example, a relative movement between the vehicle and the vehicle environment must not be assumed.
- At least the first and the second primary image can be recorded with the aid of the first sensor, the second primary image being recorded after the first primary image has been recorded.
- the use of a single sensor has the advantage that this variant is inexpensive and at the same time robust feasible.
- Information about the movement as well as about the spatial position of the individual features can be obtained from a temporal sequence of relevant features associated with the primary images (and / or secondary images). This technique has become known by the term "structure from motion" and can be used to advantage in connection with the invention.
- a simultaneous recording from different perspectives has the advantage of making the depth information particularly quickly accessible, since no temporal sequence of the images must be awaited.
- a relative movement of the environment with respect to the sensors is not required.
- This technology is under the term "stereo 3D" known and can be used advantageously in connection with the invention.
- step c) and / or e) at least one test feature associated with the reference feature is extracted from the processed at least one first primary image and / or the at least one first secondary image, and
- step c) and / or e) following step h) a comparison of the at least one test feature with the at least one reference feature is performed and the result of the comparison is additionally used to determine the presence of at least one error.
- the at least one reference feature is characterized by a local color and / or contrast and / or blur manipulation and / or by a local arrangement of pixels.
- the at least one primary image and / or the at least one first secondary image is checked for the presence of relevant image features, and the at least one reference feature is inserted into at least one region of the at least one first primary image and / or the at least one first secondary image in which no relevant image features are present.
- the obscuring of relevant image features is easily prevented.
- At least two, preferably a plurality of reference features in the at least one first primary image and / or the at least one between at least one of step a) and b) and / or between steps d) and e) first secondary image are introduced, wherein after step c) and / or e) for each reference feature in each case a test feature is extracted.
- at least one second primary image is detected in step a), wherein at least one second secondary image is detected or generated in step d) with the second primary image, wherein after step c) and / or e) the at least one test feature is extracted from the at least two secondary images.
- the two primary images can, for example, be detected simultaneously by means of two sensors, as a result of which depth information can be obtained very quickly by comparing the two primary images.
- the test feature may include depth information in the same way.
- the at least one reference feature and / or the at least one test feature to concern at least one object, with location information (ie depth information) being extracted for the at least one reference feature and / or the at least one test feature.
- location information ie depth information
- a reference feature / test feature simple objects triangles, squares or polygons can be used.
- the selection of the reference features is essentially dependent on the detection algorithms. For common "corner detectors", for example, monochromatic, eg white, squares would be suitable, which would embarrass four corners accordingly.To lift off the rest of the image, these squares could be enclosed in a dark zone, which becomes increasingly translucent towards the outside (ie continuously into the original image pass).
- the above object is achieved with an error detection device of the type mentioned, wherein at least one arithmetic unit for
- the error detection device Thanks to the error detection device according to the invention, it is possible to detect a variety of errors reliable and performance friendly.
- the at least one arithmetic unit by at least one primary image feature by a local color information and / or local contrast and / or local image sharpness and / or local gradients in at least the first primary image and / or at least one secondary image feature is calculated by a local color information and / or a local contrast and / or a local image sharpness and / or local gradients in at least the first secondary image.
- the at least one arithmetic unit detects at least one second primary image and is configured to extract the at least one primary image feature, wherein at least the first and the second primary image and is displaceable and / or rotatable and at least the first secondary image and / or an additional second secondary image can be generated taking into account the second primary image and the at least one secondary image feature can be extracted from the first secondary image and / or the second secondary image.
- a second primary image for example, depth image information having primary image features / secondary image features can be obtained by combining the two primary images and secondary images.
- the at least one primary image feature and / or the at least one secondary image feature feature at least one object, wherein the at least one primary image feature and / or the at least one secondary image feature location information can be extracted.
- the at least one arithmetic unit for rotating the at least one first primary image is arranged around a vertical axis lying in the center of the image.
- the rotation around this axis causes the pixels to stay within the image area and move closer together. This change is particularly easy to detect and reverse.
- the rotation could be done, for example, by a single pixel.
- this has at least one first sensor for receiving the at least one first primary image. It can be provided in a development of the error detection device according to the invention that the at least one first sensor is displaceable and / or rotatable. A sensor mounted on a vehicle can therefore be moved either together with the vehicle or else individually relative to the environment detected by the first sensor. This allows error detection even when the vehicle is at a standstill or more generally, when the vehicle environment does not make a relative movement to the vehicle.
- the at least one arithmetic unit is configured to digitally shift and / or rotate the at least one first primary image. Again, for example, a relative movement between the vehicle and the vehicle environment must not be assumed.
- At least the first primary image and, at a subsequent time or time interval, the second primary image can be recorded by means of the first sensor.
- the time intervals between the recording of the first and the second primary image can be, for example, between 0 and 10 ms, 10 and 50 ms, 50 and 100 ms, 100 and 1000 ms or 0 and ls or higher.
- the use of a single sensor has the advantage that this variant is inexpensive and at the same time robust feasible. From a chronological sequence of relevant features associated with the primary images, information about the movement and about the spatial position of the individual features are obtained. This technique has become known by the term "structure from motion" and can be used to advantage in connection with the invention.
- the first sensor for receiving the first primary image and a second sensor for receiving the second primary image are set up.
- a simultaneous recording from different perspectives has the advantage of making the depth information particularly quickly accessible, since no temporal sequence of the images must be awaited.
- a relative movement of the environment with respect to the sensors is not required.
- This technology has become known by the term "Stereo 3D" and can be used to advantage in connection with the invention.
- the at least one arithmetic unit for introducing at least one reference feature in the at least one first primary image and / or the at least one first secondary image is set up, wherein at least one of the reference feature assigned test feature from the processed at least one first primary image and / or the at least one first secondary image by the at least one arithmetic unit is extractable, wherein a comparison of the at least one test feature with the at least one reference feature is carried out and the result of the comparison in addition to determining the presence of at least one Error is approachable.
- the at least one reference feature is characterized by a local color and / or contrast and / or blur manipulation and / or by a local arrangement of pixels.
- the at least one arithmetic unit is set up to check the at least one primary image and / or the at least one first secondary image for the presence of relevant image features and / or the at least one reference feature in at least one region of the at least one first primary image and / or. or of at least insert a first secondary image in which no relevant image features are present.
- the at least one arithmetic unit is set up to introduce at least two, preferably a plurality of reference features into the at least one first primary picture and / or the at least one first secondary picture, in each case one test feature for each reference feature is extractable.
- the at least one arithmetic unit is adapted to detect at least one second primary image and introduce reference features into the first and second primary images, wherein the at least one arithmetic unit is adapted to at least one test feature from the at least two processed ones Extract primary images.
- the two primary images can, for example, be detected simultaneously by means of two sensors, as a result of which depth information can be obtained very quickly by comparing the two primary images.
- the test feature may include depth information in the same way.
- the at least one reference feature (RM) and / or the at least one test feature (TM) concerns at least one object, wherein at least one reference feature (RM) and / or the at least one test feature (TM) location information is extractable.
- a reference feature / test feature simple objects such as triangles, squares or polygons can be used.
- the selection of the reference features is essentially dependent on the detection algorithms. For common "corner detectors", for example, monochromatic, eg white, squares would be suitable, which would embarrass four corners accordingly.To lift off the rest of the image, these squares could be enclosed in a dark zone, which becomes increasingly translucent towards the outside (ie continuously into the original image pass).
- This shows 1 is a representation of a first primary image in a primary image origin
- Fig. 7 is a plan view of a vehicle with an error detection device according to the invention.
- FIG. 1 shows a representation of a first primary image PB1, which is arranged by way of example in the center of a primary image origin PBU.
- the first primary image PB1 forms a subset of the primary image origin PBU, which extends beyond the first primary image PB1, wherein the first primary image PB1 is delimited by a dot-dash line.
- the first primary image PB1 for example, two rectangular objects Ol and 02 can be seen, which are suitable for the detection of primary image features PBM.
- a primary image feature assigned to the respective object Ol or 02 has been provided with a reference symbol PBM, these primary image features PBM being located at a corner of the objects Ol or 02.
- a multiplicity of primary image features PBM for example a plurality of corners, in particular any visible corner imaged in the image, are detected in order to enable particularly reliable detection of objects.
- all image features are suitable as primary image features that can be reliably recognized even after manipulation or slight change of the primary images. This depends in particular on the type of manipulation or modification of the images.
- Further features which may be suitable as a primary image feature would be, for example, object edges, local color information and / or local contrast and / or local image sharpness and / or local gradients in the first primary image PB1.
- the image features therefore do not necessarily have to be assigned to an object but basically can be formed by any recognizable features (the same applies to the primary image features PBM of a second primary image PB2 described below as well as further optional primary images, secondary image features SBM of secondary images, in particular a first and second Secondary image SB1 and SB2 as well as further optional secondary images in an analogous manner).
- image processing can be represented as a matrix in which each pixel is assigned at least one numerical value, wherein the numerical value represents the color and / or intensity of a pixel.
- An algorithm to be checked according to step b) of the method according to the invention can be, for example, an algorithm by means of which individual objects in the image can be recognized or image features can be extracted (eg the aforementioned filtering by means of a gradient filter). The same applies to step e) according to the invention.
- a center point of FIG. 1 or of the primary image PB1 is characterized by a cross X, which represents the intersection of a vertical axis of rotation with an image plane associated with the first primary image PB1 (in the context of this application, the term "vertical axis of rotation” is understood to mean that the According to one aspect of the invention, a comparison of image features of a primary image with the image features of a successor image generated by shifting and / or rotating the primary image (a so-called secondary image) can be used to detect errors in the image processing system, in particular to determine the underlying algorithms by applying this to the secondary image in the same way (see step e) of the inventive method) Fig.
- FIG. 1 shows an exemplary first secondary image SB1, in which the primary image origin PBU and thus the first primary image PB1 by the the cross darges rotated counterclockwise about 15 °.
- the rotation (or else a shift) can basically be effected arbitrarily, it is only important that the secondary image, here the first secondary image SB1, has a sufficient number of image features (corresponding to the assigned primary image), the so-called secondary image features SBM (see FIG ), having.
- FIG. 2 the first secondary image SB1 corresponding to the first primary image PB1 is shown (unless otherwise indicated in the context of this application, the same reference numbers denote the same features).
- the first primary image PB1 is completely detected by the first secondary image SB1, the objects Ol and 02 having been correspondingly rotated together with the primary image origin PBU.
- this rotation can be achieved on the one hand by digital image processing, on the other hand, one or more sensors that detect the images (primary images, secondary images) could likewise be correspondingly rotated and / or displaced.
- vehicle-mounted imaging sensors may be used to provide the images to be processed.
- a rotation and / or in particular a displacement, in particular a horizontal displacement of the secondary images can also be achieved in a simple manner by a relative movement of the vehicle to its surroundings (as is typically given while driving with the vehicle).
- Exemplary image features of objects Ol and 02 are referred to therein as secondary image features SBM.
- a comparison of the primary image features PBM with the secondary image features SBM according to step g) of the invention provides information on the presence of at least one error.
- the secondary image has secondary image features SBM, which correlate with the primary image features in position or in their relative distance from one another. Due to a high degree of correlation between the two images, a successful image processing or correctly performed steps a) to f) can be deduced.
- a plurality of primary images or respectively assigned secondary images can be used in order to be checked by means of the method according to the invention.
- 3 shows a representation of two primary images, namely the first primary image PB1 and a second primary image PB2, wherein the second primary image PB2 has a different perspective on the image content of the first primary image PB1 delivers.
- This can be achieved, for example, by a spatial offset of two sensors mounted on a vehicle (known by the term "stereo 3D") .Otherwise, it is also possible to provide a modified perspective by temporally offset the recording of the primary images (under the expression "Structure from motion").
- a rotation of the first and the second primary image PB1 and PB2 (wherein the second primary image PB2 is assigned a second secondary image SB2) preferably takes place via a centrally arranged between the two images vertical axis of rotation, which is shown in Fig. 3 by a cross. This has the advantage that both images are rotated to the same extent and as many pixels of the primary images remain in the secondary images.
- the method according to the invention can be used to check a multiplicity of images calculated by means of image processing or the algorithms on which the processing is based.
- the checking can take place image by image, wherein, for example, a secondary image following image acquisition (referred to as a subsequent image) with the secondary image (in particular with the image features) can be compared.
- a subsequent image a secondary image following image acquisition
- the original secondary image forms the primary image with respect to the subsequent image, which would then be used as a secondary image. It is thus possible to check an arbitrarily long sequence of images, wherein successor images (secondary images) or their features are always compared with predecessor images (primary images) or its features.
- Reference features RM are artificially introduced into the image features that can be used in the following manner for detecting errors in image processing systems.
- Reference features RM can be characterized for example by a local color, contrast and / or blur manipulation and / or by a local arrangement of pixels.
- reference feature / test feature simple objects such as triangles, squares or polygons can be used. The selection of reference features is essentially dependent on the detection algorithms.
- the reference feature is a square, which is distinguished from the background image by black solid lines.
- the reference image RB1 is processed by means of an algorithm, which can be checked by means of the method according to the invention.
- FIG. 5 shows a representation of the processed reference image RB1, in which the primary image features PBM associated with the objects O1 and O2 can be recognized.
- the processed reference feature RM of FIG. 4 is designated therein as a test feature TM, which is essentially characterized by four corner points. Since the properties of the reference feature RM can be predetermined and the behavior of the algorithm processing the first reference image RB1 can be sufficiently predicted, expectation values with regard to the test feature TM can be generated. Depending on the image processing algorithm, values for the expected correlation between the test feature TM and the reference feature RM can be predicted. A value clearly deviating from the expected correlation can thus be used to detect errors in the processing of the images.
- the reference feature RM was introduced into a primary image.
- a reference feature RM can also be introduced into a secondary image.
- two or more reference features may be provided to further increase the sensitivity of error detection.
- FIG. 6 shows an illustration of the assignment of image features to spatial coordinates, in particular a Cartesian coordinate system oriented to the right. If depth information on the image features can be extracted, it is possible to capture these image features in three dimensions and also to check them.
- Fig. 7 is a plan view of a vehicle 1 with an inventive error detection device in a preferred embodiment is shown.
- the error detection device consists of a computing unit 2 and a first sensor 3 and a second sensor 4, which are each arranged on a front portion of the vehicle 1.
- the sensors 3 and 4 transmit the acquired image data to the arithmetic unit 2 (eg, wired or by radio), wherein the arithmetic unit 2 processes these images and checks the processing of the images with the aid of the input outlined inventive method.
- the image data may be in any format suitable for its calculation and / or playback. Examples include the raw, jpeg, bmp or png format and popular video formats.
- the arithmetic unit 2 is located in the example shown in the vehicle 1 and can put the vehicle 1 in a safe state after detection of an error. If an object detected by the arithmetic unit 2 is suddenly no longer detected by the arithmetic unit 2 due to an error in the image processing, then, for example, a vehicle stop can be initiated in order to prevent a collision with the previously detected object.
- the arithmetic unit 2 can initiate a multiplicity of further measures or assume functions which increase the security and / or the reliability of image processing algorithms, which can be of particular importance in particular in vehicle applications.
- the arithmetic unit 2 does not have to be constructed centrally but can also consist of two or more arithmetic modules.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Verfahren zur Fehlererkennung für zumindest ein Bildverarbeitungssystem zur Umfelderfassung eines Kraftfahrzeugs, wobei folgende Schritte in beliebiger Reihenfolge ausgeführt werden können, sofern nicht anders angegeben: a) Erfassen zumindest eines ersten Primärbildes (PB1) basierend auf einem Primärbildursprung (PBU), b) Verarbeiten des zumindest einen ersten Primärbildes (PB1) mithilfe zumindest eines zu überprüfenden Algorithmus, nach Schritt a) c) Extrahieren zumindest eines Primärbildmerkmals (PBM) basierend auf dem verarbeiteten zumindest einen Primärbild (PB1), nach Schritt b) d) Erzeugen oder Erfassen zumindest eines Referenzbildes (RB1) durch Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes (PB1) oder des Primärbildursprungs (PBU), nach Schritt a) e) Verarbeiten des zumindest einen Referenzbildes (RB1) mithilfe des zumindest einen zu überprüfenden Algorithmus, nach Schritt d) f) Extrahieren zumindest eines Referenzbildmerkmals (RBM) aus dem zumindest einen verarbeiteten Referenzbild (RB1), nach Schritt e) g) Vergleich des zumindest einen Primärbildmerkmals (PBM) mit dem zumindest einen Referenzbildmerkmal (RBM) und Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers, nach den Schritten c) und f).
Description
VERFAHREN ZUR ERKENNUNG VON FEHLERN FÜR ZUMINDEST EIN
BILDVERARBEITUNGSSYSTEM
Die Erfindung betrifft ein Verfahren zur Fehlererkennung für zumindest ein Bildverarbeitungssystem, insbesondere zur Umfelderfassung eines Fahrzeugs, besonders bevorzugt eines Kraftfahrzeuges .
Des Weiteren betrifft die Erfindung eine Fehlererkennungsvorrichtung für zumindest ein Bildverarbeitungssystem bzw. eines darin implementierten zu überprüfenden Algorithmus, insbesondere zur Umfelderfassung eines Fahrzeugs, besonders bevorzugt eines Kraftfahrzeuges.
Aus dem Stand der Technik sind bereits optische/ visuelle Messbzw. Überwachungseinrichtungen zur Erkennung von Objektbewegungen bekannt geworden. Je nach Anwendung dieser Mess- bzw. Überwachungseinrichtungen werden unterschiedliche Anforderungen an die Genauigkeit und Zuverlässigkeit der Mess- bzw. Überwachungseinrichtungen gestellt. Zur Fehlererkennung von falschen Mess- und/ oder Berechnungsergebnissen sind häufig redundante Mess- bzw. Überwachungseinrichtungen und/ oder Berechnungsalgorithmen vorgesehen, mithilfe derer die Mess- und/ oder Berechnungsergebnisse verifiziert oder falsifiziert werden können.
Eine solche visuelle Überwachungseinrichtung ist beispielsweise in der DE 10 2007025 373 B3 offenbart, welche erste Entfernungsinformationen aufweisende Bilddaten aufnehmen und Objekte aus den Bilddaten erkennen und verfolgen kann. Diese erste Entfernungsinformation wird aufgrund einer zweiten Entfernungsinformation auf Plausibilität geprüft, wobei die zweite Entfernungsinformation aus einer Änderung einer Bildgröße der Objekte über aufeinanderfolgende Sätze der Bilddaten gewonnen wird. Als Kriterium zur Prüfung der Plausibilität wird dabei einzig die gewonnene Entfernungsinformation herangezogen. Fehler in der Bilderkennung oder Bildverarbeitung, die diese Entfernungsinformation nicht beeinflussen, können dadurch nicht erkannt werden.
Es ist daher eine Aufgabe der Erfindung eine Fehlererkennung für zumindest ein Bildverarbeitungssystem zu schaffen, welche zuverlässig, leistungsschonend, sowie möglichst unab-
hängig bzw. redundant abläuft, kostengünstig implementierbar ist und zur Erkennung einer Vielzahl an Fehlerarten eingerichtet ist.
In einem ersten Aspekt der Erfindung wird diese Aufgabe mit einem Verfahren der eingangs genannten Art gelöst, bei welchem erfindungsgemäß folgende Schritte vorgesehen sind: a) Erfassen zumindest eines ersten Primärbildes basierend auf einem Primärbildursprung, b) Verarbeiten des zumindest einen ersten Primärbildes mithilfe zumindest eines zu überprüfenden Algorithmus, nach Schritt a)
c) Extrahieren zumindest eines Primärbildmerkmals basierend auf dem verarbeiteten zumindest einen ersten Primärbild, nach Schritt b)
d) Erzeugen oder Erfassen zumindest eines ersten Sekundärbildes durch Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes oder des Primärbildursprungs, nach Schritt a)
e) Verarbeiten des zumindest einen ersten Sekundärbildes mithilfe des zumindest einen zu überprüfenden Algorithmus, nach Schritt d)
f) Extrahieren zumindest eines Sekundärbildmerkmals aus dem zumindest einen verarbeiteten ersten Sekundärbild, nach Schritt e)
g) Vergleich des zumindest einen Primärbildmerkmals mit dem zumindest einen Sekundärbildmerkmal und Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers, nach den Schritten c) und f).
Dank des erfindungsgemäßen Verfahrens ist es möglich, eine Vielzahl an Fehlern zuverlässig und leistungsschonend zu erkennen. Als Beispiele für solche Fehler seien Fehler bei der Bilderfassung (z.B. durch Hardware- oder Softwarefehler), bei der Datenverarbeitung oder bei der Bildverarbeitung, z.B. bei der Extraktion von Bildmerkmalen, angeführt. Diese können grundsätzlich durch Hardwaredefekte, überfüllte Speicher, Bitfehler, Programmierfehler usw. verursacht sein. Unter dem Begriff „ Primär bildursprung" wird im Rahmen dieser Anmeldung ein (tatsächlich aufgenommener oder auch zum Teil fiktiver) Bildbereich verstanden, dem das zumindest eine erste Primärbild entnommen wurde, und der zumindest gleich groß, im Allgemeinen allerdings größer ist als der Bildbereich des zumindest einen ersten Primärbildes. Das zumindest eine erste Sekundärbild kann in Schritt d) einerseits virtuell erzeugt werden, andererseits besteht auch die Möglichkeit, ein zu einem nachfolgenden Zeitpunkt erfasstes Bild als Sekundärbild heranzuziehen. Die Verschiebung und/ oder das Verdrehen kann durch natürliche Relativbewegung zwischen dem zumindest
einen ersten Primärbild und zu einem nachfolgenden Zeitpunkt (in Form eines Sekundärbildes) erfassten, zumindest teilweise innerhalb des Primärbildursprungs liegenden Bildbereichs erfolgen. Eine solche Relativbewegung kann z.B. in einfacher Weise vorliegen, wenn eine an einem Fahrzeug angebrachte Kamera zur Erfassung der Primär- bzw. Sekundärbilder eingerichtet ist. Relativbewegungen des Fahrzeuges zur durch die Kamera erfassten Umgebung können somit genutzt werden, um eine„natürliche" Verschiebung/Verdrehung des zumindest einen ersten Sekundärbildes zu erzeugen. Dies hat des Weiteren den Vorteil, dass die Sekundärbilder in einem nächsten Schritt als Primärbilder für die nächste Überprüfung verwendet und direkt genutzt werden können und die Verarbeitung der Bilder nur jeweils einmal erfolgen muss. Der Vergleich des zumindest einen Primärbildmerkmals mit dem zumindest einen Sekundärbildmerkmal und die Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers, kann z.B. durch eine Überprüfung der Korrelation zwischen dem Primärbildmerkmal und dem Sekundärbild- merkmal bzw. der zugrunde liegenden Verschiebung und/ oder Verdrehung erfolgen. Alternativ dazu kann im Grunde jedes beliebige Ähnlichkeitsmaß zwischen dem Primärbildmerkmal und den Sekundärbildmerkmal verwendet werden. Ist die Verschiebung und/ oder die Verdrehung eines Sekundärbildes z.B. bekannt, so kann der euklidische Abstand zwischen Punkten eines Sekundärbildmerkmals und Punkten, die sich aus den Primär bildmerkmalen abgeleitet werden können ins Verhältnis zur Verschiebung und/ oder Verdrehung des Sekundärbildes gesetzt werden und zur Bildung eines Schwellwerts zur Beurteilung des Vorliegens eines Fehlers in Schritt g) herangezogen werden. Die Erfindung bezieht sich insbesondere auf die Erfassung der Umgebung eines Fahrzeuges, ist aber auch für andere Anwendungen geeignet. Als Kraftfahrzeuge seien beispielsweise Automobile oder Roboter, insbesondere mobile Roboter, Flugzeuge, Wassermobile oder beliebige andere motorisierte technische Systeme zur Fortbewegung angeführt.
In einer vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass das zumindest eine Primärbildmerkmal durch eine lokale Farbinformation und/ oder einen lokalen Kontrast und/ oder eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Primärbild und/ oder das zumindest eine Sekundärbild- merkmal durch eine lokale Farbinformation und/ oder einen lokalen Kontrast und/ oder eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Sekundärbild
berechnet wird. Dies erlaubt eine rasche und zuverlässige Erkennung von relevanten Bildmerkmalen. Als Beispiel für solche relevante Primärbild- und/ oder Sekundärbildmerkmale seien Objektgrenzen bzw. Objektkanten oder Ecken angeführt.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass in Schritt a) zumindest ein zweites Primärbild erfasst und zur Extraktion des zumindest einen Primärbildmerkmals in Schritt c) verwendet wird, wobei in Schritt d) zumindest das erste und das zweite Primärbild und verschoben und/ oder verdreht werden und zumindest das erste Sekundärbild und/ oder ein zusätzliches zweites Sekundärbild unter Berücksichtigung des zweiten Primärbildes erzeugt wird und in Schritt d) das zumindest eine Sekundärbildmerkmal aus dem ersten Sekundärbild und / oder dem zweiten Sekundärbild extrahiert wird. Durch das Heranziehen eines zweiten Primärbildes können beispielsweise Tiefeninformation aufweisende Primärbildmerkmale/ Sekundärbildmerkmale durch Zusammensetzung der beiden Primärbilder und/ oder der beiden Sekundärbilder gewonnen werden.
Um eine besonders effiziente Fehlererkennung zu ermöglichen, kann es vorteilhaft sein, wenn das zumindest eine Primärbildmerkmal und/ oder das zumindest eine Sekundärbildmerkmal zumindest ein Objekt betrifft, wobei zu dem zumindest einen Primärbildmerkmal und/ oder dem zumindest einen Sekundärbildmerkmal Ortsinformationen extrahiert werden.
Gemäß einer vorteilhaften Weiterbildung der Erfindung wird in Schritt d) das zumindest eine erste Primärbild um eine in der Bildmitte liegende vertikale Achse gedreht. Die Drehung um diese Achse bewirkt, dass die Pixel innerhalb des Bildbereiches bleiben und näher aneinander heranrücken. Diese Änderung lässt sich besonders einfach detektieren und umkehren. Alternativ dazu könnte die Drehung beispielsweise um ein einzelnes Pixel erfolgen, wobei vorzugsweise die Achse so positioniert sein kann, dass die Summe der Abstände zu dem im Bild enthaltenen Pixel minimiert ist.
In einer günstigen Ausgestaltung des erfindungsgemäßen Verfahrens wird das zumindest eine erste Primärbild mithilfe zumindest eines ersten Sensors aufgenommen.
Dabei kann in einer Weiterbildung des erfindungsgemäßen Verfahrens vorgesehen sein, dass das Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes in
Schritt d) zumindest durch ein physisches Verschieben und/ oder Verdrehen der Position und/ oder Orientierung des zumindest einen ersten Sensors erreicht wird. Die Verschiebung und/ oder Verdrehung des ersten Sensors erfolgt dabei relativ zur durch den ersten Sensor erfassten Sensorumgebung. Ein an einem Fahrzeug angebrachter Sensor kann daher entweder mitsamt dem Fahrzeug oder aber auch einzeln relativ zur durch den ersten Sensor erfassten Umgebung bewegt werden. Dies erlaubt eine Fehlererkennung auch dann, wenn sich das Fahrzeug im Stillstand befindet oder allgemeiner, wenn die Fahrzeugumgebung keine Relativbewegung zu dem Fahrzeug vollzieht.
Alternativ dazu kann vorgesehen sein, dass das Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes in Schritt d) zumindest durch eine digitale Bearbeitung des zumindest einen ersten Primärbildes erreicht wird. Auch hier muss beispielsweise eine Relativbewegung zwischen dem Fahrzeug und der Fahrzeugumgebung nicht vorausgesetzt werden.
In einer weiteren vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens kann mithilfe des ersten Sensors zumindest das erste und das zweite Primärbild aufgenommen werden, wobei das zweite Primärbild nach der Aufnahme des ersten Primärbildes aufgenommen wird. Die Verwendung eines einzigen Sensors bietet den Vorteil, dass diese Variante kostengünstig und gleichzeitig robust durchführbar ist. Aus einer zeitlichen Abfolge von den Primärbildern (und/ oder von Sekundärbildern) zugehörigen relevanten Merkmalen kann Information über die Bewegung sowie über die räumliche Lage der einzelnen Merkmale gewonnen werden. Diese Technik ist unter dem Ausdruck„Structure from Motion" bekannt geworden und kann im Zusammenhang mit der Erfindung vorteilhaft genutzt werden.
Alternativ dazu kann es vorgesehen sein, dass mithilfe des ersten Sensors das erste Primärbild und mithilfe eines zweiten Sensors das zweite Primärbild aufgenommen wird. Dadurch besteht die Möglichkeit zeitgleich Bilder durch die beiden Sensoren aus unterschiedlicher Perspektive aufzunehmen und durch einen Vergleich der Bilder Tiefeninformation zu generieren. Eine zeitgleiche Aufnahme aus unterschiedlichen Perspektiven birgt den Vorteil die Tiefeninformation besonders rasch zugänglich zu machen, da keine zeitliche Abfolge der Bilder abgewartet werden muss. Darüber hinaus ist eine Relativbewegung der Umgebung in Bezug auf die Sensoren nicht erforderlich. Diese Technologie ist unter dem Ausdruck„Stereo
3D" bekannt geworden und kann im Zusammenhang mit der Erfindung vorteilhaft genutzt werden.
Eine zusätzliche Möglichkeit zur Erkennung von Fehlern ist in einer weiterentwickelten Ausgestaltung des erfindungsgemäßen Verfahrens gegeben, bei welcher zwischen Schritt a) und b) und/ oder zwischen den Schritten d) und e) zumindest ein Referenzmerkmal in das zumindest eine erste Primär bild und/ oder das zumindest eine erste Sekundär bild eingebracht wird und
- nach Schritt c) und / oder e) zumindest ein dem Referenzmerkmal zugeordnetes Testmerkmal aus dem verarbeiteten zumindest einen ersten Primärbild und/ oder dem zumindest einen ersten Sekundärbild extrahiert wird und
- in einem dem Schritt c) und/ oder e) nachfolgendem Schritt h) ein Vergleich des zumindest einen Testmerkmals mit dem zumindest einen Referenzmerkmal erfolgt und das Ergebnisses des Vergleichs zusätzlich zur Bestimmung des Vorliegens zumindest eines Fehlers herangezogen wird.
Dabei kann es insbesondere von Vorteil sein, wenn das zumindest eine Referenzmerkmal durch eine lokale Färb- und/ oder Kontrast- und/ oder Bildschärfemanipulation und/ oder durch eine lokale Anordnung von Pixel charakterisiert wird.
Es ist dabei vorteilhaft, wenn das zumindest eine Primärbild und/ oder das zumindest eine erste Sekundärbild auf das Vorhandensein von relevanten Bildmerkmalen geprüft wird, und das zumindest eine Referenzmerkmal in zumindest einen Bereich des zumindest einen ersten Primärbildes und/ oder des zumindest einen ersten Sekundärbildes eingefügt wird, in welchem keine relevanten Bildmerkmale vorhanden sind. Somit wird das Verdecken von relevanten Bildmerkmalen in einfacher Weise vorgebeugt.
Um die Genauigkeit der Fehlererkennung zusätzlich zu erhöhen, kann vorgesehen sein, dass zwischen Schritt a) und b) und/ oder zwischen den Schritten d) und e) zumindest zwei, vorzugsweise mehrere Referenzmerkmale in das zumindest eine erste Primärbild und/ oder das zumindest eine erste Sekundär bild eingebracht werden, wobei nach Schritt c) und/ oder e) zu jedem Referenzmerkmal jeweils ein Testmerkmal extrahiert wird.
In einer günstigen Variante des erfindungsgemäßen Verfahrens wird in Schritt a) zumindest ein zweites Primärbild erfasst, wobei in Schritt d) mithilfe des zweiten Primärbildes zumindest ein zweites Sekundärbild erfasst oder erzeugt wird, wobei nach Schritt c) und/ oder e) das zumindest eine Testmerkmal aus den zumindest zwei Sekundärbildern extrahiert wird. Die beiden Primärbilder können beispielsweise zeitgleich mittels zweier Sensoren erfasst werden, wodurch sehr rasch eine Tiefeninformation durch Vergleich der beiden Primärbilder gewonnen werden kann. Das Testmerkmal kann in gleicher Weise eine Tiefeninformation beinhalten.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass das zumindest eine Referenzmerkmal und/ oder das zumindest eine Testmerkmal zumindest ein Objekt betrifft, wobei zu dem zumindest einen Referenzmerkmal und/ oder dem zumindest einen Testmerkmal Ortsinformationen (also Tiefeninformationen) extrahiert werden. Als Referenzmerkmal/ Testmerkmal können einfache Objekte Dreiecke, Vierecke oder Vielecke verwendet werden. Die Auswahl der Referenzmerkmale ist im Wesentlichen abhängig von den Detektionsalgorithmen. Für gängige„corner detectors" wären z.B. einfarbige, z.B. weiße Vierecke geeignet, welche entsprechend 4 Ecken genieren würden. Zum Abheben vom restlichen Bild könnten diese Vierecke mit einer dunklen Zone umschlossen sein, welche nach außen hin zunehmend durchscheinend werden (also kontinuierlich in das Originalbild übergehen).
In einem zweiten Aspekt der Erfindung wird die oben gestellte Aufgabe mit einer Fehlererkennungsvorrichtung der eingangs genannten Art gelöst, wobei zumindest eine Recheneinheit zum
- Erfassen zumindest eines ersten Primärbildes basierend auf einem Primärbildursprung,
- Verarbeiten des zumindest einen ersten Primärbildes mithilfe zumindest eines zu überprüfenden Algorithmus,
- Extrahieren zumindest eines Primärbildmerkmals basierend auf dem verarbeiteten zumindest einen ersten Primärbild,
- Erzeugen oder Erfassen zumindest eines ersten Sekundärbildes durch Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes oder des Primärbildursprungs,
- Verarbeiten des zumindest einen ersten Sekundärbildes mithilfe des zumindest einen zu überprüfenden Algorithmus
- Extrahieren zumindest eines Sekundärbildmerkmals aus dem zumindest einen verarbeiteten ersten Sekundärbild und
- Vergleichen des zumindest einen Primärbildmerkmals mit dem zumindest einen Sekundärbildmerkmal und Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers eingerichtet ist.
Dank der erfindungsgemäßen Fehlererkennungsvorrichtung ist es möglich, eine Vielzahl an Fehlern zuverlässig und leistungsschonend zu erkennen.
In einer vorteilhaften Ausführungsform der erfindungsgemäßen Fehlererkennungsvorrichtung kann vorgesehen sein, dass die zumindest eine Recheneinheit das zumindest eine Primärbildmerkmal durch eine lokale Farbinformation und/ oder einen lokalen Kontrast und/ oder eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Primärbild und/ oder das zumindest eine Sekundärbildmerkmal durch eine lokale Farbinformation und/oder einen lokalen Kontrast und/oder eine lokale Bildschärfe und/oder lokale Gradienten in zumindest dem ersten Sekundärbild berechnet. Dies erlaubt eine rasche und zuverlässige Erkennung von relevanten Bildmerkmalen. Als Beispiel für solche relevante Primärbild- und/ oder Sekundärbildmerkmale seien Objektgrenzen bzw. Objektkanten oder Ecken angeführt.
Gemäß einer Weiterbildung der erfindungsgemäßen Fehlererkennungsvorrichtung kann vorgesehen sein, dass die zumindest eine Recheneinheit zumindest ein zweites Primärbild erfasst und zur Extraktion des zumindest einen Primärbildmerkmals eingerichtet ist, wobei zumindest das erste und das zweite Primärbild und verschiebbar und/ oder verdrehbar ist und zumindest das erste Sekundärbild und/ oder ein zusätzliches zweites Sekundärbild unter Berücksichtigung des zweiten Primärbildes erzeugbar ist und das zumindest eine Sekundärbildmerkmal aus dem ersten Sekundärbild und/ oder dem zweiten Sekundärbild extrahierbar ist. Durch das Heranziehen eines zweiten Primärbildes können beispielsweise Tiefeninformation aufweisende Primärbildmerkmale/Sekundärbildmerkmale durch Zusammensetzung der beiden Primärbilder bzw. Sekundärbilder gewonnen werden.
Um eine besonders effiziente Fehlererkennung zu ermöglichen, kann es vorteilhaft sein, wenn das zumindest eine Primärbildmerkmal und/ oder das zumindest eine Sekundärbild-
merkmal zumindest ein Objekt betrifft, wobei zu dem zumindest einen Primärbildmerkmal und/ oder dem zumindest einen Sekundärbildmerkmal Ortsinformationen extrahierbar sind.
Gemäß einer vorteilhaften Weiterbildung der Erfindung ist die zumindest eine Recheneinheit zum Drehen des zumindest einen ersten Primärbildes um eine in der Bildmitte liegende vertikale Achse eingerichtet. Die Drehung um diese Achse bewirkt, dass die Pixel innerhalb des Bildbereiches bleiben und näher aneinander heranrücken. Diese Änderung lässt sich besonders einfach detektieren und umkehren. Alternativ dazu könnte die Drehung beispielsweise um ein einzelnes Pixel erfolgen.
In einer günstigen Ausgestaltung der erfindungsgemäßen Fehlererkennungsvorrichtung weist diese zumindest einen ersten Sensor zur Aufnahme des zumindest einen ersten Primärbildes auf. 23 Dabei kann in einer Weiterbildung der erfindungsgemäßen Fehlererkennungsvorrichtung vorgesehen sein, dass der zumindest eine erste Sensor verschieb- und/ oder verdrehbar ist. Ein an einem Fahrzeug angebrachter Sensor kann daher entweder mitsamt dem Fahrzeug oder aber auch einzeln relativ zur durch den ersten Sensor erfassten Umgebung bewegt werden. Dies erlaubt eine Fehlererkennung auch dann, wenn sich das Fahrzeug im Stillstand befindet oder allgemeiner, wenn die Fahrzeugumgebung keine Relativbewegung zu dem Fahrzeug vollzieht.
Alternativ dazu kann vorgesehen sein, dass die zumindest eine Recheneinheit dazu eingerichtet ist das zumindest eine erste Primärbild digital zu verschieben und/ oder zu verdrehen. Auch hier muss beispielsweise eine Relativbewegung zwischen dem Fahrzeug und der Fahrzeugumgebung nicht vorausgesetzt werden.
In einer weiteren vorteilhaften Ausführungsform der erfindungsgemäßen Fehlererkennungsvorrichtung ist mithilfe des ersten Sensors zumindest das erste Primärbild sowie zu einem nachfolgenden Zeitpunkt oder Zeitintervall das zweite Primärbild aufnehmbar. Die Zeitabstände zwischen der Aufnahme des ersten und des zweiten Primärbildes (sowie zwischen Primärbildern und Sekundärbildern) können beispielhaft zwischen 0 und 10ms, 10 und 50ms, 50 und 100ms, 100 und 1000ms oder 0 und ls oder höher betragen. Die Verwendung eines einzigen Sensors bietet den Vorteil, dass diese Variante kostengünstig und gleichzeitig robust durchführbar ist. Aus einer zeitlichen Abfolge von den Primärbildern zugehörigen relevanten Merkmalen kann Information über die Bewegung sowie über die
räumliche Lage der einzelnen Merkmale gewonnen werden. Diese Technik ist unter dem Ausdruck„Structure from Motion" bekannt geworden und kann im Zusammenhang mit der Erfindung vorteilhaft genutzt werden.
Alternativ dazu kann es vorgesehen sein, dass der erste Sensor zur Aufnahme des ersten Primärbildes und ein zweiter Sensor zur Aufnahme des zweiten Primärbildes eingerichtet sind. Dadurch besteht die Möglichkeit zeitgleich Bilder durch die beiden Sensoren aus unterschiedlicher Perspektive aufzunehmen und durch einen Vergleich der Bilder Tiefeninformation zu generieren. Eine zeitgleiche Aufnahme aus unterschiedlichen Perspektiven birgt den Vorteil die Tiefeninformation besonders rasch zugänglich zu machen, da keine zeitliche Abfolge der Bilder abgewartet werden muss. Darüber hinaus ist eine Relativbewe- gung der Umgebung in Bezug auf die Sensoren nicht erforderlich. Diese Technologie ist unter dem Ausdruck„Stereo 3D" bekannt geworden und kann im Zusammenhang mit der Erfindung vorteilhaft genutzt werden.
Eine zusätzliche Möglichkeit zur Erkennung von Fehlern ist in einer weiterentwickelten Ausgestaltung der erfindungsgemäßen Fehlererkennungsvorrichtung gegeben, bei welcher die zumindest eine Recheneinheit zum Einbringen zumindest eines Referenzmerkmals in das zumindest eine erste Primärbild und/ oder das zumindest eine erste Sekundärbild eingerichtet ist, wobei zumindest ein dem Referenzmerkmal zugeordnetes Testmerkmal aus dem verarbeiteten zumindest einen ersten Primärbild und/ oder dem zumindest einen ersten Sekundärbild mittels der zumindest einen Recheneinheit extrahierbar ist, wobei ein Vergleich des zumindest einen Testmerkmals mit dem zumindest einen Referenzmerkmal erfolgt und das Ergebnis des Vergleichs zusätzlich zur Bestimmung des Vorliegens zumindest eines Fehlers heranziehbar ist.
Dabei kann es insbesondere von Vorteil sein, wenn das zumindest eine Referenzmerkmal durch eine lokale Färb- und/ oder Kontrast und/ oder Bildschärfemanipulation und/ oder durch eine lokale Anordnung von Pixel charakterisiert ist.
Es ist dabei vorteilhaft, wenn die zumindest eine Recheneinheit dazu eingerichtet ist, das zumindest eine Primärbild und/ oder das zumindest eine erste Sekundärbild auf das Vorhandensein von relevanten Bildmerkmalen zu prüfen und das zumindest eine Referenzmerkmal in zumindest einen Bereich des zumindest einen ersten Primärbildes und/ oder des
zumindest einen ersten Sekundärbildes einzufügen, in welchem keine relevanten Bildmerkmale vorhanden sind.
Um die Genauigkeit der Fehlererkennung zusätzlich zu erhöhen, kann vorgesehen sein, dass die zumindest eine Recheneinheit dazu eingerichtet ist zumindest zwei, vorzugsweise mehrere Referenzmerkmale in das zumindest eine erste Primärbild und/ oder das zumindest eine erste Sekundärbild einzubringen, wobei zu jedem Referenzmerkmal jeweils ein Testmerkmal extrahierbar ist.
In einer günstigen Variante der erfindungsgemäßen Fehlererkennungsvorrichtung ist die die zumindest eine Recheneinheit dazu eingerichtet zumindest ein zweites Primärbild zu erfassen und Referenzmerkmale in das erste und das zweite Primärbild einzubringen, wobei die zumindest eine Recheneinheit dazu eingerichtet ist, das zumindest eine Testmerkmal aus den zumindest zwei verarbeiteten Primärbildern zu extrahieren. Die beiden Primärbilder können beispielsweise zeitgleich mittels zweier Sensoren erfasst werden, wodurch sehr rasch eine Tiefeninformation durch Vergleich der beiden Primärbilder gewonnen werden kann. Das Testmerkmal kann in gleicher Weise eine Tiefeninformation beinhalten.
Gemäß einer Weiterbildung der erfindungsgemäßen Fehlererkennungsvorrichtung kann es vorgesehen sein, dass das zumindest eine Referenzmerkmal (RM) und/ oder das zumindest eine Testmerkmal (TM) zumindest ein Objekt betrifft, wobei zu dem zumindest einen Referenzmerkmal (RM) und/ oder dem zumindest einen Testmerkmal (TM) Ortsinformationen extrahierbar sind. Als Referenzmerkmal/ Testmerkmal können einfache Objekte wie Dreiecke, Vierecke oder Vielecke verwendet werden. Die Auswahl der Referenzmerkmale ist im Wesentlichen abhängig von den Detektionsalgorithmen. Für gängige„corner detectors" wären z.B. einfarbige, z.B. weiße Vierecke geeignet, welche entsprechend 4 Ecken genieren würden. Zum Abheben vom restlichen Bild könnten diese Vierecke mit einer dunklen Zone umschlossen sein, welche nach außen hin zunehmend durchscheinend werden (also kontinuierlich in das Originalbild übergehen).
Die Erfindung samt weiteren Ausgestaltungen und Vorteilen ist im Folgenden an Hand einer beispielhaften, nicht einschränkenden Ausführungsform näher erläutert, die in den Figuren veranschaulicht ist. Hierbei zeigt
Fig. 1 eine Darstellung eines ersten Primärbildes in einem Primärbildursprung,
Fig. 2 eine Darstellung eines zu dem ersten Primärbild korrespondierenden ersten Sekundärbildes,
Fig. 3 eine Darstellung eines ersten und eines zweiten Primärbildes,
Fig. 4 eine Darstellung eines Referenzbildes,
Fig. 5 eine Darstellung des verarbeiteten Referenzbildes,
Fig. 6 eine Darstellung der Zuordnung von Bildmerkmalen zu Raumkoordinaten und
Fig. 7 eine Draufsicht auf ein Fahrzeug mit einer erfindungsgemäßen Fehlererkennungsvorrichtung.
Fig. 1 zeigt eine Darstellung eines ersten Primärbildes PB1, welches beispielhaft im Zentrum eines Primärbildursprungs PBU angeordnet ist. Das erste Primärbild PB1 bildet dabei eine Untermenge des Primärbildursprungs PBU, welcher sich über das erste Primärbild PB1 hinaus erstreckt, wobei das erste Primärbild PB1 durch eine strichpunktierte Linie eingegrenzt ist. In dem ersten Primärbild PB1 sind z.B. zwei quaderförmige Objekte Ol und 02 erkennbar, welche sich zur Detektion von Primärbildmerkmalen PBM eignen. Beispielhaft wurden jeweils ein dem jeweiligen Objekt Ol bzw. 02 zugeordnetes Primärbildmerkmal mit einem Bezugszeichen PBM versehen, wobei sich diese Primärbildmerkmale PBM an einer Ecke der Objekte Ol bzw. 02 befinden. Üblicherweise werden eine Vielzahl von Primärbildmerkmalen PBM, beispielsweise eine Mehrzahl der Ecken, insbesondere jede sichtbare im Bild abgebildete Ecke erfasst, um eine besonders zuverlässige Erkennung von Objekten zu ermöglichen. Grundsätzlich sind sämtliche Bildmerkmale als Primärbildmerkmale geeignet, die auch nach einer Manipulation oder geringfügigen Veränderung der Primärbilder zuverlässig wieder erkannt werden können. Dies ist insbesondere von der Art der Manipulation bzw. der Veränderung der Bilder abhängig. Weitere Merkmale, die als Primärbild- merkmal geeignet sein können wären beispielsweise Objektkanten, lokale Farbinformationen und/ oder ein lokaler Kontrast und/ oder eine lokale Bildschärfe und/ oder lokale Gradienten
in dem ersten Primärbild PB1. Die Bildmerkmale müssen daher nicht zwingend einem Objekt zugeordnet sein sondern können im Grunde durch beliebige wiedererkennbare Merkmale gebildet werden (selbiges gilt für die Primärbildmerkmale PBM eines im Folgenden beschriebenen zweiten Primärbilds PB2 sowie auch weiterer optionaler Primärbilder, Sekundärbildmerkmale SBM von Sekundärbildern, insbesondere eines ersten und zweiten Sekundärbildes SB1 und SB2 sowie auch weiterer optionaler Sekundärbilder in analoger Weise). Sofern es sich bei den Bildmerkmalen um Ecken oder Kanten von Objekten handelt, wie dies in dem gezeigten Beispiel der Fall ist, so können diese z.B. durch Faltungsoperationen mit entsprechenden Filtern, z.B. Gradientenfiltern, mathematisch sichtbar und aus den Bildern extrahiert werden, die üblicherweise in der Bildverarbeitung als Matrix dargestellt werden können, in der jedem Bildpunkt zumindest ein Zahlenwert zugeordnet wird, wobei der Zahlenwert die Farbe und/ oder Intensität eines Bildpunktes repräsentiert. Ein gemäß Schritt b) des erfindungsgemäßen Verfahrens zu überprüfender Algorithmus kann z.B. ein Algorithmus sein, mit Hilfe dessen einzelne Objekte im Bild erkannt werden oder Bildmerkmale extrahiert werden können (z.B. die zuvor erwähnte Filterung mittels eines Gradientenfilters). Analoges gilt für den erfindungsgemäßen Schritt e).
Ein Mittelpunkt der Fig. 1 bzw. des Primärbildes PB1 ist durch ein Kreuz X gekennzeichnet, welches den Schnittpunkt einer vertikalen Drehachse mit einer dem ersten Primärbild PB1 zugeordneten Bildebene darstellt (unter dem Begriff„vertikale Drehachse" wird im Rahmen dieser Anmeldung verstanden, dass die Drehachse normal zu der Bildebene orientiert ist). Gemäß einem Aspekt der Erfindung kann ein Vergleich von Bildmerkmalen eines Primärbildes mit den Bildmerkmalen eines durch Verschieben und/ oder Verdrehen des Primärbildes erzeugten Nachfolgebildes (ein sogenanntes Sekundärbild) genutzt werden, um Fehler in Bildverarbeitungssystem, insbesondere in den zugrunde liegenden Algorithmen festzustellen, indem dieses in gleicher Weise (siehe Schritt e) des erfindungsgemäßen Verfahrens) auf das Sekundärbild angewandt wird. Fig. 1 zeigt ein beispielhaftes erstes Sekundärbild SB1, bei welchem der Primärbildursprung PBU und somit das erste Primärbild PB1 um die durch das Kreuz dargestellte vertikale Drehachse entgegen dem Uhrzeigersinn um ca. 15° gedreht wurde. Die Drehung (oder auch eine Verschiebung) kann im Grunde beliebig erfolgen, wichtig ist lediglich, dass das Sekundärbild, hier das erste Sekundärbild SB1, eine ausreichende Anzahl an (zu dem zugeordneten Primärbild) korrespondierenden Bildmerkmalen, den sogenannten Sekundärbildmerkmalen SBM (siehe Fig. 2), aufweist.
Nun verweisend auf Fig. 2 ist das zu dem ersten Primärbild PBl korrespondierende erste Sekundärbild SB1 dargestellt (sofern nicht anderes angegeben werden im Rahmen dieser Anmeldung mit denselben Bezugszeichen dieselben Merkmale bezeichnet). In diesem gezeigten Beispiel wird das erste Primärbild PBl vollständig durch das erste Sekundärbild SB1 erfasst, wobei die Objekte Ol und 02 mitsamt dem Primärbildursprung PBU entsprechend verdreht wurden. Diese Verdrehung kann wie eingangs erwähnt einerseits durch eine digitale Bildverarbeitung erreicht werden, andererseits könnte ebenso ein oder mehrere die Bilder (Primärbilder, Sekundärbilder) erfassende Sensoren entsprechend verdreht und/ oder verschoben werden. Insbesondere können an einem Fahrzeug angebrachte Bilderfassungssensoren verwendet werden, um die zu verarbeitenden Bilder zu liefern. Dabei kann eine Verdrehung und/ oder insbesondere eine Verschiebung, insbesondere eine horizontale Verschiebung der Sekundärbilder auch in einfacher Weise durch eine Relativbewegung des Fahrzeugs zu seiner Umgebung (wie diese typischerweise während der Fahrt mit dem Fahrzeug gegeben ist) erreicht werden. Beispielhafte Bildmerkmale der Objekte Ol und 02 sind darin als Sekundärbildmerkmale SBM bezeichnet. Ein Vergleich der Primärbildmerkmale PBM mit den Sekundärbildmerkmalen SBM gemäß dem Schritt g) der Erfindung gibt Aufschluss über das Vorliegen zumindest eines Fehlers. Wie in Fig. 2 deutlich erkennbar ist, weist das Sekundärbild Sekundärbildmerkmale SBM auf, die mit den Primärbildmerkmalen in Position bzw. in ihrem relativen Abstand zueinander korrelieren. Aufgrund einem hohen Maß an Korrelation zwischen den beiden Bildern kann auf eine erfolgreiche Bildverarbeitung bzw. korrekt durchgeführte Schritte a) bis f) rückgeschlossen werden. Wäre hingegen zumindest eines der Objekte Ol oder 02 aus dem Sekundärbild vollständig verschwunden, so kann daraus auf das Vorliegen eines Fehlers rückgeschlossen werden, da sich die Objekte Ol und 02 nicht in einem Randbereich des Primärbildes befinden und deshalb nicht vollständig aus dem Sekundärbild verschwunden sein können, sofern vorausgesetzt werden kann, dass das Sekundärbild ausreichend Übereinstimmung mit dem Primärbild aufweisen müsste. Dies kann z.B. durch eine entsprechend rasche Aufnahme der einzelnen Bilder gewährleistet werden.
Gemäß einem weiteren Aspekt der Erfindung können mehrere Primärbilder bzw. jeweils zugeordnete Sekundärbilder verwendet werden, um mithilfe des erfindungsgemäßen Verfahrens überprüft zu werden. So zeigt Fig. 3 eine Darstellung zweier Primärbilder, nämlich des ersten Primärbildes PBl sowie eines zweiten Primärbildes PB2, wobei das zweite Primärbild PB2 eine andere Perspektive auf den Bildinhalt des ersten Primärbildes
PB1 liefert. Dies kann beispielsweise durch einen räumlichen Versatz zweier an einem Fahrzeug angebrachter Sensoren erreicht werden (unter dem Ausdruck„Stereo 3D" bekannt). Alternativ ist es ebenso möglich, durch zeitlichen Versatz der Aufnahme der Primärbilder eine geänderte Perspektive zur Verfügung zu stellen (unter dem Ausdruck„structure from motion" bekannt).
Die Darstellung der Objekte Ol bzw. 02 aus zumindest zwei unterschiedlichen Perspektiven erlaubt die Extraktion einer den Objekten zugehörigen Tiefeninformation. So können Objekte dreidimensional erfasst werden. Eine Drehung des ersten und des zweiten Primärbildes PB1 und PB2 (wobei dem zweiten Primärbild PB2 ein zweites Sekundärbild SB2 zugeordnet ist) erfolgt dabei vorzugsweise über eine zwischen den beiden Bildern zentral angeordnete vertikale Drehachse, die in Fig. 3 durch ein Kreuz dargestellt ist. Dies hat den Vorteil, dass beide Bilder im gleichen Ausmaß verdreht werden und möglichst viele Bildpunkte der Primärbilder in den Sekundärbildern erhalten bleiben.
Das erfindungsgemäße Verfahren kann zur Überprüfung einer Vielzahl an mittels Bildverarbeitung berechneten Bildern bzw. der der Verarbeitung zugrunde liegenden Algorithmen herangezogen werden. Die Überprüfung kann dabei Bild für Bild erfolgen, wobei beispielsweise eine einem Sekundärbild folgende Bildaufnahme (als Folgebild bezeichnet) mit dem Sekundärbild (insbesondere mit den Bildmerkmalen) verglichen werden kann. In diesem Fall bildet das ursprüngliche Sekundärbild das Primärbild in Bezug auf das Folgebild, welches dann als Sekundärbild verwendet würde. Es kann somit eine beliebig lange Folge an Bildern überprüft werden, wobei immer Nachfolgebilder (Sekundärbilder) bzw. dessen Merkmale mit Vorgängerbildern (Primärbildern) bzw. dessen Merkmale verglichen werden.
Fig. 4 zeigt einen weiteren Aspekt der Erfindung, demnach ein Referenzmerkmal RM in das erste Primärbild PB1 eingebracht wird, welches nach Einbringen des Referenzmerkmals RM als erstes Referenzbild RB1 bezeichnet wird. Referenzmerkmale RM sind künstlich in das Bild eingebrachte Merkmale, die in nachfolgend beschriebener Weise zur Erkennung von Fehlern in Bildverarbeitungssystemen herangezogen werden können. Referenzmerkmale RM können beispielsweise durch eine lokale Färb-, Kontrast und/ oder Bildschärfemanipulation und/ oder durch eine lokale Anordnung von Pixel charakterisiert werden. Als Referenzmerkmal/ Testmerkmal können einfache Objekte wie Dreiecke, Vierecke oder Vielecke verwendet werden. Die Auswahl der Referenzmerkmale ist im Wesentlichen abhängig von
den Detektionsalgorithmen. Für gängige„corner detectors" wären z.B. einfarbige, z.B. weiße Vierecke geeignet, welche entsprechend 4 Ecken genieren würden. Zum Abheben vom restlichen Bild könnte ein solches Viereck mit einer dunklen Zone umschlossen sein, welche nach außen hin zunehmend durchscheinend wird (also kontinuierlich in das Originalbild übergeht). Im gezeigten Beispiel ist das Referenzmerkmal ein Quadrat, welches sich durch schwarze durchgezogene Linien vom Bildhintergrund abhebt.
Das Referenzbild RB1 wird mithilfe eines Algorithmus verarbeitet, welcher mittels des erfindungsgemäßen Verfahrens überprüft werden kann. So zeigt Fig. 5 eine Darstellung des verarbeiteten Referenzbildes RB1, in welcher die den Objekten Ol sowie 02 zugehörigen Primärbildmerkmale PBM erkennbar sind. Das verarbeitete Referenzmerkmal RM der Fig. 4 ist darin als Testmerkmal TM bezeichnet, welches im Wesentlichen durch vier Eckpunkte charakterisiert ist. Da die Eigenschaften des Referenzmerkmals RM vorgegeben werden können und das Verhalten des das erste Referenzbild RB1 verarbeitenden Algorithmus hinlänglich vorhersagbar ist, können Erwartungswerte im Hinblick auf das Testmerkmal TM generiert werden. Abhängig von dem bildverarbeitenden Algorithmus können Werte für die zu erwartende Korrelation zwischen den Testmerkmal TM und dem Referenzmerkmal RM vorhergesagt werden. Ein deutlich von der zu erwartenden Korrelation abweichender Wert kann somit zur Erkennung von Fehlern in der Verarbeitung der Bilder herangezogen werden.
Im gezeigten Beispiel wurde das Referenzmerkmal RM in ein Primärbild eingebracht. Alternativ oder zusätzlich dazu kann ein Referenzmerkmal RM ebenso in ein Sekundärbild eingebracht werden. Auch können zwei oder mehrere Referenzmerkmale vorgesehen sein, um die Sensitivität der Fehlererkennung zusätzlich zu erhöhen.
Fig. 6 zeigt eine Darstellung der Zuordnung von Bildmerkmalen zu Raumkoordinaten, insbesondere einem rechtswendig orientierten kartesischen Koordinatensystem. Sofern Tiefeninformation zu den Bildmerkmalen extrahiert werden kann, ist es möglich, diese Bildmerkmale dreidimensional zu erfassen und ebenso zu überprüfen.
In Fig. 7 ist eine Draufsicht auf ein Fahrzeug 1 mit einer erfindungsgemäßen Fehlererkennungsvorrichtung in einer bevorzugten Ausführungsform gezeigt. Die Fehlererkennungsvorrichtung besteht darin aus einer Recheneinheit 2 und einem ersten Sensor 3 sowie einem
zweiten Sensor 4, die jeweils an einem Frontbereich des Fahrzeuges 1 angeordnet sind. Die Sensoren 3 und 4 übermitteln die erfassten Bilddaten an die Recheneinheit 2 (z.B. leitungsgebunden oder per Funk), wobei die Recheneinheit 2 diese Bilder verarbeitet sowie die Verarbeitung der Bilder unter Zuhilfenahme der Eingangs skizzierten erfindungsgemäßen Verfahren überprüft. Die Bilddaten können in einem beliebigen zu deren Berechnung und/ oder Wiedergabe geeigneten Format vorliegen. Beispielhaft seien hier das raw-, jpeg-, bmp- oder das png- Format sowie gängige Videoformate angeführt. Die Recheneinheit 2 befindet sich im gezeigten Beispiel im Fahrzeug 1 und kann nach Erkennung eines Fehlers das Fahrzeug 1 in einen sicheren Zustand versetzen. Sollte ein Objekt, welches von der Recheneinheit 2 erkannt wurde aufgrund eines Fehlers der Bildverarbeitung plötzlich nicht mehr von der Recheneinheit 2 erfasst werden, so kann beispielsweise ein Fahrzeugstopp eingeleitet werden um eine Kollision mit dem zuvor erfassten Objekt vorzubeugen. Die Recheneinheit 2 kann eine Vielzahl an weiteren Maßnahmen einleiten oder Funktionen übernehmen, die die Sicherheit und/ oder die Zuverlässigkeit von Bild Verarbeitungsalgorithmen erhöhen, was insbesondere bei Fahrzeuganwendungen von besonderer Bedeutung sein kann. Die Recheneinheit 2 muss nicht zentral aufgebaut sein sondern kann ebenso aus zwei oder mehreren Rechenmodulen bestehen.
Da die im Rahmen dieser Beschreibung offenbarte Erfindung vielseitig einsetzbar ist, können nicht alle möglichen Anwendungsgebiete eingehend beschrieben werden. Vielmehr ist der Fachmann in Anbetracht dieser Ausführungen in der Lage, die Erfindung für unterschiedlichste Zwecke einzusetzen und anzupassen.
Claims
1. Verfahren zur Fehlererkennung für zumindest ein Bild Verarbeitungssystem zur Umfelderfassung eines Kraftfahrzeugs, gekennzeichnet durch folgende Schritte, die in beliebiger Reihenfolge ausgeführt werden, sofern nicht anders angegeben:
a) Erfassen zumindest eines ersten Primärbildes (PB1) basierend auf einem Primärbildursprung (PBU),
b) Verarbeiten des zumindest einen ersten Primärbildes (PB1) mithilfe zumindest eines zu überprüfenden Algorithmus, nach Schritt a)
c) Extrahieren zumindest eines Primärbildmerkmals (PBM) basierend auf dem verarbeiteten zumindest einen ersten Primärbild (PB1), nach Schritt b)
d) Erzeugen oder Erfassen zumindest eines ersten Sekundärbildes (SBl) durch Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes (PB1) oder des Primärbildursprungs (PBU), nach Schritt a)
e) Verarbeiten des zumindest einen ersten Sekundärbildes (SBl) mithilfe des zumindest einen zu überprüfenden Algorithmus, nach Schritt d)
f) Extrahieren zumindest eines Sekundärbildmerkmals (SBM) aus dem zumindest einen verarbeiteten ersten Sekundärbild (SBl), nach Schritt e)
g) Vergleich des zumindest einen Primärbildmerkmals (PBM) mit dem zumindest einen Sekundärbildmerkmal (SBM) und Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers, nach den Schritten c) und f).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das zumindest eine Primärbildmerkmal (PBM) durch eine lokale Farbinformation, einen lokalen Kontrast, eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Primärbild (PB1) und/ oder das zumindest eine Sekundärbildmerkmal (SBM) durch eine lokale Farbinformation, einen lokalen Kontrast, eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Sekundärbild (SBl) berechnet wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in Schritt a) zumindest ein zweites Primärbild (PB2) erfasst und zur Extraktion des zumindest einen Primärbildmerkmals (PBM) in Schritt c) verwendet wird, wobei in Schritt d) zumindest das erste und das zweite Primärbild (PB1) und (PB2) verschoben und/ oder verdreht werden und zumindest das erste Sekundärbild (SBl) und/ oder ein zusätzliches zweites Sekundärbild (SB2)
unter Berücksichtigung des zweiten Primärbildes (PB2) erzeugt wird und in Schritt d) das zumindest eine Sekundärbildmerkmal (SBM) aus dem ersten Sekundärbild (SBl) und/ oder dem zweiten Sekundärbild (SB2) extrahiert wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das zumindest eine Primärbildmerkmal (PBM) und/ oder das zumindest eine Sekundärbildmerkmal (SBM) zumindest ein Objekt (Ol, 02) betrifft, wobei zu dem zumindest einen Primärbild- merkmal (PBM) und/ oder dem zumindest einen Sekundärbildmerkmal (SBM) Ortsinformationen extrahiert werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in Schritt d) das zumindest eine erste Primärbild (PBl) um eine in der Bildmitte liegende vertikale Achse gedreht wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das zumindest eine erste Primärbild (PBl) mithilfe zumindest eines ersten Sensors (3) aufgenommen wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes (PBl) in Schritt d) zumindest durch ein physisches Verschieben und/ oder Verdrehen der Position und/ oder Orientierung des zumindest einen ersten Sensors (3) erreicht wird.
8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass das Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes (PBl) in Schritt d) zumindest durch eine digitale Bearbeitung des zumindest einen ersten Primärbildes (PBl) erreicht wird.
9. Verfahren nach einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass mithilfe des ersten Sensors (3) zumindest das erste und das zweite Primärbild (PBl, PB2) aufgenommen wird, wobei das zweite Primärbild (PB2) nach der Aufnahme des ersten Primärbildes (PBl) aufgenommen wird.
10. Verfahren nach einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass mithilfe des ersten Sensors (3) zumindest das erste Primärbild (PBl) und mithilfe eines zweiten Sensors (4) zumindest das zweite Primärbild (PB2) aufgenommen wird.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass zwischen Schritt a) und b) und/ oder zwischen den Schritten d) und e) zumindest ein Referenzmerkmal (RM) in das zumindest eine erste Primärbild (PBl) und/ oder das zumindest eine erste Sekundärbild (SB1) eingebracht wird und
- nach Schritt c) und/ oder e) zumindest ein dem Referenzmerkmal (RM) zugeordnetes Testmerkmal (TM) aus dem verarbeiteten zumindest einen ersten Primärbild (PBl) und/ oder dem zumindest einen ersten Sekundärbild (SB1) extrahiert wird und
- in einem dem Schritt c) und/ oder e) nachfolgendem Schritt h) ein Vergleich des zumindest einen Testmerkmals (TM) mit dem zumindest einen Referenzmerkmal (RM) erfolgt und das Ergebnisses des Vergleichs zusätzlich zur Bestimmung des Vorliegens zumindest eines Fehlers herangezogen wird.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das zumindest eine Referenzmerkmal (RM) durch eine lokale Färb-, Kontrast und/ oder Bildschärfemanipulation und/ oder durch eine lokale Anordnung von Pixel charakterisiert wird.
13. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass das zumindest eine Primärbild (PBl) und/ oder das zumindest eine erste Sekundärbild (SB1) auf das Vorhandensein von relevanten Bildmerkmalen (PBM, SBM) geprüft wird, und das zumindest eine Referenzmerkmal (RM) in zumindest einen Bereich des zumindest einen ersten Primärbildes (PBl) und/ oder des zumindest einen ersten Sekundärbildes (SB1) eingefügt wird, in welchem keine relevanten Bildmerkmale (PBM, SBM) vorhanden sind.
14. Verfahren nach einem der Ansprüche 11 bis 13, dadurch gekennzeichnet, dass zwischen Schritt a) und b) und/ oder zwischen den Schritten d) und e) zumindest zwei, vorzugsweise mehrere Referenzmerkmale (RM) in das zumindest eine erste Primär bild (PBl) und/ oder das zumindest eine erste Sekundärbild (SB1) eingebracht werden, wobei nach Schritt c) und/ oder e) zu jedem Referenzmerkmal (RM) jeweils ein Testmerkmal (TM) extrahiert wird.
15. Verfahren nach einem der Ansprüche 11 bis 14, dadurch gekennzeichnet, dass in Schritt a) zumindest ein zweites Primärbild (PB2) erfasst wird, wobei in Schritt d) mithilfe des zweiten Primärbildes (PB2) zumindest ein zweites Sekundärbild (SB2) erfasst oder erzeugt wird, wobei nach Schritt c) und/ oder e) das zumindest eine Testmerkmal (TM) aus den zumindest zwei Sekundärbildern (SB1,SB2) extrahiert wird.
16. Verfahren nach einem der Ansprüche 11 bis 15, dadurch gekennzeichnet, dass das zumindest eine Referenzmerkmal (RM) und/ oder das zumindest eine Testmerkmal (TM) zumindest ein Objekt (Ol, 02) betrifft, wobei zu dem zumindest einen Referenzmerkmal (RM) und/ oder dem zumindest einen Testmerkmal (TM) Ortsinformationen extrahiert werden.
17. Fehlerer kennungs Vorrichtung für zumindest ein Bild Verarbeitungssystem zur Umfelderfassung eines Kraftfahrzeugs, dadurch gekennzeichnet, dass zumindest eine Recheneinheit (2) zum
- Erfassen zumindest eines ersten Primärbildes (PB1) basierend auf einem Primärbildursprung (PBU),
- Verarbeiten des zumindest einen ersten Primärbildes (PB1) mithilfe zumindest eines zu überprüfenden Algorithmus,
- Extrahieren zumindest eines Primärbildmerkmals PBM basierend auf dem verarbeiteten zumindest einen ersten Primärbild (PB1),
- Erzeugen oder Erfassen zumindest eines ersten Sekundärbildes (SB1) durch Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes (PB1) oder des Primärbildursprungs (PBU),
- Verarbeiten des zumindest einen ersten Sekundärbildes (RB1) mithilfe des zumindest einen zu überprüfenden Algorithmus,
- Extrahieren zumindest eines Sekundärbildmerkmals (SBM) aus dem zumindest einen verarbeiteten ersten Sekundärbild (SB1) und
- Vergleichen des zumindest einen Primärbildmerkmals (PBM) mit dem zumindest einen Sekundärbildmerkmal (SBM) und Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers eingerichtet ist.
18. Fehlererkennungsvorrichtung nach Anspruch 17, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) das zumindest eine Primärbildmerkmal (PBM) durch eine
lokale Farbinformation, einen lokalen Kontrast, eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Primärbild (PB1) und/ oder das zumindest eine Sekundärbildmerkmal (SBM) durch eine lokale Farbinformation, einen lokalen Kontrast, eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Sekundärbild (SBl) berechnet.
19. Fehlererkennungsvorrichtung nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) zumindest ein zweites Primärbild (PB2) erfasst und zur Extraktion des zumindest einen Primärbildmerkmals (PBM) eingerichtet ist, wobei zumindest das erste und das zweite Primär bild (PB1) und (PB2) verschiebbar und/ oder verdrehbar ist und zumindest das erste Sekundärbild (SBl) und/ oder ein zusätzliches zweites Sekundärbild (SB2) unter Berücksichtigung des zweiten Primärbildes (PB2) erzeugbar ist und das zumindest eine Sekundärbildmerkmal (SBM) aus dem ersten Sekundärbild (SBl) und/ oder dem zweiten Sekundärbild (SB2) extrahierbar ist.
20. Fehlererkennungsvorrichtung nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass das zumindest eine Primärbildmerkmal (PBM) und/ oder das zumindest eine Sekundärbildmerkmal (SBM) zumindest ein Objekt (Ol, 02) betrifft, wobei zu dem zumindest einen Primärbildmerkmal (PBM) und/ oder dem zumindest einen Sekundärbildmerkmal (SBM) Ortsinformationen extrahierbar sind.
21. Fehlererkennungsvorrichtung nach einem der Ansprüche 17 bis 20, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) zum Drehen des zumindest einen ersten Primärbildes (PB1) um eine in der Bildmitte liegende vertikale Achse eingerichtet ist.
22. Fehlererkennungsvorrichtung, nach einem der Ansprüche 17 bis 21, dadurch gekennzeichnet, dass die Fehlererkennungsvorrichtung zumindest einen ersten Sensor (3) zur Aufnahme des zumindest einen ersten Primärbildes (PB1) aufweist.
23. Fehlererkennungsvorrichtung nach Anspruch 22, dadurch gekennzeichnet, dass der zumindest eine erste Sensor (3) verschieb- und/ oder verdrehbar ist.
24. Fehlererkennungsvorrichtung nach Anspruch 22 oder 23, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) dazu eingerichtet ist das zumindest eine erste Primärbild (PBl) digital zu verschieben und/ oder zu verdrehen.
25. Fehlererkennungsvorrichtung nach einem der Ansprüche 19 bis 24, dadurch gekennzeichnet, dass mithilfe des ersten Sensors (3) zumindest das erste Primärbild (PBl) sowie zu einem nachfolgenden Zeitpunkt oder Zeitintervall das zweite Primärbild (PB2) aufnehmbar ist.
26. Fehlererkennungsvorrichtung nach einem der Ansprüche 19 bis 24, dadurch gekennzeichnet, dass der erste Sensor (3) zur Aufnahme des ersten Primärbildes (PBl) und ein zweiter Sensor (4) zur Aufnahme des zweiten Primärbildes (PB2) eingerichtet ist.
27. Fehlererkennungsvorrichtung nach einem der Ansprüche 17 bis 25, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) zum Einbringen zumindest eines Referenzmerkmals (RM) in das zumindest eine erste Primärbild (PBl) und/ oder das zumindest eine erste Sekundärbild (SBl) eingerichtet ist, wobei zumindest ein dem Referenzmerkmal (RM) zugeordnetes Testmerkmal (TM) aus dem verarbeiteten zumindest einen ersten Primärbild (PBl) und/ oder dem zumindest einen ersten Sekundärbild (SBl) mittels der zumindest einen Recheneinheit (2) extrahierbar ist, wobei ein Vergleich des zumindest einen Testmerkmals (TM) mit dem zumindest einen Referenzmerkmal (RM) erfolgt und das Ergebnis des Vergleichs zusätzlich zur Bestimmung des Vorliegens zumindest eines Fehlers heranziehbar ist.
28. Fehlererkennungsvorrichtung nach Anspruch 27, dadurch gekennzeichnet, dass das zumindest eine Referenzmerkmal (RM) durch eine lokale Färb-, Kontrast und/ oder Bildschärf emanipulation und/ oder durch eine lokale Anordnung von Pixel charakterisiert ist.
29. Fehlererkennungsvorrichtung nach Anspruch 27 oder 28, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) dazu eingerichtet ist, das zumindest eine Primärbild (PBl) und/ oder das zumindest eine erste Sekundärbild (SBl) auf das Vorhandensein von relevanten Bildmerkmalen (PBM, SBM) zu prüfen und das zumindest eine Referenzmerkmal (RM) in zumindest einen Bereich des zumindest einen ersten Primärbildes (PBl)
und/ oder des zumindest einen ersten Sekundärbildes (SB1) einzufügen, in welchem keine relevanten Bildmerkmale (PBM, SBM) vorhanden sind.
30. Fehlererkennungsvorrichtung nach einem der Ansprüche 27 bis 29, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) dazu eingerichtet ist zumindest zwei, vorzugsweise mehrere Referenzmerkmale (RM) in das zumindest eine erste Primärbild (PBl) und/ oder das zumindest eine erste Sekundärbild (SB1) einzubringen, wobei zu jedem Referenzmerkmal (RM) jeweils ein Testmerkmal (TM) extrahierbar ist.
31. Fehlererkennungsvorrichtung nach einem der Ansprüche 27 bis 30, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) dazu eingerichtet ist zumindest ein zweites Primärbild (PB2) zu erfassen und Referenzmerkmale (RM) in das erste und das zweite Primärbild (PBl, PB2) einzubringen, wobei die zumindest eine Recheneinheit (2) dazu eingerichtet ist, das zumindest eine Testmerkmal (TM) aus den zumindest zwei verarbeiteten Primärbildern (PBl, PB2) zu extrahieren.
32. Fehlererkennungsvorrichtung nach einem der Ansprüche 27 bis 31, dadurch gekennzeichnet, dass das zumindest eine Referenzmerkmal (RM) und/ oder das zumindest eine Testmerkmal (TM) zumindest ein Objekt (Ol, 02) betrifft, wobei zu dem zumindest einen Referenzmerkmal (RM) und/ oder dem zumindest einen Testmerkmal (TM) Ortsinformationen extrahierbar sind.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ATA50516/2013A AT514724A2 (de) | 2013-08-20 | 2013-08-20 | Verfahren zur Erkennung von Fehlern |
ATA50659/2013A AT514730A2 (de) | 2013-08-20 | 2013-10-14 | Verfahren zur Erkennung von Fehlern für zumindest ein Bildverarbeitungssystem |
PCT/AT2014/050174 WO2015024035A2 (de) | 2013-08-20 | 2014-08-13 | Verfahren zur erkennung von fehlern für zumindest ein bildverarbeitungssystem |
Publications (1)
Publication Number | Publication Date |
---|---|
EP3036684A2 true EP3036684A2 (de) | 2016-06-29 |
Family
ID=51540972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP14766094.8A Withdrawn EP3036684A2 (de) | 2013-08-20 | 2014-08-13 | Verfahren zur erkennung von fehlern für zumindest ein bildverarbeitungssystem |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160205395A1 (de) |
EP (1) | EP3036684A2 (de) |
AT (1) | AT514730A2 (de) |
WO (1) | WO2015024035A2 (de) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018221427B4 (de) * | 2018-12-11 | 2020-08-06 | Volkswagen Aktiengesellschaft | Verfahren zur Ermittlung einer vorliegenden Dejustage wenigstens eines Sensors innerhalb eines Sensorverbundes |
US10990855B2 (en) * | 2019-06-13 | 2021-04-27 | Baidu Usa Llc | Detecting adversarial samples by a vision based perception system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007025373B3 (de) | 2007-05-31 | 2008-07-17 | Sick Ag | Visuelle Überwachung mit Entfernungsbestimmung und Plausibilitätsprüfung anhand von Bildgrößen |
EP2296106A1 (de) * | 2009-09-02 | 2011-03-16 | Autoliv Development AB | Verfahren zum Trainieren und/oder Auswerten eines Fahrzeugsicherheitsalgorithmus |
US8666195B1 (en) * | 2011-03-15 | 2014-03-04 | Google Inc. | Image alignment |
-
2013
- 2013-10-14 AT ATA50659/2013A patent/AT514730A2/de not_active Application Discontinuation
-
2014
- 2014-08-13 US US14/912,953 patent/US20160205395A1/en not_active Abandoned
- 2014-08-13 WO PCT/AT2014/050174 patent/WO2015024035A2/de active Application Filing
- 2014-08-13 EP EP14766094.8A patent/EP3036684A2/de not_active Withdrawn
Non-Patent Citations (1)
Title |
---|
See references of WO2015024035A2 * |
Also Published As
Publication number | Publication date |
---|---|
US20160205395A1 (en) | 2016-07-14 |
AT514730A2 (de) | 2015-03-15 |
WO2015024035A3 (de) | 2015-05-07 |
WO2015024035A2 (de) | 2015-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1836681B1 (de) | Verfahren zur bestimmung der eigenbewegung eines fahrzeugs | |
DE102012221563B4 (de) | Funktionsdiagnose und validierung eines fahrzeugbasierten bildgebungssystems | |
EP2025991B1 (de) | Vorrichtung und Verfahren zur dreidimensionalen Überwachung eines Raumbereichs mit mindestens zwei Bildsensoren | |
DE102012112104A1 (de) | Verfahren und vorrichtung zur befahrbarkeitsanalyse | |
EP2856390A1 (de) | Verfahren und vorrichtung zur verarbeitung stereoskopischer daten | |
DE102014114221A1 (de) | Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug | |
DE102020127278B4 (de) | Around-View-Synthese-System und -Verfahren | |
WO2020020654A1 (de) | Verfahren zum betreiben eines fahrerassistenzsystems mit zwei erfassungseinrichtungen | |
DE102016223094A1 (de) | Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts | |
WO2015024035A2 (de) | Verfahren zur erkennung von fehlern für zumindest ein bildverarbeitungssystem | |
EP1352363B1 (de) | Verfahren und vorrichtung zum kompensieren einer dejustage einer bilderzeugungsvorrichtung | |
WO2015024036A2 (de) | Verfahren zur fehlererkennung für zumindest ein bildverarbeitungssystem | |
DE102017221381A1 (de) | Verfahren, Vorrichtung und Computerprogramm zum Ermitteln eines Abstandes zu einem Objekt | |
DE102013218299A1 (de) | Verfahren zum Detektieren eines Schadens eines Fahrzeugs anhand eines Prüfbilds, entsprechendes System und Computerprogrammprodukt | |
DE102017217063A1 (de) | Erkennungssystem, Arbeitsverfahren und Trainingsverfahren zum Erzeugen eines 3D-Modells mit Referenzdaten | |
EP4107654A1 (de) | Verfahren und vorrichtung zum erstellen zusammengesetzter szenarien | |
DE102016206508A1 (de) | Verfahren und Vorrichtung zur Kantendetektion | |
DE102014225883A1 (de) | Kamerasystem und Verfahren zum Visualisieren mindestens eines Fahrzeugumfeldbereiches einesFahrzeugumfeldes eines Fahrzeuges | |
DE102015101190A1 (de) | Verfahren zum Bestimmen eines Bildtiefenwerts abhängig von einem Bildbereich, Kamerasystem und Kraftfahrzeug | |
DE102017217156B4 (de) | Verfahren und Vorrichtung zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera | |
DE102018208604A1 (de) | Ermitteln eines Aufnahmeverhaltens einer Aufnahmeeinheit | |
WO2023072696A1 (de) | Verfahren zum bestimmen einer gravitationsrichtung für ein fahrzeugsteuersystem eines kraftfahrzeugs, fahrzeugsteuersystem und kraftfahrzeug | |
DE102016223144A1 (de) | Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts | |
DE102017214653B4 (de) | Verfahren zum Bereitstellen eines Bildsignals eines Umgebungsbereichs eines Kraftfahrzeugs sowie Kraftfahrzeug | |
WO2020212075A1 (de) | Lern-verfahren zur winkelunabhängigen objekterkennung für bewegliche und orts-feste systeme |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20160202 |
|
AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
DAX | Request for extension of the european patent (deleted) | ||
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN |
|
18D | Application deemed to be withdrawn |
Effective date: 20161011 |