WO2020136037A2 - Verfahren und verarbeitungseinrichtung zum verarbeiten von messdaten eines bildsensors - Google Patents

Verfahren und verarbeitungseinrichtung zum verarbeiten von messdaten eines bildsensors Download PDF

Info

Publication number
WO2020136037A2
WO2020136037A2 PCT/EP2019/085555 EP2019085555W WO2020136037A2 WO 2020136037 A2 WO2020136037 A2 WO 2020136037A2 EP 2019085555 W EP2019085555 W EP 2019085555W WO 2020136037 A2 WO2020136037 A2 WO 2020136037A2
Authority
WO
WIPO (PCT)
Prior art keywords
light sensors
image sensor
measurement data
image
reading
Prior art date
Application number
PCT/EP2019/085555
Other languages
English (en)
French (fr)
Other versions
WO2020136037A3 (de
Inventor
Ulrich Seger
Marc Geese
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN201980093007.3A priority Critical patent/CN113475058A/zh
Priority to US17/417,999 priority patent/US20220046157A1/en
Priority to EP19829496.9A priority patent/EP3903478A2/de
Publication of WO2020136037A2 publication Critical patent/WO2020136037A2/de
Publication of WO2020136037A3 publication Critical patent/WO2020136037A3/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the invention is based on a method or a processing device according to the type of the independent claims.
  • the present invention also relates to a computer program.
  • Weighting values to obtain image data for the reference position are Weighting values to obtain image data for the reference position.
  • Measurement data can be understood to mean data which have been recorded by a light sensor or other measurement units of an image sensor and which represent an image of a real object on the image sensor.
  • a reference position can be understood to mean, for example, a position of a light sensor with a light property (e.g. a red filtered spectral range) for which other light properties are to be calculated (e.g. green and blue), or whose measured value is to be processed or corrected.
  • a light property e.g. a red filtered spectral range
  • other light properties e.g. green and blue
  • reference positions form a regular grid of points, which allows the generated measurement data to be processed as an image on a system with e.g. display orthogonal display grid (e.g. a digital computer display).
  • the reference position can be marked with a
  • Measuring position or the position of an existing light sensor match or lie anywhere on the sensor array spanned by the axes x and y, as described in more detail below.
  • the axes x and y are spanned by the axes x and y, as described in more detail below.
  • Light sensors are understood which are in the adjacent other rows and / or columns of the light sensor grid of an image sensor
  • Limit reference position For example, the environment around the reference position forms a rectangular two-dimensional structure in which there are NxM light sensors with different properties.
  • a weighting value can be understood to mean, for example, a factor which is linked or weighted, for example multiplied, with the measured values of the light sensors in the vicinity of the reference position and then the result is added up in order to obtain the image data for the reference position.
  • the weighting values for light sensors can differ depending on the position on the sensor, for example based on the same light sensor types, ie on light sensors which are designed to record the same physical parameters. This means that the sensor values or measurement data values of light sensors that are in one
  • Edge region of the image sensor are arranged, are weighted differently than the measurement data values or values of light sensors, which are arranged in a central region of the image sensor.
  • Linking can, for example, multiply the measured values of the light sensors (i.e. the light sensors in the vicinity of the reference position) by the respectively assigned values
  • Weighting values are understood, followed by, for example, adding the respective weighted measurement data values of these light sensors.
  • Weighting values that depend on a position of the light sensor in question on the image sensor are corrected for this unfavorable imaging property, the weighting values being trained or ascertained, for example, in a previous method or at runtime.
  • This training can be carried out, for example, for a corresponding combination of image sensor and optical components, that is to say for a specific optical system, or for groups of systems with similar properties.
  • the trained weighting values can subsequently be stored in a memory and can be read out at a later point in time for the method proposed here.
  • a favorable embodiment of the approach proposed here is one in which, in the reading step, measurement data is read in by light sensors which are each arranged in a different row and / or a different column on the image sensor in relation to the reference position, in particular the light sensors completely covering the reference position surround.
  • a line can be understood to mean an area which is at a predetermined distance from an edge of the image sensor.
  • a column can be understood to mean an area which is at a predetermined distance from another edge of the image sensor, the edge defining the column differing from an edge defining the row.
  • the edge through which the lines are defined can run in a different direction or be perpendicular to the edge through which the lines are defined. In this way, areas on the image sensor can be distinguished without the light sensors themselves being positioned symmetrically in rows and columns on the image sensor (matrix-shaped image sensor). Rather, it is simply a matter of making sure that the light sensors used in the
  • Reference position can be observed.
  • a continuously increasing change in the point imaging of a real object from a central area of the image sensor to an edge area can be very precisely taken into account or compensated for.
  • measurement data can be read in by the light sensors in the reading step, each for recording measurement data in different parameters, in particular colors, exposure times, the brightness or others
  • Lighting parameters are formed.
  • Such an embodiment of the Approach proposed here enables the correction of different physical parameters such as the mapping of colors, the exposure times and / or the brightnesses on the light sensors in the different ones
  • An embodiment of the approach proposed here is also advantageous, in which a step of determining the weighting values using an interpolation of weighting reference values, in particular wherein the weighting reference values are assigned to light sensors, which are arranged at a predefined distance from one another on the image sensor.
  • the weighting reference values can thus be understood to mean weighting base values which represent weighting values for individual light sensors which are in the predetermined distance and / or position
  • Weighting values are to be provided, so that a reduction in the storage space which is to be provided for the implementation of the approach proposed here can advantageously be achieved.
  • Those weighting values for light sensor or light sensors which are arranged between the light sensors on the image sensor and to which weighting reference values are assigned can then be determined by an interpolation which is technically easy to implement as soon as these weighting values are required.
  • Measurement data are read in from light sensors which are arranged at a different position on the image sensor than the measurement data from the light sensors, from which measurement data were read in in a previous step of reading.
  • Such an embodiment of the approach proposed here enables the step-by-step optimization or correction of measurement data for as many, possibly almost all, to be considered sensibly
  • the steps of reading in and linking can be carried out repeatedly, wherein in the repeated
  • Weighting values that were read in in the previous step of reading in can be designed, for example, for the reconstruction of color properties other than the reconstruction of color properties that was intended in the previous step of reading in. It is also conceivable that others
  • Weighting factors for the same measured values are used to obtain a different physical property of the light from the measured values. Certain weighting factors can also become zero. This can be advantageous, for example, if red color is to be determined from the measured values of green, red and blue light sensors. In this case it may be advisable to weight the green and blue measurement data with a factor of zero and thus to ignore them.
  • Light sensor for mapping a certain physical parameter of the light can be understood.
  • a light sensor of a first light sensor type can be designed to determine certain color properties of the light incident on the light sensor, such as, for example, red light, green light or to detect white light particularly well, whereas a light sensor of another type of light sensor is designed to adjust the brightness or a
  • Such an embodiment of the approach proposed here offers the advantage of being able to correct the measurement data acquired by the image sensor for different physical parameters very effectively and of being able to take several physical parameters into account together by the corresponding correction for these parameters.
  • measurement data from the light sensors of different types of light sensors can also be read in in the reading step.
  • Embodiment of the approach proposed here offers the advantage of only using measurement data from ambient light sensors which correspond to different types of light sensors when correcting the measurement data for the image data at the reference position. In this way, the desired image data can be reconstructed very reliably and robustly on the
  • the measurement data from light sensors of an image sensor which is at least partially cyclical, can be read in in the reading step
  • Arrangement of light sensor types as light sensors and / or measurement data from light sensors of different sizes are read on the image sensor and / or measurement data from light sensors are read, each having different light sensor types that occupy a different area on the image sensor.
  • Such an embodiment of the approach proposed here offers the advantage of being able to process or link measurement data from corresponding light sensors of the corresponding light sensor types in a technically simple and fast manner, without having to previously scale these measurement data from the corresponding light sensor types or otherwise to prepare them for a link.
  • An embodiment of the proposed approach can be implemented in a technically particularly simple manner, in which, in the linking step, the measurement data of the light sensors which are multiplicatively weighted with the assigned weighting values are added in order to obtain the image data for the reference position.
  • An embodiment of the approach proposed here is advantageous as a method for generating a weight value matrix for weighting measurement data of an image sensor, the method comprising the following steps:
  • Reference measurement data for the corresponding reference position is compared, using light sensors which are arranged around the reference position on the image sensor.
  • Reference image data of a reference image can be understood to mean measurement data which represent an image which is considered to be optimal.
  • Training measurement data of a training image can be understood to mean measurement data which represent an image which one of light sensors
  • Image sensor was recorded, so that, for example, the spatial
  • the initial weight value matrix can be understood as a matrix of weighting values which is initially provided, the
  • Weighting values can be changed or adjusted by a training in order to use a method according to a variant of the approach described above adapt image data obtained from light sensors of the training image to the measurement data from light sensors of the reference image for processing measurement data.
  • weight values can thus be generated which can subsequently be used for the correction or processing of measurement data of an image of an object by the image sensor.
  • an individual can be used for each image sensor, each optical system or any combination of image sensor or optical system
  • Weight value matrix can be created to suit the manufacturing needs
  • An embodiment of the approach presented here is particularly advantageous, in which, in the step of reading in as a reference image and as a training image, one image each is read in, which represents an image section that is smaller than an image that can be detected by the image sensor.
  • Such an embodiment of the approach proposed here offers the advantage of a technically or numerically significantly easier determination of the weight value matrix, since not the
  • Measurement data of the entire reference image or of the training image need to be used, but individual light sensor areas at certain positions of the image sensor are used only in the form of base cutouts in order to calculate the weight value matrix.
  • a change in imaging properties of the image sensor from a central region of the image sensor to one
  • the edge area can often be approximated linearly in sections, so that the weight values for them can be interpolated, for example
  • Light sensors can determine which are not in the area of the concerned
  • Image section of the reference image or the training image lie. Variants of the methods presented here can be, for example, in software or hardware or in a mixed form of software and hardware
  • Processing device can solve the problem underlying the invention quickly and efficiently.
  • the processing device can have at least one computing unit for processing signals or data, at least one storage unit for storing signals or data, at least one interface to a sensor or an actuator for reading sensor signals from the sensor or for outputting data or control signals to the Actuator and / or at least one communication interface for reading or outputting data, which are embedded in a communication protocol.
  • the computing unit can be, for example, a signal processor, a microcontroller or the like, and the storage unit can be a flash memory, an EEPROM or a magnetic storage unit.
  • Communication interface can be designed to read or output data wirelessly and / or line-bound, wherein one
  • Communication interface that can insert or output line-bound data, can insert this data, for example, electrically or optically from a corresponding data transmission line, or can output it into a corresponding data transmission line.
  • a processing device can be understood to mean an electrical device that processes sensor signals and outputs control and / or data signals as a function thereof.
  • the processing device can have an interface which can be designed in terms of hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains the most varied functions of the device.
  • system ASIC system ASIC
  • the interfaces own, integrated circuits are or at least partially consist of discrete components.
  • the interfaces can be software modules which are present, for example, on a microcontroller in addition to other software modules.
  • a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the above
  • Fig. 1 in cross-sectional view is a schematic representation of an optical
  • FIG. 2 shows a schematic view of the image sensor in a top view for use with an exemplary embodiment of the approach presented here;
  • Fig. 3 is a block diagram representation of a system for the preparation of the two-dimensionally arranged light sensor set
  • 4A is a schematic top view of an image sensor for
  • 4D shows a representation of a complex unit cell, which represents the smallest repetitive area-covering group of light sensors in the image sensor presented in FIG. 4a;
  • Fig. 6 is a schematic top view of an image sensor for
  • Light sensors have been selected as the light sensors providing measurement data, here a group of 3 x 3 unit cells is highlighted;
  • Fig. 7 is a schematic top view of an image sensor
  • FIG. 8 shows a schematic representation of a weighting value matrix for use with an exemplary embodiment of the approach presented here;
  • FIG. 9 shows a block diagram of a schematic procedure as can be carried out in a processing device according to FIG. 3; 10 shows a flowchart of a method for processing measurement data of an image sensor according to an exemplary embodiment;
  • 11 is a flowchart of a method for generating a
  • Weight value matrix for weighting measurement data of an image sensor according to an embodiment
  • FIG. 12 shows a schematic illustration of an image sensor with a light sensor arranged on the image sensor for use in a method for generating a weight value matrix for weighting measurement data of an image sensor according to an exemplary embodiment.
  • FIG. 1 shows a cross-sectional view of a schematic representation of an optical system 100 with a lens 105 aligned in an optical axis 101, through which an object 110 shown as an example is imaged on an image sensor 115. It can be seen from the exaggerated illustration in FIG. 1 that a light beam 117 which is in a
  • the central region 120 of the image sensor 115 strikes a shorter path through the lens 105 than a light beam 122 that passes through an edge region of the lens 105 and also strikes an edge region 125 of the image sensor 115.
  • a change in the optical image and / or a change in the spectral intensity with respect to different colors can also be recorded in this light beam 122, for example compared to that corresponding values of the light beam 117.
  • the image sensor 115 cannot be planned exactly, but is shaped slightly convex or concave or is tilted with respect to the optical axis 101, so that likewise Changes in the image when the light rays 123 are recorded in the edge region 125 of the image sensor 115 result. This leads to
  • Evaluation of the image of the object 110 by the data supplied by the image sensor 115 may be imprecise, so that the measurement data supplied by the image sensor 115 may not be sufficiently usable for some applications.
  • FIG. 2 shows a schematic view of the image sensor 115 in FIG.
  • the image sensor 115 in this case comprises a plurality of
  • Light sensors 200 which are arranged in a matrix in rows and columns, the exact configuration of these light sensors 200 being described in more detail below. Furthermore, a first area 210 is shown in the central area 120 of the image sensor 115, in which the light beam 117 from FIG. 1 strikes, for example. From the small diagram shown in FIG. 2, which is assigned to the first area 210 and represents an exemplary evaluation of a specific spectral energy distribution detected in this area 210 of the image sensor 115, it can be seen that the light beam 117 in the first area 210 is a relatively sharp point -shaped.
  • the light beam 122 when it strikes the area 250 of the image sensor 115, is represented somewhat “smeared.” If a light beam strikes one of the image areas 220, 230, 240 of the image sensor 115 in between, it can already be seen from the associated diagrams that Now the spectral energy distribution can take on a different shape, for example as a result of imaging by aspherical lenses, so that it is precise
  • Image sensor 115 is problematic, as can be seen, for example, from the illustration in image area 250.
  • the measurement data supplied by the image sensor 115 are now to be used for safety-critical applications, for example for the real-time detection of objects in a vehicle environment
  • FIG. 3 shows a block diagram representation of a system 300 for
  • the measurement data 310 provided as an image sensor 115 designed as a light sensor matrix.
  • the measurement data 310 are output by the image sensor 115, which correspond to the respective measured values of light sensors 200 of the image sensor 115 from FIG. 2.
  • the image sensor 115 corresponds to the respective measured values of light sensors 200 of the image sensor 115 from FIG. 2.
  • Light sensors of the image sensor 115 are constructed differently in shape, position and function and, in addition to corresponding spectral values, that is to say color values, also detect the parameters intensity, brightness, polarization, phase or the like.
  • such detection can take place in that individual light sensors of the image sensor 115 by means of appropriate color filters,
  • this measurement data 310 (Optional) pre-processed in a unit 320.
  • the preprocessed image data which for the sake of simplicity can also be referred to as measurement data 310 ', can be fed to a processing unit 325, in which, for example, the approach described in more detail below is implemented in the form of a grid-base correction.
  • the measurement data 310 ' are read in via a read-in interface 330 and one
  • Linking unit 335 supplied.
  • weighting values 340 can be read out from a weighting value memory 345 and also fed to the link unit 335 via the read-in interface 330.
  • the measurement data 310 ′ from the individual light sensors are then linked to weighting values 340, for example in accordance with the description which is explained in more detail below, and the correspondingly obtained image data 350 can be further processed in one or more parallel or sequential processing units.
  • FIG. 4A shows a schematic top view of an image sensor 115, in which light sensors 400 of different types of light sensors are arranged in a cyclic pattern.
  • the light sensors 400 can correspond to the light sensors 200 from FIG. 2 and can be implemented as pixels of the image sensor 115.
  • the light sensors 400 of the different light sensor types can, for example, be of different sizes, different orientations, have different spectral filters or others
  • the light sensors 400 can also be constructed as sensor cells S1, S2, S3 or S4, as can be seen in FIG. 4B, which each form a sampling point for light falling on the sensor cell S, these sampling points being located in the center of gravity of the respective sensor cells can be viewed.
  • the individual sensor cells S can also be combined to form macro cells M, as shown in FIG. 4C, which each have a common one
  • a smallest repetitive group of sensor cells such as B. in Fig. 4D in a complex form.
  • the unit cell can also have an irregular structure.
  • the individual light sensors 400 in FIG. 4 can be used multiple times in one
  • the light sensors 400 are also arranged in a cyclical sequence both in the vertical and in the horizontal direction, in which case they lie on a grid of the same or different periodicity that is specific to each sensor type.
  • This vertical as well as the horizontal direction of the arrangement of light sensors in a cyclical sequence can also be understood as row or column rowing of the light sensors.
  • Regularity of the pattern can also result in modulo n, d. that is, the structure is not visible in every row / column.
  • any cyclically repeating arrangement of light sensors can be used by the method described here, if rows and column-like arrangements are currently common.
  • FIG. 5 now shows a schematic top view of an image sensor 115, in which some light sensors 400 are selected from a group 515 to be weighted in an environment of a reference position 500 and are weighted by a weighting described in more detail below in order to solve the above-mentioned problem that the image sensor 115 is not provided with optimally usable measurement data 310 or 310 'corresponding to FIG. 3.
  • one reference position 500 is selected and several
  • Light sensors 510 are defined in the vicinity of this reference position 500, the light sensors 510 (which can also be referred to as ambient light sensors 510) being arranged, for example, in a different column and / or a different row than the reference position 500 on the image sensor 115.
  • a (virtual) position on the image sensor 115 serves as the reference position 500, which serves as a reference point for a reconstruction of image data to be formed for this reference position, that is to say that the image data to be reconstructed from the measurement data of the ambient light sensors 510 corresponds to the data to be output or in one image parameters to be evaluated in the following method at this reference position.
  • the reference position 500 need not necessarily be bound to a light sensor; rather, image data 350 can also be determined for a reference position 500 that lies between two light sensors 510 or completely outside a region of a light sensor 510.
  • the reference position 500 therefore does not need a triangular or circular shape have, which is based, for example, on the shape of a light sensor 510.
  • light sensors of the same light sensor type can be selected as ambient light sensors 510 as a light sensor at reference position 500.
  • light sensors can also be selected as ambient light sensors 510 to be used for the approach presented here, which represent a different light sensor type than the light sensor at reference position 500 , or a combination of the same and different types of light sensors.
  • FIG. 5 An environment of 14 individual cells is selected in FIG. 5 (8 squares, 4
  • the measurement data of each of the light sensors 400 ie
  • Ambient light sensors 510, each weighted with a weighting value 340, and the weighted measurement data thus obtained are linked to one another and assigned to the reference position 500 as image data 350.
  • image data 350 at the reference position 500 is not only based on information that is actually provided by a light sensor at the
  • Reference position 500 was recorded or measured, but that the image data 350 assigned to the reference position 500 also contain information that was recorded or measured by the ambient light sensors 510. As a result, it is now possible to correct distortions or other imaging errors to a certain degree, so that the image data associated with the reference position 500 now come very close to those measurement data that a light sensor at the reference position 500 has without z. B. would record or measure the deviations from an ideal light energy distribution or the aberration.
  • weighting values 340 are used, which are determined or trained depending on the position of the light sensor 400 on the image sensor 115, to which the respective
  • Weighting values 340 are assigned. For example, you can
  • Weighting values 340 which are assigned to light sensors 400, which are located in the edge region 125 of the image sensor 115, have a higher value than weighting values 340, which are assigned to light sensors 400, which are located in the central region 120 of the image sensor 115. This allows
  • weighting values 340 which can be used for such processing or weighting are determined in advance in a training mode which will be described in more detail below and can be stored, for example, in the memory 345 shown in FIG. 3.
  • FIG. 6 shows a schematic top view of an image sensor 115, with light sensors surrounding the reference position 500 again being selected as ambient light sensors 510.
  • the number 126 individual ambient light sensors are now included in the calculation of the reference point 500, from which the possibility also arises to compensate for errors which produce a light energy distribution over a larger environment Has.
  • Weighting values 340 can be used for the ambient light sensor 510 can. This means, for example, that a first weighting value 340 can be used for a light sensor viewed as an ambient light sensor 510 if a first light property is to be reconstructed at the reference position 500 as the target and a second weighting value 340 different from the first weighting value 340 is used for the same ambient light sensor 510 if one at the reference position 500 another
  • FIG. 7 shows a schematic top view of an image sensor 115, which now also surrounds a reference position 500
  • Light sensors were selected as ambient light sensors 510. in the
  • Ambient light sensors 510 as shown in FIG. 7 are no longer taken exclusively from a light sensor block 520 but from the 350 individual ambient light sensors of a 5x5 unit cell 710 in FIG. 7 or 686 individual ambient light sensors of a 7x7 unit cell 720 in FIG. 7. Environments of any size can be selected, the shape is not limited to the shape of the unit cells and their multiples, and it is also not necessary to use all ambient light sensors for the reconstruction of the reference point. In this way, further information from a larger environment around the reference position 500 can be used in order to be able to compensate for imaging errors in the measurement data 310 recorded by the image sensor 115, as a result of which the corresponding resolution of the image of the object or the precision of the image data 350 can be increased again .
  • a corresponding weighting value 340 cannot be stored in the memory 345 for each of the light sensors 400 . Rather, for example, a corresponding one for each nth light sensor 400
  • Light sensor type on the image sensor 115 a weighting value 340 assigned to this position of the light sensor 400 as a weighting reference value in the
  • FIG. 8 shows a schematic illustration of a weighting value matrix 800, the points shown in the weighting value matrix 800 representing the
  • Weighting reference values 810 correspond to the weighting values 340 corresponding to every nth light sensor 400 of the corresponding light sensor type (to which the weighting value matrix 800 is assigned) at the corresponding position of the light sensor 400 on the image sensor 115 (ie in the edge region 125 or in the center region 120 of the image sensor 115). assigned.
  • Weighting values 340 which are assigned to light sensors 400 on the image sensor 115, which lie between two light sensors, one of each
  • Weighting reference value 810 is then assigned, for example by an (for example linear) interpolation from the neighboring ones
  • weighting value matrix 800 (for example for each light sensor type), which requires a significantly smaller memory size than if a correspondingly assigned weighting value 340 had to be stored for each light sensor 400.
  • FIG. 9 shows a block diagram of a schematic procedure as can be carried out in a processing device 325 according to FIG. 3.
  • the image sensor 115 or the
  • Preprocessing unit 320 (the measurement data 310 (or the image data 310 ') which read in, which, as measurement data or sensor data 900, form the measurement data which actually provide information and which were measured or recorded by the individual light sensors 400.
  • these measurement data 310 and 310 Position information 910 is also known, from which it can be seen at which position the relevant light sensor 400 is located in the image sensor 115, which has supplied the sensor data 900. For example, a conclusion can be drawn from this position information 910 as to whether the corresponding light sensor is located 400 is located in the edge area 125 of the image sensor 115 or rather in the central area 120 of the image sensor 115.
  • this position information 910 which is sent to the memory 345 for example via a position signal 915, all are stored in the memory 345
  • Weighting values 340 are determined which are available for position 910 and are output to the linking unit 335. The same sensor reading can be assigned a different weight for different reference positions and light properties to be reconstructed. In the memory 345, all weighting value matrices 800 are used according to their weighting from position 910, the respective weighting values 340 or
  • weighting reference values 810 which are assigned to the light sensor type from which the relevant measurement data 310 or 310 'or the relevant sensor data 900 were supplied. For reference positions for which 800 does not contain a specific value, the weights for position 910 are interpolated.
  • the measurement data 310 or 310 ′, respectively, respectively weighted with the assigned weighting values 340 or respectively with the assigned values, are then stored in a collection unit 920
  • Weighted values 340 collected weighted sensor data 900 and sorted according to their reference positions and reconstruction tasks and then added the collected and sorted weighted measurement data in an addition unit 925 in their group and the result obtained as weighted image data 350 of the respective reference positions and
  • the lower part of FIG. 9 shows a very advantageous implementation of the determination of the image data 350.
  • the output buffer 930 has, for example, a height of the light sensors 510 contained in the neighborhood. Each of the ambient light sensors 510 acts (differently weighted) on many
  • Reference positions 500 If all weighted values are available for a reference position 500 (which is shown as a column in FIG. 9), the result is output along the column. The column can then be used for a new reference value (circular buffer indexing). This has the advantage that each measured value is processed only once, but acts on many different output pixels (as reference positions 500), which is represented by the different columns. As a result, the imaginary logic from Figures 4 to 7 is “turned over” and hardware resources are saved.
  • the height of the memory depends on the amount of surrounding pixels and should have one line for each surrounding pixel
  • the width of the memory depends on the amount of those Design reference positions that can be influenced by each measured value.
  • the values determined from the output buffer 930 can then be further processed in one or more units, such as the units 940 and 950 shown in FIG. 9.
  • FIG. 10 shows a flow chart of an exemplary embodiment of the approach presented here as method 1000 for processing measurement data of an image sensor.
  • the method 1000 comprises a step 1010 of reading in measurement data that were recorded by light sensors (ambient light sensors) in the vicinity of a reference position on the image sensor, the light sensors being arranged around the reference position on the image sensor, wherein weighting values are also read in, each of the measurement data of the light sensors in a surrounding area are assigned to a reference position, the weighting values for light sensors arranged at an edge region of the image sensor being different from weighting values for one in one
  • light sensors ambient light sensors
  • the method 1000 comprises a step 1020 of linking the measurement data of the light sensors with the assigned weighting values in order to obtain image data for the reference position.
  • FIG. 11 shows a flow chart of an exemplary embodiment of the approach presented here as method 1100 for generating a
  • Weight value matrix for weighting measurement data from an image sensor.
  • the method 1100 comprises a step 1110 of reading in reference image data for reference positions of a reference image and training measurement data of a training image and an initial weight value matrix.
  • the method 1100 further comprises a step 1120 of training in the
  • Weight values contained in the initial weight value matrix using the reference image data and the training measurement data in order to obtain the weight value matrix a link being formed between training measurement data of the light sensors weighted with a weight value and with the reference measurement data is compared for the corresponding reference position, light sensors being used which are arranged around the reference position on the image sensor.
  • a weight value matrix can be obtained which, for light sensors at different positions on the image sensor, makes available corresponding different weighting values in order to enable the best possible correction of distortions or imaging errors in the measurement data of the image sensor, as is possible by the above described approach to processing measurement data of an image sensor can be implemented.
  • FIG. 12 shows a schematic illustration of an image sensor 115 with light sensors 400 arranged on the image sensor 115
  • a weighting value matrix 800 (either with the weighting reference values 810 or also with direct weighting values 340, which are each assigned to a single one of the light sensors 400), as is shown, for example, in FIG. 8, a reference image 1210 (to which the weighting value matrix 800 points out) can now be obtained ) and a training image 1220 (which represents the initial measurement data 310 of the image sensor 115 without the use of weighting values) can be used.
  • a reference image 1210 to which the weighting value matrix 800 points out
  • a training image 1220 which represents the initial measurement data 310 of the image sensor 115 without the use of weighting values
  • Leads light sensors 400 of the image sensor 115 which correspond to a recording of the measurement data 310 of the reference image 1210. For example, the interpolation of the values 800 is already taken into account.
  • the partial training images 1220 should be mapped to the partial reference images 1210 on the image sensor 115.
  • Such a procedure can also be used, for example, to determine weighting values by means of an interpolation, which are assigned to alternating 400 of the image sensor 115 and which lie in a region of the image sensor 115 which are not covered by a partial reference image 1210 or a partial training image 1220.
  • the approach presented here describes a method and its possible implementation in hardware.
  • the method is used to summarize correction of several error classes of image errors that arise from the physical image processing chain (optics and imager, atmosphere, windshield, motion blur).
  • it is intended for the correction of wavelength-dependent errors that occur when the light signal is scanned by the image sensor and its correction, the so-called “demosaicing”.
  • errors caused by the optics are corrected. This applies to errors due to manufacturing tolerances as well as to z. B. thermal or air pressure-related changes in imaging behavior. So z. B. the red-blue error is usually corrected differently in the image center than at the edge of the image, at high temperatures differently than at low temperatures. The same applies to an attenuation of the image signal at the edge (see shading).
  • the hardware block "Grid based demoasicing" in the form of the processing unit which is proposed as an example for correction, can correct all these errors simultaneously and, with a suitable light sensor structure, also maintain the quality of the geometric resolution and contrast better than conventional methods.
  • the method takes advantage of the fact that the optics have a point response, the effect of which mainly takes place in a limited spatial environment. It can thereby be deduced that a correction in a first approximation by a linear combination of the measured values of the Environment can take place. This first or linear approximation requires less computing performance and is similar to modern preprocessing layers of neural networks. Special advantages for current and future systems can be realized by directly correcting image errors directly in the imager module. Depending on the downstream processing logic, this can have a superlinear positive effect on the downstream algorithms, since image errors no longer need to be taken into account in the algorithms due to the correction, which is a great advantage especially for learning methods. The one presented here
  • an exemplary embodiment comprises a “and / or” link between a first feature and a second feature, this is to be read in such a way that the embodiment according to one embodiment has both the first feature and the second feature and according to a further embodiment either only that has the first feature or only the second feature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Input (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Facsimile Scanning Arrangements (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (1000) zum Verarbeiten von Messdaten (310, 310') eines Bildsensors (115). Das Verfahren (1000) umfasst einen Schritt des Einlesens (1010) von Messdaten (310, 310'), die von Lichtsensoren (510) in einer Umgebung einer Referenzposition (500) auf dem Bildsensor (115) aufgezeichnet wurden, wobei die Lichtsensoren (510) um die Referenzposition (500) auf dem Bildsensor (115) angeordnet sind, wobei ferner Gewichtungswerte (340) eingelesen werden, die je den Messdaten (310, 310') der Lichtsensoren (510) in einer Umgebung einer Referenzposition (500) zugeordnet sind, wobei sich die Gewichtungswerte (340) für an einem Randbereich (125) des Bildsensors (115) angeordnete Lichtsensoren (510) von Gewichtungswerten (340) für ein in einem Mittenbereich (120) des Bildsensor (115)s angeordnete Lichtsensoren (510) unterscheiden und/oder wobei die Gewichtungswerte (340) von einer Position der Lichtsensoren (510) auf dem Bildsensor (115) abhängig sind. Ferner umfasst das Verfahren (1000) einen Schritt des Verknüpfens(1020) der Messdaten (310, 310') der Lichtsensoren (510) mit den zugeordneten Gewichtungswerten (340), um Bilddaten (350) für die Referenzposition (500) zu erhalten.

Description

Beschreibung
Titel
Verfahren und Verarbeitungseinrichtung zum Verarbeiten von Messdaten eines
Bildsensors
Stand der Technik
Die Erfindung geht von einem Verfahren oder einer Verarbeitungseinrichtung nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Im herkömmlichen optischen Aufnahmesystemen besteht oftmals eine
Problematik in Bezug auf eine hinreichend präzise Abbildung von Bildern durch einen Bildsensor, da beispielsweise Abbildungsfehler optischer Komponenten eines realen Objektes in eine Mitte des Bildsensors eine andere Art Gestalt annehmen, als eine Abbildung des Objektes im Randbereich des Bildsensors. Zugleich können unterschiedliche Abbildungseigenschaften von Farben oder Farbverläufe an unterschiedlichen Positionen des Bildsensors auftreten, die eine suboptimale Darstellung oder Wiedergabe des realen Objektes durch den Bildsensor bewirken. Insbesondere durch die Farbfiltermaske stehen nicht an jedem Ort des Bildsensors alle Farben der Farbfiltermaske zur Verfügung.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, weiterhin eine Verarbeitungseinrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den
Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Verarbeitungseinrichtung möglich. Es wird daher ein Verfahren zum Verarbeiten von Messdaten eines Bildsensors vorgestellt, wobei dass Verfahren die folgenden Schritte aufweist:
Einlesen von Messdaten, die von Lichtsensoren in einer Umgebung einer Referenzposition auf dem Bildsensor aufgezeichnet wurden, wobei die Lichtsensoren um die Referenzposition auf dem Bildsensor angeordnet sind, wobei ferner Gewichtungswerte eingelesen werden, die jeden Messdaten der Lichtsensoren in einer Umgebung einer Referenzposition zugeordnet sind, wobei sich die Gewichtungswerte für an einem Randbereich des Bildsensors angeordnete Lichtsensoren von Gewichtungswerten für ein in einem
Mittenbereich des Bildsensors angeordnete Lichtsensoren unterscheiden und/oder wobei die Gewichtungswerte von einer Position der Lichtsensoren auf dem Bildsensor abhängig sind; und
Verknüpfen der Messdaten der Lichtsensoren mit den zugeordneten
Gewichtungswerten, um Bilddaten für die Referenzposition zu erhalten.
Unter Messdaten können Daten verstanden werden, die von einem Lichtsensor oder anderen Messeinheiten eines Bildsensors aufgezeichnet wurden und ein Abbild eines realen Objektes auf dem Bildsensor repräsentieren. Unter einer Referenzposition kann beispielsweise eine Position eines Lichtsensors einer Lichteigenschaft (z. B. ein rot gefilterter Spektralbereich) verstanden werden, für welchen andere Lichteigenschaften berechnet werden sollen (z. B grün und blau), oder dessen Messwert verarbeitet bzw. korrigiert werden soll. Die
Referenzpositionen bilden beispielsweise ein regelmäßiges Punktegitter welches es erlaubt die erzeugten Messdaten ohne weitere Nachverarbeitung als ein Bild auf einem System mit z.B. orthogonalem Anzeigegitter darzustellen (z. B. einem digitalen Computer-Display). Dabei kann die Referenzposition mit einer
Messposition oder der Position eines existierenden Lichtsensors übereinstimmen oder an einer beliebigen Stelle des durch die Achsen x und y Aufgespannten Sensor-Arrays liegen, wie es nachfolgend näher beschrieben ist. Unter einer Umgebung um eine Referenzposition eines Bildsensors können die
Lichtsensoren verstanden werden, welche in den angrenzenden anderen Zeilen - und/oder Spalten des Lichtsensorrasters eines Bildsensors an die
Referenzposition angrenzen. Beispielsweise bildet die Umgebung um die Referenzposition ein rechteckiges zweidimensionales Gebilde in welchem sich NxM Lichtsensoren unterschiedlicher Eigenschaften befinden. Unter einem Gewichtungswert kann beispielsweise ein Faktor verstanden werden, der mit den Messwerten der Lichtsensoren in der Umgebung der Referenzposition verknüpft oder gewichtet, beispielsweise multipliziert und das Ergebnis anschließend aufaddiert wird, um die Bilddaten für die Referenzposition zu erhalten. Hierbei können sich die Gewichtungswerte für Lichtsensoren abhängig von der Position auf dem Sensor unterscheiden, beispielsweise bezogen auf gleiche Lichtsensortypen, d. h. auf Lichtsensoren die zur Aufnahme von gleichen physikalischen Parametern ausgebildet sind. Dies bedeutet, dass die Sensorwerte oder Messdatenwerte von Lichtsensoren, die in einem
Randbereich des Bildsensors angeordnet sind, anders gewichtet werden, als die Messdatenwerte oder Werte von Lichtsensoren, die in einem Mittenbereich des Bildsensors angeordnet sind. Unter einem Verknüpfen kann beispielsweise eine Multiplikation von Messwerten der Lichtsensoren (d. h. der Lichtsensoren in der Umgebung der Referenzposition) mit den jeweils zugeordneten
Gewichtungswerten verstanden werden, gefolgt von beispielsweise einer Addition der jeweils gewichteten Messdatenwerte dieser Lichtsensoren.
Der hier vorgestellte Ansatz basiert auf der Erkenntnis, dass durch die
Gewichtung der Messdaten Lichtsensoren in Abhängigkeit von der jeweiligen Position auf dem Bildsensor eine technisch sehr einfache und elegante
Möglichkeit besteht, ungünstige Abbildungseigenschaften (wie z. B.
ortsabhängige oder thermische Veränderungen der Punktantwort„point spread function“) von optischen Komponenten (wie Linsen, Spiegeln oder ähnlichen) oder dem herkömmlichen Bildsensor selbst kompensieren können, ohne einen neuen, hoch-präzise arbeitenden, höher aufgelösten und teuren Bildsensor bzw. eine fehlerfrei abbildende teure Optik zu benötigen. Auf diese Weise kann durch die Gewichtung der Messdaten mit Gewichtungsfaktoren oder
Gewichtungswerten, die von einer Position des dem betreffenden Lichtsensor auf dem Bildsensor abhängig sind, diese ungünstige Abbildungseigenschaft korrigiert werden, wobei die Gewichtungswerte beispielsweise in einem vorangegangenen Verfahren oder zur Laufzeit eintrainiert oder ermittelt werden. Dieses Training kann beispielsweise für eine entsprechende Kombination aus Bildsensor und optischen Komponenten, also für ein konkretes optisches System vorgenommen werden, oder für Gruppen von Systemen mit ähnlichen Eigenschaften. Die trainierten Gewichtungswerte können nachfolgend in einem Speicher abgespeichert werden und für das hier vorgeschlagene Verfahren zu einem späteren Zeitpunkt ausgelesen werden.
Günstig ist eine Ausführungsform des hier vorgeschlagenen Ansatzes, bei der im Schritt des Einlesens Messdaten von Lichtsensoren eingelesen werden, die in je einer unterschiedlichen Zeile und/oder einer unterschiedlichen Spalte auf dem Bildsensor in Bezug zur Referenzposition angeordnet sind, insbesondere wobei die Lichtsensoren die Referenzposition vollständig umgeben. Unter einer Zeile kann vorliegend ein Bereich verstanden werden, der einen vorbestimmten Abstand zu einem Rand des Bildsensors hat. Unter einer Spalte kann vorliegend ein Bereich verstanden werden, der einen vorbestimmten Abstand zu einem anderen Rand des Bildsensors hat, wobei sich der die Spalte definierende Rand von einem die Zeile definierenden Rand unterscheidet. Dabei kann insbesondere der Rand, durch den die Zeilen definiert werden, in eine andere Richtung verlaufen oder senkrecht zu dem Rand sein, durch den die Zeilen definiert werden. Hierdurch können Bereiche auf dem Bildsensor unterschieden werden, ohne dass die Lichtsensoren selbst symmetrisch in Zeilen und Spalten auf dem Bildsensor positioniert sind (Matrix-förmig aufgebauter Bildsensor). Es ist vielmehr lediglich darauf abzustellen, dass die Lichtsensoren, die in der
Umgebung der Referenzposition an mehreren unterschiedlichen Seiten um die Referenzposition herum angeordnet sind. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil, die Bilddaten für die
Referenzposition unter Berücksichtigung von Effekten oder Messwerten von Lichtsensoren korrigieren zu können, die im direkten Umfeld um die
Referenzposition zu beobachten sind. Beispielsweise kann hierdurch eine kontinuierlich zunehmende Veränderung bei der Punkt-Abbildung eines realen Objektes von einem Mittenbereich des Bildsensors hin zu einem Randbereich sehr präzise berücksichtigt bzw. kompensiert werden.
Gemäß einer weiteren Ausführungsform des hier vorgeschlagenen Ansatzes können im Schritt des Einlesens Messdaten von den Lichtsensoren eingelesen werden, die je zur Aufnahme von Messdaten in unterschiedlichen Parametern, insbesondere Farben, Belichtungszeiten, der Helligkeiten oder anderer
Lichttechnischen Parametern ausgebildet sind. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes ermöglicht die Korrektur von unterschiedlichen physikalischen Parametern wie der Abbildung von Farben, den Belichtungszeiten und/oder die Helligkeiten an den Lichtsensoren in den unterschiedlichen
Positionen des Bildsensors.
Von Vorteil ist weiterhin eine Ausführungsform des hier vorgeschlagenen Ansatzes, bei der ein Schritt des Ermittelns der Gewichtungswerte unter Verwendung einer Interpolation von Gewichtungsreferenzwerten, insbesondere wobei die Gewichtungsreferenzwerte Lichtsensoren zugeordnet sind, die in einem vordefinierten Abstand voreinander auf dem Bildsensor angeordnet sind. Unter den Gewichtungsreferenzwerten können somit Gewichtungsstützwerte verstanden werden, die Gewichtungswerte für einzelne Lichtsensoren repräsentieren, die in dem vorbestimmten Abstand und/oder Position
voneinander auf den Bildsensor angeordnet sind. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil, dass nicht für jeden Lichtsensor auf dem Bildsensor ein entsprechend zugeordnete
Gewichtungswerte vorzusehen sind, sodass vorteilhaft eine Reduzierung des Speicherplatzes erreicht werden kann, der für die Implementierung des hier vorgeschlagenen Ansatzes vorzusehen ist. Diejenigen Gewichtungswerte für Lichtsensor oder Lichtsensoren, die zwischen den Lichtsensoren auf den Bildsensor angeordnet sind, denen Gewichtungsreferenzwerte zugeordnet sind, lassen sich dann durch eine technisch einfach zu implementierende Interpolation ermitteln, sobald diese Gewichtungswerte benötigt werden.
Vorteilhaft ist ferner eine Ausführungsform des hier vorgestellten Ansatzes, bei der die Schritte des Einlesens und des Verknüpfens wiederholt ausgeführt werden, wobei im wiederholt ausgeführten Schrittes des Einlesens als
Messdaten von Lichtsensoren eingelesen werden, die an einer anderen Position auf dem Bildsensor angeordnet sind als die Messdaten der Lichtsensoren, von denen in einem vorangegangenen Schritt des Einlesens Messdaten eingelesen wurden. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes ermöglicht die schrittweise Optimierung bzw. Korrektur von Messdaten für möglichst viele, gegebenenfalls fast alle sinnvoll zu betrachtenden
Referenzpositionen des Bildsensors, sodass eine Verbesserung der durch die Messdaten des Bildsensors repräsentierten Abbildung des realen Objektes ermöglicht wird.
Gemäß einer weiteren Ausführungsform können die Schritte des Einlesens und des Verknüpfens wiederholt ausgeführt werden, wobei im wiederholt
ausgeführten Schrittes des Einlesens Messdaten der Lichtsensoren in der Umgebung der Referenzposition ausgelesen werden, die auch im
vorangegangenen vorangegangenen Schritt des Einlesens eingelesen wurden, wobei ferner im wiederholt ausgeführten Schritt des Einlesens für diese
Messdaten andere Gewichtungswerte eingelesen werden, als den
Gewichtungswerten, die in dem vorangegangenen Schritt des Einlesens eingelesen wurden. Diese anderen Gewichtungswerte können beispielsweise für die Rekonstruktion von anderen Farbeigenschaften ausgelegt sein, als die Rekonstruktion von Farbeigenschaften, die im vorangegangenen Schritt des Einlesens beabsichtigt wurde. Denkbar ist auch, dass andere
Gewichtungsfaktoren für die selben Messwerte benutzt werden, um eine andere physikalische Eigenschaft des Lichtes aus den Messwerten zu erhalten. Es können auch bestimmte Gewichtungsfaktoren gleich Null werden. Dies kann beispielsweise vorteilhaft sein, wenn rote Farbe aus den Messwerten grüner, roter und blauer Lichtsensoren bestimmt werden sollen. In diesem Fall bietet es sich unter Umständen an die grünen und blauen Messdaten mit einem Faktor Null zu gewichten und somit zu ignorieren.
Die mehrfach wiederholte Ausführung des zuvor beschriebenen Verfahrens mit jeweils unterschiedlichen Gewichten stellt eine Sonderform dar, die es erlaubt Signale mit unterschiedlichen Signalrekonstruktionszielen für jede
Referenzposition zu berechnen, (z. B. kann die Rekonstruktion für das
Lichtmerkmals Helligkeit mit maximaler Auflösung eine andere Rekonstruktion erfordern als die Rekonstruktion des Merkmals Farbe usw.).
Unter einem Lichtsensortyp kann beispielsweise die Eigenschaft des
Lichtsensors zur Abbildung eines bestimmten physikalischen Parameters des Lichtes verstanden werden. Beispielsweise kann ein Lichtsensor eines ersten Lichtsensortyps dazu ausgebildet sein, bestimmte Farbeigenschaften des auf den Lichtsensor einfallenden Lichtes, wie beispielsweise rotes Licht, grünes Licht oder weißes Licht besonders gut zu erfassen, wogegen ein Lichtsensor eines anderen Lichtsensortyps dazu ausgebildet ist, die Helligkeit oder eine
Polarisationsrichtung des auf diesen Lichtsensor einfallenden Lichts besonders gut zu erfassen. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil, die vom Bildsensor erfassten Messdaten für unterschiedliche physikalische Parameter sehr effektiv korrigieren zu können und hierbei mehrere physikalische Parameter durch die jeweils entsprechende Korrektur für diese Parameter gemeinsam berücksichtigen zu können.
Gemäß einer weiteren Ausführungsform des hier vorgeschlagenen Ansatzes können auch im Schritt des Einlesens Messdaten von den Lichtsensoren unterschiedlicher Lichtsensortypen eingelesen werden. Eine solche
Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil, bei der Korrektur der Messdaten für die Bilddaten an der Referenzposition lediglich Messdaten von Umgebungs-Lichtsensoren zu verwenden, die unterschiedlichen Lichtsensortypen entsprechen. Auf diese Weise lässt sich sehr zuverlässig und robust eine Rekonstruktion der jeweils gewünschten Bilddaten an der
Referenzposition sicherstellen, da Messdaten bzw. gewichtete Bilddaten von unterschiedlichen Lichtsensortypen miteinander verknüpft werden, und so mögliche Fehler bei der Messung von Licht durch einen Lichtsensortyp möglichst gut kompensiert werden können.
Gemäß einer weiteren Ausführungsform des hier vorgeschlagenen Ansatzes können im Schritte des Einlesens die Messdaten von Lichtsensoren eines Bildsensors eingelesen werden, der zumindest teilweise eine zyklische
Anordnung von Lichtsensortypen als Lichtsensoren aufweist und/oder Messdaten von Lichtsensoren unterschiedlicher Größe auf dem Bildsensor eingelesen werden und/oder Messdaten von Lichtsensoren eingelesen werden, die je unterschiedliche Lichtsensortypen aufweisen, die eine unterschiedliche Fläche auf dem Bildsensor einnehmen. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil, Messdaten von entsprechenden Lichtsensoren der entsprechenden Lichtsensortypen technisch einfach und schnell verarbeiten oder verknüpfen zu können, ohne diese Messdaten von den entsprechenden Lichtsensortypen zuvor skalieren oder anderweitig für eine Verknüpfung vorbereiten zu müssen. Technisch besonders einfach umsetzen lässt sich eine Ausführungsform des vorgeschlagenen Ansatzes, bei der im Schritt des Verknüpfens die mit den zugeordneten Gewichtungswerten multiplikativ gewichteten Messdaten der Lichtsensoren aufaddiert werden, um die Bilddaten für die Referenzposition zu erhalten.
Von Vorteil ist eine Ausführungsform des hier vorgeschlagenen Ansatzes als Verfahren zur Erzeugung einer Gewichtswertematrix zur Gewichtung von Messdaten eines Bildsensors, wobei dass Verfahren die folgenden Schritte umfasst:
Einlesen von Referenzbilddaten für Referenzpositionen eines Referenzbildes und Trainingsmessdaten eines Trainingsbildes sowie einer
Ausgangsgewichtswertematrix; und
Trainieren von in der Ausgangsgewichtswertematrix enthaltenen
Gewichtswerten unter Verwendung der Referenzbilddaten und der
Trainingsmessdaten, um die Gewichtswertematrix zu erhalten, wobei eine Verknüpfung von mit je einem Gewichtswert gewichteten
Trainingsmessdaten der Lichtsensoren gebildet und mit den
Referenzmessdaten für die entsprechende Referenzposition verglichen wird, wobei Lichtsensoren verwendet werden, die um die Referenzposition auf dem Bildsensor angeordnet sind.
Unter Referenzbilddaten eines Referenzbildes können Messdaten verstanden werden, die ein Bild repräsentieren, welches als optimal betrachtet wird. Unter Trainingsmessdaten eines Trainingsbildes können Messdaten verstanden werden, die ein Bild repräsentieren, welches von Lichtsensoren eines
Bildsensors aufgenommen wurde, sodass beispielsweise die räumlichen
Variationen der Abbildungseigenschaften der optischen Komponenten oder der Abbildungseigenschaften des Bildsensors bzw. derer Wechselwirkung (z. B. Vignettierung) noch nicht kompensiert wurden. Unter einer
Ausgangsgewichtswertematrix kann eine Matrix von Gewichtungswerten verstanden werden, welche initial bereitgestellt wird, wobei die
Gewichtungswerte durch ein Training verändert oder angepasst werden, um die gemäß einer Variante des vorstehend beschriebenen Ansatzes eines Verfahrens zur Verarbeiten von Messdaten erhaltenen Bilddaten von Lichtsensoren des Trainingsbildes den Messdaten von Lichtsensoren des Referenzbildes anzupassen.
Durch die Verwendung des Verfahrens zur Erzeugung der Gewichtswertematrix lassen sich somit Gewichtswerte erzeugen, die nachfolgend für eine Korrektur oder Verarbeitung von Messdaten einer Abbildung eines Objekts durch den Bildsensor verwendet werden können. Hierbei lassen sich spezifische
Eigenschaften bei der Abbildung des realen Objektes in die Messdaten des Bildsensors korrigieren, sodass nachfolgend die Bilddaten das reale Objekt in der von den Bilddaten gewählten Darstellungsform günstiger beschreiben, als die Messdaten, die direkt aus dem Bildsensor ausgelesen werden können.
Beispielsweise kann für jeden Bildsensor, jedes optisches System oder jede Kombination aus Bildsensor oder optischem System eine individuelle
Gewichtswertematrix erstellt werden, um den herstellungsindividuellen
Gegebenheiten des Bildsensors, dem optischen System oder der Kombination aus Bildsensor oder optischem System ausreichen Rechnung zu tragen.
Besonders vorteilhaft ist eine Ausführungsform des hier vorgestellten Ansatzes, bei der im Schritt des Einlesens als Referenzbild und als Trainingsbild je ein Bild eingelesen wird, das einen Bildausschnitt repräsentiert, der kleiner als ein von dem Bildsensor erfassbares Bild ist. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil einer technisch bzw. numerisch deutlich einfacheren Bestimmung der Gewichtswertematrix, da nicht die
Messdaten des gesamten Referenzbildes bzw. des Trainingsbildes verwendet werden brauchen, sondern lediglich in Form von Stützpunktausschnitten einzelne Lichtsensor- Bereiche an bestimmten Positionen des Bildsensors herangezogen werden, um die Gewichtswertematrix zu berechnen. Hierbei kann beispielsweise zugrunde gelegt werden, dass eine Veränderung von Abbildungseigenschaften des Bildsensors von einem Mittenbereich des Bildsensors hinzu einem
Randbereich oftmals als abschnittsweise linear angenähert werden kann, sodass beispielsweise durch eine Interpolation die Gewichtswerte für diejenigen
Lichtsensoren ermitteln können, die nicht im Bereich der betreffende
Bildausschnitt des Referenzbildes bzw. des Trainingsbildes liegen. Varianten der hier vorgestellten Verfahren können beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware
beispielsweise in einer Verarbeitungseinrichtung implementiert sein.
Der hier vorgestellte Ansatz schafft ferner eine Verarbeitungseinrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer
Verarbeitungseinrichtung kann die der Erfindung zugrundeliegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Verarbeitungseinrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die
Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine
Kommunikationsschnittstelle, die leitungsgebundene Daten einiesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einiesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Verarbeitungseinrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Verarbeitungseinrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend
beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
Fig. 1 in Querschnittsansicht eine schematische Darstellung eines optischen
Systems mit einer Linse zur Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes;
Fig. 2 eine schematische Ansicht des Bildsensors in Aufsichtsdarstellung zur Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes;
Fig. 3 eine Blockschaltbild-Darstellung eines Systems zur Aufbereitung von dem als zweidimensional angeordnete Lichtsensor- Menge
ausgestalteten Bildsensor bereitgestellten Messdaten mit einer
Verarbeitungseinheit gemäß einem Ausführungsbeispiel des hier vorgestellten Ansatzes;
Fig. 4A eine schematische Aufsichtsdarstellung eines Bildsensors zur
Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes, in welchem Lichtsensoren unterschiedlicher Lichtsensortypen in einem zyklischen Muster angeordnet sind; Fig. 4B Darstellungen unterschiedlicher Lichtsensortypen, die sich in Form, Größe und Funktion unterscheiden können;
Fig. 4C Darstellungen von Makrozellen aus Zusammenschaltungen von
einzelnen Lichtsensorzellen;
Fig. 4D eine Darstellung einer komplexen Elementarzelle, welche die in dem in 4a vorgestellten Bildsensor die kleinste repetitive flächendeckende Gruppe von Lichtsensoren darstellt;
Fig. 5 nun eine schematische Aufsichtsdarstellung eines Bildsensors zur
Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes, bei der einige Lichtsensoren unterschiedlicher Form und/oder Funktion ausgewählt werden;
Fig. 6 eine schematische Aufsichtsdarstellung eines Bildsensors zur
Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes, wobei nun zu einer Referenzposition umgebende
Lichtsensoren als Messdaten-Iiefernde Lichtsensoren ausgewählt wurden, hier hervorgehoben eine Gruppe aus 3 x 3 Elementarzellen;
Fig. 7 eine schematische Aufsichtsdarstellung eines Bildsensors zur
Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes, wobei zu einer Referenzposition umgebende Lichtsensoren in unterschiedlich ausgedehnten Gebieten um den Lichtsensor ausgewählt wurden, hier am Beispiel einer 3x3, 5x5, 7x7 großen Gruppe von Elementarzellen;
Fig. 8 zeigt eine schematische Darstellung einer Gewichtungswertematrix zur Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes;
Fig. 9 ein Blockschaltbild einer schematischen Vorgehensweise, wie sie in einer Verarbeitungsvorrichtung gemäß Figur 3 ausgeführt werden kann; Fig. 10 ein Ablaufdiagramm eines Verfahrens zum Verarbeiten von Messdaten eines Bildsensors gemäß einem Ausführungsbeispiel;
Fig. 11 ein Ablaufdiagramm eines Verfahrens zur Erzeugung einer
Gewichtswertematrix zur Gewichtung von Messdaten eines Bildsensors gemäß einem Ausführungsbeispiel; und
Fig. 12 eine schematische Darstellung eines Bildsensors mit auf dem Bildsensor angeordneten Lichtsensor zur Verwendung in einem Verfahren zur Erzeugung einer Gewichtswertematrix zur Gewichtung von Messdaten eines Bildsensors gemäß einem Ausführungsbeispiel.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die, in den verschiedenen Figuren
dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche
Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Figur 1 zeigt in Querschnittsansicht eine schematische Darstellung eines optischen Systems 100 mit einer in eine optische Achse 101 ausgerichteten Linse 105, durch welche ein exemplarisch dargestelltes Objekt 110 auf einen Bildsensor 115 abgebildet wird. Hierbei ist aus der überzeichnet dargestellten Abbildung der Figur 1 erkennbar, dass ein Lichtstrahl 117, der in einem
Mittenbereich 120 des Bildsensors 115 auftrifft, einen geringeren Weg durch die Linse 105 nimmt, als ein Lichtstrahl 122, der durch einen Randbereich der Linse 105 tritt und ferner in einem Randbereich 125 des Bildsensors 115 auftrifft.
Neben einer Auswirkung bezüglich einer Helligkeitsreduktion im Lichtstrahl 122 durch den längeren Weg im Material der Linse 105 kann beispielsweise auch eine Veränderung der optischen Abbildung und/oder eine Änderung der spektralen Intensität in Bezug auf unterschiedliche Farben in diesem Lichtstrahl 122 verzeichnet werden, verglichen beispielsweise mit den entsprechenden Werten des Lichtstrahls 117. Denkbar ist ferner auch, dass der Bildsensor 115 nicht exakt planbar, sondern geringfügig konvex oder konkav ausgeformt ist oder gegenüber der optischen Achse 101 verkippt ist, sodass ebenfalls Veränderungen der Abbildung bei der Aufnahme der Lichtstrahlen 123 im Randbereich 125 des Bildsensors 115 resultieren. Dies führt dazu, dass
Lichtstrahlen, die im Randbereich 125 des Bildsensors 115 eintreffen, wenn auch nur geringfügig, so doch mit modernen Sensoren wahrnehmbare
unterschiedliche Eigenschaften haben, als Lichtstrahlen, die Mittenbereich 120 auf den Bildsensor 115 treffen, wobei eine solche Veränderung z. B. der lokalen Energieverteilung oder solche unterschiedliche Eigenschaften bei der
Auswertung des Abbildes des Objektes 110 durch die vom Bildsensor 115 gelieferten Daten möglicherweise unpräzise ist, sodass die von dem Bildsensor 115 gelieferten Messdaten gegebenenfalls für einige Anwendungen nicht hinreichend verwertbar sind. Das Problem taucht insbesondere in
hochaufgelösten Systemen auf.
Figur 2 zeigt eine schematische Ansicht des Bildsensors 115 in
Aufsichtsdarstellung, wobei nun exemplarisch durch das optische System 100 aus Figur 1 bewirkten Veränderung der Punktabbildung im Mittenbereich 120 gegenüber den Veränderungen der Punktabbildung im Randbereich 125 näher dargestellt sind. Der Bildsensor 115 umfasst hierbei eine Vielzahl von
Lichtsensoren 200, die Matrix-förmig in Zeilen und Spalten angeordnet sind, wobei die genaue Ausgestaltung dieser Lichtsensoren 200 nachfolgend noch näher beschrieben wird. Weiterhin wird ein erster Bereich 210 im Mittenbereich 120 des Bildsensors 115 dargestellt, in welchem beispielsweise der Lichtstrahl 117 aus Figur 1 auftrifft. Aus dem in der Figur 2 dargestellten kleinen Diagramm, dass dem ersten Bereich 210 zugeordnet ist und eine beispielhafte Auswertung einer bestimmten in diesem Bereich 210 des Bildsensors 115 detektierten spektrale Energieverteilung repräsentiert, ist erkennbar, dass der Lichtstrahl 117 in dem ersten Bereich 210 relativ scharf Punkt-förmig abgebildet wird.
Demgegenüber wird der Lichtstrahl 122, wenn er auf den Bereich 250 des Bildsensors 115 auftrifft, etwas "verschmiert“ dargestellt. Trifft ein Lichtstrahl auf einen der dazwischenliegenden Bildbereiche 220, 230, 240 des Bildsensors 115, so ist bereits aus den zugeordneten Diagrammen erkennbar, dass nun die spektrale Energieverteilung z. B. als Folge einer Abbildung durch asphärische Linsen verschiedene Gestalt annehmen kann, sodass eine punktgenaue
Detektion dieser von Farben und Intensitäten problematisch ist. Aus den jeweils zugeordneten Diagrammen ist erkennbar, dass die Energie der eintreffenden Lichtstrahlen nicht mehr scharf gebündelt ist und ortsabhängig unterschiedliche Gestalt annehmen kann, sodass die Abbildung des Objektes 110 durch die Messdaten des Bildsensors 115 insbesondere im Randbereich 125 des
Bildsensors 115 problematisch ist, wie es beispielsweise aus der Darstellung im Bildbereich 250 erkennbar ist. Sollen nun die von dem Bildsensor 115 gelieferten Messdaten für sicherheitskritische Anwendungen genutzt werden, beispielsweise für die Echtzeit- Erkennung von Objekten in einer Fahrzeugumgebung im
Einsatzszenario des autonomen Fahrens, ist möglicherweise eine hinreichend präzise Erkennung des Objektes 110 aus den von dem Bildsensor 115 gelieferten Messdaten nicht mehr möglich. Zwar können qualitativ hochwertige und deutlich höher auflösende optische Systeme mit homogeneren
Abbildungseigenschaften und höherauflösenden Bildsensoren verwendet werden, jedoch erfordert dies einerseits einen höheren technologischen Aufwand und andererseits erhöhte Kosten. Ausgehend von dieser Ausgangslage wird nun mit dem hier vorgestellten Ansatz eine Möglichkeit vorgestellt, die von den bisherig verwendeten Bildsensoren bereitgestellten Messdaten
schaltungstechnisch bzw. numerisch aufzubereiten, um eine verbesserte Auflösung der mit diesem Bildsensoren 115 gelieferten Messdaten zu erreichen.
Figur 3 zeigt eine Blockschaltbild-Darstellung eines Systems 300 zur
Aufbereitung von dem als Lichtsensor- Matrix ausgestalteten Bildsensor 115 bereitgestellten Messdaten 310. Zunächst werden die Messdaten 310 von dem Bildsensor 115 ausgegeben, die den jeweiligen Messwerten von Lichtsensoren 200 des Bildsensors 115 aus Fig. 2 entsprechen. Hierbei können die
Lichtsensoren des Bildsensors 115, wie nachfolgend noch näher beschrieben wird, unterschiedlich in Form, Position und Funktion aufgebaut sein und neben entsprechenden spektralen Werten, also Farbwerten, auch die Parameter Intensität, Helligkeit, Polarisation, Phase oder dergleichen erfassen.
Beispielsweise kann eine solche Erfassung dadurch erfolgen, dass einzelne Lichtsensoren des Bildsensors 115 durch entsprechende Farbfilter,
Polarisationsfilter oder dergleichen abgedeckt sind, sodass darunterliegende Lichtsensoren des Bildsensors 115 lediglich einen bestimmten Anteil der Strahlungsenergie mit einer bestimmten Eigenschaft des auf den Lichtsensor eintreffenden Lichtes erfassen und als entsprechenden Messdatenwert dieses Lichtsensors bereitstellen kann. Zunächst können diese Messdaten 310 (optional) in einer Einheit 320 vorverarbeitet werden. Je nach Ausführung können die vorverarbeiteten Bilddaten, die der Einfachheit halber noch als Messdaten 310' bezeichnet werden können, einer Verarbeitungseinheit 325 zugeführt werden, in der beispielsweise der nachfolgend noch näher beschriebene Ansatz in der Form einer Gitter- Basis- Korrektur implementiert wird. Hierzu werden die Messdaten 310' über eine Einleseschnittstelle 330 eingelesen und einer
Verknüpfungseinheit 335 zugeführt. Zugleich können Gewichtungswerte 340 aus einem Gewichtungswertespeicher 345 ausgelesen und ebenfalls über die Einleseschnittstelle 330 der Verknüpfungseinheit 335 zugeführt werden. In der Verknüpfungseinheit 335 werden dann beispielsweise gemäß der nachfolgend noch detaillierter ausgeführten Beschreibung die Messdaten 310‘ von den einzelnen Lichtsensoren mit Gewichtungswerten 340 verknüpft und die entsprechend erhaltenen Bilddaten 350 in einer oder mehreren parallelen oder sequenziellen Verarbeitungseinheiten weiterverarbeitet werden können.
Figur 4A zeigt eine schematische Aufsichtsdarstellung eines Bildsensors 115, in welchem Lichtsensoren 400 unterschiedlicher Lichtsensortypen in einem zyklischen Muster angeordnet sind. Die Lichtsensoren 400 können hierbei den Lichtsensoren 200 aus Fig. 2 entsprechen und als Pixel des Bildsensors 115 implementiert sein. Hierbei können die Lichtsensoren 400 der unterschiedlichen Lichtsensortypen beispielsweise unterschiedlich groß, unterschiedlich orientiert, mit unterschiedlichen spektralen Filtern behaftet sein oder andere
Lichteigenschaften erfassen.
Auch können die Lichtsensoren 400 als Sensorzellen Sl, S2, S3 oder S4 aufgebaut sein, wie es in der Fig. 4B erkennbar ist, die je einen Abtastpunkt für auf die Sensorzelle S fallendes Licht bilden, wobei diese Abtastpunkte als im Schwerpunkt der jeweiligen Sensorzellen gelegen angesehen werden können. Auch können die einzelnen Sensorzellen S zu Makrozellen M zusammengefasst werden, wie es in der Fig. 4C dargestellt ist, die je eine gemeinsame
adressierbare Gruppe aus Sensorzellen S bilden. Als Elementarzelle kann eine kleinste repetitive Gruppe von Sensorzellen bezeichnet werden wie z. B. in Fig. 4D in einer komplexen Form dargestellt. Die Elementarzelle kann auch eine unregelmäßige Struktur aufweisen. Die einzelnen Lichtsensoren 400 in Fig. 4 können mehrfach in einer
Elementarzelle Vorkommen oder einzigartige Eigenschaften aufweisen. Die Lichtsensoren 400 sind ferner bei Aufsicht auf den Bildsensor 115 sowohl in vertikaler als auch horizontaler Richtung in einer zyklischen Abfolge angeordnet, dabei liegen diese auf einem pro Sensortyp eigenen Gitter gleicher oder unterschiedlicher Periodizität. Diese vertikale als auch horizontale Richtung der Anordnung von Lichtsensoren in einer zyklischen Abfolge kann auch als Zeilen- bzw. Spaltenweise Anrodung der Lichtsensoren verstanden werden. Es können sich Regelmäßigkeit des Pattern auch Modulo n ergeben kann, d. h., dass die Struktur nicht in jeder Zeile/Spalten sichtbar wird. Ergänzend kann noch gesagt werden, dass jede zyklisch wiederholende Anordnung von Lichtsensoren von dem hier beschriebenen Verfahren genutzt werden kann, wenn gleich Zeilen und spaltenähnliche Anordnungen aktuell üblich sind.
Figur 5 zeigt nun eine schematische Aufsichtsdarstellung eines Bildsensors 115, bei der einige Lichtsensoren 400 aus einer zu gewichtenden Gruppe 515 in einer Umgebung eines Referenzposition 500 ausgewählt und durch eine nachfolgend noch näher beschriebenen Gewichtung gewichtet werden, um die vorstehend genannten Problematik zu lösen, dass durch den Bildsensor 115 nicht optimal verwendbare Messdaten 310 bzw. 310' entsprechend der Fig. 3 geliefert werden. Speziell wird hierbei eine Referenzposition 500 ausgewählt und mehrere
Lichtsensoren 510 in der Umgebung zu diesem Referenzposition 500 definiert, wobei die Lichtsensoren 510 (die auch als Umgebungslichtsensoren 510 bezeichnet werden können) beispielsweise in einer anderen Spalte und/oder einer anderen Zeile als die Referenzposition 500 auf dem Bildsensor 115 angeordnet sind. Als Referenzposition 500 dient hierbei eine (virtuelle) Position auf dem Bildsensor 115, die als Bezugspunkt für eine Rekonstruktion von zu bildenden Bilddaten für diese Referenzposition dient, das heißt, dass die aus den Messdaten der Umgebungslichtsensoren 510 zu rekonstruierenden Bilddaten den auszugebenden bzw. in einem nachfolgenden Verfahren auszuwertenden Bildparameter an dieser Referenzposition definiert. Die Referenzposition 500 braucht nicht zwingend an einen Lichtsensor gebunden sein; vielmehr können auch Bilddaten 350 für eine Referenzposition 500 ermittelt werden, die zwischen zwei Lichtsensoren 510 oder ganz außerhalb eines Bereichs eines Lichtsensors 510 liegt. Die Referenzposition 500 braucht also keine Dreieck- oder Kreisform haben, die beispielsweise an die Form eines Lichtsensors 510 angelehnt ist. Dabei können als Umgebungslichtsensoren 510 Lichtsensoren des gleichen Lichtsensortyps ausgewählt werden, wie ein Lichtsensor an der Referenzposition 500. Es können jedoch auch Lichtsensoren als für den hier vorgestellten Ansatz zu verwendende Umgebungslichtsensoren 510 ausgewählt werden, die einen anderen Lichtsensortyp als der Lichtsensor an der Referenzposition 500 darstellen, oder eine Kombination aus gleichen und andersartigen Lichtsensoren.
In Fig.5 ist eine Umgebung von 14 Einzelzellen gewählt (8 Quadraten, 4
Dreiecken und 2 Sechsecken) die eine relative Lage um den Referenzpunkt 500 aufweisen. Dabei brauchen die Umgebungslichtsensoren, die zur Rekonstruktion des Referenzpunktes verwendet werden nicht notwendigerweise benachbart sein oder die gesamte Fläche eines Sensorblockes 515 abdecken.
Um nun eine Korrektur der Abbildungseigenschaften des optischen Systems 100 gemäß Figur 1 bzw. der Erkennungsgenauigkeit des Bildsensors 115 zu verbessern, werden die Messdaten jedes der Lichtsensoren 400, also
beispielsweise eines Lichtsensors an der Referenzposition 500 und der
Umgebungslichtsensoren 510 mit je einem Gewichtungswert 340 gewichtet und die hierdurch erhaltenen gewichteten Messdaten miteinander verknüpft und als Bilddaten 350 der Referenzposition 500 zugeordnet. Hierdurch lässt sich erreichen, dass die Bilddaten 350 an der Referenzposition 500 nicht nur auf einer Information basiert, die tatsächlich durch einen Lichtsensor an der
Referenzposition 500 erfasst bzw. gemessen wurde, sondern dass die der Referenzposition 500 zugeordneten Bilddaten 350 auch Informationen enthalten, die durch die Umgebungslichtsensoren 510 erfasst bzw. gemessen wurden. Hierdurch ist es nun möglich, Verzerrungen oder andere Abbildungsfehler zu einem gewissen Grad zu korrigieren, sodass nun die der Referenzposition 500 zugeordneten Bilddaten denjenigen Messdaten sehr nahe kommen, die ein Lichtsensor an der Referenzposition 500 ohne z. B. die Abweichungen von einer idealen Lichtenergieverteilung bzw. den Abbildungsfehler aufnehmen oder messen würde.
Um nun möglichst eine gute Korrektur der Abbildungsfehler in den Messdaten durch diese Gewichtung vornehmen zu können, sollten Gewichtungswerte 340 verwendet werden, die in Abhängigkeit von der Position des Lichtsensors 400 auf dem Bildsensor 115 bestimmt oder trainiert werden, denen die jeweiligen
Gewichtungswerte 340 zugeordnet sind. Beispielsweise können
Gewichtungswerte 340, die Lichtsensoren 400 zugeordnet sind, welche sich im Randbereich 125 des Bildsensors 115 befinden, einen höheren Wert aufweisen, als Gewichtungswerte 340, die Lichtsensoren 400 zugeordnet sind, die sich im Mittenbereich 120 des Bildsensors 115 befinden. Hierdurch lässt sich
beispielsweise eine höhere Dämpfung kompensieren, die dadurch verursacht wird, dass ein Lichtstrahl 122 einen längeren Weg durch ein Material einer optischen Komponente wie der Linse 105 passiert. Bei der nachfolgenden Verknüpfung der gewichteten Messdaten für die Lichtsensoren 400 bzw. 510 im Randbereich 125 des Bildsensors 115 lässt sich hierdurch somit möglichst wieder ein Zustand zurück rechnen, der ohne einen Abbildungsfehler durch das optische System oder dem Bildsensor 115 erhalten würde. Insbesondere können dadurch bei geschickter Wahl der Gewichte Abweichungen in der Punkt- Abbildung und/oder Färb- und/oder Luminanz- und/oder Moire-Effekte reduziert werden.
Die Gewichtungswerte 340, die für eine solche Verarbeitung bzw. Gewichtung verwendet werden können, werden in einem nachfolgenden noch näher beschriebenen Trainingsmodus vorab bestimmt und können beispielsweise in dem in Figur 3 dargestellten Speicher 345 abgelegt sein.
Figur 6 zeigt eine schematische Aufsichtsdarstellung eines Bildsensors 115, wobei nun ebenfalls wieder die Referenzposition 500 umgebende Lichtsensoren als Umgebungslichtsensoren 510 ausgewählt wurden. Im Gegensatz zu der Auswahl der Referenzposition 500 und der Umgebungslichtsensoren 510 gemäß Fig 5. sind nun an der Zahl 126 individuelle Umgebungslichtsensoren in die Berechnung des Referenz- Punktes 500 einbezogen, woraus die Möglichkeit resultiert auch Fehler zu kompensieren die eine Lichtenergieverteilung auf eine größere Umgebung erzeugt hat.
Angemerkt werden kann ferner, dass für die Zielstellung von unterschiedlichen Lichteigenschaften an der Referenzposition 500 auch unterschiedliche
Gewichtungswerte 340 für die Umgebungslichtsensor 510 verwendet werden können. Dies bedeutet beispielsweise, dass für einen als Umgebungslichtsensor 510 betrachteten Lichtsensor ein erster Gewichtungswert 340 verwendet werden kann, wenn an der Referenzposition 500 als Ziel eine erste Lichteigenschaft rekonstruiert werden soll vorliegt und für den gleichen Umgebungslichtsensor 510 ein vom ersten Gewichtungswert unterschiedlicher zweiter Gewichtungswert 340 verwendet wird, wenn ein an der Referenzposition 500 eine andere
Lichteigenschaft darstellt werden soll.
Figur 7 zeigt eine schematische Aufsichtsdarstellung eines Bildsensors 115 wobei nun ebenfalls wieder zu einer Referenzposition 500 umgebende
Lichtsensoren als Umgebungslichtsensoren 510 ausgewählt wurden. Im
Unterschied zu der Darstellung aus den Figuren 5 und 6 sind die
Umgebungslichtsensoren 510 gemäß der Darstellung aus der Figur 7 nun nicht mehr ausschließlich aus einem Lichtsensorblock 520 sondern aus den 350 einzelnen Umgebungslichtsensoren einer 5x5 Elementarzelle 710 in Fig7 oder 686 einzelnen Umgebungs-Lichtsensoren einer 7x7 Elementarzelle 720 in Fig 7 berücksichtigt. Umgebungen beliebiger Größe sind wählbar, die Form ist nicht auf die Form der Elementarzellen und deren Vielfachen beschränkt und es müssen auch nicht alle Umgebungslichtsensoren für die Rekonstruktion des Referenzpunktes verwendet werden. Auf diese Weise lassen sich weitere Informationen aus einer größeren Umgebung um die Referenzposition 500 nutzen, um Abbildungsfehler der von dem Bildsensor 115 aufgenommenen Messdaten 310 kompensieren zu können, wodurch die entsprechende Auflösung der Abbildung des Objektes bzw. die Präzision der Bilddaten 350 nochmals gesteigert werden kann.
Um möglichst eine Reduktion der zur Ausführung des hier vorgeschlagenen Ansatzes erforderlichen Speichergröße des Speichers 345 (der beispielsweise ein Cache-Speicher sein kann) zu ermöglichen, kann gemäß einem weiteren Ausführungsbeispiel nicht für jedes der Lichtsensoren 400 ein entsprechender Gewichtungswert 340 in dem Speicher 345 abgelegt sein. Vielmehr kann beispielsweise für jeden n-ten Lichtsensor 400 eines entsprechenden
Lichtsensortyps auf dem Bildsensor 115 ein dieser Position des Lichtsensors 400 zugeordneter Gewichtungswert 340 als Gewichtungsreferenzwert in dem
Speicher 345 abgelegt sein. Figur 8 zeigt eine schematische Darstellung einer Gewichtungswertematrix 800, wobei die in der Gewichtungswertematrix 800 dargestellten Punkte den
Gewichtungsreferenzwerten 810 als den Gewichtungswerten 340 entsprechen, die jedem n-te Lichtsensor 400 des entsprechenden Lichtsensortyps (dem die Gewichtungswertematrix 800 zugeordnet ist) an der entsprechenden Position des Lichtsensors 400 auf dem Bildsensor 115 (d. h. im Randbereich 125 oder im Mittenbereich 120 des Bildsensors 115) zugeordnet sind. Diejenigen
Gewichtungswerte 340, die Lichtsensoren 400 auf dem Bildsensor 115 zugeordnet sind, die zwischen zwei Lichtsensoren liegen, denen je ein
Gewichtungsreferenzwert 810 zugeordnet ist, lassen sich dann beispielsweise durch eine (beispielsweise lineare) Interpolation aus den benachbarten
Gewichtungsreferenzwerten 810 ermitteln. Auf diese Weise lässt sich
(beispielsweise für jeden Lichtsensortyp) eine Gewichtungswertematrix 800 verwenden, die eine deutlich geringere Speichergröße erfordert, als wenn für jeden Lichtsensor 400 ein entsprechend zugeordneter Gewichtungswert 340 abgespeichert werden müsste.
Figur 9 zeigt ein Blockschaltbild einer schematischen Vorgehensweise, wie sie in einer Verarbeitungsvorrichtung 325 gemäß Figur 3 ausgeführt werden kann. Hierbei werden zunächst von dem Bildsensor 115 (oder der
Vorverarbeitungseinheit 320 (die Messdaten 310 (bzw. die vor Bilddaten 310') eingelesen, die als Messdaten oder Sensordaten 900 die eigentlich Informations liefernden Messdaten bilden, die von den einzelnen Lichtsensoren 400 gemessenen oder erfasst wurden. Zugleich ist aus diesen Messdaten 310 bzw. 310' auch eine Positionsinformation 910 bekannt, aus der zu entnehmen ist, an welcher Position sich das betreffende Lichtsensor 400 im Bildsensor 115 befindet, welches die Sensordaten 900 geliefert hat. Beispielsweise kann aus dieser Positionsinformation 910 einen Rückschluss darauf gezogen werden, ob sich der entsprechende Lichtsensor 400 im Randbereich 125 des Bildsensors 115 oder eher im Mittenbereich 120 des Bildsensors 115 befindet. Abhängig von dieser Positionsinformation 910, die beispielsweise über ein Positionssignal 915 an den Speicher 345 gesendet wird, werden im Speicher 345 alle
Gewichtungswerte 340 ermittelt die für die Position 910 zur Verfügung stehen und an die Verknüpfungseinheit 335 ausgegeben. Derselbe Sensormesswert kann hierbei für unterschiedliche Referenzpositionen und zu rekonstruierenden Lichteigenschaften je ein anderes Gewicht zugeordnet bekommen. Im Speicher 345 werden hierbei alle Gewichtungswertematrizen 800 gemäß ihrer Gewichtung von Position 910 verwendet, die jeweils Gewichtungswerte 340 oder
Gewichtungsreferenzwerte 810 enthält, die dem Lichtsensortyp zugeordnet sind, von dem die betreffenden Messdaten 310 bzw. 310' respektive die betreffenden Sensordaten 900 geliefert wurden. Für Referenzpositionen für die 800 keinen konkreten Wert enthält werden die Gewichte für Position 910 interpoliert.
In der Verarbeitungseinheit 335 werden dann zunächst in einer Sammeleinheit 920 die jeweils mit den zugeordneten Gewichtungswerten 340 gewichteten Messdaten 310 bzw. 310' respektive die mit den zugeordneten
Gewichtungswerten 340 gewichteten Sensordaten 900 gesammelt und gemäß ihrer Referenzpositionen und Rekonstruktionsaufgaben sortiert und anschließend die gesammelten und sortierten gewichteten Messdaten in einer Additionseinheit 925 in ihrer Gruppe addiert und das hieraus erhaltene Ergebnis als gewichtete Bilddaten 350 der jeweils zu Grunde gelegten Referenzpositionen und
Rekonstruktionsaufgabe 500 zugeordnet.
Der untere Teil der Fig. 9 zeigt eine sehr vorteilhafte Implementierung der Ermittlung der Bilddaten 350. Der Output Buffer 930 hat beispielsweise eine Höhe der in der Nachbarschaft enthaltenen Lichtsensoren 510. Jeder der Umgebungslichtsensoren 510 wirkt (unterschiedlich gewichtet) auf viele
Referenzpositionen 500. Wenn zu einer Referenzposition 500 (die in der Fig. 9 als Spalte dargestellt ist) alle gewichteten Werte vorliegen, wird entlang der Spalte addiert das Ergebnis ausgegeben. Die Spalte kann dann für einen neuen Referenzwert benutzt werden (cirular buffer indexing). Hieraus ergibt sich als Vorteil, dass jeder Messwert nur einmal verarbeitet wird, aber auf viele verschiedene Ausgangspixel (als Referenzpositionen 500) wirkt, was durch die verschiedenen Spalten dargestellt ist. Dadurch wird die gedachte Logik aus Figuren 4 bis 7„umgedreht“ und so Hardware Ressourcen gespart. Die Höhe des Speichers (Anzahl der Zeilen) richtet sich dabei nach der Menge der Umgebungspixel und sollte für jeden Umgebungspixel eine Zeile aufweisen, die Breite des Speichers (Anzahl der Spalten) ist nach der Menge derjenigen Referenzpositionen auszulegen die von jedem Messwert beeinflusst werden können.
Die aus dem Output Buffer 930 ermittelten Werte können dann in einer oder mehreren Einheiten wie den in der Fig. 9 dargestellten Einheiten 940 und 950 weiterverarbeitet werden.
Figur 10 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des hier vorgestellten Ansatzes als Verfahren 1000 zum Verarbeiten von Messdaten eines Bildsensors. Das Verfahren 1000 umfasst einen Schritt 1010 des Einlesens von Messdaten, die von Lichtsensoren (Umgebungslichtsensoren) in einer Umgebung einer Referenzposition auf dem Bildsensor aufgezeichnet wurden, wobei die Lichtsensoren um die Referenzposition auf dem Bildsensor angeordnet sind, wobei ferner Gewichtungswerte eingelesen werden, die jeden Messdaten der Lichtsensoren in einer Umgebung einer Referenzposition zugeordnet sind, wobei sich die Gewichtungswerte für an einem Randbereich des Bildsensors angeordnete Lichtsensoren von Gewichtungswerten für ein in einem
Mittenbereich des Bildsensors angeordnete Lichtsensoren unterscheiden und/oder wobei die Gewichtungswerte von einer Position der Lichtsensoren auf dem Bildsensor abhängig sind. Schließlich umfasst das Verfahren 1000 einen Schritt 1020 des Verknüpfens der Messdaten der Lichtsensoren mit den zugeordneten Gewichtungswerten, um Bilddaten für die Referenzposition zu erhalten.
Figur 11 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des hier vorgestellten Ansatzes als Verfahren 1100 zur Erzeugung einer
Gewichtswertematrix zur Gewichtung von Messdaten eines Bildsensors. Das Verfahren 1100 umfasst einen Schritt 1110 des Einlesens von Referenzbilddaten für Referenzpositionen eines Referenzbildes und Trainingsmessdaten eines Trainingsbildes sowie einer Ausgangsgewichtswertematrix. Ferner umfasst das Verfahren 1100 einen Schritt 1120 des Trainierens von in der
Ausgangsgewichtswertematrix enthaltenen Gewichtswerten unter Verwendung der Referenzbilddaten und der Trainingsmessdaten, um die Gewichtswertematrix zu erhalten, wobei eine Verknüpfung von mit je einem Gewichtswert gewichteten Trainingsmessdaten der Lichtsensoren gebildet und mit den Referenzmessdaten für die entsprechende Referenzposition verglichen wird, wobei Lichtsensoren verwendet werden, die um die Referenzposition auf dem Bildsensor angeordnet sind.
Durch einen solchen Ansatz lässt sich eine Gewichtswertematrix erhalten, die für Lichtsensor an unterschiedlichen Positionen auf dem Bildsensor jeweils entsprechende, unterschiedliche Gewichtungswerte zur Verfügung stellt, um eine möglichst optimale Korrektur von Verzerrungen oder Abbildungsfehlern in den Messdaten des Bildsensors zu ermöglichen, wie es durch den vorstehend beschriebenen Ansatz zum Verarbeiten von Messdaten eines Bildsensors implementiert werden kann.
Figur 12 zeigt eine schematische Darstellung eines Bildsensors 115 mit auf dem Bildsensor 115 angeordneten Lichtsensoren 400. Um nun die
Gewichtungswertematrix 800 (entweder mit dem Gewichtungsreferenzwerten 810 oder auch mit direkten Gewichtungswerten 340, die je einem einzelnen der Lichtsensoren 400 zugeordnet sind) zu erhalten, wie sie beispielsweise in der Figur 8 dargestellt ist, kann nun ein Referenzbild 1210 (auf welches hin die Gewichtungswertematrix 800 werden sollen) und ein Trainingsbild 1220 (welches die initialen Messdaten 310 des Bildsensors 115 ohne die Verwendung von Gewichtungswerten) repräsentiert, verwendet werden. Hierbei sollte versucht werden, die Gewichtungswerte derart zu bestimmen, dass die Ausführungen des vorstehend beschriebenen Verfahren zum Verarbeiten der Messdaten 310 bei Aufnahme des Trainingsbildes 1220 unter Berücksichtigung der
Gewichtungswerte auf verarbeitete Messdaten 350 für die einzelnen
Lichtsensoren 400 des Bildsensors 115 führt, die einer Aufnahme der Messdaten 310 des Referenzbildes 1210 entsprechen. Dabei wird beispielsweise die Interpolation der Werte 800 auch schon berücksichtigt.
Um auch einen Aufwand sowohl in numerischer und/oder schaltungstechnischer Hinsicht gering halten zu können, ist es auch denkbar, dass als Referenzbild und als Trainingsbild je ein Bild eingelesen wird, das einen Bildausschnitt
repräsentiert, der kleiner als ein von dem Bildsensor 115 erfassbares Bild ist, wie es in der Figur 12 dargestellt ist. Denkbar ist auch dass mehrere unterschiedliche Teil-Trainingsbilder 1220 verwendet werden, die zur Bestimmung der Gewichtungswerte zur Erreichung von Messdaten entsprechend zugeordneter Teil-Referenzbilder 1210 eingesetzt werden. Hierbei sollte die Teil- Trainingsbilder 1220 deckungsgleich mit den Teil-Referenzbildern 1210 auf dem Bildsensor 115 abgebildet werden. Durch ein solches Vorgehen lassen sich auch beispielsweise durch eine Interpolation Gewichtungswerte bestimmen, die wechselnden 400 des Bildsensors 115 zugeordnet sind, welche in einem Bereich des Bildsensors 115 liegen, welches nicht durch ein Teil-Referenzbild 1210 bzw. ein Teil-Trainingsbild 1220 abgedeckt sind.
Zusammenfassend ist anzumerken, dass der hier vorgestellte Ansatz eine Methode und deren mögliche Umsetzung in einer Hardware beschreibt. Die Methode dient der zusammenfassenden Korrektur mehrerer Fehlerklassen von Bildfehlern welche durch die physikalische Bildverarbeitungskette (Optik und Imager, Atmosphäre, Windschutzscheibe, Bewegungsunschärfe) entstehen. Insbesondere ist sie für die Korrektur von Wellenlängenabhängigen Fehlern die beim Abtasten des Lichtsignals durch den Bildsensor und deren Korrektur, dem sogenanntem„demosaicing“, vorgesehen. Des Weiteren werden Fehler die durch die Optik entstehen korrigiert. Das gilt für Fertigungstoleranzbedingte Fehler genauso wie für im Betrieb induzierte z. B. thermisch oder Luftdruck bedingte Veränderungen des Abbildungsverhaltens. So ist z. B. der Rot-Blau- Fehler üblicherweise im Bildzentrum anders zu korrigieren als am Bildrand, bei hohen Temperaturen anders als bei geringen Temperaturen. Dasselbe gilt für eine Abschwächung des Bildsignals am Rand (siehe shading).
Der beispielhaft zur Korrektur vorgeschlagene Hardware- Block„Grid based demoasicing“’ in der Form der Verarbeitungseinheit kann alle diese Fehler simultan korrigieren und dabei zusätzlich bei geeigneter Lichtsensorstruktur auch die Qualität der geometrischen Auflösung und des Kontrasts besser als herkömmliche Methoden erhalten.
Zusätzlich wird erläutert wie ein Trainingsverfahren zur Bestimmung der Parameter aussehen könnte. Die Methode nutzt aus, dass die Optik eine Punktantwort besitzt, deren Wirkung hauptsächlich in einer begrenzten räumlichen Umgebung stattfindet. Dadurch kann abgeleitet werden, dass eine Korrektur in erster Näherung durch eine Linearkombination der Messwerte der Umgebung stattfinden kann. Diese erste bzw. lineare Näherung benötigt weniger Rechnenperformance und ist modernen Vorverarbeitungslayern von neuronalen Netzen ähnlich. Es lassen sich spezielle Vorteile für aktuelle und zukünftige Systeme durch eine direkte Korrektur von Bildfehlern direkt im Imager-Baustein realisieren. Je nach nachgeschalteter Verarbeitungslogik kann dies einen superlinearen positiven Effekt auf die nachgelagerten Algorithmen haben, da durch die Korrektur Bildfehler nicht mehr in den Algorithmen beachtet werden brauchen, was insbesondere für lernende Verfahren ein großer Vorteil ist. Der hier vorgestellte
Ansatz zeigt, wie sich dieses Verfahren als Hardware- Blockschaltbild in einer allgemeineren Form realisieren lässt. Diese allgemeinere Methodik erlaubt es auch andere Merkmale als die visuelle Bildqualität zu verbessern. Zum Beispiel könnten direkt die für das Maschinensehen wichtigen Kantenmerkmale hervorgehoben werden, wenn der Messdatenstrom nicht für ein anzeigendes
System vorgesehen ist.
Umfasst ein Ausführungsbeispiel eine„und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Ansprüche
1. Verfahren (1000) zum Verarbeiten von Messdaten (310, 310’) eines Bildsensors (115), wobei das Verfahren (1000) die folgenden Schritte aufweist:
Einlesen (1010) von Messdaten (310, 310’), die von Lichtsensoren (510) in einer Umgebung einer Referenzposition (500) auf dem Bildsensor (115) aufgezeichnet wurden, wobei die Lichtsensoren (510) um die Referenzposition (500) auf dem Bildsensor (115) angeordnet sind, wobei ferner Gewichtungswerte (340) eingelesen werden, die je den Messdaten (310, 310’) der Lichtsensoren (510) in einer Umgebung einer Referenzposition (500) zugeordnet sind, wobei sich die Gewichtungswerte (340) für an einem Randbereich (125) des Bildsensors (115) angeordnete Lichtsensoren (510) von Gewichtungswerten (340) für ein in einem Mittenbereich (120) des Bildsensors (115) angeordnete Lichtsensoren (510) unterscheiden und/oder wobei die Gewichtungswerte (340) von einer Position der Lichtsensoren (510) auf dem Bildsensor (115) abhängig sind; und Verknüpfen (1020) der Messdaten (310, 310’) der Lichtsensoren (510) mit den zugeordneten Gewichtungswerten (340), um Bilddaten (350) für die Referenzposition (500) zu erhalten.
2. Verfahren (1000) gemäß Anspruch 1, dadurch gekennzeichnet, dass im Schritt des Einlesens (1010) Messdaten (310, 310’) von Lichtsensoren (510) eingelesen werden, die in je einer unterschiedlichen Zeile und/oder einer unterschiedlichen Spalte auf dem Bildsensor (115) in Bezug zur Referenzposition (500) angeordnet sind, insbesondere wobei die Lichtsensoren (510) die Referenzposition (500) vollständig umgeben.
3. Verfahren (1000) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Einlesens (1010) Messdaten (310, 310’) von den Lichtsensoren (510) eingelesen werden, die je zur Aufnahme von Messdaten (310, 310’) in unterschiedlichen Parametern, insbesondere Farben, Belichtungszeiten und/oder Helligkeiten als Parametern ausgebildet sind.
4. Verfahren (1000) gemäß einem der vorangegangenen Ansprüche,
gekennzeichnet, durch einen Schritt des Ermittelns der
Gewichtungswerte (340) unter Verwendung einer Interpolation von Gewichtungsreferenzwerten (810), insbesondere wobei die
Gewichtungsreferenzwerte (810) Lichtsensoren (400) oder
Lichtsensoren (510) zugeordnet sind, die in einem vordefinierten
Abstand voreinander auf dem Bildsensor (115) angeordnet sind.
5. Verfahren (1000) gemäß einem der vorangegangenen Ansprüche,
dadurch gekennzeichnet, dass die Schritte des Einlesens (1010) und des Verknüpfens (720) wiederholt ausgeführt werden, wobei im wiederholt ausgeführten Schrittes des Einlesens (1110) als Messdaten (310, 310’) von Lichtsensoren (400) eingelesen werden, die an einer anderen Position auf dem Bildsensor (115) angeordnet sind als die Messdaten (310, 310’) der Lichtsensoren (510), von denen in einem vorangegangenen Schritt des Einlesens (1010) Messdaten (310, 310’) eingelesen wurden.
6. Verfahren (1000) gemäß einem der vorangegangenen Ansprüche,
dadurch gekennzeichnet, dass die Schritte des Einlesens (1010) und des Verknüpfens (1020) wiederholt ausgeführt werden, wobei im wiederholt ausgeführten Schrittes des Einlesens (1110) Messdaten (310, 310’) der Lichtsensoren (510) in der Umgebung der Referenzposition (500) ausgelesen werden, die auch im vorangegangenen
vorangegangenen Schritt des Einlesens (1010) eingelesen wurden, wobei ferner im wiederholt ausgeführten Schritt (1020) des Einlesens für diese Messdaten (310, 310’) andere Gewichtungswerte (340) eingelesen werden, als den Gewichtungswerten (340), die in dem vorangegangenen Schritt des Einlesens (1010) eingelesen wurden.
7. Verfahren (1000) gemäß einem der vorangegangenen Ansprüche,
dadurch gekennzeichnet, dass im Schritt des Einlesens (1010) Messdaten (310, 310’) von den Lichtsensoren (510) unterschiedlicher Lichtsensortypen eingelesen werden.
8. Verfahren (1000) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritte des Einlesen (1010) die Messdaten (310, 310’) von Lichtsensoren (510) eines Bildsensors (115) eingelesen werden, der zumindest teilweise eine zyklische Anordnung von Lichtsensortypen als Lichtsensoren (510) aufweist und/oder Messdaten (310, 310’) von Lichtsensoren (510) unterschiedlicher Größe auf dem Bildsensor (115) eingelesen werden und/oder Messdaten (310, 310’) von Lichtsensoren (510) eingelesen werden, die je
unterschiedliche Lichtsensortypen aufweisen, die eine unterschiedliche Fläche auf dem Bildsensor (115) einnehmen.
9. Verfahren (1000) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt (720) des Verknüpfens die mit den zugeordneten Gewichtungswerten (340) gewichteten Messdaten (310, 310’) der Lichtsensoren (510) addiert werden, um die Bilddaten (350) für die Referenzposition (500) zu erhalten.
10. Verfahren (1100) zur Erzeugung einer Gewichtswertematrix zur
Gewichtung von Messdaten (310, 310’) eines Bildsensors (115), wobei das Verfahren (1100) die folgenden Schritte umfasst:
Einlesen (1110) von Referenzbilddaten für Referenzpositionen (500) eines Referenzbildes (1210) und Trainingsmessdaten eines
Trainingsbildes (1220) sowie einer Ausgangsgewichtswertematrix; und
Trainieren (1120) von in der Ausgangsgewichtswertematrix enthaltenen Gewichtswerten (340) unter Verwendung der Referenzbilddaten und der Trainingsmessdaten, um die Gewichtswertematrix (800) zu erhalten, wobei eine Verknüpfung von mit je einem Gewichtswert gewichteten Trainingsmessdaten der Lichtsensoren (510) gebildet und mit den Referenzmessdaten für die entsprechende Referenzposition (500) verglichen wird, wobei Lichtsensoren (510) verwendet werden, die um die Referenzposition (500) auf dem Bildsensor (115) angeordnet sind. - so
11. Verfahren (1100) gemäß Anspruch 10, dadurch gekennzeichnet, dass im Schritt des Einlesens (1110) als Referenzbild und als Trainingsbild je ein Bild eingelesen wird, das einen Bildausschnitt repräsentiert, der kleiner als ein von dem Bildsensor (115) erfassbares Bild ist.
12. Verarbeitungseinrichtung, die eingerichtet ist, um die Schritte des
Verfahrens (1000) gemäß einem der vorangegangenen Ansprüche 1 bis 9 oder 10 bis 11 in entsprechenden Einheiten (330, 335) auszuführen und/oder anzusteuern.
13. Computerprogramm, das dazu eingerichtet ist, die Schritte eines
Verfahrens (1000) gemäß einem der vorangegangenen Ansprüche 1 bis 9 oder 10 bis 11 auszuführen und/oder anzusteuern, wenn das
Computerprogramm auf einer Verarbeitungseinrichtung (325) ausgeführt wird.
14. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 13 gespeichert ist.
PCT/EP2019/085555 2018-12-25 2019-12-17 Verfahren und verarbeitungseinrichtung zum verarbeiten von messdaten eines bildsensors WO2020136037A2 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980093007.3A CN113475058A (zh) 2018-12-25 2019-12-17 用于处理图像传感器的测量数据的方法和处理装置
US17/417,999 US20220046157A1 (en) 2018-12-25 2019-12-17 Method and processing device for processing measured data of an image sensor
EP19829496.9A EP3903478A2 (de) 2018-12-25 2019-12-17 Verfahren und verarbeitungseinrichtung zum verarbeiten von messdaten eines bildsensors

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018222903.1 2018-12-25
DE102018222903.1A DE102018222903A1 (de) 2018-12-25 2018-12-25 Verfahren und Verarbeitungseinrichtung zum Verarbeiten von Messdaten eines Bildsensors

Publications (2)

Publication Number Publication Date
WO2020136037A2 true WO2020136037A2 (de) 2020-07-02
WO2020136037A3 WO2020136037A3 (de) 2020-08-20

Family

ID=69063749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/085555 WO2020136037A2 (de) 2018-12-25 2019-12-17 Verfahren und verarbeitungseinrichtung zum verarbeiten von messdaten eines bildsensors

Country Status (5)

Country Link
US (1) US20220046157A1 (de)
EP (1) EP3903478A2 (de)
CN (1) CN113475058A (de)
DE (1) DE102018222903A1 (de)
WO (1) WO2020136037A2 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281290B (zh) * 2021-12-27 2024-04-12 深圳市汇顶科技股份有限公司 显示屏下传感器定位的方法、装置和电子设备
AT525579B1 (de) * 2022-03-09 2023-05-15 Vexcel Imaging Gmbh Verfahren und Kamera zur Korrektur eines geometrischen Abbildungsfehlers in einer Bildaufnahme
CN115188350B (zh) * 2022-07-12 2024-06-07 Tcl华星光电技术有限公司 光感均一性补偿方法、光感均一性补偿表的生成方法及显示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP2008135908A (ja) * 2006-11-28 2008-06-12 Matsushita Electric Ind Co Ltd 位相調整装置、デジタルカメラおよび位相調整方法
JP5147994B2 (ja) * 2009-12-17 2013-02-20 キヤノン株式会社 画像処理装置およびそれを用いた撮像装置
DE102015217253A1 (de) * 2015-09-10 2017-03-16 Robert Bosch Gmbh Umfelderfassungseinrichtung für ein Fahrzeug und Verfahren zum Erfassen eines Bilds mittels einer Umfelderfassungseinrichtung
DE102016212771A1 (de) * 2016-07-13 2018-01-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Abtasten eines Lichtsensors

Also Published As

Publication number Publication date
EP3903478A2 (de) 2021-11-03
DE102018222903A1 (de) 2020-06-25
US20220046157A1 (en) 2022-02-10
CN113475058A (zh) 2021-10-01
WO2020136037A3 (de) 2020-08-20

Similar Documents

Publication Publication Date Title
WO2020136037A2 (de) Verfahren und verarbeitungseinrichtung zum verarbeiten von messdaten eines bildsensors
EP3186952B1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE202018101096U1 (de) Augennahe Anzeige mit Superauflösung durch spärliche Abtastung
DE112011102991T5 (de) Verfahren und Vorrichtung zur 3D-Vermessung durch Erfassung eines vorbestimmten Musters
DE102008034979A1 (de) Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern
DE102015217253A1 (de) Umfelderfassungseinrichtung für ein Fahrzeug und Verfahren zum Erfassen eines Bilds mittels einer Umfelderfassungseinrichtung
EP3195250A1 (de) Verfahren zum erzeugen eines ergebnisbilds und optische vorrichtung
DE102012221667A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten
DE102021100444A1 (de) Mikroskopiesystem und verfahren zum bewerten von bildverarbeitungsergebnissen
DE102019008472B4 (de) Multilinsen-Kamerasystem und Verfahren zur hyperspektralen Aufnahme von Bildern
EP2887010B1 (de) Verfahren und Vorrichtung zum dreidimensionalen optischen Vermessen von Objekten mit einem topometrischen Messverfahren sowie Computerprogramm hierzu
DE102017010683A1 (de) Verfahren zur automatischen Wiederherstellung eines eingemessenen Zustands eines Projektionssystems
WO2014184295A1 (de) Vorrichtung und verfahren zum parametrisieren einer pflanze
EP3900318A1 (de) Vorrichtung mit einer multiaperturabbildungsvorrichtung zum akkumulieren von bildinformation
DE102019107835A1 (de) Bildkombiniervorrichtung, Verfahren zum Kombinieren von Bildern und Programm
DE102019133515B3 (de) Verfahren und Vorrichtung zur Parallaxenbestimmung von Aufnahmen eines Multilinsen-Kamerasystems
DE102016212771A1 (de) Verfahren und Vorrichtung zum Abtasten eines Lichtsensors
WO2019197230A1 (de) Korrekturverfahren und vorrichtung zur korrektur von bilddaten
EP3540507A1 (de) Bildaufnahmevorrichtung und verfahren zum aufnehmen einer bildaufnahme eines dokuments und verwendung
DE102009047437A1 (de) Verfahren und Vorrichtung zur Anpassung von Bildinformationen eines optischen Systems
DE102019133516B4 (de) Verfahren und Vorrichtung zur Bestimmung von Wellenlängenabweichungen von Aufnahmen eines Multilinsen-Kamerasystems
DE102012003127A1 (de) Verfahren für eine Autofokuseinrichtung
EP4217958A1 (de) Verfahren zur erstellung einer bildaufzeichnung
DE102020215413A1 (de) Verfahren und Vorrichtung zum Erzeugen eines erweiterten Kamerabilds unter Verwendung eines Bildsensors und Bildverarbeitungseinrichtung
DE102019101324A1 (de) Multilinsen-Kamerasystem und Verfahren zur hyperspektralen Aufnahme von Bildern

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19829496

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019829496

Country of ref document: EP

Effective date: 20210726