EP2194510A2 - Data recording system - Google Patents
Data recording system Download PDFInfo
- Publication number
- EP2194510A2 EP2194510A2 EP09014146A EP09014146A EP2194510A2 EP 2194510 A2 EP2194510 A2 EP 2194510A2 EP 09014146 A EP09014146 A EP 09014146A EP 09014146 A EP09014146 A EP 09014146A EP 2194510 A2 EP2194510 A2 EP 2194510A2
- Authority
- EP
- European Patent Office
- Prior art keywords
- data
- unit
- recording system
- image
- data recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims description 26
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
Definitions
- the invention relates to a data recording system according to the preamble of claim 1.
- the data recording system described comprises a computer unit having a memory unit, a time stamp unit and an interface unit for connection to different vehicles, in particular motor vehicles. Data read in via the interface unit are provided with absolute time stamps generated in the time stamp unit and stored in the memory unit.
- the recorded data are data that are transmitted via vehicle buses, in particular CAN buses and LIN buses, within motor vehicles, wherein these data are read in particular in control units, evaluated and also output from these to vehicle functions such as electric braking - or steer steering movements.
- the data recording system has a correspondingly formed interface unit with a sufficient number of CAN controllers and LIN controllers, that is to say the interface unit is connected to the standardized vehicle buses in the form of CAN buses and LIN buses. Buses adapted.
- image recorders in particular video cameras
- video cameras are increasingly being used, for example, to detect obstacles on the road or even vehicles in front, in order to be able to detect, for example, distances between vehicles traveling one behind the other.
- the invention has for its object to provide a data recording system of the type mentioned, which has an extended functionality.
- the data recording system comprises a computer unit having a memory unit, an absolute time stamp generating time stamp unit and an interface unit for connection to at least one vehicle.
- Data generated in the vehicle is read into the computer unit via the interface unit, provided with time stamps generated in the time stamp unit and stored in the memory unit.
- the vehicle generates data streams with sequences of data sequences.
- these characteristic test values are calculated for given data sequences.
- each test value is provided with an absolute time stamp characterizing the date of origin of the data sequence.
- the test values provided with the absolute timestamps are stored in the memory unit.
- a significant advantage of the data recording systems according to the invention is that even data streams forming large amounts of data, in particular in the form of image signals of image recorders such as video cameras, can be included in the data recording according to the invention.
- data that is transmitted in a motor vehicle When using the data recording system according to the invention for recording data that is transmitted in a motor vehicle, data that is transmitted via vehicle buses such as CAN or LIN buses are individually provided with absolute time stamps.
- the calculation unit is used to calculate the hash sum of the respective image as check value for all images or a specific subsequence in the form of every nth image (n ⁇ 2) , In which case the hash sum thus formed is provided in the computer unit with an absolute timestamp, which marks the date of origin of the image.
- the formation of the hash sum for the images of the image sensors or, in general, the formation of the test values for data sequences in a data stream results in a significant data reduction.
- the hash sum, in general the test values thus form data that can be processed in the computer unit and can be recorded by providing it with the absolute time stamps.
- the associated pictures can be uniquely identified in the computer unit on the basis of the hash sums, or the data sequences can generally be clearly identified on the basis of the test values.
- the hash sums can already clearly identify the associated pictures themselves.
- a plausibility check of the sequence of several images can be added to uniquely assign a picture to a hash sum.
- a significant advantage of the invention is that the absolute time of generating an image or generally a data sequence is obtained by the fact that the absolute timestamp generated in the time stamp unit can be related to a single characteristic datum in the image signals of an image or generally in the data sequence. In the case of the image signals read out serially from an image recorder, this can be, for example, the beginning of an image, that is to say the beginning of the image signal sequence.
- the function of the time stamp unit is not limited to a specific data protocol of the image signals of image sensors. This means that the data recording according to the invention can be used for image sensors or in general data sources of different design.
- the data recording system according to the invention can be used in particular for data recording in motor vehicles, in which in addition to the data traffic on the standardized vehicle buses, a data traffic from imagers of different manufacturers is present, which can not be integrated into the data traffic via the vehicle buses.
- the data recording system according to the invention is therefore universally applicable.
- the sequence of recorded data and data sequences which has taken place in the vehicle in real time can be reconstructed in the computer unit or an evaluation unit connected to it using the time stamp.
- a complete time-resolved data logging for a vehicle is obtained by the data recorded with the time stamps in real-time sequence, with the aid of which errors in individual units of the vehicle can be detected and analyzed.
- sequences of data and data sequences marked with the time stamps recorded in the data recording system form input variables for a system to be tested on a test bench.
- the data and test values provided with the absolute time stamps in the computer unit enable the system under test to be tested under real operating conditions.
- the recorded sequences of data and data sequences marked with the time stamps are used for a simulation calculation performed in a computer.
- FIG. 1 shows schematically the integration of the data recording system 1 according to the invention in a motor vehicle 2.
- FIG. 1 shows exemplarily for integrated in the motor vehicle 2 electronics, control and instrumentation components, a control unit 3, which exchanges data with an ultrasonic sensor 5 via a vehicle bus 4, such as a CAN bus.
- the ultrasonic sensor 5 is used in the present case for measuring distances of preceding vehicles.
- a plurality of control devices 3 and connected sensor components for controlling and controlling various vehicle functions are provided in the motor vehicle 2.
- a plurality of vehicle buses 4 such as CAN buses and LIN buses are also provided.
- a plurality of such image sensors 6 can be provided.
- the image signals generated in the image recorder 6 are evaluated in an image evaluation unit 7, such as a video measurement technique.
- the image sensor 6 with the image evaluation unit 7 can be connected to the control unit 3, the image recorder 6 with the image evaluation unit 7 forms a proprietary system with a manufacturer-specific data protocol which differs from the standardized data protocol of the vehicle buses.
- the data recording system 1 integrated in the motor vehicle 2 for purposes of data recording has a computer unit 8 in the form of a controller or the like.
- a memory unit not shown separately is provided.
- the data recording system 1 comprises an interface unit.
- This interface unit comprises a first interface 9, which in FIG. 1 is shown as a separate unit, but expediently forms a structural unit with the computer unit 8.
- the interface 9 has a suitable number of CAN and LIN controllers in order to be able to read data from the vehicle buses 4 designed as CAN and LIN buses.
- a time stamp unit 10 is provided.
- This timestamp unit 10 generates absolute timestamps.
- the time stamp unit 10 receives GPS signals, that is, absolute time signals.
- the time stamp unit 10 may also receive other time signals such as DCF 77.
- the time stamp unit 10, which is formed by a processor or the like, is connected to the computer unit 8.
- the time stamp unit 10 is connected to the inputs and outputs of the interface 9 forming CAN controller and LIN controller.
- the data which is input and read out via the CAN controller and LIN controller of the interface 9 is provided with absolute time stamps generated in the time stamp unit 10, so that in the Computing unit 8 of the data recording system 1 all read data and the tendered to the buses data are marked with the associated absolute time values.
- the data with the time stamps are stored in the memory unit.
- all read-in data can be stored in the memory unit.
- trigger conditions can be defined in the computer unit 8, with only data being stored within predefined time intervals as a function of these trigger conditions.
- the interface unit of the data recording system 1 comprises a further interface 11 for monitoring image signals which are generated in the image recorder 6 and evaluated by the image evaluation unit 7.
- This interface 11 can also form a structural unit with the computer unit 8 or be designed as a separate unit.
- the image signals generated in the image recorder 6 are not individually provided with absolute time stamps and are not stored in the memory unit of the computer unit 8.
- a calculation unit 12 is provided as a further component of the data recording system 1.
- an algorithm is implemented in the form of software modules, by means of which a hash sum is calculated for a picture generated by the image recorder 6 as a check value, which uniquely or at least almost uniquely identifies the picture.
- the hash sum can be calculated for each image that is generated in the image recorder 6.
- an adjustment may also be made such that a hash sum is calculated only for every nth (n ⁇ 2) image.
- each hash sum is provided with an absolute timestamp generated in the time stamp unit 10, which characterizes the time of generation of the image.
- Each hash sum with the associated time stamp is stored in the memory unit.
- FIG. 2 illustrates in more detail the monitoring of the image signals via the interface 11 and the generation of the hash sum and the absolute timestamps for these image signals.
- FIG. 2 schematically shows the image sensor 6, which typically has as a camera a matrix-shaped CCD or CMOS sensor.
- the image generated there forms, as in FIG. 2 1 illustrates a matrix-shaped arrangement of pixels 13, the first pixel of the matrix-type arrangement being highlighted graphically.
- FIG. 2 schematically shows this transmitted over a line 15 data sequence 14th
- This data sequence 14 is supplied on the one hand to the image evaluation unit 7 and on the other hand to the calculation unit 12. While the image evaluation of the images takes place in the image evaluation unit 7, the calculation of the hash sum from the data sequence 14 takes place in the calculation unit 12 FIG. 2 As can be seen, the time stamp unit 10 is connected to the calculation unit 12. This will generate a timestamp for each hash sum and assign it as soon as the hash sum is generated.
- the hash sum generated in the calculation unit 12 (in FIG. 2 denoted by H), which is provided with the time stamp, is read into the computer unit 8 and then stored in the memory unit.
- the timestamp is referenced to the date of origin of the respective image.
- the first pixel 13 in the data sequence is preferably used as a characteristic feature.
- the time stamping can be referenced to any characteristics in a data sequence 14 forming an image.
- the time of reading out the pixels from the camera of the image sensor 6 comes into consideration. Since the time reference to any image features can be done, the data recording system 1 can be used for different image sensor 6.
- the computer unit 8 stores the individually time-stamped data transmitted via the vehicle buses 4 and the hash sums of the images of the image recorder 6, which are also provided with absolute time stamps.
- the individual hash sums stored in the computer unit 8 are then assigned to the images present in the image evaluation unit 7 which were generated with the image recorder 6.
- the hash sums alone are sufficient as unique identifiers. If this is not the case, a plausibility check for the sequence of the individual images present in the image evaluation unit 7 can additionally be used for this purpose.
- An advantage of the data recording according to the invention is that the formation of the hash sums results in a significant data reduction such that in the real-time data recording the images of the image sensor 6 forming very large amounts of data are not provided with time stamps as a whole and with these in the Computing unit 8 must be stored, but rather alone the hash sums as unique Characteristic values for the pictures.
- the subsequent evaluation of the recorded data which can then be time-relaxed, can then restore the reference to the images of the image recorder 6 via the hash sums.
- an error evaluation of units of the motor vehicle 2 can be carried out by a direct evaluation of these data sequences in the computer unit 8 or the evaluation unit.
- the data recorded in the data recording system 1 may be used for a simulation calculation so as to be able to test the functional capabilities of units of the motor vehicle 2.
- a third variant shows FIG. 3 ,
- the data recording system 1 forms, with the computer unit 8, the time stamp unit 10 and the calculation unit 12, a real-time adapter for testing a system 16 to be tested on a test bench, wherein the system 16 to be tested may comprise, for example, a control unit of the motor vehicle 2.
- the data recorded during operation of the motor vehicle 2 with the data recording system 1 data of the vehicle buses 4 and also recorded hash sums are marked by absolute timestamps.
- the hash sums are formed in an evaluation module, which may be formed by a suitable software module on an external computer, for the images stored in the image evaluation unit 7 and recorded with the image sensor 6, and with those in the calculation unit 12 compared to hash sums generated during data logging. On the basis of this comparison, the images in the image evaluation unit 7 can be checked for their completeness and / or their integrity.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Traffic Control Systems (AREA)
- Recording Measured Values (AREA)
Abstract
Description
Die Erfindung betrifft ein Datenaufzeichnungssystem gemäß dem Oberbegriff des Anspruchs 1.The invention relates to a data recording system according to the preamble of claim 1.
Ein derartiges Datenaufzeichnungssystem ist aus der
Das beschriebene Datenaufzeichnungssystem umfasst eine eine Speichereinheit aufweisende Rechnereinheit, eine Zeitstempeleinheit sowie eine Schnittstelleneinheit zum Anschluss an unterschiedliche Fahrzeuge, insbesondere Kraftfahrzeuge. Über die Schnittstelleneinheit eingelesene Daten werden mit in der Zeitstempeleinheit generierten absoluten Zeitstempeln versehen und in der Speichereinheit abgespeichert.The data recording system described comprises a computer unit having a memory unit, a time stamp unit and an interface unit for connection to different vehicles, in particular motor vehicles. Data read in via the interface unit are provided with absolute time stamps generated in the time stamp unit and stored in the memory unit.
Bei den aufgezeichneten Daten handelt es sich um Daten, die über Fahrzeugbusse, insbesondere CAN-Busse und LIN-Busse, innerhalb von Kraftfahrzeugen übertragen werden, wobei diese Daten insbesondere in Steuergeräten eingelesen, ausgewertet und auch von diesen ausgegeben werden, um Fahrzeugfunktionen wie elektrische Brems- oder Lenkbewegungen zu steuern.The recorded data are data that are transmitted via vehicle buses, in particular CAN buses and LIN buses, within motor vehicles, wherein these data are read in particular in control units, evaluated and also output from these to vehicle functions such as electric braking - or steer steering movements.
Um die über die Fahrzeugbusse übertragenen Daten aufzeichnen zu können, weist das Datenaufzeichnungssystem eine entsprechend ausgebildete Schnittstelleneinheit mit einer hinreichenden Anzahl von CAN-Controllern und LIN-Controllern auf, das heißt die Schnittstelleneinheit ist an die standardisierten Fahrzeugbusse in Form von CAN-Bussen und LIN-Bussen angepasst.In order to be able to record the data transmitted via the vehicle buses, the data recording system has a correspondingly formed interface unit with a sufficient number of CAN controllers and LIN controllers, that is to say the interface unit is connected to the standardized vehicle buses in the form of CAN buses and LIN buses. Buses adapted.
In modernen Kraftfahrzeugen werden verstärkt auch Bildaufnehmer, insbesondere Videokameras eingesetzt, beispielsweise um Hindernisse auf der Fahrbahn oder auch vorausfahrende Fahrzeuge zu erkennen, um beispielsweise Abstände zwischen hintereinander fahrenden Fahrzeugen erkennen zu können.In modern motor vehicles, image recorders, in particular video cameras, are increasingly being used, for example, to detect obstacles on the road or even vehicles in front, in order to be able to detect, for example, distances between vehicles traveling one behind the other.
Ein Problem bei derartigen Bildaufnehmen besteht darin, dass die mit diesen generierten Bilder Datenströme in Form von Datensequenzen darstellen, die sehr große Datenmengen darstellen. Zudem bilden derartige Bildaufnehmer sowie die hierfür vorgesehenen Bildauswerteeinheiten in Form von Videomesstechniken herstellungsspezifische, proprietäre Einheiten. Daher ist es nicht möglich, derartige Systeme in den Datentransfer über die Fahrzeugbusse einzubinden. Somit können auch die in den einzelnen Bildaufnehmern generierten Daten nicht mit dem in der
Der Erfindung liegt die Aufgabe zugrunde ein Datenaufzeichnungssystem der eingangs genannten Art bereitzustellen, welches eine erweiterte Funktionalität aufweist.The invention has for its object to provide a data recording system of the type mentioned, which has an extended functionality.
Zur Lösung dieser Aufgabe sind die Merkmale des Anspruchs 1 vorgesehen. Vorteilhafte Ausführungsfbrmen und zweckmäßige Weiterbildungen der Erfindung sind in den Unteransprüchen beschrieben.To solve this problem, the features of claim 1 are provided. Advantageous Ausführungsfbrmen and expedient developments of the invention are described in the subclaims.
Das erfindungsgemäße Datenaufzeichnungssystem umfasst eine eine Speichereinheit aufweisende Rechnereinheit, eine absolute Zeitstempel generierende Zeitstempeleinheit sowie eine Schnittstelleneinheit zum Anschluss an wenigstens ein Fahrzeug. Im Fahrzeug generierte Daten werden über die Schnittstelleneinheit in die Rechnereinheit eingelesen, mit in der Zeitstempeleinheit generierten Zeitstempeln versehen und in der Speichereinheit abgespeichert. Im Fahrzeug werden Datenströme mit Folgen von Datensequenzen generiert. In einer Berechnungseinheit werden für vorgegebene Datensequenzen diese kennzeichnende Prüfwerte berechnet. In der Rechnereinheit wird jeder Prüfwert mit einem den Entstehungszeitpunkt der Datensequenz kennzeichnenden absoluten Zeitstempel versehen. Die mit den absoluten Zeitstempeln versehenen Prüfwerte werden in der Speichereinheit abgespeichert.The data recording system according to the invention comprises a computer unit having a memory unit, an absolute time stamp generating time stamp unit and an interface unit for connection to at least one vehicle. Data generated in the vehicle is read into the computer unit via the interface unit, provided with time stamps generated in the time stamp unit and stored in the memory unit. The vehicle generates data streams with sequences of data sequences. In In a calculation unit, these characteristic test values are calculated for given data sequences. In the computer unit, each test value is provided with an absolute time stamp characterizing the date of origin of the data sequence. The test values provided with the absolute timestamps are stored in the memory unit.
Ein wesentlicher Vorteil der erfindungsgemäßen Datenaufzeichnungssysteme besteht darin, dass auch große Datenmengen bildende Datenströme, insbesondere in Form von Bildsignalen von Bildaufnehmern wie Videokameras generiert werden, in die erfindungsgemäße Datenaufzeichnung mit einbezogen werden können.A significant advantage of the data recording systems according to the invention is that even data streams forming large amounts of data, in particular in the form of image signals of image recorders such as video cameras, can be included in the data recording according to the invention.
Bei einem Einsatz des erfindungsgemäßen Datenaufzeichnungssystems zur Aufzeichnung von Daten, die in einem Kraftfahrzeug übertragen werden, werden dabei Daten, die über Fahrzeugbusse wie CAN- oder LIN-Busse übertragen werden, einzeln mit absoluten Zeitstempeln versehen.When using the data recording system according to the invention for recording data that is transmitted in a motor vehicle, data that is transmitted via vehicle buses such as CAN or LIN buses are individually provided with absolute time stamps.
Dagegen wird bei Bildsignalen, die von einem oder mehreren Bildaufnehmern generiert werden, die Berechnungseinheit eingesetzt, um für alle Bilder oder eine bestimmte Teilfolge in Form jedes n-ten Bildes (n ≥ 2) jeweils als Prüfwert die Hash-Summe des jeweiligen Bildes zu berechnen, wobei dann in der Rechnereinheit die so gebildete Hash-Summe mit einem absoluten Zeitstempel versehen wird, der den Entstehungszeitpunkt des Bildes gekennzeichnet.On the other hand, in the case of image signals generated by one or more image sensors, the calculation unit is used to calculate the hash sum of the respective image as check value for all images or a specific subsequence in the form of every nth image (n ≥ 2) , In which case the hash sum thus formed is provided in the computer unit with an absolute timestamp, which marks the date of origin of the image.
Durch die Bildung der Hash-Summe für die Bilder der Bildaufnehmer oder allgemein die Bildung der Prüfwerte für Datensequenzen in einem Datenstrom wird eine signifikante Datenreduktion erhalten. Die Hash-Summe, allgemein die Prüfwerte, bilden somit in der Rechnereinheit verarbeitbare Datenmengen, die durch das Versehen mit den absoluten Zeitstempeln aufgezeichnet werden können.The formation of the hash sum for the images of the image sensors or, in general, the formation of the test values for data sequences in a data stream results in a significant data reduction. The hash sum, in general the test values, thus form data that can be processed in the computer unit and can be recorded by providing it with the absolute time stamps.
Wesentlich hierbei ist, dass in der Rechnereinheit anhand der Hash-Summen die zugehörigen Bilder oder allgemein anhand der Prüfwerte die Datensequenzen eindeutig identifiziert werden können. Dabei können die Hash-Summen bereits selbst die zugehörigen Bilder eindeutig kennzeichnen. Weiterhin kann eine Plausibilitätsprüfung der Abfolge mehrerer Bilder hinzugenommen werden um einer Hash-Summe ein Bild eindeutig zuzuordnen.It is essential here that the associated pictures can be uniquely identified in the computer unit on the basis of the hash sums, or the data sequences can generally be clearly identified on the basis of the test values. In the process, the hash sums can already clearly identify the associated pictures themselves. Furthermore, a plausibility check of the sequence of several images can be added to uniquely assign a picture to a hash sum.
Ein wesentlicher Vorteil der Erfindung besteht darin, dass die Absolutzeit der Generierung eines Bildes oder allgemein einer Datensequenz dadurch erhalten wird, dass der in der Zeitstempeleinheit generierte absolute Zeitstempel auf ein einzelnes charakteristisches Datum in den Bildsignalen eines Bildes oder allgemein in der Datensequenz bezogen werden kann. Im Fall der seriell aus einem Bildaufnehmer ausgelesenen Bildsignale kann dies beispielsweise der Anfang eines Bildes, das heißt der Anfang der Bildsignalfolge sein. Dabei ist die Funktion der Zeitstempeleinheit nicht auf ein spezifisches Datenprotokoll der Bildsignale von Bildaufnehmern begrenzt. Dies bedeutet, dass die erfindungsgemäße Datenaufzeichnung für Bildaufnehmer oder allgemein Datenquellen unterschiedlicher Ausbildung eingesetzt werden kann. Damit kann das erfindungsgemäße Datenaufzeichnungssystem insbesondere zur Datenaufzeichnung in Kraftfahrzeugen eingesetzt werden, in welchem neben dem Datenverkehr über die standardisierten Fahrzeugbusse ein Datenverkehr von Bildaufnehmern unterschiedlicher Hersteller vorhanden ist, welches nicht in den Datenverkehr über die Fahrzeugbusse eingebunden werden kann. Das erfindungsgemäße Datenaufzeichnungssystem ist damit universell einsetzbar.A significant advantage of the invention is that the absolute time of generating an image or generally a data sequence is obtained by the fact that the absolute timestamp generated in the time stamp unit can be related to a single characteristic datum in the image signals of an image or generally in the data sequence. In the case of the image signals read out serially from an image recorder, this can be, for example, the beginning of an image, that is to say the beginning of the image signal sequence. The function of the time stamp unit is not limited to a specific data protocol of the image signals of image sensors. This means that the data recording according to the invention can be used for image sensors or in general data sources of different design. Thus, the data recording system according to the invention can be used in particular for data recording in motor vehicles, in which in addition to the data traffic on the standardized vehicle buses, a data traffic from imagers of different manufacturers is present, which can not be integrated into the data traffic via the vehicle buses. The data recording system according to the invention is therefore universally applicable.
Beim Einsatz in Kraftfahrzeugen, in welchen einerseits ein Datenverkehr über standardisierte Fahrzeugbusse und andererseits ein Datenverkehr zwischen Bildaufnehmern und zugeordneten Bildauswerteeinheiten als proprietären Systemen stattfindet, kann mit dem erfindungsgemäßen Datenaufzeichnungssystem das Zeitverhalten des gesamten Systems erfasst und überprüft werden. Dabei ist eine einfache Adaptionsmöglichkeit an unterschiedliche Bildaufnehmersysteme möglich, da weder die Bildung der Hash-Summe in der Berechnungseinheit noch die Referenzierung der absoluten Zeitstempel auf bestimmte Daten innerhalb der Bildsignale auf spezifische Datenprotokolle der Bildsignale beschränkt oder festgelegt ist.When used in motor vehicles in which, on the one hand, data traffic via standardized vehicle buses and, on the other hand, data traffic between image recorders and assigned image evaluation units takes place as proprietary systems, the time behavior of the entire system can be recorded and checked with the data recording system according to the invention. Here is a simple adaptation option to different Bildaufnehmersysteme possible because neither the formation of the hash sum in the calculation unit nor the referencing of the absolute timestamps to specific data within the image signals is limited or specified to specific data protocols of the image signals.
Gemäß einer ersten Variante ist in der Rechnereinheit oder einer an dieser angeschlossenen Auswerteeinheit anhand der Zeitstempel die im Fahrzeug in Realzeit abgelaufene Folge von aufgezeichneten Daten und Datensequenzen rekonstruierbar.According to a first variant, the sequence of recorded data and data sequences which has taken place in the vehicle in real time can be reconstructed in the computer unit or an evaluation unit connected to it using the time stamp.
In diesem Fall wird mit dem erfindungsgemäßen Datenaufzeichnungssystem durch die mit den Zeitstempeln in Realzeitfolge aufgezeichneten Daten eine vollständige zeitaufgelöste Datenprotokollierung für ein Fahrzeug erhalten, anhand derer Fehler in einzelnen Einheiten des Fahrzeugs aufgedeckt und analysiert werden können.In this case, with the data recording system according to the invention, a complete time-resolved data logging for a vehicle is obtained by the data recorded with the time stamps in real-time sequence, with the aid of which errors in individual units of the vehicle can be detected and analyzed.
Mit dem erfindungsgemäßen Datenaufzeichnungssystem können Funktionen innerhalb eines Fahrzeugs und, bei Einbindung des Datenaufzeichnungssystems in mehrere Fahrzeuge, auch Fahrzeug überprüfende Funktionen geprüft werden.With the data recording system according to the invention, functions within a vehicle and, when the data recording system is integrated into a plurality of vehicles, also vehicle-checking functions can be checked.
Gemäß einer zweiten Variante bilden die im Datenaufzeichnungssystem aufgezeichneten Folgen von mit den Zeitstempeln gekennzeichneten Daten und Datensequenzen Eingangsgrößen für ein zu testendes System auf einem Prüfstand.According to a second variant, the sequences of data and data sequences marked with the time stamps recorded in the data recording system form input variables for a system to be tested on a test bench.
Durch die mit den absoluten Zeitstempeln in der Rechnereinheit versehenen Daten und Prüfwerte kann das dabei zu testende System unter realen Einsatzbedingungen geprüft werden.The data and test values provided with the absolute time stamps in the computer unit enable the system under test to be tested under real operating conditions.
Gemäß einer dritten Variante werden die aufgezeichneten Folgen mit den Zeitstempeln gekennzeichneten Daten und Datensequenzen für eine in einem Rechner durchgeführte Simulationsrechnung verwendet.According to a third variant, the recorded sequences of data and data sequences marked with the time stamps are used for a simulation calculation performed in a computer.
Mit der so durchgeführten Simulationsrechnung können die Funktionalitäten von Komponenten im Fahrzeug, wie zum Beispiel dort integrierten Steuergeräten, vollständig nachgebildet werden.With the simulation calculation thus carried out, the functionalities of components in the vehicle, such as, for example, integrated control devices, can be completely reproduced.
Die Erfindung wird im Folgenden anhand der Zeichnungen erläutert. Es zeigen:
- Figur 1:
- Beispiel einer Integration des erfindungsgemäßen Datenaufzeichnungssystems in ein Kraftfahrzeug.
- Figur 2:
- Ausschnitt des Systems gemäß
Figur 1 . - Figur 3:
- Anwendung des Datenaufzeichnungssystems gemäß
Figur 1 für eine Prüfstand.
- FIG. 1:
- Example of an integration of the data recording system according to the invention in a motor vehicle.
- FIG. 2:
- Section of the system according to
FIG. 1 , - FIG. 3:
- Application of the data recording system according to
FIG. 1 for a test bench.
Im Kraftfahrzeug 2 ist weiterhin ein Bildaufnehmer 6 in Form einer Kamera, insbesondere Videokamera, vorgesehen, die neben dem Ultraschallsensor 5 zur Abstandsmessung eingesetzt wird. Generell können mehrere derartige Bildaufnehmer 6 vorgesehen sein. Die im Bildaufnehmer 6 generierten Bildsignale werden in einer Bildauswerteeinheit 7, wie zum Beispiel einer Videomesstechnik, ausgewertet. Der Bildaufnehmer 6 mit der Bildauswerteeinheit 7 ist zwar an das Steuergerät 3 anschließbar, jedoch bilden der Bildaufnehmer 6 mit der Bildauswerteeinheit 7 ein proprietäres System mit einem herstellerspezifischen Datenprotokoll, das sich von dem standardisierten Datenprotokoll der Fahrzeugbusse unterscheidet.In the motor vehicle 2, an
Das in dem Kraftfahrzeug 2 zu Zwecken der Datenaufzeichnung integrierte Datenaufzeichnungssystem 1 weist eine Rechnereinheit 8 in Form eines Controllers oder dergleichen auf. In dieser Rechnereinheit 8 ist eine nicht gesondert dargestellte Speichereinheit vorgesehen.The data recording system 1 integrated in the motor vehicle 2 for purposes of data recording has a
Weiterhin umfasst das Datenaufzeichnungssystem 1 eine Schnittstelleneinheit. Diese Schnittstelleneinheit umfasst eine erste Schnittstelle 9, die in
Als weitere Einheit des Datenaufzeichnungssystems 1 ist eine Zeitstempeleinheit 10 vorgesehen. Mit dieser Zeitstempeleinheit 10 werden absolute Zeitstempel generiert. Hierzu empfängt die Zeitstempeleinheit 10 GPS-Signale, das heißt absolute Zeitsignale. Generell kann die Zeitstempeleinheit 10 auch andere Zeit-Signale wie DCF 77 empfangen. Die Zeitstempeleinheit 10, die von einem Prozessor oder dergleichen gebildet ist, ist an die Rechnereinheit 8 angeschlossen. Zudem ist die Zeitstempeleinheit 10 an die Ein- und Ausgänge der die Schnittstelle 9 bildenden CAN-Controller und LIN-Controller angeschlossen. Mittels der Zeitstempeleinheit 10 werden die über CAN-Controller und LIN-Controller der Schnittstelle 9 ein- und ausgelesenen Daten mit in der Zeitstempeleinheit 10 generierten absoluten Zeitstempeln versehen, so dass in der Rechnereinheit 8 des Datenaufzeichnungssystems 1 alle eingelesenen Daten sowie die auf die Busse ausgeschriebenen Daten mit den zugehörigen Absolut-Zeitwerten gekennzeichnet sind. Die Daten mit den Zeitstempeln werden in der Speichereinheit gespeichert. Prinzipiell können in der Speichereinheit sämtliche eingelesenen Daten abgespeichert werden. Alternativ können in der Rechnereinheit 8 Triggerbedingungen definiert werden, wobei in Abhängigkeit dieser Triggerbedingungen nur Daten innerhalb vorgegebener Zeitintervalle gespeichert werden.As a further unit of the data recording system 1, a
Die Schnittstelleneinheit des Datenaufzeichnungssystems 1 umfasst eine weitere Schnittstelle 11 zum Mithören von Bildsignalen, die im Bildaufnehmer 6 generiert und der Bildauswerteeinheit 7 ausgewertet werden. Auch diese Schnittstelle 11 kann mit der Rechnereinheit 8 eine Baueinheit bilden oder als separate Einheit ausgebildet sein.The interface unit of the data recording system 1 comprises a
Anders als die über die Fahrzeugbusse 4 übertragenen Daten werden die im Bildaufnehmer 6 generierten Bildsignale nicht einzeln mit absoluten Zeitstempeln versehen und auch nicht in der Speichereinheit der Rechnereinheit 8 abgespeichert.Unlike the data transmitted via the vehicle buses 4, the image signals generated in the
Anstelle dessen ist als weiterer Bestandteil des Datenaufzeichnungssystems 1 eine Berechnungseinheit 12 vorgesehen. In der Berechnungseinheit 12 ist in Form von Software-Modulen ein Algorithmus implementiert, mittels dessen für ein mit dem Bildaufnehmer 6 generiertes Bild als Prüfwert eine Hash-Summe berechnet wird, welche das Bild eindeutig oder zumindest nahezu eindeutig kennzeichnet.Instead, a
Prinzipiell kann für jedes Bild, das im Bildaufnehmer 6 generiert wird, die Hash-Summe berechnet werden. In dem Datenaufzeichnungssystem 1 kann jedoch auch eine Einstellung derart vorgenommen werden, dass nur für jedes n-te (n ≥ 2) Bild eine Hash-Summe berechnet wird.In principle, the hash sum can be calculated for each image that is generated in the
Die Folge der generierten Hash-Summen wird von der Berechnungseinheit 12 in die Rechnereinheit 8 eingelesen. Dort wird jede Hash-Summe mit einem in der Zeitstempeleinheit 10 generierten absoluten Zeitstempel versehen, der den Zeitpunkt der Generierung des Bildes kennzeichnet. Jede Hash-Summe mit dem zugeordneten Zeitstempel wird in der Speichereinheit abgespeichert.The sequence of the generated hash sums is read into the
Beim Auslesen dieser Bildpunkte 13 aus dem Bildaufnehmer 6 wird aus diesen ein sequentieller Datenstrom, das heißt eine lineare Datensequenz 14 gebildet, wobei der erste Bildpunkt 13 dem ersten Datum der Datensequenz 14 entspricht.
Diese Datensequenz 14 wird einerseits der Bildauswerteeinheit 7 und andererseits der Berechnungseinheit 12 zugeführt. Während in der Bildauswerteeinheit 7 die Bildauswertung der Bilder erfolgt, erfolgt in der Berechnungseinheit 12 die Berechnung der Hash-Summe aus der Datensequenz 14. Wie aus
Der Zeitstempel ist referenziert auf den Entstehungszeitpunkt des jeweiligen Bildes. Als Bezug hierfür wird vorzugsweise der erste Bildpunkt 13 in der Datensequenz als charakteristisches Merkmal verwendet.The timestamp is referenced to the date of origin of the respective image. As a reference, the
Generell kann die Referenzierung der Zeitstempelung auf beliebige Charakteristiken in einer ein Bild bildenden Datensequenz 14 erfolgen. Hierzu kommt auch der Zeitpunkt des Auslesens der Bildpunkte aus der Kamera des Bildaufnehmers 6 in Betracht. Da die zeitliche Referenzierung auf beliebige Bildmerkmale erfolgen kann, kann das Datenaufzeichnungssystem 1 für unterschiedliche Bildaufnehmer 6 eingesetzt werden.In general, the time stamping can be referenced to any characteristics in a
Als Ergebnis der mit dem Datenaufzeichnungssystem 1 durchgeführten Datenaufzeichnung sind in der Speichereinheit der Rechnereinheit 8 die über die Fahrzeugbusse 4 übertragenen, einzeln mit Zeitstempel gekennzeichneten Daten sowie die Hash-Summen der Bilder des Bildaufnehmers 6, die ebenfalls mit absoluten Zeitstempeln versehen sind, gespeichert.As a result of the data recording carried out with the data recording system 1, the
Zur Auswertung der Datenaufzeichnung, die in der Rechnereinheit 8 oder in einer daran anschließenden Auswerteeinheit erfolgen kann, werden dann die einzelnen in der Rechnereinheit 8 gespeicherten Hash-Summen den in der Bildauswerteeinheit 7 vorhandenen Bilder, die mit dem Bildaufnehmer 6 generiert wurden, zugeordnet. Im einfachsten Fall reichen hierzu bereits die Hash-Summen allein als eindeutige Kennzeichnungen aus. Falls dies nicht der Fall ist, kann hierzu zusätzlich eine Plausibilitätsprüfung bei der Abfolge der einzelnen in der Bildauswerteeinheit 7 vorhandenen Bilder verwendet werden.For evaluating the data recording, which can take place in the
Ein Vorteil der erfindungsgemäßen Datenaufzeichnung besteht darin, dass durch die Bildung der Hash-Summen eine signifikante Datenreduktion derart erhalten wird, dass bei der in Echtzeit erfolgenden Datenaufzeichnung nicht die sehr große Datenmengen bildenden Bilder des Bildaufnehmers 6 als Ganzes mit Zeitstempeln versehen und mit diesen in der Rechnereinheit 8 abgespeichert werden müssen, sondern vielmehr allein die Hash-Summen als eindeutige Kennwerte für die Bilder. Die nachfolgende Auswertung der aufgezeichneten Daten, die dann zeitentspannt erfolgen kann, kann dann über die Hash-Summen wieder den Bezug zu den Bildern des Bildaufnehmers 6 herstellen.An advantage of the data recording according to the invention is that the formation of the hash sums results in a significant data reduction such that in the real-time data recording the images of the
Als Ergebnis dieser Auswertung liegt dann eine mit absoluten Zeitstempeln versehene Folge von Daten der Fahrzeugbusse 4 und der Bilder des Bildaufnehmers 6 vor, die exakt der Realzeitabfolge der Generierung dieser Daten und Bildern im Kraftfahrzeug 2 spricht.As a result of this evaluation, there is then a sequence of data of the vehicle buses 4 and the images of the
Im einfachsten Fall kann durch eine unmittelbare Auswertung dieser Datenfolgen in der Rechnereinheit 8 oder der Auswerteeinheit eine Fehlerkontrolle von Einheiten des Kraftfahrzeugs 2 durchgeführt werden.In the simplest case, an error evaluation of units of the motor vehicle 2 can be carried out by a direct evaluation of these data sequences in the
Alternativ können die in dem Datenaufzeichnungssystem 1 aufgezeichneten Daten für eine Simulationsrechnung verwendet werden, um so die Funktionsfähigkeiten von Einheiten des Kraftfahrzeugs 2 testen zu können.Alternatively, the data recorded in the data recording system 1 may be used for a simulation calculation so as to be able to test the functional capabilities of units of the motor vehicle 2.
Eine dritte Variante zeigt
Die während des Betriebs des Kraftfahrzeugs 2 mit dem Datenaufzeichnungssystem 1 aufgezeichneten Daten der Fahrzeugbusse 4 und die ebenfalls aufgezeichneten Hash-Summen sind durch absolute Zeitstempel gekennzeichnet.The data recorded during operation of the motor vehicle 2 with the data recording system 1 data of the vehicle buses 4 and also recorded hash sums are marked by absolute timestamps.
Dies wird ausgenutzt, um die von den Datenquellen (DQ) bildenden Fahrzeugbussen 4 gelieferten Daten und die vom Bildaufnehmer 6 als Bilddatenquelle (BQ) gelieferten Bilddaten in einer Realzeitfolge mit dem Datenaufzeichnungssystem 1 abzuspielen, so dass diese Daten Eingangsgrößen für das zu prüfende System 16 bilden, welches dann unter Realbedingungen getestet werden kann.This is exploited in order to play back the data supplied by the vehicle buses 4 from the data sources (DQ) and the image data supplied by the
In einer weiteren Ausführungsform werden in einem Auswertemodul, welches von einem geeigneten Softwaremodul auf einem externen Rechner gebildet sein kann, für die in der Bildauswerteeinheit 7 hinterlegten Bilder, die mit dem Bildaufnehmer 6 aufgenommen wurden, die Hash-Summen gebildet und mit den in der Berechnungseinheit 12 während der Datenaufzeichnung generierten Hash-Summen verglichen. Anhand dieses Vergleichs können die Bilder in der Bildauswerteeinheit 7 auf ihre Vollständigkeit und/oder ihre Unverfälschtheit geprüft werden.In a further embodiment, the hash sums are formed in an evaluation module, which may be formed by a suitable software module on an external computer, for the images stored in the image evaluation unit 7 and recorded with the
- (1)(1)
- DatenaufzeichnungssystemData recording system
- (2)(2)
- Kraftfahrzeugmotor vehicle
- (3)(3)
- Steuergerätcontrol unit
- (4)(4)
- Fahrzeugbusvehicle bus
- (5)(5)
- Ultraschallsensorultrasonic sensor
- (6)(6)
- Bildaufnehmerimager
- (7)(7)
- Bildauswerteeinheitimage evaluation
- (8)(8th)
- Rechnereinheitcomputer unit
- (9)(9)
- Schnittstelleinterface
- (10)(10)
- ZeitstempeleinheitTimestamp unit
- (11)(11)
- Schnittstelleinterface
- (12)(12)
- Berechnungseinheitcalculation unit
- (13)(13)
- Bildpunktpixel
- (14)(14)
- Datensequenzdata sequence
- (15)(15)
- Leitungmanagement
- (16)(16)
- Systemsystem
- (H)(H)
- Hash-SummeHash sum
- (Z)(Z)
- Zeitstempeltime stamp
- (DQ)(DQ)
- Datenquellendata sources
- (BQ)(BQ)
- BilddatenquelleImage data source
Claims (14)
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102008060619A DE102008060619A1 (en) | 2008-12-05 | 2008-12-05 | Data recording system |
Publications (3)
Publication Number | Publication Date |
---|---|
EP2194510A2 true EP2194510A2 (en) | 2010-06-09 |
EP2194510A3 EP2194510A3 (en) | 2013-04-03 |
EP2194510B1 EP2194510B1 (en) | 2018-08-29 |
Family
ID=41665204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP09014146.6A Active EP2194510B1 (en) | 2008-12-05 | 2009-11-12 | Data recording system |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP2194510B1 (en) |
DE (1) | DE102008060619A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104240334A (en) * | 2014-09-30 | 2014-12-24 | 长城汽车股份有限公司 | Pulse signal recorder for automobile and automobile detecting equipment |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012216012A1 (en) * | 2012-09-10 | 2014-03-13 | Continental Automotive Gmbh | Data recording device for a vehicle network |
DE102018125790A1 (en) * | 2018-10-17 | 2020-04-23 | Rheinmetall Electronics Gmbh | Device for the validatable output of images |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060274829A1 (en) | 2001-11-01 | 2006-12-07 | A4S Security, Inc. | Mobile surveillance system with redundant media |
DE102007015762A1 (en) | 2007-03-30 | 2008-10-02 | It-Designers Gmbh | Data recording system and method for collecting data by means of a data recording system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE2929532A1 (en) * | 1979-07-20 | 1981-02-05 | Siemens Ag | Vehicle operating parameters monitoring circuit - has sensors connected to store built into instrument panel and includes second plug-in store |
US6718239B2 (en) * | 1998-02-09 | 2004-04-06 | I-Witness, Inc. | Vehicle event data recorder including validation of output |
US6490513B1 (en) * | 2001-08-22 | 2002-12-03 | Matsushita Electrical Industrial Co., Ltd. | Automobile data archive system having securely authenticated instrumentation data storage |
US7359821B1 (en) * | 2002-06-11 | 2008-04-15 | Injury Sciences Llc | Methods and apparatus for using black box data to analyze vehicular accidents |
GB2432075B (en) * | 2003-01-16 | 2007-08-22 | Obs Inc | System and methods for mobile security and monitoring |
DE10360125A1 (en) * | 2003-12-20 | 2005-07-21 | Daimlerchrysler Ag | Data loggin in a motor vehicle |
-
2008
- 2008-12-05 DE DE102008060619A patent/DE102008060619A1/en not_active Withdrawn
-
2009
- 2009-11-12 EP EP09014146.6A patent/EP2194510B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060274829A1 (en) | 2001-11-01 | 2006-12-07 | A4S Security, Inc. | Mobile surveillance system with redundant media |
DE102007015762A1 (en) | 2007-03-30 | 2008-10-02 | It-Designers Gmbh | Data recording system and method for collecting data by means of a data recording system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104240334A (en) * | 2014-09-30 | 2014-12-24 | 长城汽车股份有限公司 | Pulse signal recorder for automobile and automobile detecting equipment |
Also Published As
Publication number | Publication date |
---|---|
DE102008060619A1 (en) | 2010-06-17 |
EP2194510B1 (en) | 2018-08-29 |
EP2194510A3 (en) | 2013-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60010655T2 (en) | METHOD AND DEVICE IN A VEHICLE MONITORING SYSTEM AND TROUBLE DIAGNOSIS SYSTEM IN A VEHICLE | |
DE102010062496B4 (en) | Method and device for processing image information from two sensors of a stereo sensor system suitable for image acquisition | |
EP3729213A1 (en) | Behaviour model of an environment sensor | |
EP1575808B1 (en) | Image generator | |
DE102013106769A1 (en) | Tachograph with the lane keeping and collision warning function | |
EP2194510B1 (en) | Data recording system | |
DE102013220016A1 (en) | Method and device for monitoring the function of a driver assistance system | |
EP2088439A1 (en) | Device for testing the functionality of a vehicle | |
EP3535965B1 (en) | Method and device for monitoring an image sensor | |
WO2008119444A1 (en) | Data recording system and method for acquiring data by means of a data recording system | |
DE69008192T2 (en) | METHOD AND DEVICE FOR STORING INTERMITTENT FUNCTIONAL ERRORS OF A PHYSICAL SYSTEM AND CONTEXT VARIABLE THESE ERRORS. | |
DE102008042013A1 (en) | Method for documentation of traffic situation in car-to-car communication system, involves using internal sensor data of vehicles and external sensor data that are provided by sensor as data for documentation of traffic situation | |
DE102018216395A1 (en) | Method and device for monitoring an arrangement of at least one stationary or variably arranged calibration marker using at least one stationary or variably arranged vehicle-external reference sensor for the calibration of environment sensors of a vehicle | |
DE102009012887B4 (en) | Method for checking incorrect installation of vehicle sensors | |
DE102019211021B4 (en) | Method for detecting a time offset | |
DE102017217063A1 (en) | A recognition system, method of operation and training method for generating a 3D model with reference data | |
DE102016103037A1 (en) | Method for checking the functionality of a camera-monitor system, camera-monitor system and motor vehicle | |
DE102014202639A1 (en) | Method for determining movement of vehicle, involves outputting movement of vehicle when quality value formed for evaluating detected vehicle movement estimate is available in predetermined relationship to reference value | |
WO2013068007A1 (en) | Plate brake test stand and a method for testing the brakes in vehicles | |
DE102019209849B4 (en) | Method and control device for distance-measuring image processing for a stereo camera device for a vehicle and stereo camera system with a stereo camera device and a control device | |
WO2018188978A1 (en) | Microscope system and method for operating a microscope system | |
EP2439117B1 (en) | Method and device for detecting irregularities in a wheel brake of a vehicle | |
EP1919200A2 (en) | Method and device for automatic recognition of the relative direction of movement of a multi-line camera to an object | |
DE102022130501A1 (en) | Measuring device for testing an acoustic signal emitted by an audio output device of a motor vehicle in an interior of the motor vehicle, use of a measuring device | |
DE4105571C1 (en) | Ascertaining transmission quality of TV system - generating two=dimensional angular function signal of variable frequency |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: AL BA RS |
|
PUAL | Search report despatched |
Free format text: ORIGINAL CODE: 0009013 |
|
AK | Designated contracting states |
Kind code of ref document: A3 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: AL BA RS |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: G07C 5/08 20060101AFI20130227BHEP |
|
17P | Request for examination filed |
Effective date: 20130411 |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: BUEHLER, OLIVER Owner name: ULMER, DANIEL |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: STEINBEIS INTERAGIERENDE SYSTEME GMBH |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: EXAMINATION IS IN PROGRESS |
|
17Q | First examination report despatched |
Effective date: 20170206 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
INTG | Intention to grant announced |
Effective date: 20180206 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
RBV | Designated contracting states (corrected) |
Designated state(s): DE FR GB SE |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE PATENT HAS BEEN GRANTED |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): DE FR GB SE |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502009015226 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180829 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502009015226 Country of ref document: DE |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20190531 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20221117 Year of fee payment: 14 Ref country code: FR Payment date: 20221122 Year of fee payment: 14 Ref country code: DE Payment date: 20221116 Year of fee payment: 14 |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20231112 |