JP2008003779A - Measurement data processing apparatus of preventive safety car - Google Patents

Measurement data processing apparatus of preventive safety car Download PDF

Info

Publication number
JP2008003779A
JP2008003779A JP2006171501A JP2006171501A JP2008003779A JP 2008003779 A JP2008003779 A JP 2008003779A JP 2006171501 A JP2006171501 A JP 2006171501A JP 2006171501 A JP2006171501 A JP 2006171501A JP 2008003779 A JP2008003779 A JP 2008003779A
Authority
JP
Japan
Prior art keywords
time
measurement data
measurement
central computer
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006171501A
Other languages
Japanese (ja)
Inventor
Masaru Yamazaki
勝 山崎
Shinya Imura
進也 井村
Tatsuya Yoshida
龍也 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006171501A priority Critical patent/JP2008003779A/en
Publication of JP2008003779A publication Critical patent/JP2008003779A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Arrangements For Transmission Of Measured Signals (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To prevent accidents by quickly and precisely integrating sensor information from a plurality of sensors for measuring the periphery of a car, to recognize a peripheral state. <P>SOLUTION: A measurement data processing apparatus of a car includes a plurality of sensors, a central computer, a communication means for achieving data communication between both of them, and an output means for performing prescribed output in accordance with a calculation result in the central computer. The central computer has a reference time and processing buffers per prescribed time unit with respect to the reference time, and sensors add information allowing measurement times to be specified, to measurement data and transmit the measurement data to the central computer through the communication means, and the central computer derives measurement time of measurement data from information allowing measurement times to be specified, of transmitted measurement data and refers to the derived measurement times to select and store suitable processing buffers, and the central computer refers to a plurality of pieces of corrected measurement data stored in processing buffers, to recognize the peripheral state of the car and performs prescribed output by the output means on the basis of the recognition result. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、事故の未然防止を目的とした予防安全自動車に装備する計測データ処理装置に関するものであって、特に、複数のセンサデータを処理して車両の周囲の状況を認識し、認識結果に基づいて出力手段にて所定の出力を行なう計測データ処理装置に関する。   The present invention relates to a measurement data processing device installed in a preventive safety vehicle for the purpose of preventing accidents, and in particular, recognizes the situation around the vehicle by processing a plurality of sensor data, The present invention relates to a measurement data processing apparatus that performs predetermined output based on output means.

特許文献1には、移動体に搭載されたセンサを用いてのセンサ画像の処理方式における情報処理について、相異なる時刻に取得したセンサのデータに対し該時刻におけるセンサの位置、方位情報に基づいてセンサのデータの歪を算出し、この歪の補正を実行した後にメモリに格納する手法が開示されている。   In Patent Document 1, information processing in a sensor image processing method using a sensor mounted on a moving body is based on sensor data acquired at different times based on the position and orientation information of the sensor at that time. A technique is disclosed in which distortion of sensor data is calculated and stored in a memory after the distortion is corrected.

特許文献2には、遠隔地の装置から送出される不定時間間隔の計測データを含む遠隔計測処理信号を処理する遠隔計測データ処理装置において、データ格納装置とデータ出力装置を持ち、データの計測時刻を参照できる形でデータ格納装置に格納し、処理したい時刻のデータをデータ格納装置から呼び出し、一時記憶手段に記憶させ、一時記憶手段のデータを基にして次段の処理を行い出力することにより、高速にかつ効率良く処理することを実現した手法が開示されている。   Patent Document 2 discloses a telemetry data processing device that processes a telemetry processing signal including measurement data at indefinite time intervals sent from a remote device, and has a data storage device and a data output device, and the data measurement time Is stored in the data storage device in a form that can be referred to, the data at the time to be processed is called from the data storage device, stored in the temporary storage means, and the next stage processing is performed based on the data in the temporary storage means and output. A method realizing high-speed and efficient processing is disclosed.

特開昭63−247875号公報JP-A 63-247875 特開平7−57176号公報JP-A-7-57176

図5は、カメラ、レーザレーダ、ミリ波レーダという複数のセンサを備えて、相異なる時刻に取得した各センサのデータについて、各センサ間の計測時刻の差による計測データのずれを補正してメモリに格納する従来の計測データ処理装置におけるデータ伝送と処理バッファへのデータ格納のタイムチャートを示す。後述する本発明の一実施例に関する図4と同様に、時間軸atに対する各処理の進行を示している。カメラはカメラ計測タイミングa11で周囲のデータを取得し、カメラデータ処理a12でそのデータの処理(計測時刻データの付加もここに含まれる)を行い、カメラデータ伝送a13の時間で中央計算機に計測データを伝送していることを示している。他のセンサ、レーザレーダ、ミリ波レーダについても同様である(レーザレーダ計測タイミングa21、レーザレーダデータ処理a22、レーザレーダデータ伝送a23、ミリ波レーダ計測タイミングa31、ミリ波レーダデータ処理a32、ミリ波レーダデータ伝送a33)。   FIG. 5 includes a plurality of sensors such as a camera, a laser radar, and a millimeter wave radar, and for each sensor data acquired at different times, the measurement data shift due to the difference in the measurement time between the sensors is corrected and the memory is corrected. 5 shows a time chart of data transmission and data storage in a processing buffer in the conventional measurement data processing apparatus stored in the table. Similarly to FIG. 4 relating to an embodiment of the present invention described later, the progress of each process with respect to the time axis at is shown. The camera acquires surrounding data at the camera measurement timing a11, processes the data (including the addition of measurement time data) at the camera data processing a12, and sends the measurement data to the central computer at the time of the camera data transmission a13. Is transmitted. The same applies to other sensors, laser radars, and millimeter wave radars (laser radar measurement timing a21, laser radar data processing a22, laser radar data transmission a23, millimeter wave radar measurement timing a31, millimeter wave radar data processing a32, millimeter wave. Radar data transmission a33).

ここで、中央計算機から見ると、カメラ計測タイミングa11で取得したカメラの計測データをカメラデータ受信タイミングa14で受け、レーザレーダ計測タイミングa21で取得したレーザレーダの計測データをレーザレーダデータ受信タイミングa24で受け、ミリ波レーダ計測タイミングa31で取得したミリ波レーダの計測データをミリ波レーダデータ受信タイミングa34で受けることになる。従来技術での計測データ処理装置では、データ受け取り後、各センサ間の計測時刻の差による計測データのずれを補正して、メモリに格納する。ここで、例えば、カメラにおいてはずれ時間adtで示すずれが生じており、この分のデータのずれを補正してメモリに格納する。すなわち、従来技術では、本発明のずれ時間sdtと比較して、非常に長いずれ時間adtとなってしまうことになる。よって、長いずれ時間の補正作業が必要となり、計測データの精度を十分に高く保つことができないものである。   When viewed from the central computer, the camera measurement data acquired at the camera measurement timing a11 is received at the camera data reception timing a14, and the laser radar measurement data acquired at the laser radar measurement timing a21 is received at the laser radar data reception timing a24. The measurement data of the millimeter wave radar acquired at the millimeter wave radar measurement timing a31 is received at the millimeter wave radar data reception timing a34. In the measurement data processing apparatus according to the prior art, after receiving the data, the deviation of the measurement data due to the difference in measurement time between the sensors is corrected and stored in the memory. Here, for example, in the camera, a shift indicated by a shift time adt has occurred, and this shift in data is corrected and stored in the memory. That is, in the prior art, the time dt will be very long compared to the shift time sdt of the present invention. Therefore, correction work for a long time is required, and the accuracy of measurement data cannot be kept sufficiently high.

しかしながら、特許文献1記載の手法においては、計測時間刻み幅が長いセンサデータを合成することに主眼が置かれており、高速のセンサが複数存在する場合には、データを格納するメモリが大量に必要となり、実時間処理を行うためにはこれが障害となり破綻してしまう恐れがある。   However, the technique described in Patent Document 1 focuses on synthesizing sensor data having a long measurement time step, and when there are a plurality of high-speed sensors, a large amount of memory for storing data is used. This is necessary, and in order to perform real-time processing, this may become an obstacle and fail.

また、特許文献2記載の手法においては、計測時刻とデータを記憶部に格納し出力時の処理の高速化を行おうとしているが、計測時刻の差によるデータのずれの補正に関しては、対応できておらず、高速な呼び出しはできるものの、変化量の大きいデータに関してはデータ間の差が大きく、次段の処理が破綻してしまう
恐れがある。
In the method described in Patent Document 2, the measurement time and data are stored in the storage unit to increase the processing speed at the time of output. However, the correction of the data shift due to the difference in the measurement time can be handled. However, although a high-speed call can be made, the difference between the data is large with respect to data with a large change amount, and there is a possibility that the processing at the next stage may fail.

本発明の課題は、別々の時刻に計測を行い、別々の処理時間を経て中央計算機にデータを伝送する複数のセンサを持つシステムにおいて、データの処理を高速に実行させつつ、センサの計測時刻の差による精度悪化を防ぎ、システムの認識精度を向上させることを目的としている。   An object of the present invention is to perform measurement of data at high speed in a system having a plurality of sensors that perform measurement at different times and transmit data to a central computer through different processing times, while The purpose is to prevent the deterioration of accuracy due to the difference and improve the recognition accuracy of the system.

上記目的を達成するために本発明では、車両の周囲の状況を検知する複数のセンサと、センサ情報を統合して処理する中央計算機と、少なくともセンサと中央計算機との間のデータ通信を実現する通信手段と、中央計算機での計算結果に応じて所定の出力を行う出力手段と、を有する自動車の計測データ処理装置において、中央計算機は基準時刻と、その基準時刻に対して所定の時間きざみ毎に処理バッファを持ち、センサは計測データに計測時刻を特定できる情報を付加して通信手段を介して中央計算機に伝送し、中央計算機は送られてきた計測データの計測時刻を特定できる情報より計測データの計測時刻を導出し、導出した計測時刻を参照して、適する処理バッファを選択して格納し、中央計算機は処理バッファに格納された複数の補正した計測データを参照して車両の周囲の状況を認識し、認識結果に基づいて出力手段にて所定の出力を行うことを特徴とする。   To achieve the above object, the present invention realizes data communication between a plurality of sensors for detecting a situation around the vehicle, a central computer for integrating and processing sensor information, and at least the sensor and the central computer. In a vehicle measurement data processing apparatus having communication means and output means for performing a predetermined output in accordance with a calculation result in the central computer, the central computer has a reference time and a predetermined time step with respect to the reference time. In addition, the sensor adds information that can specify the measurement time to the measurement data and transmits it to the central computer via communication means. The central computer measures from the information that can specify the measurement time of the sent measurement data. Deriving the measurement time of the data, referring to the derived measurement time, select and store the appropriate processing buffer, and the central computer stores a plurality of complements stored in the processing buffer. With reference to the measurement data to recognize the situation in the vicinity of the vehicle, and performs predetermined output by the output means based on the recognition result.

また、本発明は、上記の計測データ処理装置において、更に車両の運動状態を検出する車両状態センサを備え、中央計算機または別ユニットにおいて車両状態センサの情報を基に車両の運動状態を計算し、中央計算機は計測データの計測時刻と処理バッファの時刻との差による計測データのずれを補正する際にその時刻での車両の前記運動状態を基にした補正をして処理バッファに格納することを特徴としている。   In addition, the present invention further includes a vehicle state sensor for detecting the movement state of the vehicle in the measurement data processing apparatus described above, and calculates the movement state of the vehicle based on the information of the vehicle state sensor in the central computer or another unit. When the central computer corrects the measurement data shift due to the difference between the measurement time of the measurement data and the time of the processing buffer, the central computer performs correction based on the motion state of the vehicle at that time and stores it in the processing buffer. It is a feature.

また、本発明では、上記の計測データ処理装置において、更に処理バッファの時間刻み幅に対してセンサの計測時間幅が長く、処理バッファの計測データが欠損すると予想される場合、欠損する計測データを少なくともそのセンサの他の時刻の計測データを基に推定し、推定した計測データを計測データが欠損する処理バッファに格納することを特徴としている。   Further, in the present invention, in the above measurement data processing device, if the measurement time width of the sensor is longer than the time interval of the processing buffer and the measurement data of the processing buffer is expected to be lost, the lost measurement data is It is estimated based on measurement data at least at other times of the sensor, and the estimated measurement data is stored in a processing buffer in which measurement data is missing.

また、本発明では、上記の計測データ処理装置において、更に処理バッファの時間刻み幅に対してセンサの計測時間幅が長く、処理バッファの計測データが欠損すると予想される場合、欠損する計測データを少なくとも他のセンサの計測データを基に推定し、推定した計測データを計測データが欠損する処理バッファに格納することを特徴とする。   Further, in the present invention, in the above measurement data processing device, if the measurement time width of the sensor is longer than the time interval of the processing buffer and the measurement data of the processing buffer is expected to be lost, the lost measurement data is The estimation is based at least on the measurement data of another sensor, and the estimated measurement data is stored in a processing buffer in which the measurement data is missing.

また、本発明では、上記の計測データ処理装置において、更に処理バッファの時間刻み幅に対してセンサの計測時間幅が短く、一つの処理バッファに対して多数の計測データが存在する場合、その多数の計測データを参照して精度や信頼性を向上させた修正計測データを計算し、修正計測データを処理バッファに格納することを特徴としている。   Further, in the present invention, in the measurement data processing apparatus described above, when the measurement time width of the sensor is shorter than the time interval of the processing buffer and there are a large number of measurement data for one processing buffer, The modified measurement data with improved accuracy and reliability is calculated with reference to the measurement data, and the modified measurement data is stored in the processing buffer.

また、本発明では、上記の計測データ処理装置において、更にセンサにおける計測時刻を中央計算機の持つ基準時刻と合わせるために、少なくとも一回の時刻合わせ処理を実行した後、センサにおける計測時刻と中央計算機の持つ基準時刻との時刻合わせの精度が十分であるか判断を行い、不十分である場合には、十分な精度となるまで、時刻合わせ動作を繰り返し実行することを特徴としている。   Further, in the present invention, in the measurement data processing device, in order to further match the measurement time of the sensor with the reference time of the central computer, at least one time adjustment process is performed, and then the measurement time of the sensor and the central computer are It is determined whether or not the accuracy of time adjustment with the reference time is sufficient, and if it is insufficient, the time adjustment operation is repeatedly executed until the accuracy becomes sufficient.

また、本発明では、上記の計測データ処理装置において、更にセンサにおける計測時刻を中央計算機の持つ基準時刻と合わせるために、少なくとも一回の時刻合わせ処理を実行した後、センサにおける計測時刻と中央計算機の持つ基準時刻との時刻合わせの精度が十分であるか判断を行い、不十分である場合には、十分な精度となるまで、時刻合わせ動作を繰り返し実行するが、繰り返し回数の上限を持ち、繰り返し回数の上限に達した場合は、時刻合わせ動作を終了することを特徴としている。   Further, in the present invention, in the measurement data processing device, in order to further match the measurement time of the sensor with the reference time of the central computer, at least one time adjustment process is performed, and then the measurement time of the sensor and the central computer are It is determined whether the time adjustment accuracy with the reference time is sufficient, and if it is insufficient, the time adjustment operation is repeated until sufficient accuracy is reached, but it has an upper limit of the number of repetitions, When the upper limit of the number of repetitions is reached, the time adjustment operation is terminated.

また、本発明では、上記の計測データ処理装置において、更にセンサにおける計測時刻を中央計算機の持つ基準時刻と合わせるために、予め設定した所定の回数の時刻合わせ処理を実行することを特徴としている。   Further, the present invention is characterized in that the measurement data processing apparatus described above executes a predetermined number of times of preset time in order to match the measurement time of the sensor with the reference time of the central computer.

また、本発明では、上記の計測データ処理装置において、更に一連の時刻合わせ処理の実行を前回の一連の時刻合わせ処理の実行時刻から所定の時間が経過したことと、その時点での車両の運動状態や周囲の状況より安全と判断される場合に許可することを特徴としている。   Further, according to the present invention, in the measurement data processing device described above, the execution of the series of time adjustment processes further includes a predetermined time elapsed from the execution time of the previous series of time adjustment processes, and the movement of the vehicle at that time. It is characterized by permission when it is judged to be safe from the state and surrounding conditions.

また、本発明では、車両の周囲の状況を検知する複数のセンサと、センサ情報を統合して処理する中央計算機と、少なくともセンサと中央計算機との間のデータ通信を実現する通信手段と、中央計算機での計算結果に応じて所定の出力を行う出力手段と、を有する自動車の計測データ処理装置において、中央計算機は基準時刻と、その基準時刻に対して所定の時間きざみ毎に処理バッファを持ち、センサ計測時刻の推定手段を、中央計算機の内部又は外部に備え、センサが計測データに計測時刻を特定できる情報を付加できない場合には、このセンサ計測時刻の推定手段の推定した計測時刻を参照して、適する処理バッファを選択し、計測データの計測時刻と処理バッファの時刻との差による計測データのずれを補正したのち、補正した計測データを適する処理バッファに格納し、中央計算機は処理バッファに格納された複数の補正した計測データを参照して車両の周囲の状況を認識し、認識結果に基づいて出力手段にて所定の出力を行うことを特徴としている。   Further, according to the present invention, a plurality of sensors that detect the situation around the vehicle, a central computer that integrates and processes sensor information, a communication means that realizes data communication between at least the sensor and the central computer, In an automobile measurement data processing apparatus having an output means for performing a predetermined output in accordance with a calculation result in a computer, the central computer has a reference time and a processing buffer for each predetermined time interval with respect to the reference time. If the sensor measurement time estimation means is provided inside or outside the central computer and the sensor cannot add information that can specify the measurement time to the measurement data, refer to the measurement time estimated by the sensor measurement time estimation means. Then, select a suitable processing buffer, correct the measurement data deviation due to the difference between the measurement data measurement time and the processing buffer time, and then correct the measurement. The central computer recognizes the situation around the vehicle with reference to a plurality of corrected measurement data stored in the processing buffer, and outputs a predetermined output by the output means based on the recognition result. It is characterized by performing.

また、本発明では、車両の周囲の状況を検知する複数のセンサと、センサ情報を統合して処理する中央計算機と、少なくともセンサと中央計算機との間のデータ通信を実現する通信手段と、中央計算機での計算結果に応じて所定の出力を行う出力手段と、を有する自動車の計測データ処理装置において、中央計算機は基準時刻と、その基準時刻に対して所定の時間きざみ毎に処理バッファを論理的に存在可とする領域とし、センサは計測データに計測時刻を特定できる情報を付加して通信手段を介して中央計算機に伝送し、中央計算機は送られてきた計測データの計測時刻を特定できる情報より計測データの計測時刻を導出し、導出した計測時刻を参照して、処理バッファが論理的に存在可となる領域に具体的な記憶領域を確保して処理バッファを形成し、前記計測データを確保した処理バッファに格納し、中央計算機は確保した処理バッファに格納された複数の計測データを参照して車両の周囲の状況を認識し、認識結果に基づいて出力手段にて所定の出力を行うことを特徴としている。   Further, according to the present invention, a plurality of sensors that detect the situation around the vehicle, a central computer that integrates and processes sensor information, a communication means that realizes data communication between at least the sensor and the central computer, In an automobile measurement data processing apparatus having an output means for performing a predetermined output in accordance with a calculation result in a computer, the central computer logically processes a processing buffer for each reference time and a predetermined time interval with respect to the reference time. The sensor adds the information that can specify the measurement time to the measurement data and transmits it to the central computer via communication means, and the central computer can specify the measurement time of the sent measurement data Deriving the measurement time of measurement data from the information, referring to the derived measurement time, secure a specific storage area in the area where the processing buffer can logically exist, and And the measurement data is stored in the secured processing buffer, and the central computer recognizes the situation around the vehicle by referring to the plurality of measurement data stored in the secured processing buffer, and based on the recognition result A predetermined output is performed by the output means.

また、本発明では、車両の周囲の状況を検知する複数のセンサと、センサ情報を統合して処理する中央計算機と、少なくともセンサと中央計算機との間のデータ通信を実現する通信手段と、中央計算機での計算結果に応じて所定の出力を行う出力手段とを有する自動車の計測データ処理装置において、中央計算機は基準時刻と、時刻の概念の無い処理バッファを持ち、センサは計測データに計測時刻を特定できる情報を付加して通信手段を介して中央計算機に伝送し、中央計算機は送られてきた計測データの計測時刻を特定できる情報より計測データの計測時刻を導出し、導出した計測時刻を参照して、計測データの計測時刻のずれによる計測データのずれを補正したのち、補正した計測データを処理バッファに格納し、中央計算機は処理バッファに格納された補正した計測データを参照して車両の周囲の状況を認識し、認識結果に基づいて出力手段にて所定の出力を行うことを特徴としている。   Further, according to the present invention, a plurality of sensors that detect the situation around the vehicle, a central computer that integrates and processes sensor information, a communication means that realizes data communication between at least the sensor and the central computer, In an automobile measurement data processing device having an output means for performing a predetermined output according to a calculation result in a computer, the central computer has a reference time and a processing buffer without a concept of time, and the sensor measures the measurement data in the measurement time. Is transmitted to the central computer via communication means, and the central computer derives the measurement time of the measurement data from the information that can specify the measurement time of the measurement data sent, and the derived measurement time is Refer to the measurement data and correct the measurement data deviation due to the measurement time deviation, then store the corrected measurement data in the processing buffer. Referring to the corrected measurement data stored in the file to recognize the situation in the vicinity of the vehicle, it is characterized by performing a predetermined output by the output means based on the recognition result.

また、本発明では、上記の計測データ処理装置において、更に所定の出力を行なう出力手段が警報装置であることを特徴としている。   Further, the present invention is characterized in that, in the measurement data processing apparatus, the output means for performing a predetermined output is an alarm device.

また、本発明では、上記の計測データ処理装置において、更に所定の出力を行なう出力手段がブレーキ及び/又はステアリング操作手段であることを特徴としている。   In the present invention, the measurement data processing apparatus is characterized in that the output means for performing a predetermined output is a brake and / or steering operation means.

本発明によれば、複数のセンサを持ち、これらセンサが計測するデータに関してデータの計測時刻が異なる場合の処理に関して、中央計算機は、センサによって付加された時刻情報により計測時刻を把握でき、中央計算機は内部の適する処理バッファにセンサからの計測データを格納することができ、計測時刻のずれを少なくした状態で中央計算機は、周囲の状況の認識処理を実行でき、計測時刻のずれによる計測データの精度悪化を防ぎつつ、複数のセンサの同期作業等も必要でなくなるため、同期処理等の待ち時間等を持つ必要がなくなり、システム全体の処理を高速化できる。   According to the present invention, the central computer can grasp the measurement time from the time information added by the sensor with respect to the processing when the measurement time of the data is different for the data measured by these sensors. The measurement data from the sensor can be stored in the appropriate processing buffer inside, and the central computer can execute the recognition process of the surrounding situation with the measurement time deviation reduced, and the measurement data due to the measurement time deviation Since it is not necessary to perform a synchronization operation of a plurality of sensors while preventing deterioration in accuracy, it is not necessary to have a waiting time for synchronization processing or the like, and the processing of the entire system can be speeded up.

また、中央計算機は計測データの計測時刻と処理バッファの時刻との差による計測データのずれを補正する際にその時刻での車両の運動状態を基に補正して処理バッファに格納することにより、高精度に計測データのずれを補正ができ計測データの精度をさらに向上できるとともに、計算された車両の運動状態を基の補正することで補正計算の高速化ができシステム全体の処理をさらに高速化できる。   In addition, when the central computer corrects the deviation of the measurement data due to the difference between the measurement time of the measurement data and the time of the processing buffer, the central computer corrects the movement state of the vehicle at that time and stores it in the processing buffer. The deviation of measurement data can be corrected with high accuracy and the accuracy of measurement data can be further improved, and the correction calculation can be speeded up by correcting based on the calculated movement state of the vehicle, further speeding up the entire system processing. it can.

また、中央計算機の処理周期よりも処理周期の遅いセンサがある場合にも欠損する計測データを推定することができ、欠損したデータによるシステムの認識精度の悪化を防ぐことができる。   Further, even when there is a sensor whose processing cycle is slower than the processing cycle of the central computer, it is possible to estimate missing measurement data, and it is possible to prevent deterioration of the recognition accuracy of the system due to the missing data.

また、センサと中央計算機の時刻ずれを修正でき、それぞれが基準とる時刻がずれることによるシステムの認識精度の悪化を防ぐことができる。   In addition, the time difference between the sensor and the central computer can be corrected, and the deterioration of the recognition accuracy of the system due to the time difference between the two can be prevented.

また、処理バッファに必要な物理的なメモリの量を削減することができ、部品量の低減から、軽量で、故障に強いシステムを構成することができる。   In addition, the amount of physical memory necessary for the processing buffer can be reduced, and a light weight and failure resistant system can be configured due to the reduction in the amount of components.

[実施例1]
以下、本発明の一実施例を図1ないし図8を用いて説明する。
図1は本発明による計測データ処理装置の構成を示したものである。本実施例の計測データ処理装置はセンサで計測したデータを基に車両の周囲の状況を認識して、危険性の有無を判断し、危険性が有ると判断した場合は、出力手段である警報ランプで運転手にその情報を伝える装置である。すなわち、障害物となる物体が存在し、衝突に至る危険性がある場合には、その情報として、障害物のある方向に応じて左方ランプ51、または前方ランプ52、または右方ランプ53を点灯させて、運転手に障害物の認識を促す処理を行う。構成としては、センサとしてカメラ10と、レーザレーダ20とミリ波レーダ30を持ち、これらセンサは図示しない車両の周囲の状況をセンシングできるように車体に取り付けられている。各センサにはそれぞれのセンサ(CCD11、レーザ検知器21、ミリ波アンテナ31)を持ち、周囲の情報を取得し計測データとする。また各センサには時刻データ発生器(12、22、32)と、時刻データの計測データへの付加器(13、23、33)を持ち、時刻データの計測データへの付加器は、センサが周囲を計測した時刻を計測データに付加する。この時刻データ付きの計測データが各センサの出力となる。各センサの出力は中央計算機40に伝送されるように接続されている。ここで、時刻データの計測データへの付加器は図2に示すように複数のセンサに対して共通の時刻データ発生器71として配置し、複数のセンサに時刻データを供給してもよいし、図3に示すように、あるセンサの内蔵されている時刻データ発生器の時刻データをそのセンサ用に用いる一方でセンサ外部に出力し、他のセンサの時刻データとして用いる構成であってもよい。
[Example 1]
Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
FIG. 1 shows the configuration of a measurement data processing apparatus according to the present invention. The measurement data processing apparatus of the present embodiment recognizes the situation around the vehicle based on the data measured by the sensor, determines the presence or absence of danger, and if it is determined that there is a risk, an alarm as an output means It is a device that conveys the information to the driver with a lamp. That is, when there is an object that becomes an obstacle and there is a risk of a collision, the left lamp 51, the front lamp 52, or the right lamp 53 is used as the information depending on the direction of the obstacle. Turn on the light and perform a process to prompt the driver to recognize the obstacle. As a configuration, the camera 10, the laser radar 20, and the millimeter wave radar 30 are provided as sensors, and these sensors are attached to the vehicle body so as to sense the situation around the vehicle (not shown). Each sensor has its own sensor (CCD 11, laser detector 21, millimeter wave antenna 31), and obtains surrounding information as measurement data. Each sensor has a time data generator (12, 22, 32) and an adder (13, 23, 33) to the measurement data of the time data. The time when the surroundings are measured is added to the measurement data. The measurement data with the time data becomes the output of each sensor. The output of each sensor is connected to be transmitted to the central computer 40. Here, the adder to the measurement data of the time data may be arranged as a common time data generator 71 for a plurality of sensors as shown in FIG. 2, and the time data may be supplied to the plurality of sensors. As shown in FIG. 3, the time data of a time data generator built in a certain sensor may be used for the sensor while being output to the outside of the sensor and used as the time data of another sensor.

また、センサ計測時刻の推定手段を、中央計算機内部または中央計算機外部に備え、センサが計測データに計測時刻を特定できる情報を付加できない場合には、このセンサ計測時刻の推定手段の推定した計測時刻をセンサの時刻データとして用いる構成であってもよい。この場合には、例えば、センサの処理時間が予め300msと分かっている場合の現在の時刻から300msさかのぼった時刻を計測時刻とするようにする。   If the sensor measurement time estimation means is provided inside or outside the central computer and the sensor cannot add information that can specify the measurement time to the measurement data, the measurement time estimated by the sensor measurement time estimation means May be used as time data of the sensor. In this case, for example, a time that goes back 300 ms from the current time when the processing time of the sensor is known to be 300 ms in advance is set as the measurement time.

図1では、カメラとレーザレーダとミリ波レーダ各1ヶのセンサを持つ例を示している。もちろん、これはセンサの種類や個数を限定するものでは無く、様々な種類のセンサがあってもよいし、多数のセンサがあってもよいし、単一の種類のセンサが複数あってもよい。   FIG. 1 shows an example having a camera, a laser radar, and a millimeter wave radar. Of course, this does not limit the type or number of sensors, and there may be various types of sensors, there may be many sensors, or there may be a plurality of single type sensors. .

中央計算機40は各センサからの時刻データと計測データを受け取ると、中央計算機の持つ処理時間間隔毎に用意してある処理バッファ(43a、43b、43c、中略、43x)に格納する。この際、まず格納バッファ選択器41により、伝送されてきた計測データに付加されている時刻データを参照し、収納する格納バッファを選択する。次に計測データはデータ補正器42に伝送され、ここで、処理バッファの時刻と計測データの計測時刻との差による計測データのずれを補正する。   When the central computer 40 receives the time data and measurement data from each sensor, the central computer 40 stores the data in processing buffers (43a, 43b, 43c, abbreviation, 43x) prepared for each processing time interval of the central computer. At this time, first, the storage buffer selector 41 refers to the time data added to the transmitted measurement data, and selects the storage buffer to be stored. Next, the measurement data is transmitted to the data corrector 42, where the deviation of the measurement data due to the difference between the time of the processing buffer and the measurement time of the measurement data is corrected.

この計測データのずれの補正の際、計測データのずれは車両の運動による計測点の移動によるものが主であるため、車両の運動によるずれを補正できるように、車両の運動計算器60を持ち、ヨーレートセンサ61、ハンドル角センサ62、車速センサ63の取得したデータに基づき車両の運動を計算し、中央計算機に伝達するように接続されている。中央計算機には、各センサの計測時間のちがいに対応するため、過去の車両運動のデータの保持が必要であり、車両の運動記録器46を持ち、過去の車両の運動を保持できるようになっている。   When correcting the deviation of the measurement data, the deviation of the measurement data is mainly caused by the movement of the measurement point due to the movement of the vehicle. Therefore, the vehicle motion calculator 60 is provided so that the deviation due to the movement of the vehicle can be corrected. The movement of the vehicle is calculated based on the data acquired by the yaw rate sensor 61, the handle angle sensor 62, and the vehicle speed sensor 63, and is connected to the central computer. The central computer needs to hold past vehicle motion data in order to cope with the difference in the measurement time of each sensor, and has a vehicle motion recorder 46 so that it can hold past vehicle motion. ing.

また。中央計算機自体でも時刻を把握するため、内部に時刻データ発生器45を持っている。計測データのずれの補正の際、データ補正器は時刻データ発生器からの時刻データを参照しつつ、車両の運動記録器からの車両運動データを参照して補正計算を実行する。   Also. The central computer itself has a time data generator 45 in order to grasp the time. When correcting the deviation of the measurement data, the data corrector performs correction calculation with reference to the vehicle motion data from the vehicle motion recorder while referring to the time data from the time data generator.

ここで、処理バッファの時間間隔に対し、計測データの時間間隔が長く処理バッファに入れるべきデータが欠損する場合には、計測データを少なくともそのセンサの他の時刻の計測データを基に推定し、推定した計測データを計測データが欠損する処理バッファに格納してもよい。   Here, when the time interval of the measurement data is long with respect to the time interval of the processing buffer and the data to be put into the processing buffer is missing, the measurement data is estimated based on the measurement data at least at other times of the sensor, The estimated measurement data may be stored in a processing buffer that lacks measurement data.

例えば、カメラが200ms毎に画像処理を実施でき、データが200ms毎に得られていて、処理バッファが100msで用意されている場合、200ms毎のカメラデータの中間となる100msで処理バッファに入れるべきであるデータを、例えば、直前のカメラの計測データを基に100ms間の自車の運動の相当する移動距離でシフトさせて推定データとして作成し格納バッファに格納してもよい。   For example, if the camera can perform image processing every 200 ms, data is obtained every 200 ms, and a processing buffer is prepared at 100 ms, it should be put into the processing buffer at 100 ms, which is the middle of the camera data every 200 ms. For example, the data may be shifted by the movement distance corresponding to the movement of the vehicle for 100 ms based on the measurement data of the immediately preceding camera, and may be generated as estimated data and stored in the storage buffer.

また、欠損する計測データを少なくとも他のセンサの計測データを基に推定し、推定した計測データを計測データが欠損する処理バッファに格納してもよい。   Further, the missing measurement data may be estimated based on at least the measurement data of other sensors, and the estimated measurement data may be stored in a processing buffer in which the measurement data is missing.

ここで、処理バッファの時間刻み幅に対してセンサの計測時間幅が短く、一つ処理バッファに対して多数の計測データが存在する場合には、その多数の計測データを参照して精度や信頼性を向上させた修正計測データを計算し、修正計測データを処理バッファに格納してもよい。   Here, when the sensor measurement time width is shorter than the time interval of the processing buffer and there are many measurement data for one processing buffer, the accuracy and reliability are referred to by referring to the many measurement data. It is also possible to calculate corrected measurement data with improved performance and store the corrected measurement data in the processing buffer.

例えば、カメラとレーザレーダで明らかに同一の対象物を捕らえていることが中央計算機で認識できており、カメラが200ms毎に画像処理を実施でき、データが200ms毎に得られ、レーザレーダが100ms毎に処理できデータを100ms毎に得ることができている場合、カメラの200ms毎のデータ間の100msでのデータに相当するデータをレーザレーダのデータを基に計算し、推定データとして作成して処理バッファに格納してもよい。この際、例えば、直前のカメラデータをレーザレーダのデータを基にシフトさせて、明らかに同一の対象物として捕らえている物体の位置がレーザレーダのデータと整合するようにして推定データとしてもよい。   For example, the central computer can recognize that the same object is clearly captured by the camera and the laser radar, the camera can perform image processing every 200 ms, data is obtained every 200 ms, and the laser radar is 100 ms. If the data can be processed every 100 ms and the data can be obtained every 100 ms, the data corresponding to the data in 100 ms between the 200 ms data of the camera is calculated based on the data of the laser radar and created as the estimated data. You may store in a processing buffer. In this case, for example, the previous camera data may be shifted based on the laser radar data so that the position of the object that is clearly captured as the same object matches the laser radar data. .

また処理バッファは論理的に存在可とする領域とし、具体的な記憶領域はセンサからの計測データが存在した場合にのみ確保し、計測データの計測時刻と確保した処理バッファの時刻との差による計測データのずれを補正したのち、補正した計測データを確保した処理バッファに格納してもよい。   In addition, the processing buffer is an area that can logically exist, and a specific storage area is secured only when measurement data from the sensor exists, depending on the difference between the measurement data measurement time and the secured processing buffer time. After correcting the deviation of the measurement data, the corrected measurement data may be stored in a secured processing buffer.

補正されたデータは対応する処理バッファに格納され、認識判断器44からの呼び出しを待つことになる。また、処理バッファは、リングバッファの形式を取り、現在時刻からバッファの容量に依存する過去の情報までを保持し、新しいデータを書き込む際、最も古いデータを消去する形式である。ここで、図1の処理バッファの図は論理的な場所を示しているので、現在の時刻に対応する処理バッファ43aを持ち、一周期前の時刻に対応する処理バッファ43bを持ち、以下同様に複数の処理バッファが連なっており、最古時間に対応する処理バッファ43xまでが存在する形態となる。ここで、時刻が一周期進むと、最終の処理バッファ43xの情報が消去され、順次処理バッファの内容がシフトされるものである(処理バッファ43aの内容は一周期前の時刻に対応する処理バッファ43bに移され、一周期前の時刻に対応する処理バッファ43bの内容はもう一周期前の処理バッファ43cに移される)。また、処理バッファは同一の時刻に対して必要な数の記録容量を準備する。本実施例では、カメラとレーザレーダとミリ波レーダに各1個の記録容量を持つものとした。ただし、記録容量の数はセンサの数と等しい必要はなく、各々のシステムで必要な個数の記録容量を持てばよい。   The corrected data is stored in the corresponding processing buffer, and a call from the recognition determination unit 44 is awaited. The processing buffer takes the form of a ring buffer, holds information from the current time to past information depending on the capacity of the buffer, and erases the oldest data when writing new data. Here, since the processing buffer diagram in FIG. 1 shows a logical location, it has a processing buffer 43a corresponding to the current time, a processing buffer 43b corresponding to the time one cycle before, and so on. A plurality of processing buffers are connected, and a processing buffer 43x corresponding to the oldest time exists. Here, when the time advances by one cycle, the information in the final processing buffer 43x is deleted, and the contents of the processing buffer are sequentially shifted (the contents of the processing buffer 43a are processing buffers corresponding to the time one cycle before). 43b, and the contents of the processing buffer 43b corresponding to the time one cycle before are moved to the processing buffer 43c one cycle earlier). The processing buffer prepares the necessary number of recording capacities for the same time. In this embodiment, the camera, the laser radar, and the millimeter wave radar each have one recording capacity. However, the number of recording capacities does not have to be equal to the number of sensors, and it is sufficient that each system has the necessary number of recording capacities.

認識判断器は処理したい時刻に対応する処理バッファを指定し、保持している情報を呼び出して認識に必要な処理を実行する。認識判断器44に判断結果に基づく情報を運転手に知らせるため、出力手段50が接続され、障害物のある方向に応じて左方ランプ51、または前方ランプ52、または右方ランプ53を点灯あるいは消灯できるようになっている。   The recognition determiner designates a processing buffer corresponding to the time to be processed, calls the stored information, and executes processing necessary for recognition. Output means 50 is connected to inform the recognition judgment unit 44 of information based on the judgment result, and the left lamp 51, the front lamp 52, or the right lamp 53 is turned on or off depending on the direction of the obstacle. It can be turned off.

本発明の一実施例の動作を以下に説明する。
本発明による計測データ処理装置を搭載した車両が走行している状態であるとする。各センサは周囲の状況を計測し、その計測時刻を計測データに付加して中央計算機に伝送している。この際のデータ伝送と処理バッファへのデータ格納のタイムチャートを図4に示す。
The operation of one embodiment of the present invention will be described below.
It is assumed that a vehicle equipped with the measurement data processing device according to the present invention is traveling. Each sensor measures the surrounding situation, adds the measurement time to the measurement data, and transmits it to the central computer. FIG. 4 shows a time chart of data transmission and data storage in the processing buffer at this time.

図4では、時間軸stに対する各処理の進行を示している。カメラはカメラ計測タイミングs11で周囲のデータを取得し、カメラデータ処理s12でそのデータの処理(計測時刻データの付加もここに含まれる)を行い、カメラデータ伝送s13の時間で中央計算機に計測データを伝送する。同様に図4にはレーザレーダのデータ処理、ミリ波レーダのデータ処理を示している(レーザレーダ計測タイミングs21、レーザレーダデータ処理s22、レーザレーダデータ伝送s23、ミリ波レーダ計測タイミングs31、ミリ波レーダデータ処理s32、ミリ波レーダデータ伝送s33)。ここで、中央計算機から見ると、カメラ計測タイミングs11で取得したカメラの計測データをカメラデータ受信タイミングs14で受け、レーザレーダ計測タイミングs21で取得したレーザレーダの計測データをレーザレーダデータ受信タイミングs24で受け、ミリ波レーダ計測タイミングs31で取得したミリ波レーダの計測データをミリ波レーダデータ受信タイミングs34で受けることになる。次に、格納バッファ選択器により、各計測データを収納する処理バッファを各計測データの計測時刻データを参照して選択する。この選択においては本実施例では、計測時刻と処理バッファの時刻の差ができるだけ少なくなるように選択するようにしている。ただし、処理バッファの選択の手法は、自由であり、システムで対応したい認識対象の内容によってシステムの性能が最も高くなるように決められるものであり、必ずしも最も計測時刻と処理バッファの時刻の差が小さくなるように選択をしなくともよい。本実施例の場合には、図4に示すように、カメラの計測データは、処理バッファb(s43b)が格納先であり、レーザレーダとミリ波レーダの計測データは処理バッファa(s43a)が格納先となる。このようにして、計測時刻と近い時刻に対応する処理バッファを選択してデータを格納するため、補正計算による計測データの精度低下を防ぐことができている。例えば、カメラのデータ処理には長い時間がかかっているが、中央計算機において時刻n−1の処理バッファbに格納するため、ずれ時間sdtは図示のように短い時間とすることができる。   FIG. 4 shows the progress of each process with respect to the time axis st. The camera acquires surrounding data at the camera measurement timing s11, processes the data at the camera data processing s12 (this includes the addition of measurement time data), and sends the measurement data to the central computer at the time of the camera data transmission s13. Is transmitted. Similarly, FIG. 4 shows laser radar data processing and millimeter wave radar data processing (laser radar measurement timing s21, laser radar data processing s22, laser radar data transmission s23, millimeter wave radar measurement timing s31, millimeter wave). Radar data processing s32, millimeter wave radar data transmission s33). Here, when viewed from the central computer, the camera measurement data acquired at the camera measurement timing s11 is received at the camera data reception timing s14, and the laser radar measurement data acquired at the laser radar measurement timing s21 is received at the laser radar data reception timing s24. The millimeter wave radar measurement data acquired at the millimeter wave radar measurement timing s31 is received at the millimeter wave radar data reception timing s34. Next, the storage buffer selector selects a processing buffer for storing each measurement data with reference to the measurement time data of each measurement data. In this selection, in this embodiment, the difference between the measurement time and the time of the processing buffer is selected as small as possible. However, the method of selecting the processing buffer is arbitrary, and is determined so that the system performance is the highest depending on the contents of the recognition target to be handled by the system, and the difference between the measurement time and the processing buffer time is not necessarily the largest. It is not necessary to make a selection so as to be smaller. In the case of this embodiment, as shown in FIG. 4, the measurement data of the camera is stored in the processing buffer b (s43b), and the measurement data of the laser radar and the millimeter wave radar is stored in the processing buffer a (s43a). This is the storage destination. In this way, the processing buffer corresponding to the time close to the measurement time is selected and the data is stored, so that it is possible to prevent the accuracy of the measurement data from being lowered due to the correction calculation. For example, although it takes a long time to process the data of the camera, since the data is stored in the processing buffer b at time n−1 in the central computer, the shift time sdt can be set to a short time as shown in the figure.

次に、本発明によるずれ時間の補正について説明する。処理バッファの時刻と各センサの計測時刻の差によるデータのずれは、各センサどうしのデータを合成して処理しようとする場合、誤差として計上され、後処理の精度悪化につながってしまう。そこで、本実施例ではデータ補正器42を持ちデータ補正器で処理バッファの時刻と各センサの計測時刻の差によるデータのずれを車両の運動の記録に基づき補正し、補正した計測データを処理バッファに格納する。ここで、計測時刻の差によるデータのずれは、主として車両自身の運動による計測点の位置の移動によるものである。よって、データを補正するために車両の運動を記録しておき、この車両の運動の記録を参照して、データを補正する。本実施例では図1に示すように中央計算機外に、車両の運動計算機60を持ち、ヨーレートセンサ61、ハンドル角センサ62、車速センサ63より得られる情報を基に車両の運動を計算させている。車両の運動計算結果は車両の位置を示す座標データと車速の構造体データとして中央計算機に渡され、中央計算機内の車両の運動記録器46に時刻歴データとして保持する。計測時刻の差によるデータのずれの補正は、そのデータに取得時刻と処理バッファの時刻との差で生じる車両運動をこの運動記録器46より呼び出して、その運動分の差を修正する作業を行う。センサデータの取得の様子を図6に示す。ここでは、時刻t1に車両が時刻t1車両位置110にあり、この時刻にレーザレーダが時刻t1センシングエリア111の計測を行い、時刻t2に車両が時刻t2車両位置120にあり、この時刻にミリ波レーダが時刻t2センシングエリア121の計測を行っており、障害物100が図示のように車両左方前方の位置にあるとする。この場合の各センサの計測データを図7に示す。レーザレーダの計測データ113においてレーザ障害物像114は図示に位置にあり、ミリ波レーダの計測データ123におけるミリ波障害物像124は図示の位置にある。この図7における、レーザ障害物像114とミリ波障害物像124の差がこれまで述べてきたセンサの計測時刻の差によるデータのずれである。   Next, the correction of the shift time according to the present invention will be described. A data shift due to the difference between the time of the processing buffer and the measurement time of each sensor is counted as an error when the data of the sensors are combined and processed, leading to deterioration in post-processing accuracy. Therefore, in this embodiment, the data corrector 42 is provided, and the data corrector corrects the data shift due to the difference between the time of the processing buffer and the measurement time of each sensor based on the record of the movement of the vehicle, and the corrected measurement data is processed by the processing buffer. To store. Here, the data shift due to the difference in measurement time is mainly due to the movement of the position of the measurement point due to the movement of the vehicle itself. Therefore, the movement of the vehicle is recorded in order to correct the data, and the data is corrected with reference to the recording of the movement of the vehicle. In this embodiment, as shown in FIG. 1, a vehicle motion calculator 60 is provided outside the central computer, and the motion of the vehicle is calculated based on information obtained from the yaw rate sensor 61, the handle angle sensor 62, and the vehicle speed sensor 63. . The motion calculation result of the vehicle is passed to the central computer as coordinate data indicating the position of the vehicle and vehicle speed structure data, and is stored as time history data in the vehicle motion recorder 46 in the central computer. The correction of the data shift due to the difference in the measurement time is performed by calling the vehicle movement caused by the difference between the acquisition time and the processing buffer time in the data from the movement recorder 46 and correcting the difference of the movement. . FIG. 6 shows how sensor data is acquired. Here, at time t1, the vehicle is at time t1 vehicle position 110. At this time, the laser radar measures time t1 sensing area 111. At time t2, the vehicle is at time t2 vehicle position 120. At this time, the millimeter wave It is assumed that the radar is measuring the time t2 sensing area 121, and the obstacle 100 is at a position on the left front side of the vehicle as illustrated. The measurement data of each sensor in this case is shown in FIG. In the measurement data 113 of the laser radar, the laser obstacle image 114 is at the position shown in the figure, and the millimeter wave obstacle image 124 in the measurement data 123 of the millimeter wave radar is at the position shown in the figure. In FIG. 7, the difference between the laser obstacle image 114 and the millimeter wave obstacle image 124 is a data shift due to the difference in sensor measurement time described so far.

本発明によるデータ補正の過程での様子を図8に示す。図8における補正処理142の部分がデータ補正器42に実行される処理を示す。ここでは、図6で示した時刻t1車両位置110と時刻t2車両位置120の差に相当する分の補正をレーザレーダの計測データ113とミリ波レーダの計測データ124に施す。   FIG. 8 shows a state in the process of data correction according to the present invention. The portion of the correction process 142 in FIG. 8 shows the process executed by the data corrector 42. Here, correction corresponding to the difference between the time t1 vehicle position 110 and the time t2 vehicle position 120 shown in FIG. 6 is applied to the measurement data 113 of the laser radar and the measurement data 124 of the millimeter wave radar.

その結果、補正されたレーザレーダの計測データ115と補正されたミリ波レーダの計測データ125が生成され、これが処理バッファに格納される。認識判断器44でこれらのデータを合成した結果得られるデータは合成データ144のようになる。ここで、合成データ上では障害物のデータが一致しており、各センサの計測時刻差によるずれが修正でき、障害物を精度良く特定できる。   As a result, corrected measurement data 115 of the laser radar and corrected measurement data 125 of the millimeter wave radar are generated and stored in the processing buffer. Data obtained as a result of synthesizing these data by the recognition / judgment unit 44 is as synthesized data 144. Here, the obstacle data on the composite data match, the deviation due to the measurement time difference of each sensor can be corrected, and the obstacle can be identified with high accuracy.

次に、処理バッファの内容を参照して、認識判断器44にて周囲の状況の認識と危険度の判定を行う。例えば、周囲の状況から、自車と接触すると自車が破損すると予想される物体を識別し、その物体が自車のこれから走行していく軌道内に存在し、かつ接触までの予想時間が、例えば2秒以内である場合に危険性があると判定する。認識判断器は、この判定結果とその物体の自車に対する方向を出力手段へと出力する。本実施例の図6で示した状況の場合、車両左方前方に危険な障害物があると認識でき出力手段にこの情報が伝達される。   Next, referring to the contents of the processing buffer, the recognition judgment unit 44 recognizes the surrounding situation and determines the risk level. For example, from an ambient situation, an object that is expected to be damaged when it comes into contact with the host vehicle is identified, the object exists in the track of the host vehicle, and the expected time to contact is For example, when it is within 2 seconds, it is determined that there is a risk. The recognition judgment unit outputs the judgment result and the direction of the object relative to the own vehicle to the output means. In the case of the situation shown in FIG. 6 of the present embodiment, it can be recognized that there is a dangerous obstacle on the left front side of the vehicle, and this information is transmitted to the output means.

出力手段は、自車に危険性が高まっていることを運転手に知らせるため、中央計算機の認識判定器から受けたデータに基づき警報ランプを点灯させる。本実施例の図6で示した状況の場合、車両左方前方に危険な障害物があるので、出力手段の左方警告灯51を点灯させる。このランプの点灯により、運転手は自車が危険な状態であることを認識でき、適切な操作を早いタイミングで施すことができ、衝突事故を未然に防ぐことが可能となる。   The output means turns on the alarm lamp based on the data received from the recognition / determination unit of the central computer in order to notify the driver that the risk of the own vehicle is increasing. In the case of the situation shown in FIG. 6 of the present embodiment, since there is a dangerous obstacle on the left front side of the vehicle, the left warning lamp 51 of the output means is turned on. By turning on this lamp, the driver can recognize that his / her vehicle is in a dangerous state, can perform an appropriate operation at an early timing, and can prevent a collision accident.

また、図示しないが、その他の出力手段として通信装置を持ってもよいとする。通信装置は専用狭域通信と呼ばれる車と車との通信や車と道路管理システムとの通信などを行う装置であり、自車の状況を他車や道路管理システムに送信して、必要であれば、他車や道路管理システムによって衝突事故を未然に防ぐ処置を実行してもらい、事故を未然に防ぐことが可能となる。   Although not shown, it is assumed that a communication device may be provided as other output means. A communication device is a device that communicates between cars and vehicles, called dedicated narrow-area communication, and communicates between the vehicle and the road management system. For example, it is possible to prevent accidents by having the other vehicle or the road management system take measures to prevent collision accidents.

また、図示しないが、その他の出力手段としてハンドルやシート等のドライバに振動が伝わる部分に、加振装置を持ってもよいとする。加振装置によって振動を発生させることで、自車に危険性が高まっていることを運転手に知らせ、運転手は適切な危険回避の操作を早いタイミングで施すことができ、衝突事故を未然に防ぐことが可能となる。   Although not shown, it is assumed that a vibration device may be provided in a portion where vibration is transmitted to a driver such as a handle or a seat as other output means. By generating vibrations with the vibration device, the driver is informed that the danger of the vehicle is increasing, and the driver can perform appropriate risk avoidance operations at an early timing, so that a collision accident can occur in advance. It becomes possible to prevent.

以上のように、複数のセンサを持ち、これらセンサが計測するデータに関してデータの計測時刻が異なる場合の処理に関して、本発明によれば、中央計算機は、計測時刻のずれを少なくした状態で周囲の状況の認識処理を実行でき、計測時刻のずれによる計測データの精度悪化を防ぎつつ、複数のセンサの同期作業等も必要でなくなるため、同期処理等の待ち時間等を持つ必要がなくなり、システム全体の処理を高速化できる。   As described above, according to the present invention, when the measurement time of the data is different with respect to the data measured by these sensors, the central computer allows the central computer to The situation recognition process can be executed, and the accuracy of measurement data is prevented from deteriorating due to the difference in measurement time, and the synchronization work of multiple sensors is not required. Can be speeded up.

[実施例2]
本発明の第2の実施例を図9、図10を用いて説明する。
図9は本発明による計測データ処理装置の構成を示したものである。本実施例の計測データ処理装置はセンサで計測したデータを基に車両の周囲の状況を認識して、危険性の有無を判断し、危険性が有ると判断した場合は、出力手段である警報ランプで運転手にその情報を伝える装置である。ここで、第2の実施例に関して、第1の実施例と異なる構成の部分のみを以下に説明する。説明なき部分は第1の実施例と同様である。
[Example 2]
A second embodiment of the present invention will be described with reference to FIGS.
FIG. 9 shows a configuration of a measurement data processing apparatus according to the present invention. The measurement data processing apparatus of the present embodiment recognizes the situation around the vehicle based on the data measured by the sensor, determines the presence or absence of danger, and if it is determined that there is a risk, an alarm as an output means It is a device that conveys the information to the driver with a lamp. Here, with respect to the second embodiment, only the configuration different from the first embodiment will be described below. The parts not described are the same as in the first embodiment.

本実施例においては中央計算機40内に時刻合わせ指令器47を持つ。時刻合わせ指令器は各センサの時刻データ発生器と接続されており、時刻合わせ用の信号をやり取りできる。また、時刻合わせ指令器内部に前回の時刻合わせの時刻から経過した時間を測定する時刻リセットカウンタを持ち、さらに車両安全度判断処理部を持ち、さらに、1回の時刻合わせ時に実行した時刻合わせ回数をカウントする合わせ回数カウンタを持ち、さらにセンサの時刻合わせ精度を確認する時刻合わせ精度確認処理部を持つ。   In this embodiment, the central computer 40 has a time adjustment commander 47. The time adjustment commander is connected to the time data generator of each sensor, and can exchange time adjustment signals. In addition, the time adjustment commander has a time reset counter that measures the time elapsed from the time of the previous time adjustment, a vehicle safety judgment processing unit, and the number of time adjustments executed at the time of one time adjustment. And a time adjustment accuracy check processing unit for checking the time adjustment accuracy of the sensor.

本発明の第2の実施例の動作を以下に説明する。なお、第1の実施例の場合の動作と同様の部分は省略し、第2の実施例特有の動作であるセンサの時刻合わせの動作に関してのみ以下に説明する。   The operation of the second embodiment of the present invention will be described below. In addition, the same part as the operation | movement in the case of a 1st Example is abbreviate | omitted, and only the operation | movement of the time adjustment of the sensor which is an operation | movement peculiar to a 2nd Example is demonstrated below.

各センサや中央計算機の時刻データ発生器を持つ場合、時刻発生器の精度により、時刻のずれが生じてしまう。これは、各時刻発生器が絶対的な精度を持つわけでなく、個々の精度で作動しているため、必然的に発生するものである。ここで、各センサや中央計算機の時刻データ発生器の時刻がずれてしまった場合、本発明のシステムは時刻を参照して動作しているため、計算結果の精度が著しく悪化してしまうことになる。そこで、本発明では、これら時刻発生器の同期をとるために時刻合わせ動作を行う。時刻合わせ動作は中央計算機に内蔵された時刻合わせ指令器により実行する。   When the time data generators of the sensors and the central computer are provided, the time shift occurs due to the accuracy of the time generator. This inevitably occurs because each time generator does not have absolute accuracy but operates with individual accuracy. Here, if the time of the time data generator of each sensor or the central computer is shifted, the accuracy of the calculation result is significantly deteriorated because the system of the present invention operates by referring to the time. Become. Therefore, in the present invention, a time adjustment operation is performed in order to synchronize these time generators. The time adjustment operation is executed by a time adjustment command unit built in the central computer.

現在、システムが稼動状態にあり、センサや中央計算機はそれぞれ処理を行っている状態であるとする。時刻合わせ指令器は図10に示す時刻合わせフローチャートに沿って処理を進めている。まず、処理がスタートしてから、時刻リセットカウンタ処理f2、時刻リセットカウンタ判断f3により、前回の時刻合わせから時刻リセットカウンタを進め、これが、時刻リセット設定値よりも大きくなったことをもって、時刻合わせに必要なタイミングになったと判断し、次のステップへ進む。次の車両安全度判断処理部f4では、その時のセンサデータ、車両の運動より車両の安全度を判断する。本実施例では、設定した車速以下かつ設定したハンドル角以下かつセンサにより前方に車両と衝突に至る障害物が無いことをもって安全と判断する。安全ではない場合には、安全な状態となるまで、車両の安全度の判断を繰り返すものとする。安全と判断された場合には次のステップへ進む。次の変数セット処理部f5では、時刻リセットカウンタをゼロに戻しておく処理と、これから実行する時刻合わせ動作の回数をカウントする合わせ回数カウンタを初期値ゼロにセットする処理を行い次のステップへ進む。次の合わせ回数カウンタ処理部f6では、合わせ回数カウンタを1だけ増分する。次の時刻合わせ指令送信処理部f7では、中央計算機より時刻合わせ指令をセンサへ送信する。ここで、複数あるセンサに対して送信してもよいし、特定のセンサに対して送信を行ってもよい。以下の処理部はこの時刻合わせ指令送信処理部の送信形態に応じて、複数あるセンサに対して実行してもよいし、特定のセンサに対して実行してもよいものとする。   It is assumed that the system is currently in operation and the sensors and central computer are performing processing. The time adjustment commander proceeds with processing according to the time adjustment flowchart shown in FIG. First, after the processing is started, the time reset counter is advanced from the previous time adjustment by the time reset counter processing f2 and the time reset counter judgment f3, and when this becomes larger than the time reset set value, It is determined that the required timing has come, and the process proceeds to the next step. In the next vehicle safety level judgment processing unit f4, the safety level of the vehicle is judged from the sensor data at that time and the motion of the vehicle. In this embodiment, it is determined that the vehicle is safe if it is below the set vehicle speed and below the set handle angle and there is no obstacle leading to a collision with the vehicle by the sensor. If it is not safe, the determination of the safety level of the vehicle is repeated until the vehicle is in a safe state. If it is determined to be safe, proceed to the next step. In the next variable set processing unit f5, the process of returning the time reset counter to zero and the process of setting the time counter for counting the time adjustment operation to be executed to the initial value zero are performed, and the process proceeds to the next step. . In the next matching number counter processing unit f6, the matching number counter is incremented by one. In the next time adjustment command transmission processing unit f7, a time adjustment command is transmitted from the central computer to the sensor. Here, it may be transmitted to a plurality of sensors, or may be transmitted to a specific sensor. The following processing unit may be executed for a plurality of sensors or may be executed for a specific sensor according to the transmission form of the time adjustment command transmission processing unit.

次のセンサ応答確認処理部f8では、時刻合わせ指令に対するセンサの応答を確認する。ここで、センサの応答に時刻合わせの結果を含むか、センサの応答そのものがあった時刻を参照してセンサの時刻合わせ精度を計算することができるようにしてあるとする。次の時刻合わせ精度確認処理f9において、上述のセンサの時刻合わせ精度が十分であるかどうか判断する。不十分である場合には、合わせ回数確認処理f10へ進み、合わせ回数カウンタのカウント数をチェックする。合わせ回数カウンタの値が回数設定値以下の場合には、合わせ回数カウンタ処理部f6にもどり処理を繰り返す。合わせ回数カウンタの値が回数設定値以上の場合には、時刻合わせ動作に時間がかかりすぎていると判断し、処理を終了する。また、時刻合わせ精度確認処理f9において精度が十分であると判断された場合にも、処理を終了する。処理を終了した後には、再びスタート位置f1に戻り次の処理を開始する。   In the next sensor response confirmation processing unit f8, the response of the sensor to the time adjustment command is confirmed. Here, it is assumed that the time adjustment accuracy of the sensor can be calculated by including the time adjustment result in the sensor response or by referring to the time when the sensor response itself was present. In the next time adjustment accuracy confirmation process f9, it is determined whether the time adjustment accuracy of the sensor described above is sufficient. If it is insufficient, the process proceeds to the matching count confirmation process f10, and the count number of the matching count counter is checked. When the value of the number-of-matching counter is equal to or less than the number-of-times-setting value, the process returns to the number-of-matching counter processing unit f6. If the value of the time adjustment counter is equal to or greater than the frequency setting value, it is determined that the time adjustment operation is taking too much time, and the process ends. The process is also terminated when it is determined in the time adjustment accuracy confirmation process f9 that the accuracy is sufficient. After the process is completed, the process returns to the start position f1 again to start the next process.

以上のように、複数のセンサを持ち、これらセンサが計測するデータに関してデータの計測時刻が異なる場合の処理に関して、本発明によれば、一定時間毎に中央計算機からの指令で各センサの時刻データ発生器の時刻をリセットし、正しい値に保つことができ、中央計算機は、計測時刻のずれを少なくした状態で周囲の状況の認識処理を実行でき、計測時刻のずれによる計測データの精度悪化を防ぎつつ、複数のセンサの同期作業等も必要でなくなるため、同期処理等の待ち時間等を持つ必要がなくなり、システム全体の処理を高速化できる。   As described above, according to the present invention, when there are a plurality of sensors and the measurement time of the data is different with respect to the data measured by these sensors, according to the present invention, the time data of each sensor is received by a command from the central computer at regular intervals. The time of the generator can be reset and kept at the correct value, and the central computer can execute the recognition process of the surrounding situation with less deviation of the measurement time, and the accuracy of measurement data can be deteriorated due to the deviation of the measurement time. In addition, since it is not necessary to perform a synchronization operation of a plurality of sensors, it is not necessary to have a waiting time for a synchronization process or the like, and the processing of the entire system can be speeded up.

[実施例3]
本発明の第3の実施例について、図11を用いて説明する。
図11は本発明による計測データ処理装置を搭載した車両の構成を示したものである。本実施例の計測データ処理装置はセンサで計測したデータを基に車両の周囲の状況を認識して、危険性の有無を判断し、危険性が有ると判断した場合は、警報ランプで運転手にその情報を伝え、危険性がさらに高まった場合には、別の出力手段であるブレーキとステアリング装置を作動させて回避動作を行える装置である。ここで、第3の実施例において中央計算機40や、カメラ10、レーザレーダ20、ミリ波レーダ30の構成は第1の実施例と同様である。本実施例に特有な構成の部分のみを以下に説明する。
[Example 3]
A third embodiment of the present invention will be described with reference to FIG.
FIG. 11 shows the configuration of a vehicle equipped with a measurement data processing apparatus according to the present invention. The measurement data processing apparatus of the present embodiment recognizes the situation around the vehicle based on the data measured by the sensor, determines the presence or absence of a danger, and if it is judged that there is a danger, the driver uses an alarm lamp. This information is transmitted to the vehicle, and when the danger is further increased, the brake and the steering device, which are other output means, are operated to perform an avoidance operation. Here, in the third embodiment, the configuration of the central computer 40, the camera 10, the laser radar 20, and the millimeter wave radar 30 is the same as that of the first embodiment. Only the part of the configuration peculiar to this embodiment will be described below.

本発明による計測データ処理装置を搭載した予防安全車90があり、本発明による計測データ処理装置の中央計算機40や、カメラ10、レーザレーダ20、ミリ波レーダ30、警報ランプ50が搭載されている。さらに本発明による計測データ処理装置の出力手段としてブレーキ制御器55とステアリング制御器56を持ち、これらは中央計算機40と接続されている。また、ブレーキ制御器55は車両のブレーキ装置55aと接続されている。すなわち中央計算機は計算結果に従い、ブレーキとステアリングを操作でき、車両に所望の運動を行わせることができる。さらに図示していないが、必要である場合には車両の駆動機構や原動機等の作動も中央計算機により操作してもよいとする。   There is a preventive safety vehicle 90 equipped with a measurement data processing device according to the present invention, and a central computer 40 of the measurement data processing device according to the present invention, a camera 10, a laser radar 20, a millimeter wave radar 30, and an alarm lamp 50 are mounted. . Further, a brake controller 55 and a steering controller 56 are provided as output means of the measurement data processing apparatus according to the present invention, and these are connected to the central computer 40. The brake controller 55 is connected to a vehicle brake device 55a. That is, the central computer can operate the brake and the steering according to the calculation result, and can cause the vehicle to perform a desired motion. Although not shown in the figure, it is assumed that the operation of the vehicle drive mechanism, the prime mover, and the like may be operated by the central computer if necessary.

本発明の第3の実施例の動作を以下に説明する。なお、第1の実施例の場合の動作と同様の部分は省略し、第3の実施例特有の動作である部分に関してのみ以下に説明する。   The operation of the third embodiment of the present invention will be described below. Note that the same parts as those in the first embodiment are omitted, and only the parts that are unique to the third embodiment will be described below.

現在、計測データ処理装置を搭載した車両が走行している状態であり、システムが稼動状態にあり、センサや中央計算機はそれぞれ処理を行っている状態であるとする。中央計算機にて周囲の状況の認識と危険度の判定を行い、例えば、周囲の状況から、自車と接触すると自車が破損すると予想される物体を識別し、その物体が自車がこれから走行していく軌道内に存在し、かつ接触までの予想時間が、例えば2秒以内である場合に危険性があると判定する。認識判断器は、この判定結果とその物体の自車に対する方向を警報ランプへと出力する。第1の実施例の図6で示した状況と同様とした場合、車両左方前方に危険な障害物があると認識でき警報ランプへこの情報が伝達される。警報ランプ左方警告灯51を点灯させる。このランプの点灯により、運転手は自車が危険な状態であることを認識することができる。さらにこの後、運転手による操作が無く、車両が進行し、例えば、接触までの予想時間が、1.4秒以内となった場合に、中央計算機で、危険度が非常に高まったと判断し、もうひとつの出力手段であるブレーキとステアリングを操作する。この際、左前方に障害物があるので、ブレーキをかけつつ、右に操舵するようにステアリングを操作する。これら動作により、運転手が反応できなかった場合においても、回避操作を施すことができ、衝突事故を未然に防ぐことが可能となる。   It is assumed that the vehicle on which the measurement data processing device is mounted is currently running, the system is in an operating state, and the sensors and the central computer are each performing processing. The central computer recognizes the surrounding situation and determines the degree of danger.For example, from the surrounding situation, an object that is expected to be damaged when it comes into contact with the vehicle is identified. If the estimated time until contact is within 2 seconds, for example, it is determined that there is a danger. The recognition judgment unit outputs the judgment result and the direction of the object relative to the vehicle to the warning lamp. When the situation is the same as that shown in FIG. 6 of the first embodiment, it can be recognized that there is a dangerous obstacle ahead of the left side of the vehicle, and this information is transmitted to the alarm lamp. The warning lamp left warning lamp 51 is turned on. By illuminating this lamp, the driver can recognize that the vehicle is in a dangerous state. Furthermore, after this, there is no operation by the driver, and the vehicle progresses, for example, when the expected time to contact is within 1.4 seconds, the central computer determines that the risk has increased significantly, The brake and steering, which are another output means, are operated. At this time, since there is an obstacle on the left front side, the steering is operated so as to steer right while applying the brake. By these operations, even when the driver cannot react, an avoidance operation can be performed, and a collision accident can be prevented in advance.

以上のように、複数のセンサを持ち、これらセンサが計測するデータに関してデータの計測時刻が異なる場合の処理に関して、本発明によれば、中央計算機は、計測時刻のずれを少なくした状態で周囲の状況の認識処理を実行でき、計測時刻のずれによる計測データの精度悪化を防ぎつつ、複数のセンサの同期作業等も必要でなくなるため、同期処理等の待ち時間等を持つ必要がなくなり、システム全体の処理を高速化でき、時間余裕のない衝突回避操作でも有効な処理を行うことができる。   As described above, according to the present invention, when the measurement time of the data is different with respect to the data measured by these sensors, the central computer allows the central computer to The situation recognition process can be executed, and the accuracy of measurement data is prevented from deteriorating due to the difference in measurement time, and the synchronization work of multiple sensors is not required. This process can be speeded up, and an effective process can be performed even in a collision avoidance operation with no time margin.

本発明による計測データ処理装置の構成を示す図である。It is a figure which shows the structure of the measurement data processing apparatus by this invention. 本発明による、別のセンサ計測データに時刻データを付加する手法を示す図である。It is a figure which shows the method of adding time data to another sensor measurement data by this invention. 本発明による、また別のセンサ計測データに時刻データを付加する手法を示す図である。It is a figure which shows the method of adding time data to another sensor measurement data by this invention. 本発明による計測データ処理装置における信号処理のタイムチャートである。It is a time chart of the signal processing in the measurement data processing apparatus by this invention. 従来技術による計測データ処理装置における信号処理のタイムチャートである。It is a time chart of the signal processing in the measurement data processing apparatus by a prior art. 本発明による、計測データの取得状況の具体例を示す図である。It is a figure which shows the specific example of the acquisition condition of measurement data by this invention. 本発明による、計測データの具体例を示す図である。It is a figure which shows the specific example of measurement data by this invention. 本発明による、計測データの処理の具体例を示す図である。It is a figure which shows the specific example of a process of measurement data by this invention. 本発明による別の計測データ処理装置の構成を示す図である。It is a figure which shows the structure of another measurement data processing apparatus by this invention. 本発明による、センサの時刻データ発生器の時刻合わせの手法のフローチャートである。4 is a flowchart of a method for time adjustment of a time data generator of a sensor according to the present invention. 本発明による、計測データ処理装置を搭載した予防安全車の一実施例を示す図である。It is a figure which shows one Example of the preventive safety vehicle carrying the measurement data processing apparatus by this invention.

符号の説明Explanation of symbols

10…カメラ、11…CCDセンサ、12…時刻データ発生器、13…時刻データの計測データへの付加器、19…光学的周囲情報、20…レーザレーダ、21…レーザセンサ、22…時刻データ発生器、23…時刻データの計測データへの付加器、29…レーザ反射光周囲情報
30…ミリ波レーダ、31…ミリ波アンテナ、32…時刻データ発生器、33…時刻データの計測データへの付加器、39…ミリ波周囲情報、40…中央計算機、41…格納バッファ選択器、42…データ補正器、43…処理バッファ、44…認識判断器、45…時刻データ発生器、46…車両の運動記録器、47…時刻合わせ指令器、
50…出力手段、51…左方警告灯、52…前方警告灯、53…右方警告灯、60…車両の運動計算機、61…ヨーレートセンサ、62…ハンドル角センサ、63…車速センサ、71…共通の時刻データ発生器、
s11…カメラ計測タイミング、s12…カメラデータ処理、s13…カメラデータ伝送、s14…カメラデータ受信タイミング、s21…レーザレーダ計測タイミング、s22…レーザレーダデータ処理、s23…レーザレーダデータ伝送、s24…レーザレーダデータ受信タイミング、s31…ミリ波レーダ計測タイミング、s32…ミリ波レーダデータ処理、s33…ミリ波レーダデータ伝送、s34…ミリ波レーダデータ受信タイミング、s43a…時刻nに対応する処理バッファ、s43b、時刻nの一周期前に対応する処理バッファ、
f1…スタート位置、f2…時刻リセットカウンタ処理、f3…時刻リセットカウンタ判断、f4…車両安全度判断処理部、f5…変数セット処理部、f6…合わせ回数カウンタ処理部、f7…時刻合わせ指令送信処理部、f8…センサ応答確認処理部、f9…時刻合わせ精度確認処理、f10…合わせ回数確認処理、
100…障害物、110…時刻t1車両位置、120…時刻t2車両位置、111…時刻t1センシングエリア、121…時刻t2センシングエリア、113…レーザレーダの計測データ、123…ミリ波レーダの計測データ、114…レーザ障害物像、115…補正されたレーザレーダの計測データ、124…ミリ波障害物像、125…補正されたミリ波レーダの計測データ、142…補正処理、144…合成データ、
55…ブレーキ制御器、55a…ブレーキ装置56…ステアリング制御器、90…本発明による計測データ処理装置を搭載した予防安全車
DESCRIPTION OF SYMBOLS 10 ... Camera, 11 ... CCD sensor, 12 ... Time data generator, 13 ... Adder to time data measurement data, 19 ... Optical ambient information, 20 ... Laser radar, 21 ... Laser sensor, 22 ... Time data generation 23 ... Addition of time data to measurement data, 29 ... Laser reflected light ambient information 30 ... Millimeter wave radar, 31 ... Millimeter wave antenna, 32 ... Time data generator, 33 ... Addition of time data to measurement data 39 ... millimeter wave ambient information, 40 ... central computer, 41 ... storage buffer selector, 42 ... data corrector, 43 ... processing buffer, 44 ... recognition judgment unit, 45 ... time data generator, 46 ... vehicle motion Recorder, 47 ... Time setting command unit,
DESCRIPTION OF SYMBOLS 50 ... Output means, 51 ... Left warning light, 52 ... Forward warning light, 53 ... Right warning light, 60 ... Vehicle motion calculator, 61 ... Yaw rate sensor, 62 ... Steering angle sensor, 63 ... Vehicle speed sensor, 71 ... Common time data generator,
s11 ... Camera measurement timing, s12 ... Camera data processing, s13 ... Camera data transmission, s14 ... Camera data reception timing, s21 ... Laser radar measurement timing, s22 ... Laser radar data processing, s23 ... Laser radar data transmission, s24 ... Laser radar Data reception timing, s31 ... millimeter wave radar measurement timing, s32 ... millimeter wave radar data processing, s33 ... millimeter wave radar data transmission, s34 ... millimeter wave radar data reception timing, s43a ... processing buffer corresponding to time n, s43b, time a processing buffer corresponding to one cycle before n,
f1 ... start position, f2 ... time reset counter processing, f3 ... time reset counter judgment, f4 ... vehicle safety level judgment processing section, f5 ... variable set processing section, f6 ... matching number counter processing section, f7 ... time setting command transmission processing Part, f8 ... sensor response confirmation processing part, f9 ... time adjustment accuracy confirmation process, f10 ... adjustment number confirmation process,
DESCRIPTION OF SYMBOLS 100 ... Obstacle, 110 ... Time t1 vehicle position, 120 ... Time t2 vehicle position, 111 ... Time t1 sensing area, 121 ... Time t2 sensing area, 113 ... Laser radar measurement data, 123 ... Millimeter wave radar measurement data, 114 ... laser obstacle image, 115 ... corrected laser radar measurement data, 124 ... millimeter wave obstacle image, 125 ... corrected millimeter wave radar measurement data, 142 ... correction processing, 144 ... composite data,
55 ... Brake controller, 55a ... Brake device 56 ... Steering controller, 90 ... Preventive safety vehicle equipped with the measurement data processing device according to the present invention

Claims (14)

車両の周囲の状況を検知する複数のセンサと、
センサ情報を統合して処理する中央計算機と、
少なくともセンサと中央計算機との間のデータ通信を実現する通信手段と、
中央計算機での計算結果に応じて所定の出力を行う出力手段と、を有する自動車の計測データ処理装置において、
中央計算機は基準時刻と、その基準時刻に対して所定の時間きざみ毎に処理バッファを持ち、センサは計測データに計測時刻を特定できる情報を付加して通信手段を介して中央計算機に伝送し、中央計算機は送られてきた計測データの計測時刻を特定できる情報より計測データの計測時刻を導出し、導出した計測時刻を参照して、適する処理バッファを選択して格納し、中央計算機は処理バッファに格納された複数の補正した計測データを参照して車両の周囲の状況を認識し、認識結果に基づいて出力手段にて所定の出力を行うことを特徴とする自動車の計測データ処理装置。
A plurality of sensors for detecting the situation around the vehicle;
A central computer that integrates and processes sensor information;
Communication means for realizing at least data communication between the sensor and the central computer;
In an automobile measurement data processing apparatus having output means for performing a predetermined output according to the calculation result in the central computer,
The central computer has a processing buffer for each reference time and a predetermined time interval with respect to the reference time, and the sensor adds information that can specify the measurement time to the measurement data and transmits it to the central computer via communication means, The central computer derives the measurement time of the measurement data from the information that can specify the measurement time of the transmitted measurement data, refers to the derived measurement time, selects and stores a suitable processing buffer, and the central computer stores the processing buffer. A vehicle measurement data processing apparatus that recognizes a situation around a vehicle with reference to a plurality of corrected measurement data stored in the vehicle and performs predetermined output by output means based on the recognition result.
請求項1に記載された自動車の計測データ処理装置において、
車両の運動状態を検出する車両状態センサを備え、中央計算機又は別ユニットにおいて車両状態センサの情報を基に車両の運動状態を計算し、中央計算機は計測データの計測時刻と処理バッファの時刻との差による計測データのずれを補正する際にその時刻での車両の前記運動状態を基にした補正をして処理バッファに格納することを特徴とする自動車の計測データ処理装置。
In the automobile measurement data processing device according to claim 1,
A vehicle state sensor for detecting the movement state of the vehicle is provided, and the movement state of the vehicle is calculated based on the information of the vehicle state sensor in the central computer or another unit. The central computer calculates the measurement data measurement time and the processing buffer time. A measurement data processing apparatus for an automobile, which corrects a shift in measurement data due to a difference and stores the correction in a processing buffer based on the movement state of the vehicle at that time.
請求項1に記載された自動車の計測データ処理装置において、
処理バッファの時間刻み幅に対してセンサの計測時間幅が長く、処理バッファの計測データが欠損すると予想される場合、欠損する計測データを少なくともそのセンサの他の時刻の計測データを基に推定し、推定した計測データを計測データが欠損する処理バッファに格納することを特徴とする自動車の計測データ処理装置。
In the automobile measurement data processing device according to claim 1,
If the measurement time width of the sensor is longer than the time interval of the processing buffer and the measurement data in the processing buffer is expected to be missing, the missing measurement data is estimated based on measurement data at least at other times of the sensor. A measurement data processing apparatus for an automobile, wherein the estimated measurement data is stored in a processing buffer in which the measurement data is missing.
請求項1に記載された自動車の計測データ処理装置において、
処理バッファの時間刻み幅に対してセンサの計測時間幅が長く、処理バッファの計測データが欠損すると予想される場合、欠損する計測データを少なくとも他のセンサの計測データを基に推定し、推定した計測データを計測データが欠損する処理バッファに格納することを特徴とする自動車の計測データ処理装置。
In the automobile measurement data processing device according to claim 1,
If the measurement time width of the sensor is longer than the time interval of the processing buffer and the measurement data of the processing buffer is expected to be missing, the missing measurement data is estimated based on at least the measurement data of other sensors and estimated A measurement data processing device for an automobile, wherein the measurement data is stored in a processing buffer in which the measurement data is missing.
請求項1に記載された自動車の計測データ処理装置において、
処理バッファの時間刻み幅に対してセンサの計測時間幅が短く、一つの処理バッファに対して多数の計測データが存在する場合、その多数の計測データを参照して精度や信頼性を向上させた修正計測データを計算し、修正計測データを処理バッファに格納することを特徴とする自動車の計測データ処理装置。
In the automobile measurement data processing device according to claim 1,
When the measurement time width of the sensor is shorter than the time interval of the processing buffer and there are many measurement data for one processing buffer, the accuracy and reliability are improved by referring to the measurement data. A measurement data processing apparatus for an automobile, which calculates corrected measurement data and stores the corrected measurement data in a processing buffer.
請求項1に記載された自動車の計測データ処理装置において、
センサにおける計測時刻を中央計算機の持つ基準時刻と合わせるために、少なくとも一回の時刻合わせ処理を実行した後、センサにおける計測時刻と中央計算機の持つ基準時刻との時刻合わせの精度が十分であるかの判断を行い、不十分である場合には、十分な精度となるまで、時刻合わせ動作を繰り返し実行することを特徴とする自動車の計測データ処理装置。
In the automobile measurement data processing device according to claim 1,
In order to match the measurement time of the sensor with the reference time of the central computer, after performing at least one time adjustment process, is the accuracy of time adjustment between the measurement time of the sensor and the reference time of the central computer sufficient? If it is insufficient, the time adjustment operation is repeatedly executed until sufficient accuracy is obtained.
請求項1記載の自動車の計測データ処理装置において、
センサにおける計測時刻を中央計算機の持つ基準時刻と合わせるために、少なくとも一回の時刻合わせ処理を実行した後、センサにおける計測時刻と中央計算機の持つ基準時刻との時刻合わせの精度が十分であるかの判断を行い、不十分である場合には、十分な精度となるまで、時刻合わせ動作を繰り返し実行するが、繰り返し回数の上限を持ち、繰り返し回数の上限に達した場合は、時刻合わせ動作を終了することを特徴とする自動車の計測データ処理装置。
The automobile measurement data processing device according to claim 1,
In order to match the measurement time of the sensor with the reference time of the central computer, after performing at least one time adjustment process, is the accuracy of time adjustment between the measurement time of the sensor and the reference time of the central computer sufficient? If it is insufficient, the time adjustment operation is repeated until sufficient accuracy is obtained.However, if the upper limit of the number of repetitions is reached, the time adjustment operation is performed. A measurement data processing device for an automobile characterized by being terminated.
請求項1記載の自動車の計測データ処理装置において、
センサにおける計測時刻を中央計算機の持つ基準時刻と合わせるために、予め設定した所定の回数の時刻合わせ処理を実行することを特徴とする自動車の計測データ処理装置。
The automobile measurement data processing device according to claim 1,
A vehicle measurement data processing device, wherein a predetermined time-set time setting process is executed in order to match a measurement time of a sensor with a reference time of a central computer.
請求項7又は8記載の自動車の計測データ処理装置において、
一連の時刻合わせ処理の実行を前回の一連の時刻合わせ処理の実行時刻から所定の時間が経過したことと、その時点での車両の運動状態や周囲の状況より安全と判断される場合に許可することを特徴とする自動車の計測データ処理装置。
The automobile measurement data processing device according to claim 7 or 8,
The execution of a series of time adjustment processes is permitted when a predetermined time has elapsed from the previous execution time of the series of time adjustment processes, and when it is determined to be safe based on the movement state of the vehicle and the surrounding conditions at that time. An automobile measurement data processing device characterized by that.
車両の周囲の状況を検知する複数のセンサと、
センサ情報を統合して処理する中央計算機と、
少なくともセンサと中央計算機との間のデータ通信を実現する通信手段と、
中央計算機での計算結果に応じて所定の出力を行う出力手段と、を有する自動車の計測データ処理装置において、
中央計算機は基準時刻と、その基準時刻に対して所定の時間きざみ毎に処理バッファを持ち、センサ計測時刻の推定手段を中央計算機の内部又は外部に備え、センサが計測データに計測時刻を特定できる情報を付加できない場合には、このセンサ計測時刻の推定手段が推定した計測時刻を参照して、適する処理バッファを選択し、計測データの計測時刻と処理バッファの時刻との差による計測データのずれを補正したのち、補正した計測データを適する処理バッファに格納し、中央計算機は処理バッファに格納された複数の補正した計測データを参照して車両の周囲の状況を認識し、認識結果に基づいて出力手段にて所定の出力を行うことを特徴とする自動車の計測データ処理装置。
A plurality of sensors for detecting the situation around the vehicle;
A central computer that integrates and processes sensor information;
Communication means for realizing at least data communication between the sensor and the central computer;
In an automobile measurement data processing apparatus having output means for performing a predetermined output according to the calculation result in the central computer,
The central computer has a reference time and a processing buffer for each predetermined time interval with respect to the reference time, and a sensor measurement time estimation means is provided inside or outside the central computer so that the sensor can specify the measurement time in the measurement data. If information cannot be added, refer to the measurement time estimated by the sensor measurement time estimation means, select a suitable processing buffer, and shift the measurement data due to the difference between the measurement data measurement time and the processing buffer time. After correction, the corrected measurement data is stored in a suitable processing buffer, and the central computer recognizes the situation around the vehicle by referring to a plurality of corrected measurement data stored in the processing buffer, and based on the recognition result A measurement data processing apparatus for an automobile, wherein the output means performs a predetermined output.
車両の周囲の状況を検知する複数のセンサと、
センサ情報を統合して処理する中央計算機と、
少なくともセンサと中央計算機との間のデータ通信を実現する通信手段と、
中央計算機での計算結果に応じて所定の出力を行う出力手段と、を有する自動車の計測データ処理装置において、
中央計算機は基準時刻と、その基準時刻に対して所定の時間きざみ毎に処理バッファを論理的に存在可とする領域とし、センサは計測データに計測時刻を特定できる情報を付加して通信手段を介して中央計算機に伝送し、中央計算機は送られてきた計測データの計測時刻を特定できる情報より計測データの計測時刻を導出し、導出した計測時刻を参照して、処理バッファが論理的に存在可となる領域に具体的な記憶領域を確保して処理バッファを形成し、前記計測データを確保した処理バッファに格納し、中央計算機は確保した処理バッファに格納された複数の計測データを参照して車両の周囲の状況を認識し、認識結果に基づいて出力手段にて所定の出力を行うことを特徴とする自動車の計測データ処理装置。
A plurality of sensors for detecting the situation around the vehicle;
A central computer that integrates and processes sensor information;
Communication means for realizing at least data communication between the sensor and the central computer;
In an automobile measurement data processing apparatus having output means for performing a predetermined output according to the calculation result in the central computer,
The central computer sets a reference time and an area in which a processing buffer can logically exist at every predetermined time interval with respect to the reference time, and the sensor adds communication information to the measurement data so that the measurement time can be specified. The central computer derives the measurement time of the measurement data from the information that can specify the measurement time of the measurement data sent, and the processing buffer is logically present by referring to the derived measurement time. A specific storage area is secured in a possible area to form a processing buffer, and the measurement data is stored in the secured processing buffer. The central computer refers to a plurality of measurement data stored in the secured processing buffer. A vehicle measurement data processing device characterized by recognizing a situation around the vehicle and performing a predetermined output by an output means based on the recognition result.
車両の周囲の状況を検知する複数のセンサと、
センサ情報を統合して処理する中央計算機と、
少なくともセンサと中央計算機との間のデータ通信を実現する通信手段と、
中央計算機での計算結果に応じて所定の出力を行う出力手段とを有する自動車の計測データ処理装置において、
中央計算機は基準時刻と、時刻の概念の無い処理バッファを持ち、センサは計測データに計測時刻を特定できる情報を付加して通信手段を介して中央計算機に伝送し、中央計算機は送られてきた計測データの計測時刻を特定できる情報より計測データの計測時刻を導出し、導出した計測時刻を参照して、計測データの計測時刻のずれによる計測データのずれを補正したのち、補正した計測データを処理バッファに格納し、
中央計算機は処理バッファに格納された補正した計測データを参照して車両の周囲の状況を認識し、認識結果に基づいて出力手段にて所定の出力を行うことを特徴とする自動車の計測データ処理装置。
A plurality of sensors for detecting the situation around the vehicle;
A central computer that integrates and processes sensor information;
Communication means for realizing at least data communication between the sensor and the central computer;
In an automobile measurement data processing apparatus having output means for performing a predetermined output according to the calculation result in the central computer,
The central computer has a reference time and a processing buffer without the concept of time. The sensor adds information that can specify the measurement time to the measurement data and transmits it to the central computer via communication means. The central computer has been sent. Deriving the measurement time of the measurement data from the information that can specify the measurement time of the measurement data, referring to the derived measurement time, and correcting the deviation of the measurement data due to the deviation of the measurement time of the measurement data, the corrected measurement data Store it in the processing buffer,
The central computer recognizes the situation around the vehicle by referring to the corrected measurement data stored in the processing buffer, and performs a predetermined output by the output means based on the recognition result. apparatus.
請求項1から請求項12までのいずれか一項に記載された自動車の計測データ処理装置において、所定の出力を行なう出力手段が警報装置であることを特徴とする自動車の計測データ処理装置。   13. The automobile measurement data processing device according to claim 1, wherein the output means for performing a predetermined output is an alarm device. 請求項1から請求項12までのいずれか一項に記載された自動車の計測データ処理装置において、所定の出力を行なう出力手段がブレーキ及び/又はステアリング操作手段であることを特徴とする自動車の計測データ処理装置。   13. The vehicle measurement data processing apparatus according to claim 1, wherein the output means for performing a predetermined output is a brake and / or steering operation means. Data processing device.
JP2006171501A 2006-06-21 2006-06-21 Measurement data processing apparatus of preventive safety car Pending JP2008003779A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006171501A JP2008003779A (en) 2006-06-21 2006-06-21 Measurement data processing apparatus of preventive safety car

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006171501A JP2008003779A (en) 2006-06-21 2006-06-21 Measurement data processing apparatus of preventive safety car

Publications (1)

Publication Number Publication Date
JP2008003779A true JP2008003779A (en) 2008-01-10

Family

ID=39008117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006171501A Pending JP2008003779A (en) 2006-06-21 2006-06-21 Measurement data processing apparatus of preventive safety car

Country Status (1)

Country Link
JP (1) JP2008003779A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009241908A (en) * 2008-04-01 2009-10-22 Hitachi Ltd Navigation-cooperative traveling control device
JP2011227029A (en) * 2010-04-23 2011-11-10 Honda Motor Co Ltd Vehicle periphery monitoring device
JP2011232139A (en) * 2010-04-27 2011-11-17 Honda Motor Co Ltd Periphery monitoring device for vehicle
JP5916878B2 (en) * 2013-05-01 2016-05-11 古河電気工業株式会社 Radar system
JP2017034671A (en) * 2015-07-22 2017-02-09 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング Method and device for confirming validity of time stamp of data transmission
CN110959141A (en) * 2017-07-20 2020-04-03 西门子股份公司 Total flow of actual status and control signals for distributed control systems
WO2020149220A1 (en) * 2019-01-18 2020-07-23 三菱電機株式会社 Collision avoidance assistance control device, collision avoidance assistance system, and collision avoidance assistance method
CN112977464A (en) * 2019-12-16 2021-06-18 现代摩比斯株式会社 Sensor fusion device for vehicle
CN113093158A (en) * 2021-04-06 2021-07-09 吉林大学 Intelligent automobile sensor data correction method for safety monitoring
JP2022513780A (en) * 2019-06-25 2022-02-09 シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド Sensor data processing methods, devices, electronic devices and systems

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009241908A (en) * 2008-04-01 2009-10-22 Hitachi Ltd Navigation-cooperative traveling control device
JP2011227029A (en) * 2010-04-23 2011-11-10 Honda Motor Co Ltd Vehicle periphery monitoring device
JP2011232139A (en) * 2010-04-27 2011-11-17 Honda Motor Co Ltd Periphery monitoring device for vehicle
JP5916878B2 (en) * 2013-05-01 2016-05-11 古河電気工業株式会社 Radar system
JPWO2014178131A1 (en) * 2013-05-01 2017-02-23 古河電気工業株式会社 Radar system
US10247819B2 (en) 2013-05-01 2019-04-02 Furukawa Electric Co., Ltd Radar system
JP2017034671A (en) * 2015-07-22 2017-02-09 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング Method and device for confirming validity of time stamp of data transmission
CN110959141B (en) * 2017-07-20 2023-01-10 西门子股份公司 Control method and control system for an industrial process
CN110959141A (en) * 2017-07-20 2020-04-03 西门子股份公司 Total flow of actual status and control signals for distributed control systems
WO2020149220A1 (en) * 2019-01-18 2020-07-23 三菱電機株式会社 Collision avoidance assistance control device, collision avoidance assistance system, and collision avoidance assistance method
JPWO2020149220A1 (en) * 2019-01-18 2021-09-09 三菱電機株式会社 Collision avoidance support control device, collision avoidance support system, and collision avoidance support method
JP7055224B2 (en) 2019-01-18 2022-04-15 三菱電機株式会社 Collision avoidance support control device, collision avoidance support system, and collision avoidance support method
JP2022513780A (en) * 2019-06-25 2022-02-09 シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド Sensor data processing methods, devices, electronic devices and systems
KR20210076756A (en) * 2019-12-16 2021-06-24 현대오트론 주식회사 Device for vehicular sensor fusion
KR102295751B1 (en) * 2019-12-16 2021-08-31 현대모비스 주식회사 Device for vehicular sensor fusion
CN112977464A (en) * 2019-12-16 2021-06-18 现代摩比斯株式会社 Sensor fusion device for vehicle
CN112977464B (en) * 2019-12-16 2023-11-17 现代摩比斯株式会社 Sensor fusion device for vehicle
CN113093158A (en) * 2021-04-06 2021-07-09 吉林大学 Intelligent automobile sensor data correction method for safety monitoring
CN113093158B (en) * 2021-04-06 2024-02-27 吉林大学 Intelligent automobile sensor data correction method for safety monitoring

Similar Documents

Publication Publication Date Title
JP2008003779A (en) Measurement data processing apparatus of preventive safety car
US8200419B2 (en) Braking control system and braking control method
JP4434296B1 (en) Object detection device
US9731728B2 (en) Sensor abnormality detection device
US10150475B2 (en) Traveling control apparatus for a vehicle
CN110232836B (en) Object recognition device and vehicle travel control system
US9150223B2 (en) Collision mitigation apparatus
US9403555B2 (en) Driving route generation device
JP4595833B2 (en) Object detection device
JP5041099B2 (en) Vehicle relative position estimation device and vehicle relative position estimation method
JP6475543B2 (en) Vehicle control apparatus and vehicle control method
JP7101073B2 (en) Formation system
JP2019001183A (en) Support device of lane change
JP6816658B2 (en) Target information acquisition device
EP3007149B1 (en) Driving assistance device for vehicles and onboard computer
JP6330160B2 (en) Object recognition device
JP6365421B2 (en) Vehicle control apparatus and vehicle control method
JP2010249613A (en) Obstacle recognition device and vehicle control unit
WO2019142563A1 (en) Electronic control device
JP5012270B2 (en) Object detection device
JP2016191686A (en) Vehicle control apparatus and vehicle control method
JP5595078B2 (en) Driving assistance device
WO2016186171A1 (en) Object detection device and object detection method
JP2019002691A (en) Target information acquisition device
JP2019002689A (en) Target detection device