JP6641633B2 - Moving object detection system and data consistency determination method thereof - Google Patents

Moving object detection system and data consistency determination method thereof Download PDF

Info

Publication number
JP6641633B2
JP6641633B2 JP2016047221A JP2016047221A JP6641633B2 JP 6641633 B2 JP6641633 B2 JP 6641633B2 JP 2016047221 A JP2016047221 A JP 2016047221A JP 2016047221 A JP2016047221 A JP 2016047221A JP 6641633 B2 JP6641633 B2 JP 6641633B2
Authority
JP
Japan
Prior art keywords
width
moving
moving object
speed
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016047221A
Other languages
Japanese (ja)
Other versions
JP2017162281A (en
Inventor
圭 大日方
圭 大日方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzuki Motor Co Ltd
Original Assignee
Suzuki Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzuki Motor Co Ltd filed Critical Suzuki Motor Co Ltd
Priority to JP2016047221A priority Critical patent/JP6641633B2/en
Publication of JP2017162281A publication Critical patent/JP2017162281A/en
Application granted granted Critical
Publication of JP6641633B2 publication Critical patent/JP6641633B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、移動体を検知し、その未来位置を予測する移動体検知システムおよびそのデータ整合性判定方法に関する。   The present invention relates to a moving object detection system that detects a moving object and predicts a future position thereof, and a data consistency determination method thereof.

自動車における安全運転支援や自動運転などを目的として、車載カメラの視界に現れる歩行者や自転車などの移動体を画像認識し、その未来位置を予測し、衝突可能性が高いと判断される場合に、制動制御や警報などの回避処理を発動させる種々の移動体検知システムが開発されている（特許文献１，２参照）。   For the purpose of assisting safe driving or automatic driving in automobiles, it recognizes moving objects such as pedestrians and bicycles that appear in the field of view of the onboard camera, predicts their future position, and determines that there is a high possibility of collision. In addition, various moving object detection systems for activating avoidance processing such as braking control and warning have been developed (see Patent Documents 1 and 2).

このような移動体検知システムにおいて、２以上の移動体、例えば２人の歩行者が略同位置で重なり１人として認識される場合がある。このシステムの目的は移動体数を検知することではないので、移動体数の誤認自体は問題にならないが、各移動体の動きが異なる場合は、移動体の速度や位置情報を基にした未来位置の予測が適正に行われず、回避処理の誤作動（不必要な場面での発動）を生じる虞がある。   In such a moving object detection system, two or more moving objects, for example, two pedestrians may overlap at substantially the same position and be recognized as one person. Since the purpose of this system is not to detect the number of moving objects, erroneous recognition of the number of moving objects is not a problem, but if the movement of each moving object is different, the future based on the speed and position information of the moving object is used. There is a possibility that the position is not properly predicted and an erroneous operation of the avoidance processing (activation in an unnecessary scene) may occur.

特許文献１には、ステレオカメラを用いることで、左右の視差の差から２物体の重なりを検出する方法が開示されている。しかし、これは元々奥行き方向に差がある場合にのみ適用できる方法であり、奥行の差が小さい場合には適用できない。   Patent Literature 1 discloses a method of detecting an overlap between two objects from a difference between left and right parallaxes by using a stereo camera. However, this is a method that can be applied only when there is a difference in the depth direction from the beginning, and cannot be applied when the difference between the depths is small.

特許文献２では、静止画を対象とし、画像認識段階で歩行者候補の幅を歩行者数推定に用いる方法が開示されている。しかし、静止画（動画の場合は１フレームの画像）の横幅に単純に閾値を設け、１人と２人以上を識別するので、「１人」と定義される幅より小さい幅では識別できない。しかも、測定誤差を考慮すると、閾値は歩行者１人分の平均的な幅より大きい値に設定せざるを得ず、識別可能な範囲はさらに限られることになる。   Patent Literature 2 discloses a method in which a still image is targeted and the width of a pedestrian candidate is used for pedestrian number estimation in an image recognition stage. However, since a threshold value is simply set for the width of a still image (an image of one frame in the case of a moving image), one person and two or more persons are identified, and the width cannot be identified with a width smaller than the width defined as “one person”. Moreover, in consideration of the measurement error, the threshold value must be set to a value larger than the average width of one pedestrian, and the identifiable range is further limited.

当然ながら、検出判定に要する時間（画像フレーム数）を増加させることによって検出精度を向上できる余地はあるが、安全運転支援や自動運転における移動体検知および衝突回避においては、上記に伴う応答性の低下は好ましくなく、装置への負荷やコストの点からも、簡素で応答性の高い実用的な対策が望まれることとなった。   Naturally, there is room to improve the detection accuracy by increasing the time required for the detection determination (the number of image frames), but the responsiveness associated with the above is necessary for safe driving support and detection of moving objects and collision avoidance in automatic driving. A reduction is not preferable, and a practical measure that is simple and highly responsive has been desired from the viewpoint of the load on the apparatus and the cost.

特開２００３−１５０９３８号公報JP 2003-150938 A 特開２００６−１０６５２号公報JP-A-2006-10652

本発明は、上記のような実状に鑑みてなされたものであって、その目的は、２以上の移動体を単独と認識することによる誤作動を低負荷かつ低コストにて防止できる移動体検知システムおよびデータ整合性判定方法を提供することにある。   SUMMARY OF THE INVENTION The present invention has been made in view of the above situation, and has as its object to detect a moving body that can prevent malfunction due to recognizing two or more moving bodies as a single body at low load and at low cost. It is to provide a system and a data consistency determination method.

上記課題を解決するために、本発明者が鋭意検討した結果、２以上の移動体を単独と認識する場合には、（ｉ）略同位置にある２以上の移動体を単独の移動体として認識する第１の場合（図１０）と、（ｉｉ）略同位置にある２以上の移動体をフレームごとに異なる何れか一方の移動体として認識する第２の場合（図１１）が存在することが分かった。   In order to solve the above-mentioned problem, the present inventor has conducted intensive studies and, as a result, when two or more moving objects are recognized as a single object, (i) two or more moving objects at substantially the same position are regarded as a single moving object. There is a first case of recognizing (FIG. 10) and a second case of recognizing (ii) two or more moving objects at substantially the same position as one of different moving objects for each frame (FIG. 11). I understood that.

上記第１の場合は、例えば、図１０（ａ）（ｂ）に示すように、時系列で前後関係にあるフレーム１，２において、進行方向前側の歩行者６２に対して、検知されるデータ上の重心位置６０ｐは、図中左寄りとなっているため、この間の重心位置の移動速度は、歩行者６２の実際の速度より大きな値がフレーム１と２の差から計算され、予測速度も大きくなる。   In the first case, for example, as shown in FIGS. 10A and 10B, in frames 1 and 2 that are in chronological order, data detected for the pedestrian 62 on the front side in the traveling direction is detected. Since the upper center-of-gravity position 60p is shifted to the left in the figure, a value larger than the actual speed of the pedestrian 62 is calculated from the difference between the frames 1 and 2 for the moving speed of the center-of-gravity position during this period. Become.

一方、上記第２の場合は、図１１（ａ）（ｂ）に示すように、時系列で前後関係にあるフレーム１，２において、検知されるデータ上の重心位置７０ｐが、左側の歩行者７２から右側の歩行者７１に変わることによって、この間の重心位置の移動速度は、歩行者７１の実際の速度より大きな値がフレーム１と２の差から計算され、予測速度も大きくなる。   On the other hand, in the second case, as shown in FIGS. 11A and 11B, in frames 1 and 2 that are in chronological order, the center of gravity 70p on the detected data is changed to the left pedestrian. By changing from 72 to the pedestrian 71 on the right side, the value of the moving speed of the center of gravity during this time is calculated from the difference between the frames 1 and 2 larger than the actual speed of the pedestrian 71, and the predicted speed also increases.

上記のように予想速度が大きく計算される場合、本来衝突可能性が低いにも拘わらず、回避処理が発動されてしまう虞がある。一方、２人の歩行者の位置関係が各図において逆の場合は、予想速度が小さく計算され、回避処理が発動されない虞がある。   When the estimated speed is calculated to be large as described above, there is a possibility that the avoidance processing may be activated even though the collision probability is originally low. On the other hand, when the positional relationship between the two pedestrians is opposite in each figure, the predicted speed is calculated to be small, and the avoidance process may not be activated.

しかし、上記第１の場合は、検知されるデータ上の幅６０ｗが変化する。上記第２の場合は、検知されるデータ上の幅７０ｗは変化しないが、速度が不連続的に変化する。したがって、それぞれの場合を想定したデータ整合性判定を行うことで、応答性を損なわずにエラーを検出でき、誤作動を防止できるという知見を得て本発明に想到した。   However, in the first case, the width 60w on the detected data changes. In the second case, the width 70w on the detected data does not change, but the speed changes discontinuously. Therefore, the present inventors have found that by performing the data consistency determination assuming each case, it is possible to detect an error without impairing the responsiveness and to prevent a malfunction, and arrived at the present invention.

すなわち、本発明は、自車両の進行方向の画像を撮像する撮像手段（１１）と、前記画像から移動体を抽出し、各移動体の位置、幅、速度を出力する画像処理手段（１２）と、前記各移動体の位置、幅、速度に基づいて前記各移動体の未来位置を予測する手段（２１）とを備えた移動体検知システムにおいて、
前記各移動体の位置と幅を時系列で記憶する記憶手段（２０）と、前記各移動体の現在フレームにおける幅を、前記記憶手段に記憶された直前の１ないし複数フレームにおける幅と比較し、幅の変化が閾値以上であれば、当該移動体が複数の移動体からなると判定する第１の比較判定手段とを含むデータ整合性判定手段（２２）を備えた構成を前提とする。 That is, the present invention provides imaging means (11) for capturing an image in the traveling direction of the vehicle, and image processing means (12) for extracting a moving body from the image and outputting the position, width, and speed of each moving body. And a means (21) for predicting a future position of each of the moving objects based on the position, width, and speed of each of the moving objects.
A storage unit (20) for storing the position and width of each of the moving bodies in time series, and comparing the width of each of the moving bodies in the current frame with the width of one or more frames immediately before stored in the storage unit. If the change in the width is equal to or larger than the threshold value, it is assumed that a configuration is provided that includes a data consistency determination unit (22) including a first comparison determination unit that determines that the moving object includes a plurality of moving objects.

上記構成では、各移動体の現在フレームにおける幅を、既に記録されている直前の１ないし複数フレームにおける幅と比較し、その変化を検出するので、各移動体の幅の個体差の影響を受けることもなく、変化の割合や絶対値が閾値以上であれば直ちにデータ整合性がない、すなわち、当該移動体データが複数の移動体を含んでいると判定でき、単に幅に閾値を持たせただけの場合よりも精度よく検出でき、応答性に優れた移動体検知システムを低コストで構成できる利点がある。   In the above configuration, the width of each moving body in the current frame is compared with the width of one or more frames immediately before that is already recorded, and the change is detected. Therefore, the width of each moving body is affected by individual differences in the width. Without any change, if the rate of change or the absolute value is equal to or greater than the threshold value, there is no immediate data consistency, that is, it can be determined that the moving object data includes a plurality of moving objects, and the width is simply given a threshold value. There is an advantage that a moving object detection system that can detect with higher accuracy than in the case of only and has excellent responsiveness can be configured at low cost.

本発明の第１の態様は、前記データ整合性判定手段（２２）は、前記各移動体の速度を時系列で記憶する記憶手段と、前記記憶手段に記憶された直前の所定数フレームにおける速度分布のピークを検出し、ピークが２以上であれば、当該移動体が複数の移動体からなると判定する第２の比較判定手段とをさらに含む。 In a first aspect of the present invention , the data consistency determination means (22) includes a storage means for storing the speed of each of the moving objects in time series, and a speed in a predetermined number of frames immediately before stored in the storage means. A second comparison / determination unit that detects a peak in the distribution and, if the number of peaks is 2 or more, determines that the moving object includes a plurality of moving objects .

上記構成では、各移動体の直前の所定数フレームにおける速度分布に複数のピークが検出された場合、２以上の移動体間での検出対象（重心位置）の瞬間的な移動に伴う低頻度かつ高速な速度ピーク、不連続的な速度変化を生じていると見做し、直ちにデータ整合性がない、当該移動体データが複数の移動体を含んでいると判定でき、一層高精度で応答性に優れた移動体検知システムを構成できる利点がある。   In the above configuration, when a plurality of peaks are detected in the velocity distribution in a predetermined number of frames immediately before each moving body, the frequency and the low frequency associated with the instantaneous movement of the detection target (center of gravity) between two or more moving bodies are reduced. Assuming that a high speed peak or discontinuous speed change has occurred, there is no immediate data consistency, it can be determined that the moving object data includes multiple moving objects, and responsiveness is further improved. There is an advantage that a moving object detection system excellent in speed can be configured.

本発明の第２の態様は、前記第１の比較判定手段は、前記各移動体の現在フレームにおける位置と直前フレームにおける位置が実質的に変化していない場合には、前記幅の変化が前記閾値よりも小さい第２の閾値以上であれば、当該移動体が複数の移動体からなると判定するように構成されている。 In a second aspect of the present invention , when the position of the moving object in the current frame and the position of the moving object in the immediately preceding frame have not substantially changed, the first comparison / determination unit determines the change in the width. If the moving object is equal to or more than a second threshold value smaller than the threshold value, it is determined that the moving object includes a plurality of moving objects .

上記構成では、各移動体の位置が変化していないにも拘わらず幅の変化が検出される場合は、複数の移動体を含んでいる可能性が極めて高いので、より小さな閾値にて、直ちにデータ整合性がない、当該移動体データが複数の移動体を含んでいると判定でき、このケースにおける応答性をさらに高めることができる。   In the above configuration, when a change in the width is detected even though the position of each moving object has not changed, it is extremely likely that the moving object includes a plurality of moving objects. If there is no data consistency, it can be determined that the mobile data includes a plurality of mobiles, and the responsiveness in this case can be further improved.

なお、以上述べた本発明の移動体検知システムにおいて、移動体の未来位置を予測する手段（２１）、データ整合性判定手段（２２）、および、それを構成する各比較判定手段は、それぞれに規定された手順を記録したプログラムを実行可能なコンピューター（ＣＰＵ，メモリ、Ｉ／Ｆ）で構成されることが想定されている。   In the moving object detection system of the present invention described above, the means (21) for predicting the future position of the moving object, the data consistency judging means (22), and the respective comparison judging means constituting the same are respectively provided. It is assumed that the computer is configured by a computer (CPU, memory, I / F) that can execute a program recording a prescribed procedure.

本発明は、自車両の進行方向の画像を撮像し、前記画像から画像認識によって移動体を抽出し、前記移動体の位置、幅、速度に基づいて、前記移動体の未来位置を予測する移動体検知システムにおけるデータ整合性判定方法であって、
前記各移動体の位置と幅を時系列で記憶するステップ（２１０）と、
前記各移動体の現在フレームにおける幅を、記憶された直前の１ないし複数フレームにおける幅と比較し、幅の変化が閾値以上の場合に、当該移動体が複数の移動体からなると判定するステップ（２２１）と、を含むデータ整合性判定方法をも対象としている。 The present invention relates to a movement that captures an image in the traveling direction of the host vehicle, extracts a moving object from the image by image recognition, and predicts a future position of the moving object based on the position, width, and speed of the moving object. A data consistency determination method in a body detection system,
A step (210) of storing the position and width of each of the moving objects in a time series;
Comparing the width of each of the moving objects in the current frame with the stored width of one or more frames immediately before, and determining that the moving object is composed of a plurality of moving objects when the change in the width is equal to or greater than a threshold value ( 221) are also targeted.

本発明方法の第１の態様は、前記記憶するステップ（２１０）は、前記各移動体の速度を時系列で記憶することを含み、記憶された直前の所定数フレームにおける速度分布のピークを検出し、ピークが２以上の場合に、当該移動体が複数の移動体からなると判定するステップ（２３３）をさらに含む。 In a first aspect of the method of the present invention , the storing step (210) includes storing the speed of each of the moving objects in time series, and detecting a peak of a speed distribution in a predetermined number of frames immediately before the stored. Then, when the number of peaks is two or more, the method further includes a step (233) of determining that the moving object includes a plurality of moving objects .

本発明方法の第２の態様は、前記各移動体の現在フレームにおける位置と直前フレームにおける位置が実質的に変化していない場合には、前記幅の変化が前記閾値よりも小さい第２の閾値以上であれば、当該移動体が複数の移動体からなると判定するステップ（２２２）をさらに含む。 According to a second aspect of the method of the present invention , when the position of the moving object in the current frame and the position in the immediately preceding frame have not substantially changed, the second change in the width is smaller than the threshold. If so, the method further includes a step (222) of determining that the moving object includes a plurality of moving objects .

以上述べたように、本発明に係る移動体検知システムおよびデータ整合性判定方法は、２以上の移動体を単独と認識することによる誤作動を低負荷かつ低コストにて防止でき、適正な回避措置を講じる上で有利である。   As described above, the moving object detection system and the data consistency determination method according to the present invention can prevent a malfunction caused by recognizing two or more moving objects as a single object at a low load and at a low cost, and can appropriately avoid the malfunction. It is advantageous in taking measures.

本発明実施形態に係る移動体検知システムを示すブロック図である。1 is a block diagram illustrating a moving object detection system according to an embodiment of the present invention. 本発明実施形態に係る移動体検知システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the moving body detection system which concerns on embodiment of this invention. 本発明実施形態に係る移動体検知システムにおけるデータ整合性判定プロセスを示すフローチャートである。It is a flowchart which shows the data consistency determination process in the mobile body detection system which concerns on embodiment of this invention. （ａ）は１つの移動体、（ｂ）は２つの移動体を含む場合の速度分布を示すヒストグラムである。(A) is a histogram showing a speed distribution when one moving body is included, and (b) is a case where two moving bodies are included. ２つの移動体を単独と認識している場合の時系列で前後関係にある２フレームの認識画像を示す模式図である。It is a schematic diagram which shows the recognition image of two frames in a time series in the case of recognizing two moving bodies as single. 図５の移動体の経時的な位置と幅の変化を示すグラフである。6 is a graph showing a change in a position and a width of the moving body of FIG. 5 over time. 図５の移動体の位置と幅の関係を示すグラフである。6 is a graph illustrating a relationship between a position and a width of the moving object in FIG. 5. ２つの移動体を含む場合の速度分布を示すヒストグラムを１つの移動体と認識して正規分布の重ねあわせの関数でフィッティングしたグラフである。5 is a graph obtained by recognizing a histogram indicating a velocity distribution when two moving objects are included as one moving object and fitting the histogram with a function of superposition of normal distributions. 図８のヒストグラムに２つのピークを含む正規分布の重ねあわせの関数でフィッティングしたグラフである。9 is a graph fitted with a function of superposition of a normal distribution including two peaks on the histogram of FIG. 8. ２つの移動体を単独と認識している場合の時系列で前後関係にある２フレームの認識画像の例を示す模式図である。It is a schematic diagram which shows the example of the recognition image of two frames in a time series in the case of recognizing two moving bodies as single. ２つの移動体をフレームごとに異なる何れか一方の移動体として認識している場合の時系列で前後関係にある２フレームの認識画像の例を示す模式図である。It is a schematic diagram which shows the example of the recognition image of two frames in a time series in a case where two moving bodies are recognized as any one moving body different for every frame.

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
本発明に係る移動体検知システムは、図１に示されるように、ステレオカメラ１１、および、認識処理部１２を含む画像処理装置１と、データ記憶部２０、移動***置予測部２１、データ整合性判定部２２、および、制御量算出部２３を含む制御コントローラ２とから主に構成されている。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
As shown in FIG. 1, a moving object detection system according to the present invention includes a stereo camera 11, an image processing apparatus 1 including a recognition processing unit 12, a data storage unit 20, a moving object position prediction unit 21, It mainly comprises a gender determination unit 22 and a controller 2 including a control amount calculation unit 23.

ステレオカメラ１１は、自車両の進行方向の画像を撮像し、撮像された画像は、認識処理部１２のＶＲＡＭに取得される。認識処理部１２は、取得された画像から、認識処理によって移動体を抽出し、各移動体の位置、幅、速度を所定フレームレートで制御コントローラ２に出力する。制御コントローラ２は、図２に示されるような手順で、各移動体の未来位置を予測し、自車両との衝突可能性の判定を行う。   The stereo camera 11 captures an image of the own vehicle in the traveling direction, and the captured image is acquired by the VRAM of the recognition processing unit 12. The recognition processing unit 12 extracts a moving object from the acquired image by a recognition process, and outputs the position, width, and speed of each moving object to the controller 2 at a predetermined frame rate. The controller 2 predicts the future position of each moving body and determines the possibility of collision with the own vehicle according to the procedure shown in FIG.

（基本的制御プロセス）
先ず、制御コントローラ２は、画像処理装置１から出力された各移動体の位置（距離、重心位置）、幅（横幅）、速度（横方向速度）を取得し（１００）、データ記憶部２０は、過去ｎフレームに亘る各移動体の位置、幅、速度を時系列で保存する。移動***置予測部２１は、各移動体の位置、幅、速度に基づいてそれぞれの未来位置を計算するとともに（１１１）、車速センサ３から得られる自車両の車速および加速度情報に基づいて自車両の未来位置を計算する（１１２）。なお、舵角センサやヨーレートセンサなどの車両情報が併用されてもよい。 (Basic control process)
First, the controller 2 acquires the position (distance, center-of-gravity position), width (width), and speed (lateral speed) of each moving object output from the image processing apparatus 1 (100). The position, width, and speed of each moving object over the past n frames are stored in time series. The moving body position prediction unit 21 calculates each future position based on the position, width and speed of each moving body (111), and based on the vehicle speed and acceleration information of the own vehicle obtained from the vehicle speed sensor 3. Is calculated (112). Note that vehicle information such as a steering angle sensor and a yaw rate sensor may be used together.

移動***置予測部２１が各移動体および自車両の未来位置を計算するのと並行して、データ整合性判定部２２は、データ記憶部２０に保存されている各移動体の過去ｎフレームに亘る位置、幅、速度データを参照し、現在フレームのデータとの整合性を判定する（１２０，１２１）。具体的な判定手順については後述する。   In parallel with the moving body position predicting section 21 calculating the future positions of each moving body and the own vehicle, the data consistency determination section 22 calculates the past n frames of each moving body stored in the data storage section 20. The consistency with the data of the current frame is determined with reference to the position, width, and speed data over the entire frame (120, 121). The specific determination procedure will be described later.

整合性に問題がない場合は、衝突可能性の判定を行い（１４０）、整合性に問題がある場合は、衝突可能性の判定を行わずにエラー処理または緊急時の制御判定を行う（１３０）。なお、先に衝突可能性の判定を行い、その後で整合性の判定を行うこともできる。   If there is no problem in the consistency, the possibility of collision is determined (140), and if there is a problem in the consistency, error processing or emergency control determination is performed without determining the possibility of collision (130). ). Note that the possibility of collision may be determined first, and then the consistency may be determined.

そして、何れかの移動体と衝突可能性があると判断される場合、制御量算出部２３は、衝突を回避するために必要な制動制御量の計算を行い、自車両と移動体との衝突余裕時間（Time To Collision；ＴＴＣ）が所定値以下であるか否かを判定し（１４２）、所定値以下であれば、制御処理装置４により自動ブレーキ６を作動させ（１６０）、所定値以下でない場合は警報装置５を作動させる（１５０）。衝突可能性がないと判断された場合、および、警報装置５の作動後は、データ記憶部２０を、現在フレームを含む過去ｎフレームのデータに更新し、次フレームの処理に移行する。   When it is determined that there is a possibility of collision with any of the moving objects, the control amount calculation unit 23 calculates a braking control amount necessary to avoid the collision, and calculates the collision between the own vehicle and the moving object. It is determined whether the time to collision (TTC) is equal to or less than a predetermined value (142), and if it is equal to or less than the predetermined value, the automatic brake 6 is operated by the control processing device 4 (160) and equal to or less than the predetermined value. If not, the alarm device 5 is activated (150). When it is determined that there is no possibility of collision, and after the operation of the alarm device 5, the data storage unit 20 is updated to data of the past n frames including the current frame, and the process proceeds to the next frame.

（データ整合性判定プロセス）
次に、具体的なデータ整合性判定手順について、図３を参照しながら説明する。
先述したように、２以上の移動体を単独と認識する場合には、（ｉ）略同位置にある２以上の移動体を単独の移動体として認識する第１の場合と、（ｉｉ）略同位置にある２以上の移動体をフレームごとに異なる何れか一方の移動体として認識する第２の場合が存在するので、データ整合性判定は、これらの場合を想定して実施される。なお、以下の説明では２つの検査を並行して実施する場合を示しているが、順次実施することもできる。 (Data consistency judgment process)
Next, a specific data consistency determination procedure will be described with reference to FIG.
As described above, when two or more moving objects are recognized as a single object, (i) a first case in which two or more mobile objects at substantially the same position are recognized as a single moving object; Since there is a second case in which two or more moving objects at the same position are recognized as any one of the moving objects different for each frame, the data consistency determination is performed on the assumption of these cases. In the following description, two tests are performed in parallel, but they may be performed sequentially.

（ｉ）２以上の移動体を単独の移動体として認識する場合
先ず、データ整合性判定部２２は、現在フレームの各移動体の位置（距離、重心位置）、幅（横幅）、速度（横方向速度）を取得し（２００）、データ記憶部２０から各移動体の過去ｎフレームに亘る位置、幅、速度データを読み込み（２１０）、各移動体の現在フレームにおける幅を、過去ｎフレームにおける幅と比較し、幅の変化が閾値以上の場合は、当該移動体が複数の移動体からなると判定する（ステップ２２１）。 (I) When Recognizing Two or More Moving Objects as a Single Moving Object First, the data consistency determination unit 22 determines the position (distance, center of gravity position), width (width), and speed (width) of each moving object in the current frame. Direction speed) (200), read the position, width, and velocity data of each mobile unit over the past n frames from the data storage unit 20 (210), and determine the width of each mobile unit in the current frame in the past n frames. If the change in the width is greater than or equal to the threshold value as compared with the width, it is determined that the moving body is composed of a plurality of moving bodies (step 221).

例えば、図５（ａ）に示されるように、あるフレーム１でほぼ同位置で図中左側に移動している２人の歩行者５１，５２が、単独の歩行者（重心位置５０ｐ）であると認識されている場合に、図５（ｂ）に示されるように、後続のフレーム２で先行していた一方の歩行者５２が反転して図中右側に向うような場合を想定する。   For example, as shown in FIG. 5A, two pedestrians 51 and 52 that are moving to the left in the drawing at substantially the same position in a certain frame 1 are single pedestrians (centroid position 50p). 5B, it is assumed that, as shown in FIG. 5B, one of the pedestrians 52 preceding in the subsequent frame 2 is turned to the right in the drawing.

この間の歩行者５１，５２の重心位置の軌跡は、図６に示されるように、０〜２フレームでは歩行者５１ｐ，５２ｐが同方向（図５の左方向（遠ざかる方向）をマイナス方向とする）に移動し、２フレーム付近で一方の歩行者５２ｐが反転し、４フレーム付近で歩行者５１ｐと交差してから加速するものとなる。   As shown in FIG. 6, the trajectories of the centers of gravity of the pedestrians 51 and 52 during this time are such that the pedestrians 51p and 52p have the same direction (leftward direction (away direction in FIG. 5) in FIG. ), One of the pedestrians 52p is inverted around two frames, and accelerates after crossing the pedestrian 51p near four frames.

この２人の歩行者を１人と認識した場合、４〜１０フレームでは、重心位置５０ｐの軌跡は、一方の歩行者５２ｐの軌跡に比べて移動量が少なく認識され、したがって、速度が小さく認識されることになり、予想速度が小さく推定され、予想到達位置が手前に推定される虞があるが、移動体の幅５０ｗは、２人の歩行者５１，５２が交差した４フレーム以降で急激に増加するので、幅の変化が閾値以上の場合、例えば、（１）幅の変化量が閾値以上の場合、（２）幅の変化率（傾き）が閾値以上の場合、（３）幅がｍフレーム（ｍは２〜３）に亘り連続して増加した場合、（４）幅の変化曲線に変曲点（ピーク）が生じた場合、などを検出することによって、移動体（５０ｗ）が複数の移動体（５１，５２）を含んでいると判定できる。   When these two pedestrians are recognized as one, in 4 to 10 frames, the locus of the center of gravity position 50p is recognized as having a smaller movement amount than the locus of one of the pedestrians 52p, and thus the speed is small. Therefore, the predicted speed is estimated to be small, and the estimated arrival position may be estimated toward the user. However, the width 50w of the moving object suddenly increases after four frames where two pedestrians 51 and 52 intersect. When the width change is equal to or larger than the threshold value, for example, (1) when the width change amount is equal to or larger than the threshold value, (2) when the width change rate (slope) is equal to or larger than the threshold value, The moving body (50w) is detected by detecting, for example, a case where it continuously increases over m frames (m is 2 to 3), (4) a case where an inflection point (peak) occurs in a width change curve, and the like. It can be determined that a plurality of moving objects (51, 52) are included.

次に、各移動体の現在フレームにおける位置と直前フレームにおける位置が実質的に変化していない場合には、幅の変化が前記閾値よりも小さい第２の閾値以上であれば、当該移動体が複数の移動体からなると判定する（ステップ２２２）。   Next, when the position of each moving object in the current frame and the position in the immediately preceding frame have not substantially changed, if the change in the width is equal to or greater than a second threshold smaller than the threshold, the moving object is It is determined that it is composed of a plurality of moving objects (step 222).

例えば、上述した図５（ａ）（ｂ）に示されるような場合、この間の歩行者５１，５２の重心位置と幅の相関５０ｐｗをとると、図７に示されるように、位置−４においては、同位置において幅が変化しており、この場合、幅の変化が僅かであっても、移動体（５０ｐｗ）が複数の移動体（５１，５２）を含んでいると判定できる。   For example, in the case shown in FIGS. 5A and 5B described above, if a correlation 50 pw between the center of gravity position and the width of the pedestrians 51 and 52 during this time is taken, as shown in FIG. Indicates that the width changes at the same position. In this case, even if the width changes slightly, it can be determined that the moving body (50pw) includes a plurality of moving bodies (51, 52).

上記各ステップ（２２１）、（２２２）において複数の移動体を含んでいると判定された場合は、ＴＴＣが所定値以下であるか否かを判定し（ステップ２２５）、ＴＴＣが所定値以下の場合は、緊急時の制御判定を行う（２２６）。   If it is determined in each of the above steps (221) and (222) that a plurality of moving objects are included, it is determined whether or not the TTC is equal to or less than a predetermined value (step 225), and the TTC is equal to or less than the predetermined value. In this case, an emergency control decision is made (226).

緊急性が高いと判断された場合は、重心位置でなくエッジ（現在認識している幅の端部座標）の時間変化量を速度として計算し、現在認識している幅を１／３に分割する座標を２つの移動体の重心位置として採用して制御判定を行い、衝突可能性のある場合は自動ブレーキ６を実施する。この場合、緊急時の処理として、制御判定の閾値を変更することが望ましい。例えば、自動ブレーキの場合は最新の認識結果が進路上にない場合は警報のみに留めるようにしても良い。   If the urgency is determined to be high, the time change amount of the edge (the end coordinate of the width currently recognized) is calculated as the speed instead of the position of the center of gravity, and the width currently recognized is divided into 1/3. The control determination is performed by adopting the coordinates to be performed as the positions of the centers of gravity of the two moving bodies, and if there is a possibility of collision, the automatic brake 6 is performed. In this case, it is desirable to change the threshold value for control determination as an emergency process. For example, in the case of automatic braking, if the latest recognition result is not on the course, only an alarm may be set.

一方、ステップ２２５において、ＴＴＣが所定値以下でない場合（緊急でない場合）は、画像処理装置１（認識処理部１２）にエラーを返す（２２８）。この際に認識処理部１２の設定の閾値（エッジ検出の判定の閾値など）を修正する。この場合、現在位置に基づく制御判定は行うが、移動***置予測を考慮した制御判定は行わない。   On the other hand, if the TTC is not equal to or smaller than the predetermined value (if not urgent) in step 225, an error is returned to the image processing apparatus 1 (recognition processing unit 12) (228). At this time, the threshold value set for the recognition processing unit 12 (eg, the threshold value for determining edge detection) is corrected. In this case, the control determination based on the current position is performed, but the control determination is not performed in consideration of the mobile body position prediction.

上記各ステップ（２２１）、（２２２）において、データ整合性に問題ないと判定された場合は、通常の制御判定を行う（２２４）。   If it is determined in each of the steps (221) and (222) that there is no problem with the data consistency, a normal control determination is performed (224).

（ｉｉ）２以上の移動体をフレームごとに異なる何れかとして認識する場合
先ず、データ記憶部２０に記憶されている各移動体の過去ｎフレームにおける速度のヒストグラム（速度分布）を作成する（２３１）。次いで、ヒストグラムのピーク数をカウントし（２３２）、２以上のピークが検出された場合に、当該移動体が複数の移動体からなると判定する（２３３）。 (Ii) When Recognizing Two or More Moving Objects as Any of Different Frames First, a histogram (speed distribution) of the speeds of the moving objects in the past n frames stored in the data storage unit 20 is created (231). ). Next, the number of peaks in the histogram is counted (232), and when two or more peaks are detected, it is determined that the moving object includes a plurality of moving objects (233).

例えば、図４（ａ）の実線４０は、ほぼ静止状態にある１人の歩行者のヒストグラムを示しており、速度０．５ｋｍ/ｈ付近の１つのピークを中心とした正規分布となっている。また、同図の破線４０′は、移動中の１人の歩行者のヒストグラムを示しており、速度４．１ｋｍ/ｈ付近の１つのピークの左右で偏った速度分布を示している。   For example, a solid line 40 in FIG. 4A shows a histogram of one pedestrian in a substantially stationary state, and has a normal distribution centered on one peak near a speed of 0.5 km / h. . Also, a broken line 40 'in the figure shows a histogram of one pedestrian moving, and shows a speed distribution that is biased on the left and right of one peak near a speed of 4.1 km / h.

これに対して、図４（ｂ）では、１人として検出されている移動体の過去ｎフレームのヒストグラムに、速度０ｋｍ/ｈ付近を中心とするピーク４１の他に、速度５ｋｍ/ｈ付近を中心とするピーク４２が出現していることから、図１１に示されるように、時系列で前後関係にあるフレームにおいて検知されるデータ上の重心位置が２人の歩行者間を移動する際の速度（４２）が現れたものと見ることができる。   On the other hand, in FIG. 4B, the histogram of the past n frames of the moving object detected as one person includes the peak 41 centering around the speed of 0 km / h and the peak near the speed of 5 km / h. Since the center peak 42 appears, as shown in FIG. 11, the position of the center of gravity on the data detected in the frames in the chronological order in the time series when moving between two pedestrians is shown. It can be seen that the speed (42) has appeared.

そこで、ピークが２つ以上存在する場合、正規分布の重ねあわせた関数でフィッティングを行い（２３４）、それぞれのピークに対して、その属するデータのみを用い、それぞれ再計算することで各移動体の位置、速度を求める（２３５）。   Therefore, when there are two or more peaks, fitting is performed with a superimposed function of normal distribution (234), and for each peak, only the data to which the peak belongs is used, and each peak is recalculated, whereby each moving object is recalculated. The position and speed are obtained (235).

ピークの判定方法としては、例えば、ヒストグラムにおいて速度のｎ番目の代表点の頻度をＰ（ｎ）とおいたとき、
｛Ｐ（ｎ−１）−Ｐ（ｎ）｝＊｛Ｐ（ｎ＋１）−Ｐ（ｎ）｝＜−１
かつ、
｜Ｐ（ｎ−１）−Ｐ（ｎ）｜＞Ｃ（一定値）
｜Ｐ（ｎ＋１）−Ｐ（ｎ）｜＞Ｃ（一定値）
の時、その点がピークになっているとしてピーク数をカウントすることで求められる。この方法は一例であり、他の手法でも良い。 As a method of determining the peak, for example, when the frequency of the n-th representative point of the speed in the histogram is set to P (n),
{P (n-1) -P (n)} * {P (n + 1) -P (n)} <-1
And,
| P (n-1) -P (n) |> C (constant value)
| P (n + 1) -P (n) |> C (constant value)
In this case, the point is determined to be a peak by counting the number of peaks. This method is an example, and another method may be used.

フィッティングする関数形は、２つのピークの場合、
Ａ１＊exp（−（ｘ−μ１）２/２δ１ ２）＋Ａ２＊exp（−（ｘ−μ２）２/２δ２ ２）
であり、変数はＡ１，Ａ２，μ１，μ２，δ１，δ２である。 The function form to be fitted is
A 1 * exp (- (x -μ 1) 2 / 2δ 1 2) + A 2 * exp (- (x-μ 2) 2 / 2δ 2 2)
And the variables are A 1 , A 2 , μ 1 , μ 2 , δ 1 , δ 2 .

「属するデータ」の範囲は、中心点μ１、μ２のピークに対し、それぞれ
μ１±δ１、μ２±δ２（半値幅）の範囲とし、２つのピークが重なる部分は用いない。この範囲は一例であり、これと異なってもよい。複数個のピークが検出された場合、画像処理装置１（認識処理部１２）にエラーと検出位置を返す（２３６）。 The range of “data belonging to” is set to μ 1 ± δ 1 and μ 2 ± δ 2 (half-value width) with respect to the peaks at the center points μ 1 and μ 2 , and the part where the two peaks overlap is not used. This range is an example and may be different. When a plurality of peaks are detected, an error and a detected position are returned to the image processing device 1 (recognition processing unit 12) (236).

この「属するデータ」の選択および再計算の一例をあげる。例えば、測定データとして画面左端からの位置と速度が取得され、速度に２つのピークがある場合を考える。２つのピークの中心が、それぞれ４ｋｍ/ｈと６ｋｍ/ｈ、半値幅が０．５ｋｍ/ｈであった場合に、測定データが、（３ｍ，４．２ｋｍ/ｈ）、（５ｍ，６．３ｋｍ/ｈ）、（６ｍ，７ｋｍ/ｈ）、（３．５ｍ，４ｋｍ/ｈ）、（５．８ｍ，６．１ｋｍ/ｈ）であれば、ピーク１に属するデータが、４ｋｍ±０．５、ピーク２に属するデータが、６ｋｍ±０．５であるので、
・ピーク１に属するデータ：（３ｍ,４．２ｋｍ/ｈ）、（３．５ｍ，４ｋｍ/ｈ）
・ピーク２に属するデータ：（５ｍ,６．３ｋｍ/ｈ）、（５．８ｍ,６．１ｋｍ/ｈ）
とし、それぞれ別の物体として、未来位置の計算をやり直す。 An example of the selection and recalculation of the “data belonging to” will be described. For example, consider a case where the position and speed from the left end of the screen are acquired as measurement data, and the speed has two peaks. When the centers of the two peaks were 4 km / h and 6 km / h, respectively, and the half width was 0.5 km / h, the measured data was (3 m, 4.2 km / h), (5 m, 6.3 km). / h), (6 m, 7 km / h), (3.5 m, 4 km / h), (5.8 m, 6.1 km / h), the data belonging to peak 1 is 4 km ± 0.5, Since the data belonging to peak 2 is 6 km ± 0.5,
Data belonging to peak 1: (3 m, 4.2 km / h), (3.5 m, 4 km / h)
Data belonging to peak 2: (5 m, 6.3 km / h), (5.8 m, 6.1 km / h)
And calculate the future position again as separate objects.

自動車の緊急停止ブレーキを行うかどうかの判定において、認識からブレーキ作動まで１秒以内を目標とする場合、６ｋｍ/ｈと４ｋｍ/ｈの歩行者の移動距離の差は約５６ｃｍ/秒であり、解像度が１０ｃｍ程度の認識方法であれば、上記（ｉ）（ｉｉ）に係るデータ整合性判定プロセスを実施可能である。   In the determination of whether or not to perform emergency stop braking of a car, if the target is within 1 second from recognition to braking, the difference between the pedestrian's travel distance of 6 km / h and 4 km / h is about 56 cm / sec, If the recognition method has a resolution of about 10 cm, the data consistency determination process according to the above (i) and (ii) can be performed.

なお、移動体データが３以上の移動体（歩行者）を含む場合、上記（ｉ）の幅の変化を検出する方法では、幅および重心位置は両端の２人によって決定されるので、衝突可能性の判定では緊急でない場合は、単に「エラー」だけ返しても機能的には問題がなく、緊急時の処理においても２人の場合と同一で良い。   In the case where the moving object data includes three or more moving objects (pedestrians), in the method of detecting a change in width described in (i), since the width and the center of gravity are determined by two persons at both ends, collision is possible. If it is not urgent to judge the sex, there is no functional problem even if only “error” is returned, and the processing in an emergency may be the same as in the case of two persons.

次に、各移動体の過去ｎフレームにおける速度のヒストグラムに対するフィッティングの具体例について、図８および図９を参照しながら説明する。   Next, a specific example of fitting a speed histogram of each moving object in the past n frames will be described with reference to FIGS.

先ず、図８にドットで示されるようなヒストグラムが得られた場合、単独の移動体５０ｄとしてフィッティングを行うと、図中右側の歩行者に近い位置の正規分布が求まるが、ずれが大きいので（特に左側部分）エラー判定となる。   First, in the case where a histogram as shown by dots in FIG. 8 is obtained, when fitting is performed as a single moving body 50d, a normal distribution at a position close to the pedestrian on the right side in the figure is obtained, but the deviation is large. Especially on the left side) error determination.

この場合、単に誤差二乗値の大きさで判断してもよいが、フィッティングで求めた歩行者の位置ｘから正側にある点だけの誤差二乗値と負側の点だけの誤差二乗値の比で判別することもできる。正規分布の片側のみにずれが大きい場合、片側にエラー要因がある、すなわち、もう一人の歩行者があると判断されるからである。   In this case, it may be determined simply by the magnitude of the error square value, but the ratio of the error square value of only the point on the positive side to the error square value of the negative point only from the position x of the pedestrian obtained by the fitting. Can also be determined. If the deviation is large on only one side of the normal distribution, it is determined that there is an error factor on one side, that is, it is determined that there is another pedestrian.

次に、図９に示すように、２人に歩行者５１ｄ，５２ｄがいると仮定し、フィッティングを行うと、それぞれのピーク位置は、５１ｄ：０．９、５２ｄ：５．３と求めることができ、この場合、それぞれの正規分布の半値幅に入る値（図中両矢印で示される範囲）だけを用いて再計算を行うことで、歩行者５１ｄ，５２ｄの位置を予測できる。   Next, as shown in FIG. 9, assuming that there are two pedestrians 51d and 52d, and fitting is performed, the respective peak positions can be obtained as 51d: 0.9 and 52d: 5.3. In this case, the position of the pedestrians 51d and 52d can be predicted by performing recalculation using only values that fall within the half width of each normal distribution (the range indicated by the double arrow in the figure).

以上、本発明の実施形態について述べたが、本発明は上記実施形態に限定されるものではなく、本発明の技術的思想に基づいてさらに各種の変形および変更が可能である。   Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications and changes can be made based on the technical idea of the present invention.

１ 画像処理装置
２ 制御コントローラ
３ 車速センサ
４ 制御処理装置
５ 警報装置
６ 自動ブレーキ
１１ ステレオカメラ
１２ 認識処理部
２０ データ記憶部
２１ 移動***置予測部
２２ データ整合性判定部
２３ 制御量算出部
５１，５２ 歩行者（移動体）
５０ｐ，５１ｐ，５２ｐ 位置（重心位置）
５０ｗ 幅（横幅） REFERENCE SIGNS LIST 1 image processing device 2 control controller 3 vehicle speed sensor 4 control processing device 5 alarm device 6 automatic brake 11 stereo camera 12 recognition processing unit 20 data storage unit 21 moving object position prediction unit 22 data consistency determination unit 23 control amount calculation unit 51, 52 pedestrian (mobile)
50p, 51p, 52p position (center of gravity position)
50w width (width)

Claims (4)

自車両の進行方向の画像を撮像する撮像手段と、
前記画像から移動体を抽出し、各移動体の位置、幅、速度を出力する画像処理手段と、
前記各移動体の位置、幅、速度に基づいて前記各移動体の未来位置を予測する手段と、
を備えた移動体検知システムにおいて、
前記各移動体の位置と幅と速度を時系列で記憶する記憶手段と、
前記各移動体の現在フレームにおける幅を、前記記憶手段に記憶された直前の１ないし複数フレームにおける幅と比較し、幅の変化が閾値以上であれば、当該移動体が複数の移動体からなると判定する第１の比較判定手段と、
前記記憶手段に記憶された直前の所定数フレームにおける速度分布のピークを検出し、ピークが２以上であれば、当該移動体が複数の移動体からなると判定する第２の比較判定手段と、を含むデータ整合性判定手段を備えたことを特徴とする移動体検知システム。 Imaging means for capturing an image in the traveling direction of the vehicle;
Image processing means for extracting a moving object from the image and outputting the position, width, and speed of each moving object,
Means for predicting a future position of each of the moving objects based on the position, width, and speed of each of the moving objects,
In a moving object detection system with
Storage means for storing the position, width, and speed of each of the moving bodies in time series,
The width of each moving object in the current frame is compared with the width of one or more frames immediately before stored in the storage means. If the change in the width is equal to or more than a threshold, the moving object is composed of a plurality of moving objects. First comparing and judging means for judging;
A second comparison / determination unit that detects a peak of the velocity distribution in a predetermined number of frames immediately before stored in the storage unit and determines that the moving body is composed of a plurality of moving bodies if the peak is 2 or more; A moving object detection system characterized by comprising data consistency determination means including: 自車両の進行方向の画像を撮像する撮像手段と、
前記画像から移動体を抽出し、各移動体の位置、幅、速度を出力する画像処理手段と、
前記各移動体の位置、幅、速度に基づいて前記各移動体の未来位置を予測する手段と、
を備えた移動体検知システムにおいて、
前記各移動体の位置と幅を時系列で記憶する記憶手段と、
前記各移動体の現在フレームにおける幅を、前記記憶手段に記憶された直前の１ないし複数フレームにおける幅と比較し、幅の変化が閾値以上であれば、当該移動体が複数の移動体からなると判定する第１の比較判定手段と、
を含むデータ整合性判定手段を備え、
前記第１の比較判定手段は、前記各移動体の現在フレームにおける位置と直前フレームにおける位置が実質的に変化していない場合には、前記幅の変化が前記閾値よりも小さい第２の閾値以上であれば、当該移動体が複数の移動体からなると判定するように構成されていることを特徴とする移動体検知システム。 Imaging means for capturing an image in the traveling direction of the vehicle;
Image processing means for extracting a moving object from the image and outputting the position, width, and speed of each moving object,
Means for predicting a future position of each of the moving objects based on the position, width, and speed of each of the moving objects,
In a moving object detection system with
Storage means for storing the position and width of each of the moving bodies in chronological order,
The width of each moving object in the current frame is compared with the width of one or more frames immediately before stored in the storage means. If the change in the width is equal to or more than a threshold, the moving object is composed of a plurality of moving objects. First comparing and judging means for judging;
A data consistency determination means including,
The first comparison / determination means may determine that the change in the width is equal to or greater than a second threshold smaller than the threshold when the position of the moving object in the current frame and the position in the immediately preceding frame have not substantially changed. A moving object detection system configured to determine that the moving object includes a plurality of moving objects. 自車両の進行方向の画像を撮像し、前記画像から画像認識によって移動体を抽出し、前記移動体の位置、幅、速度に基づいて、前記移動体の未来位置を予測する移動体検知システムにおけるデータ整合性判定方法であって、
前記各移動体の位置と幅と速度を時系列で記憶するステップと、
前記各移動体の現在フレームにおける幅を、記憶された直前の１ないし複数フレームにおける幅と比較し、幅の変化が閾値以上の場合に、当該移動体が複数の移動体からなると判定するステップと、
記憶された直前の所定数フレームにおける速度分布のピークを検出し、ピークが２以上の場合に、当該移動体が複数の移動体からなると判定するステップと、
を含むデータ整合性判定方法。 In a moving object detection system that captures an image in the traveling direction of the vehicle, extracts a moving object from the image by image recognition, and predicts a future position of the moving object based on the position, width, and speed of the moving object. A data consistency determination method,
Storing the position, width, and speed of each of the moving bodies in time series;
Comparing the width of the moving body in the current frame with the stored width in the immediately preceding one or more frames, and determining that the moving body is composed of a plurality of moving bodies when the change in the width is equal to or greater than a threshold value; ,
Detecting a peak of the speed distribution in the stored predetermined number of frames immediately before, and, when the number of peaks is 2 or more, determining that the moving body is composed of a plurality of moving bodies;
A data consistency determination method including: 自車両の進行方向の画像を撮像し、前記画像から画像認識によって移動体を抽出し、前記移動体の位置、幅、速度に基づいて、前記移動体の未来位置を予測する移動体検知システムにおけるデータ整合性判定方法であって、
前記各移動体の位置と幅を時系列で記憶するステップと、
前記各移動体の現在フレームにおける幅を、記憶された直前の１ないし複数フレームにおける幅と比較し、幅の変化が閾値以上の場合に、当該移動体が複数の移動体からなると判定するステップと、
前記各移動体の現在フレームにおける位置と直前フレームにおける位置が実質的に変化していない場合には、前記幅の変化が前記閾値よりも小さい第２の閾値以上であれば、当該移動体が複数の移動体からなると判定するステップと、
を含むデータ整合性判定方法。 In a moving object detection system that captures an image in the traveling direction of the vehicle, extracts a moving object from the image by image recognition, and predicts a future position of the moving object based on the position, width, and speed of the moving object. A data consistency determination method,
Storing the position and width of each of the moving bodies in time series;
Comparing the width of the moving body in the current frame with the stored width in the immediately preceding one or more frames, and determining that the moving body is composed of a plurality of moving bodies when the change in the width is equal to or greater than a threshold value; ,
If the position of each moving body in the current frame and the position in the immediately preceding frame have not substantially changed, if the change in the width is equal to or greater than a second threshold smaller than the threshold, the plurality of moving bodies Determining that the mobile object is composed of
A data consistency determination method including:
JP2016047221A 2016-03-10 2016-03-10 Moving object detection system and data consistency determination method thereof Active JP6641633B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016047221A JP6641633B2 (en) 2016-03-10 2016-03-10 Moving object detection system and data consistency determination method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016047221A JP6641633B2 (en) 2016-03-10 2016-03-10 Moving object detection system and data consistency determination method thereof

Publications (2)

Publication Number Publication Date
JP2017162281A JP2017162281A (en) 2017-09-14
JP6641633B2 true JP6641633B2 (en) 2020-02-05

Family

ID=59856894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016047221A Active JP6641633B2 (en) 2016-03-10 2016-03-10 Moving object detection system and data consistency determination method thereof

Country Status (1)

Country Link
JP (1) JP6641633B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6973302B2 (en) * 2018-06-06 2021-11-24 トヨタ自動車株式会社 Target recognition device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2797573B2 (en) * 1989-12-28 1998-09-17 住友電気工業株式会社 Vehicle separation method in image processing type vehicle sensor
JP3197633B2 (en) * 1992-11-30 2001-08-13 松下電器産業株式会社 Automatic tracking device for moving objects
JP3750184B2 (en) * 1996-04-03 2006-03-01 松下電器産業株式会社 Moving object extraction apparatus and extraction method
JP4118452B2 (en) * 1999-06-16 2008-07-16 本田技研工業株式会社 Object recognition device
JP5106302B2 (en) * 2008-07-31 2012-12-26 セコム株式会社 Moving object tracking device
JP6097150B2 (en) * 2013-05-24 2017-03-15 ソニーセミコンダクタソリューションズ株式会社 Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP2017162281A (en) 2017-09-14

Similar Documents

Publication Publication Date Title
JP5938569B2 (en) Advanced driver support system considering azimuth information and operation method thereof
US10627228B2 (en) Object detection device
CN103350698B (en) Method and apparatus for running vehicle
CN108116408B (en) Multi-sensor probabilistic object and autobrake
KR101436624B1 (en) Apparatus, method and computer readable recording medium for detecting an error of a lane data for lane maintenance support
US20150274161A1 (en) Method for operating a driver assistance system of a vehicle
JP2013225295A5 (en)
US20040102901A1 (en) Method and system for vehicle impact assessment using driver braking estimation
JP6654923B2 (en) Map information output device
US20140379167A1 (en) Collision avoidance for a motor vehicle
JPWO2014024336A1 (en) Object detection device and driving support device
KR102048186B1 (en) Apparatus and method for judging drowsiness drive using driving pattern of vehicle
CN106470884B (en) Determination of vehicle state and driver assistance while driving a vehicle
CN109703456B (en) Warning method and device for preventing automobile collision and automobile controller
KR102304851B1 (en) Ecu, autonomous vehicle including the ecu, and method of recognizing near vehicle for the same
CN111497741B (en) Collision early warning method and device
CN106608259A (en) Autonomous emergency braking apparatus and method
JP5983865B2 (en) Detection device and driving support device
US9365195B2 (en) Monitoring method of vehicle and automatic braking apparatus
JP2015151071A (en) Drive diagnostic system, and insurance fee calculation method
JP6641633B2 (en) Moving object detection system and data consistency determination method thereof
KR20200140979A (en) Method, Apparatus for controlling vehicle, and system including it
JP6332489B1 (en) Vehicle state estimation device
US20170169704A1 (en) Method and device for triggering pedestrian protection means and/or pedestrian warning means
JP2021105958A (en) Driver state estimation device and driver state estimation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191101

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191212

R151 Written notification of patent or utility model registration

Ref document number: 6641633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151