JPH06282655A - Device for recognizing moving object - Google Patents
Device for recognizing moving objectInfo
- Publication number
- JPH06282655A JPH06282655A JP5072269A JP7226993A JPH06282655A JP H06282655 A JPH06282655 A JP H06282655A JP 5072269 A JP5072269 A JP 5072269A JP 7226993 A JP7226993 A JP 7226993A JP H06282655 A JPH06282655 A JP H06282655A
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- vehicle
- moving object
- recognizing
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は移動体認識装置、特にオ
プティカルフローを用いて移動体を認識する装置に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving body recognizing apparatus, and more particularly to an apparatus for recognizing a moving body using an optical flow.
【０００２】[0002]
【従来の技術】従来より、車両走行の安全性を向上すべ
く、種々の装置が開発、搭載されており、ＣＣＤカメラ
等を用いて前方を撮影し、先行車等の移動物体を検出す
る装置もその一つである。2. Description of the Related Art Conventionally, various devices have been developed and mounted in order to improve the safety of vehicle traveling, and a device for detecting a moving object such as a preceding vehicle by photographing the front with a CCD camera or the like. Is one of them.
【０００３】特開平２−２４１８５５号公報には、ビデ
オカメラを用いて撮影した画像よりオプティカルフロー
を算出し、このオプティカルフローから先行車との相対
速度を算出する構成が提案されている。プティカルフロ
ーは、得られた画像内における同一点の移動として算出
され、ベクトルとして表される。先行車が自車と同一方
向、同一速度で走行している場合には、先行車のオプテ
ィカルフローは全て点となり、それ以外の部分では線と
なるので、先行車を認識することができる。また、先行
車の自車に対する位置は、オプティカルフロー画面のど
の位置に点の部分が存在するかによって検出することが
できる。Japanese Unexamined Patent Publication No. 2-241855 proposes a configuration in which an optical flow is calculated from an image taken by using a video camera and a relative speed with respect to a preceding vehicle is calculated from the optical flow. The optical flow is calculated as the movement of the same point in the obtained image and is represented as a vector. When the preceding vehicle is traveling in the same direction and at the same speed as the own vehicle, the optical flows of the preceding vehicle are all points and the other parts are lines, so that the preceding vehicle can be recognized. Further, the position of the preceding vehicle with respect to the own vehicle can be detected by the position of the dot portion on the optical flow screen.
【０００４】一方、先行車と自車とが同一速度で走行し
ていない、すなわち相対速度がゼロでない場合には、先
行車のオプティカルフローはある長さのベクトルにな
り、そのベクトルの長さは相対速度に依存することにな
る。On the other hand, when the preceding vehicle and the own vehicle are not traveling at the same speed, that is, when the relative speed is not zero, the optical flow of the preceding vehicle becomes a vector of a certain length, and the length of the vector is It will depend on the relative speed.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、このよ
うに周囲の移動物体と自車が同一方向に移動しているの
ではなく、異なる方向に移動している場合には種々の問
題が生じることになる。オプティカルフローは、ある時
間間隔で得られた複数の画像間における同一点の移動と
して得られるので、先行車等の移動物体自身が方向変更
した場合のみならず、自車の方向が変化した場合でもオ
プティカルフローとして検出されてしまう。従って、単
に検出されたオプティカルフローから移動物体を認識
し、相対速度等を算出する構成では、移動物体自身の移
動によるものなのか、あるいは自車の運動によるものな
のかが区別できず、誤検出となる可能性があった。However, when the surrounding moving object and the own vehicle are not moving in the same direction as described above, but when they are moving in different directions, various problems occur. Become. The optical flow is obtained as the movement of the same point between a plurality of images obtained at a certain time interval, so not only when the moving object itself such as the preceding vehicle changes its direction, but also when the direction of the own vehicle changes. It will be detected as an optical flow. Therefore, in the configuration in which the moving object is simply recognized from the detected optical flow and the relative speed and the like are calculated, it is not possible to distinguish whether the moving object is caused by the movement of the moving object itself or the movement of the own vehicle, and a false detection is made. There was a possibility that
【０００６】本発明は上記従来技術の有する課題に鑑み
なされたものであり、その目的は自車が直進走行してい
る場合のみならず、直進走行していない状況においても
得られたオプティカルフローから車両周囲の移動物体を
確実に認識できる移動体認識装置を提供することにあ
る。The present invention has been made in view of the above problems of the prior art, and its object is not only when the vehicle is traveling straight ahead but also from the optical flow obtained not only when the vehicle is not traveling straight ahead. An object of the present invention is to provide a moving body recognition device that can reliably recognize a moving object around a vehicle.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の移動体認識装置は、少なくとも車両
前方を撮影する撮像手段と、自車両の運動方向データを
検出する運動方向検出手段と、得られた画像からオプテ
ィカルフローを算出するオプティカルフロー検出手段
と、算出されたオプティカルフローを複数の群に分類す
る分類手段と、分類されたオプティカルフロー群を前記
運動方向データに基づき補正し、移動物体を抽出する補
正手段とを有することを特徴とする。In order to achieve the above object, a moving body recognition apparatus according to claim 1 is an image pickup means for photographing at least the front of the vehicle and a movement direction detection for detecting movement direction data of the own vehicle. Means, an optical flow detection means for calculating an optical flow from the obtained image, a classification means for classifying the calculated optical flows into a plurality of groups, and a classified optical flow group is corrected based on the movement direction data. , And a correction means for extracting a moving object.
【０００８】また、上記目的を達成するために、請求項
２記載の移動体認識装置は、請求項１記載の移動体認識
装置において、前記分類手段は、算出されたオプティカ
ルフローの大きさ、方向、大きさの差の微分値、方向の
差の微分値に基づき、変化が連続的な複数のオプティカ
ルフローを同一群として分類することを特徴とする。In order to achieve the above object, the moving object recognizing device according to a second aspect is the moving object recognizing device according to the first aspect, wherein the classification means has a magnitude and a direction of the calculated optical flow. , A plurality of optical flows having continuous changes are classified into the same group based on the differential value of the difference in magnitude and the differential value of the difference in direction.
【０００９】[0009]
【作用】画像から得られたオプティカルフローには、移
動物体や背景のオプテイカルフローが含まれているが、
本発明においては、まずこれらを複数群に分類する。分
類の手法としては、変化が連続的なオプティカルフロー
ベクトルを同一群に属するものとして分類する。なお、
変化が連続的か否かは、オプティカルフローベクトルの
大きさ、方向、大きさの差の絶対値、方向の差の絶対値
に基づき算出できる。そして、分類されたオプティカル
フロー群を自車の運動方向に基づき補正し、自車の運動
がオプテイカルフローに与える影響を補償して移動物体
を抽出する。[Operation] The optical flow obtained from the image includes the optical flow of the moving object and the background,
In the present invention, these are first classified into a plurality of groups. As a classification method, optical flow vectors whose changes are continuous are classified as belonging to the same group. In addition,
Whether or not the change is continuous can be calculated based on the magnitude of the optical flow vector, the direction, the absolute value of the magnitude difference, and the absolute value of the direction difference. Then, the classified optical flow group is corrected based on the movement direction of the own vehicle, and the moving object is extracted by compensating the influence of the movement of the own vehicle on the optical flow.
【００１０】[0010]
【実施例】以下、図面を用いながら本発明に係る移動体
認識装置の好適な実施例を説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A preferred embodiment of a moving body recognition apparatus according to the present invention will be described below with reference to the drawings.
【００１１】図１には本実施例の構成ブロック図が示さ
れている。車両の所定位置にはＣＣＤカメラが設けら
れ、路面を含む車両前方領域を撮影する。先行車が存在
する場合には、この先行車が背景や路面の白線とともに
画像として得られることになる。FIG. 1 is a block diagram showing the configuration of this embodiment. A CCD camera is provided at a predetermined position of the vehicle to take an image of the vehicle front area including the road surface. When there is a preceding vehicle, this preceding vehicle is obtained as an image together with the white lines on the background and the road surface.
【００１２】ＣＣＤカメラ１０にて得られた画像はフレ
ームメモリ１２，１４，１６に格納される。フレームメ
モリ１２，１４，１６には順次異なる時間の画像が格納
され、フレームメモリ１２には最新の画像が格納され、
フレームメモリ１６には最も古い画像が格納される。フ
レームメモリ１２，１４，１６に格納された画像はオプ
テイカルフロー検出装置１８に供給され、異なる時間の
画像からオプテイカルフローが算出される。図２にはオ
プティカルフロー算出の一例が示されている。図２
（ａ）はフレームメモリ１２に格納された最新の画像で
あり、図２（ｂ）はフレームメモリ１４に格納された前
回得られた画像である。画像から所定部分を抽出し（図
２では車両の前部の一部）、各画像における位置から移
動ベクトルが算出される。この移動ベクトルは、図２
（ａ）の画像が得られた時間ｔ0 と図２（ｂ）の画像が
得られた時間ｔ1 の時間間隔（ｔ0 −ｔ1 ）において車
両が移動したことを示すオプティカルフローである。一
方、フレームメモリ１２，１４，１６からの画像は白線
認識装置２０に供給される。白線認識装置２０は、画像
内の白線をテンプレートとのマッチングを利用して抽出
し、この白線位置から自車の走路における相対位置を算
出する。また、車速センサ２８及びヨーレートセンサ３
０では、それぞれ車速及びヨーレートが検出される。そ
して、オプティカルフロー検出装置１８で検出されたオ
プティカルフロー、白線認識装置２０で検出された自車
の走路に対する相対位置、及び距離センサ２２，車速セ
ンサ２８，ヨーレートセンサ３０からの検出信号は接近
車両認識装置２４に供給される。接近車両認識装置２４
では、入力されたオプティカルフローにラベルを付すこ
とにより複数群に分類し、さらに車速とヨーレートから
推定される自車の運動方向に基づき補正して移動物体の
オプティカルフローのみを抽出する。そして、走行路に
対する自車の位置とオプティカルフローから相対速度を
算出し、距離センサ２２からの距離信号に基づき、危険
と判断した場合に警報装置２６を作動させる構成であ
る。The images obtained by the CCD camera 10 are stored in the frame memories 12, 14, 16. Images of different times are sequentially stored in the frame memories 12, 14 and 16, and the latest image is stored in the frame memory 12,
The frame memory 16 stores the oldest image. The images stored in the frame memories 12, 14 and 16 are supplied to the optical flow detection device 18, and the optical flows are calculated from the images at different times. FIG. 2 shows an example of optical flow calculation. Figure 2
2A is the latest image stored in the frame memory 12, and FIG. 2B is the previously obtained image stored in the frame memory 14. A predetermined part is extracted from the image (a part of the front part of the vehicle in FIG. 2), and the movement vector is calculated from the position in each image. This movement vector is shown in FIG.
It is an optical flow showing that the vehicle has moved at a time interval (t0-t1) between time t0 when the image of (a) was obtained and time t1 when the image of FIG. 2 (b) was obtained. On the other hand, the images from the frame memories 12, 14, 16 are supplied to the white line recognition device 20. The white line recognition device 20 extracts the white line in the image by using matching with the template, and calculates the relative position of the vehicle on the road from the position of the white line. In addition, the vehicle speed sensor 28 and the yaw rate sensor 3
At 0, the vehicle speed and the yaw rate are detected, respectively. The optical flow detected by the optical flow detection device 18, the relative position of the vehicle detected by the white line recognition device 20 with respect to the running path, and the detection signals from the distance sensor 22, the vehicle speed sensor 28, and the yaw rate sensor 30 are recognized as approaching vehicles. It is supplied to the device 24. Approaching vehicle recognition device 24
Then, the inputted optical flow is labeled to be classified into a plurality of groups, and further, the optical flow of the moving object is extracted by correcting based on the movement direction of the own vehicle estimated from the vehicle speed and the yaw rate. Then, the relative speed is calculated from the position of the own vehicle with respect to the traveling path and the optical flow, and based on the distance signal from the distance sensor 22, the alarm device 26 is activated when it is determined to be dangerous.
【００１３】以下、図３のフローチャートを用いて本実
施例の動作をより詳細に説明する。まず、ＣＣＤカメラ
１０からの画像を取り込み、フレームメモリ１２，１
４，１６に順次格納する（Ｓ１０１）。そして、これら
の画像は白線認識装置２０に供給され、テンプレートと
のマッチングにより白線が抽出される（Ｓ１０２）。予
め走路を平面であると近似して得られた自車と白線位置
との関係を求めておき、得られた白線の位置から走路に
おけ自車の位置が算出される（Ｓ１０３）。The operation of this embodiment will be described below in more detail with reference to the flow chart of FIG. First, the image from the CCD camera 10 is captured, and the frame memories 12 and 1
The data are sequentially stored in Nos. 4 and 16 (S101). Then, these images are supplied to the white line recognition device 20, and white lines are extracted by matching with the template (S102). The relationship between the own vehicle and the position of the white line obtained by approximating the running road to be a plane is obtained in advance, and the position of the own vehicle on the running road is calculated from the obtained position of the white line (S103).
【００１４】次に、操舵角センサ３０にて検出された操
舵角を取り込み（Ｓ１０４）、さらに車速センサ２８に
て検出された車速を取り込む（Ｓ１０５）。これら操舵
角データと車速データに基づき自車の運動方向が決定さ
れる（Ｓ１０６）。Next, the steering angle detected by the steering angle sensor 30 is fetched (S104), and the vehicle speed detected by the vehicle speed sensor 28 is fetched (S105). The movement direction of the own vehicle is determined based on the steering angle data and the vehicle speed data (S106).
【００１５】そして、フレームメモリ１２とフレームメ
モリ１４に格納された画像がオプティカルフロー検出装
置１８に供給され、オプティカルフローが算出される
（Ｓ１０７）。なお、フレームメモリ１２とフレームメ
モリ１４の画像の時間差は余り大きくないので、得られ
るオプティカルフローは高速移動物体に対応することに
なる。また、得られたオプテイカルフローには移動物体
のオプテイカルフロー、背景部分のオプティカルフロー
が含まれており、また、自車が直線からずれた運動を行
う場合には、自車の運動に伴うオプティカルフローが含
まれることになる。Then, the images stored in the frame memory 12 and the frame memory 14 are supplied to the optical flow detection device 18, and the optical flow is calculated (S107). Since the time difference between the images in the frame memory 12 and the frame memory 14 is not so large, the obtained optical flow corresponds to a high-speed moving object. In addition, the obtained optical flow includes the optical flow of the moving object and the optical flow of the background portion. In addition, when the own vehicle makes a movement out of a straight line, it follows the movement of the own vehicle. Optical flow will be included.
【００１６】このようにして得られたオプティカルフロ
ーは接近車両認識装置２４に供給され、各オプティカル
フローにラベルを付すことにより複数群に分類する（Ｓ
１０８）。分類の方法としては、各オプティカルフロー
の大きさ、方向、及び隣接するオプティカルフロー間の
大きさの差の微分値、方向の差の微分値を算出し、これ
らと所定のしきい値とを比較して変化が連続的か否かを
判定し、変化が連続的と判定されたオプティカルフロー
に対しては同一ラベルを付して分類する移動物体、背景
部分のオプティカルフローはそれぞれ同じような変化を
示すので、このようにオプティカルフローベクトルの大
きさや方向、及び大きさの差の微分値、方向の差の微分
値により変化が連続する群毎にラベリングすることによ
り、移動物体と背景を分離することができる。The optical flows thus obtained are supplied to the approaching vehicle recognition device 24, and each optical flow is labeled to be classified into a plurality of groups (S).
108). As a method of classification, the magnitude and direction of each optical flow, and the differential value of the difference in magnitude between adjacent optical flows and the differential value of the difference in direction are calculated, and these are compared with a predetermined threshold value. The change is judged to be continuous or not, and the optical flow for which the change is judged to be continuous is labeled with the same label to classify it. As described above, the moving object and the background are separated by labeling each group in which the change is continuous by the magnitude and direction of the optical flow vector, the differential value of the magnitude difference, and the differential value of the direction difference. You can
【００１７】そして、このようにして分類されたオプテ
ィカルフロー群に対して、Ｓ１０６で得られた運動方向
に基づき補正が行われる（Ｓ１０９）。補正は自車が直
進走行している場合と直進走行しておらず旋回走行して
いる場合で以下のように行われる。Then, the optical flow group thus classified is corrected based on the movement direction obtained in S106 (S109). The correction is performed as follows depending on whether the host vehicle is traveling straight or not and is traveling straight.
【００１８】自車が直進走行している場合 予めＣＣＤカメラの設定位置に応じて測定してある無限
遠点（ＲＯＭに格納しておく）に向いているオプティカ
ルフローのうち、背景となる領域に対応するラベルを有
するオプティカルフロー群を削除する。この場合、削除
されずに残ったラベルのオプティカルフロー群が移動物
体となる。なお、この直進走行する場合は、ヨーレート
がゼロの場合、すなわち後述する旋回走行においてヨー
レートがゼロの極限の場合として扱うことができる。When the vehicle is traveling straight ahead In the background area of the optical flow that is measured in advance according to the set position of the CCD camera and is directed to the point at infinity (stored in ROM). Delete the optical flow group with the corresponding label. In this case, the optical flow group of the label that remains without being deleted becomes the moving object. It should be noted that this straight traveling can be treated as a case where the yaw rate is zero, that is, a case where the yaw rate is the limit in the turning traveling described later.
【００１９】自車が旋回走行している場合 予め測定してある画像位置と距離との対応関係（ＲＯＭ
に格納しておく）から得られる各オプティカルフロー群
と自車との距離、自車速、及びヨーレートから自車の運
動方向に基づき生じるであろうオプティカルフロー（見
かけのオプティカルフロー）を算出し、各オプティカル
フローからベクトル減算する。なお、白線認識装置２０
からの白線位置情報は各オプティカルフローと自車との
距離を補正するために用いることができる。ベクトル減
算して得られたオプティカルフロー群は、自車の運動方
向による影響が除去されているので、前述の直進走行し
ている場合と同様に扱うことができ、移動物体が抽出さ
れる。When the host vehicle is turning, the correspondence between the image position and the distance measured in advance (ROM
The optical flow (apparent optical flow) that may occur based on the moving direction of the own vehicle is calculated from the distance between the own vehicle, the vehicle speed, and the yaw rate. Subtract a vector from the optical flow. The white line recognition device 20
The white line position information from can be used to correct the distance between each optical flow and the vehicle. The optical flow group obtained by vector subtraction has the effect of the moving direction of the own vehicle removed, so that it can be handled in the same manner as when traveling straight ahead, and the moving object is extracted.
【００２０】なお、移動物体と自車との相対速度は、Ｓ
１０３で得られた走行路に対する自車の位置と抽出され
たオプティカルフローに基づき算出される。すなわち、
現在の自車位置からみた白線方向と同一方向を向くオプ
テイカルフローが自車と同一方向に走行する移動物体の
相対速度に対応する。従って、白線方向に向いたオプテ
ィカルフローを抽出し、その長さを計測することによ
り、相対速度が算出される。The relative speed between the moving object and the vehicle is S
It is calculated based on the position of the vehicle with respect to the traveling path obtained in 103 and the extracted optical flow. That is,
The optical flow that faces the same direction as the white line from the current position of the vehicle corresponds to the relative speed of the moving object traveling in the same direction as the vehicle. Therefore, the relative velocity is calculated by extracting the optical flow directed in the direction of the white line and measuring the length thereof.
【００２１】一方、フレームメモリ１２とフレームメモ
リ１６に格納された画像に対しても前述した処理と同様
の処理が行われる。すなわち、オプティカルフロー検出
装置１８にて検出されたオプティカルフローをラベリン
グにより複数群に分割し、さらに自車の運動方向により
補正して移動物体を認識する。なお、フレームメモリ１
２の画像の時間ｔ0 とフレームメモリ１６に格納された
画像の時間ｔ2 の時間間隔（ｔ0 −ｔ2 ）はｔ0 −ｔ1
に比べて大きいので、より低速の移動物体のオプテイカ
ルフローも抽出できることになる（Ｓ１１１−Ｓ１１
４）。On the other hand, the same processing as that described above is performed on the images stored in the frame memory 12 and the frame memory 16. That is, the optical flow detected by the optical flow detection device 18 is divided into a plurality of groups by labeling, and the moving object is recognized by correcting the optical flow according to the movement direction of the own vehicle. The frame memory 1
The time interval (t0-t2) between the time t0 of the second image and the time t2 of the image stored in the frame memory 16 is t0-t1.
Since it is larger than that of S1, the optical flow of a slower moving object can be extracted (S111-S11).
4).
【００２２】このようにして、高速及び低速の移動物体
が検出され、さらにその相対速度が算出されると、距離
せンサ２２から得られる距離データに基づき、この移動
物体が接近車両で危険な状態にあるか否かが判定され
る。大きな相対速度で接近している場合や、接近車両が
近距離に存在するにもかかわらず運転者がドアを開けよ
うとした場合には、接近車両認識装置２４は警報装置２
６を作動させて運転者に注意を促す（Ｓ１１５）。In this way, when a high-speed moving object and a low-speed moving object are detected and the relative speeds thereof are calculated, the moving object is in a dangerous state in the approaching vehicle based on the distance data obtained from the distance sensor 22. Or not. When approaching at a large relative speed, or when the driver tries to open the door even though the approaching vehicle is present at a short distance, the approaching vehicle recognition device 24 causes the warning device 2 to operate.
6 is activated to call the driver's attention (S115).
【００２３】なお、本実施例のＣＣＤカメラ１０は前方
監視の場合にはルームミラーに取り付けることができ、
前側方監視用にはヘッドランプに内蔵することができ、
後方監視用にはサイドミラーに取り付けることができ
る。The CCD camera 10 of this embodiment can be attached to a rearview mirror in the case of front monitoring.
It can be built into the headlamp for front and side monitoring,
It can be attached to a side mirror for rear monitoring.
【００２４】また、本実施例では距離センサを別個に設
けているが、もちろん、ＣＣＤカメラを複数個設け、得
られた画像より測距を行うこともできる。Further, although the distance sensor is separately provided in this embodiment, it is of course possible to provide a plurality of CCD cameras and measure the distance from the obtained image.
【００２５】[0025]
【発明の効果】以上説明したように、本発明の移動物体
認識装置によれば、得られたオプテイカルフローを自車
の運動方向により補正し、自車の運動に伴って生じるオ
プティカルフローを補償するので、直進走行している場
合のみならず、旋回運動している場合にもオプティカル
フローから確実に移動物体のみを認識することができ
る。As described above, according to the moving object recognition apparatus of the present invention, the obtained optical flow is corrected according to the movement direction of the own vehicle, and the optical flow caused by the movement of the own vehicle is compensated. Therefore, it is possible to reliably recognize only the moving object from the optical flow not only when traveling straight ahead but also when making a turning motion.
【図１】本発明の一実施例の構成ブロック図である。FIG. 1 is a configuration block diagram of an embodiment of the present invention.
【図２】同実施例のオプティカルフロー算出説明図であ
る。FIG. 2 is an explanatory diagram of optical flow calculation according to the same embodiment.
【図３】同実施例の処理フローチャートである。FIG. 3 is a processing flowchart of the embodiment.
１０ ＣＣＤカメラ １２，１４，１６ フレームメモリ １８ オプティカルフロー検出装置 ２０ 白線認識装置 ２２ 距離センサ ２４ 接近車両認識装置 ２６ 警報装置 ２８ 車速センサ ３０ ヨーレートセンサ 10 CCD Camera 12, 14, 16 Frame Memory 18 Optical Flow Detection Device 20 White Line Recognition Device 22 Distance Sensor 24 Approaching Vehicle Recognition Device 26 Warning Device 28 Vehicle Speed Sensor 30 Yaw Rate Sensor
Claims (2)
オプティカルフローを算出することにより移動体を認識
する移動体認識装置において、 少なくとも車両前方を撮影する撮像手段と、 自車両の運動方向データを検出する運動方向検出手段
と、 得られた画像からオプティカルフローを算出するオプテ
ィカルフロー検出手段と、 算出されたオプティカルフローを複数の群に分類する分
類手段と、 分類されたオプティカルフロー群を前記運動方向データ
に基づき補正し、移動物体を抽出する補正手段と、 を有することを特徴とする移動体認識装置。1. A moving body recognizing device for recognizing a moving body by calculating an optical flow from an image obtained by photographing at least the front of the vehicle, at least an imaging means for photographing the front of the vehicle, and detecting movement direction data of the own vehicle. A motion direction detecting means, an optical flow detecting means for calculating an optical flow from the obtained image, a classifying means for classifying the calculated optical flow into a plurality of groups, and a classified optical flow group as the motion direction data. A moving body recognition device, comprising: a correcting unit that corrects based on the moving body and extracts a moving object.
て、 前記分類手段は、算出されたオプティカルフローの大き
さ、方向、大きさの差の微分値、方向の差の微分値に基
づき変化が連続的な複数のオプティカルフローを同一群
として分類することを特徴とする移動体認識装置。2. The moving object recognizing apparatus according to claim 1, wherein the classifying unit changes based on the calculated magnitude, direction, differential value of magnitude difference, differential value of directional difference. A moving object recognizing device characterized by classifying a plurality of continuous optical flows into the same group.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07226993A JP3239521B2 (en) | 1993-03-30 | 1993-03-30 | Mobile object recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07226993A JP3239521B2 (en) | 1993-03-30 | 1993-03-30 | Mobile object recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06282655A true JPH06282655A (en) | 1994-10-07 |
| JP3239521B2 JP3239521B2 (en) | 2001-12-17 |
Family
ID=13484402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07226993A Expired - Fee Related JP3239521B2 (en) | 1993-03-30 | 1993-03-30 | Mobile object recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3239521B2 (en) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09142209A (en) * | 1995-11-17 | 1997-06-03 | Yazaki Corp | Monitor device for vehicular peripheral circumference |
| JPH1120546A (en) * | 1997-07-07 | 1999-01-26 | Yazaki Corp | Readward/sideway monitering method for vehicle and device thereof |
| JP2001180404A (en) * | 1999-12-24 | 2001-07-03 | Mitsubishi Motors Corp | Rear monitor for vehicle |
| JP2002335524A (en) * | 1999-09-20 | 2002-11-22 | Matsushita Electric Ind Co Ltd | Driving support device |
| JP2004056763A (en) * | 2002-05-09 | 2004-02-19 | Matsushita Electric Ind Co Ltd | Monitoring apparatus, monitoring method, and program for monitor |
| JP2004054684A (en) * | 2002-07-22 | 2004-02-19 | Honda Motor Co Ltd | Object detection device and object detection method |
| JP2007064804A (en) * | 2005-08-31 | 2007-03-15 | Clarion Co Ltd | Obstacle detecting device for vehicle |
| US7266220B2 (en) | 2002-05-09 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring device, monitoring method and program for monitoring |
| EP1944721A2 (en) | 2007-01-10 | 2008-07-16 | Omron Corporation | Image processing apparatus, method and program product thereof |
| EP1950689A2 (en) | 2007-01-10 | 2008-07-30 | Omron Corporation | Detection device, method and program thereof |
| WO2008093585A1 (en) | 2007-01-30 | 2008-08-07 | Aisin Seiki Kabushiki Kaisha | Moving object recognizing device |
| EP1959675A2 (en) | 2007-02-16 | 2008-08-20 | Omron Corporation | Detection device, method and program thereof |
| JP2010038907A (en) * | 2008-07-08 | 2010-02-18 | Nissan Motor Co Ltd | Device and method for detecting object |
| JP2010108182A (en) * | 2008-10-29 | 2010-05-13 | Honda Motor Co Ltd | Vehicle driving support apparatus |
| JP2010244474A (en) * | 2009-04-09 | 2010-10-28 | Hitachi Automotive Systems Ltd | External world recognition device of automobile |
| US7925441B2 (en) | 2005-03-09 | 2011-04-12 | Mitsubishi Jidosha Kogyo Kabushiki Kaisha | Vehicle periphery monitoring apparatus |
| KR101046935B1 (en) * | 2010-07-05 | 2011-07-07 | (주)베라시스 | Apparatus and method for measuring driving speed of a vehicle |
| JP2012003604A (en) * | 2010-06-18 | 2012-01-05 | Toshiba Alpine Automotive Technology Corp | Mobile body detector and mobile body detection method |
| US8290209B2 (en) | 2006-10-06 | 2012-10-16 | Aisin Seiki Kabushiki Kaisha | Mobile object recognizing device, mobile object recognizing method, and computer program thereof |
| EP2701093A1 (en) * | 2012-08-20 | 2014-02-26 | Honda Research Institute Europe GmbH | Sensing system and method for detecting moving objects |
| JP2014044521A (en) * | 2012-08-24 | 2014-03-13 | Fuji Heavy Ind Ltd | Device and method for recognizing vehicle exterior environment |
| KR20140036936A (en) * | 2012-09-18 | 2014-03-26 | 삼성전자주식회사 | Method for correcting position of controller into recognizable range of multimedia device and the multimedia device therefor and target tracking device |
| JP2014194618A (en) * | 2013-03-28 | 2014-10-09 | Fuji Heavy Ind Ltd | Outside environment recognition device and outside environment recognition method |
| JP2015158874A (en) * | 2014-02-25 | 2015-09-03 | トヨタ自動車株式会社 | Perimeter monitoring apparatus and perimeter monitoring method |
| WO2017042903A1 (en) * | 2015-09-09 | 2017-03-16 | 日立マクセル株式会社 | Vehicle-use image processing apparatus |
| JP2017102832A (en) * | 2015-12-04 | 2017-06-08 | 株式会社Ｓｏｋｅｎ | Vehicle pitch angle estimation device |
| JP2018013913A (en) * | 2016-07-20 | 2018-01-25 | 沖電気工業株式会社 | Behavior recognition device, behavior recognition method, learning method and program |
| JP2019215755A (en) * | 2018-06-13 | 2019-12-19 | 株式会社デンソーテン | Image recognition device, image recognition method, machine learning model providing device, machine learning model providing method, machine learning model generating method, and machine learning model device |
| EP3591613A4 (en) * | 2017-02-28 | 2020-11-25 | NEC Solution Innovators, Ltd. | Mobile entity detector, mobile entity detection method, and computer-readable recording medium |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102005013920B4 (en) | 2004-03-26 | 2007-12-13 | Mitsubishi Jidosha Kogyo K.K. | Front view monitoring apparatus |
| JP5483535B2 (en) | 2009-08-04 | 2014-05-07 | アイシン精機株式会社 | Vehicle periphery recognition support device |
-
1993
- 1993-03-30 JP JP07226993A patent/JP3239521B2/en not_active Expired - Fee Related
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09142209A (en) * | 1995-11-17 | 1997-06-03 | Yazaki Corp | Monitor device for vehicular peripheral circumference |
| JPH1120546A (en) * | 1997-07-07 | 1999-01-26 | Yazaki Corp | Readward/sideway monitering method for vehicle and device thereof |
| JP2002335524A (en) * | 1999-09-20 | 2002-11-22 | Matsushita Electric Ind Co Ltd | Driving support device |
| JP2001180404A (en) * | 1999-12-24 | 2001-07-03 | Mitsubishi Motors Corp | Rear monitor for vehicle |
| JP2004056763A (en) * | 2002-05-09 | 2004-02-19 | Matsushita Electric Ind Co Ltd | Monitoring apparatus, monitoring method, and program for monitor |
| US7266220B2 (en) | 2002-05-09 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring device, monitoring method and program for monitoring |
| JP2004054684A (en) * | 2002-07-22 | 2004-02-19 | Honda Motor Co Ltd | Object detection device and object detection method |
| US7925441B2 (en) | 2005-03-09 | 2011-04-12 | Mitsubishi Jidosha Kogyo Kabushiki Kaisha | Vehicle periphery monitoring apparatus |
| JP2007064804A (en) * | 2005-08-31 | 2007-03-15 | Clarion Co Ltd | Obstacle detecting device for vehicle |
| US8290209B2 (en) | 2006-10-06 | 2012-10-16 | Aisin Seiki Kabushiki Kaisha | Mobile object recognizing device, mobile object recognizing method, and computer program thereof |
| EP1944721A2 (en) | 2007-01-10 | 2008-07-16 | Omron Corporation | Image processing apparatus, method and program product thereof |
| EP1950689A2 (en) | 2007-01-10 | 2008-07-30 | Omron Corporation | Detection device, method and program thereof |
| WO2008093585A1 (en) | 2007-01-30 | 2008-08-07 | Aisin Seiki Kabushiki Kaisha | Moving object recognizing device |
| US8184857B2 (en) | 2007-01-30 | 2012-05-22 | Aisin Seiki Kabushiki Kaisha | Moving object recognizing apparatus |
| EP1959675A2 (en) | 2007-02-16 | 2008-08-20 | Omron Corporation | Detection device, method and program thereof |
| JP2010038907A (en) * | 2008-07-08 | 2010-02-18 | Nissan Motor Co Ltd | Device and method for detecting object |
| JP2010108182A (en) * | 2008-10-29 | 2010-05-13 | Honda Motor Co Ltd | Vehicle driving support apparatus |
| JP2010244474A (en) * | 2009-04-09 | 2010-10-28 | Hitachi Automotive Systems Ltd | External world recognition device of automobile |
| JP2012003604A (en) * | 2010-06-18 | 2012-01-05 | Toshiba Alpine Automotive Technology Corp | Mobile body detector and mobile body detection method |
| KR101046935B1 (en) * | 2010-07-05 | 2011-07-07 | (주)베라시스 | Apparatus and method for measuring driving speed of a vehicle |
| EP2701093A1 (en) * | 2012-08-20 | 2014-02-26 | Honda Research Institute Europe GmbH | Sensing system and method for detecting moving objects |
| US9516274B2 (en) | 2012-08-20 | 2016-12-06 | Honda Research Institute Europe Gmbh | Sensing system and method for detecting moving objects |
| JP2014044521A (en) * | 2012-08-24 | 2014-03-13 | Fuji Heavy Ind Ltd | Device and method for recognizing vehicle exterior environment |
| KR20140036936A (en) * | 2012-09-18 | 2014-03-26 | 삼성전자주식회사 | Method for correcting position of controller into recognizable range of multimedia device and the multimedia device therefor and target tracking device |
| JP2014194618A (en) * | 2013-03-28 | 2014-10-09 | Fuji Heavy Ind Ltd | Outside environment recognition device and outside environment recognition method |
| JP2015158874A (en) * | 2014-02-25 | 2015-09-03 | トヨタ自動車株式会社 | Perimeter monitoring apparatus and perimeter monitoring method |
| WO2017042903A1 (en) * | 2015-09-09 | 2017-03-16 | 日立マクセル株式会社 | Vehicle-use image processing apparatus |
| JP2017102832A (en) * | 2015-12-04 | 2017-06-08 | 株式会社Ｓｏｋｅｎ | Vehicle pitch angle estimation device |
| JP2018013913A (en) * | 2016-07-20 | 2018-01-25 | 沖電気工業株式会社 | Behavior recognition device, behavior recognition method, learning method and program |
| EP3591613A4 (en) * | 2017-02-28 | 2020-11-25 | NEC Solution Innovators, Ltd. | Mobile entity detector, mobile entity detection method, and computer-readable recording medium |
| US11062174B2 (en) | 2017-02-28 | 2021-07-13 | Nec Solution Innovators, Ltd. | Mobile entity detection apparatus, mobile entity detection method, and computer-readable recording medium |
| JP2019215755A (en) * | 2018-06-13 | 2019-12-19 | 株式会社デンソーテン | Image recognition device, image recognition method, machine learning model providing device, machine learning model providing method, machine learning model generating method, and machine learning model device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3239521B2 (en) | 2001-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH06282655A (en) | Device for recognizing moving object | |
| US7253389B2 (en) | Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program and computer-readable recording medium | |
| US7307545B2 (en) | Vehicle lane detector | |
| US7190282B2 (en) | Nose-view monitoring apparatus | |
| JP2002197470A (en) | Device for detecting traffic lane | |
| KR19990031307A (en) | Image processing apparatus and method of driverless vehicle | |
| JP3015875B2 (en) | Method and apparatus for detecting lane departure during driving | |
| US20210084227A1 (en) | Method and apparatus for the spatially resolved detection of an object outside a transportation vehicle with the aid of a sensor installed in a transportation vehicle | |
| JP2002314989A (en) | Peripheral monitor for vehicle | |
| JP2000127849A (en) | Rear and side monitor for vehicle | |
| CN104380341A (en) | Object detection device for area around vehicle | |
| JPH08175299A (en) | Traffic lane deviation alarm device | |
| JP2009298362A (en) | Lane departure warning device of vehicle | |
| JP3960146B2 (en) | Image recognition device | |
| JPH0981757A (en) | Vehicle position detecting device | |
| JP3227247B2 (en) | Roadway detection device | |
| JP2000011298A (en) | Read and side monitoring device for vehicle | |
| JP2003151096A (en) | Ingression warning device | |
| KR20070019347A (en) | device and method for detecting mobile in automated driving system | |
| JP3405820B2 (en) | Vehicle running state determination device | |
| JP2003044863A (en) | Device for recognizing partition line | |
| JP2003208602A (en) | Rear-side side alarm device for vehicle | |
| WO2021182190A1 (en) | Imaging device, imaging system, and imaging method | |
| JP2000168442A (en) | Backward monitoring device for vehicle | |
| JP3732108B2 (en) | Image processing apparatus and image processing method for lane recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |