JP3407233B2 - Distance detector for mounting on a moving object - Google Patents
Distance detector for mounting on a moving objectInfo
- Publication number
- JP3407233B2 JP3407233B2 JP05842795A JP5842795A JP3407233B2 JP 3407233 B2 JP3407233 B2 JP 3407233B2 JP 05842795 A JP05842795 A JP 05842795A JP 5842795 A JP5842795 A JP 5842795A JP 3407233 B2 JP3407233 B2 JP 3407233B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- detection
- detecting
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 204
- 230000003287 optical effect Effects 0.000 claims description 38
- 230000000007 visual effect Effects 0.000 description 45
- 238000000034 method Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 7
- 230000003321 amplification Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
Landscapes
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は自動車等の移動体に衝突
防止等のために搭載されるいわゆるパッシブ方式の距離
検出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a so-called passive type distance detecting device mounted on a moving body such as an automobile to prevent collision.
【0002】[0002]
【従来の技術】上述の移動体の衝突防止等にはまず衝突
する相手までの距離を検出する必要があり、そのための
距離検出法には超音波や赤外線光を検出対象に当ててそ
の反射時間を検出するアクティブ方式がよく知られてい
るが、検出可能な距離に制約があり,検出対象と他の物
体との区別を付け難い等の問題点があるため、最近では
一対のイメージセンサを用いて捉えた検出対象の映像か
ら距離を検出する前述のパッシブ方式の方が実用性が高
く将来性があると考えられている。このパッシブ方式で
は三角測距法を利用するのがふつうであり、周知のこと
ではあるが図8を参照して以下にその概要を簡単に説明
する。2. Description of the Related Art In order to prevent the collision of a moving body as described above, it is first necessary to detect the distance to the opponent, and the distance detection method for that purpose is to apply ultrasonic waves or infrared light to the object to be detected. Active methods for detecting objects are well known, but there is a problem in that the distance that can be detected is limited and it is difficult to distinguish the detection target from other objects. Therefore, recently, a pair of image sensors have been used. It is considered that the above-mentioned passive method, which detects the distance from the image of the detection target captured by the above method, is more practical and more promising. In this passive method, the triangulation method is usually used, and as is well known, the outline will be briefly described below with reference to FIG.
【0003】図8に示されたパッシブ方式では、一対の
イメージセンサ11を利用して例えば先行自動車である検
出対象1までの距離dを検出するため、相互に基線長b
だけ離して配置した一対の小さなレンズ21により検出対
象1から光Lを互いに異なる光路を経由して受け、その
短い焦点距離fの位置にあるイメージセンサ11に検出対
象1の映像Iをそれぞれ結像させる。検出対象1が正面
にある左側のイメージセンサ11上の映像Iの結像位置は
距離dに関せず同じであるが、右側のイメージセンサ11
では位置が検出対象1が無限遠点にあるときの基準位置
上の映像Ioから距離dに応じて図のσだけずれてくる。
このずれσを検出すれば距離dは簡単な三角測量の原理
によってd=bf/σの式から計算できるが、実用上は
ずれσをそのまま距離dを表す指標として用いるのが通
例である。In the passive system shown in FIG. 8, a pair of image sensors 11 is used to detect a distance d to a detection target 1 which is, for example, a preceding vehicle.
A pair of small lenses 21 arranged apart from each other receives light L from the detection target 1 via different optical paths, and forms an image I of the detection target 1 on the image sensor 11 at the position of the short focal length f. Let The image forming position of the image I on the left image sensor 11 on the front side of the detection target 1 is the same regardless of the distance d, but the right image sensor 11
Then, the position deviates from the image Io on the reference position when the detection target 1 is at the infinite point by σ in the figure according to the distance d.
If this deviation σ is detected, the distance d can be calculated from the equation d = bf / σ by the principle of simple triangulation, but in practice, the deviation σ is generally used as it is as an index representing the distance d.
【0004】このずれσを検出するには、各イメージセ
ンサ11からその複数個の光センサによる検出データを集
めた映像Iを表す映像データを取り出した後、例えば左
右の映像データを互いに光センサ1個分づつ順次ずらせ
ながら両者間の相関度を検定した評価値をそのつど計算
して行き、最大相関が検定されるまでに映像データをず
らせた回数を光センサ数で表したずれσとすることでよ
く、評価値関数に補間計算を施してずれσの検出精度を
高めることもできる。In order to detect this shift σ, image data representing an image I, which is a collection of detection data from the plurality of optical sensors, is taken out from each image sensor 11, and then, for example, left and right image data are mutually detected by the optical sensor 1. Calculate the evaluation value by testing the degree of correlation between the two while shifting them one by one, and set the number of shifts of the image data until the maximum correlation is tested as the deviation σ expressed in the number of optical sensors. The evaluation value function may be interpolated to improve the accuracy of detecting the deviation σ.
【0005】さて、図8のような距離検出装置がカメラ
に組み込まれる場合は検出対象1はもちろんファインダ
を介して装置の正面に人為的に従って正確に捉えられる
が、移動体に搭載される場合は先行自動車等である検出
対象1が移動中であることが多く,かつ移動体自身もも
ちろん移動中でその進行方向や姿勢が絶えず変化するの
で検出対象1を距離検出装置の正面に正しく捉えること
ができなくなる。この問題を解決するため、例えば特開
昭60-61611号公報に記載の従来技術では互いに平行に配
列された複数対のイメージセンサを距離の検出のために
適宜切り換えて使用することが提案されている。When a distance detecting device as shown in FIG. 8 is incorporated in a camera, the object to be detected 1 is of course accurately captured by the front of the device through a finder, but when it is mounted on a moving body. In many cases, the detection target 1 such as a preceding vehicle is moving, and the moving body itself is also moving, and its traveling direction and posture constantly change. Therefore, the detection target 1 may be correctly captured in front of the distance detection device. become unable. In order to solve this problem, for example, in the prior art disclosed in Japanese Patent Laid-Open No. 60-61611, it has been proposed to use a plurality of pairs of image sensors arranged in parallel with each other by appropriately switching them for distance detection. There is.
【0006】[0006]
【発明が解決しようとする課題】しかし、上述の特開昭
60-61611号公報の従来技術ではイメージセンサ対ごとに
一対の映像データの全体を相互に比較して検出対象を検
出するので拡がりのある物体の検出には有利であるが、
イメージセンサの視野内に検出対象以外の物体が侵入し
てくるとそれまでの距離を誤検出してしまう危険があ
り、複数のイメージセンサ対による検出結果の履歴を考
慮して判断するとしても妨害物体を排除して検出対象の
距離だけを正しく検出するのはかなり困難と考えられ
る。However, the above-mentioned Japanese Patent Laid-Open No.
In the prior art of the 60-61611 publication, a pair of video data for each image sensor pair is compared with each other to detect a detection target, which is advantageous for detecting a wide object,
If an object other than the detection target enters the field of view of the image sensor, the distance up to that point may be erroneously detected, and even if the judgment is made in consideration of the history of the detection results of multiple image sensor pairs, it will interfere. It can be considered quite difficult to eliminate the object and correctly detect only the distance of the detection target.
【0007】一方、本件の出願人はさきに特公平3-6720
3 号公報において距離検出の方向を任意に設定できる技
術を提案し、さらに特開平3-141311号公報においてイメ
ージセンサの距離検出用の視野角を可変にできる技術を
提案した。これら先行技術を組み合わせると距離検出の
方向と視野角とを検出対象に向けて設定できることにな
るが、カメラのファインダを介し検出対象を捉えること
を前提にしていたので設定が可能な方向や視野角がイメ
ージセンサ対に映像を結像させる図8の一対のレンズ21
の光軸を含む平面内に限られてしまい、視野角の立体的
な設定が必要になる移動体に搭載すべき距離検出装置に
はこれらの先行技術の単なる組み合わせだけでは不充分
になり、実用的な搭載用の距離検出装置とするには立体
視野角の広さや方向の設定も移動体や検出対象の極めて
変化しやすい状態に応じて絶えず調整して行く必要があ
る。[0007] On the other hand, the applicant of the present application was previously published in Japanese Patent Publication No. 3-6720.
In Japanese Patent Laid-Open No. 3-14, we proposed a technology that allows the direction of distance detection to be set arbitrarily, and in Japanese Patent Laid-Open No. 3-413111 proposed a technology that can change the viewing angle for distance detection of an image sensor. When these prior arts are combined, the distance detection direction and viewing angle can be set toward the detection target, but since it was assumed that the detection target was captured through the viewfinder of the camera, it is possible to set the direction and viewing angle. A pair of lenses 21 in FIG. 8 for forming an image on the image sensor pair.
It is limited to the plane including the optical axis of, and the mere combination of these prior arts is not enough for a distance detection device that should be mounted on a moving body that requires stereoscopic setting of the viewing angle. In order to make it a distance detection device for practical installation, it is necessary to constantly adjust the width and direction of the stereoscopic viewing angle according to the extremely variable state of the moving body and the detection target.
【0008】かかる問題点の所在に鑑みて本発明の目的
は検出対象を捉える立体的な視野の広さと方向を移動体
の運転に関連する状態に応じて容易に設定ないし調整で
きるようにして距離検出装置の実用性を高めることにあ
る。In view of the location of such a problem, an object of the present invention is to make it possible to easily set or adjust the width and direction of a three-dimensional visual field for catching a detection target in accordance with the state related to the driving of a moving body. It is to improve the practicality of the detection device.
【0009】[0009]
【課題を解決するための手段】本発明の移動体搭載用の
距離検出装置によれば上記の目的は、それぞれ複数のイ
メージセンサを含み所定間隔だけ離して配置された一対
のイメージセンサ群とこれらに検出対象の映像を互いに
異なる光路を介してそれぞれ結像させる光学的手段とを
備える映像検出モジュールと, これから対象の映像を表
す映像データを受けて両イメージセンサ群間の対応する
イメージセンサによる映像データ対から検出対象までの
距離を演算する距離演算手段と, 移動体の運転に関連す
る現在の状態を検出する状態検出手段とを用い、状態検
出手段の検出結果に基づいて検出対象を捉えるべき視野
の広さおよびその映像検出モジュールの正面からの角度
を設定し, その内容に応じて距離演算に用いる映像デー
タの範囲を距離演算手段に指定することによって達成さ
れる。According to the distance detecting device for mounting a moving body of the present invention, the above object is to provide a pair of image sensor groups each including a plurality of image sensors and arranged at a predetermined interval. And an image detection module having optical means for forming images of the detection target images respectively through different optical paths, and receiving image data representing the target image from the image detection module, and an image by a corresponding image sensor between both image sensor groups. The distance calculation means for calculating the distance from the data pair to the detection target and the state detection means for detecting the current state related to the driving of the moving body should be used to detect the detection target based on the detection result of the state detection means. Set the width of the field of view and the angle from the front of the video detection module, and calculate the range of the video data used for distance calculation according to the contents. It is accomplished by specifying the stage.
【0010】上記の構成にいう視野の広さを立体的に設
定するには、距離演算手段に対してその演算に用いる映
像データが取り出された一対のイメージセンサ群間の互
いに対応するイメージセンサ対およびそれによる各映像
データ内の距離演算に用いる範囲を指定するのがよく、
さらにはかかる指定により視野を上辺が下辺より短くか
つ両辺が水平な台形状に設定するのが望ましい。In order to three-dimensionally set the width of the field of view in the above-mentioned configuration, the distance calculation means has a pair of image sensor pairs corresponding to each other between a pair of image sensor groups from which image data used for the calculation is taken out. And it is better to specify the range used for distance calculation in each video data,
Further, it is desirable to set the field of view to a trapezoidal shape in which the upper side is shorter than the lower side and both sides are horizontal by such designation.
【0011】[0011]
【0012】本発明で用いる状態検出手段には必要に応
じて移動体の運転に関連する状態を検出する種々なセン
サ類を適宜に利用できる。本発明の有利な実施態様で
は、状態検出手段として移動体の速度を検出する速度セ
ンサを用いて検出速度に応じて検出対象を捉えるべき視
野の広さを設定,つまり速度が高くて移動体の制動可能
距離が長い場合は遠い検出対象までの距離を正確に検出
できるよう視野の広さを狭めるように設定する。The state detecting means used in the present invention is not necessary.
Various sensors that detect conditions related to the operation of the vehicle.
It can be used as appropriate. In an advantageous embodiment of the invention
Uses a speed sensor that detects the speed of the moving body as the state detecting means to set the width of the field of view for capturing the detection target according to the detected speed, that is, when the speed is high and the movable distance of the moving body is long. The field of view is set to be narrow so that the distance to a far detection target can be accurately detected.
【0013】さらに、状態検出手段に天候条件のセンサ
を用いて移動体が走行中に置かれる雨,霧等の天候条件
を検出し、悪天候が検出されたときに検出対象を見失わ
ないよう視野の広さを拡げるのがよい。この天候条件の
検出センサとしては移動体の外表面部分に取り付けられ
た濡れ検出センサを用いることができ、より簡単にはウ
インドーワイパの動作をセンサにより検出してもよい。
また、状態検出手段に移動体が走行中に置かれる環境の
明るさを検出するセンサを用い、暗い環境では同様に視
野を拡げるようにし、さらには映像検出モジュール内に
映像検出感度の調整手段を組み込んで暗い環境条件下で
は検出感度を高めるのがよい。Further, a weather condition sensor is used as the state detecting means to detect weather conditions such as rain and fog placed on the moving body while the vehicle is traveling, and the visual field is detected so as not to lose sight of the detection target when bad weather is detected. It is good to expand the area. A wetness detection sensor attached to the outer surface of the moving body can be used as the weather condition detection sensor, and more simply, the operation of the windshield wiper may be detected by the sensor.
Further, a sensor for detecting the brightness of the environment in which the moving body is placed while traveling is used as the state detecting means, so that the field of view is similarly expanded in a dark environment, and further, the image detecting sensitivity adjusting means is provided in the image detecting module. It is better to incorporate it to increase detection sensitivity under dark environmental conditions.
【0014】本発明における距離演算手段は、前述のよ
うに検出対象を捉える視野の広さと方向の設定に応じて
指定された範囲内のイメージセンサ対とその映像データ
から距離を演算するものであり、指定範囲内の一対の映
像データを相互に順次ずらせながら両者間の相関を検定
する相関値演算手段と,最高相関が検定されたときの両
者間のずらせ量から距離を示す指標を検出する最高相関
検出手段を含む専用の回路装置やマイクロプロセッサと
するのがよい。この距離指標は視野内の複数のイメージ
センサ対ごとに演算するので、演算速度を高めるために
複数の距離演算手段を用いて演算作業を分担させるのが
合理的である。The distance calculating means in the present invention calculates the distance from the image sensor pair and its image data within a range specified according to the setting of the width and direction of the visual field for catching the detection target as described above. , A correlation value calculation means for testing the correlation between a pair of video data within a specified range while sequentially shifting them, and a maximum for detecting an index indicating a distance from the shift amount between the two when the maximum correlation is tested. It is preferable to use a dedicated circuit device or a microprocessor including the correlation detecting means. Since this distance index is calculated for each of a plurality of image sensor pairs within the field of view, it is rational to use a plurality of distance calculation means to share the calculation work in order to increase the calculation speed.
【0015】また、映像検出モジュールと複数の距離演
算手段の間にRAM等の記憶手段を介在させ、映像検出
モジュールから発生される映像データを記憶手段内にす
べて一旦記憶させた後に各距離演算手段に読み込ませる
のが有利である。すなわち、例えば距離演算手段が距離
を演算している間に映像検出モジュールに映像を検出さ
せて映像データを記憶手段に記憶させることができるの
で、距離検出に要する時間を実質的に短縮して検出速度
を2倍に高めることができる。Further, a storage means such as a RAM is interposed between the image detection module and the plurality of distance calculation means, and all the image data generated from the image detection module is temporarily stored in the storage means, and then each distance calculation means. It is advantageous to have it read by. That is, for example, while the distance calculation means is calculating the distance, the image detection module can detect the image and store the image data in the storage means, so that the time required for distance detection can be substantially shortened and detected. The speed can be doubled.
【0016】[0016]
【作用】本発明は前述の従来技術のように視野内に検出
対象以外の物体を捉えて距離を誤検出することがないよ
う検出対象を捉えるべき視野の広さおよび方向を任意に
設定できるようにし、映像検出モジュール内に一対のイ
メージセンサ群を設けることによりこの視野を立体的に
設定できるようにし、状態検出手段に検出させた移動体
の運転に関連する現在の状態に応じ視野の広さや方向を
適切に調整できるようにし、さらに距離演算手段に演算
に用いるべき映像データの範囲を指定するだけで視野を
ごく簡単に設定できるようにすることにより、前述の所
期の目的を達成して実用性の高い距離検出装置を提供す
るものである。According to the present invention, it is possible to arbitrarily set the width and direction of the field of view for catching the detection target so as to prevent an object other than the detection target from being caught in the field of view and erroneously detect the distance as in the above-mentioned prior art. By providing a pair of image sensor groups in the image detection module, the field of view can be set three-dimensionally, and the width of the field of view can be changed according to the current state related to the driving of the moving body detected by the state detection means. By achieving proper adjustment of the direction, and by making it possible to set the field of view very simply by specifying the range of image data to be used for calculation in the distance calculation means, the above-mentioned intended purpose is achieved. The present invention provides a highly practical distance detection device.
【0017】すなわち、本発明の移動体搭載用距離検出
装置は前項中の構成にいうように、映像検出モジュール
に所定間隔だけ離して配置された一対のイメージセンサ
群とそれに検出対象の映像を異なる光路を介して結像さ
せる光学的手段を組み込んで検出対象を捉える立体的視
野を設定できるようにし、両イメージセンサ群による検
出対象のパターンを表す映像データを距離演算手段に与
えて両群間の対応するイメージセンサによる映像データ
の対から検出対象までの距離を演算させ、状態検出手段
に移動体の運転関連状態を検出させてその結果に応じ検
出対象を捉えるべき視野の広さと方向を距離演算手段に
対する距離演算用の映像データの範囲の指定により適切
かつ容易に設定できるようにするものである。That is, the moving object mounting distance detection device of the present invention has a pair of image sensor groups arranged at a predetermined distance in the image detection module and an image to be detected by the image sensor module, as described in the above-mentioned configuration. An optical means for forming an image through an optical path is incorporated so that a three-dimensional visual field for catching a detection target can be set, and image data representing the pattern of the detection target by both image sensor groups is given to the distance calculation means to provide a distance between both groups. Calculate the distance from the pair of video data by the corresponding image sensor to the detection target, let the state detection means detect the driving-related state of the moving body, and calculate the width and direction of the field of view to capture the detection target according to the result. The range can be set appropriately and easily by designating the range of the image data for distance calculation with respect to the means.
【0018】[0018]
【実施例】以下、図を参照しながら本発明の実施例を説
明する。図1は本発明による距離検出装置と関連装置を
含めた回路構成例を示すブロック回路図、図2は映像検
出モジュールの構造例を示す断面図、図3はイメージセ
ンサ群と関連回路を含めた集積回路チップの構成例を示
す回路図,図4は視野の広さおよび方向を設定する要領
例を示す模式図、図5は状態検出手段の検出結果に基づ
いて視野を設定する要領例を示す視野の模式図、図6は
距離演算手段による距離演算の要領例を示す模式図、図
7は距離演算手段の動作例を示す流れ図である。なお、
以下説明する実施例では距離検出装置が搭載される移動
体は自動車であり,それからの距離を検出すべき対象は
先行する自動車とするが、本発明装置はもちろんこれに
限らず必要に応じて種々な場合に適用することができ
る。Embodiments of the present invention will be described below with reference to the drawings. 1 is a block circuit diagram showing a circuit configuration example including a distance detection device and related devices according to the present invention, FIG. 2 is a sectional view showing a structural example of an image detection module, and FIG. 3 includes an image sensor group and related circuits. FIG. 4 is a circuit diagram showing a configuration example of an integrated circuit chip, FIG. 4 is a schematic diagram showing an example of how to set the width and direction of the visual field, and FIG. 5 is an example of how to set the visual field based on the detection result of the state detecting means. FIG. 6 is a schematic view of the field of view, FIG. 6 is a schematic view showing an example of the procedure of distance calculation by the distance calculation means, and FIG. 7 is a flow chart showing an operation example of the distance calculation means. In addition,
In the embodiments described below, the moving body on which the distance detecting device is mounted is a car, and the object from which the distance from which is to be detected is the preceding car, but the device of the present invention is not limited to this, and may be various according to need. It can be applied in any case.
【0019】図1の上部に示す先行自動車である検出対
象1を捉えるために本発明ではその下側に示された一対
のイメージセンサ群12と光学的手段20を組み込んだ映像
検出モジュール30を用いるが、イメージセンサ群12内の
イメージセンサが垂直方向や水平方向のものを場合に応
じて使い分けることが望ましいので、図1には便宜上こ
れら両方の映像検出モジュール30が示されている。各モ
ジュール30内に所定の間隔だけ相互に離して配置された
一対のイメージセンサ群12は集積回路装置10のチップに
作り込まれており、チップごとに設けられた光学的手段
20の小レンズは検出対象1から光Lを受けてその映像を
図示のように互いに異なる光路を介して各イメージセン
サ群12の上に結像させる。映像検出モジュール30はこれ
ら一対の小レンズをもつ正面をもちろん検出対象1があ
る前方に向けるよう、かつ一対のイメージセンサ群12が
左側のモジュール30では上下に, 右側のモジュール30で
は左右にそれぞれ並ぶように移動体の前面に取り付けら
れる。In order to capture the detection target 1 which is the preceding vehicle shown in the upper part of FIG. 1, the present invention uses an image detection module 30 incorporating a pair of image sensor groups 12 and optical means 20 shown on the lower side thereof. However, it is desirable to selectively use the image sensors in the image sensor group 12 in the vertical direction or the horizontal direction depending on the case, and therefore, both of these image detection modules 30 are shown for convenience. A pair of image sensor groups 12 arranged in each module 30 apart from each other by a predetermined distance are built in a chip of the integrated circuit device 10, and an optical means provided for each chip.
The 20 small lenses receive the light L from the detection target 1 and form an image of the image on each image sensor group 12 via different optical paths as shown in the figure. The image detection module 30 is arranged such that the front surface having the pair of small lenses is directed to the front where the detection target 1 is of course, and the pair of image sensor groups 12 are arranged vertically on the left module 30 and on the right module left and right respectively. Attached to the front of the moving body.
【0020】イメージセンサ群12は図の下側部に示す移
動体に搭載された制御計算機70から制御バス71を介して
指令を受け、それに応じて検出対象1の映像を検出した
上で映像データIDを出力するが、図の実施例ではこの映
像データIDを例えばRAMである記憶手段50にその入力
バス41を介して読み取って一旦記憶した後にその出力バ
ス42を介して距離演算手段50に読み取るようにする。映
像検出モジュール30と距離演算手段50との間に記憶手段
40を介在させることにより、距離演算手段50が距離を演
算している間に映像検出モジュール30に映像を検出させ
て記憶手段40に映像データIDを記憶させることができる
ので、距離検出に要する時間を実質的に短縮して検出速
度を約2倍に高めることができる距離演算手段50は一対
のイメージセンサ群12間の対応するイメージセンサ対に
よる映像データIDから検出対象1までの距離の指標とし
て前述の映像間ずれσを演算するものであるが、これを
複数のイメージセンサ対のそれぞれについて演算する必
要があるため図のように距離演算手段50を複数個, この
実施例では若干の余裕を見て4個設けて距離演算を分担
させることにより演算時間を短縮するのが望ましい。こ
の距離演算手段50には演算専用の集積回路装置を用いて
もよいが、検出対象1を捉えるべき視野の広さや方向を
設定する際の自由度を高め得る点で小形のマイクロプロ
セッサを利用するのが有利である。The image sensor group 12 receives a command from the control computer 70 mounted on the moving body shown in the lower part of the figure through the control bus 71, detects the image of the detection target 1 in accordance with the command, and then outputs the image data. Although the ID is output, in the illustrated embodiment, this video data ID is read into the storage means 50, which is, for example, a RAM, via the input bus 41 and temporarily stored, and then read into the distance calculation means 50 via the output bus 42. To do so. Storage means between the image detection module 30 and the distance calculation means 50
By interposing 40, it is possible to cause the image detection module 30 to detect an image and store the image data ID in the storage unit 40 while the distance calculation unit 50 is calculating the distance. The distance calculation means 50 capable of substantially shortening the detection speed and doubling the detection speed is used as an index of the distance from the image data ID by the corresponding image sensor pair between the pair of image sensor groups 12 to the detection target 1. Although the above-mentioned image shift σ is calculated, it is necessary to calculate this for each of a plurality of image sensor pairs, and therefore a plurality of distance calculation means 50 are provided as shown in the figure. It is desirable to reduce the calculation time by providing four and sharing the distance calculation. An integrated circuit device dedicated to the calculation may be used as the distance calculation means 50, but a small-sized microprocessor is used because the degree of freedom in setting the width and direction of the visual field for capturing the detection target 1 can be increased. Is advantageous.
【0021】これらの距離演算装置50は制御計算機70か
ら制御バス71を介しそれぞれの演算分担範囲の指定と指
令を受けて並行して動作し、アドレスバス51を介し指定
した映像データIDを記憶手段40から出力バス42を介して
順次読み取った後に、それに基づく距離指標σの演算結
果を制御計算機70にその指令に応じてデータバス72を介
して順次に送る。その演算要領は図6と図7を参照して
後に説明する。These distance calculation devices 50 operate in parallel in response to designation and commands of respective calculation sharing ranges from the control computer 70 via the control bus 71, and operate in parallel with the image data ID designated via the address bus 51. After sequentially reading from 40 via the output bus 42, the calculation result of the distance index σ based on it is sent to the control computer 70 sequentially via the data bus 72 according to the command. The calculation procedure will be described later with reference to FIGS. 6 and 7.
【0022】状態検出手段60は距離検出に影響を与えや
すい移動体の運転に関連する現在の状態を検出するため
のもので、移動体に装備されているセンサ類を適宜利用
することでもちろんよいが、図示の例では運転ハンドル
の位置センサ61と, 移動体の前後方向の傾きを検出する
姿勢センサ62と, 移動体の現在の運転速度を検出する速
度センサ63と, 移動体が走行中が受ける雨や霧等の不利
な天候条件を検出する天候センサ64とが用いられる。天
候センサ64としては移動体の外表面部分に取り付けられ
た濡れ検出センサを用いるのが実用的であり、より簡単
にはウインドーワイパの動作の検出センサとしてもよ
い。このほかにも移動体が置かれる夜間やトンネル等の
環境の明るさの検出センサを用いることができる。The state detecting means 60 is for detecting the current state relating to the driving of the moving body, which is likely to affect the distance detection, and it is of course possible to appropriately use the sensors mounted on the moving body. However, in the illustrated example, the position sensor 61 of the driving handle, the posture sensor 62 that detects the tilt of the moving body in the front-rear direction, the speed sensor 63 that detects the current driving speed of the moving body, and the moving body A weather sensor 64 for detecting adverse weather conditions such as received rain and fog is used. As the weather sensor 64, it is practical to use a wetting detection sensor attached to the outer surface portion of the moving body, and more simply, it may be a detection sensor for the operation of the wind wiper. In addition to this, it is possible to use a sensor for detecting the brightness of the environment where the moving body is placed, such as at night or in a tunnel.
【0023】状態検出手段60としてのこれらセンサ61〜
64による検出結果は制御計算機70に読み取るのがよく、
図示の例ではそれらの検出信号を制御バス73を介する指
令に応じてそれぞれAD変換器65によって検出データに
変換した上でデータバス74を介して制御計算機70に読み
取る。本発明では状態検出手段60のかかる検出結果に基
づいて図では右側の映像検出モジュール30について示し
た検出対象1を捉えるべき視野Vの広さとその正面から
の角度θを設定する。これらを後述するような要領で設
定するには制御計算機70にソフトウエアの形で装荷して
おくのがよく、それによる設定内容は距離演算に用いる
べき映像データIDの範囲の形で距離演算手段50に制御バ
ス71を介して指定される。These sensors 61 to 61 as the state detecting means 60
The detection result of 64 is often read by the control computer 70,
In the illustrated example, these detection signals are converted into detection data by the AD converter 65 in accordance with a command via the control bus 73, and then read by the control computer 70 via the data bus 74. In the present invention, based on the detection result of the state detecting means 60, the width of the field of view V and the angle θ from the front of the detection target 1 shown in the image detection module 30 on the right side in the figure are set. In order to set these in a manner to be described later, it is preferable to load the control computer 70 in the form of software, and the setting content by that is in the form of the range of the video data ID to be used for the distance calculation. 50 via the control bus 71.
【0024】距離演算手段50により演算された検出対象
1までの距離指標σは前述のように制御計算機70に読み
取られて移動体の衝突防止等に用いられる。図の例では
このための制御手段として、ブザー音等により警告を発
する警報手段81と, 移動体の運転系に対する速度制御手
段82と, 制動系に対する非常制動手段83が設けられてお
り、制御計算機70はこれら手段81〜83を制御バス75によ
り指定した上でデータバス76を介して制御内容を伝達す
る。The distance index σ to the detection target 1 calculated by the distance calculation means 50 is read by the control computer 70 as described above and used for preventing collision of a moving body. In the example shown in the figure, as control means for this purpose, there are provided warning means 81 for issuing a warning by a buzzer sound, speed control means 82 for the driving system of the moving body, and emergency braking means 83 for the braking system. 70 designates these means 81 to 83 by the control bus 75, and then transmits the control contents via the data bus 76.
【0025】図2に示す映像検出モジュール30の構造例
では、その本体であるアダプタ31に一対の窓31aを明
け、その下側の凹所31bにイメージセンサ群12を含む集
積回路装置10のチップを収納した透明なパッケージ10a
を配設し、アダプタ31の上側に一対の小レンズ21を窓31
aに対応して備える光学的手段20を取り付けてその上を
透明な保護カバー32で覆ってなる。集積回路装置10は配
線基板33にリード10bを介して実装した上でレンズ21の
光軸によく合わせた状態でアダプタ31に接着等の手段で
固定される。In the structure example of the image detection module 30 shown in FIG. 2, a pair of windows 31a are opened in the adapter 31 which is the main body thereof, and the chip of the integrated circuit device 10 including the image sensor group 12 in the recess 31b below the window 31a. Transparent package 10a
A pair of small lenses 21 on the upper side of the adapter 31 and a window 31
The optical means 20 provided corresponding to a is attached and covered with a transparent protective cover 32. The integrated circuit device 10 is mounted on the wiring board 33 via the leads 10b, and then fixed to the adapter 31 by means such as adhesion in a state of being well aligned with the optical axis of the lens 21.
【0026】この映像検出モジュール30のレンズ21の相
互間の基線長をbとし, 焦点距離をfとし, イメージセ
ンサ内の光センサの配列ピッチをδとし, 距離演算手段
50に光センサ数で表した距離指標σを演算させると、検
出対象1の距離がdのときにσ=bf/δdとなるか
ら、基線長bと焦点距離fの積であるいわゆるbf積を
検出すべき距離dに応じて設定するのが望ましい。移動
体に搭載される距離検出装置では映像検出モジュール30
のbf積を距離検出範囲が10〜20mの短距離用の場合は
600mm2 程度に, 20〜50mの中距離用や50〜100 mの長
距離用の場合には2100mm2 程度にそれぞれ設定するのが
よい。The base line length between the lenses 21 of the image detection module 30 is b, the focal length is f, the array pitch of the optical sensors in the image sensor is δ, and the distance calculation means
When the distance index σ expressed by the number of optical sensors is calculated by 50, σ = bf / δd when the distance of the detection target 1 is d, so the so-called bf product which is the product of the base length b and the focal length f is obtained. It is desirable to set according to the distance d to be detected. In the distance detection device mounted on the moving body, the image detection module 30
Bf product of is for short distance with distance detection range of 10 to 20m
It is recommended to set it to about 600 mm 2 and 2100 mm 2 for medium distances of 20 to 50 m and long distances of 50 to 100 m.
【0027】図3にイメージセンサ群12を含む集積回路
装置10の内部回路の構成例を光学的手段20とともに示
す。図示の例では各イメージセンサ群12はCCDである
16個のイメージセンサ11を数百μmの間隔で並べてな
り、イメージセンサ11はそれぞれ百数十〜数百個の光セ
ンサを10〜20μmの配列ピッチδで並べてなる。イメー
ジセンサ11は起動指令STに応じ駆動制御回路13により一
斉に起動され、検出時間の経過後に各光センサが受ける
光の強度を表すアナログな検出信号を通例のようにクロ
ックに同期して順次に発する。FIG. 3 shows a configuration example of the internal circuit of the integrated circuit device 10 including the image sensor group 12 together with the optical means 20. In the illustrated example, each image sensor group 12 is a CCD.
The 16 image sensors 11 are arranged at intervals of several hundreds of μm, and the image sensor 11 is composed of hundreds to several hundreds of optical sensors arranged at an arrangement pitch δ of 10 to 20 μm. The image sensor 11 is activated all at once by the drive control circuit 13 in response to the activation command ST, and sequentially in synchronization with the clock, as in the usual case, an analog detection signal indicating the intensity of light received by each optical sensor after the detection time elapses. Emit.
【0028】しかし、イメージセンサ群12が受ける平均
光量は非常に広い範囲内に変動するのがふつうなので、
それに付随して図示のようにレンズ21から光Lを受ける
光量センサ14を組み込み、その検出光量に応じてイメー
ジセンサ11の電荷蓄積時間を駆動制御回路13により数μ
S〜10mSの範囲で調整するのが望ましい。各イメージセ
ンサ11による検出信号はスイッチ15を介して順次取り出
され、可変増幅器16による増幅後にAD変換器17により
ふつう8ビットの検出データに順次変換されてバッファ
メモリ18内に一時記憶される。However, since the average amount of light received by the image sensor group 12 usually fluctuates within a very wide range,
Along with that, a light quantity sensor 14 for receiving the light L from the lens 21 is incorporated as shown in the figure, and the charge accumulation time of the image sensor 11 is set to several μ by the drive control circuit 13 according to the detected light quantity.
It is desirable to adjust in the range of S to 10 mS. The detection signal from each image sensor 11 is sequentially taken out through the switch 15, amplified by the variable amplifier 16, and then sequentially converted into 8-bit detection data by the AD converter 17, and temporarily stored in the buffer memory 18.
【0029】このバッファメモリ18は外部から読み出し
用クロックCKを受けるようになっており、イメージセン
サ群12内の各イメージセンサ11による映像データIDがそ
れに同期して図1の記憶手段40の入力バス41を介して順
次に取り出される。イメージセンサ群12に最近の高速C
CDを利用しAD変換器17の動作を高速化することによ
り、映像検出動作を開始してから映像データIDを外部に
取り出すまでの動作を20〜30mS程度の短時間内に完了す
ることができる。The buffer memory 18 is adapted to receive a read clock CK from the outside, and the video data ID from each image sensor 11 in the image sensor group 12 is synchronized with it, and the input bus of the storage means 40 of FIG. It is sequentially taken out via 41. Recent high-speed C for image sensor group 12
By using the CD to speed up the operation of the AD converter 17, the operation from the start of the video detection operation to the extraction of the video data ID can be completed within a short time of about 20 to 30 mS. .
【0030】さらにこの図3の例では可変増幅器16に付
随して増幅率調整回路16aを設けてこれに増幅率指定デ
ータSDを与えることにより、可変増幅器16の増幅率を例
えば1〜10倍の範囲に調整できるようになっている。こ
の調整範囲と前述のイメージセンサ11の電荷蓄積時間の
可調整範囲を合わせると、イメージセンサ群12は平均光
量が1〜104 倍の広範囲に変動した場合でも検出対象1
の映像を正確に捉えて映像データIDを8ビットの精度で
出力できる。Further, in the example of FIG. 3, the amplification factor adjusting circuit 16a is provided in association with the variable amplifier 16 and the amplification factor designating data SD is given to this so that the amplification factor of the variable amplifier 16 is increased by, for example, 1 to 10 times. The range can be adjusted. If this adjustment range and the above-mentioned adjustable range of the charge accumulation time of the image sensor 11 are combined, the image sensor group 12 detects the detection target 1 even when the average light amount fluctuates in a wide range of 1 to 10 4 times.
The image data ID can be accurately captured and output with 8-bit accuracy.
【0031】図4に視野Vの広さと方向の設定要領を図
1の左側の映像検出モジュール30の一方の映像データ群
12について示す。図では移動体の幅方向をx軸, 高さ方
向をy軸, 検出対象1の距離の検出方向ないしは移動体
の進行方向をz軸とそれぞれしたときのレンズ21とイメ
ージセンサ11に関する座標をそれらに付随して示す。図
4(a) は視野Vの水平な方向であるx軸方向の広さVxと
レンズ21の光軸からの角度θを映像データの指定により
設定する要領を示す。図示のようにx軸方向については
視野Vの広さVxは距離演算に用いる映像データを取り出
すべきイメージセンサ11の個数の指定により設定され
る。FIG. 4 shows how to set the width and direction of the visual field V, which is one image data group of the image detection module 30 on the left side of FIG.
It shows about 12. In the figure, the coordinates of the lens 21 and the image sensor 11 when the width direction of the moving body is the x-axis, the height direction is the y-axis, and the detection direction of the distance of the detection target 1 or the traveling direction of the moving body is the z-axis are shown. It is attached to and shown. FIG. 4A shows how to set the width Vx of the visual field V in the x-axis direction which is the horizontal direction and the angle θ from the optical axis of the lens 21 by designating the image data. As shown in the figure, the width Vx of the visual field V in the x-axis direction is set by designating the number of image sensors 11 from which the video data used for the distance calculation should be taken out.
【0032】同様に図4(b) に示すように、垂直な方向
であるy軸方向についての視野Vの広さVyとレンズ21の
光軸からの角度φの設定は、図4(a) に示す要領で指定
した各イメージセンサ11から取り出される映像データの
距離演算に用いるべき範囲を指定することによりなされ
る。なお、容易にわかるように図1の右側の映像検出モ
ジュール30では図4のx軸とy軸が入れ換わる点だけが
異なる。このように、本発明では検出対象1を捉える立
体的視野Vの広さと方向の設定は、距離演算に用いる映
像データを取り出すべきイメージセンサ11の対の個数と
それに含まれる各イメージセンサ11から取り出される映
像データの距離演算に用いるべき範囲の指定によってな
される。Similarly, as shown in FIG. 4 (b), the width Vy of the visual field V in the vertical y-axis direction and the angle φ from the optical axis of the lens 21 are set in FIG. 4 (a). This is done by designating the range to be used for the distance calculation of the video data taken out from each image sensor 11 designated by the procedure shown in FIG. As can be easily understood, the image detection module 30 on the right side of FIG. 1 is different only in that the x axis and the y axis of FIG. 4 are interchanged. As described above, in the present invention, the width and the direction of the stereoscopic visual field V that captures the detection target 1 are set by the number of pairs of the image sensors 11 from which the image data used for the distance calculation should be extracted and the image sensors 11 included therein. This is done by designating the range to be used for the distance calculation of the image data to be displayed.
【0033】次に、図5を参照して状態検出手段60の検
出結果に基づいて視野Vを設定する要領の若干例を説明
する。図5(a) は参考例であり、道路RDのカーブ部を先
行自動車である検出対象1と移動体2が走行している状
態を示す。この場合は移動体2に搭載された映像検出モ
ジュール30により検出対象1を正しく捉えるには、視野
の方向を図のように正面から水平方向に角度θだけ傾け
る必要がある。この場合には状態検出手段60として前述
の移動体2の運転ハンドルの位置センサ61を用い、それ
により検出されるハンドルの位置に応じて検出対象1を
捉える視野の方向を移動体2の進行方向の変化と同方向
に傾けるよう角度θを設定する。なお、ハンドル位置の
ごく僅かな変化に応じて視野を徒に変えると却って検出
対象1を見失うおそれがあるので、ハンドルの操作角度
が所定の限界値を越えかつ一定時間以上持続したときに
のみ視野方向の設定を変えるのがよい。Next, some examples of the procedure for setting the visual field V based on the detection result of the state detecting means 60 will be described with reference to FIG. FIG. 5A is a reference example, and shows a state in which the detection target 1 and the moving body 2 which are the preceding vehicles are traveling on the curved portion of the road RD. In this case, in order to correctly capture the detection target 1 by the image detection module 30 mounted on the moving body 2, it is necessary to incline the direction of the visual field from the front by the angle θ as shown in the figure. In this case, the position sensor 61 of the driving handle of the moving body 2 described above is used as the state detecting means 60, and the direction of the visual field for catching the detection target 1 according to the position of the steering wheel detected thereby is set as the traveling direction of the moving body 2. The angle θ is set so as to tilt in the same direction as the change of. It should be noted that if the field of view is unnecessarily changed in response to a slight change in the handle position, the detection target 1 may be lost. Therefore, the field of view can be viewed only when the operation angle of the handle exceeds a predetermined limit value and continues for a certain time or longer. It is better to change the direction setting.
【0034】図5(b) に移動体の正常な走行時の視野V
の設定例を示す。図の外側の方形の枠はイメージセンサ
群12内のすべてのイメージセンサ11により捉えられる全
体の視野Voであって、その中に検出対象1としての自動
車と, それに先行する例えばトラックである大型車両3
と, 2本の斜めの境界線で示した道路RDと, 遠景等であ
る背景4とが捉えられているが、大型車両3や背景4等
により惑わされて検出対象1の距離を正確に検出できな
いことがある。このため、本発明では視野Vを図では方
形の破線で示すように全体視野Voよりも狭く設定して、
できるだけ検出対象1のみを捉えるようにする。また、
道路RDが全体視野Vo内で斜めの境界線として捉えられる
ので、視野Vを上辺が下辺より短くかつ上下辺が水平な
台形状に設定するのがさらに望ましい。FIG. 5 (b) shows the visual field V of the moving body during normal traveling.
The setting example of is shown. The rectangular frame on the outside of the figure is the entire visual field Vo captured by all the image sensors 11 in the image sensor group 12, in which the automobile as the detection target 1 and the preceding large vehicle such as a truck Three
, The road RD indicated by the two diagonal boundaries and the background 4 such as a distant view are captured, but the distance of the detection target 1 is accurately detected by being confused by the large vehicle 3 or the background 4. There are things you can't do. Therefore, in the present invention, the field of view V is set narrower than the total field of view Vo as shown by a broken line in the figure,
Only the detection target 1 is captured as much as possible. Also,
Since the road RD is regarded as an oblique boundary line in the entire visual field Vo, it is more desirable to set the visual field V to a trapezoidal shape in which the upper side is shorter than the lower side and the upper and lower sides are horizontal.
【0035】図5(c) は参考例であり、移動体の先頭が
後尾より高い姿勢になったときに視野Vを設定する要領
を示す。この場合には全体視野Vo内の映像が同図(b) の
場合よりも全般的に下側にずれて来て正常な姿勢時のま
まの視野Vでは検出対象1を正しく捉え難くなるから、
前述の姿勢センサ62により検出される姿勢の前後方向の
傾きに応じて視野Vの方向を図のように全体視野Vo内の
下側にずらせて設定する。図5(d) は逆に移動体の先頭
が後尾より低い姿勢の場合を示し、この場合は全体視野
Vo内の映像が上側の方にずれて来るから姿勢センサ62に
よる検出結果に応じて視野Vの方向を全体視野Voの上側
にずらせて設定する。FIG. 5 (c) is a reference example and shows a procedure for setting the field of view V when the head of the moving body is in a posture higher than the tail. In this case, the image in the entire visual field Vo is shifted downward as compared with the case of FIG. 7B, and it becomes difficult to correctly capture the detection target 1 in the visual field V in the normal posture.
The direction of the visual field V is set to be shifted to the lower side in the entire visual field Vo as shown in the figure according to the inclination of the posture detected by the above-described posture sensor 62 in the front-back direction. On the contrary, Fig. 5 (d) shows a case where the head of the moving body is lower than the tail, and in this case, the whole field of view.
Since the image in Vo shifts to the upper side, the direction of the visual field V is set to be shifted to the upper side of the entire visual field Vo according to the detection result of the posture sensor 62.
【0036】図5(e) に前述の速度センサ63による移動
体の速度検出結果に応じて視野Vを設定する要領を示
す。周知のように移動体の速度が高いほど制動可能距離
が長くなり、それに応じて遠くにある検出対象1までの
距離を正確に検出して監視している必要があるから、視
野Vの広さを図示のように図5(a) の場合よりも小さく
設定し、逆に検出速度が低い場合は視野Vの広さを小さ
く設定する。FIG. 5E shows how to set the visual field V according to the speed detection result of the moving body by the speed sensor 63 described above. As is well known, the higher the speed of the moving body, the longer the braking possible distance, and accordingly, it is necessary to accurately detect and monitor the distance to the detection target 1 which is far away. Is set smaller than that in the case of FIG. 5A, and conversely, when the detection speed is low, the width of the visual field V is set small.
【0037】以上のほか、前述の天候センサ64により検
出される雨や霧等の悪天候の場合は全体視野Vo内の映像
が全体的におぼろげになるから検出対象1を見失ってし
まう確率が高くなる。このため、悪天候が検出された場
合は視野Vの広さを大きく,例えばその立体角を正常時
の2〜3倍に広げて設定するのが望ましい。さらに、移
動体がトンネルに入ったり走行中に夜間になって周囲環
境が暗くなった場合はイメージセンサ群12の検出感度を
極力高める必要があるので、状態検出手段60として環境
の明るさの検出センサを用いて暗い環境下では例えば前
に図3で述べた増幅率調整回路16aに増幅率指定データ
SDを与えてイメージセンサ11による検出信号に対する可
変増幅器16の増幅率を高めるのがよい。In addition to the above, in the case of bad weather such as rain or fog detected by the above-mentioned weather sensor 64, the image in the entire visual field Vo becomes totally vague, and the probability of losing the detection target 1 increases. . Therefore, when bad weather is detected, it is desirable to set the width of the field of view V to be large, for example, to set the solid angle to be 2 to 3 times wider than that in the normal state. Further, when the surrounding environment becomes dark at night when the moving body enters the tunnel or while traveling, it is necessary to increase the detection sensitivity of the image sensor group 12 as much as possible, and therefore the state detection means 60 detects the brightness of the environment. In a dark environment using a sensor, for example, the amplification factor adjusting circuit 16a described previously in FIG.
It is preferable to give SD to increase the amplification factor of the variable amplifier 16 with respect to the detection signal from the image sensor 11.
【0038】最後に図6と図7を参照しながら以上のよ
うに設定された視野に対応する映像データの指定範囲か
ら距離指標σを演算する要領例を説明する。図6は本発
明における距離検出の原理を1個分のイメージセンサ対
について示すもので、図では一対のイメージセンサ11内
の上側と下側,あるいは左側と右側を互いに区別するた
めに符号uとvが付けられている。Finally, an example of how to calculate the distance index σ from the specified range of the video data corresponding to the visual field set as described above will be described with reference to FIGS. 6 and 7. FIG. 6 shows the principle of distance detection in the present invention for one image sensor pair. In the figure, the reference numeral u is used to distinguish the upper side and the lower side or the left side and the right side in the pair of image sensors 11 from each other. v is attached.
【0039】光学的手段20の一対のレンズ21は検出対象
1から便宜上図では屈曲線で示した光Lを受けてその映
像Iをイメージセンサ11uと11v上にそれぞれ結像させ
る。検出対象1が一対のレンズ21間の中心線CLに対し角
度θの方向にあるとき、その距離dが無限大である場合
の映像Ioは図のようにイメージセンサ11uと11v上の各
レンズ21の光軸から角度θだけ傾いた位置に結像され
る。有限の距離dにある検出対象1の映像Iがイメージ
センサ11uと11v上に結像される位置の映像Ioに対応す
る基準位置からのずれをσu, σvとすると、距離を表
す指標σは簡単な三角測量原理から前述のbf積とイメ
ージセンサ内の光センサの配列ピッチδを用いて、角度
θに無関係にσ=σu+σv=bf/δdで表され、b
f/δdは定数であるから距離dの検出には指標σを求
めればよいことになる。The pair of lenses 21 of the optical means 20 receives the light L shown by the bending line in the figure for convenience from the detection object 1 and forms its image I on the image sensors 11u and 11v, respectively. When the detection target 1 is in the direction of the angle θ with respect to the center line CL between the pair of lenses 21, the image Io when the distance d is infinite is as shown in the figure, and the image Io of each lens 21 on the image sensors 11u and 11v. An image is formed at a position inclined by an angle θ from the optical axis of. Letting σu and σv be the deviations from the reference position corresponding to the image Io of the position where the image I of the detection target 1 at the finite distance d is imaged on the image sensors 11u and 11v, the index σ representing the distance is simple. From the above triangulation principle, the above-mentioned bf product and the array pitch δ of the photosensors in the image sensor are used, and σ = σu + σv = bf / δd, regardless of the angle θ.
Since f / δd is a constant, the index σ can be obtained to detect the distance d.
【0040】距離指標σをイメージセンサ11uと11vに
よる一対の映像データから演算するために、両映像デー
タから前述のように設定された視野Vの広さと角度方向
θに対応する範囲の映像データDuとDvを図のように取り
出す。各映像データDuとDvはもちろん視野Vの広さに対
応する個数の光センサによる検出データからなるが、映
像Iの結像位置が図からわかるように距離dに応じて映
像Ioの基準位置よりも必ず外側にずれてくるので、映像
データDuとDvの範囲をその中心が基準位置より外側にず
れるように指定するのがよい。In order to calculate the distance index σ from a pair of image data by the image sensors 11u and 11v, image data Du in a range corresponding to the width of the visual field V and the angle direction θ set as described above from both image data. And take out Dv as shown. Each image data Du and Dv is of course composed of the detection data by the number of optical sensors corresponding to the width of the field of view V. As can be seen from the figure, the image forming position of the image I is from the reference position of the image Io depending on the distance d. Also always shifts to the outside, so it is preferable to specify the range of the video data Du and Dv so that the center shifts to the outside of the reference position.
【0041】このようにして指定された両映像データDu
とDvから距離指標σを求めるには、それらからそれぞれ
部分映像データduとdvを図のように位置を順次ずらせな
がら抽出して両者間の組み合わせC0,C1,C2等を作り、各
組み合わせごとに両部分映像データduとdvが表す映像の
パターンの相関を検定して行き、これら検定結果から最
高相関を示した組み合わせを見付けるようにするのがよ
く、距離指標σはこの最高相関を示す組み合わせ番号か
らごく簡単に計算できる。次に図7を参照してこの距離
演算手段50の動作例を説明する都合から、組み合わせ番
号を示す変数をiとし、かつ部分映像データduとdvに共
通なデータ番号を示す変数をjとする。さらに、各イメ
ージセンサ11uと11vは図の左側から右側に向けて番号
0〜nが順次付けられたn+1個の光センサを含むもの
とする。Both video data Du designated in this way
To obtain the distance index σ from Dv and Dv, the partial video data du and dv are extracted from them respectively while sequentially shifting the positions as shown in the figure, and the combinations C0, C1, C2, etc. between them are created, and for each combination It is good practice to test the correlation between the image patterns represented by both partial video data du and dv, and find the combination that shows the highest correlation from these test results.The distance index σ is the combination number showing this highest correlation. Can be calculated very easily. Next, for convenience of explaining an operation example of the distance calculating means 50 with reference to FIG. 7, a variable indicating a combination number is set to i, and a variable indicating a data number common to the partial video data du and dv is set to j. . Further, each of the image sensors 11u and 11v is assumed to include n + 1 optical sensors sequentially numbered 0 to n from the left side to the right side of the drawing.
【0042】図7は距離演算手段50にマイクロプロセッ
サを用いる場合についてそのソフトウエアの動作の流れ
を示し、前述の組み合わせごとに部分映像データduとdv
間の相関を検定する相関演算手段S20と, 最高相関を示
す組み合わせを検出する最高相関検出手段S30がそれぞ
れ一点鎖線で囲んで示されている。図示の実施例では前
者は部分映像データduとdv内の対応するデータ間の差の
絶対値の和を相関度の評価関数値として演算し、後者は
かかる評価関数値が最小値をとる組み合わせを最高相関
点として検出するものとする。FIG. 7 shows the operation flow of the software when a microprocessor is used as the distance calculating means 50. The partial video data du and dv are set for each of the above combinations.
Correlation calculation means S20 for testing the correlation between them and maximum correlation detection means S30 for detecting the combination showing the highest correlation are shown surrounded by a chain line. In the illustrated embodiment, the former calculates the sum of the absolute values of the differences between the corresponding data in the partial video data du and dv as the evaluation function value of the correlation degree, and the latter is a combination in which the evaluation function value takes the minimum value. It shall be detected as the highest correlation point.
【0043】最初のステップS1からステップS9までは制
御計算機70からの指定に応じて相関演算手段S20や最高
相関検出手段S30の動作を初期化する準備ステップであ
る。各距離演算手段50はふつう複数のイメージセンサ対
について距離演算を分担するので、まずステップS1では
分担すべきイメージセンサ対の最初の番号psと最後の番
号peを読み込んでイメージセンサ対番号の変数pにpsを
入れる。The first steps S1 to S9 are preparatory steps for initializing the operations of the correlation calculating means S20 and the maximum correlation detecting means S30 according to the designation from the control computer 70. Since each distance calculation means 50 normally shares the distance calculation for a plurality of image sensor pairs, first in step S1, the first number ps and the last number pe of the image sensor pair to be shared are read and the variable p of the image sensor pair number is read. Put ps in.
【0044】次のステップS2は視野Vの角度方向が図6
のようにθのときのイメージセンサ11uと11v上の映像
Ioに対応する基準位置を決めるステップであり、まずそ
れを指定する光センサ数qを読み込んだ上で、角度θが
0のときの基準位置uoとvoにこのqを加えて角度がθの
ときの基準位置quとqvとする。ステップS3からはこの基
準位置quやqvおよび視野Vの広さに応じて図6の映像デ
ータDuとDvを指定するステップであり、ステップS3では
視野Vの広さを指定するための基準位置quやqvから内側
のデータ数riと外側のデータ数roをまず読み込む。な
お、前述のように外側データ数roは内側データ数riより
も大きく指定するのがよい。In the next step S2, the angular direction of the visual field V is as shown in FIG.
Image on the image sensor 11u and 11v when θ is
This is the step of determining the reference position corresponding to Io. First, after reading the number q of optical sensors that specify it, add this q to the reference positions uo and vo when the angle θ is 0 and when the angle is θ. Let qu and qv be reference positions. From step S3, the image data Du and Dv of FIG. 6 are designated according to the reference position qu or qv and the width of the visual field V. In step S3, the reference position qu for designating the width of the visual field V is set. First, the inner data number ri and the outer data number ro are read from qv. It should be noted that, as described above, it is preferable that the outer data number ro is specified to be larger than the inner data number ri.
【0045】次に、映像データDuとDvの左端の位置usと
vsを決めるために上記のquとqvからroとriをそれぞれ減
算する。しかし、映像データDvの方はその左端vsがイメ
ージセンサの外に食み出しやすいので、次のステップS4
で左端vsが負か否かを調べて然りの場合はステップS5で
映像データDuの範囲をその左端usから負のvsを減じて修
正した後に映像データDvの方の左端vsを0に修正する。Next, the left end position us of the video data Du and Dv
Subtract ro and ri from qu and qv above to determine vs. However, in the case of the video data Dv, the left end vs of the video data Dv is more likely to stick out of the image sensor.
If it is correct by checking whether the left end vs is negative, in step S5, the range of the image data Du is corrected by subtracting the negative vs from the left end us, and then the left end vs of the image data Dv is corrected to 0. To do.
【0046】ステップS6は映像データDuとDvの右端の位
置ueとveを決めるステップであり、前述の基準位置quと
qvに内側数riと外側数roをそれぞれ加算することにより
右端ueとveを決める。この場合は映像データDuの方の右
端ueが食み出しやすいので、ステップS7でそれがnより
も大か否かを調べて然りの場合はステップS8で図示のよ
うな要領で映像データDuとDvの右端ueとveを修正する。In step S6, the positions ue and ve of the right ends of the video data Du and Dv are determined, and the reference position qu and
The right end ue and ve are determined by adding the inner number ri and the outer number ro to qv. In this case, the right end ue of the video data Du is easily projected. Therefore, in step S7, it is checked whether or not it is larger than n. In that case, in step S8, the video data Du is displayed in the manner shown in the figure. And correct the right edge ue and ve of Dv.
【0047】以上によって映像データDuとDv内のデータ
数が同じ ue-us+1=ve-vs+1個に揃うので、次のステップ
S9でこれを映像データDuとDvのデータ数rに入れるとと
もにそれに応じて図6に示す部分映像データduとdvのデ
ータ数sを設定する。なお、このデータ数sは経験上か
らはデータ数rの 1/2〜2/3 の範囲内に設定するのが有
利である。さらに、このステップS9では前述の組み合わ
せ番号の変数iがとる最大値imを2(r-s)に設定する。As described above, since the number of data in the video data Du and Dv is equal to ue-us + 1 = ve-vs + 1, the next step
In S9, this is put into the data number r of the video data Du and Dv, and the data number s of the partial video data du and dv shown in FIG. 6 is set accordingly. From the experience, it is advantageous to set this data number s within the range of 1/2 to 2/3 of the data number r. Further, in this step S9, the maximum value im taken by the variable i of the above-mentioned combination number is set to 2 (rs).
【0048】以上で準備ステップを完了したので、次の
ステップS10では距離演算に必要な映像データDuとDvを
図1の記憶手段40から読み込んで記憶する。これらは上
述の左端usやvsから右端ueやveまでのr個のデータをそ
れぞれ含む。なお、図の流れでは映像データDuとDvをイ
メージセンサ対の番号pごとに読み込むが、分担する全
番号ps〜peについて一括して読み込むようにしてもよ
い。Since the preparation steps have been completed as described above, in the next step S10, the video data Du and Dv necessary for the distance calculation are read from the storage means 40 of FIG. 1 and stored. These respectively include r pieces of data from the above-mentioned left end us and vs to the right end ue and ve. In the flow of the drawing, the video data Du and Dv are read for each number p of the image sensor pair, but all the shared numbers ps to pe may be read collectively.
【0049】次に動作の流れは最高相関検出手段S30と
しての最初のステップS31に入り、図6の最初の組み合
わせC0に対する部分映像データduとdvの左端の位置Usと
Vsをまず指定する。図6からわかるように部分映像デー
タduの方は左端Usにue-s+1を入れるが部分映像データdv
の左端Vsにはvsをそのまま入れることでよい。また、両
部分映像データduとdv間の相関度の評価関数値Fがとる
最小値を示すFmに充分大きい値FMを入れるとともに、前
述の組み合わせ番号iを0に初期化し、さらに部分映像
データduとdvの抽出位置を交互にずらせるためのシフト
フラグSFを0にセットしておく。その後は相関演算手段
S20としての動作に入り、その最初のステップS21では
評価関数値Fを0に初期化し、部分映像データduとdv内
部のデータ番号uとvを前述のUsとVsにそれぞれ初期化
し、さらに両者に共通なデータ番号変数jを1に初期化
する。次のステップS22は評価関数値Fの演算ステップ
であり、部分映像データduとdv内のデータ番号uとvに
対応するデータDu とDv の差の絶対値を評価関数値F
に順次加算する。つづくステップS23では変数jが部分
映像データduとdv内のデータ数sに達したか否かを調
べ、未到達である限りステップS24でデータ番号u, v
および共通番号変数jを歩進させた上で流れをステップ
S22に戻して同じ動作を繰り返す。Next, the flow of operation enters the first step S31 as the highest correlation detecting means S30, and the partial image data du and the left end position Us of the dv for the first combination C0 of FIG.
Specify Vs first. As can be seen from FIG. 6, the partial video data du has ue-s + 1 at the left end Us, but the partial video data dv
You can just insert vs into the leftmost Vs of. In addition, a sufficiently large value FM is inserted into Fm, which is the minimum value of the evaluation function value F of the degree of correlation between both partial video data du and dv, and the combination number i is initialized to 0, and the partial video data du The shift flag SF for alternately shifting the extraction positions of and dv is set to 0. After that, the operation as the correlation calculating means S20 is started. In the first step S21, the evaluation function value F is initialized to 0, and the data numbers u and v in the partial video data du and dv are initialized to Us and Vs, respectively. Then, the data number variable j common to both is initialized to 1. The next step S22 is a step of calculating the evaluation function value F, in which the absolute value of the difference between the data D u and D v corresponding to the data numbers u and v in the partial video data du and dv is the evaluation function value F.
Are sequentially added to. In a succeeding step S23, it is checked whether or not the variable j has reached the data number s in the partial video data du and dv, and if it has not reached the data number u, v in the step S24.
Then, the common number variable j is incremented, the flow is returned to step S22, and the same operation is repeated.
【0050】変数jの値が所定数sに達して動作がステ
ップS23からループを抜けると評価関数値Fの演算が完
了しており、次の最高相関検出手段S30のステップS32
ではその値が最小値Fmより小か否かを調べ、然りであれ
ばステップS33で最小値Fmを評価関数値Fに置き換えか
つイメージセンサ対番号pに対応する距離指標σpに変
数iの値を入れた後に, 否であればステップS34にすぐ
動作を移す。ここでは変数iが最大値imに達したか否か
を調べ、未到達の限りステップS35で変数iを歩進させ
てステップS36でシフトフラグSFが0か否かを判定す
る。然りのときはステップS37でシフトフラグSFに1を
立てかつ部分映像データDvの左端番号Vsに1を加えて図
6に示すようにそれを光センサ1個分だけ図の右方にず
らせ、否のときはステップS38でシフトフラグSFに0を
入れかつ部分映像データDuの左端Usから1を減じてそれ
を光センサ1個分だけ図の左方にずらせた後に、流れを
相関演算手段S20のステップS21に戻して同じ動作を繰
り返す。When the value of the variable j reaches the predetermined number s and the operation exits the loop from step S23, the calculation of the evaluation function value F is completed, and the next step S32 of the highest correlation detecting means S30.
Then, it is checked whether or not the value is smaller than the minimum value Fm, and if there is, the minimum value Fm is replaced with the evaluation function value F in step S33 and the value of the variable i is set in the distance index σp corresponding to the image sensor pair number p. If the result is NO after inserting, the operation immediately moves to step S34. Here, it is checked whether or not the variable i has reached the maximum value im, and if it has not reached the maximum value im, the variable i is incremented in step S35, and it is determined whether or not the shift flag SF is 0 in step S36. In that case, at step S37, the shift flag SF is set to 1 and 1 is added to the left end number Vs of the partial image data Dv to shift it by one optical sensor to the right in the figure as shown in FIG. If not, 0 is put in the shift flag SF and 1 is subtracted from the left end Us of the partial video data Du in step S38 to shift it by one photosensor to the left in the figure, and then the flow is calculated by the correlation calculating means S20. Return to step S21 and repeat the same operation.
【0051】変数iがその最大値imに達して動作がステ
ップS34からループを抜けたとき、両部分映像データdu
とdv間に最大相関が検定されたときの組み合わせ番号を
示す変数iの値が距離指標σpとして記憶されている。
それ以降のステップS11ではイメージセンサ対の番号変
数pが最後の番号peに達したか否かを調べ、未到達の限
りステップS12で変数pの値を歩進させた上で流れをス
テップS10に戻して、次のイメージセンサ番号pについ
て距離指標σpを求める。When the variable i reaches its maximum value im and the operation leaves the loop from step S34, both partial video data du
And the value of the variable i indicating the combination number when the maximum correlation is tested between dv and dv are stored as the distance index σp.
In the subsequent step S11, it is checked whether or not the number variable p of the image sensor pair has reached the last number pe, and if not reached, the value of the variable p is incremented in step S12, and then the flow proceeds to step S10. Returning to this, the distance index σp is obtained for the next image sensor number p.
【0052】指定された番号ps〜peの全イメージセンサ
対について距離指標σpが求まると流れはステップS11
からループを抜けてステップS13に移る。ステップS13
ではそれまでに求まった距離指標σpに対してイメージ
センサ11u, 11vとレンズ21の関係位置で決まる定数を加
減算することにより補正を加えた上で制御計算機70に向
けて出力し、これで図7の距離演算手段50としてのすべ
ての動作が完了する。なお、以上説明した距離演算手段
50としての一連の動作に要する時間はイメージセンサ対
の指定数に応じて20〜30mS程度である。When the distance index σp is obtained for all the image sensor pairs of the designated numbers ps to pe, the flow is step S11.
To exit the loop and move to step S13. Step S13
Then, the distance index σp obtained up to that point is corrected by adding and subtracting a constant determined by the relational positions of the image sensors 11u and 11v and the lens 21, and then output to the control computer 70. All operations as the distance calculation means 50 are completed. The distance calculation means described above
The time required for a series of operations as 50 is about 20 to 30 mS depending on the designated number of image sensor pairs.
【0053】以上のようにして距離演算手段50により演
算された複数の距離指標σpが出力されるが、これを受
ける制御計算機70はかかる複数個の演算結果の内から例
えば多数決の原理,最短距離を表す指標の選択,それま
での距離指標の履歴から見た指標の採択等により検出対
象1の正しい距離とその変化を判断して、必要に応じ視
野設定を変更したり衝突防止等に必要な処置を採ること
ができる。A plurality of distance indexes σp calculated by the distance calculating means 50 as described above are output, and the control computer 70 which receives them outputs, for example, the principle of majority voting, the shortest distance from the plurality of calculation results. It is necessary to judge the correct distance of the detection target 1 and its change by selecting the index that indicates the distance, adopting the index based on the history of the distance index up to that time, and changing the visual field setting as necessary and preventing collision. Action can be taken.
【0054】以上説明した実施例に限らず本発明は種々
の態様で実施をすることができる。例えば実施例ではイ
メージセンサにCCDを用いたが、そのかわりにフォト
ダイオードアレイを利用してもよい。このアレイではそ
の光センサからアナログ検出信号を並列に取り出しかつ
一斉にディジタルデータに変換できるので短時間内に映
像データが得られる。また、図1の実施例で利用した記
憶手段40に必要な記憶容量はあまり大きくないので、図
3の集積回路装置10のバッファメモリ18の記憶容量を増
してそのかわりをさせることもできる。図7に示した距
離演算手段50の動作例はマイクロプロセッサを用いる場
合であるが、図示と同等な動作を行なう電子回路を小形
の集積回路装置に組み込むことが可能である。さらに、
実施例の距離検出の方向を移動体の前方としたが、映像
検出モジュールの取り付け位置の選定により後方や側面
に向けることもできる。The present invention is not limited to the embodiments described above, and the present invention can be implemented in various modes. For example, although the CCD is used as the image sensor in the embodiment, a photodiode array may be used instead. In this array, analog detection signals can be taken out in parallel from the optical sensor and simultaneously converted into digital data, so that image data can be obtained within a short time. Further, since the memory capacity required for the memory means 40 used in the embodiment of FIG. 1 is not so large, the memory capacity of the buffer memory 18 of the integrated circuit device 10 of FIG. 3 can be increased to replace it. The operation example of the distance calculating means 50 shown in FIG. 7 is a case where a microprocessor is used, but it is possible to incorporate an electronic circuit that performs an operation equivalent to that shown in a small integrated circuit device. further,
Although the direction of the distance detection in the embodiment is the front of the moving body, it may be directed to the rear or the side by selecting the mounting position of the image detection module.
【0055】[0055]
【発明の効果】以上のとおり本発明による移動体搭載用
距離検出装置では、基線長だけ離して配置された一対の
イメージセンサ群とそれに検出対象の映像を結像させる
光学的手段を備える映像検出モジュール,これから検出
対象の映像を表す映像データを受けて互いに対応するイ
メージセンサによる映像データの対から検出対象までの
距離を演算する距離演算手段,および移動体の運転関連
状態を検出する状態検出手段を用い、状態検出手段の検
出結果に応じ検出対象を捉えるべき視野の広さと方向を
設定し、この設定内容に応じて距離演算に用いる映像デ
ータの範囲を距離演算手段に指定することにより、次の
効果を奏することができる。As described above, in the distance detecting device for mounting a moving body according to the present invention, image detection is provided with a pair of image sensor groups arranged at a distance of a base line and an optical means for forming an image of a detection target on it. Module, distance calculating means for receiving image data representing an image to be detected from this and calculating a distance from a pair of image data corresponding to each other to an object to be detected, and state detecting means for detecting a driving-related state of a moving body By setting the width and direction of the field of view to capture the detection target according to the detection result of the state detection means, and by specifying to the distance calculation means the range of video data used for distance calculation according to the setting contents, The effect of can be produced.
【0056】(a) 視野の広さと方向を状態検出手段の検
出結果に基づいて検出対象を正確に捉えるように合理的
にそれに絞って設定できるので、従来のように広い視野
内に含まれる検出対象以外の余計な物体を誤って捉えて
肝心の検出対象までの距離を誤検出してしまうおそれを
格段に減少させることができる。
(b) 映像検出モジュールに組み込んだ一対のイメージセ
ンサ群から距離検出に用いるイメージセンサの対数を指
定し,それらによる映像データ内の距離検出に用いる部
分を指定することにより、検出対象を捉えるべき立体的
な視野をとくに機械的な機構や構造を用いることなくご
く簡単かつ適切に設定できる。(A) Since the width and direction of the visual field can be set reasonably narrowed down so as to accurately catch the detection target based on the detection result of the state detection means, the detection included in the wide visual field as in the conventional case It is possible to remarkably reduce the possibility that an unnecessary object other than the target is erroneously detected and the distance to the important detection target is erroneously detected. (b) By specifying the logarithm of the image sensor used for distance detection from the pair of image sensors incorporated in the video detection module, and specifying the part used for distance detection in the video data by them, the stereoscopic object to be detected The visual field can be set very simply and appropriately without using any mechanical mechanism or structure.
【0057】(c) 視野の設定に応じて指定された個数の
イメージセンサ対と映像データ内の指定された範囲だけ
から距離演算手段に距離を示す指標を演算させ,かつこ
れをマイクロプロセッサや電子回路を利用して高速演算
させるので、検出対象までの距離を数十mS以下の短時間
内に検出できる。なお、検出対象を捉える視野を台形に
設定する実施態様はイメージセンサ群の全体視野内では
斜めに見える道路の境界線に則して道路上の検出対象を
合理的な視野で捉え得る効果がある。(C) The distance calculating means is caused to calculate the index indicating the distance from only the specified number of image sensor pairs and the specified range in the video data according to the setting of the visual field, and the calculated distance is calculated by the microprocessor or the electronic device. Since the circuit is used to perform high-speed calculation, the distance to the detection target can be detected within a short time of tens of mS or less. It should be noted that the embodiment in which the visual field for catching the detection target is set to a trapezoid has an effect that the detection target on the road can be caught with a rational visual field in accordance with the boundary line of the road that appears oblique in the entire visual field of the image sensor group. .
【0058】状態検出手段として速度センサを用いる態
様は、移動体の運転速度により大きく変わる可制動距離
に応じ検出対象を捉えるべき視野の広さを合理的に設定
できる効果を有し、天候センサを用いる実施態様は雨や
霧の悪天候時に視野の広さを拡大しておぼろげな視野内
で検出対象を見失う危険を減少させる効果を有する。 State in which a speed sensor is used as the state detecting means
Has the effect of being able to rationally set the size of the field of view for capturing the detection target according to the braking distance that greatly changes depending on the driving speed of the moving body, and the embodiment using the weather sensor has a field of view in bad weather such as rain or fog. Has the effect of reducing the risk of losing the detection target within a dim field of view by expanding the width of the field.
【0059】距離演算手段内に一対の部分映像データを
相互にずらせながら両者間の相関を検定する相関値演算
手段と,最高相関点を検定して距離指標を検出する最高
相関検出手段を設ける態様には距離指標を短時間内に正
確に演算できる利点があり、視野内の複数のイメージセ
ンサ対についての距離演算をそれぞれ分担する複数の距
離演算手段を設ける態様,および映像検出モジュールに
よる映像データをそれらに共通な記憶手段に一旦記憶さ
せた後に各距離演算手段に順次読み込む態様はいずれも
距離検出に要する時間を大幅に短縮できる効果を有す
る。A mode in which the distance calculation means is provided with a correlation value calculation means for testing the correlation between a pair of partial image data while mutually shifting them and a maximum correlation detection means for testing the highest correlation point to detect the distance index. Has an advantage that a distance index can be accurately calculated within a short time, and a mode in which a plurality of distance calculation means that respectively share the distance calculation for a plurality of image sensor pairs in the field of view are provided, and image data by an image detection module Any of the modes in which the data is once stored in the common storage means and then sequentially read into each distance calculation means has an effect that the time required for distance detection can be greatly shortened.
【図1】本発明による距離検出装置とその関連装置を含
めた回路構成例を示すブロック回路図である。FIG. 1 is a block circuit diagram showing a circuit configuration example including a distance detection device according to the present invention and its related device.
【図2】映像検出モジュールの構造例を示す断面図であ
る。FIG. 2 is a cross-sectional view showing a structural example of an image detection module.
【図3】イメージセンサ群とその関連回路を含む集積回
路装置のチップの回路構成例を示す回路図である。FIG. 3 is a circuit diagram showing a circuit configuration example of a chip of an integrated circuit device including an image sensor group and its related circuit.
【図4】視野の広さと方向を設定する要領例を示し、同
図(a) は視野のx軸方向広さと水平方向角度の設定要領
を示すイメージセンサ群とレンズの模式図、同図(b) は
視野のy軸方向広さと垂直方向角度の設定例を示すイメ
ージセンサ群とレンズの模式図である。FIG. 4 shows an example of how to set the width and direction of the field of view, and FIG. 4 (a) is a schematic view of the image sensor group and the lens showing how to set the width of the field of view in the x-axis direction and the angle of the horizontal direction. b) is a schematic diagram of an image sensor group and a lens showing an example of setting the width of the field of view in the y-axis direction and the angle in the vertical direction.
【図5】状態検出手段の検出結果に基づいて視野を設定
する要領例を示し、同図(a) は道路のカーブ部分を走行
中に視野方向を設定する要領を示す上面図、同図(b) は
通常の運転時の視野設定を示す視野の模式図、同図(c)
は移動体が上向き姿勢のときの視野設定例を示す視野の
模式図、同図(d) は移動体が下向き姿勢のときの視野設
定例を示す視野の模式図、同図(e) は移動体が高速運転
状態のときの視野設定例を示す視野の模式図である。FIG. 5 shows an example of how to set the visual field based on the detection result of the state detection means, and FIG. 5 (a) is a top view showing how to set the visual field direction while traveling on a curved portion of a road. (b) is a schematic view of the field of view showing the field of view setting during normal operation.
Is a schematic view of the field of view showing an example of setting the field of view when the moving body is in the upward posture, (d) is a schematic view of the field of view showing an example of setting the field of view when the moving body is in the downward posture, and (e) is the figure of movement It is a schematic diagram of a visual field showing an example of visual field setting when the body is in a high-speed driving state.
【図6】距離演算手段による距離演算の要領例を説明す
るためのイメージセンサと距離検出に用いる映像データ
の範囲の関連を示す模式図である。FIG. 6 is a schematic diagram showing a relationship between an image sensor and a range of video data used for distance detection, for explaining an example of a distance calculation by distance calculation means.
【図7】距離演算手段の動作例を示す流れ図である。FIG. 7 is a flowchart showing an operation example of a distance calculation means.
【図8】パッシブ方式の三角測距法を示す原理図であ
る。FIG. 8 is a principle diagram showing a passive triangulation method.
1 検出対象 2 移動体 10 イメージセンサ群を組み込んだ集積回路装置 11 イメージセンサ 12 イメージセンサ群 16 可変増幅器 16a 増幅率調整回路 20 光学的手段 21 レンズ 30 映像検出モジュール 40 記憶手段 50 距離演算手段 60 状態検出手段 61 移動体のハンドル位置センサ 62 移動体の姿勢センサ 63 移動体の速度センサ 64 天候位置センサ 70 移動体に搭載される制御計算機 81 衝突に対する警報手段 82 移動体の速度制御手段 83 移動体の非常制動手段 b レンズ間の基線長 d 検出対象までの距離 Du,Dv 視野に対応する映像データ du,dv 部分映像データ f レンズの焦点距離 ID 映像データ L 映像検出モジュールが検出対象から受ける光 S20 距離演算手段を構成する相関演算手段 S30 距離演算手段を構成する最高相関検出手段 σ 検出対象までの距離を示す指標 θ 視野の水平方向角度 φ 視野の垂直方向角度 V 検出対象を捉えるように設定された視野 Vo イメージセンサ群の全体視野 Vx 視野のx軸方向の広さ Vy 視野のy軸方向の広さ 1 detection target 2 moving body 10 Integrated circuit device incorporating image sensor group 11 Image sensor 12 Image sensor group 16 variable amplifier 16a Amplification factor adjustment circuit 20 Optical means 21 lens 30 Video detection module 40 Means of storage 50 Distance calculation means 60 Status detection means 61 Mobile handle position sensor 62 Moving object posture sensor 63 Moving object speed sensor 64 weather position sensor 70 Control computer mounted on mobile 81 Warning means for collision 82 Moving body speed control means 83 Emergency braking means for moving bodies b Baseline length between lenses d Distance to detection target Video data corresponding to Du, Dv field of view du, dv partial video data f Focal length of lens ID video data Light received by the L image detection module from the detection target S20 Correlation calculation means constituting distance calculation means S30 Maximum correlation detection means that constitutes distance calculation means σIndex indicating the distance to the detection target θ Horizontal angle of view φ Vertical angle of view V Field of view set to capture the detection target Vo Field of view of image sensor group Vx field of view in the x-axis direction Vy Field of view in the y-axis direction
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G01C 3/06 G01B 11/00 B60R 21/00 ─────────────────────────────────────────────────── ─── Continuation of front page (58) Fields surveyed (Int.Cl. 7 , DB name) G01C 3/06 G01B 11/00 B60R 21/00
Claims (9)
に搭載される装置であって、それぞれ複数のイメージセ
ンサからなり所定間隔だけ離して配置された一対のイメ
ージセンサ群とこれらに検出対象の映像を互いに異なる
光路を介してそれぞれ結像させる光学的手段を備える映
像検出モジュールと、これから対象の映像を表す映像デ
ータを受けて両イメージセンサ群間の互いに対応するイ
メージセンサによる映像データ対から検出対象までの距
離を演算する距離演算手段と、移動体の運転に関連する
現在の状態を検出する状態検出手段とを備え、状態検出
手段として移動体の速度を検出する速度センサを用い、
検出速度に応じ検出対象を捉えるべき視野の広さを設定
するようにしたことを特徴とする移動体搭載用距離検出
装置。1. A device mounted on a moving body for detecting a distance to a detection target, comprising a pair of image sensor groups, each of which is composed of a plurality of image sensors and is separated by a predetermined distance, and the detection targets. Image detection module including optical means for forming images of the respective images through different optical paths, and image data representing the target image from the image detection module, and from the image data pair by the image sensors corresponding to each other between the image sensor groups. A distance calculation means for calculating the distance to the detection target and a state detection means for detecting the current state related to the driving of the mobile body are provided, and a speed sensor for detecting the speed of the mobile body is used as the state detection means.
A distance detecting device for mounting on a moving body, characterized in that a width of a field of view for capturing a detection target is set according to a detection speed.
に搭載される装置であって、それぞれ複数のイメージセ
ンサからなり所定間隔だけ離して配置された一対のイメ
ージセンサ群とこれらに検出対象の映像を互いに異なる
光路を介してそれぞれ結像させる光学的手段を備える映
像検出モジュールと、これから対象の映像を表す映像デ
ータを受けて両イメージセンサ群間の互いに対応するイ
メージセンサによる映像データ対から検出対象までの距
離を演算する距離演算手段と、移動体の運転に関連する
現在の状態を検出する状態検出手段とを備え、状態検出
手段として移動体が走行中に置かれる天候条件を検出す
るセンサを用い、悪天候が検出されたときに検出対象を
捉えるべき視野の広さを拡大するようにしたことを特徴
とする移動体搭載用距離検出装置。2. A device mounted on a moving body for detecting a distance to a detection target, comprising a pair of image sensors each of which is composed of a plurality of image sensors and is separated by a predetermined distance, and the detection targets. Image detection module including optical means for forming images of the respective images through different optical paths, and image data representing the target image from the image detection module, and from the image data pair by the image sensors corresponding to each other between the image sensor groups. A distance calculation means for calculating the distance to the detection target and a state detection means for detecting the current state related to the driving of the moving body are provided, and as the state detection means, the weather condition under which the moving body is placed is detected. Equipped with a mobile body, which uses a sensor to expand the field of view to catch the detection target when bad weather is detected. Distance detection device.
の検出センサとして移動体の外表面部分に取り付けられ
た濡れ検出センサを用いるようにしたことを特徴とする
移動体搭載用距離検出装置。3. The moving object mounting distance detecting device according to claim 3, wherein a wetness detecting sensor attached to an outer surface portion of the moving object is used as a weather condition detecting sensor. .
に搭載される装置であって、それぞれ複数のイメージセ
ンサからなり所定間隔だけ離して配置された一対のイメ
ージセンサ群とこれらに検出対象の映像を互いに異なる
光路を介してそれぞれ結像させる光学的手段を備える映
像検出モジュールと、これから対象の映像を表す映像デ
ータを受けて両イメージセンサ群間の互いに対応するイ
メージセンサによる映像データ対から検出対象までの距
離を演算する距離演算手段と、移動体の運転に関連する
現在の状態を検出する状態検出手段とを備え、状態検出
手段として移動体が走行中に置かれる環境の明るさを検
出するセンサを用い、暗い環境では検出対象を捉えるべ
き視野の広さを拡大するようにしたことを特徴とする移
動体搭載用距離検出装置。4. A device mounted on a moving body for detecting a distance to a detection target, which comprises a pair of image sensor groups each of which is composed of a plurality of image sensors and is separated by a predetermined distance, and the detection targets. Image detection module including optical means for forming images of the respective images through different optical paths, and image data representing the target image from the image detection module, and from the image data pair by the image sensors corresponding to each other between the image sensor groups. The distance calculation means for calculating the distance to the detection target and the state detection means for detecting the current state related to the driving of the moving body are provided, and the brightness of the environment in which the moving body is placed while traveling is used as the state detection means. A distance sensor for mobile units, characterized by using a detection sensor to expand the width of the field of view for capturing the detection target in a dark environment. Apparatus.
に搭載される装置であって、それぞれ複数のイメージセ
ンサからなり所定間隔だけ離して配置された一対のイメ
ージセンサ群とこれらに検出対象の映像を互いに異なる
光路を介してそれぞれ結像させる光学的手段を備える映
像検出モジュールと、これから対象の映像を表す映像デ
ータを受けて両イメージセンサ群間の互いに対応するイ
メージセンサによる映像データ対から検出対象までの距
離を演算する距離演算手段と、移動体の運転に関連する
現在の状態を検出する状態検出手段とを備え、検出対象
を捉えるべき視野を上辺が下辺より短くかつ両辺が水平
な台形状に設定するようにしたことを特徴とする移動体
搭載用距離検出装置。5. A device mounted on a moving body for detecting a distance to a detection target, comprising a pair of image sensor groups each composed of a plurality of image sensors and spaced apart by a predetermined distance, and the detection targets. Image detection module including optical means for forming images of the respective images through different optical paths, and image data representing the target image from the image detection module, and from the image data pair by the image sensors corresponding to each other between the image sensor groups. Equipped with a distance calculation means for calculating the distance to the detection target, and a state detection means for detecting the current state related to the driving of the moving body, and the field of view to capture the detection target is such that the upper side is shorter than the lower side and both sides are horizontal. A moving object mounting distance detecting device characterized by being set in a trapezoidal shape.
において、検出対象を捉えるべき視野の広さを距離演算
に用いる映像データが取り出された一対のイメージセン
サ群間の互いに対応するイメージセンサ対およびそれに
よる各映像データ内の距離演算に用いる範囲の距離演算
手段に対する指定により設定するようにしたことを特徴
とする移動体搭載用距離検出装置。6. The apparatus according to any one of claims 1 to 5, wherein images corresponding to a pair of image sensor groups from which image data used to calculate a distance of a field of view for capturing a detection target are taken out. A moving object mounting distance detection device, wherein the distance is set by designating a pair of sensors and a range calculation means of a range used for calculating a distance in each image data by the pair.
手段が各イメージセンサ対から取り出されかつ指定され
た範囲内の一対の映像データを相互に順次ずらせながら
両者間の相関を検定する相関値演算手段と,最高相関が
検定されたときの両者のずらせ量から距離を示す指標を
検出する最高相関検出手段とを含むことを特徴とする移
動体搭載用距離検出装置。7. The apparatus according to claim 6 , wherein the distance calculating means detects the correlation between the pair of image data taken out from each image sensor pair and sequentially shifting a pair of image data within a designated range from each other. A moving object mounting distance detecting device, comprising: a value calculating means; and a maximum correlation detecting means for detecting an index indicating a distance from a shift amount of both when the maximum correlation is verified.
を捉えた視野内の複数のイメージセンサ対についての距
離演算をそれぞれ分担する複数の距離演算手段を設け、
映像検出モジュールによる映像データをそれらに共通な
記憶手段に一旦記憶させた後に各距離演算手段に順次読
み込むようにしたことを特徴とする移動体搭載用距離検
出装置。8. The apparatus according to claim 6 , further comprising a plurality of distance calculation means for sharing a distance calculation for each of a plurality of image sensor pairs in a field of view capturing a detection target,
A distance detecting device for mounting on a moving body, characterized in that the image data by the image detecting module is once stored in a storage means common to them and then sequentially read by each distance calculating means.
において、各イメージセンサ群に付随してそれが受ける
平均光量を検出する光量センサを設け、それによる検出
光量に応じて群内のイメージセンサの対象検出時間を調
整するようにしたことを特徴とする移動体搭載用距離検
出装置。9. The apparatus according to claim 1, further comprising a light amount sensor attached to each image sensor group for detecting an average light amount received by the image sensor group, and a light amount sensor within the group is provided according to the detected light amount. A distance detection device for mounting on a moving body, characterized in that a target detection time of an image sensor is adjusted.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05842795A JP3407233B2 (en) | 1995-03-17 | 1995-03-17 | Distance detector for mounting on a moving object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05842795A JP3407233B2 (en) | 1995-03-17 | 1995-03-17 | Distance detector for mounting on a moving object |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08254423A JPH08254423A (en) | 1996-10-01 |
JP3407233B2 true JP3407233B2 (en) | 2003-05-19 |
Family
ID=13084089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05842795A Expired - Fee Related JP3407233B2 (en) | 1995-03-17 | 1995-03-17 | Distance detector for mounting on a moving object |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3407233B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009101687A1 (en) * | 2008-02-14 | 2009-08-20 | Konica Minolta Holdings, Inc. | Range finder |
JP5266539B2 (en) * | 2012-07-25 | 2013-08-21 | コニカミノルタ株式会社 | Ranging device |
KR101303580B1 (en) * | 2013-06-13 | 2013-09-09 | 주식회사그린티 | Black box for car |
KR101466547B1 (en) * | 2013-08-16 | 2014-11-28 | 주식회사엔스케치 | Black box for car |
KR101431576B1 (en) * | 2013-08-16 | 2014-08-20 | 주식회사엔스케치 | Black box for car |
-
1995
- 1995-03-17 JP JP05842795A patent/JP3407233B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH08254423A (en) | 1996-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3212218B2 (en) | Obstacle detection device for vehicles | |
JP5421072B2 (en) | Approaching object detection system | |
JP2800531B2 (en) | Obstacle detection device for vehicles | |
US7557691B2 (en) | Obstacle detector for vehicle | |
JP3125550B2 (en) | Vehicle forward recognition device and vehicle travel control device | |
CN102016921B (en) | Image processing device | |
US20060115121A1 (en) | Abnormality detecting apparatus for imaging apparatus | |
US20070147664A1 (en) | Driving assist method and driving assist apparatus | |
JPH04313199A (en) | Distance between cars detector | |
JP2001233150A (en) | Danger judging device for vehicle and periphery monitoring device for vehicle | |
JP3407233B2 (en) | Distance detector for mounting on a moving object | |
JP2635246B2 (en) | Inter-vehicle distance detection device for tracking the preceding vehicle | |
JP3384278B2 (en) | Distance measuring device | |
JPH06325298A (en) | Device for monitoring vehicle periphery | |
JP4762774B2 (en) | Ranging device and vehicle periphery monitoring device | |
JPH0687377A (en) | Monitor for vehicle periphery | |
US20220368873A1 (en) | Image sensor, imaging apparatus, and image processing method | |
JP2023536676A (en) | ADAS calibration system for calibrating at least one headlamp of a vehicle | |
EP0498416A2 (en) | Inter-car distance detecting device | |
JP3289552B2 (en) | Image sensor sensitivity adjustment method | |
JP7334572B2 (en) | Object detection device and object detection program | |
JP2019028311A (en) | Parallax information generation device and parallax information generation method, imaging device, mobile device, and program | |
JP2014235022A (en) | Navigation device and navigation method | |
US12050268B2 (en) | System to measure a distance to an object without addition of a distance measuring sensor | |
JP3402023B2 (en) | Rear side vehicle alert system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080314 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090314 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |