JP2011227029A - Vehicle periphery monitoring device - Google Patents
Vehicle periphery monitoring device Download PDFInfo
- Publication number
- JP2011227029A JP2011227029A JP2010099536A JP2010099536A JP2011227029A JP 2011227029 A JP2011227029 A JP 2011227029A JP 2010099536 A JP2010099536 A JP 2010099536A JP 2010099536 A JP2010099536 A JP 2010099536A JP 2011227029 A JP2011227029 A JP 2011227029A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- amount
- camera
- predetermined
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両の周辺監視装置に関し、より具体的には、車両の周辺監視装置におけるレーザとカメラの同期ずれ（位相ずれ）を検出し補正することに関する。 The present invention relates to a vehicle periphery monitoring device, and more specifically to detecting and correcting a synchronization shift (phase shift) between a laser and a camera in a vehicle periphery monitoring device.
特許文献１は、歩行者検出装置を開示する。この歩行者検出装置は、スキャン式のレーザレーダと赤外線カメラを併用し、レーザレーダから得られる歩行者候補の検出情報を基に赤外線画像中の歩行者を検出する。
しかし、レーザレーダと赤外線カメラの出力信号に同期ずれ（位相ずれ）があると、両者の検出範囲（位置）がずれてしまい、レーザレーダの検出情報に対応した赤外線画像中の歩行者を検出することができない場合が生ずる。この同期ずれは、スキャンを伴うレーザレーダによる物体の検出時間（例えば約１２０ｍｓ）が赤外線カメラによる当該物体を含む画像の取得時間（例えば約３３ｍｓ）よりも長くなってしまうことが原因で生ずる。 However, if there is a synchronization shift (phase shift) between the output signals of the laser radar and the infrared camera, the detection range (position) of the two shifts, and a pedestrian in the infrared image corresponding to the detection information of the laser radar is detected. There are cases where it cannot be done. This synchronization shift occurs because the detection time (for example, about 120 ms) of the object by the laser radar accompanied by scanning becomes longer than the acquisition time (for example, about 33 ms) of the image including the object by the infrared camera.
特許文献１に記載の装置では、このレーザレーダと赤外線カメラの同期ずれに対する補正については何ら考慮していない。
In the apparatus described in
したがって、本発明は、得られた画像情報からレーダとカメラの出力信号の同期ずれ（位相ずれ）を検知し補正することによって、レーダによって特定されたカメラ画像上での所定物体の抽出精度を向上させることを目的とする。 Therefore, the present invention improves the extraction accuracy of a predetermined object on the camera image specified by the radar by detecting and correcting a synchronization shift (phase shift) between the output signals of the radar and the camera from the obtained image information. The purpose is to let you.
本発明は、車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、前記レーダが検出した物体の位置に対応する、前記カメラが撮像した対応画像上の所定領域を特定して当該所定領域内の前記物体を特定する手段とを備える、車両の周辺監視装置を提供する。その周辺監視装置は、特定された対応画像上の所定領域の移動量の時間変化と、カメラが撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段と、を有する。 The present invention provides a radar that detects an object around a vehicle, a camera that captures an image around the vehicle, and a predetermined area on a corresponding image captured by the camera that corresponds to the position of the object detected by the radar. There is provided a vehicle periphery monitoring device including means for specifying and specifying the object in the predetermined area. The periphery monitoring device calculates a phase shift amount between a temporal change in the movement amount of the predetermined area on the identified corresponding image and a temporal change in the movement amount of the predetermined object on the image captured by the camera; Phase correction means for correcting the phase of the output signal of the radar or camera so that the phase shift amount becomes zero.
本発明によれば、カメラが撮像した画像上での移動量の時間変化をモニターすることで、レーダとカメラの出力信号の同期ずれ（位相ずれ）に起因する、レーダによって特定されるカメラ画像上の領域の位置とカメラによって撮像される所定物体の位置の位置ずれを補正することが可能となり、その結果レーダによって特定されたカメラ画像上での所定物体の特定（抽出）精度を向上させることが可能となる。 According to the present invention, on the camera image specified by the radar caused by the synchronization shift (phase shift) between the radar and the output signal of the camera by monitoring the time change of the movement amount on the image captured by the camera. It is possible to correct the positional deviation between the position of the area and the position of the predetermined object imaged by the camera, and as a result, it is possible to improve the specification (extraction) accuracy of the predetermined object on the camera image specified by the radar. It becomes possible.
本発明の一形態によると、位相補正手段は、車両と所定物体との相対位置の時間変化量が所定量以上の場合に位相補正をおこなう。 According to one aspect of the present invention, the phase correction means performs phase correction when the amount of time change in the relative position between the vehicle and the predetermined object is greater than or equal to the predetermined amount.
本発明の一形態によれば、車両と所定物体との相対位置の時間変化量が所定量以上の場合における画像上の移動量の時間変化をモニターすることにより、レーダとカメラの出力信号の同期ずれ（位相ずれ）補正をより安定した適切なタイミングで確実におこなうことが可能となる。 According to one aspect of the present invention, the time change in the relative position between the vehicle and the predetermined object is monitored by monitoring the time change in the movement amount on the image, thereby synchronizing the output signals of the radar and the camera. Deviation (phase deviation) correction can be reliably performed at a more stable and appropriate timing.
本発明の一形態によると、位相補正手段は、車両の走行中において、レーダが複数の物体を検出した場合に、当該車両の進行にともなって発生する複数の物体の位置の時間変化を結合して得られる変化量が所定量以上の場合に位相補正をおこなう。 According to an aspect of the present invention, the phase correction unit combines time changes in the positions of the plurality of objects that occur as the vehicle travels when the radar detects a plurality of objects while the vehicle is traveling. The phase correction is performed when the amount of change obtained in this way is greater than or equal to a predetermined amount.
本発明の一形態によれば、車両の進行にともなってレーダによって検出される複数の静止物体の動き（移動量）を全体的に捉えた上で同期ずれ補正をおこなう区間（時間）を選択することで、レーダとカメラの出力信号の同期ずれ（位相ずれ）補正をより安定した適切なタイミングで確実におこなうことが可能となる。 According to one aspect of the present invention, a section (time) in which synchronization deviation correction is performed is performed after capturing the movements (movement amounts) of a plurality of stationary objects detected by a radar as the vehicle travels. This makes it possible to reliably perform synchronization deviation (phase deviation) correction between the output signals of the radar and the camera at a more stable and appropriate timing.
本発明の一形態によると、位相補正手段は、相対位置の時間変化が所定時間以上の区間を結合して相対位置の時間変化量を得る。 According to one aspect of the present invention, the phase correction unit obtains the time change amount of the relative position by combining the sections where the time change of the relative position is equal to or longer than the predetermined time.
本発明の一形態によれば、複数の相対位置の時間変化量を結合することでレーダとカメラの出力信号の同期ずれを検出できる必要十分なデータを得ることができ、その検出精度を向上させることが可能となる。 According to one aspect of the present invention, it is possible to obtain necessary and sufficient data capable of detecting the synchronization deviation between the output signals of the radar and the camera by combining the time variation amounts of a plurality of relative positions, and improving the detection accuracy. It becomes possible.
図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、レーザレーダ１０と、赤外線カメラ１２と、赤外線カメラ１２によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１４と、その検出結果に基づいて音または音声で警報を発生するスピーカ１６と、赤外線カメラ１２の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の物体を認識させるための表示を行う表示装置１８とを備える。
Embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a vehicle periphery monitoring device according to an embodiment of the present invention. The periphery monitoring device is mounted on a vehicle, and includes a
なお、レーザレーダ１０は、例えばスキャン式レーザレーダが該当し、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体（候補）の位置（領域）とそれまでの距離を検出する。なお、レーザレーダ１０は、他の種類のレーダ（例えばミリ波レーダ等）であってもよい。また、赤外線カメラ１２も、赤外線以外の他の波長帯の光（例えば可視光）を利用するカメラであってもよい。したがって、以下の説明では、赤外線カメラ１２が撮影したグレースケール画像を対象としているが、これに限定されるものではない。さらに、ナビゲーション装置を備える車両においては、スピーカ１６および表示装置１８として、ナビゲーション装置が備える該当機能を利用してもよい。
The
図１の画像処理ユニット１４は、ブロック１４１〜１４５で示される手段（機能）を含む（実行する）。すなわち、画像処理ユニット１４は、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置を特定する物***置特定手段１４１と、赤外線カメラ１２が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段１４２と、物***置特定手段１４１が特定した物体の位置に対応する、取得された対応するグレースケール画像上の所定領域を特定して当該所定領域内の物体を特定する手段１４３を含む。なお、物***置特定手段１４１は、レーザレーダ１０の一部の機能として構成、すなわちレーザレーダ１０に一体的に組み込んでもよい。
The
画像処理ユニット１４は、さらに、レーザレーダ１０により特定された対応画像上の所定領域の移動量の時間変化と、赤外線カメラ１２が撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段１４４と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段１４５と、を有する。
The
画像処理ユニット１４は、さらに、自車両の速度（車速）を検出する車速センサ、加速度センサ、ヨーレート（旋回方向への回転角の変化速度）を検出するヨーレートセンサ等からの検出信号を受けて必要な処理をおこなう機能を有する。
The
各ブロックの機能は、画像処理ユニット１４が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１４の構成は、ナビゲーション装置の中に組み込んでもよい。
The function of each block is realized by a computer (CPU) included in the
画像処理ユニット１４は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１６に対する駆動信号および表示装置１８に対する表示信号などを出力する出力回路を備えている。レーザレーダ１０と赤外線カメラ１２の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
The
次に、本発明の一実施形態におけるレーダまたはカメラの出力信号の位相補正の方法について説明する。 Next, a method for correcting the phase of the output signal of the radar or camera in one embodiment of the present invention will be described.
図２は、画像処理ユニット１４によって実行される処理フローを示す図である。図２の処理フローは、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。図２のステップＳ１において、同期（位相）ずれ補正をおこなうためのデータ区間を特定するために時系列データを取得する。
FIG. 2 is a diagram illustrating a processing flow executed by the
図３は、図２のステップＳ１の変化量の時系列データを取得するフロー（ルーチン）を示す図である。図３のステップＳ１１において、レーザレーダ１０からの信号を受けて車両の周辺の所定の物体の位置を特定する。その特定には任意の方法を用いることができるが、例えば以下のようにおこなう。
FIG. 3 is a diagram showing a flow (routine) for acquiring time-series data of the change amount in step S1 of FIG. In step S11 of FIG. 3, the position of a predetermined object around the vehicle is specified by receiving a signal from the
レーザレーダ１０としてスキャン式レーザレーダを使用して、その検出点群の幅から物体、例えば歩行者候補の位置を特定する。具体的には、スキャン式レーザレーダでは、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体までの距離を測定する。レーザレーダの位置を原点としてＹ軸をレーダの正面方向とする２次元座標系にこれらの検出点の位置をプロットして検出点の集合を得る。これらの検出点の集合から、各検出点の相互の間隔が所定値以下のものを検出点群としてグループ化し、グループ化した検出点群のうち、広がり幅が所定値以下のものを所定の物体候補（例えば歩行者候補）とみなしてその位置を特定する。
A scanning laser radar is used as the
ステップＳ１２において、赤外線カメラ１２の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール（白黒の濃淡）画像である。対象の温度が高い部分ほど高輝度となる赤外線カメラでは、高輝度部分の明暗値が高い画像データとなり、その温度が低く（低輝度に）なるにつれて明暗値が低い画像データとなる。
In step S12, an output signal (that is, captured image data) of the
ステップＳ１３において、取得されたグレースケール画像に所定の物体を検知する範囲となる所定領域を設定する。この所定領域は、ステップＳ１２においてレーザレーダ１０によって特定された所定の物体候補の位置（領域）を含む領域である。この所定領域の設定は、任意の方法を用いることができるが、例えば物体の位置として歩行者の位置を特定する場合を例にとると、歩行者候補の位置を含む所定サイズの領域（検出点群）を赤外線カメラ１２のカメラ座標系に変換し、グレースケール画像中にマッピング（重畳）して、対応するグレースケール画像上の所定領域として設定する。
In step S13, a predetermined area that is a range in which a predetermined object is detected is set in the acquired grayscale image. This predetermined area is an area including the position (area) of the predetermined object candidate specified by the
ステップＳ１４において、画像上での所定の物体を特定する。この特定は、ステップＳ１３において設定された画像上の所定領域を基準としてその領域内あるいはその近傍の領域内においておこなう。この特定は、任意の方法によりおこなうことができるが、例えば、グレースケール画像を２値化処理して得られる白黒画像から対象物を照合する。具体的には、最初に予めメモリに保管している除外対象物の特徴を有するか否かを調べる。除外対象物とは、例えば発熱体ではあるが明らかに形状等が異なる物体（４足動物、車両等）を意味する。除外対象物に該当しない場合、所定の物体の特徴に該当するか否かを調べる。例えば、所定の物体が歩行者である場合、歩行者の頭部の特徴として丸みを帯びた白部が存在し、その下に胴体、脚部の部分に相当する細長い白部が繋がっていること等が含まれる。また、周知のパターンマッチングを利用し、予め保管してある歩行者を表す所定のパターンとの類似度を算出し、その類似度を歩行者であるか否かの判断材料としてもよい。さらに、歩行者の歩行速度はほぼ一定であることから、レーザレーダ１０から得られる物体の移動速度の情報を判断材料の１つとして用いてもよい。
In step S14, a predetermined object on the image is specified. This specification is performed in the area or in the vicinity of the predetermined area on the image set in step S13. This specification can be performed by an arbitrary method. For example, an object is collated from a black and white image obtained by binarizing a grayscale image. Specifically, first, it is checked whether or not it has the characteristics of the excluded object stored in the memory in advance. The excluded object means, for example, an object (such as a quadruped animal or a vehicle) that is a heating element but has a clearly different shape. If it does not correspond to the excluded object, it is checked whether it corresponds to the characteristic of the predetermined object. For example, when the predetermined object is a pedestrian, a rounded white portion exists as a feature of the pedestrian's head, and an elongated white portion corresponding to the body and leg portions is connected below the white portion. Etc. are included. Further, the similarity with a predetermined pattern representing a pedestrian stored in advance may be calculated using known pattern matching, and the similarity may be used as a material for determining whether or not the user is a pedestrian. Furthermore, since the walking speed of the pedestrian is substantially constant, information on the moving speed of the object obtained from the
ステップＳ１５において、所定の物体が特定できたか否かを判定する。この判定がＮｏの場合は処理を終了して戻る。ステップＳ１５での判定がＹｅｓの場合、ステップＳ１６に進む。ステップＳ１６において、ステップＳ１３において設定された所定領域の重心を算出する。ステップＳ１７において、ステップＳ１４において特定された歩行者像の重心を算出する。 In step S15, it is determined whether a predetermined object has been identified. If this determination is No, the process ends and returns. When the determination in step S15 is Yes, the process proceeds to step S16. In step S16, the center of gravity of the predetermined area set in step S13 is calculated. In step S17, the center of gravity of the pedestrian image specified in step S14 is calculated.
図４を参照しながらステップＳ１６およびＳ１７の重心の算出について説明する。図４は、２値化処理後の白黒画像上の所定領域と所定物体（歩行者）の例を示す図である。なお、図４では線を認識させるために、線の部分を除いて全体が白くなっているが、実際には所定物体である歩行者像２２、２４の回りの背景部分は黒く表示される。
The calculation of the center of gravity in steps S16 and S17 will be described with reference to FIG. FIG. 4 is a diagram illustrating an example of a predetermined area and a predetermined object (pedestrian) on a black and white image after binarization processing. In FIG. 4, in order to recognize the line, the whole is white except for the line part, but the background part around the
図４において、赤外線カメラ１２により取得された２値化処理後の白黒画像２０内に所定物体として歩行者像２２、２４が映っている。（ａ）の像２２は歩行者が静止している場合であり、（ｂ）の像２４は歩行者が図の右方向に移動している場合に相当する。符号２１、２３で指示される枠はレーザレーダ１０により歩行者の位置（領域）として特定された所定領域である。（ａ）の歩行者像２２は所定領域２１内に収まっており両者の位置ずれは小さいのに対して、（ｂ）における両者の位置ずれは大きくなっている。（ｂ）での位置ずれは、主にレーザレーダ１０の出力信号（処理）の遅れに起因しており、レーダとカメラの同期ずれが比較的大きい場合に相当する。一方（ａ）の場合は両者の同期ずれがほとんどないか小さい場合に相当する。同期ずれ補正が特に必要となるのは（ｂ）のような場合である。
In FIG. 4,
図４の（ａ）において、所定領域２１の重心はＱ１の位置上にあるとして、歩行者像２２の重心はＰ１の位置上にあるとしてそれぞれ算出される。両者の重心は、位置ずれ量ｄ１分だけずれているがその位置ずれ量は小さい。同様に（ｂ）において、所定領域２３の重心はＱ２の位置上にあるとして、歩行者像２４の重心はＰ２の位置上にあるとしてそれぞれ算出される。両者の重心は、位置ずれ量ｄ２分だけずれておりその位置ずれ量は大きい。なお、各重心は所定のタイミング毎に算出され、その位置情報および時間変化量がデータとしてメモリに保管される。また、ステップＳ１６およびＳ１７において、重心の代わりに他の任意の基準により定まる位置、例えば所定領域および歩行者像の水平方向の最大幅の中点等を算出してもよい。
4A, the center of gravity of the predetermined
図３のステップＳ１８において、所定領域の重心と物体の重心それぞれの時間変化量が所定量よりも大きいか否かを判定する。図４の例で言えば、同期ずれ補正が特に必要となる（ｂ）において、所定領域２３の重心と歩行者像２４の重心それぞれの時間変化量が所定量よりも大きいか否かを判定する。この判定を行うのは、時間変化量の比較的大きな箇所のデータのみを位相ずれ検出に利用するためである。この判定がＮｏの場合は処理を終了して戻る。この判定がＹｅｓの場合は、ステップＳ１９において、所定領域の重心のデータ（時間変化量を含む）を時系列データとしてメモリに保管する。同様に続くステップＳ２０において、物体の重心データ（時間変化量を含む）を時系列データとしてメモリに保管する。
In step S18 of FIG. 3, it is determined whether or not the time change amounts of the center of gravity of the predetermined region and the center of gravity of the object are larger than the predetermined amount. In the example of FIG. 4, it is determined whether or not the amount of time change of each of the center of gravity of the predetermined
図２に戻って、ステップＳ２において、ステップＳ１において得られた所定領域および重心の時系列データの量が所定量以上であるか否かを判定する。この判定を行うのは、時間変化量のデータが十分に蓄積し位相ずれ検出が効果的に得られる状態にするためである。この判定がＮｏの場合はステップＳ１に戻り、所定量以上の時系列データが得られるまでデータ取得が繰り返される。 Returning to FIG. 2, in step S <b> 2, it is determined whether the amount of time-series data of the predetermined region and the center of gravity obtained in step S <b> 1 is equal to or greater than a predetermined amount. This determination is performed in order to obtain a state in which time variation data is sufficiently accumulated and phase shift detection can be effectively obtained. If this determination is No, the process returns to step S1, and data acquisition is repeated until time series data of a predetermined amount or more is obtained.
ここで、この所定量以上の時系列データ取得に関してさらに説明する。位相ズレの補正には、レーダとカメラの位相ずれが比較的大きく発生する期間、すなわちレーダまたはカメラが検出する物体の時間的な位置変化量が比較的大きくレーダとカメラの位相ずれ量が検出しやすい期間においてその位相ずれ量を検出することが検出精度の観点等から好ましい。しかし、例えば車両が一般道を走行している場合、その補正に必要な変化を連続的に安定して観測することは困難である。そこで、例えば以下のような方法により、一定時間にわたってデータが時間的に変化している時系列データを取得する。 Here, the time series data acquisition of the predetermined amount or more will be further described. The phase shift is corrected by detecting the phase shift between the radar and the camera during the period when the phase shift between the radar and the camera is relatively large, that is, the amount of temporal position change of the object detected by the radar or camera is relatively large. It is preferable from the viewpoint of detection accuracy and the like to detect the amount of phase shift in an easy period. However, for example, when the vehicle is traveling on a general road, it is difficult to continuously and stably observe changes necessary for the correction. Therefore, for example, the following method is used to acquire time-series data in which data changes over time over a certain period of time.
図７はレーダまたはカメラが検出する物体の時間的な位置変化量が大きい区間Ａ〜Ｄの部分のみを寄せ集めて、連続する区間Ａ´〜Ｄ´を作ることを説明するための図である。図７において、上側に示される時間的な位置変化量が大きい区間Ａ〜Ｄの各部分を寄せ集めて、図の下側の時間Ｔ１における連続する区間Ａ´〜Ｄ´を作る。図７における物体の時間的な位置変化量が大きい区間は、例えば車両の旋回中のヨーレート、あるいは加／減速時の車速等、車両状態の変化が大きい場合の車両の走行状態を示す各種検出信号から得ることが望ましい。このように、物体の時間的な位置変化量が大きい区間のみを結合し、その結合した区間でのレーザとカメラの位相ずれ量を検出して補正をおこなうことにより、その補正の精度、信頼度を向上させることが可能となる。 FIG. 7 is a diagram for explaining that the continuous sections A ′ to D ′ are created by gathering only the sections of the sections A to D where the temporal position change amount of the object detected by the radar or the camera is large. . In FIG. 7, the sections A to D having a large temporal position change amount shown on the upper side are gathered together to create continuous sections A ′ to D ′ at the time T1 on the lower side of the figure. The section where the amount of change in position of the object in FIG. 7 is large is various detection signals indicating the running state of the vehicle when the change in the vehicle state is large, such as the yaw rate during turning of the vehicle or the vehicle speed during acceleration / deceleration. It is desirable to obtain from In this way, by combining only sections where the amount of change in the position of the object over time is large, and detecting and correcting the phase shift between the laser and camera in the combined section, the accuracy and reliability of the correction Can be improved.
図８は、所定量以上の時系列データを取得する他の例を説明するための図である。自車が移動（走行）する車載環境では、静止ターゲットは頻繁に入れ替わるため、一般道で補正に必要な変化を連続的に安定して観測することは困難である。そこで、図８の例では、異なる静止ターゲット（歩行者等）の移動速度をつなげることで時間的に連続したデータを生成する。 FIG. 8 is a diagram for explaining another example of acquiring time-series data of a predetermined amount or more. In an in-vehicle environment in which the host vehicle moves (runs), stationary targets are frequently replaced, so it is difficult to continuously and stably observe changes necessary for correction on a general road. Therefore, in the example of FIG. 8, temporally continuous data is generated by connecting the moving speeds of different stationary targets (pedestrians and the like).
図８の（ａ）では車両３０の進行方向において３つの静止ターゲット１〜３が存在する。車両３０の進行にともない３つの静止ターゲット１〜３は徐々に車両３０に近づいてくる。（ｂ）はその場合の車両３０の速度変化３２と静止ターゲット１〜３の速度変化３３を示している。静止ターゲット１〜３の速度変化３３は、図示したように、各静止ターゲット１〜３の速度変化Ａ〜Ｃをつなげることで得ており、車両３０の速度変化３２に対して対称（負）な関係（グラフ）となる。これにより、車両と静止ターゲットの相対的な速度が変化する区間を得ることができ、図７の場合と同様に、その区間におけるレーザとカメラの位相ずれ量を検出して補正をおこなうことにより、その補正の精度、信頼度を向上させることが可能となる。
In FIG. 8A, there are three
図２のステップＳ２の判定がＹｅｓになった後、ステップＳ３において、レーダとカメラの出力信号の位相ずれ量を算出するルーチンを実行する。図５は、その位相ずれ量の算出フローを示す図である。ステップＳ３１において、所定領域の重心および物体の重心の時系列データから位相ずれ量ΔＴを算出する。 After the determination in step S2 of FIG. 2 is Yes, in step S3, a routine for calculating the phase shift amount between the output signals of the radar and the camera is executed. FIG. 5 is a diagram illustrating a calculation flow of the phase shift amount. In step S31, a phase shift amount ΔT is calculated from time series data of the center of gravity of the predetermined area and the center of gravity of the object.
図９は、位相ずれ量ΔＴの算出方法を説明するための図である。（ａ）は図４の（ｂ）の部分を抜き出した２値化後の白黒画像２０であり、図４と同じ符号番号を付けてある。図４の説明において既に述べたように、レーザレーダ１０により歩行者の位置（領域）として特定された所定領域２３は、赤外線カメラ１２により取得された２値化処理後の歩行者像２４よりもずれて表示される。
FIG. 9 is a diagram for explaining a method of calculating the phase shift amount ΔT. (A) is a binarized black and
図９の（ｂ）は（ａ）の場合に対応する白黒画像２０上の歩行者像２４の移動量の時間変化Ａと所定領域２３の移動量の時間変化Ｂを示す図である。（ｂ）のデータは、例えば上述した図７または図８の例によって得られるような比較的変化の大きい連続した区間における各移動量データを切り出して得られるデータの一部である。（ｂ）のグラフから、所定領域２３の移動量変化Ｂは、歩行者像２４の移動量変化ＡよりもΔＴ１時間だけ位相（信号の立ち上がり）が遅れていることがわかる。したがって、この場合の位相ずれ量はΔＴ１となる。この位相ずれ量ΔＴ１は、（ａ）の画像上での位置ずれ量ｄ２に対応している。
FIG. 9B is a diagram showing a time change A of the movement amount of the
このように、所定区間（時間）における画像上の所定領域および所定物体像の移動量の時間的な変化をモニターすることで両者の位相ずれ量を得ることができる。この位相ずれ量はレーザレーダ１０と赤外線カメラ１２の出力信号の同期ずれ量に対応している。なお、２つの移動量変化の立ち上がり時刻のずれを見る代わりに、両者の相互相関係数を求めてあるいは位相限定相関法を利用して、得られる関数の周期から位相ずれ量を求めてもよい。
As described above, by monitoring the temporal change in the movement amount of the predetermined area on the image and the predetermined object image in the predetermined section (time), the phase shift amount of both can be obtained. This amount of phase shift corresponds to the amount of synchronization shift between the output signals of the
図２のステップＳ４において、位相補正をおこなうルーチンを実行する。図６は、その位相補正のフローを示す図である。ステップＳ４１において、ステップＳ４１において得られた位相ずれ量ΔＴが所定のしきい値ΔＴｔｈよりも大きいか否かを判定する。しきい値ΔＴｔｈは、位相補正の必要がある位相ずれ量がある場合のみを選択できるように設定される。例えば、上述した図４及び図９の例では、図４（ｂ）における位相ずれ量ΔＴ１はしきい値ΔＴｔｈよりも大きい場合に該当し、図４（ａ）における位相ずれ量はしきい値ΔＴｔｈよりも小さい場合に該当する。この判定がＮｏの場合、処理を終了して戻る。判定がＹｅｓの場合、次のステップＳ４２に進む。 In step S4 of FIG. 2, a routine for performing phase correction is executed. FIG. 6 is a diagram showing a flow of the phase correction. In step S41, it is determined whether or not the phase shift amount ΔT obtained in step S41 is larger than a predetermined threshold value ΔTth. The threshold value ΔTth is set so that it can be selected only when there is a phase shift amount that requires phase correction. For example, in the example of FIGS. 4 and 9 described above, the phase shift amount ΔT1 in FIG. 4B corresponds to the case where the phase shift amount ΔTth is larger than the threshold value ΔTth, and the phase shift amount in FIG. This is the case when it is smaller. If this determination is No, the process ends and returns. If the determination is Yes, the process proceeds to the next step S42.
ステップＳ４２において、カメラ画像上の物***置またはレーダによる特定領域（所定領域）をΔＴ分だけずらす。具体的には、レーザレーダ１０の出力信号の処理と赤外線カメラ１２の出力信号の画像処理において、図９（ｂ）の位相ずれ量ΔＴ１が無くなる（ゼロになる）ように補正（調整）する。例えば、赤外線カメラ１２の出力信号の立ち上がり時刻を位相ずれ量ΔＴ１に相当する分だけ遅らせる、あるいは所定のクロック（タイミング）信号に同期して、レーザレーダ１０および外線カメラ１２の出力信号が立ち上がるようにする等の処理をおこなう。
In step S42, the object position on the camera image or the specific area (predetermined area) by the radar is shifted by ΔT. Specifically, in the processing of the output signal of the
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。 The embodiment of the present invention has been described above, but the present invention is not limited to such an embodiment, and can be modified and used without departing from the spirit of the present invention.
１０ レーザレーダ、
１２ 赤外線カメラ、
１４ 画像処理ユニット
１６ スピーカ、
１８ 表示装置、
２０ カメラ画像
２１、２３ レーダで検出された所定領域
２２、２４ 歩行者像
３０ 車両
10 Laser radar,
12 Infrared camera,
14
18 display device,
20
Claims (4)
特定された前記対応画像上の所定領域の移動量の時間変化と、前記カメラが撮像した画像上での前記所定物体の移動量の時間変化との位相ずれ量を算出する手段と、
前記位相ずれ量がゼロになるように、前記レーダまたは前記カメラの出力信号の位相補正をおこなう位相補正手段と、を有する車両の周辺監視装置。 A radar that detects an object around the vehicle, a camera that captures an image around the vehicle, and a predetermined area on the corresponding image captured by the camera corresponding to the position of the object detected by the radar A vehicle surroundings monitoring device comprising means for identifying the object in a predetermined area,
Means for calculating a phase shift amount between a time change of the movement amount of the predetermined area on the identified corresponding image and a time change of the movement amount of the predetermined object on the image captured by the camera;
A vehicle periphery monitoring apparatus comprising: phase correction means for performing phase correction of an output signal of the radar or the camera so that the phase shift amount becomes zero.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010099536A JP5416026B2 (en) | 2010-04-23 | 2010-04-23 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010099536A JP5416026B2 (en) | 2010-04-23 | 2010-04-23 | Vehicle periphery monitoring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011227029A true JP2011227029A (en) | 2011-11-10 |
| JP5416026B2 JP5416026B2 (en) | 2014-02-12 |
Family
ID=45042520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010099536A Expired - Fee Related JP5416026B2 (en) | 2010-04-23 | 2010-04-23 | Vehicle periphery monitoring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5416026B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011232139A (en) * | 2010-04-27 | 2011-11-17 | Honda Motor Co Ltd | Periphery monitoring device for vehicle |
| JP2013057541A (en) * | 2011-09-07 | 2013-03-28 | Ihi Corp | Method and device for measuring relative position to object |
| KR20170081523A (en) * | 2016-01-04 | 2017-07-12 | 한국전자통신연구원 | Advanced driver assisted system and method for processing information in the system |
| JP2019015606A (en) * | 2017-07-06 | 2019-01-31 | 本田技研工業株式会社 | Information processing method and information processing device |
| WO2020075525A1 (en) * | 2018-10-12 | 2020-04-16 | ソニーセミコンダクタソリューションズ株式会社 | Sensor fusion system, synchronization control device, and synchronization control method |
| JP2022513780A (en) * | 2019-06-25 | 2022-02-09 | シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド | Sensor data processing methods, devices, electronic devices and systems |
| WO2023193408A1 (en) * | 2022-04-07 | 2023-10-12 | 上海禾赛科技有限公司 | Laser radar and laser radar control method |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104427442A (en) * | 2013-08-22 | 2015-03-18 | 昆山迈思科兄弟光电科技有限公司 | Diaphragm laser welding apparatus and processing technology thereof |
| JP6396714B2 (en) * | 2014-08-06 | 2018-09-26 | 株式会社デンソー | Object recognition device |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004037239A (en) * | 2002-07-03 | 2004-02-05 | Fuji Heavy Ind Ltd | Identical object judging method and system, and misregistration correcting method and system |
| JP2006011570A (en) * | 2004-06-23 | 2006-01-12 | Daihatsu Motor Co Ltd | Camera calibration method and camera calibration device |
| JP2007274037A (en) * | 2006-03-30 | 2007-10-18 | Daihatsu Motor Co Ltd | Method and device for recognizing obstacle |
| JP2008003779A (en) * | 2006-06-21 | 2008-01-10 | Hitachi Ltd | Measurement data processing apparatus of preventive safety car |
| JP2008143447A (en) * | 2006-12-13 | 2008-06-26 | Honda Motor Co Ltd | Vehicle safety control device |
| JP2010061567A (en) * | 2008-09-05 | 2010-03-18 | Toyota Motor Corp | Object detecting apparatus |
| JP2011220732A (en) * | 2010-04-06 | 2011-11-04 | Honda Motor Co Ltd | Vehicle surroundings monitoring device |
-
2010
- 2010-04-23 JP JP2010099536A patent/JP5416026B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004037239A (en) * | 2002-07-03 | 2004-02-05 | Fuji Heavy Ind Ltd | Identical object judging method and system, and misregistration correcting method and system |
| JP2006011570A (en) * | 2004-06-23 | 2006-01-12 | Daihatsu Motor Co Ltd | Camera calibration method and camera calibration device |
| JP2007274037A (en) * | 2006-03-30 | 2007-10-18 | Daihatsu Motor Co Ltd | Method and device for recognizing obstacle |
| JP2008003779A (en) * | 2006-06-21 | 2008-01-10 | Hitachi Ltd | Measurement data processing apparatus of preventive safety car |
| JP2008143447A (en) * | 2006-12-13 | 2008-06-26 | Honda Motor Co Ltd | Vehicle safety control device |
| JP2010061567A (en) * | 2008-09-05 | 2010-03-18 | Toyota Motor Corp | Object detecting apparatus |
| JP2011220732A (en) * | 2010-04-06 | 2011-11-04 | Honda Motor Co Ltd | Vehicle surroundings monitoring device |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011232139A (en) * | 2010-04-27 | 2011-11-17 | Honda Motor Co Ltd | Periphery monitoring device for vehicle |
| JP2013057541A (en) * | 2011-09-07 | 2013-03-28 | Ihi Corp | Method and device for measuring relative position to object |
| KR20170081523A (en) * | 2016-01-04 | 2017-07-12 | 한국전자통신연구원 | Advanced driver assisted system and method for processing information in the system |
| KR102506642B1 (en) * | 2016-01-04 | 2023-03-07 | 한국전자통신연구원 | Advanced driver assisted system and method for processing information in the system |
| JP2019015606A (en) * | 2017-07-06 | 2019-01-31 | 本田技研工業株式会社 | Information processing method and information processing device |
| WO2020075525A1 (en) * | 2018-10-12 | 2020-04-16 | ソニーセミコンダクタソリューションズ株式会社 | Sensor fusion system, synchronization control device, and synchronization control method |
| JP2022513780A (en) * | 2019-06-25 | 2022-02-09 | シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド | Sensor data processing methods, devices, electronic devices and systems |
| WO2023193408A1 (en) * | 2022-04-07 | 2023-10-12 | 上海禾赛科技有限公司 | Laser radar and laser radar control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5416026B2 (en) | 2014-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5416026B2 (en) | Vehicle periphery monitoring device | |
| JP4173901B2 (en) | Vehicle periphery monitoring device | |
| JP4733756B2 (en) | Vehicle periphery monitoring device | |
| US8810653B2 (en) | Vehicle surroundings monitoring apparatus | |
| JP4410292B1 (en) | Vehicle periphery monitoring device | |
| JP4173902B2 (en) | Vehicle periphery monitoring device | |
| JP4631096B2 (en) | Vehicle periphery monitoring device | |
| JP4815488B2 (en) | Vehicle periphery monitoring device | |
| US9158738B2 (en) | Apparatus for monitoring vicinity of a vehicle | |
| JP4528283B2 (en) | Vehicle periphery monitoring device | |
| JP2007334751A (en) | Vehicle periphery monitoring device | |
| JP2016136321A (en) | Object detection device and object detection method | |
| JP2007304033A (en) | Monitoring device for vehicle periphery, vehicle, vehicle peripheral monitoring method, and program for vehicle peripheral monitoring | |
| JP2006155388A (en) | Vehicle circumference monitoring device | |
| JP5259647B2 (en) | Vehicle periphery monitoring device | |
| JP2012014553A (en) | Apparatus for monitoring surrounding of vehicle | |
| JP5172887B2 (en) | Vehicle periphery monitoring device | |
| JP5455772B2 (en) | Vehicle periphery monitoring device | |
| JP2008108118A (en) | Image processor | |
| JP2007233487A (en) | Pedestrian detection method, device, and program | |
| JP5383246B2 (en) | Vehicle periphery monitoring device | |
| JP2010092437A (en) | Vehicle periphery monitoring device | |
| JP2008084138A (en) | Vehicle surrounding monitoring device and surrounding monitoring program | |
| JP4975776B2 (en) | Vehicle periphery monitoring device | |
| JP5904927B2 (en) | Vehicle periphery monitoring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121211 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131114 |
|
| LAPS | Cancellation because of no payment of annual fees |