JP2016149611A - Optical axis deviation detection device - Google Patents
Optical axis deviation detection device Download PDFInfo
- Publication number
- JP2016149611A JP2016149611A JP2015024525A JP2015024525A JP2016149611A JP 2016149611 A JP2016149611 A JP 2016149611A JP 2015024525 A JP2015024525 A JP 2015024525A JP 2015024525 A JP2015024525 A JP 2015024525A JP 2016149611 A JP2016149611 A JP 2016149611A
- Authority
- JP
- Japan
- Prior art keywords
- optical axis
- distance
- target
- deviation detection
- axis deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
Description
本発明は、光軸ずれ検出装置に関する。 The present invention relates to an optical axis deviation detection device.
従来、車両に搭載したカメラを用いて取得した画像に基づき、車両前方の白線や障害物等を認識する技術が知られている。この技術において白線等の位置を正確に認識するためには、カメラにおける光軸のずれを精度よく求めることが必要となる。 Conventionally, a technique for recognizing a white line or an obstacle in front of a vehicle based on an image acquired using a camera mounted on the vehicle is known. In this technique, in order to accurately recognize the position of a white line or the like, it is necessary to accurately determine the deviation of the optical axis in the camera.
特許文献1記載の発明は、画像において左右の白線を認識し、その左右の白線の交点を消失点とする。そして、消失点の縦方向での位置に基づき、カメラの光軸を検出する。
The invention described in
特許文献1記載の発明では、左右の白線を認識できない場合(例えば、渋滞時に先行車両により白線が隠されている場合や、道路上に白線が存在しない場合等)は、カメラの光軸を検出できない。
In the invention described in
本発明は、こうした問題にかんがみてなされたものであり、カメラにおける光軸のずれを容易に検出できる光軸ずれ検出装置を提供することを目的としている。 The present invention has been made in view of these problems, and an object of the present invention is to provide an optical axis deviation detection device that can easily detect an optical axis deviation in a camera.
本発明の光軸ずれ検出装置は、カメラを用いて画像を取得する画像取得ユニットと、画像において物標を認識する物標認識ユニットと、画像における物標の縦方向での位置と、画像における縦方向での基準位置との位置関係に基づき、物標までの距離である第1の距離を算出する第1の距離算出ユニットと、飛行時間測距法を用いて物標までの距離である第2の距離を算出する第2の距離算出ユニットと、第1の距離と第2の距離との距離差に基づき、カメラにおける光軸のずれを検出する光軸ずれ検出ユニットとを備える。 An optical axis deviation detection device of the present invention includes an image acquisition unit that acquires an image using a camera, a target recognition unit that recognizes a target in the image, a position of the target in the vertical direction in the image, Based on the positional relationship with the reference position in the vertical direction, a first distance calculation unit that calculates a first distance that is a distance to the target, and a distance to the target using the time-of-flight ranging method A second distance calculating unit for calculating the second distance; and an optical axis deviation detecting unit for detecting an optical axis deviation in the camera based on a distance difference between the first distance and the second distance.
本発明の光軸ずれ検出装置は、道路上の白線を必ずしも認識していなくても、カメラにおける光軸のずれを容易に検出することができる。 The optical axis deviation detecting device of the present invention can easily detect the optical axis deviation in the camera even if the white line on the road is not necessarily recognized.
本発明の実施形態を図面に基づき説明する。
<第1の実施形態>
1.光軸ずれ検出装置1の構成
光軸ずれ検出装置1の構成を図1、図2に基づき説明する。光軸ずれ検出装置1は、車両に搭載される車載装置である。以下では、光軸ずれ検出装置1を搭載する車両を自車両とする。光軸ずれ検出装置1は、図1に示すように、制御ユニット3と、カメラ5と、ミリ波センサ7とを備える。
Embodiments of the present invention will be described with reference to the drawings.
<First Embodiment>
1. Configuration of Optical Axis
制御ユニット3は、CPU、RAM、ROM等を備える周知のコンピュータである。制御ユニット3は、ROMに記憶したプログラムにより、後述する処理を実行する。制御ユニット3は、機能的に、画像取得ユニット9、物標認識ユニット11、第1の距離算出ユニット13、第2の距離算出ユニット15、光軸ずれ検出ユニット17、及び補正ユニット19を備える。各ユニットの機能は後述する。 The control unit 3 is a known computer including a CPU, RAM, ROM, and the like. The control unit 3 executes processing to be described later with a program stored in the ROM. The control unit 3 functionally includes an image acquisition unit 9, a target recognition unit 11, a first distance calculation unit 13, a second distance calculation unit 15, an optical axis deviation detection unit 17, and a correction unit 19. The function of each unit will be described later.
カメラ5は単眼カメラである。カメラ5は、図2に示すように、自車両21の車室内のうち、前方側に固定されている。カメラ5は、自車両21の前方の風景を撮影し、画像を作成することができる。カメラ5の地上からの高さは一定である。カメラ5の光軸Kは、本来、図2に示す光軸K1である。ただし、光軸Kは、何らかの理由により、光軸K1からずれることがある。
The camera 5 is a monocular camera. As shown in FIG. 2, the camera 5 is fixed to the front side of the passenger compartment of the
ミリ波センサ7は、ミリ波を自車両の前方に射出する。また、ミリ波センサ7は、自車両の前方にある物標において反射したミリ波(反射波)を受信する。ミリ波センサ7は、飛行時間測距法(Time of Flight、TOF)を用いて、自車両から、ミリ波を反射した物標までの距離を算出する。すなわち、ミリ波を射出した時刻から、反射波を受信した時刻までの時間に、ミリ波が進行する距離の1/2を、自車両から物標までの距離として算出する。以下では、このように算出した距離を第2の距離とする。ミリ波センサ7で検出する物標としては、他の車両(例えば、先行車両、停止車両、対向車両等)、道路上の固定物、歩行者等が挙げられる。 The millimeter wave sensor 7 emits millimeter waves in front of the host vehicle. Further, the millimeter wave sensor 7 receives a millimeter wave (reflected wave) reflected from a target in front of the host vehicle. The millimeter wave sensor 7 uses a time of flight (TOF) method to calculate the distance from the vehicle to the target reflecting the millimeter wave. That is, ½ of the distance traveled by the millimeter wave from the time when the millimeter wave is emitted to the time when the reflected wave is received is calculated as the distance from the host vehicle to the target. Hereinafter, the distance calculated in this way is referred to as a second distance. Examples of the target detected by the millimeter wave sensor 7 include other vehicles (for example, preceding vehicles, stopped vehicles, oncoming vehicles, etc.), fixed objects on the road, pedestrians, and the like.
ミリ波センサ7は、図2に示すように、自車両21の前端に取り付けられており、自車両21の前方にミリ波を射出することができる。よって、ミリ波センサ7は、自車両21の前方に存在する物標を検出し、自車両からその物標までの距離(第2の距離)を測定することができる。
As shown in FIG. 2, the millimeter wave sensor 7 is attached to the front end of the
自車両は、図1に示すように、光軸ずれ検出装置1に加えて、報知装置23、及び車両制御装置25を備えている。報知装置23は、後述するように、光軸Kのずれを検出した場合、画像や音声等により、自車両のドライバに報知を行う。
As shown in FIG. 1, the host vehicle includes a
車両制御装置25は、第1の距離算出ユニット13及び第2の距離算出ユニット15が後述するように算出した物標までの距離に基づき、自車両の制御を行う。
例えば、自車両の前方に存在する物標までの距離が所定の閾値以下である場合、車両制御装置25は、衝突回避処理(自動ブレーキ、自動操舵等)を行う。また、車両制御装置25は、先行車両(物標の一例)との距離を一定に保つように、クルーズコントロールを行う。
The vehicle control device 25 controls the host vehicle based on the distance to the target calculated by the first distance calculation unit 13 and the second distance calculation unit 15 as described later.
For example, when the distance to the target existing in front of the host vehicle is equal to or less than a predetermined threshold, the vehicle control device 25 performs a collision avoidance process (automatic braking, automatic steering, etc.). In addition, the vehicle control device 25 performs cruise control so that the distance from the preceding vehicle (an example of a target) is kept constant.
2.光軸ずれ検出装置1が実行する処理
光軸ずれ検出装置1(特に制御ユニット3)が所定時間ごとに繰り返し実行する処理を図3〜図7に基づき説明する。
2. Processing Performed by Optical Axis
図3のステップ1では、画像取得ユニット9が、カメラ5を用いて自車両の前方を撮影し、画像を取得する。
ステップ2では、物標認識ユニット11が、前記ステップ1で取得した画像に対し、周知の画像認識処理を実行し、物標を認識する。認識する物標としては、例えば、他の車両、道路上の固定物、歩行者等が挙げられる。
In
In
ステップ3では、自車両から、前記ステップ2で認識した物標までの距離Dを、第1の距離算出ユニット13が算出する。この算出方法を図4に基づき説明する。図4は、前記ステップ1で取得した画像27と、その画像27中に存在する、前記ステップ2で認識した物標29とを示している。第1の距離算出ユニット13は、予め、画像27中の消失点31の位置を記憶している。画像27における消失点31の位置は固定されている。画像27の下端27Aを原点とする縦方向の軸をY軸とする。消失点31のY軸での座標はY0(固定値)である。
In step 3, the first distance calculation unit 13 calculates the distance D from the host vehicle to the target recognized in
なお、画像27における消失点31の位置は、カメラ5の光軸Kが本来の光軸K1と一致するとき、真実の消失点と一致する。一方、カメラ5の光軸Kが本来の光軸K1からずれているとき、消失点31は真実の消失点からずれている。
The position of the vanishing
物標29のY軸での座標をYsとし、Y0とYsとの差をΔYとする。ΔYの値と、自車両から物標29までの距離Dとの間には相関関係があり、ΔYを決めると、それに対応する距離Dは一義的に決まる。すなわち、距離Dが大きいほど、Ysは高くなり、ΔYは小さくなる。また、距離Dが小さいほど、Ysは低くなり、ΔYは大きくなる。
The coordinates in the Y-axis of the
第1の距離算出ユニット13は、予め、距離DとΔYとの関係を規定したマップを備えている。第1の距離算出ユニット13は、画像27において、まず、Ysを求め、次にY0からYsを差し引いてΔYを求め、最後に、そのΔYを上述したマップに代入し、距離Dを算出する。このように算出した距離Dを、以下では第1の距離とする。
The first distance calculation unit 13 includes a map that defines the relationship between the distance D and ΔY in advance. In the
なお、第1の距離は、カメラ5における光軸Kのずれに応じて変動する。このことを図5、図6に基づき説明する。光軸Kが本来の光軸K1であるときのYsをYs1とし、光軸Kが本来の光軸K1よりも下向きの光軸K2である場合のYsをYs2とし、光軸Kが本来の光軸K1よりも上向きの光軸K3である場合のYsをYs3とする。 The first distance varies according to the deviation of the optical axis K in the camera 5. This will be described with reference to FIGS. The Y s when the optical axis K is the original optical axis K 1 and Y s1, the Y s where the optical axis K is downward optical axis K 2 than the original optical axis K 1 and Y s2, Let Y s3 be Y s when the optical axis K is the optical axis K 3 upward from the original optical axis K 1 .
また、光軸Kが本来の光軸K1であるときのΔY(Y0とYs1との差)をΔY1とし、光軸Kが本来の光軸K1よりも下向きの光軸K2である場合のΔY(Y0とYs2との差)をΔY2とし、光軸Kが本来の光軸K1よりも上向きの光軸K3である場合のΔY(Y0とYs3との差)をΔY3とする。 Further, the [Delta] Y (difference between Y 0 and Y s1) when the optical axis K is the original optical axis K 1 and [Delta] Y 1, downward optical axis K 2 from the optical axis K is the original optical axis K 1 ΔY (difference between Y 0 and Y s2 ) is ΔY 2, and ΔY (Y 0 and Y s3 is the optical axis K 3 upward from the original optical axis K 1. the difference) of the ΔY 3.
図6に示すように、ΔY2はΔY1より小さいから、光軸Kが光軸K2であるときの第1の距離は、光軸Kが光軸K1であるときの第1の距離より大きくなる。また、ΔY3はΔY1より大きいから、光軸Kが光軸K3であるときの第1の距離は、光軸Kが光軸K1であるときの第1の距離より小さくなる。 Since ΔY 2 is smaller than ΔY 1 as shown in FIG. 6, the first distance when the optical axis K is the optical axis K 2 is the first distance when the optical axis K is the optical axis K 1. Become bigger. Further, since ΔY 3 is larger than ΔY 1 , the first distance when the optical axis K is the optical axis K 3 is smaller than the first distance when the optical axis K is the optical axis K 1 .
上述したマップは、光軸Kが光軸K1であるとき、第1の距離が正しい値(第2の距離と一致する値)となるように設定されている。よって、光軸Kが光軸K2であるとき、第1の距離は、第2の距離より大きくなり、光軸Kが光軸K3であるとき、第1の距離は、第2の距離より小さくなる。また、光軸Kが光軸K1から大きくずれるほど、第1の距離と第2の距離との差は大きくなる。 Map described above, when the optical axis K is an optical axis K 1, is set as the first distance is correct value (a value that matches the second distance). Therefore, when the optical axis K is an optical axis K 2, the first distance is greater than the second distance, when the optical axis K is an optical axis K 3, the first distance, the second distance Smaller. Further, as the optical axis K deviates greatly from the optical axis K 1, the first distance and the difference between the second distance becomes larger.
なお、消失点31は、画像27における縦方向での基準位置の一例である。また、座標Ysは、画像27における物標29の縦方向での位置の一例である。また、上述した第1の距離の算出方法は、画像27における物標29の縦方向での位置と、画像27における縦方向での基準位置との位置関係に基づき、自車両から物標29までの第1の距離を算出する方法の一例である。
The vanishing
図3に戻り、ステップ4では、第2の距離算出ユニット15が、ミリ波センサ7を用いて、自車両から、前記ステップ2で認識した物標までの距離(第2の距離)を算出する。第2の距離の算出方法は、上述したように、飛行時間測距法を用いる方法である。 Returning to FIG. 3, in step 4, the second distance calculation unit 15 uses the millimeter wave sensor 7 to calculate the distance from the host vehicle to the target recognized in step 2 (second distance). . As described above, the second distance calculation method uses the time-of-flight ranging method.
ステップ5では、光軸ずれ検出ユニット17が、前記ステップ3で算出した第1の距離から、前記ステップ4で算出した第2の距離を差し引き、距離差を算出する。第1の距離の方が第2の距離より大きい場合、距離差は正の値となり、第1の距離の方が第2の距離より小さい場合、距離差は負の値となる。 In step 5, the optical axis deviation detection unit 17 subtracts the second distance calculated in step 4 from the first distance calculated in step 3 to calculate a distance difference. If the first distance is greater than the second distance, the distance difference is a positive value, and if the first distance is less than the second distance, the distance difference is a negative value.
ステップ6では、前記ステップ5で算出した距離差の絶対値が、予め設定された閾値より大きいか否かを、光軸ずれ検出ユニット17が判断する。距離差の絶対値が閾値より大きい場合はステップ7に進み、距離差の絶対値が閾値未満である場合はステップ8に進む。 In step 6, the optical axis deviation detection unit 17 determines whether or not the absolute value of the distance difference calculated in step 5 is larger than a preset threshold value. If the absolute value of the distance difference is greater than the threshold value, the process proceeds to step 7, and if the absolute value of the distance difference is less than the threshold value, the process proceeds to step 8.
なお、上述したように、光軸Kが光軸K1から大きくずれるほど、第1の距離と第2の距離との差は大きくなるから、光軸Kが光軸K1から大きくずれている場合はステップ7に進み、光軸Kが光軸K1から大きくずれてはいない場合はステップ8に進むことになる。 As described above, as the optical axis K deviates greatly from the optical axis K 1, since the first distance and the difference between the second distance becomes larger, the optical axis K is deviated from the optical axis K 1 If the process proceeds to step 7, when the optical axis K is not is largely deviated from the optical axis K 1 it will proceed to step 8.
ステップ7では、光軸ずれ検出ユニット17が、報知装置23を用いて報知を行う。
ステップ8では、補正ユニット19が、前記ステップ5で算出した距離差が減少する方向に、消失点31の位置を補正する。この補正について図7A及び図7Bを用いて説明する。
In step 7, the optical axis deviation detection unit 17 performs notification using the
In step 8, the correction unit 19 corrects the position of the vanishing
図7Aは、光軸KがK2であるため(光軸K1より下向きであるため)、画像27において物標29が実際よりも上方に存在している場合を表す。この場合、ΔY(すなわちΔY2)がΔY1より小さくなり、第1の距離は第2の距離よりも大きい。補正ユニット19は、この場合、消失点31の位置を、上方に補正する。補正量は、補正後の消失点31を用いて算出した第1の距離が第2の距離と等しくなる量とする。
Figure 7A (since is downward from the optical axis K 1) the optical axis K is for a K 2, represents an if present above the
図7Bは、光軸KがK3であるため(光軸K1より上向きであるため)、画像27において物標29が実際よりも下方に存在している場合を表す。この場合、ΔY(すなわちΔY3)がΔY1より大きくなり、第1の距離は第2の距離よりも小さい。補正ユニット19は、この場合、消失点31の位置を、下方に補正する。補正量は、補正後の消失点31を用いて算出した第1の距離が第2の距離と等しくなる量とする。
FIG. 7B shows a case where the
3.光軸ずれ検出装置1が奏する効果
(1A)光軸ずれ検出装置1は、カメラ5における光軸Kのずれを容易に検出することができる。特に、道路上の白線を必ずしも認識していなくても、光軸Kのずれを検出することができる。
3. Effects produced by the optical axis deviation detection device 1 (1A) The optical axis
(1B)光軸ずれ検出装置1は、光軸Kのずれを補正し、第1の距離の算出精度を高めることができる。
(1C)光軸ずれ検出装置1は、距離差の絶対値が予め設定された閾値より大きい場合に報知を行う。そのことにより、自車両のドライバは、光軸Kのずれが大きいことを知ることができる。また、報知を行うのは、光軸Kのずれが大きい場合に限られるので、過度の報知によってドライバが煩わされることが起こり難い。
(1B) The optical axis
(1C) The optical axis
(1D)光軸ずれ検出装置1は、ミリ波センサ7を用いて第2の距離を取得する。そのことにより、第2の距離を正確に算出することができる。
<第2の実施形態>
1.光軸ずれ検出装置1の構成
本実施形態の光軸ずれ検出装置1の構成は前記第1の実施形態と同様である。
(1D) The optical axis
<Second Embodiment>
1. Configuration of Optical Axis
2.光軸ずれ検出装置1が実行する処理
本実施形態の光軸ずれ検出装置1が実行する処理を、図8に基づき説明する。本実施形態の光軸ずれ検出装置1が実行する処理は基本的には前記第1の実施形態と同様である。以下では、前記第1の実施形態との相違点を中心に説明する。
2. Processing Performed by Optical Axis
ステップ11では、画像取得ユニット9が、カメラ5を用いて自車両の前方を撮影し、画像を取得する。
ステップ12では、物標認識ユニット11が、前記ステップ11で取得した画像に対し、周知の画像認識処理を実行し、物標を認識する。
In step 11, the image acquisition unit 9 captures the front of the host vehicle using the camera 5 and acquires an image.
In step 12, the target recognition unit 11 performs a known image recognition process on the image acquired in step 11 to recognize the target.
ステップ13では、前記ステップ12において複数の物標を認識できたか否かを、物標認識ユニット11が判断する。複数の物標を認識できた場合はステップ14に進み、それ以外の場合(単一の物標のみを認識したか、全く物標を認識しなかった場合)は本処理を終了する。 In step 13, the target recognition unit 11 determines whether or not a plurality of targets can be recognized in step 12. If a plurality of targets can be recognized, the process proceeds to step 14, and in other cases (only a single target is recognized or no target is recognized), this processing is terminated.
ステップ14では、第1の距離算出ユニット13が、複数の物標のそれぞれについて、第1の距離を算出する。第1の距離の算出方法は前記第1の実施形態と同様である。
ステップ15では、第2の距離算出ユニット15が、複数の物標のそれぞれについて、第2の距離を算出する。第2の距離の算出方法は前記第1の実施形態と同様である。
In step 14, the first distance calculation unit 13 calculates a first distance for each of the plurality of targets. The calculation method of the first distance is the same as that in the first embodiment.
In step 15, the second distance calculation unit 15 calculates a second distance for each of the plurality of targets. The calculation method of the second distance is the same as that of the first embodiment.
ステップ16では、光軸ずれ検出ユニット17が、複数の物標のそれぞれについて、距離差(第1の距離から第2の距離を差し引いた値)を算出する。
ステップ17では、光軸ずれ検出ユニット17が、距離差間のばらつきが予め設定された閾値以下であるか否かを判断する。ここで、距離差間のばらつきとは、以下の意味を有する。前記ステップ12で認識された複数の物標を29a、29b、29c・・・・とする。各物標における距離差を、Sa、Sb、Sc・・・とする。距離差間のばらつきとは、Sa、Sb、Sc・・・の標準偏差である。
In step 16, the optical axis deviation detection unit 17 calculates a distance difference (a value obtained by subtracting the second distance from the first distance) for each of the plurality of targets.
In step 17, the optical axis deviation detection unit 17 determines whether or not the variation between the distance differences is equal to or less than a preset threshold value. Here, the variation between the distance differences has the following meaning. The plurality of targets recognized in the step 12 are 29a, 29b, 29c,. The distance difference in each target is Sa, Sb, Sc. The variation between the distance differences is a standard deviation of Sa, Sb, Sc.
距離差間のばらつきが閾値以下である場合はステップ18に進み、距離差間のばらつきが閾値より大きい場合は本処理を終了する。
ステップ18では、まず、光軸ずれ検出ユニット17が、各物標における距離差Sa、Sb、Sc・・・の平均値ave(S)を算出する。次に、平均値ave(S)の絶対値が、予め設定された閾値より大きいか否かを判断する。平均値ave(S)の絶対値が閾値より大きい場合はステップ19に進み、閾値以下である場合はステップ20に進む。
If the variation between the distance differences is equal to or smaller than the threshold value, the process proceeds to step 18, and if the variation between the distance differences is larger than the threshold value, the present process is terminated.
In step 18, first, the optical axis deviation detection unit 17 calculates an average value ave (S) of the distance differences Sa, Sb, Sc... For each target. Next, it is determined whether or not the absolute value of the average value ave (S) is larger than a preset threshold value. If the absolute value of the average value ave (S) is greater than the threshold value, the process proceeds to step 19, and if it is equal to or less than the threshold value, the process proceeds to step 20.
ステップ19では、光軸ずれ検出ユニット17が、報知装置23を用いて報知を行う。
ステップ20では、補正ユニット19が、前記ステップ18で算出した平均値ave(S)が減少する方向に、消失点31の位置を補正する。補正の方法は前記第1の実施形態と同様である。
In step 19, the optical axis deviation detection unit 17 performs notification using the
In step 20, the correction unit 19 corrects the position of the vanishing
3.光軸ずれ検出装置1が奏する効果
以上詳述した第2の実施形態によれば、前述した第1の実施形態の効果(1A)〜(1D)に加え、以下の効果が得られる。
3. Effects exhibited by the optical axis
(2A)光軸ずれ検出装置1は、複数の物標のそれぞれについて算出した距離差間のばらつきが予め設定された閾値以下であることを条件として、光軸Kのずれを検出する。そのため、光軸Kのずれを一層正確に検出できる。
<第3の実施形態>
1.光軸ずれ検出装置1の構成
本実施形態の光軸ずれ検出装置1の構成は前記第1の実施形態と同様である。
(2A) The optical axis
<Third Embodiment>
1. Configuration of Optical Axis
2.光軸ずれ検出装置1が実行する処理
本実施形態の光軸ずれ検出装置1が実行する処理を、図9に基づき説明する。本実施形態の光軸ずれ検出装置1が実行する処理は基本的には前記第1の実施形態と同様である。以下では、前記第1の実施形態との相違点を中心に説明する。
2. Processing Performed by Optical Axis
ステップ21では、画像取得ユニット9が、カメラ5を用いて自車両の前方を撮影し、画像を取得する。
ステップ22では、物標認識ユニット11が、前記ステップ21で取得した画像に対し、周知の画像認識処理を実行し、物標を認識する。
In
In step 22, the target recognition unit 11 performs a known image recognition process on the image acquired in
ステップ23では、前記ステップ22で認識した物標が停止車両であるか否かを、物標認識ユニット11が判断する。停止車両である場合はステップ24に進み、それ以外の場合(停止車両以外の物標のみを認識したか、全く物標を認識しなかった場合)は本処理を終了する。
In
ステップ24では、認識した停止車両について、所定の時間ごとに、繰り返し、第1の距離及び第2の距離を算出する。すなわち、時刻t1、t2、t3・・・tnのそれぞれにおいて、第1の距離及び第2の距離を算出する。nは2以上の自然数である。第1の距離及び第2の距離の算出方法は前記第1の実施形態と同様である。なお、自車両が走行中であれば、時間が経過するにつれて、自車両と停止車両との距離は変化する。 In step 24, the first distance and the second distance are repeatedly calculated for the recognized stopped vehicle every predetermined time. That is, at each time t 1, t 2, t 3 ··· t n, calculating the first distance and the second distance. n is a natural number of 2 or more. The calculation method of the first distance and the second distance is the same as that of the first embodiment. If the host vehicle is traveling, the distance between the host vehicle and the stopped vehicle changes as time elapses.
ステップ25では、光軸ずれ検出ユニット17が、各時刻t1、t2、t3・・・tnにおける距離差をそれぞれ算出する。すなわち、時刻tiにおいて算出した第1の距離から、同時刻において算出した第2の距離を差し引き、時刻tiにおける距離差Piを算出する(i=1、2、3・・・・n)。 In step 25, the optical axis deviation detection unit 17 calculates the distance difference at each of the times t 1 , t 2 , t 3 ... T n . In other words, the first distance calculated at time t i, subtracting the second distance calculated at the same time, calculates the distance difference P i at time t i (i = 1,2,3 ···· n ).
ステップ26では、光軸ずれ検出ユニット17が、距離差Pi間のばらつきが予め設定された閾値以下であるか否かを判断する。ここで、距離差Pi間のばらつきとは、距離差Piの標準偏差を意味する。 In step 26, the optical axis deviation detection unit 17 determines whether or not the variation between the distance differences P i is equal to or less than a preset threshold value. Here, the variation of the distance difference P i, refers to the standard deviation of the distance difference P i.
距離差Pi間のばらつきが閾値以下である場合はステップ27に進み、距離差Pi間のばらつきが閾値より大きい場合は本処理を終了する。
ステップ27では、まず、光軸ずれ検出ユニット17が、距離差Piの平均値ave(P)を算出する。次に、平均値ave(P)の絶対値が、予め設定された閾値より大きいか否かを判断する。平均値ave(P)の絶対値が閾値より大きい場合はステップ28に進み、閾値以下である場合はステップ29に進む。
When the variation between the distance differences P i is equal to or smaller than the threshold value, the process proceeds to step 27, and when the variation between the distance differences P i is larger than the threshold value, this process is terminated.
In
ステップ28では、光軸ずれ検出ユニット17が、報知装置23を用いて報知を行う。
ステップ29では、補正ユニット19が、前記ステップ27で算出した平均値ave(P)が減少する方向に、消失点31の位置を補正する。補正の方法は前記第1の実施形態と同様である。
In step 28, the optical axis deviation detection unit 17 performs notification using the
In
3.光軸ずれ検出装置1が奏する効果
以上詳述した第3の実施形態によれば、前述した第1の実施形態の効果(1A)〜(1D)に加え、以下の効果が得られる。
3. Effects exhibited by the optical axis
(3A)光軸ずれ検出装置1は、停止している同一の物標(停止車両)について繰り返し算出した距離差Pi間のばらつきが予め設定された閾値以下であることを条件として、光軸Kのずれを検出する。そのため、光軸Kのずれを一層正確に検出できる。
<その他の実施形態>
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
(3A) The optical axis
<Other embodiments>
As mentioned above, although embodiment of this invention was described, this invention can take a various form, without being limited to the said embodiment.
(1)前記第1〜第3の実施形態にて、画像27における縦方向での基準位置は、消失点以外の位置であってもよい。
(2)前記第1〜第3の実施形態において、ミリ波センサ7に代えて、他の測距手段を用いてもよい。例えば、いずれかの波長の光、電波、音波を用い、飛行時間測距法により第2の距離を算出可能な手段(例えば、レーダー、ライダー等)を適宜選択して適用することができる。
(1) In the first to third embodiments, the reference position in the vertical direction in the
(2) In the first to third embodiments, other ranging means may be used instead of the millimeter wave sensor 7. For example, means (for example, a radar, a rider, etc.) that can calculate the second distance by time-of-flight ranging using light, radio waves, and sound waves of any wavelength can be appropriately selected and applied.
(3)前記第1〜第3の実施形態において、補正を行うとき、消失点31の位置はそのままとし、物標29の位置を補正してもよい。この場合も、ΔYを、光軸Kのずれが無い場合の値であるΔY1とすることができる。
(3) In the first to third embodiments, when the correction is performed, the position of the vanishing
(4)前記第2、第3の実施形態において、距離差間のばらつきは、標準偏差以外のものであってもよく、例えば、距離差のうち、最大値と最小値との差等としてもよい。
(5)前記第1〜第3の実施形態において、距離差の絶対値が所定の閾値より大きいことを条件として補正を行うようにしてもよい。
(4) In the second and third embodiments, the variation between the distance differences may be other than the standard deviation. For example, the difference between the maximum value and the minimum value among the distance differences may be used. Good.
(5) In the first to third embodiments, the correction may be performed on condition that the absolute value of the distance difference is larger than a predetermined threshold value.
(6)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。 (6) The functions of one constituent element in the above embodiment may be distributed as a plurality of constituent elements, or the functions of a plurality of constituent elements may be integrated into one constituent element. Further, at least a part of the configuration of the above embodiment may be replaced with a known configuration having the same function. Moreover, you may abbreviate | omit a part of structure of the said embodiment. In addition, at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment. In addition, all the aspects included in the technical idea specified only by the wording described in the claim are embodiment of this invention.
(7)上述した光軸ずれ検出装置の他、当該光軸ずれ検出装置を構成要素とするシステム、当該光軸ずれ検出装置の制御ユニットとしてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、光軸ずれ検出方法、光軸ずれ補正方法等、種々の形態で本発明を実現することもできる。 (7) In addition to the optical axis deviation detection device described above, a system including the optical axis deviation detection device as a component, a program for causing a computer to function as a control unit of the optical axis deviation detection device, and a medium on which the program is recorded The present invention can also be realized in various forms such as an optical axis deviation detection method and an optical axis deviation correction method.
1…光軸ずれ検出装置、3…制御ユニット、5…カメラ、7…ミリ波センサ、9…画像取得ユニット、11…物標認識ユニット、13…第1の距離算出ユニット、15…第2の距離算出ユニット、17…光軸ずれ検出ユニット、19…補正ユニット、21…自車両、23…報知装置、25…車両制御装置、27…画像、27A…下端、29…物標、31…消失点
DESCRIPTION OF
Claims (7)
前記画像において物標を認識する物標認識ユニットと、
前記画像における前記物標の縦方向での位置と、前記画像における縦方向での基準位置との位置関係に基づき、前記物標までの距離である第1の距離を算出する第1の距離算出ユニットと、
飛行時間測距法を用いて前記物標までの距離である第2の距離を算出する第2の距離算出ユニットと、
前記第1の距離と前記第2の距離との距離差に基づき、前記カメラにおける光軸のずれを検出する光軸ずれ検出ユニットと、
を備えることを特徴とする光軸ずれ検出装置。 An image acquisition unit for acquiring an image using a camera;
A target recognition unit for recognizing a target in the image;
A first distance calculation that calculates a first distance that is a distance to the target based on a positional relationship between a vertical position of the target in the image and a reference position in the vertical direction of the image. Unit,
A second distance calculating unit that calculates a second distance that is a distance to the target using time-of-flight ranging;
An optical axis deviation detection unit that detects an optical axis deviation in the camera based on a distance difference between the first distance and the second distance;
An optical axis misalignment detection apparatus comprising:
前記距離差が減少する方向に、前記基準位置を補正する補正ユニットを備えることを特徴とする光軸ずれ検出装置。 The optical axis deviation detection device according to claim 1,
An optical axis misalignment detection apparatus comprising: a correction unit that corrects the reference position in a direction in which the distance difference decreases.
前記光軸ずれ検出ユニットは、複数の前記物標のそれぞれについて算出した前記距離差間のばらつきが予め設定された閾値以下であることを条件として、前記距離差に基づき、前記光軸のずれを検出することを特徴とする光軸ずれ検出装置。 The optical axis deviation detection device according to claim 1 or 2,
The optical axis deviation detection unit is configured to detect the deviation of the optical axis based on the distance difference on condition that variation between the distance differences calculated for each of the plurality of targets is equal to or less than a preset threshold value. An optical axis misalignment detection apparatus characterized by detecting.
前記光軸ずれ検出ユニットは、停止している同一の前記物標について繰り返し算出した前記距離差間のばらつきが予め設定された閾値以下であることを条件として、前記距離差に基づき、前記光軸のずれを検出することを特徴とする光軸ずれ検出装置。 The optical axis deviation detection device according to claim 1 or 2,
The optical axis deviation detection unit is based on the distance difference based on the distance difference, provided that a variation between the distance differences repeatedly calculated for the same target that is stopped is equal to or less than a preset threshold value. An optical axis misalignment detection apparatus characterized by detecting a misalignment.
前記光軸ずれ検出ユニットは、前記距離差が予め設定された閾値より大きい場合、前記光軸のずれを検出することを特徴とする光軸ずれ検出装置。 The optical axis misalignment detection apparatus according to any one of claims 1 to 4,
The optical axis deviation detection unit detects the optical axis deviation when the distance difference is larger than a preset threshold value.
前記物標が車両であることを特徴とする光軸ずれ検出装置。 The optical axis deviation detection device according to any one of claims 1 to 5,
The optical axis deviation detection device, wherein the target is a vehicle.
前記第2の距離算出ユニットは、ミリ波の飛行時間を用いて前記第2の距離を算出することを特徴とする光軸ずれ検出装置。 The optical axis misalignment detection apparatus according to any one of claims 1 to 6,
The second distance calculation unit calculates the second distance using a flight time of millimeter waves.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015024525A JP6390459B2 (en) | 2015-02-10 | 2015-02-10 | Optical axis deviation detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015024525A JP6390459B2 (en) | 2015-02-10 | 2015-02-10 | Optical axis deviation detector |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016149611A true JP2016149611A (en) | 2016-08-18 |
JP6390459B2 JP6390459B2 (en) | 2018-09-19 |
Family
ID=56688026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015024525A Active JP6390459B2 (en) | 2015-02-10 | 2015-02-10 | Optical axis deviation detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6390459B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113064143A (en) * | 2020-08-14 | 2021-07-02 | 百度(美国)有限责任公司 | Recalibration determination system for autonomous vehicles with multiple LiDAR sensors |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007163258A (en) * | 2005-12-13 | 2007-06-28 | Alpine Electronics Inc | Apparatus and method for compensating onboard sensor |
JP2010234857A (en) * | 2009-03-30 | 2010-10-21 | Denso Corp | Display device for vehicle |
JP2011180020A (en) * | 2010-03-02 | 2011-09-15 | Daihatsu Motor Co Ltd | Distance recognition device |
JP2011220732A (en) * | 2010-04-06 | 2011-11-04 | Honda Motor Co Ltd | Vehicle surroundings monitoring device |
JP2016038261A (en) * | 2014-08-06 | 2016-03-22 | 株式会社デンソー | Object recognition device |
-
2015
- 2015-02-10 JP JP2015024525A patent/JP6390459B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007163258A (en) * | 2005-12-13 | 2007-06-28 | Alpine Electronics Inc | Apparatus and method for compensating onboard sensor |
JP2010234857A (en) * | 2009-03-30 | 2010-10-21 | Denso Corp | Display device for vehicle |
JP2011180020A (en) * | 2010-03-02 | 2011-09-15 | Daihatsu Motor Co Ltd | Distance recognition device |
JP2011220732A (en) * | 2010-04-06 | 2011-11-04 | Honda Motor Co Ltd | Vehicle surroundings monitoring device |
JP2016038261A (en) * | 2014-08-06 | 2016-03-22 | 株式会社デンソー | Object recognition device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113064143A (en) * | 2020-08-14 | 2021-07-02 | 百度(美国)有限责任公司 | Recalibration determination system for autonomous vehicles with multiple LiDAR sensors |
Also Published As
Publication number | Publication date |
---|---|
JP6390459B2 (en) | 2018-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6988200B2 (en) | Vehicle control device | |
US10217024B2 (en) | Object detection apparatus | |
US10688997B2 (en) | Lane merging determination apparatus | |
US10592755B2 (en) | Apparatus and method for controlling vehicle | |
US10431088B2 (en) | Object detection apparatus | |
US11003927B2 (en) | Target recognition apparatus, target recognition method, and vehicle control system | |
JP6443318B2 (en) | Object detection device | |
US9945927B2 (en) | Object detection apparatus | |
US10380893B2 (en) | Object detection apparatus | |
JP6645254B2 (en) | Object recognition device | |
US10527719B2 (en) | Object detection apparatus and object detection method | |
JP6354659B2 (en) | Driving support device | |
JP2011164989A (en) | Apparatus for determining unstable state | |
JP2009230389A (en) | Recognition system | |
JP2016103223A (en) | Vehicle control device | |
JP2011232155A (en) | Object recognition device and program | |
JP2019100853A (en) | Control device, detection device, control method, program, and storage medium | |
JP2009098023A (en) | Object detector and object detection method | |
JP6544168B2 (en) | Vehicle control device and vehicle control method | |
US11407390B2 (en) | Vehicle control apparatus and vehicle control method | |
JP2016153264A (en) | Obstacle detection device | |
JP6390459B2 (en) | Optical axis deviation detector | |
JP2019100855A (en) | Control device, detection device, control method, program, and storage medium | |
WO2019107550A1 (en) | Control device, detection device, control method, program, and storage medium | |
JP2022095980A (en) | Sensor controller |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180724 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180806 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6390459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |