JP5193148B2 - Vehicle imaging device - Google Patents

Vehicle imaging device Download PDF

Info

Publication number
JP5193148B2
JP5193148B2 JP2009203687A JP2009203687A JP5193148B2 JP 5193148 B2 JP5193148 B2 JP 5193148B2 JP 2009203687 A JP2009203687 A JP 2009203687A JP 2009203687 A JP2009203687 A JP 2009203687A JP 5193148 B2 JP5193148 B2 JP 5193148B2
Authority
JP
Japan
Prior art keywords
vehicle
vanishing point
calculating
component
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009203687A
Other languages
Japanese (ja)
Other versions
JP2011055342A (en
Inventor
敦央 江口
裕次 横地
昌樹 根來
直人 阿久津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2009203687A priority Critical patent/JP5193148B2/en
Publication of JP2011055342A publication Critical patent/JP2011055342A/en
Application granted granted Critical
Publication of JP5193148B2 publication Critical patent/JP5193148B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

この発明は、車両用撮像装置に関する。   The present invention relates to an imaging device for a vehicle.

従来、例えば車両の走行路の曲率と、車両に搭載されて車外を撮像する撮像手段により得られた撮像画像に基づき検出した走行路の走行区分線に対する車両の位置とに基づき、撮像画像上の消失点を算出し、この消失点に基づき撮像手段の姿勢（例えば、光軸など）に係る変数を補正する位置検出装置が知られている（例えば、特許文献１参照）。   Conventionally, on the captured image, for example, based on the curvature of the traveling path of the vehicle and the position of the vehicle with respect to the traveling division line of the traveling path detected based on the captured image obtained by imaging means mounted on the vehicle and capturing the outside of the vehicle. There is known a position detection device that calculates a vanishing point and corrects a variable related to the posture (for example, an optical axis) of an imaging unit based on the vanishing point (see, for example, Patent Document 1).

特開２００２−２５９９９５号公報JP 2002-259995 A

ところで、上記従来技術に係る位置検出装置によれば、撮像画像から検出される走行路上の左右の各走行区分線による走行区分線モデルの交点を消失点としており、例えば撮像手段の分解能が低い場合などにおいては、消失点付近での検出結果の誤差が増大し、消失点の検出精度を向上させることが困難であるというという問題が生じる。   By the way, according to the position detection device according to the above-described prior art, the intersection of the travel lane marking model by the left and right travel lane markings on the travel road detected from the captured image is used as the vanishing point, for example, when the resolution of the imaging means is low In such a case, the error of the detection result near the vanishing point increases, and there is a problem that it is difficult to improve the vanishing point detection accuracy.

本発明は上記事情に鑑みてなされたもので、演算負荷が増大することを防止しつつ消失点の検出精度を向上させ、車両の走行中での光軸補正を消失点に基づき精度よく行なうことが可能な車両用撮像装置を提供することを目的としている。   The present invention has been made in view of the above circumstances, and it is possible to improve the detection accuracy of a vanishing point while preventing an increase in calculation load, and to accurately perform optical axis correction during traveling of the vehicle based on the vanishing point. An object of the present invention is to provide an imaging device for a vehicle that can perform the above-described operation.

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る車両用撮像装置は、車両の外界を撮像して得た撮像画像を出力する車載撮像手段（例えば、実施の形態での車載カメラ１１）と、前記車載撮像手段から出力された前記撮像画像において所定の特徴点を抽出し、該特徴点の移動の時間変化からオプティカルフローを演算する演算手段（例えば、実施の形態でのオプティカルフロー演算部２１）と、前記演算手段により演算された前記オプティカルフローに基づき、前記車載撮像手段の光軸を補正する補正手段（例えば、実施の形態での光軸補正部２６）とを備える車両用撮像装置であって、前記撮像画像上で直交するＸ方向およびＹ方向に対して、前記演算手段により演算された前記オプティカルフローのＸ成分およびＹ成分を算出するＸＹ成分算出手段（例えば、実施の形態でのＸＹ成分算出部２２）と、前記ＸＹ成分算出手段により算出された前記Ｘ成分または前記Ｙ成分の大きさが所定閾値以上である画像領域を抽出する領域抽出手段（例えば、実施の形態での画像領域抽出部２３）と、前記領域抽出手段により抽出された前記画像領域に基づき前記オプティカルフローの消失点を算出する消失点算出手段（例えば、実施の形態での消失点算出部２５）とを備え、前記補正手段は、前記消失点算出手段により算出された前記消失点に基づき前記車載撮像手段の光軸を補正する。   In order to solve the above-described problems and achieve the object, the vehicle imaging device according to the first aspect of the present invention includes an in-vehicle imaging means (for example, an implementation) that outputs a captured image obtained by imaging the outside world of the vehicle. In-vehicle camera 11) in the form, and a calculation means (for example, implementation) that extracts a predetermined feature point from the captured image output from the vehicle-mounted imaging means and calculates an optical flow from the time change of the movement of the feature point Optical flow calculation unit 21) in the form and correction means for correcting the optical axis of the in-vehicle imaging unit based on the optical flow calculated by the calculation unit (for example, optical axis correction unit 26 in the embodiment) And an X component of the optical flow computed by the computing means with respect to the X and Y directions orthogonal to each other on the captured image An XY component calculation means for calculating a component (for example, the XY component calculation unit 22 in the embodiment) and an image in which the size of the X component or the Y component calculated by the XY component calculation means is a predetermined threshold value or more Area extraction means for extracting an area (for example, the image area extraction unit 23 in the embodiment) and vanishing point calculation means for calculating the vanishing point of the optical flow based on the image area extracted by the area extraction means ( For example, the vanishing point calculation unit 25 in the embodiment is provided, and the correction unit corrects the optical axis of the in-vehicle imaging unit based on the vanishing point calculated by the vanishing point calculation unit.

さらに、前記消失点算出手段は、前記画像領域以外の領域のＸ方向の中心位置またはＹ方向の中心位置を前記消失点とする。 Furthermore, before Symbol vanishing point calculating means, the central position or center position in the Y direction of the X direction of a region other than the image area and the vanishing point.

また、本発明の第２態様に係る車両用撮像装置は、車両の外界を撮像して得た撮像画像を出力する車載撮像手段（例えば、実施の形態での車載カメラ１１）と、前記車載撮像手段から出力された前記撮像画像において所定の特徴点を抽出し、該特徴点の移動の時間変化からオプティカルフローを演算する演算手段（例えば、実施の形態でのオプティカルフロー演算部２１）と、前記演算手段により演算された前記オプティカルフローに基づき、前記車載撮像手段の光軸を補正する補正手段（例えば、実施の形態での光軸補正部２６）と、を備える車両用撮像装置であって、前記撮像画像上で直交するＸ方向およびＹ方向に対して、前記演算手段により演算された前記オプティカルフローのＸ成分およびＹ成分を算出するＸＹ成分算出手段（例えば、実施の形態でのＸＹ成分算出部２２）と、車両の速度を検出する速度検出手段（例えば、実施の形態での速度検出部２４）と、前記ＸＹ成分算出手段により算出された前記Ｘ成分または前記Ｙ成分の大きさが所定閾値以上である画像領域を抽出するとともに、前記速度検出手段により検出される前記速度が低下することに伴い、前記所定閾値が増大傾向に変化するように設定する領域抽出手段（例えば、実施の形態での画像領域抽出部２３）と、前記領域抽出手段により抽出された前記画像領域に基づき前記オプティカルフローの消失点を算出する消失点算出手段（例えば、実施の形態での消失点算出部２５）と、を備え、前記補正手段は、前記消失点算出手段により算出された前記消失点に基づき前記車載撮像手段の光軸を補正する。 Moreover , the vehicle imaging device according to the second aspect of the present invention includes a vehicle-mounted imaging means (for example, the vehicle-mounted camera 11 in the embodiment) that outputs a captured image obtained by imaging the outside of the vehicle, and the vehicle-mounted imaging. A predetermined feature point is extracted from the captured image output from the means, and a calculation means (for example, an optical flow calculation unit 21 in the embodiment) for calculating an optical flow from a temporal change in movement of the feature point; An imaging apparatus for a vehicle, comprising: correction means for correcting the optical axis of the in-vehicle imaging means based on the optical flow calculated by the calculation means (for example, the optical axis correction unit in the embodiment), XY component calculating means (example) for calculating the X and Y components of the optical flow calculated by the calculating means with respect to the X and Y directions orthogonal to each other on the captured image In an XY component calculation unit 22) in the embodiment, a speed detecting means for detecting the speed of the vehicle (e.g., velocity detection unit 24 in the embodiment), wherein X calculated by the XY component calculating means An image region in which the magnitude of the component or the Y component is greater than or equal to a predetermined threshold is extracted, and the predetermined threshold is set to increase as the speed detected by the speed detecting unit decreases. Region extraction means (for example, image region extraction unit 23 in the embodiment) and vanishing point calculation means (for example, implementation) for calculating the vanishing point of the optical flow based on the image region extracted by the region extraction means. And the correction means corrects the optical axis of the in-vehicle image pickup means based on the vanishing point calculated by the vanishing point calculation means.

本発明の第１態様に係る車両用撮像装置によれば、オプティカルフローのＸ成分またはＹ成分の大きさが所定閾値以上である画像領域に基づき消失点を算出することから、検出精度が低いオプティカルフロー（つまり、Ｘ成分またはＹ成分の大きさが所定閾値未満のオプティカルフロー）によって消失点の算出精度が低下してしまうことを防止することができる。これにより、例えば撮像手段の分解能が低い場合や消失点付近での所望の検出精度を確保することが困難な場合などであっても、消失点の算出精度を向上させ、車両の走行中での光軸補正を消失点に基づき精度よく行なうことができる。   According to the vehicular imaging apparatus of the first aspect of the present invention, the vanishing point is calculated based on the image area in which the magnitude of the X component or the Y component of the optical flow is equal to or larger than a predetermined threshold value. It is possible to prevent the vanishing point calculation accuracy from being reduced by the flow (that is, the optical flow in which the magnitude of the X component or the Y component is less than a predetermined threshold). Thus, for example, even when the resolution of the imaging means is low or when it is difficult to ensure the desired detection accuracy near the vanishing point, the vanishing point calculation accuracy is improved and the vehicle is running. Optical axis correction can be accurately performed based on the vanishing point.

さらに、消失点の算出に要する演算負荷が増大することを防止しつつ消失点の算出精度を向上させることができる。 Furthermore, it is possible to improve the calculation accuracy of the vanishing point while preventing the calculation load required for calculating the vanishing point is increased.

また、本発明の第２態様に係る車両用撮像装置によれば、オプティカルフローのＸ成分またはＹ成分の大きさが所定閾値以上である画像領域に基づき消失点を算出することから、検出精度が低いオプティカルフロー（つまり、Ｘ成分またはＹ成分の大きさが所定閾値未満のオプティカルフロー）によって消失点の算出精度が低下してしまうことを防止することができる。これにより、例えば撮像手段の分解能が低い場合や消失点付近での所望の検出精度を確保することが困難な場合などであっても、消失点の算出精度を向上させ、車両の走行中での光軸補正を消失点に基づき精度よく行なうことができる。さらに、オプティカルフローの大きさおよび演算結果の信頼性は車両の速度に応じて変化し、速度が低下することに伴い、オプティカルフローの大きさおよび演算結果の信頼性は低下する。このため、速度が低下することに伴い、消失点の算出に用いられる画像領域を抽出するときに参照される所定閾値を増大傾向（つまり、抽出が厳しくなるよう）に変化させることで、消失点の算出精度が低下してしまうことを防止することができる。 In addition , according to the vehicular imaging apparatus according to the second aspect of the present invention, the vanishing point is calculated based on the image area in which the magnitude of the X component or the Y component of the optical flow is equal to or greater than a predetermined threshold value, so that the detection accuracy is high. It is possible to prevent the vanishing point calculation accuracy from being lowered due to a low optical flow (that is, an optical flow in which the magnitude of the X component or the Y component is less than a predetermined threshold). Thus, for example, even when the resolution of the imaging means is low or when it is difficult to ensure the desired detection accuracy near the vanishing point, the vanishing point calculation accuracy is improved and the vehicle is running. Optical axis correction can be accurately performed based on the vanishing point. Furthermore, the magnitude of the optical flow and the reliability of the calculation result change according to the speed of the vehicle. As the speed decreases, the magnitude of the optical flow and the reliability of the calculation result decrease. For this reason, as the speed decreases, the vanishing point is changed by changing the predetermined threshold referred to when extracting the image region used for calculating the vanishing point so as to increase (that is, the extraction becomes severe). It can prevent that the calculation precision of falls.

本発明の実施の形態に係る車両用撮像装置の構成図である。It is a block diagram of the imaging device for vehicles which concerns on embodiment of this invention. 本発明の実施の形態に係る車両用撮像装置の画像データでのオプティカルフローのＹ成分の例を示す図である。It is a figure which shows the example of the Y component of the optical flow in the image data of the imaging device for vehicles which concerns on embodiment of this invention. 本発明の実施の形態に係る車両用撮像装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the imaging device for vehicles which concerns on embodiment of this invention.

以下、本発明の一実施形態に係る車両用撮像装置について添付図面を参照しながら説明する。
本実施の形態による車両用撮像装置１０は、例えば図１に示すように、車載カメラ１１と、車両状態センサ１２と、処理装置１３とを備えて構成されている。
さらに、処理装置１３は、例えばオプティカルフロー演算部２１と、ＸＹ成分算出部２２と、画像領域抽出部２３と、速度検出部２４と、消失点算出部２５と、光軸補正部２６とを備えて構成されている。 Hereinafter, an imaging device for a vehicle according to an embodiment of the present invention will be described with reference to the accompanying drawings.
As shown in FIG. 1, for example, the vehicle imaging device 10 according to the present embodiment includes an in-vehicle camera 11, a vehicle state sensor 12, and a processing device 13.
Furthermore, the processing device 13 includes, for example, an optical flow calculation unit 21, an XY component calculation unit 22, an image region extraction unit 23, a speed detection unit 24, a vanishing point calculation unit 25, and an optical axis correction unit 26. Configured.

車載カメラ１１は、例えば車両の進行方向前方の所定撮像領域を撮像可能であって、撮像により得られた画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像のデータを生成して処理装置１３へ出力する。   The in-vehicle camera 11 can capture a predetermined imaging area in front of the traveling direction of the vehicle, for example, and performs predetermined image processing such as filtering and binarization processing on an image obtained by imaging, for example. Image data composed of pixels in the array is generated and output to the processing device 13.

車両状態センサ１２は、例えば、車両の駆動輪の回転速度（車輪速）を検出する車輪速センサと、車体に作用する加速度を検知する加速度センサと、車体の姿勢や進行方向を検知するジャイロセンサと、ヨーレート（車両重心の上下方向軸回りの回転角速度）を検知するヨーレートセンサとなどを備えて構成され、各種の車両状態の検知結果の信号を出力する。   The vehicle state sensor 12 includes, for example, a wheel speed sensor that detects the rotational speed (wheel speed) of a driving wheel of the vehicle, an acceleration sensor that detects acceleration acting on the vehicle body, and a gyro sensor that detects the posture and traveling direction of the vehicle body. And a yaw rate sensor that detects the yaw rate (rotational angular velocity about the vertical axis of the center of gravity of the vehicle), and outputs signals of detection results of various vehicle states.

オプティカルフロー演算部２１は、車載カメラ１１から出力される時系列での画像データに基づき、所定の特徴点を抽出し、特徴点の移動の時間変化から、例えば車両の外界の物体の速度と車載カメラ１１の速度とに応じた速度場のベクトル集合からなるオプティカルフローを演算する。   The optical flow calculation unit 21 extracts a predetermined feature point based on time-series image data output from the in-vehicle camera 11, and calculates, for example, the speed of an object outside the vehicle and the in-vehicle state from the time change of the movement of the feature point. An optical flow consisting of a vector set of velocity fields corresponding to the velocity of the camera 11 is calculated.

ＸＹ成分算出部２２は、画像データ上で直交するＸ方向（例えば、上下方向）およびＹ方向（例えば、左右方向）に対して、オプティカルフロー演算部２１により演算されたオプティカルフローのＸ成分およびＹ成分を算出する。   The XY component calculation unit 22 performs the optical flow X component and Y calculated by the optical flow calculation unit 21 with respect to the X direction (for example, the vertical direction) and the Y direction (for example, the horizontal direction) orthogonal to each other on the image data. Calculate the components.

画像領域抽出部２３は、ＸＹ成分算出部２２により算出されたオプティカルフローの少なくともＸ成分またはＹ成分の大きさが所定閾値以上である画像領域を画像データから抽出する。
この所定閾値は、例えばオプティカルフローのＸ成分またはＹ成分の大きさが、所定値未満の誤差で演算された値となることを判定するための閾値であって、車両の速度（車速）に応じて変化し、例えば車速が低下することに伴い、増大傾向に変化するように設定されている。なお、車速の信号は、例えば車両状態センサ１２から出力される信号に基づき車両の速度（車速）を検出する速度検出部２４から出力される。
例えば図２に示す画像データＰにおいては、オプティカルフローのＹ成分Ｆｙの大きさが所定閾値以上である画像領域αが抽出され、これに伴い、画像領域α以外の領域βが画像データＰ上に規定される。 The image region extraction unit 23 extracts, from the image data, an image region in which at least the X component or the Y component of the optical flow calculated by the XY component calculation unit 22 is greater than or equal to a predetermined threshold value.
This predetermined threshold value is a threshold value for determining that the magnitude of the X component or Y component of the optical flow becomes a value calculated with an error less than a predetermined value, for example, depending on the vehicle speed (vehicle speed). For example, the vehicle speed is set to increase as the vehicle speed decreases. The vehicle speed signal is output from a speed detection unit 24 that detects the speed of the vehicle (vehicle speed) based on a signal output from the vehicle state sensor 12, for example.
For example, in the image data P shown in FIG. 2, an image region α in which the magnitude of the Y component Fy of the optical flow is greater than or equal to a predetermined threshold is extracted, and accordingly, a region β other than the image region α is present on the image data P. It is prescribed.

消失点算出部２５は、画像領域抽出部２３により抽出された画像領域に基づき、この画像領域以外の領域の少なくともＸ方向の中心位置またはＹ方向の中心位置（例えば、Ｘ方向およびＹ方向の中心位置）を消失点とする。
例えば図２に示す画像データＰにおいては、オプティカルフローのＹ成分Ｆｙの大きさが所定閾値以上である画像領域α以外の領域βのＸ方向およびＹ方向の中心位置Ｏが消失点とされる。 The vanishing point calculation unit 25 is based on the image region extracted by the image region extraction unit 23, and at least the center position in the X direction or the center position in the Y direction (for example, the center in the X direction and the Y direction) of the region other than the image region. (Position) is the vanishing point.
For example, in the image data P shown in FIG. 2, the center position O in the X direction and the Y direction of the region β other than the image region α in which the magnitude of the Y component Fy of the optical flow is equal to or larger than a predetermined threshold is set as the vanishing point.

光軸補正部２６は、消失点算出部２５により算出された消失点に基づき、車載カメラ１１の光軸のずれを補正するための補正量（光軸補正量）を算出し、この光軸補正量に応じた光軸補正の実行を指示する指令信号を出力する。
なお、光軸補正部２６は、例えば順次繰り返す算出処理による光軸補正量の今回値および前回値が連続して所定値よりも大きい場合には、車載カメラ１１の光軸のずれを精度よく補正することが困難であると判断して、光軸補正量に応じた光軸補正の実行を指示する指令信号の出力を停止する。 The optical axis correction unit 26 calculates a correction amount (optical axis correction amount) for correcting the deviation of the optical axis of the in-vehicle camera 11 based on the vanishing point calculated by the vanishing point calculation unit 25, and this optical axis correction. A command signal for instructing execution of optical axis correction according to the amount is output.
The optical axis correction unit 26 accurately corrects the deviation of the optical axis of the in-vehicle camera 11 when, for example, the current value and the previous value of the optical axis correction amount are successively larger than a predetermined value by a calculation process that is sequentially repeated. It is determined that it is difficult to do so, and the output of the command signal instructing execution of the optical axis correction according to the optical axis correction amount is stopped.

本実施の形態による車両用撮像装置１０は上記構成を備えており、次に、この車両用撮像装置１０の動作について説明する。   The vehicle imaging device 10 according to the present embodiment has the above-described configuration. Next, the operation of the vehicle imaging device 10 will be described.

先ず、図３に示すステップＳ０１においては、車載カメラ１１から出力される画像データを取得し、車両状態センサ１２から出力される信号に基づき車両の速度（車速）を検出する。
次に、ステップＳ０２においては、時系列での画像データに基づきオプティカルフローを演算する。 First, in step S01 shown in FIG. 3, the image data output from the vehicle-mounted camera 11 is acquired, and the vehicle speed (vehicle speed) is detected based on the signal output from the vehicle state sensor 12.
Next, in step S02, an optical flow is calculated based on time-series image data.

次に、ステップＳ０３においては、画像データ上で直交するＸ方向（例えば、上下方向）およびＹ方向（例えば、左右方向）に対するオプティカルフローのＸ成分およびＹ成分の少なくとも何れかの大きさが所定閾値以上である画像領域を画像データから抽出する。
次に、ステップＳ０４においては、抽出された画像領域に基づき、この画像領域以外の領域の少なくともＸ方向の中心位置またはＹ方向の中心位置（例えば、Ｘ方向およびＹ方向の中心位置）を消失点とする。 Next, in step S03, the magnitude of at least one of the X component and the Y component of the optical flow in the X direction (eg, the vertical direction) and the Y direction (eg, the horizontal direction) orthogonal to each other on the image data is a predetermined threshold value. The above image area is extracted from the image data.
Next, in step S04, based on the extracted image area, at least the center position in the X direction or the center position in the Y direction (for example, the center position in the X direction and the Y direction) of the area other than the image area is a vanishing point. And

次に、ステップＳ０５においては、消失点に基づき、車載カメラ１１の光軸のずれを補正するための補正量（光軸補正量）を算出する。
次に、ステップＳ０６においては、光軸補正量の今回値および前回値が連続して所定値よりも大きいか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、エンドに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０７に進む。
そして、ステップＳ０７においては、光軸補正量に応じた光軸補正を実行し、エンドに進む。 Next, in step S05, based on the vanishing point, a correction amount (optical axis correction amount) for correcting the deviation of the optical axis of the in-vehicle camera 11 is calculated.
Next, in step S06, it is determined whether the current value and the previous value of the optical axis correction amount are continuously greater than a predetermined value.
If this determination is “YES”, the flow proceeds to the end.
On the other hand, if this determination is “NO”, the flow proceeds to step S 07.
In step S07, optical axis correction according to the optical axis correction amount is executed, and the process proceeds to the end.

上述したように、本実施の形態による車両用撮像装置１０によれば、オプティカルフローのＸ成分またはＹ成分の大きさが所定閾値以上である画像領域に基づき消失点を算出することから、検出精度が低いオプティカルフロー（つまり、Ｘ成分またはＹ成分の大きさが所定閾値未満のオプティカルフロー）によって消失点の算出精度が低下してしまうことを防止することができる。これにより、例えば車載カメラ１１の分解能が低い場合や消失点付近での所望の検出精度を確保することが困難な場合などであっても、消失点の算出精度を向上させ、車両の走行中での光軸補正を消失点に基づき精度よく行なうことができる。   As described above, according to the vehicular imaging apparatus 10 according to the present embodiment, the vanishing point is calculated based on the image area in which the magnitude of the X component or the Y component of the optical flow is equal to or greater than the predetermined threshold value. It is possible to prevent the vanishing point calculation accuracy from being lowered by an optical flow having a low value (that is, an optical flow in which the magnitude of the X component or the Y component is less than a predetermined threshold). Thereby, for example, even when the resolution of the in-vehicle camera 11 is low or when it is difficult to ensure the desired detection accuracy near the vanishing point, the vanishing point calculation accuracy is improved and the vehicle is running. Can be accurately performed based on the vanishing point.

さらに、消失点の算出に要する演算負荷が増大することを防止しつつ消失点の算出精度を向上させることができる。
さらに、オプティカルフローの大きさおよび演算結果の信頼性は車両の速度に応じて変化し、速度が低下することに伴い、オプティカルフローの大きさおよび演算結果の信頼性は低下する。このため、速度が低下することに伴い、消失点の算出に用いられる画像領域を抽出するときに参照される所定閾値を増大傾向（つまり、抽出が厳しくなるよう）に変化させることで、消失点の算出精度が低下してしまうことを防止することができる。 Furthermore, it is possible to improve the calculation accuracy of the vanishing point while preventing the calculation load required for calculating the vanishing point from increasing.
Furthermore, the magnitude of the optical flow and the reliability of the calculation result change according to the speed of the vehicle. As the speed decreases, the magnitude of the optical flow and the reliability of the calculation result decrease. For this reason, as the speed decreases, the vanishing point is changed by changing the predetermined threshold referred to when extracting the image region used for calculating the vanishing point so as to increase (that is, the extraction becomes severe). It can prevent that the calculation precision of falls.

なお、例えば車輪速などから算出される自車両の速度の変化が所定変化以下、かつ自車両のヨーレートが所定値以下である場合のように、自車両の走行挙動が安定した状態において、一部のオプティカルフローのみの方向や大きさが、他のオプティカルフローの方向や大きさと異なる場合には、この一部のオプティカルフローが移動体によるものである可能性が高いと判断して、この一部のオプティカルフローを画像領域抽出部２３による画像領域の抽出処理の対象外としてもよい。   It should be noted that when the traveling behavior of the host vehicle is stable, for example, when the change in the speed of the host vehicle calculated from the wheel speed or the like is a predetermined change or less and the yaw rate of the host vehicle is a predetermined value or less. If the direction or size of the optical flow alone is different from the direction or size of other optical flows, it is determined that there is a high possibility that this part of the optical flow is due to the moving object, and this part The optical flow may be excluded from the image region extraction processing by the image region extraction unit 23.

なお、オプティカルフローの大きさは、画像データの画面中心部で最小となり、この画面中心部から左右方向に離間することに伴い２次関数的に増大する。このため、予め自車両の速度に応じたオプティカルフローの大きさの変化を示すマップなどを作成して記憶しておき、このマップに対する自車両の速度に基づくマップ検索によりオプティカルフローの大きさの予測値を算出し、この予測値から所定範囲を超えて逸脱する大きさのオプティカルフローを画像領域抽出部２３による画像領域の抽出処理の対象外としてもよい。   The size of the optical flow is minimized at the center of the screen of the image data, and increases in a quadratic function as the distance from the center of the screen increases in the left-right direction. For this reason, a map or the like showing a change in the magnitude of the optical flow according to the speed of the host vehicle is created and stored in advance, and the magnitude of the optical flow is predicted by a map search based on the speed of the host vehicle with respect to this map. An optical flow having a size that deviates from the predicted value beyond a predetermined range may be excluded from the image region extraction processing by the image region extraction unit 23.

１０ 車両用撮像装置
１１ 車載カメラ（車載撮像手段）
２１ オプティカルフロー演算部（演算手段）
２２ ＸＹ成分算出部（ＸＹ成分算出手段）
２３ 画像領域抽出部（領域抽出手段）
２４ 速度検出部（速度検出手段）
２５ 消失点算出部（消失点算出手段）
２６ 光軸補正部（補正手段） 10 vehicle imaging device 11 vehicle-mounted camera (vehicle-mounted imaging means)
21 Optical flow calculation unit (calculation means)
22 XY component calculation unit (XY component calculation means)
23 Image region extraction unit (region extraction means)
24 Speed detector (speed detector)
25 Vanishing point calculation unit (vanishing point calculation means)
26 Optical axis correction unit (correction means)

Claims (2)

車両の外界を撮像して得た撮像画像を出力する車載撮像手段と、
前記車載撮像手段から出力された前記撮像画像において所定の特徴点を抽出し、該特徴点の移動の時間変化からオプティカルフローを演算する演算手段と、
前記演算手段により演算された前記オプティカルフローに基づき、前記車載撮像手段の光軸を補正する補正手段と、を備える車両用撮像装置であって、
前記撮像画像上で直交するＸ方向およびＹ方向に対して、前記演算手段により演算された前記オプティカルフローのＸ成分およびＹ成分を算出するＸＹ成分算出手段と、
前記ＸＹ成分算出手段により算出された前記Ｘ成分または前記Ｙ成分の大きさが所定閾値以上である画像領域を抽出する領域抽出手段と、
前記領域抽出手段により抽出された前記画像領域以外の領域のＸ方向の中心位置またはＹ方向の中心位置を前記オプティカルフローの消失点として算出する消失点算出手段と、を備え、
前記補正手段は、前記消失点算出手段により算出された前記消失点に基づき前記車載撮像手段の光軸を補正することを特徴とする車両用撮像装置。 Vehicle-mounted imaging means for outputting a captured image obtained by imaging the outside world of the vehicle;
A calculation unit that extracts a predetermined feature point in the captured image output from the vehicle-mounted imaging unit, and calculates an optical flow from a temporal change in movement of the feature point;
Based on the optical flow calculated by the calculating means, a vehicular image pickup device and a correcting means for correcting the optical axis of the vehicle image pickup means,
XY component calculating means for calculating the X and Y components of the optical flow calculated by the calculating means for the X direction and Y direction orthogonal to each other on the captured image;
Area extracting means for extracting an image area in which the size of the X component or Y component calculated by the XY component calculating means is equal to or greater than a predetermined threshold;
And a vanishing point calculating means for calculating the center position or center position in the Y direction in the X-direction of the extracted region other than the image area as a vanishing point of the optical flow by the area extracting means,
The vehicular imaging apparatus, wherein the correcting unit corrects an optical axis of the in-vehicle imaging unit based on the vanishing point calculated by the vanishing point calculating unit. 車両の外界を撮像して得た撮像画像を出力する車載撮像手段と、
前記車載撮像手段から出力された前記撮像画像において所定の特徴点を抽出し、該特徴点の移動の時間変化からオプティカルフローを演算する演算手段と、
前記演算手段により演算された前記オプティカルフローに基づき、前記車載撮像手段の光軸を補正する補正手段と、を備える車両用撮像装置であって、
前記撮像画像上で直交するＸ方向およびＹ方向に対して、前記演算手段により演算された前記オプティカルフローのＸ成分およびＹ成分を算出するＸＹ成分算出手段と、
車両の速度を検出する速度検出手段と、
前記ＸＹ成分算出手段により算出された前記Ｘ成分または前記Ｙ成分の大きさが所定閾値以上である画像領域を抽出するとともに、前記速度検出手段により検出される前記速度が低下することに伴い、前記所定閾値が増大傾向に変化するように設定する領域抽出手段と、
前記領域抽出手段により抽出された前記画像領域に基づき前記オプティカルフローの消失点を算出する消失点算出手段と、を備え、
前記補正手段は、前記消失点算出手段により算出された前記消失点に基づき前記車載撮像手段の光軸を補正することを特徴とする車両用撮像装置。 Vehicle-mounted imaging means for outputting a captured image obtained by imaging the outside world of the vehicle;
A calculation unit that extracts a predetermined feature point in the captured image output from the vehicle-mounted imaging unit, and calculates an optical flow from a temporal change in movement of the feature point;
A vehicular imaging apparatus comprising: a correcting unit that corrects an optical axis of the in-vehicle imaging unit based on the optical flow calculated by the calculating unit;
XY component calculating means for calculating the X and Y components of the optical flow calculated by the calculating means for the X direction and Y direction orthogonal to each other on the captured image;
Speed detecting means for detecting the speed of the vehicle ;
As the X component or the Y component calculated by the XY component calculating means extracts an image area whose size is equal to or greater than a predetermined threshold, the speed detected by the speed detecting means decreases, An area extracting means for setting the predetermined threshold to change in an increasing tendency ;
Vanishing point calculating means for calculating the vanishing point of the optical flow based on the image area extracted by the area extracting means,
The vehicular imaging apparatus , wherein the correcting unit corrects an optical axis of the in-vehicle imaging unit based on the vanishing point calculated by the vanishing point calculating unit .
JP2009203687A 2009-09-03 2009-09-03 Vehicle imaging device Active JP5193148B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009203687A JP5193148B2 (en) 2009-09-03 2009-09-03 Vehicle imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009203687A JP5193148B2 (en) 2009-09-03 2009-09-03 Vehicle imaging device

Publications (2)

Publication Number Publication Date
JP2011055342A JP2011055342A (en) 2011-03-17
JP5193148B2 true JP5193148B2 (en) 2013-05-08

Family

ID=43943877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009203687A Active JP5193148B2 (en) 2009-09-03 2009-09-03 Vehicle imaging device

Country Status (1)

Country Link
JP (1) JP5193148B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6071173B2 (en) * 2011-05-23 2017-02-01 キヤノン株式会社 Imaging apparatus, control method thereof, and program
JPWO2013030932A1 (en) * 2011-08-29 2015-03-23 パイオニア株式会社 Navigation device, image display control device, server, adjustment device, and front image display control method
JP6822427B2 (en) * 2017-06-09 2021-01-27 株式会社デンソー Map change point detector

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259995A (en) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd Position detector
JP4120638B2 (en) * 2004-12-20 2008-07-16 日産自動車株式会社 Image processing apparatus and method
US20090295921A1 (en) * 2005-10-12 2009-12-03 Pioneer Corporation Vehicle-mounted photographing device and method of measuring photographable range of vehicle-mounted camera
JP4793685B2 (en) * 2006-03-31 2011-10-12 カシオ計算機株式会社 Information transmission system, imaging apparatus, information output method, and information output program

Also Published As

Publication number Publication date
JP2011055342A (en) 2011-03-17

Similar Documents

Publication Publication Date Title
CN107850446B (en) Self-position estimating device and self-position estimate method
US10795370B2 (en) Travel assist apparatus
CN109564098B (en) Self-position estimation method and self-position estimation device
JP4670528B2 (en) Imaging device deviation detection method, imaging device deviation correction method, and imaging device
JP4319928B2 (en) Vehicle state detection system and vehicle state detection method
JP6003673B2 (en) 3D position estimation apparatus, vehicle control apparatus, and 3D position estimation method
JP4832489B2 (en) Lane judgment device
JP2018036067A (en) Own vehicle position recognition device
US20150363653A1 (en) Road environment recognition system
JP2015505759A (en) Method for detecting an impending rollover of a vehicle
JP2019191806A (en) Abnormality detection device and abnormality detection method
JP6493000B2 (en) Road marking detection device and road marking detection method
CN110741421B (en) Travel control method and travel control device
JP2013129264A (en) Calibration method for on-vehicle camera and calibration device for on-vehicle camera
JP5193148B2 (en) Vehicle imaging device
JP6299651B2 (en) Image processing device
JP2014195170A (en) Driving support device
JP2019007739A (en) Self position estimation method and self position estimation device
JP5425500B2 (en) Calibration apparatus and calibration method
WO2019203001A1 (en) Stereo camera device
JP6295524B2 (en) Optical axis correction device
CN114037977B (en) Road vanishing point detection method, device, equipment and storage medium
JP5345999B2 (en) Lane mark recognition device
JP2013183311A (en) Estimation device and detection system of attitude angle in on-vehicle camera
JP2019151307A (en) Parking area detection device and parking area detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130201

R150 Certificate of patent or registration of utility model

Ref document number: 5193148

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160208

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350