JP2005193845A - Vehicular monitoring device - Google Patents

Vehicular monitoring device Download PDF

Info

Publication number
JP2005193845A
JP2005193845A JP2004004043A JP2004004043A JP2005193845A JP 2005193845 A JP2005193845 A JP 2005193845A JP 2004004043 A JP2004004043 A JP 2004004043A JP 2004004043 A JP2004004043 A JP 2004004043A JP 2005193845 A JP2005193845 A JP 2005193845A
Authority
JP
Japan
Prior art keywords
vehicle
steering angle
unit
imaging unit
auxiliary line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004004043A
Other languages
Japanese (ja)
Inventor
Hiroyoshi Yanagi
柳　　拓良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2004004043A priority Critical patent/JP2005193845A/en
Publication of JP2005193845A publication Critical patent/JP2005193845A/en
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To easily determine the existence of contact with an obstacle uncontacted with the ground surface. <P>SOLUTION: This monitoring device is constituted so that a yaw angle of an imaging part 2 for imaging a picture in front of a vehicle 1 coincides with the tangent direction of a predicted traveling locus displayed on a display part 6. Thus, since the picture without strain of the picture and influence of perspective can be displayed on the display part 6, a driver can easily determine contact with the obstacle uncontacted with the ground surface such as a front bumper of a vehicle by referring to the picture displayed on the display part 6. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、車両の予想走行軌跡を提示することにより車両が障害物と接触するか否かの判断を支援する車両用監視装置に関し、より詳しくは、地面と接していない障害物との接触の有無の判断を容易にするための技術に係わる。   The present invention relates to a vehicle monitoring device that supports the determination of whether or not a vehicle is in contact with an obstacle by presenting an expected traveling locus of the vehicle, and more particularly, the contact with an obstacle that is not in contact with the ground. The present invention relates to a technique for facilitating the determination of presence / absence.

従来より、車両の前端部中央に装着されたカメラを利用して車両前方の映像をモニタ表示すると同時に、車両前方の映像に車両の予想走行軌跡を重畳表示する車両用監視装置が知られており（例えば、特許文献１を参照）、このような車両用監視装置によれば、運転者は、予想走行軌跡と障害物の位置関係を参照して、車両が障害物と接触することなく曲がりきれるか否かを判断することができる。
特開２００３−１４６１３３号公報（段落［００６９］−［００７１］，図５参照） 2. Description of the Related Art Conventionally, there is known a vehicle monitoring device that monitors and displays an image in front of the vehicle using a camera mounted in the center of the front end of the vehicle, and simultaneously displays an expected traveling locus of the vehicle on the image in front of the vehicle. According to such a vehicle monitoring device (see, for example, Patent Document 1), the driver can bend without referring to the obstacle by referring to the positional relationship between the predicted travel locus and the obstacle. It can be determined whether or not.
JP 2003-146133 A (see paragraphs [0069]-[0071], FIG. 5)

しかしながら、従来までの車両用監視装置は、車両の面積を地面に投影することにより形成される曲線に基づいて車両の予想走行軌跡を算出する構成となっているために、運転者は、壁や柵等、地面に接し、且つ、地面に対し垂直に立っている障害物との接触の有無は容易に判断することができるが、車両のボディ部分等、地面と接していない障害物との接触の有無については、カメラのレンズの歪曲収差に起因する映像の歪みやパースペクティブ（遠近感）等の影響によって判断が難しいことがある。   However, since the conventional vehicle monitoring apparatus is configured to calculate the predicted travel locus of the vehicle based on a curve formed by projecting the area of the vehicle onto the ground, Although it can be easily determined whether there is contact with an obstacle that is in contact with the ground such as a fence and is standing perpendicular to the ground, it is in contact with an obstacle that is not in contact with the ground, such as a body part of a vehicle. It may be difficult to determine the presence or absence of the image due to the influence of image distortion or perspective caused by distortion of the camera lens.

本発明は、上記課題を解決するためになされたものであり、その目的は、地面と接していない障害物との接触の有無を容易に判断可能な車両用監視装置を提供することにある。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a vehicle monitoring apparatus that can easily determine the presence or absence of contact with an obstacle that is not in contact with the ground.

上述の課題を解決するために、本発明に係る車両用監視装置の特徴は、自車両前方の映像を撮像する撮像部を備え、この撮像部は、自車両の左及び右前端部に設置され、撮像部のヨー角は、予想走行軌跡の接線方向と一致するように配置されていることにある。   In order to solve the above-described problem, a feature of the vehicle monitoring device according to the present invention is provided with an imaging unit that captures an image in front of the host vehicle, and the imaging units are installed at the left and right front end portions of the host vehicle. The yaw angle of the imaging unit is arranged so as to coincide with the tangential direction of the predicted traveling locus.

本発明に係る車両用監視装置によれば、映像の歪みやパースペクティブの影響がない映像を表示することができるので、地面と接していない障害物との接触を容易に判断することができる。   According to the vehicle monitoring apparatus of the present invention, it is possible to display an image that is not distorted or influenced by a perspective, and therefore it is possible to easily determine contact with an obstacle that is not in contact with the ground.

以下、図面を参照して、本発明の第１，第２，第３の実施形態となる車両用監視装置の構成と動作について詳しく説明する。   Hereinafter, the configuration and operation of the vehicle monitoring apparatus according to the first, second, and third embodiments of the present invention will be described in detail with reference to the drawings.

始めに、図１〜図５を参照して、本発明の第１の実施形態となる車両用監視装置の構成と動作について説明する。   First, with reference to FIGS. 1-5, the structure and operation | movement of the monitoring apparatus for vehicles used as the 1st Embodiment of this invention are demonstrated.

［車両用監視装置の構成］
本発明の第１の実施形態となる車両用監視装置は、図１に示すように、車両１に搭載され、車両前方の映像を撮像する撮像部２、車両１のステアリングの操舵角を検出する操舵角センサ３、操舵角センサ３が検出した操舵角に従って車両１の運転操作を支援するための補助線を生成する補助線生成部４、補助線生成部４が生成した補助線を撮像部２が撮像した映像に合成する合成部５、及び合成部５により生成された映像情報を表示画面に表示する表示部６を主な構成要素として備える。 [Configuration of vehicle monitoring device]
As shown in FIG. 1, the vehicle monitoring apparatus according to the first embodiment of the present invention is mounted on a vehicle 1 and detects an imaging unit 2 that captures an image in front of the vehicle and a steering angle of the steering of the vehicle 1. The steering angle sensor 3, the auxiliary line generation unit 4 that generates an auxiliary line for supporting the driving operation of the vehicle 1 according to the steering angle detected by the steering angle sensor 3, and the auxiliary line generated by the auxiliary line generation unit 4 As a main component, the image processing apparatus includes a combining unit 5 that combines the captured image and a display unit 6 that displays video information generated by the combining unit 5 on a display screen.

また、この実施形態では、撮像部２は、車両前端部の左側，右側，又は左右両端に取り付けられ、図２に示すように、車両前端部の左側に取り付けられた撮像部２（図２に示す領域Ｃ）のヨー角は、ステアリングを右へ切って前進する場合の予想走行軌跡Ａの接線Ｂ方向に向いている。また同様に、車両前端部の右側に取り付けられた撮像部２のヨー角は、ステアリングを左へ切って前進する場合の予想走行軌跡の接線方向に向いている。なお、図２において、点Ｏは、右方向にステアリングを末切りした際の車両１の旋回中心を示す。また、撮像部２のピッチの方向は任意とするが、ロール角は地平線が水平に表示されるように０度に設定する。   In this embodiment, the imaging unit 2 is attached to the left, right, or left and right ends of the front end of the vehicle, and as shown in FIG. 2, the imaging unit 2 (shown in FIG. 2) is attached to the left of the front end of the vehicle. The yaw angle of the region C) shown is directed in the direction of the tangent B of the expected travel locus A when the steering wheel is turned to the right and moved forward. Similarly, the yaw angle of the imaging unit 2 attached to the right side of the front end of the vehicle is directed to the tangential direction of the predicted traveling locus when the steering wheel is turned to the left. In FIG. 2, a point O indicates the turning center of the vehicle 1 when the steering is turned to the right. The direction of the pitch of the imaging unit 2 is arbitrary, but the roll angle is set to 0 degrees so that the horizon is displayed horizontally.

なお、この実施形態では、上記予想走行軌跡Ａは、撮像部２が取り付けられている位置と反対方向（例えば、撮像部２が左側に取り付けられている場合には右方向）にステアリングを末切りした際の車両１の走行軌跡であるとするが、予想走行軌跡Ａは、撮像部２が取り付けられている位置と反対方向にステアリングを半切り（末切りの半分）した際の車両１の走行軌跡であってもよい。   In this embodiment, the predicted travel locus A is steered in the direction opposite to the position where the imaging unit 2 is attached (for example, the right direction when the imaging unit 2 is attached on the left side). The predicted travel locus A is the travel of the vehicle 1 when the steering wheel is half cut in the direction opposite to the position where the imaging unit 2 is attached (half of the end cut). It may be a trajectory.

［車両用監視装置の動作］
このような構成を有する車両用監視装置は、以下に示す補助線を運転者に提示することにより、地面と接していない障害物との接触の有無を運転者が容易に判断できるようにする。以下、図３〜図５を参照して、この補助線を提示する際の車両用監視装置の動作について説明する。 [Operation of vehicle monitoring device]
The vehicle monitoring apparatus having such a configuration makes it possible for the driver to easily determine whether or not there is contact with an obstacle not in contact with the ground by presenting the following auxiliary line to the driver. Hereinafter, with reference to FIGS. 3 to 5, the operation of the vehicle monitoring apparatus when presenting the auxiliary line will be described.

いま、図３に示すように、車両１の左前方に障害物として車両１１が存在する状況を考える。このような状況では、始めに、車両１の左前端部に取り付けられた撮像部２が、図４に示すような車両１の前方の映像を撮像する。次に、操舵角センサ３が、車両１のステアリングの操作角を検出し、補助線生成部４が、ステアリングの操作角に従って予想走行軌跡Ｄを算出する。そして、合成部５は、補助線生成部４が算出した予想走行軌跡Ｄを撮像部２が撮像した車両１の前方の映像に合成し、表示部６は、合成部５により生成された合成映像を表示画面に表示すると共に、表示画面中央部に垂直線Ｅを表示する。   Now, as shown in FIG. 3, consider a situation in which a vehicle 11 exists as an obstacle on the left front side of the vehicle 1. In such a situation, first, the imaging unit 2 attached to the left front end of the vehicle 1 captures an image of the front of the vehicle 1 as shown in FIG. Next, the steering angle sensor 3 detects the steering operation angle of the vehicle 1, and the auxiliary line generation unit 4 calculates the expected travel locus D according to the steering operation angle. The synthesizing unit 5 synthesizes the predicted traveling locus D calculated by the auxiliary line generating unit 4 with the video in front of the vehicle 1 captured by the imaging unit 2, and the display unit 6 generates the synthesized video generated by the synthesizing unit 5. Is displayed on the display screen, and a vertical line E is displayed at the center of the display screen.

前述のように、この実施形態では、補助線生成部４は、撮像部２が取り付けられている位置と反対方向にステアリングを末切りした際に車両１が走行する軌跡を予想走行軌跡として算出すると共に、車両１の左前端部に取り付けられた撮像部２のヨー角は、予想走行軌跡の接線方向に向いているので、上記表示処理によれば、図５に示すように、予想走行軌跡Ｄが画面中央部に描画された映像が運転者に提示される。従って、運転者は、画面中央に描画された垂直線Ｅを境界線として、垂直線Ｅの左側領域及び右側領域をそれぞれ「障害物と接触しない領域」及び「障害物と接触する可能性がある領域」と判断し、地面と接していない障害物との接触の有無を容易に判断することができる。   As described above, in this embodiment, the auxiliary line generation unit 4 calculates the trajectory that the vehicle 1 travels as the predicted travel trajectory when the steering wheel is turned off in the direction opposite to the position where the imaging unit 2 is attached. At the same time, the yaw angle of the image pickup unit 2 attached to the left front end portion of the vehicle 1 is oriented in the tangential direction of the predicted travel locus. Therefore, according to the display process, as shown in FIG. The image drawn in the center of the screen is presented to the driver. Therefore, the driver may make contact with the obstacle in the left area and the right area of the vertical line E, with the vertical line E drawn at the center of the screen as the boundary line. It is possible to easily determine whether there is contact with an obstacle that is not in contact with the ground.

従来までの車両用監視装置では、図６に示すように、予想走行軌跡Ｇは、ステアリングの操舵角に対応する車両１の旋回中心Ｏから最も離れた車両１の部位を通る円Ｆに沿って形成され、予想走行軌跡Ｇと共に、車両１が直進した場合の予想走行軌跡Ｈが表示されていた。そして、このような従来までの車両用監視装置によれば、運転者は、予想軌跡曲線Ｇ，Ｈと障害物との重なりの有無を判断することにより、図７に示すような地面１３に対して垂直に立っている障害物１２との接触の有無を判断する。具体的には、図７に示す例では、予想走行軌跡Ｈが障害物１２と重なっているので、運転者は、直進した場合には障害物１２と接触すると判断する。一方、予想走行軌跡Ｇは障害物１２と重なっていないので、運転者は、予想走行軌跡Ｇに対応する操舵角でステアリングを操作した場合には障害物１２と接触しないですり抜け可能であると判断する。   In the conventional vehicle monitoring apparatus, as shown in FIG. 6, the predicted travel locus G is along a circle F that passes through a portion of the vehicle 1 that is farthest from the turning center O of the vehicle 1 corresponding to the steering angle of the steering. The predicted travel locus H formed when the vehicle 1 travels straight is displayed together with the predicted travel locus G. Then, according to such a conventional vehicle monitoring apparatus, the driver determines whether or not the expected trajectory curves G and H overlap with the obstacle, thereby making it possible for the ground 13 as shown in FIG. The presence or absence of contact with the obstacle 12 standing vertically is determined. Specifically, in the example illustrated in FIG. 7, the predicted traveling locus H overlaps with the obstacle 12, so that the driver determines that the driver will contact the obstacle 12 when going straight. On the other hand, since the predicted traveling locus G does not overlap the obstacle 12, when the driver operates the steering at the steering angle corresponding to the predicted traveling locus G, it is determined that the driver can pass through the obstacle 12 without touching it. To do.

しかしながら、従来までの車両用監視装置によれば、運転者は、車両のボディ部分等のように直接地面とは接していない、いわば宙に浮いているような障害物との接触の有無を判断することは難しい。具体的には、図８に示すように、予想走行軌跡Ｇが障害物１４と重なっていなくても、障害物１４の面積を地面に投影することにより形成される曲線が予想走行軌跡Ｇと重なる場合、車両は障害物１４と接触することになるが、運転者は、障害物１４との接触の有無を判断することは難しい。   However, according to conventional vehicle monitoring devices, the driver determines whether there is contact with an obstacle that is not in direct contact with the ground, such as a vehicle body part, so to speak, that is, floating in the air. Difficult to do. Specifically, as shown in FIG. 8, even if the predicted traveling locus G does not overlap the obstacle 14, a curve formed by projecting the area of the obstacle 14 onto the ground overlaps the expected traveling locus G. In this case, the vehicle comes into contact with the obstacle 14, but it is difficult for the driver to determine whether there is contact with the obstacle 14.

この理由は、従来までの車両用監視装置は、撮像部を構成するレンズの歪曲収差による映像上の歪みやパースペクティブの影響を考慮していないためにある。具体的には、３次元空間の物体を２次元平面に描画する際、撮像部が水平ではなくやや下向きに設置されていると、パースペクティブの影響によって、物体は上方に向かって広がっているように描画されるため、例えば車両のリアバンパーの右角から地面への垂線を描画した場合には、この垂線は映像上では地面に対して垂直ではなく、斜め右下に向いてしまい、リアバンパーとの接触の有無を垂線に基づいて判断することは難しくなる。   This is because conventional vehicular monitoring devices do not consider the effects of distortion and perspective on the image due to distortion of the lens constituting the imaging unit. Specifically, when an object in a three-dimensional space is drawn on a two-dimensional plane, if the imaging unit is installed slightly downward rather than horizontally, the object seems to spread upward due to the influence of perspective. For example, when a perpendicular line from the right corner of the rear bumper of the vehicle to the ground is drawn, this perpendicular line is not perpendicular to the ground on the image, but is directed diagonally to the lower right. It becomes difficult to determine the presence or absence of contact based on the perpendicular line.

これに対して、本発明の一実施形態となる車両用監視装置では、上述のように、車両１の前方の映像を撮像する撮像部２のヨー角は、表示部６に表示される予想走行軌跡Ｄの接線方向に向き、映像の歪みやパースペクティブの影響がない映像を表示することができるので、運転者は、車両のフロントバンパー等の地面と接していない障害物との接触を容易に判断することができる。   On the other hand, in the vehicle monitoring device according to the embodiment of the present invention, as described above, the yaw angle of the imaging unit 2 that captures an image in front of the vehicle 1 is the predicted travel displayed on the display unit 6. Since it is possible to display an image that is directed in the tangential direction of the trajectory D and is not affected by the distortion or perspective of the image, the driver can easily determine contact with an obstacle that is not in contact with the ground such as the front bumper of the vehicle. be able to.

また、本発明の一実施形態となる車両用監視装置によれば、表示部６に表示される予想走行軌跡Ｄは、撮像部２が取り付けられている位置と反対方向にステアリングを末切りした際の車両１の走行軌跡であるので、車両１の近くにある障害物を末切り操舵で回避しないといけない場合において、運転者は、そのまま進行した際に障害物と接触する否かを容易に判断することができる。   In addition, according to the vehicle monitoring apparatus according to the embodiment of the present invention, the expected traveling locus D displayed on the display unit 6 is when the steering wheel is turned off in the direction opposite to the position where the imaging unit 2 is attached. Therefore, when an obstacle near the vehicle 1 must be avoided by end-turn steering, the driver can easily determine whether or not to contact the obstacle when proceeding as it is. can do.

また、本発明の一実施形態となる車両用監視装置によれば、表示部６に表示される予想走行軌跡Ｄは、撮像部２が取り付けられている位置と反対方向にステアリングを半切りした際の車両１の走行軌跡であるので、予想走行軌跡Ｄが想定している操舵角と実際の操舵角が異なる場合においても、操舵角の差を小さくし、映像の歪みやパースペクティブの影響を最小限に保つことができる。   In addition, according to the vehicle monitoring apparatus according to the embodiment of the present invention, the predicted travel path D displayed on the display unit 6 is when the steering is half cut in the direction opposite to the position where the imaging unit 2 is attached. Therefore, even when the actual steering angle is different from the estimated steering angle of the predicted driving path D, the difference in steering angle is reduced, and the effects of image distortion and perspective are minimized. Can be kept in.

さらに、本発明の一実施形態となる車両用監視装置によれば、表示部６が、予想走行軌跡Ｄと共に、画面中央部に垂直線Ｅを補助線として表示するので、運転者は、垂直線Ｅを境界線として、障害物と接触しない領域と障害物と接触する可能性がある領域とを区別し、地面と接していない障害物との接触の有無を容易に判断することができる。   Furthermore, according to the vehicle monitoring apparatus according to an embodiment of the present invention, the display unit 6 displays the vertical line E as an auxiliary line at the center of the screen together with the predicted travel path D. Using E as a boundary line, it is possible to distinguish between a region that does not contact an obstacle and a region that may contact an obstacle, and can easily determine whether or not there is contact with an obstacle that is not in contact with the ground.

上記第１の実施形態となる車両用監視装置では、表示部６に表示される予想走行軌跡は、撮像部２が取り付けられている位置と反対方向にステアリングを末切りした際の車両１の走行軌跡であったが、この場合には、図９に示すように、予想走行軌跡Ａが実際の操舵角に対応する予想走行軌跡Ｉと異なり、映像の歪みやパースペクティブの影響が生じる場合がある。   In the vehicle monitoring apparatus according to the first embodiment, the predicted travel locus displayed on the display unit 6 is the travel of the vehicle 1 when the steering is turned off in the direction opposite to the position where the imaging unit 2 is attached. In this case, as shown in FIG. 9, the predicted travel path A is different from the predicted travel path I corresponding to the actual steering angle, and image distortion and perspective effects may occur.

そこで、本発明の第２の実施形態となる車両用監視装置は、以下に示す監視処理を実行することにより、予想走行軌跡が実際の操舵角に対応する予想走行軌跡と異なる場合であっても、運転者が地面と接していない障害物との接触を容易に判断することを可能にする。以下、図１０に示すフローチャートを参照して、監視処理を実行する際の車両用監視装置の動作について説明する。なお、本発明の第２の実施形態となる車両用監視装置の構成は、上記第１の実施形態となる車両用監視装置の構成と同じであるので、以下ではその説明を省略する。   Therefore, the vehicular monitoring apparatus according to the second embodiment of the present invention performs the following monitoring process, so that the predicted travel locus is different from the predicted travel locus corresponding to the actual steering angle. The driver can easily determine contact with an obstacle that is not in contact with the ground. Hereinafter, with reference to the flowchart shown in FIG. 10, operation | movement of the monitoring apparatus for vehicles at the time of performing a monitoring process is demonstrated. Note that the configuration of the vehicle monitoring apparatus according to the second embodiment of the present invention is the same as the configuration of the vehicle monitoring apparatus according to the first embodiment, and therefore the description thereof is omitted below.

図１０に示すフローチャートは、車両１のイグニッションスイッチがオン状態になるのに応じて開始となり、この監視処理はステップＳ１の処理に進む。   The flowchart shown in FIG. 10 starts in response to the ignition switch of the vehicle 1 being turned on, and the monitoring process proceeds to step S1.

ステップＳ１の処理では、操舵角センサ３が、現在のステアリングの操舵角を検出し、検出した操舵角値を補助線生成部４に入力する。これにより、このステップＳ１の処理は完了し、この監視処理はステップＳ１の処理からステップＳ２の処理に進む。   In step S <b> 1, the steering angle sensor 3 detects the current steering angle of the steering, and inputs the detected steering angle value to the auxiliary line generation unit 4. Thereby, the process of step S1 is completed, and the monitoring process proceeds from the process of step S1 to the process of step S2.

ステップＳ２の処理では、補助線生成部４が、操舵角センサ３から入力された操作角値に従って、ステアリングの操舵角に対応する車両１の予想走行軌跡Ｉを算出する。これにより、このステップＳ２の処理は完了し、この監視処理はステップＳ２の処理からステップＳ３の処理に進む。   In the process of step S <b> 2, the auxiliary line generation unit 4 calculates an expected travel locus I of the vehicle 1 corresponding to the steering angle of the steering according to the operation angle value input from the steering angle sensor 3. Thereby, the process of step S2 is completed, and the monitoring process proceeds from the process of step S2 to the process of step S3.

ステップＳ３の処理では、補助線生成部４が、算出した予想走行軌跡Ｉを表示画面に表示した際に最も外側に膨らむ点を算出し、予想走行軌跡Ｉと外側に最も膨らむ点の描画データを合成部５に入力する。これにより、このステップＳ３の処理は完了し、この監視処理はステップＳ３の処理からステップＳ４の処理に進む。   In the process of step S3, the auxiliary line generation unit 4 calculates a point that swells outward most when the calculated predicted travel locus I is displayed on the display screen, and draws the drawing data of the predicted travel locus I and the point that swells most outward. Input to the combining unit 5. Thereby, the process of step S3 is completed, and the monitoring process proceeds from the process of step S3 to the process of step S4.

ステップＳ４の処理では、合成部５が、表示部６を制御して、図１１に示すように、撮像部２が撮影した映像に予想走行軌跡Ｉを描画すると共に、外側に最も膨らむ点Ｊを通る垂直線Ｅを描画する。これにより、このステップＳ４の処理は完了し、この監視処理は再びステップＳ１の処理に戻る。   In the process of step S4, the combining unit 5 controls the display unit 6 to draw the predicted traveling locus I on the video imaged by the imaging unit 2 as shown in FIG. Draw a vertical line E through. Thereby, the process of this step S4 is completed, and this monitoring process returns to the process of step S1 again.

以上の説明から明らかなように、本発明の第２の実施形態となる車両用監視装置によれば、表示部６が、予想走行軌跡Ｉと共に、予想走行軌跡Ｉが外側に最も膨らむ個所Ｊを通る垂直線Ｅを補助線として表示するので、予想走行軌跡が実際の操舵角に対応する予想走行軌跡と異なる場合であっても、運転者は、補助線を参照して、地面と接していない障害物との接触を容易に判断することができる。   As is clear from the above description, according to the vehicle monitoring apparatus of the second embodiment of the present invention, the display unit 6 displays the portion J where the predicted travel locus I swells most outward together with the expected travel locus I. Since the passing vertical line E is displayed as an auxiliary line, the driver is not in contact with the ground with reference to the auxiliary line even when the predicted driving path is different from the predicted driving path corresponding to the actual steering angle. Contact with an obstacle can be easily determined.

次に、図１２〜図１４を参照して、本発明の第３の実施形態となる車両用監視装置の構成と動作について説明する。   Next, with reference to FIGS. 12-14, the structure and operation | movement of the monitoring apparatus for vehicles which become the 3rd Embodiment of this invention are demonstrated.

本発明の第３の実施形態となる車両用監視装置は、以下に示す監視処理を実行することにより、予想走行軌跡が実際の操舵角に対応する予想走行軌跡と異なる場合であっても、運転者が地面と接していない障害物との接触を容易に判断することを可能にする。以下、図１２に示すフローチャートを参照して、監視処理を実行する際の車両用監視装置の動作について説明する。なお、本発明の第３の実施形態となる車両用監視装置の構成は、上記第１の実施形態となる車両用監視装置の構成と同じであるので、以下ではその説明を省略する。   The vehicle monitoring apparatus according to the third embodiment of the present invention performs the following monitoring process, so that even if the predicted traveling locus is different from the predicted traveling locus corresponding to the actual steering angle, It is possible for a person to easily determine contact with an obstacle that is not in contact with the ground. Hereinafter, with reference to the flowchart shown in FIG. 12, operation | movement of the monitoring apparatus for vehicles at the time of performing a monitoring process is demonstrated. Note that the configuration of the vehicle monitoring device according to the third embodiment of the present invention is the same as the configuration of the vehicle monitoring device according to the first embodiment, and therefore the description thereof is omitted below.

図１２に示すフローチャートは、車両１のイグニッションスイッチがオン状態になるのに応じて開始となり、この監視処理はステップＳ１１の処理に進む。   The flowchart shown in FIG. 12 starts in response to the ignition switch of the vehicle 1 being turned on, and the monitoring process proceeds to step S11.

ステップＳ１１の処理では、操舵角センサ３が、現在のステアリングの操舵角を検出し、検出した操舵角値を補助線生成部４に入力する。これにより、このステップＳ１１の処理は完了し、この監視処理はステップＳ１１の処理からステップＳ１２の処理に進む。   In the process of step S <b> 11, the steering angle sensor 3 detects the current steering angle of the steering and inputs the detected steering angle value to the auxiliary line generation unit 4. Thereby, the process of step S11 is completed, and the monitoring process proceeds from the process of step S11 to the process of step S12.

ステップＳ１２の処理では、補助線生成部４が、操舵角センサ３から入力された操作角値に従って、ステアリングの操舵角に対応する車両１の予想走行軌跡Ｉを算出する。これにより、このステップＳ１２の処理は完了し、この監視処理はステップＳ１２の処理からステップＳ１３の処理に進む。   In the process of step S <b> 12, the auxiliary line generation unit 4 calculates an expected travel locus I of the vehicle 1 corresponding to the steering angle of the steering according to the operation angle value input from the steering angle sensor 3. Thereby, the process of step S12 is completed, and the monitoring process proceeds from the process of step S12 to the process of step S13.

ステップＳ１３の処理では、補助線生成部４が、算出した予想走行軌跡Ｉを表示画面に描画した際に外側に最も膨らむ点を算出する。これにより、このステップＳ１３の処理は完了し、この監視処理はステップＳ１３の処理からステップＳ１４の処理に進む。   In the process of step S <b> 13, the auxiliary line generation unit 4 calculates a point that swells most outward when the calculated predicted traveling locus I is drawn on the display screen. Thereby, the process of step S13 is completed, and the monitoring process proceeds from the process of step S13 to the process of step S14.

ステップＳ１４の処理では、補助線生成部４が、撮像部２の位置と向き（ヨー、ピッチ、ロール）及び光学的特性（水平画角、垂直画角、歪曲収差、その他の歪み）に基づいて、ステップＳ１３の処理において算出した点に垂直に立つ障害物（以下、仮想障害物と表記）を仮定し、その仮想障害物が表示画面に描画される際の形状を計算する。そして、補助線生成部４は、走行軌跡Ｉ，最も膨らむ点，及び仮想障害物の形状の描画データを合成部５に入力する。これにより、このステップＳ１４の処理は完了し、この監視処理はステップＳ１４の処理からステップＳ１５の処理に進む。   In the process of step S14, the auxiliary line generation unit 4 is based on the position and orientation (yaw, pitch, roll) of the imaging unit 2 and optical characteristics (horizontal field angle, vertical field angle, distortion, and other distortions). Assuming an obstacle standing perpendicular to the point calculated in the process of step S13 (hereinafter referred to as a virtual obstacle), the shape when the virtual obstacle is drawn on the display screen is calculated. Then, the auxiliary line generation unit 4 inputs the drawing data of the travel locus I, the most swollen point, and the shape of the virtual obstacle to the synthesis unit 5. Thereby, the process of step S14 is completed, and the monitoring process proceeds from the process of step S14 to the process of step S15.

ステップＳ１５の処理では、合成部５が、表示部６を制御して、図１３に示すように、撮像部２が撮影した画像に予想走行軌跡Ｉを描画すると共に、外側に最も膨らむ点Ｊに仮想障害物の形状を示す曲線を描画する。これにより、このステップＳ１５の処理は完了し、この監視処理は再びステップＳ１１の処理に戻る。   In the process of step S15, the combining unit 5 controls the display unit 6 to draw the expected traveling locus I on the image captured by the imaging unit 2 and to the point J that swells most outward as shown in FIG. A curve indicating the shape of the virtual obstacle is drawn. Thereby, the process of step S15 is completed, and the monitoring process returns to the process of step S11 again.

以上の説明から明らかなように、本発明の第３の実施形態となる車両用監視装置によれば、表示部６が、予想走行軌跡Ｉと共に、外側に最も膨らむ点Ｊに垂直に障害物が存在すると仮定した時のその障害物の形状を示す曲線を補助線として描画するので、予想走行軌跡が実際の操舵角に対応する予想走行軌跡と異なる場合であっても、運転者は、補助線を参照して、地面と接していない障害物との接触を容易に判断することができる。   As is apparent from the above description, according to the vehicle monitoring apparatus of the third embodiment of the present invention, the display unit 6 has an obstacle perpendicular to the point J that swells most outward together with the expected traveling locus I. Since a curve indicating the shape of the obstacle when it is assumed to be present is drawn as an auxiliary line, even if the predicted traveling locus is different from the predicted traveling locus corresponding to the actual steering angle, the driver Referring to the above, it is possible to easily determine contact with an obstacle that is not in contact with the ground.

なお、上記監視処理では、補助線生成部４は、図１４（ａ）に示すように、外側に最も膨らむ個所Ｊに垂直に立つ仮想障害物の形状を示す曲線を補助線として提示したが、図１４（ｂ）に示すように、仮想障害物の形状と予想走行軌跡Ｉの一部を補助線として提示してもよい。また、補助線生成部４は、図１４（ｃ）に示すように、仮想障害物の形状を示す曲線の中で最も車両１から離れている点を算出し、算出した点を通る垂直線を補助線として提示してもよい。このような処理によれば、補助線の描画処理が簡易化されるので、運転者は、短時間で障害物との接触の有無を判断することができる。   In the monitoring process, the auxiliary line generation unit 4 presents, as an auxiliary line, a curve indicating the shape of the virtual obstacle standing perpendicular to the portion J that swells most outward as shown in FIG. As shown in FIG. 14B, the shape of the virtual obstacle and a part of the predicted traveling locus I may be presented as an auxiliary line. Further, as shown in FIG. 14C, the auxiliary line generation unit 4 calculates the point farthest away from the vehicle 1 in the curve indicating the shape of the virtual obstacle, and sets the vertical line passing through the calculated point. It may be presented as an auxiliary line. According to such a process, the drawing process of the auxiliary line is simplified, so that the driver can determine the presence or absence of contact with the obstacle in a short time.

以上、本発明者によってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。例えば、図１５に示すように、第１の実施形態となる車両用監視装置の構成要素に加えて、操舵角センサ３が検出したステアリングの操舵角に従って、撮像部２の撮像方向を制御する撮像方向制御部７を設けるようにしてもよい。このような構成によれば、撮像方向制御部７が、操舵角センサ３が検出したステアリングの操舵角に従って、撮像部２の撮像方向を制御するので、実際の操舵角がどのような角度であっても、障害物との接触の有無の判断が容易な映像を表示することができる。すなわち、上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。   As mentioned above, although the embodiment to which the invention made by the present inventor is applied has been described, the present invention is not limited by the description and the drawings that form part of the disclosure of the present invention according to this embodiment. For example, as shown in FIG. 15, in addition to the components of the vehicle monitoring device according to the first embodiment, the imaging for controlling the imaging direction of the imaging unit 2 according to the steering angle of the steering detected by the steering angle sensor 3. A direction control unit 7 may be provided. According to such a configuration, the imaging direction control unit 7 controls the imaging direction of the imaging unit 2 in accordance with the steering angle of the steering detected by the steering angle sensor 3, so what is the actual steering angle. However, it is possible to display an image that allows easy determination of whether or not there is contact with an obstacle. That is, it should be added that other embodiments, examples, operation techniques, and the like made by those skilled in the art based on the above embodiments are all included in the scope of the present invention.

本発明の第１の実施形態となる車両用監視装置の構成を示すブロック図である。It is a block diagram which shows the structure of the monitoring apparatus for vehicles used as the 1st Embodiment of this invention. 図１に示す撮像部の設置位置とヨー角の方向を説明するための図である。It is a figure for demonstrating the installation position of the imaging part shown in FIG. 1, and the direction of a yaw angle. 図１に示す補助線生成部が算出する予想走行軌跡を示す図である。It is a figure which shows the estimated driving | running locus | trajectory which the auxiliary line production | generation part shown in FIG. 1 calculates. 図１に示す撮像部により撮像された車両前方の映像の一例を示す図である。It is a figure which shows an example of the image | video ahead of the vehicle imaged by the imaging part shown in FIG. 図４に示す車両前方の映像に補助線生成部が生成した補助線が合成された図である。FIG. 5 is a diagram in which an auxiliary line generated by an auxiliary line generation unit is combined with an image in front of the vehicle shown in FIG. 4. 従来までの車両用監視装置により算出される予想走行軌跡を示す図である。It is a figure which shows the estimated driving | running locus | trajectory calculated by the conventional vehicle monitoring apparatus. 障害物が地面から直立している際に従来までの車両用監視装置が生成する映像の模式図である。It is a schematic diagram of the image | video which the conventional vehicle monitoring apparatus produces | generates when an obstacle stands upright from the ground. 障害物が地面と接していない際に従来までの車両用監視装置が生成する映像の模式図である。It is a schematic diagram of the image | video which the conventional vehicle monitoring apparatus produces | generates when an obstacle is not in contact with the ground. 予想走行軌跡と実際の操舵角による予想走行軌跡が異なる状態を説明するための図である。It is a figure for demonstrating the state from which an estimated driving | running | working locus | trajectory and the estimated traveling locus | trajectory by an actual steering angle differ. 本発明の第２の実施形態となる車両用監視装置による監視処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the monitoring process by the monitoring apparatus for vehicles used as the 2nd Embodiment of this invention. 図１０に示す監視処理により表示される映像の一例を示す図である。It is a figure which shows an example of the image | video displayed by the monitoring process shown in FIG. 本発明の第３の実施形態となる車両用監視装置による監視処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the monitoring process by the monitoring apparatus for vehicles used as the 3rd Embodiment of this invention. 図１２に示す監視処理により表示される映像の一例を示す図である。It is a figure which shows an example of the image | video displayed by the monitoring process shown in FIG. 図１２に示す監視処理により表示される映像の一例を示す図である。It is a figure which shows an example of the image | video displayed by the monitoring process shown in FIG. 本発明の実施形態となる車両用監視装置の応用例の構成を示すブロック図である。It is a block diagram which shows the structure of the application example of the monitoring apparatus for vehicles used as embodiment of this invention.

符号の説明Explanation of symbols

１：車両
２：撮像部
３：操舵角センサ
４：補助線生成部
５：合成部
６：表示部
７：撮像方向制御部
Ａ，Ｉ：予想軌跡曲線
Ｅ：補助線 1: Vehicle 2: Imaging unit 3: Steering angle sensor 4: Auxiliary line generation unit 5: Composition unit 6: Display unit 7: Imaging direction control unit A, I: Expected trajectory curve E: Auxiliary line

Claims (8)

自車両前方の映像を撮像する撮像部と、
前記撮像部が撮像した映像を表示画面に表示する表示部とを備え、
前記撮像部は、自車両の左及び右前端部に設置され、撮像部のヨー角は、設置位置における自車両の予想走行軌跡の接線方向と一致するように配置されていること
を特徴とする車両用監視装置。 An imaging unit that captures an image in front of the host vehicle;
A display unit that displays a video image captured by the imaging unit on a display screen;
The imaging unit is installed at the left and right front end portions of the host vehicle, and the yaw angle of the imaging unit is arranged so as to coincide with the tangential direction of the predicted traveling locus of the host vehicle at the installation position. Vehicle monitoring device. 前記予想走行軌跡は、撮像部の配置位置と反対方向にステアリングを末切りした際の自車両の走行軌跡であることを特徴とする請求項１に記載の車両用監視装置。   The vehicle monitoring apparatus according to claim 1, wherein the predicted traveling locus is a traveling locus of the host vehicle when the steering wheel is turned off in a direction opposite to the position where the imaging unit is disposed. 前記予想走行軌跡は、撮像部の配置位置と反対方向にステアリングを半切りした際の自車両の走行軌跡であることを特徴とする請求項１に記載の車両用監視装置。   The vehicle monitoring apparatus according to claim 1, wherein the predicted travel locus is a travel locus of the host vehicle when the steering wheel is cut halfway in a direction opposite to the arrangement position of the imaging unit. 前記表示部は、表示画面中央部を通る垂直線を前記撮像部が撮像した映像に合成表示することを特徴とする請求項１から請求項３のうち、いずれか１項に記載の車両用監視装置。   4. The vehicle monitoring according to claim 1, wherein the display unit synthesizes and displays a vertical line passing through a center portion of the display screen on an image captured by the imaging unit. 5. apparatus. 自車両のステアリングの操舵角を検出する操舵角センサと、前記操舵角センサが検出した操舵角に従って前記撮像部の撮像方向を制御する撮像方向制御部とを備えることを特徴とする請求項１に記載の車両用監視装置。   The steering angle sensor which detects the steering angle of the steering of the own vehicle, and the imaging direction control part which controls the imaging direction of the said imaging part according to the steering angle which the said steering angle sensor detected. The monitoring apparatus for vehicles as described. 前記操舵角センサが検出した操舵角に従って自車両の予想走行軌跡を算出する補助線生成部を備え、前記表示部は、補助線生成部が算出した予想走行軌跡が外側に最も膨らむ点を通る垂直線を前記撮像部が撮像した映像に合成表示することを特徴とする請求項１から請求項３のうち、いずれか１項に記載の車両用監視装置。   An auxiliary line generation unit that calculates an expected travel locus of the host vehicle according to a steering angle detected by the steering angle sensor is provided, and the display unit is perpendicular to a point where the predicted travel locus calculated by the auxiliary line generation unit swells most outward. The vehicle monitoring device according to any one of claims 1 to 3, wherein the line is synthesized and displayed on an image captured by the imaging unit. 前記操舵角センサが検出した操舵角に従って自車両の予想走行軌跡を算出する補助線生成部を備え、前記表示部は、補助線生成部が算出した予想走行軌跡が外側に最も膨らむ点に仮想的に配置された垂直な障害物の形状を示す曲線を前記撮像部が撮像した映像に合成表示することを特徴とする請求項１から請求項３のうち、いずれか１項に記載の車両用監視装置。   An auxiliary line generation unit that calculates an expected travel locus of the host vehicle according to the steering angle detected by the steering angle sensor is provided, and the display unit is configured to be a virtual point where the predicted travel locus calculated by the auxiliary line generation unit swells most outward. The vehicle monitoring according to any one of claims 1 to 3, wherein a curve indicating the shape of a vertical obstacle arranged on the vehicle is combined and displayed on an image captured by the imaging unit. apparatus. 前記操舵角センサが検出した操舵角に従って自車両の予想走行軌跡を算出する補助線生成部を備え、前記表示部は、補助線生成部が算出した予想走行軌跡が外側に最も膨らむ点に仮想的に配置された垂直な障害物の形状を示す曲線を算出し、補助線生成部が算出した予想軌跡曲線上及び前記障害物の形状を示す曲線上において、自車両から最も離れた点を通る垂直線を前記撮像部が撮像した映像に合成表示することを特徴とする請求項１から請求項３のうち、いずれか１項に記載の車両用監視装置。   An auxiliary line generation unit that calculates an expected travel locus of the host vehicle according to the steering angle detected by the steering angle sensor is provided, and the display unit is configured to be a virtual point where the predicted travel locus calculated by the auxiliary line generation unit swells most outward. A vertical curve passing through a point farthest from the host vehicle is calculated on the predicted trajectory curve calculated by the auxiliary line generation unit and the curve indicating the obstacle shape. The vehicle monitoring device according to any one of claims 1 to 3, wherein the line is synthesized and displayed on an image captured by the imaging unit.
JP2004004043A 2004-01-09 2004-01-09 Vehicular monitoring device Pending JP2005193845A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004004043A JP2005193845A (en) 2004-01-09 2004-01-09 Vehicular monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004004043A JP2005193845A (en) 2004-01-09 2004-01-09 Vehicular monitoring device

Publications (1)

Publication Number Publication Date
JP2005193845A true JP2005193845A (en) 2005-07-21

Family

ID=34818764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004004043A Pending JP2005193845A (en) 2004-01-09 2004-01-09 Vehicular monitoring device

Country Status (1)

Country Link
JP (1) JP2005193845A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013177067A (en) * 2012-02-28 2013-09-09 Aisin Seiki Co Ltd Vehicle driving supporting device
KR101405816B1 (en) 2008-11-21 2014-06-12 현대자동차일본기술연구소 Device and Method for Forward Driving Support
JP2016525971A (en) * 2013-05-03 2016-09-01 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ Taxiable aircraft neighborhood visualization system and method
CN110023141A (en) * 2016-11-30 2019-07-16 伟摩有限责任公司 Method and system for the direction in Ackermann steer angle adjustment virtual camera
CN111348055A (en) * 2018-12-20 2020-06-30 阿里巴巴集团控股有限公司 Driving assistance method, driving assistance system, computing device, and storage medium
CN113978455A (en) * 2021-09-26 2022-01-28 惠州市德赛西威汽车电子股份有限公司 Method and system for constructing driving track auxiliary line
CN113978455B (en) * 2021-09-26 2024-06-07 惠州市德赛西威汽车电子股份有限公司 Method and system for constructing driving track auxiliary line

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405816B1 (en) 2008-11-21 2014-06-12 현대자동차일본기술연구소 Device and Method for Forward Driving Support
JP2013177067A (en) * 2012-02-28 2013-09-09 Aisin Seiki Co Ltd Vehicle driving supporting device
JP2016525971A (en) * 2013-05-03 2016-09-01 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ Taxiable aircraft neighborhood visualization system and method
CN110023141A (en) * 2016-11-30 2019-07-16 伟摩有限责任公司 Method and system for the direction in Ackermann steer angle adjustment virtual camera
CN110023141B (en) * 2016-11-30 2023-08-08 伟摩有限责任公司 Method and system for adjusting the orientation of a virtual camera when a vehicle turns
CN111348055A (en) * 2018-12-20 2020-06-30 阿里巴巴集团控股有限公司 Driving assistance method, driving assistance system, computing device, and storage medium
CN113978455A (en) * 2021-09-26 2022-01-28 惠州市德赛西威汽车电子股份有限公司 Method and system for constructing driving track auxiliary line
CN113978455B (en) * 2021-09-26 2024-06-07 惠州市德赛西威汽车电子股份有限公司 Method and system for constructing driving track auxiliary line

Similar Documents

Publication Publication Date Title
JP5813944B2 (en) Image display system, image processing apparatus, and image display method
JP2018034794A (en) Drive assist apparatus
EP3002727B1 (en) Periphery monitoring apparatus and periphery monitoring system
JP5451497B2 (en) Driving support display device
WO2019058585A1 (en) Display control device
US8848050B2 (en) Drive assist display apparatus
WO2018159016A1 (en) Bird&#39;s eye view image generation device, bird&#39;s eye view image generation system, bird&#39;s eye view image generation method and program
JP5434802B2 (en) Information display device for vehicle
JP2010183234A (en) Drawing apparatus
JPWO2011013813A1 (en) In-vehicle device and image processing program
JP2010079454A (en) Driving support device
JP2009071659A (en) Parking assistance system
JP6073433B2 (en) Image display system, image processing apparatus, and image display method
JP4674814B2 (en) Image display device for vehicle and image composition method
JP2005193845A (en) Vehicular monitoring device
JP5040938B2 (en) Parking support device and parking support video display method
JP2011243010A (en) Driving assist device
JP6439233B2 (en) Image display apparatus for vehicle and image processing method
JP2007028443A (en) Image display system
JP2007028442A (en) Image display system
JP2012178639A (en) Image processing device, parking control system, and image processing method
WO2019074065A1 (en) Image processing device
JP2007028444A (en) Image display system
JP7102324B2 (en) Parking support system and parking support method
JP2018114830A (en) Travel support image display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090618

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091201