JP2015079299A - Driving assist device - Google Patents

Driving assist device Download PDF

Info

Publication number
JP2015079299A
JP2015079299A JP2013214691A JP2013214691A JP2015079299A JP 2015079299 A JP2015079299 A JP 2015079299A JP 2013214691 A JP2013214691 A JP 2013214691A JP 2013214691 A JP2013214691 A JP 2013214691A JP 2015079299 A JP2015079299 A JP 2015079299A
Authority
JP
Japan
Prior art keywords
vehicle
image
driver
driving
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013214691A
Other languages
Japanese (ja)
Inventor
洋一 成瀬
Yoichi Naruse
洋一 成瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013214691A priority Critical patent/JP2015079299A/en
Priority to PCT/JP2014/005118 priority patent/WO2015056427A1/en
Publication of JP2015079299A publication Critical patent/JP2015079299A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technology which allows a driver to safely drive a vehicle.SOLUTION: Images in a plurality of predetermined directions are photographed with a plurality of onboard cameras mounted on a vehicle, and the plurality of images selected according to driving state of a vehicle are displayed on a display screen. Thus, a driver, only by confirming an image displayed on the display screen, can confirm safety at a plurality of points. By selecting images which require safety confirmation according to driving state and displaying the selected images on the display screen, even if there are a plurality of points of which safety should be confirmed, the drive can perform confirmation in a short period of time about all points without omission, and the driver can safely drive a vehicle.

Description

本発明は、車両の周辺の撮影画像を車室内に設けた表示画面に表示することによって、運転者の安全確認動作を支援する技術に関する。   The present invention relates to a technique for supporting a driver's safety confirmation operation by displaying captured images around a vehicle on a display screen provided in a vehicle interior.

車両の運転者が安全に車両を運転するためには、車両の進行方向だけでなく、車両の側方などについても、歩行者などの移動体の有無や、障害物の有無などについての安全確認を運転者が確実に実行することが必要となる。   In order for a vehicle driver to drive a vehicle safely, not only in the direction of travel of the vehicle, but also on the side of the vehicle, safety confirmation regarding the presence of moving objects such as pedestrians and obstacles It is necessary for the driver to execute it reliably.

もっとも実際には、運転者が必ず安全確認しながら運転するとは限らない。そこで、車両の右折時（あるいは左折時）には、運転者が車両の右側（左折時には左側）を確認したか否かを監視しておき、運転者が確認することなく右折（あるいは左折）しそうになった場合には、その旨を運転者に警告する技術が提案されている（特許文献１）。
また、運転者が車両の右側（あるいは左側）を確認しようとすると運転者は視線を大きく右側（あるいは左側）に移動させなければならないので、車両の進行方向への注意が疎かになる虞がある。そこで、車両の右側あるいは左側を車載カメラで撮影し、その撮影画像を、ハンドルの奥側のインストルメントパネル（いわゆるインパネ）内に設けた表示画面に表示する技術も提案されている（特許文献２）。こうすれば、運転者が視線を大きく動かさなくても、車両の右側あるいは左側を確認することができる。 In practice, however, the driver does not always drive while confirming safety. Therefore, when the vehicle turns right (or left), it is monitored whether the driver has checked the right side of the vehicle (left side when turning left), and the driver is likely to turn right (or left) without confirmation. In such a case, a technique for warning the driver to that effect has been proposed (Patent Document 1).
In addition, when the driver tries to check the right side (or left side) of the vehicle, the driver must move the line of sight largely to the right side (or left side), so that attention to the traveling direction of the vehicle may be neglected. . Therefore, a technique has been proposed in which the right or left side of the vehicle is photographed with an in-vehicle camera and the photographed image is displayed on a display screen provided in an instrument panel (so-called instrument panel) on the back side of the handle (Patent Document 2). ). In this way, the right side or the left side of the vehicle can be confirmed without the driver moving the line of sight greatly.

特開２０１３−１４０５５８号公報JP2013-140558A 特開２００７−５１９９８４号公報JP 2007-519984 A

しかし、上記の提案されている技術では、依然として、運転者が車両を安全に運転することは困難であるという問題があった。これは、次のような理由による。
先ず、車両の走行中には、車線変更や、右折、左折、一時停止からの再発進、後進など、様々な運転状況に遭遇する。これらの運転状況では、通常、車両周辺の複数箇所について安全確認する必要があり、しかも、安全確認する箇所は車両の運転状況に応じて異なっている。
このため運転者が、短時間に、全ての箇所について見落としなく安全確認することは容易なことではなく、その結果、一部の箇所については安全確認しないまま運転してしまうことが生じ易いためである。 However, the proposed technique still has a problem that it is difficult for the driver to drive the vehicle safely. This is due to the following reason.
First, while the vehicle is running, it encounters various driving situations such as changing lanes, turning right, turning left, resuming from a pause, and going backwards. In these driving situations, it is usually necessary to confirm safety at a plurality of locations around the vehicle, and the locations where safety is confirmed differ depending on the driving status of the vehicle.
For this reason, it is not easy for the driver to confirm safety without overlooking all parts in a short time, and as a result, it is likely that some parts will drive without confirming safety. is there.

この発明は、上述した問題に鑑みてなされたものであり、運転者が車両を安全に運転することが可能な技術の提供を目的とする。   The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a technique that allows a driver to drive a vehicle safely.

上述した問題を解決するために本発明の運転支援装置は、第１車載カメラ、第２車載カメラ、第３車載カメラを用いて複数の所定方向への画像を撮影しておき、車両の運転状況に応じて、選択した複数の画像を表示画面に表示する。
こうすれば、運転者は表示画面に表示された画像を確認するだけで、複数の箇所の安全を確認することができる。また、運転状況に応じて安全確認が必要な画像を選択して表示画面に表示しておけば、安全確認すべき箇所が複数存在する場合でも、全ての箇所について洩れなく確認することができるので、安全に車両を運転することが可能となる。 In order to solve the above-described problem, the driving support device of the present invention captures images in a plurality of predetermined directions using the first in-vehicle camera, the second in-vehicle camera, and the third in-vehicle camera, and the driving situation of the vehicle In response to this, a plurality of selected images are displayed on the display screen.
In this way, the driver can confirm the safety of a plurality of locations only by confirming the image displayed on the display screen. In addition, if an image that requires safety confirmation is selected according to the driving situation and displayed on the display screen, even if there are multiple locations where safety confirmation is required, all locations can be confirmed without omission. It becomes possible to drive the vehicle safely.

また、上述した本発明の運転支援装置においては、車両を減速させるために運転者によって操作される減速操作部を設けてもよい。そして、車両の運転状況を判断するに際しては、右左折操作部の操作状態だけでなく、減速操作部の操作状態も検出して、車両の運転状況を判断することとしてもよい。
こうすれば、運転者が車両を減速させようとしていることや、減速を終了させたことなどを検出することができるので、車両の運転状況をより正確に判断することができる。その結果、運転状況に応じて、より適切な画像を選択して表示画面に表示することが可能となる。 In the above-described driving support device of the present invention, a deceleration operation unit that is operated by the driver to decelerate the vehicle may be provided. When determining the driving situation of the vehicle, it is possible to detect not only the operating state of the right / left turn operating unit but also the operating state of the deceleration operating unit to determine the driving status of the vehicle.
In this way, it is possible to detect that the driver is about to decelerate the vehicle, to finish decelerating, etc., so that the driving situation of the vehicle can be determined more accurately. As a result, a more appropriate image can be selected and displayed on the display screen according to the driving situation.

また、上述した本発明の運転支援装置においては、車両を後進させるために運転者によって操作される後進操作部を設けることとしても良い。そして、車両の運転状況を判断するに際しては、後進操作部の操作状態も検出して、車両の運転状況を判断してもよい。
こうすれば、運転者が車両を後進させようとしているか否かを検出することができるので、車両の運転状況をより正確に判断することができ、その結果、より適切な画像を選択して表示画面に表示することが可能となる。 In the above-described driving support device of the present invention, a reverse operation unit that is operated by the driver to reverse the vehicle may be provided. Then, when determining the driving situation of the vehicle, the operating condition of the reverse operation unit may also be detected to determine the driving condition of the vehicle.
In this way, it is possible to detect whether or not the driver is going to reverse the vehicle, so that the driving situation of the vehicle can be determined more accurately, and as a result, a more appropriate image is selected and displayed. It can be displayed on the screen.

また、上述した本発明の運転支援装置においては、何れの車載カメラで撮影した画像を選択すべきかを、車両の運転状況毎に予め記憶しておいてもよい。そして、表示画面に表示すべき画像を選択するに際しては、車両の運転状況に対応付けて記憶されている画像を選択するようにしても良い。
こうすれば、車両の運転状況に対応付けて適切な画像を予め記憶しておくことで、運転状況に応じた適切な画像を選択して表示画面に表示させることができる。 Moreover, in the driving assistance apparatus of the present invention described above, it may be stored in advance for each driving situation of the vehicle which vehicle camera should select an image. Then, when selecting an image to be displayed on the display screen, an image stored in association with the driving situation of the vehicle may be selected.
In this way, by storing an appropriate image in advance in association with the driving situation of the vehicle, an appropriate image corresponding to the driving situation can be selected and displayed on the display screen.

また、上述した本発明の運転支援装置においては、運転者の視線を検出することによって、表示画面に表示された画像の中から、運転者によって確認された確認画像を検出することとしてもよい。そして、表示画面に表示された画像の中に運転者が確認していない未確認画像がある場合には、その旨を運転者に警告することとしてもよい。
こうすれば、表示画面に表示された画像を、運転者に確実に確認させることが可能となる。 In the driving support device of the present invention described above, a confirmation image confirmed by the driver may be detected from images displayed on the display screen by detecting the driver's line of sight. If there is an unconfirmed image that the driver has not confirmed in the image displayed on the display screen, the driver may be warned to that effect.
This makes it possible for the driver to surely confirm the image displayed on the display screen.

また、未確認画像の存在を運転者に警告する上述した本発明の運転支援装置においては、未確認画像が、何れの箇所の前記車載カメラで撮影された画像であるかを識別可能な態様で警告することとしてもよい。
こうすれば、警告された運転者が、何れの画像が未確認であるかを直ちに認識できるので、速やかに安全確認することが可能となる。 Further, in the above-described driving support device according to the present invention that warns the driver of the presence of an unconfirmed image, the unconfirmed image is warned in an identifiable manner as to which part of the in-vehicle camera is taken. It is good as well.
In this way, the driver who has been warned can immediately recognize which image is unconfirmed, so that safety can be quickly confirmed.

また、未確認画像の存在を運転者に警告する上述した本発明の運転支援装置においては、表示される画像の重要度を車両の運転状況毎に記憶しておき、未確認画像の存在を警告するに際しては、画像の重要度に応じた態様で警告することとしてもよい。
こうすれば、重要度の高い画像が未確認であった場合には、より強く警告することができるので、運転者に確実に画像を確認させることが可能となる。 Further, in the above-described driving support apparatus of the present invention that warns the driver of the presence of an unconfirmed image, the importance of the displayed image is stored for each driving situation of the vehicle, and the presence of the unconfirmed image is warned. May be warned in a manner according to the importance of the image.
In this way, when an image with high importance is unconfirmed, a stronger warning can be issued, so that the driver can surely confirm the image.

また、上述した本発明の運転支援装置においては、車載カメラとして、少なくとも次の４つの車載カメラを搭載することとしても良い。すなわち、車両の前部に設けられて右方向への画像を撮影する第１車載カメラと、車両の前部に設けられて左方向への画像を撮影する第２車載カメラと、車両の右側部に設けられて右側部から後方向への画像を撮影する第３車載カメラと、車両の左側部に設けられて該左側部から後方向への画像を撮影する第４車載カメラとを搭載することとしても良い。そして、車速が所定の閾値速度以下であり、右左折操作部が右折時の操作状態であった場合には、車両の運転状況を右折前進状況と判断して、第１車載カメラによる画像と第３車載カメラによる画像とを表示画面に表示することとしても良い。
こうすれば、車両の右折時に運転者が表示画面を確認することによって、容易に安全確認することができる。 In the above-described driving support device of the present invention, at least the following four in-vehicle cameras may be mounted as the in-vehicle cameras. That is, a first in-vehicle camera that is provided at the front of the vehicle and captures an image in the right direction, a second in-vehicle camera that is provided at the front of the vehicle and captures an image in the left direction, and a right side portion of the vehicle And a third in-vehicle camera that captures an image from the right side to the rear and a fourth in-vehicle camera that is disposed on the left side of the vehicle and that captures an image from the left side. It is also good. When the vehicle speed is equal to or less than a predetermined threshold speed and the right / left turn operation unit is in the operation state at the time of a right turn, the vehicle driving state is determined to be a right turn forward state, It is good also as displaying the image by 3 vehicle-mounted cameras on a display screen.
If it carries out like this, a driver | operator can confirm safety | security easily by confirming a display screen at the time of a right turn of a vehicle.

また、第１車載カメラないし第４車載カメラを搭載する上述した本発明の運転支援装置においては、車速が閾値速度以下であり、右左折操作部が左折時の操作状態であった場合には、車両の運転状況を左折前進状況と判断して、第２車載カメラによる画像と第４車載カメラによる画像とを表示画面に表示することとしても良い。
こうすれば、車両の右折時に運転者が表示画面を確認することによって、容易に安全確認することができる。 Further, in the above-described driving support device of the present invention equipped with the first in-vehicle camera or the fourth in-vehicle camera, when the vehicle speed is equal to or lower than the threshold speed and the right / left turn operation unit is in the operation state at the time of the left turn, The driving state of the vehicle may be determined as a left turn forward state, and an image from the second in-vehicle camera and an image from the fourth in-vehicle camera may be displayed on the display screen.
If it carries out like this, a driver | operator can confirm safety | security easily by confirming a display screen at the time of a right turn of a vehicle.

尚、上述した本発明の運転支援装置が、第１車載カメラないし第４車載カメラに加えて、減速操作部を備えている場合には、本発明を次のような態様で把握することもできる。すなわち、
前記運転状況判断部は、前記車両が停止しており、前記右左折操作部が右折時または左折時の何れの操作状態でもなく、前記減速操作部が操作状態から非操作状態に切り換わった場合には、該車両の運転状況を直進発進状況と判断する判断部であり、
前記画像選択部は、前記車両が前記直進発進状況と判断された場合には、前記第１車載カメラによる画像および前記第２車載カメラによる画像を選択する選択部である
運転支援装置として把握することができる。 In addition, in addition to the 1st vehicle-mounted camera thru | or the 4th vehicle-mounted camera, when the driving assistance apparatus of this invention mentioned above is equipped with the deceleration operation part, this invention can also be grasped | ascertained in the following aspects. . That is,
The driving status determination unit is when the vehicle is stopped, the right / left turn operation unit is not in an operation state at the time of a right turn or a left turn, and the deceleration operation unit is switched from an operation state to a non-operation state. Is a determination unit that determines the driving state of the vehicle as a straight start state,
The image selection unit is a selection unit that selects an image obtained by the first vehicle-mounted camera and an image obtained by the second vehicle-mounted camera when the vehicle is determined to be in the straight start state. Can do.

このような態様で把握される本発明の運転支援装置を用いれば、車両が一旦停止した後に発進しようとしている状態で、車両周辺の安全確認すべき複数の箇所について運転者が容易に安全確認することが可能となる。   If the driving support device of the present invention grasped in such a manner is used, the driver can easily confirm safety at a plurality of locations around the vehicle where safety should be confirmed in a state where the vehicle is about to start after stopping once. It becomes possible.

また、前述した問題を解決するための本発明の運転支援装置は、車両の複数個所に搭載された車載カメラを用いて複数の所定方向の画像を撮影することとしてもよい。そして、右左折操作部の操作状態を示す操作部信号と車速検出部から受信した車速信号とに基づいて車両の運転状況を判断すると、車載カメラで撮影した複数の画像の中から、車両の運転状況に基づいて複数の画像を選択して、表示画面に表示させることとしてもよい。   In addition, the driving support apparatus of the present invention for solving the above-described problem may capture a plurality of images in a predetermined direction using in-vehicle cameras mounted at a plurality of locations of the vehicle. Then, when the driving state of the vehicle is determined based on the operation unit signal indicating the operation state of the right / left turn operation unit and the vehicle speed signal received from the vehicle speed detection unit, the driving of the vehicle is selected from a plurality of images captured by the in-vehicle camera. A plurality of images may be selected based on the situation and displayed on the display screen.

このようにしても、運転者は表示画面に表示された画像を確認するだけで、運転状況に応じて複数の箇所の安全を確認することができる。このため、全ての箇所について洩れなく確認することができるので、安全に車両を運転することが可能となる。   Even in this way, the driver can confirm the safety of a plurality of locations according to the driving situation only by confirming the image displayed on the display screen. For this reason, since it is possible to confirm all parts without omission, it becomes possible to drive the vehicle safely.

また、上述した本発明の運転支援装置は、車載カメラとして、車両の後部に設けられて該車両の後部から右方向への画像を撮影する第５車載カメラと、車両の後部に設けられて該車両の後部から左方向への画像を撮影する第６車載カメラとを搭載することができる。そして、このように第１車載カメラないし第６車載カメラを搭載し、更に、後進操作部も備えている場合には、本発明を次のような態様で把握することもできる。すなわち、
前記運転状況判断部は、前記後進操作部が後進状態に設定された状態で、前記車両のハンドルが右方向に操舵された場合には該車両の運転状況を後進右折状況と判断し、該ハンドルが左方向に操舵された場合には該車両の運転状況を後進左折状況と判断する判断部であり、
前記画像選択部は、前記車両が前記後進右折状況と判断された場合には、前記第３車載カメラの画像および前記第６車載カメラの画像を選択し、
前記車両が前記後進左折状況と判断された場合には、前記第４車載カメラの画像および前記第５車載カメラの画像を選択する選択部である
運転支援装置として把握することができる。 Further, the above-described driving support device of the present invention is provided as a vehicle-mounted camera at a rear portion of the vehicle, and a fifth vehicle-mounted camera that captures an image in the right direction from the rear portion of the vehicle; A sixth vehicle-mounted camera that captures an image in the left direction from the rear of the vehicle can be mounted. And when the 1st vehicle-mounted camera thru | or 6th vehicle-mounted camera are mounted in this way and also a reverse operation part is provided, this invention can also be grasped | ascertained with the following aspects. That is,
When the vehicle steering wheel is steered to the right in a state where the reverse operation unit is set to the reverse operation state, the driving state determination unit determines that the driving state of the vehicle is a reverse right turn state, and the steering wheel When the vehicle is steered in the left direction, the determination unit determines that the driving situation of the vehicle is the reverse left turn situation,
When the vehicle is determined to be in the reverse right turn situation, the image selection unit selects an image of the third in-vehicle camera and an image of the sixth in-vehicle camera,
When the vehicle is determined to be in the reverse left turn situation, it can be grasped as a driving support device that is a selection unit that selects an image of the fourth in-vehicle camera and an image of the fifth in-vehicle camera.

このような態様で把握される本発明の運転支援装置を用いれば、車両が後進しながら右折あるいは左折しようとしている状態で、車両周辺の安全確認すべき複数の箇所について運転者が容易に安全確認することが可能となる。   With the driving support device of the present invention grasped in this manner, the driver can easily confirm the safety at a plurality of locations around the vehicle where safety should be confirmed while the vehicle is going to turn right or left while moving backward. It becomes possible to do.

本実施例の運転支援装置１００を搭載した車両１の大まかな構成を示した説明図である。It is explanatory drawing which showed the rough structure of the vehicle 1 carrying the driving assistance device 100 of a present Example. 運転支援装置１００に搭載された車載カメラの撮影範囲を示した説明図である。FIG. 4 is an explanatory diagram showing a shooting range of an in-vehicle camera mounted on the driving support device 100. 運転支援装置１００に搭載された表示画面３０についての説明図である。It is explanatory drawing about the display screen 30 mounted in the driving assistance apparatus 100. FIG. 運転支援装置１００の構成を示すブロック図である。2 is a block diagram illustrating a configuration of a driving support device 100. FIG. 運転支援処理のフローチャートである。It is a flowchart of a driving assistance process. 運転支援処理内で実行される右左折前進時処理のフローチャートである。It is a flowchart of the process at the time of the left-right turn advance performed in a driving assistance process. 表示画面３０を構成する３つの画面についての説明図である。4 is an explanatory diagram of three screens that constitute a display screen 30. FIG. 右折前進時および左折前進時での表示内容が記憶されている様子を示した説明図である。It is explanatory drawing which showed a mode that the display content at the time of the right turn advance and the left turn advance was memorize | stored. 右折前進時または左折前進時に表示画面３０に表示される表示内容についての説明図である。It is explanatory drawing about the display content displayed on the display screen 30 at the time of the right turn advance or the left turn advance. 右折前進時に表示画面３０に表示される画像範囲を示した説明図である。It is explanatory drawing which showed the image range displayed on the display screen 30 at the time of a right turn advance. 運転支援処理内で実行される車線変更時処理のフローチャートである。It is a flowchart of the process at the time of lane change performed within a driving assistance process. 車線変更時の表示内容が記憶されている様子を示した説明図である。It is explanatory drawing which showed a mode that the display content at the time of a lane change was memorize | stored. 車線変更時に表示画面３０に表示される表示内容についての説明図である。It is explanatory drawing about the display content displayed on the display screen 30 at the time of lane change. 運転支援処理内で実行される一旦停止後発進時処理のフローチャートである。It is a flowchart of the process at the time of the start after a stop performed within a driving assistance process. 一旦停止後発進時の表示内容が記憶されている様子を示した説明図である。It is explanatory drawing which showed a mode that the display content at the time of the start after a once stop was memorize | stored. 一旦停止後発進時に表示画面３０に表示される表示内容についての説明図である。It is explanatory drawing about the display content displayed on the display screen 30 at the time of starting after a stop once. 一旦停止後発進時に表示画面３０に表示される画像範囲を示した説明図である。It is explanatory drawing which showed the image range displayed on the display screen 30 at the time of starting after a stop once. 運転支援処理内で実行される後進時処理の前半部分のフローチャートである。It is a flowchart of the first half part of the process at the time of reverse drive performed within a driving assistance process. 後進時処理の後半部分のフローチャートである。It is a flowchart of the latter half part of the process at the time of reverse travel. 後進時の表示内容が記憶されている様子を示した説明図である。It is explanatory drawing which showed a mode that the display content at the time of reverse drive was memorize | stored. 後進時に表示画面３０に表示される表示内容についての説明図である。It is explanatory drawing about the display content displayed on the display screen 30 at the time of reverse travel. 後進時に表示画面３０に表示される画像範囲を示した説明図である。It is explanatory drawing which showed the image range displayed on the display screen 30 at the time of reverse travel.

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、本実施例の運転支援装置１００を搭載した車両１の大まかな構成が示されている。車両１は、運転者２が操舵するハンドル３や、右折時あるいは左折時に運転者２が操作するウィンカーレバー４や、運転者２が右後方を視認するためのサイドミラー６Ｒや、左後方を視認するためのサイドミラー６Ｌや、運転者２が車両１を減速させるために操作するブレーキペダル７や、車両１を加速させるために操作するアクセルペダル８や、車両１の進行方向を前進または後進に切り換えるために運転者２が操作するシフトレバー９などを備えている。
尚、本実施例では、ウィンカーレバー４が本発明における「右左折操作部」に対応し、ブレーキペダル７が本発明における「減速操作部」に対応し、シフトレバー９が本発明における「後進操作部」に対応する。 Hereinafter, examples will be described in order to clarify the contents of the present invention described above.
A. Device configuration :
FIG. 1 shows a rough configuration of a vehicle 1 equipped with the driving support device 100 of the present embodiment. The vehicle 1 has a steering wheel 3 that the driver 2 steers, a winker lever 4 that the driver 2 operates when turning right or left, a side mirror 6R that allows the driver 2 to visually recognize the right rear, and a left rear that is visually recognized. The side mirror 6L for driving, the brake pedal 7 that the driver 2 operates to decelerate the vehicle 1, the accelerator pedal 8 that operates to accelerate the vehicle 1, and the traveling direction of the vehicle 1 forward or backward In order to switch, a shift lever 9 operated by the driver 2 is provided.
In the present embodiment, the winker lever 4 corresponds to the “right / left turn operation portion” in the present invention, the brake pedal 7 corresponds to the “deceleration operation portion” in the present invention, and the shift lever 9 corresponds to the “reverse operation” in the present invention. Part.

運転者２がハンドル３を操舵すると、ステアリングシャフト５に設けられた角度センサー２３によって操舵方向および操舵角度が検出される。また、ウィンカーレバー４の取付部分には接点スイッチ２４が設けられており、運転者２によってウィンカーレバー４が右折状態または左折状態に設定されると、接点スイッチ２４がその状態を検出する。
また、運転者２がブレーキペダル７を踏むと、その動きがブレーキペダルセンサー２７によって検出され、運転者２がアクセルペダル８を踏むと、その動きがアクセルペダルセンサー２８によって検出される。更に、運転者２がシフトレバー９を操作すると、シフトレバー９の根元部分に設けられたシフトセンサー２９によってその動きが検出される。
また、車両１の車速は車速センサー２６によって検出される。これらの各種センサーによって検出された情報は、マイクロコンピューターによって主に形成される制御部５０に供給される。尚、車速センサー２６は、本発明における「車速検出部」に対応する。 When the driver 2 steers the steering wheel 3, the steering direction and the steering angle are detected by an angle sensor 23 provided on the steering shaft 5. Further, a contact switch 24 is provided at an attachment portion of the winker lever 4, and when the winker lever 4 is set to a right turn state or a left turn state by the driver 2, the contact switch 24 detects the state.
When the driver 2 steps on the brake pedal 7, the movement is detected by the brake pedal sensor 27, and when the driver 2 steps on the accelerator pedal 8, the movement is detected by the accelerator pedal sensor 28. Further, when the driver 2 operates the shift lever 9, the movement is detected by the shift sensor 29 provided at the base portion of the shift lever 9.
The vehicle speed of the vehicle 1 is detected by a vehicle speed sensor 26. Information detected by these various sensors is supplied to a control unit 50 formed mainly by a microcomputer. The vehicle speed sensor 26 corresponds to the “vehicle speed detector” in the present invention.

本実施例の車両１には、車両１の前部に搭載された前部カメラ１０Ｒ，１０Ｌや、車両１の右部に搭載された右部カメラ１２Ｒや、車両１の左部に搭載された左部カメラ１２Ｌや、車両１の後部に搭載された後部カメラ１４Ｒ，１４Ｌ，１４Ｃも搭載されている。尚、これら前部カメラ１０Ｒ，１０Ｌや、右部カメラ１２Ｒ、左部カメラ１２Ｌ、後部カメラ１４Ｒ，１４Ｌ，１４Ｃは、本発明における「車載カメラ」に対応する。特に、前部カメラ１０Ｒは本発明における「第１車載カメラ」に対応し、前部カメラ１０Ｌは本発明における「第２車載カメラ」に対応し、右部カメラ１２Ｒは本発明における「第３車載カメラ」に対応し、左部カメラ１２Ｌは本発明における「第４車載カメラ」に対応する。
更に、車両１の車室内の右側には右部スピーカー３２Ｒが搭載され、車室内の左側には左部スピーカー３２Ｌが搭載されている。右部スピーカー３２Ｒおよび左部スピーカー３２Ｌは、本発明における「警告部」に対応する。 In the vehicle 1 of the present embodiment, the front cameras 10R and 10L mounted on the front portion of the vehicle 1, the right camera 12R mounted on the right portion of the vehicle 1, and the left camera 1 are mounted. A left camera 12L and rear cameras 14R, 14L, 14C mounted on the rear of the vehicle 1 are also mounted. The front cameras 10R and 10L, the right camera 12R, the left camera 12L, and the rear cameras 14R, 14L, and 14C correspond to the “vehicle camera” in the present invention. In particular, the front camera 10R corresponds to the “first vehicle-mounted camera” in the present invention, the front camera 10L corresponds to the “second vehicle-mounted camera” in the present invention, and the right camera 12R corresponds to the “third vehicle-mounted camera” in the present invention. The left camera 12L corresponds to the “fourth in-vehicle camera” in the present invention.
Further, a right speaker 32R is mounted on the right side of the vehicle interior of the vehicle 1, and a left speaker 32L is mounted on the left side of the vehicle interior. The right speaker 32R and the left speaker 32L correspond to the “warning part” in the present invention.

図２に示されるように、車両１の前部に搭載された前部カメラ１０Ｒは、車両１の前部から右側方向の画像（前右画像Ｖ１）を撮影し、前部カメラ１０Ｌは、車両１の前部から左側方向の画像（前左画像Ｖ２）を撮影する。また、右部カメラ１２Ｒは右側のサイドミラー６Ｒに搭載されて、車両１の右側後方の画像（側右画像Ｖ３）を撮影し、左部カメラ１２Ｌは左側のサイドミラー６Ｌに搭載されて、車両１の左側後方の画像（側左画像Ｖ４）を撮影する。更に、車両１の後部に搭載された後部カメラ１４Ｒは、車両１の後部から右側方向の画像（後右画像Ｖ５）を撮影し、後部カメラ１４Ｌは、車両１の後部から左側方向の画像（後左画像Ｖ６）を撮影し、後部カメラ１４Ｃは、車両１の後部から真っ直ぐに後方向の画像（後中画像Ｖ７）を撮影する。
また、図２には、車室内での右部スピーカー３２Ｒおよび左部スピーカー３２Ｌの搭載位置も表示されている。 As shown in FIG. 2, the front camera 10R mounted on the front of the vehicle 1 captures an image in the right direction (front right image V1) from the front of the vehicle 1, and the front camera 10L An image in the left direction from the front of 1 (front left image V2) is taken. Further, the right camera 12R is mounted on the right side mirror 6R to capture the right rear image (side right image V3) of the vehicle 1, and the left camera 12L is mounted on the left side mirror 6L. The left rear image (side left image V4) is taken. Further, the rear camera 14R mounted on the rear portion of the vehicle 1 captures an image in the right direction from the rear portion of the vehicle 1 (rear right image V5), and the rear camera 14L has an image in the left direction from the rear portion of the vehicle 1 (rear). The left image V6) is taken, and the rear camera 14C takes a rearward image (the rear middle image V7) straight from the rear of the vehicle 1.
FIG. 2 also shows the mounting positions of the right speaker 32R and the left speaker 32L in the vehicle interior.

図３には、運転席から車両１の進行方向前方に向かって車室内を見た状態が示されている。図示されるように、運転席から見てハンドル３の奥側のインストルメントパネルと呼ばれる部分には、液晶表示装置などによる表示画面３０が搭載されている。詳細には後述するが、前述した各種の車載カメラによって撮影された画像は、表示画面３０に表示される。
また、図３には、ウィンカーレバー４や、ブレーキペダル７、アクセルペダル８、シフトレバー９、顔面カメラ１６なども表示されている。 FIG. 3 shows a state in which the passenger compartment is viewed from the driver's seat toward the front in the traveling direction of the vehicle 1. As shown in the figure, a display screen 30 such as a liquid crystal display device is mounted on a portion called an instrument panel on the back side of the handle 3 when viewed from the driver's seat. As will be described in detail later, images taken by the various vehicle-mounted cameras described above are displayed on the display screen 30.
3 also shows a blinker lever 4, a brake pedal 7, an accelerator pedal 8, a shift lever 9, a face camera 16, and the like.

図４には、本実施例の運転支援装置１００の全体構成が示されている。前部カメラ１０Ｒ，１０Ｌや、右部カメラ１２Ｒ、左部カメラ１２Ｌ、後部カメラ１４Ｒ，１４Ｌ，１４Ｃで撮影された画像は、制御部５０に入力される。
運転者２がウィンカーレバー４を操作したり、ハンドル３を操舵したりすると、その動きが接点スイッチ２４や角度センサー２３によって検出されて制御部５０に入力される。また、運転者２がブレーキペダル７やアクセルペダル８を踏んだり、シフトレバー９を操作したりすると、その動きがブレーキペダルセンサー２７やアクセルペダルセンサー２８、シフトセンサー２９によって検出されて、制御部５０に入力される。更に、車速センサー２６によって検出された車速も、制御部５０に入力される。 FIG. 4 shows the overall configuration of the driving support apparatus 100 of this embodiment. Images captured by the front cameras 10R and 10L, the right camera 12R, the left camera 12L, and the rear cameras 14R, 14L, and 14C are input to the control unit 50.
When the driver 2 operates the blinker lever 4 or steers the steering wheel 3, the movement is detected by the contact switch 24 and the angle sensor 23 and input to the control unit 50. Further, when the driver 2 steps on the brake pedal 7 or the accelerator pedal 8 or operates the shift lever 9, the movement is detected by the brake pedal sensor 27, the accelerator pedal sensor 28, and the shift sensor 29, and the control unit 50 Is input. Further, the vehicle speed detected by the vehicle speed sensor 26 is also input to the control unit 50.

制御部５０は、これらの情報を受け取ると、後述する各種の処理を行って、表示画面３０に各種の画像を出力したり、右部スピーカー３２Ｒや左部スピーカー３２Ｌから音声や効果音を出力したりする。また、制御部５０には、メモリーなどによって主に構成される記憶部５２が内蔵されており、後述する各種処理を実行するために使用する各種のデータを記憶している。   Upon receiving these pieces of information, the control unit 50 performs various processes to be described later, outputs various images to the display screen 30, and outputs sounds and sound effects from the right speaker 32R and the left speaker 32L. Or Further, the control unit 50 has a built-in storage unit 52 mainly constituted by a memory or the like, and stores various data used for executing various processes described later.

Ｂ．運転支援処理 ：
図４には、本実施例の運転支援装置１００が実行する運転支援処理のフローチャートが示されている。この処理は、運転支援装置１００の主に制御部５０によって実行される。
図示されるように、運転支援処理では先ず始めに、シフトレバー９の操作状態（いわゆるシフトポジション）が「リバース（後進）位置」に設定されているか否かを判断する（Ｓ１０）。リバース位置に設定されている場合は（Ｓ１０：ｙｅｓ）、車両１の後進時の運転支援用の後進時処理（Ｓ４００）を開始する。 B. Driving support processing:
FIG. 4 shows a flowchart of the driving support process executed by the driving support device 100 of this embodiment. This process is mainly executed by the control unit 50 of the driving support device 100.
As shown in the drawing, in the driving support process, first, it is determined whether or not the operation state (so-called shift position) of the shift lever 9 is set to the “reverse (reverse) position” (S10). If it is set to the reverse position (S10: yes), the reverse driving process (S400) for driving support when the vehicle 1 is moving backward is started.

これに対して、シフトポジションがリバース位置に設定されていない場合は（Ｓ１０：ｎｏ）、ウィンカーレバー４が右折状態または左折状態の何れかの操作状態となっているか否かを判断する（Ｓ１２）。その結果、右折状態または左折状態の何れかとなっていた場合は（Ｓ１２：ｙｅｓ）、車両１の車速が第１閾値速度（例えば時速１０ｋｍ）以下か否かを判断する（Ｓ１４）。尚、本実施例においては、第１閾値速度が本発明における「閾値速度」に対応する。
そして、第１閾値速度以下であった場合は（Ｓ１４：ｙｅｓ）、車両１が交差点などに進入して右折あるいは左折しようとしている運転状況にあるものと判断して、後述する右左折前進時処理（Ｓ１００）を開始する。
これに対して、車両１の車速が第１閾値速度よりも大きかった場合は（Ｓ１４：ｎｏ）、車両１が車線変更しようとしている運転状況にあるものと判断して、後述する斜線変更時処理（Ｓ２００）を開始する。 On the other hand, when the shift position is not set to the reverse position (S10: no), it is determined whether or not the winker lever 4 is in the operation state of either the right turn state or the left turn state (S12). . As a result, when the vehicle is in a right turn state or a left turn state (S12: yes), it is determined whether or not the vehicle speed of the vehicle 1 is equal to or lower than a first threshold speed (for example, 10 km / h) (S14). In this embodiment, the first threshold speed corresponds to the “threshold speed” in the present invention.
If the speed is equal to or lower than the first threshold speed (S14: yes), it is determined that the vehicle 1 is in a driving situation where the vehicle 1 enters an intersection or the like and is about to make a right turn or a left turn. (S100) is started.
On the other hand, if the vehicle speed of the vehicle 1 is greater than the first threshold speed (S14: no), it is determined that the vehicle 1 is in a driving situation in which a lane change is to be made, and a hatched line change process described later is performed. (S200) is started.

一方、ウィンカーレバー４が右折または左折の操作状態となっていない場合は（Ｓ１２：ｎｏ）、ブレーキペダル７が踏まれているか否かを判断する（Ｓ１６）。そして、ブレーキペダル７が踏まれている場合は（Ｓ１６：ｙｅｓ）、車両１の車速が第２閾値速度以下まで低下したか否かを判断する（Ｓ１８）。ここで第２閾値速度は、上述した第１閾値速度よりも十分に低い速度（例えば、時速２ｋｍ）に設定されている。
そして、第２閾値速度以下まで低下していない場合は（Ｓ１８：ｎｏ）、ブレーキペダル７が踏まれているか否かを判断する（Ｓ１６）。このように、ブレーキペダル７が踏まれている場合は（Ｓ１６：ｙｅｓ）、車速が第２閾値速度以下に低下するまで、同様な判断を繰り返す。 On the other hand, when the winker lever 4 is not in the right turn or left turn operation state (S12: no), it is determined whether or not the brake pedal 7 is depressed (S16). If the brake pedal 7 is depressed (S16: yes), it is determined whether or not the vehicle speed of the vehicle 1 has decreased to a second threshold speed or less (S18). Here, the second threshold speed is set to a speed sufficiently lower than the above-described first threshold speed (for example, 2 km / h).
If it has not decreased to the second threshold speed or less (S18: no), it is determined whether or not the brake pedal 7 is depressed (S16). Thus, when the brake pedal 7 is stepped on (S16: yes), the same determination is repeated until the vehicle speed falls below the second threshold speed.

そして、車速が第２閾値速度以下まで低下したら（Ｓ１８：ｙｅｓ）、今度は運転者２がブレーキペダル７から足を離したか否かを判断する（Ｓ２０）。運転者２がブレーキペダル７から足を離していない場合は（Ｓ２０：ｎｏ）、車速が第２閾値速度以下であることを確認した後（Ｓ１８：ｙｅｓ）、ブレーキペダル７から足を離したか否かを判断する（Ｓ２０）。
その結果、ブレーキペダル７から足を離した場合は（Ｓ２０：ｙｅｓ）、運転者２がブレーキペダル７を踏んで車両１を一旦停止させた後、再び発進しようとしているものと考えられるので、後述する一旦停止後発進処理（Ｓ３００）を開始する。 When the vehicle speed drops below the second threshold speed (S18: yes), it is next determined whether or not the driver 2 has lifted his / her foot from the brake pedal 7 (S20). If the driver 2 has not released his / her foot from the brake pedal 7 (S20: no), after confirming that the vehicle speed is equal to or lower than the second threshold speed (S18: yes), whether or not he / she has released his / her foot from the brake pedal 7 Is determined (S20).
As a result, when the foot is released from the brake pedal 7 (S20: yes), it is considered that after the driver 2 steps on the brake pedal 7 to stop the vehicle 1 and then starts again, it will be described later. The start process (S300) is started after the stop.

以上のようにして、右左折前進時処理（Ｓ１００）、車線変更時処理（Ｓ２００）、一旦停止後発進時処理（Ｓ３００）、あるいは後進時処理（Ｓ４００）の何れかを実行したら、車両１の運転を終了するか否かを判断する（Ｓ２２）。
また、運転者２がブレーキペダル７を踏んで減速していたが、車速が時速０ｋｍまで低下する前に、運転者２がブレーキペダル７から足を離した場合にも（Ｓ１６：ｎｏ）、運転終了か否かを判断する（Ｓ２２）。
その結果、運転終了でないと判断した場合は（Ｓ２２：ｎｏ）、処理の先頭に戻って、シフトレバー９がリバース位置に設定されているか否かを判断した後（Ｓ１０）、続く上述した一連の処理を繰り返す。これに対して、運転終了と判断した場合は（Ｓ２２：ｙｅｓ）、図５に示した運転支援処理を終了する。 As described above, when any one of the right / left turn forward process (S100), the lane change process (S200), the start process after stop (S300), or the reverse process (S400) is executed, the vehicle 1 It is determined whether or not to end the operation (S22).
In addition, when the driver 2 decelerates by stepping on the brake pedal 7, but the driver 2 lifts his / her foot from the brake pedal 7 before the vehicle speed drops to 0 km / h (S16: no), driving It is determined whether or not to end (S22).
As a result, when it is determined that the operation is not finished (S22: no), the process returns to the top of the process, and after determining whether or not the shift lever 9 is set to the reverse position (S10), the series of the above-described steps is continued. Repeat the process. On the other hand, when it is determined that the driving is finished (S22: yes), the driving support process shown in FIG. 5 is finished.

このように本実施例の運転支援処理では、シフトレバー９の設定位置や、ウィンカーレバー４の操作状態、ブレーキペダル７の操作状態、車両１の車速などに基づいて、車両１の運転状況を判断する。そして、運転状況に応じて、以下に説明する右左折前進時処理（Ｓ１００）、車線変更時処理（Ｓ２００）、一旦停止後発進時処理（Ｓ３００）、あるいは後進時処理（Ｓ４００）を開始することによって、運転状況に応じて適切な運転支援を実現する。   As described above, in the driving support processing of this embodiment, the driving state of the vehicle 1 is determined based on the set position of the shift lever 9, the operating state of the winker lever 4, the operating state of the brake pedal 7, the vehicle speed of the vehicle 1, and the like. To do. Then, depending on the driving situation, the right / left turn forward process (S100), the lane change process (S200), the start process after stop (S300), or the reverse process (S400) described below is started. Thus, appropriate driving assistance is realized according to the driving situation.

Ｃ．右左折前進時処理 ：
図６には、右左折前進時処理のフローチャートが示されている。前述したように、この処理は、ウィンカーレバー４が右折または左折の何れかの状態に操作されて（図５のＳ１２：ｙｅｓ）、且つ車速が第１閾値速度以下であった場合に（Ｓ１４：ｙｅｓ）、運転支援装置１００の主に制御部５０によって実行される。 C. Processing when turning left or right:
FIG. 6 shows a flowchart of the forward / left turn forward processing. As described above, this process is performed when the winker lever 4 is operated to be in a right turn or a left turn (S12: yes in FIG. 5) and the vehicle speed is equal to or lower than the first threshold speed (S14: yes), it is mainly executed by the control unit 50 of the driving support device 100.

右左折前進時処理（Ｓ１００）を開始すると、先ず始めにウィンカーレバー４の操作状態が右折状態であるか否かを判断する（Ｓ１０２）。前述したようにウィンカーレバー４の操作状態は接点スイッチ２４によって検出されて、制御部５０に入力される。このため制御部５０は、ウィンカーレバー４が右折状態であるか否かを判断することができる。
その結果、ウィンカーレバー４が右折状態であった場合は（Ｓ１０２：ｙｅｓ）、前部カメラ１０Ｒで撮影した前右画像Ｖ１と、右部カメラ１２Ｒで撮影した側右画像Ｖ３とを、表示画面３０に表示する（Ｓ１０４）。一方、ウィンカーレバー４が右折状態ではなかった場合（すなわち左折状態であった場合）は（Ｓ１０２：ｎｏ）、前部カメラ１０Ｌで撮影した前左画像Ｖ２と、左部カメラ１２Ｌで撮影した側左画像Ｖ４とを、表示画面３０に表示する（Ｓ１０４）。 When the right / left turn forward processing (S100) is started, it is first determined whether or not the operating state of the winker lever 4 is a right turn state (S102). As described above, the operation state of the winker lever 4 is detected by the contact switch 24 and input to the control unit 50. Therefore, the control unit 50 can determine whether or not the winker lever 4 is in the right turn state.
As a result, when the winker lever 4 is in the right turn state (S102: yes), the front right image V1 photographed by the front camera 10R and the side right image V3 photographed by the right camera 12R are displayed on the display screen 30. (S104). On the other hand, when the winker lever 4 is not in the right turn state (that is, in the left turn state) (S102: no), the front left image V2 photographed by the front camera 10L and the left side photographed by the left camera 12L The image V4 is displayed on the display screen 30 (S104).

ここで、図７に示されるように、表示画面３０は、画面中央の表示領域（中央画面３１Ｃ）と、中央画面３１Ｃの右側の表示領域（右画面３１Ｒ）と、中央画面３１Ｃの左側の表示領域（左画面３１Ｌ）の大きく３つの画面に分けられている。通常の運転時には、中央画面３１Ｃには車速メーターが表示されている。また右画面３１Ｒや左画面３１Ｌにも、それぞれに所定の計器が表示されている。   Here, as shown in FIG. 7, the display screen 30 includes a display area at the center of the screen (center screen 31C), a display area on the right side of the central screen 31C (right screen 31R), and a display on the left side of the central screen 31C. The area (left screen 31L) is roughly divided into three screens. During normal driving, a vehicle speed meter is displayed on the central screen 31C. Also, predetermined instruments are displayed on the right screen 31R and the left screen 31L, respectively.

また、右左折前進時処理（Ｓ１００）の中でウィンカーレバー４が右折状態と判断された場合（Ｓ１０２：ｙｅｓ）、あるいは左折状態と判断された場合（Ｓ１０２：ｎｏ）に、表示画面３０の中央画面３１Ｃ、右画面３１Ｒ、左画面３１Ｌにどのような画像を表示するかについては、制御部５０の記憶部５２に予め設定されている。
図８には、表示画面３０の各画面（中央画面３１Ｃ、右画面３１Ｒ、左画面３１Ｌ）での表示内容が、ウィンカーレバー４の操作状態に対応付けて記憶されている様子が示されている。図示されるように、ウィンカーレバー４が右折状態にある場合には、表示画面３０の中央画面３１Ｃには前右画像Ｖ１を表示し、右画面３１Ｒには側右画像Ｖ３を表示し、左画面３１Ｌには車速メーターを表示する旨が記憶されている。また、ウィンカーレバー４が左折状態にある場合には、表示画面３０の中央画面３１Ｃには前左画像Ｖ２を表示し、左画面３１Ｌには側左画像Ｖ４を表示し、右画面３１Ｒには車速メーターを表示する旨が記憶されている。 Further, when the winker lever 4 is determined to be in a right turn state (S102: yes) or in a left turn state (S102: no) in the right / left turn advance processing (S100), the center of the display screen 30 is displayed. The images to be displayed on the screen 31C, the right screen 31R, and the left screen 31L are preset in the storage unit 52 of the control unit 50.
FIG. 8 shows a state in which display contents on each screen (the central screen 31C, the right screen 31R, and the left screen 31L) of the display screen 30 are stored in association with the operation state of the blinker lever 4. . As shown in the figure, when the winker lever 4 is in the right turn state, the front right image V1 is displayed on the center screen 31C of the display screen 30, the side right image V3 is displayed on the right screen 31R, and the left screen is displayed. The fact that a vehicle speed meter is displayed is stored in 31L. When the winker lever 4 is in a left turn state, the front left image V2 is displayed on the center screen 31C of the display screen 30, the side left image V4 is displayed on the left screen 31L, and the vehicle speed is displayed on the right screen 31R. The fact that the meter is displayed is stored.

制御部５０は、ウィンカーレバー４が右折状態か否かを判断すると（図６のＳ１０２）、記憶部５２に記憶されている図８の対応関係を参照することによって、表示画面３０に画像を表示する。その結果、例えばウィンカーレバー４が右折状態にある場合は（Ｓ１０２：ｙｅｓ）、図９（ａ）に示されるように、中央画面３１Ｃには前右画像Ｖ１が表示され、右画面３１Ｒには側右画像Ｖ３が表示される（Ｓ１０４）。これに伴って、中央画面３１Ｃに表示されていた車速メーターは、左画面３１Ｌへと表示位置が移動する。
また、ウィンカーレバー４が左折状態にある場合は（Ｓ１０２：ｎｏ）、図９（ｂ）に示されるように、中央画面３１Ｃには前左画像Ｖ２が表示され、左画面３１Ｌには側左画像Ｖ４が表示される（Ｓ１０６）。これに伴って、中央画面３１Ｃに表示されていた車速メーターは、右画面３１Ｒへと移動する。 When the control unit 50 determines whether or not the winker lever 4 is in the right turn state (S102 in FIG. 6), the control unit 50 displays an image on the display screen 30 by referring to the correspondence relationship in FIG. 8 stored in the storage unit 52. To do. As a result, for example, when the winker lever 4 is in a right turn state (S102: yes), as shown in FIG. 9A, the front right image V1 is displayed on the central screen 31C, and the right screen 31R is on the side. The right image V3 is displayed (S104). Accordingly, the display position of the vehicle speed meter displayed on the central screen 31C moves to the left screen 31L.
When the winker lever 4 is in the left turn state (S102: no), as shown in FIG. 9B, the front left image V2 is displayed on the center screen 31C, and the side left image is displayed on the left screen 31L. V4 is displayed (S106). Along with this, the vehicle speed meter displayed on the central screen 31C moves to the right screen 31R.

尚、表示画面３０に表示される各種画像のうち、前部カメラ１０Ｒ，１０Ｌや、右部カメラ１２Ｒ、左部カメラ１２Ｌ、後部カメラ１４Ｒ，１４Ｃ，１４Ｌで撮影した画像については、通常の状態で表示される各種計器類の画像と区別するために、「撮影画像」と称することがあるものとする。
また、前述した運転支援処理や右左折前進時処理の中で、シフトレバー９やウィンカーレバー４の操作状態、車速が第１閾値速度以下か否かに基づいて、車両１の運転状況を判断する処理は、制御部５０によって行われている。また、車両１の運転状況に応じて、表示画面３０に表示する撮影画像を選択する処理は、制御部５０が記憶部５２を参照することによって行われ、更にそれらの撮影画像を表示画面３０に表示する処理は、制御部５０によって行われる。従って、本実施例の制御部５０は本発明における「運転状況判断部」や「画像選択部」、「画像表示部」に対応し、記憶部５２は本発明における「画像記憶部」に対応する。 Of the various images displayed on the display screen 30, the images taken by the front cameras 10R, 10L, the right camera 12R, the left camera 12L, and the rear cameras 14R, 14C, 14L are in a normal state. In order to distinguish from the displayed images of various instruments, they may be referred to as “photographed images”.
Further, in the above-described driving support processing and right / left turn forward processing, the driving state of the vehicle 1 is determined based on the operation state of the shift lever 9 and the blinker lever 4 and whether the vehicle speed is equal to or lower than the first threshold speed. The processing is performed by the control unit 50. Further, the process of selecting a captured image to be displayed on the display screen 30 according to the driving state of the vehicle 1 is performed by the control unit 50 referring to the storage unit 52, and further, these captured images are displayed on the display screen 30. The display process is performed by the control unit 50. Therefore, the control unit 50 of this embodiment corresponds to the “driving condition determination unit”, “image selection unit”, and “image display unit” in the present invention, and the storage unit 52 corresponds to the “image storage unit” in the present invention. .

続いて、制御部５０は、顔面カメラ１６で運転者２の顔面を撮影した赤外線画像を解析することにより、運転者２の視線の位置を検出する（図６のＳ１０８）。運転者２の視線の位置を検出する方法としては、周知の種々の方法を用いることができる。例えば、顔面カメラ１６で撮影した顔面の画像から、運転者２の目の位置を検出する。更に、目の位置に対する瞳の位置から、運転者２の視線の向きを検出する。そして、目の位置と視線の向きとに基づいて、運転者２の視線の位置（すなわち、運転者２が何処を見ているか）を検出することができる。   Subsequently, the control unit 50 detects the position of the line of sight of the driver 2 by analyzing an infrared image obtained by capturing the face of the driver 2 with the face camera 16 (S108 in FIG. 6). As a method for detecting the position of the driver's line of sight, various known methods can be used. For example, the position of the eyes of the driver 2 is detected from the facial image captured by the facial camera 16. Further, the direction of the line of sight of the driver 2 is detected from the position of the pupil with respect to the position of the eyes. Based on the position of the eyes and the direction of the line of sight, the position of the line of sight of the driver 2 (that is, where the driver 2 is looking) can be detected.

その後、表示画面３０に表示した何れかの撮影画像を、運転者２が確認したか否かを判断する（Ｓ１１０）。例えば、ウィンカーレバー４が右折状態に設定されている場合は、図９（ａ）に例示したように、中央画面３１Ｃには前右画像Ｖ１が表示され、右画面３１Ｒには側右画像Ｖ３が表示されている。そこで、運転者２の視線が一定時間以上、例えば中央画面３１Ｃに留まっていたことが検出されたら、中央画面３１Ｃに表示された前右画像Ｖ１を運転者２が確認したものと判断する（Ｓ１１０：ｙｅｓ）。
そして、前右画像Ｖ１が確認された旨を記憶部５２に記憶した後（Ｓ１１２）、前右画像Ｖ１の表示を終了する（Ｓ１１４）。すなわち、前右画像Ｖ１は中央画面３１Ｃに表示されていたから、前右画像Ｖ１の表示を終了することによって、中央画面３１Ｃの表示は前右画像Ｖ１から、通常時の表示（ここでは車速メーター）に切り換わる。また、これに伴って、それまで車速メーターが表示されていた左画面３１Ｌの表示も、図７に例示した通常時の表示（各種の計器類）に切り換わる。 Thereafter, it is determined whether or not the driver 2 has confirmed any photographed image displayed on the display screen 30 (S110). For example, when the winker lever 4 is set to the right turn state, as illustrated in FIG. 9A, the front right image V1 is displayed on the center screen 31C, and the side right image V3 is displayed on the right screen 31R. It is displayed. Therefore, if it is detected that the driver's line of sight has remained on the central screen 31C for a predetermined time or longer, for example, it is determined that the driver 2 has confirmed the front right image V1 displayed on the central screen 31C (S110). : Yes).
Then, after the fact that the front right image V1 has been confirmed is stored in the storage unit 52 (S112), the display of the front right image V1 is ended (S114). That is, since the front right image V1 is displayed on the central screen 31C, the display of the central screen 31C is changed from the front right image V1 to a normal display (here, a vehicle speed meter) by terminating the display of the front right image V1. Switch. Along with this, the display on the left screen 31L on which the vehicle speed meter has been displayed until then is also switched to the normal display (various instruments) illustrated in FIG.

また、運転者２の視線が一定時間以上、右画面３１Ｒに留まっていたことが検出された場合にも、側右画像Ｖ３について同様な処理を行う。
これに対して、運転者２の視線が、中央画面３１Ｃの前右画像Ｖ１にも、右画面３１Ｒの側右画像Ｖ３にも、一定時間以上留まっていない場合には、何れの撮影画像も運転者２によって確認されていないと判断する（Ｓ１１０：ｎｏ）。
以上では、ウィンカーレバー４が右折状態にある場合について説明したが、ウィンカーレバー４が左折状態にある場合には、中央画面３１Ｃに表示された前左画像Ｖ２と、左画面３１Ｌに表示された側左画像Ｖ４とについて、同様な処理を行う。
尚、運転者２の顔面を撮影した赤外線画像を解析して視線の位置を検出したり、視線の位置から運転者２によって確認された画像を検出したりする処理は、制御部５０によって行われている。従って、本実施例の制御部５０は本発明における「視線検出部」および「確認画像検出部」に対応する。 Further, when it is detected that the driver's line of sight has remained on the right screen 31R for a certain time or longer, the same processing is performed on the side right image V3.
On the other hand, if the driver's 2 line of sight does not remain in the front right image V1 of the central screen 31C or the side right image V3 of the right screen 31R for a certain period of time, any captured image is not driven. It is determined that it has not been confirmed by the person 2 (S110: no).
Although the case where the winker lever 4 is in the right turn state has been described above, when the winker lever 4 is in the left turn state, the front left image V2 displayed on the center screen 31C and the side displayed on the left screen 31L. Similar processing is performed on the left image V4.
The control unit 50 performs processing for detecting the position of the line of sight by analyzing the infrared image obtained by photographing the face of the driver 2 and detecting the image confirmed by the driver 2 from the position of the line of sight. ing. Therefore, the control unit 50 of the present embodiment corresponds to the “line of sight detection unit” and the “confirmation image detection unit” in the present invention.

続いて、車両１の車速が第３閾値速度を超えたか否かを判断する（Ｓ１１６）。ここで第３閾値速度は、車両１が右折または左折しようとしているのか、あるいは車線変更しようとしているのかを判断するために用いた第１閾値速度（図５のＳ１４参照）よりは低く、且つ第２閾値速度（図５のＳ１８参照）よりは高い速度（例えば時速５ｋｍ）に設定されている。
その結果、車速が第３閾値速度を超えていない場合は（Ｓ１１６：ｎｏ）、まだ車両１は、右折待ちあるいは左折待ちの状態から発進していないと考えられるので、ウィンカーレバー４が戻されていないことを確認した後（Ｓ１２２：ｎｏ）、再び、運転者２の視線の位置を検出して（Ｓ１０８）、上述した続く一連の処理（Ｓ１１０〜Ｓ１１６）を繰り返す。 Subsequently, it is determined whether or not the vehicle speed of the vehicle 1 exceeds a third threshold speed (S116). Here, the third threshold speed is lower than the first threshold speed (see S14 in FIG. 5) used to determine whether the vehicle 1 is going to turn right or left, or to change lanes. It is set to a speed (for example, 5 km / h) higher than the two threshold speeds (see S18 in FIG. 5).
As a result, when the vehicle speed does not exceed the third threshold speed (S116: no), it is considered that the vehicle 1 has not yet started from the state of waiting for a right turn or waiting for a left turn, and therefore the winker lever 4 is returned. After confirming the absence (S122: no), the position of the line of sight of the driver 2 is detected again (S108), and the above-described series of processing (S110 to S116) is repeated.

これに対して、車両１の車速が第３閾値速度を超えた場合は（Ｓ１１６：ｙｅｓ）、右折待ちあるいは左折待ちの状態から車両１を発進させようとしていると考えられる。そこで、制御部５０は、表示画面３０に表示した撮影画像（右折状態にある場合は前右画像Ｖ１および側右画像Ｖ３、左折状態にある場合は前左画像Ｖ２および側左画像Ｖ４）の中で、運転者２によって未だ確認されていない未確認画像が存在するか否かを判断する（Ｓ１１８）。
その結果、未確認画像が存在していない場合は（Ｓ１１８：ｎｏ）、ウィンカーレバー４が戻されていないことを確認した後（Ｓ１２２：ｎｏ）、再び、運転者２の視線の位置を検出して（Ｓ１０８）、上述した続く一連の処理（Ｓ１１０〜Ｓ１１６）を繰り返す。 On the other hand, when the vehicle speed of the vehicle 1 exceeds the third threshold speed (S116: yes), it is considered that the vehicle 1 is about to start from a state of waiting for a right turn or waiting for a left turn. Therefore, the control unit 50 displays the captured image (front right image V1 and side right image V3 when in a right turn state, front left image V2 and side left image V4 when in a left turn state) displayed on the display screen 30. Then, it is determined whether or not there is an unconfirmed image that has not yet been confirmed by the driver 2 (S118).
As a result, when there is no unconfirmed image (S118: no), after confirming that the winker lever 4 is not returned (S122: no), the position of the driver's line of sight is detected again. (S108), the above-described series of processes (S110 to S116) are repeated.

これに対して、未確認画像が存在していた場合は（Ｓ１１８：ｙｅｓ）、その旨を運転者２に対して警告する（Ｓ１２０）。すなわち、右折するのであれば前右画像Ｖ１および側右画像Ｖ３を確認しておく必要があり、左折するのであれば前左画像Ｖ２および側左画像Ｖ４を確認しておく必要があり、このことに対応して、これらの撮影画像が表示画面３０に表示されている。それにも拘わらず、一部の撮影画像を確認しないまま車両１を発進させようとしていると考えられる場合は、その旨を運転者２に警告する。   On the other hand, if an unconfirmed image exists (S118: yes), the driver 2 is warned to that effect (S120). That is, if making a right turn, it is necessary to confirm the front right image V1 and the side right image V3. If making a left turn, it is necessary to confirm the front left image V2 and the side left image V4. Corresponding to these, these captured images are displayed on the display screen 30. Nevertheless, if it is considered that the vehicle 1 is about to start without confirming some captured images, the driver 2 is warned to that effect.

また、表示画面３０に表示される撮影画像には予め重要度が設定されており、Ｓ１２０で運転者２に警告するに際しては、未確認画像の重要度に応じた態様で警告する。
例えば、図８を用いて前述したように制御部５０の記憶部５２には、右折時には、前右画像Ｖ１と側右画像Ｖ３とを表示する旨が予め記憶されているが、これと併せて、重要度の高い画像は側右画像Ｖ３である旨が予め記憶されている。左折時についても同様に、側左画像Ｖ４と前左画像Ｖ２とを表示する旨が記憶されているが、前左画像Ｖ２よりも側左画像Ｖ４の方が、重要度が高い旨が記憶されている。
そこで、未確認画像が重要度の高い画像であった場合には、そうでなかった場合とは異なる態様で（例えば大きな音量で）警告する。あるいは、未確認画像の重要度が高くなかった場合は警告音だけを出力し、未確認画像の重要度が高かった場合は警告音の出力に加えて、例えばランプを点滅させることによって警告しても良い。 Further, the importance level is set in advance for the captured image displayed on the display screen 30, and when the warning is given to the driver 2 in S120, the warning is given in a manner corresponding to the importance level of the unconfirmed image.
For example, as described above with reference to FIG. 8, the storage unit 52 of the control unit 50 stores in advance that the front right image V1 and the side right image V3 are displayed when turning right. In addition, it is stored in advance that the image with high importance is the side right image V3. Similarly, when turning left, it is stored that the side left image V4 and the front left image V2 are displayed, but the fact that the side left image V4 is more important than the front left image V2 is stored. ing.
Therefore, if the unconfirmed image is a highly important image, a warning is given in a different mode (for example, at a high volume) from the case where it is not. Alternatively, if the importance of the unconfirmed image is not high, only a warning sound is output, and if the importance of the unconfirmed image is high, in addition to outputting the warning sound, a warning may be given by blinking a lamp, for example. .

尚、本実施例では、表示画面３０に表示される撮影画像の重要度は、記憶部５２に記憶されている。従って、本実施例の記憶部５２は、本発明における「重要度記憶部」に対応する。
また、図８に示した例では、表示画面３０に表示される２つの撮影画像のうち、一方の撮影画像が重要度の高い画像に設定されている。しかし、重要度が高い画像の数は１つである必要はなく、２つの撮影画像とも重要度が高い画像に設定されていても良く、あるいは逆に、何れの撮影画像も重要度が高い画像に設定されていなくても構わない。更に、表示画面３０に表示される撮影画像は２つに限られるものではなく、１つでも良いし、より多数の撮影画像を表示しても構わない。 In this embodiment, the importance of the captured image displayed on the display screen 30 is stored in the storage unit 52. Accordingly, the storage unit 52 of this embodiment corresponds to the “importance storage unit” in the present invention.
Further, in the example illustrated in FIG. 8, one of the two captured images displayed on the display screen 30 is set as a highly important image. However, the number of images with high importance does not have to be one, and both of the captured images may be set to images with high importance, or conversely, any of the captured images has high importance. It does not matter if it is not set. Furthermore, the number of captured images displayed on the display screen 30 is not limited to two, and may be one or a larger number of captured images may be displayed.

また、未確認画像がある旨を運転者２に警告するに際しては、未確認画像に応じた態様で警告するようにしても良い。例えば、右折時に側右画像Ｖ３を確認していない場合には、「車両の右側を確認して下さい」という音声を右部スピーカー３２Ｒから流すことができる。あるいは「モニターの右画面の画像を確認して下さい」というように未確認画像の表示位置を示す音声を流してもよい。同様に、左折時に側左画像Ｖ４を確認していない場合には、左部スピーカー３２Ｌから「車両の左側を確認して下さい」という音声や、「モニターの左画面の画像を確認して下さい」という音声を流してもよい。   Further, when warning the driver 2 that there is an unconfirmed image, a warning may be given in a manner corresponding to the unconfirmed image. For example, if the side right image V3 is not confirmed at the time of a right turn, a voice “Please check the right side of the vehicle” can be played from the right speaker 32R. Alternatively, a sound indicating the display position of the unconfirmed image may be played, such as “Please check the image on the right screen of the monitor”. Similarly, if the left-side image V4 is not confirmed at the time of the left turn, the voice “Please check the left side of the vehicle” from the left speaker 32L or “Check the image on the left screen of the monitor” You may play the voice.

その後、ウィンカーレバー４が右折状態または左折状態から戻されているか否かを判断する（Ｓ１２２）。その結果、ウィンカーレバー４が右折状態または左折状態から戻されていた場合は（Ｓ１２２：ｙｅｓ）、運転者２が車両１の右折または左折を中止したものと考えられる。そこで、表示画面３０の表示を、図７に示した通常の表示内容に復帰させて（Ｓ１２４）、図６の右左折前進時処理を終了した後、図５の運転支援処理に復帰する。
これに対して、ウィンカーレバー４が右折状態または左折状態から戻されていない場合は（Ｓ１２２：ｎｏ）、再び、運転者２の視線の位置を検出して（Ｓ１０８）、上述した続く一連の処理（Ｓ１１０〜Ｓ１１６）を繰り返す。 Thereafter, it is determined whether or not the winker lever 4 is returned from the right turn state or the left turn state (S122). As a result, when the winker lever 4 has been returned from the right turn state or the left turn state (S122: yes), it is considered that the driver 2 has stopped the right turn or the left turn of the vehicle 1. Therefore, the display on the display screen 30 is restored to the normal display content shown in FIG. 7 (S124), and the right / left turn advance processing in FIG. 6 is terminated, and then the driving support processing in FIG. 5 is restored.
On the other hand, when the winker lever 4 is not returned from the right turn state or the left turn state (S122: no), the position of the driver's line of sight is detected again (S108), and the series of processes described above are continued. (S110 to S116) are repeated.

以上のような右左折前進時処理（Ｓ１００）を行えば、例えば図１０に示すように車両１を右折させる際に、前右画像Ｖ１を用いて歩行者の有無を確認することができ、側右画像Ｖ３を用いて後方のオートバイなどの移動体の有無を確認することができる。
加えて、前右画像Ｖ１および側右画像Ｖ３は何れも表示画面３０に表示されるので、運転者２は大きく視線を動かさなくても、これらの撮影画像を確認することができる。このため、図１０に例示されるように対向車が存在する場合でも、対向車の動きに注意を払いながら、同時に、横断歩道を渡ろうとする歩行者の有無や、後方から接近する移動体（オートバイなど）の有無を確認することができる。
更に、本実施例の運転支援装置１００では、図２に示した複数箇所の画像を撮影しているが、表示画面３０には、車両１の運転状況に応じて必要な箇所（図１０に示した右折の場合は、前右画像Ｖ１と側右画像Ｖ３の２カ所）の撮影画像が表示される。このため、運転者２は表示画面３０を見るだけで、必要な箇所での安全を、容易に且つ短時間で確認することが可能となる。
更に加えて、表示画面３０に表示した撮影画像の中に未確認画像が存在する場合には、その旨が運転者２に警告されるので、安全確認すべき箇所が多く存在する場合でも、運転者２が安全確認し忘れたまま、車両１を運転することを防止できる。 When the right / left turn advance processing (S100) as described above is performed, for example, when the vehicle 1 is turned to the right as shown in FIG. 10, the presence or absence of a pedestrian can be confirmed using the front right image V1. The presence or absence of a moving body such as a motorcycle behind can be confirmed using the right image V3.
In addition, since both the front right image V1 and the side right image V3 are displayed on the display screen 30, the driver 2 can confirm these captured images without moving the line of sight greatly. For this reason, even when there is an oncoming vehicle as illustrated in FIG. 10, while paying attention to the movement of the oncoming vehicle, at the same time, the presence or absence of a pedestrian trying to cross a pedestrian crossing and a moving body approaching from behind ( The presence or absence of a motorcycle, etc.).
Furthermore, in the driving support device 100 of the present embodiment, the images of a plurality of places shown in FIG. 2 are taken, but the display screen 30 shows necessary places according to the driving situation of the vehicle 1 (shown in FIG. 10). In the case of a right turn, two captured images of the front right image V1 and the side right image V3) are displayed. For this reason, the driver | operator 2 can confirm the safety | security in a required location easily and for a short time only by seeing the display screen 30. FIG.
In addition, if there is an unconfirmed image in the captured image displayed on the display screen 30, the driver 2 is warned to that effect, so even if there are many places to be confirmed for safety, the driver It is possible to prevent the vehicle 1 from being driven while 2 forgets to confirm safety.

Ｄ．車線変更時処理 ：
以上では、ウィンカーレバー４が右折状態または左折状態の何れかに設定され（図５のＳ１２：ｙｅｓ）、且つ、車速が第１閾値速度以下であったために（Ｓ１４：ｙｅｓ）、車両１が右折あるいは左折しようとしていると判断された場合に、運転者２の安全確認を支援する処理（右左折前進時処理）について説明した。
これに対して、ウィンカーレバー４が右折状態または左折状態の何れかに設定されているが（図５のＳ１２：ｙｅｓ）、車速が第１閾値速度以下ではなかった場合は（Ｓ１４：ｎｏ）、右折あるいは左折しようとしているのではなく、単に車線変更しようとしているものと考えられるので、以下のような車線変更時処理（Ｓ２００）を行う。 D. Processing when changing lanes:
In the above, since the winker lever 4 is set to either the right turn state or the left turn state (S12: yes in FIG. 5) and the vehicle speed is equal to or lower than the first threshold speed (S14: yes), the vehicle 1 turns right. Alternatively, the process for assisting the driver 2 in confirming safety when the vehicle is determined to make a left turn (the process at the time of right / left turn advance) has been described.
On the other hand, the winker lever 4 is set to either the right turn state or the left turn state (S12: yes in FIG. 5), but when the vehicle speed is not lower than the first threshold speed (S14: no), Since it is considered that the vehicle is not going to turn right or left, but is simply changing the lane, the following lane change processing (S200) is performed.

図１１には、車線変更時処理のフローチャートが示されている。この処理も、前述した右左折前進時処理（Ｓ１００）と同様に、運転支援装置１００の主に制御部５０によって実行される。
車線変更時処理（Ｓ２００）の場合も、前述した右左折前進時処理（Ｓ１００）と同様に、先ず始めにウィンカーレバー４の操作状態が右折状態であるか否かを判断する（Ｓ２０２）。
その結果、ウィンカーレバー４が右折状態であった場合は（Ｓ２０２：ｙｅｓ）、右部カメラ１２Ｒで撮影した側右画像Ｖ３を、表示画面３０の右画面３１Ｒに表示する（Ｓ２０４）。これに対して、ウィンカーレバー４が右折状態ではなかった場合（すなわち左折状態であった場合）は（Ｓ２０２：ｎｏ）、左部カメラ１２Ｌで撮影した側左画像Ｖ４を、表示画面３０の左画面３１Ｌに表示する（Ｓ２０４）。 FIG. 11 shows a flowchart of lane change processing. This process is also executed mainly by the control unit 50 of the driving support device 100, as in the above-described right / left turn forward process (S100).
Also in the lane change process (S200), it is first determined whether or not the operating state of the winker lever 4 is the right turn state (S202), as in the above-described right / left turn advance process (S100).
As a result, if the winker lever 4 is in the right turn state (S202: yes), the side right image V3 captured by the right camera 12R is displayed on the right screen 31R of the display screen 30 (S204). On the other hand, when the winker lever 4 is not in the right turn state (that is, in the left turn state) (S202: no), the left side image V4 photographed by the left camera 12L is displayed on the left screen of the display screen 30. It is displayed on 31L (S204).

制御部５０の記憶部５２には、車線変更時処理（Ｓ２００）の中でウィンカーレバー４が右折状態と判断された場合（Ｓ２０２：ｙｅｓ）と、左折状態と判断された場合（Ｓ２０２：ｎｏ）とについて、表示画面３０の表示内容が予め記憶されている。
すなわち、図１２に示したように、ウィンカーレバー４が右折状態にある場合には、表示画面３０の左画面３１Ｌおよび中央画面３１Ｃには通常の画像（図７参照）を表示し、右画面３１Ｒには側右画像Ｖ３を表示する旨が記憶されている。また、ウィンカーレバー４が左折状態にある場合には、表示画面３０の左画面３１Ｌには側左画像Ｖ４を表示し、中央画面３１Ｃおよび右画面３１Ｒには通常の画像を表示する旨が記憶されている。
制御部５０は、ウィンカーレバー４が右折状態か否かを判断すると（図１１のＳ２０２）、記憶部５２に記憶されている図１２の対応関係を参照することによって、表示画面３０に画像を表示する。図１３（ａ）および図１３（ｂ）には、ウィンカーレバー４が右折状態にある場合、あるいは左折状態にある場合のそれぞれについて、表示画面３０に表示される画像が例示されている。 In the storage unit 52 of the control unit 50, when the winker lever 4 is determined to be in the right turn state (S202: yes) and in the left turn state (S202: no) during the lane change processing (S200). The display contents of the display screen 30 are stored in advance.
That is, as shown in FIG. 12, when the winker lever 4 is in a right turn state, a normal image (see FIG. 7) is displayed on the left screen 31L and the central screen 31C of the display screen 30, and the right screen 31R. Stores that the side right image V3 is to be displayed. Further, when the winker lever 4 is in the left turn state, it is stored that the side left image V4 is displayed on the left screen 31L of the display screen 30, and the normal image is displayed on the center screen 31C and the right screen 31R. ing.
When the control unit 50 determines whether or not the winker lever 4 is in the right turn state (S202 in FIG. 11), the control unit 50 displays an image on the display screen 30 by referring to the correspondence relationship in FIG. 12 stored in the storage unit 52. To do. FIGS. 13A and 13B illustrate images displayed on the display screen 30 when the winker lever 4 is in a right turn state or a left turn state.

続いて、制御部５０は、顔面カメラ１６で撮影した運転者２の顔面の赤外線画像を解析することにより、運転者２の視線の位置を検出する（Ｓ２０８）。
そして、表示画面３０に表示した撮影画像（右折の場合は、右画面３１Ｒに表示した側右画像Ｖ３。左折の場合は、左画面３１Ｌに表示した側左画像Ｖ４）を、運転者２が確認したか否かを判断する（Ｓ２１０）。その結果、表示画面３０に表示した撮影画像に、運転者２の視線が一定時間以上、留まっていた場合は、その撮影画像を運転者２が確認したものと判断して（Ｓ２１０：ｙｅｓ）、撮影画像が確認された旨を記憶部５２に記憶した後（Ｓ２１２）、撮影画像の表示を終了する（Ｓ２１４）。
これに対して、運転者２の視線が、表示画面３０に表示した撮影画像（右折の場合は、右画面３１Ｒに表示した側右画像Ｖ３。左折の場合は、左画面３１Ｌに表示した側左画像Ｖ４）に、一定時間以上留まっていない場合には、運転者２が撮影画像を確認していないと判断する（Ｓ２１０：ｎｏ）。 Subsequently, the control unit 50 detects the position of the line of sight of the driver 2 by analyzing the infrared image of the face of the driver 2 photographed by the facial camera 16 (S208).
The driver 2 confirms the photographed image displayed on the display screen 30 (in the case of a right turn, the side right image V3 displayed on the right screen 31R. In the case of a left turn, the side left image V4 displayed on the left screen 31L). It is determined whether or not (S210). As a result, when the line of sight of the driver 2 remains on the captured image displayed on the display screen 30 for a certain time or more, it is determined that the driver 2 has confirmed the captured image (S210: yes), After the fact that the photographed image has been confirmed is stored in the storage unit 52 (S212), the display of the photographed image is terminated (S214).
On the other hand, the line of sight of the driver 2 is the captured image displayed on the display screen 30 (the right side image V3 displayed on the right screen 31R in the case of a right turn. The left side displayed on the left screen 31L in the case of a left turn. If the image V4) does not stay for a certain time or longer, it is determined that the driver 2 has not confirmed the captured image (S210: no).

続いて、車両１の運転者２がハンドル３を回したか否かを判断する（Ｓ２１６）。すなわち、ウィンカーレバー４が右折状態に設定されている場合（Ｓ２０２：ｙｅｓ）は、運転者２によってハンドル３が右回りに回転させられるものと考えられる。逆に、ウィンカーレバー４が左折状態に設定されている場合（Ｓ２０２：ｎｏ）は、運転者２によってハンドル３が左回りに回転させられるものと考えられる。そこで、Ｓ２１６では、角度センサー２３を用いてハンドル３の操舵角を検出することにより、ハンドル３が回されたか否かを判断する。
その結果、ハンドル３がまだ回されていない場合は（Ｓ２１６：ｎｏ）、ウィンカーレバー４が戻されたか否かを判断する（Ｓ２２２）。そして、ウィンカーレバー４が戻されていた場合は（Ｓ２２２：ｙｅｓ）、運転者２が車線変更を止めたものと考えられるので、表示画面３０の表示を、図７に例示した通常の表示内容に復帰させた後（Ｓ２２６）、図１１の車線変更時処理を終了して、図５の運転支援処理に復帰する。 Subsequently, it is determined whether or not the driver 2 of the vehicle 1 has turned the handle 3 (S216). That is, when the winker lever 4 is set to the right turn state (S202: yes), it is considered that the steering wheel 3 is rotated clockwise by the driver 2. Conversely, when the winker lever 4 is set to the left turn state (S202: no), it is considered that the driver 3 rotates the handle 3 counterclockwise. Therefore, in S216, it is determined whether or not the steering wheel 3 has been turned by detecting the steering angle of the steering wheel 3 using the angle sensor 23.
As a result, if the handle 3 has not yet been turned (S216: no), it is determined whether or not the winker lever 4 has been returned (S222). If the winker lever 4 has been returned (S222: yes), it is considered that the driver 2 has stopped changing the lane, so the display on the display screen 30 is changed to the normal display content illustrated in FIG. After returning (S226), the lane change time process of FIG. 11 is terminated, and the process returns to the driving support process of FIG.

また、ウィンカーレバー４が戻されていない場合は（Ｓ２２２：ｎｏ）、車両１の車速が第１閾値速度以下か否かを判断する（Ｓ２２４）。ここで、第１閾値速度とは、前述した図５の運転支援処理の中でウィンカーレバー４が操作された場合に、右左折しようとしているのか、車線変更しようとしているのかを判断するために用いた閾値の速度である（図５のＳ１２参照）。
その結果、車両１の車速が第１閾値速度よりも高かった場合は（Ｓ２２４：ｎｏ）、まだ運転者２が車線変更しようとしていると考えられるので、再び、運転者２の視線の位置を検出した後（Ｓ２０８）、上述した続く一連の処理（Ｓ２１０〜Ｓ２２４）を繰り返す。
これに対して、車両１の車速が第１閾値速度以下まで低下していた場合は（Ｓ２２４：ｙｅｓ）、運転者２の意図は車線変更することではなく、車両１を右折または左折させることにあったと考えられる。そこでこの場合は、表示画面３０の表示を、図７に例示した通常の表示内容に復帰させた後（Ｓ２２６）、図１１の車線変更時処理を終了して、図５の運転支援処理に復帰する。そして、運転支援処理では、ウィンカーレバー４が操作状態にあり（図５のＳ１２：ｙｅｓ）、且つ、車速が第１閾値速度以下（Ｓ１４：ｙｅｓ）と判断されることになるので、前述した右左折前進時処理（Ｓ１００）が開始されることになる。 If the winker lever 4 is not returned (S222: no), it is determined whether or not the vehicle speed of the vehicle 1 is equal to or lower than the first threshold speed (S224). Here, the first threshold speed is used to determine whether the vehicle is turning right or left or changing lanes when the blinker lever 4 is operated in the driving support process of FIG. 5 described above. The threshold speed (see S12 in FIG. 5).
As a result, if the vehicle speed of the vehicle 1 is higher than the first threshold speed (S224: no), it is considered that the driver 2 is still trying to change the lane, so the position of the driver's gaze is detected again. (S208), the above-described series of processes (S210 to S224) are repeated.
On the other hand, when the vehicle speed of the vehicle 1 has decreased below the first threshold speed (S224: yes), the intention of the driver 2 is not to change the lane but to turn the vehicle 1 to the right or left. It is thought that there was. Therefore, in this case, after the display on the display screen 30 is restored to the normal display content illustrated in FIG. 7 (S226), the lane change process in FIG. 11 is terminated and the process returns to the driving support process in FIG. To do. In the driving support process, the winker lever 4 is in the operating state (S12: yes in FIG. 5) and the vehicle speed is determined to be equal to or lower than the first threshold speed (S14: yes). The left turn forward processing (S100) is started.

以上では、ウィンカーレバー４が右折状態または左折状態に設定されているが、まだ運転者２がハンドル３を回していない場合（Ｓ２１６：ｎｏ）の処理について説明した。
これに対して、運転者２がハンドル３を回した場合は（Ｓ２１６：ｙｅｓ）、表示画面３０に表示した撮影画像（右折の場合は側右画像Ｖ３、左折の場合は側左画像Ｖ４）が、運転者２によって未だ確認されていない未確認画像であるか否かを判断する（Ｓ２１８）。 In the above, the process when the winker lever 4 is set to the right turn state or the left turn state but the driver 2 has not yet turned the steering wheel 3 (S216: no) has been described.
On the other hand, when the driver 2 turns the steering wheel 3 (S216: yes), the captured image displayed on the display screen 30 (the side right image V3 for a right turn and the side left image V4 for a left turn) is displayed. Then, it is determined whether or not the image is an unconfirmed image that has not yet been confirmed by the driver 2 (S218).

その結果、表示画面３０の撮影画像が既に確認されていた場合は（Ｓ２１８：ｎｏ）、ウィンカーレバー４の設定および車両１の車速を確認して（Ｓ２２２、Ｓ２２４）、ウィンカーレバー４が戻されているか（Ｓ２２２：ｙｅｓ）、あるいは車速が第１閾値速度以下に低下しているか（Ｓ２２４：ｙｅｓ）の何れかの条件が成立していない限り、再び運転者２の視線の位置を検出して（Ｓ２０８）、上述した続く一連の処理を繰り返す。また、何れかの条件が成立していた場合は、表示画面３０の表示を、図７に例示した通常の表示内容に復帰させた後（Ｓ２２６）、図１１の車線変更時処理を終了して、図５の運転支援処理に復帰する。   As a result, when the captured image on the display screen 30 has already been confirmed (S218: no), the setting of the blinker lever 4 and the vehicle speed of the vehicle 1 are confirmed (S222, S224), and the blinker lever 4 is returned. The position of the line of sight of the driver 2 is detected again unless one of the following conditions is satisfied (S222: yes) or the vehicle speed is lower than the first threshold speed (S224: yes) ( In step S208, the above-described series of processing is repeated. If any one of the conditions is satisfied, the display on the display screen 30 is restored to the normal display content illustrated in FIG. 7 (S226), and the lane change processing in FIG. Returning to the driving support process of FIG.

一方、表示画面３０に表示された撮影画像が未確認画像であった場合は（Ｓ２１８：ｙｅｓ）、その旨を運転者２に対して警告する（Ｓ２２０）。警告に際しては、未確認画像に応じた態様で、例えば、未確認画像が側右画像Ｖ３である場合には「車両の右側を確認して下さい」という音声を右部スピーカー３２Ｒから流し、未確認画像が側左画像Ｖ４の場合は「車両の左側を確認して下さい」という音声を左部スピーカー３２Ｌから流すことができる。
尚、図１２および図１３に例示したように、本実施例の車線変更時処理では、側右画像Ｖ３または側左画像Ｖ４の何れか１つの撮影画像を表示画面３０に表示するだけなので、撮影画像に重要度は設定されていない。しかし、予め重要度を設定しておき、設定された重要度に応じた態様で警告するようにしても良い。 On the other hand, if the captured image displayed on the display screen 30 is an unconfirmed image (S218: yes), the driver 2 is warned to that effect (S220). At the time of warning, in a mode according to the unconfirmed image, for example, when the unconfirmed image is the side right image V3, a sound “Please check the right side of the vehicle” is heard from the right speaker 32R, and the unconfirmed image In the case of the left image V4, a voice “Please check the left side of the vehicle” can be played from the left speaker 32L.
Note that, as illustrated in FIGS. 12 and 13, in the lane change processing of the present embodiment, only one of the side right image V3 and the side left image V4 is displayed on the display screen 30. No importance is set for the image. However, the importance may be set in advance and the warning may be given in a manner corresponding to the set importance.

このように本実施例の運転支援装置１００では、運転者２が車線変更しようとしている場合でも、運転者２が安全確認すべき箇所の撮影画像を表示画面３０に表示することで、運転者２の負担を軽減することができる。   As described above, in the driving support device 100 according to the present embodiment, even when the driver 2 is about to change the lane, the driver 2 displays the photographed image of the location where the driver 2 should confirm the safety on the display screen 30. Can be reduced.

Ｅ．一旦停止後発進時処理 ：
以上では、ウィンカーレバー４が右折状態または左折状態の何れかに設定されていた場合（図５のＳ１２：ｙｅｓ）に、運転者２の安全確認を支援する右左折前進時処理（Ｓ１００）および車線変更時処理（Ｓ２００）について説明した。
これに対して、ウィンカーレバー４が操作されていない状態で（図５のＳ１２：ｎｏ）、ブレーキペダル７が踏まれて（Ｓ１６：ｙｅｓ）、車両１の車速が第２閾値速度以下に低下し（Ｓ１８：ｙｅｓ）、その後、運転者２がブレーキペダル７から足を離した場合には（Ｓ２０：ｙｅｓ）、運転者２が一旦停止後から発進しようとしているものと考えられるので、以下のような一旦停止後発進時処理（Ｓ３００）を行う。 E. Processing after starting after stopping:
In the above, when the winker lever 4 is set to either the right turn state or the left turn state (S12: yes in FIG. 5), the right / left turn advance processing (S100) and the lane that support the driver's 2 safety check The change processing (S200) has been described.
On the other hand, when the winker lever 4 is not operated (S12: no in FIG. 5), the brake pedal 7 is depressed (S16: yes), and the vehicle speed of the vehicle 1 decreases below the second threshold speed. (S18: yes) After that, when the driver 2 lifts his / her foot from the brake pedal 7 (S20: yes), it is considered that the driver 2 is about to start after stopping once. After the stop, a start time process (S300) is performed.

図１４には、一旦停止後発進時処理のフローチャートが示されている。この処理も、前述した右左折前進時処理（Ｓ１００）や車線変更時処理（Ｓ２００）と同様に、運転支援装置１００の主に制御部５０によって実行される。   FIG. 14 shows a flowchart of the process at the time of starting after stopping once. This process is also executed mainly by the control unit 50 of the driving support device 100, similarly to the above-described right / left turn forward process (S100) and lane change process (S200).

一旦停止後発進時処理（Ｓ３００）を開始すると、前部カメラ１０Ｒで撮影した前右画像Ｖ１と、前部カメラ１０Ｒで撮影した前左画像Ｖ２とを、表示画面３０に表示する（Ｓ３０２）。制御部５０の記憶部５２には、図１５に示すように、一旦停止後発進時処理中で表示画面３０に表示する表示内容が記憶されている。制御部５０は、この表示内容を参照することによって、前右画像Ｖ１は表示画面３０の右画面３１Ｒに表示し、前左画像Ｖ２は左画面３１Ｌに表示する。また、表示画面３０の中央画面３１Ｃには、通常の画像が表示される。図１６には、このようにしてそれぞれの画像が表示画面３０に表示された様子が例示されている。   When the start-up process (S300) is started after the stop, the front right image V1 captured by the front camera 10R and the front left image V2 captured by the front camera 10R are displayed on the display screen 30 (S302). As shown in FIG. 15, display contents to be displayed on the display screen 30 are stored in the storage unit 52 of the control unit 50 during the starting process after being temporarily stopped. By referring to the display content, the control unit 50 displays the front right image V1 on the right screen 31R of the display screen 30, and displays the front left image V2 on the left screen 31L. In addition, a normal image is displayed on the central screen 31 </ b> C of the display screen 30. FIG. 16 illustrates how each image is displayed on the display screen 30 in this way.

続いて、制御部５０は、顔面カメラ１６で運転者２の顔面を撮影した赤外線画像を解析することにより、運転者２の視線の位置を検出する（図１４のＳ３０４）。そして、右画面３１Ｒの前右画像Ｖ１、あるいは左画面３１Ｌの前左画像Ｖ２の何れかを、運転者２が確認したか否かを判断する（Ｓ３０６）。例えば、運転者２の視線が一定時間以上、前右画像Ｖ１に留まっていた場合は、運転者２が前右画像Ｖ１を認識したものと判断する。また、運転者２の視線が一定時間以上、前左画像Ｖ２に留まっていた場合は、前左画像Ｖ２を認識したものと判断する。
その結果、何れかの撮影画像（前右画像Ｖ１または前左画像Ｖ２）が運転者２によって確認された場合は（Ｓ３０６：ｙｅｓ）、何れの撮影画像を確認したのかを記憶部５２に記憶した後（Ｓ３０８）、確認した撮影画像の表示を終了する（Ｓ３１０）。
これに対して、運転者２が何れの撮影画像も確認していなかった場合は（Ｓ３０６：ｎｏ）、確認された撮影画像を記憶する処理（Ｓ３０８）や、確認された撮影画像の表示を終了する処理（Ｓ３１０）は行わない。 Subsequently, the control unit 50 detects the position of the line of sight of the driver 2 by analyzing an infrared image obtained by capturing the face of the driver 2 with the face camera 16 (S304 in FIG. 14). Then, it is determined whether or not the driver 2 has confirmed either the front right image V1 on the right screen 31R or the front left image V2 on the left screen 31L (S306). For example, if the driver's line of sight has remained in the front right image V1 for a certain time or more, it is determined that the driver 2 has recognized the front right image V1. Further, if the driver's line of sight has remained in the front left image V2 for a certain time or more, it is determined that the front left image V2 has been recognized.
As a result, when any one of the photographed images (the front right image V1 or the front left image V2) is confirmed by the driver 2 (S306: yes), which photographed image is confirmed is stored in the storage unit 52. Later (S308), the display of the confirmed captured image is terminated (S310).
On the other hand, when the driver 2 has not confirmed any photographed image (S306: no), the process of storing the confirmed photographed image (S308) and the display of the confirmed photographed image are finished. The process (S310) is not performed.

続いて、車両１の車速が第３閾値速度を超えたか否かを判断する（Ｓ３１２）。ここで第３閾値速度は、図６を用いて前述した右左折前進時処理で、右折待ちあるいは左折待ちの状態から発進したか否かを判断するために用いた閾値の速度である。第３閾値速度は、車両１が停止状態になったか否かを判断するための第２閾値速度（図５のＳ１８参照）よりは高い速度（例えば時速５ｋｍ）に設定されている。
その結果、車速が第３閾値速度を超えていない場合は（Ｓ３１２：ｎｏ）、まだ車両１は、一旦停止状態から発進していないと考えられるので、ウィンカーレバー４が操作されているか否かを判断し（Ｓ３１４）、操作されていない場合は（Ｓ３１４：ｎｏ）、再び、運転者２の視線の位置を検出して（Ｓ３０４）、上述した続く一連の処理を繰り返す。
また、ウィンカーレバー４が操作された場合は（Ｓ３１４：ｙｅｓ）、運転者２が一旦停止状態から右折または左折しようとしていると考えられる。そこで、表示画面３０の表示を、図７に示した通常の表示内容に復帰させて（Ｓ３２０）、図１４の一旦停止後発進時処理を終了した後、図５の運転支援処理に復帰する。そして、運転支援処理では、ウィンカーレバー４が操作状態であり（図５のＳ１２：ｙｅｓ）、且つ、車速が第１閾値速度以下と判断されて（Ｓ１４：ｙｅｓ）、前述した右左折前進時処理（Ｓ１００）が開始される。 Subsequently, it is determined whether or not the vehicle speed of the vehicle 1 exceeds a third threshold speed (S312). Here, the third threshold speed is a threshold speed used to determine whether or not the vehicle has started from a state of waiting for a right turn or waiting for a left turn in the right / left turn advance processing described above with reference to FIG. The third threshold speed is set to a speed (for example, 5 km / h) higher than a second threshold speed (see S18 in FIG. 5) for determining whether or not the vehicle 1 has stopped.
As a result, when the vehicle speed does not exceed the third threshold speed (S312: no), it is considered that the vehicle 1 has not yet started from the stop state, so whether or not the winker lever 4 is operated. If it is determined (S314) and it is not operated (S314: no), the position of the line of sight of the driver 2 is detected again (S304), and the above-described series of processing is repeated.
Further, when the winker lever 4 is operated (S314: yes), it is considered that the driver 2 is going to turn right or left once from the stopped state. Therefore, the display on the display screen 30 is restored to the normal display contents shown in FIG. 7 (S320), and after the temporary stop and start processing shown in FIG. 14, the process returns to the driving support process shown in FIG. In the driving support process, it is determined that the winker lever 4 is in the operating state (S12: yes in FIG. 5) and the vehicle speed is equal to or lower than the first threshold speed (S14: yes). (S100) is started.

これに対して、車両１の車速が第３閾値速度を超えた場合は（Ｓ３１２：ｙｅｓ）、一旦停止状態から車両１を発進させようとしていると考えられる。そこで、制御部５０は、表示画面３０に表示した撮影画像（前右画像Ｖ１および前左画像Ｖ２）の中で、運転者２によって未だ確認されていない未確認画像が存在するか否かを判断する（Ｓ３１６）。
その結果、未確認画像が存在していない場合は（Ｓ３１６：ｎｏ）、表示画面３０の表示を、図７に示した通常の表示内容に復帰させて（Ｓ３２０）、図１４の一旦停止後発進時処理を終了した後、図５の運転支援処理に復帰する。
これに対して、未確認画像が存在していた場合は（Ｓ３１６：ｙｅｓ）、未確認画像の重要度に応じた態様で、その旨を運転者２に警告する（Ｓ３１８）。すなわち、図１５に示したように、制御部５０の記憶部５２には、表示画面３０の表示すべき撮影画像だけでなく、撮影画像の重要度に関する情報も記憶されている。そこで、未確認画像がある旨を警告するに際しては、未確認画像の重要度に応じて、警告の音量などを異ならせる。
また、未確認画像がある旨を運転者２に警告するに際しては、未確認画像に応じた態様で警告するようにしても良い。例えば、未確認画像が前右画像Ｖ１である場合は、右部スピーカー３２Ｒから「車両の前方右側を確認して下さい」という音声を流すことができる。あるいは「モニターの右画面の画像を確認して下さい」というように未確認画像の表示位置を示す音声を流してもよい。 On the other hand, when the vehicle speed of the vehicle 1 exceeds the third threshold speed (S312: yes), it is considered that the vehicle 1 is about to start from a stopped state. Therefore, the control unit 50 determines whether there is an unconfirmed image that has not yet been confirmed by the driver 2 in the captured images (the front right image V1 and the front left image V2) displayed on the display screen 30. (S316).
As a result, when there is no unconfirmed image (S316: no), the display on the display screen 30 is restored to the normal display content shown in FIG. After the process is completed, the process returns to the driving support process of FIG.
On the other hand, if an unconfirmed image exists (S316: yes), the driver 2 is warned in a manner corresponding to the importance of the unconfirmed image (S318). That is, as illustrated in FIG. 15, the storage unit 52 of the control unit 50 stores not only the captured image to be displayed on the display screen 30 but also information related to the importance of the captured image. Therefore, when warning that there is an unconfirmed image, the volume of the warning is varied according to the importance of the unconfirmed image.
Further, when warning the driver 2 that there is an unconfirmed image, a warning may be given in a manner corresponding to the unconfirmed image. For example, when the unconfirmed image is the front right image V1, it is possible to play a voice “Please confirm the front right side of the vehicle” from the right speaker 32R. Alternatively, a sound indicating the display position of the unconfirmed image may be played, such as “Please check the image on the right screen of the monitor”.

尚、図１５に示した例でも、表示画面３０に表示される２つの撮影画像のうち、一方の撮影画像だけが重要度の高い画像に設定されている。しかし、重要度が高い画像の数は１つである必要はない。例えば、２つの撮影画像とも重要度が高い画像に設定されていても良いし、逆に、何れの撮影画像も重要度が高い画像に設定されていなくても構わない。また、表示画面３０に表示される撮影画像は２つに限られるものではなく、１つでも良いし、より多くの個数であっても構わない。   In the example shown in FIG. 15, only one of the two captured images displayed on the display screen 30 is set as a highly important image. However, the number of images with high importance does not have to be one. For example, both the captured images may be set to images with high importance, and conversely, neither captured image may be set to an image with high importance. Further, the number of captured images displayed on the display screen 30 is not limited to two, and may be one or a larger number.

その後、表示画面３０の表示を、図７に示した通常の表示内容に復帰させて（Ｓ３２０）、図１４の一旦停止後発進時処理を終了した後、図５の運転支援処理に復帰する。   Thereafter, the display on the display screen 30 is restored to the normal display contents shown in FIG. 7 (S320), and after the temporary stop and start processing of FIG. 14 is finished, the processing returns to the driving support processing of FIG.

以上のような一旦停止後発進時処理（Ｓ３００）を行えば、図１７に示すように、例えば小さな交差点で車両１を一旦停止後に発進させる際に、表示画面３０に表示された前右画像Ｖ１および前左画像Ｖ２を用いて、左右方向の安全を確認することができる。   When the start-after-stop process (S300) as described above is performed, the front right image V1 displayed on the display screen 30 when the vehicle 1 is started after being stopped at a small intersection as shown in FIG. And the safety in the left-right direction can be confirmed using the front left image V2.

また、オートバイや自動車などは左側通行することが普通なので、図１７に示すような小さな交差点に進入しようとする場合、車両１の右側からは、オートバイなどが速い速度で接近してくる可能性が高く、出会い頭に衝突する可能性が高くなる。これに対して、車両１の左側からは、オートバイなどに比べると速度が遅い歩行者などが接近してくるに過ぎないので、出会い頭に衝突する可能性は低いということができる。
こうした観点を踏まえて、一旦停止後発進時処理で参照される記憶部５２には、表示画面３０に表示される撮影画像（前右画像Ｖ１および前左画像Ｖ２）の中で、前右画像Ｖ１が重要度の高い画像に設定されている。このため、運転者２が右側から接近してくるオードバイなどを見落としそうになった場合には、運転者２に対してその旨を確実に警告することが可能となる。 In addition, since motorcycles and automobiles usually pass on the left side, motorcycles may approach at a high speed from the right side of the vehicle 1 when entering a small intersection as shown in FIG. Higher and more likely to collide with the encounter. On the other hand, from the left side of the vehicle 1, since a pedestrian or the like whose speed is slower than that of a motorcycle or the like approaches, it can be said that the possibility of colliding with an encounter is low.
Based on this viewpoint, the storage unit 52 that is referred to in the starting process after the stop temporarily stores the front right image V1 among the captured images (the front right image V1 and the front left image V2) displayed on the display screen 30. Is set to an image with high importance. For this reason, when the driver 2 is likely to overlook an approaching vehicle approaching from the right side, the driver 2 can be surely warned.

Ｆ．後進時処理 ：
以上では、シフトレバー９がリバース位置に設定されていない場合（図５のＳ１０：ｎｏ）に、運転者２の安全確認を支援する右左折前進時処理（Ｓ１００）、車線変更時処理（Ｓ２００）および一旦停止後発進時処理（Ｓ３００）について説明した。
これに対して、シフトレバー９がリバース位置に設定されていた場合（図５のＳ１０：ｙｅｓ）、以下のような後進時処理（Ｓ４００）を行う。 F. Backward processing:
In the above, when the shift lever 9 is not set to the reverse position (S10: no in FIG. 5), the processing for right / left turn advance (S100) and the lane change processing (S200) for assisting the driver 2 in confirming safety. And the process at the time of starting after a stop (S300) was demonstrated.
On the other hand, when the shift lever 9 is set to the reverse position (S10: yes in FIG. 5), the following reverse time process (S400) is performed.

図１８および図１９には、後進時処理のフローチャートが示されている。この処理も、前述した各種の処理（Ｓ１００、Ｓ２００、Ｓ３００）と同様に、運転支援装置１００の主に制御部５０によって実行される。   18 and 19 show flowcharts of the reverse travel processing. This process is also executed mainly by the control unit 50 of the driving support apparatus 100, similarly to the various processes (S100, S200, S300) described above.

後進時処理（Ｓ４００）を開始すると、先ず始めに、運転者２がハンドル３を右方向に回したか否かを判断する（Ｓ４０２）。その結果、ハンドル３を右方向に回していた場合は（Ｓ４０２：ｙｅｓ）、側右画像Ｖ３と後左画像Ｖ６と後中画像Ｖ７とを、それぞれ表示画面３０の右画面３１Ｒ、左画面３１Ｌ、中央画面３１Ｃに表示する（Ｓ４０４）。
これに対して、運転者２がハンドル３を右方向に回していない場合は（Ｓ４０２：ｎｏ）、ハンドル３を左方向に回したか否かを判断する（Ｓ４０６）。その結果、ハンドル３を左方向に回していた場合は（Ｓ４０６：ｙｅｓ）、側左画像Ｖ４と、後右画像Ｖ５と、後中画像Ｖ７とを、それぞれ表示画面３０の左画面３１Ｌ、右画面３１Ｒ、中央画面３１Ｃに表示する（Ｓ４０８）。
一方、運転者２がハンドル３を左方向にも回していない場合は（Ｓ４０６：ｎｏ）、後中画像Ｖ７を表示画面３０の中央画面３１Ｃに表示し、右画面３１Ｒおよび左画面３１Ｌには、図７に例示した通常の画像を表示する。 When the reverse processing (S400) is started, first, it is determined whether or not the driver 2 has turned the steering wheel 3 to the right (S402). As a result, when the handle 3 is turned rightward (S402: yes), the side right image V3, the rear left image V6, and the rear middle image V7 are respectively displayed on the right screen 31R, the left screen 31L, It is displayed on the central screen 31C (S404).
On the other hand, if the driver 2 has not turned the handle 3 to the right (S402: no), it is determined whether or not the handle 3 has been turned to the left (S406). As a result, when the handle 3 is turned leftward (S406: yes), the left side image V4, the rear right image V5, and the rear middle image V7 are respectively displayed on the left screen 31L and the right screen of the display screen 30. 31R is displayed on the central screen 31C (S408).
On the other hand, when the driver 2 does not turn the steering wheel 3 leftward (S406: no), the rear middle image V7 is displayed on the central screen 31C of the display screen 30, and the right screen 31R and the left screen 31L The normal image illustrated in FIG. 7 is displayed.

後進時処理（Ｓ４００）においても、制御部５０の記憶部５２には、図２０に例示したような、運転状況と表示画面３０の表示内容との対応関係が予め記憶されており、制御部５０は、この対応関係を参照することにより、ハンドル３の操舵方向に応じた撮影画像を表示画面３０に表示する。
また、図２１（ａ）には、後進時処理で運転者２がハンドル３を右回しした場合の表示画面３０の表示内容が例示されており、図２１（ｂ）には、運転者２がハンドル３を左回しした場合の表示画面３０の表示内容が、そして、図２１（ｃ）には、運転者２がハンドル３を回してない場合の表示画面３０の表示内容が例示されている。 Also in the reverse travel processing (S400), the storage unit 52 of the control unit 50 stores the correspondence between the driving situation and the display content of the display screen 30 as illustrated in FIG. Displays a captured image corresponding to the steering direction of the handle 3 on the display screen 30 by referring to this correspondence.
FIG. 21A illustrates the display content of the display screen 30 when the driver 2 turns the handle 3 clockwise in the reverse travel process. FIG. 21B illustrates the display of the driver 2 The display content of the display screen 30 when the handle 3 is turned counterclockwise is illustrated in FIG. 21C, and the display content of the display screen 30 when the driver 2 does not turn the handle 3 is illustrated.

続いて、制御部５０は、運転者２の視線の位置を検出する（図１８のＳ４１２）。そして、表示画面３０に表示された撮影画像を運転者２が確認したか否かを判断する（Ｓ４１４）。その結果、撮影画像が運転者２によって確認された場合は（Ｓ４１４：ｙｅｓ）、何れの撮影画像を確認したのかを記憶部５２に記憶した後（Ｓ４１６）、確認した撮影画像の表示を終了する（Ｓ４１８）。
これに対して、運転者２が撮影画像も確認していなかった場合は（Ｓ４１４：ｎｏ）、確認された撮影画像を記憶する処理（Ｓ４１６）や、確認された撮影画像の表示を終了する処理（Ｓ４１８）は行わない。 Subsequently, the control unit 50 detects the position of the line of sight of the driver 2 (S412 in FIG. 18). And it is judged whether the driver | operator 2 confirmed the picked-up image displayed on the display screen 30 (S414). As a result, when the photographed image is confirmed by the driver 2 (S414: yes), which photographed image is confirmed is stored in the storage unit 52 (S416), and the display of the confirmed photographed image is ended. (S418).
On the other hand, if the driver 2 has not confirmed the captured image (S414: no), the process of storing the confirmed captured image (S416) and the process of terminating the display of the confirmed captured image (S418) is not performed.

続いて、運転者２によって車両１のアクセルペダル８が踏まれたか否かを判断する（Ｓ４２０）。アクセルペダル８が踏まれていない場合は（Ｓ４２０：ｎｏ）、未だ運転者２は後進を開始していないと考えられるので、シフトレバー９の操作状態（シフトポジション）がリバース位置に設定されたままか否かを判断する（図１９のＳ４２６）。そして、シフトレバー９がリバース位置にある場合は（Ｓ４２６：ｙｅｓ）、処理の先頭に戻って、運転者２によってハンドル３が右回しされたか否かを判断した後（Ｓ４０２）、上述した続く一連の処理を繰り返す。   Subsequently, it is determined whether or not the driver 2 has depressed the accelerator pedal 8 of the vehicle 1 (S420). If the accelerator pedal 8 is not depressed (S420: no), it is considered that the driver 2 has not yet started the reverse movement, so that the operation state (shift position) of the shift lever 9 remains set at the reverse position. Is determined (S426 in FIG. 19). If the shift lever 9 is in the reverse position (S426: yes), the process returns to the top of the process, and it is determined whether or not the steering wheel 3 has been turned clockwise by the driver 2 (S402), and then the series described above. Repeat the process.

これに対して、運転者２によってアクセルペダル８が踏まれた場合は（図１８のＳ４２０：ｙｅｓ）、運転者が後進を開始したと考えられるので、表示画面３０に表示した撮影画像の中に未確認画像が存在するか否かを判断する（Ｓ４２２）。
その結果、未確認画像が存在していた場合は（Ｓ４２２：ｙｅｓ）、その旨を未確認画像の重要度に応じた態様で、その旨を運転者２に警告する（Ｓ３１８）。図２０に示したように、制御部５０の記憶部５２には、表示画面３０の表示すべき撮影画像だけでなく、撮影画像の重要度に関する情報も記憶されている。また、車両１の右側の撮影画像（側右画像Ｖ３や後右画像Ｖ５）が未確認である旨を警告する場合には右部スピーカー３２Ｒを用い、車両１の左側の撮影画像（側左画像Ｖ４や後左画像Ｖ６）が未確認である旨を警告する場合には左部スピーカー３２Ｌを用いて警告することとしても良い。
これに対して、未確認画像が存在していない場合は（Ｓ４２２：ｎｏ）、運転者２に対する警告は行わない。 On the other hand, when the accelerator pedal 8 is stepped on by the driver 2 (S420: yes in FIG. 18), it is considered that the driver has started the reverse movement, so that the photographed image displayed on the display screen 30 It is determined whether or not an unconfirmed image exists (S422).
As a result, if there is an unconfirmed image (S422: yes), the driver 2 is warned to that effect in a mode corresponding to the importance of the unconfirmed image (S318). As illustrated in FIG. 20, the storage unit 52 of the control unit 50 stores not only the captured image to be displayed on the display screen 30 but also information related to the importance of the captured image. Further, when a warning is given that the photographed image on the right side of the vehicle 1 (the side right image V3 or the rear right image V5) has not been confirmed, the right speaker 32R is used, and the photographed image on the left side of the vehicle 1 (the side left image V4). In the case of warning that the rear left image V6) is not confirmed, the left speaker 32L may be used for warning.
On the other hand, if no unconfirmed image exists (S422: no), no warning is given to the driver 2.

その後、シフトレバー９のシフトポジションがリバース位置に設定されたままか否かを確認して（図１９のＳ４２６）、リバース位置に設定されたままであった場合は（Ｓ４２６：ｙｅｓ）、処理の先頭に戻って、運転者２によってハンドル３が右回しされたか否かを判断した後（Ｓ４０２）、上述した続く一連の処理を繰り返す。
これに対して、シフトレバー９のシフトポジションがリバース位置から動かされていた場合は（Ｓ４２６：ｎｏ）、運転者２が車両１の後進を中止したものと考えられる。そこで、表示画面３０の表示を、図７に示した通常の表示内容に復帰させた後（Ｓ４２８）、図１８および図１９の後進時処理を終了して、図５の運転支援処理に復帰する。 Thereafter, it is confirmed whether or not the shift position of the shift lever 9 remains set at the reverse position (S426 in FIG. 19). If the shift lever 9 remains set at the reverse position (S426: yes), the beginning of the process Returning to step S402, after determining whether or not the steering wheel 3 has been turned clockwise by the driver 2 (S402), the above-described series of processing is repeated.
On the other hand, when the shift position of the shift lever 9 has been moved from the reverse position (S426: no), it is considered that the driver 2 has stopped the backward movement of the vehicle 1. Therefore, after the display on the display screen 30 is restored to the normal display content shown in FIG. 7 (S428), the backward process in FIGS. 18 and 19 is terminated and the process returns to the driving support process in FIG. .

以上のような後進時処理（Ｓ４００）を行えば、運転者２が車両１を後進させる際の安全確認を支援することができる。
例えば図２２（ａ）に示すように、車両１が右折しながら後進する場合には、側右画像Ｖ３と、後左画像Ｖ６と、後中画像Ｖ７とが表示画面３０に表示される。このため、運転者２は、車両１の側面と右隣の車両との間隔や、車両１の後部左側と左隣の車両との間隔や、後進方向の障害物の有無など、複数箇所についての安全確認を、大きく視線を動かすことなく、直ちに確認することができる。
また、図２２（ｂ）に示すように、車両１が左折しながら後進する場合には、側左画像Ｖ４と、後右画像Ｖ５と、後中画像Ｖ７とが表示画面３０に表示される。このため、運転者２は、車両１の側面と左隣の車両との間隔や、車両１の後部右側と右隣の車両との間隔や、後進方向の障害物の有無など、複数箇所についての安全確認を、大きく視線を動かすことなく、直ちに確認することができる。
更に、図２２（ｃ）に示すように、車両１が真っ直ぐに後進する場合には、後中画像Ｖ７が表示画面３０に表示されるので、車両１の進行方向（後方）の安全を確認することができる。 By performing the reverse travel process (S400) as described above, it is possible to support safety confirmation when the driver 2 reverses the vehicle 1.
For example, as shown in FIG. 22A, when the vehicle 1 moves backward while turning right, a side right image V3, a rear left image V6, and a rear middle image V7 are displayed on the display screen 30. For this reason, the driver 2 has a plurality of points such as the distance between the side surface of the vehicle 1 and the vehicle on the right side, the distance between the rear left side of the vehicle 1 and the vehicle on the left side, and the presence of obstacles in the reverse direction. Safety confirmation can be confirmed immediately without greatly moving the line of sight.
Further, as shown in FIG. 22B, when the vehicle 1 moves backward while turning left, a side left image V4, a rear right image V5, and a rear middle image V7 are displayed on the display screen 30. For this reason, the driver 2 has a plurality of points such as the distance between the side surface of the vehicle 1 and the left adjacent vehicle, the distance between the rear right side of the vehicle 1 and the right adjacent vehicle, and the presence or absence of an obstacle in the reverse direction. Safety confirmation can be confirmed immediately without greatly moving the line of sight.
Further, as shown in FIG. 22 (c), when the vehicle 1 moves backward straight, the rear middle image V7 is displayed on the display screen 30, so the safety of the traveling direction (rear) of the vehicle 1 is confirmed. be able to.

尚、ここでは、車両１が真っ直ぐに後進する場合には、左画面３１Ｌおよび右画面３１Ｒには通常の画像（例えば計器類の画像）を表示するものとして説明した。しかし、車両１の後進中には、これら計器類を確認する必要性は低いので、中央画面３１Ｃに後中画像Ｖ７を表示することに加えて、右画面３１Ｒに後右画像Ｖ５を表示し、左画面３１Ｌに後左画像Ｖ６を表示しても良い。   Here, the description has been made assuming that when the vehicle 1 moves backward straight, a normal image (for example, an image of an instrument) is displayed on the left screen 31L and the right screen 31R. However, since it is not necessary to check these instruments while the vehicle 1 is moving backward, in addition to displaying the rear middle image V7 on the central screen 31C, the rear right image V5 is displayed on the right screen 31R. The rear left image V6 may be displayed on the left screen 31L.

以上に詳しく説明したように、本実施例の運転支援装置１００では、車両１の周辺の複数箇所の画像を撮影しておき、車両１の運転状況に応じて予め定められた箇所の撮影画像を表示画面３０に表示する。このため、運転状況に応じて複数箇所の安全確認が必要な場合でも、運転者２は全ての箇所について安全を容易に確認することができるので、安全に車両１を運転することが可能となる。   As described in detail above, in the driving support device 100 of the present embodiment, images of a plurality of locations around the vehicle 1 are captured, and captured images of locations determined in advance according to the driving status of the vehicle 1 are captured. It is displayed on the display screen 30. For this reason, even when safety confirmation is required at a plurality of locations according to the driving situation, the driver 2 can easily confirm the safety at all locations, so that the vehicle 1 can be driven safely. .

以上、本実施例の運転支援装置１００について説明したが、本発明は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。   Although the driving support device 100 of the present embodiment has been described above, the present invention is not limited to the above-described embodiment, and can be implemented in various modes without departing from the gist thereof.

１…車両、 ２…運転者、 ３…ハンドル、
４…ウィンカーレバー、 ５…ステアリングシャフト、 ６Ｌ…サイドミラー、
６Ｒ…サイドミラー、 ７…ブレーキペダル、 ８…アクセルペダル、
９…シフトレバー、 １０Ｌ、Ｒ…前部カメラ、 １２Ｌ…左部カメラ、
１２Ｒ…右部カメラ、 １４Ｃ，Ｒ，Ｌ…後部カメラ、 １６…顔面カメラ、
２６…車速センサー、 ３０…表示画面、 ３２Ｌ…左部スピーカー、
３２Ｒ…右部スピーカー、 ５０…制御部、 ５２…記憶部、
１００…運転支援装置。 1 ... vehicle, 2 ... driver, 3 ... handle,
4 ... Winker lever, 5 ... Steering shaft, 6L ... Side mirror,
6R ... side mirror, 7 ... brake pedal, 8 ... accelerator pedal,
9 ... Shift lever, 10L, R ... Front camera, 12L ... Left camera,
12R ... right camera, 14C, R, L ... rear camera, 16 ... facial camera,
26 ... Vehicle speed sensor, 30 ... Display screen, 32L ... Left speaker,
32R ... right speaker, 50 ... control unit, 52 ... storage unit,
100: Driving support device.

Claims (10)

車両の周辺の画像を車室内に設けた表示画面に表示することによって、該車両の運転者の安全確認動作を支援する運転支援装置であって、
前記車両の複数箇所に搭載されて、複数の所定方向への画像を撮影する車載カメラと、
前記車両の右折または左折に際して前記運転者によって操作される右左折操作部と、
前記車両の車速を検出する車速検出部と、
前記右左折操作部の操作状態と前記車速とを検出することによって、前記車両の運転状況を判断する運転状況判断部と、
前記車載カメラで撮影した複数の前記画像の中から、前記車両の運転状況に基づいて複数の画像を選択する画像選択部と、
前記選択された複数の画像を前記表示画面に表示する画像表示部と
を備える運転支援装置。 A driving support device for supporting a safety confirmation operation of a driver of the vehicle by displaying an image around the vehicle on a display screen provided in a vehicle interior,
A vehicle-mounted camera that is mounted at a plurality of locations of the vehicle and that captures images in a plurality of predetermined directions;
A right / left turn operation unit operated by the driver when the vehicle turns right or left;
A vehicle speed detector for detecting the vehicle speed of the vehicle;
A driving status determination unit that determines the driving status of the vehicle by detecting an operation state of the right / left turn operation unit and the vehicle speed;
An image selection unit that selects a plurality of images based on a driving situation of the vehicle from the plurality of images captured by the in-vehicle camera,
A driving support apparatus comprising: an image display unit configured to display the plurality of selected images on the display screen. 請求項１に記載の運転支援装置であって、
前記車両を減速させるために前記運転者によって操作される減速操作部を備え、
前記運転状況判断部は、前記減速操作部の操作状態も検出することによって、前記車両の運転状況を判断する判断部である
運転支援装置。 The driving support device according to claim 1,
A deceleration operation unit operated by the driver to decelerate the vehicle;
The driving support device is a determination unit that determines a driving state of the vehicle by detecting an operation state of the deceleration operation unit. 請求項１または請求項２に記載の運転支援装置であって、
前記車両を後進させるために前記運転者によって操作される後進操作部を備え、
前記運転状況判断部は、前記後進操作部の操作状態も検出することによって、前記車両の運転状況を判断する判断部である
運転支援装置。 The driving support device according to claim 1 or 2, wherein
A reverse operation unit operated by the driver to reverse the vehicle,
The driving support device is a determination unit that determines a driving state of the vehicle by detecting an operation state of the reverse operation unit. 請求項１ないし請求項３の何れか一項に記載の運転支援装置であって、
前記画像選択部で選択すべき複数の前記画像が、前記車両の運転状況毎に記憶されている画像記憶部を備え、
前記画像選択部は、前記画像記憶部を参照することによって、前記複数の画像を選択する選択部である
運転支援装置。 The driving support device according to any one of claims 1 to 3,
A plurality of the images to be selected by the image selection unit includes an image storage unit stored for each driving situation of the vehicle,
The driving support device, wherein the image selection unit is a selection unit that selects the plurality of images by referring to the image storage unit. 請求項１ないし請求項４の何れか一項に記載の運転支援装置であって、
前記運転者の視線を検出する視線検出部と、
前記表示画面に表示された複数の前記画像の中から前記運転者によって確認された確認画像を、前記視線の検出結果に基づいて検出する確認画像検出部と、
前記表示画面に表示された複数の前記画像の中に前記運転者が確認していない未確認画像がある場合に、該運転者に警告する警告部と
を備える運転支援装置。 The driving support device according to any one of claims 1 to 4,
A line-of-sight detector that detects the line of sight of the driver;
A confirmation image detection unit that detects a confirmation image confirmed by the driver from the plurality of images displayed on the display screen based on a detection result of the line of sight;
A driving support apparatus comprising: a warning unit that warns the driver when there is an unconfirmed image that has not been confirmed by the driver among the plurality of images displayed on the display screen. 請求項５に記載の運転支援装置であって、
前記警告部は、前記未確認画像が、何れの箇所の前記車載カメラで撮影された画像であるかを識別可能な態様で警告する警告部である
運転支援装置。 The driving support device according to claim 5,
The said warning part is a warning part which warns in the aspect which can identify in which aspect the said unconfirmed image is the image image | photographed with the said vehicle-mounted camera. 請求項５または請求項６に記載の運転支援装置であって、
前記表示画面に表示される複数の前記画像についての重要度が、前記車両の運転状況毎に記憶されている重要度記憶部を備え、
前記警告部は、前記重要度記憶部を参照して、前記未確認画像の前記重要度に応じた態様で警告する警告部である
運転支援装置。 The driving support device according to claim 5 or 6, wherein
An importance level storage unit that stores the importance levels of the plurality of images displayed on the display screen for each driving situation of the vehicle,
The said warning part is a warning part which warns in the aspect according to the said importance of the said unconfirmed image with reference to the said importance memory | storage part. 請求項１ないし請求項７に記載の運転支援装置であって、
前記車載カメラには、
前記車両の前部に設けられて、該車両から右方向への画像を撮影する第１車載カメラと、
前記車両の前部に設けられて、該車両から左方向への画像を撮影する第２車載カメラと、
前記車両の右側部に設けられて、該右側部から後方向への画像を撮影する第３車載カメラと、
前記車両の左側部に設けられて、該左側部から後方向への画像を撮影する第４車載カメラとが設けられており、
前記運転状況判断部は、前記車速が所定の閾値速度以下であり、前記右左折操作部の操作状態が右折時の操作状態であった場合には、前記車両の運転状況を右折前進状況と判断する判断部であり、
前記画像選択部は、前記車両が前記右折前進状況と判断された場合には、前記第１車載カメラによる画像および前記第３車載カメラによる画像を選択する選択部である
運転支援装置。 The driving support device according to claim 1, wherein:
In the in-vehicle camera,
A first in-vehicle camera that is provided at a front portion of the vehicle and that captures a rightward image from the vehicle;
A second in-vehicle camera that is provided at the front of the vehicle and captures an image in the left direction from the vehicle;
A third in-vehicle camera that is provided on the right side of the vehicle and shoots an image in the rear direction from the right side;
A fourth in-vehicle camera that is provided on the left side of the vehicle and that captures an image in the rear direction from the left side; and
The driving state determination unit determines that the driving state of the vehicle is a right turn forward state when the vehicle speed is equal to or lower than a predetermined threshold speed and the operation state of the right / left turn operation unit is an operation state at the time of a right turn. The decision part to
The said image selection part is a selection part which selects the image by the said 1st vehicle-mounted camera and the image by the said 3rd vehicle-mounted camera, when the said vehicle is judged as the said right turn advance condition. 請求項８に記載の運転支援装置であって、
前記運転状況判断部は、前記車速が前記閾値速度以下であり、前記右左折操作部の操作状態が左折時の操作状態であった場合には、前記車両の運転状況を左折前進状況と判断する判断部であり、
前記画像選択部は、前記車両が前記左折前進状況と判断された場合には、前記第２車載カメラによる画像および前記第４車載カメラによる画像を選択する選択部である
運転支援装置。 The driving support device according to claim 8,
The driving state determination unit determines that the driving state of the vehicle is a left turn forward state when the vehicle speed is equal to or lower than the threshold speed and the operation state of the right / left turn operation unit is an operation state at the time of a left turn. The decision part,
The said image selection part is a selection part which is a selection part which selects the image by a said 2nd vehicle-mounted camera, and the image by the said 4th vehicle-mounted camera, when the said vehicle is judged as the said left turn advance condition. 車両の複数個所に搭載されて複数の所定方向の画像を撮影する車載カメラと、前記車両の右折または左折に際して前記車両の運転者によって操作される右左折操作部と、前記車両の速度を検出する車速検出部と、前記車両の車室内に設けられた表示画面とに接続され、前記車両の周辺の画像を前記表示画面に表示させることによって、該車両の運転者の安全確認動作を支援する運転支援制御装置であって、
前記右左折操作部の操作状態を示す操作部信号と前記車速検出部から受信した車速信号とに基づいて、前記車両の運転状況を判断する運転状況判断部と、
前記車載カメラで撮影した複数の前記画像の中から、前記車両の運転状況に基づいて複数の画像を選択する画像選択部と、
前記選択された複数の画像を前記表示画面に表示させる画像表示制御部と
を備える運転支援制御装置。 An in-vehicle camera that is mounted at a plurality of locations in the vehicle and captures images in a plurality of predetermined directions, a right / left turn operation unit that is operated by a driver of the vehicle when the vehicle turns right or left, and detects the speed of the vehicle Driving that is connected to a vehicle speed detection unit and a display screen provided in a vehicle interior of the vehicle, and displays a peripheral image of the vehicle on the display screen, thereby supporting a safety confirmation operation of the driver of the vehicle. An assist control device,
A driving condition determination unit that determines a driving condition of the vehicle based on an operation unit signal indicating an operation state of the right / left turn operation unit and a vehicle speed signal received from the vehicle speed detection unit;
An image selection unit that selects a plurality of images based on a driving situation of the vehicle from the plurality of images captured by the in-vehicle camera,
A driving support control device comprising: an image display control unit configured to display the plurality of selected images on the display screen.
JP2013214691A 2013-10-15 2013-10-15 Driving assist device Pending JP2015079299A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013214691A JP2015079299A (en) 2013-10-15 2013-10-15 Driving assist device
PCT/JP2014/005118 WO2015056427A1 (en) 2013-10-15 2014-10-08 Driving assisting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013214691A JP2015079299A (en) 2013-10-15 2013-10-15 Driving assist device

Publications (1)

Publication Number Publication Date
JP2015079299A true JP2015079299A (en) 2015-04-23

Family

ID=52827886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013214691A Pending JP2015079299A (en) 2013-10-15 2013-10-15 Driving assist device

Country Status (2)

Country Link
JP (1) JP2015079299A (en)
WO (1) WO2015056427A1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017058867A (en) * 2015-09-15 2017-03-23 トヨタ自動車株式会社 Drive support device
JP2017102830A (en) * 2015-12-04 2017-06-08 株式会社デンソー Driving assist device and program
JP2017102607A (en) * 2015-11-30 2017-06-08 株式会社デンソー Drive support device
JP2017138687A (en) * 2016-02-01 2017-08-10 富士通株式会社 Attention arousing program, attention arousing device, attention arousing method and attention arousing system
WO2018042567A1 (en) * 2016-08-31 2018-03-08 日立建機株式会社 Surroundings monitoring system and surroundings monitoring device
WO2018051810A1 (en) * 2016-09-16 2018-03-22 ソニー株式会社 Image processing device and method, and image processing system
JP2019040358A (en) * 2017-08-24 2019-03-14 クラリオン株式会社 Automatic driving support device
EP3556611A1 (en) 2018-04-16 2019-10-23 JVC KENWOOD Corporation On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
JP2022123319A (en) * 2021-02-12 2022-08-24 本田技研工業株式会社 Vehicle, vehicle control method, and computer program
WO2023054196A1 (en) * 2021-09-30 2023-04-06 株式会社デンソー Vehicle control device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3660811B1 (en) * 2017-07-28 2023-07-19 Nissan Motor Co., Ltd. Surrounding situation display method and surrounding situation display device
JPWO2020213022A1 (en) * 2019-04-15 2021-10-14 三菱電機株式会社 Line-of-sight monitoring device and line-of-sight monitoring method
JP7251310B2 (en) * 2019-05-22 2023-04-04 株式会社Ｊｖｃケンウッド CAMERA POSITION DETECTION DEVICE, CAMERA UNIT, CAMERA POSITION DETECTION METHOD, AND PROGRAM

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001018717A (en) * 1999-07-06 2001-01-23 Matsushita Electric Ind Co Ltd Device for monitoring ambient condition of vehicle in operation
JP4645254B2 (en) * 2005-03-24 2011-03-09 アイシン・エィ・ダブリュ株式会社 Vehicle periphery visual recognition device

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017058867A (en) * 2015-09-15 2017-03-23 トヨタ自動車株式会社 Drive support device
JP2017102607A (en) * 2015-11-30 2017-06-08 株式会社デンソー Drive support device
JP2017102830A (en) * 2015-12-04 2017-06-08 株式会社デンソー Driving assist device and program
JP2017138687A (en) * 2016-02-01 2017-08-10 富士通株式会社 Attention arousing program, attention arousing device, attention arousing method and attention arousing system
JPWO2018042567A1 (en) * 2016-08-31 2018-08-30 日立建機株式会社 Perimeter monitoring system and perimeter monitoring device
WO2018042567A1 (en) * 2016-08-31 2018-03-08 日立建機株式会社 Surroundings monitoring system and surroundings monitoring device
WO2018051810A1 (en) * 2016-09-16 2018-03-22 ソニー株式会社 Image processing device and method, and image processing system
CN109690652A (en) * 2016-09-16 2019-04-26 索尼公司 Image processing equipment and method and image processing system
US11443520B2 (en) 2016-09-16 2022-09-13 Sony Corporation Image processing apparatus, image processing method, and image processing system
JP2019040358A (en) * 2017-08-24 2019-03-14 クラリオン株式会社 Automatic driving support device
EP3556611A1 (en) 2018-04-16 2019-10-23 JVC KENWOOD Corporation On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
US10688868B2 (en) 2018-04-16 2020-06-23 JVC Kenwood Corporation On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
JP2022123319A (en) * 2021-02-12 2022-08-24 本田技研工業株式会社 Vehicle, vehicle control method, and computer program
WO2023054196A1 (en) * 2021-09-30 2023-04-06 株式会社デンソー Vehicle control device

Also Published As

Publication number Publication date
WO2015056427A1 (en) 2015-04-23

Similar Documents

Publication Publication Date Title
WO2015056427A1 (en) Driving assisting device
US11577744B2 (en) Vehicle system and vehicle
US9751562B2 (en) Park exit assist system
JP6380002B2 (en) Perimeter monitoring device
US20200086793A1 (en) Periphery monitoring device
EP2902271B1 (en) Parking assistance device, and parking assistance method and program
JP5160564B2 (en) Vehicle information display device
JP6816389B2 (en) Peripheral monitoring device
CN102933428A (en) Drive assist device
US11591018B2 (en) Parking assistance device
JP5991112B2 (en) Parking assistance device, control method, and program
JP2018144526A (en) Periphery monitoring device
JP6318204B2 (en) Parking exit support device
JP2020071537A (en) Driving support apparatus
JP5169912B2 (en) Parking assistance device
JP2019186853A (en) Vehicle display control device, vehicle display system, vehicle display control method, and program
JP2021062754A (en) Parking support apparatus, parking support method, and program
JP2017094922A (en) Periphery monitoring device
JP4957589B2 (en) Obstacle warning device, obstacle warning method, and computer program
JP6373916B2 (en) Parking exit support device
JP2011159217A (en) Confirmation action support device
JP6840998B2 (en) Obstacle detector
JP2021066286A (en) Parking support device, parking support method, and program
KR101094788B1 (en) Method And Apparatus Of Guiding Parking
CN118284915A (en) Vehicle, control device for vehicle, and control method for vehicle