JP2013154836A - Driving assisting device and program - Google Patents

Driving assisting device and program Download PDF

Info

Publication number
JP2013154836A
JP2013154836A JP2012018685A JP2012018685A JP2013154836A JP 2013154836 A JP2013154836 A JP 2013154836A JP 2012018685 A JP2012018685 A JP 2012018685A JP 2012018685 A JP2012018685 A JP 2012018685A JP 2013154836 A JP2013154836 A JP 2013154836A
Authority
JP
Japan
Prior art keywords
head
driver
predetermined
normal driving
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012018685A
Other languages
Japanese (ja)
Inventor
Tatsuhiro Hashimoto
竜弘 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012018685A priority Critical patent/JP2013154836A/en
Priority to PCT/JP2013/000498 priority patent/WO2013114871A1/en
Publication of JP2013154836A publication Critical patent/JP2013154836A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To allow a region which is hard to be visually observed in a normal driving attitude to be visually observed in a normal driving attitude.SOLUTION: A control device calculates a head of a driver and its position and the line-of-sight direction from an image photographed by a driver photographing camera (S1), and determines whether or not the head is in a visual observation state that at least the driver's head is in a predetermined position (S2). If the head is in the visual observation state (S2:YES), it is determined that a duration of a visual observation state has reached a predetermined threshold or longer, otherwise, it is determined that a frequency at which the visual observation state occurs has reached a predetermined threshold or higher, and when such determination is made, an apparatus control flag is set to be ON (S3). If the apparatus control flag is ON (S4: YES), the head position and the line-of-sight direction are calculated again (S5). The control device waits until the driver returns to the normal driving attitude from the visual observation state (S6: YES), and controls the operation of a mirror angle control device, a display device, and the like (S7).

Description

本発明は、車両の運転者による周囲の視認を容易にする運転支援装置に関する。   The present invention relates to a driving support device that facilitates visual recognition of surroundings by a driver of a vehicle.

従来、車両を運転する運転者の頭部の位置や視線を検出して、運転支援の動作を行う装置が多数提案されている。
一例として、車両の後方に二輪車が位置するときに警告動作を行う装置であって、運転者の視線がミラーを視認したと判定した場合には、警告動作を行わないことで、運転者が感じる煩わしさを低減する装置が提案されている（特許文献１参照）。 2. Description of the Related Art Conventionally, many devices have been proposed that perform driving support operations by detecting the position and line of sight of a driver driving a vehicle.
As an example, a device that performs a warning operation when a two-wheeled vehicle is positioned behind the vehicle, and when the driver's line of sight has determined that the mirror has been viewed, the driver feels by not performing the warning operation An apparatus that reduces annoyance has been proposed (see Patent Document 1).

また、運転者の頭部（眼球）の位置を推定することで、画像の表示位置を最適化する装置が提案されている（特許文献２参照）。   Further, an apparatus that optimizes the display position of an image by estimating the position of the driver's head (eyeball) has been proposed (see Patent Document 2).

特開２００７−２８６８９８号公報JP 2007-286898 A 特開２００４−３２２７２６号公報JP 2004-322726 A

車両の運転中において、後部座席に座る子供や後部座席に置いた物の様子を確認する場合や、駐車時に車両側方の白線などを確認する場合のように、運転者が通常の運転姿勢では視認しにくい領域を長時間視認したい場合がある。このような場面であっても運転者の頭部の位置や視線の動きを検出して上述した領域が視認できるようにすることが好ましいが、従来そのような装置は提案されていなかった。   When driving a vehicle, the driver is in a normal driving position, such as when checking the state of a child sitting in the back seat or an object placed on the back seat, or checking the white line on the side of the vehicle when parked. There is a case where it is desired to view a region that is difficult to visually recognize for a long time. Even in such a scene, it is preferable to detect the position of the driver's head and the movement of the line of sight so that the above-mentioned region can be visually recognized. However, such an apparatus has not been proposed.

本発明の目的は、通常の運転姿勢では視認しにくい領域を、通常の運転姿勢において視認させる運転支援装置およびプログラムを提供することである。   An object of the present invention is to provide a driving support device and a program that allow a region that is difficult to be visually recognized in a normal driving posture to be visually recognized in a normal driving posture.

上述した問題を解決するためになされた請求項１に記載の運転支援装置は、車両の運転者を撮影した画像を画像解析して運転者の頭部の車両内における位置を算出する。
そして頭部の位置が通常の運転姿勢における位置とは相違する所定位置にある期間が所定の閾値以上となったこと、および、その所定位置となる頻度が所定の閾値以上となったこと、のうちのいずれかの条件を満たしたことを判定し、その条件を満たしたと判定された場合に、頭部が所定位置にあるときに視認可能である領域を、運転者が通常の運転姿勢にて視認可能となるように所定の機器を制御する。 The driving support apparatus according to claim 1, which has been made in order to solve the above-described problem, calculates the position of the driver's head in the vehicle by performing image analysis on an image obtained by capturing the driver of the vehicle.
And the period when the position of the head is in a predetermined position different from the position in the normal driving posture is equal to or greater than a predetermined threshold, and the frequency of the predetermined position is equal to or greater than the predetermined threshold. When it is determined that one of the conditions is satisfied and it is determined that the condition is satisfied, an area where the head is visible when the head is in a predetermined position is displayed in a normal driving posture. A predetermined device is controlled so as to be visible.

ここでいう頭部が所定位置にあるときに視認可能である領域とは、直接的に視認できる領域に限らず、車両に設けられたドアミラーやルームミラーなどを介して視認可能となる領域を含むものである。   The region that can be viewed when the head is in a predetermined position is not limited to the region that can be directly viewed, but includes the region that can be viewed through a door mirror or a room mirror provided in the vehicle. It is a waste.

このように構成された運転支援装置は、運転者が通常の運転姿勢とは相違する位置に頭部を移動させたときに視認可能である領域を、通常の運転姿勢にて視認できる。そのため、上述した領域を視認するために運転中に無理な体勢をとる必要がなくなり、また通常の運転姿勢を維持できることから車両操作のミスや事故の発生を抑制できる。   The driving support device configured as described above can visually recognize an area that is visible when the driver moves the head to a position different from the normal driving posture in the normal driving posture. Therefore, it is not necessary to take an unreasonable posture during driving in order to visually recognize the above-described region, and a normal driving posture can be maintained, so that it is possible to suppress the occurrence of vehicle operation mistakes and accidents.

また、上述した条件を満たしたときにのみ所定の機器を制御するため、運転者が所定の領域の視認を意図していない場合にまで機器を作動させてしまうことを抑制できる。仮に上述した条件を設定せず、運転者の頭部が所定位置にあることのみに基づいて所定の機器を動作させるように構成した場合、偶然に運転者の頭部が所定位置に移動したときや、１フレームのみ頭部が所定位置にあると誤検出したときなどにも機器を作動させてしまうことになりかねず、運転者が予期しない動作によって運転者が煩わしく感じることとなる。しかしながら本発明ではそのような問題の発生を抑制することができる。   In addition, since the predetermined device is controlled only when the above-described conditions are satisfied, it is possible to prevent the device from operating until the driver does not intend to visually recognize the predetermined region. If the driver's head accidentally moves to a predetermined position when the above-described conditions are not set, and the predetermined device is operated based only on the fact that the driver's head is at a predetermined position. In addition, when it is erroneously detected that the head is in a predetermined position for only one frame, the device may be operated, and the driver feels troublesome due to an unexpected operation by the driver. However, in the present invention, occurrence of such a problem can be suppressed.

なお、上記運転支援装置は、所定の機器を制御するタイミングを、上記条件を満たしたと判定された場合であって、さらに、運転者の頭部が所定位置でなくなったときとしてもよい。このように構成された運転支援装置は、運転者の頭部が所定位置でなくなったとき、例えば通常の運転姿勢に戻ったときに所定の機器を動作させるため、頭部が所定位置にあって所定の機器による補助を必要としないときにまで機器を動作させて不要なエネルギーを消費してしまったり、運転者が予期しない動作をしてしまい運転者が煩わしく感じることを抑制できる。   In addition, the said driving assistance apparatus is a case where it determines with satisfy | filling the said conditions for the timing which controls a predetermined | prescribed apparatus, Comprising: It is good also when the driver | operator's head is no longer in a predetermined position. The driving support device configured as described above has a head in a predetermined position to operate a predetermined device when the driver's head is no longer in a predetermined position, for example, when returning to a normal driving posture. It is possible to prevent unnecessary energy from being consumed by operating the device until the time when assistance by a predetermined device is not required, or to prevent the driver from feeling uncomfortable due to an unexpected operation of the driver.

なお上記所定の機器としては、特に限定されるものではないが、例えば、車両に搭載されるミラーの角度を制御するミラー角度制御装置を所定の機器として用いることが考えられる。その場合には、運転支援装置は、頭部が所定位置にあるときに視認可能である領域を、運転者が通常の運転姿勢においてミラーを介して視認可能となるようにミラー角度制御装置を制御するように構成されているとよい。   The predetermined device is not particularly limited. For example, it is conceivable to use a mirror angle control device that controls the angle of a mirror mounted on the vehicle as the predetermined device. In that case, the driving assistance device controls the mirror angle control device so that the driver can visually recognize the region that is visible when the head is in a predetermined position through the mirror in a normal driving posture. It is good to be configured to do so.

このように構成された運転支援装置は、ミラーの角度を変更させることにより、通常の運転姿勢において上述した領域を運転者に視認させることができる。また、ミラーを動作させるタイミングを上述したように運転者の頭部が所定位置でなくなったときとすれば、運転者の頭部が所定位置にあるときにはミラーが動作せず上述した領域を視認し続けることができる。   The driving support device configured as described above allows the driver to visually recognize the above-described region in a normal driving posture by changing the angle of the mirror. Also, if the timing of operating the mirror is when the driver's head is no longer in the predetermined position as described above, the mirror does not operate when the driver's head is in the predetermined position, and the above-mentioned region is visually confirmed. You can continue.

また上記所定の機器としては、運転者が通常の運転姿勢において視認可能である位置に配置される表示装置を用いてもよい。この表示装置は運転者の頭部が所定位置であるときに視認可能である領域を撮影する撮影装置により撮影された画像を表示するものであり、運転支援装置は表示装置に上記画像を表示させるように構成するとよい。   Further, as the predetermined device, a display device arranged at a position where the driver can visually recognize in a normal driving posture may be used. This display device displays an image captured by an imaging device that captures an area that is visible when the driver's head is in a predetermined position, and the driving support device displays the image on the display device. It may be configured as follows.

このように構成された運転支援装置は、表示装置に上述した領域の画像を表示させることにより、上述した領域を運転者に視認させることができる。
上記運転支援装置は、車両の運転者を撮影した画像を画像解析した際に、運転者の頭部の位置のみでなく、運転者の視線方向を算出するように構成してもよい。 The driving support device configured as described above allows the driver to visually recognize the above-described region by displaying the image of the above-described region on the display device.
The driving assistance device may be configured to calculate not only the position of the driver's head but also the direction of the driver's line of sight when an image obtained by photographing the driver of the vehicle is image-analyzed.

その場合、上述した機器を制御する条件とは、頭部が所定位置にあり、かつ視線方向が上記所定位置に対応する所定方向である期間が所定の閾値以上となったこと、および、頭部が所定位置となり、かつ視線方向が上記所定方向となる頻度が所定の閾値以上となったこと、のうちのいずれかとするとよい。   In this case, the condition for controlling the above-mentioned device is that the head is in a predetermined position and the period in which the line-of-sight direction is a predetermined direction corresponding to the predetermined position is equal to or greater than a predetermined threshold, and the head Is a predetermined position, and the frequency at which the line-of-sight direction becomes the predetermined direction is preferably a predetermined threshold value or more.

このように構成された運転支援装置は、運転者の頭部の位置のみでなく、運転者の視線方向まで確認して所定の機器を制御するため、当該機器による支援が必要な状況を高い精度で判別でき、運転者が所定の領域の視認を意図していない場合にまで機器を作動させてしまうことを抑制できる。   Since the driving support device configured in this way controls not only the position of the driver's head but also the driver's line of sight and controls a predetermined device, the situation where assistance by the device is required is highly accurate. It is possible to suppress the operation of the device even when the driver does not intend to visually recognize the predetermined area.

請求項６に記載の発明は、コンピュータを、請求項１から請求項５のいずれか１項に記載の運転支援装置を構成する各手段として機能させるためのプログラムである。
このようなプログラムにより制御されるコンピュータは、請求項１から請求項５のいずれかに記載の運転支援装置の一部を構成することができる。 The invention according to claim 6 is a program for causing a computer to function as each means constituting the driving support apparatus according to any one of claims 1 to 5.
A computer controlled by such a program can constitute a part of the driving support apparatus according to any one of claims 1 to 5.

なお、上述したプログラムは、コンピュータによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して、注意喚起装置やこれを利用するユーザに提供されるものである。   The above-described program is composed of an ordered sequence of instructions suitable for processing by a computer, and is provided to a warning device and a user using the same via various recording media and communication lines. Is.

運転支援システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of a driving assistance system. 制御装置を機能ブロックにて示した機能ブロック図である。It is the functional block diagram which showed the control apparatus with the functional block. 車両側方の下線を確認する動作を説明する図である。It is a figure explaining the operation | movement which confirms the underline of a vehicle side. 車両の後部座席を確認する動作を説明する図である。It is a figure explaining the operation | movement which confirms the backseat of a vehicle. 機器制御処理の処理手順を説明するフローチャートである。It is a flowchart explaining the process sequence of an apparatus control process. 状態判定処理の処理手順を説明するフローチャートである。It is a flowchart explaining the process sequence of a state determination process.

以下に本発明の実施形態を図面と共に説明する。
［実施例］
（１）運転支援システムの構成
本実施例の運転支援システム１は車両に搭載されて用いられるものであって、図１に示すように、運転者撮影カメラ１１、後部座席撮影カメラ１３、車外撮影カメラ１５、ミラー角度制御装置１７、表示装置１９、および制御装置２１などを有する。 Embodiments of the present invention will be described below with reference to the drawings.
[Example]
(1) Configuration of Driving Support System The driving support system 1 according to this embodiment is used by being mounted on a vehicle. As shown in FIG. 1, a driver photographing camera 11, a rear seat photographing camera 13, an outside vehicle photographing. The camera 15, the mirror angle control device 17, the display device 19, and the control device 21 are included.

運転者撮影カメラ１１は、撮像素子により運転者の顔を含む画像を撮影する周知の撮像装置（いわゆるＣＣＤやＣＭＯＳなどの撮像素子と光学レンズ、光学フィルタ、電源等の周辺電子回路から成るカメラ）であり、運転者撮影カメラ１１の撮影範囲に運転席が位置するように配置される。運転者撮影カメラ１１は所定の時間間隔（例えば１／３０秒）ごとに画像を撮影し、制御装置２１に出力する。   The driver photographing camera 11 is a well-known imaging device that captures an image including a driver's face with an imaging device (a camera including a so-called CCD or CMOS imaging device and peripheral electronic circuits such as an optical lens, an optical filter, and a power source). And the driver's seat is arranged in the shooting range of the driver shooting camera 11. The driver photographing camera 11 captures images at predetermined time intervals (for example, 1/30 seconds) and outputs the images to the control device 21.

後部座席撮影カメラ１３は、車両の後部座席が撮影範囲となるように配置されたカメラであり、周知の撮像装置である。車外撮影カメラ１５も同様に周知の撮像装置であり、車両の左右前方が撮影範囲となるように、車両前方のナンバープレート付近に配置される。   The rear seat photographing camera 13 is a camera arranged so that the rear seat of the vehicle is in the photographing range, and is a well-known imaging device. The outside-camera camera 15 is also a well-known imaging device, and is arranged in the vicinity of the number plate in front of the vehicle so that the left and right front of the vehicle is the imaging range.

ミラー角度制御装置１７は、右ドアミラー（サイドミラー）のミラー角度を制御するアクチュエータを有し、制御装置２１からの制御信号に従ってミラー角度を変更する。
表示装置１９は画像を表示可能なディスプレイを有する装置であって、運転者が通常の運転姿勢で視認可能な場所（例えばダッシュボード、インストールメントパネル付近）に配置され、制御装置２１からの制御信号に従って画像を表示する。 The mirror angle control device 17 includes an actuator that controls the mirror angle of the right door mirror (side mirror), and changes the mirror angle according to a control signal from the control device 21.
The display device 19 is a device having a display capable of displaying an image, and is disposed in a place where the driver can visually recognize the vehicle in a normal driving posture (for example, near a dashboard or an installation panel), and a control signal from the control device 21. Follow the steps to display the image.

制御装置２１は、ＣＰＵ３１，ＲＯＭ３３，ＲＡＭ３５などからなる周知のマイクロコンピュータであって、ＲＯＭ３３に記憶されているプログラムに基づいて後述する各処理を実行する。なお制御装置２１は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を備える回路を複数組み合わせて構成されていてもよい。この制御装置２１が、本発明における運転支援装置の一例である。また制御装置２１は、図示しない周知のリアルタイムクロックを有しており、現在時刻を知ることができる。   The control device 21 is a known microcomputer including a CPU 31, a ROM 33, a RAM 35, and the like, and executes each process described later based on a program stored in the ROM 33. The control device 21 may be configured by combining a plurality of circuits including a CPU, a ROM, a RAM, and the like. The control device 21 is an example of a driving support device in the present invention. The control device 21 has a known real-time clock (not shown) and can know the current time.

制御装置２１は、図２に示すように、頭位置・視線方向演算部４１、通常動作学習部４３、所定動作検出部４５、動作目的推定部４７、および装置動作制御部４９として機能する。なお、頭位置・視線方向演算部４１は本発明における頭位置算出手段および視線方向算出手段の一例であり、所定動作検出部４５および動作目的推定部４７は状態判定手段の一例であり、装置動作制御部４９は制御手段の一例である。   As illustrated in FIG. 2, the control device 21 functions as a head position / gaze direction calculation unit 41, a normal motion learning unit 43, a predetermined motion detection unit 45, a motion purpose estimation unit 47, and a device motion control unit 49. The head position / gaze direction calculation unit 41 is an example of a head position calculation unit and a gaze direction calculation unit in the present invention, and the predetermined motion detection unit 45 and the motion purpose estimation unit 47 are examples of a state determination unit, and device operation The control unit 49 is an example of a control unit.

頭位置・視線方向演算部４１は、運転者撮影カメラ１１から取得した画像を画像解析し、運転者の頭部の車両内における位置（以降、単に頭位置とも述べる）と視線方向とを算出する。頭位置・視線方向演算部４１はこれらの情報を所定の時間間隔で検出し、通常動作学習部４３および所定動作検出部４５に出力する。   The head position / gaze direction calculating unit 41 performs image analysis on the image acquired from the driver photographing camera 11 and calculates the position of the driver's head in the vehicle (hereinafter also simply referred to as the head position) and the gaze direction. . The head position / gaze direction calculation unit 41 detects these information at predetermined time intervals and outputs them to the normal motion learning unit 43 and the predetermined motion detection unit 45.

画像解析により頭位置や視線方向を算出する方法は周知技術を用いることができる。異なる位置に配置された２つのカメラにより撮影された２つの撮影画像を解析することで、頭位置および特徴点の３次元座標を求めてもよい。すなわち運転者撮影カメラ１１を２つ設ける構成であってもよい。   A well-known technique can be used as a method of calculating the head position and the line-of-sight direction by image analysis. The three-dimensional coordinates of the head position and the feature points may be obtained by analyzing two captured images captured by two cameras arranged at different positions. That is, the structure which provides the driver | operator photography camera 11 may be sufficient.

なお、運転者の頭位置を算出する際には、頭部の位置そのものを算出するほか、目、鼻、口などの頭部の位置と関連が強い特徴点の位置を算出してそれを頭位置として利用してもよいし、両肩や首などの頭部の動きと関連のある部位の位置を算出して頭位置に替えて用いてもよい。   When calculating the driver's head position, not only the head position itself, but also the positions of feature points that are strongly related to the head position such as the eyes, nose, mouth, etc. The position may be used, or the position of a part related to the movement of the head such as both shoulders and neck may be calculated and used instead of the head position.

画像解析によって運転者の頭位置や視線方向を検出する方法としては、例えば特開２００８−１３０２３号公報、特開２００５−６６０２３号公報、特開２００２−３５２２２８号公報、特開２００７−２４９２８０号公報、特開２００５−１８２４５２号公報記載の方法を用いることができる。   As a method for detecting the driver's head position and line-of-sight direction by image analysis, for example, JP 2008-13023 A, JP 2005-66023 A, JP 2002-352228 A, and JP 2007-249280 A. The method described in JP-A-2005-182452 can be used.

通常動作学習部４３は、頭位置・視線方向演算部４１が算出した頭位置や視線方向の情報を継続的に取得する。そして一定の期間以上の情報に基づいて、運転者が通常の運転姿勢にあるときの頭位置を算出する。通常の運転姿勢における頭位置の算出方法は特に限定されるものではなく、周知の様々な手法を採ることができる。例えば、車両走行中の所定の期間内に取得された頭位置の平均値から求めることができる。現在時刻に近いタイミングで算出された頭位置ほど重み付けが大きくなるようにして平均値を算出してもよい。   The normal motion learning unit 43 continuously acquires information on the head position and the gaze direction calculated by the head position / gaze direction calculation unit 41. Based on the information over a certain period, the head position when the driver is in the normal driving posture is calculated. The method for calculating the head position in the normal driving posture is not particularly limited, and various known methods can be employed. For example, it can be obtained from an average value of head positions acquired within a predetermined period during vehicle travel. The average value may be calculated such that the head position calculated at a timing close to the current time is weighted more.

なおこの通常動作学習部４３による通常の運転姿勢における頭位置の算出は、後述する機器制御処理や状態判定処理とは別に継続的に実行される。
所定動作検出部４５は、頭位置・視線方向演算部４１が算出した頭位置や視線方向の情報を継続的に取得する。 The calculation of the head position in the normal driving posture by the normal operation learning unit 43 is continuously executed separately from the device control process and the state determination process described later.
The predetermined motion detection unit 45 continuously acquires information on the head position and the gaze direction calculated by the head position / gaze direction calculation unit 41.

そして、（ａ）〜（ｄ）のいずれかの状態となっていることを検出する。
（ａ）頭位置が通常の運転姿勢よりも上方かつドアミラー寄りの位置であり、視線方向がドアミラー方向である状態
（ｂ）頭位置が通常の運転姿勢よりも上方の位置であり、視線方向がルームミラー方向である状態
（ｃ）頭位置が通常の運転姿勢よりも車両中央寄りの位置であり、視線方向が後方である状態
（ｄ）頭位置が通常の運転姿勢よりも前方の位置である状態
以降、上記（ａ）〜（ｄ）の状態のことを視認動作状態と述べる。 And it detects that it is in any state of (a)-(d).
(A) The head position is above the normal driving posture and closer to the door mirror, and the line-of-sight direction is the door mirror direction. (B) The head position is above the normal driving posture and the line-of-sight direction is (C) The head position is closer to the center of the vehicle than the normal driving posture, and the line-of-sight direction is rearward. (D) The head position is the front position relative to the normal driving posture. State Hereinafter, the states (a) to (d) will be referred to as a visual recognition operation state.

頭位置が通常の運転姿勢と異なるか否かは、通常動作学習部４３にて求めた通常の運転姿勢における位置から所定の閾値以上離れているか否かにより判断する。なお上述した（ａ）〜（ｄ）における頭位置が、本発明における所定位置の一例であり、（ａ）〜（ｃ）における視線方向が、本発明における所定方向の一例である。   Whether or not the head position is different from the normal driving posture is determined by whether or not the head position is away from the position in the normal driving posture determined by the normal motion learning unit 43 by a predetermined threshold or more. In addition, the head position in (a)-(d) mentioned above is an example of the predetermined position in this invention, and the gaze direction in (a)-(c) is an example of the predetermined direction in this invention.

動作目的推定部４７は、所定動作検出部４５により視認動作状態であると検出されている期間が所定の閾値以上（例えば２秒以上）となったこと、および、視認動作状態であると検出される頻度が所定の閾値以上となったことのいずれかの条件を満たしたことを判定し、運転者の動作目的を推定する。   The motion purpose estimation unit 47 detects that the period during which the predetermined motion detection unit 45 detects that it is in the visual motion state has reached a predetermined threshold or more (for example, 2 seconds or more) and is in the visual motion state. It is determined that one of the conditions that the driving frequency is equal to or higher than a predetermined threshold is satisfied, and the operation purpose of the driver is estimated.

頻度が所定の閾値以上となったか否かの具体的な算出方法は特に限定されないが、例えば、最初に視認動作状態と検出されてから所定の期間（例えば１０秒）内に所定回数（例えば３回）以上視認動作状態となったことが検出された場合や、視認動作状態となったことが所定回数検出されるまでの期間が所定の閾値以下である場合に、頻度が所定の閾値以上であると判断できる。もちろん、頻度は他の手法により求めてもよい。   A specific calculation method for determining whether or not the frequency is equal to or higher than a predetermined threshold value is not particularly limited. For example, a predetermined number of times (for example, 3) within a predetermined period (for example, 10 seconds) after the first detection of the visual motion state is detected. The frequency is greater than or equal to the predetermined threshold when it is detected that the visual operation state has been detected or when the period until the visual operation state is detected a predetermined number of times is less than or equal to the predetermined threshold value. It can be judged that there is. Of course, the frequency may be obtained by other methods.

運転者の動作目的を推定する具体例を説明する。上記（ａ）の状態にて上記条件を満たせば、運転者が車両の側方の白線や車止めなどを確認していると推定する。
図３に示すように、通常の運転姿勢の頭位置５１Ａから運転席のドアミラー５３を視認すると車両５５の右側後方（矢印Ａ方向）が視認できるが、車両のすぐ側方であり後方の下部にある白線５７などは視認しにくい。頭位置を通常の運転姿勢よりも上方かつドアミラー寄りの位置（頭位置５１Ｂの位置）に移動させると、視線方向が矢印Ｂのようになり白線５７を容易に視認できるようになる。 A specific example for estimating the operation purpose of the driver will be described. If the above condition is satisfied in the state of (a) above, it is estimated that the driver has confirmed the white line on the side of the vehicle, the vehicle stop, and the like.
As shown in FIG. 3, when the driver's seat door mirror 53 is viewed from the head position 51A in a normal driving posture, the right rear side (in the direction of arrow A) of the vehicle 55 can be viewed. Certain white lines 57 are difficult to see. When the head position is moved to a position above the normal driving posture and closer to the door mirror (the position of the head position 51B), the line-of-sight direction becomes as indicated by the arrow B, and the white line 57 can be easily visually recognized.

また、駐車等で白線５７を視認する場合には、ある程度の期間継続的に視認したり、他方向と交互に視線を替えながら高い頻度で視認することが多い。このような理由から、上記のように推定することができる。   Moreover, when visually recognizing the white line 57 in parking or the like, the white line 57 is often viewed continuously for a certain period of time, or frequently viewed while changing the line of sight alternately with the other direction. For this reason, it can be estimated as described above.

また、上記（ｂ）の状態や（ｃ）の状態にて上記条件を満たせば、運転者が車両の後部座席を確認していると推定する。
図４に示すように、通常の運転姿勢の頭位置６１Ａからルームミラー６３を視認すると車両６５の後方（矢印Ｃ方向）が視認できるが、車両６５の後部座席は視認しにくい。頭位置を通常の運転姿勢よりも上方の位置（頭位置６１Ｂの位置）に移動させると、視線方向が矢印Ｄのようになり後部座席を容易に視認できるようになる。または、頭位置を車両中央寄りとして後方を振り返ることで、後部座席を視認できるようになる。このような理由から、上記のように推定することができる。 Further, if the above condition is satisfied in the state (b) or the state (c), it is estimated that the driver confirms the rear seat of the vehicle.
As shown in FIG. 4, when the room mirror 63 is viewed from the head position 61A in a normal driving posture, the rear of the vehicle 65 (in the direction of arrow C) can be viewed, but the rear seat of the vehicle 65 is difficult to view. When the head position is moved to a position above the normal driving posture (the position of the head position 61B), the line-of-sight direction becomes as indicated by the arrow D and the rear seat can be easily visually recognized. Alternatively, the rear seat can be visually recognized by turning the head position closer to the center of the vehicle and looking back. For this reason, it can be estimated as described above.

また、上記（ｄ）の状態にて上記条件を満たせば、運転者が左右の見通しの悪い交差点などで身を前に乗り出して左右を確認していると推定する。
装置動作制御部４９は、運転者が通常の運転姿勢に戻った後に、動作目的推定部４７の推定結果に基づいて、運転者の頭位置が上述した（ａ）〜（ｄ）の位置にあるときに視認可能である領域を、運転者が通常の運転姿勢にて視認可能となるように所定の機器を制御する。この領域とは、直接的に視認できる領域に限らず、上述したようにドアミラーやルームミラーなどを介して視認可能となる領域も含むものである。 Further, if the above condition is satisfied in the state of (d), it is estimated that the driver has leaned forward at an intersection with poor visibility on the left and right and confirms the left and right.
After the driver returns to the normal driving posture, the device operation control unit 49 has the driver's head position at the positions (a) to (d) described above based on the estimation result of the operation purpose estimation unit 47. The predetermined device is controlled so that the driver can visually recognize the region that is sometimes visible in a normal driving posture. This region is not limited to a region that can be directly visually recognized, but also includes a region that can be visually recognized through a door mirror or a room mirror as described above.

具体的な制御内容について説明する。推定結果が上記（ａ）の場合、ミラー角度制御装置１７を制御して図３に示すドアミラー５３のミラー角度を変更させ、通常の運転姿勢の頭位置５１Ａにて矢印Ｂ方向が視認できるようにする。   Specific control contents will be described. When the estimation result is (a) above, the mirror angle control device 17 is controlled to change the mirror angle of the door mirror 53 shown in FIG. 3 so that the arrow B direction can be visually recognized at the head position 51A in the normal driving posture. To do.

また推定結果が（ｂ）または（ｃ）の場合、後部座席撮影カメラ１３にて撮影された画像を表示装置１９に表示させる。なお、ルームミラー６３のミラー角度を制御する装置を車両に設けて、その装置を制御してミラー角度を変更させることで通常の運転姿勢にて後部座席が視認できるようにしてもよい。   When the estimation result is (b) or (c), an image photographed by the rear seat photographing camera 13 is displayed on the display device 19. Note that a device for controlling the mirror angle of the room mirror 63 may be provided in the vehicle, and the rear seat may be visually recognized in a normal driving posture by controlling the device to change the mirror angle.

また推定結果が（ｄ）の場合、車外撮影カメラ１５にて撮影された画像を表示装置１９に表示させる。
（２）制御装置２１が実行する処理
（２．１）機器制御処理
制御装置２１が実行する機器制御処理を、図５に示すフローチャートに基づいて説明する。 When the estimation result is (d), an image photographed by the outside camera 15 is displayed on the display device 19.
(2) Processing executed by control device 21 (2.1) Device control processing Device control processing executed by control device 21 will be described based on the flowchart shown in FIG.

この機器制御処理は、制御装置２１を含む運転支援システム１全体に電力が供給されたときに（本実施形態では、イグニッションスイッチがオンされたときに）開始される。
本処理では、まず、運転者撮影カメラ１１が撮影した画像を取得し、その取得した画像に基づいて運転者の頭部の位置と視線方向とを算出する（Ｓ１）。 This device control process is started when electric power is supplied to the entire driving support system 1 including the control device 21 (in the present embodiment, when the ignition switch is turned on).
In this process, first, an image photographed by the driver photographing camera 11 is acquired, and the position of the driver's head and the line-of-sight direction are calculated based on the acquired image (S1).

次に、頭部の位置、および視線方向が、上述した視認動作状態のいずれかと検出されているか否かを判定する（Ｓ２）。視認動作状態でなければ（Ｓ２：ＮＯ）、処理がＳ１に戻る。   Next, it is determined whether the position of the head and the line-of-sight direction are detected as any of the above-described visual movement states (S2). If it is not in the visual recognition operation state (S2: NO), the process returns to S1.

視認動作状態であれば（Ｓ２：ＹＥＳ）、上述した（ａ）〜（ｄ）のいずれの状態であるかをメモリ（ＲＡＭ３５）に記憶し、次に、状態判定処理を行う（Ｓ３）。この処理では視認動作状態である期間が所定の閾値以上となったこと、あるいは視認動作状態となる頻度が所定の閾値以上となったことを判定する。そのような判定がなされた場合には、機器制御フラグがＯＮに設定される。この状態判定処理の詳細については後述する。   If it is a visual recognition operation state (S2: YES), the state (a) to (d) described above is stored in the memory (RAM 35), and then a state determination process is performed (S3). In this process, it is determined that the period of the visual recognition operation state is equal to or greater than a predetermined threshold value, or that the frequency of the visual recognition operation state is equal to or greater than the predetermined threshold value. When such a determination is made, the device control flag is set to ON. Details of this state determination processing will be described later.

次に、Ｓ３の状態判定処理において、機器制御フラグがＯＮとなったか否かを判定する（Ｓ４）。機器制御フラグがＯＮでなければ（Ｓ４：ＮＯ）、処理がＳ１に戻る。
機器制御フラグがＯＮとなってれいば（Ｓ４：ＹＥＳ）、運転者撮影カメラ１１が新たに撮影した画像を取得し頭位置と視線方向とを算出する（Ｓ５）。そしてＳ５にて算出した情報に基づいて、運転者が通常の運転姿勢であるか否かを判定する（Ｓ６）。通常の運転姿勢でなければ（Ｓ６：ＮＯ）、処理がＳ５に戻る。即ち、視認動作状態から通常の運転姿勢に戻るまで待機する。 Next, in the state determination process of S3, it is determined whether or not the device control flag is turned on (S4). If the device control flag is not ON (S4: NO), the process returns to S1.
If the device control flag is ON (S4: YES), the driver photographing camera 11 acquires a new image and calculates the head position and the line-of-sight direction (S5). Then, based on the information calculated in S5, it is determined whether or not the driver is in a normal driving posture (S6). If it is not a normal driving posture (S6: NO), the process returns to S5. That is, it waits until it returns from a visual recognition operation state to a normal driving posture.

通常の運転姿勢になれば（Ｓ６：ＹＥＳ）、所定の機器の動作を制御する（Ｓ７）。ここではＳ２にて検出した視認動作状態の上記（ａ）〜（ｄ）に応じて、ミラー角度制御装置１７や表示装置１９等を制御する。所定時間経過後、機器の動作を終了し、処理がＳ１に戻る。   If it becomes a normal driving posture (S6: YES), the operation of a predetermined device is controlled (S7). Here, the mirror angle control device 17, the display device 19, and the like are controlled according to the above-described (a) to (d) of the visual operation state detected in S <b> 2. After a predetermined time has elapsed, the operation of the device is terminated, and the process returns to S1.

（２．２）状態判定処理
制御装置２１が実行する状態判定処理を、図６に示すフローチャートに基づいて説明する。 (2.2) State Determination Process The state determination process executed by the control device 21 will be described based on the flowchart shown in FIG.

この状態判定処理は、機器制御処理のＳ２において視認動作状態であると判定されたときに開始される。
本処理では、まず経過時間のカウントを開始する（Ｓ１１）。そして運転者撮影カメラ１１が新たに撮影した画像を取得して、上記Ｓ１と同様に頭位置と視線方向とを算出し（Ｓ１２）、視認動作状態（直前のＳ２にて検出された視認動作状態と同じ状態）であるかを判定する（Ｓ１３）。 This state determination process is started when it is determined that the device is in the visual operation state in S2 of the device control process.
In this process, first, counting of elapsed time is started (S11). Then, a new image taken by the driver photographing camera 11 is acquired, and the head position and the line-of-sight direction are calculated in the same manner as in S1 (S12), and the visual operation state (the visual operation state detected in the immediately preceding S2). (S13).

このＳ１３において視認動作状態であると判定された場合（Ｓ１３：ＹＥＳ）、所定時間（例えば２秒）が経過したか否かを判定し（Ｓ１４）、所定時間が経過していなければ（Ｓ１４：ＮＯ）、処理がＳ１２に戻り、所定時間が経過していれば（Ｓ１４：ＹＥＳ）、機器制御フラグをＯＮとする（Ｓ１５）。その後、本処理を終了して、機器制御処理のＳ４に移行する。   If it is determined in S13 that it is in the visual recognition operation state (S13: YES), it is determined whether a predetermined time (for example, 2 seconds) has elapsed (S14), and if the predetermined time has not elapsed (S14: NO), the process returns to S12, and if the predetermined time has elapsed (S14: YES), the device control flag is turned ON (S15). Thereafter, the present process is terminated, and the process proceeds to S4 of the device control process.

つまり、Ｓ１２〜Ｓ１５の処理では視認動作状態であるか否かを繰り返し判定し、視認動作状態であることが検出されてからその状態の継続する期間が所定の閾値（所定時間）以上となった場合に機器制御フラグをＯＮとする。   In other words, in the processes of S12 to S15, it is repeatedly determined whether or not the state is the visual operation state, and the duration of the state after being detected as the visual operation state has reached a predetermined threshold (predetermined time) or more. In this case, the device control flag is turned ON.

なおＳ１３にて視認動作状態ではないと判定されると（Ｓ１３：ＮＯ）、その判定結果をメモリに記憶させる（Ｓ１６）。Ｓ１３から移行した場合は、メモリに視認動作状態でないことを記憶させる。   If it is determined in S13 that the visual operation state is not set (S13: NO), the determination result is stored in the memory (S16). When the process moves from S13, it is stored in the memory that it is not in the visual operation state.

次に、視認動作状態となった回数が予め設定された値以上となったか否かを判定する（Ｓ１７）。ここでは、メモリに記憶された判定結果に基づき、視認動作状態でない状態から視認動作状態となった回数をカウントし、設定された値（例えば３）以上となったか否かを判定する。   Next, it is determined whether or not the number of times the visual recognition operation state has been reached is equal to or greater than a preset value (S17). Here, based on the determination result stored in the memory, the number of times the visual operation state is changed from the state that is not the visual operation state is counted, and it is determined whether or not the set value (for example, 3) or more is reached.

カウントした回数が設定された値以上であれば（Ｓ１７：ＹＥＳ）、機器制御フラグをＯＮとし（Ｓ１５）、本処理を終了する。一方、設定された値以上でなければ（Ｓ１７：ＮＯ）、所定時間（例えば１０秒）が経過したか否かを判定し（Ｓ１８）、所定時間が経過していれば（Ｓ１８：ＹＥＳ）、機器制御フラグをＯＮとすることなく本処理を終了する。   If the counted number is equal to or greater than the set value (S17: YES), the device control flag is turned ON (S15), and this process is terminated. On the other hand, if it is not the set value or more (S17: NO), it is determined whether or not a predetermined time (for example, 10 seconds) has elapsed (S18). If the predetermined time has elapsed (S18: YES), This process ends without turning on the device control flag.

また、所定時間が経過していなければ（Ｓ１８：ＮＯ）、再度、運転者撮影カメラ１１が新たに撮影した画像を取得して頭位置と視線方向とを算出し（Ｓ１９）、直前のＳ２にて検出された視認動作状態と同じ視認動作状態であるか否かを判定し（Ｓ２０）、処理がＳ１６に戻り、判定結果を記憶する。   If the predetermined time has not elapsed (S18: NO), the driver photographing camera 11 obtains a new image and calculates the head position and the line-of-sight direction (S19). It is determined whether or not it is the same visual operation state as the visual operation state detected in step S20 (S20), the process returns to S16, and the determination result is stored.

つまり、Ｓ１５〜Ｓ２０では、所定時間が経過するまでに視認動作状態となった回数が設定された値以上となった場合、即ち、視認動作状態となる頻度が所定の閾値以上となった場合に機器制御フラグをＯＮとする。   That is, in S15 to S20, when the number of times that the visual operation state has been reached before the predetermined time has elapsed is equal to or greater than the set value, that is, when the frequency of the visual operation state is equal to or greater than a predetermined threshold. Set the device control flag to ON.

（３）効果
本実施例の運転支援システム１は、運転者が視認動作状態のときに視認可能である領域、具体的には車両の側方の白線や車止め、車両の後部座席、および交差点の左右方向といった通常の運転姿勢では視認が困難な領域を、通常の運転姿勢にて視認できる。そのため、上述した領域を視認するために無理な体勢をとる必要がなくなり、また通常の運転姿勢を維持できることから運転操作のミスや事故の発生を抑制できる。 (3) Effects The driving support system 1 according to the present embodiment is an area that can be visually recognized when the driver is in the visual operation state, specifically, the white line on the side of the vehicle, the vehicle stop, the rear seat of the vehicle, and the intersection A region that is difficult to visually recognize in the normal driving posture such as the left-right direction can be visually recognized in the normal driving posture. Therefore, it is not necessary to take an unreasonable posture in order to visually recognize the above-described region, and a normal driving posture can be maintained, so that it is possible to suppress driving errors and accidents.

また、視認動作状態であることが検出されてからその状態の継続する期間が所定の閾値以上となった場合、および視認動作状態となる頻度が所定の閾値以上となった場合にのみミラー角度制御装置１７や表示装置１９等を制御するため、運転者が所定の領域の視認を意図していない場合にまで機器を作動させてしまうことを抑制できる。   In addition, mirror angle control is performed only when the duration of the state after it is detected as being in the visual operation state becomes equal to or greater than a predetermined threshold and when the frequency of the visual operation state is equal to or greater than the predetermined threshold. Since the device 17, the display device 19, and the like are controlled, it is possible to suppress the operation of the device until the driver does not intend to view the predetermined area.

運転中には頭部を通常の姿勢から移動することが間々あり、また所定の領域を一瞬だけ確認したい場合などもあるが、そのような場合には機器が作動しない。よって、意図しない機器の動作によって運転者を煩わせてしまうことが抑制できる。さらに、不要なエネルギーの消費を抑制できる。   While driving, the head is often moved from a normal posture, and there is a case where it is desired to confirm a predetermined region for a moment. In such a case, the device does not operate. Therefore, it is possible to suppress annoying the driver due to unintended operation of the device. Furthermore, unnecessary energy consumption can be suppressed.

（４）変形例
以上、本発明の実施例について説明したが、本発明は上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。 (4) Modifications Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various forms can be taken as long as they belong to the technical scope of the present invention. Not too long.

例えば、上記実施例においては、視認動作状態であることを頭位置と視線方向の両方に基づいて検出する構成を例示したが、視線方向は考慮せず、頭位置のみに基づいて視認動作状態であることを検出する構成であってもよい。   For example, in the above-described embodiment, the configuration in which the visual operation state is detected based on both the head position and the line-of-sight direction is illustrated, but the line-of-sight direction is not considered and the visual operation state is based only on the head position. It may be configured to detect the presence.

また上記実施例においては、機器制御処理のＳ６において、運転者が通常の運転姿勢に戻ったか否かを判定する構成を例示したが、運転者が通常の運転姿勢に戻るか否かを判断せず、状態判定処理のＳ１５の機器制御フラグがＯＮに設定されたことをトリガとしてミラー角度制御装置１７や表示装置１９等を制御する構成であってもよい。また、上記Ｓ６において、運転者が通常の運転姿勢に戻ることに変えて、運転者が視認動作状態でなくなったか否かを判断する構成としてもよい。   Further, in the above-described embodiment, the configuration in which it is determined whether or not the driver returns to the normal driving posture in S6 of the device control process is illustrated, but it is determined whether or not the driver returns to the normal driving posture. Instead, the configuration may be such that the mirror angle control device 17, the display device 19 and the like are controlled using the device control flag in S15 of the state determination process set to ON as a trigger. In S6, the driver may return to the normal driving posture and determine whether or not the driver is no longer in the visual operation state.

また、運転者が視認動作状態であるときに視認可能である領域を運転者が通常の運転姿勢にて視認可能となるようにする機器として、ミラー角度制御装置１７および表示装置１９を例示したが、それ以外の機器であってもよい。   In addition, the mirror angle control device 17 and the display device 19 are illustrated as devices that enable the driver to visually recognize the region that can be visually recognized when the driver is in the visual operation state, in a normal driving posture. Other devices may be used.

また、通常動作学習部４３が、運転中にドアミラーおよびルームミラーを視認する際の頭位置や視線方向を学習するように構成し、所定動作検出部４５が、新たに撮影した画像から算出した頭位置や視線方向が学習したものと相違する場合に、視認動作状態であると判定するように構成してもよい。   Further, the normal motion learning unit 43 is configured to learn the head position and the line-of-sight direction when the door mirror and the room mirror are visually recognized during driving, and the predetermined motion detection unit 45 calculates the head calculated from the newly captured image. When the position and the line-of-sight direction are different from those learned, the visual operation state may be determined.

また上記実施例においては、通常の運転姿勢における頭位置は通常動作学習部４３にて学習する構成を例示したが、予め定められた位置を通常の運転姿勢における頭位置とし、学習をしない構成であってもよい。   In the above embodiment, the head position in the normal driving posture is exemplified by the normal motion learning unit 43. However, the head position in the normal driving posture is set as the head position in the normal driving posture, and the learning is not performed. There may be.

１…運転支援システム、１１…運転者撮影カメラ、１３…後部座席撮影カメラ、１５…車外撮影カメラ、１７…ミラー角度制御装置、１９…表示装置、２１…制御装置、４１…頭位置・視線方向演算部、４３…通常動作学習部、４５…所定動作検出部、４７…動作目的推定部、４９…装置動作制御部、５１Ａ…頭位置、５１Ｂ…頭位置、５３…ドアミラー、５５…車両、５７…白線、６１Ａ…頭位置、６１Ｂ…頭位置、６３…ルームミラー、６５…車両 DESCRIPTION OF SYMBOLS 1 ... Driver assistance system, 11 ... Driver imaging camera, 13 ... Back seat imaging camera, 15 ... Outside-vehicle imaging camera, 17 ... Mirror angle control device, 19 ... Display device, 21 ... Control device, 41 ... Head position and line-of-sight direction Arithmetic unit, 43 ... Normal motion learning unit, 45 ... Predetermined motion detection unit, 47 ... Motion purpose estimation unit, 49 ... Device motion control unit, 51A ... Head position, 51B ... Head position, 53 ... Door mirror, 55 ... Vehicle, 57 ... white line, 61A ... head position, 61B ... head position, 63 ... room mirror, 65 ... vehicle

Claims (6)

車両の運転者を撮影した画像を画像解析し、前記運転者の頭部の前記車両内における位置を算出する頭位置算出手段と、
前記頭位置算出手段により算出された前記頭部の位置が通常の運転姿勢における位置とは相違する所定位置にある期間が所定の閾値以上となったこと、および、前記頭位置算出手段により算出された前記頭部の位置が前記所定位置となる頻度が所定の閾値以上となったこと、のうちのいずれかの条件を満たしたことを判定する状態判定手段と、
前記状態判定手段により前記条件を満たしたと判定された場合に、前記頭部が前記所定位置にあるときに視認可能である領域を、前記運転者が前記通常の運転姿勢にて視認可能となるように所定の機器を制御する制御手段と、を備える
ことを特徴とする運転支援装置。 Image analysis of an image of a driver of the vehicle, and a head position calculating means for calculating a position of the driver's head in the vehicle;
The time when the head position calculated by the head position calculating means is in a predetermined position different from the position in the normal driving posture is equal to or greater than a predetermined threshold, and is calculated by the head position calculating means. State determination means for determining that the frequency at which the position of the head is the predetermined position is equal to or greater than a predetermined threshold, and satisfies any of the conditions;
When it is determined by the state determination means that the condition is satisfied, an area that is visible when the head is in the predetermined position is visible to the driver in the normal driving posture. And a control means for controlling predetermined equipment. 前記制御手段は、前記状態判定手段により前記条件を満たしたと判定された場合であって、かつ前記頭位置算出手段により算出された前記頭部の位置が前記所定位置でなくなったときに、前記制御を行う
ことを特徴とする請求項１に記載の運転支援装置。 The control means is the case where it is determined that the condition is satisfied by the state determination means and the position of the head calculated by the head position calculation means is not the predetermined position. The driving support device according to claim 1, wherein: 前記所定の機器とは、前記車両に搭載されるミラーの角度を制御するミラー角度制御装置であり、
前記制御手段は、前記頭部が前記所定位置にあるときに視認可能である領域を、前記運転者が前記通常の運転姿勢において前記ミラーを介して視認可能となるように前記ミラー角度制御装置を制御する
ことを特徴とする請求項１または請求項２に記載の運転支援装置。 The predetermined device is a mirror angle control device that controls an angle of a mirror mounted on the vehicle,
The control means controls the mirror angle control device so that the driver can visually recognize an area that is visible when the head is at the predetermined position through the mirror in the normal driving posture. The driving support device according to claim 1, wherein the driving support device is controlled. 前記所定の機器とは、前記頭部が前記所定位置であるときに視認可能である領域を撮影する撮影装置により撮影された画像を表示し、前記運転者が前記通常の運転姿勢において視認可能である位置に配置される表示装置であり、
前記制御手段は、前記表示装置に前記画像を表示させる
ことを特徴とする請求項１または請求項２に記載の運転支援装置。 The predetermined device displays an image captured by an image capturing device that captures an area that is visible when the head is in the predetermined position, and the driver can visually recognize the normal driving posture. A display device arranged at a certain position,
The driving support device according to claim 1, wherein the control unit displays the image on the display device. 前記車両の運転者を撮影した画像を画像解析し、前記運転者の視線方向を算出する視線方向算出手段を備え、
前記状態判定手段により判定される前記条件は、前記頭部が前記所定位置にあり、かつ前記視線方向算出手段により算出された前記視線方向が前記所定位置に対応する所定方向である期間が所定の閾値以上となったこと、および、前記頭部が前記所定位置となり、かつ前記視線方向算出手段により算出された前記視線方向が前記所定方向となる頻度が所定の閾値以上となったこと、のうちのいずれかである
ことを特徴とする請求項１から請求項４のいずれか１項に記載の運転支援装置。 Image analysis is performed on an image of the driver of the vehicle, and a gaze direction calculation unit that calculates the gaze direction of the driver is provided.
The condition determined by the state determination means is such that a period in which the head is at the predetermined position and the gaze direction calculated by the gaze direction calculation means is a predetermined direction corresponding to the predetermined position is predetermined. The frequency of the head position being the predetermined position and the frequency of the line-of-sight direction calculated by the line-of-sight direction calculating unit being the predetermined direction is greater than or equal to a predetermined threshold value; The driving support device according to any one of claims 1 to 4, wherein the driving support device is any one of the following. コンピュータを、請求項１から請求項５のいずれか１項に記載の運転支援装置を構成する各手段として機能させるためのプログラム。   The program for functioning a computer as each means which comprises the driving assistance device of any one of Claims 1-5.
JP2012018685A 2012-01-31 2012-01-31 Driving assisting device and program Pending JP2013154836A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012018685A JP2013154836A (en) 2012-01-31 2012-01-31 Driving assisting device and program
PCT/JP2013/000498 WO2013114871A1 (en) 2012-01-31 2013-01-30 Driving assistance device and driving assistance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012018685A JP2013154836A (en) 2012-01-31 2012-01-31 Driving assisting device and program

Publications (1)

Publication Number Publication Date
JP2013154836A true JP2013154836A (en) 2013-08-15

Family

ID=48904916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012018685A Pending JP2013154836A (en) 2012-01-31 2012-01-31 Driving assisting device and program

Country Status (2)

Country Link
JP (1) JP2013154836A (en)
WO (1) WO2013114871A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016041576A (en) * 2014-08-13 2016-03-31 センソリー・インコーポレイテッド Techniques for automated blind spot viewing

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3597500B1 (en) * 2017-03-17 2023-09-13 Hitachi Astemo, Ltd. Driving assistance device and method
CN109034137B (en) * 2018-09-07 2019-11-19 百度在线网络技术（北京）有限公司 Head pose flag update method, apparatus, storage medium and terminal device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001260776A (en) * 2000-03-22 2001-09-26 Mazda Motor Corp Vehicle obstacle warning device
JP2005062911A (en) * 2003-06-16 2005-03-10 Fujitsu Ten Ltd Vehicle controller
JP2009023565A (en) * 2007-07-20 2009-02-05 Denso It Laboratory Inc Drive assisting device and drive assisting method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002274265A (en) * 2001-03-22 2002-09-25 Honda Motor Co Ltd Mirror adjusting device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001260776A (en) * 2000-03-22 2001-09-26 Mazda Motor Corp Vehicle obstacle warning device
JP2005062911A (en) * 2003-06-16 2005-03-10 Fujitsu Ten Ltd Vehicle controller
JP2009023565A (en) * 2007-07-20 2009-02-05 Denso It Laboratory Inc Drive assisting device and drive assisting method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016041576A (en) * 2014-08-13 2016-03-31 センソリー・インコーポレイテッド Techniques for automated blind spot viewing

Also Published As

Publication number Publication date
WO2013114871A1 (en) 2013-08-08

Similar Documents

Publication Publication Date Title
JP6470335B2 (en) Vehicle display system and method for controlling vehicle display system
JP5099451B2 (en) Vehicle periphery confirmation device
JP6197814B2 (en) Vehicle display device
US7379089B2 (en) Apparatus and method for monitoring the immediate surroundings of a vehicle
EP2551835A1 (en) Processing device for assisting driving of vehicle, vehicle driving assisting device, and vehicle device
JP5092776B2 (en) Gaze direction detection device and gaze direction detection method
JP5093611B2 (en) Vehicle periphery confirmation device
WO2015159142A1 (en) On-vehicle image display device, on-vehicle image display method, and on-vehicle image setting device
US11807277B2 (en) Driving assistance apparatus
WO2014034065A1 (en) Moving body warning device and moving body warning method
JP2016055801A (en) On-vehicle display device
JP5402047B2 (en) Blind spot display device
JP5233977B2 (en) Crew attitude estimation device
JP2018022958A (en) Vehicle display controller and vehicle monitor system
JP2013154836A (en) Driving assisting device and program
JP2018132974A (en) State detecting apparatus, state detection method, and program
JP2009251761A (en) Driving support system
JP5845909B2 (en) Obstacle alarm device
JP2006213071A (en) Vehicular monitoring device
JP2008162550A (en) External environment display device
JP2007280203A (en) Information presenting device, automobile and information presenting method
WO2019167109A1 (en) Display control device and display control method for vehicle
JP5754605B2 (en) Obstacle alarm device
JP5787168B2 (en) Obstacle alarm device
WO2020179656A1 (en) Driver monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140805