JP2019087110A - Steering action prediction device and program - Google Patents
Steering action prediction device and program Download PDFInfo
- Publication number
- JP2019087110A JP2019087110A JP2017215935A JP2017215935A JP2019087110A JP 2019087110 A JP2019087110 A JP 2019087110A JP 2017215935 A JP2017215935 A JP 2017215935A JP 2017215935 A JP2017215935 A JP 2017215935A JP 2019087110 A JP2019087110 A JP 2019087110A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- steering
- face direction
- steering angle
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、操舵行動予測装置及びプログラムに係り、特に、ドライバの運転意図に応じた操舵行動を予測する操舵行動予測装置及びプログラムに関する。 The present invention relates to a steering behavior prediction device and a program, and more particularly to a steering behavior prediction device and a program for predicting a steering behavior according to a driver's driving intention.
従来、自動運転から手動運転への切り替え（オーバーライド）の際に、ドライバの状態を推定して、権限移譲の判断を行うことで、自動運転車の安全性を高めるシステムが提案されている。 Conventionally, there has been proposed a system for enhancing the safety of an autonomous vehicle by estimating the driver's state and making a decision on transfer of authority when switching from automatic driving to manual driving (override).
例えば、自動運転制御と手動運転制御とを切り換え可能な自動走行車両に用いるものであって、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための運転者による視認行為を決定し、決定された視認行為を運転者に実行させるための制御を行い、運転者によって実行された視認行為を検出する情報呈示装置が提案されている（特許文献１）。 For example, it is used for an automatic traveling vehicle capable of switching between automatic driving control and manual driving control, and by the driver to confirm that the driver can take over from automatic driving control to manual driving control. There has been proposed an information presentation apparatus which determines a visual act, controls the driver to execute the determined visual act, and detects the visual act performed by the driver (Patent Document 1).
また、車両のおかれた状況に適していないオーバーライドによる自動運転から手動運転への切り替えを抑える運転支援装置が提案されている。この運転支援装置は、自車のドライバによるオーバーライドを検出し、自車のドライバが集中力を欠いた漫然状態であるか否かを逐次判定し、オーバーライドを検出した場合であって、漫然状態でないと判定していた場合には、自動運転から手動運転へ切り替える一方、オーバーライドを検出した場合であっても、漫然状態であると判定した場合には、自動運転から手動運転へ切り替えない（特許文献２）。 In addition, there has been proposed a driving support device that suppresses switching from automatic driving to manual driving due to an override that is not suitable for the situation of the vehicle. This driving support device detects an override by the driver of the own vehicle, sequentially determines whether the driver of the own vehicle is in the unconscious state without concentration, and detects the override, but not the unintended condition If it is determined that the automatic operation is switched to the manual operation, the automatic operation is not switched to the manual operation if it is determined that the vehicle is in a state of being involuntary, even if the override is detected. 2).
また、車両の走行車線を認識し、走行車線に基づいて、車両の運転状態が自動運転となるように車両の走行を制御し、白線の検出精度に基づいて、車両の走行の制御が停止するまでのシステム余裕時間を推定し、車両のドライバの状態に基づいて、車両の運転状態が自動運転の状態からドライバが手動運転に復帰できるまでのハンドオーバー時間を推定し、システム余裕時間及びハンドオーバー時間を表示部に表示する車両制御装置が提案されている（特許文献３）。 In addition, the traveling lane of the vehicle is recognized, the traveling of the vehicle is controlled based on the traveling lane so that the driving state of the vehicle becomes automatic driving, and the traveling control of the vehicle is stopped based on the detection accuracy of the white line. System margin time is estimated, and based on the state of the driver of the vehicle, the handover time until the driver can return to the manual operation from the state of automatic driving is estimated, and the system margin time and the handover A vehicle control device has been proposed that displays time on a display unit (Patent Document 3).
また、自動運転中の車輌の加速系、操舵系、制動系の操作状態からその運転行動を判定し、運転者の顔画像や生体情報などから運転者の状態を判定し、それらの判定結果に基づいて手動運転への切替を段階的に制御する自動運転システムが提案されている（特許文献４）。 In addition, the driving behavior is determined from the operation state of the acceleration system, the steering system and the braking system of the vehicle under automatic driving, the condition of the driver is determined from the driver's face image and biological information, etc. There has been proposed an automatic operation system which controls switching to manual operation in stages based on the operation (Patent Document 4).
また、ドライバの意図を判定する手法として、運転中のドライバの画像を取得し、ドライバの視線と頭の動き、及びステア角と車両位置から、レーンチェンジの意図を機械学習により判定する手法が提案されている（非特許文献１）。 In addition, as a method to determine the driver's intention, a method is proposed that acquires the driver's image while driving and determines the lane change intention by machine learning from the driver's line of sight and head movement, the steer angle and the vehicle position. (Non-Patent Document 1).
また、目標到達点の方向を向いているドライバの視線（顔＋眼球の向き）から一定時間後のドライバの操舵入力を予測するドライバ操作予測装置が提案されている（特許文献５）。この技術を利用すれば、視線と操舵入力との関係が、ドライバモデルに応じた値か否かを判定することにより、自動運転時のハンドル操舵入力がドライバの意図を反映した入力か否かを判定することができる。 In addition, a driver operation prediction device has been proposed which predicts a driver's steering input after a predetermined time from the line of sight (face + eyeball direction) of the driver facing the direction of the target arrival point (Patent Document 5). If this technology is used, it is determined whether the steering input at the time of automatic driving reflects the driver's intention or not by determining whether the relationship between the line of sight and the steering input is a value according to the driver model. It can be determined.
上記特許文献１−４においては、生体情報やドライバの画像から得られる情報（視線あるいは顔や頭の向き）などによって運転手の状態を推定する方法が提案されているが、その具体的な判定方法については明らかにされていない。また、ドライバの意図を判定する手段として、視線や頭の向きの情報を用いることは、非特許文献１によって良く知られた手法である。 In the patent documents 1 to 4 above, there is proposed a method of estimating the driver's state based on information obtained from living body information and an image of the driver (line of sight or the direction of the face or head). The method is not clear. Further, using information on the line of sight or the direction of the head as a means for determining the driver's intention is a technique well known from Non-Patent Document 1.
一方、特許文献５の手法では、視線（顔＋眼球の向き）を用いた前方注視モデルを用いる方法が提案されている。この手法は、高速道路などの比較的単純な運転環境下では成立し得る。しかし、複雑な交通環境を有する一般道を運転するドライバの視線には、運転意図に応じた視線、すなわち、行きたい方向を見る視線もあれば、運手意図に直接的には関係しない目配りなどの視線もあり、視線から適切に運転意図を予測することができない場合がある。 On the other hand, in the method of Patent Document 5, a method of using a forward gaze model using a line of sight (face + eye direction) has been proposed. This method can be realized under relatively simple driving environments such as expressways. However, the driver's line of sight driving a general road with a complicated traffic environment includes a line of sight according to the driving intention, that is, a line of sight looking at a direction to go, a look not directly related to the driver's intention, etc. In some cases, it is not possible to predict driving intention properly from the line of sight.
本発明は、上記の問題点を解決するためになされたもので、複雑な交通環境を有する一般道においても、ドライバの運転意図に応じた操舵行動を精度良く予測することができる操舵行動予測装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above problems, and a steering behavior prediction device capable of accurately predicting a steering behavior according to a driver's driving intention even on a general road having a complex traffic environment. And to provide a program.
上記の目的を達成するために本発明に係る操舵行動予測装置は、ドライバの顔向きを検出する顔向き検出手段と、ドライバの顔向きに応じた該ドライバの操舵行動を予測するためのモデルと、前記顔向き検出手段により検出されたドライバの顔向きとに基づいて、前記ドライバの操舵行動を予測する予測手段と、を含んで構成されている。 In order to achieve the above object, a steering behavior prediction device according to the present invention includes a face orientation detection unit that detects a driver's face orientation, and a model for predicting the driver's steering behavior according to the driver's face orientation. And prediction means for predicting the steering action of the driver based on the face direction of the driver detected by the face direction detection means.
また、本発明に係る操舵行動予測プログラムは、コンピュータを、ドライバの顔向きを検出する顔向き検出手段、及びドライバの顔向きに応じた該ドライバの操舵行動を予測するためのモデルと、前記顔向き検出手段により検出されたドライバの顔向きとに基づいて、前記ドライバの操舵行動を予測する予測手段として機能させるためのプログラムである。 Further, a steering action prediction program according to the present invention comprises a computer, a face direction detecting means for detecting a face direction of the driver, a model for predicting the steering action of the driver according to the face direction of the driver, and the face It is a program for functioning as a prediction means which predicts the steering action of the said driver based on the face direction of the driver detected by the direction detection means.
本発明に係る操舵行動予測装置及びプログラムによれば、顔向き検出手段が、ドライバの顔向きを検出し、予測手段が、ドライバの顔向きに応じたドライバの操舵行動を予測するためのモデルと、顔向き検出手段により検出されたドライバの顔向きとに基づいて、ドライバの操舵行動を予測する。これにより、複雑な交通環境を有する一般道においても、ドライバの運転意図に応じた操舵行動を精度良く予測することができる。 According to the steering behavior prediction device and the program according to the present invention, the face orientation detection means detects the driver's face orientation, and the prediction means predicts the driver's steering behavior according to the driver's face orientation. The driver's steering behavior is predicted based on the face orientation of the driver detected by the face orientation detection means. Thereby, even on a general road having a complicated traffic environment, it is possible to accurately predict the steering action according to the driver's driving intention.
また、本発明に係る操舵行動予測装置及びプログラムにおいて、前記モデルは、前方注視時間と、操舵行動が車両のヨーレートとして表れるまでのむだ時間と、前記車両のヨーレートを求めるための操舵角に対するゲインと、前記顔向き検出手段により検出されたドライバの顔向きとに基づいて、前記ドライバの運転意図に応じた操舵角を、前記ドライバの操舵行動として予測するためのモデルとすることができる。また、前記ゲイン及び前記むだ時間の各々は、速度に依存するパラメータとすることができる。これにより、特に、複雑な交通環境を有する一般道において多く出現することが想定される運転意図に直接的に関係しない目配りなどの影響を低減して、ドライバの運転意図に応じた操舵行動を精度良く予測することができる。 Further, in the steering behavior prediction apparatus and program according to the present invention, the model includes a forward gaze time, a dead time until the steering behavior appears as a yaw rate of the vehicle, and a gain for a steering angle for obtaining the yaw rate of the vehicle. The steering angle according to the driving intention of the driver may be predicted as the steering action of the driver based on the driver's face direction detected by the face direction detecting means. Also, each of the gain and the dead time may be parameters dependent on speed. In this way, the steering action according to the driver's driving intention can be made accurate, in particular, by reducing the influence of attention etc. that is not directly related to the driving intention that is expected to frequently appear on general roads having complex traffic environments. It can be well predicted.
また、本発明に係る操舵行動予測装置及びプログラムは、前記ドライバの操舵行動による操舵角を検出する操舵角検出手段と、前記操舵角検出手段により検出された操舵角と、前記予測手段により予測された操舵角とを比較して、自動運転システムによる自動運転から手動運転への権限移譲を行うか否かを判定する判定手段と、をさらに含んで構成することができる。上記のように、精度良く予測された操舵角を用いて権限移譲を行うか否かを判定するため、安全な権限移譲を行うことができる。 Further, the steering behavior prediction device and program according to the present invention are predicted by a steering angle detection means for detecting a steering angle according to the steering behavior of the driver, a steering angle detected by the steering angle detection means, and the prediction means. And determining means for determining whether or not to transfer the authority from the automatic driving to the manual driving by the automatic driving system. As described above, since it is possible to determine whether or not to transfer the authority using the steering angle predicted accurately, it is possible to perform safe transfer of the authority.
以上説明したように、本発明の操舵行動予測装置及びプログラムによれば、ドライバの顔向きに応じたドライバの操舵行動を予測するためのモデルと、検出されたドライバの顔向きとに基づいて、ドライバの操舵行動を予測することにより、複雑な交通環境を有する一般道においても、ドライバの運転意図に応じた操舵行動を精度良く予測することができる、という効果が得られる。 As described above, according to the steering behavior prediction apparatus and program of the present invention, based on the model for predicting the driver's steering behavior according to the driver's face direction and the detected driver's face direction. By predicting the steering action of the driver, it is possible to accurately predict the steering action according to the driver's driving intention even on a general road having a complicated traffic environment.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１に示すように、本発明の実施の形態に係る操舵行動予測装置１０は、撮像装置１２と、自車両の車速を検出する車速センサ１４と、ステアリングホイールの舵角（ハンドルの操舵角）を検出する操舵角センサ１６と、操舵角を予測して、自動運転の権限移譲の判定を行うコンピュータ２０とを備えている。 As shown in FIG. 1, a steering behavior prediction apparatus 10 according to an embodiment of the present invention includes an imaging device 12, a vehicle speed sensor 14 for detecting the vehicle speed of the host vehicle, and a steering angle of a steering wheel (steering angle of steering wheel). The steering angle sensor 16 detects the steering angle, and the computer 20 predicts the steering angle and determines the transfer of the authority of the automatic driving.
撮像装置１２は、画像信号を生成する単眼あるいはステレオのカメラで構成される撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。撮像装置１２は、例えば、ドライバの顔を含む範囲を撮像可能な車内の位置に設置され、撮像した画像を示す画像信号をコンピュータ２０に出力する。 The imaging device 12 includes an imaging unit (not shown) configured by a monocular or stereo camera that generates an image signal, and an A / D conversion unit (not illustrated) that A / D converts the image signal generated by the imaging unit. And an image memory (not shown) for temporarily storing the A / D converted image signal. The imaging device 12 is installed, for example, at a position in a car capable of capturing an area including the face of the driver, and outputs an image signal indicating the captured image to the computer 20.
コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する操舵行動予測処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ２０は、撮像装置１２から出力された画像信号が示す画像からドライバの顔向きを検出する顔向き検出部２２と、検出された顔向きと前方注視モデルとに基づいて、ドライバの運転意図に応じた操舵角を予測する予測部２４と、実際の操舵角と予測された操舵角とに基づいて、自動運転の権限移譲を判定する判定部２６とを含む。 The computer 20 includes a CPU, a RAM, and a ROM storing a program for executing a steering action prediction process routine described later, and is functionally configured as follows. The computer 20 detects the driver's driving intention based on the face direction detection unit 22 that detects the face direction of the driver from the image indicated by the image signal output from the imaging device 12 and the detected face direction and the forward gaze model. The control unit 24 includes a prediction unit 24 that predicts a steering angle according to the request, and a determination unit 26 that determines the transfer of the automatic driving authority based on the actual steering angle and the predicted steering angle.
顔向き検出部２２は、撮像装置１２から出力された画像信号を取得し、画像信号が示す撮像画像から、パターンマッチング等により、ドライバの顔領域を抽出する。そして、顔向き検出部２２は、抽出した顔領域の画像と、複数の異なる顔向きの顔画像に基づいて予め学習されたモデルとのパターンマッチングにより、ドライバの顔向きを検出する。顔向きは、例えば、車両前方方向に対する角度として検出する。なお、顔領域の抽出方法、及び顔向きの検出方法は、パターンマッチングに限定されるものではなく、従来既知の手法を採用することができる。 The face direction detection unit 22 acquires an image signal output from the imaging device 12, and extracts a face area of the driver from the captured image indicated by the image signal by pattern matching or the like. Then, the face direction detection unit 22 detects the face direction of the driver by pattern matching between the extracted image of the face area and a model learned in advance based on a plurality of face images of different face directions. The face direction is detected, for example, as an angle with respect to the forward direction of the vehicle. The face region extraction method and the face orientation detection method are not limited to pattern matching, and conventionally known methods can be employed.
予測部２４は、顔向き検出部２２により検出されたドライバの顔向きと、ドライバの顔向きに応じた操舵行動を予測する前方注視モデルとに基づいて、ドライバの操舵行動として、ドライバの運転意図に応じた操舵角を予測する。 The prediction unit 24 determines the driver's driving intention as the driver's steering action based on the driver's face direction detected by the face direction detection unit 22 and the forward gaze model that predicts the steering action according to the driver's face direction. Predict the steering angle according to
ここで、単純な運転環境下では、ドライバは特許文献５で記述される前方注視モデルに従って、一定時間後の目標到達点を注視し、前方注視角に比例したヨーレートを操舵によって発生させている。本実施の形態では、複雑な交通環境を有する一般道での前方注視モデルの成立性について説明する。 Here, under a simple driving environment, the driver looks at a target arrival point after a predetermined time according to a forward gaze model described in Patent Document 5, and generates a yaw rate proportional to the forward gaze angle by steering. In the present embodiment, the feasibility of a forward gaze model on a general road having a complex traffic environment will be described.
図２に、一般道走行時において、右折帯進入時のドライバの視線及び顔向きの時間変化のグラフを示す。視線は、常時左右の方向を向いているが、視線を顔向きと眼球運動とに分解すると、顔向きは比較的安定した動きとなっていることが分かる。これは、運転意図に直接的に関係しない目配りなどは、眼球のサッカード運動によって瞬間的に行っているのに対し、運転意図に応じて行きたい方向を注視する生物としての前方注視機能は、顔向きに表れる可能性を示している。そこで、図２に示すドライバの顔向きに前方注視モデルを適用して、操舵角を推定し、実際にドライバが操舵した操舵角の波形と比較する。 FIG. 2 shows a graph of temporal changes in the driver's line of sight and face direction at the time of approach to the right turn during traveling on a general road. Although the line of sight always points in the left and right directions, it can be seen that, when the line of sight is decomposed into the face direction and the eye movement, the face direction is a relatively stable movement. This is because the attention not directly related to the driving intention is instantaneously performed by the saccade motion of the eye, while the forward gaze function as a living being that gazes at the direction to go according to the driving intention is It shows the possibility of appearing in the face direction. Therefore, the forward gaze model is applied to the face direction of the driver shown in FIG. 2 to estimate the steering angle and compare it with the waveform of the steering angle actually steered by the driver.
まず、特許文献５で提案された、下記（１）式に示すドライバの前方注視モデルにより、ドライバの顔向きからドライバの操舵行動として、顔向きに応じた操舵角を予測することができる。 First, according to the driver's forward gaze model shown in the following equation (1) proposed in Patent Document 5, it is possible to predict the steering angle according to the face orientation as the driver's steering action from the driver's face orientation.
ここで、ｒ（ｔ）は、時刻ｔにおける（瞬時の）ヨーレート、θａｈｅａｄ（ｔ）は、時刻ｔにおける顔向き、Ｔａｈｅａｄは、前方注視時間である。なお、（１）式に示す前方注視モデルは、ドライバと自動車とを一体としたモデルであるが、ここから車両運動を差し引くことで、ドライバの操作を表現するモデルを導出することができる。前輪実舵角δｆからヨーレートｒが発生するまでの車両運動の動特性を、車両のヨーレートを求めるための操舵角に対するヨーゲインｋｖと、操舵行動が車両のヨーレートとして表れるまでのむだ時間τｖとで、下記（２）式に示すように近似する。 Here, r (t) is the (instant) yaw rate at time t, θ ahead (t) is the face direction at time t, and T ahead is the forward gaze time. Although the forward gaze model shown in equation (1) is a model in which the driver and the vehicle are integrated, by subtracting the vehicle motion from here, it is possible to derive a model that expresses the operation of the driver. The dynamic characteristics of the vehicle motion from the front wheel actual steering angle δ f to the generation of the yaw rate r, the yaw gain k v for the steering angle for determining the vehicle yaw rate, and the dead time τ v until the steering action appears as the vehicle yaw rate And approximate as shown in the following equation (2).
（２）式を適用することにより、（１）式のドライバの前方注視モデルは、下記（３）式となる。 By applying the equation (2), the forward gaze model of the driver of the equation (1) becomes the following equation (3).
なお、車両のむだ時間τｖをステップ応答の初期勾配直線が定常値に至る時間で近似すると、ヨーゲインｋｖ、及びむだ時間τｖは、下記（４）式及び（５）式のようになる。 When the dead time τ v of the vehicle is approximated by the time when the initial slope straight line of the step response reaches the steady value, the yaw gain k v and the dead time τ v become as in the following equations (4) and (5) .
ただし、Ａは、下記（６）式に示すスタビリティファクタであり、ωｎは、下記（７）式に示す固有振動数である。 However, A is a stability factor shown to the following (6) Formula, and n is a natural frequency shown to the following (7) Formula.
ここで、Ｉは、ヨー慣性モーメント、Ｋｆは、前輪コーナリングパワー、Ｋｒは、後輪コーナリングパワー、ｌは、ホイールベース、ｌｆは、前軸重心間距離、ｌｒは、後軸重心間距離、ｍは、車両質量、ｖは、車速である。ヨー慣性モーメントＩ、前輪コーナリングパワーＫｆ、後輪コーナリングパワーＫｒ、ホイールベースｌ、前軸重心間距離ｌｆ、後軸重心間距離ｌｒ、及び車両質量ｍは、定数である。 Here, I is a yaw moment of inertia, K f is front wheel cornering power, K r is rear wheel cornering power, l is a wheel base, l f is a distance between center axes of gravity, and l r is a center axis of gravity The distance, m is the vehicle mass, and v is the vehicle speed. The yaw moment of inertia I, the front wheel cornering power K f , the rear wheel cornering power K r , the wheel base l, the distance between the front axle center of gravity l f , the rear axle center of gravity distance l r , and the vehicle mass m are constants.
なお、上記（３）式に示す前方注視モデルにより予測される操舵角δｆは、走行中の操舵輸の回転角度であり、操舵角の実測値は、ステアリングホイールの回転角度（操舵角）δｓであるため、予測される操舵角δｆを、比（ギア比）ｎを用いて、下記（８）式のように変換する。なお、通常ｎは、操舵角に依存して１０〜２５の値をとる。 The steering angle δ f predicted by the forward gaze model shown in the above equation (3) is the rotation angle of the steering wheel during traveling, and the measured value of the steering angle is the rotation angle (steering angle) δ of the steering wheel Since it is s , the predicted steering angle δ f is converted as in the following equation (8) using the ratio (gear ratio) n. Usually, n takes a value of 10 to 25 depending on the steering angle.
したがって、予測部２４は、車速センサ１４から車速ｖを取得し、（６）式及び（７）式を介して、（４）式及び（５）式により、ヨーゲインｋｖ及びむだ時間τｖを求める。そして、予測部２４は、求めたヨーゲインｋｖ及びむだ時間τｖと、顔向き検出部２２で検出された顔向きθａｈｅａｄとを、（３）式に示す前方注視モデルに代入し、操舵角δｆを求める。なお、本実施の形態では、（３）式における前方注視時間Ｔａｈｅａｄは、一定時間（例えば、１秒）として設定する。さらに、予測部２４は、求めた操舵角δｆを（８）式に代入し、最終的な操舵角δｓを予測する。 Therefore, the prediction unit 24 obtains the vehicle speed v from the vehicle speed sensor 14, and the yaw gain k v and the dead time τ v are obtained by the equations (4) and (5) via the equations (6) and (7). Ask. Then, the prediction unit 24 substitutes the obtained yaw gain k v and dead time τ v and the face direction θ ahead detected by the face direction detection unit 22 into the forward gaze model shown in equation (3), and the steering angle Determine δ f . In the present embodiment, the forward gaze time T ahead in the equation (3) is set as a fixed time (for example, one second). Furthermore, the prediction unit 24 substitutes the steering angle [delta] f determined in (8), to predict the final steering angle [delta] s.
判定部２６は、操舵角センサ１６から、実際の操舵角を取得し、予測部２４で予測された操舵角δｓと、実際の操舵角との差に基づいて、自動運転システムによる自動運転から手動運転への権限移譲を行うか否かを判定する。予測された操舵角δｓと、実際の操舵角との差が小さい場合には、ドライバの運転意図に応じた操舵行動がとられたことを表しており、自動運転から手動運転へ権限移譲を行うと判定する。一方、予測された操舵角δｓと、実際の操舵角との差が大きい場合には、ドライバの運転意図に依らず、ドライバが顔向きを変化させたことを表しており、手動運転への権限移譲を行うことなく、自動運転を継続させると判定する。 The determination unit 26 acquires the actual steering angle from the steering angle sensor 16, and based on the difference between the steering angle δ s predicted by the prediction unit 24 and the actual steering angle, from automatic driving by the automatic driving system It is determined whether or not to transfer authority to manual operation. When the difference between the predicted steering angle δ s and the actual steering angle is small, it indicates that the steering action according to the driver's driving intention has been taken, and transfer of the authority from automatic driving to manual driving. Determine to do. On the other hand, a predicted steering angle [delta] s, if the difference between the actual steering angle is large, regardless of the driving intention of the driver, represents that the driver has changed the face direction of the manual operation It is determined that the automatic operation is to be continued without transferring the authority.
図３に、位相平均した顔向きを前方注視角θａｈｅａｄとして、（３）式及び（８）式から予測した操舵角δｓを、ドライバによる実際の操舵角と比較したグラフを示す。図３では、顔向きから操舵角が予測できることを示している。 FIG. 3 shows a graph in which the steering angle δ s predicted from the equations (3) and (8) is compared with the actual steering angle by the driver, with the phase-averaged face direction as the forward gaze angle θ ahead . FIG. 3 shows that the steering angle can be predicted from the face direction.
次に、本実施の形態に係る操舵行動予測装置１０の作用について説明する。操舵行動予測装置１０を搭載した車両において、自動運転システムによる自動運転が開始されると、コンピュータ２０において、図４に示す操舵行動予測処理ルーチンが、所定時間間隔で繰り返し実行される。 Next, the operation of the steering behavior prediction device 10 according to the present embodiment will be described. In a vehicle equipped with the steering behavior prediction device 10, when automatic driving by the automatic driving system is started, in the computer 20, a steering behavior prediction processing routine shown in FIG. 4 is repeatedly executed at predetermined time intervals.
まず、ステップＳ１００で、操舵角センサ１６から、ドライバの操舵による実際の操舵角（実操舵角）を取得する。 First, in step S100, an actual steering angle (actual steering angle) by driver's steering is acquired from the steering angle sensor 16.
次に、ステップＳ１０２で、上記ステップＳ１００で取得された実操舵角が、予め定めた閾値ＴＨ１を超えているか否かを判定する。閾値ＴＨ１は、例えば、車線内での車両の位置を微調整するような軽微な操舵と、運転意図に応じた操舵とを区別可能な値を予め定めておけばよい。実操舵角が閾値ＴＨ１を超えている場合には、ステップＳ１０４へ移行する。一方、実操舵角が閾値ＴＨ１を超えていない場合には、手動運転へ権限移譲することなく自動運転を継続すると判定して、操舵行動予測処理ルーチンを終了する。 Next, in step S102, it is determined whether the actual steering angle acquired in step S100 exceeds a predetermined threshold TH1. The threshold TH1 may be, for example, a value that can distinguish between slight steering that finely adjusts the position of the vehicle in the lane and steering that corresponds to the driving intention. When the actual steering angle exceeds the threshold TH1, the process proceeds to step S104. On the other hand, when the actual steering angle does not exceed the threshold TH1, it is determined that the automatic driving is continued without transferring the authority to the manual driving, and the steering action prediction processing routine is ended.
ステップＳ１０４では、撮像装置１２から出力された画像信号を取得し、画像信号が示す撮像画像から、パターンマッチング等により、ドライバの顔領域を抽出する。そして、抽出した顔領域の画像と、複数の異なる顔向きの顔画像に基づいて予め学習されたモデルとのパターンマッチングにより、ドライバの顔向きを検出する。 In step S104, the image signal output from the imaging device 12 is acquired, and the face area of the driver is extracted from the captured image indicated by the image signal by pattern matching or the like. Then, the face orientation of the driver is detected by pattern matching between the extracted image of the face area and a model learned in advance based on a plurality of face images with different face orientations.
次に、ステップＳ１０６で、車速センサ１４から車速ｖを取得し、（６）式及び（７）式を介して、（４）式及び（５）式により、ヨーゲインｋｖ及びむだ時間τｖを求める。そして、求めたヨーゲインｋｖ及びむだ時間τｖと、検出された顔向きθａｈｅａｄと、所定の値の前方注視時間Ｔａｈｅａｄとを、（３）式に示す前方注視モデルに代入し、操舵角δｆを求める。さらに、求めた操舵角δｆを（８）式に代入し、最終的な操舵角δｓ（予測操舵角）を予測する。 Next, in step S106, the vehicle speed v is obtained from the vehicle speed sensor 14, and the yaw gain k v and the dead time τ v are obtained by the equations (4) and (5) via the equations (6) and (7). Ask. Then, the calculated yaw gain k v and dead time τ v , the detected face direction θ ahead, and a forward gaze time T ahead of a predetermined value are substituted into the forward gaze model shown in equation (3), and the steering angle is obtained. Determine δ f . Further, the obtained steering angle δ f is substituted into equation (8) to predict the final steering angle δ s (predicted steering angle).
次に、ステップＳ１０８で、上記ステップＳ１００で取得された実操舵角と、上記ステップＳ１０６で予測された予測操舵角との差が、予め定めた閾値ＴＨ２以内か否かを判定する。実操舵角と予測操舵角との差が閾値ＴＨ２以内の場合には、ステップＳ１１０へ移行する。一方、実操舵角と予測操舵角との差が閾値ＴＨ２を超えている場合には、手動運転へ権限移譲することなく自動運転を継続すると判定して、操舵行動予測処理ルーチンを終了する。 Next, at step S108, it is determined whether or not the difference between the actual steering angle obtained at step S100 and the predicted steering angle predicted at step S106 is within a predetermined threshold value TH2. If the difference between the actual steering angle and the predicted steering angle is within the threshold TH2, the process proceeds to step S110. On the other hand, when the difference between the actual steering angle and the predicted steering angle exceeds the threshold TH2, it is determined that the automatic driving is continued without transferring the authority to the manual driving, and the steering action prediction processing routine is ended.
ステップＳ１１０では、手動運転へ権限移譲することを示す判定結果を自動運転システムへ出力し、操舵行動予測処理ルーチンを終了する。 In step S110, a determination result indicating transfer of the authority to manual driving is output to the automatic driving system, and the steering action prediction processing routine is ended.
以上説明したように、本実施の形態に係る運転行動予測装置によれば、ドライバの顔向きを検出し、ドライバの顔向きに応じたドライバの操舵行動を予測するための前方注視モデルと、検出されたドライバの顔向きとに基づいて、ドライバの操舵行動を予測する。これにより、特に、複雑な交通環境を有する一般道において多く出現することが想定される運転意図に直接的に関係しない目配りなどの視線の影響を低減して、複雑な交通環境を有する一般道においても、ドライバの運転意図に応じた操舵行動を精度良く予測することができる。 As described above, according to the driving behavior prediction apparatus according to the present embodiment, the forward gaze model for detecting the driver's face direction and predicting the driver's steering action according to the driver's face direction, and the detection The driver's steering behavior is predicted based on the driver's face orientation. This reduces, in particular, general road having a complex traffic environment by reducing the influence of gaze such as attention not directly related to driving intentions that are expected to appear frequently on general roads having a complex traffic environment. Also, it is possible to accurately predict the steering action according to the driver's driving intention.
なお、上記の実施の形態では、前方注視時間が固定的に設定されている場合を例に説明したが、これに限定されるものではなく、自車両の走行状況に応じて前方注視時間を設定するようにしてもよい。前方注視時間はドライバの緊張度により変化するものであり、その緊張度は、走行するコースの厳しさや、近距離の障害物や近接する前方車両の存在等の影響を受ける。緊張度の高いコース条件では、前方注視時間として１秒台前半程度、緊張度の低いコース条件では２秒程度が予想される。従って、地図情報に基づき比較的変化の少ないコースであり、障害物や前方車両等も存在しない状況では長い前方注視時間を設定し、比較的変化の大きいコースを走行する場合や障害物や前方車両が近くに存在する場合には短い注視時間を設定するようにしてもよい。 In the above embodiment, although the case where the forward gaze time is set fixedly has been described as an example, the present invention is not limited to this, and the forward gaze time is set according to the traveling condition of the vehicle. You may do it. The forward gaze time changes depending on the degree of tension of the driver, and the degree of tension is affected by the severity of the course on which the vehicle is traveling, the presence of an obstacle in a short distance, the presence of a forward vehicle in close proximity, and the like. In the course condition with a high degree of tension, it is expected that the forward gaze time is about the first half of a second, and in the course condition with a low degree of tension, about 2 seconds. Therefore, it is a course with relatively little change based on the map information, and in a situation where there is no obstacle or forward vehicle, a long forward gaze time is set, and when traveling on a course with relatively large change, obstacle or forward vehicle A short gaze time may be set when there is near.
また、上記実施の形態では、撮像画像からドライバの顔向きを検出する場合について説明したが、これに限定されるものではなく、例えば、レーザレーダなどの測定値を用いて顔向きを検出してもよい。 In the above embodiment, the face direction of the driver is detected from the captured image. However, the present invention is not limited to this. For example, the face direction is detected using a measurement value such as a laser radar. It is also good.
また、本発明のプログラムを記憶媒体に格納して提供してもよい。 In addition, the program of the present invention may be stored in a storage medium and provided.
１０ 操舵行動予測装置
１２ 撮像装置
１４ 車速センサ
１６ 操舵角センサ
２０ コンピュータ
２２ 顔向き検出部
２４ 予測部
２６ 判定部
DESCRIPTION OF SYMBOLS 10 Steering action prediction apparatus 12 Imaging apparatus 14 Vehicle speed sensor 16 Steering angle sensor 20 Computer 22 Face direction detection part 24 Prediction part 26 Determination part
Claims (5)
ドライバの顔向きに応じた該ドライバの操舵行動を予測するためのモデルと、前記顔向き検出手段により検出されたドライバの顔向きとに基づいて、前記ドライバの操舵行動を予測する予測手段と、
を含む操舵行動予測装置。 Face direction detection means for detecting the face direction of the driver;
Prediction means for predicting the driver's steering action based on a model for predicting the driver's steering action according to the driver's face direction, and the driver's face direction detected by the face direction detection means;
Steering behavior prediction device including.
前記操舵角検出手段により検出された操舵角と、前記予測手段により予測された操舵角とを比較して、自動運転システムによる自動運転から手動運転への権限移譲を行うか否かを判定する判定手段と、
をさらに含む請求項２又は請求項３に記載の操舵行動予測装置。 Steering angle detection means for detecting a steering angle according to the driver's steering action;
A determination as to whether or not to transfer authority from automatic driving to manual driving by the automatic driving system by comparing the steering angle detected by the steering angle detection means with the steering angle predicted by the prediction means Means,
The steering behavior prediction device according to claim 2 or 3, further comprising:
ドライバの顔向きを検出する顔向き検出手段、及び
ドライバの顔向きに応じた該ドライバの操舵行動を予測するためのモデルと、前記顔向き検出手段により検出されたドライバの顔向きとに基づいて、前記ドライバの操舵行動を予測する予測手段
として機能させるための操舵行動予測プログラム。 Computer,
Based on face direction detection means for detecting the face direction of the driver, and a model for predicting the driver's steering behavior according to the face direction of the driver, and the face direction of the driver detected by the face direction detection means A steering action prediction program for causing the driver's steering action to be predicted.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017215935A JP2019087110A (en) | 2017-11-08 | 2017-11-08 | Steering action prediction device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017215935A JP2019087110A (en) | 2017-11-08 | 2017-11-08 | Steering action prediction device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019087110A true JP2019087110A (en) | 2019-06-06 |
Family
ID=66763146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017215935A Pending JP2019087110A (en) | 2017-11-08 | 2017-11-08 | Steering action prediction device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019087110A (en) |
-
2017
- 2017-11-08 JP JP2017215935A patent/JP2019087110A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11794788B2 (en) | Automatic driving system | |
| US11584386B2 (en) | Drive mode switch control device and drive mode switch control method | |
| US9429946B2 (en) | Driving control system and dynamic decision control method thereof | |
| JP4062310B2 (en) | Driving intention estimation device, vehicle driving assistance device, and vehicle equipped with vehicle driving assistance device | |
| JP5854133B2 (en) | Driving characteristic estimation device and driving support system | |
| CN106335506A (en) | Method for avoiding a collision of a vehicle with an object and driver assisting system | |
| US20100131148A1 (en) | System and method for estimated driver intention for driver assistance system control | |
| US20190092327A1 (en) | Vehicle control device | |
| CN110371018B (en) | Improving vehicle behavior using information from other vehicle lights | |
| US10875508B2 (en) | Vehicle traveling assistance method and vehicle traveling assistance device | |
| US20200384999A1 (en) | Vehicle control device | |
| JP7073880B2 (en) | Career decision device | |
| JP2006151081A (en) | Driving intention estimating device, driving operation auxiliary device for vehicle and vehicle having driving operation auxiliary device for vehicle | |
| JP2009003650A (en) | Vehicle travel estimation device | |
| JPWO2014064831A1 (en) | Driving support device and driving support method | |
| JP5577126B2 (en) | Driving support device | |
| JP2009073462A (en) | Operating state determination device and operation support device | |
| JP7049129B2 (en) | Vehicle control device and vehicle control method | |
| US20200391747A1 (en) | Vehicle control device | |
| JP4277907B2 (en) | Driving control device for automobile | |
| JP2006213276A (en) | Driving intention estimation device, vehicular driving operation supporting device, and vehicle having the same | |
| JP5040134B2 (en) | Vehicle control apparatus and method | |
| KR102520242B1 (en) | Lane Keeping Control System and Steering Control Method | |
| JP2017151704A (en) | Automatic driving device | |
| JP2019087110A (en) | Steering action prediction device and program |