JP7014680B2 - Gaze object detection device, gaze object detection method, and program - Google Patents
Gaze object detection device, gaze object detection method, and program Download PDFInfo
- Publication number
- JP7014680B2 JP7014680B2 JP2018132915A JP2018132915A JP7014680B2 JP 7014680 B2 JP7014680 B2 JP 7014680B2 JP 2018132915 A JP2018132915 A JP 2018132915A JP 2018132915 A JP2018132915 A JP 2018132915A JP 7014680 B2 JP7014680 B2 JP 7014680B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- gaze
- line
- vehicle
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、運転者が注視している対象物を検知する注視対象物検知装置、注視対象物検知方法、及びプログラムに関する。 The present invention relates to a gaze object detection device for detecting an object gaze by a driver, a gaze object detection method, and a program.
従来から、車両を運転中の運転者が注視している対象物を検知して、運転を支援する走行支援装置が知られていた。 Conventionally, a driving support device that assists driving by detecting an object that the driver who is driving the vehicle is gazing at has been known.
例えば、特許文献１に記載された走行支援装置は、車両の走行状態と、運転者の運転操作と、運転者の視線方向の組合せのパターンを予め記憶しておき、検出した車両の走行状態、運転者の運転操作、運転者の視線方向が、予め記憶されたパターンと異なる場合には警告信号を出力する。これにより、脇見運転や誤操作などの危険な状況の発生を検知し、運転者に警告を与えることができる。
For example, the traveling support device described in
人間の視線を検知する方法として様々な方法が研究されているが、運転者の視線方向を検知するための装置としては、ダッシュボードに設けられたカメラが用いられることが多い。カメラから運転者まで一定の距離があるので、カメラで撮影した映像に基づいて検知できる運転者の視線方向には、数度～１０度程度の誤差がある。 Various methods have been studied as a method for detecting a human line of sight, but a camera provided on a dashboard is often used as a device for detecting a driver's line of sight. Since there is a certain distance from the camera to the driver, there is an error of about several degrees to 10 degrees in the line-of-sight direction of the driver that can be detected based on the image taken by the camera.
このため、例えば、４０ｍ前方を先行車が走行し、同じく４０ｍ前方の歩道に、横断歩道を渡ろうとする歩行者がいる状況では、運転者からみた先行車と歩行者の角度差は４°程度である。このように、運転者から見た対象物の角度差が小さいときには、運転者の視線が前方を向いていることが分かっても、先行車を注視しているのか、歩行者を注視しているのか、その注視対象物を区別することが困難な場合があった。 Therefore, for example, in a situation where a preceding vehicle travels 40 m ahead and there is a pedestrian trying to cross the pedestrian crossing on the sidewalk 40 m ahead, the angle difference between the preceding vehicle and the pedestrian from the driver's point of view is about 4 °. Is. In this way, when the angle difference of the object seen from the driver is small, even if it is known that the driver's line of sight is facing forward, he or she is watching the preceding vehicle or the pedestrian. In some cases, it was difficult to distinguish the object to be watched.
そこで、本発明は、視線方向の検知精度が十分でなくても、運転者が注視している対象物を検知することができる注視対象物検知装置、注視対象物検知方法、及びプログラムを提供することを目的とする。 Therefore, the present invention provides a gaze object detection device, a gaze object detection method, and a program capable of detecting an object that the driver is gazing at even if the detection accuracy in the line-of-sight direction is not sufficient. The purpose is.
本発明の注視対象物検知装置は、車両の周辺にある対象物を検知する周辺監視センサと、運転者を撮影するカメラと、前記カメラにて撮影した映像に基づいて求めた運転者の視線方向と、前記周辺監視センサにて検知した各対象物と自車両との距離又は相対速度とに基づいて、運転者が注視している対象物を求める演算処理部とを備える。 The gaze object detection device of the present invention includes a peripheral monitoring sensor that detects an object in the vicinity of the vehicle, a camera that captures the driver, and a driver's line-of-sight direction obtained based on an image captured by the camera. And, based on the distance or relative speed between each object detected by the peripheral monitoring sensor and the own vehicle, it is provided with an arithmetic processing unit that obtains an object that the driver is gazing at.
運転者は、運転中にはリスクの高い対象物を注視すると考えられる。そして、対象物のリスクは、自車両と各対象物との距離や相対速度と関係がある。本発明の構成により、運転者の視線方向に加えて、各対象物と自車両との距離又は相対速度に基づくことにより、運転者が注視している対象物を求めることができる。 The driver is likely to gaze at high-risk objects while driving. The risk of the object is related to the distance and the relative speed between the own vehicle and each object. According to the configuration of the present invention, it is possible to obtain the object that the driver is gazing at based on the distance or the relative speed between each object and the own vehicle in addition to the direction of the driver's line of sight.
本発明の注視対象物検知装置において、前記演算処理部は、運転者の視線方向に単一の対象物しか存在しない場合には、各対象物と自車両との距離又は相対速度のデータを用いることなく、運転者の視線方向にある対象物を注視対象物として求めてもよい。 In the gaze object detection device of the present invention, when there is only a single object in the line-of-sight direction of the driver, the arithmetic processing unit uses data on the distance or relative speed between each object and the own vehicle. Instead, an object in the direction of the driver's line of sight may be obtained as a gaze object.
このように視線方向に単一の対象物しか存在しない場合には、自車両と各対象物との距離や相対速度を用いることなく、容易に注視対象物を求めることができる。 When there is only a single object in the line-of-sight direction as described above, the gaze object can be easily obtained without using the distance or the relative speed between the own vehicle and each object.
本発明の別の態様の注視対象物検知装置は、車両の周辺にある対象物を撮影する周辺監視カメラと、運転者を撮影するカメラと、対象物の種類とその種類に対するリスクの大きさを記憶したリスク情報記憶部と、前記周辺監視カメラの映像に基づいて周辺にある対象物の種類を特定し、前記リスク情報記憶部に記憶された情報に基づいて、各対象物のリスクの大きさを求め、各対象物のリスクの大きさと前記カメラにて撮影した映像に基づいて求めた運転者の視線方向とに基づいて、運転者が注視している対象物を求める演算処理部とを備える。 Another aspect of the gaze object detection device of the present invention includes a peripheral surveillance camera that photographs an object in the vicinity of the vehicle, a camera that photographs the driver, and the type of the object and the magnitude of the risk for the type. The type of the object in the vicinity is specified based on the stored risk information storage unit and the image of the peripheral surveillance camera, and the magnitude of the risk of each object is based on the information stored in the risk information storage unit. It is provided with an arithmetic processing unit that obtains an object that the driver is gazing at based on the magnitude of the risk of each object and the direction of the driver's line of sight obtained based on the image taken by the camera. ..
この構成により、対象物の種類に応じてあらかじめ設定されたリスクの大きさに基づいて、運転者が注視している対象物を適切に求めることができる。 With this configuration, it is possible to appropriately determine the object that the driver is paying attention to based on the magnitude of the risk preset according to the type of the object.
本発明の注視対象物検知装置は、自車両に対する操作情報を取得する車載センサを備え、前記演算処理部は、前記車載センサにて取得した操作情報に基づいて、運転者が注視している対象物を求めてもよい。 The gaze object detection device of the present invention includes an in-vehicle sensor that acquires operation information for the own vehicle, and the arithmetic processing unit is an object that the driver is gazing at based on the operation information acquired by the in-vehicle sensor. You may ask for things.
車両の運転は外部にある対象物等の状況に応じて行われるので、操作情報に基づいて、運転者が外部の対象物に対応した操作を行っているか否か、つまり、対象物を注視したか否かを判断することができる。本発明の構成により、運転者が注視している対象物を適切に求めることができる。 Since the driving of the vehicle is performed according to the situation of the external object, whether or not the driver is performing the operation corresponding to the external object based on the operation information, that is, paying close attention to the object. It is possible to judge whether or not it is. With the configuration of the present invention, it is possible to appropriately determine the object that the driver is gazing at.
本発明の注視対象物検知装置において、前記演算処理部は、前記カメラにて撮影した映像に基づいて運転者の顔向きを求め、運転者の顔が所定の角度以上であるときには、脇見運転であると判定してもよい。 In the gaze object detection device of the present invention, the arithmetic processing unit obtains the driver's face orientation based on the image captured by the camera, and when the driver's face is at a predetermined angle or more, the driver's face is inspected. It may be determined that there is.
人間の特性として、正面から所定の角度範囲にある対象物を見るときには視線のみが動き、所定の角度範囲を超えると顔向きが変わることが知られている。この特性を利用して、運転者の顔が正面から所定の角度範囲を超えているときは、脇見運転であると判定することにより、無駄な計算処理を省くことができる。 As a characteristic of human beings, it is known that when a person looks at an object in a predetermined angle range from the front, only the line of sight moves, and when the object exceeds the predetermined angle range, the face direction changes. By utilizing this characteristic, when the driver's face exceeds a predetermined angle range from the front, it is possible to omit unnecessary calculation processing by determining that the driver is inattentive driving.
本発明の注視対象物検知装置において、前記演算処理部は、運転席に座った運転者が前方を向いているときの顔向きに基づいて、顔向きの正面方向を設定してもよい。 In the gaze object detection device of the present invention, the arithmetic processing unit may set the front direction of the face direction based on the face direction when the driver sitting in the driver's seat is facing forward.
運転者の顔向きは、座席の位置や座高等に起因する個人差があるが、運転席に座った運転者が前方を向いているときの顔向きに基づいて顔向きの正面方向を補正することにより、適切に顔向きを求めることができる。 The face orientation of the driver varies from person to person due to the position of the seat, the sitting height, etc., but the front direction of the face is corrected based on the face orientation when the driver sitting in the driver's seat is facing forward. As a result, the face orientation can be appropriately obtained.
本発明の注視対象物検知装置において、前記演算処理部は、運転者の視線の停留時間が所定の閾値以下の場合には、その視線方向にある対象物を注視していないと判定して、注視対象物を求めてもよい。 In the gaze object detection device of the present invention, when the staying time of the driver's line of sight is equal to or less than a predetermined threshold value, the arithmetic processing unit determines that the object in the gaze direction is not gaze. You may ask for an object to gaze at.
運転中における運転者の視線の動きには、停留と高速運動がある。本発明によれば、視線の停留時間が所定の閾値以下の場合には、対象物を注視していないと判定することにより、高速運動により視線が向かっただけの方向にある対象物を誤って注視対象物と判定しないようにできる。 The movement of the driver's line of sight while driving includes stopping and high-speed movement. According to the present invention, when the dwell time of the line of sight is equal to or less than a predetermined threshold value, it is determined that the object is not gazed, so that the object in the direction in which the line of sight is only directed by high-speed motion is erroneously selected. It can be prevented from being judged as an object to be watched.
本発明の注視対象物検知方法は、運転者が注視している対象物を検知するための方法であって、周辺監視センサにて車両の周辺にある対象物を検知するステップと、カメラにて運転者を撮影するステップと、前記カメラにて撮影した映像に基づいて求めた運転者の視線方向と、前記周辺監視センサにて検知した各対象物と自車両との距離又は相対速度とに基づいて、運転者が注視している対象物を求めるステップとを備える。 The gaze object detection method of the present invention is a method for detecting an object that the driver is gazing at, in which a step of detecting an object in the vicinity of the vehicle by a peripheral monitoring sensor and a camera are used. Based on the step of photographing the driver, the direction of the driver's line of sight obtained based on the image captured by the camera, and the distance or relative speed between each object and the own vehicle detected by the peripheral monitoring sensor. It also includes a step of finding the object that the driver is watching.
本発明のプログラムは、運転者が注視している対象物を検知するためのプログラムであって、コンピュータに、周辺監視センサにて検知した車両の周辺にある対象物のデータを取得するステップと、カメラにて撮影した運転者の映像を取得するステップと、前記カメラにて撮影した映像に基づいて求めた運転者の視線方向と、前記周辺監視センサにて検知した各対象物と自車両との距離又は相対速度とに基づいて、運転者が注視している対象物を求めるステップとを実行させる。 The program of the present invention is a program for detecting an object that the driver is gazing at, and is a step of acquiring data of an object around the vehicle detected by a peripheral monitoring sensor on a computer. The step of acquiring the driver's image taken by the camera, the driver's line-of-sight direction obtained based on the image taken by the camera, each object detected by the peripheral monitoring sensor, and the own vehicle. Have the driver perform the steps of finding the object he is looking at, based on distance or relative speed.
本発明の構成により、視線方向からだけでは注視対象物を識別することが困難な状況においても、対象物の情報から注視対象物を求めることができる。 According to the configuration of the present invention, even in a situation where it is difficult to identify the gaze object only from the line-of-sight direction, the gaze object can be obtained from the information of the object.
以下、本発明の実施の形態の注視対象物検知装置について、図面を参照して説明する。本実施の形態の注視対象物検知装置は、車両に搭載して用いられ、運転者が注視している対象物（これを「注視対象物」という）を検知する機能を有する。ある対象物を注視している状態は、その対象物に対する注意配分が行われている状態である。注視対象物を検知することによって、運転者がリスクのある状況を正しく認知をしているかを判定し、車両周辺の対象物に対して適切な注意配分ができていない場合等には警報を発することにより、安全運転を支援することができる。また、注視対象物を検知することにより、運転者がすでに注意を払っている場合に、必要のない警報を出力してしまうことを避けることができる。 Hereinafter, the gaze object detection device according to the embodiment of the present invention will be described with reference to the drawings. The gaze object detection device of the present embodiment is mounted on a vehicle and has a function of detecting an object (this is referred to as a "gaze object") that the driver is gazing at. The state of gazing at an object is the state in which attention is distributed to the object. By detecting the object to be watched, it is determined whether the driver correctly recognizes the situation at risk, and an alarm is issued when the appropriate attention is not distributed to the object around the vehicle. This can support safe driving. Further, by detecting the object to be watched, it is possible to avoid outputting an unnecessary alarm when the driver has already paid attention.
（第１の実施の形態）
図１は、第１の実施の形態の注視対象物検知装置１の構成を示す図である。注視対象物検知装置１は、注視対象物検知装置１は、車両の周辺にある対象物を検知する周辺監視センサ１０と、運転者を撮影する車内カメラ２０と、運転者の視線方向と各対象物の環境情報とに基づいて注視象物を求める演算処理部２１と、運転者に対して警報を発する警報出力部２２とを備える。
(First Embodiment)
FIG. 1 is a diagram showing a configuration of a gaze
本実施の形態の周辺監視センサ１０には、車外カメラ１１と、ミリ波レーダ１２と、ＬＩＤＡＲ１３が含まれている。車外カメラ１１は、車両の周辺の様子を撮影するカメラである。車外カメラ１１としては、２台のカメラをステレオカメラとして用いてもよい。ミリ波レーダ１２は、ミリ波と呼ばれる非常に波長の短い電波を照射し、反射波を計測することにより、物体までの距離を計測する。ＬＩＤＡＲ１３は、赤外線のレーザ光をパルス状に照射して反射時間から距離を計測するセンサである。本実施の形態では、周辺監視センサ１０として３種類のセンサの例を挙げているが、周辺監視センサ１０はこれらのセンサに限定されるものではない。
The
車内カメラ２０は、ダッシュボードに設けられ、運転者を撮影するカメラである。夜間でも撮影が行えるように、車内カメラ２０には赤外線カメラを用いる。演算処理部２１は、運転者の視線と周辺監視センサ１０にて求めた周辺状況の情報とから、運転者が注視している注視対象物を検知する処理を行う。具体的には、演算処理部２１は、車内カメラ２０にて撮影した運転者の眼球の動きに基づいて、運転者の視線の方向を検知する。運転者の眼球の動きを精度良く求めるために、車内カメラ２０と隣接して、近赤外線点光源を設けてもよい。点光源からの光は、運転者の眼球の表面で反射するが、眼球が球状であるため、眼球の向きによって反射点の位置は変化しない。反射点が瞳孔のどの位置にくるかによって、眼球の方向を精度良く求めることができる。
The in-
車内カメラ２０によって求められる視線方向には、数度～１０度程度の誤差がある。これは運転者から離れたところから撮影した車内カメラ２０の映像を利用しているためである。この誤差の範囲内に複数の対象物があるときには、運転者がどの対象物を特定することは困難である。
There is an error of about several degrees to 10 degrees in the line-of-sight direction obtained by the in-
そこで、本実施の形態の演算処理部２１は、視線方向にある注視対象物を求めるために、環境の情報を用いる。環境の情報として、本実施の形態では、対象物までの距離と相対速度を用いる。環境情報は、周辺監視センサ１０から得たセンサ情報を用いて求める。すなわち、演算処理部２１は、ＬＩＤＡＲ１３及びミリ波レーダ１２のセンサ情報に基づいて、視線方向にある対象物との距離及び対象物と自車両との相対速度を求める。演算処理部２１は、対象物との距離と相対速度に基づいて、各対象物のリスクを計算する。
Therefore, the
ここで、一例として、視線方向に歩行者と先行車の２つの対象物があり、いずれを注視しているか、視線方向のみからでは判別が困難であるときを想定する。例えば、歩行者と自車両との距離との距離が４０ｍ、先行車と自車両との距離が３０ｍのときには、自車両に近い先行車の方が危険であると判定する。例えば、先行車が自車両よりも速い速度で走行しているときには先行車は離れて行っているのに対し、歩行者が止まっているときには、歩行者には自車両の走行速度で相対的に近づいている。この場合には、歩行者の方が危険であると判定する。演算処理部２１は、このような処理を行うことにより、自車両にとってのリスクを対象物ごとに設定する。なお、ここでは、リスクを決める要素として、対象物との距離と相対速度を挙げたが、距離と相対速度の両方を用いてもよいし、いずれか一方だけを用いてもよい。
Here, as an example, it is assumed that there are two objects, a pedestrian and a preceding vehicle, in the line-of-sight direction, and it is difficult to determine which one is being watched only from the line-of-sight direction. For example, when the distance between the pedestrian and the own vehicle is 40 m and the distance between the preceding vehicle and the own vehicle is 30 m, it is determined that the preceding vehicle closer to the own vehicle is more dangerous. For example, when the preceding vehicle is traveling at a higher speed than the own vehicle, the preceding vehicle is moving away, whereas when the pedestrian is stopped, the pedestrian is relatively at the traveling speed of the own vehicle. It is approaching. In this case, it is determined that the pedestrian is more dangerous. By performing such processing, the
そして、演算処理部２１は、視線方向の情報と対象物のリスクの情報とに基づいて、注視対象物を検知する。一例として、演算処理部２１は、視線、環境のノードと注視対象物のノードとを所定の重み付けで接続した図２に示すようなモデルに対して、視線により求まる歩行者、先行車の可能性と、環境により求まる歩行者、先行車の可能性を入力して、注視対象物を求める。
Then, the
図２に示す例では、視線による判定では、歩行者が「０．５」、先行車が「０．５」の可能性があり、視線だけでは注視対象物を特定することができない。環境による判定では、歩行者が「０．７５」、先行車が「０．２５」である。そして、両者の情報を用いることで、例えば、歩行者が「０．７５」、先行車が「０．２５」となり、注視対象物として歩行者が求められる。この例では、視線に基づく歩行者と先行車の確率分布には差がないので、環境に基づく歩行者と先行車の確率分布が結果に反映されている。 In the example shown in FIG. 2, there is a possibility that the pedestrian is "0.5" and the preceding vehicle is "0.5" in the determination by the line of sight, and the gaze target cannot be specified only by the line of sight. According to the judgment by the environment, the pedestrian is "0.75" and the preceding vehicle is "0.25". Then, by using both information, for example, the pedestrian becomes "0.75" and the preceding vehicle becomes "0.25", and the pedestrian is required as the object to be watched. In this example, there is no difference in the probability distribution of the pedestrian and the preceding vehicle based on the line of sight, so the probability distribution of the pedestrian and the preceding vehicle based on the environment is reflected in the result.
警報出力部２２は、演算処理部２１によって注視対象物が検知された結果、例えば、運転者が注視すべき対象物に注意を払っていないことがわかったときに、警報を出力し、運転者に注意を促す。警報の態様としては、音声でもよいし、注視すべき方向を示す表示であってもよい。
The
図３は、第１の実施の形態の注視対象物検知装置１の動作を示すフローチャートである。注視対象物検知装置１は、車内カメラ２０で運転者を撮影し（Ｓ１０）、撮影した映像に基づいて運転者の視線方向を検知する（Ｓ１１）。また、注視対象物検知装置１は、周辺監視センサ１０によって車両の周辺を監視し（Ｓ１２）、周辺にある対象物を検知する（Ｓ１３）。
FIG. 3 is a flowchart showing the operation of the gaze
続いて、注視対象物検知装置１は、検知した視線の方向にある対象物を検知し、視線方向にある対象物の数が１個であるか否かを判定する（Ｓ１４）。視線方向にある対象物が１個である場合には、当該対象物を注視対象物と判定する（Ｓ１５）。視線方向にある対象物の数が２個以上である場合には、注視対象物検知装置１は、各対象物までの距離と相対速度とを計算する（Ｓ１６）。そして、注視対象物検知装置１は、視線方向と環境の情報とに基づいて、注視対象物を検知する（Ｓ１７）。
Subsequently, the gaze
本実施の形態の注視対象物検知装置１の構成及び動作について説明したが、上記した注視対象物検知装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、通信インターフェース等を備えたＥＣＵである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した注視対象物検知装置１が実現される。このようなプログラムも本発明の範囲に含まれる。
Although the configuration and operation of the gaze
次に、本実施の形態の注視対象物検知装置１の効果について述べる。上で背景技術として例示した特開２０１８－６７１９８号公報に記載された発明では、予め記憶された車両の走行状態、運転操作、視線方向のパターンの組合せに合致しない場合に警報を出力するが、運転者が何に注視しているかを検知しようとはしていない。この背景技術においても、視線検知の精度が十分でなければ、運転手が注視している対象物を検知することはできない。
Next, the effect of the gaze
本実施の形態の注視対象物検知装置１は、車内カメラ２０の情報からだけでは、視線方向の計測誤差や対象物の位置関係によって、運転者の視線のみからは注視対象物を特定できない場合にも、環境の情報（各対象物と自車両との距離又は相対速度）を用いることで、注視対象物を適切に検知することができる。
When the gaze
本実施の形態の注視対象物検知装置１は、車内カメラ２０にて運転者の映像から検知した視線方向に対象物が１個しかない場合には、その対象物を注視対象物として求めるので、環境情報に基づく処理を行うことなく、計算処理を軽減できる。なお、本実施の形態では、対象物が２個以上の場合に環境情報を使う例を示したが、視線方向にある対象物の数にかかわらず環境情報を用いて、注視対象物を求めてもよい。
When the gaze
（第２の実施の形態）
図４は、第２の実施の形態の注視対象物検知装置２の構成を示す図である。第２の実施の形態の注視対象物検知装置２は、車載センサ３０と接続されており、車載センサ３０から得られた操作情報にも基づいて、注視対象物を検知する。
(Second embodiment)
FIG. 4 is a diagram showing the configuration of the gaze
図５は、第２の実施の形態の注視対象物検知装置２で用いられる、注視対象物を求めるためのモデルの例を示す図である。第２の実施の形態では、視線と環境のノードに加えて、操作情報のノードを有している。視線と環境のノードには、視線により求まる左右の歩行者及び先行車の可能性と、環境により求まる左右の歩行者及び先行車の可能性を入力する。操作情報のノードには、本実施の形態では、アクセルとブレーキのＯＮ／ＯＦＦの情報を入力する。この例では、視線による判定では、左の歩行者が「０．７」、先行車が「０．２」、右の歩行者が「０．１」であり、操作情報はアクセル、ブレーキが共に「ＯＦＦ」であり、環境による判定では、左の歩行者と右の歩行者が共に「０．５」、先行車とそれ以外は「０」である。環境に基づく確率分布では、左右の歩行者で差がなく、先行車とそれ以外は「０」であるから、注視対象物は、左歩行者が「０．８７５」、右歩行者が「０．１２５」となり、左歩行者を注視していると求められる。別の事例として、もし、操作情報でアクセルが「ＯＮ」の場合には、車両周辺への注意配分が半分と考えて、注視対象物は、左歩行者が「０．４３７５」、右歩行者が「０．０６２５」、それ以外が「０．５」というように求めることもできる。なお、ここで示した計算は一例であり、このモデルは、ベイジアンネットやＳＶＭ等の機械学習のモデルで表現してもよい。演算処理部２１は、入力された情報に基づいて注視対象物を求める。
FIG. 5 is a diagram showing an example of a model for obtaining a gaze object, which is used in the gaze
図６は、第２の実施の形態の注視対象物検知装置２の動作を示すフローチャートである。注視対象物検知装置は、車内カメラ２０で運転者を撮影し（Ｓ２０）、撮影した映像に基づいて運転者の視線方向を検知する（Ｓ２１）。また、注視対象物検知装置２は、周辺監視センサ１０によって車両の周辺を監視し（Ｓ２２）、周辺にある対象物を検知する（Ｓ２３）。
FIG. 6 is a flowchart showing the operation of the gaze
続いて、注視対象物検知装置２は、検知した視線の方向にある対象物を検知し、視線方向にある対象物の数が１個であるか否かを判定する（Ｓ２４）。視線方向にある対象物が１個である場合には、当該対象物を注視対象物と判定する（Ｓ２５）。視線方向にある対象物の数が２個以上である場合には、注視対象物検知装置２は、各対象物までの距離と相対速度とを計算する（Ｓ２６）。また、注視対象物検知装置２は、車載センサ３０から操作情報を取得する（Ｓ２７）。そして、注視対象物検知装置２は、視線方向と環境と操作の情報とに基づいて、注視対象物を検知する（Ｓ２８）。
Subsequently, the gaze
以上説明したように、第２の実施の形態の注視対象物検知装置２は、視線と環境の情報に加えて、操作情報を用いることにより、より精度良く注視対象物を検知できる。例えば、図５に示す例のように、ブレーキを踏んではいないもののアクセルをＯＦＦしているという操作情報が入力されれば、運転者が歩行者を認知し、危険があると判断して、アクセルから足を離して、いつでもブレーキを踏める操作状態にしていると考えられる。つまり、操作状態から、運転者の認知、判断を推測することが可能である。操作情報をノードとして含むモデルを用いることにより、注視対象物の検知精度が高まる。
As described above, the gaze
（第３の実施の形態）
図７は、第３の実施の形態の注視対象物検知装置３の構成を示す図である。第３の実施の形態の注視対象物検知装置３の基本的な構成は、第１の実施の形態と同じであるが、演算処理部２１がアクセスすることができるリスク情報記憶部２３を備えている点が異なる。
(Third embodiment)
FIG. 7 is a diagram showing the configuration of the gaze
図８は、リスク情報記憶部２３に記憶されたデータの例を示す図である。図８に示すように、リスク情報記憶部２３には、対象物の種類とそれに対応するリスクの大きさが記憶されている。対象物の種類は、道路上にいることが考えられる対象物を分類したものである。歩行者、自転車、先行車、対向車等がある。リスク情報記憶部２３は、それぞれの種類について、リスクの大きさのデータを有している。例えば、歩行者や自転車は「８」、先行車は「６」、対向車は「４」である。
FIG. 8 is a diagram showing an example of data stored in the risk
演算処理部２１は、運転者の視線上に複数の対象物がある場合には、その対象物の種類に対応するリスクの大きさをリスク情報記憶部２３から読み出す。第１の実施の形態の注視対象物検知装置１では、対象物との距離と相対速度に基づいて、各対象物のリスクを計算したが、これに代えて、本実施の形態ではリスク情報記憶部２３から読み出したリスクの大きさを用いて、注視対象物を求める。
When there are a plurality of objects in the driver's line of sight, the
図９は、第３の実施の形態の注視対象物検知装置３の動作を示すフローチャートである。注視対象物検知装置３は、車内カメラ２０で運転者を撮影し（Ｓ３０）、撮影した映像に基づいて運転者の視線方向を検知する（Ｓ３１）。また、注視対象物検知装置３は、周辺監視センサ１０によって車両の周辺を監視し（Ｓ３２）、周辺にある対象物を検知する（Ｓ３３）。
FIG. 9 is a flowchart showing the operation of the gaze
続いて、注視対象物検知装置３は、検知した視線の方向にある対象物を検知し、視線方向にある対象物の数が１個であるか否かを判定する（Ｓ３４）。視線方向にある対象物が１個である場合には、当該対象物を注視対象物と判定する（Ｓ３５）。視線方向にある対象物の数が２個以上である場合には、注視対象物検知装置３は、各対象物の種類を特定し（Ｓ３６）、その種類に対応するリスクの大きさの情報をリスク情報記憶部２３から読み出す（Ｓ３７）。対象物の種類の特定は、車外カメラ１１に映る対象物をパターンマッチングして求めてもよいし、対象物の種類を分類する学習済みモデルを使って推定してもよい。そして、注視対象物検知装置３は、視線方向とリスクの大きさの情報とに基づいて、注視対象物を検知する（Ｓ３８）。
Subsequently, the gaze
本実施の形態の注視対象物検知装置３は、車内カメラ２０にて運転者の映像から検知した視線方向と、対象物の種類とに基づいて、運転者が注視している注視対象物を適切に検知することができる。
The gaze
以上、本発明の実施の形態の注視対象物検知装置について、実施の形態を挙げて詳細に説明したが、本発明は、上記した実施の形態に限定されるものではない。
本実施の形態の注視対象物検知装置１～３の演算処理部２１は、車内カメラ２０の映像に基づいて、運転者の視線のみならず運転者の顔向きも求めることができる。人間の視覚特性によれば、人間が外側を見るときは、視線の方が顔向きよりも外側を向いていることが判明している。これによれば、顔向きが一定より大きく外側を見ているときは、視線はそれよりもさらに外側を向いているといえる。この特性を利用して、演算処理部２１は、車内カメラ２０の映像から運転者の顔向きを検出し、顔向きが所定の角度よりも外側を向いているときには、視線を検出するまでもなく、脇見と判定してもよい。
Although the gaze object detection device according to the embodiment of the present invention has been described in detail with reference to the embodiment, the present invention is not limited to the above-described embodiment.
The
なお、顔向きは、視線方向とは異なり、運転者が座るシート位置や運転者の座高に起因する個人差がある。顔向きを判定する処理を行う場合には、顔向きの正面方向を補正する処理を行ってもよい。補正を行う具体的な方法としては、例えば、直線道路を走行している（すなわちステアリング角度が０°）ときの顔向きを正面方向とすることが考えられる。また、将来的に、自動車のエンジン起動時に虹彩認証を行う車両が登場したときには、虹彩認証を行うときの顔向きを正面方向とすることが考えられる。 The face orientation is different from the line-of-sight direction, and there are individual differences due to the seat position where the driver sits and the sitting height of the driver. When performing the process of determining the face orientation, the process of correcting the front direction of the face orientation may be performed. As a specific method for making the correction, for example, it is conceivable to set the face direction when traveling on a straight road (that is, the steering angle is 0 °) as the front direction. Further, in the future, when a vehicle that performs iris recognition when the engine of the automobile is started appears, it is conceivable that the face direction at the time of iris recognition is the front direction.
また、人間の視覚特性によれば、人間が特定の対象を注視するには、一定の時間（１００ｍｓ～３００ｍｓ程度）を要することが判明している。この特性を利用して、視線が停留して対象物を視認している時間が所定の時間（例えば１００ｍｓ）以下である場合には、対象物を注視していないと判定してもよい。また、対象物の注視判定に、高速または大きな視線移動（サッカード）がないという条件を用いてもよい。 Further, according to human visual characteristics, it has been found that it takes a certain period of time (about 100 ms to 300 ms) for a human to gaze at a specific object. Utilizing this characteristic, when the time when the line of sight is stopped and the object is visually recognized is a predetermined time (for example, 100 ms) or less, it may be determined that the object is not gazed. Further, a condition that there is no high-speed or large line-of-sight movement (saccade) may be used for the gaze determination of the object.
本発明は、運転者が注視している対象物を検知する注視対象物検知装置等として有用である。 INDUSTRIAL APPLICABILITY The present invention is useful as a gaze object detection device or the like for detecting an object gaze by a driver.
１～３ 注視対象物検知部
１０ 周辺監視センサ
１１ 車外カメラ
１２ ミリ波レーダ
１３ ＬＩＤＡＲ
２０ 車内カメラ
２１ 演算処理部
２２ 警報出力部
２３ リスク情報記憶部
３０ 車載センサ
1-3
20 In-
Claims (9)
運転者を撮影するカメラと、
前記カメラにて撮影した映像に基づいて求めた運転者の視線方向と、前記周辺監視センサにて検知した各対象物と自車両との距離又は相対速度とに基づいて、前記視線方向にある各対象物の中から運転者が注視している対象物を求める演算処理部と、
を備える注視対象物検知装置。 Peripheral monitoring sensors that detect objects around the vehicle,
A camera that shoots the driver,
Each in the line-of-sight direction based on the driver's line-of-sight direction obtained based on the image taken by the camera and the distance or relative speed between each object and the own vehicle detected by the peripheral monitoring sensor. An arithmetic processing unit that finds the object that the driver is watching from among the objects ,
A gaze object detection device equipped with.
運転者を撮影するカメラと、
対象物の種類とその種類に対するリスクの大きさを記憶したリスク情報記憶部と、
前記周辺監視カメラの映像に基づいて周辺にある対象物の種類を特定し、前記リスク情報記憶部に記憶された情報に基づいて、各対象物のリスクの大きさを求め、各対象物のリスクの大きさと前記カメラにて撮影した映像に基づいて求めた運転者の視線方向とに基づいて、前記視線方向にある各対象物の中から運転者が注視している対象物を求める演算処理部と、
を備える注視対象物検知装置。 Peripheral surveillance cameras that shoot objects around the vehicle,
A camera that shoots the driver,
A risk information storage unit that stores the type of object and the magnitude of risk for that type,
The type of an object in the vicinity is specified based on the image of the peripheral surveillance camera, the magnitude of the risk of each object is obtained based on the information stored in the risk information storage unit, and the risk of each object is determined. A calculation processing unit that obtains an object that the driver is gazing at from among the objects in the line- of-sight direction based on the size of the object and the line-of-sight direction of the driver obtained based on the image taken by the camera. When,
A gaze object detection device equipped with.
前記演算処理部は、
前記車載センサにて取得した操作情報に基づいて、運転者が注視している対象物を求める請求項１乃至３のいずれかに記載の注視対象物検知装置。 Equipped with an in-vehicle sensor that acquires operation information for the own vehicle
The arithmetic processing unit is
The gaze object detection device according to any one of claims 1 to 3, wherein the gaze object is obtained by the driver based on the operation information acquired by the in-vehicle sensor.
周辺監視センサにて車両の周辺にある対象物を検知するステップと、
カメラにて運転者を撮影するステップと、
前記注視対象物検知装置が、前記カメラにて撮影した映像に基づいて求めた運転者の視線方向と、前記周辺監視センサにて検知した各対象物と自車両との距離又は相対速度とに基づいて、前記視線方向にある各対象物の中から運転者が注視している対象物を求めるステップと、
を備える注視対象物検知方法。 It is a method for detecting an object that the driver is gazing at by the gaze object detection device .
A step to detect an object around the vehicle with a peripheral monitoring sensor,
Steps to shoot the driver with a camera and
Based on the driver's line-of-sight direction obtained by the gaze object detection device based on the image taken by the camera, and the distance or relative speed between each object and the own vehicle detected by the peripheral monitoring sensor. Then, the step of finding the object that the driver is gazing at from each object in the line-of-sight direction, and
A gaze object detection method.
周辺監視センサにて検知した車両の周辺にある対象物のデータを取得するステップと、
カメラにて撮影した運転者の映像を取得するステップと、
前記カメラにて撮影した映像に基づいて求めた運転者の視線方向と、前記周辺監視センサにて検知した各対象物と自車両との距離又は相対速度とに基づいて、前記視線方向にある各対象物の中から運転者が注視している対象物を求めるステップと、
を実行させるプログラム。 A program for detecting an object that the driver is gazing at, and a computer
The step of acquiring the data of the object around the vehicle detected by the peripheral monitoring sensor, and
Steps to acquire the driver's image taken by the camera,
Each in the line-of-sight direction based on the driver's line-of-sight direction obtained based on the image taken by the camera and the distance or relative speed between each object and the own vehicle detected by the peripheral monitoring sensor. The step of finding the object that the driver is watching from among the objects ,
A program to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018132915A JP7014680B2 (en) | 2018-07-13 | 2018-07-13 | Gaze object detection device, gaze object detection method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018132915A JP7014680B2 (en) | 2018-07-13 | 2018-07-13 | Gaze object detection device, gaze object detection method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020013179A JP2020013179A (en) | 2020-01-23 |
| JP7014680B2 true JP7014680B2 (en) | 2022-02-01 |
Family
ID=69170566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018132915A Active JP7014680B2 (en) | 2018-07-13 | 2018-07-13 | Gaze object detection device, gaze object detection method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7014680B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102373571B1 (en) * | 2020-11-16 | 2022-03-10 | 주식회사 펀진 | Surround view monitoring system and method thereof |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009122808A (en) | 2007-11-13 | 2009-06-04 | Mazda Motor Corp | Drive support device for vehicle |
| JP2014008931A (en) | 2012-07-02 | 2014-01-20 | Fuji Heavy Ind Ltd | Avoidance operation determination device |
| JP2014120111A (en) | 2012-12-19 | 2014-06-30 | Aisin Aw Co Ltd | Travel support system, travel support method, and computer program |
| JP2015127937A (en) | 2013-11-29 | 2015-07-09 | 富士通株式会社 | Driving support device, method, and program |
| JP2018097573A (en) | 2016-12-13 | 2018-06-21 | 富士通株式会社 | Computer program for estimating orientation of face, device for estimating orientation of face, and method of estimating orientation of face |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4231884B2 (en) * | 2006-09-27 | 2009-03-04 | 株式会社デンソーアイティーラボラトリ | Gaze object detection device and gaze object detection method |
| JP5125798B2 (en) * | 2008-06-20 | 2013-01-23 | マツダ株式会社 | Vehicle headlight control device |
-
2018
- 2018-07-13 JP JP2018132915A patent/JP7014680B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009122808A (en) | 2007-11-13 | 2009-06-04 | Mazda Motor Corp | Drive support device for vehicle |
| JP2014008931A (en) | 2012-07-02 | 2014-01-20 | Fuji Heavy Ind Ltd | Avoidance operation determination device |
| JP2014120111A (en) | 2012-12-19 | 2014-06-30 | Aisin Aw Co Ltd | Travel support system, travel support method, and computer program |
| JP2015127937A (en) | 2013-11-29 | 2015-07-09 | 富士通株式会社 | Driving support device, method, and program |
| JP2018097573A (en) | 2016-12-13 | 2018-06-21 | 富士通株式会社 | Computer program for estimating orientation of face, device for estimating orientation of face, and method of estimating orientation of face |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020013179A (en) | 2020-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4879189B2 (en) | Safe driving support device | |
| US10535264B2 (en) | Object detection apparatus and object detection method | |
| EP3342660A1 (en) | Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method | |
| JP5718942B2 (en) | Apparatus and method for assisting safe operation of transportation means | |
| JP4872245B2 (en) | Pedestrian recognition device | |
| US10430677B2 (en) | Method for classifying driver movements | |
| JP6235425B2 (en) | Safety confirmation determination device and driving support device | |
| US10604160B2 (en) | Driver condition detection system | |
| JP2007094716A (en) | Vehicle driving support device | |
| JP4528283B2 (en) | Vehicle periphery monitoring device | |
| KR101986734B1 (en) | Driver assistance apparatus in vehicle and method for guidance a safety driving thereof | |
| JP2016009251A (en) | Control device for vehicle | |
| JP2018097515A (en) | Drive assisting device, drive assisting method, and program thereof | |
| JP2018183532A (en) | State estimation apparatus | |
| JP6296684B2 (en) | Driving assistance device | |
| JP7014680B2 (en) | Gaze object detection device, gaze object detection method, and program | |
| KR101680833B1 (en) | Apparatus and method for detecting pedestrian and alert | |
| CN109823344B (en) | Driving prompting method and system | |
| JP5040851B2 (en) | Wakimi driving judgment device | |
| JP2005278898A (en) | Sight line detector | |
| JP2005284797A (en) | Drive safety device | |
| JP2006107000A (en) | Method and device for deciding image abnormality | |
| JP7185571B2 (en) | Viewing direction estimation device, viewing direction estimation method, and program | |
| JP6570302B2 (en) | Driving assistance device | |
| JP6429101B2 (en) | Image determination apparatus, image processing apparatus, image determination program, image determination method, moving object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220111 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220120 |