JP2018183249A - Visual line detection device, visual line detection program, and visual line detection method - Google Patents
Visual line detection device, visual line detection program, and visual line detection method Download PDFInfo
- Publication number
- JP2018183249A JP2018183249A JP2017085072A JP2017085072A JP2018183249A JP 2018183249 A JP2018183249 A JP 2018183249A JP 2017085072 A JP2017085072 A JP 2017085072A JP 2017085072 A JP2017085072 A JP 2017085072A JP 2018183249 A JP2018183249 A JP 2018183249A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- setting
- unit
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 230000000007 visual effect Effects 0.000 title claims abstract description 11
- 230000004397 blinking Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 19
- 210000001508 eye Anatomy 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、人物の視線検出に関し、特に、自動車等の移動体における搭乗者の視線検出に関する。 The present invention relates to human gaze detection, and more particularly to passenger gaze detection in a moving body such as an automobile.
今日、人物の視線を検知するための視線検知センサは広く利用されている。例えば、運転監視システムでは、視線検知センサにより運転者がどの方向を見ていたかを判定し、もし、脇見運転などしている場合には警報を発している。運転者が特定の対象物を見ていたか否かの注視判定は、仮想平面座標を構築し、その仮想平面上のどの位置に視線データが滞留したかを検知し、その検知された座標位置との関係からどの対象物を見ていたかを判定する。図１１に、仮想平面座標を利用した視線検知方法の一例を示す。同図に示すように、（１）仮想平面１０の法線ベクトルＶｓを求め、（２）仮想平面１０の１点とユーザーＵの瞳孔（３次元座標）を通る３次元ベクトルＶｃを求め、（３）３次元ベクトルＶｃと仮想平面１０を結ぶベクトルの係数ｔを求め、（４）仮想平面１０上の３次元座標Ｆを求め、３次元座標Ｆから対象物を特定する。
Today, gaze detection sensors for detecting the gaze of a person are widely used. For example, in a driving monitoring system, it is determined which direction the driver is looking at by a line-of-sight detection sensor, and an alarm is issued if the driver is looking aside. The gaze determination as to whether or not the driver was looking at a specific object is made by constructing a virtual plane coordinate, detecting at which position on the virtual plane the line-of-sight data stays, and detecting the detected coordinate position and It is determined which object was viewed from the relationship. FIG. 11 shows an example of a line-of-sight detection method using virtual plane coordinates. As shown in the figure, (1) a normal vector Vs of the
視線検知に関して、例えば、特許文献１には、車両内に備えられた装備品への視線方向を基準にキャリブレーションを行う技術が開示されている。特許文献２には、眼球からの反射光を利用して、注視点の計測を行う技術が開示されている。
With regard to line-of-sight detection, for example, Patent Document 1 discloses a technique for performing calibration based on the line-of-sight direction of equipment provided in a vehicle.
図１２は、仮想平面を利用した視線検知の一例を説明する図である。運転者が、バックミラー２０、サイドミラー２２、ＣＩＤ（center Information Display）２４の各対象物を注視したか否かの判定は、仮想平面上のどの位置に視線方向が滞留したかを検知することにより行われる。このため、仮想平面上には領域を規定する閾値が設定されるが、通常、この閾値は、開発者が手動で座席からミラー２０、２２やＣＩＤ２４までの距離を測定し、それに基づき一律に決定している。
FIG. 12 is a diagram illustrating an example of line-of-sight detection using a virtual plane. The determination as to whether or not the driver has watched each object of the
しかしながら、閾値を一律に決定すると、ユーザーの顔の位置が少しでも変化してしまうと、閾値が不正確となり、対象物の注視判定を正確に行うことができなくなる。また、人によっても視線方向にはバラツキがある。図１３は、被験者１から被験者４に画面の中心点を見たときの視線データであり、３つの白丸が各被験者の視線位置を表している。同図からも分かるように、同一点を注視していても、人によって視線方向にばらつきが発生してしまう。このような要因により、図１２に示すように、ユーザーＡにとっての最適な閾値（破線）Ｑａと、ユーザーＢにとっての最適な閾値（点線）Ｑｂとは必ずしも一致しない。さらに、視線検知センサの精度が悪いと、大きな誤差を含んだ視線データが取得されるため、閾値を正確に規定しても、結果的に正確な注視判定をすることが難しくなる。 However, if the threshold value is uniformly determined, if the position of the user's face changes even a little, the threshold value becomes inaccurate, and the gaze determination of the target cannot be performed accurately. In addition, there are variations in the line of sight depending on the person. FIG. 13 shows line-of-sight data when the subject 1 to the subject 4 see the center point of the screen, and three white circles represent the line-of-sight position of each subject. As can be seen from the figure, even if the same point is watched, variation in the line-of-sight direction occurs depending on the person. Due to such factors, as shown in FIG. 12, the optimum threshold value (dashed line) Qa for the user A and the optimum threshold value (dotted line) Qb for the user B do not always match. In addition, when the accuracy of the gaze detection sensor is poor, gaze data including a large error is acquired. Therefore, even if the threshold value is accurately defined, it is difficult to make an accurate gaze determination as a result.
本発明は、このような従来の課題を解決するものであり、ユーザー毎に注視判定を正確に行うことができる視線検知装置、視線検知プログラムおよび視線検知方法を提供することを目的とする。 The present invention solves such a conventional problem, and an object of the present invention is to provide a gaze detection device, a gaze detection program, and a gaze detection method capable of accurately performing gaze determination for each user.
本発明に係る視線検知装置は、注視の対象となる対象物を案内する案内手段と、人物の視線方向を検知する検知手段と、前記案内手段により案内された対象物に関し、前記検知手段により検知された視線方向に基づき対象物の注視判定を行うための範囲を規定する閾値を設定する設定手段と、前記検知手段により検知された視線方向と前記設定された閾値とを比較し、対象物が注視されているか否かを判定する判定手段とを含む。 The gaze detection device according to the present invention relates to a guide means for guiding an object to be watched, a detection means for detecting a gaze direction of a person, and an object guided by the guidance means. A setting unit that sets a threshold value that defines a range for performing gaze determination of the object based on the line-of-sight direction, and the line-of-sight direction detected by the detection unit is compared with the set threshold value, Determination means for determining whether or not the user is gazing.
好ましくは前記設定手段は、仮想平面上の座標領域を規定する閾値を設定する。好ましくは前記設定手段は、複数の視線方向に基づき仮想平面上のＸ方向の最大および最小の最外点、Ｙ方向の最大および最小の最外点を抽出し、前記最外点に基づき閾値を設定する。好ましくは前記設定手段は、左右の視線方向を一対の視線方向とし、一対の視線方向の重心点に基づき閾値を設定する。好ましくは前記設定手段は、案内された対象物の外形に近似する外形の閾値を設定する。好ましくは前記設定手段は、前記案内手段により案内が行われたときから一定期間、または案内が行われている期間中に複数の視線方向を取得する。好ましくは前記案内手段は、対象物の取り付けられた発光素子を含み、発光素子を点灯または点滅させることで案内を行う。好ましくは前記発光素子は、対象物の外周に沿うように複数配置され、前記案内手段は、複数の発光素子を点灯または点滅させることで案内を行う。好ましくは前記案内手段は、複数の発光素子を一定方向に順次点灯させる。好ましくは対象物が表示手段であるとき、前記案内手段は、前記表示手段の外周が点灯されるかの如く前記表示手段に画像を表示させる。好ましくは前記案内手段は、対象物についての案内を音声により行う。好ましくは前記設定手段は、ユーザー入力に基づき閾値を設定または更新する。 Preferably, the setting means sets a threshold value that defines a coordinate area on a virtual plane. Preferably, the setting means extracts the maximum and minimum outermost points in the X direction and the maximum and minimum outermost points in the Y direction on the virtual plane based on a plurality of line-of-sight directions, and sets a threshold based on the outermost points. Set. Preferably, the setting unit sets the threshold value based on a barycentric point in the pair of line-of-sight directions, with the left and right line-of-sight directions as a pair of line-of-sight directions. Preferably, the setting means sets a threshold value of the outer shape that approximates the outer shape of the guided object. Preferably, the setting means acquires a plurality of line-of-sight directions for a certain period from when guidance is provided by the guidance means or during a period when guidance is being provided. Preferably, the guide means includes a light emitting element to which an object is attached, and performs guidance by turning on or blinking the light emitting element. Preferably, a plurality of the light emitting elements are arranged along the outer periphery of the object, and the guiding means performs guidance by turning on or blinking the plurality of light emitting elements. Preferably, the guide means sequentially turns on the plurality of light emitting elements in a certain direction. Preferably, when the object is a display means, the guide means causes the display means to display an image as if the outer periphery of the display means is lit. Preferably, the guidance means performs guidance for an object by voice. Preferably, the setting means sets or updates the threshold value based on a user input.
本発明に係る視線検知プログラムは、人物の視線方向を検知する検知手段を備えた視線検知装置が実行するものであって、注視の対象となる対象物を案内するステップと、前記案内された対象物に関し、前記検知手段により検知された視線方向に基づき対象物の注視判定を行うための範囲を規定する閾値を設定するステップと、前記検知手段により検知された視線方向と前記設定された閾値とを比較し、対象物が注視されているか否かを判定するステップとを含む。 A gaze detection program according to the present invention is executed by a gaze detection apparatus including a detection unit that detects a gaze direction of a person, the step of guiding a target object to be watched, and the guided target A step of setting a threshold value that defines a range for performing gaze determination of an object based on the line-of-sight direction detected by the detection unit, and the line-of-sight direction detected by the detection unit and the set threshold value And determining whether or not the object is being watched.
好ましくは前記設定するステップは、電源投入時に行われる。好ましくは前記設定するステップは、ユーザー入力に応答して行われる。好ましくは前記設定するステップは、複数の視線方向に基づき仮想平面上のＸ方向の最大および最小の最外点、Ｙ方向の最大および最小の最外点を抽出し、前記最外点に基づき閾値を設定する。好ましくは前記設定するステップは、左右の視線方向を一対の視線方向とし、一対の視線方向の重心点に基づき閾値を設定する。 Preferably, the setting step is performed when power is turned on. Preferably, the setting step is performed in response to user input. Preferably, the setting step extracts the maximum and minimum outermost points in the X direction and the maximum and minimum outermost points in the Y direction on the virtual plane based on a plurality of line-of-sight directions, and sets a threshold based on the outermost points. Set. Preferably, in the setting step, the left and right line-of-sight directions are set as a pair of line-of-sight directions, and a threshold is set based on a center of gravity point in the pair of line-of-sight directions.
本発明に係る視線検知方法は、人物の視線方向を検知する検知手段を備えた視線検知装置におけるものであって、注視の対象となる対象物を案内するステップと、前記案内された対象物に関し、前記検知手段により検知された視線方向に基づき対象物の注視判定を行うための範囲を規定する閾値を設定するステップと、前記検知手段により検知された視線方向と前記設定された閾値とを比較し、対象物が注視されているか否かを判定するステップとを含む。 The line-of-sight detection method according to the present invention relates to a line-of-sight detection apparatus including detection means for detecting the direction of the line of sight of a person, the step of guiding an object to be watched, and the guided object The step of setting a threshold value that defines a range for performing gaze determination of an object based on the line-of-sight direction detected by the detection unit is compared with the line-of-sight direction detected by the detection unit and the set threshold value And determining whether or not the object is being watched.
本発明によれば、案内された対象物に関し、検知手段により検知された視線方向に基づき注視判定を行うための範囲を規定する閾値を設定するようにしたので、人物の顔の位置や視線方向のばらつき等の個人差があっても、個人に最適な閾値を自動で設定することができ、開発の効率化とともに注視判定の精度向上を図ることができる。また、視線検知センサの精度が悪くとも、誤差を含んだ形で仮想領域が生成されるため、視線検知センサの精度に依存することなく正確な注視判定を行うことができる。 According to the present invention, the threshold value that defines the range for performing gaze determination on the guided object based on the line-of-sight direction detected by the detection unit is set. Even if there are individual differences such as variations in the number of persons, it is possible to automatically set an optimum threshold value for the individual, and it is possible to improve the accuracy of gaze determination as well as development efficiency. In addition, even if the accuracy of the line-of-sight detection sensor is poor, the virtual region is generated in a form including an error, so that accurate gaze determination can be performed without depending on the accuracy of the line-of-sight detection sensor.
次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明に係る視線検知装置は、それ単独で存在するものであってもよいし、車載装置等の電子装置に包含されるものであってもよい。車載装置は、運転アシスト機能、ナビゲーション機能、オーディオ・ビデオデータを再生する機能、テレビ・ラジオ放送を受信する機能、アプリケーションソフトウエアを実行する機能などを備えたコンピュータ装置、タブレット型のコンピュータ装置であることができる。視線検知装置の検知結果は、車載装置の各機能に利用することができる。 Next, embodiments of the present invention will be described in detail with reference to the drawings. The line-of-sight detection device according to the present invention may exist alone, or may be included in an electronic device such as an in-vehicle device. The in-vehicle device is a computer device or a tablet computer device having a driving assist function, a navigation function, a function of reproducing audio / video data, a function of receiving TV / radio broadcast, a function of executing application software, and the like. be able to. The detection result of the line-of-sight detection device can be used for each function of the in-vehicle device.
図１は、本発明の実施例に係る車載装置の構成を示すブロック図であり、本実施例の車載装置１００は、視線検知機能または視線検知部を包含する。同図に示すように、車載装置１００は、入力部１１０、ナビゲーション部１２０、マルチメディア再生部１３０、表示部１４０、音声出力部１５０、対象物案内部１６０、視線検知センサ１７０、記憶部１８０、および制御部１９０を含んで構成される。但し、ここに示す構成は一例であり、車載装置１００は、他の機能や構成を包含するものであってもよい。
FIG. 1 is a block diagram illustrating a configuration of an in-vehicle device according to an embodiment of the present invention, and the in-vehicle device 100 according to the present embodiment includes a line-of-sight detection function or a line-of-sight detection unit. As shown in the figure, the in-vehicle device 100 includes an
入力部１１０は、ユーザーからの指示を受け取り、これを制御部１９０へ提供する。ナビゲーション部１２０は、ＧＰＳ衛星から送信されるＧＰＳ信号等に基づき自車位置を算出し、自車位置周辺の地図を案内する。マルチメディア再生部１３０は、ＣＤ、ＤＶＤ、半導体メモリ等の記録媒体に記録された音声データや映像データを再生する。表示部１４０は、ナビゲーション部１２０により生成された地図画像やマルチメディア再生部１３０により再生された映像データを表示する。音声出力部１５０は、ナビゲーション部１２０やマルチメディア再生部１３０で生成された音声データを出力する。
The
対象物案内部１６０は、ユーザーに注視させたい対象物の案内を行う。好ましい例では、対象物案内部１６０は、視覚または聴覚により案内を行う。聴覚による案内は、音声出力部１５０から、例えば、「表示部の外周または輪郭を目で追うように見てください」、「ミラーの外周または輪郭を目で追うように見てください」などの音声を出力させる。視覚による案内は、注視させたい対象物を点灯または点滅させる。好ましくは、対象物の外周に、発光ダイオード（ＬＥＤ）等の発光素子を１つまたは複数個取り付け、発光素子を点灯または点滅させることで、ユーザーに対象物を注視させる。より好ましくは、発光素子を一定方向に順次点灯させることで、ユーザーが発光素子の点灯を目で追えるようにする。対象物案内部１６０は、好ましくは一定期間、対象物の案内を行う。
The
図２（Ａ）は、バックミラー２０の外周に沿って複数のＬＥＤ１６２が取り付けられた例、図２（Ｂ）は、サイドミラー２２の外周に沿って複数のＬＥＤ１６４が取り付けられた例、図２（Ｃ）は、ＣＩＤ２４または表示部１４０の外周に沿って複数のＬＥＤ１６６が取り付けられた例である。ＬＥＤ１６２、１６４、１６６の数、色、配置は任意である。また上記したように、ＬＥＤ１６２、１６４、１６６は、例えば、一定方向に順次点灯され、ユーザーは、案内された対象物の外形の発光点を目で追うことが自然に促される。
2A shows an example in which a plurality of
視線検知センサ１７０は、車内の搭乗者の視線を検知する。好ましくは、運転者の視線を検知する。視線検知センサ１７０は、例えば、図３に示すように、コラムカバー１７２上に取り付けられ、ステアリング１７４の合間を通して運転者１７６の顔を撮像する。好ましくは、視線検知センサ１７０は、運転者１７６の顔を照射する赤外線ＬＥＤと、その反射光を受光する赤外線カメラとを含み、赤外線カメラで撮像されたデータは制御部１９０へ提供される。
The line-of-
記憶部１８０は、ナビゲーション部１２０が必要とする地図データ、マルチメディア再生部１３０が再生するマルチメディアデータ、制御部１９０が実行するアプリケーションソフトウエアやプログラム等を格納することができる。制御部１９０は、車載装置１００の各部を制御し、好ましい態様では、ＲＯＭ、ＲＡＭなどを含むマイクロコントローラ等を含み、制御部１９０は、車載装置１００の動作を制御するための種々のプログラムを実行する。本実施例では、制御部１９０は、視線検知センサ１７０からの出力に基づき視線検知を行う視線検知プログラムを実行する。
The
図４は、本実施例の視線検知プログラムの機能的な構成を示す。視線検知プログラム２００は、対象物案内制御部２１０、視線データ処理部２２０、閾値設定部２３０、注視判定部２４０を含む。視線検知プログラム２００は、車載装置１００に含まれる他の機能と連動して実行され、例えば、ナビゲーション部１２０が起動されたことに応答して視線検知プログラム２００が実行される。または、視線検知プログラムは、車載装置１００に電源が投下されたとき、あるいはユーザーからの指示があったときに実行されるようにしてもよい。
FIG. 4 shows a functional configuration of the line-of-sight detection program of the present embodiment. The line-of-sight detection program 200 includes an object
対象物案内制御部２１０は、注視判定のための閾値を設定するときに対象物案内部１６０を制御する。すなわち、対象物案内制御部２１０は、対象物案内部１６０を介して、図２に示すＬＥＤ１６２、１６４、１６６を点灯させたり、あるいは音声出力部１５０から注視させたい対象物の音声案内をさせる。例えば、対象物案内制御部２１０は、対象物の周囲に取り付けられた複数のＬＥＤを時計周り、または反時計周りに順次、点灯または点滅させ、これにより、運転者に注視対象を認識させ、かつ、一定方向に点滅するＬＥＤの発光により運転者の視線方向を対象物の外周に向けさせる。また、対象物案内制御部２１０は、ＬＥＤの点灯を開始する前または点灯中に、「点灯中の光を追ってください」等の誘導案内を音声出力部１５０から出力させたり、あるいは表示部１４０に誘導案内のメッセージを表示させてもよい。
The object
ＬＥＤの点灯態様は、特に限定されるものではなく、運転者の視線方向が対象物の１点に留まらず、複数の点あるいは対象物の外周に沿うように喚起されればよく、例えば、対象物のＬＥＤの全てを同タイミングで点滅させ、「点灯中の光を視線でなぞってください」等の誘導案内を行ってもよい。また、ＬＥＤの点灯は、対象物の案内を行っている期間中、一定期間継続される。これにより、ユーザーは、ＬＥＤが点灯または点滅している期間、対象物を視認する必要性を理解する。さらに、対象物案内制御部２１０による案内制御は、必ずしも視覚による案内がなくてもよく、音声出力部１５０を介して、「サイドミラーの外周を見てください」、「サイドミラーの外周に沿うように視線を合わせてください」、「サイドミラーの注視判定のための閾値を設定しますので、サイドミラーの外周に沿うように視線を移動させてください」等の音声案内だけでもよい。
The lighting mode of the LED is not particularly limited, and the driver's line-of-sight direction is not limited to one point of the object, but may be aroused so as to follow a plurality of points or the outer periphery of the object. All the LEDs of the object may be blinked at the same timing, and guidance guidance such as “Please trace the lit light with your line of sight” may be performed. Further, the lighting of the LED is continued for a certain period during the period of guiding the object. Thereby, the user understands the necessity of visually recognizing an object during a period when the LED is lit or blinking. Further, the guidance control by the object
対象物案内制御部２１０は、案内すべき対象物が複数あるときは、それらの案内を順次行う。また、対象物案内制御部２１０は、対象物の注視判定のための閾値を新たに設定するとき、または更新するときに実施される。例えば、運転者が変更になるとき、ユーザーは、入力部１１０を介して対象物案内制御部２１０の起動を指示したり、車載装置１００の電源が投入されたときに対象物案内制御部２１０が起動される。
When there are a plurality of objects to be guided, the object
視線データ処理部２２０は、対象物案内制御部２１０によって案内された対象物に向けられた運転者の視線データを視線検知センサ１７０を介して取得する。好ましくは、対象物案内制御部２１０による案内制御が行われたときから一定期間、あるいは案内が行われている期間、視線データ処理部２２０は、案内された対象物についての複数の視線データをサンプリングする。
The line-of-sight
視線データ処理部２２０は、例えば、赤外線カメラで撮像されたデータから、目の中の白い丸い形をしたものを角膜反射の候補として検出し、黒い丸の形をしたものを瞳孔の候補として検出し、それら角膜や瞳孔の位置関係や過去のデータ等から候補の絞り込みを行い、可能性の高いものを視線データとして選択する。
The line-of-sight
図５（Ａ）は、対象物案内制御部２１０によって表示部１４０が対象物として案内され、その間に表示部１４０に向けられた運転者の視線データが視線データ処理部２２０により取得される。視線データは、運転者の視線方向を表し、ここでは仮想平面上の座標データとして表されている。視線方向、すなわち視線データは、表示部１４０の外枠付近に不規則に複数検知されている。
In FIG. 5A, the
閾値設定部２３０は、視線データ処理部２２０によって取得され、処理された視線データに基づき、対象物の注視判定を行うための範囲を規定する閾値を自動で設定する。図５（Ｂ）は、取得された視線データに基づき閾値設定部２３０が設定した閾値Ｔｈを示している。閾値の詳細な設定方法は、後述する。
The threshold
注視判定部２４０は、閾値設定部２３０により設定された閾値に基づき運転者が対象物を注視しているか否かを判定する。この判定結果は、車載装置１００やその他の装置において利用することができる。例えば、車載装置１００が運転アシスト機能を備えている場合、走行中に運転者が何度も表示部１４０を注視すると警告を発したり、あるいは、停止中に、運転者が表示部１４０を注視するとナビゲーション画面をオーディオ画面に切り替えたり、バックミラーを注視すると表示部１４０にリアビューの画像を表示する、といった制御が可能である。
The
次に、閾値設定部２３０による第１の閾値の設定方法について図６を参照して説明する。図６（Ａ）において、□は、ＬＥＤの発光位置、○は、左目の視線の座標データ、斜線の○は、右目の視線の座標データ、△は、任意秒内の平均の視線の座標データであり、これらのデータがＸＹ平面に表されている。
Next, a method for setting the first threshold by the
第１の設定方法は、取得された複数の視線の座標データから最も外にある点（最外点）をサンプリングし、これに基づき閾値を設定する。具体的には、ＸＹ平面におけるＸ方向の最大、最小の視線データと、Ｙ方向の最大、最小の視線データが抽出される。図の例では、Ｘ方向の最大の視線データＤ、最小の視線データＢ、Ｙ方向の最大の視線データＡ、最小の視線データＣが抽出される。これら４つのＡ、Ｂ、Ｃ、Ｄ点は、最も外にある最外点である。ここでは、左右の視線データを区別することなく最外点が抽出される。 In the first setting method, the outermost point (outermost point) is sampled from the acquired coordinate data of a plurality of lines of sight, and a threshold is set based on this. Specifically, maximum and minimum line-of-sight data in the X direction on the XY plane and maximum and minimum line-of-sight data in the Y direction are extracted. In the example in the figure, the maximum line-of-sight data D in the X direction, the minimum line-of-sight data B, the maximum line-of-sight data A in the Y direction, and the minimum line-of-sight data C are extracted. These four points A, B, C, and D are the outermost points on the outermost side. Here, the outermost point is extracted without distinguishing the left and right line-of-sight data.
閾値設定部２３０は、これら４つの最外点を直線で連結することにより矩形状の２次元領域が閾値として設定される。矩形状の閾値Ｔｈは、図６（Ｂ）に示すように、コーナーを一定の曲率で丸めるようにしてもよい。この設定方法では、最外点に合わせて閾値を設定するため、仮に運転者が対象物を注視しているならば、その視線は、ほぼ閾値の範囲内に包含されるはずであり、それ故、正確に注視判定をすることができる。
The threshold
また、閾値は、必ずしも矩形状である必要はなく、対象物の外形または輪郭に応じた形状にすることもできる。この場合、閾値設定部２３０は、対象物の外形または輪郭の情報を予め取得していることが望ましい。例えば、閾値設定部２３０は、対象物の外形に応じて、４つの最外点を曲線によって連結することも可能である。また、閾値設定部２３０は、対象物が円形であるならば、４つの最外点から３つの最外点を選択し、選択された３つの最外点に外接する円または内接する円を判定閾値とすることができる。また、閾値設定部２３０は、対象物の外形に応じた数の最外点を抽出するようにしてもよく、例えば、対象物が三角形であれば、その三角形に応じた３つの最外点を抽出し、これに基づき閾値を設定するようにしてもよい。さらに上記の方法では、４つの最外点を抽出したが、これに限らず、サンプリングされた５つ以上の座標データまたは全ての座標データを連結することで閾値を設定したり、あるいは最小二乗法などを利用して座標データを包絡するような閾値を設定するようにしてもよい。
Further, the threshold value does not necessarily have to be a rectangular shape, and may be a shape corresponding to the outer shape or contour of the object. In this case, it is desirable that the
次に、第２の閾値の設定方法について図７を参照して説明する。第２の設定方法では、視線データ処理部２２０によって取得された右目と左目の座標データの重心点を複数算出し、算出された重心点を結んだ領域を閾値とする。重心点の算出方法は、任意秒内（例えば、０．５秒内）に取得された右目および左目の座標データの重心点を算出する方法を用いている。つまり、ほぼ同時刻に取得された左右の一対の視線の座標データの重心点が算出される。図７（Ｂ）の例で示せば、時刻ｔ１で取得された一対の視線の座標データの重心点ｐ１が算出され、時刻ｔ２、時刻ｔ３でそれぞれ取得された一対の視線の座標データの重心点ｐ２、ｐ３が算出される。閾値設定部２３０は、このようにして複数の重心点を算出し、算出された重心点を通る範囲を閾値Ｔｈに設定する。なお、閾値Ｔｈは、図７（Ｂ）に示すように、不規則な形状でも良いし、最小二乗法を用いて近似直線または近似曲線を求めても良い。さらには、図６に示したように、複数の重心点から最外点を抽出し、第１の設定方法と同じように閾値を設定してもよい。また、第１ないし第２の設定方法において、例えば図７に示すように、著しく外れた座標データＺが存在する場合、これを異常な座標データＺとして除外してもよい。著しく外れたとは、座標データＺが最も隣接する座標データから一定距離以上離れたことを意味する。このような著しく外れた座標データＺを取り除くことで、座標収束している地点が閾値に反映され、その結果、設定される閾値の精度を高めることができる。
Next, a method for setting the second threshold will be described with reference to FIG. In the second setting method, a plurality of centroid points of the coordinate data of the right eye and the left eye acquired by the line-of-sight
閾値設定部２３０によって設定された閾値は、記憶部１８０に記憶される。例えば、図８に示すように、対象物とそれに対応する閾値とが記憶され、注視判定部２４０は、記憶された閾値を参照し、一定時間内に滞留した視線（すなわち、視線範囲）が閾値内にあれば、当該閾値の対象物が注視されたことが判定される。
The threshold set by the
図９は、本実施例に係る視線検知の動作のフローである。視線検知プログラム２００は、対象物の注視判定を行うための閾値の設定が必要なときに実行される。例えば、車載装置１００の電源が投下されたとき、対象物案内制御部２１０は、対象物案内部１６０を介して対象物をユーザーに視認させるような案内を開始する（Ｓ１００）。この対象物の案内は、運転者からの複数の視線データをサンプリングできるように一定期間行われることが望ましい。
FIG. 9 is a flow of the gaze detection operation according to the present embodiment. The line-of-sight detection program 200 is executed when it is necessary to set a threshold value for performing gaze determination of an object. For example, when the power of the in-vehicle device 100 is turned off, the target object
次に、視線データ処理部２２０は、案内期間中、対象物に関する運転者の視線データを取得する（Ｓ１０２）。次に、閾値設定部２３０は、取得された視線データに基づき対象物の注視判定を行うための仮想平面上の領域を規定する閾値を設定する（Ｓ１０４）。Ｓ１００からＳ１０４の処理については、全ての対象物について実施され（Ｓ１０６）、全ての対象物に関する閾値が設定されると、その設定された閾値が図８に示すようなテーブルに記憶される。
Next, the line-of-sight
以後、注視判定部２４０は、設定された閾値に従い、視線データが取得されたとき、対象物の注視判定を行う（Ｓ１０８）。具体的には、視線の座標データと閾値とを比較し、閾値内に幾つかの座標データが滞留した場合には、対象物を注視していると判定し、そうでなければ、注視していないと判定する。注視判定部２４０の判定結果は、上記したように種々の機能に利用することができ、また、ユーザー入力インターフェースとしての視線入力または視線選択であることができる。視線検知動作は、車載装置１００の電源がオフにされたり、ユーザーから指示があったり、その他、動作が不要とされたとき、終了する（Ｓ１１０）。再度、閾値を設定または更新する場合には、Ｓ１００から処理が開始される。
Thereafter, the
本実施例では、運転者等の生の視線データから注視判定のための範囲を規定する閾値を自動で設定するようにしたので、従来のように開発者が苦労して閾値をチューニングする必要がなくなり、開発の効率化を図ることができる。また、閾値の設定は、任意に行うことができるため、個々のユーザーに応じた閾値を適切なタイミングで設定することができ、ユーザー毎に正確な注視判定を行うことができる。さらに、視線検知センサ１７０の精度に依存することなく、正確な注視判定を行うことができる。
In this embodiment, since the threshold value for defining the range for gaze determination is automatically set from the raw line-of-sight data of the driver or the like, the developer needs to tune the threshold value with difficulty as in the past. Efficient development can be achieved. In addition, since the threshold value can be arbitrarily set, the threshold value corresponding to each user can be set at an appropriate timing, and accurate gaze determination can be performed for each user. Furthermore, accurate gaze determination can be performed without depending on the accuracy of the line-of-
次に、本実施例の第２の実施例について説明する。上記実施例では、対象物の外周に複数のＬＥＤを配置させることで対象物の案内を行ったが、第２の実施例では、対象物が表示機能を有する場合には、その表示機能を利用して案内を行う。図１０（Ａ）は、第２の実施例による対象物の案内例を説明する図である。表示部１４０は、例えば、液晶ディスプレイあるいは有機ＥＬディスプレイから構成され、対象物案内制御部２１０は、対象物案内部１６０を介して対象物の案内を行うとき、表示部１４０の画面の外周に沿ってあたかもＬＥＤが順次点灯または点滅するような視標１４２の画像を表示させる。さらに、図１０（Ｂ）に示すように、表示部１４０の中央部には、「表示部の外周の点滅を追うように見てください」等のメッセージ１４４の画像を表示させるようにしてもよい。
Next, a second embodiment of the present embodiment will be described. In the above embodiment, the object is guided by arranging a plurality of LEDs on the outer periphery of the object. However, in the second embodiment, when the object has a display function, the display function is used. And give guidance. FIG. 10A is a diagram for explaining a guide example of an object according to the second embodiment. The
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。 The preferred embodiment of the present invention has been described in detail above. However, the present invention is not limited to the specific embodiment, and various modifications and variations are possible within the scope of the gist of the invention described in the claims. It can be changed.
１００：車載装置 １１０：入力部
１２０：ナビゲーション部 １３０：マルチメディア再生部
１４０：表示部 １５０：音声出力部
１６０：対象物案内部 １７０：視線検知センサ
１８０：記憶部 １９０：制御部
DESCRIPTION OF SYMBOLS 100: In-vehicle apparatus 110: Input part 120: Navigation part 130: Multimedia reproduction part 140: Display part 150: Audio | voice output part 160: Object guide part 170: Eye-gaze sensor 180: Storage part 190: Control part
Claims (20)
人物の視線方向を検知する検知手段と、
前記案内手段により案内された対象物に関し、前記検知手段により検知された視線方向に基づき対象物の注視判定を行うための範囲を規定する閾値を設定する設定手段と、
前記検知手段により検知された視線方向と前記設定された閾値とを比較し、対象物が注視されているか否かを判定する判定手段とを含む、視線検知装置。 Guidance means for guiding an object to be watched;
A detecting means for detecting a gaze direction of a person;
Setting means for setting a threshold for defining a range for performing gaze determination of the object based on the line-of-sight direction detected by the detection means with respect to the object guided by the guidance means;
A line-of-sight detection apparatus comprising: a determination unit that compares the line-of-sight direction detected by the detection unit with the set threshold value and determines whether or not the object is being watched.
注視の対象となる対象物を案内するステップと、
前記案内された対象物に関し、前記検知手段により検知された視線方向に基づき対象物の注視判定を行うための範囲を規定する閾値を設定するステップと、
前記検知手段により検知された視線方向と前記設定された閾値とを比較し、対象物が注視されているか否かを判定するステップとを含む、視線検知プログラム。 A line-of-sight detection program executed by a line-of-sight detection device including a detection unit for detecting the direction of the line of sight of a person,
A step of guiding an object to be watched;
Regarding the guided object, setting a threshold value that defines a range for performing gaze determination of the object based on the line-of-sight direction detected by the detection unit;
A line-of-sight detection program, comprising: comparing a line-of-sight direction detected by the detection unit with the set threshold value and determining whether or not the object is being watched.
注視の対象となる対象物を案内するステップと、
前記案内された対象物に関し、前記検知手段により検知された視線方向に基づき対象物の注視判定を行うための範囲を規定する閾値を設定するステップと、
前記検知手段により検知された視線方向と前記設定された閾値とを比較し、対象物が注視されているか否かを判定するステップとを含む、視線検知方法。 A line-of-sight detection method in a line-of-sight detection device comprising detection means for detecting the direction of the line of sight of a person,
A step of guiding an object to be watched;
Regarding the guided object, setting a threshold value that defines a range for performing gaze determination of the object based on the line-of-sight direction detected by the detection unit;
A line-of-sight detection method, comprising: comparing the line-of-sight direction detected by the detection unit with the set threshold value and determining whether or not the object is being watched.
The line-of-sight detection method according to claim 18, wherein the setting step sets the left and right line-of-sight directions as a pair of line-of-sight directions, and sets a threshold based on a barycentric point in the pair of line-of-sight directions.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017085072A JP6908339B2 (en) | 2017-04-24 | 2017-04-24 | Line-of-sight detection device, line-of-sight detection program and line-of-sight detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017085072A JP6908339B2 (en) | 2017-04-24 | 2017-04-24 | Line-of-sight detection device, line-of-sight detection program and line-of-sight detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018183249A true JP2018183249A (en) | 2018-11-22 |
| JP6908339B2 JP6908339B2 (en) | 2021-07-28 |
Family
ID=64357255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017085072A Active JP6908339B2 (en) | 2017-04-24 | 2017-04-24 | Line-of-sight detection device, line-of-sight detection program and line-of-sight detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6908339B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020116778A (en) * | 2019-01-21 | 2020-08-06 | キヤノン株式会社 | Image formation apparatus |
| JP2021047771A (en) * | 2019-09-20 | 2021-03-25 | キヤノン株式会社 | Controller, imaging device, method for control, and program |
| WO2024076039A1 (en) * | 2022-10-06 | 2024-04-11 | 재단법인 아산사회복지재단 | Haptic feedback device and method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002301030A (en) * | 2001-04-09 | 2002-10-15 | Canon Inc | Equipment to detect sight line |
| JP2008212718A (en) * | 2008-05-15 | 2008-09-18 | Eyemetrics Japan Co Ltd | Visual field detection system |
| JP2009183473A (en) * | 2008-02-06 | 2009-08-20 | Denso Corp | Visual line direction detection device, and visual line direction detection method |
| JP2011090702A (en) * | 2006-07-18 | 2011-05-06 | Advanced Telecommunication Research Institute International | Sight line direction estimating device, sight line direction estimating method, and program for executing the sight line direction estimating method by computer |
| JP2011116248A (en) * | 2009-12-03 | 2011-06-16 | Honda Motor Co Ltd | Gaze determination device |
| JP2012187190A (en) * | 2011-03-09 | 2012-10-04 | Fujitsu Ltd | Visual line detection device and visual line detection method |
-
2017
- 2017-04-24 JP JP2017085072A patent/JP6908339B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002301030A (en) * | 2001-04-09 | 2002-10-15 | Canon Inc | Equipment to detect sight line |
| JP2011090702A (en) * | 2006-07-18 | 2011-05-06 | Advanced Telecommunication Research Institute International | Sight line direction estimating device, sight line direction estimating method, and program for executing the sight line direction estimating method by computer |
| JP2009183473A (en) * | 2008-02-06 | 2009-08-20 | Denso Corp | Visual line direction detection device, and visual line direction detection method |
| JP2008212718A (en) * | 2008-05-15 | 2008-09-18 | Eyemetrics Japan Co Ltd | Visual field detection system |
| JP2011116248A (en) * | 2009-12-03 | 2011-06-16 | Honda Motor Co Ltd | Gaze determination device |
| JP2012187190A (en) * | 2011-03-09 | 2012-10-04 | Fujitsu Ltd | Visual line detection device and visual line detection method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020116778A (en) * | 2019-01-21 | 2020-08-06 | キヤノン株式会社 | Image formation apparatus |
| JP7277151B2 (en) | 2019-01-21 | 2023-05-18 | キヤノン株式会社 | image forming device |
| JP2021047771A (en) * | 2019-09-20 | 2021-03-25 | キヤノン株式会社 | Controller, imaging device, method for control, and program |
| WO2024076039A1 (en) * | 2022-10-06 | 2024-04-11 | 재단법인 아산사회복지재단 | Haptic feedback device and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6908339B2 (en) | 2021-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9383579B2 (en) | Method of controlling a display component of an adaptive display system | |
| KR101596751B1 (en) | Method and apparatus for displaying blind spot customized by driver | |
| EP3040809B1 (en) | Method and system for controlling a human-machine interface having at least two displays | |
| US9043042B2 (en) | Method to map gaze position to information display in vehicle | |
| US10466800B2 (en) | Vehicle information processing device | |
| US11524578B2 (en) | Control method and control device for vehicle display device | |
| US9696814B2 (en) | Information processing device, gesture detection method, and gesture detection program | |
| CN104765445A (en) | Eye vergence detection on display | |
| US9678343B2 (en) | Method for operating virtual reality glasses and system with virtual reality glasses | |
| JP4497305B2 (en) | Driver status determination device | |
| US20110249868A1 (en) | Line-of-sight direction determination device and line-of-sight direction determination method | |
| JP2012003764A (en) | Reconfiguration of display part based on face tracking or eye tracking | |
| JPWO2015125243A1 (en) | Display control device, display control method for display control device, gaze direction detection system, and calibration control method for gaze direction detection system | |
| US20160077651A1 (en) | Head-mounted display controlled by tapping, method for controlling the same and computer program product for controlling the same | |
| EP3654143B1 (en) | Method, apparatus and system for determining line of sight, and wearable eye movement device | |
| JP6558770B2 (en) | Projection display device, projection display method, and projection display program | |
| CN107010077B (en) | Method for transmitting information to a driver of a motor vehicle and adaptive driver assistance system | |
| JP2018183249A (en) | Visual line detection device, visual line detection program, and visual line detection method | |
| JP2008079737A (en) | Concentration degree evaluating apparatus and display device for vehicle equipped with the same | |
| JP2009183473A (en) | Visual line direction detection device, and visual line direction detection method | |
| KR20210113070A (en) | Attention-based notifications | |
| US20130187845A1 (en) | Adaptive interface system | |
| JP5644414B2 (en) | Awakening level determination device, awakening level determination method, and program | |
| JP6348191B2 (en) | Electronics | |
| US9798941B2 (en) | Driver visual sensor behavior study device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210630 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210630 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6908339 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |