JP2007280352A - Sight direction determination apparatus - Google Patents

Sight direction determination apparatus Download PDF

Info

Publication number
JP2007280352A
JP2007280352A JP2006281752A JP2006281752A JP2007280352A JP 2007280352 A JP2007280352 A JP 2007280352A JP 2006281752 A JP2006281752 A JP 2006281752A JP 2006281752 A JP2006281752 A JP 2006281752A JP 2007280352 A JP2007280352 A JP 2007280352A
Authority
JP
Japan
Prior art keywords
line
sight direction
sight
distance
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006281752A
Other languages
Japanese (ja)
Inventor
Kenichi Ogami
健一 大上
Seiki Moriizumi
清貴 森泉
Tatsuhiro Okawa
達大 大川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006281752A priority Critical patent/JP2007280352A/en
Publication of JP2007280352A publication Critical patent/JP2007280352A/en
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Seats For Vehicles (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a sight direction determination apparatus that can accurately determine the direction of a driver's face. <P>SOLUTION: The sight direction determination apparatus 1 for determining the sight direction of a person sitting in a seat 3, 5, 6 has a head distance detection means 30 for detecting a head distance between the person's head and a headrest 5, and a sight direction determination means 20 for determining the person's sight direction according to the head distance detected by the head distance detection means 30. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、車両の乗員の視線方向を判定する視線方向判定装置に関する。   The present invention relates to a gaze direction determination device that determines a gaze direction of a vehicle occupant.

運転者の顔をカメラで撮影し、撮影により得られた画像データを処理することで運転者の顔向きを検出して運転者の脇見運転など行動を監視する運転支援の方法が提案されている。人の顔は、目や鼻などの決まった部位が決まった位置に配置されるため、画像データを利用する方法では、撮影された運転者の顔の画像からテンプレートマッチングにより目や鼻などの位置を検出する（例えば、特許文献１参照。）。そして、目や鼻の間の距離の変化に基づき顔の向きを検出する。   A driving support method has been proposed in which a driver's face is photographed with a camera, and the driver's face orientation is detected by processing the image data obtained by the photographing, thereby monitoring the driver's behavior such as driving aside. . Since human faces are placed at fixed positions such as the eyes and nose, in the method using image data, the positions of the eyes and nose are determined by template matching from the image of the driver's face taken. (For example, refer to Patent Document 1). Then, the face orientation is detected based on a change in the distance between the eyes and the nose.

特許文献１の顔の向きの検出方法では、運転者が正面を向いた状態の画像を基にして運転者の顔の様々な方向の顔モデル群を生成しておき、以降は、顔モデル群の顔画像を循環的に入力し、撮影される画像から顔モデル群と最もよく一致する顔モデルを選択することで、運転者の顔向き方向を検出する。
特開２００３−３０８５３３号公報 In the face orientation detection method of Patent Document 1, face model groups in various directions of the driver's face are generated based on an image of the driver facing the front, and thereafter, the face model group The face direction of the driver is detected by cyclically inputting the face image and selecting the face model that best matches the face model group from the captured image.
JP 2003-308533 A

しかしながら、特許文献１記載の顔向き方向の検出のようにカメラにより運転者の顔を撮影して、目、鼻等の顔の部位に基づいて顔の向きを検出する場合、顔の全体が撮影されないと顔の向きを精度よく検出できないことがある。例えば、運転者が帽子をかぶっている場合、前髪が長い場合、又は、サングラスをかけている場合等では、顔の向きを検出しにくい。   However, when the face of the driver is photographed by a camera as in the detection of the face direction described in Patent Document 1, and the face orientation is detected based on the face part such as eyes and nose, the entire face is photographed. Otherwise, the face orientation may not be detected accurately. For example, when the driver is wearing a hat, when the bangs are long, or when wearing sunglasses, the face orientation is difficult to detect.

また、運転者が左右に大きく顔を向けて９０度近く横を向いてしまうと顔向き方向を検出することができない。また、運転者の体格やシートポジション、ステアリングポジションによって、カメラと顔の位置関係が変化するため、運転者とカメラとが適切な位置関係にないと顔の向きを正しく検出できない場合がある。   Also, if the driver turns to the left and right and faces nearly 90 degrees, the face direction cannot be detected. Further, since the positional relationship between the camera and the face changes depending on the driver's physique, seat position, and steering position, the face orientation may not be detected correctly unless the driver and the camera are in an appropriate positional relationship.

さらに、カメラにより運転者を撮影する場合、夜間でも撮影を可能としたり画像解析装置を必要とするため、撮影装置がコスト高となるという問題もある。   Furthermore, when a driver is photographed by a camera, photographing is possible even at night or an image analysis device is required, which causes a problem that the photographing device is expensive.

本発明は、上記課題に鑑み、運転者の顔の向きを精度よく判定可能な視線方向判定装置を提供することを目的とする。   In view of the above problems, an object of the present invention is to provide a gaze direction determination device that can accurately determine the orientation of a driver's face.

上記課題に鑑み、本発明は、シートの着座者の視線方向を判定する視線方向判定装置において、着座者の頭部とヘッドレストとの間の頭部距離を検出する頭部距離検出手段（例えば、距離センサ５０）と、頭部距離検出手段により検出された頭部距離に基づき前記着座者の視線方向を判定する視線方向判定手段と、を有することを特徴とする。   In view of the above problems, the present invention provides a head distance detection unit (for example, a head distance detection unit) that detects a head distance between a head of a seated person and a headrest in a gaze direction determination apparatus that determines a gaze direction of a seated person. A distance sensor 50) and line-of-sight direction determining means for determining the line-of-sight direction of the seated person based on the head distance detected by the head distance detecting means.

本発明によれば、運転者の顔の向きを精度よく判定可能な視線方向判定装置を提供することができる。カメラにより撮影した顔の画像を用いずに視線方向を判定するので、運転者の髪型等に影響されずに安定して視線方向を判定することができる。   ADVANTAGE OF THE INVENTION According to this invention, the gaze direction determination apparatus which can determine the direction of a driver | operator's face accurately can be provided. Since the line-of-sight direction is determined without using the face image captured by the camera, the line-of-sight direction can be determined stably without being influenced by the driver's hairstyle or the like.

また、本発明の一形態において、着座者の肩部とシートバックとの間の肩部距離を検出する肩部距離検出手段（例えば、距離センサ３０）を有し、視線方向判定手段は、肩部距離検出手段により検出された肩部距離に基づき前記着座者の視線方向を判定する、ことを特徴とする。   In one embodiment of the present invention, there is a shoulder distance detecting means (for example, a distance sensor 30) for detecting a shoulder distance between the shoulder of the seated person and the seat back, and the line-of-sight direction determining means includes The line-of-sight direction of the seated person is determined based on the shoulder distance detected by the part distance detecting means.

本発明によれば、肩部とシートバックとの距離を検出することで、大きな視線移動を検出できる。   According to the present invention, a large line-of-sight movement can be detected by detecting the distance between the shoulder and the seat back.

また、本発明は、シートの着座者の視線方向を判定する視線方向判定装置において、着座者の頭部の位置に応じて静電容量の値が変化するヘッドレストに設けられた静電容量センサと、静電容量センサにより検出された静電容量の値に基づき、着座者の第１視線方向（例えば、静電視線方向）を判定する視線方向判定手段と、を有することを特徴とする。   In addition, the present invention provides a gaze direction determination device that determines a gaze direction of a seated occupant, and a capacitance sensor provided on a headrest whose capacitance value changes in accordance with the position of the head of the occupant. And gaze direction determining means for determining the first gaze direction (for example, electrostatic gaze direction) of the seated person based on the capacitance value detected by the capacitance sensor.

本発明によれば、カメラにより撮影した顔の画像を用いずに視線方向を判定するので、運転者の髪型等に影響されずに安定して視線方向を判定することができる。また、顔の画像では検出の困難な比較的大きく視線を横に向けた場合でも視線方向を判定できる。また、後方衝突時に運転者の頸部を保護する装置を備えていれば、新たな部品を追加することなく、又は、そのような装置を備えていなくても静電容量センサをヘッドレストに追加するだけで構成できるので、カメラを用いて視線方向を検出するよりもコストを低減できる。   According to the present invention, since the line-of-sight direction is determined without using the face image captured by the camera, the line-of-sight direction can be determined stably without being affected by the driver's hairstyle or the like. In addition, it is possible to determine the direction of the line of sight even when the line of sight is turned to be relatively large, which is difficult to detect in the face image. Moreover, if a device for protecting the driver's neck at the time of a rear collision is provided, a capacitance sensor is added to the headrest without adding new parts or even without such a device. Therefore, the cost can be reduced as compared with the case where the line-of-sight direction is detected using a camera.

また、本発明の一形態において、静電容量センサの値に基づきヘッドレストを前方向へ移動させるヘッドレスト駆動機構と、後方から接近する後方車両を検出する衝突検知手段と、衝突検知手段が検出した後方車両との衝突予測に基づき、ヘッドレスト駆動機構を作動させる制御部と、着座者の顔画像を撮影する撮影手段と、顔画像の対称性から運転者の第２視線方向（例えば、画像視線方向）を検出する画像処理手段と、を有し、視線方向判定手段は、第２視線方向が所定以上の場合、第１視線方向を着座者の視線方向と判定する、ことを特徴とする。   In one embodiment of the present invention, a headrest driving mechanism that moves the headrest forward based on the value of the capacitance sensor, a collision detection unit that detects a rear vehicle approaching from behind, and a rear that is detected by the collision detection unit Based on the prediction of a collision with the vehicle, a control unit that activates the headrest drive mechanism, a photographing unit that captures the face image of the seated person, and the second line-of-sight direction of the driver (for example, the line-of-sight direction) And a line-of-sight direction determining unit that determines the first line-of-sight direction as the line-of-sight direction of the seated person when the second line-of-sight direction is equal to or greater than a predetermined value.

本発明によれば、画像視線方向が検出できる場合は、分解能や精度に優れた画像視線方向を視線方向として決定でき、顔画像では検出困難な視線方向になると、静電視線方向を視線方向として決定するので正面方向から大きく横を向いた場合まで視線方向を確実に検出できる。   According to the present invention, when the image line-of-sight direction can be detected, the image line-of-sight direction with excellent resolution and accuracy can be determined as the line-of-sight direction. Since it is determined, it is possible to reliably detect the line-of-sight direction until it is greatly turned sideways from the front direction.

運転者の顔の向きを精度よく判定可能な視線方向判定装置を提供することができる。   It is possible to provide a gaze direction determination device capable of accurately determining the direction of the driver's face.

以下、本発明を実施するための最良の形態を、図面を参照しながら実施例を挙げて説明する。本実施の形態の視線方向判定装置は、運転席のヘッドレスト及びシートバック（以下、単にシートという場合がある）に運転者との距離を測定する距離センサを設け、検出された運転者とシートとの距離に基づき運転者の視線方向を判定する。以下では運転席を対象に説明するが、他の着座シートにも同様に適用できる。また、視線方向とは厳密には眼球が向いている方向を言うが、本実施形態では顔が向いた方向を視線方向と称する。   Hereinafter, the best mode for carrying out the present invention will be described with reference to the accompanying drawings. The line-of-sight direction determination apparatus according to the present embodiment includes a distance sensor that measures the distance to the driver on the headrest and seat back of the driver seat (hereinafter sometimes simply referred to as a seat), and the detected driver and seat The direction of the driver's line of sight is determined based on the distance. In the following description, the driver's seat will be described, but the present invention can be similarly applied to other seats. Strictly speaking, the line-of-sight direction refers to the direction in which the eyeball faces, but in this embodiment, the direction in which the face faces is referred to as the line-of-sight direction.

図１は距離センサが内設されたシートの斜視図を示す。シートクッション６は車床に設置され、シートクッション６の後方端部に揺動可能なシートバック３が設けられている。また、シートバック３の上側にはシートバック３に略平行に上下動するヘッドレスト５が設けられている。   FIG. 1 is a perspective view of a seat in which a distance sensor is installed. The seat cushion 6 is installed on the vehicle floor, and a swingable seat back 3 is provided at the rear end of the seat cushion 6. A headrest 5 that moves up and down substantially parallel to the seat back 3 is provided above the seat back 3.

シートクッション６の内部には、運転者の着座を検出する着座スイッチ９が配置されている。また、シートバック３及びヘッドレスト５は表面に凹部を有しそこに距離センサ３０及び５０が配置される。着座スイッチ９は例えば圧電素子で構成されるが、距離センサ３０又は５０により兼用してもよい。   A seat switch 9 for detecting the driver's seating is disposed inside the seat cushion 6. Further, the seat back 3 and the headrest 5 have concave portions on the surfaces, and the distance sensors 30 and 50 are disposed there. The seating switch 9 is composed of a piezoelectric element, for example, but may be shared by the distance sensor 30 or 50.

距離センサ５０はヘッドレスト５の車幅方向に略一列に複数並設されている。同様に、距離センサ３０はシートバック３の車幅方向に略一列に複数併設されている。なお、距離センサ３０又は５０の配置は図１に限られるものではなく、ヘッドレスト５とシートバック３にそれぞれ２列に配置してもよいし、シート全面に配置してもよい。   A plurality of distance sensors 50 are arranged in a line in the vehicle width direction of the headrest 5 in a substantially line. Similarly, a plurality of distance sensors 30 are provided in a line in the vehicle width direction of the seat back 3. The arrangement of the distance sensors 30 or 50 is not limited to that shown in FIG. 1, and the distance sensors 30 and 50 may be arranged in two rows on the headrest 5 and the seat back 3 or on the entire surface of the seat.

距離センサ３０及び５０は超音波の発信部と受信部とを備え、発信部から送信された超音波が障害物に反射して受信部で受信されるまでの時間に応じて、障害物までの距離を検出する。距離センサ３０及び５０は、それぞれが独立に障害物までの距離を検出する。なお、距離センサ３０及び５０は、光（レーザ）センサにより構成してもよい。   The distance sensors 30 and 50 include an ultrasonic transmission unit and a reception unit, and the ultrasonic wave transmitted from the transmission unit is reflected on the obstacle and is received by the reception unit. Detect distance. The distance sensors 30 and 50 each independently detect the distance to the obstacle. The distance sensors 30 and 50 may be configured by light (laser) sensors.

図２（ａ）は運転者２が着座した状態のシートの側面図を、図２（ｂ）は平面図をそれぞれ示す。図２（ａ）に示すように、ヘッドレスト５に設けられた距離センサ５０は運転者２の頭部までの距離を計測し、シートバック３に設けられた距離センサ３０は運転者２の肩部までの距離を検出する。   FIG. 2A shows a side view of the seat in a state where the driver 2 is seated, and FIG. 2B shows a plan view. As shown in FIG. 2A, the distance sensor 50 provided on the headrest 5 measures the distance to the head of the driver 2, and the distance sensor 30 provided on the seat back 3 is the shoulder of the driver 2. The distance to is detected.

運転者２の後頭部の形状は略円弧状である。したがって、図２（ｂ）に示すように運転者２の頭部が正面方向を向いている場合、車幅方向の略中央で最も運転者２の頭部との距離が小さくなり、中央から右又は左に離れるにつれて運転者２の頭部との距離が大きくなる。   The shape of the occipital region of the driver 2 is a substantially arc shape. Therefore, as shown in FIG. 2 (b), when the head of the driver 2 is facing the front, the distance from the head of the driver 2 is the smallest at the approximate center in the vehicle width direction, and the right from the center. Alternatively, the distance from the driver 2's head increases with increasing distance to the left.

運転者２の頭部が左右いずれかを向けば、中央より右及び左の距離センサ５０が検出する距離が変動して、運転者２が右又は左に視線移動したことが検出される。   When the driver's 2 head is directed to the left or right, the distance detected by the right and left distance sensors 50 from the center changes, and it is detected that the driver 2 has moved to the right or left.

また、運転者２の肩部の形状は、平面視、略直方体としてよい。したがって、運転者２の肩部が正面方向を向いている場合、シートバック３から運転者２の肩部までの距離は、略均一となる。   Further, the shape of the shoulder portion of the driver 2 may be a substantially rectangular parallelepiped in plan view. Therefore, when the shoulder portion of the driver 2 faces the front direction, the distance from the seat back 3 to the shoulder portion of the driver 2 is substantially uniform.

運転者２の肩部が左右いずれかを向けば、中央より右及び左の距離センサ３０が検出する距離が変動して、運転者２の肩部が右又は左を向いていることが検出される。   If the shoulder of the driver 2 is directed to the left or right, the distance detected by the right and left distance sensors 30 from the center varies, and it is detected that the shoulder of the driver 2 faces right or left. The

なお、シートバック３に設けられた距離センサ３０は圧電素子で構成してもよい、圧電素子の場合、肩部とシートバック３との距離を検出することは困難であるが、運転者２の背部のどの部分がシートバック３に触れているかにより肩部の向きを検出できる。圧電素子は超音波センサと比較しても低コストであるので、バックシート３の全面に配置してもよい。   The distance sensor 30 provided in the seat back 3 may be configured by a piezoelectric element. In the case of a piezoelectric element, it is difficult to detect the distance between the shoulder and the seat back 3, but the driver 2 The direction of the shoulder can be detected based on which part of the back is in contact with the seat back 3. Since the piezoelectric element is less expensive than the ultrasonic sensor, it may be disposed on the entire back sheet 3.

ところで、運転者２の体型は様々であるが、ヘッドレスト５の距離センサ５０が運転者２の頭部と対向して頭部との距離を正確に測定できることが好ましい。このため、本実施の形態のシートは、後述するように、頭部との距離を計測しながらヘッドレスト５の位置を決定する駆動装置（モータ）１４をシートバック３の内部に備える。   By the way, although the driver's 2 body shape is various, it is preferable that the distance sensor 50 of the headrest 5 can oppose the driver | operator's 2 head and can measure the distance with a head correctly. For this reason, as will be described later, the seat according to the present embodiment includes a driving device (motor) 14 that determines the position of the headrest 5 while measuring the distance from the head.

図３は視線方向判定装置１の機能ブロック図を示す。視線方向判定装置１は視線方向ＥＣＵ１１により制御される。視線方向ＥＣＵ１１にはヘッドレスト５の距離センサ５０、シートバック３の距離センサ３０、警報装置１２及び駆動回路１３が接続されている。   FIG. 3 shows a functional block diagram of the gaze direction determining apparatus 1. The line-of-sight direction determination device 1 is controlled by the line-of-sight direction ECU 11. A distance sensor 50 for the headrest 5, a distance sensor 30 for the seat back 3, an alarm device 12, and a drive circuit 13 are connected to the line-of-sight direction ECU 11.

視線方向ＥＣＵ１１は、プログラムを実行するＣＰＵ、プログラム実行の作業領域となり又は一時的にデータを記憶するＲＡＭ、イグニションオフしてもデータを保持するＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）、データの入力や他のＥＣＵとのインターフェイスとなる入出力インターフェイス、他のＥＣＵと通信する通信コントローラ、及び、プログラムを記憶するＲＯＭ等がバスにより接続されたマイコンにより構成される。ＣＰＵがプログラムを実行することで、運転者２の頭部とヘッドレスト５の距離及び肩部とシートバック３との距離に基づき視線方向を判定する視線方向判定手段２０を実現する。   The line-of-sight ECU 11 is a CPU that executes a program, a RAM that becomes a work area for program execution or temporarily stores data, an EEPROM (Electronically Erasable and Programmable Read Only Memory) that retains data even when the ignition is turned off, and data input And an input / output interface serving as an interface with other ECUs, a communication controller that communicates with other ECUs, a ROM that stores programs, and the like are configured by a microcomputer connected by a bus. When the CPU executes the program, the line-of-sight direction determination means 20 that determines the line-of-sight direction based on the distance between the head of the driver 2 and the headrest 5 and the distance between the shoulder and the seat back 3 is realized.

視線方向判定手段２０は、ヘッドレスト５の距離センサ５０、シートバック３の距離センサ３０が検出した距離に基づき運転者２の様々な視線方向を判定する。図４（ａ）は運転者２が正面方向を向いている場合に距離センサ５０が検出する距離を示す。簡単のために、ヘッドレスト５には３つの距離センサ５０ａ、５０ｂ、５０ｃを示した。   The line-of-sight direction determination means 20 determines various line-of-sight directions of the driver 2 based on the distances detected by the distance sensor 50 of the headrest 5 and the distance sensor 30 of the seat back 3. FIG. 4A shows the distance detected by the distance sensor 50 when the driver 2 is facing the front direction. For simplicity, the headrest 5 is shown with three distance sensors 50a, 50b, 50c.

視線方向判定手段２０は距離センサ５０が検出する頭部との距離に基づき運転者２の頭部の向きを示す平面ｈを仮定する。運転者２が正面を向いている場合、距離センサ５０ｂにより検出される距離Ｌｂ０が最も小さくなり、左右の距離センサ５０ａ、５０ｃにより検出される距離Ｌａ０、Ｌｃ０が同程度となる。   The line-of-sight direction determination means 20 assumes a plane h indicating the direction of the head of the driver 2 based on the distance from the head detected by the distance sensor 50. When the driver 2 is facing the front, the distance Lb0 detected by the distance sensor 50b is the smallest, and the distances La0 and Lc0 detected by the left and right distance sensors 50a and 50c are approximately the same.

したがって、距離センサ５０ａ、５０ｂ、５０ｃが検出する距離が図４（ａ）のように正面方向を向いていることを示す場合、平面ｈの法線は正面を向いた状態となり、運転者２の視線方向も正面を向いているとして判定する。   Therefore, when the distances detected by the distance sensors 50a, 50b, and 50c indicate that the distance is facing the front as shown in FIG. 4A, the normal line of the plane h is facing the front, and the driver 2 It is determined that the line-of-sight direction is also facing the front.

図４（ｂ）は運転者２が右方向を向いている場合に距離センサ５０が検出する距離を示す図である。運転者２が右方向を向いているため、距離センサ５０ｃが検出する距離ＬｃはＬｃ０よりも短くなり、距離センサ５０ａが検出する距離ＬａはＬａ０よりも長くなり、距離センサ５０ｂが検出する距離ＬｂはＬｂａ０よりも長くなっている。   FIG. 4B is a diagram illustrating the distance detected by the distance sensor 50 when the driver 2 is facing the right direction. Since the driver 2 faces rightward, the distance Lc detected by the distance sensor 50c is shorter than Lc0, the distance La detected by the distance sensor 50a is longer than La0, and the distance Lb detected by the distance sensor 50b. Is longer than Lba0.

したがって、視線方向判定手段２０は、距離センサ５０ａ、５０ｂ、５０ｃが検出する距離が図４（ｂ）のように右向きであることを示す場合、平面ｈの法線は右方向を向いた状態として扱い、運転者２の視線方向も右方向を向いていると判定する。また、視線方向判定手段２０は距離Ｌｃが小さいほど又は距離Ｌａが大きいほど運転者２の視線は大きく右方向を向いていると判定する。   Accordingly, the line-of-sight direction determination means 20 assumes that the normal of the plane h faces the right direction when the distances detected by the distance sensors 50a, 50b, and 50c indicate the right direction as shown in FIG. 4B. It is determined that the line-of-sight direction of the driver 2 is also facing the right direction. Further, the line-of-sight direction determination unit 20 determines that the line of sight of the driver 2 is larger in the right direction as the distance Lc is smaller or the distance La is larger.

また、視線方向判定手段２０が、予め、運転者２の視線方向と距離Ｌａ、Ｌｂ、Ｌｃとの関係を保持している場合、視線方向判定手段２０は、距離Ｌａ、Ｌｂ、Ｌｃに基づき運転者２の視線方向を精度よく検出することができる。   Further, when the line-of-sight direction determination unit 20 holds the relationship between the line-of-sight direction of the driver 2 and the distances La, Lb, and Lc in advance, the line-of-sight direction determination unit 20 drives based on the distances La, Lb, and Lc. The line-of-sight direction of the person 2 can be detected with high accuracy.

同様にして、シートバック３の距離センサ３０により、運転者２の肩部の向きを示す平面ｂを仮定し、平面ｂの法線の方向により肩部の向きを判定できる。   Similarly, the distance sensor 30 of the seat back 3 assumes a plane b indicating the direction of the shoulder of the driver 2 and can determine the direction of the shoulder from the normal direction of the plane b.

車両を走行中、運転者２は小さな視線移動であれば頭部のみを動かし、大きな視線移動であれば頭部と共に肩部を動かして視線方向に向けるので、小さな視線移動は頭部の距離から判定し、大きな視線移動は頭部の距離及び肩部の距離から判定できる。   While driving the vehicle, the driver 2 moves only the head if the eye movement is small, and if the eye movement is large, the driver 2 moves the shoulder together with the head to face the eye direction. Judgment can be made from the distance of the head and the distance of the shoulder.

図４（ｃ）は視線移動が小さい場合の平面ｈ及び平面ｂの向きを示す。図４（ｃ）では頭部の向きを示す平面ｈの法線が正面に対しθの角度となっているが、肩部の向きを示す平面ｂの法線は正面と略平行のままである。このように、小さな視線移動であれば頭部までの距離により判定できる。   FIG. 4C shows the directions of the plane h and the plane b when the line-of-sight movement is small. In FIG. 4C, the normal of the plane h indicating the orientation of the head is an angle θ with respect to the front, but the normal of the plane b indicating the orientation of the shoulder remains substantially parallel to the front. . Thus, if it is a small line of sight movement, it can be determined from the distance to the head.

また、図４（ｄ）は頭部及び肩部が９０度右方向を向いている場合の平面ｈ及び平面ｂの向きを示す。肩部が９０度右方向を向いている場合、略中央の距離センサ３０が最も小さい距離を検出し、中央より左又は右の距離センサ３０は障害物を検出しない状態となる。距離センサ３０がこのような距離を検出する場合、視線方向判定手段２０は平面ｂの法線が正面に対し９０度右を向いたものとして扱う。このように、視線方向判定装置１は視線方向が９０度右又は左方向を向いても視線方向を判定できる。   FIG. 4D shows the orientation of the plane h and the plane b when the head and shoulders are oriented 90 degrees to the right. When the shoulder portion faces 90 degrees to the right, the distance sensor 30 at the substantially center detects the smallest distance, and the distance sensor 30 on the left or right of the center does not detect an obstacle. When the distance sensor 30 detects such a distance, the line-of-sight direction determination unit 20 treats the normal line of the plane b as being directed to the right by 90 degrees with respect to the front surface. Thus, the gaze direction determination apparatus 1 can determine the gaze direction even when the gaze direction is directed 90 degrees right or left.

また、運転者２が９０度以上、視線方向を向けた場合（後ろ方向を向いた場合）、図４（ｄ）の状態から徐々に、中央より左及び右の距離センサ３０が肩部を検出し始める。したがって、図４（ｄ）に至るまでの距離センサ３０のそれぞれが検出する距離の遷移を利用することで、９０度以上の視線方向を検出できる。   Further, when the driver 2 turns the line of sight 90 degrees or more (when facing the rear direction), the distance sensor 30 on the left and right from the center gradually detects the shoulder from the state of FIG. 4 (d). Begin to. Therefore, the line-of-sight direction of 90 degrees or more can be detected by using the transition of the distance detected by each of the distance sensors 30 up to FIG.

運転者２が下方向又は上方向を向いた場合について説明する。図５（ａ）は、運転者２が下方向を向いた場合のシートに対する頭部及び肩部の関係を示す。運転者２が下を向くと、運転者２の頭部はシートから離れる方向に移動する。したがって、視線方向判定手段２０は、ヘッドレスト５の距離センサ５０が検出する距離が、車幅方向の全体に渡って大きくなった場合、運転者２が下方向を向いていると判定する。また、検出される距離が大きければ下向き角度も大きいものとして検出する。   A case where the driver 2 faces downward or upward will be described. FIG. 5A shows the relationship between the head and shoulders with respect to the seat when the driver 2 faces downward. When the driver 2 faces down, the head of the driver 2 moves in a direction away from the seat. Accordingly, the line-of-sight direction determination means 20 determines that the driver 2 is facing downward when the distance detected by the distance sensor 50 of the headrest 5 increases over the entire vehicle width direction. If the detected distance is large, the downward angle is also detected as being large.

なお、単に下方向を向く場合、運転者２は首を中心に頭部のみを下方向に向けるため、シートバック３の距離センサ３０は距離の変化を検出しない。   When the driver 2 simply faces downward, the driver 2 directs only the head downward with the neck as the center, so the distance sensor 30 of the seat back 3 does not detect a change in distance.

図５（ｂ）は、運転者２が正面方向を向いている場合における、頭部の向きを示す平面ｈと肩部の向きを示す平面ｂの側面視を示す。図５（ｂ）に示すように、運転者２が正面方向を向いている場合、平面ｈ及び平面ｂの法線は共に正面方向を向いている。   FIG. 5B shows a side view of the plane h indicating the direction of the head and the plane b indicating the direction of the shoulder when the driver 2 is facing the front direction. As shown in FIG. 5B, when the driver 2 is facing the front direction, the normal lines of the plane h and the plane b are both facing the front direction.

図５（ｃ）は運転者２が下方向を向いている場合における、頭部の向きを示す平面ｈと肩部の向きを示す平面ｂの側面視を示す。下方向を向いている場合、頭部の向きを示す平面ｈの法線が下方向を向いている。   FIG.5 (c) shows the side view of the plane h which shows the direction of a head, and the plane b which shows the direction of a shoulder part when the driver | operator 2 faces downward. When facing downward, the normal line of the plane h indicating the orientation of the head faces downward.

運転者２が上を向くと、運転者２の頭部及び肩部はシートに近づく方向に移動する。したがって、視線方向判定手段２０は、ヘッドレスト５の距離センサ５０が検出する距離が、車幅方向の全体に渡って小さくなった場合、運転者２が上方向を向いていると判定する。また、検出される距離が小さければ上向き角度も大きいものとして検出する。   When the driver 2 faces upward, the head and shoulders of the driver 2 move in a direction approaching the seat. Therefore, the line-of-sight direction determination means 20 determines that the driver 2 is facing upward when the distance detected by the distance sensor 50 of the headrest 5 is reduced over the entire vehicle width direction. If the detected distance is small, the upward angle is detected as being large.

なお、単に上方向を向く場合、運転者２は首を中心に頭部のみを上方向に向けるため、シートバック３の距離センサ３０は距離の変化を検出しない。   When the driver 2 simply faces upward, the distance sensor 30 of the seat back 3 does not detect a change in distance because the driver 2 directs only the head centering on the neck.

図５（ｄ）は運転者２が上方向を向いている場合における、頭部の向きを示す平面ｈと肩部の向きを示す平面ｂの側面視を示す。上方向を向いている場合、頭部の向きを示す平面ｈの法線が上方向を向いている。   FIG. 5D shows a side view of a plane h indicating the direction of the head and a plane b indicating the direction of the shoulder when the driver 2 is facing upward. When facing upward, the normal line of the plane h indicating the orientation of the head is facing upward.

また、運転者２がインストルメントパネルのボタン類を操作する場合、運転者２の身体はシートバック３から離れる場合が多い。したがって、視線方向判定手段２０は、ヘッドレスト５の距離センサ５０及びシートバック３の距離センサ３０が検出する距離が、車幅方向の全体に渡って大きくなる場合、運転者２がインストルメントパネルのボタン類を操作していると検出する。   Further, when the driver 2 operates the buttons on the instrument panel, the body of the driver 2 often leaves the seat back 3. Therefore, when the distances detected by the distance sensor 50 of the headrest 5 and the distance sensor 30 of the seat back 3 become large over the entire vehicle width direction, the line-of-sight direction determination means 20 Detects that you are operating a class.

図５（ｅ）は運転者２がインストルメントパネルを操作している場合における、頭部の向きを示す平面ｈと肩部の向きを示す平面ｂの側面視を示す。インストルメントパネルを操作している場合、頭部の向きを示す平面ｈの法線が下方向を向くと共に肩部の向きを示す平面ｂがシートバック３から離れる。   FIG.5 (e) shows the side view of the plane h which shows the direction of the head, and the plane b which shows the direction of a shoulder part when the driver | operator 2 is operating the instrument panel. When operating the instrument panel, the normal line of the plane h indicating the direction of the head is directed downward, and the plane b indicating the direction of the shoulder is separated from the seat back 3.

なお、運転者２の視線方向として左右方向及び上下方向をそれぞれ別個に説明したが、運転者２が右上方向や左下方向等に向いた場合、ヘッドレスト５の距離センサ５０及びシートバック３の距離センサ３０が検出する頭部及び肩部との距離に基づき検出できる。   In addition, although the left-right direction and the up-down direction were each demonstrated separately as the visual line direction of the driver | operator 2, when the driver | operator 2 faces the upper right direction, the lower left direction, etc., the distance sensor 50 of the headrest 5 and the distance sensor of the seat back 3 It can detect based on the distance with the head and shoulder which 30 detects.

例えば、運転者２がセンターコンソールのスイッチ類やナビ画面を視認するため左下方向を向いた場合、車幅方向のヘッドレスト５の距離センサ５０が全体的に大きな距離を検出すると共に、車幅方向右側の距離センサ５０ｃが検出する距離がより大きくなり、左側の距離センサ５０ａが検出する距離がより小さくなる。   For example, when the driver 2 turns to the lower left to view the switches and navigation screen of the center console, the distance sensor 50 of the headrest 5 in the vehicle width direction detects a large distance as a whole, and the right side in the vehicle width direction. The distance detected by the distance sensor 50c becomes larger, and the distance detected by the left distance sensor 50a becomes smaller.

図３に戻り、駆動回路１３及びモータＭ１４について説明する。シートバック３の内部にはヘッドレスト５を支持する支持部材が延設されている。モータＭ１４は支持部材の端部に噛号する減速機を駆動するモータである。視線方向ＥＣＵ１１は、ヘッドレスト５の距離センサ５０が検出する頭部との距離に基づき、モータＭ１４を駆動してヘッドレスト５を上下動させる信号を駆動回路１３に送出する。駆動回路１３は視線方向ＥＣＵ１１の制御に従いモータＭ１４を駆動する。   Returning to FIG. 3, the drive circuit 13 and the motor M14 will be described. A support member that supports the headrest 5 is extended inside the seat back 3. The motor M14 is a motor that drives a reduction gear that meshes with the end of the support member. The line-of-sight direction ECU 11 sends a signal that drives the motor M14 to move the headrest 5 up and down to the drive circuit 13 based on the distance from the head detected by the distance sensor 50 of the headrest 5. The drive circuit 13 drives the motor M14 according to the control of the line-of-sight direction ECU 11.

ヘッドレスト５は運転者２の頭部に対し適切な位置にあることが好ましいので、視線方向判定手段２０は車両の走行を開始する前にヘッドレスト５を上下に駆動する。したがって、視線方向ＥＣＵ１１は運転者２が座席に着座したことを検出すると、頭部との距離を計測しながらヘッドレスト５を上下動させ、例えば距離が最小となる位置でヘッドレスト５を停止する。なお、ヘッドレスト５の停止位置は、頭部の向きを検出できる位置であればよい。このように、自動的にヘッドレスト５の位置を最適に決定することで、運転者２の体型によらず視線方向を精度よく検出することができる。   Since the headrest 5 is preferably located at an appropriate position with respect to the driver's 2 head, the line-of-sight direction determination means 20 drives the headrest 5 up and down before the vehicle starts to travel. Accordingly, when detecting that the driver 2 is seated on the seat, the line-of-sight direction ECU 11 moves the headrest 5 up and down while measuring the distance from the head, and stops the headrest 5 at a position where the distance is minimum, for example. In addition, the stop position of the headrest 5 should just be a position which can detect the direction of a head. Thus, by automatically determining the position of the headrest 5 optimally, the line-of-sight direction can be accurately detected regardless of the body shape of the driver 2.

また、走行中に運転者２の頭部の位置がずれてきたような場合、自動的にヘッドレスト５の位置を上下に移動させてもよいし、警報を吹鳴し運転者２の姿勢を正すよう促してもよい。   Further, when the head of the driver 2 is displaced during traveling, the position of the headrest 5 may be automatically moved up and down, or an alarm is sounded to correct the posture of the driver 2. You may be prompted.

警報装置１２は、予め記憶する音源データにより音源ＩＣを駆動してメッセージを出力したり、予め記憶するＷａｖｅデータ等の音楽データを再生してスピーカから出力する装置である。視線方向判定手段２０は、運転者２の視線方向が適切でない場合や注意を促すべきと判定した場合などに警報を吹鳴して運転者２に注意を呼びかける。   The alarm device 12 is a device that drives a sound source IC by sound source data stored in advance and outputs a message, or reproduces music data such as Wave data stored in advance and outputs it from a speaker. The line-of-sight direction determination means 20 sounds an alarm to call the driver 2 for attention when the line-of-sight direction of the driver 2 is not appropriate or when it is determined that attention should be given.

視線方向に基づく警報吹鳴の処理手順について図６のフローチャート図に基づき説明する。図６の処理は、例えばイグニッションスイッチがオンとなった状態からスタートする。   A processing procedure of alarm sounding based on the line-of-sight direction will be described based on the flowchart of FIG. The process of FIG. 6 starts from a state where the ignition switch is turned on, for example.

視線方向判定手段２０はまず運転者２が着座しているか否かを判定する（Ｓ１１）。着座しているか否かの判定は、着座スイッチ９の検出値を利用してもよいし、距離センサ３０又は５０により運転者２（障害物）が検出されるか否かに基づいてもよい。   The line-of-sight direction determination means 20 first determines whether or not the driver 2 is seated (S11). The determination of whether or not the user is seated may use a detection value of the seating switch 9 or may be based on whether or not the driver 2 (obstacle) is detected by the distance sensor 30 or 50.

運転者２が着座していることが検出された場合、運転者２のシートポジションが決定されたか否か判定する（Ｓ１２）。シートポジションとはシートバック３のリクライニング角度やシートクッション６のスライドポジションである。シートポジションは通常シートベルトを締める前に決定されるので、例えばシートベルトが締められたら運転者２のシートポジションが決定されたものと判定する。   When it is detected that the driver 2 is seated, it is determined whether or not the seat position of the driver 2 is determined (S12). The seat position is a reclining angle of the seat back 3 or a slide position of the seat cushion 6. Since the seat position is normally determined before the seat belt is fastened, for example, when the seat belt is fastened, it is determined that the seat position of the driver 2 is determined.

運転者２のシートポジションが決定されたら、ついで、視線方向ＥＣＵ１１はヘッドレスト５の位置を調整する（Ｓ１３）。すなわち、ヘッドレスト５に設けられた距離センサ５０が検出する運転者２の頭部との距離が最小になる位置にヘッドレスト５を駆動する。   When the seat position of the driver 2 is determined, the line-of-sight direction ECU 11 then adjusts the position of the headrest 5 (S13). That is, the headrest 5 is driven to a position where the distance from the head of the driver 2 detected by the distance sensor 50 provided on the headrest 5 is minimized.

ヘッドレスト５の位置が決定されたら、視線方向判定手段２０は継続的に運転者２の視線方向を検出する（Ｓ１４）。
・中央より右側の距離センサ（距離センサ３０又は５０のいずれであってもよい）により検出される距離が縮小し、中央より左側の距離センサにより検出される距離が増大した場合、視線方向判定手段２０は運転者２が右側を向いていると判定する。また、距離の縮小量又は増大量に応じてどのくらい右側を向いているか判定する。
・中央より右側の距離センサ（距離センサ３０又は５０のいずれであってもよい）により検出される距離が増大し、中央より左側の距離センサにより検出される距離が縮小した場合、視線方向判定手段２０は運転者２が左側を向いていると判定する。また、距離の縮小量又は増大量に応じてどのくらい左側を向いているか判定する。
・距離センサ５０が検出する距離が全体的に増大し、距離センサ３０が検出する距離が変化しない場合、視線方向判定手段２０は運転者２が下側を向いていると判定する。また、距離の増大量に応じてどのくらい下側を向いているか判定する。
・距離センサ５０が検出する距離が全体的に減少し、距離センサ３０が検出する距離が変化しない場合、視線方向判定手段２０は運転者２が上側を向いていると判定する。また、距離の縮小量に応じてどのくらい上側を向いているか判定する。
・シートバック３の距離センサ３０において左側と右側に大きな距離の差が検出された場合、視線方向判定手段２０は運転者２が９０度近く側方又は後方を向いていると判定する。
・距離センサ５０が検出する距離及び距離センサ３０が検出する距離が共に増大した場合、視線方向判定手段２０は運転者２がインストルメントパネルを操作していると判定する。 When the position of the headrest 5 is determined, the line-of-sight direction determination means 20 continuously detects the line-of-sight direction of the driver 2 (S14).
When the distance detected by the distance sensor on the right side of the center (which may be either the distance sensor 30 or 50) is reduced, and the distance detected by the distance sensor on the left side of the center is increased, the line-of-sight direction determining means 20 determines that the driver 2 is facing the right side. Further, it is determined how much the right side is directed according to the reduction amount or the increase amount of the distance.
When the distance detected by the distance sensor on the right side of the center (which may be either the distance sensor 30 or 50) increases and the distance detected by the distance sensor on the left side of the center decreases, the line-of-sight direction determining means 20 determines that the driver 2 is facing left. Further, it is determined how much the left side is directed according to the reduction amount or the increase amount of the distance.
When the distance detected by the distance sensor 50 increases as a whole and the distance detected by the distance sensor 30 does not change, the line-of-sight direction determination unit 20 determines that the driver 2 is facing downward. Also, it is determined how much downward the user is facing according to the amount of increase in distance.
When the distance detected by the distance sensor 50 decreases as a whole and the distance detected by the distance sensor 30 does not change, the line-of-sight direction determination unit 20 determines that the driver 2 is facing upward. Also, it is determined how much upward the user is facing in accordance with the distance reduction amount.
When the distance sensor 30 of the seat back 3 detects a large distance difference between the left side and the right side, the line-of-sight direction determination means 20 determines that the driver 2 is facing sideways or rearward near 90 degrees.
When the distance detected by the distance sensor 50 and the distance detected by the distance sensor 30 both increase, the line-of-sight direction determination unit 20 determines that the driver 2 is operating the instrument panel.

ついで、視線方向判定手段２０は所定時間以上、運転者２の視線方向が変化していないか否かを判定する（Ｓ１５）。所定時間、視線の移動がない場合、注意力が低下していたり、漫然運転に陥っている可能性があるので、警報装置１２を制御して警報を吹鳴したり音楽を鳴らすなど運転者２の注意を喚起する（Ｓ１６）。これにより、安全性を向上させることができる。特に高齢者は漫然運転に陥りやすい傾向があるとされているので、視線方向の移動が少ない場合に注意を促すことで高齢者の運転を適切に支援できる。以上で図６のフローチャート図に基づく処理は終了する。   Next, the line-of-sight direction determining means 20 determines whether or not the line-of-sight direction of the driver 2 has changed for a predetermined time or more (S15). If there is no movement of the line of sight for a predetermined time, the attention may be reduced or the driver may be in a dull manner, so the driver 2 controls the alarm device 12 to sound an alarm or sound music. Call attention (S16). Thereby, safety can be improved. In particular, it is said that elderly people tend to fall into a dull manner. Therefore, it is possible to appropriately support elderly people's driving by calling attention when there is little movement in the line of sight. Thus, the process based on the flowchart of FIG. 6 ends.

本実施例の視線方向判定装置１は、カメラにより撮影した顔の画像を用いずに視線方向を判定するので、運転者２の髪型等に影響されずに安定して視線方向を判定することができる。また、視線方向を検出できるようにヘッドレスト５が自動的に駆動されるので、運転者２の体型やドライバポジションに影響されずに視線方向を判定できる。また、肩部の距離を計測することで９０度以上の視線移動を検出できる。また、距離センサ３０、５０を超音波センサにより、また、距離センサ３０を圧電素子で構成することで、カメラを用いて視線方向を検出するよりもコストを低減できる。   Since the gaze direction determination apparatus 1 according to the present embodiment determines the gaze direction without using the face image captured by the camera, the gaze direction can be determined stably without being influenced by the hairstyle of the driver 2 or the like. it can. In addition, since the headrest 5 is automatically driven so that the line-of-sight direction can be detected, the line-of-sight direction can be determined without being affected by the body shape or driver position of the driver 2. Further, by measuring the distance of the shoulder, it is possible to detect a line-of-sight movement of 90 degrees or more. Further, the distance sensors 30 and 50 are constituted by ultrasonic sensors, and the distance sensor 30 is constituted by a piezoelectric element, so that the cost can be reduced as compared with the case where the line-of-sight direction is detected using a camera.

なお、本実施例の視線方向判定装置１により判定された視線方向は、運転支援や車載装置の制御に利用することができる。例えば、カーブや右左折走行時に運転者２の視線方向を判定してＡＦＳ（Adaptive Front-lighting System ヘッドランプコントロールシステム）装置の照明軸角度を制御することができる。   Note that the line-of-sight direction determined by the line-of-sight direction determination apparatus 1 of the present embodiment can be used for driving assistance and control of the in-vehicle apparatus. For example, it is possible to control the illumination axis angle of an AFS (Adaptive Front-lighting System headlamp control system) device by determining the line-of-sight direction of the driver 2 when traveling on a curve or turning left or right.

また、車両にはナビゲーション装置、ステアリングセンサ及びヨーレートセンサが搭載されているので、ステアリングが操舵されたり車両のヨーレートが所定以上になることで、車両が右左折走行等していることが検出できる。右左折走行時、運転者２は進行方向を視認して安全確認すべきであるが、視線判定ＥＣＵ１１が検出した視線方向が車両の走行方向と大きく異なっているような場合、警報装置１２から警報やメッセージを出力することで安全確認を促し事故を低減することが期待される。   In addition, since the vehicle is equipped with a navigation device, a steering sensor, and a yaw rate sensor, it can be detected that the vehicle is turning right or left when the steering is steered or the yaw rate of the vehicle exceeds a predetermined value. When driving left or right, the driver 2 should confirm the safety by visually checking the direction of travel, but if the line of sight detected by the line of sight determination ECU 11 is significantly different from the direction of travel of the vehicle, the warning device 12 issues an alarm. It is expected that safety confirmation will be promoted and accidents reduced by outputting messages and messages.

本実施例では視線方向の検出を学習する視線方向判定装置について説明する。図７は視線方向判定装置１の機能ブロック図を示す。なお、図７において図３と同一部分には同一の符号を付しその説明は省略する。図７の視線方向判定装置１は、ナビＥＣＵ１５とＡＦＳ装置１９が視線方向ＥＣＵ１１とが接続されている点で異なる。   In this embodiment, a gaze direction determination apparatus that learns gaze direction detection will be described. FIG. 7 is a functional block diagram of the gaze direction determining apparatus 1. In FIG. 7, the same parts as those in FIG. The line-of-sight direction determination apparatus 1 in FIG. 7 is different in that the navigation ECU 15 and the AFS apparatus 19 are connected to the line-of-sight direction ECU 11.

ナビＥＣＵ１５はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）／ＩＮＳ（Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）装置２と接続されている。ＧＰＳ／ＩＮＳ装置１６は、ＧＰＳ衛星から送信される電波並びに検出される車速及び走行方向に基づき車両の走行位置を検出する。ナビＥＣＵ１５は道路地図を格納した地図データベースを保持しており、現在の走行位置や進行方向前方の道路形状を地図データベースから認識している。   The navigation ECU 15 is connected to a GPS (Global Positioning System) / INS (Internal Navigation System) device 2. The GPS / INS device 16 detects the traveling position of the vehicle based on the radio wave transmitted from the GPS satellite and the detected vehicle speed and traveling direction. The navigation ECU 15 holds a map database storing a road map, and recognizes the current travel position and the road shape ahead of the traveling direction from the map database.

ナビＥＣＵ１５には表示装置１７及び入力装置１８が接続されている。入力装置１８は、押下式のキーボード、ボタン、リモコン、十字キー、タッチパネル等で運転者２からの操作を入力する。マイクを備え運転者２の発する音声を音声認識回路で認識して操作を入力してもよい。表示装置１７は、液晶や有機ＥＬ、ＨＵＤ（Head Up Display）等であり、道路地図や交通情報、目的地までのルートを表示する。   A display device 17 and an input device 18 are connected to the navigation ECU 15. The input device 18 inputs an operation from the driver 2 with a push-down keyboard, buttons, remote controller, cross key, touch panel, and the like. An operation may be input by recognizing a voice generated by the driver 2 with a microphone by a voice recognition circuit. The display device 17 is a liquid crystal, organic EL, HUD (Head Up Display) or the like, and displays a road map, traffic information, and a route to the destination.

また、ＡＦＳ装置１９は、カーブや右左折走行時に、視線方向ＥＣＵ１１により判定された運転者２の視線方向に基づきヘッドライトの照明軸角度を制御する。   Further, the AFS device 19 controls the illumination axis angle of the headlight based on the line-of-sight direction of the driver 2 determined by the line-of-sight direction ECU 11 when traveling on a curve or turning left or right.

ナビＥＣＵ１５と視線方向ＥＣＵ１１は、例えばＣＡＮ（Ｃｏｎｔｏｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）プロトコルによるＥＣＵ間通信を行い、視線方向ＥＣＵ１１は車両の走行方向を把握しており、また、目的地が入力されている場合、車両が走行する道路の道路形状を認識できる。   The navigation ECU 15 and the line-of-sight ECU 11 perform inter-ECU communication using, for example, a CAN (Controller Area Network) protocol. The line-of-sight ECU 11 knows the traveling direction of the vehicle, and when the destination is input, It is possible to recognize the road shape of the traveling road.

このように、視線判定ＥＣＵ１１が車両の走行位置及び道路形状を認識できる場合、視線判定ＥＣＵ１１はシートからの頭部や肩部の距離に基づき視線方向を学習し、徐々にその精度を向上させることができる。   Thus, when the line-of-sight determination ECU 11 can recognize the travel position and road shape of the vehicle, the line-of-sight determination ECU 11 learns the line-of-sight direction based on the distance from the seat to the head and shoulders, and gradually improves the accuracy. Can do.

図８は視線判定ＥＣＵ１１が視線方向を判定しながら学習を繰り返す処理手順を示すフローチャート図である。図８の処理手順ではすでに車両が走行中であるものとする。   FIG. 8 is a flowchart showing a processing procedure in which the line-of-sight determination ECU 11 repeats learning while determining the line-of-sight direction. In the processing procedure of FIG. 8, it is assumed that the vehicle is already running.

視線判定ＥＣＵ１１は、走行中、例えば定期的に車両が直線を走行しているか否かを判定する（Ｓ２１）。直線を走行しているか否かは、ステアリングセンサによりステアリング操作が検出されるか否か、又は、ヨーレートセンサにより車両の回転角速度が検出されるか否かに基づき判定できる。したがって、単に直線走行時の視線方向を学習する場合、ナビＥＣＵ１５と接続されていなくてもよいが、ナビＥＣＵ１５により現在走行している道路形状が直線であることが確認されればより短時間に学習を開始することができる。   The line-of-sight determination ECU 11 determines whether or not the vehicle is traveling on a straight line during traveling (S21). Whether the vehicle is traveling on a straight line can be determined based on whether the steering operation is detected by the steering sensor or whether the rotational angular velocity of the vehicle is detected by the yaw rate sensor. Therefore, when the line-of-sight direction during straight running is simply learned, it may not be connected to the navigation ECU 15. However, if the navigation ECU 15 confirms that the currently running road shape is a straight line, it will take less time. You can start learning.

直線を走行している場合（Ｓ２１のＹｅｓ）、視線方向判定手段２０は視線方向を検出し、直線を走行している（視線方向が正面を向いている）場合の視線方向として、平面ｈ及び平面ｂの法線の角度を学習する（Ｓ２２）。すなわち、正面を向いていることが確かな状態で運転者２の頭部及び肩部とシートの距離と、視線方向を結びつけて学習することができるので、学習が進むにつれて、検出される距離に基づき正面方向の視線方向をより精度よく判定することが可能となる。なお、直線を走行していない場合は学習しない。   When traveling along a straight line (Yes in S21), the line-of-sight direction determination means 20 detects the line-of-sight direction, and the plane h and the line-of-sight direction when traveling along the line (the line-of-sight direction faces the front) The normal angle of the plane b is learned (S22). That is, since it is possible to learn by combining the distance between the head and shoulders of the driver 2 and the seat and the line-of-sight direction in a state in which the driver is surely facing the front, the learning distance increases as the learning proceeds. Based on this, it becomes possible to determine the gaze direction in the front direction with higher accuracy. Note that learning is not performed when the vehicle is not traveling on a straight line.

ついで、視線方向判定手段２０は車両がカーブ又は交差点を走行しているか否かを判定する（Ｓ２３）。ナビＥＣＵ１５はカーブ又は交差点を走行するか否かを判定し、また、地図データベースにはカーブの半径Ｒや交差点の角度が格納されているので、これらの情報を視線方向ＥＣＵ１１に送出する。   Next, the line-of-sight direction determining means 20 determines whether or not the vehicle is traveling on a curve or an intersection (S23). The navigation ECU 15 determines whether or not the vehicle travels on a curve or an intersection. Further, since the radius R of the curve and the angle of the intersection are stored in the map database, the information is sent to the line-of-sight direction ECU 11.

カーブ又は交差点を走行する場合（Ｓ２３のＹｅｓ）、視線方向判定手段２０は視線方向を検出し、その時の平面ｈ及び平面ｂの法線の角度をカーブの半径Ｒや交差点の角度に対応づけて学習する（Ｓ２４）。すなわち、半径Ｒのカーブや所定角度の交差点を走行中の運転者２の頭部及び肩部とシートの距離と、視線方向を結びつけて学習することができるので、学習が進むにつれて、検出される距離に基づき右方向又は左方向の視線方向をより精度よく判定することが可能となる。精度よく視線方向が判定できれば、ＡＦＳ装置１９はより正確に運転者の視線方向を照射できる。   When traveling along a curve or an intersection (Yes in S23), the line-of-sight direction determination means 20 detects the line-of-sight direction, and associates the normal angle of the plane h and the plane b at that time with the radius R of the curve or the angle of the intersection. Learn (S24). That is, the distance between the head and shoulders of the driver 2 who is traveling the intersection of a radius R and a predetermined angle and the seat and the line-of-sight direction can be learned, so that it is detected as learning progresses. Based on the distance, it becomes possible to determine the right or left gaze direction more accurately. If the line-of-sight direction can be determined accurately, the AFS device 19 can irradiate the line-of-sight direction of the driver more accurately.

なお、カーブや交差点の走行時はステアリングセンサによりステアリング操作が検出され、また、ヨーレートセンサにより車両の回転角速度が検出されるので、操舵角やヨーレートの値を視線方向に対応づけて学習することができる。走行中に検出される操舵角やヨーレートに対し、検出される視線方向と学習した視線方向とが大きく異なる場合に警報を吹鳴すれば、より適切な警報が可能となる。   When driving on a curve or intersection, the steering operation is detected by the steering sensor, and the rotational angular velocity of the vehicle is detected by the yaw rate sensor, so that the steering angle and yaw rate values can be learned in association with the line-of-sight direction. it can. More appropriate warning is possible if an alarm is sounded when the detected line-of-sight direction and the learned line-of-sight direction differ greatly with respect to the steering angle and yaw rate detected during traveling.

また、走行中の視線方向として、カーナビシステムなど車載装置の操作ボタンを操作した場合の視線方向を学習してもよい。   Moreover, you may learn the gaze direction at the time of operating the operation button of vehicle equipment, such as a car navigation system, as a gaze direction in driving | running | working.

以上のように本実施例の視線方向判定装置１は、学習により運転者２の視線方向を精度よく検出することができる。運転者２の視線方向が学習されれば、運転者２が脇見運転した場合や漫然運転したような場合に精度よくこれを検出して警報を吹鳴できるので、安全性が向上する。   As described above, the line-of-sight direction determination apparatus 1 of the present embodiment can accurately detect the line-of-sight direction of the driver 2 by learning. If the line-of-sight direction of the driver 2 is learned, safety can be improved because the driver 2 can accurately detect and sound an alarm when the driver 2 looks aside or makes a rough driving.

実施例１及び２ではヘッドレスト５に距離センサ５０を配設して、ヘッドレスト５から運転者の頭部までの距離により視線方向を検出したが、本実施例ではヘッドレスト５に静電容量センサ１００を設け、静電容量の変化を利用して視線方向を検出する。   In the first and second embodiments, the distance sensor 50 is disposed on the headrest 5 and the line-of-sight direction is detected based on the distance from the headrest 5 to the driver's head. In this embodiment, the capacitance sensor 100 is disposed on the headrest 5. And detecting the direction of the line of sight using the change in capacitance.

図９（ａ）は静電容量センサ１００を備えたヘッドレスト５の側面図を、図９（ｂ）は平面図をそれぞれ示す。なお、図９において図２と同一構成部分には同一の符号を付しその説明は省略する。   9A shows a side view of the headrest 5 provided with the capacitance sensor 100, and FIG. 9B shows a plan view. In FIG. 9, the same components as those in FIG.

本実施例のヘッドレスト５は、前方側の可動部５ａと後方側の固定部５ｂとにより構成されていて、内部に可動部５ａの駆動機構１１０を備える。駆動機構１１０を作動させることにより、可動部５ａを固定部５ｂに対して車両の前後方向へ往復移動させ、可動部５ａを移動させることにより運転者２の頭部とヘッドレスト５との間の距離を制御することができる。   The headrest 5 of the present embodiment is composed of a movable part 5a on the front side and a fixed part 5b on the rear side, and includes a drive mechanism 110 for the movable part 5a. By actuating the drive mechanism 110, the movable part 5a is reciprocated in the vehicle front-rear direction with respect to the fixed part 5b, and the distance between the head of the driver 2 and the headrest 5 by moving the movable part 5a. Can be controlled.

ヘッドレスト５の表皮内側に、可撓性を有する薄板状の静電容量センサ１００が内設されており、静電容量センサ１００は運転者２の頭部との相対位置（距離）を非接触状態で検知する。例えば、後方から他車両が異常接近することが検出されると、駆動機構１１０は静電容量センサ１００により運転者２の頭部との距離を測定しながら可動部５ａを車両前方へ駆動して、頭部の直前で停止するように可動部５ａを駆動する。結果として、後方衝突時における運転者２の頸部にかかる負担を和らげることができる。   A flexible thin plate capacitive sensor 100 is provided inside the skin of the headrest 5, and the capacitive sensor 100 is in a non-contact state relative to the head of the driver 2 (distance). Detect with. For example, when it is detected that another vehicle approaches abnormally from behind, the drive mechanism 110 drives the movable part 5a forward of the vehicle while measuring the distance from the head of the driver 2 by the capacitance sensor 100. The movable part 5a is driven so as to stop immediately before the head. As a result, the burden on the neck of the driver 2 at the time of a rear collision can be eased.

ところで、静電容量センサ１００が検出する静電容量は、運転者２が顔を左又は右に向けた場合にも変化するものである。したがって、静電容量をモニタすることで運転者の視線方向を検出することができる。   By the way, the capacitance detected by the capacitance sensor 100 also changes when the driver 2 turns his / her face to the left or right. Therefore, the driver's line-of-sight direction can be detected by monitoring the capacitance.

図１０は本実施例の視線方向判定装置１の機能ブロック図を示す。駆動機構１１０にヘッドレスト５の可動部５ａの駆動指示信号を送出するＰＣＳ（Pre−Crash Safety）ヘッドレスト制御ＥＣＵ１０１及び視線方向判定手段２０を有する衝突判断ＥＣＵ１０２がＣＡＮにより接続され、また、ＣＡＮを介して後方レーダ１０３、インストルメントパネルに設けられたコンビネーションパネルの点灯を各機器の作動状態や警告状態に応じて制御するメータＥＣＵ１０４及び警報音を吹鳴したり車両の制動を制御するブレーキＥＣＵ１０５が接続されている。   FIG. 10 shows a functional block diagram of the gaze direction determining apparatus 1 of the present embodiment. A collision determination ECU 102 having a PCS (Pre-Crash Safety) headrest control ECU 101 and a line-of-sight direction determination means 20 for sending a drive instruction signal of the movable portion 5a of the headrest 5 to the drive mechanism 110 is connected by CAN, and via CAN. The rear radar 103, a meter ECU 104 that controls lighting of the combination panel provided on the instrument panel according to the operating state and warning state of each device, and a brake ECU 105 that blows an alarm sound and controls braking of the vehicle are connected. Yes.

なお、ＰＣＳヘッドレスト制御ＥＣＵ１０１及び衝突判断ＥＣＵ１０２は、プログラムを実行するＣＰＵ、プログラム実行の作業領域となり又は一時的にデータを記憶するＲＡＭ、イグニションオフしてもデータを保持するＥＥＰＲＯＭ、データの入力や他のＥＣＵとのインターフェイスとなる入出力インターフェイス、他のＥＣＵと通信する通信コントローラ、及び、プログラムを記憶するＲＯＭ等がバスにより接続されたマイコンにより構成される。ＣＰＵがプログラムを実行することで、視線方向判定手段２０が実現される。   Note that the PCS headrest control ECU 101 and the collision determination ECU 102 are a CPU that executes a program, a RAM that becomes a work area for program execution or temporarily stores data, an EEPROM that retains data even after the ignition is turned off, data input and others An input / output interface serving as an interface with the ECU, a communication controller that communicates with other ECUs, a ROM that stores programs, and the like are configured by a microcomputer connected by a bus. The line-of-sight direction determining means 20 is realized by the CPU executing the program.

後方レーダセンサ１０３は、ミリ波レーダセンサやレーザレーダセンサであり、レーダを発信して立体物に反射したレーダを受信する。後方レーダセンサ１０３は自車両のトランク周辺に配置されていて、後方から接近する他車両との距離及び相対速度（以下、後方車両情報という）を、発信したレーダが受信されるまでの時間やレーダの周波数変化等に基づき検出する。   The rear radar sensor 103 is a millimeter wave radar sensor or a laser radar sensor, and receives a radar that is transmitted from the radar and reflected by a three-dimensional object. The rear radar sensor 103 is arranged around the trunk of the host vehicle, and the distance and relative speed (hereinafter referred to as rear vehicle information) with other vehicles approaching from the rear, the time until the transmitted radar is received, the radar It is detected based on the frequency change or the like.

後方車両情報は衝突判断ＥＣＵ１０２に送出され、衝突判断ＥＣＵ１０２は後方車両の衝突の可能性を判断し、衝突の可能性が高いと判断した場合には、衝突の数秒前にＰＣＳヘッドレスト制御ＥＣＵ１０１にヘッドレスト駆動指示信号を送出する。   The rear vehicle information is sent to the collision determination ECU 102, and the collision determination ECU 102 determines the possibility of the collision of the rear vehicle. If the collision determination ECU 102 determines that the possibility of the collision is high, the headrest control ECU 101 sends a headrest several seconds before the collision. A drive instruction signal is transmitted.

ＰＣＳヘッドレスト制御ＥＣＵ１０１は駆動機構１１０にヘッドレスト駆動指示信号を送出し、起動機構１１０は上述のように静電容量センサ１００により頭部との距離を測定しながら、頭部の直前まで可動部５ａを駆動する。なお、ヘッドレスト駆動指示信号は、後方車両情報に基づきＰＣＳヘッドレスト制御ＥＣＵ１０１が生成してもよい。   The PCS headrest control ECU 101 sends a headrest drive instruction signal to the drive mechanism 110, and the activation mechanism 110 measures the distance from the head by the electrostatic capacitance sensor 100 as described above, while moving the movable portion 5a to just before the head. To drive. The headrest drive instruction signal may be generated by the PCS headrest control ECU 101 based on the rear vehicle information.

また、静電容量センサ１００は、所定のサイクル時間毎に検出した静電容量の値（以下、静電容量情報という）を衝突判断ＥＣＵ１０２に送出している。衝突判断ＥＣＵ１０２は静電容量の変化及び絶対値に基づき、運転者の視線方向を判断する。   In addition, the capacitance sensor 100 sends a capacitance value (hereinafter referred to as capacitance information) detected every predetermined cycle time to the collision determination ECU 102. The collision determination ECU 102 determines the driver's line-of-sight direction based on the change in capacitance and the absolute value.

図１１は静電容量情報に基づく視線方向の検出を説明するための図である。図１１（ａ）は運転者２が正面方向を向いている状態を、同様に図１１（ｂ）は斜め右方向を、図１１（ｃ）は右真横方向を、図１１（ｄ）は斜め左方向を、図１１（ｅ）は左真横方向を向いている状態をそれぞれ示す。   FIG. 11 is a diagram for explaining detection of a line-of-sight direction based on capacitance information. 11A shows a state in which the driver 2 is facing the front direction. Similarly, FIG. 11B shows an oblique right direction, FIG. 11C shows a right lateral direction, and FIG. 11D shows an oblique direction. FIG. 11 (e) shows the left direction and the state facing the left lateral direction.

静電容量センサ１００は、原理的に電荷を検出するものであって非接触の対象物との距離が短いほど多くの電荷を蓄えるものである。したがって、ヘッドレスト５に対する頭部の最近接位置は同じでも運転者２の視線方向が変わり頭部のヘッドレスト５に対する射影面積が変われば、距離が変化した場合と同様に静電容量の変化となって現れる。   The electrostatic capacitance sensor 100 detects electric charges in principle, and accumulates more electric charges as the distance from the non-contact target is shorter. Therefore, even if the closest position of the head with respect to the headrest 5 is the same, if the direction of the line of sight of the driver 2 changes and the projected area of the head with respect to the headrest 5 changes, the capacitance changes as in the case where the distance changes. appear.

例えば、図１１（ａ）から（ｂ）、ついで（ｃ）のように運転者の視線方向が変わった場合、射影面積が増えるので静電容量は徐々に大きくなると共に横を向くほど急激に大きくなる。図１１（ｅ）は視線方向と静電容量の関係の一例を示す図である。衝突判断ＥＣＵ１０２は、静電容量の傾き及び絶対値を検出し、これらに基づき運転者のおよその視線方向を検出することができる。なお、静電容量の信号の取り出し方は設計事項であるので、必ずしも図１１の変化を示すものでなくてもよく、顔向きの変化を検出できるものであればよい。   For example, when the driver's line of sight changes as shown in FIGS. 11 (a) to 11 (b) and then (c), the projected area increases, so that the capacitance gradually increases and increases more rapidly as it turns sideways. Become. FIG. 11E is a diagram illustrating an example of the relationship between the line-of-sight direction and the capacitance. The collision determination ECU 102 can detect the inclination and the absolute value of the capacitance, and can detect the approximate line-of-sight direction of the driver based on these. Note that how to extract the electrostatic capacity signal is a matter of design, and thus does not necessarily indicate the change in FIG. 11 as long as it can detect a change in face orientation.

ところで、運転者２の頭部は左右に対称なので、右を向いた場合も左を向いた場合も静電容量の変化は同程度である。したがって、静電容量の傾き及び絶対値だけでは左右のどちらを向いたのかを判別することが困難であるが、運転者は操舵方向を向くことが多いと考えられるため、例えば、ステアリング操舵角やウィンカ操作などにより左右のいずれを向いているかを判別することができる。また、静電容量センサ１００の構造を中央で分離された別体構造にして、左半分と右半分のそれぞれの静電容量情報により左右のいずれを向いているかを判別してもよい。   By the way, since the driver | operator 2's head is symmetrical to right and left, the change of an electrostatic capacitance is the same whether it turns to the right or the left. Therefore, although it is difficult to determine which direction is left or right only by the inclination and absolute value of the capacitance, it is considered that the driver often faces the steering direction. It is possible to determine which side is facing left or right by a winker operation or the like. Alternatively, the structure of the capacitance sensor 100 may be a separate structure separated at the center, and it may be determined which of the left and right sides is directed based on the capacitance information of the left half and the right half.

図１０に戻り、衝突判断ＥＣＵ１０２は、運転者が所定以上の時間横方向を向いていると判断した場合、衝突判断ＥＣＵ１０２はメータＥＣＵ１０４やブレーキＥＣＵ１０５に警報信号を送出する。これにより、メータＥＣＵ１０４はインストルメントパネルに警告灯を点灯したり、ブレーキＥＣＵ１０５は警報音や警告メッセージを出力するので、運転者に横向き状態が所定時間以上継続していることを気づかせ、脇見運転や漫然運転を防止することができる。   Returning to FIG. 10, when the collision determination ECU 102 determines that the driver has been in the lateral direction for a predetermined time or more, the collision determination ECU 102 sends an alarm signal to the meter ECU 104 and the brake ECU 105. As a result, the meter ECU 104 lights a warning light on the instrument panel, and the brake ECU 105 outputs an alarm sound or warning message, so that the driver is aware that the sideways state has continued for a predetermined time or longer. And it can prevent driving indiscriminately.

図１２は、視線方向に基づく警報吹鳴の処理手順を示すフローチャート図である。なお図１２において図６と同一ステップには同じ符号を付しその説明は簡単に行う。   FIG. 12 is a flowchart showing a processing procedure for alarm sounding based on the line-of-sight direction. In FIG. 12, the same steps as those in FIG.

視線方向判定手段２０は、着座スイッチ９の検出値等に基づき、運転者２が着座しているか否かを判定する（Ｓ１１）。運転者２が着座していることが検出された場合、運転者２のシートポジションが決定されたか否か判定する（Ｓ１２）。   The line-of-sight direction determination means 20 determines whether or not the driver 2 is seated based on the detection value of the seating switch 9 or the like (S11). When it is detected that the driver 2 is seated, it is determined whether or not the seat position of the driver 2 is determined (S12).

運転者２のシートポジションが決定されたら、ついで、ＰＣＳヘッドレスト制御ＥＣＵ１０１はモータ１４を制御してヘッドレスト５の位置を調整する（Ｓ１３０）。本実施例では、静電容量センサ１００が検出する静電容量が最大となる上下方向の位置にヘッドレスト５を駆動する。この位置調整はヘッドレスト５の上下方向の位置を調整するものであるので、可動部５ａは駆動されない。   When the seat position of the driver 2 is determined, the PCS headrest control ECU 101 controls the motor 14 to adjust the position of the headrest 5 (S130). In the present embodiment, the headrest 5 is driven to a vertical position where the capacitance detected by the capacitance sensor 100 is maximized. Since this position adjustment is to adjust the vertical position of the headrest 5, the movable portion 5a is not driven.

ヘッドレスト５の位置が決定されたら、視線方向判定手段２０は継続的に運転者２の視線方向を検出する（Ｓ１４０）。視線方向判定手段２０は、静電容量情報を監視して運転者の視線方向を検出する。   When the position of the headrest 5 is determined, the line-of-sight direction determination means 20 continuously detects the line-of-sight direction of the driver 2 (S140). The line-of-sight direction determining means 20 monitors the capacitance information and detects the line-of-sight direction of the driver.

ついで、視線方向判定手段２０は所定時間以上、運転者２の視線方向が変化していないか否かを判定する（Ｓ１５）。所定時間、視線方向に変化がない場合、注意力が低下していたり、漫然運転に陥っている可能性があるので警報信号を送出し、警報を吹鳴したり音声を出力するなど運転者２の注意を喚起する（Ｓ１６）。これにより、安全性を向上させることができる。特に高齢者は漫然運転に陥りやすい傾向があるとされているので、視線方向の移動が少ない場合に注意を促すことで高齢者の運転を適切に支援できる。   Next, the line-of-sight direction determining means 20 determines whether or not the line-of-sight direction of the driver 2 has changed for a predetermined time or more (S15). If there is no change in the line-of-sight direction for a predetermined time, it is possible that the driver's attention has been reduced or that he / she has fallen into casual driving, so an alarm signal is sent, an alarm is sounded, a voice is output, etc. Call attention (S16). Thereby, safety can be improved. In particular, it is said that elderly people tend to fall into a dull manner. Therefore, it is possible to appropriately support elderly people's driving by calling attention when there is little movement in the line of sight.

また、視線方向判定手段２０は運転者２の視線方向を検出している間、運転者の視線方向が所定以上になりそれが所定時間以上継続した場合は警報信号を送出し、運転者に脇見運転の注意を促す。なお、自車両の右左折時や後退時には運転者の視線方向は所定以上になるので、視線方向判定手段２０はステアリング操舵等を検出して、不要な警報信号の送出を防止している。   Further, while the line-of-sight direction determination means 20 detects the line-of-sight direction of the driver 2, if the line-of-sight direction of the driver exceeds a predetermined value and continues for a predetermined time or longer, an alarm signal is sent to the driver. Call attention to driving. Since the driver's line-of-sight direction is greater than or equal to a predetermined value when the host vehicle turns right or left or reverses, the line-of-sight direction determination means 20 detects steering steering or the like to prevent unnecessary alarm signals from being sent.

また、例えば、交差点を右折又は左折する場合、運転者２が顔を進行方向に向けて安全確認したか否かを判定することができ、安全確認が検出されない場合には注意を促すなどすることで事故を低減することが期待される。   In addition, for example, when making a right or left turn at an intersection, it can be determined whether or not the driver 2 has confirmed his safety with his face facing in the direction of travel. It is expected to reduce accidents.

本実施例の視線方向判定装置１によれば、カメラにより撮影した顔の画像を用いずに視線方向を判定するので、運転者２の髪型等に影響されずに安定して視線方向を判定することができる。また、顔の画像では検出の困難な比較的大きく視線を横に向けた場合でも視線方向を判定できる。また、後方衝突時に運転者２の頸部を保護する装置を備えていれば、新たな部品を追加することなく、又は、そのような装置を備えていなくても静電容量センサ１００をヘッドレスト５に追加するだけで構成できるので、カメラを用いて視線方向を検出するよりもコストを低減できる。   According to the gaze direction determination apparatus 1 of the present embodiment, the gaze direction is determined without using the face image captured by the camera, and thus the gaze direction is determined stably without being affected by the hairstyle of the driver 2 or the like. be able to. In addition, it is possible to determine the direction of the line of sight even when the line of sight is turned to be relatively large, which is difficult to detect in the face image. Further, if the device for protecting the neck of the driver 2 at the time of a rear collision is provided, the capacitance sensor 100 can be attached to the headrest 5 without adding new parts or even without such a device. Therefore, the cost can be reduced as compared with the case where the line-of-sight direction is detected using a camera.

実施例１〜３では運転者の顔の画像（以下、顔画像という）を用いずに視線方向を判定したが、顔画像か検出した視線方向と実施例１又は３の視線方向判定装置１を組み合わせることで視線方向の検出精度を向上することができる。本実施例では、静電容量センサ１００を利用した視線方向の判定に顔画像による視線方向の検出を加えて視線方向を精度よく判定する視線方向判定装置１について説明する。   In the first to third embodiments, the gaze direction is determined without using the driver's face image (hereinafter referred to as a face image). However, the gaze direction detected from the face image and the gaze direction determination device 1 according to the first or third embodiment are used. By combining them, the detection accuracy of the line-of-sight direction can be improved. In this embodiment, a gaze direction determination apparatus 1 that accurately detects a gaze direction by adding gaze direction detection using a face image to gaze direction determination using the capacitance sensor 100 will be described.

なお、本実施例では区別のため、静電容量により検出した視線方向を静電視線方向と、顔画像により検出した視線方向を画像視線方向と、それぞれ称する。   In this embodiment, for the purpose of distinction, the line-of-sight direction detected by the capacitance is referred to as an electrostatic line-of-sight direction, and the line-of-sight direction detected from the face image is referred to as an image line-of-sight direction.

図１３は、静電容量センサ１００を備えたヘッドレスト５及び顔検出カメラ２００の側面図を示す。顔検出カメラ２００は、運転者２の顔を正面やや下方から臨む位置、例えば、ステアリングコラム上やメータパネル３内に配置される。顔検出カメラ２００は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）の光電変換素子を有し、入射した光をその強度に応じて光電変換して、蓄積した電荷を電圧として読み出し、さらに増幅してＡ／Ｄ変換した後、所定の輝度階調（例えば、２５６階調）のデジタル画像（顔画像）を出力する。   FIG. 13 shows a side view of the headrest 5 and the face detection camera 200 provided with the capacitance sensor 100. The face detection camera 200 is disposed at a position facing the driver's 2 face from the front or slightly below, for example, on the steering column or in the meter panel 3. The face detection camera 200 includes, for example, a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device) photoelectric conversion element, photoelectrically converts incident light according to its intensity, and uses the accumulated charge as a voltage. After reading, further amplifying and A / D converting, a digital image (face image) with a predetermined luminance gradation (for example, 256 gradations) is output.

図１４は、視線方向判定装置１の機能ブロック図である。なお、図１４において図９と同一構成部分には同一の符号を付しその説明は省略する。図１４では、顔検出カメラ２００により撮影された顔画像を解析して視線方向を検出する顔画像処理ＥＣＵ１０６が接続される。顔画像処理ＥＣＵ１０６は、他のＥＣＵと同様に、ＣＰＵ、ＲＡＭ、ＥＥＰＲＯＭ、入出力インターフェイス、通信コントローラ及びＲＯＭ等がバスにより接続されたマイコンにより構成される。   FIG. 14 is a functional block diagram of the line-of-sight direction determination apparatus 1. In FIG. 14, the same components as those in FIG. 9 are denoted by the same reference numerals, and the description thereof is omitted. In FIG. 14, a face image processing ECU 106 that analyzes a face image photographed by the face detection camera 200 and detects a line-of-sight direction is connected. Like the other ECUs, the face image processing ECU 106 is configured by a microcomputer in which a CPU, a RAM, an EEPROM, an input / output interface, a communication controller, a ROM, and the like are connected by a bus.

顔画像処理ＥＣＵ１０６による視線方向の検出について説明する。図１５（ａ）は顔画像の一例を示す。顔画像処理ＥＣＵ１０６は顔画像の両端位置及び中心線を検出して視線方向を検出する。   The detection of the line-of-sight direction by the face image processing ECU 106 will be described. FIG. 15A shows an example of a face image. The face image processing ECU 106 detects the direction of the line of sight by detecting both end positions and the center line of the face image.

まず、顔画像処理ＥＣＵ１０６は顔画像のエッジ情報を取得する。エッジ情報は横方向でも縦方向でもよいがここでは横方向のエッジ情報を用いる。顔画像処理ＥＣＵ１０６は、水平方向に隣接する画素の輝度値の差を予め設定された閾値と比較し、輝度値の差が閾値を超える画素（横エッジ点）の出力値を１、輝度値の差が閾値を超えない画素の出力値を０とするようにラべリングを行い、顔画像をラベル０、１が付された２値画像に変換する。これにより、図１５（ｂ）に示すように、横エッジ点が白色で表示された白黒の横エッジ画像が得られる。   First, the face image processing ECU 106 acquires edge information of the face image. The edge information may be in the horizontal direction or the vertical direction, but here, the edge information in the horizontal direction is used. The face image processing ECU 106 compares the difference between the luminance values of pixels adjacent in the horizontal direction with a preset threshold value, sets the output value of a pixel (horizontal edge point) whose luminance value difference exceeds the threshold value to 1, Labeling is performed so that the output value of the pixel whose difference does not exceed the threshold is 0, and the face image is converted into a binary image with labels 0 and 1. As a result, as shown in FIG. 15B, a black and white horizontal edge image in which the horizontal edge points are displayed in white is obtained.

顔画像処理ＥＣＵ１０６は横エッジ画像を用いて顔の両端位置と顔中心線を検出する。
まず、得られた横エッジ画像を用いて顔の中心線候補を選択する。 The face image processing ECU 106 detects the position of both ends of the face and the face center line using the horizontal edge image.
First, a face center line candidate is selected using the obtained horizontal edge image.

図１５（ｃ）は中心線候補の選択を説明するための図である。横エッジ画像の縦横のサイズをＹ１、Ｘ１として、縦横のサイズが各々Ｙ１、２Ｋ＋１（＜Ｘ１）のウインドウ（斜線を付した矩形部分）２１０を想定する。横エッジ画像の左下端をＸＹ座標の原点（０，０）とすると、ウインドウ２１０を横エッジ画像の左端に設定した場合には、ウインドウ２１０の横方向の線分を２等分する線はＸ＝Ｋの直線（顔中心候補線）になる。   FIG. 15C is a diagram for explaining selection of a center line candidate. Assume a window (rectangular portion with diagonal lines) 210 whose vertical and horizontal sizes are Y1, 2K + 1 (<X1), where the vertical and horizontal sizes of the horizontal edge image are Y1 and X1, respectively. When the lower left edge of the horizontal edge image is the origin (0, 0) of the XY coordinates, when the window 210 is set to the left edge of the horizontal edge image, the line that bisects the horizontal line segment of the window 210 is X = K straight line (face center candidate line).

そして、顔の中心線である確からしさを表す値として、横エッジ画像のＸ＝Ｋの直線を基準にした線対称性を示す値を算出する。Ｘ＝Ｋの直線に対して線対称な座標位置の両方に横エッジ点が存在する場合には予め設定した点数を加算する。例えば、画素ａと画素ｂのように、Ｘ＝Ｋの直線から左右にそれぞれ距離Ｋ１離れた位置に存在する画素の各々が共に横エッジ点になる場合には、点数が加算される。一方、線対称な座標位置の両方に横エッジ点が存在しない場合には、すなわち、片方のみに存在する場合及び両方共に存在しない場合には、点数を加算しない。この演算をウインドウ２１０内の総ての画素に対して実施して獲得した点数の総和は、Ｘ＝Ｋの直線の顔の中心線の確からしさの度合を表している。得点が大きいほど、その直線に対するエッジ部分の対称性が高く、横エッジ画像の中心線である可能性が高いことになる。   Then, a value indicating line symmetry with respect to the X = K straight line of the horizontal edge image is calculated as a value representing the probability of being the center line of the face. When there are horizontal edge points at both coordinate positions that are line-symmetric with respect to the straight line of X = K, a preset number of points is added. For example, in the case where each pixel located at a distance K1 from the straight line X = K to the left and right, respectively, becomes a horizontal edge point, such as pixel a and pixel b, points are added. On the other hand, when there are no horizontal edge points at both of the line-symmetric coordinate positions, that is, when there are only one or both, the points are not added. The sum of the points obtained by performing this operation on all the pixels in the window 210 represents the degree of probability of the center line of the straight face of X = K. The higher the score, the higher the symmetry of the edge portion with respect to the straight line, and the higher the possibility of being the center line of the horizontal edge image.

ウインドウ２１０を横エッジ画像の右端まで右方向に少しずつ移動させながら、各ウインドウ位置により定まる直線について得点（確からしさを表す値）を求める。顔画像処理ＥＣＵ１０６は、最も得点が大きい直線を顔の中心線候補として選択する。   While the window 210 is gradually moved rightward to the right edge of the horizontal edge image, a score (a value representing probability) is obtained for a straight line determined by each window position. The face image processing ECU 106 selects a straight line having the highest score as a face center line candidate.

なお、最も得点の高い中心線候補が得られてもそこに顔が存在しなければならないので、中心線候補での得点を予め設定された閾値と比較して、閾値より大きい場合には顔が存在すると判定し、閾値よりも小さい場合には顔が存在しないと判定する。   Note that even if the centerline candidate with the highest score is obtained, a face must exist there. Therefore, when the score at the centerline candidate is compared with a preset threshold value, It is determined that it exists, and if it is smaller than the threshold value, it is determined that no face exists.

このようにして得られた中心線候補を得たら、ついで顔画像の両端位置を検出する。図１５（ｄ）に示すように、横エッジ画像のエッジをＸ軸に投影したヒストグラムを生成する。顔画像において顔が占める領域は背景に比べ明るく撮影される場合が多いため、顔の両端位置の垂直方向に横エッジ点が連続したり、両端位置よりも外側では横エッジ点が極端に減少する。このため、図１５（ｄ）のヒストグラムのように、顔の両端位置でピーク値を有する。そこで、顔画像処理ＥＣＵ１０６はピーク値に対して閾値を設定し、閾値を上回った位置を顔の両端位置とする。   When the center line candidate obtained in this way is obtained, then both end positions of the face image are detected. As shown in FIG. 15D, a histogram is generated by projecting the edge of the horizontal edge image on the X axis. Since the area occupied by the face in the face image is often shot brighter than the background, the horizontal edge points are continuous in the vertical direction of the both end positions of the face, or the horizontal edge points are extremely reduced outside the both end positions. . For this reason, as shown in the histogram of FIG. 15D, there are peak values at both end positions of the face. Therefore, the face image processing ECU 106 sets a threshold value with respect to the peak value, and sets a position exceeding the threshold value as both end positions of the face.

続いて顔画像による視線方向の検出について説明する。図１６（ａ）は斜め左方向を向いた顔画像の一例を、図１６（ｂ）は視線方向の円筒モデルの平面図をそれぞれ示す。なお、図１６（ａ）では眼の位置、鼻孔位置及びあご位置に水平方向に検出線が描画されている。眼の位置や鼻孔位置は、中心線から同程度の距離にある左右対称な黒画素の連続領域として周知の画像処理により検出される。   Next, detection of the line-of-sight direction using a face image will be described. FIG. 16A shows an example of a face image facing diagonally to the left, and FIG. 16B shows a plan view of the cylindrical model in the line-of-sight direction. In FIG. 16A, detection lines are drawn in the horizontal direction at the eye position, nostril position, and chin position. The position of the eye and the position of the nostril are detected by well-known image processing as a continuous area of symmetrical black pixels located at the same distance from the center line.

顔画像処理ＥＣＵ１０６は、図１６（ｂ）のように平面視の頭部を円筒モデルに適用して中心線に対する両端位置の比率から視線方向を算出する。中心線に対する両端位置の比率は計算上は無段階に算出可能であるので、顔画像から算出される視線方向は高い分解能を持って視線方向を検出できる。   The face image processing ECU 106 calculates the line-of-sight direction from the ratio of both end positions with respect to the center line by applying the planar head to the cylindrical model as shown in FIG. Since the ratio of both end positions with respect to the center line can be calculated steplessly, the gaze direction calculated from the face image can be detected with high resolution.

しかしながら、一方、顔画像による視線方向の検出は、中心線に対する両端位置の比率を利用するため中心線に対し左右両方のエッジ情報が得られる必要があり、正面方向を基準にして視線方向が右又は左に大きくなる（以下、視線方向が略正面方向でないことを単に「視線方向が横向きになる」という）視線方向を検出することが困難になる。   However, on the other hand, the detection of the gaze direction from the face image uses the ratio of both end positions with respect to the center line, and therefore it is necessary to obtain both left and right edge information with respect to the center line. Alternatively, it becomes difficult to detect a line-of-sight direction that increases to the left (hereinafter, simply that the line-of-sight direction is not the front direction is simply referred to as “the line-of-sight direction is horizontal”).

図１７（ａ）は視線方向が大きく横を向いている顔画像の一例を示す。ここでは運転者２が大きく右方向を向いているため顔の右半分が撮影されていないが、このように視線方向が大きく横向きになる場合は視線方向を検出することが困難になる。   FIG. 17A shows an example of a face image in which the line-of-sight direction is large and faces sideways. Here, the right half of the face is not photographed because the driver 2 is greatly facing the right direction. However, when the gaze direction is large and lateral as described above, it is difficult to detect the gaze direction.

また、視線方向を算出するには上記のようにエッジ情報を利用しているため、正面方向を向いていても顔画像が適切に撮影されないと視線方向を検出することが困難になる。図１７（ｂ）は運転者の顔に右側から直射光が侵入している状態の顔画像を、図１７（ｃ）はそのエッジ情報を所定の閾値で２値化したエッジ画像を示す。   In addition, since the edge information is used as described above to calculate the line-of-sight direction, it is difficult to detect the line-of-sight direction if the face image is not properly captured even when facing the front direction. FIG. 17B shows a face image in a state where direct light enters the driver's face from the right side, and FIG. 17C shows an edge image obtained by binarizing the edge information with a predetermined threshold.

図１７（ｂ）に示すように直射が顔に当たる場合、光によるエッジが通常と異なる部分に発生する場合があり、運転者２が正面を向いているのに視線方向が大きく横向きであると検出されたり、大きく横方向を向いているのに視線方向が正面を向いていると検出されたり、また、顔画像の顔部分や視線方向が検出不能となる場合がある。例えば、図１７（ｃ）では運転者２の顔画像の左端にエッジが検出されず、リアドアのウィンドウのエッジ（図では○で示した）が検出されている。このような顔画像では、ウィンドウエッジと顔の右端のエッジを顔の両端位置と判定してしまい、顔部分や視線方向法を正しく検出できないおそれがある。   As shown in FIG. 17 (b), when direct light hits the face, an edge due to light may occur in a part different from normal, and it is detected that the driver's 2 is facing the front but the gaze direction is large and sideways. In some cases, it may be detected that the line-of-sight direction is facing the front even though it is largely horizontal, or the face portion or line-of-sight direction of the face image may not be detected. For example, in FIG. 17C, no edge is detected at the left end of the face image of the driver 2, and the edge of the window of the rear door (indicated by a circle in the figure) is detected. In such a face image, the window edge and the right edge of the face are determined as both end positions of the face, and the face portion and the gaze direction method may not be detected correctly.

そこで、本実施例では顔画像により検出される画像視線方向を、静電容量センサ１００が検出する静電容量の変化に応じて静電視線方向により補完する。例えば、視線方向判定手段２０は、顔画像処理ＥＣＵ１０６より送出される画像視線方向が所定以上横向きとなった場合には、静電容量センサ１００より送出される静電視線方向を運転者２の視線方向として検出する。   Therefore, in this embodiment, the image line-of-sight direction detected from the face image is complemented by the electrostatic line-of-sight direction according to the change in capacitance detected by the capacitance sensor 100. For example, when the image line-of-sight direction sent from the face image processing ECU 106 becomes a predetermined horizontal or more, the line-of-sight direction determination unit 20 determines the electrostatic line-of-sight direction sent from the capacitance sensor 100 as the line of sight of the driver 2. Detect as direction.

図１８は、視線方向判定手段２０が静電視線方向と画像視線方向により視線方向を検出する処理手順のフローチャート図を示す。図１８の処理は脇見運転や漫然運転を防止するものであるので例えば徐行速度程度になるとスタートする。   FIG. 18 is a flowchart of a processing procedure in which the line-of-sight direction determination unit 20 detects the line-of-sight direction based on the electrostatic line-of-sight direction and the image line-of-sight direction. Since the process of FIG. 18 is to prevent side-viewing driving and random driving, for example, it starts when the speed is about slow.

まず、視線方向判定手段２０は、所定のサイクル時間毎に画像視線方向と静電容量情報を取得する（Ｓ２０１）。画像視線方向と静電容量情報のサイクル時間が異なる場合、それぞれのサイクル時間で取得する。視線方向判定手段２０は、静電容量情報に基づき静電視線方向を検出する。   First, the line-of-sight direction determination unit 20 acquires an image line-of-sight direction and capacitance information every predetermined cycle time (S201). When the cycle times of the image line-of-sight direction and the capacitance information are different, they are acquired at the respective cycle times. The line-of-sight direction determination unit 20 detects the electrostatic line-of-sight direction based on the capacitance information.

視線方向判定手段２０は、画像視線方向が所定以上に横向きか否かを判定する（Ｓ２０２）。この所定の値は顔画像の中心線及び両端位置が検出可能な程度の視線方向（正面方向に対し約６０度以上）である。   The line-of-sight direction determining means 20 determines whether or not the image line-of-sight direction is laterally greater than a predetermined value (S202). This predetermined value is the line-of-sight direction (about 60 degrees or more with respect to the front direction) to the extent that the center line and both end positions of the face image can be detected.

画像視線方向が所定以上に横向きの場合（ステップＳ２０２のＹｅｓ）、視線方向判定手段２０は静電視線方向を視線方向と決定する（Ｓ２０３）。また、画像視線方向が所定以上に横向きでない場合（ステップＳ２０２のＮｏ）、視線方向判定手段２０は画像視線方向を視線方向と決定する（Ｓ２０４）。   When the image line-of-sight direction is more than a predetermined horizontal direction (Yes in step S202), the line-of-sight direction determination unit 20 determines the electrostatic line-of-sight direction as the line-of-sight direction (S203). If the image line-of-sight direction is not laterally greater than the predetermined value (No in step S202), the line-of-sight direction determination unit 20 determines the image line-of-sight direction as the line-of-sight direction (S204).

したがって、画像視線方向が大きく横向きでない場合は、分解能や精度に優れた画像視線方向を視線方向として決定でき、顔画像では検出困難なほどに大きく横向きになると、静電視線方向を視線方向として決定するので正面方向から横向きまで視線方向を確実に検出できる。すなわち、互いの特性を補完して運転者の視線方向を精度よく検出することができる。   Therefore, when the image line-of-sight direction is large and not horizontal, the image line-of-sight direction with excellent resolution and accuracy can be determined as the line-of-sight direction, and when it becomes wide enough to be difficult to detect in the face image, the electrostatic line-of-sight direction is determined as the line-of-sight direction. Therefore, the line-of-sight direction can be reliably detected from the front direction to the horizontal direction. That is, it is possible to accurately detect the driver's line-of-sight direction by complementing each other's characteristics.

また、図１８のように画像視線方向が所定以上に横向きか否かにより静電視線方向を利用するだけでなく、画像視線方向に関わらず静電視線方向を利用すれば運転者の視線方向をさらに精度よく検出することができる。   Further, as shown in FIG. 18, not only the electrostatic line-of-sight direction is used depending on whether or not the image line-of-sight direction is laterally greater than a predetermined direction, but the driver's line-of-sight direction can be determined by using the electrostatic line-of-sight direction regardless of the image line-of-sight direction. Further, it can be detected with high accuracy.

図１９は静電視線方向の向きと画像視線方向の向きの関係に応じた視線方向判定手段２０の処理内容の一例を示す。図１９では、所定以上に横向きの静電視線方向又は画像視線方向が検出された状態を「１」それ以外を「０」と表している。所定の値は顔画像の中心線及び両端位置が検出可能な程度の視線方向である。
ａ．静電視線方向による検出結果が「１」、かつ、画像視線方向による検出結果が「１」の場合、いずれも視線方向が大きく横向きであるという検出結果であるので、視線方向判定手段２０は視線方向が所定以上に横向きであると判定する。このように、顔画像では検出精度が低下する視線方向が大きく横向きの場合、静電容量情報を利用することで確実に横方向を向いていることを検出できる。
ｂ．静電視線方向による検出結果が「１」、かつ、画像視線方向による検出結果が「０」の場合、双方の判定結果が異なるので、視線方向判定手段２０は、再度、顔画像による視線方向を検出する。再検出後もなお画像視線方向の検出結果が「０」の場合、運転者２の視線方向が所定以上に横向きであるか、又は、光の影響などで顔画像が適切に撮影されないため顔画像では視線方向が適切に検出されないものと判断する。顔画像による検出が困難になる大きな横向きの視線方向の場合、静電容量情報を利用することで確実に大きく顔を横に向けていることを検出できる。
ｃ．静電視線方向による検出結果が「０」、かつ、画像視線方向による検出結果が「１」の場合、双方の判定結果が異なるので、再度、顔画像による視線方向を検出する。再検出後もなお画像視線方向の検出結果が「１」の場合、光の影響などにより運転者２の顔又は視線方向を適切に検出していないと判断して、視線方向判定手段２０は運転者が正面を向いていると顔画像処理ＥＣＵ１０６にフィードバックする。これにより顔画像処理ＥＣＵ１０６は、少なくとも大きく横方向を向いていないとして画像処理を初期状態からやり直すなど適切な画像視線方向を検出しやすくなる。また、顔画像では視線方向が横を向いていると誤認識する場合でも、静電容量情報を利用することで正面を向いていると判定できるので、誤警報を防止できる。
ｄ．静電視線方向による検出結果が「０」、かつ、画像視線方向による検出結果が「０」の場合、いずれも視線方向はそれほど横を向いていないという検出結果であるので、視線方向判定手段２０はそのまま検出を継続する。 FIG. 19 shows an example of the processing content of the line-of-sight direction determination means 20 corresponding to the relationship between the direction of the electrostatic line-of-sight direction and the direction of the image line-of-sight direction. In FIG. 19, a state in which an electrostatic gaze direction or an image gaze direction that is laterally greater than a predetermined value is detected is represented by “1” and the others are represented by “0”. The predetermined value is a line-of-sight direction that can detect the center line and both end positions of the face image.
a. When the detection result based on the electrostatic line-of-sight direction is “1” and the detection result based on the image line-of-sight direction is “1”, the line-of-sight direction determination means 20 uses the line-of-sight determination unit 20 because the line-of-sight direction is a large horizontal direction. It is determined that the direction is more than a predetermined lateral direction. As described above, in the face image, when the line-of-sight direction in which the detection accuracy is low is large and is horizontal, it can be reliably detected that the camera is facing in the horizontal direction by using the capacitance information.
b. When the detection result based on the electrostatic line-of-sight direction is “1” and the detection result based on the image line-of-sight direction is “0”, both determination results are different. Therefore, the line-of-sight direction determination unit 20 again determines the line-of-sight direction based on the face image. To detect. If the detection result of the image line-of-sight direction is “0” even after re-detection, the face image of the driver 2 is laterally more than a predetermined value, or the face image is not properly captured due to the influence of light, etc. Then, it is determined that the line-of-sight direction is not properly detected. In the case of a large horizontal gaze direction that is difficult to detect with a face image, it is possible to reliably detect that the face is turned sideways by using the capacitance information.
c. When the detection result based on the electrostatic line-of-sight direction is “0” and the detection result based on the image line-of-sight direction is “1”, both determination results are different, so the line-of-sight direction based on the face image is detected again. If the detection result of the image line-of-sight direction is “1” even after re-detection, it is determined that the face of the driver 2 or the line-of-sight direction has not been properly detected due to the influence of light, etc. When the person is facing the front, it is fed back to the face image processing ECU 106. This makes it easier for the face image processing ECU 106 to detect an appropriate image line-of-sight direction, such as starting over from the initial state, assuming that the face image processing ECU 106 is not at least largely facing in the horizontal direction. Further, even when it is erroneously recognized that the gaze direction is facing sideways in the face image, it can be determined that the face is facing the front by using the capacitance information, so that an erroneous alarm can be prevented.
d. When the detection result based on the electrostatic line-of-sight direction is “0” and the detection result based on the image line-of-sight direction is “0”, both are detection results indicating that the line-of-sight direction is not so much sideways. Continues detection.

したがって、視線方向が横向きであっても又は正面方向であっても、画像視線方向を静電視線方向により検証することで運転者２の視線方向をさらに精度よく検出することができる。   Therefore, even if the line-of-sight direction is horizontal or frontal, the line-of-sight direction of the driver 2 can be detected with higher accuracy by verifying the image line-of-sight direction with the electrostatic line-of-sight direction.

なお、本実施例の視線方向判定装置１により、漫然運転、脇見運転及び安全確認の有無を検出する手順は実施例１又は３と同様であるので説明は省略するが、光の影響により画像視線方向が視線方向を適切に検出しない場合でも、静電容量情報は継続的に取得されるので、漫然運転や脇見運転の検出、安全確認の有無を確実に判定することができる。   It should be noted that the procedure for detecting the presence or absence of rough driving, side-viewing driving and safety confirmation by the gaze direction determination device 1 of the present embodiment is the same as that of the first or third embodiment, and thus the description thereof will be omitted. Even when the direction does not properly detect the line-of-sight direction, the capacitance information is continuously acquired, so that it is possible to reliably determine whether or not the driver is silently detected or looks aside and whether the safety is confirmed.

本実施例によれば、画像視線方向と静電視線方向の互いの特性を補完したり、画像視線方向を静電視線方向により検証することで、運転者２の視線方向を精度よく検出することができる。   According to the present embodiment, the line-of-sight direction of the driver 2 can be accurately detected by complementing the characteristics of the image line-of-sight direction and the electrostatic line-of-sight direction, or by verifying the image line-of-sight direction with the electrostatic line-of-sight direction. Can do.

距離センサが内設されたシートの斜視図である。It is a perspective view of the sheet | seat in which the distance sensor was installed. 運転者が着座した状態のシートの平面図及び側面図である。It is the top view and side view of a sheet | seat of the state which the driver | operator sat down. 視線方向判定装置の機能ブロック図である。It is a functional block diagram of a gaze direction judging device. 平面視における距離と視線方向の関係を示す図である。It is a figure which shows the relationship between the distance in a planar view, and a gaze direction. 側面視における距離と視線方向の関係を示す図である。It is a figure which shows the relationship between the distance in a side view, and a gaze direction. 視線方向判定装置の起動及び視線方向に基づく警報吹鳴の処理手順を示すフローチャート図である。It is a flowchart figure which shows the process sequence of the alarm ringing based on starting of a gaze direction determination apparatus, and a gaze direction. 実施例２における視線方向判定装置の機能ブロック図である。It is a functional block diagram of a gaze direction judging device in Example 2. 視線方向判定装置が視線方向を判定しながら学習を繰り返す処理手順を示すフローチャート図である。It is a flowchart figure which shows the process sequence which repeats learning, while a gaze direction determination apparatus determines a gaze direction. 静電容量センサを備えたヘッドレストを示す図である。It is a figure which shows the headrest provided with the electrostatic capacitance sensor. 実施例３の視線方向判定装置の機能ブロック図である。It is a functional block diagram of a gaze direction judging device of Example 3. 静電容量情報に基づく視線方向の検出を説明するための図である。It is a figure for demonstrating the detection of the gaze direction based on electrostatic capacitance information. 視線方向に基づく警報吹鳴の処理手順を示すフローチャート図である。It is a flowchart figure which shows the processing procedure of the alarm sounding based on a gaze direction. 静電容量センサを備えたヘッドレスト及び顔検出カメラの側面図である。It is a side view of the headrest and face detection camera provided with the electrostatic capacitance sensor. 実施例４の視線方向判定装置の機能ブロック図である。It is a functional block diagram of a gaze direction judging device of Example 4. 顔画像の中心線及び両端位置の検出を説明するための図である。It is a figure for demonstrating the detection of the centerline and both-ends position of a face image. 顔画像による視線方向の検出を説明するための図である。It is a figure for demonstrating the detection of the gaze direction by a face image. 顔画像による視線方向の検出が困難な顔画像の一例である。It is an example of the face image in which it is difficult to detect the line-of-sight direction from the face image. 視線方向検出手段が静電視線方向と画像視線方向により視線方向を検出する処理手順のフローチャート図である。It is a flowchart figure of the process sequence in which a gaze direction detection means detects a gaze direction from an electrostatic gaze direction and an image gaze direction. 静電視線方向の大きさと画像視線方向の大きさの関係に応じた視線方向判定手段の処理内容の一例を示す図である。It is a figure which shows an example of the processing content of the gaze direction determination means according to the relationship between the magnitude | size of an electrostatic gaze direction and the magnitude | size of an image gaze direction.

符号の説明Explanation of symbols

１ 視線方向判定装置
２ 運転者
３ シートバック
５ ヘッドレスト
５ａ 可動部
５ｂ 固定部
６ シートクッション
９ 着座スイッチ
１１ 視線方向ＥＣＵ
１２ 警報装置
１３ 駆動回路
１４ モータ
２０ 視線方向判定手段
３０、５０ 距離センサ
１００ 静電容量センサ
１１０ 駆動機構
１０１ ＰＣＳヘッドレスト制御ＥＣＵ
１０２ 衝突判断ＥＣＵ
１０３ 後方レーダセンサ
１０４ メータＥＣＵ
１０５ ブレーキＥＣＵ
１０６ 顔画像処理ＥＣＵ
２００ 顔検出カメラ DESCRIPTION OF SYMBOLS 1 Gaze direction determination apparatus 2 Driver 3 Seat back 5 Headrest 5a Movable part 5b Fixed part 6 Seat cushion 9 Seat switch 11 Gaze direction ECU
DESCRIPTION OF SYMBOLS 12 Alarm apparatus 13 Drive circuit 14 Motor 20 Gaze direction determination means 30, 50 Distance sensor 100 Capacitance sensor 110 Drive mechanism 101 PCS headrest control ECU
102 collision judgment ECU
103 Rear radar sensor 104 Meter ECU
105 Brake ECU
106 face image processing ECU
200 Face detection camera

Claims (9)

シートの着座者の視線方向を判定する視線方向判定装置において、
前記着座者の頭部とヘッドレストとの間の頭部距離を検出する頭部距離検出手段と、
前記頭部距離検出手段により検出された頭部距離に基づき前記着座者の視線方向を判定する視線方向判定手段と、
を有することを特徴とする視線方向判定装置。 In the gaze direction determining device that determines the gaze direction of the seated person of the seat,
A head distance detecting means for detecting a head distance between the head of the seated person and the headrest;
Gaze direction determination means for determining the gaze direction of the seated person based on the head distance detected by the head distance detection means;
A gaze direction determination device characterized by comprising: 前記着座者の肩部とシートバックとの間の肩部距離を検出する肩部距離検出手段を有し、
前記視線方向判定手段は、前記肩部距離検出手段により検出された肩部距離に基づき前記着座者の視線方向を判定する、
ことを特徴とする請求項１記載の視線方向判定装置。 Shoulder distance detection means for detecting a shoulder distance between the seated person's shoulder and a seat back;
The line-of-sight direction determination means determines the line-of-sight direction of the seated person based on the shoulder distance detected by the shoulder distance detection means;
The line-of-sight direction determination apparatus according to claim 1. 前記視線方向判定手段は、
車幅方向右側の頭部距離が車幅方向左側の頭部距離よりも大きい場合、前記着座者の視線方向が左側を向いていると判定し、
車幅方向左側の頭部距離が車幅方向右側の頭部距離よりも大きい場合、前記着座者の視線方向が右側を向いていると判定する、
ことを特徴とする請求項１記載の視線方向判定装置。 The line-of-sight direction determining means includes
When the head distance on the right side in the vehicle width direction is larger than the head distance on the left side in the vehicle width direction, it is determined that the sight line direction of the seated person is facing the left side,
When the head distance on the left side in the vehicle width direction is larger than the head distance on the right side in the vehicle width direction, it is determined that the sight line direction of the seated person is facing the right side.
The line-of-sight direction determination apparatus according to claim 1. 前記視線方向判定手段は、
車幅方向右側の肩部距離が車幅方向左側の肩部距離よりも大きい場合、前記着座者の視線方向が左側を向いていると判定し、
車幅方向左側の肩部距離が車幅方向右側の肩部距離よりも大きい場合、前記着座者の視線方向が右側を向いていると判定する、
ことを特徴とする請求項１記載の視線方向判定装置。 The line-of-sight direction determining means includes
When the shoulder distance on the right side in the vehicle width direction is larger than the shoulder distance on the left side in the vehicle width direction, it is determined that the sight line direction of the seated person is facing the left side,
When the shoulder distance on the left side in the vehicle width direction is greater than the shoulder distance on the right side in the vehicle width direction, the seated person's line-of-sight direction is determined to face the right side.
The line-of-sight direction determination apparatus according to claim 1. 前記視線方向判定手段は、
前記頭部距離検出手段により検出された頭部距離が大きくなり、前記肩部距離検出手段により検出された肩部距離の変化がない場合、前記着座者の視線方向が下側を向いていると判定し、
前記頭部距離検出手段により検出された頭部距離が小さくなり、前記肩部距離検出手段により検出された肩部距離の変化がない場合、前記着座者の視線方向が上側を向いていると判定する、
ことを特徴とする請求項２記載の視線方向判定装置。 The line-of-sight direction determining means includes
When the head distance detected by the head distance detection means is large and there is no change in the shoulder distance detected by the shoulder distance detection means, the line of sight of the seated person faces downward. Judgment,
When the head distance detected by the head distance detection means becomes small and there is no change in the shoulder distance detected by the shoulder distance detection means, it is determined that the line of sight of the seated person is facing upward. To
The line-of-sight direction determination apparatus according to claim 2. 前記視線方向判定手段は、
前記頭部距離検出手段により検出された頭部距離及び前記肩部距離検出手段により検出された肩部距離が共に大きくなった場合、前記着座者の視線方向がインストルメントパネルを向いていると判定する、
ことを特徴とする請求項２記載の視線方向判定装置。 The line-of-sight direction determining means includes
When the head distance detected by the head distance detection means and the shoulder distance detected by the shoulder distance detection means both increase, it is determined that the line of sight of the seated person faces the instrument panel To
The line-of-sight direction determination apparatus according to claim 2. シートの着座者の視線方向を判定する視線方向判定装置において、
前記着座者の頭部の位置に応じて静電容量の値が変化するヘッドレストに設けられた静電容量センサと、
前記静電容量センサにより検出された静電容量の値に基づき、前記着座者の第１視線方向を判定する視線方向判定手段と、
を有することを特徴とする視線方向判定装置。 In the gaze direction determining device that determines the gaze direction of the seated person of the seat,
A capacitance sensor provided on a headrest whose capacitance value changes according to the position of the head of the seated person;
Line-of-sight direction determining means for determining a first line-of-sight direction of the seated person based on a capacitance value detected by the capacitance sensor;
A gaze direction determination device characterized by comprising: 前記静電容量センサの値に基づき前記ヘッドレストを前方向へ移動させるヘッドレスト駆動機構と、
後方から接近する後方車両を検出する衝突検知手段と、
前記衝突検知手段が検出した後方車両との衝突予測に基づき、前記ヘッドレスト駆動機構を作動させる制御部と、
前記着座者の顔画像を撮影する撮影手段と、
前記顔画像の対称性から運転者の第２視線方向を検出する画像処理手段と、を有し、
前記視線方向判定手段は、第２視線方向が所定以上の場合、前記第１視線方向を前記着座者の視線方向と判定する、
ことを特徴とする請求項７記載の視線方向判定装置。 A headrest driving mechanism for moving the headrest forward based on the value of the capacitance sensor;
A collision detection means for detecting a rear vehicle approaching from behind;
A control unit for operating the headrest drive mechanism based on a collision prediction with a rear vehicle detected by the collision detection unit;
Photographing means for photographing a face image of the seated person;
Image processing means for detecting the second line-of-sight direction of the driver from the symmetry of the face image,
The line-of-sight direction determining means determines the first line-of-sight direction as the line-of-sight direction of the seated person when the second line-of-sight direction is equal to or greater than a predetermined value.
The line-of-sight direction determining apparatus according to claim 7. 前記着座者の顔画像を撮影する撮影手段と、
前記顔画像の対称性から運転者の第２視線方向を検出する画像処理手段と、を有し、
前記視線方向判定手段は、
第２視線方向が所定以上横向き、かつ、第１視線方向が所定以上横向きの場合、前記着座者が所定以上に横を向いていると判定し、
第２視線方向が所定より横向きでなく、かつ、第１視線方向が所定以上横向きの場合、前記着座者が所定以上に横を向いていると判定し、
第２視線方向が所定以上横向き、かつ、第１視線方向が所定より横向きでない場合、前記画像処理手段に所定より横向きでない第２視線方向をフィードバックする、
ことを特徴とする請求項７記載の視線方向判定装置。
Photographing means for photographing a face image of the seated person;
Image processing means for detecting the second line-of-sight direction of the driver from the symmetry of the face image,
The line-of-sight direction determining means includes
When the second line-of-sight direction is laterally greater than or equal to a predetermined distance and the first line-of-sight direction is laterally greater than or equal to a predetermined distance, it is determined that the seated person is facing sideways beyond a predetermined level.
If the second line-of-sight direction is not lateral than predetermined and the first line-of-sight direction is laterally greater than or equal to a predetermined value, it is determined that the seated person is facing sideways beyond a predetermined value.
When the second line-of-sight direction is laterally greater than or equal to a predetermined value and the first line-of-sight direction is not laterally greater than the predetermined value, the second visual line direction that is not laterally greater than the predetermined value is fed back to the image processing unit.
The line-of-sight direction determining apparatus according to claim 7.
JP2006281752A 2006-03-17 2006-10-16 Sight direction determination apparatus Pending JP2007280352A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006281752A JP2007280352A (en) 2006-03-17 2006-10-16 Sight direction determination apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006074166 2006-03-17
JP2006281752A JP2007280352A (en) 2006-03-17 2006-10-16 Sight direction determination apparatus

Publications (1)

Publication Number Publication Date
JP2007280352A true JP2007280352A (en) 2007-10-25

Family

ID=38681693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006281752A Pending JP2007280352A (en) 2006-03-17 2006-10-16 Sight direction determination apparatus

Country Status (1)

Country Link
JP (1) JP2007280352A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066968A (en) * 2008-09-10 2010-03-25 Toyota Motor Corp Visual line state detection device
WO2010110306A1 (en) * 2009-03-24 2010-09-30 株式会社フジクラ Device for measuring distance between headrest and head, method for measuring distance between headrest and head, headrest position adjusting device, and headrest position adjusting method
WO2010110307A1 (en) * 2009-03-24 2010-09-30 株式会社フジクラ Device for measuring distance between headrest and head, method for measuring distance between headrest and head, headrest position adjusting device, and headrest position adjusting method
WO2016194104A1 (en) * 2015-06-01 2016-12-08 パイオニア株式会社 Safe driving assistance device, control method, program, and storage medium
KR101767643B1 (en) 2011-09-21 2017-08-14 현대모비스 주식회사 Apparatus And Method Identifying Driver And Recognizing Driver Condition Based Microwave
WO2018146825A1 (en) * 2017-02-13 2018-08-16 オムロン株式会社 State determination device, learning device, state determination method, and program
US10532681B2 (en) 2018-06-13 2020-01-14 Faurecia Automotive Seating, Llc Seat including a head sensor
JP2020013182A (en) * 2018-07-13 2020-01-23 クラリオン株式会社 Driving support device and driving support method
CN115880899A (en) * 2022-11-11 2023-03-31 长安大学 Detection method and system for dangerous scene blocked by driving sight

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066968A (en) * 2008-09-10 2010-03-25 Toyota Motor Corp Visual line state detection device
WO2010110306A1 (en) * 2009-03-24 2010-09-30 株式会社フジクラ Device for measuring distance between headrest and head, method for measuring distance between headrest and head, headrest position adjusting device, and headrest position adjusting method
WO2010110307A1 (en) * 2009-03-24 2010-09-30 株式会社フジクラ Device for measuring distance between headrest and head, method for measuring distance between headrest and head, headrest position adjusting device, and headrest position adjusting method
US8653835B2 (en) 2009-03-24 2014-02-18 Fujikura Ltd. Device for measuring distance between headrest and head, method for measuring distance between headrest and head, headrest position adjusting device, and headrest position adjusting method
JP5509505B2 (en) * 2009-03-24 2014-06-04 株式会社フジクラ Distance measurement device between headrest and head, distance measurement method between headrest and head, headrest position adjustment device, and headrest position adjustment method
US8878553B2 (en) 2009-03-24 2014-11-04 Fujikura Ltd. Device for measuring distance between headrest and head, method for measuring distance between headrest and head, headrest position adjusting device, and headrest position adjusting method
KR101767643B1 (en) 2011-09-21 2017-08-14 현대모비스 주식회사 Apparatus And Method Identifying Driver And Recognizing Driver Condition Based Microwave
WO2016194104A1 (en) * 2015-06-01 2016-12-08 パイオニア株式会社 Safe driving assistance device, control method, program, and storage medium
WO2018146825A1 (en) * 2017-02-13 2018-08-16 オムロン株式会社 State determination device, learning device, state determination method, and program
JP2018132329A (en) * 2017-02-13 2018-08-23 オムロン株式会社 State determination device, learning device, method for determining state, and program
US10532681B2 (en) 2018-06-13 2020-01-14 Faurecia Automotive Seating, Llc Seat including a head sensor
JP2020013182A (en) * 2018-07-13 2020-01-23 クラリオン株式会社 Driving support device and driving support method
JP7149749B2 (en) 2018-07-13 2022-10-07 フォルシアクラリオン・エレクトロニクス株式会社 Driving support device and driving support method
CN115880899A (en) * 2022-11-11 2023-03-31 长安大学 Detection method and system for dangerous scene blocked by driving sight
CN115880899B (en) * 2022-11-11 2023-11-10 长安大学 Detection method and system for dangerous scene blocking driving sight

Similar Documents

Publication Publication Date Title
US11820383B2 (en) Apparatus detecting driving incapability state of driver
US10909399B2 (en) Apparatus detecting driving incapability state of driver
US10572746B2 (en) Apparatus detecting driving incapability state of driver
JP2007280352A (en) Sight direction determination apparatus
JP6364997B2 (en) Driver inoperability detection device
JP6379720B2 (en) Driver inoperability detection device
US10427690B2 (en) Control system
JP4894300B2 (en) In-vehicle device adjustment device
JP4946682B2 (en) Vehicle travel support device
JP6331751B2 (en) Driver inoperability detection device
JP6361312B2 (en) Driver inoperability detection device
JP2010155496A (en) Vehicle warning device
JP2004310522A (en) Vehicular image processor
JP6614286B2 (en) Driver inoperability detection device
JP6607287B2 (en) Driver inoperability detection device
JP3627494B2 (en) Light distribution control device for automotive headlights
WO2024069785A1 (en) Occupant state determination device, occupant state determination system, occupant state determination method, program, and vehicle control system
JP7206867B2 (en) Display controller and display control program
US20240199010A1 (en) Vehicle control device, vehicle control method, and storage medium