JP3084996B2 - 脇見判定装置 - Google Patents
脇見判定装置Info
- Publication number
- JP3084996B2 JP3084996B2 JP05025211A JP2521193A JP3084996B2 JP 3084996 B2 JP3084996 B2 JP 3084996B2 JP 05025211 A JP05025211 A JP 05025211A JP 2521193 A JP2521193 A JP 2521193A JP 3084996 B2 JP3084996 B2 JP 3084996B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driver
- output
- alarm
- inattentiveness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Description
【0001】
【産業上の利用分野】この発明は、車両運転者の脇見を
検出する脇見判定装置に関するものである。
検出する脇見判定装置に関するものである。
【0002】
【従来の技術】図15は特開平3−167698号公報
による従来の脇見判定装置の構成を示すブロック図であ
る。図において、1は車両運転者、2は車両運転者1の
状態を監視するために車両運転者1の上半身や顔近傍を
撮影するカメラ、3は顔の方向検出装置、4は脇見判定
手段で、例えば脇見判定回路、5は警報出力手段で、例
えば警報出力回路、6は音で警報を出力するスピーカで
ある。
による従来の脇見判定装置の構成を示すブロック図であ
る。図において、1は車両運転者、2は車両運転者1の
状態を監視するために車両運転者1の上半身や顔近傍を
撮影するカメラ、3は顔の方向検出装置、4は脇見判定
手段で、例えば脇見判定回路、5は警報出力手段で、例
えば警報出力回路、6は音で警報を出力するスピーカで
ある。
【0003】図16は従来の脇見判定装置の動作を示す
フロ−チャ−トであり、この図に基づいて、従来装置の
動作を説明する。カメラ2で撮影した車両運転者1の顔
画像を顔の方向検出装置3に入力する(ステップ1
0)。顔の方向検出装置3では車両運転者1の顔の方向
を計算する(ステップ11)。脇見判定回路4では車両
運転者1の顔の方向を入力し、車両運転者1が車両前方
を向いているか脇見をしているかを判定する(ステップ
12)。この結果、脇見をしていると判定した場合は警
報出力回路5を介して、スピーカ6によって車両運転者
に警報を出力する(ステップ13)。ステップ12の判
定で、車両運転者1が車両前方を向いていると判定した
場合は、警報を出力しない。
フロ−チャ−トであり、この図に基づいて、従来装置の
動作を説明する。カメラ2で撮影した車両運転者1の顔
画像を顔の方向検出装置3に入力する(ステップ1
0)。顔の方向検出装置3では車両運転者1の顔の方向
を計算する(ステップ11)。脇見判定回路4では車両
運転者1の顔の方向を入力し、車両運転者1が車両前方
を向いているか脇見をしているかを判定する(ステップ
12)。この結果、脇見をしていると判定した場合は警
報出力回路5を介して、スピーカ6によって車両運転者
に警報を出力する(ステップ13)。ステップ12の判
定で、車両運転者1が車両前方を向いていると判定した
場合は、警報を出力しない。
【0004】
【発明が解決しようとする課題】従来の脇見判定装置は
上記のように構成されているので、カ−ブを走行中のよ
うなハンドル操作状態や後進状態や停車状態などのよう
に、車両運転者1が車両前方を向いていなくても良い状
態でも脇見判定が行われてしまう。ところが、例えばカ
−ブ走行中は曲がっている先を見ることが多い。後進中
は後ろを見るし、停車中は脇見をしてもかまわない。こ
のように車両運転者1が車両前方を見ていなくても良い
場合にもスピーカ6から脇見に対する警報が出力され、
車両運転者1の運転の邪魔になるという問題点があっ
た。
上記のように構成されているので、カ−ブを走行中のよ
うなハンドル操作状態や後進状態や停車状態などのよう
に、車両運転者1が車両前方を向いていなくても良い状
態でも脇見判定が行われてしまう。ところが、例えばカ
−ブ走行中は曲がっている先を見ることが多い。後進中
は後ろを見るし、停車中は脇見をしてもかまわない。こ
のように車両運転者1が車両前方を見ていなくても良い
場合にもスピーカ6から脇見に対する警報が出力され、
車両運転者1の運転の邪魔になるという問題点があっ
た。
【0005】この発明は、かかる問題点を解決するため
になされたもので、車両運転者が車両前方を見ていなく
てもよい場合には、脇見に対する警報が出力されない脇
見判定装置を得ることを目的としている。
になされたもので、車両運転者が車両前方を見ていなく
てもよい場合には、脇見に対する警報が出力されない脇
見判定装置を得ることを目的としている。
【0006】
【課題を解決するための手段】第1の発明に係る脇見判
定装置は、自車両の状態を監視し直進走行中か否かを判
断する自車両状態監視手段、車両運転者の顔の方向また
は視線を監視する運転者状態監視手段、自車両状態監視
手段の出力と運転者状態監視手段の出力を入力して車両
運転者が脇見をしているか否かを判断する脇見判定手
段、及び脇見判定手段が脇見をしていると判定した場合
に警報を出力する警報出力手段を備え、上記脇見判定手
段は、直進走行中でない時には脇見でないと判定するよ
うに構成したものである。
定装置は、自車両の状態を監視し直進走行中か否かを判
断する自車両状態監視手段、車両運転者の顔の方向また
は視線を監視する運転者状態監視手段、自車両状態監視
手段の出力と運転者状態監視手段の出力を入力して車両
運転者が脇見をしているか否かを判断する脇見判定手
段、及び脇見判定手段が脇見をしていると判定した場合
に警報を出力する警報出力手段を備え、上記脇見判定手
段は、直進走行中でない時には脇見でないと判定するよ
うに構成したものである。
【0007】また、第2の発明に係る脇見判定装置は、
自車両の状態を監視し直進走行中か否かを判断する自車
両状態監視手段、車両運転者の顔の方向または視線を監
視する運転者状態監視手段、運転者状態監視手段の出力
を入力して車両運転者が脇見をしているか否かを判定す
る脇見判定手段、及び自車両状態監視手段の出力と脇見
判定手段の出力を入力して警報を出力する警報出力手段
を備え、上記警報出力手段は、直進走行中でない時には
警報を出力しないように構成したものである。
自車両の状態を監視し直進走行中か否かを判断する自車
両状態監視手段、車両運転者の顔の方向または視線を監
視する運転者状態監視手段、運転者状態監視手段の出力
を入力して車両運転者が脇見をしているか否かを判定す
る脇見判定手段、及び自車両状態監視手段の出力と脇見
判定手段の出力を入力して警報を出力する警報出力手段
を備え、上記警報出力手段は、直進走行中でない時には
警報を出力しないように構成したものである。
【0008】また、第3の発明に係る脇見判定装置は、
自車両の状態を監視し直進走行中か否かを判断する自車
両状態監視手段、車両運転者の顔の方向または視線を監
視する運転者状態監視手段、運転者状態監視手段の出力
を入力して車両運転者が脇見をしているか否かを判定す
る脇見判定手段、脇見判定手段の出力を入力して警報を
出力する警報出力手段、及び運転者状態監視手段または
脇見判定手段または警報出力手段のうちの少なくとも1
つの動作を停止させる動作停止手段を備え、上記動作停
止手段は、直進走行中でない時には運転者状態監視手段
または脇見判定手段または警報出力手段のうちの少なく
とも1つの動作を停止させるように構成したものであ
る。
自車両の状態を監視し直進走行中か否かを判断する自車
両状態監視手段、車両運転者の顔の方向または視線を監
視する運転者状態監視手段、運転者状態監視手段の出力
を入力して車両運転者が脇見をしているか否かを判定す
る脇見判定手段、脇見判定手段の出力を入力して警報を
出力する警報出力手段、及び運転者状態監視手段または
脇見判定手段または警報出力手段のうちの少なくとも1
つの動作を停止させる動作停止手段を備え、上記動作停
止手段は、直進走行中でない時には運転者状態監視手段
または脇見判定手段または警報出力手段のうちの少なく
とも1つの動作を停止させるように構成したものであ
る。
【0009】また、第4の発明に係る脇見判定装置は、
第1ないし第3のいずれかの発明において、自車両状態
監視手段は、車両のハンドル操作状態または後進状態ま
たは停車状態を検出し、直進走行中か否かを判断するこ
とを特徴とするものである。
第1ないし第3のいずれかの発明において、自車両状態
監視手段は、車両のハンドル操作状態または後進状態ま
たは停車状態を検出し、直進走行中か否かを判断するこ
とを特徴とするものである。
【0010】
【作用】第1の発明のように構成された脇見判定装置で
は、自車両状態監視手段が直進走行中でないと判断した
場合、脇見判定手段は脇見でないと判断し、警報出力手
段への警報指示を出力しない。
は、自車両状態監視手段が直進走行中でないと判断した
場合、脇見判定手段は脇見でないと判断し、警報出力手
段への警報指示を出力しない。
【0011】また、第2の発明のように構成された脇見
判定装置では、自車両状態監視手段が直進走行中でない
と判断した場合、警報出力手段は脇見判定手段の判定結
果に関係なく警報を出力しない。
判定装置では、自車両状態監視手段が直進走行中でない
と判断した場合、警報出力手段は脇見判定手段の判定結
果に関係なく警報を出力しない。
【0012】また、第3の発明のように構成された脇見
判定装置では、自車両状態監視手段が直進走行中でない
と判断した場合、動作停止手段が運転者状態監視手段ま
たは脇見判定手段または警報出力手段のうちの少なくと
も1つの動作を停止させるので警報が出力されない。
判定装置では、自車両状態監視手段が直進走行中でない
と判断した場合、動作停止手段が運転者状態監視手段ま
たは脇見判定手段または警報出力手段のうちの少なくと
も1つの動作を停止させるので警報が出力されない。
【0013】また、第4の発明のように構成された脇見
判定装置では、車両のハンドル操作状態または後進状態
または停車状態を検出して直進走行中か否かを判断し、
直進走行中でない時に警報を出力しないようにする。
判定装置では、車両のハンドル操作状態または後進状態
または停車状態を検出して直進走行中か否かを判断し、
直進走行中でない時に警報を出力しないようにする。
【0014】
実施例1.図1は、この発明の実施例1による脇見判定
装置を示すブロック図である。図において、1〜6は従
来装置と同様のものである。また、7は舵角検出回路、
8はハンドルの回転角(以下、舵角と記す)を検出する
舵角センサである。舵角検出回路7と舵角センサ8とで
自車両状態監視手段を構成し、この実施例では舵角によ
って自車両の走行状態を監視している。
装置を示すブロック図である。図において、1〜6は従
来装置と同様のものである。また、7は舵角検出回路、
8はハンドルの回転角(以下、舵角と記す)を検出する
舵角センサである。舵角検出回路7と舵角センサ8とで
自車両状態監視手段を構成し、この実施例では舵角によ
って自車両の走行状態を監視している。
【0015】図2は、実施例1に係る脇見判定装置の動
作を示すフロ−チャ−トである。以下、この図に基づい
てこの実施例における脇見判定装置の動作を説明する。
ハンドルを回転させると、ハンドルの舵角に比例した電
圧が舵角センサ8に出力される。舵角検出回路7は、舵
角センサ8の出力電圧を入力して(ステップ20)、こ
の電圧からハンドルの舵角を計算する(ステップ2
1)。ステップ22の判断において、この計算した舵角
が所定の角度以上であれば、ハンドル操作中であると判
断し、舵角が所定の角度より小さければ、ハンドル操作
中ではないと判断する。ハンドル操作中であればカ−ブ
を走行中や車線変更中や方向転換中などであると判断で
きるので、車両運転者1は車両前方を見ていなくても良
い。この時、脇見判定回路4は顔の方向検出回路3の出
力結果に関係なく脇見でないと判定し、警報を出力しな
いように警報出力回路5に指示する。警報出力回路5は
脇見判定回路4の指示に従い、スピーカ6からの警報を
出力しない。
作を示すフロ−チャ−トである。以下、この図に基づい
てこの実施例における脇見判定装置の動作を説明する。
ハンドルを回転させると、ハンドルの舵角に比例した電
圧が舵角センサ8に出力される。舵角検出回路7は、舵
角センサ8の出力電圧を入力して(ステップ20)、こ
の電圧からハンドルの舵角を計算する(ステップ2
1)。ステップ22の判断において、この計算した舵角
が所定の角度以上であれば、ハンドル操作中であると判
断し、舵角が所定の角度より小さければ、ハンドル操作
中ではないと判断する。ハンドル操作中であればカ−ブ
を走行中や車線変更中や方向転換中などであると判断で
きるので、車両運転者1は車両前方を見ていなくても良
い。この時、脇見判定回路4は顔の方向検出回路3の出
力結果に関係なく脇見でないと判定し、警報を出力しな
いように警報出力回路5に指示する。警報出力回路5は
脇見判定回路4の指示に従い、スピーカ6からの警報を
出力しない。
【0016】ステップ22の判定でハンドル操作中でな
ければ、直進走行中と判断できるので、車両運転者1は
車両前方を見ていなければならない。そこで、顔の方向
検出回路3はカメラ2から車両運転者1の顔画像を入力
し(ステップ10)、顔画像から顔の方向を計算する
(ステップ11)。顔画像から顔の方向を計算する方法
としては、例えば、顔の特徴点として両眼の目頭と唇の
両端の4点を抽出し、顔は中心線に関して対称であるの
で、抽出した4点が作る等脚台形の方向を求めること
で、顔の方向を計算できる。この方法に関しては、雑誌
(Human Interface,1989年,Vo
l4,第11回研究会,第245頁〜第254頁,面対
称性を利用した顔・視線方向の計測と認識法)に詳しく
記載されている。
ければ、直進走行中と判断できるので、車両運転者1は
車両前方を見ていなければならない。そこで、顔の方向
検出回路3はカメラ2から車両運転者1の顔画像を入力
し(ステップ10)、顔画像から顔の方向を計算する
(ステップ11)。顔画像から顔の方向を計算する方法
としては、例えば、顔の特徴点として両眼の目頭と唇の
両端の4点を抽出し、顔は中心線に関して対称であるの
で、抽出した4点が作る等脚台形の方向を求めること
で、顔の方向を計算できる。この方法に関しては、雑誌
(Human Interface,1989年,Vo
l4,第11回研究会,第245頁〜第254頁,面対
称性を利用した顔・視線方向の計測と認識法)に詳しく
記載されている。
【0017】脇見判定回路4は、検出した顔の方向と車
両運転者1が正面前方を向いている場合の顔の方向との
角度のズレが所定の角度以上であれば脇見と判断し、角
度のズレが所定の角度より小さければ、脇見でないと判
断する(ステップ12)。脇見と判定した時は、脇見判
定回路4は警報を出力するように警報出力回路5に指示
を出す。警報出力回路5は、脇見判定回路4の指示に従
って、脇見が危険であることを車両運転者1に報知する
警報をスピーカ6より音声等で出力する(ステップ1
3)。ステップ12で脇見でないと判定された時は、脇
見判定回路4は警報を出力しないように警報出力回路5
に指示を出す。警報出力回路5は、脇見判定回路4の指
示に従って警報を出力しない。
両運転者1が正面前方を向いている場合の顔の方向との
角度のズレが所定の角度以上であれば脇見と判断し、角
度のズレが所定の角度より小さければ、脇見でないと判
断する(ステップ12)。脇見と判定した時は、脇見判
定回路4は警報を出力するように警報出力回路5に指示
を出す。警報出力回路5は、脇見判定回路4の指示に従
って、脇見が危険であることを車両運転者1に報知する
警報をスピーカ6より音声等で出力する(ステップ1
3)。ステップ12で脇見でないと判定された時は、脇
見判定回路4は警報を出力しないように警報出力回路5
に指示を出す。警報出力回路5は、脇見判定回路4の指
示に従って警報を出力しない。
【0018】上記のように、この実施例による脇見判定
装置では、舵角検出回路7によってハンドルの舵角から
車両運転者1が車両前方を向いていなくてもよい状態で
あるか否かを判定し、車両前方を向いていなくてもよい
状態の時には、脇見でないと判断するので、警報を出力
しない。従って、車両運転者1が車両前方を見ていなく
てもよい場合には、脇見に対する警報が出力されず、車
両運転者1の邪魔にならないので運転に集中でき、安全
性が高まる。
装置では、舵角検出回路7によってハンドルの舵角から
車両運転者1が車両前方を向いていなくてもよい状態で
あるか否かを判定し、車両前方を向いていなくてもよい
状態の時には、脇見でないと判断するので、警報を出力
しない。従って、車両運転者1が車両前方を見ていなく
てもよい場合には、脇見に対する警報が出力されず、車
両運転者1の邪魔にならないので運転に集中でき、安全
性が高まる。
【0019】なお、上記実施例ではステップ22でハン
ドル操作中であるかどうかを判断してから顔の方向を検
出しているが、常時顔の方向を検出しておき、ハンドル
操作中かどうかの判断で操作中でないと判断された時、
検出していた顔の方向の値を用いて脇見かどうかを判定
するようにしてもよい。
ドル操作中であるかどうかを判断してから顔の方向を検
出しているが、常時顔の方向を検出しておき、ハンドル
操作中かどうかの判断で操作中でないと判断された時、
検出していた顔の方向の値を用いて脇見かどうかを判定
するようにしてもよい。
【0020】実施例2.図3は、この発明の実施例2に
よる脇見判定装置を示すブロック図である。この実施例
による脇見判定装置の各回路は実施例1における回路と
ほぼ同様のものである。この実施例における舵角検出回
路7は検出結果を警報出力回路5に出力し、脇見判定回
路4は判定結果を警報出力回路5に出力するように構成
している。警報出力回路5は脇見判定回路4の出力と舵
角検出回路7の出力を入力して、必要な場合にスピーカ
6から警報を発する。実施例1と同様、舵角検出回路7
と舵角センサ8とで自車両状態監視手段を構成し、この
実施例では舵角によって自車両の走行状態を監視してい
る。
よる脇見判定装置を示すブロック図である。この実施例
による脇見判定装置の各回路は実施例1における回路と
ほぼ同様のものである。この実施例における舵角検出回
路7は検出結果を警報出力回路5に出力し、脇見判定回
路4は判定結果を警報出力回路5に出力するように構成
している。警報出力回路5は脇見判定回路4の出力と舵
角検出回路7の出力を入力して、必要な場合にスピーカ
6から警報を発する。実施例1と同様、舵角検出回路7
と舵角センサ8とで自車両状態監視手段を構成し、この
実施例では舵角によって自車両の走行状態を監視してい
る。
【0021】図4は、実施例2に係る脇見判定装置の動
作を示すフロ−チャ−トである。以下、この図に基づい
てこの実施例における脇見判定装置の動作を説明する。
顔の方向検出回路3はカメラ2から車両運転者1の顔画
像を入力し(ステップ10)、顔画像から顔の方向を計
算する(ステップ11)。脇見判定回路4は、検出した
顔の方向と車両運転者1が正面前方を向いている場合の
顔の方向との角度のズレが所定の角度以上であれば脇見
と判断し、角度のズレが所定の角度より小さければ、脇
見でないと判断する。そして、この判断の結果を警報出
力回路5に出力する。
作を示すフロ−チャ−トである。以下、この図に基づい
てこの実施例における脇見判定装置の動作を説明する。
顔の方向検出回路3はカメラ2から車両運転者1の顔画
像を入力し(ステップ10)、顔画像から顔の方向を計
算する(ステップ11)。脇見判定回路4は、検出した
顔の方向と車両運転者1が正面前方を向いている場合の
顔の方向との角度のズレが所定の角度以上であれば脇見
と判断し、角度のズレが所定の角度より小さければ、脇
見でないと判断する。そして、この判断の結果を警報出
力回路5に出力する。
【0022】ステップ12で脇見と判定した時は、自車
両状態監視手段7,8で自車両状態を検出する。即ち、
舵角検出回路7で舵角センサ8の出力電圧を入力して
(ステップ20)、この電圧からハンドルの舵角を計算
する(ステップ21)。ステップ22の判断において、
この計算した舵角が所定の角度以上であれば、ハンドル
操作中であると判断し、舵角が所定の角度より小さけれ
ば、ハンドル操作中ではないと判断する。警報出力回路
5では、脇見判定回路4と舵角検出回路7の結果を入力
し、ハンドル操作中であれば、車両運転者1は車両前方
を見なくても良い状態であるので脇見でないと判定し、
スピーカ6からの警報を出力しない。ステップ22の判
定でハンドル操作中でなければ、直進走行中と判断でき
るので、車両運転者1は車両前方を見ていなければなら
ない。このため、脇見が危険であることを車両運転者1
に報知する警報をスピーカ6より音声等で出力する(ス
テップ13)。ステップ12で脇見でないと判定した時
は、舵角検出回路7の判定結果に係わらず、警報出力回
路5は警報を出力しない。
両状態監視手段7,8で自車両状態を検出する。即ち、
舵角検出回路7で舵角センサ8の出力電圧を入力して
(ステップ20)、この電圧からハンドルの舵角を計算
する(ステップ21)。ステップ22の判断において、
この計算した舵角が所定の角度以上であれば、ハンドル
操作中であると判断し、舵角が所定の角度より小さけれ
ば、ハンドル操作中ではないと判断する。警報出力回路
5では、脇見判定回路4と舵角検出回路7の結果を入力
し、ハンドル操作中であれば、車両運転者1は車両前方
を見なくても良い状態であるので脇見でないと判定し、
スピーカ6からの警報を出力しない。ステップ22の判
定でハンドル操作中でなければ、直進走行中と判断でき
るので、車両運転者1は車両前方を見ていなければなら
ない。このため、脇見が危険であることを車両運転者1
に報知する警報をスピーカ6より音声等で出力する(ス
テップ13)。ステップ12で脇見でないと判定した時
は、舵角検出回路7の判定結果に係わらず、警報出力回
路5は警報を出力しない。
【0023】上記のように、この実施例による脇見判定
装置では、舵角検出回路7によってハンドルの舵角から
車両運転者1が車両前方を向いていなくてもよい状態で
あるか否かを判定し、車両前方を向いていなくてもよい
状態の時には、警報出力回路5は警報を出力しない。従
って、実施例1と同様、車両運転者1が車両前方を見て
いなくてもよい場合には、脇見に対する警報が出力され
ず、車両運転者1の邪魔にならないので運転に集中で
き、安全性が高まる。
装置では、舵角検出回路7によってハンドルの舵角から
車両運転者1が車両前方を向いていなくてもよい状態で
あるか否かを判定し、車両前方を向いていなくてもよい
状態の時には、警報出力回路5は警報を出力しない。従
って、実施例1と同様、車両運転者1が車両前方を見て
いなくてもよい場合には、脇見に対する警報が出力され
ず、車両運転者1の邪魔にならないので運転に集中で
き、安全性が高まる。
【0024】なお、上記実施例ではステップ12で脇見
であるかどうかを判断してからハンドルの舵角を検出し
ているが、常時舵角を検出しておき、脇見かどうかの判
断で脇見であると判断された時、検出していた舵角値を
用いてハンドル操作中かどうかを判定するようにしても
よい。即ち、警報出力回路5は、脇見かつハンドル操作
中でなければ、警報を出力し、脇見でないかハンドル操
作中であれば、警報を出力しないように構成すればよ
い。
であるかどうかを判断してからハンドルの舵角を検出し
ているが、常時舵角を検出しておき、脇見かどうかの判
断で脇見であると判断された時、検出していた舵角値を
用いてハンドル操作中かどうかを判定するようにしても
よい。即ち、警報出力回路5は、脇見かつハンドル操作
中でなければ、警報を出力し、脇見でないかハンドル操
作中であれば、警報を出力しないように構成すればよ
い。
【0025】また、上記実施例1,2では舵角によって
車両の方向転換中であることを検出するようにしている
が、方向指示器のON/OFFを検出して方向転換する
かどうかを判断することもできる。
車両の方向転換中であることを検出するようにしている
が、方向指示器のON/OFFを検出して方向転換する
かどうかを判断することもできる。
【0026】実施例3.図5は、この発明の実施例3に
よる脇見判定装置を示すブロック図である。図におい
て、1〜6は従来装置と同様のものである。また、14
はシフト位置検出回路、15はシフト位置センサであ
る。車両を運転中にシフト位置を代えると、シフト位置
に応じた信号がシフト位置センサ15に現れる。例え
ば、シフト位置センサ15は機械的なスイッチで実現で
き、自動変速器(AT)であれば、P(駐車)、R(後
進)、N(ニュ−トラル)、D(ドライブ)、2(2
速)、1(1速)のいずれかのシフト位置に応じた出力
が得られる。シフト位置検出回路14は、シフト位置セ
ンサ15の出力を使い後進中か否かを判断する。この実
施例ではシフト位置検出回路14とシフト位置センサ1
5とで自車両状態監視手段を構成し、シフト位置によっ
て自車両の前進、後進を検出し、自車両の走行状態を監
視している。
よる脇見判定装置を示すブロック図である。図におい
て、1〜6は従来装置と同様のものである。また、14
はシフト位置検出回路、15はシフト位置センサであ
る。車両を運転中にシフト位置を代えると、シフト位置
に応じた信号がシフト位置センサ15に現れる。例え
ば、シフト位置センサ15は機械的なスイッチで実現で
き、自動変速器(AT)であれば、P(駐車)、R(後
進)、N(ニュ−トラル)、D(ドライブ)、2(2
速)、1(1速)のいずれかのシフト位置に応じた出力
が得られる。シフト位置検出回路14は、シフト位置セ
ンサ15の出力を使い後進中か否かを判断する。この実
施例ではシフト位置検出回路14とシフト位置センサ1
5とで自車両状態監視手段を構成し、シフト位置によっ
て自車両の前進、後進を検出し、自車両の走行状態を監
視している。
【0027】図6は、実施例3に係る脇見判定装置の動
作を示すフロ−チャ−トである。以下、この図に基づい
てこの実施例における脇見判定装置の動作を説明する。
車両のシフト位置に応じたシフト位置センサ15の出力
を、シフト位置検出回路14に入力し(ステップ3
0)、この出力からシフト位置を計算する(ステップ3
1)。ステップ32において、シフト位置が後進中かど
うか判断する。後進中であれば車両運転者1は車両前方
を見ていなくても良い。この時、脇見判定回路4は顔の
方向検出回路3の出力結果に関係なく脇見でないと判定
し、警報を出力しないように警報出力回路5に指示す
る。警報出力回路5は脇見判定回路4の指示に従い、ス
ピーカ6からの警報を出力しない。
作を示すフロ−チャ−トである。以下、この図に基づい
てこの実施例における脇見判定装置の動作を説明する。
車両のシフト位置に応じたシフト位置センサ15の出力
を、シフト位置検出回路14に入力し(ステップ3
0)、この出力からシフト位置を計算する(ステップ3
1)。ステップ32において、シフト位置が後進中かど
うか判断する。後進中であれば車両運転者1は車両前方
を見ていなくても良い。この時、脇見判定回路4は顔の
方向検出回路3の出力結果に関係なく脇見でないと判定
し、警報を出力しないように警報出力回路5に指示す
る。警報出力回路5は脇見判定回路4の指示に従い、ス
ピーカ6からの警報を出力しない。
【0028】ステップ32の判定で後進中でなければ、
前進走行中と判断できるので、車両運転者1は車両前方
を見ていなければならない。そこで、顔の方向検出回路
3はカメラ2から車両運転者1の顔画像を入力し(ステ
ップ10)、顔画像から顔の方向を計算する(ステップ
11)。脇見判定回路4は、検出した顔の方向と車両運
転者1が正面前方を向いている場合の顔の方向との角度
のズレが所定の角度以上であれば脇見と判断し、角度の
ズレが所定の角度より小さければ、脇見でないと判断す
る(ステップ12)。脇見と判定した時は、脇見判定回
路4は警報を出力するように警報出力回路5に指示を出
す。警報出力回路5は、脇見判定回路4の指示に従っ
て、脇見が危険であることを車両運転者1に報知する警
報をスピーカ6より音声等で出力する(ステップ1
3)。ステップ12で脇見でないと判定された時は、脇
見判定回路4は警報を出力しないように警報出力回路5
に指示を出す。警報出力回路5は、脇見判定回路4の指
示に従って警報を出力しない。
前進走行中と判断できるので、車両運転者1は車両前方
を見ていなければならない。そこで、顔の方向検出回路
3はカメラ2から車両運転者1の顔画像を入力し(ステ
ップ10)、顔画像から顔の方向を計算する(ステップ
11)。脇見判定回路4は、検出した顔の方向と車両運
転者1が正面前方を向いている場合の顔の方向との角度
のズレが所定の角度以上であれば脇見と判断し、角度の
ズレが所定の角度より小さければ、脇見でないと判断す
る(ステップ12)。脇見と判定した時は、脇見判定回
路4は警報を出力するように警報出力回路5に指示を出
す。警報出力回路5は、脇見判定回路4の指示に従っ
て、脇見が危険であることを車両運転者1に報知する警
報をスピーカ6より音声等で出力する(ステップ1
3)。ステップ12で脇見でないと判定された時は、脇
見判定回路4は警報を出力しないように警報出力回路5
に指示を出す。警報出力回路5は、脇見判定回路4の指
示に従って警報を出力しない。
【0029】上記のように、この実施例による脇見判定
装置では、シフト位置検出回路14によって後進中か否
かによって、車両運転者1が車両前方を向いていなくて
もよい状態であるか否かを判定し、車両前方を向いてい
なくてもよい状態の時には、脇見でないと判断するの
で、警報を出力しない。従って、車両運転者1が車両前
方を見ていなくてもよい場合には、脇見に対する警報が
出力されず、車両運転者1の邪魔にならないので運転に
集中でき、安全性が高まる。
装置では、シフト位置検出回路14によって後進中か否
かによって、車両運転者1が車両前方を向いていなくて
もよい状態であるか否かを判定し、車両前方を向いてい
なくてもよい状態の時には、脇見でないと判断するの
で、警報を出力しない。従って、車両運転者1が車両前
方を見ていなくてもよい場合には、脇見に対する警報が
出力されず、車両運転者1の邪魔にならないので運転に
集中でき、安全性が高まる。
【0030】なお、上記実施例ではステップ32で後進
中であるかどうかを判断してから顔の方向を検出してい
るが、常時顔の方向を検出しておき、後進中かどうかの
判断で後進中でないと判断された時、検出していた顔の
方向の値を用いて脇見かどうかを判定するようにしても
よい。
中であるかどうかを判断してから顔の方向を検出してい
るが、常時顔の方向を検出しておき、後進中かどうかの
判断で後進中でないと判断された時、検出していた顔の
方向の値を用いて脇見かどうかを判定するようにしても
よい。
【0031】実施例4.図7は、この発明の実施例4に
よる脇見判定装置を示すブロック図である。この実施例
による脇見判定装置の各回路は実施例3における回路と
ほぼ同様のものである。この実施例におけるシフト位置
検出回路14は検出結果を警報出力回路5に出力し、脇
見判定回路4は判定結果を警報出力回路5に出力するよ
うに構成している。警報出力回路5は脇見判定回路4の
出力とシフト位置検出回路14の出力を入力して、必要
な場合にスピーカ6から警報を発する。実施例3と同
様、シフト位置検出回路14とシフト位置センサ15と
で自車両状態監視手段を構成し、この実施例ではシフト
位置によって自車両の前進、後進を検出し、自車両の走
行状態を監視している。
よる脇見判定装置を示すブロック図である。この実施例
による脇見判定装置の各回路は実施例3における回路と
ほぼ同様のものである。この実施例におけるシフト位置
検出回路14は検出結果を警報出力回路5に出力し、脇
見判定回路4は判定結果を警報出力回路5に出力するよ
うに構成している。警報出力回路5は脇見判定回路4の
出力とシフト位置検出回路14の出力を入力して、必要
な場合にスピーカ6から警報を発する。実施例3と同
様、シフト位置検出回路14とシフト位置センサ15と
で自車両状態監視手段を構成し、この実施例ではシフト
位置によって自車両の前進、後進を検出し、自車両の走
行状態を監視している。
【0032】図8は、実施例4に係る脇見判定装置の動
作を示すフロ−チャ−トである。以下、この図に基づい
てこの実施例における脇見判定装置の動作を説明する。
顔の方向検出回路3はカメラ2から車両運転者1の顔画
像を入力し(ステップ10)、顔画像から顔の方向を計
算する(ステップ11)。脇見判定回路4は、検出した
顔の方向と車両運転者1が正面前方を向いている場合の
顔の方向との角度のズレが所定の角度以上であれば脇見
と判断し、角度のズレが所定の角度より小さければ、脇
見でないと判断する。そして、この判断の結果を警報出
力回路5に出力する。
作を示すフロ−チャ−トである。以下、この図に基づい
てこの実施例における脇見判定装置の動作を説明する。
顔の方向検出回路3はカメラ2から車両運転者1の顔画
像を入力し(ステップ10)、顔画像から顔の方向を計
算する(ステップ11)。脇見判定回路4は、検出した
顔の方向と車両運転者1が正面前方を向いている場合の
顔の方向との角度のズレが所定の角度以上であれば脇見
と判断し、角度のズレが所定の角度より小さければ、脇
見でないと判断する。そして、この判断の結果を警報出
力回路5に出力する。
【0033】ステップ12で脇見と判定した時は、自車
両状態監視手段14,15で自車両状態を検出する。即
ち、シフト位置検出回路14でシフト位置センサ15の
出力を入力して(ステップ30)、この値からシフト位
置を計算する(ステップ31)。警報出力回路5では、
ステップ32の判断においてシフト位置が後進中であれ
ば、車両運転者1は車両前方を見ていなくても良い状態
であるので脇見でないと判定し、スピーカ6からの警報
を出力しない。ステップ32の判断で後進中でなけれ
ば、前進走行中と判断できるので、車両運転者1は車両
前方を見ていなければならない。このため警報出力回路
5は、脇見が危険であることを車両運転者1に報知する
警報をスピーカ6より出力する(ステップ13)。ステ
ップ12で脇見でないと判定した時は、シフト位置検出
回路14の判定結果に係わらず、警報出力回路5は警報
を出力しない。
両状態監視手段14,15で自車両状態を検出する。即
ち、シフト位置検出回路14でシフト位置センサ15の
出力を入力して(ステップ30)、この値からシフト位
置を計算する(ステップ31)。警報出力回路5では、
ステップ32の判断においてシフト位置が後進中であれ
ば、車両運転者1は車両前方を見ていなくても良い状態
であるので脇見でないと判定し、スピーカ6からの警報
を出力しない。ステップ32の判断で後進中でなけれ
ば、前進走行中と判断できるので、車両運転者1は車両
前方を見ていなければならない。このため警報出力回路
5は、脇見が危険であることを車両運転者1に報知する
警報をスピーカ6より出力する(ステップ13)。ステ
ップ12で脇見でないと判定した時は、シフト位置検出
回路14の判定結果に係わらず、警報出力回路5は警報
を出力しない。
【0034】上記のように、この実施例による脇見判定
装置では、シフト位置検出回路14によって車両の後進
状態から車両運転者1が車両前方を向いていなくてもよ
い状態であるか否かを判定し、車両前方を向いていなく
てもよい状態の時には、警報出力回路5は警報を出力し
ない。従って、実施例3と同様、車両運転者1が車両前
方を見ていなくてもよい場合には、脇見に対する警報が
出力されず、車両運転者1の邪魔にならないので運転に
集中でき、安全性が高まる。
装置では、シフト位置検出回路14によって車両の後進
状態から車両運転者1が車両前方を向いていなくてもよ
い状態であるか否かを判定し、車両前方を向いていなく
てもよい状態の時には、警報出力回路5は警報を出力し
ない。従って、実施例3と同様、車両運転者1が車両前
方を見ていなくてもよい場合には、脇見に対する警報が
出力されず、車両運転者1の邪魔にならないので運転に
集中でき、安全性が高まる。
【0035】なお、上記実施例ではステップ12で脇見
であるかどうかを判断してからシフト位置を検出してい
るが、常時シフト位置を検出しておき、脇見かどうかの
判断で脇見であると判断された時、検出していたシフト
位置を用いて後進中かどうかを判定するようにしてもよ
い。即ち、警報出力回路5は、脇見かつ後進中でなけれ
ば、警報を出力し、脇見でないか後進中であれば、警報
を出力しないように構成すればよい。
であるかどうかを判断してからシフト位置を検出してい
るが、常時シフト位置を検出しておき、脇見かどうかの
判断で脇見であると判断された時、検出していたシフト
位置を用いて後進中かどうかを判定するようにしてもよ
い。即ち、警報出力回路5は、脇見かつ後進中でなけれ
ば、警報を出力し、脇見でないか後進中であれば、警報
を出力しないように構成すればよい。
【0036】実施例5.図9は、この発明の実施例5に
よる脇見判定装置を示すブロック図である。図におい
て、1〜6は上記実施例と同様のものである。また、1
6は車速検出回路、17は車輪速センサである。走行中
の車輪速を車輪速センサ17で計測する。例えば、車輪
速センサ17は一般的なスピードメータに用いているよ
うな計測器で実現できる。例えば、車輪が回転すると回
転数に比例した数の電圧パルスが車輪速センサ17に現
れる。車速検出回路16は、電圧パルスの例えば1秒間
における数をカウントし、タイヤが1秒間に何回転した
かを計算し、これにタイヤの周囲長を乗ずることにより
車速を計算する。車速検出回路16は、車速が0であれ
ば停車中、車速が0より大きければ停止中でないと判断
する。この実施例では車速検出回路16と車輪速センサ
17とで自車両状態監視手段を構成し、車輪速によって
自車両の停車中を検出し、自車両の走行状態を監視して
いる。
よる脇見判定装置を示すブロック図である。図におい
て、1〜6は上記実施例と同様のものである。また、1
6は車速検出回路、17は車輪速センサである。走行中
の車輪速を車輪速センサ17で計測する。例えば、車輪
速センサ17は一般的なスピードメータに用いているよ
うな計測器で実現できる。例えば、車輪が回転すると回
転数に比例した数の電圧パルスが車輪速センサ17に現
れる。車速検出回路16は、電圧パルスの例えば1秒間
における数をカウントし、タイヤが1秒間に何回転した
かを計算し、これにタイヤの周囲長を乗ずることにより
車速を計算する。車速検出回路16は、車速が0であれ
ば停車中、車速が0より大きければ停止中でないと判断
する。この実施例では車速検出回路16と車輪速センサ
17とで自車両状態監視手段を構成し、車輪速によって
自車両の停車中を検出し、自車両の走行状態を監視して
いる。
【0037】図10は、実施例5に係る脇見判定装置の
動作を示すフロ−チャ−トである。以下、この図に基づ
いてこの実施例における脇見判定装置の動作を説明す
る。車両の車速を車輪速センサ17の出力によって車速
検出回路16で検出し(ステップ40)、この出力から
車速を計算する(ステップ41)。ステップ42におい
て、車速を0と比較し、0であれば停車中、0より大き
ければ走行中であると判断する。停車中であれば車両運
転者1は車両前方を見ていなくても良い。この時、脇見
判定回路4は顔の方向検出回路3の出力結果に関係なく
脇見でないと判定し、警報を出力しないように警報出力
回路5に指示する。警報出力回路5は脇見判定回路4の
指示に従い、スピーカ6からの警報を出力しない。
動作を示すフロ−チャ−トである。以下、この図に基づ
いてこの実施例における脇見判定装置の動作を説明す
る。車両の車速を車輪速センサ17の出力によって車速
検出回路16で検出し(ステップ40)、この出力から
車速を計算する(ステップ41)。ステップ42におい
て、車速を0と比較し、0であれば停車中、0より大き
ければ走行中であると判断する。停車中であれば車両運
転者1は車両前方を見ていなくても良い。この時、脇見
判定回路4は顔の方向検出回路3の出力結果に関係なく
脇見でないと判定し、警報を出力しないように警報出力
回路5に指示する。警報出力回路5は脇見判定回路4の
指示に従い、スピーカ6からの警報を出力しない。
【0038】ステップ42の判定で停車中でなければ、
走行中と判断できるので、車両運転者1は車両前方を見
ていなければならない。そこで、顔の方向検出回路3は
カメラ2から車両運転者1の顔画像を入力し(ステップ
10)、顔画像から顔の方向を計算する(ステップ1
1)。脇見判定回路4は、検出した顔の方向と車両運転
者1が正面前方を向いている場合の顔の方向との角度の
ズレが所定の角度以上であれば脇見と判断し、角度のズ
レが所定の角度より小さければ、脇見でないと判断する
(ステップ12)。脇見と判定した時は、脇見判定回路
4は警報を出力するように警報出力回路5に指示を出
す。警報出力回路5は、脇見判定回路4の指示に従っ
て、脇見が危険であることを車両運転者1に報知する警
報をスピーカ6より音声等で出力する(ステップ1
3)。ステップ12で脇見でないと判定された時は、脇
見判定回路4は警報を出力しないように警報出力回路5
に指示を出す。警報出力回路5は、脇見判定回路4の指
示に従って警報を出力しない。
走行中と判断できるので、車両運転者1は車両前方を見
ていなければならない。そこで、顔の方向検出回路3は
カメラ2から車両運転者1の顔画像を入力し(ステップ
10)、顔画像から顔の方向を計算する(ステップ1
1)。脇見判定回路4は、検出した顔の方向と車両運転
者1が正面前方を向いている場合の顔の方向との角度の
ズレが所定の角度以上であれば脇見と判断し、角度のズ
レが所定の角度より小さければ、脇見でないと判断する
(ステップ12)。脇見と判定した時は、脇見判定回路
4は警報を出力するように警報出力回路5に指示を出
す。警報出力回路5は、脇見判定回路4の指示に従っ
て、脇見が危険であることを車両運転者1に報知する警
報をスピーカ6より音声等で出力する(ステップ1
3)。ステップ12で脇見でないと判定された時は、脇
見判定回路4は警報を出力しないように警報出力回路5
に指示を出す。警報出力回路5は、脇見判定回路4の指
示に従って警報を出力しない。
【0039】上記のように、この実施例による脇見判定
装置では、車速検出回路16によって停車中か否かを判
断し、この結果車両運転者1が車両前方を向いていなく
てもよい状態であるか否かを判定する。車両前方を向い
ていなくてもよい状態の時には、脇見でないと判断する
ので、警報を出力しない。従って、車両運転者1が車両
前方を見ていなくてもよい場合には、脇見に対する警報
が出力されず、車両運転者1の邪魔にならないので運転
に集中でき、安全性が高まる。
装置では、車速検出回路16によって停車中か否かを判
断し、この結果車両運転者1が車両前方を向いていなく
てもよい状態であるか否かを判定する。車両前方を向い
ていなくてもよい状態の時には、脇見でないと判断する
ので、警報を出力しない。従って、車両運転者1が車両
前方を見ていなくてもよい場合には、脇見に対する警報
が出力されず、車両運転者1の邪魔にならないので運転
に集中でき、安全性が高まる。
【0040】なお、上記実施例ではステップ42で停車
中であるかどうかを判断してから顔の方向を検出してい
るが、常時顔の方向を検出しておき、停車中かどうかの
判断で停車中でないと判断された時、検出していた顔の
方向の値を用いて脇見かどうかを判定するようにしても
よい。
中であるかどうかを判断してから顔の方向を検出してい
るが、常時顔の方向を検出しておき、停車中かどうかの
判断で停車中でないと判断された時、検出していた顔の
方向の値を用いて脇見かどうかを判定するようにしても
よい。
【0041】実施例6.図11は、この発明の実施例6
による脇見判定装置を示すブロック図である。この実施
例による脇見判定装置の各回路は実施例5における回路
とほぼ同様のものである。この実施例における車速検出
回路16は検出結果を警報出力回路5に出力し、脇見判
定回路4は判定結果を警報出力回路5に出力するように
構成している。警報出力回路5は脇見判定回路4の出力
と車速検出回路16の出力を入力して、必要な場合にス
ピーカ6から警報を発する。実施例5と同様、車速検出
回路16と車輪速センサ17とで自車両状態監視手段を
構成し、この実施例では車輪速によって自車両の停車
中、走行中を検出し、自車両の走行状態を監視してい
る。
による脇見判定装置を示すブロック図である。この実施
例による脇見判定装置の各回路は実施例5における回路
とほぼ同様のものである。この実施例における車速検出
回路16は検出結果を警報出力回路5に出力し、脇見判
定回路4は判定結果を警報出力回路5に出力するように
構成している。警報出力回路5は脇見判定回路4の出力
と車速検出回路16の出力を入力して、必要な場合にス
ピーカ6から警報を発する。実施例5と同様、車速検出
回路16と車輪速センサ17とで自車両状態監視手段を
構成し、この実施例では車輪速によって自車両の停車
中、走行中を検出し、自車両の走行状態を監視してい
る。
【0042】図12は、実施例6に係る脇見判定装置の
動作を示すフロ−チャ−トである。以下、この図に基づ
いてこの実施例における脇見判定装置の動作を説明す
る。顔の方向検出回路3はカメラ2から車両運転者1の
顔画像を入力し(ステップ10)、顔画像から顔の方向
を計算する(ステップ11)。脇見判定回路4は、検出
した顔の方向と車両運転者1が正面前方を向いている場
合の顔の方向との角度のズレが所定の角度以上であれば
脇見と判断し、角度のズレが所定の角度より小さけれ
ば、脇見でないと判断する。そして、この判断の結果を
警報出力回路5に出力する。
動作を示すフロ−チャ−トである。以下、この図に基づ
いてこの実施例における脇見判定装置の動作を説明す
る。顔の方向検出回路3はカメラ2から車両運転者1の
顔画像を入力し(ステップ10)、顔画像から顔の方向
を計算する(ステップ11)。脇見判定回路4は、検出
した顔の方向と車両運転者1が正面前方を向いている場
合の顔の方向との角度のズレが所定の角度以上であれば
脇見と判断し、角度のズレが所定の角度より小さけれ
ば、脇見でないと判断する。そして、この判断の結果を
警報出力回路5に出力する。
【0043】ステップ12で脇見と判定した時は、自車
両状態監視手段16,17で自車両状態を検出する。即
ち、車速検出回路16で車輪速センサ17の出力を入力
して(ステップ40)、この値から車速を計算する(ス
テップ41)。ステップ42の判断において車速が0で
あれば、停車中であり車両運転者1は車両前方を見てい
なくても良い状態である。このため警報出力回路5では
脇見でないと判定し、スピーカ6からの警報を出力しな
い。ステップ42の判定で停車中でなければ、走行中と
判断できるので、車両運転者1は車両前方を見ていなけ
ればならない。このため警報出力回路5は、脇見が危険
であることを車両運転者1に報知する警報をスピーカ6
より出力する(ステップ13)。ステップ12で脇見で
ないと判定した時は、車速検出回路16の判定結果に係
わらず、警報出力回路5は警報を出力しない。
両状態監視手段16,17で自車両状態を検出する。即
ち、車速検出回路16で車輪速センサ17の出力を入力
して(ステップ40)、この値から車速を計算する(ス
テップ41)。ステップ42の判断において車速が0で
あれば、停車中であり車両運転者1は車両前方を見てい
なくても良い状態である。このため警報出力回路5では
脇見でないと判定し、スピーカ6からの警報を出力しな
い。ステップ42の判定で停車中でなければ、走行中と
判断できるので、車両運転者1は車両前方を見ていなけ
ればならない。このため警報出力回路5は、脇見が危険
であることを車両運転者1に報知する警報をスピーカ6
より出力する(ステップ13)。ステップ12で脇見で
ないと判定した時は、車速検出回路16の判定結果に係
わらず、警報出力回路5は警報を出力しない。
【0044】上記のように、この実施例による脇見判定
装置では、車速検出回路16によって車両の停車状態か
ら車両運転者1が車両前方を向いていなくてもよい状態
であるか否かを判定し、車両前方を向いていなくてもよ
い状態の時には、警報出力回路5は警報を出力しない。
従って、実施例5と同様、車両運転者1が車両前方を見
ていなくてもよい場合には、脇見に対する警報が出力さ
れず、車両運転者1の邪魔にならないので運転に集中で
き、安全性が高まる。
装置では、車速検出回路16によって車両の停車状態か
ら車両運転者1が車両前方を向いていなくてもよい状態
であるか否かを判定し、車両前方を向いていなくてもよ
い状態の時には、警報出力回路5は警報を出力しない。
従って、実施例5と同様、車両運転者1が車両前方を見
ていなくてもよい場合には、脇見に対する警報が出力さ
れず、車両運転者1の邪魔にならないので運転に集中で
き、安全性が高まる。
【0045】なお、上記実施例ではステップ12で脇見
であるかどうかを判断してから車速を検出しているが、
常時車速を検出しておき、脇見かどうかの判断で脇見で
あると判断された時、検出していた車速を用いて停車中
かどうかを判定するようにしてもよい。即ち、警報出力
回路5は、脇見かつ停車中でなければ、警報を出力し、
脇見でないか停車中であれば、警報を出力しないように
構成すればよい。
であるかどうかを判断してから車速を検出しているが、
常時車速を検出しておき、脇見かどうかの判断で脇見で
あると判断された時、検出していた車速を用いて停車中
かどうかを判定するようにしてもよい。即ち、警報出力
回路5は、脇見かつ停車中でなければ、警報を出力し、
脇見でないか停車中であれば、警報を出力しないように
構成すればよい。
【0046】また、上記実施例では停車中かどうかを判
断するのに、車輪速から判断しているが、これに限るも
のではなく、実施例3,4のようなシフト位置検出セン
サによって、シフト位置がパーキングであることから検
出することもできる。
断するのに、車輪速から判断しているが、これに限るも
のではなく、実施例3,4のようなシフト位置検出セン
サによって、シフト位置がパーキングであることから検
出することもできる。
【0047】実施例7.図13は、この発明の実施例7
による脇見判定装置を示すブロック図である。この実施
例による脇見判定装置の各回路は実施例1における回路
とほぼ同様のものである。さらに、18はスイッチ制御
回路であり、スイッチ(SW)19のON/OFFを制
御する。この実施例における舵角検出回路7は検出結果
をスイッチ制御回路18に出力し、脇見判定回路4は判
定結果を警報出力回路5に出力するように構成してい
る。SW19が警報出力回路5とスピーカ6の間に接続
され、警報出力手段5,6の動作を停止させる動作停止
手段を構成している。実施例1と同様、舵角検出回路7
と舵角センサ8とで自車両状態監視手段を構成し、この
実施例では舵角によって自車両の走行状態を監視してい
る。
による脇見判定装置を示すブロック図である。この実施
例による脇見判定装置の各回路は実施例1における回路
とほぼ同様のものである。さらに、18はスイッチ制御
回路であり、スイッチ(SW)19のON/OFFを制
御する。この実施例における舵角検出回路7は検出結果
をスイッチ制御回路18に出力し、脇見判定回路4は判
定結果を警報出力回路5に出力するように構成してい
る。SW19が警報出力回路5とスピーカ6の間に接続
され、警報出力手段5,6の動作を停止させる動作停止
手段を構成している。実施例1と同様、舵角検出回路7
と舵角センサ8とで自車両状態監視手段を構成し、この
実施例では舵角によって自車両の走行状態を監視してい
る。
【0048】図14は、実施例7に係る脇見判定装置の
動作を示すフロ−チャ−トである。以下、この図に基づ
いてこの実施例における脇見判定装置の動作を説明す
る。顔の方向検出回路3はカメラ2から車両運転者1の
顔画像を入力し(ステップ10)、顔画像から顔の方向
を計算する(ステップ11)。脇見判定回路4は、検出
した顔の方向と車両運転者1が正面前方を向いている場
合の顔の方向との角度のズレが所定の角度以上であれば
脇見と判断し、角度のズレが所定の角度より小さけれ
ば、脇見でないと判断する(ステップ12)。そして、
この判断の結果を警報出力回路5に出力する。
動作を示すフロ−チャ−トである。以下、この図に基づ
いてこの実施例における脇見判定装置の動作を説明す
る。顔の方向検出回路3はカメラ2から車両運転者1の
顔画像を入力し(ステップ10)、顔画像から顔の方向
を計算する(ステップ11)。脇見判定回路4は、検出
した顔の方向と車両運転者1が正面前方を向いている場
合の顔の方向との角度のズレが所定の角度以上であれば
脇見と判断し、角度のズレが所定の角度より小さけれ
ば、脇見でないと判断する(ステップ12)。そして、
この判断の結果を警報出力回路5に出力する。
【0049】ステップ12で脇見でないと判定した時
は、脇見判定回路4は警報を出力しないように警報出力
回路5に指示を出す。この場合、スイッチ制御回路18
の動作によりSW19がONでもOFFでも警報は出力
されない。ステップ12で脇見と判定した時は、自車両
状態監視手段7,8で自車両状態を検出する。即ち、舵
角検出回路7で舵角センサ8の出力電圧を入力して(ス
テップ20)、この電圧からハンドルの舵角を計算する
(ステップ21)。ステップ22の判断において、この
計算した舵角が所定の角度以上であれば、ハンドル操作
中であると判断し、舵角が所定の角度より小さければ、
ハンドル操作中ではないと判断する。ハンドル操作中で
あれば、車両運転者1は車両前方を見なくても良い状態
であるので、舵角検出回路7はスイッチ制御回路18に
SW19を切るように指示を出す。スイッチ制御回路1
8は、舵角検出回路7の指示に従ってSW19を切る
(ステップ23)。このため、車両運転者1の顔の方向
に関わらず、スピーカ6から警報は出力されない。
は、脇見判定回路4は警報を出力しないように警報出力
回路5に指示を出す。この場合、スイッチ制御回路18
の動作によりSW19がONでもOFFでも警報は出力
されない。ステップ12で脇見と判定した時は、自車両
状態監視手段7,8で自車両状態を検出する。即ち、舵
角検出回路7で舵角センサ8の出力電圧を入力して(ス
テップ20)、この電圧からハンドルの舵角を計算する
(ステップ21)。ステップ22の判断において、この
計算した舵角が所定の角度以上であれば、ハンドル操作
中であると判断し、舵角が所定の角度より小さければ、
ハンドル操作中ではないと判断する。ハンドル操作中で
あれば、車両運転者1は車両前方を見なくても良い状態
であるので、舵角検出回路7はスイッチ制御回路18に
SW19を切るように指示を出す。スイッチ制御回路1
8は、舵角検出回路7の指示に従ってSW19を切る
(ステップ23)。このため、車両運転者1の顔の方向
に関わらず、スピーカ6から警報は出力されない。
【0050】ステップ22の判定でハンドル操作中でな
ければ、直進走行中と判断できるので、車両運転者1は
車両前方を見ていなければならない。このため警報出力
回路5はスイッチ制御回路18にSW19を接続するよ
うに指示を出す。スイッチ制御回路18は、舵角検出回
路7の指示に従ってSW19を接続するので、脇見が危
険であることを車両運転者1に報知する警報をスピーカ
6より音声等で出力する。
ければ、直進走行中と判断できるので、車両運転者1は
車両前方を見ていなければならない。このため警報出力
回路5はスイッチ制御回路18にSW19を接続するよ
うに指示を出す。スイッチ制御回路18は、舵角検出回
路7の指示に従ってSW19を接続するので、脇見が危
険であることを車両運転者1に報知する警報をスピーカ
6より音声等で出力する。
【0051】上記のように、この実施例による脇見判定
装置では、舵角検出回路7によってハンドルの舵角から
車両運転者1が車両前方を向いていなくてもよい状態で
あるか否かを判定し、車両前方を向いていなくてもよい
状態の時には、SW19をOFFして警報を出力しな
い。従って、実施例1と同様、車両運転者脇見をしてい
ない、または車両前方を見ていなくてもよい場合には、
脇見に対する警報が出力されず、車両運転者1の邪魔に
ならないので運転に集中でき、安全性が高まる。さら
に、回路の途中にスイッチを設けるという簡単な構造で
実現できるという効果もある。
装置では、舵角検出回路7によってハンドルの舵角から
車両運転者1が車両前方を向いていなくてもよい状態で
あるか否かを判定し、車両前方を向いていなくてもよい
状態の時には、SW19をOFFして警報を出力しな
い。従って、実施例1と同様、車両運転者脇見をしてい
ない、または車両前方を見ていなくてもよい場合には、
脇見に対する警報が出力されず、車両運転者1の邪魔に
ならないので運転に集中でき、安全性が高まる。さら
に、回路の途中にスイッチを設けるという簡単な構造で
実現できるという効果もある。
【0052】なお、上記実施例ではステップ12で脇見
であるかどうかを判断してからハンドルの舵角を検出し
ているが、常時舵角を検出しておき、脇見かどうかの判
断で脇見であると判断された時、検出していた舵角値を
用いてハンドル操作中かどうかを判定するようにしても
よい。即ち、脇見かつハンドル操作中でなければ、警報
を出力し、脇見でないかハンドル操作中であれば、警報
を出力しないように構成すればよい。
であるかどうかを判断してからハンドルの舵角を検出し
ているが、常時舵角を検出しておき、脇見かどうかの判
断で脇見であると判断された時、検出していた舵角値を
用いてハンドル操作中かどうかを判定するようにしても
よい。即ち、脇見かつハンドル操作中でなければ、警報
を出力し、脇見でないかハンドル操作中であれば、警報
を出力しないように構成すればよい。
【0053】なお、実施例7ではSW19を警報出力回
路5とスピ−カ6との間に設置したが、ハンドル操作中
にSW19が切れるようにすれば、カメラ2から警報出
力回路5までの間のいずれかに設置し、運転者状態監視
手段2,3または脇見判定手段4の動作を停止させるよ
うに構成しても同様の効果が期待できる。また、実施例
7では、舵角センサ8の場合を示したが、シフト位置セ
ンサや車輪速センサでも同様である。
路5とスピ−カ6との間に設置したが、ハンドル操作中
にSW19が切れるようにすれば、カメラ2から警報出
力回路5までの間のいずれかに設置し、運転者状態監視
手段2,3または脇見判定手段4の動作を停止させるよ
うに構成しても同様の効果が期待できる。また、実施例
7では、舵角センサ8の場合を示したが、シフト位置セ
ンサや車輪速センサでも同様である。
【0054】また、実施例1から実施例7では、舵角セ
ンサの場合、シフト位置センサの場合、車輪速センサの
場合を別々に示したが、これらを全て備えて、ハンドル
操作中と後進中と停車中のいずれかの状態を検出した場
合、脇見警報を出力しないように構成すれば、更に良い
効果が得られる。また、上記実施例は、車両の運転者を
撮影する装置について説明したが、これに限るものでは
なく、船舶の運転者や飛行機のパイロットなどの脇見を
判定する装置に適用することもできる。
ンサの場合、シフト位置センサの場合、車輪速センサの
場合を別々に示したが、これらを全て備えて、ハンドル
操作中と後進中と停車中のいずれかの状態を検出した場
合、脇見警報を出力しないように構成すれば、更に良い
効果が得られる。また、上記実施例は、車両の運転者を
撮影する装置について説明したが、これに限るものでは
なく、船舶の運転者や飛行機のパイロットなどの脇見を
判定する装置に適用することもできる。
【0055】
【発明の効果】以上のように、第1の発明によれば、自
車両の状態を監視し直進走行中か否かを判断する自車両
状態監視手段、車両運転者の顔の方向または視線を監視
する運転者状態監視手段、自車両状態監視手段の出力と
運転者状態監視手段の出力を入力して車両運転者が脇見
をしている否かを判断する脇見判定手段、及び脇見判定
手段が脇見をしていると判定した場合に警報を出力する
警報出力手段を備え、上記脇見判定手段は、直進走行中
でない時には脇見でないと判定するように構成したこと
により、自車両状態監視手段が直進走行中でないと判断
した場合、脇見に対する警報が出力されないので、不要
な場合に脇見に対する警報が出力されず、運転者の邪魔
にならない脇見判定装置が得られる効果がある。
車両の状態を監視し直進走行中か否かを判断する自車両
状態監視手段、車両運転者の顔の方向または視線を監視
する運転者状態監視手段、自車両状態監視手段の出力と
運転者状態監視手段の出力を入力して車両運転者が脇見
をしている否かを判断する脇見判定手段、及び脇見判定
手段が脇見をしていると判定した場合に警報を出力する
警報出力手段を備え、上記脇見判定手段は、直進走行中
でない時には脇見でないと判定するように構成したこと
により、自車両状態監視手段が直進走行中でないと判断
した場合、脇見に対する警報が出力されないので、不要
な場合に脇見に対する警報が出力されず、運転者の邪魔
にならない脇見判定装置が得られる効果がある。
【0056】また、第2の発明に係る脇見判定装置は、
自車両の状態を監視し直進走行中か否かを判断する自車
両状態監視手段、車両運転者の顔の方向または視線を監
視する運転者状態監視手段、運転者状態監視手段の出力
を入力して車両運転者が脇見をしている否かを判定する
脇見判定手段、及び自車両状態監視手段の出力と脇見判
定手段の出力を入力して警報を出力する警報出力手段を
備え、上記警報出力手段は、直進走行中でない時には警
報を出力しないように構成したことにより、不要な場合
に脇見に対する警報が出力されず、運転者の邪魔になら
ない脇見判定装置が得られる効果がある。
自車両の状態を監視し直進走行中か否かを判断する自車
両状態監視手段、車両運転者の顔の方向または視線を監
視する運転者状態監視手段、運転者状態監視手段の出力
を入力して車両運転者が脇見をしている否かを判定する
脇見判定手段、及び自車両状態監視手段の出力と脇見判
定手段の出力を入力して警報を出力する警報出力手段を
備え、上記警報出力手段は、直進走行中でない時には警
報を出力しないように構成したことにより、不要な場合
に脇見に対する警報が出力されず、運転者の邪魔になら
ない脇見判定装置が得られる効果がある。
【0057】また、第3の発明に係る脇見判定装置は、
自車両の状態を監視し直進走行中か否かを判断する自車
両状態監視手段、車両運転者の顔の方向または視線を監
視する運転者状態監視手段、運転者状態監視手段の出力
を入力して車両運転者が脇見をしている否かを判定する
脇見判定手段、脇見判定手段の出力を入力して警報を出
力する警報出力手段、及び運転者状態監視手段または脇
見判定手段または警報出力手段のうちの少なくとも1つ
の動作を停止させる動作停止手段を備え、上記動作停止
手段は、直進走行中でない時には運転者状態監視手段ま
たは脇見判定手段または警報出力手段のうちの少なくと
も1つの動作を停止させるように構成したことにより、
不要な場合に脇見に対する警報が出力されず、運転者の
邪魔にならない脇見判定装置が得られる効果がある。
自車両の状態を監視し直進走行中か否かを判断する自車
両状態監視手段、車両運転者の顔の方向または視線を監
視する運転者状態監視手段、運転者状態監視手段の出力
を入力して車両運転者が脇見をしている否かを判定する
脇見判定手段、脇見判定手段の出力を入力して警報を出
力する警報出力手段、及び運転者状態監視手段または脇
見判定手段または警報出力手段のうちの少なくとも1つ
の動作を停止させる動作停止手段を備え、上記動作停止
手段は、直進走行中でない時には運転者状態監視手段ま
たは脇見判定手段または警報出力手段のうちの少なくと
も1つの動作を停止させるように構成したことにより、
不要な場合に脇見に対する警報が出力されず、運転者の
邪魔にならない脇見判定装置が得られる効果がある。
【0058】また、第4の発明に係る脇見判定装置は、
第1ないし第3のいずれかの発明において、自車両状態
監視手段は、車両のハンドル操作状態または後進状態ま
たは停車状態を検出し、直進走行中か否かを判断するこ
とにより、不要な場合に脇見に対する警報が出力され
ず、運転者の邪魔にならない脇見判定装置が得られる効
果がある。
第1ないし第3のいずれかの発明において、自車両状態
監視手段は、車両のハンドル操作状態または後進状態ま
たは停車状態を検出し、直進走行中か否かを判断するこ
とにより、不要な場合に脇見に対する警報が出力され
ず、運転者の邪魔にならない脇見判定装置が得られる効
果がある。
【図1】この発明の実施例1による脇見判定装置の構成
を示すブロック図である。
を示すブロック図である。
【図2】実施例1に係る脇見判定装置の動作を示すフロ
−チャ−トである。
−チャ−トである。
【図3】この発明の実施例2による脇見判定装置の構成
を示すブロック図である。
を示すブロック図である。
【図4】実施例2に係る脇見判定装置の動作を示すフロ
−チャ−トである。
−チャ−トである。
【図5】この発明の実施例3による脇見判定装置の構成
を示すブロック図である。
を示すブロック図である。
【図6】実施例3に係る脇見判定装置の動作を示すフロ
−チャ−トである。
−チャ−トである。
【図7】この発明の実施例4による脇見判定装置の構成
を示すブロック図である。
を示すブロック図である。
【図8】実施例4に係る脇見判定装置の動作を示すフロ
−チャ−トである。
−チャ−トである。
【図9】この発明の実施例5による脇見判定装置の構成
を示すブロック図である。
を示すブロック図である。
【図10】実施例5に係る脇見判定装置の動作を示すフ
ロ−チャ−トである。
ロ−チャ−トである。
【図11】この発明の実施例6による脇見判定装置の構
成を示すブロック図である。
成を示すブロック図である。
【図12】実施例6に係る脇見判定装置の動作を示すフ
ロ−チャ−トである。
ロ−チャ−トである。
【図13】この発明の実施例7による脇見判定装置の構
成を示すブロック図である。
成を示すブロック図である。
【図14】実施例7に係る脇見判定装置の動作を示すフ
ロ−チャ−トである。
ロ−チャ−トである。
【図15】従来の脇見判定装置の構成を示すブロック図
である。
である。
【図16】従来の脇見判定装置の動作を示すフロ−チャ
−トである。
−トである。
1 車両運転者 2 カメラ 3 顔の方向検出回路 4 脇見判定回路 5 警報出力回路 6 スピーカ 7 舵角検出回路 8 舵角センサ 14 シフト位置検出回路 15 シフト位置センサ 16 車速検出回路 17 車輪速センサ 18 スイッチ制御回路 19 スイッチ
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平3−167698(JP,A) 特開 平3−260900(JP,A) (58)調査した分野(Int.Cl.7,DB名) G08B 19/00 - 21/24 B60K 25/00 - 28/16
Claims (4)
- 【請求項1】 自車両の状態を監視し直進走行中か否か
を判断する自車両状態監視手段、上記車両運転者の顔の
方向または視線を監視する運転者状態監視手段、上記自
車両状態監視手段の出力と上記運転者状態監視手段の出
力を入力して上記車両運転者が脇見をしているか否かを
判断する脇見判定手段、及び上記脇見判定手段が脇見を
していると判定した場合に警報を出力する警報出力手段
を備え、上記脇見判定手段は、直進走行中でない時には
脇見でないと判定するように構成した脇見判定装置。 - 【請求項2】 自車両の状態を監視し直進走行中か否か
を判断する自車両状態監視手段、上記車両運転者の顔の
方向または視線を監視する運転者状態監視手段、上記運
転者状態監視手段の出力を入力して上記車両運転者が脇
見をしているか否かを判定する脇見判定手段、及び上記
自車両状態監視手段の出力と上記脇見判定手段の出力を
入力して警報を出力する警報出力手段を備え、上記警報
出力手段は、直進走行中でない時には警報を出力しない
ように構成した脇見判定装置。 - 【請求項3】 自車両の状態を監視し直進走行中か否か
を判断する自車両状態監視手段、上記車両運転者の顔の
方向または視線を監視する運転者状態監視手段、上記運
転者状態監視手段の出力を入力して上記車両運転者が脇
見をしているか否かを判定する脇見判定手段、上記脇見
判定手段の出力を入力して警報を出力する警報出力手
段、及び上記運転者状態監視手段または上記脇見判定手
段または上記警報出力手段のうちの少なくとも1つの動
作を停止させる動作停止手段を備え、上記動作停止手段
は、直進走行中でない時には上記運転者状態監視手段ま
たは上記脇見判定手段または上記警報出力手段のうちの
少なくとも1つの動作を停止させるようにした脇見判定
装置。 - 【請求項4】 自車両状態監視手段は、車両のハンドル
操作状態または後進状態または停車状態を検出し、直進
走行中か否かを判断することを特徴とする請求項1ない
し3のいずれかに記載の脇見判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05025211A JP3084996B2 (ja) | 1993-02-15 | 1993-02-15 | 脇見判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05025211A JP3084996B2 (ja) | 1993-02-15 | 1993-02-15 | 脇見判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06243367A JPH06243367A (ja) | 1994-09-02 |
JP3084996B2 true JP3084996B2 (ja) | 2000-09-04 |
Family
ID=12159632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05025211A Expired - Lifetime JP3084996B2 (ja) | 1993-02-15 | 1993-02-15 | 脇見判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3084996B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017191367A (ja) * | 2016-04-11 | 2017-10-19 | 株式会社デンソー | 安全運転支援装置及び安全運転支援プログラム |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4204336B2 (ja) | 2003-01-30 | 2009-01-07 | 富士通株式会社 | 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム |
JP4471607B2 (ja) * | 2003-08-29 | 2010-06-02 | 富士通株式会社 | 眼の追跡装置、眼の状態判定装置及びコンピュータプログラム |
US7508971B2 (en) | 2004-05-28 | 2009-03-24 | The Boeing Company | Inspection system using coordinate measurement machine and associated method |
JP4564320B2 (ja) * | 2004-09-29 | 2010-10-20 | アイシン精機株式会社 | ドライバモニタシステム |
JP4893507B2 (ja) | 2007-07-04 | 2012-03-07 | オムロン株式会社 | 脇見検出装置および方法、並びに、プログラム |
JP4858516B2 (ja) * | 2008-09-11 | 2012-01-18 | トヨタ自動車株式会社 | 顔向き検出装置 |
JP6107595B2 (ja) | 2013-10-23 | 2017-04-05 | 株式会社デンソー | 状態監視装置 |
JP7180067B2 (ja) * | 2017-11-06 | 2022-11-30 | 日本電気株式会社 | 運転支援装置 |
JP2019091254A (ja) | 2017-11-15 | 2019-06-13 | オムロン株式会社 | 警報制御装置、警報制御方法、および警報制御のためのプログラム |
JP6705437B2 (ja) * | 2017-11-15 | 2020-06-03 | オムロン株式会社 | 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム |
-
1993
- 1993-02-15 JP JP05025211A patent/JP3084996B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017191367A (ja) * | 2016-04-11 | 2017-10-19 | 株式会社デンソー | 安全運転支援装置及び安全運転支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPH06243367A (ja) | 1994-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6483442B2 (en) | Parking aid system | |
JP3607994B2 (ja) | 車両用周辺監視装置 | |
US8866736B2 (en) | Gaze detection apparatus and method | |
EP0872741B1 (en) | Alarm apparatus for alarming driver of vehicle and method of alarming | |
US7382240B2 (en) | Warning device in a vehicle | |
US6940423B2 (en) | Device for monitoring area around vehicle | |
JP3084996B2 (ja) | 脇見判定装置 | |
WO2006016433A1 (ja) | 運転支援装置及び運転支援方法 | |
JP2018012478A (ja) | 車両緊急停止装置 | |
JP4259368B2 (ja) | ノーズビューモニタ装置 | |
JPH097100A (ja) | 運転者注視点予測装置及びこれを用いた車両用運転支援システム | |
JPH11120498A (ja) | 車両の障害物警報装置 | |
JP3731303B2 (ja) | 車両周辺監視装置 | |
JPH10322687A (ja) | 車輌後方監視装置 | |
JP3602191B2 (ja) | 移動体用表示装置 | |
JP4125168B2 (ja) | 車両用走行制御装置 | |
JP6620775B2 (ja) | 表示装置および表示方法 | |
JPH09180088A (ja) | 車両用周囲モニタ装置 | |
JP5196265B2 (ja) | 車両周辺認知支援装置 | |
JP2008026159A (ja) | 周辺監視システム | |
JP2005215771A (ja) | 操舵支援装置及び操舵支援プログラム | |
JP3762877B2 (ja) | 車両の後進補助装置 | |
JP4585191B2 (ja) | ノーズビューシステム | |
JP2019180074A (ja) | 運転支援システム、画像処理装置及び画像処理方法 | |
JPH01161599A (ja) | 車両運転支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070707 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080707 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090707 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100707 Year of fee payment: 10 |