JP6210287B2 - Warning device for driver - Google Patents
Warning device for driver Download PDFInfo
- Publication number
- JP6210287B2 JP6210287B2 JP2013202912A JP2013202912A JP6210287B2 JP 6210287 B2 JP6210287 B2 JP 6210287B2 JP 2013202912 A JP2013202912 A JP 2013202912A JP 2013202912 A JP2013202912 A JP 2013202912A JP 6210287 B2 JP6210287 B2 JP 6210287B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- warning
- unit
- camera
- steering wheel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 32
- 238000005286 illumination Methods 0.000 claims description 19
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 description 32
- 230000005540 biological transmission Effects 0.000 description 29
- 230000007246 mechanism Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 13
- 238000000034 method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 239000008186 active pharmaceutical agent Substances 0.000 description 5
- 239000002184 metal Substances 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000003331 infrared imaging Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
- B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Steering Controls (AREA)
Description
本発明は、運転者が居眠り運転や脇見運転の警告対象運転を行った場合、正常運転を行うように、所定の警告を運転者に発する運転者用警告装置に関する。 The present invention relates to a driver warning device that issues a predetermined warning to a driver so as to perform normal driving when the driver performs a warning target driving such as a drowsy driving or a side-by-side driving.
従来、この種の運転者用警告装置としては、運転者の顔(特に、眼)を撮影するカメラを利用し、運転者が、所定時間以上、眼を閉じていたり、正面を向いていなかった場合、カメラからの画像データに基づき、所定の判定部が、居眠り運転や脇見運転の警告対象運転と判定し、正常な運転を行うように、運転者に警告(警告音や振動)を発するものがあった(例えば、特許文献1,2参照)。
Conventionally, as this type of driver warning device, a camera that captures the driver's face (especially the eyes) is used, and the driver has not closed his eyes or faced the front for more than a predetermined time. In this case, based on the image data from the camera, the predetermined determination unit determines that the operation is a warning target for a drowsy driving or a side-viewing operation, and issues a warning (warning sound or vibration) to the driver so as to perform normal driving (For example, see
しかし、従来装置では、カメラが、ステアリングホイールのリング部に配設されていたり、あるいは、コラムカバーに配設されており、そして、いずれも、所定の組付部位に固定して配設されていた。 However, in the conventional apparatus, the camera is disposed on the ring portion of the steering wheel, or is disposed on the column cover, and both are fixedly disposed at a predetermined assembly site. It was.
そのため、運転者が大柄、小柄の種々の体格としている場合、的確に、運転者の顔、特に、眼を精度良く検出する点に改善の余地があった。 Therefore, when the driver has various physiques, large and small, there is room for improvement in accurately detecting the driver's face, particularly the eyes.
本発明は、上述の課題を解決するものであり、運転者に体格の差があっても、警告対象運転時の運転者に対して、的確に、警告できる運転者用警告装置を提供することを目的とする。 The present invention solves the above-described problem, and provides a driver warning device that can accurately warn a driver during a warning target operation even if the driver has a difference in physique. With the goal.
<請求項1の説明>
本発明に係る運転者用警告装置では、操舵時に把持する略円環状のリング部を有した車両の操舵用のステアリングホイールと、
運転者の顔を撮影可能なカメラを前記リング部に配設させてなる顔検出部と、
顔を撮影した前記カメラからの画像データを入力して、運転者の居眠り運転若しくは脇見運転の警告対象運転を判定可能な判定部と、
該判定部での警告対象運転の判定結果により、運転者に警告を発する警告発生部と、
を備えてなる運転者用警告装置であって、
前記カメラが、運転者に対する画角のエリアを上下に調整可能に、前記リング部の前端中央に配置されるとともに、左右方向に沿った回転軸を設けて、上下方向に沿って回動調整可能に配設されていることを特徴とする。
<Explanation of
In the warning device for a driver according to the present invention, a steering wheel for steering a vehicle having a substantially annular ring portion to be gripped at the time of steering,
A face detection unit in which a camera capable of photographing a driver's face is disposed in the ring unit;
A determination unit capable of inputting image data from the camera that has photographed the face and determining a warning target driving of the driver's dozing driving or aside driving;
A warning generation unit that issues a warning to the driver according to the determination result of the warning target driving in the determination unit;
A warning device for a driver comprising:
The camera is positioned at the center of the front end of the ring part so that the area of the angle of view for the driver can be adjusted up and down, and a rotation axis along the left and right direction is provided to adjust the rotation along the vertical direction. It is characterized by being arranged.
本発明に係る運転者用警告装置では、カメラを左右方向に沿った回転軸回りで、回動させれば、換言すれば、カメラ(レンズ)の向きを上下に調整すれば、リング部の後方正面で操舵する運転者に対し、運転者の顔の正面の上部から下部までの全域を、あるいは、運転者の眼付近を中心に、カメラの画角のエリア内に配置させ易くなる。 In the warning device for a driver according to the present invention, if the camera is rotated around the rotation axis along the left-right direction, in other words, if the direction of the camera (lens) is adjusted up and down, For the driver who steers in front, the entire area from the upper part to the lower part of the front of the driver's face, or the vicinity of the driver's eyes, can be easily arranged in the area of the angle of view of the camera.
その結果、運転席に着座する際、カメラの向きを調整して、眼をカバーできるように運転者に対するカメラの画角のエリアを上下に調整すれば、顔検出部が、運転者の顔を的確に撮影でき、そして、カメラが運転者の眼の動きを的確に捉えることができる。 As a result, when sitting in the driver's seat, the face detection unit adjusts the direction of the camera and adjusts the area of the camera's angle of view up and down so that the eyes can be covered. You can shoot accurately, and the camera can accurately capture the movement of the driver's eyes.
特に、カメラは、リング部の前端中央に配置されて、左右方向に沿った回転軸周りで回転できることから、運転者の左右の眼から均等な距離で、上下に回動できて、大柄な運転者から小柄の運転者まで、的確に、左右の両眼の動きを捉えることができ、確実、かつ、迅速に、警告を発することが可能となる。 In particular, the camera is located in the center of the front end of the ring part and can rotate around the rotation axis along the left-right direction. From the driver to the small driver, it is possible to accurately capture the movements of the left and right eyes, and to issue a warning reliably and promptly.
したがって、本発明に係る運転者用警告装置では、運転者に体格の差があっても、警告対象運転時の運転者に対して、的確に、警告を発することができる。 Therefore, with the driver warning device according to the present invention, even if there is a difference in the physique, a warning can be accurately issued to the driver during the warning target driving.
<請求項2の説明>
本発明に係る運転者用警告装置では、前記カメラが、画角を異ならせた複数のカメラから構成されることが望ましい。
<Explanation of Claim 2>
In the driver warning device according to the present invention, it is preferable that the camera is composed of a plurality of cameras having different angles of view.
このような構成では、画角の広いカメラで、運転者の両眼とともに顔を捉えて、居眠り運転や脇見運転を検出でき、画角の狭いカメラで、大きな画像として、運転者の両眼を捉えることができて(画素数が同じであれば画角の広いカメラより画角の狭いカメラの方が、大きな画像となる)、眼球の微細な動きも検出できる。そして、眼球の動きからは、考え事をして、注意力が低下した状態の運転等、所謂、漫然運転を判定することができ、判定部において、漫然運転も警告対象運転として、判定できる。 In such a configuration, a camera with a wide angle of view can capture the face together with both eyes of the driver, and can detect a drowsy driving or a side-by-side driving, and a camera with a narrow angle of view can display both eyes of the driver as a large image. (If the number of pixels is the same, a camera with a narrow angle of view produces a larger image than a camera with a wide angle of view.) Fine movements of the eyeball can also be detected. Then, from the movement of the eyeball, it is possible to determine what is called an absurd driving such as a driving in a state where attention is reduced, and the determination unit can also determine the absurd driving as a warning target driving.
その結果、このような構成では、居眠り運転や脇見運転のみならず、危険運転となる漫然運転時にも、的確に、運転者に警告を発することが可能となる。 As a result, with such a configuration, it is possible to accurately issue a warning to the driver not only during a nap driving or a side look driving but also during a rough driving that becomes a dangerous driving.
<請求項3の説明>
本発明に係る運転者用警告装置では、前記警告発生部が、
把持する運転者の手に接触可能に前記リング部に配置され、作動時、運転者に知覚可能に接触部位を振動させて、該振動を運転者への警告とする振動部と、
前記振動部の作動を制御する振動制御部と、
を備えて構成され、
前記顔検出部と前記警告発生部とが、前記ステアリングホイールに配設され、
前記ステアリングホイールと別体とした携帯端末が、前記判定部とともに、前記判定部による警告対象運転の判定結果に基づいて、前記振動部を作動させるように前記振動制御部に作動信号を出力する警告実行部と、を備えて構成され、
前記ステアリングホイール及び前記携帯端末が、前記カメラからの画像データと前記振動制御部への作動信号との入出力を無線で行い可能な送受信部を備えて構成されていることが望ましい。
<Explanation of Claim 3>
In the warning device for a driver according to the present invention, the warning generation unit,
Vibrating part that is arranged in the ring part so as to be able to come into contact with the driver's hand to be gripped, and vibrates the contact part perceivable to the driver during operation, and the vibration is used as a warning to the driver;
A vibration control unit for controlling the operation of the vibration unit;
Configured with
The face detection unit and the warning generation unit are disposed on the steering wheel,
A warning that a portable terminal separate from the steering wheel outputs an operation signal to the vibration control unit so as to operate the vibration unit based on the determination result of the warning target driving by the determination unit together with the determination unit And an execution unit.
It is desirable that the steering wheel and the portable terminal include a transmission / reception unit that can wirelessly input and output image data from the camera and an operation signal to the vibration control unit.
このような構成では、ステアリングホイールが、顔検出部、警告発生部、及び、無線の送受信部を備えていれば、判定部や警告実行部を設けた携帯端末を、別体として、取り扱うことができる。すなわち、ステアリングホイール側には、画像データを判定処理する所定のマイクロコンピュータ等のCPU,ROM,RAMの判定部や警告実行部を構成する部品を、配設せずにすむ。換言すれば、既存の車両のステアリングホイールを、本発明のステアリングホイールと交換し、さらに、上記の携帯端末さえ準備すれば、本発明を簡便に実施でき、例えば、昨今の表示パネルやGPS機能等を有した高機能のタブレットやスマートフォンに、既述の判定部や警告実行部の動作を可能とするアプリケーションをインストールし、後は、既存車両のステアリングホイールを本発明のステアリングホイールと交換するだけで、本発明を容易に実施することも可能となる。 In such a configuration, if the steering wheel includes a face detection unit, a warning generation unit, and a wireless transmission / reception unit, the mobile terminal provided with the determination unit and the warning execution unit can be handled separately. it can. That is, it is not necessary to dispose the components constituting the CPU, ROM, RAM determination unit and warning execution unit such as a predetermined microcomputer for determining the image data on the steering wheel side. In other words, the present invention can be easily implemented by replacing the steering wheel of an existing vehicle with the steering wheel of the present invention and further preparing the above mobile terminal, for example, a recent display panel, GPS function, etc. Just install the application that enables the operation of the above-mentioned determination unit and warning execution unit to a high-performance tablet or smartphone with a synthesizer, and then simply replace the steering wheel of the existing vehicle with the steering wheel of the present invention. The present invention can be easily implemented.
さらに、上記の構成では、警告発生部が、運転者に知覚可能な振動を与えて警告するものであり、このような振動による警告は、運転者の視野や周囲の音に惑わされること無く、運転者が確実に知覚できて、容易に正常運転に移行できる。 Furthermore, in the above configuration, the warning generation unit warns the driver by giving a perceptible vibration, and the warning due to such vibration is not confused by the driver's field of view or surrounding sounds, The driver can surely perceive and can easily shift to normal driving.
<請求項4の説明>
本発明に係る運転者用警告装置では、前記警告発生部が、作動時、運転者に対して警告音を発する音発生手段を備えて構成され、
前記顔検出部が、前記ステアリングホイールに配設され、
前記ステアリングホイールと別体とした携帯端末が、前記判定部と前記警告発生部とを備えて構成され、
前記ステアリングホイール及び前記携帯端末が、前記カメラからの画像データの入出力を無線で行い可能に送受信部を備えて構成されていることが望ましい。
<Explanation of Claim 4>
In the warning device for a driver according to the present invention, the warning generation unit is configured to include a sound generation unit that emits a warning sound to the driver during operation.
The face detection unit is disposed on the steering wheel;
A mobile terminal separate from the steering wheel is configured to include the determination unit and the warning generation unit,
It is desirable that the steering wheel and the mobile terminal are configured to include a transmission / reception unit that can input and output image data from the camera wirelessly.
このような構成では、ステアリングホイールが、顔検出部、及び、無線の送受信部(送信部)を備えていれば、判定部や警告発生部を設けた携帯端末を、別体として、取り扱うことができる。すなわち、ステアリングホイール側には、画像データを判定処理する所定のマイクロコンピュータ等のCPU,ROM,RAMの判定部や警告発生部を構成する部品を、配設せずにすむ。換言すれば、既存の車両のステアリングホイールを、本発明のステアリングホイールと交換し、さらに、上記の携帯端末さえ準備すれば、本発明を簡便に実施でき、例えば、昨今の表示パネルやGPS機能等を有した高機能のタブレットやスマートフォンに、既述の判定部や警告発生部の動作を可能とするアプリケーションをインストールし、後は、既存車両のステアリングホイールを本発明のステアリングホイールと交換するだけで、本発明を容易に実施することも可能となる。 In such a configuration, if the steering wheel includes a face detection unit and a wireless transmission / reception unit (transmission unit), the portable terminal provided with the determination unit and the warning generation unit can be handled separately. it can. That is, it is not necessary to dispose components constituting a determination unit and a warning generation unit of a CPU, ROM, and RAM such as a predetermined microcomputer that performs determination processing of image data on the steering wheel side. In other words, the present invention can be easily implemented by replacing the steering wheel of an existing vehicle with the steering wheel of the present invention and further preparing the above mobile terminal, for example, a recent display panel, GPS function, etc. Install an application that enables the above-mentioned determination unit and warning generation unit to operate on a high-performance tablet or smartphone that has, and then simply replace the steering wheel of the existing vehicle with the steering wheel of the present invention. The present invention can be easily implemented.
さらに、上記の構成では、警告発生部の音発生手段が、運転者に警告音を発して警告するものであって、携帯端末は、音発生手段として利用できるスピーカを内蔵させている場合が多く、容易に警告音を発生させることができて、運転者への警告を振動により行う場合に比べて、より簡便に運転者用警告装置を構成できる。 Further, in the above configuration, the sound generation means of the warning generation unit is to warn the driver by issuing a warning sound, and the portable terminal often has a built-in speaker that can be used as the sound generation means. Thus, a warning sound can be easily generated, and the driver warning device can be configured more simply than in the case where the warning is given to the driver by vibration.
<請求項5の説明>
本発明に係る運転者用警告装置では、前記携帯端末が、前記判定部での警告対象運転の判定時、車外の受信者に警告対象運転の判定結果を発信する通信手段、を備えて構成されていることが望ましい。
<Explanation of Claim 5>
In the warning device for a driver according to the present invention, the portable terminal is configured to include a communication unit that transmits a determination result of the warning target driving to a receiver outside the vehicle when the determination unit determines the warning target driving. It is desirable that
このような構成では、車外の受信者、例えば、車両が乗合バスや観光バス等であれば、運行責任者、あるいは、車両が自家用車であれば、家族の者等、に対して、電子メール等の通信手段を利用して、警告対象運転の判定結果を通知できて、受信者が、運転者とともに、運転時の反省点や注意点の情報を共有することができ、以後の対策に役立てることができる。 In such a configuration, an e-mail is sent to a recipient outside the vehicle, for example, an operation manager if the vehicle is a shared bus or a sightseeing bus, or a family member if the vehicle is a private car. Using the communication means, etc., it is possible to notify the judgment result of the warning target driving, and the receiver can share the information of reflection points and caution points at the time of driving with the driver, which is useful for the subsequent measures. be able to.
<請求項6の説明>
本発明に係る運転者用警告装置では、前記ステアリングホイール側に搭載される前記運転者用警告装置の構成機器が、前記ステアリングホイールに搭載されるホーンスイッチ機構と電源を共用して、配設されていることが望ましい。
<Explanation of Claim 6>
In the driver warning device according to the present invention, the constituent devices of the driver warning device mounted on the steering wheel side are arranged in common with a horn switch mechanism mounted on the steering wheel. It is desirable that
このような構成では、顔検出部等の電源をホーンスイッチ機構の電源回路から確保でき、そして、ホーンスイッチを運転者が操作する際には、運転者は警告対象運転を行っている状態でなく、逆に、運転者が警告対象運転を行っていれば、ホーンスイッチを操作する状態でもないことから、電源を共用しても支障が生じ難く、円滑にホーンスイッチ機構と運転者用警告装置とを適宜作動させることができる。 In such a configuration, the power source of the face detection unit and the like can be secured from the power supply circuit of the horn switch mechanism, and when the driver operates the horn switch, the driver is not in a state of performing the warning target driving. On the contrary, if the driver is driving for the warning, it is not in a state of operating the horn switch, so it is difficult to cause trouble even if the power source is shared, and the horn switch mechanism and the driver warning device are smoothly Can be appropriately operated.
<請求項7の説明>
本発明に係る運転者用警告装置では、前記ステアリングホイール側に、前記カメラの撮影する運転者の顔のエリアに赤外線を照射可能な照明部を、配設するとともに、
前記カメラを、赤外線撮影を可能に構成してもよい。
<Explanation of Claim 7>
In the warning device for a driver according to the present invention, on the steering wheel side, an illumination unit capable of irradiating infrared rays to the area of the driver's face photographed by the camera is disposed,
You may comprise the said camera so that infrared imaging | photography is possible.
このような構成では、夜間やトンネル内の走行時、あるいは、サングラスを装着して走行し、運転者の顔や眼の辺り暗くなっても、照明部によって赤外線を照射すれば、カメラが円滑に運転者の顔(眼)を撮影することができる。さらに、撮影に赤外線を利用していることから、運転者は、照明部を眩しく感ずることなく、運転中の視界を妨げられない。 In such a configuration, even when driving at night or in a tunnel or wearing sunglasses, even if it gets dark around the driver's face or eyes, if the illumination unit emits infrared light, the camera will smoothly The driver's face (eye) can be photographed. Furthermore, since infrared rays are used for photographing, the driver does not feel dazzling the illumination unit and cannot interfere with the field of view during driving.
以下、本発明の一実施形態を図面に基づいて説明すると、第1実施形態の運転者用警告装置M1は、図1,5に示すように、顔検出部30と警告発生部40とを設けたステアリングホイール10と、制御装置50と、を備えて構成されている。制御装置50は、車両の速度を算出可能なGPS機能を具備したスマートフォンやタブレット等の携帯端末51から構成されている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. A driver warning device M1 according to the first embodiment includes a
顔検出部30は、運転者Dの顔Fを撮影するためのカメラ33を備えて構成されている。カメラ33は、30万画素程度のCCDやCMOS等の撮像素子を使用したデジタルカメラであり、画角(垂直画角)を標準レンズタイプの約50°としている。
The
そして、実施形態の場合、カメラ33の画像データは、顔検出部30の所定の制御回路により、MotionJPEG等の圧縮ファイル形式とされて、ステアリングホイール10の送受信部65に入力され、そして、送受信部65から、WiFi等の無線LAN形式等の無線で、携帯端末51側の送受信部66へ送信され、そして、携帯端末51側で展開され、展開された画像データは、後述する判定部57に入力されるとともに、携帯端末51の表示パネル53に表示されることとなる。
In the case of the embodiment, the image data of the
また、カメラ33は、図1,3に示すように、ステアリングホイール10に正対する運転者Dの顔Fを、体格差があっても、撮影するカメラ33の画角θ1のエリア内に、適切に配置されるように、リング部11の前端中央11fcにおいて、上下方向に回動調整可能に配設されている。換言すれば、カメラ33のレンズ33aの向きを上下に調整可能に、リング部11の前端中央11fcにおけるステアリングホイール10の左右方向の中央の中心線O上で、さらに、リング部11の円環状の軌跡よりステアリングホイール10の中央のボス部25側(リング部11の中心側となる後方側)にずれた位置に、カメラ33(レンズ33a)は、配設されている。
As shown in FIGS. 1 and 3, the
具体的には、図1,2に示すように、車両の直進操舵時の状態におけるリング部11の芯金12の前端に、左右方向に沿って延びる直線状の直線部としての中心軸部12aを設けつつ、リング部11の被覆層13を設けない凹部14を設け、中心軸部12aの周囲に、カメラ33を保持するベース31を、上下方向に回動可能に配設し、さらに、ベース31の周囲にカバー32を設けて、カメラ33が、中心軸部12aを回転軸Cとして、上下方向に回動調整可能とし、かつ、近傍のリング部11の部位より外形寸法を太くした状態として、配設されている。カメラ33の画像データの出力用や電源用のハーネス36は、開口12bから芯金12内に挿入され、ステアリングホイール10のスポーク部20付近に導かれ、電源回路や送受信部65と接続される顔検出部30の図示しない制御回路に接続されている。
Specifically, as shown in FIGS. 1 and 2, a
そして、ベース31の中心軸部12aに対する摩擦抵抗により、回動調整したカメラ33は、その位置を停止させることができる。
Then, the position of the
なお、ステアリングホイール10側の構成機器である送受信部65、顔検出部30、警告発生部40等は、その電源回路を、後述する第3実施形態のように、ホーンスイッチ機構のステアリングホイール10側の電源回路に接続させて、ホーンスイッチ機構と電源を共用している。
Note that the transmission /
また、図3に示すように、大柄な運転者DMでは、カメラ33の向きを若干上向きとし、小柄な運転者DSでは、大柄な運転者DMに比べて、カメラ33の向きを若干下向きとすれば、体格差があっても、運転者D(DM,DS)の顔Fの範囲に、カメラ33の画角θ1のエリアを配置させることができて、表示パネル53に、顔Fを大きく表示することができる。
Further, as shown in FIG. 3, in the large driver DM, the direction of the
実施形態の場合、カメラ33の上下方向の角度調整範囲は、約30°としている。
In the case of the embodiment, the angle adjustment range in the vertical direction of the
警告発生部40は、振動部41の振動体42の振動を警告として発するもので、振動部41と、振動部41の作動を制御する振動制御部48と、を備えて構成されている。
The
振動部41は、把持する運転者Dの手Hに接触可能にリング部11に配置され、作動時、運転者Dに知覚可能に手Hに接触する接触部位としての振動体42を振動させる。また、振動部41は、実施形態の場合、リング部11における左右のスポーク部20(20L,20R)の外周面側に、3個ずつ配設されている。そして、各振動部41は、キャップ形状(直方体形状)の合成樹脂製の振動体42が、芯金12に固着されたゴム等からなるクッション45に接着されるとともに、振動モータ43を取り付けて構成されている。振動モータ43は、回転駆動軸43aに、偏心錘44を取り付けて構成され、回転駆動軸43aの回転により、振動体42が振動することとなる。
The
振動制御部48は、携帯端末51(制御装置50)の警告実行部58からの作動信号を入力して、各振動部41の振動モータ43を作動させるものであり、各振動モータ43から延びるハーネス46と結線されるとともに、所定の電源回路や送受信部65と接続されている。また、振動制御部48は、実施形態の場合、各振動モータ43への電流値を調整可能として、各振動モータ43の振動数を大小に変更可能としており、振動体42の振動に関し、注意喚起用の弱振動と警報用の強振動とに調整可能に構成されている。
The
また、実施形態のステアリングホイール10は、図1,5に示すように、警告発生部40の作動を運転者Dが自発的に停止させることができるように、操作時に、警告発生部40の作動を停止させるように携帯端末51側に停止信号を出力可能な操作スイッチ(アンサースイッチ、キャンセルスイッチ)27が設けられている。操作スイッチ27は、運転者Dの押圧操作で行ない可能な押しボタンタイプとして、スポーク部20(20L,20R)のリング部11近傍に、配設されている。
Further, as shown in FIGS. 1 and 5, the
携帯端末51からなる制御装置50は、ステアリングホイール10に配設された顔検出部30からの運転者Dの顔Fの画像データを入力して、警告発生部40の作動を制御する制御部55を備えている。すなわち、制御部55は、判定部57、警告実行部58、ステアリングホイール10側の無線データの出入力を行う送受信部66、さらに、所定時に電子メールを送信する通信手段としての通信部60、既述のGPS機構、あるいは、表示パネル53に所定の画像を表示する画像表示機構等を具備して、構成されている。
The control device 50 including the mobile terminal 51 inputs the image data of the face F of the driver D from the
これらの種々の判定部57や警告実行部58を具備する制御部55は、所定のCPU,RAM,ROMを備えたマイクロコンピュータ(マイコン)から構成され、その制御を簡単に述べれば、制御部55の判定部57が、ROMに記憶されたプログラムに基づいて、顔検出部30からの画像データから、運転者Dの左右の眼E(EL,ER)付近の画像データを抽出して、RAMの作業領域で分析し、所定の閾値を越えて、運転者Dの眼EL,ERが閉じている時間の割合が通常時より長くなって運転者Dが居眠り運転をしていると判定したり、あるいは、運転者の眼EL,ERが正面から外れている時間の割合が正面視の通常時より多くなって、運転者Dが脇見運転をしていると判定した際、警告対象運転と判定する。そして、制御部55は、判定部57の判定結果により、警告実行部58から警告発生部40を作動させる作動信号を出力させる。
The
なお、既述のROMに記憶させるプログラムは、携帯端末51が運転者用警告装置M1として動作できるように、携帯端末51に、別途、インストールした運転者警告処理用のアプリケーションソフトから、構成されている。 The program stored in the above-described ROM is configured by application software for driver warning processing separately installed on the mobile terminal 51 so that the mobile terminal 51 can operate as the driver warning device M1. Yes.
そして、制御部55は、警告実行部58に、警告発生部40を作動させる作動信号を出力するように、作動させることとなるが、実施形態では、図6の流れ図に示すように、所定のタイマによる経過時間、操作スイッチ27の操作ON信号の入力、さらに、GPS機能の加速度の検出による車速の算出値等を加味して、警告実行部58を制御することとなり、警告実行部58が警告発生部40の作動を開始させる作動ON信号、作動を停止させる作動OFF信号、さらに、各振動部41の振動の強弱の振動強弱信号等を、送受信部66,65を介して、警告発生部40に出力するように、制御する。
And the
制御部55の制御に関して、詳しく述べれば、図6に示すように、まず、ステップS101では、運転者Dが、携帯端末51を持ち込みつつ、運転席に着座し、運転者用警告装置M1を作動させるように、操作部52を操作して携帯端末51の運転者警告処理アプリを起動させ、また、車両のイグニッションキーをONさせる。ついで、ステップS102において、運転者Dの顔Fの全体が表示パネル53に表示されるように、カメラ33の上下の向きを調整すれば、制御部55は、運転者Dを監視して警告を発する運転者警告処理を開始することとなる。
Specifically, as shown in FIG. 6, the control of the
そして、ステップS103では、制御部55の判定部57が、顔検出部30からの運転者Dの左右の眼E(EL,ER)付近の画像データから、運転者Dが脇見や閉眼の状態を検出し、脇見運転若しくは居眠り運転をしているか否か判定する。
In step S103, the
そして、ステップS103において、運転者Dが脇見運転若しくは居眠り運転していると判定部57が判定した場合には、制御部55は、ステップS104において、脇見運転時若しくは居眠り運転時に危険な走行状態となるような車速であるか否かを判定し、実施形態の場合、GPS機能で測定できる加速度データから算出した車速が例えば15km以上(あるいは30km以上としてもよい)であるか否かを判定し、15km以上の車速であれば、制御部55は、ステップS105に移行する。
If the
ステップS105では、制御部55は、判定部57の脇見運転若しくは居眠り運転との判定結果の経過後、所定時間、例えば1秒経過しているか否かを判定し、経過していれば、警告実行部58から警告発生部40の振動制御部48に、注意喚起用の弱振動の作動ON信号を出力する(ステップS106、図7のA参照)。
In step S105, the
その後、ステップS107において、操作スイッチ27の操作ON信号があれば、制御部55は、その操作ON信号に基づき、警告実行部58から警告発生部40の振動制御部48に作動OFF信号を出力して、振動モータ43の作動を停止させる(ステップS108参照)。そして、ステップS107において、操作スイッチ27の操作ON信号がなければ、ステップS109に移行する。
Thereafter, if there is an operation ON signal of the
ステップS109では、制御部55は、判定部57の脇見運転若しくは居眠り運転との判定結果の経過後、所定時間X、例えば3秒経過しているか否かを判定し、経過していれば、警告実行部58から警告発生部40の振動制御部48に、警報用の強振動の作動ON信号を出力する(ステップS110、図7のB参照)。
In step S109, the
その後、ステップS111において、操作スイッチ27の操作ON信号があれば、制御部55は、その操作ON信号に基づき、警告実行部58から警告発生部40の振動制御部48に作動OFF信号を出力して、振動モータ43の作動を停止させる(ステップS112参照)。そして、ステップS111において、操作スイッチ27の操作ON信号がなければ、ステップS113に移行する。
Thereafter, if there is an operation ON signal for the
ステップS113では、制御部55は、判定部57の脇見運転若しくは居眠り運転との判定結果の経過後、所定時間Y、例えば4秒経過しているか否かを判定し、経過していれば、通信部60から運転者Dが危険運転している画像や位置等を含んだ文字データ等の通信データを、電子メールにて所定の受信者に発信し(ステップS114参照)、運転者Dへの警告処理を終える(ステップS115参照)。
In step S113, the
なお、制御部55は、判定部57での脇見運転や居眠り運転の判定結果、その判定日時、判定位置、判定画像、さらに、操作スイッチ27の操作ON信号の有無、その操作スイッチ27の操作日時、そして、通信部60の発信日時等を、所定の記憶領域に記憶させ、そして、所定の操作時に、それらの記憶したデータを表示パネル53に表示できるように構成されている。
The
また、実施形態では、ステップS115を経て運転者Dへの警告処理が終了しても、警告発生部40は作動し続けているが、制御部55が、所定時間経過後、例えば、30秒経過後、警告実行部58から警告発生部40の振動制御部48に作動OFF信号を出力してもよいし、あるいは、操作スイッチ27の作動ON信号があるまで、警告発生部40を作動させ続けても良い。
In the embodiment, the
さらに、実施形態では、操作スイッチ27を操作した際、送受信部65,66を経て、制御部55が操作ON信号を検出し、そして、制御部55が、警告実行部58を介して、警告発生部40の作動OFF信号を出力するように構成したが、操作スイッチ27を操作した際、その操作ON信号を送受信部65から制御部55側へ発信する際、同時に、振動制御部48にその信号を入力させて、振動部41の作動を、直接、停止させるように、構成してもよい。
Furthermore, in the embodiment, when the
以上のように、第1実施形態の運転者用警告装置M1では、カメラ33を左右方向に沿った回転軸C回りで、回動させれば、換言すれば、カメラ33(レンズ33a)の向きを上下に調整すれば、リング部11の後方正面で操舵する運転者D(DM,DS)に対し、運転者Dの顔Fの正面の上部から下部までの全域を、あるいは、運転者Dの眼E(EL,ER)付近を中心に、カメラ33の画角のエリア内に配置させ易くなる。
As described above, in the driver warning device M1 of the first embodiment, if the
その結果、運転席に着座する際、カメラ33の向きを調整して、眼Eをカバーできるように運転者Dに対するカメラ33の画角のエリアを上下に調整すれば、顔検出部30が、運転者Dの顔Fを的確に撮影でき、そして、カメラ33が運転者Dの眼Eの動きを的確に捉えることができる。
As a result, when the user sits in the driver's seat, the orientation of the
特に、カメラ33は、リング部11の前端中央11fcに配置されて、左右方向に沿った回転軸C周りで回転できることから、運転者Dの左右の眼EL,ERから均等な距離で、上下に回動できて、大柄な運転者DMから小柄の運転者DSまで、的確に、左右の両眼EL,ERの動きを捉えることができ、確実、かつ、迅速に、警告を発することが可能となる。
In particular, since the
したがって、第1実施形態の運転者用警告装置M1では、運転者Dに体格の差があっても、警告対象運転時の運転者Dに対して、的確に、警告を発することができる。 Therefore, in the driver warning device M1 of the first embodiment, even if the driver D has a difference in physique, a warning can be accurately issued to the driver D during the warning target driving.
また、第1実施形態の運転者用警告装置M1では、警告発生部40が、把持する運転者Dの手Hに接触可能にリング部11に配置され、作動時、運転者Dに知覚可能に接触部位(振動体42)を振動させて、振動を運転者Dへの警告とする振動部41と、振動部41の作動を制御する振動制御部48と、を備えて構成されている。また、顔検出部30と警告発生部40とが、ステアリングホイール10に配設されている。さらに、ステアリングホイール10と別体とした携帯端末51が、判定部57とともに、判定部57による警告対象運転の判定結果に基づいて、振動部41を作動させるように振動制御部48に作動信号を出力する警告実行部58と、を備えて構成されている。そして、ステアリングホイール10及び携帯端末51が、カメラ33からの画像データと振動制御部48への作動信号との入出力を無線で行い可能な送受信部65,66を備えて構成されている。
Further, in the driver warning device M1 of the first embodiment, the
すなわち、第1実施形態の運転者用警告装置M1では、ステアリングホイール10が、顔検出部30、警告発生部40、及び、無線の送受信部65を備えていれば、判定部57や警告実行部58を設けた携帯端末51を、別体として、取り扱うことができる。すなわち、ステアリングホイール10側には、画像データを判定処理する所定のマイクロコンピュータ等のCPU,ROM,RAMの判定部57や警告実行部58を構成する部品(制御部55)を、配設せずに済む。換言すれば、既存の車両のステアリングホイールを、実施形態のステアリングホイール10と交換し、さらに、上記の携帯端末51さえ準備すれば、実施形態を簡便に実施でき、例えば、昨今の表示パネル53やGPS機能等を有した高機能のタブレットやスマートフォンに、既述の判定部57や警告実行部58の動作を可能とする運転者警告処理アプリをインストールし、後は、既存車両のステアリングホイールを実施形態のステアリングホイール10と交換するだけで、実施形態の運転者用警告装置M1が行う運転者警告処理を容易に実施することも可能となる。
That is, in the driver warning device M1 of the first embodiment, if the
さらに、上記の構成では、警告発生部40が、運転者Dに知覚可能な振動を与えて警告するものであり、このような振動による警告は、運転者Dの視野や周囲の音に惑わされること無く、運転者Dが確実に知覚できて、容易に正常運転に移行できる。
Further, in the above configuration, the
なお、顔検出部30及び警告発生部40を有したステアリングホイール10と、判定部57及び警告実行部58を有した携帯端末51と、の2部品を使用し、相互に無線により信号の入出力を行う構成とした運転者用警告装置では、既存の車両で容易に使用できる観点に着目した場合、ステアリングホイール10側に設けるカメラ33は、回動調整不能として、固定されていてもよい。すなわち、この場合には、カメラ33は、回動可能であっても、固定されていても、どちらでもよく、単に、運転者Dの顔Fを撮影できるようにリング部11に配設されているだけでもよい。
The
さらに、第1実施形態の運転者用警告装置M1では、携帯端末51が、判定部57での警告対象運転の判定時、車外の受信者に警告対象運転の判定結果を発信する通信手段としての電子メールを送信できる通信部60、を備えて構成されている。
Further, in the driver warning device M1 according to the first embodiment, the portable terminal 51 serves as a communication unit that transmits a determination result of the warning target driving to the receiver outside the vehicle when the
すなわち、第1実施形態では、車外の受信者、例えば、車両が乗合バスや観光バス等であれば、運行責任者、あるいは、車両が自家用車であれば、家族の者等、に対して、電子メール等の通信手段を利用して、警告対象運転の判定結果を通知できて、受信者が、運転者Dとともに、運転時の反省点や注意点の情報を共有することができ、以後の対策に役立てることができる。 That is, in the first embodiment, for a recipient outside the vehicle, for example, if the vehicle is a shared bus or a sightseeing bus, the person in charge of operation, or if the vehicle is a private car, By using communication means such as e-mail, the determination result of the warning target driving can be notified, and the receiver can share information on reflection points and caution points at the time of driving with the driver D. It can be used for countermeasures.
なお、第1実施形態では、カメラ33を1つとしたが、図8〜11に示す第2実施形態の運転者用警告装置M2のように、顔検出部30Aとしてのカメラを、画角を異ならせた複数(実施形態では2つ)の第1のカメラ33と第2のカメラ34とから構成するとともに、それぞれ、上下に回動調整可能として、リング部11の前端中央11fcに配設させてもよい。
In the first embodiment, the number of the
このような構成では、画角の角度θ1の広い、例えば50°とした第1のカメラ33で、運転者Dの両眼EL,ERとともに顔Fを捉えて(図8に示す表示パネル53の左側画面53a参照)、居眠り運転や脇見運転を検出でき、画角の角度θ2の狭い、例えば10°とした第2のカメラ34で、大きな画像として、運転者Dの両眼EL,ERを捉えることができて(画素数が同じであれば画角の広いカメラより画角の狭いカメラの方が、大きな画像となる)(図8に示す表示パネル53の右側画面53b参照)、眼球の微細な動きも検出できる。そして、眼球の動きからは、考え事をして、注意力が低下した状態の運転等、所謂、漫然運転を判定することができ、判定部57において、漫然運転も警告対象運転として、判定できる。
In such a configuration, the
その結果、第2実施形態では、居眠り運転や脇見運転のみならず、危険運転となる漫然運転時にも、的確に、運転者Dに警告を発することが可能となる。 As a result, in the second embodiment, it is possible to accurately issue a warning to the driver D not only during a drowsy driving or a side-by-side driving but also during a rough driving that becomes a dangerous driving.
なお、第2実施形態のステアリングホイール10Aでは、画角の狭いカメラ34を、リング部11の前端中央11fcにおいて、カメラ33と左右対称として接近して配設させているとともに、それぞれ、上下に回動調整可能に配設されている。
In the
そして、カメラ33,34の画像データは、第1実施形態と同様に、顔検出部30の図示しない制御回路で、所定のファイル形式に変換されて、ステアリングホイール10Aの送受信部65から、WiFi等の無線形式で、携帯端末51側の送受信部66に送信され、携帯端末51の制御部55の判定部57や警告実行部58により、第1実施形態と同様に、警告処理される。すなわち、図11のステップS103Aにおいて、制御部55の判定部57が、顔検出部30からの運転者Dの左右の眼E(EL,ER)付近の画像データから、運転者Dが脇見あるいは閉眼の状態だけでなく、眼球の微細な動きの有無から漫然運転か否かも判定し、、脇見運転、居眠り運転、あるいは、漫然運転をしているか否か判定する。そして、この漫然運転の判定結果(ステップS103A参照)、あるいは、その判定結果からの経過時間(ステップS105A,ステップS109A,ステップS113A参照)に関して、漫然運転の状態が、第1実施形態と比べて、加味されるだけで、後の処理は、第1実施形態と同様となる。
Then, the image data of the
また、第2実施形態では、画角の広い第1のカメラ33と画角の狭い第2のカメラ34とを回転軸Cの軸方向に沿って並設させつつ、二つのカメラ33,34を、リング部11の前端中央11fcに配設させるように相互に接近させ、かつ、それぞれ、上下方向に回動調整可能に配置させた。しかし、二つのカメラ33,34をリング部11の前端中央11fcに配設させる場合、図12に示すように、回転軸C回りで上下方向に回動可能として、上下方向に並設させてもよい。勿論、このように上下方向に並設させる場合でも、各カメラ33,34をそれぞれ上下方向に回動調整可能に配設させてもよい。
In the second embodiment, the
さらに、第1,2実施形態では、運転者Dに発する警告として、手Hで知覚可能な振動としているが、警告発生部として、視覚で警告するように、ステアリングホイール10,10Aの中央のボス部25付近やスポーク部20付近に、LED等のランプの点灯手段を配設し、点灯手段の点灯を警告としてもよい。あるいは、警告発生部として、聴覚で警告するように、ステアリングホイール10,10Aの中央のボス部25付近やスポーク部20付近に、警告音を発することができるブザーやスピーカ等の音発生手段を配設し、音発生手段による音を警告としてもよい。
Furthermore, in the first and second embodiments, vibrations that can be perceived by the hand H are used as warnings issued to the driver D. However, the warning bosses are provided with central bosses of the
さらにまた、車両のスピーカから警告音を発生させるようにしてもよく、さらに、図13〜17に示す第3実施形態の運転者用警告装置M3のように、ステアリングホイール10B側や車両のスピーカで無く、警告音を携帯端末(スマートフォン)51B側から発生させてもよい。 Furthermore, a warning sound may be generated from the vehicle speaker. Further, as in the driver warning device M3 of the third embodiment shown in FIGS. 13 to 17, the steering wheel 10B side or the vehicle speaker may be used. Alternatively, a warning sound may be generated from the mobile terminal (smartphone) 51B side.
この運転者用警告装置M3では、ステアリングホイール10B側には、第1実施形態の顔検出部30と同様に、顔検出部30Bが、運転者の顔を撮影可能なカメラ33Bを、リング部11の前端中央11fcに配置させるとともに、左右方向に沿った回転軸Cを設けて、上下方向に沿って回動調整可能に配設している。このカメラ33Bは、赤外線撮影を可能にするものであり、カメラ33Bの周囲には、運転者の顔に赤外線を照射する赤外線LED38a,38aを設けてなる照明部38が、配設されている。照明部38は、カメラ33Bを回転軸C回りで回動可能に保持するベース31Bに、保持されて配設されている。そのため、照明部38は、カメラ33Bの向きの調整時、一体的に上下方向に沿って回動調整できるように、配設されている。
In the driver warning device M3, on the side of the steering wheel 10B, as with the
また、ステアリングホイール10B側には、第1実施形態と同様に、警告音を停止させるための操作スイッチ27が、運転者Dの操作し易いスポーク部20R近傍のボス部25に配設されるとともに、カメラ33Bで撮影した画像データを、WiFi等の無線LAN形式等の無線で、携帯端末51B側の送受信部(受信部)66へ送信するための送受信部(送信部)65が、配設されている。
On the steering wheel 10B side, as in the first embodiment, an
なお、カメラ33Bにより撮影した画像データは、第1実施形態と同様に、顔検出部30Bの所定の制御回路により、MotionJPEG等の圧縮ファイル形式とされて、送受信部65から携帯端末51B側の送受信部66へ送信される。
Note that the image data captured by the
また、ステアリングホイール10B側の運転者用警告装置M3の構成機器80である送受信部65、顔検出部30B、及び、照明部38は、その電源回路82を、図15に示すように、ホーンスイッチ機構91の電源回路92と接続させて、ホーンスイッチ機構91と電源90を共用している。ホーンスイッチ機構91は、ステアリングホイール10B側のボス部25に配設されるホーンスイッチ95、車両側のリレースイッチ94、ホーン93等を備えて構成されている。電源90は、車両用バッテリー(24V若しくは12V)から構成されている。
In addition, the transmission /
なお、実施形態の場合、照明部38側には、カメラ33B側も含めて、常時、電流が流れていることから、照明部38は、その赤外線LED38aを昼夜を問わず点灯させている。
In the case of the embodiment, since the current always flows on the
そして、第3実施形態では、携帯端末51B側に、警告発生部62を備えてなる制御部55Bが配設されている。制御部55Bは、警告発生部62の他、第1実施形態と同様な判定部57、ステアリングホイール10B側の無線データの出入力を行う送受信部66、さらに、所定時に電子メールを送信する通信手段としての通信部60、GPS機構、あるいは、表示パネル53に所定の画像を表示する画像表示機構等を具備して、構成されている。
And in 3rd Embodiment, the control part 55B provided with the warning generation | occurrence |
また、制御部55Bは、第1実施形態と同様に、所定のCPU,RAM,ROMを備えたマイクロコンピュータ(マイコン)から構成され、判定部57が、ROMに記憶されたプログラムに基づいて、顔検出部30Bからの画像データから、運転者Dの左右の眼E(EL,ER)付近の画像データを抽出して、RAMの作業領域で分析し、所定の閾値を越えて、運転者Dの眼EL,ERが閉じている時間の割合が通常時より長くなって運転者Dが居眠り運転をしていると判定したり、あるいは、運転者の眼EL,ERが正面から外れている時間の割合が正面視の通常時より多くなって、運転者Dが脇見運転をしていると判定した際、警告対象運転と判定する。そして、制御部55Bは、判定部57の判定結果により、警告発生部62を作動させる作動信号を出力する。
Similarly to the first embodiment, the control unit 55B is configured by a microcomputer having a predetermined CPU, RAM, and ROM, and the
なお、既述のROMに記憶させるプログラムは、第1実施形態と同様に、携帯端末51Bが運転者用警告装置M3として動作できるように、予めインストールした運転者警告処理用のアプリケーションソフトにより、構成されている。 The program stored in the ROM described above is configured by application software for driver warning processing installed in advance so that the portable terminal 51B can operate as the driver warning device M3, as in the first embodiment. Has been.
また、警告発生部62は、携帯端末51Bとしてのスマートフォンに設けられた音発生手段としてのスピーカ63を利用し、作動時、警告音を発生するように構成されいてる。警告音は、ROMに記憶されている音データをスピーカ63に出力して発生させており、実施形態の場合、図17に示すように、例えば、断続的に、ピ、ピ、ピ…と小音量で警告する警告音と、ピ、ピ、ピ…と大音量で警告する警告音の2種類がある。
Moreover, the
制御部55Bの制御を詳しく説明すると、図16に示すように、まず、ステップS101では、運転者Dが、携帯端末51Bを持ち込みつつ、運転席に着座し、運転者用警告装置M3を作動させるように、操作部52を操作して携帯端末51Bの運転者警告処理アプリを起動させ、また、車両のイグニッションキーをONさせる。ついで、ステップS102において、運転者Dの顔Fの全体が表示パネル53に表示されるように、カメラ33Bの上下の向きを調整すれば、制御部55Bは、運転者Dを監視して警告を発する運転者警告処理を開始することとなる。
The control of the control unit 55B will be described in detail. As shown in FIG. 16, first, in step S101, the driver D sits in the driver's seat while bringing the mobile terminal 51B and activates the driver warning device M3. As described above, the
そして、ステップS103では、制御部55Bの判定部57が、顔検出部30Bからの運転者Dの左右の眼E(EL,ER)付近の画像データから、運転者Dが脇見や閉眼の状態を検出し、脇見運転若しくは居眠り運転をしているか否か判定する。
In step S103, the
ステップS103において、運転者Dが脇見運転若しくは居眠り運転していると判定部57が判定した場合には、制御部55Bは、ステップS104Aにおいて、車両が左折中や右折中であるか否かをGPS機能で測定する位置情報の変化から判定して、左折中や右折中では運転者の眼の動きから脇見運転若しくは居眠り運転か否かを判定し難いことから、左折や右折の状態でないと判定すれば、ステップS104Bに移行して、脇見運転時若しくは居眠り運転時に危険な走行状態となるような車速であるか否かを判定し、実施形態の場合、GPS機能で測定できる加速度データから算出した車速が例えば30km以上であるか否かを判定し、30km以上の車速であれば、制御部55Bは、ステップS105に移行する。
In step S103, when the
ステップS105では、制御部55Bは、判定部57の脇見運転若しくは居眠り運転との判定結果の経過後、所定時間、例えば1秒経過しているか否かを判定し、経過していれば、音発生手段としてのスピーカ63から注意喚起用の小音量の警告音を発生させるように(図17のA参照)、警告発生部62に作動ON信号を出力する(ステップS106参照)。
In step S105, the control unit 55B determines whether or not a predetermined time, for example, 1 second has elapsed after the determination result of the
その後、ステップS107において、操作スイッチ27の操作ON信号があれば、制御部55Bは、その操作ON信号に基づき、警告発生部62に作動OFF信号を出力して、スピーカ63からの警告音を停止させる(ステップS108参照)。そして、ステップS107において、操作スイッチ27の操作ON信号がなければ、ステップS109に移行する。
Thereafter, if there is an operation ON signal of the
ステップS109では、制御部55Bは、判定部57の脇見運転若しくは居眠り運転との判定結果の経過後、所定時間X、例えば3秒経過しているか否かを判定し、経過していれば、スピーカ63から警報用の大音量の警告音を発生させるように(図17のB参照)、警告発生部62に作動ON信号を出力する(ステップS110参照)。
In step S109, the control unit 55B determines whether or not a predetermined time X, for example, 3 seconds has elapsed after the determination result of the
その後、ステップS111において、操作スイッチ27の操作ON信号があれば、制御部55Bは、その操作ON信号に基づき、警告発生部62に作動OFF信号を出力して、スピーカ63からの警告音を停止させる(ステップS112参照)。そして、ステップS111において、操作スイッチ27の操作ON信号がなければ、ステップS113に移行する。
Thereafter, if there is an operation ON signal of the
ステップS113では、制御部55Bは、判定部57の脇見運転若しくは居眠り運転との判定結果の経過後、所定時間Y、例えば4秒経過しているか否かを判定し、経過していれば、通信部60から運転者Dが危険運転している画像や位置等を含んだ文字データ等の通信データを、電子メールにて所定の受信者に発信し(ステップS114参照)、運転者Dへの警告処理を終える(ステップS115参照)。
In step S113, the control unit 55B determines whether or not a predetermined time Y, for example, 4 seconds has elapsed after the determination result of the
なお、制御部55Bでも、判定部57での脇見運転や居眠り運転の判定結果、その判定日時、判定位置、判定画像、さらに、操作スイッチ27の操作ON信号の有無、その操作スイッチ27の操作日時、そして、通信部60の発信日時等を、所定の記憶領域に記憶させ、そして、所定の操作時に、それらの記憶したデータを表示パネル53に表示できるように構成されている。
In the control unit 55B, the determination result of the side-by-side driving or the dozing operation in the
また、第3実施形態でも、ステップS115を経て運転者Dへの警告処理が終了しても、警告発生部62は作動し続けているが、制御部55Bが、所定時間経過後、例えば、30秒経過後、警告発生部62に作動OFF信号を出力してもよいし、あるいは、操作スイッチ27の作動ON信号があるまで、警告発生部62を作動させ続けても良い。
Even in the third embodiment, the
以上のように、第3実施形態の運転者用警告装置M3でも、カメラ33Bを左右方向に沿った回転軸C回りで、回動させれば、換言すれば、カメラ33(レンズ33a)の向きを上下に調整すれば、リング部11の後方正面で操舵する運転者Dに対し、運転者Dの顔Fの正面の上部から下部までの全域を、あるいは、運転者Dの眼E(EL,ER)付近を中心に、カメラ33Bの画角のエリア内に配置させ易くなって、運転者Dに体格の差があっても、警告対象運転時の運転者Dに対して、的確に、警告を発することができる。
As described above, even in the driver warning device M3 of the third embodiment, if the
そして、第3実施形態でも、ステアリングホイール10Bが、顔検出部30B、及び、無線の送受信部(送信部)65を備えていれば、判定部57や警告発生部62を設けた携帯端末51Bを、別体として、取り扱うことができることから、既存の車両のステアリングホイールを、実施形態のステアリングホイール10Bと交換し、さらに、上記の携帯端末51Bさえ準備すれば、警告対象運転している運転者Dに対して、的確に警告音を発することができる。
And also in 3rd Embodiment, if the steering wheel 10B is provided with the
さらに、第3実施形態では、警告発生部62の音発生手段が、運転者Dに警告音を発して警告するものであって、携帯端末51Bは、音発生手段として利用できるスピーカ63を内蔵させている場合が多く、容易に警告音を発生させることができて、運転者Dへの警告を振動により行う場合に比べて、より簡便に運転者用警告装置M3を構成できる。
Furthermore, in the third embodiment, the sound generating means of the
また、第3実施形態の運転者用警告装置M3でも、携帯端末51Bが、判定部57での警告対象運転の判定時、車外の受信者に警告対象運転の判定結果を発信する通信手段としての電子メールを送信できる通信部60、を備えて構成されているため、車外の受信者、例えば、車両が乗合バスや観光バス等であれば、運行責任者、あるいは、車両が自家用車であれば、家族の者等、に対して、電子メール等の通信手段を利用して、警告対象運転の判定結果を通知できて、受信者が、運転者Dとともに、運転時の反省点や注意点の情報を共有することができ、以後の対策に役立てることができる。
Also, in the driver warning device M3 of the third embodiment, the portable terminal 51B serves as a communication unit that transmits the determination result of the warning target driving to the receiver outside the vehicle when the
また、第3実施形態の運転者用警告装置M3では、ステアリングホイール10B側に搭載される運転者用警告装置M3の構成機器80が、ステアリングホイール10Bに搭載されるホーンスイッチ機構91と電源90を共用して、配設されている。
Further, in the driver warning device M3 of the third embodiment, the
そのため、第3実施形態では、顔検出部30B等の電源回路82をホーンスイッチ機構91の電源回路92から確保でき、そして、ホーンスイッチ95を運転者Dが操作する際には、運転者Dは警告対象運転を行っている状態でなく、逆に、運転者Dが警告対象運転を行っていれば、運転者Dがホーンスイッチ95を操作する状態でもないことから、電源90を共用しても支障が生じ難く、円滑にホーンスイッチ機構91と運転者用警告装置M3とを適宜作動させることができる。
Therefore, in the third embodiment, the
この運転者警告装置のステアリングホイール側の構成機器の電源を、ホーンスイッチ機構の電源と共用することに着目すれば、ステアリングホイール10,10B側に設けるカメラ33,33Bは、回動調整不能として、固定されていてもよい。すなわち、この場合には、カメラ33,33Bは、回動可能であっても、固定されていても、どちらでもよく、単に、運転者Dの顔Fを撮影できるようにリング部11に配設されているだけでもよい。
If attention is paid to sharing the power source of the component on the steering wheel side of the driver warning device with the power source of the horn switch mechanism, the
さらに、第3実施形態の運転者用警告装置M3では、ステアリングホイール10B側に、カメラ33Bの撮影する運転者Dの顔のエリアに赤外線を照射可能な照明部38を、配設するとともに、カメラ33Bを、赤外線撮影を可能に構成している。
Further, in the driver warning device M3 of the third embodiment, an
そのため、第3実施形態では、夜間やトンネル内の走行時、あるいは、サングラスを装着して走行し、運転者Dの顔や眼の辺り暗くなっても、照明部38によって赤外線を照射すれば、カメラ33Bが円滑に運転者Dの顔(眼)を撮影することができる。さらに、撮影に赤外線を利用していることから、運転者Dは、照明部38を眩しく感ずることなく、運転中の視界を妨げられない。
Therefore, in the third embodiment, when traveling in the night or in a tunnel, or while wearing sunglasses, even if it becomes dark around the face and eyes of the driver D, if the
なお、第1,2実施形態においても、使用するカメラ33,34として、赤外線撮影を可能にする感度のものを使用し、そして、赤外線を照射できる照明部38を配設してもよい。
In the first and second embodiments, the
その場合、第3実施形態のように、カメラ33Bと一体的に回動調整可能に、照明部38をカメラ33Bを支持して回動可能なベース31Bに配設してもよいし、リング部11やボス部25、あるいは、スポーク部20に照明部38を配設してもよい。勿論、第3実施形態においても、リング部11やボス部25、あるいは、スポーク部20に照明部38を配設してもよい。
In that case, as in the third embodiment, the
また、第3実施形態では、照明部38を昼夜を問わず点灯させているが、運転者の眼の付近が暗い場合にだけ、所定の明るさを検知可能なセンサを利用して、照明部38を点灯させてもよい。
In the third embodiment, the
さらに、第3実施形態のステアリングホイール10Bの顔検出部30Bとして、漫然運転を判定できるように、第2実施形態のような二つ目のカメラ34を設けてもよい。
Furthermore, as the
さらにまた、第3実施形態では、運転者が警告対象運転の挙動をしていても、右左折時には、図16のステップS104Aのように、警告対象運転と判定しない構成としており、このようなステップS103,104A,104Bの処理を、第1,2実施形態の図6,11のステップS103,104やステップS103A,104で行ってもよい。 Furthermore, in the third embodiment, even when the driver behaves as a warning target driving, at the time of turning left or right, as in step S104A of FIG. The processes of S103, 104A, and 104B may be performed in steps S103 and 104 and steps S103A and 104 of FIGS.
また、第1〜3実施形態では、リング部11の芯金12に関して、パイプ状のものを例示したが、リング部11の芯金12は、断面逆U字状等のものもあり、そのような場合には、ハーネス36を通す金属あるいは樹脂からなるパイプ材を断面逆U字状の内側に配設させる等すると共に、前端中央11fcにおいて、芯金周囲にベース31,31Bを回動可能とする円筒状のガイドを別途設ける等して、カメラ33,33B,34を上下方向に回動調整可能に配設すればよい。
Moreover, in 1st-3rd embodiment, although the pipe-shaped thing was illustrated regarding the
10,10A,10B…ステアリングホイール、11…リング部、11fc…前端中央、30,30A,30B…顔検出部、33,33B,34…カメラ、40,62…警告発生部、41…振動部、42…(接触部位)振動体、48…振動制御部、
50,50B…制御装置、51,51B…携帯端末、53…表示パネル、55…制御部、57…判定部、58…警告実行部、60…通信部、
62…(音発生手段)スピーカ、
65,66…送受信部、
80…構成機器、82…(構成機器用の)電源回路、90…車両用電源、91…ホーンスッチ機構、92…(ホーンスイッチ機構の)電源回路、
θ1,θ2…画角、C…回転軸、D(DM,DS)…運転者、F…顔、E(EL,ER)…眼、H…手、M1,M2,M3…運転者用警告装置。
DESCRIPTION OF
50, 50B ... control device, 51, 51B ... portable terminal, 53 ... display panel, 55 ... control unit, 57 ... determination unit, 58 ... warning execution unit, 60 ... communication unit,
62 (Sound generating means) speaker,
65, 66 ... transmission / reception unit,
80 ... constituent equipment, 82 ... power supply circuit (for constituent equipment), 90 ... power supply for vehicles, 91 ... horn switch mechanism, 92 ... power supply circuit (for horn switch mechanism),
θ1, θ2 ... angle of view, C ... rotation axis, D (DM, DS) ... driver, F ... face, E (EL, ER) ... eye, H ... hand, M1, M2, M3 ... driver warning device .
Claims (5)
運転者の顔を撮影可能なカメラを前記リング部に配設させてなる顔検出部と、
顔を撮影した前記カメラからの画像データを入力して、運転者の居眠り運転若しくは脇見運転の警告対象運転を判定可能な判定部と、
該判定部での警告対象運転の判定結果により、運転者に警告を発する警告発生部と、
を備えてなる運転者用警告装置であって、
前記カメラが、運転者に対する画角のエリアを上下に調整可能に、前記リング部の前端中央に配置されるとともに、左右方向に沿った回転軸を設けて、上下方向に沿って回動調整可能に配設され、
前記警告発生部が、
把持する運転者の手に接触可能に前記リング部に配置され、作動時、運転者に知覚可能に接触部位を振動させて、該振動を運転者への警告とする振動部と、
前記振動部の作動を制御する振動制御部と、
を備えて構成され、
前記顔検出部と前記警告発生部とが、前記ステアリングホイールに配設され、
前記ステアリングホイールと別体とした携帯端末が、前記判定部とともに、前記判定部による警告対象運転の判定結果に基づいて、前記振動部を作動させるように前記振動制御部に作動信号を出力する警告実行部と、を備えて構成され、
前記ステアリングホイール及び前記携帯端末が、前記カメラからの画像データと前記振動制御部への作動信号との入出力を無線で行うことが可能な送受信部を備えて構成されていることを特徴とする運転者用警告装置。 A steering wheel for steering a vehicle having a substantially annular ring portion gripped during steering;
A face detection unit in which a camera capable of photographing a driver's face is disposed in the ring unit;
A determination unit capable of inputting image data from the camera that has photographed the face and determining a warning target driving of the driver's dozing driving or aside driving;
A warning generation unit that issues a warning to the driver according to the determination result of the warning target driving in the determination unit;
A warning device for a driver comprising:
The camera is positioned at the center of the front end of the ring part so that the area of the angle of view for the driver can be adjusted up and down, and a rotation axis along the left and right direction is provided to adjust the rotation along the vertical direction. Arranged in
The warning generation unit is
Vibrating part that is arranged in the ring part so as to be able to come into contact with the driver's hand to be gripped, and vibrates the contact part perceivable to the driver during operation, and the vibration is used as a warning to the driver;
A vibration control unit for controlling the operation of the vibration unit;
Configured with
The face detection unit and the warning generation unit are disposed on the steering wheel,
A warning that a portable terminal separate from the steering wheel outputs an operation signal to the vibration control unit so as to operate the vibration unit based on the determination result of the warning target driving by the determination unit together with the determination unit And an execution unit.
The steering wheel and the mobile terminal, characterized in that it is configured with an image data transmitting and receiving unit capable of performing a wireless input and output of the actuation signal to the vibration control unit from the camera Warning device for drivers.
運転者の顔を撮影可能なカメラを前記リング部に配設させてなる顔検出部と、
顔を撮影した前記カメラからの画像データを入力して、運転者の居眠り運転若しくは脇見運転の警告対象運転を判定可能な判定部と、
該判定部での警告対象運転の判定結果により、運転者に警告を発する警告発生部と、
を備えてなる運転者用警告装置であって、
前記カメラが、運転者に対する画角のエリアを上下に調整可能に、前記リング部の前端中央で、かつ、前記リング部の円環状の軌跡より前記ステアリングホイールの中央のボス部側にずれた位置に配置されるとともに、左右方向に沿った回転軸を設けて、上下方向に沿って回動調整可能に配設されていることを特徴とする運転者用警告装置。 A steering wheel for steering a vehicle having a substantially annular ring portion gripped during steering;
A face detection unit in which a camera capable of photographing a driver's face is disposed in the ring unit;
A determination unit capable of inputting image data from the camera that has photographed the face and determining a warning target driving of the driver's dozing driving or aside driving;
A warning generation unit that issues a warning to the driver according to the determination result of the warning target driving in the determination unit;
A warning device for a driver comprising:
The camera is capable of adjusting the area of the angle of view with respect to the driver up and down , and is located at the center of the front end of the ring part and shifted to the boss part side of the center of the steering wheel from the annular locus of the ring part. A warning device for a driver, characterized in that it is provided with a rotation axis along the left-right direction and is arranged so as to be adjustable in rotation along the up-down direction.
前記カメラの撮影する運転者の顔のエリアに赤外線を照射可能な照明部が、前記カメラと一体的に回動調整可能に、前記カメラの周囲に配設されていることを特徴とする請求項1乃至請求項3のいずれか1項に記載の運転者用警告装置。 The camera enables infrared photography,
The illumination unit capable of irradiating infrared rays to an area of a driver's face photographed by the camera is disposed around the camera so as to be integrally rotatable with the camera. The driver warning device according to any one of claims 1 to 3 .
前記カメラの前記回転軸が、前記直線部に配置されていることを特徴とする請求項1乃至請求項4のいずれか1項に記載の運転者用警告装置。 The ring portion includes a straight portion extending in the left-right direction at the front center,
The driver warning device according to any one of claims 1 to 4, wherein the rotation shaft of the camera is disposed in the linear portion .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013202912A JP6210287B2 (en) | 2012-11-16 | 2013-09-30 | Warning device for driver |
PCT/JP2013/080196 WO2014077190A1 (en) | 2012-11-16 | 2013-11-08 | Warning device for driver |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012252494 | 2012-11-16 | ||
JP2012252494 | 2012-11-16 | ||
JP2013202912A JP6210287B2 (en) | 2012-11-16 | 2013-09-30 | Warning device for driver |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014115983A JP2014115983A (en) | 2014-06-26 |
JP6210287B2 true JP6210287B2 (en) | 2017-10-11 |
Family
ID=50731102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013202912A Expired - Fee Related JP6210287B2 (en) | 2012-11-16 | 2013-09-30 | Warning device for driver |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6210287B2 (en) |
WO (1) | WO2014077190A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102137495B1 (en) * | 2019-07-04 | 2020-07-24 | 주식회사 뷰티풀마인드 | Installed Type Horn Transmission System Combining Pressure Sensor and Behavior Pattern Of Driver's Sudden Situation |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6164172B2 (en) * | 2014-07-25 | 2017-07-19 | 豊田合成株式会社 | Steering wheel |
FR3030386B1 (en) * | 2014-12-22 | 2018-03-23 | Autoliv Development Ab | VEHICLE WHEEL ASISTANCE MODULE |
DE102015218306A1 (en) * | 2015-09-23 | 2017-03-23 | Robert Bosch Gmbh | A method and apparatus for determining a drowsiness condition of a driver |
CN106541889A (en) * | 2016-10-28 | 2017-03-29 | 芜湖市吉安汽车电子销售有限公司 | A kind of fatigue driving detecting system based on linux system |
JP2018074447A (en) * | 2016-10-31 | 2018-05-10 | 京セラ株式会社 | Imaging device, imaging system, subject monitoring system, and control method for imaging device |
JP6747326B2 (en) * | 2017-02-07 | 2020-08-26 | 豊田合成株式会社 | Steering device and driver warning device |
JP6624169B2 (en) * | 2017-07-21 | 2019-12-25 | 株式会社デンソー | Imaging device and display device for vehicle |
JP2019026186A (en) * | 2017-08-03 | 2019-02-21 | フォスター電機株式会社 | Steering Wheel |
JP7001038B2 (en) * | 2018-10-19 | 2022-01-19 | 豊田合成株式会社 | Operating condition judgment method |
CN111079476B (en) * | 2018-10-19 | 2024-03-26 | 上海商汤智能科技有限公司 | Driving state analysis method and device, driver monitoring system and vehicle |
JP2020111216A (en) * | 2019-01-15 | 2020-07-27 | トヨタ自動車株式会社 | Steering wheel |
JP7447853B2 (en) | 2021-03-22 | 2024-03-12 | トヨタ自動車株式会社 | Awakening state determination system and automatic driving device |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS51153931U (en) * | 1975-06-03 | 1976-12-08 | ||
JPS59214429A (en) * | 1983-05-23 | 1984-12-04 | 株式会社デンソー | Cardiac pulse detector for automobile |
JP2006193057A (en) * | 2005-01-14 | 2006-07-27 | Nagano Kogaku Kenkyusho:Kk | Vehicle monitoring unit and room mirror apparatus |
JP4706917B2 (en) * | 2005-09-07 | 2011-06-22 | アイシン精機株式会社 | Driver monitoring system |
JP2008059059A (en) * | 2006-08-29 | 2008-03-13 | Hino Motors Ltd | Portable telephone terminal and program |
JP2008189230A (en) * | 2007-02-07 | 2008-08-21 | Hino Motors Ltd | Driver image pickup device |
JP2012068841A (en) * | 2010-09-22 | 2012-04-05 | Toyoda Gosei Co Ltd | Awakening device for vehicle |
JP2012111274A (en) * | 2010-11-22 | 2012-06-14 | Denso Corp | Image processor |
JP5763381B2 (en) * | 2011-03-24 | 2015-08-12 | 株式会社小松製作所 | Large dump truck |
-
2013
- 2013-09-30 JP JP2013202912A patent/JP6210287B2/en not_active Expired - Fee Related
- 2013-11-08 WO PCT/JP2013/080196 patent/WO2014077190A1/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102137495B1 (en) * | 2019-07-04 | 2020-07-24 | 주식회사 뷰티풀마인드 | Installed Type Horn Transmission System Combining Pressure Sensor and Behavior Pattern Of Driver's Sudden Situation |
Also Published As
Publication number | Publication date |
---|---|
JP2014115983A (en) | 2014-06-26 |
WO2014077190A1 (en) | 2014-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6210287B2 (en) | Warning device for driver | |
JP6292218B2 (en) | Information presenting apparatus and information presenting method | |
JP5549721B2 (en) | Driver monitor device | |
EP3330148B1 (en) | Automatic driving system for vehicles | |
WO2016013153A1 (en) | Notification system for vehicle, notification control device, and notification device | |
WO2016021142A1 (en) | Driver monitoring device | |
JP5880740B1 (en) | Collision avoidance system and collision avoidance method | |
US9131123B2 (en) | Device for monitoring surroundings of vehicle and method for monitoring surroundings of vehicle | |
WO2016157816A1 (en) | Information presentation device and information presentation method | |
JP2016045713A (en) | On-vehicle control device | |
JP2015202769A (en) | Vehicular image display apparatus and vehicular image display method | |
JP6730096B2 (en) | Occupant condition monitoring device | |
WO2017056495A1 (en) | Image processing device, imaging device, camera monitor system and image processing method | |
JP6223143B2 (en) | Driving support device and driving support method | |
JP2008305190A (en) | Doze warning device and car | |
JP2012155535A (en) | Driver state detecting system | |
JP2018154329A (en) | On-vehicle control device and on-vehicle system | |
JP7140485B2 (en) | alarm system | |
JP5666066B2 (en) | Car navigation system | |
JP2013103530A (en) | State monitor apparatus | |
TWI701568B (en) | Information prompt support device for straddle-type vehicles, and information prompt system for straddle-type vehicles | |
JP2017182268A (en) | Driver warning device | |
JP6403378B2 (en) | Safe driving support device and safe driving support method | |
JP6747326B2 (en) | Steering device and driver warning device | |
JP2014189089A (en) | Periphery monitoring device for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6210287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |